CN111680132B - 一种用于互联网文本信息的噪声过滤和自动分类方法 - Google Patents

一种用于互联网文本信息的噪声过滤和自动分类方法 Download PDF

Info

Publication number
CN111680132B
CN111680132B CN202010654254.0A CN202010654254A CN111680132B CN 111680132 B CN111680132 B CN 111680132B CN 202010654254 A CN202010654254 A CN 202010654254A CN 111680132 B CN111680132 B CN 111680132B
Authority
CN
China
Prior art keywords
text
noise
internet
text information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010654254.0A
Other languages
English (en)
Other versions
CN111680132A (zh
Inventor
张翀
何春辉
谭真
葛斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010654254.0A priority Critical patent/CN111680132B/zh
Publication of CN111680132A publication Critical patent/CN111680132A/zh
Application granted granted Critical
Publication of CN111680132B publication Critical patent/CN111680132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种用于互联网文本信息的噪声过滤和自动分类方法。所述方法包括：构建互联网文本信息的噪声过滤和自动分类模型，包括噪声检测模块、噪声过滤模块和自动分类模块。将获取到的互联网文本信息输入噪声检测模块，检测到包含噪声时将其输入噪声过滤模块，根据文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息。使用不包含噪声的互联网文本信息训练和测试自动分类模块，使用训练好的模型获得互联网文本信息分类结果。采用本方法能同时实现文本噪声过滤和分类，避免噪声检测和过滤过分依赖特征选取的问题，及其对训练数据集质量要求较高的问题，还能消除噪声信息对文本分类结果的影响，提高文本分类结果的准确性。

Description

一种用于互联网文本信息的噪声过滤和自动分类方法
技术领域
本申请涉及互联网文本信息处理技术领域，特别是涉及一种用于互联网文本信息的噪声过滤和自动分类方法。
背景技术
互联网文本信息作为互联网信息传递的一种方式，在信息共享中起着举足轻重的作用。然而互联网文本中通常包含大量与主题无关的内容，如许多网页新闻中都会夹杂广告、插图简介、网站推荐内容等，这些与主题无关的内容被称为噪声信息。噪声信息会对互联网文本内容的分类产生干扰，因此如何过滤噪声并提纯互联网文本内容以提高这些文本的分类准确率具有重要意义。
现有方法大多将文本噪声识别(或噪声过滤)和文本分类作为两个独立的任务进行分别的建模和处理。目前的文本噪声识别与过滤方法主要分为两大类：第一类是结合词袋模型和传统机器学习进行噪声识别与过滤的方法，这类方法过分依赖特征的选取，且对噪声识别的准确率不高；第二类是基于深度学习方法来实现噪声识别与过滤，这类方法的识别准确率比较高，但是对人工标注数据集的质量要求较高，且这类方法大多将待分类的文本内容作为语料直接用于分类模型的训练和测试，然而文本语料中包含噪声信息会干扰文本分类的结果。
发明内容
基于此，有必要针对上述技术问题，提供能够识别并过滤噪声文本信息并能够提高文本分类准确度的一种用于互联网文本信息的噪声过滤和自动分类方法。
一种用于互联网文本信息的噪声过滤和自动分类方法，所述方法包括：
构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
将预先获取的互联网文本信息输入噪声检测模块。
当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。
根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型。
将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
其中一个实施例中，构建所述噪声检测模块的方式包括：
根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集。
将噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块。
其中一个实施例中，噪声过滤模块基于BERT模型建立，当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息的步骤包括：
当检测到互联网文本信息包含噪声时，获取互联网文本信息中的标题文本和正文文本，将正文文本按照预设的规则拆分为正文段落文本。
将标题文本和正文段落文本依次输入噪声过滤模块，计算标题文本和正文段落文本间的语义相似度值，当正文段落文本和标题文本间的语义相似度值低于预设值时，将该正文段落文本标记为噪声。
按照正文文本中正文段落文本的先后顺序，拼接未标记为噪声的正文段落文本，输出不包含噪声的互联网文本信息。
其中一个实施例中，将标题文本和所述正文段落文本依次输入噪声过滤模块，计算标题文本和正文段落文本间的语义相似度值，当正文段落文本和标题文本间的语义相似度值低于预设值时，将该正文段落文本标记为噪声的步骤包括：
将标题文本和正文段落文本依次输入噪声过滤模块，根据预设的余弦相似度算法计算标题文本和正文段落文本间的语义相似度值。
当正文段落文本和标题文本间的语义相似度值低于预设值时，将正文段落文本标记为噪声。
其中一个实施例中，自动分类模块基于卷积神经网络，包括输入层、词嵌入层、卷积层、最大池化层、全连接层和输出层。
构建自动分类模块的方式包括：
使用反向传播方法确定自动分类模块的卷积层参数。
其中一个实施例中，根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型的步骤包括：
根据不包含噪声的互联网文本信息生成样本集，将样本集通过输入层输入自动分类模块。
由词嵌入层、卷积层和最大池化层提取文本特征向量，由全连接层通过输出层输出互联网文本信息分类结果。
根据自动分类模块输出的文本自动分类结果和对应的文本分类概率值，得到训练好的噪声过滤和自动分类模型。
一种用于互联网文本信息的噪声过滤和自动分类装置，其特征在于，所述装置包括：
模型构建单元，用于构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
互联网文本信息输入单元，用于将预先获取的互联网文本信息输入噪声检测模块。
互联网文本信息噪声检测与过滤单元，用于当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。
模型训练单元，用于根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型。
互联网文本信息分类单元，用于将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
其中一个实施例中，噪声过滤模块基于BERT模型建立，互联网文本信息检测与过滤单元用于：
当检测到互联网文本信息包含噪声时，获取互联网文本信息中的标题文本和正文文本，将正文文本按照预设的规则拆分为正文段落文本。
将标题文本和正文段落文本依次输入噪声过滤模块，计算标题文本和正文段落文本间的语义相似度值，当正文段落文本和标题文本间的语义相似度值低于预设值时，将该正文段落文本标记为噪声。
按照正文文本中正文段落文本的先后顺序，拼接未标记为噪声的所述正文段落文本，输出不包含噪声的互联网文本信息。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
将预先获取的互联网文本信息输入噪声检测模块。
当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。
根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型。
将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
将预先获取的互联网文本信息输入噪声检测模块。
当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。
根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型。
将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
上述一种用于互联网文本信息的噪声过滤和自动分类方法、装置、计算机设备和存储介质，将噪声过滤任务分成了噪声检测和噪声过滤两个阶段，根据互联网文本信息中文本对象间的语义相似度值过滤文本信息中的噪声，输出不包含噪声的互联网文本信息，能够避免依赖特征选取的噪声识别准确率不高的问题，也能克服基于深度学习的噪声识别对人工标注的训练数据集质量要求较高的问题；将无噪声的互联网文本信息输入采用无噪声的样本集训练的自动分类模块，能够消除噪声信息对文本分类结果的影响，能够提高文本分类结果的准确性。
附图说明
图1为一个实施例中一种用于互联网文本信息的噪声过滤和自动分类方法的应用场景图；
图2为一个实施例中一种用于互联网文本信息的噪声过滤和自动分类方法的流程示意图；
图3为另一个实施例中一种用于互联网文本信息的噪声过滤和自动分类方法的流程示意图；
图4为一个实施例中基于BERT的噪声过滤模块的语义相似度计算方法的流程图；
图5为一个实施例中基于卷积神经网络的自动分类模块的框架示意图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
经过深入分析发现，噪声识别和噪声过滤完全可以作为数据预处理的一部分融入文本分类任务，因此本申请提出了一种用于互联网文本信息的噪声过滤和自动分类方法，可以应用于图1所示的应用环境中，用于针对互联网爬虫实时采集的各种公开网页文本信息进行快速分类，通过实验论证证明其可以在互联网开源文本信息自动采集系统中取得与设计预期一致的理想效果。
网页文本信息主要是指含有标题和正文部分的半结构化互联网文本信息(例如网页新闻，博客，公告等等)，当爬虫采集到互联网文本内容后，在数据入库之前，需要对采集到的文本内容进行分类，然后才能按照类别进行归档存储，这样既便于对互联网文本数据进行管理，又利于后续的深度挖掘任务。其中，设备102通过爬虫获取互联网文本信息，经过噪声识别/过滤、文本分类后将分类好的文本输出至设备104进行后续的归档存储和深度挖掘处理。设备102可以但不限于是服务器或者是多个服务器组成的服务器集群，也可以是各种个人计算机、笔记本电脑等能够提供相应计算能力的设备。
在一个实施例中，如图2所示，提供了一种用于互联网文本信息的噪声过滤和自动分类方法，以该方法应用于图1中的设备102为例进行说明，包括以下步骤：
步骤202：构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
步骤204：将预先获取的互联网文本信息输入噪声检测模块。
具体地，噪声检测模块基于FastText模型建立。FastText文本分类算法是脸书人工智能研究院(FAIR，Facebook AI Research)提出的一种简单的模型。实验表明一般情况下，FastText算法能获得和深度学习模型相同的精度，但是其计算时间却要远远小于深度学习模型。FastText可以作为一个文本分类模型的基础。因此，与采用支持向量机、贝叶斯、决策树等传统的机器学习方法，基于FastText实现噪声检测能够提高噪声检测的速度。噪声检测模块对互联网文本信息进行噪声检测，仅将包含噪声的互联网文本信息输入噪声过滤模块，以提高噪声过滤过程的效率。
步骤206：当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息。
输入噪声过滤模块的是确定包含噪声的文本信息，因此可以不依靠预设的噪声特征库，也不需要大规模的高质量模型训练样本集就能够实现噪声过滤。具体地，可以采用word2vec或者glove等预训练词嵌入表示技术获取互联网文本信息中不同文本对象间的向量，以欧氏距离、马氏距离等度量向量间的距离，以获得文本对象(如标题和正文段落)之间的相似度，根据相似度的值过滤噪声，得到不包含噪声的互联网文本信息。
步骤208：根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型。
具体地，自动分类模块可以采用支持向量机、贝叶斯等传统机器学习算法实现，也可以使用卷积神经网络、循环神经网络模型来实现。
值得注意的是，本申请提供的一种用于互联网文本信息的噪声过滤和自动分类方法有严格的逻辑顺序，即先对从互联网获取的原始文本信息进行噪声识别和过滤，然后使用本身不含有噪声或去噪后的文本信息训练自动分类模块，并使用训练好的自动分类模块对不含有噪声的文本信息进行分类。通过这一逻辑顺序可以达到提纯原始语料的目的，且能有效的减少语料长度，从而降低模型的计算复杂度。
步骤210：将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
上述一种用于互联网文本信息的噪声过滤和自动分类方法，可以同时实现噪声过滤与文本分类两个不同的任务。该方法将噪声过滤任务分成了噪声检测和噪声过滤两个阶段，根据互联网文本信息中文本对象间的语义相似度值过滤文本信息中的噪声，输出不包含噪声的互联网文本信息，能够避免依赖特征选取的噪声识别准确率不高的问题，也能克服基于深度学习的噪声识别对训练数据集质量要求较高的问题；将无噪声的互联网文本信息输入采用无噪声的样本集训练的自动分类模块，能够消除噪声信息对文本分类结果的影响，能够提高文本分类结果的准确性。
其中一个实施例中，构建噪声检测模块的方式包括：
根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集。
将噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块。
本实施例利用一个标注了噪声和非噪声的互联网文本二分类数据集作为样本集，去训练一个FastText噪声识别模型，然后利用该模型来实现对互联网文本内容的噪声识别任务。基于此，本实施例能够基于FastText模型的特性，快速识别噪声文本，并且能够提供准确的文本噪声识别结果。
其中一个实施例中，噪声过滤模块基于BERT模型建立。当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息的步骤包括：
当检测到互联网文本信息包含噪声时，获取互联网文本信息中的标题文本和正文文本，将正文文本按照预设的规则拆分为正文段落文本。
将标题文本和正文段落文本依次输入噪声过滤模块，根据预设的余弦相似度算法计算标题文本和正文段落文本间的语义相似度值。
当正文段落文本和标题文本间的语义相似度值低于预设值时，将正文段落文本标记为噪声。
按照正文文本中正文段落文本的先后顺序，拼接未标记为噪声的正文段落文本，输出不包含噪声的互联网文本信息。
BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的掩码语言模型(MLM)，以致能生成深度的双向语言表征。BERT模型的主要优点包括：预训练后，只需要添加一个额外的输出层进行微调，就将BERT模型应用于各种任务，而不需要针对不同的任务修改模型的结构。
本实施例提供的用于互联网文本信息的噪声过滤和自动分类方法的流程图如图3所示。具体地，使用基于BERT模型的噪声过滤模块，根据互联网文本中文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息的步骤包括：
获取原始内容中的标题T和所有段落P，然后按顺序将它们添加到列表中。
采用BERT向量转换工具将标题T和所有段落内容Pi转换为固定长度的向量Te和Pie，然后使用余弦相似度算法计算Te和每个段落Pie之间的语义相似度，详细的计算公式如下：
Figure BDA0002574491260000091
其中，Te和Vi是标题和第i个段落的固定长度向量表示结果，详细的语义相似度计算过程如图4所示。
根据Si(Te，Pie)的计算结果，将相似度得分小于预设值(如0.1)的段落标记为噪声。
最后，将未标记为噪声的段落按照原始的顺序拼接起来，和标题一起作为待分类语料一起输入到自动分类模块中。
本实施例利用了BERT模型的性能优势，可以提高文本噪声过滤的效果，为自动分类模块提供更好的无噪训练数据集，以及为自动分类模块提供更好的无噪待分类语料，改进最终的分类效果。
其中一个实施例中，自动分类模块基于卷积神经网络，包括输入层、词嵌入层、卷积层、最大池化层、全连接层和输出层。
构建自动分类模块的方式包括：
使用反向传播方法确定自动分类模块的卷积层参数。
其中一个实施例中，根据不包含噪声的互联网文本信息生成样本集，使用样本集训练自动分类模块，得到训练好的噪声过滤和自动分类模型的步骤包括：
根据不包含噪声的互联网文本信息生成样本集，将样本集通过输入层输入自动分类模块。
由词嵌入层、卷积层和最大池化层提取文本特征向量，由全连接层通过输出层输出互联网文本信息分类结果。
根据自动分类模块输出的文本自动分类结果和对应的文本分类概率值，得到训练好的噪声过滤和自动分类模型。
具体地，本实施例基于google开源的Tensorflow框架构建了卷积神经网络模型。该模型共包含输入层，词嵌入层，卷积层，最大池化层，全连接层和输出层，模型框架如图5所示。
图5所示的模型中，将词嵌入层分为四个区域，分别用unigram，bigram，trigram和4-gram序列表示不同的词嵌入方式，以表示四个不同的特征。然后使用加权函数来获得固定长度的向量，作为整个输入语料库的向量表示。如果输入的文本信息中包含unigram，bigram，trigram和4-gram序列的M个有效词语序列，则其对应的词向量表示为：
Figure BDA0002574491260000101
其中
Figure BDA0002574491260000102
是连接运算符，x1、x2、x3、x4分别为四个序列对应的有效词语序列的向量。
卷积层由多个单元组成，每个卷积单元的参数通过反向传播过程获得。设xi:j为词向量xi,xi+1,…,xi+j的连接，卷积核是w∈Rs*d，其中s是卷积窗口大小，d是词向量维度。本实施例中卷积窗口大小设置为s＝2、3和4(3个不同的卷积层)，每个卷积层包括128个单元。卷积层生成的特征向量Fi为：
Fi＝f(w·xi:i+s+b)
其中b是偏置向量，f是激活函数，在我们的实验中使用Relu函数。之后，将卷积核应用于每个可能的窗口{x1:s,x2:s+1,…xM-s+1:M}，最后生成特征图：
F＝[F1,F2,…,FM-s+1]
池化层用于减小特征的尺寸并提高模型的容错性。在本发明中，采用了最大的池化策略作为池化方法。通过最大池化操作给出映射F，以获得特征
Figure BDA0002574491260000103
Figure BDA0002574491260000104
通过卷积层和池化层，将获得的特征图按行顺序展开并连接成向量，然后将其传递到全连接层，通过输出层给出对应的文本自动分类结果和对应的文本分类概率值。
通过实验测试，本实施例提供的噪声过滤和自动分类模型，其噪声识别任务的平均F1值达到了93.07％，文本分类任务的平均F1值达到了95.61％。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
一种用于互联网文本信息的噪声过滤和自动分类装置，其特征在于，所述装置包括：
模型构建单元，用于构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
互联网文本信息输入单元，用于将预先获取的互联网文本信息输入噪声检测模块。
互联网文本信息噪声检测与过滤单元，用于当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。
模型训练单元，用于根据不包含噪声的互联网文本信息生成样本集，使用样本集训练自动分类模块，得到训练好的噪声过滤和自动分类模型。
互联网文本信息分类单元，用于将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
其中一个实施例中，还包括噪声检测模块构建单元，用于：根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集。将噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块。
其中一个实施例中，噪声过滤模块基于BERT模型建立，噪声检测与过滤单元用于：当检测到互联网文本信息包含噪声时，获取互联网文本信息中的标题文本和正文文本，将正文文本按照预设的规则拆分为正文段落文本。将标题文本和正文段落文本依次输入噪声过滤模块，计算标题文本和正文段落文本间的语义相似度值，当正文段落文本和标题文本间的语义相似度值低于预设值时，将该正文段落文本标记为噪声。按照正文文本中正文段落文本的先后顺序，拼接未标记为噪声的所述正文段落文本，输出不包含噪声的互联网文本信息。
其中一个实施例中，噪声检测与过滤单元用于：将标题文本和正文段落文本依次输入噪声过滤模块，根据预设的余弦相似度算法计算标题文本和正文段落文本间的语义相似度值。当正文段落文本和标题文本间的语义相似度值低于预设值时，将正文段落文本标记为噪声。
其中一个实施例中，自动分类模块基于卷积神经网络，包括输入层、词嵌入层、卷积层、最大池化层、全连接层和输出层。所述装置还包括自动分类模块构建单元，用于使用反向传播方法确定自动分类模块的卷积层参数。
其中一个实施例中，模型训练单元用于：
根据不包含噪声的互联网文本信息生成样本集，将样本集通过输入层输入自动分类模块。
由词嵌入层、卷积层和最大池化层提取文本特征向量，由全连接层通过输出层输出互联网文本信息分类结果。
根据自动分类模块输出的文本自动分类结果和对应的文本分类概率值，得到训练好的噪声过滤和自动分类模型。
关于一种用于互联网文本信息的噪声过滤和自动分类装置的具体限定可以参见上文中对于一种用于互联网文本信息的噪声过滤和自动分类方法的限定，在此不再赘述。上述一种用于互联网文本信息的噪声过滤和自动分类装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个单元对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储互联网文本信息、噪声检测模块、噪声过滤模块、自动分类模块以及一种用于互联网文本信息的噪声过滤和自动分类方法的文本处理过程数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用于互联网文本信息的噪声过滤和自动分类方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
将预先获取的互联网文本信息输入噪声检测模块。
当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。
根据不包含噪声的互联网文本信息生成样本集，使用样本集训练自动分类模块，得到训练好的噪声过滤和自动分类模型。
将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集。将噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当检测到互联网文本信息包含噪声时，获取互联网文本信息中的标题文本和正文文本，将正文文本按照预设的规则拆分为正文段落文本。将标题文本和正文段落文本依次输入噪声过滤模块，计算标题文本和正文段落文本间的语义相似度值，当正文段落文本和标题文本间的语义相似度值低于预设值时，将该正文段落文本标记为噪声。按照正文文本中正文段落文本的先后顺序，拼接未标记为噪声的正文段落文本，输出不包含噪声的互联网文本信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将标题文本和正文段落文本输入预设的噪声过滤模块，根据预设的余弦相似度算法计算标题文本和正文段落文本间的语义相似度值。当正文段落文本和标题文本间的语义相似度值低于预设值时，将正文段落文本标记为噪声。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：使用反向传播方法确定自动分类模块的卷积层参数。
其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据不包含噪声的互联网文本信息生成样本集，将样本集通过输入层输入自动分类模块。由词嵌入层、卷积层和最大池化层提取文本特征向量，由全连接层通过输出层输出互联网文本信息分类结果。根据自动分类模块输出的文本自动分类结果和对应的文本分类概率值，得到训练好的噪声过滤和自动分类模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
构建用于互联网文本信息的噪声过滤和自动分类模型。噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块。噪声检测模块基于FastText模型建立。
将预先获取的互联网文本信息输入噪声检测模块。
当检测到互联网文本信息包含噪声时，将互联网文本信息输入噪声过滤模块，根据互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息。
根据不包含噪声的互联网文本信息生成样本集，使用样本集训练和测试自动分类模块，得到训练好的噪声过滤和自动分类模型。
将预先获取的互联网文本信息输入训练好的噪声过滤和自动分类模型，得到互联网文本分类结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集。将噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当检测到互联网文本信息包含噪声时，获取互联网文本信息中的标题文本和正文文本，将正文文本按照预设的规则拆分为正文段落文本。将标题文本和正文段落文本依次输入噪声过滤模块，计算标题文本和正文段落文本间的语义相似度值，当正文段落文本和标题文本间的语义相似度值低于预设值时，将该正文段落文本标记为噪声。按照正文文本中正文段落文本的先后顺序，拼接未标记为噪声的正文段落文本，输出不包含噪声的互联网文本信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将标题文本和正文段落文本依次输入噪声过滤模块，根据预设的余弦相似度算法计算标题文本和正文段落文本间的语义相似度值。当正文段落文本和标题文本间的语义相似度值低于预设值时，将正文段落文本标记为噪声。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：使用反向传播方法确定自动分类模块的卷积层参数。
其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据不包含噪声的互联网文本信息生成样本集，将样本集通过输入层输入自动分类模块。由词嵌入层、卷积层和最大池化层提取文本特征向量，由全连接层通过输出层输出互联网文本信息分类结果。根据自动分类模块输出的文本自动分类结果和对应的文本分类概率值，得到训练好的噪声过滤和自动分类模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种用于互联网文本信息的噪声过滤和自动分类方法，所述方法包括：
构建用于互联网文本信息的噪声过滤和自动分类模型；所述噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块；所述噪声检测模块基于FastText模型建立；
将预先获取的互联网文本信息输入所述噪声检测模块；
当检测到所述互联网文本信息包含噪声时，将所述互联网文本信息输入所述噪声过滤模块，根据所述互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息；
根据所述不包含噪声的互联网文本信息生成样本集，使用所述样本集训练和测试所述自动分类模块，得到训练好的噪声过滤和自动分类模型；
将预先获取的互联网文本信息输入所述训练好的噪声过滤和自动分类模型，得到互联网文本分类结果；
构建所述噪声检测模块的方式包括：
根据预设的规则标注预先获取的互联网文本数据中的噪声数据和非噪声数据，得到用于模型训练的噪声二分类数据集；
将所述噪声二分类数据集输入预设的FastText文本识别模型，得到训练好的噪声检测模块；
所述噪声过滤模块基于BERT模型建立；
所述当检测到所述互联网文本信息包含噪声时，将所述互联网文本信息输入所述噪声过滤模块，根据所述互联网文本信息中文本对象间的语义相似度值进行过滤，输出不包含噪声的互联网文本信息的步骤包括：
当检测到所述互联网文本信息包含噪声时，获取所述互联网文本信息中的标题文本和正文文本，将所述正文文本按照预设的规则拆分为正文段落文本；
将所述标题文本和所述正文段落文本依次输入所述噪声过滤模块，计算所述标题文本和所述正文段落文本间的语义相似度值，当所述正文段落文本和所述标题文本间的语义相似度值低于预设值时，将所述正文段落文本标记为噪声；
按照所述正文文本中所述正文段落文本的先后顺序，拼接未标记为噪声的所述正文段落文本，输出不包含噪声的互联网文本信息。
2.根据权利要求1所述的方法，其特征在于，将所述标题文本和所述正文段落文本依次输入所述噪声过滤模块，计算所述标题文本和所述正文段落文本间的语义相似度值，当所述正文段落文本和所述标题文本间的语义相似度值低于预设值时，将所述正文段落文本标记为噪声的步骤包括：
将所述标题文本和所述正文段落文本输入所述噪声过滤模块，根据预设的余弦相似度算法计算所述标题文本和所述正文段落文本间的语义相似度值；
当所述正文段落文本和所述标题文本间的语义相似度值低于预设值时，将所述正文段落文本标记为噪声。
3.根据权利要求1所述的方法，其特征在于，所述自动分类模块基于卷积神经网络，包括输入层、词嵌入层、卷积层、最大池化层、全连接层和输出层；
构建所述自动分类模块的方式包括：
使用反向传播方法确定所述自动分类模块的卷积层参数。
4.根据权利要求3所述的方法，所述根据所述不包含噪声的互联网文本信息生成样本集，使用所述样本集训练和测试所述自动分类模块，得到训练好的噪声过滤和自动分类模型的步骤包括：
根据所述不包含噪声的互联网文本信息生成样本集，将所述样本集通过所述输入层输入所述自动分类模块；
由所述词嵌入层、所述卷积层和所述最大池化层提取文本特征向量，由所述全连接层通过所述输出层输出互联网文本信息分类结果；
根据所述自动分类模块输出的文本自动分类结果和对应的文本分类概率值，得到训练好的噪声过滤和自动分类模型。
5.一种用于互联网文本信息的噪声过滤和自动分类装置，其特征在于，所述装置包括：
模型构建单元，用于构建用于互联网文本信息的噪声过滤和自动分类模型；所述噪声过滤和自动分类模型包括预设的噪声检测模块，预设的噪声过滤模块和预设的自动分类模块；所述噪声检测模块基于FastText模型建立；
互联网文本信息输入单元，用于将预先获取的互联网文本信息输入所述噪声检测模块；
互联网文本信息噪声检测与过滤单元，用于当检测到所述互联网文本信息包含噪声时，将所述互联网文本信息输入所述噪声过滤模块，根据所述互联网文本信息中文本对象间的语义相似度值进行过滤，得到不包含噪声的互联网文本信息；
模型训练单元，用于根据所述不包含噪声的互联网文本信息生成样本集，使用所述样本集训练和测试所述自动分类模块，得到训练好的噪声过滤和自动分类模型；
互联网文本信息分类单元，用于将预先获取的互联网文本信息输入所述训练好的噪声过滤和自动分类模型，得到互联网文本分类结果；
所述噪声过滤模块基于BERT模型建立；
所述互联网文本信息噪声检测与过滤单元用于：
当检测到所述互联网文本信息包含噪声时，获取所述互联网文本信息中的标题文本和正文文本，将所述正文文本按照预设的规则拆分为正文段落文本；
将所述标题文本和所述正文段落文本依次输入所述噪声过滤模块，计算所述标题文本和所述正文段落文本间的语义相似度值，当所述正文段落文本和所述标题文本间的语义相似度值低于预设值时，将所述正文段落文本标记为噪声；
按照所述正文文本中所述正文段落文本的先后顺序，拼接未标记为噪声的所述正文段落文本，输出不包含噪声的互联网文本信息。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202010654254.0A 2020-07-08 2020-07-08 一种用于互联网文本信息的噪声过滤和自动分类方法 Active CN111680132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010654254.0A CN111680132B (zh) 2020-07-08 2020-07-08 一种用于互联网文本信息的噪声过滤和自动分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010654254.0A CN111680132B (zh) 2020-07-08 2020-07-08 一种用于互联网文本信息的噪声过滤和自动分类方法

Publications (2)

Publication Number Publication Date
CN111680132A CN111680132A (zh) 2020-09-18
CN111680132B true CN111680132B (zh) 2023-05-19

Family

ID=72457214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010654254.0A Active CN111680132B (zh) 2020-07-08 2020-07-08 一种用于互联网文本信息的噪声过滤和自动分类方法

Country Status (1)

Country Link
CN (1) CN111680132B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650837B (zh) * 2020-12-28 2023-12-12 上海秒针网络科技有限公司 结合分类算法与非监督算法的文本质量控制方法及系统
TWI827984B (zh) * 2021-10-05 2024-01-01 台灣大哥大股份有限公司 網站分類系統及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516055A (zh) * 2019-08-16 2019-11-29 西北工业大学 一种结合bert的用于教学任务的跨平台智能问答实现方法
CN111209401A (zh) * 2020-01-03 2020-05-29 西安电子科技大学 网络舆情文本信息情感极性分类处理系统及方法
CN111310441A (zh) * 2020-01-20 2020-06-19 上海眼控科技股份有限公司 基于bert的语音识别后文本修正方法、装置、终端及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180025012A1 (en) * 2016-07-19 2018-01-25 Fortinet, Inc. Web page classification based on noise removal
US11017180B2 (en) * 2018-04-18 2021-05-25 HelpShift, Inc. System and methods for processing and interpreting text messages
CN109657055A (zh) * 2018-11-09 2019-04-19 中山大学 基于层次混合网络的标题党文章检测方法及联邦学习策略
CN109543110A (zh) * 2018-11-28 2019-03-29 南京航空航天大学 一种微博情感分析方法及系统
CN110096591A (zh) * 2019-04-04 2019-08-06 平安科技（深圳）有限公司 基于词袋模型的长文本分类方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516055A (zh) * 2019-08-16 2019-11-29 西北工业大学 一种结合bert的用于教学任务的跨平台智能问答实现方法
CN111209401A (zh) * 2020-01-03 2020-05-29 西安电子科技大学 网络舆情文本信息情感极性分类处理系统及方法
CN111310441A (zh) * 2020-01-20 2020-06-19 上海眼控科技股份有限公司 基于bert的语音识别后文本修正方法、装置、终端及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于文本筛选和改进BERT的长文本方面级情感分析;王昆;郑毅;方书雅;刘守印;;计算机应用(第10期);全文 *

Also Published As

Publication number Publication date
CN111680132A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
KR102304673B1 (ko) 키워드 추출 방법, 컴퓨터 장치, 및 저장 매체
US11030415B2 (en) Learning document embeddings with convolutional neural network architectures
WO2021114840A1 (zh) 基于语义分析的评分方法、装置、终端设备及存储介质
CN108536800B (zh) 文本分类方法、系统、计算机设备和存储介质
CN111191032B (zh) 语料扩充方法、装置、计算机设备和存储介质
CN108520041B (zh) 文本的行业分类方法、系统、计算机设备和存储介质
CN108108354B (zh) 一种基于深度学习的微博用户性别预测方法
CN109460450B (zh) 对话状态跟踪方法、装置、计算机设备和存储介质
CN111680132B (zh) 一种用于互联网文本信息的噪声过滤和自动分类方法
CN112417859A (zh) 意图识别方法、系统、计算机设备及计算机可读存储介质
CN112100377A (zh) 文本分类方法、装置、计算机设备和存储介质
CN113836992A (zh) 识别标签的方法、训练标签识别模型的方法、装置及设备
CN112183102A (zh) 基于注意力机制与图注意力网络的命名实体识别方法
CN114332893A (zh) 表格结构识别方法、装置、计算机设备和存储介质
CN113761868A (zh) 文本处理方法、装置、电子设备及可读存储介质
CN112580329B (zh) 文本噪声数据识别方法、装置、计算机设备和存储介质
JP2021508391A (ja) 対象領域およびクライアント固有のアプリケーション・プログラム・インタフェース推奨の促進
CN114139551A (zh) 意图识别模型的训练方法及装置、意图识别的方法及装置
CN113326374B (zh) 基于特征增强的短文本情感分类方法及系统
CN111368061B (zh) 短文本过滤方法、装置、介质及计算机设备
CN116775873A (zh) 一种多模态对话情感识别方法
JP2017538226A (ja) スケーラブルなウェブデータの抽出
CN112149389A (zh) 简历信息结构化处理方法、装置、计算机设备和存储介质
CN113569094A (zh) 视频推荐方法、装置、电子设备及存储介质
CN112232360A (zh) 图像检索模型优化方法、图像检索方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant