CN113868419A - 基于人工智能的文本分类方法、装置、设备及介质 - Google Patents
基于人工智能的文本分类方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113868419A CN113868419A CN202111148166.4A CN202111148166A CN113868419A CN 113868419 A CN113868419 A CN 113868419A CN 202111148166 A CN202111148166 A CN 202111148166A CN 113868419 A CN113868419 A CN 113868419A
- Authority
- CN
- China
- Prior art keywords
- text
- vector
- classification
- word
- spliced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 45
- 230000011218 segmentation Effects 0.000 claims abstract description 41
- 238000013145 classification model Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000329 smooth muscle myocyte Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人工智能技术领域,提供了一种基于人工智能的文本分类方法、装置、设备及存储介质。所述方法包括:对待分类文本执行预处理操作得到预处理后的第一文本和第二文本,拼接第一文本与第二文本得到待分类文本的拼接文本,对拼接文本执行分词操作得到拼接文本对应的多个分词,将多个分词输入Bert模型得到第一文本向量,将多个分词输入Glove模型得到第二文本向量,对第一文本向量及第二文本向量执行融合操作,得到拼接文本的目标文本向量,将目标文本向量输入预先构建的文本分类模型中,得到待处理文本的目标分类结果并反馈至用户。本发明可以提高文本分类的准确性。本发明还涉及区块链技术领域,上述待分类文本可以存储于一区块链的节点中。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于人工智能的文本分类方法、装置、设备及存储介质。
背景技术
文本分类是一种自然语言处理任务,可按照一定的分类体系或标准对用户输入的文本进行自动分类标记。
目前,现有技术在对文本进行分类时,大多仅是将文本输入某个分类模型中进行预测,对于包含企业名称及企业经营范围信息的文本,缺少对文本的输入模型前的处理,利用该方案并不能准确的得到企业的行业分类标签。因此亟需提供一种分类准确率更高的文本分类方法来对根据企业文本信息进行标签分类。
发明内容
鉴于以上内容,本发明提供一种基于人工智能的文本分类方法、装置、设备及存储介质,其目的在于解决现有技术中对根据企业文本信息进行标签分类准确率低的技术问题。
为实现上述目的,本发明提供一种基于人工智能的文本分类方法,该方法包括:
响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本;
拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词;
将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量;
将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
优选的,所述将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,包括:
将所述多个分词输入Bert模型得到每个分词对应的第一词向量,基于每个分词对应的第一词向量,利用下述公式计算所述第一文本向量:
其中,VBert表示所述第一文本向量,V1i表示第i个分词的第一词向量,m表示所述多个分词的总数量。
优选的,所述将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,包括:
将所述多个分词输入Glove模型得到每个分词对应的第二词向量,基于每个分词对应的第二词向量,利用下述公式计算所述第二文本向量:
其中,Vglove表示所述第二文本向量,V2i表示第i个分词的第二词向量,m表示所述多个分词的总数量。
优选的,所述对所述第一文本向量及所述第二文本向量执行融合操作,包括:
利用下述公式执行融合操作:
Vinput=αVBert+(1-α)Vglove
其中,Vinput表示所述目标文本向量,VBert表示所述第一文本向量,Vglove表示第二文本向量,α表示权重参数。
优选的,所述文本分类模型的训练过程包括:
获取预设数量的样本文本,为各样本文本标注类别标签,将各样本文本作为自变量、各样本文本的类别标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测类别,所述预先构建的模型包括BiLSTM-Attention模型;
基于所述样本集中每个样本的类别标签读取所述样本集中每个样本的真实类别;
通过最小化所述预测类别与所述真实类别之间的损失值确定所述文本分类模型的结构参数,得到训练好的文本分类模型。
优选的,在得到所述待处理文本的目标分类结果之后,所述方法还包括:
将所述目标分类结果与预先构建的类别标签树进行匹配,得到所述待分类文本对应的关联分类结果,将所述目标分类结果和所述关联分类结果反馈至所述用户。
优选的,所述对所述拼接文本执行分词操作得到拼接文本对应的多个分词,包括:
根据正向最大匹配法将读取到的分词与预设词库进行匹配,得到第一匹配结果,所述第一匹配结果中包含有第一数量的第一词组和第二数量的单字;
根据逆向最大匹配法将读取到的分词与预设词库进行匹配,得到第二匹配结果,所述第二匹配结果中包含有第三数量的第二词组和第四数量的单字;
若所述第一数量与所述第三数量相等且所述第二数量小于或者等于所述第四数量,或者,若所述第一数量小于所述第三数量,则将所述第一匹配结果作为所述拼接文本的分词结果;若所述第一数量与所述第二数量相等且所述第三数量大于所述第四数量,或者,若所述第一数量大于所述第三数量,则将所述第二匹配结果作为所述拼接文本的分词结果。
为实现上述目的,本发明还提供一种基于人工智能的文本分类装置,该基于人工智能的文本分类装置包括:
预处理模块:用于响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本;
拼接模块:用于拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词;
融合模块:用于将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量;
分类模块:用于将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
为实现上述目的,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的基于人工智能的文本分类方法的任意步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有基于人工智能的文本分类程序,所述基于人工智能的文本分类程序被处理器执行时,实现如上所述基于人工智能的文本分类方法的任意步骤。
本发明提出的基于人工智能的文本分类方法、装置、设备及存储介质,通过将预处理后的文本进行拼接后再分词,使得入模的数据更能表达待分类文本的核心观点,通过Bert模型和Glove模型得到各个分词对应的文本向量表示,使得文本分类模型在识别过程中融合了Bert模型和Glove模型的向量化结果,可以提高文本分类的准确性。
附图说明
图1为本发明基于人工智能的文本分类方法较佳实施例的流程图示意图;
图2为本发明基于人工智能的文本分类装置较佳实施例的模块示意图;
图3为本发明电子设备较佳实施例的示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本发明提供一种基于人工智能的文本分类方法。参照图1所示,为本发明基于人工智能的文本分类方法的实施例的方法流程示意图。该方法可以由一个电子设备执行,该电子设备可以由软件和/或硬件实现。基于人工智能的文本分类方法包括:
步骤S10:响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本。
本方案的应用场景可以是对含有企业名称及经营范围的文本的进行行业标签分类,例如,在保险行业中根据客户的企业名称和经营范围录入该客户的一级、二级和三级行业信息时,需要根据客户的文本自动识别出客户所属于的行业标签。可以理解的是,本方案的实际应用场景并不仅限于此,还可以是对医疗文本进行分类,例如,个人健康档案、处方、检查报告等。或者用于对文本进行情感分类(例如,正向情绪或负向情绪的分类)。
在本实施例中,当接收到用户发出的文本分类请求之后,响应该请求并获取请求中携带的待分类文本,其中,请求中可以包括待分类文本,也可以包括待分类文本的存储路径。文本分类请求可以是指用户将待分类文本输入至相关编辑栏,也可以是指用户将含有文本信息的非结构化文档(例如,JPG格式)上传,进一步地,若用户上传的文本信息为图片格式,则可以利用OCR识别模型提取出结构化的待分类文本。可以理解的是,文分类请求可以是通过人机交互界面由用户主动发起。
由于待分类文本可能具有冗余信息,因此需要对待分类文本执行与处理操作,以此删除无关的内容,使文本尽可能简洁,具体地,可以通过预先构建的正则表达式集删除文本中的冗余信息,并查找出第一文本和第二文本,第一文本是指待分类文本中的企业名称,第二文本是指待分类文本中企业的经营范围。
例如,对于某用户输入的待分类文本为:
“企业名称:XXXX网络技术(天津)有限公司
企业经营范围:计算机网络技术、电子信息技术、计算机软硬件技术开发、转让、咨询服务、会议服务、社会经济咨询,劳务服务、酒店管理。(依法须经批准的项目,经相关部门批准后方可开展经营活动)”
可以通过正则表达式将企业客户经营范围文本数据去掉冗余信息,包括多余的标点符号及多余的冗余,例如:“企业名称”、“企业经营范围”、“(依法须经批准的项目,经相关部门批准后方可开展经营活动)”。
步骤S20:拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词。
在本实施例中,在得到第一文本和第二文本之后,将第一文本和第二文本进行拼接得到拼接文本,例如,第一文本为“XXXX网络技术(天津)有限公司”、第二文本为“计算机网络技术电子信息技术计算机软硬件技术开发转让咨询服务会议服务社会经济咨询劳务服务酒店管理”,则拼接后的文本为“XXXX网络技术(天津)有限公司计算机网络技术电子信息技术计算机软硬件技术开发转让咨询服务会议服务社会经济咨询劳务服务酒店管理”,之后可以利用jieba分词器对拼接文本进行分词得到拼接文本对应的多个分词。
在一个实施例中,所述对所述拼接文本执行分词操作得到拼接文本对应的多个分词,包括:
根据正向最大匹配法将读取到的分词与预设词库进行匹配,得到第一匹配结果,所述第一匹配结果中包含有第一数量的第一词组和第二数量的单字;
根据逆向最大匹配法将读取到的分词与预设词库进行匹配,得到第二匹配结果,所述第二匹配结果中包含有第三数量的第二词组和第四数量的单字;
若所述第一数量与所述第三数量相等且所述第二数量小于或者等于所述第四数量,或者,若所述第一数量小于所述第三数量,则将所述第一匹配结果作为所述拼接文本的分词结果;若所述第一数量与所述第二数量相等且所述第三数量大于所述第四数量,或者,若所述第一数量大于所述第三数量,则将所述第二匹配结果作为所述拼接文本的分词结果。
通过该分词方法分析切分文本内容中前后组合内容的粘性,由于通常情况下词组能代表核心观点信息的概率更大,即通过词组更能表达出核心观点信息,因此,通过正反向同时进行分词匹配找出单字数量更少,词组数量更多的分词匹配结果,以作为切分的语句的分词结果,可提高分词的准确性。
步骤S30:将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量。
在本实施例中,将拼接文本对应的多个分词输入Bert模型中,可以得到拼接文本对应的文本向量,记为第一文本向量,并将拼接文本的多个分词输入Glove模型中,可以得到拼接文本对应的文本向量,记为第二文本向量。Glove词模型融合了全局矩阵分解方法(Matrix Factorization)和局部文本框捕捉方法(word2vec),是一种用于获得单词矢量表示的无监督学习算法,可以使得分词的语义上有更丰富的表达,并且能很好的捕捉词的全局统计信息。之后将第一文本向量及第二文本向量执行融合操作得到拼接文本的目标文本向量,融合操作可以是将第一文本向量和第二文本向量直接相加。
在一个实施例中,所述将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,包括:
将所述多个分词输入Bert模型得到每个分词对应的第一词向量,基于每个分词对应的第一词向量,利用下述公式计算所述第一文本向量:
其中,VBert表示所述第一文本向量,V1i表示第i个分词的第一词向量,m表示所述多个分词的总数量。
在一个实施例中,所述将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,包括:
将所述多个分词输入Glove模型得到每个分词对应的第二词向量,基于每个分词对应的第二词向量,利用下述公式计算所述第二文本向量:
其中,Vglove表示所述第二文本向量,V2i表示第i个分词的第二词向量,m表示所述多个分词的总数量。
在一个实施例中,所述对所述第一文本向量及所述第二文本向量执行融合操作,包括:
利用下述公式执行融合操作:
Vinput=αVBert+(1-α)Vglove
其中,Vinput表示所述目标文本向量,VBert表示所述第一文本向量,Vglove表示第二文本向量,α表示权重参数。
步骤S40:将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
在本实施例中,得到待分类文本的目标文本向量之后,将目标文本向量输入预先构建的文本分类模型中,文本分类模型可以采用通过textCNN,DCNN,RCNN,HAN等模型训练得到,得到待处理文本的分类结果后将该结果反馈至用户,文本的目标分类结果在本实施例中是指国家制定的三级行业信息,共有396项(2002版)。进一步地,文本分类模型可以是基于BiLSTM-Attention模型训练得到的,将融合后的目标文本向量输入到BiLSTM模型中,将BiLSTM模型的输出进行加权求和,再将attention模块的输出输入到softmax模块中,输出每个类别对应的最大概率。
其中,所述文本分类模型的训练过程包括:
获取预设数量的样本文本,为各样本文本标注类别标签,将各样本文本作为自变量、各样本文本的类别标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测类别,所述预先构建的模型包括BiLSTM-Attention模型;
基于所述样本集中每个样本的类别标签读取所述样本集中每个样本的真实类别;
通过最小化所述预测类别与所述真实类别之间的损失值确定所述文本分类模型的结构参数,得到训练好的文本分类模型。
为了识别待分类文本所属的行业标签,需要构造数据样本用于模型的训练,可以从第三方数据库或本地数据库中选取10万条历史人工录入的行业类型来构造训练数据,将企业的名称和经营范围拼接在一起作为模型的输入,并对拼接的样本数据标注三级行业标签(即类别标签),即模型的输出为三级行业类型,再将样本数据按照8:2的方式拆分成训练集和验证集以此训练模型。损失函数采用交叉熵损失函数,采用优化算法Adam算法极小化目标函数来训练网络,并通过AUC评价指标来查看模型的效果。当训练过程中模型AUC达到较高的数值并收敛了,则停止训练。在训练过程中,还可以加入FGM对抗训练来提高模型的鲁棒性。
在一个实施例中,在得到所述待处理文本的目标分类结果之后,所述方法还包括:
将所述目标分类结果与预先构建的类别标签树进行匹配,得到所述待分类文本对应的关联分类结果,将所述目标分类结果和所述关联分类结果反馈至所述用户。
由于一个三级行业对应唯一的二级行业,每个二级行业对应唯一的一级行业。因此对于每个企业,如果确定了该企业的三级行业类型,就能根据预先构建的行业类别标签数,反推该企业所属的二级行业和一级行业,之后将该企业所属的各级行业信息反馈给用户。
参照图2所示,为本发明基于人工智能的文本分类装置100的功能模块示意图。
本发明所述基于人工智能的文本分类装置100可以安装于电子设备中。根据实现的功能,所述基于人工智能的文本分类装置100可以包括预处理模块110、拼接模块120、融合模块130及分类模块140。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
预处理模块110,用于响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本;
拼接模块120,用于拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词;
融合模块130,用于将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量;
分类模块140,用于将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
在一个实施例中,所述将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,包括:
将所述多个分词输入Bert模型得到每个分词对应的第一词向量,基于每个分词对应的第一词向量,利用下述公式计算所述第一文本向量:
其中,VBert表示所述第一文本向量,V1i表示第i个分词的第一词向量,m表示所述多个分词的总数量。
在一个实施例中,所述将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,包括:
将所述多个分词输入Glove模型得到每个分词对应的第二词向量,基于每个分词对应的第二词向量,利用下述公式计算所述第二文本向量:
其中,Vglove表示所述第二文本向量,V2i表示第i个分词的第二词向量,m表示所述多个分词的总数量。
在一个实施例中,所述对所述第一文本向量及所述第二文本向量执行融合操作,包括:
利用下述公式执行融合操作:
Vinput=αVBert+(1-α)Vglove
其中,Vinput表示所述目标文本向量,VBert表示所述第一文本向量,Vglove表示第二文本向量,α表示权重参数。
在一个实施例中,所述文本分类模型的训练过程包括:
获取预设数量的样本文本,为各样本文本标注类别标签,将各样本文本作为自变量、各样本文本的类别标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测类别,所述预先构建的模型包括BiLSTM-Attention模型;
基于所述样本集中每个样本的类别标签读取所述样本集中每个样本的真实类别;
通过最小化所述预测类别与所述真实类别之间的损失值确定所述文本分类模型的结构参数,得到训练好的文本分类模型。
在一个实施例中,分类模块140还用于:
将所述目标分类结果与预先构建的类别标签树进行匹配,得到所述待分类文本对应的关联分类结果,将所述目标分类结果和所述关联分类结果反馈至所述用户。
在一个实施例中,所述对所述拼接文本执行分词操作得到拼接文本对应的多个分词,包括:
根据正向最大匹配法将读取到的分词与预设词库进行匹配,得到第一匹配结果,所述第一匹配结果中包含有第一数量的第一词组和第二数量的单字;
根据逆向最大匹配法将读取到的分词与预设词库进行匹配,得到第二匹配结果,所述第二匹配结果中包含有第三数量的第二词组和第四数量的单字;
若所述第一数量与所述第三数量相等且所述第二数量小于或者等于所述第四数量,或者,若所述第一数量小于所述第三数量,则将所述第一匹配结果作为所述拼接文本的分词结果;若所述第一数量与所述第二数量相等且所述第三数量大于所述第四数量,或者,若所述第一数量大于所述第三数量,则将所述第二匹配结果作为所述拼接文本的分词结果。
参照图3所示,为本发明电子设备1较佳实施例的示意图。
该电子设备1包括但不限于:存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络,获取原始数据。其中,所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobilecommunication,GSM)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中,存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器11可以是所述电子设备1的内部存储单元,例如该电子设备1的硬盘或内存。在另一些实施例中,所述存储器11也可以是所述电子设备1的外部存储设备,例如该电子设备1配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中,存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件,例如基于人工智能的文本分类程序10的程序代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作,例如执行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行基于人工智能的文本分类程序10的程序代码等。
显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode,OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面,例如显示数据统计的结果。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口),该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
图3仅示出了具有组件11-14以及基于人工智能的文本分类程序10的电子设备1,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
可选地,所述电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode,OLED)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
该电子设备1还可以包括射频(Radio Frequency,RF)电路、传感器和音频电路等等,在此不再赘述。
在上述实施例中,处理器12执行存储器11中存储的基于人工智能的文本分类程序10时可以实现如下步骤:
响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本;
拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词;
将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量;
将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
所述存储设备可以为电子设备1的存储器11,也可以为与电子设备1通讯连接的其它存储设备。
关于上述步骤的详细介绍,请参照上述图2关于基于人工智能的文本分类装置100实施例的功能模块图以及图1关于基于人工智能的文本分类方法实施例的流程图的说明。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质可以是非易失性的,也可以是易失性的。该计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读存储介质中包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有基于人工智能的文本分类程序10,所述基于人工智能的文本分类程序10被处理器执行时实现如下操作:
响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本;
拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词;
将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量;
将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
本发明之计算机可读存储介质的具体实施方式与上述基于人工智能的文本分类方法的具体实施方式大致相同,在此不再赘述。
在另一个实施例中,本发明所提供的基于人工智能的文本分类方法,为进一步保证上述所有出现的数据的私密和安全性,上述所有数据还可以存储于一区块链的节点中。例如待分类文本及目标分类结果等,这些数据均可存储在区块链节点中。
需要说明的是,本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,电子装置,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于人工智能的文本分类方法,应用于电子设备,其特征在于,所述方法包括:
响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本;
拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词;
将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量;
将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
4.如权利要求1所述的基于人工智能的文本分类方法,其特征在于,所述对所述第一文本向量及所述第二文本向量执行融合操作,包括:
利用下述公式执行融合操作:
Vinput=αVBert+(1-α)Vglove
其中,Vinput表示所述目标文本向量,VBert表示所述第一文本向量,Vglove表示第二文本向量,α表示权重参数。
5.如权利要求1所述的基于人工智能的文本分类方法,其特征在于,所述文本分类模型的训练过程包括:
获取预设数量的样本文本,为各样本文本标注类别标签,将各样本文本作为自变量、各样本文本的类别标签作为因变量生成样本集;
将所述样本集中每个样本输入预先构建的模型,得到所述样本集中每个样本的预测类别,所述预先构建的模型包括BiLSTM-Attention模型;
基于所述样本集中每个样本的类别标签读取所述样本集中每个样本的真实类别;
通过最小化所述预测类别与所述真实类别之间的损失值确定所述文本分类模型的结构参数,得到训练好的文本分类模型。
6.如权利要求1所述的基于人工智能的文本分类方法,其特征在于,在得到所述待处理文本的目标分类结果之后,所述方法还包括:
将所述目标分类结果与预先构建的类别标签树进行匹配,得到所述待分类文本对应的关联分类结果,将所述目标分类结果和所述关联分类结果反馈至所述用户。
7.如权利要求1至6中任意一项所述的基于人工智能的文本分类方法,其特征在于,所述对所述拼接文本执行分词操作得到拼接文本对应的多个分词,包括:
根据正向最大匹配法将读取到的分词与预设词库进行匹配,得到第一匹配结果,所述第一匹配结果中包含有第一数量的第一词组和第二数量的单字;
根据逆向最大匹配法将读取到的分词与预设词库进行匹配,得到第二匹配结果,所述第二匹配结果中包含有第三数量的第二词组和第四数量的单字;
若所述第一数量与所述第三数量相等且所述第二数量小于或者等于所述第四数量,或者,若所述第一数量小于所述第三数量,则将所述第一匹配结果作为所述拼接文本的分词结果;若所述第一数量与所述第二数量相等且所述第三数量大于所述第四数量,或者,若所述第一数量大于所述第三数量,则将所述第二匹配结果作为所述拼接文本的分词结果。
8.一种基于人工智能的文本分类装置,其特征在于,所述装置包括:
预处理模块:用于响应用户发出的文本分类请求并获取待分类文本,对所述待分类文本执行预处理操作以确定所述待分类文本中的第一文本和第二文本;
拼接模块:用于拼接所述第一文本与所述第二文本得到所述待分类文本的拼接文本,对所述拼接文本执行分词操作得到拼接文本对应的多个分词;
融合模块:用于将所述多个分词输入Bert模型得到所述拼接文本的第一文本向量,将所述多个分词输入Glove模型得到所述拼接文本的第二文本向量,对所述第一文本向量及所述第二文本向量执行融合操作,得到所述拼接文本的目标文本向量;
分类模块:用于将所述目标文本向量输入预先构建的文本分类模型中,得到所述待处理文本的目标分类结果,并将所述目标分类结果反馈至所述用户。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的程序,所述程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于人工智能的文本分类方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有基于人工智能的文本分类程序,所述基于人工智能的文本分类程序被处理器执行时,实现如权利要求1至7中任一项所述基于人工智能的文本分类方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111148166.4A CN113868419B (zh) | 2021-09-29 | 基于人工智能的文本分类方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111148166.4A CN113868419B (zh) | 2021-09-29 | 基于人工智能的文本分类方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113868419A true CN113868419A (zh) | 2021-12-31 |
CN113868419B CN113868419B (zh) | 2024-05-31 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817526A (zh) * | 2022-02-21 | 2022-07-29 | 华院计算技术(上海)股份有限公司 | 文本分类方法及装置、存储介质、终端 |
CN115048524A (zh) * | 2022-08-15 | 2022-09-13 | 中关村科学城城市大脑股份有限公司 | 文本分类展示方法、装置、电子设备和计算机可读介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110580288A (zh) * | 2019-08-23 | 2019-12-17 | 腾讯科技(深圳)有限公司 | 基于人工智能的文本分类方法和装置 |
CN111400492A (zh) * | 2020-02-17 | 2020-07-10 | 合肥工业大学 | 基于sfm-dcnn的层次特征文本分类方法和系统 |
US20200293720A1 (en) * | 2018-02-01 | 2020-09-17 | Tencent Technology (Shenzhen) Company Limited | Text classification method, computer device, and storage medium |
CN111695345A (zh) * | 2020-06-12 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 文本中实体识别方法、以及装置 |
CN111737476A (zh) * | 2020-08-05 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、计算机可读存储介质及电子设备 |
US20200372225A1 (en) * | 2019-05-22 | 2020-11-26 | Royal Bank Of Canada | System and method for controllable machine text generation architecture |
CN112069230A (zh) * | 2020-09-07 | 2020-12-11 | 中国平安财产保险股份有限公司 | 数据分析方法、装置、设备及存储介质 |
CN112214601A (zh) * | 2020-10-21 | 2021-01-12 | 厦门市美亚柏科信息股份有限公司 | 一种社交短文本情感分类方法、装置及存储介质 |
CN112328791A (zh) * | 2020-11-09 | 2021-02-05 | 济南大学 | 一种基于DiTextCNN的中文政务信息的文本分类方法 |
CN113010643A (zh) * | 2021-03-22 | 2021-06-22 | 平安科技(深圳)有限公司 | 佛学领域词汇的处理方法、装置、设备及存储介质 |
WO2021135446A1 (zh) * | 2020-06-19 | 2021-07-08 | 平安科技(深圳)有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200293720A1 (en) * | 2018-02-01 | 2020-09-17 | Tencent Technology (Shenzhen) Company Limited | Text classification method, computer device, and storage medium |
US20200372225A1 (en) * | 2019-05-22 | 2020-11-26 | Royal Bank Of Canada | System and method for controllable machine text generation architecture |
CN110580288A (zh) * | 2019-08-23 | 2019-12-17 | 腾讯科技(深圳)有限公司 | 基于人工智能的文本分类方法和装置 |
CN111400492A (zh) * | 2020-02-17 | 2020-07-10 | 合肥工业大学 | 基于sfm-dcnn的层次特征文本分类方法和系统 |
CN111695345A (zh) * | 2020-06-12 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 文本中实体识别方法、以及装置 |
WO2021135446A1 (zh) * | 2020-06-19 | 2021-07-08 | 平安科技(深圳)有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
CN111737476A (zh) * | 2020-08-05 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 文本处理方法、装置、计算机可读存储介质及电子设备 |
CN112069230A (zh) * | 2020-09-07 | 2020-12-11 | 中国平安财产保险股份有限公司 | 数据分析方法、装置、设备及存储介质 |
CN112214601A (zh) * | 2020-10-21 | 2021-01-12 | 厦门市美亚柏科信息股份有限公司 | 一种社交短文本情感分类方法、装置及存储介质 |
CN112328791A (zh) * | 2020-11-09 | 2021-02-05 | 济南大学 | 一种基于DiTextCNN的中文政务信息的文本分类方法 |
CN113010643A (zh) * | 2021-03-22 | 2021-06-22 | 平安科技(深圳)有限公司 | 佛学领域词汇的处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
刘凯洋;: "结合Bert字向量和卷积神经网络的新闻文本分类方法", 电脑知识与技术, no. 01, 5 January 2020 (2020-01-05) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114817526A (zh) * | 2022-02-21 | 2022-07-29 | 华院计算技术(上海)股份有限公司 | 文本分类方法及装置、存储介质、终端 |
CN114817526B (zh) * | 2022-02-21 | 2024-03-29 | 华院计算技术(上海)股份有限公司 | 文本分类方法及装置、存储介质、终端 |
CN115048524A (zh) * | 2022-08-15 | 2022-09-13 | 中关村科学城城市大脑股份有限公司 | 文本分类展示方法、装置、电子设备和计算机可读介质 |
CN115048524B (zh) * | 2022-08-15 | 2022-10-28 | 中关村科学城城市大脑股份有限公司 | 文本分类展示方法、装置、电子设备和计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112988963B (zh) | 基于多流程节点的用户意图预测方法、装置、设备及介质 | |
CN111680634A (zh) | 公文文件处理方法、装置、计算机设备及存储介质 | |
CN113707300A (zh) | 基于人工智能的搜索意图识别方法、装置、设备及介质 | |
CN111984792A (zh) | 网站分类方法、装置、计算机设备及存储介质 | |
Shen et al. | A joint model for multimodal document quality assessment | |
CN111324738B (zh) | 一种确定文本标签的方法和系统 | |
CN112052305A (zh) | 信息提取方法、装置、计算机设备及可读存储介质 | |
CN115687647A (zh) | 公证文书生成方法、装置、电子设备及存储介质 | |
CN114840869A (zh) | 基于敏感度识别模型的数据敏感度识别方法及装置 | |
CN110610003B (zh) | 用于辅助文本标注的方法和系统 | |
CN116151233A (zh) | 数据标注、生成方法、模型训练方法、设备和介质 | |
KR102185733B1 (ko) | 프로필 자동생성서버 및 방법 | |
CN113837113A (zh) | 基于人工智能的文档校验方法、装置、设备及介质 | |
CN113420018A (zh) | 用户行为数据分析方法、装置、设备及存储介质 | |
CN116453125A (zh) | 基于人工智能的数据录入方法、装置、设备及存储介质 | |
CN115718807A (zh) | 人员关系分析方法、装置、设备及存储介质 | |
CN113449083B (zh) | 作业安全管理方法、装置、设备及存储介质 | |
CN113868419B (zh) | 基于人工智能的文本分类方法、装置、设备及介质 | |
CN114943306A (zh) | 意图分类方法、装置、设备及存储介质 | |
CN113868419A (zh) | 基于人工智能的文本分类方法、装置、设备及介质 | |
CN114676307A (zh) | 基于用户检索的排序模型训练方法、装置、设备及介质 | |
CN113626605A (zh) | 信息分类方法、装置、电子设备及可读存储介质 | |
CN112199954A (zh) | 基于语音语义的疾病实体匹配方法、装置及计算机设备 | |
CN111680513B (zh) | 特征信息的识别方法、装置及计算机可读存储介质 | |
US20240134612A1 (en) | Automatic program code generation device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |