CN113032572A - 基于文本匹配模型的文本分类方法、装置及相关设备 - Google Patents

基于文本匹配模型的文本分类方法、装置及相关设备 Download PDF

Info

Publication number
CN113032572A
CN113032572A CN202110463070.0A CN202110463070A CN113032572A CN 113032572 A CN113032572 A CN 113032572A CN 202110463070 A CN202110463070 A CN 202110463070A CN 113032572 A CN113032572 A CN 113032572A
Authority
CN
China
Prior art keywords
feature
enhancement
text
layer
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110463070.0A
Other languages
English (en)
Other versions
CN113032572B (zh
Inventor
刘吉刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110463070.0A priority Critical patent/CN113032572B/zh
Publication of CN113032572A publication Critical patent/CN113032572A/zh
Application granted granted Critical
Publication of CN113032572B publication Critical patent/CN113032572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于文本匹配模型的文本分类方法，应用于人工智能领域，用于解决对文本匹配的匹配结果预测不准确的技术问题。本发明提供的方法包括：通过文本匹配模型中的编码层对第一文本语料和第二文本语料进行处理，得到第一文本语料的编码特征和第二文本语料的编码特征；通过特征增强层对第一文本语料和第二文本语料的编码特征进行处理，得到第一增强特征和第二增强特征；通过注意力融合层得到突出的第一增强特征和突出的第二增强特征；通过注意力融合层对第一增强特征和突出的第一增强特征进行融合，得到第一融合特征，对第二增强特征和突出的第二增强特征进行融合，得到第二融合特征；根据这两个融合特征得到两个文本语料之间的匹配概率。

Description

基于文本匹配模型的文本分类方法、装置及相关设备
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于文本匹配模型的文本分类方法、装置、计算机设备及存储介质。
背景技术
在自然语言的处理场景中，建立两个句子的语义关系模型是非常重要的一个步骤，被广泛的应用在很多场景，例如释义检测、自然语言推理、文本匹配等。在文本匹配技术领域，神经网络取得了令人瞩目的成果，神经网络可以从大量的数据中获取信息，并且有强大的学习能力。跨句子的attention被广泛应用在神经网络中，用来做文本匹配。
传统的文本匹配模型包括编码层、对齐层和分类层，需要进行文本匹配的两个文本中的词语分别通过该文本匹配模型中的不同层进行不同的处理，得到携带有对应语义信息的特征向量传递给下一层，最后通过分类层输出这两个文本的匹配概率。然而在通过对齐层对中间的句子特征做跨句子attention时，由于句子经过不同的层取得了不同的语义信息，可能不能直接用来做匹配，并且每个中间层特征的处理结果与前面层输出的特征结果紧密相连，如果前面层输出有错误的特征信息，该错误的特征信息会一直传递下去，从而导致中间特征输入到对齐层时不能对齐，最终会导致该文本匹配模型输出的匹配概率不准确。
发明内容
本发明实施例提供一种基于文本匹配模型的文本分类方法、装置、计算机设备及存储介质，以解决对文本匹配的匹配结果预测不准确的技术问题。
一种基于文本匹配模型的文本分类方法，所述文本匹配模型包括编码层、特征增强层、注意力融合层和分类层，所述方法包括：
获取待匹配的第一文本语料和第二文本语料；
通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；
通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；
通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；
通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；
通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；
所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
一种基于文本匹配模型的文本分类装置，所述装置包括：
语料获取模块，用于获取待匹配的第一文本语料和第二文本语料；
第一处理模块，用于通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；
第二处理模块，用于通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；
增强模块，用于通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；
突出模块，用于通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；
融合模块，用于通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；
概率匹配模块，用于所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于文本匹配模型的文本分类方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于文本匹配模型的文本分类方法的步骤。
本发明提出的基于文本匹配模型的文本分类方法、装置、计算机设备及存储介质，通过对文本匹配模型的结构进行改进，通过增强对齐层弱化文本特征中传递的错误信息，进而获取更好的两个句子之间的互相注意力特征，并通过注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，对所述第二增强特征和所述突出的所述第二增强特征进行融合，将对齐的特征融合进初始特征中，可以逐渐优化对齐的特征，利用分类层输出所述第一文本语料和所述第二文本语料之间的匹配概率，不仅可以有效地进行文本对齐、文本匹配，并且比传统的文本匹配方法匹配速度更快，此外，因为融合多种特征，并且叠加了对齐层，本发明对短文本的匹配分类的效果也比较好。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于文本匹配模型的文本分类方法的一应用环境示意图；
图2是本发明一实施例中基于文本匹配模型的文本分类方法的一流程图；
图3是本发明一实施例中训练所述文本匹配模型的一流程图；
图4是本发明实施例图2中步骤S102的详细实现流程图；
图5是本发明一实施例中文本匹配模型的结构示意图；
图6是本发明一实施例中基于文本匹配模型的文本分类装置的结构示意图；
图7是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的基于文本匹配模型的文本分类方法，可应用在如图1的应用环境中，其中，该计算机设备可以通过网络与其他设备，例如服务器进行通信。其中，该计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
为了弱化文本特征在文本匹配模型中通过前面层传递的错误信息，提高文本匹配模型对两个待测文本是否匹配的预测准确性，在一实施例中，如图2所示，本实施例提出了一种基于文本匹配模型的文本分类方法，该文本匹配模型包括编码层、特征增强层、注意力融合层和分类层，所述基于文本匹配模型的文本分类方法包括以下步骤S101至S107。
S101、获取待匹配的第一文本语料和第二文本语料。
可以理解的是，本实施例中的第一文本语料和第二文本语料为需要利用该文本匹配模型判断这两个文本语料是否匹配的预料。匹配的场景包括但不限于原始文本和该原始文本的释义文本，即判断该释义文本和该原始文本是否匹配，当该原始文本即第一文本语料为中文时，该释义文本即该第二文本语料可以为日文或者英文等。
在其它匹配场景中，例如在机器人智能问答的场景中，需要把用户输入的问题和知识库中的标准问答问题进行匹配，在这种情况下该第一文本语料可以是用户输入的问题文本，该第二文本语料可以是知识库中需要进行匹配的标准问答问题文本。具体地，该第一文本语料例如“我要去XX酒店”，匹配得到的第二文本语料例如“查询当前位置至XX酒店的最优路线”。
S102、通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征。
可以理解的是，该编码层用于将第一文本语料和所述第二文本语料转换为相应的特征向量，以输入进后面的层。
图3是本发明一实施例中训练所述文本匹配模型的一流程图，在其中一个实施例中，如图3所示，训练所述文本匹配模型的步骤包括以下步骤S301至S303：
S301、根据用户的输入配置所述文本匹配模型的层数以及每层包括的参数；
S302、获取包含有第一文本语料样本和第二文本语料样本的若干个样本组，每个所述样本组携带有对应的第一文本语料样本和第二文本语料样本是否匹配的标注；
S303、通过所述样本组对所述文本匹配模型进行训练，当所述文本匹配模型的损失函数收敛时，得到所述文本匹配模型中每层的参数值。
在其中一个实施例中，该文本匹配模型具体包括编码层、特征增强层、注意力融合层和分类层，该特征增强层中需要配置和训练的参数包括Wg、We、Wh、ze、zh，该注意力融合层中需要配置和训练的参数包括Wc、Wf、zf。
在其中一个实施例中，所述编码层包括Embedding层和token层，所述第一文本语料的编码特征包括第一词特征、第一上下文特征和第一中间特征，图4是本发明实施例图2中步骤S102的详细实现流程图，如图4所示，所述通过所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征的步骤包括：
S401、通过所述Embedding层对所述第一文本语料进行处理，得到所述第一词特征；
S402、通过所述token层对所述第一词特征进行token处理，得到所述第一中间特征；
S403、通过双向长短期记忆网络LSTM(Long Short-Term Memory)中的Encoder对所述第一中间特征进行编码，得到所述第一上下文特征。
其中，该第一词特征可以用Ea表示，该第一中间特征可以用a表示，该第一上下文特征可以用Ha表示。
S103、通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征。
对应地，该第二文本语料的编码特征包括第二词特征、第二上下文特征和第二中间特征，所述通过所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征的步骤包括：
通过所述Embedding层对所述第二文本语料进行处理，得到所述第二词特征；
通过所述token层对所述第二词特征进行token处理，得到所述第二中间特征；
通过双向长短期记忆网络LSTM中的Encoder对所述第二中间特征进行编码，得到所述第二上下文特征。
其中，该第二词特征可以用Eb表示，该第二中间特征可以用b表示，该第二上下文特征可以用Hb表示。
在其中一个实施例中，图5为该文本匹配模型的结构示意图，如图5所示，Ea代表词特征，Ha表示上下文特征，a表示中间特征，Encoding表示编码层，Enhanced Alignment表示增强对齐层，Classification表示分类层，Feature Augmentation表示特征增强层，Enhanced Co-attention&Fusion Layer表示注意力融合层。
其中，词特征、上下文特征和中间特征多次对齐堆叠到一起，并且各自使用独立的参数。可以理解的是，该文本匹配模型是一个对称的结构，两边分别是做匹配的两个文本，基于空间限制，图5中Omitted部分在上图中省略。该文本匹配模型中融合了词特征和上下文特征，然后添加到了网络的中间特征中。
在该编码层中，输入的第一文本语料和第二文本语料首先通过embedding层获得词特征Ea，再根据该词特征Ea与token进行融合，得到中间特征a，然后将该中间特征a输入到双向LSTM的encoder中获得上下文特征Ha。
S104、通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征。
如图5所示，该增强对齐层包括特征增强层、注意力融合层，所述编码层的输出作为此层的输入。
在其中一个实施例中，所述通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征的步骤包括：
通过以下公式(1-1)计算所述第一增强特征：
Figure BDA0003033835680000071
其中，
Figure BDA0003033835680000072
表示所述第一增强特征，ai表示所述第一中间特征，
Figure BDA0003033835680000073
表示所述第一词特征，
Figure BDA0003033835680000074
表示所述第一上下文特征，
Figure BDA0003033835680000075
表示第一词特征门系数，
Figure BDA0003033835680000076
表示第一上下文特征门系数；
通过以下公式(2-1)计算所述第一词特征门系数
Figure BDA0003033835680000077
Figure BDA0003033835680000081
其中，σ表示sigmoid函数，Wg、We和ze表示训练得到的所述特征增强层的中的参数，ai表示所述第一中间特征，
Figure BDA0003033835680000082
表示所述第一词特征；
对应地，通过以下公式(3-1)计算所述第一上下文特征门系数
Figure BDA0003033835680000083
Figure BDA0003033835680000084
其中，σ表示sigmoid函数，Wg、Wh和zh表示训练得到的所述特征增强层中的参数，ai表示所述第一中间特征，
Figure BDA0003033835680000085
表示所述第一上下文特征。
对应地，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到所述第二增强特征的步骤包括：
通过以下公式(1-2)计算所述第二增强特征
Figure BDA0003033835680000086
其中，
Figure BDA0003033835680000087
表示所述第二增强特征，bi表示所述第二中间特征，
Figure BDA0003033835680000088
表示所述第二词特征，
Figure BDA0003033835680000089
表示所述第二上下文特征，
Figure BDA00030338356800000810
表示第二词特征门系数，
Figure BDA00030338356800000811
表示第二上下文特征门系数。
在其中一个实施例中，通过以下公式(2-2)计算所述第二词特征门系数
Figure BDA00030338356800000812
Figure BDA00030338356800000813
其中，σ表示sigmoid函数，Wg、We和ze表示训练得到的所述特征增强层中的参数，bi表示所述第二中间特征，
Figure BDA00030338356800000814
表示所述第二词特征。
对应地，通过以下公式(3-2)计算所述第二上下文特征门系数
Figure BDA00030338356800000815
Figure BDA00030338356800000816
其中，σ表示sigmoid函数，Wg、Wh和zh表示训练得到的所述特征增强层的中的参数，bi表示所述第二中间特征，
Figure BDA00030338356800000817
表示所述第二上下文特征。
本实施例通过利用特征增强层分别对所述第一文本语料的编码特征和所述第二文本语料的编码特征进行增强，在对第一文本语料的编码特征进行特征增强时结合第二文本语料的编码特征进行对齐，同样在对第二文本语料的编码特征进行特征增强时结合第一文本语料的编码特征进行对齐，得到的第一增强特征和第二增强特征弱化文本特征中传递的错误信息，通过对第一文本语料的编码特征和所述第二文本语料的编码特征进行优化，以获取更好的两个句子之间的互相注意力特征。
S105、通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征。
在其中一个实施例中，所述通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性的步骤包括：
通过以下公式(4)计算所述第一增强特征和所述第二增强特征之间的相似性·
Figure BDA0003033835680000091
其中，eij表示第一增强特征
Figure BDA0003033835680000092
中的第i个元素与第二增强特征
Figure BDA0003033835680000093
中的第j个元素之间的相似性，ReLU表示ReLU函数，Wc表示训练得到的所述注意力融合层中的参数。
可以理解的是，计算出的第一增强特征和第二增强特征之间的相似性可以表示第一文本语料和第二文本语料的互相注意的特征。
进一步地，所述根据所述相似性对所述第一增强特征进行突出，得到所述突出的第一增强特征的步骤包括：
通过以下公式(5)计算所述突出的第一增强特征：
Figure BDA0003033835680000094
其中，a′i表示所述突出的第一增强特征，n表示所述第二增强特征
Figure BDA0003033835680000095
的长度，
Figure BDA0003033835680000096
表示所述第二增强特征中的第j个元素，exp表示指数函数，eij表示第一增强特征
Figure BDA0003033835680000097
中的第i个元素与第二增强特征
Figure BDA0003033835680000098
中的第j个元素之间的相似性，eik表示第一增强特征
Figure BDA0003033835680000099
中的第i个元素与第二增强特征
Figure BDA00030338356800000910
中的第k个元素之间的相似性。
对应地，通过以下公式(6)计算所述突出的第二增强特征：
Figure BDA0003033835680000101
其中，l′j表示所述突出的第二增强特征，m表示所述第一增强特征
Figure BDA0003033835680000102
的长度，
Figure BDA0003033835680000103
表示所述第一增强特征中的第i个元素，exp表示指数函数，eij表示第一增强特征
Figure BDA0003033835680000104
中的第i个元素与第二增强特征
Figure BDA0003033835680000105
中的第j个元素之间的相似性，ekj表示第一增强特征
Figure BDA0003033835680000106
中的第k个元素与第二增强特征
Figure BDA0003033835680000107
中的第j个元素之间的相似性。
本步骤通过根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，使得第一文本语料的编码特征和所述第二文本语料的编码特征中相匹配的元素更加突显，从而进一步优化两个句子之间的互相注意力特征。
S106、通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征。
在其中一个实施例中，所述通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征的步骤包括：
通过以下公式(7)计算所述第一融合特征：
Figure BDA0003033835680000108
其中，
Figure BDA0003033835680000109
表示所述第一融合特征，ReLU表示ReLU函数，
Figure BDA00030338356800001010
表示所述第一增强特征，a′i表示所述突出的第一增强特征，con表示向量拼接，°表示元素层面的乘积。
对应地，所述对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征的步骤包括：
通过以下公式(8)计算所述第二融合特征：
Figure BDA00030338356800001011
其中，
Figure BDA0003033835680000111
表示所述第二融合特征，ReLU表示ReLU函数，
Figure BDA0003033835680000112
表示所述第二增强特征，b′i表示所述突出的第二增强特征，con表示向量拼接，°表示元素层面的乘积。
S107、所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
其中，当得到的所述第一文本语料和所述第二文本语料之间的匹配概率大于预设概率值时，表示该第一文本语料和该第二文本语料被分为同一类。进一步地，该预设概率值例如89％。
在其中一个实施例中，所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率的步骤包括以下步骤(1)～(3)：
(1)计算所述第一融合特征中各个元素的第一平均值和所述第二融合特征中各个元素的第二平均值；
(2)获取所述第一融合特征中取值最大的第一融合元素和所述第二融合特征中取值最大的第二融合元素；
(3)将所述第一平均值、所述第二平均值、所述第一融合元素和所述第二融合元素输入至所述分类层，得到所述第一文本语料和所述第二文本语料之间的匹配概率。
其中，该步骤(1)至(3)可以通过图5中的Pooling部分来实现。
可以理解的是，本实施例通过计算所述第一融合特征中各个元素的第一平均值和所述第二融合特征中各个元素的第二平均值，并获取所述第一融合特征中取值最大的第一融合元素和所述第二融合特征中取值最大的第二融合元素，仅将所述第一平均值、所述第二平均值、所述第一融合元素和所述第二融合元素输入至所述分类层，相比于将第一融合特征中每个元素的取值和第二融合特征中每个元素的取值直接输入至分类层，分类层的运算量大大降低，可以提高分类层的运算速度，从而进一步提高该文本匹配模型的匹配速度。
本实施例通过对文本匹配模型的结构进行改进，通过增强对齐层弱化文本特征中传递的错误信息，进而获取更好的两个句子之间的互相注意力特征，并通过注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，对所述第二增强特征和所述突出的所述第二增强特征进行融合，将对齐的特征融合进初始特征中，可以逐渐优化对齐的特征，利用分类层输出所述第一文本语料和所述第二文本语料之间的匹配概率，使得文本匹配的效果和准确率更好。
本实施例提出的文本匹配模型把词特征和上下文特征融合进了中间层特征中，并且通过结合门系数可以获得更好的两个句子之间的互相注意特征，这种处理方法不仅可以有效地进行文本对齐、文本匹配，并且比传统的文本匹配方法匹配速度更快，效果更好。此外，因为融合多种特征，并且叠加了多个对齐层，本实施例提出的基于文本匹配模型的文本分类方法对短文本的匹配分类的效果也很好。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于文本匹配模型的文本分类装置，该基于文本匹配模型的文本分类装置100与上述实施例中基于文本匹配模型的文本分类方法一一对应。如图6所示，该基于文本匹配模型的文本分类装置100包括语料获取模块11、第一处理模块12、第二处理模块13、增强模块14、突出模块15、融合模块16和概率匹配模块17。各功能模块详细说明如下：
语料获取模块11，用于获取待匹配的第一文本语料和第二文本语料；
第一处理模块12，用于通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；
第二处理模块13，用于通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；
增强模块14，用于通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；
突出模块15，用于通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；
融合模块16，用于通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；
概率匹配模块17，用于所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
在其中一个实施例中，该基于文本匹配模型的文本分类装置100还包括：
参数配置模块，用于根据用户的输入配置所述文本匹配模型的层数以及每层包括的参数；
样本组获取模块，用于获取包含有第一文本语料样本和第二文本语料样本的若干个样本组，每个所述样本组携带有对应的第一文本语料样本和第二文本语料样本是否匹配的标注；
训练模块，用于通过所述样本组对所述文本匹配模型进行训练，当所述文本匹配模型的损失函数收敛时，得到所述文本匹配模型中每层的参数值。
在其中一个实施例中，所述编码层包括Embedding层和token层，所述第一文本语料的编码特征包括第一词特征、第一上下文特征和第一中间特征，所述第一处理模块12具体包括：
第一处理单元，用于通过所述Embedding层对所述第一文本语料进行处理，得到所述第一词特征；
第二处理单元，用于通过所述token层对所述第一词特征进行token处理，得到所述第一中间特征；
第一编码单元，用于通过双向长短期记忆网络LSTM中的Encoder对所述第一中间特征进行编码，得到所述第一上下文特征。
在其中一个实施例中，所述第二文本语料的编码特征包括第二词特征、第二上下文特征和第二中间特征，所述第二处理模块13包括：
第三处理单元，用于通过所述Embedding层对所述第二文本语料进行处理，得到所述第二词特征；
第四处理单元，用于通过所述token层对所述第二词特征进行token处理，得到所述第二中间特征；
第二编码单元，用于通过双向长短期记忆网络LSTM中的Encoder对所述第二中间特征进行编码，得到所述第二上下文特征。
在其中一个实施例中，所述增强模块具体用于：
通过以下公式计算所述第一增强特征：
Figure BDA0003033835680000141
其中，
Figure BDA0003033835680000142
表示所述第一增强特征，ai表示所述第一中间特征，
Figure BDA0003033835680000143
表示所述第一词特征，
Figure BDA0003033835680000144
表示所述第一上下文特征，
Figure BDA0003033835680000145
表示第一词特征门系数，
Figure BDA0003033835680000146
表示第一上下文特征门系数；
通过以下公式计算所述第一词特征门系数
Figure BDA0003033835680000147
Figure BDA0003033835680000148
其中，σ表示sigmoid函数，Wg、We和ze表示训练得到的所述特征增强层的中的参数，ai表示所述第一中间特征，
Figure BDA0003033835680000149
表示所述第一词特征；
通过以下公式计算所述第一上下文特征门系数
Figure BDA00030338356800001410
Figure BDA00030338356800001411
其中，σ表示sigmoid函数，Wg、Wh和zh表示训练得到的所述特征增强层中的参数，ai表示所述第一中间特征，
Figure BDA00030338356800001412
表示所述第一上下文特征。
在其中一个实施例中，所述增强模块具体用于：
通过以下公式计算所述第二增强特征：
Figure BDA00030338356800001413
其中，
Figure BDA0003033835680000151
表示所述第二增强特征，bi表示所述第二中间特征，
Figure BDA0003033835680000152
表示所述第二词特征，
Figure BDA0003033835680000153
表示所述第二上下文特征，
Figure BDA0003033835680000154
表示第二词特征门系数，
Figure BDA0003033835680000155
表示第二上下文特征门系数；
通过以下公式计算所述第二词特征门系数
Figure BDA0003033835680000156
Figure BDA0003033835680000157
其中，σ表示sigmoid函数，Wg、We和ze表示训练得到的所述特征增强层中的参数，bi表示所述第二中间特征，
Figure BDA0003033835680000158
表示所述第二词特征；
通过以下公式计算所述第二上下文特征门系数
Figure BDA0003033835680000159
Figure BDA00030338356800001510
其中，σ表示sigmoid函数，Wg、Wh和zh表示训练得到的所述特征增强层的中的参数，bi表示所述第二中间特征，
Figure BDA00030338356800001511
表示所述第二上下文特征。
在其中一个实施例中，所述融合模块具体用于：
通过以下公式计算所述第一融合特征：
Figure BDA00030338356800001512
其中，
Figure BDA00030338356800001513
表示所述第一融合特征，ReLU表示ReLU函数，
Figure BDA00030338356800001514
表示所述第一增强特征，a′i表示所述突出的第一增强特征，con表示向量拼接，°表示是元素层面的乘积；
所述融合模块还用于：
通过以下公式计算所述第二融合特征：
Figure BDA00030338356800001515
其中，
Figure BDA00030338356800001516
表示所述第二融合特征，ReLU表示ReLU函数，
Figure BDA00030338356800001517
表示所述第二增强特征，b′i表示所述突出的第二增强特征，con表示向量拼接，°表示是元素层面的乘积。
在其中一个实施例中，所述概率匹配模块具体包括：
平均值计算模块，用于计算所述第一融合特征中各个元素的第一平均值和所述第二融合特征中各个元素的第二平均值；
元素获取模块，用于获取所述第一融合特征中取值最大的第一融合元素和所述第二融合特征中取值最大的第二融合元素；
分类模块，用于将所述第一平均值、所述第二平均值、所述第一融合元素和所述第二融合元素输入至所述分类层，得到所述第一文本语料和所述第二文本语料之间的匹配概率。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
关于基于文本匹配模型的文本分类装置的具体限定可以参见上文中对于基于文本匹配模型的文本分类方法的限定，在此不再赘述。上述基于文本匹配模型的文本分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于文本匹配模型的文本分类方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于文本匹配模型的文本分类方法的步骤，例如图2所示的步骤101至步骤107及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中基于文本匹配模型的文本分类装置的各模块/单元的功能，例如图6所示模块11至模块17的功能。为避免重复，这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于文本匹配模型的文本分类方法的步骤，例如图2所示的步骤101至步骤107及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中基于文本匹配模型的文本分类装置的各模块/单元的功能，例如图6所示模块11至模块17的功能。为避免重复，这里不再赘述。
本实施例提出的基于文本匹配模型的文本分类方法、装置、计算机设备及存储介质，通过对文本匹配模型的结构进行改进，通过增强对齐层弱化文本特征中传递的错误信息，进而获取更好的两个句子之间的互相注意力特征，并通过注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，对所述第二增强特征和所述突出的所述第二增强特征进行融合，将对齐的特征融合进初始特征中，可以逐渐优化对齐的特征，利用分类层输出所述第一文本语料和所述第二文本语料之间的匹配概率，不仅可以有效地进行文本对齐、文本匹配，并且比传统的文本匹配方法匹配速度更快，此外，因为融合多种特征，并且叠加了对齐层，本发明对短文本的匹配分类的效果也比较好。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于文本匹配模型的文本分类方法，其特征在于，所述文本匹配模型包括编码层、特征增强层、注意力融合层和分类层，所述方法包括：
获取待匹配的第一文本语料和第二文本语料；
通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；
通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；
通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；
通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；
通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；
所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
2.根据权利要求1所述的基于文本匹配模型的文本分类方法，其特征在于，训练所述文本匹配模型的步骤包括：
根据用户的输入配置所述文本匹配模型的层数以及每层包括的参数；
获取包含有第一文本语料样本和第二文本语料样本的若干个样本组，每个所述样本组携带有对应的第一文本语料样本和第二文本语料样本是否匹配的标注；
通过所述样本组对所述文本匹配模型进行训练，当所述文本匹配模型的损失函数收敛时，得到所述文本匹配模型中每层的参数值。
3.根据权利要求1所述的基于文本匹配模型的文本分类方法，其特征在于，所述编码层包括Embedding层和token层，所述第一文本语料的编码特征包括第一词特征、第一上下文特征和第一中间特征，所述通过所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征的步骤包括：
通过所述Embedding层对所述第一文本语料进行处理，得到所述第一词特征；
通过所述token层对所述第一词特征进行token处理，得到所述第一中间特征；
通过双向长短期记忆网络LSTM中的Encoder对所述第一中间特征进行编码，得到所述第一上下文特征。
4.根据权利要求3所述的基于文本匹配模型的文本分类方法，其特征在于，所述第二文本语料的编码特征包括第二词特征、第二上下文特征和第二中间特征，所述通过所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征的步骤包括：
通过所述Embedding层对所述第二文本语料进行处理，得到所述第二词特征；
通过所述token层对所述第二词特征进行token处理，得到所述第二中间特征；
通过双向长短期记忆网络LSTM中的Encoder对所述第二中间特征进行编码，得到所述第二上下文特征。
5.根据权利要求3所述的基于文本匹配模型的文本分类方法，其特征在于，所述通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征的步骤包括：
通过以下公式计算所述第一增强特征：
Figure FDA0003033835670000021
其中，
Figure FDA0003033835670000031
表示所述第一增强特征，ai表示所述第一中间特征，
Figure FDA0003033835670000032
表示所述第一词特征，
Figure FDA0003033835670000033
表示所述第一上下文特征，
Figure FDA0003033835670000034
表示第一词特征门系数，
Figure FDA0003033835670000035
表示第一上下文特征门系数；
通过以下公式计算所述第一词特征门系数
Figure FDA0003033835670000036
Figure FDA0003033835670000037
其中，σ表示sigmoid函数，Wg、We和ze表示训练得到的所述特征增强层的中的参数，ai表示所述第一中间特征，
Figure FDA0003033835670000038
表示所述第一词特征；
通过以下公式计算所述第一上下文特征门系数
Figure FDA0003033835670000039
Figure FDA00030338356700000310
其中，σ表示sigmoid函数，Wg、Wh和zh表示训练得到的所述特征增强层中的参数，ai表示所述第一中间特征，
Figure FDA00030338356700000311
表示所述第一上下文特征。
6.根据权利要求4所述的基于文本匹配模型的文本分类方法，其特征在于，所述通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征的步骤包括：
通过以下公式计算所述第二增强特征：
Figure FDA00030338356700000312
其中，
Figure FDA00030338356700000313
表示所述第二增强特征，bi表示所述第二中间特征，
Figure FDA00030338356700000314
表示所述第二词特征，
Figure FDA00030338356700000315
表示所述第二上下文特征，
Figure FDA00030338356700000316
表示第二词特征门系数，
Figure FDA00030338356700000317
表示第二上下文特征门系数；
通过以下公式计算所述第二词特征门系数
Figure FDA00030338356700000318
Figure FDA00030338356700000319
其中，σ表示sigmoid函数，Wg、We和ze表示训练得到的所述特征增强层中的参数，bi表示所述第二中间特征，
Figure FDA00030338356700000320
表示所述第二词特征；
通过以下公式计算所述第二上下文特征门系数
Figure FDA00030338356700000321
Figure FDA0003033835670000041
其中，σ表示sigmoid函数，Wg、Wh和zh表示训练得到的所述特征增强层的中的参数，bi表示所述第二中间特征，
Figure FDA0003033835670000042
表示所述第二上下文特征。
7.根据权利要求1至6任一项所述的基于文本匹配模型的文本分类方法，其特征在于，所述通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征的步骤包括：
通过以下公式计算所述第一融合特征：
Figure FDA0003033835670000043
其中，
Figure FDA0003033835670000044
表示所述第一融合特征，ReLU表示ReLU函数，
Figure FDA0003033835670000045
表示所述第一增强特征，a′i表示所述突出的第一增强特征，con表示向量拼接，
Figure FDA0003033835670000046
表示是元素层面的乘积；
所述对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征的步骤包括：
通过以下公式计算所述第二融合特征：
Figure FDA0003033835670000047
其中，
Figure FDA0003033835670000048
表示所述第二融合特征，ReLU表示ReLU函数，
Figure FDA0003033835670000049
表示所述第二增强特征，b′i表示所述突出的第二增强特征，con表示向量拼接，
Figure FDA00030338356700000410
表示是元素层面的乘积。
8.一种基于文本匹配模型的文本分类装置，其特征在于，所述装置包括：
语料获取模块，用于获取待匹配的第一文本语料和第二文本语料；
第一处理模块，用于通过预先训练好的文本匹配模型中的所述编码层对所述第一文本语料进行处理，得到所述第一文本语料的编码特征；
第二处理模块，用于通过所述文本匹配模型中的所述编码层对所述第二文本语料进行处理，得到所述第二文本语料的编码特征；
增强模块，用于通过所述特征增强层对所述第一文本语料的编码特征进行处理，得到第一增强特征，通过所述特征增强层对所述第二文本语料的编码特征进行处理，得到第二增强特征；
突出模块，用于通过所述注意力融合层计算所述第一增强特征和所述第二增强特征之间的相似性，并根据所述相似性对所述第一增强特征和所述第二增强特征进行突出，得到突出的第一增强特征和突出的第二增强特征；
融合模块，用于通过所述注意力融合层对所述第一增强特征和所述突出的所述第一增强特征进行融合，得到第一融合特征，对所述第二增强特征和所述突出的所述第二增强特征进行融合，得到第二融合特征；
概率匹配模块，用于所述分类层根据所述第一融合特征和所述第二融合特征得到所述第一文本语料和所述第二文本语料之间的匹配概率。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述基于文本匹配模型的文本分类方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述基于文本匹配模型的文本分类方法的步骤。
CN202110463070.0A 2021-04-22 2021-04-22 基于文本匹配模型的文本分类方法、装置及相关设备 Active CN113032572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110463070.0A CN113032572B (zh) 2021-04-22 2021-04-22 基于文本匹配模型的文本分类方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110463070.0A CN113032572B (zh) 2021-04-22 2021-04-22 基于文本匹配模型的文本分类方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN113032572A true CN113032572A (zh) 2021-06-25
CN113032572B CN113032572B (zh) 2023-09-05

Family

ID=76454880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110463070.0A Active CN113032572B (zh) 2021-04-22 2021-04-22 基于文本匹配模型的文本分类方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN113032572B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083682A (zh) * 2019-04-19 2019-08-02 西安交通大学 一种基于多轮注意力机制的机器阅读理解答案获取方法
CN110597991A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质
CN111626062A (zh) * 2020-05-29 2020-09-04 苏州思必驰信息科技有限公司 文本语义编码方法及系统
CN112612898A (zh) * 2021-03-05 2021-04-06 蚂蚁智信(杭州)信息技术有限公司 文本分类的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083682A (zh) * 2019-04-19 2019-08-02 西安交通大学 一种基于多轮注意力机制的机器阅读理解答案获取方法
CN110597991A (zh) * 2019-09-10 2019-12-20 腾讯科技（深圳）有限公司 文本分类方法、装置、计算机设备及存储介质
CN111626062A (zh) * 2020-05-29 2020-09-04 苏州思必驰信息科技有限公司 文本语义编码方法及系统
CN112612898A (zh) * 2021-03-05 2021-04-06 蚂蚁智信(杭州)信息技术有限公司 文本分类的方法和装置

Also Published As

Publication number Publication date
CN113032572B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
WO2021135816A1 (zh) 识别图像中文本的方法、装置和系统
CN111881291A (zh) 一种文本情感分类方法及系统
WO2020073673A1 (zh) 一种文本分析方法及终端
CN110334179B (zh) 问答处理方法、装置、计算机设备和存储介质
JP2020520492A (ja) 文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体
CN111967264B (zh) 一种命名实体识别方法
CN110162681B (zh) 文本识别、文本处理方法、装置、计算机设备和存储介质
US20210390370A1 (en) Data processing method and apparatus, storage medium and electronic device
CN113297366B (zh) 多轮对话的情绪识别模型训练方法、装置、设备及介质
CN111274797A (zh) 用于终端的意图识别方法、装置、设备及存储介质
CN112541079A (zh) 多意图识别方法、装置、设备及介质
CN113204618A (zh) 基于语义增强的信息识别方法、装置、设备及存储介质
CN112214998B (zh) 意图与实体的联合识别方法、装置、设备和存储介质
CN110377733A (zh) 一种基于文本的情绪识别方法、终端设备及介质
CN114818729A (zh) 一种训练语义识别模型、查找语句的方法、装置及介质
CN112101042A (zh) 文本情绪识别方法、装置、终端设备和存储介质
CN110598210A (zh) 实体识别模型训练、实体识别方法、装置、设备及介质
CN114399396A (zh) 保险产品推荐方法、装置、计算机设备及存储介质
CN114443850A (zh) 基于语义相似模型的标签生成方法、系统、装置和介质
CN112017777A (zh) 相似对问题预测的方法、装置及电子设备
CN113836192B (zh) 平行语料的挖掘方法、装置、计算机设备及存储介质
CN113919363A (zh) 基于人工智能的句向量生成模型的处理方法、装置及设备
CN113434648A (zh) 文本分类模型的元学习方法、装置、设备及存储介质
CN113157898A (zh) 候选问题的推荐方法、装置、计算机设备及存储介质
CN112183513B (zh) 一种图像中文字的识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant