CN111427995B - 基于内部对抗机制的语义匹配方法、装置及存储介质 - Google Patents

基于内部对抗机制的语义匹配方法、装置及存储介质 Download PDF

Info

Publication number
CN111427995B
CN111427995B CN202010119430.0A CN202010119430A CN111427995B CN 111427995 B CN111427995 B CN 111427995B CN 202010119430 A CN202010119430 A CN 202010119430A CN 111427995 B CN111427995 B CN 111427995B
Authority
CN
China
Prior art keywords
word
matched
sentence
candidate
sentences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010119430.0A
Other languages
English (en)
Other versions
CN111427995A (zh
Inventor
骆迅
王科强
郝新东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010119430.0A priority Critical patent/CN111427995B/zh
Publication of CN111427995A publication Critical patent/CN111427995A/zh
Priority to PCT/CN2020/117422 priority patent/WO2021169263A1/zh
Application granted granted Critical
Publication of CN111427995B publication Critical patent/CN111427995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于内部对抗机制的语义匹配方法、装置及存储介质，其中方法包括如下步骤：对待匹配问题语句和候选问题语句分别进行分词处理和分字处理；候选问题语句分别与待匹配问题语句计算相似度；将候选问题语句与待匹配问题语句之间的相似度排序，设定名次内的候选问题语句，作为相似候选问题语句；相似候选问题语句分别与待匹配问题语句计算相似度；将相似候选问题语句与待匹配问题语句之间的相似度设定名次内的排序结果，和候选问题语句与待匹配问题语句之间的相似度设定名次内的排序结果，做为皮尔逊相关系数计算公式的两个变量，根据相关系数确定匹配结果。本发明能够有效改善语义匹配质量和精度。

Description

基于内部对抗机制的语义匹配方法、装置及存储介质
技术领域
本发明涉及人工智能技术领域，更为具体地，涉及一种基于内部对抗机制的语义匹配方法。
背景技术
人机对话目前是nlp(自然语言处理)领域一个非常热门的应用场景。从传统的智能AI(人工智能)客服到语音聊天机器人等等，其核心技术都是语义识别、语义理解和语义匹配。
目前，市面上大部分人机对话系统集中在金融、客服、娱乐等领域，而医疗领域的人机问答相对来说仍处于起步阶段。一方面，是因为医疗场景更加复杂，涉及专业术语较多，AI难以完全理解患者的诉求。另一方面，由于医疗场景容错性低，相应的对AI的识别准确度提出了更高的要求。市面上已有一些患教问答系统存在，例如拇指医生、康夫子。不过，这些系统普遍存在一些问题，比如只能回答一些简单问题，对于复杂诉求无能为力，答非所问等等。究其原因，主要是当前语义匹配模型普遍存在鲁棒性差，迁移学习效果不够好等缺点。
患教问答系统的核心模块是语义召回模块，主要作用是根据患者的提问去答案库寻找最接近患者诉求的答案并做出回答。因此，患教问答系统的性能好坏主要取决于语义召回模块是否精准。当前，语义召回模块大部分都是基于深度学习网络构成，例如CNN(卷积神经网络)、LSTM(Long Short-Term Memory，长短期记忆网络)、ESIM(Enhanced-LSTM，强化长短期记忆网络)、Decomposable Attention(可分解注意力机制网络)、Multihead(Multi-head attention，多头注意力机制网络)等等。这些深度学习网络各有各的优缺点，也适用于不同的场景。不过，总的来说，这些模型均会出现过拟合、受数据质量扰动性大等缺点。
发明内容
鉴于上述问题，本发明的目的是提供一种基于内部对抗机制的语义匹配方法。在原有问题召回模块的基础上加入了一个价值评估网络，该网络会对每次问题召回模块结果的好坏进行一次评估，并反馈给semantic matching(语义匹配)网络(即问题召回模块，采用深度学习模型构建)，作为新的训练数据，重新进行训练并输出给价值评估网络，直到价值评估网络的评估分数达到阈值，才终止对抗。可以提高语义匹配系统的鲁棒性和迁移学习效果，改善问题召回质量和精度。
根据本发明的一个方面，提供了一种基于内部对抗机制的语义匹配方法，包括如下步骤：
S110：对待匹配问题语句和候选问题语句分别进行分词处理和分字处理；
S120：分别对每一条所述分词处理后的候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合；以及，分别对每一条所述分字处理后的候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合；其中，所述候选问题语句为通过搜索引擎在指定数据库中检索出的与待匹配问题语句具有设定相似度的至少一个问题语句；
S130：将所述基于词的句子对的句向量特征集合和所述基于字的句子对的句向量特征集合进行拼接，确定所述候选问题语句与所述待匹配问题语句之间的相似度；
S140：将所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，选出所述相似度排序在设定名次内的候选问题语句作为相似候选问题语句；
S150：分别对每一条相似候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理；以分别确定基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、以及基于字的所述相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，确定所述相似候选问题语句与所述待匹配问题语句之间的相似度；
S160：分别将所述相似候选问题语句与所述待匹配问题语句之间的相似度、以及所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，获取设定名次内的排序结果；并将两个排序结果作为皮尔逊相关系数计算公式的两个变量，计算相关系数，若所述相关系数达到设定的阈值，则以所述待匹配问题语句与所述候选问题语句相似度排序第一名的候选问题语句为语义匹配的结果，若所述相关系数低于所述设定的阈值，则重新通过搜索引擎在指定数据库中检索与待匹配问题语句具有设定相似度的至少一个问题语句，进行所述S120。
进一步，在S110中，所述分词处理包括：在对所述待匹配问题语句去停用词、去特殊符号后，使用深度学习分词器进行分词处理；在对所述候选问题语句去停用词、去特殊符号后，使用深度学习分词器进行分词处理；
所述分字处理包括：在对所述待匹配问题语句去停用词、去特殊符号后，使用深度学习分词器进行分字处理；在对所述候选问题语句去停用词、去特殊符号后，使用深度学习分词器进行分字处理。
进一步，在S120中，所述分别对每一条所述分词处理后的候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合的过程包括：
将所述分词处理后的待匹配问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的词向量进行拼接，形成第一词向量矩阵；以及，将所述候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的词向量进行拼接，形成第二词向量矩阵；
分别对所述第一词向量矩阵以及所述第二词向量矩阵进行特征提取，以确定所述待匹配问题语句基于词的句向量特征集合和所述候选问题语句基于词的句向量特征集合；
分别对所述待匹配问题语句基于词的句向量特征集合和所述候选问题语句基于词的句向量特征集合进行降维；
将降维后的待匹配问题语句基于词的句向量特征集合和候选问题语句基于词的句向量特征集合拼接在一起，得到所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合。
进一步，在S120中，所述分别对每一条所述分字处理后的候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合的过程包括：
将所述分字处理后的待匹配问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的字向量进行拼接，形成第一字向量矩阵；以及，将所述候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的字向量进行拼接，形成第二字向量矩阵；
分别对所述第一字向量矩阵以及所述第二字向量矩阵进行特征提取，以确定所述待匹配问题语句基于字的句向量特征集合和所述候选问题语句基于字的句向量特征集合；
分别对所述待匹配问题语句基于字的句向量特征集合和所述候选问题语句基于字的句向量特征集合进行降维；
将降维后的待匹配问题语句基于字的句向量特征集合和候选问题语句基于字的句向量特征集合拼接在一起，得到所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合。
进一步，在S130中，对所述基于词的句子对的句向量特征集合分别做向量相减运算、向量相乘运算和向量最大化运算后的输出，以及，对基于字的句子对的句向量特征集合分别做向量相减运算、向量相乘运算和向量最大化运算后的输出进行拼接形成第一文本特征向量集合，对所述第一文本特征向量集合进行降维处理后，输入sigmoid函数以确定所述待匹配问题语句与所述候选问题语句之间的相似度。
进一步，在S150中，所述分别对每一条相似候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理的过程包括：
将所述分词处理后的待匹配问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的词向量进行拼接，形成第三词向量矩阵；以及，将所述相似候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的词向量进行拼接，形成第四词向量矩阵；以及，
将所述分字处理后的待匹配问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的字向量进行拼接，形成第三字向量矩阵；将所述相似候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的字向量进行拼接，形成第四字向量矩阵。
进一步，在S150中，所述分别确定基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、以及基于字的所述相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，确定所述相似候选问题语句与所述待匹配问题语句之间的相似度的过程包括：
分别对所述第三词向量矩阵、所述第四词向量矩阵、所述第三字向量矩阵和所述第四字向量矩阵进行特征提取和降维后，得到基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、基于字的所述相似候选问题语句的特征集合；
将所述四个特征集合进行拼接后形成第二文本特征向量集合，对所述第二文本特征向量集合进行降维处理后，输入sigmoid函数以确定所述待匹配问题语句与所述相似候选问题语句之间的相似度。
根据本发明的另一方面，提供一种基于内部对抗机制的语义匹配系统，包括：
待匹配问题语句和候选问题语句分词分字处理单元：用于对待匹配问题语句和候选问题语句分别进行分词处理和分字处理；
待匹配问题语句和候选问题语句句向量特征集合形成单元：用于分别对每一条所述分词处理后的候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合；以及，分别对每一条所述分字处理后的候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合；其中，所述候选问题语句为通过搜索引擎在指定数据库中检索出的与待匹配问题语句具有设定相似度的至少一个问题语句；
待匹配问题语句和候选问题语句语义相似度确定单元：用于将所述基于词的句子对的句向量特征集合和所述基于字的句子对的句向量特征集合进行拼接，确定所述候选问题语句与所述待匹配问题语句之间的相似度；
相似候选问题语句确定单元：用于将所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，选出所述相似度排序在设定名次内的候选问题语句作为相似候选问题语句；
待匹配问题语句和相似候选问题语句语义相似度确定单元：用于分别对每一条相似候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理；以分别确定基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、以及基于字的所述相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，确定所述相似候选问题语句与所述待匹配问题语句之间的相似度；
语义匹配结果确定单元：用于分别将所述相似候选问题语句与所述待匹配问题语句之间的相似度、以及所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，获取设定名次内的排序结果；并将两个排序结果作为皮尔逊相关系数计算公式的两个变量，计算相关系数，若所述相关系数达到设定的阈值，则以所述待匹配问题语句与所述候选问题语句相似度排序第一名的候选问题语句为语义匹配的结果，若所述相关系数低于所述设定的阈值，则重新通过搜索引擎在指定数据库中检索与待匹配问题语句具有设定相似度的至少一个问题语句，进行计算相似度。
根据本发明的另一方面，提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被处理器执行时实现上述基于内部对抗机制的语义匹配方法的步骤。
根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中包括基于内部对抗机制的语义匹配程序，所述基于内部对抗机制的语义匹配程序被处理器执行时，实现上述基于内部对抗机制的语义匹配方法的步骤。
利用上述根据本发明的内部对抗机制的语义匹配方法，语义召回网络和价值评估网络，形成了双网络之间的对抗机制，在不影响效率的基础上，能够更好的评估候选问题语句和用户提问之间的相似度，提高问题召回模块的准确率和精度，为用户推送质量更高的答案。
采用分词分字同时输入神经网络进行训练，提高了匹配的精确性。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例1的基于内部对抗机制的语义匹配方法的流程图；
图2为根据本发明实施例2的基于内部对抗机制的语义匹配系统的逻辑结构示意图；
图3为根据本发明实施例3的电子装置的逻辑结构示意图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
以下将结合附图对本发明的具体实施例进行详细描述。
实施例1
图1为根据本发明实施例1的内部对抗机制的语义匹配方法的流程图。
如图1所示，一种基于内部对抗机制的语义匹配方法，包括如下步骤：
S110：对待匹配问题语句和候选问题语句分别进行分词处理和分字处理。
在步骤S110中，分词处理的过程包括：在对待匹配问题语句去停用词、去特殊符号，然后使用深度学习分词器(Tokenizer)进行分词处理；在对候选问题语句去停用词、去特殊符号后，使用深度学习分词器进行分词处理。
例如待匹配问题语句为“糖尿病吃什么？”，分词处理后为“糖尿病/吃/什么”。
分字处理的过程包括：在对待匹配问题语句去停用词、去特殊符号后，然后使用深度学习分词器(Tokenizer)进行分字处理；在对候选问题语句去停用词、去特殊符号后，使用深度学习分词器进行分字处理。
例如待匹配问题语句为“糖尿病吃什么？”，分字处理后为“糖/尿/病/吃/什/么”。
停用词是指在信息检索中，为节省存储空间和提高搜索效率，在处理自然语言文本之前或之后会自动过滤掉某些字或词，停用词主要包括英文字符、数字、数学字符、标点符号及使用频率特高的单汉字等。特殊字符是相对于传统或常用的符号外，使用频率较少字符且难以直接输入的符号，比如数学符号、单位符号、制表符等。去停用词、去特殊符号的目的是使待匹配问题语句更为简洁，提高语义匹配效率。
S120：在预先建立的语义召回网络的embedding层，分别对每一条分词处理后的候选问题语句和分词处理后的待匹配问题语句进行词向量化处理，以确定待匹配问题语句和候选问题语句基于词的句子对的句向量特征集合；以及，分别对每一条分字处理后的候选问题语句和分字处理后的待匹配问题语句进行字向量化处理，以确定待匹配问题语句和候选问题语句基于字的句子对的句向量特征集合；其中，候选问题语句为与待匹配问题语句相似的问题语句。
在步骤S120中，候选问题语句为通过es(elasticsearch，搜索引擎)在指定的数据库内检索出的与待匹配问题语句具有设定相似度的至少一个问题语句。数量可为128个或者更多。例如：例如待匹配问题语句为“糖尿病吃什么？”es检索出“糖尿病的定义”、“糖尿病如何运动”等128个作为候选问题语句。
该指定的数据库内存储有预先搜集整理的与候选问题可能相关的大量问题语句，这些问题语句也可均以分词形式和分字形式存储在数据库中，以便于匹配查询。
预先建立的语义召回网络包括：embedding(向量化)层、卷积层和池化层。embedding层又包括Pre-train Embedding(预训练向量化)层和train Embedding(训练向量化)层。
分词处理后的待匹配问题语句、es检索出的每一个候选问题语句输入语义召回网络进行匹配，计算待匹配问题语句和每一个候选问题语句基于词的句子对的句向量特征集合。
分别对每一条分词处理后的候选问题语句和分词处理后的待匹配问题语句进行词向量化处理，以确定待匹配问题语句和候选问题语句基于词的句子对的句向量特征集合，具体过程包括：
将分词处理后的待匹配问题语句分别进行Pre-train Embedding处理和trainEmbedding处理，然后将Pre-train Embedding输出的词向量和train Embedding输出的词向量拼接，形成第一词向量矩阵。
将分词形式候选问题语句分别进行Pre-train Embedding处理和trainEmbedding处理，然后将Pre-train Embedding输出的词向量和train Embedding输出的词向量拼接，形成第二词向量矩阵。
可设定Pre-train embedding维度和train Embedding维度均为300维。这样形成的两个词向量矩阵每个词均用600维的向量表示可以更精确的描述词。
将第一词向量矩阵输入卷积层，进行特征提取，输出待匹配问题语句基于词的句向量特征集合，待匹配问题语句基于词的句向量特征集合输入池化层，进行降维，丢弃一些实在是不相关的数据，防止过拟合。
将第二词向量矩阵输入卷积层，进行特征提取，输出候选问题语句基于词的句向量特征集合，候选问题语句基于词的句向量特征集合输入池化层，进行降维，丢弃一些实在是不相关的数据，防止过拟合。
将池化层降维后输出的待匹配问题语句基于词的句向量特征集合和候选问题语句基于词的句向量特征集合拼接在一起，得到基于词的句子对的句向量特征集合。
分字处理后的待匹配问题语句、es检索出的每一个候选问题语句输入语义召回网络进行匹配，计算待匹配问题语句和每一个候选问题语句基于字的句子对的句向量特征集合。
分别对每一条分字处理后的候选问题语句和分字处理后的待匹配问题语句进行字向量化处理，以确定待匹配问题语句和候选问题语句基于字的句子对的句向量特征集合，具体过程包括：
将分字处理后的待匹配问题语句分别进行Pre-train Embedding处理和trainEmbedding处理，然后将Pre-train Embedding输出的字向量和train Embedding输出的字向量拼接，形成第一字向量矩阵。
将分字形式候选问题语句分别进行Pre-train Embedding处理和trainEmbedding处理，然后将Pre-train Embedding输出的字向量和train Embedding输出的字向量拼接，形成第二字向量矩阵。
设定Pre-train embedding维度和train Embedding均为300维。这样形成的两个字向量矩阵的每个字均用600维的向量表示可以更精细的描述字。
将第一字向量矩阵输入卷积层，进行特征提取，输出待匹配问题语句基于字的句向量特征集合，待匹配问题语句基于字的句向量特征集合输入池化层，进行降维，丢弃一些实在是不相关的数据，防止过拟合。
将第二字向量矩阵输入卷积层，进行特征提取，输出候选问题语句基于字的句向量特征集合，候选问题语句基于字的句向量特征集合输入池化层，进行降维，丢弃一些实在是不相关的数据，防止过拟合。
将池化层降维后输出的待匹配问题语句基于字的句向量特征集合和候选问题语句基于字的句向量特征集合拼接在一起得到，基于字的句子对的句向量特征集合。
卷积层可包括3个卷积神经网络，每个卷积神经网络的核的数量分别为1、2和3，每个卷积神经网络的过滤器的大小分别为256、192和128。词向量矩阵和字向量矩阵，分别依次输入3个卷积神经网络进行训练，进行特征提取。
池化层包含avg-pooling(平均池化层)和max-pooling(最大池化层)，句向量特征集合依次输入avg-pooling和max-pooling，输入avg-pooling和max-pooling的顺序不分先后。
S130：将基于词的句子对的句向量特征集合和基于字的句子对的句向量特征集合进行拼接，通过sigmoid函数确定出候选问题语句与待匹配问题语句之间的相似度。
在步骤S130中，具体过程包括：
对基于词的句子对的句向量特征集合分别做diff(向量相减运算)、mul(向量相乘运算)和max(向量最大化运算)后的输出，以及，对基于字的句子对的句向量特征集合分别做向量相减运算、向量相乘运算和向量最大化运算后的输出，这六项的输出进行拼接形成最终第一文本特征向量集合，第一文本特征向量集合再进行降维处理后，输入sigmoid函数输出一个数值，即为待匹配问题语句与候选问题语句之间的相似度。sigmoid函数输出的数值为为0到1之间的分数。
sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。
其中降维处理包括：采用BatchNormalization(归一化)处理将第一文本特征向量集合转换在同一标准体系中，再经过Dense(稠密)处理、relu(防止梯度消失)处理、dropout(防止模型过拟合)处理。
本发明算法本质是将两个句子转换成具有某种特征信息的向量表征，然后通过计算句向量的相似度，得到待匹配问题语句与候选问题语句之间的相似度。
S140:将候选问题语句与待匹配问题语句之间的相似度按照由高向低的顺序排序，选出相似度排序在设定名次内的候选问题语句作为相似候选问题语句。
在步骤S140中，设定名次为前五名。选出sigmoid函数输出的数值，由大到小排序，选出前五名数值，前五名数值对应的候选问题语句即为相似候选问题语句。
S150:在预先建立的价值评估网络的embedding层，分别对每一条相似候选问题语句和分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和分字处理后的待匹配问题语句进行字向量化处理；以分别确定基于词的待匹配问题语句的特征集合、基于词的相似候选问题语句的特征集合、基于字的待匹配问题语句的特征集合、以及基于字的相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，通过sigmoid函数确定相似候选问题语句与待匹配问题语句之间的相似度。
在步骤S150中，预先建立的价值评估网络包括：embedding层、神经网络层和池化层。embedding层又包括Pre-train Embedding层和train Embedding层。神经网络层又包括BiGRU(双向门控循环)神经网络层、encoded(编码)层和soft attention(柔性注意力机制)层。
待匹配问题语句分别与每一个相似候选问题语句输入价值评估网络进行匹配，计算相似度。
分别对每一条相似候选问题语句和分词处理后的待匹配问题语句进行词向量化处理，具体过程包括：将分词处理后的待匹配问题语句分别进行Pre-train Embedding处理和train Embedding处理，然后将Pre-train Embedding输出的词向量和train Embedding输出的词向量拼接，形成第三词向量矩阵；将相似候选问题语句分别进行Pre-trainEmbedding处理和train Embedding处理，然后将Pre-train Embedding输出的词向量和train Embedding输出的词向量拼接，形成第四词向量矩阵。
可设定Pre-train embedding维度和train Embedding维度均为300维。这样形成的两个词向量矩阵每个词均用600维的向量表示可以更精确的描述词。
分别对每一条相似候选问题语句和分字处理后的待匹配问题语句进行字向量化处理，具体过程包括：
将分字处理后的待匹配问题语句分别进行Pre-train Embedding处理和trainEmbedding处理，然后将Pre-train Embedding输出的字向量和train Embedding输出的字向量拼接，形成第三字向量矩阵；将相似候选问题语句分别进行Pre-train Embedding处理和train Embedding处理，然后将Pre-train Embedding输出的字向量和train Embedding输出的字向量拼接，形成第四字向量矩阵。
设定Pre-train embedding维度和train Embedding维度均为300维，这样形成的两个字向量矩阵每个字均用600维的向量表示可以更精确的描述字。
确定基于词的待匹配问题语句的特征集合，具体过程包括：
将第三词向量矩阵，输入BiGRU神经网络层，进行深层次的特征提取后，分别通过encoded层和soft attention层，将encoded层和soft attention层输出进行拼接，然后再次输入BiGRU神经网络层提取特征后，通过池化层进行降维，输出基于词的待匹配问题语句的特征集合。
确定基于词的相似候选问题语句的特征集合，具体过程包括：
将第四词向量矩阵，输入BiGRU神经网络层，进行深层次的特征提取后，分别通过encoded层和soft attention层，将encoded层和soft attention层输出进行拼接，然后再次输入BiGRU神经网络层提取特征后，通过池化层进行降维，输出基于词的相似候选问题语句的特征集合。
确定基于字的待匹配问题语句的特征集合，具体过程包括：
将第三字向量矩阵，输入BiGRU神经网络层，进行深层次的特征提取后，分别通过encoded层和soft attention层，将encoded层和soft attention层输出进行拼接，然后再次输入BiGRU神经网络层提取特征后，通过池化层进行降维，输出基于字的待匹配问题语句的特征集合。
确定基于字的相似候选问题语句的特征集合，具体过程包括：
将第四字向量矩阵，输入BiGRU神经网络层，进行深层次的特征提取后，分别通过encoded层和soft attention层，将encoded层和soft attention层输出进行拼接，然后再次输入BiGRU神经网络层提取特征后，通过池化层进行降维，输出基于字的相似候选问题语句的特征集合。
BiGru是LSTM结构的一种变体，有一个更新门和重置门，用于强化对前后文关系的语义理解；soft attention对特征提取后的深层次的信息进行对齐；encoded用于对特征提取后的信息进行编码。池化层包括avg-pooling和max-pooling。
将四个特征集合进行拼接后，通过sigmoid函数得出相似候选问题语句与待匹配问题语句之间的相似度，具体过程包括：
基于词的待匹配问题语句的特征集合、基于词的相似候选问题语句的特征集合、基于字的待匹配问题语句的特征集合和基于字的相似候选问题语句的特征集合，进行拼接后形成最终的第二文本特征向量集合，对第二文本特征向量集合进行降维处理后，输入sigmoid函数输出一个数值，即为待匹配问题语句与相似候选问题语句之间的相似度。
S160：将相似候选问题语句与待匹配问题语句之间的相似度按照由高向低的顺序排序，获取设定名次内的排序结果；将候选问题语句与待匹配问题语句之间的相似度，由高向低排序，获取设定名次内的排序结果；并将两个排序结果做为皮尔逊相关系数计算公式的两个变量，计算相关系数，若相关系数达到设定的阈值，待匹配问题语句与候选问题语句相似度排序第一名的候选问题语句为语义匹配的结果，若相关系数低于设定的阈值，则重新通过搜索引擎在指定数据库中检索与待匹配问题语句具有设定相似度的至少一个问题语句，进行S120。
在步骤S160中，皮尔逊相关系数，用英文小写字母r代表，计算公式如下：
Figure BDA0002392508110000141
r为皮尔逊相关系数，范围为-1到1，数值越大，说明相关性越好；X为语义召回网络计算的相似度的排序序列，Y为价值匹配网络计算的相似度的排序序列；n为设定的名次，本实施例选5。如果系数较高，说明语义召回网络的匹配效果好，若系数较低，说明语义召回网络的匹配效果差。阈值可设为0.7。
本发明进一步，可将待匹配问题语句与相似候选问题语句的之间相似度排序序列、待匹配问题语句与候选问题语句之间的相似度前五名的排序序列及皮尔逊相关系数存储，可作为训练数据。也可记录客户的点赞点踩行为，并将反馈数据传回给价值评估网络，作为训练数据。
本发明把语义召回网络和价值评估网络各自的结果作为新的训练数据，重新进行训练，相对于一次数据增强。主要是通过神经网络的不同层，进行向量运算，得到最后的相似度。在对抗训练过程中，对训练数据进行了充分反复的利用，使用在患教问答系统中能够有效弥补部分疾病数据匹配不足的缺陷。一方面节省了数据采集的时间，另一方面，大大的减少了人工维护和迭代升级的麻烦。
实施例2
图2为根据本发明实施例2的基于内部对抗机制的语义匹配系统的逻辑结构示意图。
如图2所示，一种基于内部对抗机制的语义匹配系统，包括：待匹配问题语句和候选问题语句分词分字处理单元、待匹配问题语句和候选问题语句句向量特征集合形成单元、待匹配问题语句和候选问题语句语义相似度确定单元、相似候选问题语句确定单元、待匹配问题语句和相似候选问题语句语义相似度确定单元、语义匹配结果确定单元。
待匹配问题语句和候选问题语句分词分字处理单元：用于对待匹配问题语句和候选问题语句分别进行分词处理和分字处理；
待匹配问题语句和候选问题语句句向量特征集合形成单元：用于分别对每一条所述分词处理后的候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合；以及，分别对每一条所述分字处理后的候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合；其中，所述候选问题语句为通过搜索引擎在指定数据库中检索出的与待匹配问题语句具有设定相似度的至少一个问题语句；
待匹配问题语句和候选问题语句语义相似度确定单元：用于将所述基于词的句子对的句向量特征集合和所述基于字的句子对的句向量特征集合进行拼接，确定所述候选问题语句与所述待匹配问题语句之间的相似度；
相似候选问题语句确定单元：用于将所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，选出所述相似度排序在设定名次内的候选问题语句作为相似候选问题语句；
待匹配问题语句和相似候选问题语句语义相似度确定单元：用于分别对每一条相似候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理；以分别确定基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、以及基于字的所述相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，确定所述相似候选问题语句与所述待匹配问题语句之间的相似度；
语义匹配结果确定单元：用于分别将所述相似候选问题语句与所述待匹配问题语句之间的相似度、以及所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，获取设定名次内的排序结果；并将两个排序结果作为皮尔逊相关系数计算公式的两个变量，计算相关系数，若所述相关系数达到设定的阈值，则以所述待匹配问题语句与所述候选问题语句相似度排序第一名的候选问题语句为语义匹配的结果，若所述相关系数低于所述设定的阈值，则重新通过搜索引擎在指定数据库中检索与待匹配问题语句具有设定相似度的至少一个问题语句，进行计算相似度。
实施例3
图3为根据本发明实施例3的电子装置的逻辑结构示意图。
如图3所述，一种电子装置1，包括存储器3和处理器2，所述存储器3中存储有计算机程序4，所述计算机程序4被处理器2执行时实现实施例1所述基于内部对抗机制的语义匹配方法的步骤。
实施例4
一种计算机可读存储介质，所述计算机可读存储介质中包括基于内部对抗机制的语义匹配程序，所述基于内部对抗机制的语义匹配程序被处理器执行时，实现实施例1所述基于内部对抗机制的语义匹配方法的步骤。
如上参照图1、图2和图3以示例的方式描述根据本发明的内部对抗机制的语义匹配方法、系统、装置和存储介质。但是，本领域技术人员应当理解，对于上述本发明所提出的内部对抗机制的语义匹配方法、系统、装置和存储介质，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于内部对抗机制的语义匹配方法，其特征在于，包括如下步骤：
S110：对待匹配问题语句和候选问题语句分别进行分词处理和分字处理；
S120：分别对每一条所述分词处理后的候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合；以及，分别对每一条所述分字处理后的候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合；其中，所述候选问题语句为通过搜索引擎在指定数据库中检索出的与待匹配问题语句具有设定相似度的至少一个问题语句；
S130：将所述基于词的句子对的句向量特征集合和所述基于字的句子对的句向量特征集合进行拼接，确定所述候选问题语句与所述待匹配问题语句之间的相似度；
S140：将所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，选出所述相似度排序在设定名次内的候选问题语句作为相似候选问题语句；
S150：分别对每一条相似候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理；以分别确定基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、以及基于字的所述相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，确定所述相似候选问题语句与所述待匹配问题语句之间的相似度；
S160：分别将所述相似候选问题语句与所述待匹配问题语句之间的相似度、以及所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，获取设定名次内的排序结果；并将两个排序结果作为皮尔逊相关系数计算公式的两个变量，计算相关系数，若所述相关系数达到设定的阈值，则以所述待匹配问题语句与所述候选问题语句相似度排序第一名的候选问题语句为语义匹配的结果，若所述相关系数低于所述设定的阈值，则重新通过搜索引擎在指定数据库中检索与待匹配问题语句具有设定相似度的至少一个问题语句，进行所述S120。
2.如权利要求1所述的基于内部对抗机制的语义匹配方法，其特征在于，在S110中，
所述分词处理包括：在对所述待匹配问题语句去停用词、去特殊符号后，使用深度学习分词器进行分词处理；在对所述候选问题语句去停用词、去特殊符号后，使用深度学习分词器进行分词处理；
所述分字处理包括：在对所述待匹配问题语句去停用词、去特殊符号后，使用深度学习分词器进行分字处理；在对所述候选问题语句去停用词、去特殊符号后，使用深度学习分词器进行分字处理。
3.如权利要求1所述的基于内部对抗机制的语义匹配方法，其特征在于，在S120中，所述分别对每一条所述分词处理后的候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合的过程包括：
将所述分词处理后的待匹配问题语句分别进行Pre-train Embedding处理和trainEmbedding处理后获得的词向量进行拼接，形成第一词向量矩阵；以及，将所述候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的词向量进行拼接，形成第二词向量矩阵；
分别对所述第一词向量矩阵以及所述第二词向量矩阵进行特征提取，以确定所述待匹配问题语句基于词的句向量特征集合和所述候选问题语句基于词的句向量特征集合；
分别对所述待匹配问题语句基于词的句向量特征集合和所述候选问题语句基于词的句向量特征集合进行降维；
将降维后的待匹配问题语句基于词的句向量特征集合和候选问题语句基于词的句向量特征集合拼接在一起，得到所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合。
4.如权利要求3所述的基于内部对抗机制的语义匹配方法，其特征在于，在S120中，所述分别对每一条所述分字处理后的候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合的过程包括：
将所述分字处理后的待匹配问题语句分别进行Pre-train Embedding处理和trainEmbedding处理后获得的字向量进行拼接，形成第一字向量矩阵；以及，将所述候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的字向量进行拼接，形成第二字向量矩阵；
分别对所述第一字向量矩阵以及所述第二字向量矩阵进行特征提取，以确定所述待匹配问题语句基于字的句向量特征集合和所述候选问题语句基于字的句向量特征集合；
分别对所述待匹配问题语句基于字的句向量特征集合和所述候选问题语句基于字的句向量特征集合进行降维；
将降维后的待匹配问题语句基于字的句向量特征集合和候选问题语句基于字的句向量特征集合拼接在一起，得到所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合。
5.如权利要求1所述的基于内部对抗机制的语义匹配方法，其特征在于，在S130中，
对所述基于词的句子对的句向量特征集合分别做向量相减运算、向量相乘运算和向量最大化运算后的输出，以及，对基于字的句子对的句向量特征集合分别做向量相减运算、向量相乘运算和向量最大化运算后的输出进行拼接形成第一文本特征向量集合，对所述第一文本特征向量集合进行降维处理后，输入sigmoid函数以确定所述待匹配问题语句与所述候选问题语句之间的相似度。
6.如权利要求1所述的基于内部对抗机制的语义匹配方法，其特征在于，在S150中，所述分别对每一条相似候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理的过程包括：
将所述分词处理后的待匹配问题语句分别进行Pre-train Embedding处理和trainEmbedding处理后获得的词向量进行拼接，形成第三词向量矩阵；以及，将所述相似候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的词向量进行拼接，形成第四词向量矩阵；以及，
将所述分字处理后的待匹配问题语句分别进行Pre-train Embedding处理和trainEmbedding处理后获得的字向量进行拼接，形成第三字向量矩阵；将所述相似候选问题语句分别进行Pre-train Embedding处理和train Embedding处理后获得的字向量进行拼接，形成第四字向量矩阵。
7.如权利要求6所述的基于内部对抗机制的语义匹配方法，其特征在于，在S150中，所述分别确定基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、以及基于字的所述相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，确定所述相似候选问题语句与所述待匹配问题语句之间的相似度的过程包括：
分别对所述第三词向量矩阵、所述第四词向量矩阵、所述第三字向量矩阵和所述第四字向量矩阵进行特征提取和降维后，得到基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、基于字的所述相似候选问题语句的特征集合；
将所述四个特征集合进行拼接后形成第二文本特征向量集合，对所述第二文本特征向量集合进行降维处理后，输入sigmoid函数以确定所述待匹配问题语句与所述相似候选问题语句之间的相似度。
8.一种基于内部对抗机制的语义匹配系统，其特征在于，包括：
待匹配问题语句和候选问题语句分词分字处理单元：用于对待匹配问题语句和候选问题语句分别进行分词处理和分字处理；
待匹配问题语句和候选问题语句句向量特征集合形成单元：用于分别对每一条所述分词处理后的候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于词的句子对的句向量特征集合；以及，分别对每一条所述分字处理后的候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理，以确定所述待匹配问题语句和所述候选问题语句基于字的句子对的句向量特征集合；其中，所述候选问题语句为通过搜索引擎在指定数据库中检索出的与待匹配问题语句具有设定相似度的至少一个问题语句；
待匹配问题语句和候选问题语句语义相似度确定单元：用于将所述基于词的句子对的句向量特征集合和所述基于字的句子对的句向量特征集合进行拼接，确定所述候选问题语句与所述待匹配问题语句之间的相似度；
相似候选问题语句确定单元：用于将所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，选出所述相似度排序在设定名次内的候选问题语句作为相似候选问题语句；
待匹配问题语句和相似候选问题语句语义相似度确定单元：用于分别对每一条相似候选问题语句和所述分词处理后的待匹配问题语句进行词向量化处理，以及，分别对每一条相似候选问题语句和所述分字处理后的待匹配问题语句进行字向量化处理；以分别确定基于词的所述待匹配问题语句的特征集合、基于词的所述相似候选问题语句的特征集合、基于字的所述待匹配问题语句的特征集合、以及基于字的所述相似候选问题语句的特征集合；将所确定的四个特征集合进行拼接后，确定所述相似候选问题语句与所述待匹配问题语句之间的相似度；
语义匹配结果确定单元：用于分别将所述相似候选问题语句与所述待匹配问题语句之间的相似度、以及所述候选问题语句与所述待匹配问题语句之间的相似度按照由高向低的顺序排序，获取设定名次内的排序结果；并将两个排序结果作为皮尔逊相关系数计算公式的两个变量，计算相关系数，若所述相关系数达到设定的阈值，则以所述待匹配问题语句与所述候选问题语句相似度排序第一名的候选问题语句为语义匹配的结果，若所述相关系数低于所述设定的阈值，则重新通过搜索引擎在指定数据库中检索与待匹配问题语句具有设定相似度的至少一个问题语句，进行计算相似度。
9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任意一项所述的基于内部对抗机制的语义匹配方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括基于内部对抗机制的语义匹配程序，所述基于内部对抗机制的语义匹配程序被处理器执行时，实现如权利要求1至8中任一项所述的基于内部对抗机制的语义匹配方法的步骤。
CN202010119430.0A 2020-02-26 2020-02-26 基于内部对抗机制的语义匹配方法、装置及存储介质 Active CN111427995B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010119430.0A CN111427995B (zh) 2020-02-26 2020-02-26 基于内部对抗机制的语义匹配方法、装置及存储介质
PCT/CN2020/117422 WO2021169263A1 (zh) 2020-02-26 2020-09-24 基于内部对抗机制的语义匹配方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119430.0A CN111427995B (zh) 2020-02-26 2020-02-26 基于内部对抗机制的语义匹配方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111427995A CN111427995A (zh) 2020-07-17
CN111427995B true CN111427995B (zh) 2023-05-26

Family

ID=71547247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119430.0A Active CN111427995B (zh) 2020-02-26 2020-02-26 基于内部对抗机制的语义匹配方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN111427995B (zh)
WO (1) WO2021169263A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427995B (zh) * 2020-02-26 2023-05-26 平安科技（深圳）有限公司 基于内部对抗机制的语义匹配方法、装置及存储介质
CN111859986B (zh) * 2020-07-27 2023-06-20 中国平安人寿保险股份有限公司 基于多任务孪生网络的语义匹配方法、装置、设备和介质
CN112149424A (zh) * 2020-08-10 2020-12-29 招联消费金融有限公司 语义匹配方法、装置、计算机设备和存储介质
CN112287069B (zh) * 2020-10-29 2023-07-25 平安科技（深圳）有限公司 基于语音语义的信息检索方法、装置及计算机设备
CN113204973A (zh) * 2021-04-30 2021-08-03 平安科技（深圳）有限公司 答非所问识别模型的训练方法、装置、设备和存储介质
CN114782398A (zh) * 2021-05-13 2022-07-22 深圳科亚医疗科技有限公司 用于医学图像分析的学习网络的训练方法和训练系统
CN113407767A (zh) * 2021-06-29 2021-09-17 北京字节跳动网络技术有限公司 确定文本相关性的方法、装置、可读介质及电子设备
CN113656547B (zh) * 2021-08-17 2023-06-30 平安科技（深圳）有限公司 文本匹配方法、装置、设备及存储介质
CN114090747A (zh) * 2021-10-14 2022-02-25 特斯联科技集团有限公司 基于多重语义匹配的自动问答方法、装置、设备及介质
CN113988073A (zh) * 2021-10-26 2022-01-28 迪普佰奥生物科技(上海)股份有限公司 适用于生命科学的文本识别方法和系统
CN114048354B (zh) * 2022-01-10 2022-04-26 广州启辰电子科技有限公司 基于多元表征和度量学习的试题检索方法、装置及介质
CN116312968A (zh) * 2023-02-09 2023-06-23 广东德澳智慧医疗科技有限公司 一种基于人机对话和核心算法的心理咨询和疗愈系统
CN116361839B (zh) * 2023-05-26 2023-07-28 四川易景智能终端有限公司 一种基于nlp的涉密屏蔽方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017177901A1 (zh) * 2016-04-12 2017-10-19 芋头科技（杭州）有限公司 一种语义匹配方法及智能设备
CN109101494A (zh) * 2018-08-10 2018-12-28 哈尔滨工业大学（威海） 一种用于中文句子语义相似度计算的方法，设备以及计算机可读存储介质
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法
CN109948143A (zh) * 2019-01-25 2019-06-28 网经科技（苏州）有限公司 社区问答系统的答案抽取方法
CN109992788A (zh) * 2019-04-10 2019-07-09 北京神州泰岳软件股份有限公司 基于未登录词处理的深度文本匹配方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050164152A1 (en) * 2004-01-28 2005-07-28 Lawson James D. Compatibility assessment method
CN105893523B (zh) * 2016-03-31 2019-05-17 华东师范大学 利用答案相关性排序的评估度量来计算问题相似度的方法
CN107980130A (zh) * 2017-11-02 2018-05-01 深圳前海达闼云端智能科技有限公司 自动回答方法、装置、存储介质及电子设备
CN108345585A (zh) * 2018-01-11 2018-07-31 浙江大学 一种基于深度学习的自动问答方法
CN110032632A (zh) * 2019-04-04 2019-07-19 平安科技（深圳）有限公司 基于文本相似度的智能客服问答方法、装置及存储介质
CN111427995B (zh) * 2020-02-26 2023-05-26 平安科技（深圳）有限公司 基于内部对抗机制的语义匹配方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017177901A1 (zh) * 2016-04-12 2017-10-19 芋头科技（杭州）有限公司 一种语义匹配方法及智能设备
CN109101494A (zh) * 2018-08-10 2018-12-28 哈尔滨工业大学（威海） 一种用于中文句子语义相似度计算的方法，设备以及计算机可读存储介质
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法
CN109948143A (zh) * 2019-01-25 2019-06-28 网经科技（苏州）有限公司 社区问答系统的答案抽取方法
CN109992788A (zh) * 2019-04-10 2019-07-09 北京神州泰岳软件股份有限公司 基于未登录词处理的深度文本匹配方法及装置

Also Published As

Publication number Publication date
CN111427995A (zh) 2020-07-17
WO2021169263A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
CN111427995B (zh) 基于内部对抗机制的语义匹配方法、装置及存储介质
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN109783817B (zh) 一种基于深度强化学习的文本语义相似计算模型
CN109918491B (zh) 一种基于知识库自学习的智能客服问句匹配方法
CN110019685B (zh) 基于排序学习的深度文本匹配方法及装置
CN111831789B (zh) 一种基于多层语义特征提取结构的问答文本匹配方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN112417153B (zh) 文本分类方法、装置、终端设备和可读存储介质
CN112115716A (zh) 一种基于多维词向量下文本匹配的服务发现方法、系统及设备
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN112100212A (zh) 一种基于机器学习和规则匹配的案件情节抽取方法
CN111581364B (zh) 一种面向医疗领域的中文智能问答短文本相似度计算方法
CN115130538A (zh) 文本分类模型的训练方法、文本处理的方法、设备及介质
CN110969005B (zh) 一种确定实体语料之间的相似性的方法及装置
CN113535960A (zh) 一种文本分类方法、装置和设备
CN113641809A (zh) 一种基于XLNet-BiGRU-CRF的智能问答方法
CN116522165B (zh) 一种基于孪生结构的舆情文本匹配系统及方法
CN113486670A (zh) 基于目标语义的文本分类方法、装置、设备及存储介质
CN113743079A (zh) 一种基于共现实体交互图的文本相似度计算方法及装置
CN112307048A (zh) 语义匹配模型训练方法、匹配方法、装置、设备及存储介质
CN117033961A (zh) 一种上下文语境感知的多模态图文分类方法
CN112836027A (zh) 用于确定文本相似度的方法、问答方法及问答系统
CN113220864B (zh) 智能问答数据处理系统
CN112101559B (zh) 一种基于机器学习的案件罪名推断方法
CN114329181A (zh) 一种题目推荐方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032305

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant