CN112417096A - 问答对匹配方法、装置、电子设备及存储介质 - Google Patents

问答对匹配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112417096A
CN112417096A CN202011290081.5A CN202011290081A CN112417096A CN 112417096 A CN112417096 A CN 112417096A CN 202011290081 A CN202011290081 A CN 202011290081A CN 112417096 A CN112417096 A CN 112417096A
Authority
CN
China
Prior art keywords
sample pair
question
matching
characteristic
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011290081.5A
Other languages
English (en)
Other versions
CN112417096B (zh
Inventor
金培根
刘志慧
陆林炳
何斐斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011290081.5A priority Critical patent/CN112417096B/zh
Publication of CN112417096A publication Critical patent/CN112417096A/zh
Priority to PCT/CN2021/090294 priority patent/WO2022105115A1/zh
Application granted granted Critical
Publication of CN112417096B publication Critical patent/CN112417096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据分析，揭露一种问答对匹配方法，包括：确定每个第一样本对的相似度特征、实体特征及意图特征，计算得到第一文本特征，将第一文本特征输入预设模型进行训练，得到语义匹配模型；将待处理问题与第一候选问题集中的各个问题组合，得到第二样本对集合，基于第二样本对集合得到第二候选问题集；基于第二候选问题集得到第三样本对集合，确定每个第三样本对的第二文本特征，将第二文本特征输语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于语义匹配结果确定待处理问题对应的目标标准问题及其标准答案。本发明还提供一种问答对匹配装置、电子设备及可读存储介质。本发明提高了问答对匹配准确度。

Description

问答对匹配方法、装置、电子设备及存储介质
技术领域
本发明涉及数据分析领域，尤其涉及一种问答对匹配方法、装置、电子设备及存储介质。
背景技术
随着科技的发展，智能问答系统在人们生活中的应用越来越广泛。语义匹配是智能问答系统的核心，语义相似度结果直接影响智能问答系统给出的答案是否准确。
当前通常通过模型对文本语义进行匹配，然而模型效果依赖于训练数据的分布和数量，对于特定业务场景下的需求的学习效果不佳，导致匹配准确度不够高，例如，在保险问答系统中有以下三个问题，Q1：15岁能投平安福吗？Q2：16岁能投平安福吗？Q3：19岁能投平安福吗？通常情况下认为Q1、Q2、Q3都是相似问题，然而实际情况是Q1与Q2是相似问题，Q1与Q3、Q2与Q3不是相似问题(因为15岁、16岁是未成年人，19岁是成年人)。因此，亟需一种问答匹配方法，以提高问答对匹配准确度。
发明内容
鉴于以上内容，有必要提供一种问答对匹配方法，旨在提高问答对匹配准确度。
本发明提供的问答对匹配方法，包括：
从样本库中抽取多个携带标注信息的样本对，得到第一样本对集合，分别确定所述第一样本对集合中每个第一样本对的相似度特征、实体特征及意图特征，根据所述相似度特征、实体特征、意图特征计算得到每个第一样本对的第一文本特征，将所述第一文本特征输入预设模型进行训练，得到语义匹配模型；
接收用户输入的待处理问题，从标准问题库中筛选预设数量的与所述待处理问答匹配的标准问题，得到第一候选问题集；
将所述待处理问题分别与所述第一候选问题集中的问题组合，得到第二样本对集合，基于所述第二样本对集合得到第二候选问题集；
将所述待处理问题分别与所述第二候选问题集中的问题组合，得到第三样本对集合，分别确定所述第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，得到每个第三样本对的第二文本特征并输入所述语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于所述语义匹配结果确定所述待处理问题对应的目标标准问题及目标标准答案。
可选的，所述确定所述第一样本对集合中每个第一样本对的相似度特征包括：
分别计算每个第一样本对的jaccard相似度值、编辑距离值、Fuzzywuzzy值及simHash值并执行离散化处理，得到每个第一样本对的相似度特征。
可选的，所述确定所述第一样本对集合中每个第一样本对的实体特征包括：
将每个第一样本对输入命名实体识别模型，得到每个第一样本对中两个样本中的实体信息，所述实体信息包括实体类别；
基于所述实体类别确定每个第一样本对的实体特征。
可选的，所述确定所述第一样本对集合中每个第一样本对的意图特征包括：
将每个第一样本对输入问题类型分类模型，得到每个第一样本对的问题类型特征；
提取每个第一样本对中两个样本的关键词并进行关键词匹配，基于关键词匹配结果确定每个第一样本对的关键词特征；
拼接所述问题类型特征及所述关键词特征，得到每个第一样本对的意图特征。
可选的，所述将所述第一文本特征输入预设模型进行训练，得到语义匹配模型，包括：
将所述第一文本特征输入预设模型，得到每个第一样本对中两个样本的预测匹配结果；
基于所述标注信息获取每个第一样本对中两个样本的真实匹配结果，通过最小化预测匹配结果与真实匹配结果之间的损失值确定所述预设模型的模型参数，得到语义匹配模型。
可选的，所述损失值的计算公式为：
Figure BDA0002781671810000021
其中，loss(qi,pi)为第一样本对集合中第i个第一样本对中两个样本的预测匹配结果与真实匹配结果的损失值，qi为第i个第一样本对中两个样本的预测匹配结果，pi为第i个第一样本对中两个样本的真实匹配结果，c为第一样本对集合中第一样本对的总数量。
为了解决上述问题，本发明还提供一种问答对匹配装置，所述装置包括：
训练模块，用于从样本库中抽取多个携带标注信息的样本对，得到第一样本对集合，分别确定所述第一样本对集合中每个第一样本对的相似度特征、实体特征及意图特征，根据所述相似度特征、实体特征及意图特征计算得到每个第一样本对的第一文本特征，将所述第一文本特征输入预设模型进行训练，得到语义匹配模型；
筛选模块，用于接收用户输入的待处理问题，从标准问题库中筛选预设数量的与所述待处理问答匹配的标准问题，得到第一候选问题集；
组合模块，用于将所述待处理问题分别与所述第一候选问题集中的问题组合，得到第二样本对集合，基于所述第二样本对集合得到第二候选问题集；
匹配模块，用于将所述待处理问题分别与所述第二候选问题集中的问题组合，得到第三样本对集合，分别确定所述第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，得到每个第三样本对的第二文本特征并输入所述语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于所述语义匹配结果确定所述待处理问题对应的目标标准问题及目标标准答案。
可选的，所述将所述第一文本特征输入预设模型进行训练，得到语义匹配模型，包括：
将所述第一文本特征输入预设模型，得到每个第一样本对中两个样本的预测匹配结果；
基于所述标注信息获取每个第一样本对中两个样本的真实匹配结果，通过最小化预测匹配结果与真实匹配结果之间的损失值确定所述预设模型的模型参数，得到语义匹配模型。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的问答对匹配程序，所述问答对匹配程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述问答对匹配方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有问答对匹配程序，所述问答对匹配程序可被一个或者多个处理器执行，以实现上述问答对匹配方法。
相较现有技术，本发明首先确定每个第一样本对的相似度特征、实体特征及意图特征，基于相似度特征、实体特征及意图特征计算得到第一文本特征，将第一文本特征输入预设模型进行训练，得到语义匹配模型，本步骤中的相似度特征、实体特征及意图特征与实际场景息息相关，使得语义匹配模型学习到实际场景中的特定特征，从而可使实际场景的问答对匹配准确度更高；接着，从标准问题库中筛选与待处理问答匹配的标准问题，得到第一候选问题集，将待处理问题与第一候选问题集中的各个问题组合，得到第二样本对集合，基于第二样本对集合得到第二候选问题集，本步骤可迅速筛选与待处理问题语义匹配度较高的标准问题；最后，将待处理问题与第二候选问题集中的各个问题组合，得到第三样本对集合，确定第三样本对集合中每个第三样本对的第二文本特征，将第二文本特征输入语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于语义匹配结果确定待处理问题对应的目标标准问题及其答案，本步骤可快速匹配出与实际场景更为匹配的答案。因此，本发明提高了问答对匹配准确度。
附图说明
图1为本发明一实施例提供的问答对匹配方法的流程示意图；
图2为本发明一实施例提供的问答对匹配装置的模块示意图；
图3为本发明一实施例提供的实现问答对匹配方法的电子设备的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提供一种问答对匹配方法。参照图1所示，为本发明一实施例提供的问答对匹配方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。
本实施例中，问答对匹配方法包括：
S1、从样本库中抽取多个携带标注信息的样本对，得到第一样本对集合，分别确定所述第一样本对集合中每个第一样本对的相似度特征、实体特征及意图特征，根据所述相似度特征、实体特征、意图特征计算得到每个第一样本对的第一文本特征，将所述第一文本特征输入预设模型进行训练，得到语义匹配模型。
本实施例中，所述样本库中存储有正、负样本对(即问题对)，正样本对为相似样本(label为1)，负样本对为不相似样本(label为0)，本实施例按照1:3的比例从样本库中抽取正、负样本对，得到第一样本对集合。
所述确定所述第一样本对集合中每个第一样本对的相似度特征包括：
分别计算每个第一样本对的jaccard相似度值、编辑距离值、Fuzzywuzzy值及simHash值并执行离散化处理，得到每个第一样本对的相似度特征。
所述jaccard相似度、编辑距离、Fuzzywuzzy及simHash皆为现有技术中衡量相似度的算法，具体计算过程在此不做赘述。
所述离散化处理包括：对相似度值的数值范围进行划分，得到多个数值区间，再进行one-hot编码，得到相似度特征。
例如，jaccard相似度值划分后得到的多个数值区间分别是[-nan,0.3]、[0.3,0.5]、[0.5,0.8]、[0.8,nan]，假设第一样本对(Q1,Q2)的jaccard相似度值为0.6，则(Q1,Q2)的jaccard相似度特征为四元数组(0,0,1,0)，分别对(Q1,Q2)的编辑距离值、Fuzzywuzzy值及simHash值执行离散化处理，可得到另三个四元数组，将这四个四元数组组合，得到(Q1,Q2)的相似度特征，即得到的相似度特征为4*4的矩阵。
所述确定所述第一样本对集合中每个第一样本对的实体特征包括：
A1、将每个第一样本对输入命名实体识别模型，得到每个第一样本对中两个样本中的实体信息，所述实体信息包括实体类别；
A2、基于所述实体类别确定每个第一样本对的实体特征。
所述基于所述实体类别确定每个第一样本对的实体特征包括：基于所述实体类别获取每个第一样本对中各个实体对应的匹配规则，基于所述匹配规则确定各个第一样本对的实体特征。
本实施例中，所述命名实体识别模型为神经网络模型，所述实体类别包括年龄实体、保险名实体、疾病名实体、地点名实体、职业名实体。在识别到每个第一样本对中两个样本的实体信息后，按照实体类别分别进行匹配，例如，第一样本对(Q1,Q2)共识别到了年龄实体(Q1：17岁，Q2：19岁)、保险名实体(Q1:平安福，Q2：平安平安福终身寿险)、地点名实体(Q1：上海，Q2：深圳)。
假设年龄实体对应的匹配规则可如下表1所示，则同一个年龄段内的年龄实体视为等价匹配。
18岁以下 未成年人
[18岁，40岁] 青年人
[40岁，60岁] 中年人
60岁及以上 老年人
表1
假设保险名实体对应的匹配规则为同一保险名称的全称与简称为等价匹配。
则第一样本对(Q1,Q2)的年龄实体匹配结果为0(不匹配)、保险名实体匹配结果为1(两者分别为同一保险名称的简称和全称，匹配)、地点名实体匹配结果为0(不匹配)，则第一样本对(Q1,Q2)的实体特征为(0,1,-1,0,-1)，其中，第一维特征0表示年龄实体特征，第二维特征1表示保险名实体特征，第四维特征0表示地点名实体特征，第三、第五维特征-1分别表示疾病名实体特征、职业名实体特征，因第一样本对(Q1,Q2)中没有疾病名实体、职业名实体，故第三、第五维特征用其他数值(例如，-1)来表示。
对于一种类别实体中有多个实体的场景：
例如，Q11：我了解到平安福和爱满分适用人群比较广，那福保保的投保年龄多少？Q12：福保保更为普遍，平安福投保年龄多少？
其中，Q11的保险名实体有3个：平安福、爱满分、福保保，Q12的保险名实体有2个：福保保、平安福。
此时，实体特征的确定过程为：确定每个第一样本对的两个样本中每种实体类别对应的实体数量，假设对于第一样本对(Q11,Q12)，按照实体在样本中出现的顺序，Q11有三个保险名实体(E11平安福,E12爱满分,E13福保保)，Q12有2个保险名实体(E21福保保,E22平安福)，则第一样本对(Q11,Q12)的保险名实体特征可以用3*2的矩阵Y表示：
Figure BDA0002781671810000071
由于不同样本对的实体个数不同(例如有些是3x2矩阵特征，有些是3x1矩阵特征等等)，为了固定特征维度，假设Q11、Q12的保险名实体个数最多的有U(例如，3)个，则第一样本对(Q11,Q12)的保险名实体特征为U*U的矩阵特征。例如对于Q12，保险名实体数量不足3个，需要进行补充，补充后保险名实体为(E21福保保,E22平安福,E23空)，对于空的实体，其特征可以用-1来表示，则第一样本对(Q11,Q12)的实体特征矩阵Y为:
Figure BDA0002781671810000072
对于上述5种实体类别，实体特征这块共有实体：K1*K1+K2*K2+K3*K3+K4*K4+K5*K5，其中，K1表示年龄实体类别中实体最多个数，K2表示保险名实体类别中实体最多个数，……，假设每个类别的实体的最多个数是3，则最终的实体特征矩阵为5*3*3。
本实施例中的匹配规则是根据业务场景进行定义的，在保险名实体的匹配规则中，还可以定义：当用户咨询细类产品时，问答系统回复包含细类的大类产品也是正确的(匹配)，但是反过来却是错误的，即当用户咨询大类产品，回复细类产品是错误的(不匹配)。
例如，用户问题对应的实体：小福星，问答系统给出的标准答案对应的实体：大小福星，则两者匹配结果为1(匹配)；用户问题对应的实体：大小福星，问答系统给出的标准答案对应的实体：小福星，则两者匹配结果为0(不匹配)。
所述确定所述第一样本对集合中每个第一样本对的实体特征包括：
B1、将每个第一样本对输入问题类型分类模型，得到每个第一样本对的问题类型特征；
所述问题类型分类模型可以是textCNN模型或fasttext模型，所述问题类型包括：who/where/when/what/why/how/how many/how much/how long/age/二值型/other。其中二值型问题为诸如xxx可不可以投保/xxx能不能理赔之类的问题。
本实施例对各种类型的问题进行编码，例如，who：1，where：2，when：3，what＝4，所述问题类型特征为三元数组(Ci1,Ci2,Labeli)，其中，Ci1表示第i个第一样本对中第一个样本的问题类型，Ci2表示第i个第一样本对中第二个样本的问题类型，Labeli表示第i个第一样本对中两个样本的问题类型匹配结果(0或1)。
B2、提取每个第一样本对中两个样本的关键词并进行关键词匹配，基于关键词匹配结果确定每个第一样本对的关键词特征；
本实施例可采用TF-IDF算法提取每个第一样本对中两个样本的关键词，当问题类型相同时，关键词意图可能不一致。
例如，Q3：高血压可不可以投保，Q4：高血压可不可以理赔。Q3与Q4的问题类型都是二值型问题，然而，Q3的关键词是投保，Q4的关键词是理赔，则Q3与Q4的关键词匹配结果为0(不匹配)。当某一第一样本对中两个样本的关键词数量都有多个时，分别进行关键词匹配，得到的关键词特征可以是一个多元数组。
在其他实施例中，也可以将关键词转换为词向量，将词向量作为关键词特征。
B3、拼接所述问题类型特征及所述关键词特征，得到每个第一样本对的意图特征。
得到每个第一样本对的相似度特征、实体特征及意图特征后，将这三个特征进行组合，得到第一文本特征。
本实施例中，所述预设模型为Deep&Wide模型，Deep&Wide模型的核心思想是结合线性模型的记忆能力和DNN(深度神经网络)模型的泛化能力，训练时同时优化两个模型的参数，使得语义匹配模型的预测能力更优。
所述将所述第一文本特征输入预设模型进行训练，得到语义匹配模型，包括：
C1、将所述第一文本特征输入预设模型，得到每个第一样本对中两个样本的预测匹配结果；
C2、基于所述标注信息获取每个第一样本对中两个样本的真实匹配结果，通过最小化预测匹配结果与真实匹配结果之间的损失值确定所述预设模型的模型参数，得到语义匹配模型。
所述损失值的计算公式为：
Figure BDA0002781671810000081
其中，loss(qi,pi)为第一样本对集合中第i个第一样本对中两个样本的预测匹配结果与真实匹配结果的损失值，qi为第i个第一样本对中两个样本的预测匹配结果，pi为第i个第一样本对中两个样本的真实匹配结果，c为第一样本对集合中第一样本对的总数量。
所述真实匹配结果为每个第一样本对的Label(0或1)，所述预测匹配结果为模型输出的每个第一样本对中两个样本的相似度值。
本实施例通过将第一样本对的相似度特征、实体特征及意图特征输入Deep&Wide模型中进行训练，使得Deep&Wide模型学习到了实际场景中的特定特征，使得实际场景中的问题对的匹配准确度更高。
S2、接收用户输入的待处理问题，从标准问题库中筛选预设数量的与所述待处理问答匹配的标准问题，得到第一候选问题集。
所述标准问题库中存储有问答系统中的各个标准问题及其对应的标准答案。
在从标准问题库中筛选预设数量的与所述待处理问题匹配的标准问题之前，所述方法还包括：对所述待处理问题进行预处理。
所述预处理包括统一大小写、统一全半角、去标点符号、分词。
本实施例中，通过ES索引及sentence-bert模型(一种能快速计算句子相似度的孪生网络)等多种筛选方案并行从标准问题库(例如，有5万条标准问题)中筛选topM(例如，M为300条)的与待处理问题匹配的标准问题，得到第一候选问题集。
本次筛选特点是速度快、精度适中，将与待处理问题有点相关的标准问题筛选出来。
S3、将所述待处理问题分别与所述第一候选问题集中的问题组合，得到第二样本对集合，基于所述第二样本对集合得到第二候选问题集。
将待处理问题与第一候选问题集中的一个问题组合，得到一个第二样本对，第二样本对集合中共有M个第二样本对。
所述基于所述第二样本对集合得到第二候选问题集包括：将所述第二样本对集合输入预先训练好的第二语义匹配模型，得到第二候选问题集。
所述第二语义匹配模型为基于特征的LR语义匹配模型，用于从所述第一候选问题集中筛选topN(例如，N为30条)的与待处理问题匹配的标准问题，得到第二候选问题集。
本次筛选特点是模型速度不能太慢(因此选择的模型不能太复杂)、精度要求较高，此时需将与待处理问题意思相近的候选问题排在前面。
S4、将所述待处理问题分别与所述第二候选问题集中的问题组合，得到第三样本对集合，分别确定所述第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，得到每个第三样本对的第二文本特征并输入所述语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于所述语义匹配结果确定所述待处理问题对应的目标标准问题及目标标准答案。
本实施例中，所述第二文本特征与第一文本特征的确定过程相同，先确定第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，基于每个第三样本对的相似度特征、实体特征及意图特征得到第二文本特征。
将第二文本特征输入语义匹配模型，可精准的计算出每个第三样本对的两个样本的相似度值，并根据相似度值对第二候选问题集中的标准问题进行排序，当top1的标准问题与待处理问题的相似度值大于相似度阈值(例如，0.7)时，将top1的标准问题对应的标准答案作为目标标准答案。若top1的标准问题与待处理问题的相似度值小于相似度阈值，认为标准问题库中没有与待处理问题同语义的问题，可将top3的标准问题及其标准答案发送给用户以供参考，或者将待处理问题发送给人工客服进行解答。
由上述实施例可知，本发明提出的问答对匹配方法，首先，确定每个第一样本对的相似度特征、实体特征及意图特征，基于相似度特征、实体特征及意图特征计算得到第一文本特征，将第一文本特征输入预设模型进行训练，得到语义匹配模型，本步骤中的相似度特征、实体特征及意图特征与实际场景息息相关，使得语义匹配模型学习到实际场景中的特定特征，从而可使实际场景的问答对匹配准确度更高；接着，从标准问题库中筛选与待处理问答匹配的标准问题，得到第一候选问题集，将待处理问题与第一候选问题集中的各个问题组合，得到第二样本对集合，基于第二样本对集合得到第二候选问题集，本步骤可迅速筛选与待处理问题语义匹配度较高的标准问题；最后，将待处理问题与第二候选问题集中的各个问题组合，得到第三样本对集合，确定第三样本对集合中每个第三样本对的第二文本特征，将第二文本特征输入语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于语义匹配结果确定待处理问题对应的目标标准问题及其答案，本步骤可快速匹配出与实际场景更为匹配的答案。因此，本发明提高了问答对匹配准确度。
如图2所示，为本发明一实施例提供的问答对匹配装置的模块示意图。
本发明所述问答对匹配装置100可以安装于电子设备中。根据实现的功能，所述问答对匹配装置100可以包括训练模块110、筛选模块120、组合模块130及匹配模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
训练模块110，用于从样本库中抽取多个携带标注信息的样本对，得到第一样本对集合，分别确定所述第一样本对集合中每个第一样本对的相似度特征、实体特征及意图特征，根据所述相似度特征、实体特征、意图特征计算得到每个第一样本对的第一文本特征，将所述第一文本特征输入预设模型进行训练，得到语义匹配模型。
本实施例中，所述样本库中存储有正、负样本对(即问题对)，正样本对为相似样本(label为1)，负样本对为不相似样本(label为0)，本实施例按照1:3的比例从样本库中抽取正、负样本对，得到第一样本对集合。
所述确定所述第一样本对集合中每个第一样本对的相似度特征包括：
分别计算每个第一样本对的jaccard相似度值、编辑距离值、Fuzzywuzzy值及simHash值并执行离散化处理，得到每个第一样本对的相似度特征。
所述jaccard相似度、编辑距离、Fuzzywuzzy及simHash皆为现有技术中衡量相似度的算法，具体计算过程在此不做赘述。
所述离散化处理包括：对相似度值的数值范围进行划分，得到多个数值区间，再进行one-hot编码，得到相似度特征。
例如，jaccard相似度值划分后得到的多个数值区间分别是[-nan,0.3]、[0.3,0.5]、[0.5,0.8]、[0.8,nan]，假设第一样本对(Q1,Q2)的jaccard相似度值为0.6，则(Q1,Q2)的jaccard相似度特征为四元数组(0,0,1,0)，分别对(Q1,Q2)的编辑距离值、Fuzzywuzzy值及simHash值执行离散化处理，可得到另三个四元数组，将这四个四元数组组合，得到(Q1,Q2)的相似度特征，即得到的相似度特征为4*4的矩阵。
所述确定所述第一样本对集合中每个第一样本对的实体特征包括：
A1、将每个第一样本对输入命名实体识别模型，得到每个第一样本对中两个样本中的实体信息，所述实体信息包括实体类别；
A2、基于所述实体类别确定每个第一样本对的实体特征。
所述基于所述实体类别确定每个第一样本对的实体特征包括：基于所述实体类别获取每个第一样本对中各个实体对应的匹配规则，基于所述匹配规则确定各个第一样本对的实体特征。
本实施例中，所述命名实体识别模型为神经网络模型，所述实体类别包括年龄实体、保险名实体、疾病名实体、地点名实体、职业名实体。在识别到每个第一样本对中两个样本的实体信息后，按照实体类别分别进行匹配，例如，第一样本对(Q1,Q2)共识别到了年龄实体(Q1：17岁，Q2：19岁)、保险名实体(Q1:平安福，Q2：平安平安福终身寿险)、地点名实体(Q1：上海，Q2：深圳)。
假设年龄实体对应的匹配规则可如上表1所示，则同一个年龄段内的年龄实体视为等价匹配。
假设保险名实体对应的匹配规则为同一保险名称的全称与简称为等价匹配。
则第一样本对(Q1,Q2)的年龄实体匹配结果为0(不匹配)、保险名实体匹配结果为1(两者分别为同一保险名称的简称和全称，匹配)、地点名实体匹配结果为0(不匹配)，则第一样本对(Q1,Q2)的实体特征为(0,1,-1,0,-1)，其中，第一维特征0表示年龄实体特征，第二维特征1表示保险名实体特征，第四维特征0表示地点名实体特征，第三、第五维特征-1分别表示疾病名实体特征、职业名实体特征，因第一样本对(Q1,Q2)中没有疾病名实体、职业名实体，故第三、第五维特征用其他数值(例如，-1)来表示。
对于一种类别实体中有多个实体的场景：
例如，Q11：我了解到平安福和爱满分适用人群比较广，那福保保的投保年龄多少？Q12：福保保更为普遍，平安福投保年龄多少？
其中，Q11的保险名实体有3个：平安福、爱满分、福保保，Q12的保险名实体有2个：福保保、平安福。
此时，实体特征的确定过程为：确定每个第一样本对的两个样本中每种实体类别对应的实体数量，假设对于第一样本对(Q11,Q12)，按照实体在样本中出现的顺序，Q11有三个保险名实体(E11平安福,E12爱满分,E13福保保)，Q12有2个保险名实体(E21福保保,E22平安福)，则第一样本对(Q11,Q12)的保险名实体特征可以用3*2的矩阵Y表示：
Figure BDA0002781671810000121
由于不同样本对的实体个数不同(例如有些是3x2矩阵特征，有些是3x1矩阵特征等等)，为了固定特征维度，假设Q11、Q12的保险名实体个数最多的有U(例如，3)个，则第一样本对(Q11,Q12)的保险名实体特征为U*U的矩阵特征。例如对于Q12，保险名实体数量不足3个，需要进行补充，补充后保险名实体为(E21福保保,E22平安福,E23空)，对于空的实体，其特征可以用-1来表示，则第一样本对(Q11,Q12)的实体特征矩阵Y为:
Figure BDA0002781671810000131
对于上述5种实体类别，实体特征这块共有实体：K1*K1+K2*K2+K3*K3+K4*K4+K5*K5，其中，K1表示年龄实体类别中实体最多个数，K2表示保险名实体类别中实体最多个数，……，假设每个类别的实体的最多个数是3，则最终的实体特征矩阵为5*3*3。
本实施例中的匹配规则是根据业务场景进行定义的，在保险名实体的匹配规则中，还可以定义：当用户咨询细类产品时，问答系统回复包含细类的大类产品也是正确的(匹配)，但是反过来却是错误的，即当用户咨询大类产品，回复细类产品是错误的(不匹配)。
例如，用户问题对应的实体：小福星，问答系统给出的标准答案对应的实体：大小福星，则两者匹配结果为1(匹配)；用户问题对应的实体：大小福星，问答系统给出的标准答案对应的实体：小福星，则两者匹配结果为0(不匹配)。
所述确定所述第一样本对集合中每个第一样本对的实体特征包括：
B1、将每个第一样本对输入问题类型分类模型，得到每个第一样本对的问题类型特征；
所述问题类型分类模型可以是textCNN模型或fasttext模型，所述问题类型包括：who/where/when/what/why/how/how many/how much/how long/age/二值型/other。其中二值型问题为诸如xxx可不可以投保/xxx能不能理赔之类的问题。
本实施例对各种类型的问题进行编码，例如，who：1，where：2，when：3，what＝4，所述问题类型特征为三元数组(Ci1,Ci2,Labeli)，其中，Ci1表示第i个第一样本对中第一个样本的问题类型，Ci2表示第i个第一样本对中第二个样本的问题类型，Labeli表示第i个第一样本对中两个样本的问题类型匹配结果(0或1)。
B2、提取每个第一样本对中两个样本的关键词并进行关键词匹配，基于关键词匹配结果确定每个第一样本对的关键词特征；
本实施例可采用TF-IDF算法提取每个第一样本对中两个样本的关键词，当问题类型相同时，关键词意图可能不一致。
例如，Q3：高血压可不可以投保，Q4：高血压可不可以理赔。Q3与Q4的问题类型都是二值型问题，然而，Q3的关键词是投保，Q4的关键词是理赔，则Q3与Q4的关键词匹配结果为0(不匹配)。当某一第一样本对中两个样本的关键词数量都有多个时，分别进行关键词匹配，得到的关键词特征可以是一个多元数组。
在其他实施例中，也可以将关键词转换为词向量，将词向量作为关键词特征。
B3、拼接所述问题类型特征及所述关键词特征，得到每个第一样本对的意图特征。
得到每个第一样本对的相似度特征、实体特征及意图特征后，将这三个特征进行组合，得到第一文本特征。
本实施例中，所述预设模型为Deep&Wide模型，Deep&Wide模型的核心思想是结合线性模型的记忆能力和DNN(深度神经网络)模型的泛化能力，训练时同时优化两个模型的参数，使得语义匹配模型的预测能力更优。
所述将所述第一文本特征输入预设模型进行训练，得到语义匹配模型，包括：
C1、将所述第一文本特征输入预设模型，得到每个第一样本对中两个样本的预测匹配结果；
C2、基于所述标注信息获取每个第一样本对中两个样本的真实匹配结果，通过最小化预测匹配结果与真实匹配结果之间的损失值确定所述预设模型的模型参数，得到语义匹配模型。
所述损失值的计算公式为：
Figure BDA0002781671810000141
其中，loss(qi,pi)为第一样本对集合中第i个第一样本对中两个样本的预测匹配结果与真实匹配结果的损失值，qi为第i个第一样本对中两个样本的预测匹配结果，pi为第i个第一样本对中两个样本的真实匹配结果，c为第一样本对集合中第一样本对的总数量。
所述真实匹配结果为每个第一样本对的Label(0或1)，所述预测匹配结果为模型输出的每个第一样本对中两个样本的相似度值。
本实施例通过将第一样本对的相似度特征、实体特征及意图特征输入Deep&Wide模型中进行训练，使得Deep&Wide模型学习到了实际场景中的特定特征，使得实际场景中的问题对的匹配准确度更高。
筛选模块120，用于接收用户输入的待处理问题，从标准问题库中筛选预设数量的与所述待处理问答匹配的标准问题，得到第一候选问题集。
所述标准问题库中存储有问答系统中的各个标准问题及其对应的标准答案。
在从标准问题库中筛选预设数量的与所述待处理问题匹配的标准问题之前，所述筛选模块120还用于：对所述待处理问题进行预处理。
所述预处理包括统一大小写、统一全半角、去标点符号、分词。
本实施例中，通过ES索引及sentence-bert模型(一种能快速计算句子相似度的孪生网络)等多种筛选方案并行从标准问题库(例如，有5万条标准问题)中筛选topM(例如，M为300条)的与待处理问题匹配的标准问题，得到第一候选问题集。
本次筛选特点是速度快、精度适中，将与待处理问题有点相关的标准问题筛选出来。
组合模块130，用于将所述待处理问题分别与所述第一候选问题集中的问题组合，得到第二样本对集合，基于所述第二样本对集合得到第二候选问题集。
将待处理问题与第一候选问题集中的一个问题组合，得到一个第二样本对，第二样本对集合中共有M个第二样本对。
所述基于所述第二样本对集合得到第二候选问题集包括：将所述第二样本对集合输入预先训练好的第二语义匹配模型，得到第二候选问题集。
所述第二语义匹配模型为基于特征的LR语义匹配模型，用于从所述第一候选问题集中筛选topN(例如，N为30条)的与待处理问题匹配的标准问题，得到第二候选问题集。
本次筛选特点是模型速度不能太慢(因此选择的模型不能太复杂)、精度要求较高，此时需将与待处理问题意思相近的候选问题排在前面。
匹配模块140，用于将所述待处理问题分别与所述第二候选问题集中的问题组合，得到第三样本对集合，分别确定所述第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，得到每个第三样本对的第二文本特征并输入所述语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于所述语义匹配结果确定所述待处理问题对应的目标标准问题及目标标准答案。
本实施例中，所述第二文本特征与第一文本特征的确定过程相同，先确定第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，基于每个第三样本对的相似度特征、实体特征及意图特征得到第二文本特征。
将第二文本特征输入语义匹配模型，可精准的计算出每个第三样本对的两个样本的相似度值，并根据相似度值对第二候选问题集中的标准问题进行排序，当top1的标准问题与待处理问题的相似度值大于相似度阈值(例如，0.7)时，将top1的标准问题对应的标准答案作为目标标准答案。若top1的标准问题与待处理问题的相似度值小于相似度阈值，认为标准问题库中没有与待处理问题同语义的问题，可将top3的标准问题及其标准答案发送给用户以供参考，或者将待处理问题发送给人工客服进行解答。
如图3所示，为本发明一实施例提供的实现问答对匹配方法的电子设备的结构示意图。
所述电子设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有问答对匹配程序10，所述问答对匹配程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及问答对匹配程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的问答对匹配程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行问答对匹配程序10等。
网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子设备1与客户端(图中未画出)之间建立通信连接。
可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的问答对匹配程序10是多个指令的组合，在所述处理器12中运行时，可以实现：
从样本库中抽取多个携带标注信息的样本对，得到第一样本对集合，分别确定所述第一样本对集合中每个第一样本对的相似度特征、实体特征及意图特征，根据所述相似度特征、实体特征、意图特征计算得到每个第一样本对的第一文本特征，将所述第一文本特征输入预设模型进行训练，得到语义匹配模型；
接收用户输入的待处理问题，从标准问题库中筛选预设数量的与所述待处理问答匹配的标准问题，得到第一候选问题集；
将所述待处理问题分别与所述第一候选问题集中的问题组合，得到第二样本对集合，基于所述第二样本对集合得到第二候选问题集；
将所述待处理问题分别与所述第二候选问题集中的问题组合，得到第三样本对集合，分别确定所述第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，得到每个第三样本对的第二文本特征并输入所述语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于所述语义匹配结果确定所述待处理问题对应的目标标准问题及目标标准答案。
具体地，所述处理器12对上述问答对匹配程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述样本库和标准问题库的私密和安全性，上述样本库和标准问题库还可以存储于一区块链的节点中。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的，也可以是非易失性的。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
所述计算机可读存储介质上存储有问答对匹配程序10，所述问答对匹配程序10可被一个或者多个处理器执行，本发明计算机可读存储介质具体实施方式与上述问答对匹配方法各实施例基本相同，在此不作赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种问答对匹配方法，其特征在于，所述方法包括：
从样本库中抽取多个携带标注信息的样本对，得到第一样本对集合，分别确定所述第一样本对集合中每个第一样本对的相似度特征、实体特征及意图特征，根据所述相似度特征、实体特征、意图特征计算得到每个第一样本对的第一文本特征，将所述第一文本特征输入预设模型进行训练，得到语义匹配模型；
接收用户输入的待处理问题，从标准问题库中筛选预设数量的与所述待处理问答匹配的标准问题，得到第一候选问题集；
将所述待处理问题分别与所述第一候选问题集中的问题组合，得到第二样本对集合，基于所述第二样本对集合得到第二候选问题集；
将所述待处理问题分别与所述第二候选问题集中的问题组合，得到第三样本对集合，分别确定所述第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，得到每个第三样本对的第二文本特征并输入所述语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于所述语义匹配结果确定所述待处理问题对应的目标标准问题及目标标准答案。
2.如权利要求1所述的问答对匹配方法，其特征在于，所述确定所述第一样本对集合中每个第一样本对的相似度特征包括：
分别计算每个第一样本对的jaccard相似度值、编辑距离值、Fuzzywuzzy值及simHash值并执行离散化处理，得到每个第一样本对的相似度特征。
3.如权利要求1所述的问答对匹配方法，其特征在于，所述确定所述第一样本对集合中每个第一样本对的实体特征包括：
将每个第一样本对输入命名实体识别模型，得到每个第一样本对中两个样本中的实体信息，所述实体信息包括实体类别；
基于所述实体类别确定每个第一样本对的实体特征。
4.如权利要求1所述的问答对匹配方法，其特征在于，所述确定所述第一样本对集合中每个第一样本对的意图特征包括：
将每个第一样本对输入问题类型分类模型，得到每个第一样本对的问题类型特征；
提取每个第一样本对中两个样本的关键词并进行关键词匹配，基于关键词匹配结果确定每个第一样本对的关键词特征；
拼接所述问题类型特征及所述关键词特征，得到每个第一样本对的意图特征。
5.如权利要求1所述的问答对匹配方法，其特征在于，所述将所述第一文本特征输入预设模型进行训练，得到语义匹配模型，包括：
将所述第一文本特征输入预设模型，得到每个第一样本对中两个样本的预测匹配结果；
基于所述标注信息获取每个第一样本对中两个样本的真实匹配结果，通过最小化预测匹配结果与真实匹配结果之间的损失值确定所述预设模型的模型参数，得到语义匹配模型。
6.如权利要求5所述的问答对匹配方法，其特征在于，所述损失值的计算公式为：
Figure FDA0002781671800000021
其中，loss(qi,pi)为第一样本对集合中第i个第一样本对中两个样本的预测匹配结果与真实匹配结果的损失值，qi为第i个第一样本对中两个样本的预测匹配结果，pi为第i个第一样本对中两个样本的真实匹配结果，c为第一样本对集合中第一样本对的总数量。
7.一种问答对匹配装置，其特征在于，所述装置包括：
训练模块，用于从样本库中抽取多个携带标注信息的样本对，得到第一样本对集合，分别确定所述第一样本对集合中每个第一样本对的相似度特征、实体特征及意图特征，根据所述相似度特征、实体特征及意图特征计算得到每个第一样本对的第一文本特征，将所述第一文本特征输入预设模型进行训练，得到语义匹配模型；
筛选模块，用于接收用户输入的待处理问题，从标准问题库中筛选预设数量的与所述待处理问答匹配的标准问题，得到第一候选问题集；
组合模块，用于将所述待处理问题分别与所述第一候选问题集中的问题组合，得到第二样本对集合，基于所述第二样本对集合得到第二候选问题集；
匹配模块，用于将所述待处理问题分别与所述第二候选问题集中的问题组合，得到第三样本对集合，分别确定所述第三样本对集合中每个第三样本对的相似度特征、实体特征及意图特征，得到每个第三样本对的第二文本特征并输入所述语义匹配模型，得到每个第三样本对中两个样本的语义匹配结果，基于所述语义匹配结果确定所述待处理问题对应的目标标准问题及目标标准答案。
8.如权利要求7所述的问答对匹配装置，其特征在于，所述将所述第一文本特征输入预设模型进行训练，得到语义匹配模型，包括：
将所述第一文本特征输入预设模型，得到每个第一样本对中两个样本的预测匹配结果；
基于所述标注信息获取每个第一样本对中两个样本的真实匹配结果，通过最小化预测匹配结果与真实匹配结果之间的损失值确定所述预设模型的模型参数，得到语义匹配模型。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的问答对匹配程序，所述问答对匹配程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的问答对匹配方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有问答对匹配程序，所述问答对匹配程序可被一个或者多个处理器执行，以实现如权利要求1至6任一项所述的问答对匹配方法。
CN202011290081.5A 2020-11-17 2020-11-17 问答对匹配方法、装置、电子设备及存储介质 Active CN112417096B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011290081.5A CN112417096B (zh) 2020-11-17 2020-11-17 问答对匹配方法、装置、电子设备及存储介质
PCT/CN2021/090294 WO2022105115A1 (zh) 2020-11-17 2021-04-27 问答对匹配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011290081.5A CN112417096B (zh) 2020-11-17 2020-11-17 问答对匹配方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112417096A true CN112417096A (zh) 2021-02-26
CN112417096B CN112417096B (zh) 2024-05-28

Family

ID=74831610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011290081.5A Active CN112417096B (zh) 2020-11-17 2020-11-17 问答对匹配方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN112417096B (zh)
WO (1) WO2022105115A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113064984A (zh) * 2021-04-25 2021-07-02 深圳壹账通智能科技有限公司 意图识别方法、装置、电子设备及可读存储介质
CN113377936A (zh) * 2021-05-25 2021-09-10 杭州搜车数据科技有限公司 智能问答方法、装置及设备
CN113569011A (zh) * 2021-07-27 2021-10-29 马上消费金融股份有限公司 文本匹配模型的训练方法、装置、设备及存储介质
WO2022105115A1 (zh) * 2020-11-17 2022-05-27 平安科技（深圳）有限公司 问答对匹配方法、装置、电子设备及存储介质
CN114757208A (zh) * 2022-06-10 2022-07-15 荣耀终端有限公司 一种问答匹配方法及装置
CN114861674A (zh) * 2022-05-19 2022-08-05 山东新一代信息产业技术研究院有限公司 一种文本语义匹配方法及设备
CN117556006A (zh) * 2023-11-10 2024-02-13 摩尔线程智能科技(上海)有限责任公司 标准问题确定方法及装置、电子设备和存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303977B (zh) * 2023-05-17 2023-08-04 中国兵器工业计算机应用技术研究所 一种基于特征分类的问答方法及系统
CN116384411B (zh) * 2023-06-05 2023-07-25 北京水滴科技集团有限公司 基于外呼机器人的用户意图识别模型的训练方法和装置
CN116541506B (zh) * 2023-07-06 2023-09-15 深圳格隆汇信息科技有限公司 基于机器学习的智能对话方法、装置、设备及存储介质
CN116610807B (zh) * 2023-07-21 2023-10-13 北京语言大学 一种基于异质图神经网络的知识结构识别方法及装置
CN117574877B (zh) * 2023-11-21 2024-05-24 北京假日阳光环球旅行社有限公司 一种会话文本匹配方法及装置、存储介质、设备
CN117828064B (zh) * 2024-03-05 2024-05-28 之江实验室 一种问答系统及问答系统的构建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522393A (zh) * 2018-10-11 2019-03-26 平安科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质
CN111428010A (zh) * 2019-01-10 2020-07-17 北京京东尚科信息技术有限公司 人机智能问答的方法和装置
CN111708873A (zh) * 2020-06-15 2020-09-25 腾讯科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598445B (zh) * 2013-11-01 2019-05-10 腾讯科技（深圳）有限公司 自动问答系统和方法
JP2015176099A (ja) * 2014-03-18 2015-10-05 株式会社東芝 対話システム構築支援装置、方法、及びプログラム
CN110096580B (zh) * 2019-04-24 2022-05-24 北京百度网讯科技有限公司 一种faq对话方法、装置及电子设备
CN110502620B (zh) * 2019-07-02 2023-05-30 平安科技（深圳）有限公司 导诊相似问题对生成方法、系统及计算机设备
CN111581354A (zh) * 2020-05-12 2020-08-25 金蝶软件（中国）有限公司 一种faq问句相似度计算方法及其系统
CN112417096B (zh) * 2020-11-17 2024-05-28 平安科技（深圳）有限公司 问答对匹配方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522393A (zh) * 2018-10-11 2019-03-26 平安科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质
CN111428010A (zh) * 2019-01-10 2020-07-17 北京京东尚科信息技术有限公司 人机智能问答的方法和装置
CN111708873A (zh) * 2020-06-15 2020-09-25 腾讯科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022105115A1 (zh) * 2020-11-17 2022-05-27 平安科技（深圳）有限公司 问答对匹配方法、装置、电子设备及存储介质
CN113064984A (zh) * 2021-04-25 2021-07-02 深圳壹账通智能科技有限公司 意图识别方法、装置、电子设备及可读存储介质
CN113377936A (zh) * 2021-05-25 2021-09-10 杭州搜车数据科技有限公司 智能问答方法、装置及设备
CN113377936B (zh) * 2021-05-25 2022-09-30 杭州搜车数据科技有限公司 智能问答方法、装置及设备
CN113569011A (zh) * 2021-07-27 2021-10-29 马上消费金融股份有限公司 文本匹配模型的训练方法、装置、设备及存储介质
CN113569011B (zh) * 2021-07-27 2023-03-24 马上消费金融股份有限公司 文本匹配模型的训练方法、装置、设备及存储介质
CN114861674A (zh) * 2022-05-19 2022-08-05 山东新一代信息产业技术研究院有限公司 一种文本语义匹配方法及设备
CN114757208A (zh) * 2022-06-10 2022-07-15 荣耀终端有限公司 一种问答匹配方法及装置
CN114757208B (zh) * 2022-06-10 2022-10-21 荣耀终端有限公司 一种问答匹配方法及装置
CN117556006A (zh) * 2023-11-10 2024-02-13 摩尔线程智能科技(上海)有限责任公司 标准问题确定方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2022105115A1 (zh) 2022-05-27
CN112417096B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN112417096B (zh) 问答对匹配方法、装置、电子设备及存储介质
CN111695033B (zh) 企业舆情分析方法、装置、电子设备及介质
WO2022141861A1 (zh) 情感分类方法、装置、电子设备及存储介质
CN113435202A (zh) 基于用户画像的产品推荐方法、装置、电子设备及介质
CN112183091A (zh) 问答对生成方法、装置、电子设备及可读存储介质
CN113312461A (zh) 基于自然语言处理的智能问答方法、装置、设备及介质
CN112686036A (zh) 风险文本识别方法、装置、计算机设备及存储介质
CN113903469A (zh) 基于人工智能的心理测评方法、装置、电子设备及介质
CN111860377A (zh) 基于人工智能的直播方法、装置、电子设备及存储介质
CN114090794A (zh) 基于人工智能的事理图谱构建方法及相关设备
CN114387061A (zh) 产品推送方法、装置、电子设备及可读存储介质
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
CN114706985A (zh) 文本分类方法、装置、电子设备及存储介质
CN114037545A (zh) 客户推荐方法、装置、设备及存储介质
CN114416939A (zh) 智能问答方法、装置、设备及存储介质
CN112395401B (zh) 自适应负样本对采样方法、装置、电子设备及存储介质
CN113688239A (zh) 少样本下的文本分类方法、装置、电子设备及存储介质
CN113704393A (zh) 关键词提取方法、装置、设备及介质
CN113065947A (zh) 数据处理方法、装置、设备及存储介质
CN116629423A (zh) 用户行为预测方法、装置、设备及存储介质
CN113706252B (zh) 产品推荐方法、装置、电子设备及存储介质
CN112949305B (zh) 负反馈信息采集方法、装置、设备及存储介质
CN113516205B (zh) 基于人工智能的员工稳定性分类方法及相关设备
CN113343700B (zh) 数据处理方法、装置、设备及存储介质
CN114139530A (zh) 同义词提取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant