CN111414746A - 一种匹配语句确定方法、装置、设备及存储介质 - Google Patents
一种匹配语句确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111414746A CN111414746A CN202010281056.4A CN202010281056A CN111414746A CN 111414746 A CN111414746 A CN 111414746A CN 202010281056 A CN202010281056 A CN 202010281056A CN 111414746 A CN111414746 A CN 111414746A
- Authority
- CN
- China
- Prior art keywords
- sentence
- statement
- candidate
- similarity
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000012549 training Methods 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 239000000945 filler Substances 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000000605 extraction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000031361 Hiccup Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种匹配语句确定方法、装置、设备及存储介质，其中，匹配语句确定方法包括：通过根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；确定目标语句与候选语句之间的至少两个相似度特征；基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句并展示。本发明实施例的技术方案结合目标语句与候选问句之间的多个相似度特征，确定目标语句的匹配语句，提高了匹配语句的精确度。
Description
技术领域
本发明实施例涉及自然语言处理技术领域，尤其涉及一种匹配语句确定方法、装置、终端及存储介质。
背景技术
语句匹配技术尤其是问句匹配技术，在客户服务、销售咨询等技术领域广泛应用。
现有的语句匹配方法通常有两种，一是基于传统统计模型的匹配方法，该方法仅能通过词频TF和逆文本词频IDF确定语句中词的相似度，匹配精确度较低；二是基于深度学习的语义匹配模型，该方法仅考虑语句的句义相似度特征，无法解决语句信息缺失带来的歧义问题，导致匹配结果不精确。
发明内容
本发明提供一种匹配语句确定方法、装置、终端及存储介质，能够更加精确地确定与目标语句相匹配的匹配语句。
第一方面，本发明实施例提供了一种匹配语句确定方法，所述方法包括：
根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；
确定所述目标语句与所述候选语句之间的至少两个相似度特征；
基于至少两个相似度特征和所述候选语句，确定与所述目标语句匹配的匹配语句并展示。
第二方面，本发明实施例还提供了一种匹配语句确定装置，所述装置包括：
候选语句确定模块，用于根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；
至少两个相似度特征确定模块，用于确定所述目标语句与所述候选语句之间的至少两个相似度特征；
匹配语句确定并展示模块，用于基于至少两个相似度特征和所述候选语句，确定与所述目标语句匹配的匹配语句并展示。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的匹配语句确定方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如本发明任一实施例所述的匹配语句确定方法。
本发明实施例通过根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；确定目标语句与候选语句之间的至少两个相似度特征；基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句并展示，结合目标语句与候选问句之间的多个相似度特征，确定目标语句的匹配语句，提高了匹配语句的精确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一中的一种匹配语句确定方法的流程图；
图2a是本发明实施例二中的一种匹配语句确定方法的流程图；
图2b是本发明实施例二中的一种确定上文相似度特征的示意图；
图2c是本发明实施例二中的一种BERT模型的结构示意图；
图2d是本发明实施例二中的一种BERT模型的正例样本输入示意图；
图3是本发明实施例三中的一种匹配语句确定装置的结构示意图；
图4是本发明实施例四中的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种匹配语句确定方法的流程图，本实施例可适用于需要确定与目标语句相匹配的匹配语句的情况，该方法可以由匹配语句确定装置来执行，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于计算机设备中。如图1所示，本实施例的方法具体包括：
S110、根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句。
其中，预设候选语句确定规则可以是基于语句之间的各种语义相似度确定的规则，其中，相似度特征可以是基于语句中字词确定的语义相似度，也可以是基于语句上下文确定的语义相似度，还可以是基于语句中句义确定的语义相似度等。预设候选语句确定规则优选可以是将语义相似度值处于预设范围内的预设语句作为候选语句，也可以是将语义相似度值最大的预设数目个预设语句作为候选语句等。
本实施例的应用场景主要是人机交互，例如可以应用于金融机构(例如银行)中的自助业务办理机器人系统，也可以应用于银行理财智能客服系统，还可以应用于用来娱乐的机器人系统(例如可以是模仿用户说话的机器人，可以是解题机器人等)等。上述应用于金融机构中的自助业务办理机器人系统、银行理财智能客服系统以及用来娱乐的机器人系统可以是智能问答系统，也可以是非智能问答系统。
基于此，目标语句可以是问句，可以是陈述句，也可以是感叹句等(本实施例不作特殊限定)。目标语句优选可以是用户通过各系统的语音获取装置输入的语句。预设语句集合可以由相关领域内的若干具体话题组成，同一具体话题下可以包括若干相似语句。如果预设语句集合应用于智能问答系统，则在同一具体话题下，除了可以包括若干相似问句之外，还可以包括各问句对应的同一答案，优选的，可以在同一话题下，将若干相似问句映射到同一答案进行存储。候选语句是根据预设候选语句确定规则，从预设语句集合中确定出来的，其可以是一个也可以是多个，其在语义上与目标语句存在一定程度的相似性。
S120、确定目标语句与候选语句之间的至少两个相似度特征。
本实施例中的相似度特征指的是两个语句之间的语义相似度特征，即在语义上，两个语句之间存在一定的相似性。这种相似性可以用多个特征维度进行描述，即两个语句之间可以存在多个语义相似度特征。如果仅采用一种相似度特征来描述两个语句在语义上的相似性，会比结合多个相似度特征来描述两个语句在语义上的相似性的精确度差，因此，本实施例中采用目标语句与候选语句之间的至少两个相似度特征来描述目标语句与候选语句之间的的相似性。
优选的，本实施例中的相似度特征可以包括文字相似度特征、词语相似度特征、上文相似度特征和句义相似度特征中的至少两个，其中，文字相似度特征优选可以表示目标语句与候选语句之间在单个文字上的相似性；词语相似度特征优选可以表示目标语句与候选语句之间在词语上的相似性；上文相似度特征优选可以表示目标语句的上文信息与候选语句之间的相似性，该相似性可以是文字上的相似性，可以是词语上的相似性，也可以是句义上的相似性；句义相似度特征优选可以表示表示目标语句与候选语句之间在语句意义上的相似性。
S130、基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句并展示。
匹配语句可以是符合预设匹配条件的语句，其可以是候选语句中的语句，也可以是预先设定的备选语句，相应的，展示给用户的内容可以是候选语句中的语句或者备选语句。如果目标语句为问句，则匹配语句除了可以包括候选语句中的语句或者备选语句之外，还可以包括与候选语句中的语句或者备选语句相对应的唯一答案语句，此种情况下展示给用户的既可以包括候选语句中的语句或者备选语句，也可以包括相应的唯一答案语句。
上述预设匹配条件可以是如果存在候选语句与目标语句的相似度在预设相似度范围内，则将该候选语句作为目标语句的匹配语句；如果存在多个候选语句与目标语句的相似度在预设相似度范围内，则将相似度最高的候选语句作为目标语句的匹配语句；如果存在候选语句与目标语句的相似度在预设相似度范围内，但是该候选语句不满足匹配语句校验条件，则将备选语句作为目标语句的匹配语句，其中，匹配语句校验条件可以是匹配语句中必须包含某个预设关键词，也可以是匹配语句与目标语句的领域关键词必须相同等；如果不存在候选语句与目标语句的相似度在预设相似度范围内，则将备选语句作为目标语句的匹配语句。
目标语句与候选语句的相似度可以基于至少两个相似度特征确定，具体确定方法优选可以是将至少两个相似度特征输入预先训练完成的机器学习模型中，输出相应的相似度，其中，机器学习模型可以是SVM(Support Vector Machines，支持向量机)模型、LR(Logistic Regression，逻辑回归)模型和XGBoost模型中的任一种，其中，XGBoost是提升树可扩展的机器学习系统，XGBoost模型是树集成模型。
本实施例提供的一种匹配语句确定方法，通过根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；确定目标语句与候选语句之间的至少两个相似度特征；基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句并展示，结合目标语句与候选问句之间的多个相似度特征，确定目标语句的匹配语句，提高了匹配语句的精确度。
在上述各实施例的基础上，进一步的，基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句，包括：
将至少两个相似度特征输入预先训练好的XGBoost树模型中，得到目标语句与候选语句之间的相似度；
确定相似度中的最高相似度，并将最高相似度对应的候选语句作为匹配语句。
XGBoost树模型可以表示多个特征与真实标签之间的非线性关系。本实施例中，将至少两个特征输入XGBoost树模型中进行二分类训练，模型预测类别为1的概率值即为最终目标语句与候选语句之间的相似度，利用上述方法逐一计算候选问句中每个候选问句对应的相似度，得到每个候选问句对应的相似度，对每个候选问句对应的相似度进行排序，并将最高相似度对应的候选语句作为目标语句的匹配语句。
在利用XGBoost树模型确定目标语句的匹配语句之前，可以对XGBoost树模型进行训练。在训练之前首先确定正负例样本集，其中，正负例样本集包括正例样本对和负例样本对，正例样本对为语义相近的两个语句，负例样本对为语义完全不同的两个语句。分别提取正例样本对和负例样本对的至少两个相似度特征，得到多组相似度特征，并将每组相似度特征作为一条训练样本对XGBoost树模型进行训练。具体的训练过程为首先利用训练样本训练第一棵树，并使用第一棵树预测训练集，得到训练样本的预测值，预测值和真实值的差值定义为残差，将残差作为训练第二棵树时训练样本的真实值。根据上述训练方法训练第二棵树，并将第二棵树对应的残差用于第三棵树的训练，以此类推，达到预设树的总数目停止训练。
在训练XGBoost树模型的过程中，使用的损失函数可以是平方损失函数，
该平方损失函数使得每次训练拟合残差能够逐渐逼近样本的真实值。在模型训练时可以调整超参数，从而提升训练效果。其中，超参数包括eta、gamma、最大树深度以及子节点中最小的样本权重和，eta参数为在参数更新过程中的收缩步长，其类似学习率的概念，gamma为正则化参数，其数值越大算法越保守，最大树深度可以控制单棵树的规模和复杂度，子节点中最小的样本权重和指建立每个模型所需的最小样本数，数值越大算法越保守。
在上述各实施例的基础上，进一步的，在确定相似度中的最高相似度，并将最高相似度对应的候选语句作为匹配语句之后，还包括：
基于预设关键字差异确定规则，确定目标语句与匹配语句之间的关键字差异；
若关键字差异符合预设拒识规则，则舍弃匹配语句，并将备选语句作为匹配语句。
具体预设关键字差异确定规则如下：示例性的，将目标语句可以表示为q_user＝{w1,w2,...,wi,...,wu}，相应地，将匹配语句可表示为faq_i＝{w1,w2,...,wj,...,wq}，预设关键字差异确定规则具体可以是将q_user和faq_i对齐，得到非二者共有的关键字wk，并确定目标语句与匹配语句之间的关键字差异为
本实施例中的预设拒识规则为若存在diff中的wk满足：wk为动词、名词，且为语句关键词，并且freqencywk＜frequency_threshold，其中，freqencywk表示wk的词频，frequency_threshold为预设词频阈值，则拒识匹配语句。若确定关键字差异diff符合上述预设拒识规则，则舍弃匹配语句，并将备选语句作为匹配语句。
实施例二
图2a为本发明实施例二提供的一种匹配语句确定方法的流程图。本实施例在上述各实施例的基础上，可选根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句，包括：
利用BM25算法，确定预设语句集合中每个预设语句与所述目标语句之间的第一BM25值；
根据所述第一BM25值对所述每个预设语句进行降序排列，将前预设数目个预设语句作为候选语句；
相应的，若所述至少两个相似度特征包括文字相似度特征，则确定所述目标语句与所述候选语句之间的至少两个相似度特征，包括：
将所述候选语句对应的第一BM 25值作为所述目标语句与所述候选语句之间的文字相似度特征。
以及，若所述至少两个相似度特征还包括上文相似度特征，则确定所述目标语句与所述候选语句之间的至少两个相似度特征，包括：
确定符合预设条件的上文对话文本，所述上文对话文本为所述目标语句的上文对话文本；
提取所述上文对话文本与所述目标语句的领域关键词，得到第一领域关键词集合；
针对所述候选语句中的每个候选语句，提取所述候选语句的领域关键词，得到第二领域关键词集合；
利用关键词级别的BM25算法，确定第一领域关键词集合与所述第二领域关键词集合之间的第二BM25值，并将所述第二BM 25值作为所述目标语句与所述候选语句之间的上文相似度特征。
以及，若所述至少两个相似度特征还包括句义相似度特征，则确定所述目标语句与所述候选语句之间的至少两个相似度特征，包括：
利用预先训练好的BERT模型，确定所述目标语句与所述候选语句之间的句义相似度特征，其中，所述BERT模型依次基于Listwise列表方法和Pairwise文档对方法训练得到。
如图2a所示，本实施例的方法具体包括：
S210、利用BM25算法，确定预设语句集合中每个预设语句与目标语句之间的第一BM25值；根据第一BM25值对每个预设语句进行降序排列，将前预设数目个预设语句作为候选语句。
优选的，本实施例中的BM25算法可以是词语级别(即以词语为最小选取单位)的BM25算法，其中，词语可以是任意词语，也可以是关键词(即除去填充词之外的词语，填充词为口语中的语气词和表示停顿思考的虚词，例如“这个”、“那么”、“呃”等词语)；BM25算法也可以是文字级别(即以单个文字为最小选取单位)的BM25算法。
由于本实施例的应用场景为语音交互，其涉及到的用户输入的目标语句多为口语化语句，且多为短文本，内容词(即含有实际意义的词语)较少，填充词较多，因此，本实施例优选可以采用文字级别的BM25算法。
优选的，BM25算法的具体表达式如下所示：
其中，score(D,Q)为第一BM25值，D为预设语句，Q为目标语句，qi为目标语句中的第i个文字n为目标语句中的文字总数，ω为文字权重，f(qi,D)为qi在预设语句中出现的频率，k1和b为可调参数，|D|为预设语句D中以字为单位的长度，avgdl为所有候选语句的平均长度，N为预设语句集合中预设语句的总数目，n(qi)为预设语句集合中，包含qi的预设语句总数目，filler words为填充词，content words为内容词。
S220、若至少两个相似度特征包括文字相似度特征，则将候选语句对应的第一BM25值作为目标语句与候选语句之间的文字相似度特征。
优选的，可以对各候选语句对应的第一BM 25值进行归一化处理。
S230、若至少两个相似度特征还包括上文相似度特征，则确定符合预设条件的上文对话文本，上文对话文本为目标语句的上文对话文本；提取上文对话文本与目标语句的领域关键词，得到第一领域关键词集合；针对候选语句中的每个候选语句，提取候选语句的领域关键词，得到第二领域关键词集合。
本实施例中的上文信息特征能够辅助解决歧义问题。例如，用户与机器人客服的当前对话的场景为“产品的年化收益率”场景，当前用户的目标语句为“那会不会波动呢”，该目标语句明显缺少主语“收益率”，此种情况下，可以通过考虑符合预设条件的上文对话文本，引入上文信息特征来解决“指代消解”和“信息缺失”等问题。
示例性的，符合预设条件的上文对话文本可以是在目标语句之前的一轮对话文本(即包括目标语句和匹配语句)，也可以是在目标语句之前的一轮对话文本中的匹配语句，还可以是在目标语句之前的多轮对话文本。
S240、利用关键词级别的BM25算法，确定第一领域关键词集合与第二领域关键词集合之间的第二BM25值，并将第二BM 25值作为目标语句与候选语句之间的上文相似度特征。
此步骤中确定上文相似度特征的原理与上述确定文字相似度特征的原理相同，其区别仅在于最小选取单位由单个文字变为关键词，其具体过程此处不再赘述。
图2b为本发明实施例二提供的一种确定上文相似度特征的示意图，如图2b所示，上文对话文本为在目标语句之前的一轮对话文本中的匹配语句，提取上一轮匹配语句中的匹配语句领域关键词和目标语句的目标语句领域关键词，将匹配语句领域关键词和目标语句领域关键词作为第一领域关键词集合，提取候选语句中每个候选语句的候选语句领域关键词，将候选语句领域关键词作为第二领域关键词集合，得到每个候选问句对应的第二领域关键词集合，利用关键词级别的BM25算法分别计算第一领域关键词集合与每个第二领域关键词集合之间的第二BM25值，最终得到每个候选问句对应的第二BM25值。
S250、若至少两个相似度特征还包括句义相似度特征，则利用预先训练好的BERT模型，确定目标语句与候选语句之间的句义相似度特征，其中，BERT模型依次基于Listwise列表方法和Pairwise文档对方法训练得到。
优选的，可以采用预先训练好的BERT模型(Bidirectional EncoderRepresentations from Transformers，来自变换器的双向编码器表征量)提取目标语句与候选语句之间的句义相似度特征，具体的，可以将目标语句和候选语句同时输入BERT模型中，模型预测输出类别1的概率值即为目标语句与候选语句之间的句义相似度特征值。
示例性的，将目标语句定义为sentence A，候选语句定义为sentence B，两个语句同时输入BERT模型中。图2c为本发明实施例二提供的一种BERT模型的结构示意图，如图2c所示，将目标语句sentence A转化为Tok1……TokN，其中，Tok 1到Tok N按顺序代表目标语句sentence A中的每个文字。将候选语句sentence B转化为Tok1……TokM，其中，Tok 1到Tok M按顺序代表候选语句sentence B中的每个文字。[CLS]标示用于分类的向量位置，聚集所有的分类信息，[SEP]标示输入句子对的分割位置。将sentence A和sentence B输入BERT模型后，Tok1……TokN、Tok1……TokM、[CLS]以及[SEP]分别转化为词嵌入表示向量E(包括E1……EN、E1＇……EM＇、E[CLS]以及E[SEP])。其中，每个E由三部分叠加组成，包括token嵌入、segment嵌入和position嵌入，其中，token嵌入作用是将每个token转化为固定维度的向量表示(示例性的，BERT模型中可以采用的固定维度为768维)作为相应token的语义表示。segment嵌入作用是区分token的句子从属，只有两个向量表示，即0和1。可以将第一个值0分配给sentence A的所有token，将第二个值1分配给sentence B的所有token。position嵌入为编码输入的顺序特征，。之后，按顺序将每个向量E输入Trm(即多层双向Transformer)结构。Trm结构由attention机制(注意力机制)和前馈神经网络组成，其本质上是一个Encoder-Decoder(编码-解码)结构。由于BERT模型中的Transformer仅用于特征提取，所以只需要Encoder部分。该部分表示向量E先进入Encoder中的self-attention模块，得到一个加权之后的特征向量z，再将z输入一个全连接前馈神经网络(FFN)。示例性的，该全连接前馈神经网络的第一层可以是激活函数ReLU，第二层可以是线性激活函数，可以表示为：FFN(z)＝max(0,zW1+b1)W2+b2。之后对FFN层进行layer normalization，将该层的输出向量与输入相加并归一化。经过6个相同的Encoder特征提取后的输出向量就是Trm的输出，根据图2c可知，该过程需要两次Transformer特征提取(即需要两个Trm结构)，因此一般模型的规模为12层。在Transformer特征提取之后，输出对应的特征向量(包括C、T1……TN、TSEP以及T1＇……TM＇)，同时利用全连接层分类器Classifier输出0/1预测概率分布，其中，类别1的概率值即为句义相似度特征值。
BERT模型训练可以包括预训练(Pre-training)和精调(Fine-tuning)两个阶段。其中，预训练阶段的参数可以直接采用谷歌提供的模型参数，精调阶段则可以在此基础上，依次基于Listwise列表方法和Pairwise文档对方法，确定用于训练的预设语料样本集，并对BERT模型进行训练。其中，预设语料样本集可以包括正例样本和负例样本，图2d为本发明实施例二提供的一种BERT模型的正例样本输入示意图，如图2d所示，目标语句为“每天限额多少”，候选语句为“限额高吗”，将目标语句“每天限额多少”转化为Tok1＝每、Tok2＝天、Tok3＝限、Tok4＝额、Tok5＝多和Tok6＝少，将候选语句“限额高吗”转化为Tok1＝限、Tok2＝额、Tok3＝高和Tok4＝吗，之后将目标语句对应的各个Tok、候选语句对应的各个Tok、[CLS]和两个[SEP]输入BERT模型，首先经过token嵌入得到E[CLS]、E每、E天、E限、E额、E多、E少、E[SEP]、E限、E额、E高、E吗以及E[SEP]，再经过segment嵌入得到EA、EA、EA、EA、EA、EA、EA、EA、EB、EB、EB、EB以及EB，最后经过position嵌入得到E0、E1、E2、E3、E4、E5、E6、E7、E8、E9、E10、E11以及E12。将token嵌入、segment嵌入和position嵌入得到的向量相加，即为最终得到的向量E。
在BERT模型的精调训练阶段，可以首先基于Listwise列表方法的思想构造训练样本，Listwise列表方法对应的一组训练样本可以包括一个正例＜q_user,faq_i＞和若干负例＜q_user,faq_j_1＞L＜q_user,faq_j_k＞，将训练样本输入模型中并计算每个正负例的相似度；完成一组训练样本中所有正负例的相似度计算后，取所有负例中相似度最高的负例，将该负例与正例组合。此时得到的样本符合Pairwise文档对方法的思想。在基于Listwise列表方法进行训练之前，需要设计损失函数，损失函数的公式为：loss＝max(0,1-(score_i-score_j))，其中，score_i为将正例输入BERT模型后得到的正例相似度，score_j为将负例输入BERT模型后得到的负例相似度。优选的，训练过程中可以设置初始学习率为1e-5，并且使用Adam优化器进行优化，Adam优化器是一种自适应时刻估计方法，能计算每个参数的自适应学习率，其收敛速度更快，学习效果更好。
S260、将包括文字相似度特征、上文相似度特征和句义相似度特征在内的至少两个相似度特征输入预先训练好的XGBoost树模型中，得到目标语句与候选语句之间的相似度；确定相似度中的最高相似度，并将最高相似度对应的候选语句作为匹配语句。
下面以基于银行理财营销的对话数据对上述技术方案进行验证和评价。
预设语句集合可以是预先选取的银行理财营销场景的100个话题对应的对话文本数据，预设语句集合共1065个预设语句，包括100个话题，每个话题下包括10个左右相似的语句。这些语句来源于真实对话数据或由业务人员整理扩展，是理财产品营销场景中经常出现的咨询问题。
用户的目标语句对应的语料共876条。一轮对话是指客户经理和客户的一次交互。优选的，可以将上述876条目标语句语料，按照训练集：验证集：测试集＝8：1：1的比例关系划分，其中，验证集和测试集均为88条样本，并统计目标语句语料的长度等的统计信息，如表1所示(可以理解的是，表1中的数据仅是一个示例，并不起限定作用)。
表1目标语句语料的统计信息
| 句长(字数) | 个数 | 占比 | 句长均值 |
| [3,8] | 229 | 26.14％ | 6.4 |
| (8,14] | 289 | 32.99％ | 11.0 |
| (14,20] | 166 | 18.95％ | 17.0 |
| (20,26] | 92 | 10.50％ | 23.0 |
| (26,32] | 41 | 4.68％ | 29.2 |
| (32,40] | 29 | 3.31％ | 35.7 |
| (40,50] | 15 | 1.71％ | 44.4 |
| (50,94] | 15 | 1.71％ | 61.3 |
| 总计 | 876 | 100％ | 15.3(均值)/12(中位数) |
将用户的目标语句作为查询，利用BM25方法，逐一检索预设语句集合并取BM25值最高的前K个作为候选语句。其中，BERT训练样本中正例的构造方法如下：将与目标语句相似的候选语句与目标语句组成正例。负例构造方法如下：基于已构造的正例和对应的K个候选语句(例如K取20)，对候选语句中与目标语句相异的句子按照正负比例1：r(r为可调超参)进行抽样，将抽出的候选语句与目标语句组成负例。
为了验证本发明实施例中依次基于Listwise列表方法和Pairwise文档对方法训练BERT模型的训练效果，可以将另外两种仅利用Pointwise单个文档方法和Pairwise文档对方法应用于BERT模型训练并进行结果对比。在上述构造得到的正负例的基础上，上述三种训练方法对应的样本分别是：Pointwise单个文档方法的训练样本就是最初构造的正负例数据集；Pairwise文档对方法选取一个正例和同一个目标语句的一个负例组成一个样本；依次基于Listwise列表方法和Pairwise文档对方法的训练方法选取一个正例和同一个目标语句的多个负例组成一个样本。表2示出了Pointwise、Pairwise和依次基于Listwise列表方法和Pairwise文档对方法的训练方法对应的训练样本数目，其中，正负比例r＝5，K＝60(可以理解的是，表2中的数据仅是一个示例，并不起限定作用)。
表2三种方法对应的训练样本数目
可以分别利用评价指标BM25 Recall、Recall@Top-1和MRR对利用上述三种方法训练得到的BERT模型进行评价。可以从以下三个方面对上述三种方法训练得到的BERT模型进行评价：
1、验证候选问句获取方法的可靠性，其可以通过计算候选问句集的召回率进行评价，通过计算候选问句集的召回率，可以确定本发明实施例采用的以单个文字为最小获取单位的BM25检索方法能够显著提高召回率。
2、验证句义相似度特征提取方法的优越性，其可以通过横向对比不同BERT模型和纵向对比不同训练方法进行评价。横向对比：将BERT模型与DSSM和Match Pyramid两个模型进行横向对比，可知BERT模型的效果好于其他两个模型，主要在于预训练模型有更强的表示能力，以及依次基于Listwise列表方法和Pairwise文档对方法的训练方法提升了模型对负例的辨别能力，从而也说明BERT拥有更强句义特征提取能力。纵向对比：本发明实施例采用的依次基于Listwise列表方法和Pairwise文档对方法的训练方法，训练产生的模型效果优于仅采用Pairwise和Pointwise训练得到的模型。依次基于Listwise列表方法和Pairwise文档对方法的训练方法，训练产生的模型能够更加充分地学习用户问句与候选问句之间相似性和不相似性，显著提升了匹配指标。
3、验证融合多特征的XGBoost模型的效果，其可以通过对比单一特征的模型进行评价。通过验证可以得到只使用单一文字相似度特征的BM25模型的性能表现较差，无法实际应用。以往研究常用的深度语义匹配模型Match Pyramid可以提取语句之间的句义相似度特征，但未考虑上文特征且特征提取能力有限，匹配效果一般。本发明实施例提出的方法加强了句义特征的表示能力，同时结合了上文信息特征和文字相似度特征，弥补了单一特征的问句语义匹配方法的不足，融合多特征之后的匹配指标大幅提升，准确率可达85％及以上。
本实施例提供的一种匹配语句确定方法，通过利用BM25算法，确定预设语句集合中每个预设语句与目标语句之间的第一BM25值；根据第一BM25值对每个预设语句进行降序排列，将前预设数目个预设语句作为候选语句；若至少两个相似度特征包括文字相似度特征，则将候选语句对应的第一BM 25值作为目标语句与候选语句之间的文字相似度特征；若至少两个相似度特征还包括上文相似度特征，则确定符合预设条件的上文对话文本，上文对话文本为目标语句的上文对话文本；提取上文对话文本与目标语句的领域关键词，得到第一领域关键词集合；针对候选语句中的每个候选语句，提取候选语句的领域关键词，得到第二领域关键词集合；利用关键词级别的BM25算法，确定第一领域关键词集合与第二领域关键词集合之间的第二BM25值，并将第二BM 25值作为目标语句与候选语句之间的上文相似度特征；若至少两个相似度特征还包括句义相似度特征，则利用预先训练好的BERT模型，确定目标语句与候选语句之间的句义相似度特征，其中，BERT模型依次基于Listwise列表方法和Pairwise文档对方法训练得到；将包括文字相似度特征、上文相似度特征和句义相似度特征在内的至少两个相似度特征输入预先训练好的XGBoost树模型中，得到目标语句与候选语句之间的相似度；确定相似度中的最高相似度，并将最高相似度对应的候选语句作为匹配语句，结合目标语句与候选问句之间的包括文字相似度特征、上文相似度特征和句义相似度特征在内的多个相似度特征，确定目标语句的匹配语句，进一步提高了匹配语句的精确度。
实施例三
图3是本发明实施例三中的一种匹配语句确定装置的结构示意图。如图3所示，本实施例的装置包括：
候选语句确定模块310，用于根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；
至少两个相似度特征确定模块320，用于确定目标语句与候选语句之间的至少两个相似度特征；
匹配语句确定并展示模块330，用于基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句并展示。
本实施例提供的一种匹配语句确定装置，通过利用候选语句确定模块根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；利用至少两个相似度特征确定模块，确定目标语句与候选语句之间的至少两个相似度特征；利用匹配语句确定并展示模块基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句并展示，结合目标语句与候选问句之间的多个相似度特征，确定目标语句的匹配语句，提高了匹配语句的精确度。
在上述各技术方案的基础上，可选的，至少两个相似度特征包括文字相似度特征、上文相似度特征和句义相似度特征中的至少两个。
在上述各技术方案的基础上，可选的，候选语句确定模块310可以包括：
第一BM25值确定单元，用于利用BM25算法，确定预设语句集合中每个预设语句与目标语句之间的第一BM25值；
候选语句确定单元，用于根据第一BM25值对每个预设语句进行降序排列，将前预设数目个预设语句作为候选语句；
相应的，至少两个相似度特征确定模块320优选可以包括文字相似度特征确定单元，用于若至少两个相似度特征包括文字相似度特征，则将候选语句对应的第一BM 25值作为目标语句与候选语句之间的文字相似度特征。
在上述各技术方案的基础上，可选的，BM25算法的具体表达式如下所示：
其中，score(D,Q)为第一BM25值，D为预设语句，Q为目标语句，qi为目标语句中的第i个文字，n为目标语句中的文字总数，ω为文字权重，f(qi,D)为qi在预设语句中出现的频率，k1和b为可调参数，|D|为预设语句D中以字为单位的长度，avgdl为所有候选语句的平均长度，N为预设语句集合中预设语句的总数目，n(qi)为预设语句集合中，包含qi的预设语句总数目，filler words为填充词，content words为内容词。
在上述各技术方案的基础上，可选的，若至少两个相似度特征还包括上文相似度特征，则至少两个相似度特征确定模块320优选可以包括：
上文对话文本确定单元，用于确定符合预设条件的上文对话文本，上文对话文本为目标语句的上文对话文本；
第一领域关键词集合确定单元，用于提取上文对话文本与目标语句的领域关键词，得到第一领域关键词集合；
第二领域关键词集合确定单元，用于针对候选语句中的每个候选语句，提取候选语句的领域关键词，得到第二领域关键词集合；
上文相似度特征确定单元，用于利用关键词级别的BM25算法，确定第一领域关键词集合与第二领域关键词集合之间的第二BM25值，并将第二BM 25值作为目标语句与候选语句之间的上文相似度特征。
在上述各技术方案的基础上，可选的，若至少两个相似度特征还包括句义相似度特征，则至少两个相似度特征确定模块320优选可以包括句义相似度特征确定单元，用于利用预先训练好的BERT模型，确定目标语句与候选语句之间的句义相似度特征，其中，BERT模型依次基于Listwise列表方法和Pairwise文档对方法训练得到。
在上述各技术方案的基础上，可选的，匹配语句确定并展示模块330可以包括：
相似度确定单元，用于将至少两个相似度特征输入预先训练好的XGBoost树模型中，得到目标语句与候选语句之间的相似度；
匹配语句确定单元，用于确定相似度中的最高相似度，并将最高相似度对应的候选语句作为匹配语句。
在上述各技术方案的基础上，可选的，匹配语句确定并展示模块330还可以包括关键字差异确定单元，用于在确定相似度中的最高相似度，并将最高相似度对应的候选语句作为匹配语句之后，基于预设关键字差异确定规则，确定目标语句与匹配语句之间的关键字差异；
若关键字差异符合预设拒识规则，则舍弃匹配语句，并将备选语句作为匹配语句。
本发明实施例所提供的匹配语句确定装置可执行本发明任意实施例所提供的匹配语句确定方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，存储器428，连接不同系统组件(包括存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等，其中，显示器424可根据实际需要决定是否配置)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图4中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储装置等。
处理器416通过运行存储在存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的匹配语句确定方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的匹配语句确定方法，包括：
根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；
确定目标语句与候选语句之间的至少两个相似度特征；
基于至少两个相似度特征和候选语句，确定与目标语句匹配的匹配语句并展示。
当然，本发明实施例所提供的计算机可读存储介质，其上存储的计算机程序不限于执行如上所述的方法操作，还可以执行本发明任意实施例所提供的基于计算机设备的匹配语句确定方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种匹配语句确定方法，其特征在于，包括：
根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；
确定所述目标语句与所述候选语句之间的至少两个相似度特征；
基于至少两个相似度特征和所述候选语句，确定与所述目标语句匹配的匹配语句并展示。
2.根据权利要求1所述的方法，其特征在于，所述至少两个相似度特征包括文字相似度特征、上文相似度特征和句义相似度特征中的至少两个。
3.根据权利要求2所述的方法，其特征在于，根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句，包括：
利用BM25算法，确定预设语句集合中每个预设语句与所述目标语句之间的第一BM25值；
根据所述第一BM25值对所述每个预设语句进行降序排列，将前预设数目个预设语句作为候选语句；
相应的，若所述至少两个相似度特征包括文字相似度特征，则确定所述目标语句与所述候选语句之间的至少两个相似度特征，包括：
将所述候选语句对应的第一BM 25值作为所述目标语句与所述候选语句之间的文字相似度特征。
4.根据权利要求3所述的方法，其特征在于，所述BM25算法的具体表达式如下所示：
其中，所述score(D,Q)为所述第一BM25值，所述D为所述预设语句，所述Q为所述目标语句，所述qi为所述目标语句中的第i个文字，所述n为所述目标语句中的文字总数，ω为文字权重，f(qi,D)为qi在所述预设语句中出现的频率，k1和b为可调参数，|D|为所述预设语句D中以字为单位的长度，avgdl为所有候选语句的平均长度，N为所述预设语句集合中预设语句的总数目，n(qi)为所述预设语句集合中，包含qi的预设语句总数目，filler words为填充词，content words为内容词。
5.根据权利要3所述的方法，其特征在于，若所述至少两个相似度特征还包括上文相似度特征，则确定所述目标语句与所述候选语句之间的至少两个相似度特征，包括：
确定符合预设条件的上文对话文本，所述上文对话文本为所述目标语句的上文对话文本；
提取所述上文对话文本与所述目标语句的领域关键词，得到第一领域关键词集合；
针对所述候选语句中的每个候选语句，提取所述候选语句的领域关键词，得到第二领域关键词集合；
利用关键词级别的BM25算法，确定第一领域关键词集合与所述第二领域关键词集合之间的第二BM25值，并将所述第二BM 25值作为所述目标语句与所述候选语句之间的上文相似度特征。
6.根据权利要求5所述的方法，其特征在于，若所述至少两个相似度特征还包括句义相似度特征，则确定所述目标语句与所述候选语句之间的至少两个相似度特征，包括：
利用预先训练好的BERT模型，确定所述目标语句与所述候选语句之间的句义相似度特征，其中，所述BERT模型依次基于Listwise列表方法和Pairwise文档对方法训练得到。
7.根据权利要求1-6任一项所述的方法，其特征在于，基于至少两个相似度特征和所述候选语句，确定与所述目标语句匹配的匹配语句，包括：
将所述至少两个相似度特征输入预先训练好的XGBoost树模型中，得到所述目标语句与所述候选语句之间的相似度；
确定所述相似度中的最高相似度，并将最高相似度对应的候选语句作为所述匹配语句。
8.根据权利要求7所述的方法，其特征在于，在确定所述相似度中的最高相似度，并将最高相似度对应的候选语句作为所述匹配语句之后，还包括：
基于预设关键字差异确定规则，确定所述目标语句与所述匹配语句之间的关键字差异；
若所述关键字差异符合预设拒识规则，则舍弃所述匹配语句，并将备选语句作为所述匹配语句。
9.一种匹配语句确定装置，其特征在于，包括：
候选语句确定模块，用于根据预设候选语句确定规则，从预设语句集合中确定与目标语句相对应的候选语句；
至少两个相似度特征确定模块，用于确定所述目标语句与所述候选语句之间的至少两个相似度特征；
匹配语句确定并展示模块，用于基于至少两个相似度特征和所述候选语句，确定与所述目标语句匹配的匹配语句并展示。
10.一种计算机设备，其特征在于，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现如权利要求1-8中任一所述的匹配语句确定方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的匹配语句确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010281056.4A CN111414746B (zh) | 2020-04-10 | 2020-04-10 | 一种匹配语句确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010281056.4A CN111414746B (zh) | 2020-04-10 | 2020-04-10 | 一种匹配语句确定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111414746A true CN111414746A (zh) | 2020-07-14 |
| CN111414746B CN111414746B (zh) | 2023-11-07 |
Family
ID=71491837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010281056.4A Active CN111414746B (zh) | 2020-04-10 | 2020-04-10 | 一种匹配语句确定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414746B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020096A (zh) * | 2017-07-24 | 2019-07-16 | 北京国双科技有限公司 | 基于查询的分类器训练方法和装置 |
| CN111950259A (zh) * | 2020-08-20 | 2020-11-17 | 深圳市卡牛科技有限公司 | 一种文本展示方法、装置、设备和存储介质 |
| CN112464662A (zh) * | 2020-12-02 | 2021-03-09 | 平安医疗健康管理股份有限公司 | 医学短语匹配方法、装置、设备及存储介质 |
| CN112507192A (zh) * | 2020-09-24 | 2021-03-16 | 厦门立马耀网络科技有限公司 | 一种应用对比匹配方法、介质、系统和设备 |
| CN112749256A (zh) * | 2020-12-30 | 2021-05-04 | 北京知因智慧科技有限公司 | 文本处理方法、装置、设备及存储介质 |
| CN113360537A (zh) * | 2021-06-04 | 2021-09-07 | 北京百度网讯科技有限公司 | 信息查询方法、装置、电子设备和介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170749A (zh) * | 2017-12-21 | 2018-06-15 | 北京百度网讯科技有限公司 | 基于人工智能的对话方法、装置及计算机可读介质 |
| US20180225365A1 (en) * | 2017-02-08 | 2018-08-09 | International Business Machines Corporation | Dialog mechanism responsive to query context |
| CN110134799A (zh) * | 2019-05-29 | 2019-08-16 | 四川长虹电器股份有限公司 | 一种基于bm25算法的文本语料库的搭建和优化方法 |
| CN110134760A (zh) * | 2019-05-17 | 2019-08-16 | 北京思维造物信息科技股份有限公司 | 一种搜索方法、装置、设备及介质 |
| CN110442718A (zh) * | 2019-08-08 | 2019-11-12 | 腾讯科技（深圳）有限公司 | 语句处理方法、装置及服务器和存储介质 |
| CN110442777A (zh) * | 2019-06-24 | 2019-11-12 | 华中师范大学 | 基于bert的伪相关反馈模型信息检索方法及系统 |
| CN110489538A (zh) * | 2019-08-27 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于人工智能的语句应答方法、装置及电子设备 |
| US20190392066A1 (en) * | 2018-06-26 | 2019-12-26 | Adobe Inc. | Semantic Analysis-Based Query Result Retrieval for Natural Language Procedural Queries |
| CN110727783A (zh) * | 2019-10-23 | 2020-01-24 | 支付宝(杭州)信息技术有限公司 | 一种基于对话系统对用户问句提出反问的方法和装置 |
| CN110750616A (zh) * | 2019-10-16 | 2020-02-04 | 网易（杭州）网络有限公司 | 检索式聊天方法、装置以及计算机设备 |
| CN110765247A (zh) * | 2019-09-30 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种用于问答机器人的输入提示方法及装置 |
-
2020
- 2020-04-10 CN CN202010281056.4A patent/CN111414746B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180225365A1 (en) * | 2017-02-08 | 2018-08-09 | International Business Machines Corporation | Dialog mechanism responsive to query context |
| CN108170749A (zh) * | 2017-12-21 | 2018-06-15 | 北京百度网讯科技有限公司 | 基于人工智能的对话方法、装置及计算机可读介质 |
| US20190392066A1 (en) * | 2018-06-26 | 2019-12-26 | Adobe Inc. | Semantic Analysis-Based Query Result Retrieval for Natural Language Procedural Queries |
| CN110134760A (zh) * | 2019-05-17 | 2019-08-16 | 北京思维造物信息科技股份有限公司 | 一种搜索方法、装置、设备及介质 |
| CN110134799A (zh) * | 2019-05-29 | 2019-08-16 | 四川长虹电器股份有限公司 | 一种基于bm25算法的文本语料库的搭建和优化方法 |
| CN110442777A (zh) * | 2019-06-24 | 2019-11-12 | 华中师范大学 | 基于bert的伪相关反馈模型信息检索方法及系统 |
| CN110442718A (zh) * | 2019-08-08 | 2019-11-12 | 腾讯科技（深圳）有限公司 | 语句处理方法、装置及服务器和存储介质 |
| CN110489538A (zh) * | 2019-08-27 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于人工智能的语句应答方法、装置及电子设备 |
| CN110765247A (zh) * | 2019-09-30 | 2020-02-07 | 支付宝(杭州)信息技术有限公司 | 一种用于问答机器人的输入提示方法及装置 |
| CN110750616A (zh) * | 2019-10-16 | 2020-02-04 | 网易（杭州）网络有限公司 | 检索式聊天方法、装置以及计算机设备 |
| CN110727783A (zh) * | 2019-10-23 | 2020-01-24 | 支付宝(杭州)信息技术有限公司 | 一种基于对话系统对用户问句提出反问的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 余佳: ""基于微博用户属性与发文内容的兴趣挖掘方法研究"" * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020096A (zh) * | 2017-07-24 | 2019-07-16 | 北京国双科技有限公司 | 基于查询的分类器训练方法和装置 |
| CN110020096B (zh) * | 2017-07-24 | 2021-09-07 | 北京国双科技有限公司 | 基于查询的分类器训练方法和装置 |
| CN111950259A (zh) * | 2020-08-20 | 2020-11-17 | 深圳市卡牛科技有限公司 | 一种文本展示方法、装置、设备和存储介质 |
| CN112507192A (zh) * | 2020-09-24 | 2021-03-16 | 厦门立马耀网络科技有限公司 | 一种应用对比匹配方法、介质、系统和设备 |
| CN112464662A (zh) * | 2020-12-02 | 2021-03-09 | 平安医疗健康管理股份有限公司 | 医学短语匹配方法、装置、设备及存储介质 |
| CN112464662B (zh) * | 2020-12-02 | 2022-09-30 | 深圳平安医疗健康科技服务有限公司 | 医学短语匹配方法、装置、设备及存储介质 |
| CN112749256A (zh) * | 2020-12-30 | 2021-05-04 | 北京知因智慧科技有限公司 | 文本处理方法、装置、设备及存储介质 |
| CN113360537A (zh) * | 2021-06-04 | 2021-09-07 | 北京百度网讯科技有限公司 | 信息查询方法、装置、电子设备和介质 |
| CN113360537B (zh) * | 2021-06-04 | 2024-01-12 | 北京百度网讯科技有限公司 | 信息查询方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111414746B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110196901B (zh) | 对话系统的构建方法、装置、计算机设备和存储介质 | |
| CN110489538B (zh) | 基于人工智能的语句应答方法、装置及电子设备 | |
| CN111414746B (zh) | 一种匹配语句确定方法、装置、设备及存储介质 | |
| US11409964B2 (en) | Method, apparatus, device and storage medium for evaluating quality of answer | |
| CN112100354B (zh) | 人机对话方法、装置、设备及存储介质 | |
| EP3620994A1 (en) | Methods, apparatuses, devices, and computer-readable storage media for determining category of entity | |
| CN110083832B (zh) | 文章转载关系的识别方法、装置、设备及可读存储介质 | |
| CN111599340A (zh) | 一种多音字读音预测方法、装置及计算机可读存储介质 | |
| CN110705247B (zh) | 基于χ2-C的文本相似度计算方法 | |
| CN114528827B (zh) | 一种面向文本的对抗样本生成方法、系统、设备及终端 | |
| CN110414004A (zh) | 一种核心信息提取的方法和系统 | |
| US20200012650A1 (en) | Method and apparatus for determining response for user input data, and medium | |
| CN113761868B (zh) | 文本处理方法、装置、电子设备及可读存储介质 | |
| CN116662518A (zh) | 问答方法、装置、电子设备及可读存储介质 | |
| CN113919366A (zh) | 一种面向电力变压器知识问答的语义匹配方法和装置 | |
| CN112613293A (zh) | 摘要生成方法、装置、电子设备及存储介质 | |
| CN113095072B (zh) | 文本处理方法及装置 | |
| CN113204624A (zh) | 一种多特征融合的文本情感分析模型及装置 | |
| CN116127001A (zh) | 敏感词检测方法、装置、计算机设备及存储介质 | |
| CN115730590A (zh) | 意图识别方法以及相关设备 | |
| CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
| CN117556050B (zh) | 数据分类分级方法、装置、电子设备及存储介质 | |
| KR20210038260A (ko) | 머신 러닝 기반 한국 고객 서비스 어시스턴트 보조 시스템 | |
| CN110287396A (zh) | 文本匹配方法及装置 | |
| CN111401069A (zh) | 会话文本的意图识别方法、意图识别装置及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220916 Address after: 12 / F, 15 / F, 99 Yincheng Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200120 Applicant after: Jianxin Financial Science and Technology Co.,Ltd. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Applicant before: CHINA CONSTRUCTION BANK Corp. Applicant before: Jianxin Financial Science and Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |