CN113486140A - 知识问答的匹配方法、装置、设备及存储介质 - Google Patents

知识问答的匹配方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113486140A
CN113486140A CN202110852957.9A CN202110852957A CN113486140A CN 113486140 A CN113486140 A CN 113486140A CN 202110852957 A CN202110852957 A CN 202110852957A CN 113486140 A CN113486140 A CN 113486140A
Authority
CN
China
Prior art keywords
answer
question
score
target
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110852957.9A
Other languages
English (en)
Other versions
CN113486140B (zh
Inventor
杨修远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202110852957.9A priority Critical patent/CN113486140B/zh
Publication of CN113486140A publication Critical patent/CN113486140A/zh
Application granted granted Critical
Publication of CN113486140B publication Critical patent/CN113486140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/319—Inverted lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/194—Calculation of difference between files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种知识问答的匹配方法、装置、设备及存储介质，其中方法包括：分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；根据所述相关性总评分集合确定目标相关性总评分；将所述目标相关性总评分对应的所述答案文本作为目标答案文本。通过提前构建的倒排索引库进行问题与答案的匹配，实现了在每个问题与答案对之间采用字符级交互，提高了线上查询响应速度。

Description

知识问答的匹配方法、装置、设备及存储介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种知识问答的匹配方法、装置、设备及存储介质。
背景技术
基于知识库的开放领域问答系统(OpenQA)是针对用户提出的问题，首先从大量的文章里检索出相关的文章、然后从相关的文章里定位到答案。解决OpenQA的一种有效方法是大规模机器阅读(MRS)，具体为：(1)文档检索器，MRS利用信息检索(IR)系统，使用比如bigram(网络二元模型)和TF-IDF(用于信息检索与数据挖掘的常用加权技术)，快速检索出相关段落列表；(2)文档阅读器，使用比如LSTM(长短期记忆人工神经网络)模型找出正确答案。然而，这种方法受其串行性质的限制，并且第一阶段的文档检索器是不可训练的，检索时可能不会返回包含正确答案的段落。
为了解决这个问题，之前的工作主要集中在用可训练的端到端检索器来替换第一阶段的文档检索器，也有人提出通过直接检索答案跨度将段落检索和机器阅读结合起来。尽管两种方法存在差异，但是两种方法都建立在双编码器架构之上，首先将答案和问题被编码为固定大小的线性向量，两个线性向量的相关性分数是通过点积计算的，然后使用近似最近邻(ANN)搜索来实现大型数据集的实时检索。由于双编码器架构的模型建模较为复杂，且是是必要的，一旦替换为过度简化的编码与匹配功能，性能会大幅度下降。但是双编码器架构的模型性能较差、推理速度较慢，导致线上查询响应慢。
发明内容
本申请的主要目的为提供一种知识问答的匹配方法、装置、设备及存储介质，旨在解决现有技术在采用双编码器架构的模型进行问题与答案编码、点积计算相关性分数和近似最近邻搜索时，因双编码器架构的模型性能较差、推理速度较慢，导致线上查询响应慢的技术问题。
为了实现上述发明目的，本申请提出一种知识问答的匹配方法，所述方法包括：
获取目标问题文本和倒排索引库；
分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；
根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；
根据所述相关性总评分集合确定目标相关性总评分；
将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
进一步的，所述获取目标问题文本和倒排索引库的步骤之前，包括：
获取多个待评分的问题单字符；
从多个所述待评分的问题单字符中获取所述待评分的问题单字符作为目标问题单字符；
将所述目标问题单字符输入相关性评分模型进行问题单字符与答案的相关性评分计算，得到答案文本相关性评分集合，所述答案文本相关性评分集合包括：所述答案文本和所述问题单字符与答案相关性评分；
将所述目标问题单字符、所述答案文本相关性评分集合作为关联数据更新所述倒排索引库；
重复执行所述从多个所述待评分的问题单字符中获取所述待评分的问题单字符作为目标问题单字符的步骤，直至完成所述待评分的问题单字符的获取。
进一步的，所述将所述目标问题单字符输入相关性评分模型进行问题单字符与答案的相关性评分计算，得到答案文本相关性评分集合的步骤之前，还包括：
获取多个待采样样本，所述待采样样本包括：问题样本文本、答案及答案上下文样本、第一答案标定值；
采用预设划分规则，对多个所述待采样样本进行划分，得到多个初始样本集；
从多个所述初始样本集中获取所述初始样本集作为目标初始样本集；
采用批次内负采样的方法，根据所述目标初始样本集进行训练样本生成，得到训练样本集合；
采用所述训练样本集合对初始模型进行训练；
重复执行所述从多个所述初始样本集中获取所述初始样本集作为目标初始样本集的步骤，直至满足预设模型训练结束条件，将满足所述预设模型训练结束条件的所述初始模型作为所述相关性评分模型。
进一步的，所述采用所述训练样本集合对初始模型进行训练的步骤，包括：
从所述训练样本集合中获取训练样本作为目标训练样本；
将所述目标训练样本的所述问题样本文本输入所述初始模型的问题编码层进行不涉及上下文的编码，得到问题编码向量；
将所述目标训练样本的答案及答案上下文正样本输入所述初始模型的答案编码层进行涉及上下文的编码，得到正答案编码向量；
分别将所述目标训练样本的答案及答案上下文负样本集合中的每个答案及答案上下文负样本输入所述答案编码层进行涉及上下文的编码，得到负答案编码向量集合；
采用所述初始模型的匹配分数计算层，对所述问题编码向量、所述正答案编码向量和所述负答案编码向量集合进行问题与答案的匹配分数计算，得到问题与正答案匹配分数和问题与负答案匹配分数集合；
采用所述初始模型的向量稀疏层，分别对所述问题与正答案匹配分数和所述问题与负答案匹配分数集合进行向量稀疏处理，得到问题与正答案稀疏匹配分数和问题与负答案稀疏匹配分数集合；
将所述问题与正答案稀疏匹配分数和所述问题与负答案稀疏匹配分数集合输入损失函数进行损失值计算，得到目标损失值；
根据所述目标损失值更新所述初始模型的参数；
重复执行所述从所述训练样本集合中获取训练样本作为目标训练样本的步骤，直至完成所述训练样本集合中的所述训练样本的获取。
进一步的，问题与答案匹配分数中的第i个匹配分数的计算公式yi为：
Figure BDA0003183130990000031
其中，
Figure BDA0003183130990000041
是对ei的转置计算，ei是所述目标训练样本的所述问题样本文本中的第i个字符在所述问题编码向量中对应的向量元素，sj是答案编码向量的第j个字符对应的向量元素，|c|是答案编码向量对应的字符数量，maxj∈[1,|c|]是在
Figure BDA0003183130990000042
的sj维度计算最大值；
当所述问题与答案匹配分数是所述问题与正答案匹配分数时，所述答案编码向量是所述正答案编码向量；
当所述问题与答案匹配分数是所述问题与负答案匹配分数集合中的问题与负答案匹配分数时，所述答案编码向量是所述负答案编码向量集合中的任一个负答案编码向量。
进一步的，问题与答案稀疏匹配分数中的第i个稀疏匹配分数的计算公式P(yi)为：
P(yi)＝ReLU(yi+b)
其中，ReLU是激活函数，当yi+b大于预设数值时ReLU(yi+b)等于yi+b，当yi+b小于或等于所述预设数值时ReLU(yi+b)等于0，b是需要训练的参数，所述预设数值是常量；
当yi是所述问题与正答案匹配分数中的第i个所述匹配分数时P(yi)是所述问题与正答案稀疏匹配分数的第i个所述稀疏匹配分数，当yi是所述问题与负答案匹配分数集合中的问题与负答案匹配分数的第i个所述匹配分数时P(yi)是所述问题与负答案稀疏匹配分数集合中的问题与负答案稀疏匹配分数的第i个所述稀疏匹配分数；
答案累加分数的计算公式f为：
Figure BDA0003183130990000043
其中，|q|是所述问题编码向量对应的字符数量，log是对数函数，当P(yi)为所述问题与正答案稀疏匹配分数的第i个所述稀疏匹配分数时f是正答案累加分数，当P(yi)为所述问题与负答案稀疏匹配分数的第i个所述稀疏匹配分数时f是负答案累加分数集合中的负答案累加分数；
所述目标损失值的计算公式J为：
Figure BDA0003183130990000044
其中，K-是所述负答案累加分数集合中的所述负答案累加分数的数量，e是自然常数，
Figure BDA0003183130990000051
是所述负答案累加分数集合中的第k个所述负答案累加分数，f+是所述正答案累加分数。
进一步的，所述根据所述相关性总评分集合确定目标相关性总评分的步骤，包括：
获取相关性总评分阈值；
从所述相关性总评分集合中找出最大值，得到待评估的相关性总评分；
当所述待评估的相关性总评分大于或等于所述相关性总评分阈值时，将所述待评估的相关性总评分作为所述目标相关性总评分。
本申请还提出了一种知识问答的匹配装置，所述装置包括：
数据获取模块，用于获取目标问题文本和倒排索引库；
问题单字符评分集合确定模块，用于分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；
相关性总评分集合确定模块，用于根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；
目标相关性总评分模块，用于根据所述相关性总评分集合确定目标相关性总评分；
目标答案文本确定模块，用于将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的知识问答的匹配方法、装置、设备及存储介质，其中方法通过首先获取目标问题文本和倒排索引库，其次，分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分，然后根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合，根据所述相关性总评分集合确定目标相关性总评分，最后将所述目标相关性总评分对应的所述答案文本作为目标答案文本，通过提前构建的倒排索引库进行问题与答案的匹配，实现了在每个问题与答案对之间采用字符级交互，提高了线上查询响应速度，从而避免采用双编码器架构的模型进行问题与答案编码、点积计算相关性分数和近似最近邻搜索的技术问题。
附图说明
图1为本申请一实施例的知识问答的匹配方法的流程示意图；
图2为本申请一实施例的知识问答的匹配装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例中提供一种知识问答的匹配方法，所述方法包括：
S1：获取目标问题文本和倒排索引库；
S2：分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；
S3：根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；
S4：根据所述相关性总评分集合确定目标相关性总评分；
S5：将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
本实施例通过首先获取目标问题文本和倒排索引库，其次，分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分，然后根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合，根据所述相关性总评分集合确定目标相关性总评分，最后将所述目标相关性总评分对应的所述答案文本作为目标答案文本，通过提前构建的倒排索引库进行问题与答案的匹配，实现了在每个问题与答案对之间采用字符级交互，提高了线上查询响应速度，从而避免采用双编码器架构的模型进行问题与答案编码、点积计算相关性分数和近似最近邻搜索的技术问题。
对于S1，可以获取用户输入的目标问题文本，也可以从数据库中获取目标问题文本，还可以从第三方应用系统中获取目标问题文本。
所述目标问题文本，是需要匹配答案的问题文本。问题文本，是描述问题的文本数据。
其中，可以从数据库中获取倒排索引库，还可以从第三方应用系统中获取倒排索引库。
所述倒排索引库包括：问题单字符、答案文本、问题单字符与答案相关性评分，每个问题单字符对应一个答案文本和一个问题单字符与答案相关性评分。问题单字符，是问题文本中的一个字符。答案文本，是描述答案的文本数据。问题单字符与答案相关性评分，是问题文本中的问题单字符针对答案文本的相关性评分。
可以理解的是，在所述倒排索引库中，问题单字符可以具有唯一性，也可以不具有唯一性。
对于S2，分别将所述目标问题文本中的每个问题单字符在所述倒排索引库的各个所述问题单字符中进行查询，分别将在所述倒排索引库的各个所述问题单字符中查找到的每个问题单字符，及其(查找到的每个问题单字符)在所述倒排索引库对应的数据(所述答案文本和所述问题单字符与答案相关性评分)作为关联数据放入所述问题单字符评分集合。
对于S3，根据所述问题单字符评分集合，针对所述问题单字符评分集合中的每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，将针对每个所述答案文本求和计算得到的数据作为一个相关性总评分，将所有所述相关性总评分作为所述相关性总评分集合。
比如，所述问题单字符评分集合包括：“Z1、D1、30”、“Z2、D1、40”、“Z3、D1、50”、“Z1、D2、20”、“Z2、D2、40”、“Z3、D2、30”，根据所述问题单字符评分集合针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，也就是针对所述答案文本D1对应的所有所述问题单字符与答案相关性评分进行求和计算得到所述相关性总评分为120分(30+40+50＝120)，针对所述答案文本D2对应的所有所述问题单字符与答案相关性评分进行求和计算得到所述相关性总评分为90分(20+40+30＝90)，在此举例不做具体限定。
对于S4，从所述相关性总评分集合中找出最大的所述相关性总评分，将找出的所述相关性总评分作为所述目标相关性总评分。
对于S5，将所述目标相关性总评分对应的所述答案文本作为所述目标问题文本对应的所述目标答案文本。
在一个实施例中，上述获取目标问题文本和倒排索引库的步骤之前，包括：
S11：获取多个待评分的问题单字符；
S12：从多个所述待评分的问题单字符中获取所述待评分的问题单字符作为目标问题单字符；
S13：将所述目标问题单字符输入相关性评分模型进行问题单字符与答案的相关性评分计算，得到答案文本相关性评分集合，所述答案文本相关性评分集合包括：所述答案文本和所述问题单字符与答案相关性评分；
S14：将所述目标问题单字符、所述答案文本相关性评分集合作为关联数据更新所述倒排索引库；
S15：重复执行所述从多个所述待评分的问题单字符中获取所述待评分的问题单字符作为目标问题单字符的步骤，直至完成所述待评分的问题单字符的获取。
本实施例首先采用相关性评分模型对问题单字符确定答案文本相关性评分集合，然后根据答案文本相关性评分集合更新所述倒排索引库，从而为采用倒排索引库进行问题与答案的匹配提供了基础。
对于S11，可以获取用户输入的多个待评分的问题单字符，也可以从数据库中获取多个待评分的问题单字符，还可以从第三方应用系统中获取多个待评分的问题单字符。
可选的，多个所述待评分的问题单字符包括了中文常用汉字，每个所述待评分的问题单字符是中文的一个汉字。
所述待评分的问题单字符，也就是需要进行问题单字符与答案的相关性评分计算的问题单字符。
对于S12，从多个所述待评分的问题单字符中获取一个所述待评分的问题单字符，将获取的所述待评分的问题单字符作为所述目标问题单字符。
对于S13，将所述目标问题单字符输入所述相关性评分模型进行问题单字符与答案的相关性评分计算，得到问题单字符与答案相关性评分向量；根据所述问题单字符与答案相关性评分向量中的每个向量元素，以及每个所述向量元素对应的所述答案文本，确定所述答案文本相关性评分集合。也就是说，所述答案文本相关性评分集合中的所述答案文本和所述问题单字符与答案相关性评分一一对应。
对于S14，基于ES(ElasticSearch的简称，是基于Lucene的搜索服务器)的倒排索引构建方法，将所述目标问题单字符、所述答案文本相关性评分集合作为关联数据更新所述倒排索引库。也就是说，所述倒排索引库是ElasticSearch索引表。
对于S15，重复执行步骤S12至步骤S15，直至完成所述待评分的问题单字符的获取。从而实现了倒排索引库的构建，为采用倒排索引库进行问题与答案的匹配提供了基础。
在一个实施例中，上述将所述目标问题单字符输入相关性评分模型进行问题单字符与答案的相关性评分计算，得到答案文本相关性评分集合的步骤之前，还包括：
S131：获取多个待采样样本，所述待采样样本包括：问题样本文本、答案及答案上下文样本、第一答案标定值；
S132：采用预设划分规则，对多个所述待采样样本进行划分，得到多个初始样本集；
S133：从多个所述初始样本集中获取所述初始样本集作为目标初始样本集；
S134：采用批次内负采样的方法，根据所述目标初始样本集进行训练样本生成，得到训练样本集合；
S135：采用所述训练样本集合对初始模型进行训练；
S136：重复执行所述从多个所述初始样本集中获取所述初始样本集作为目标初始样本集的步骤，直至满足预设模型训练结束条件，将满足所述预设模型训练结束条件的所述初始模型作为所述相关性评分模型。
本实施例通过采用批次内负采样的方法生成训练样本集合对初始模型进行训练，从而为对问题单字符进行问题单字符与答案的相关性评分计算提供了基础。
对于S131，可以获取用户输入的多个待采样样本，也可以从数据库中获取多个待采样样本，还可以从第三方应用系统中获取多个待采样样本。
问题样本文本，是问题文本。答案及答案上下文样本包括：答案文本、答案文本上下文。答案文本上下文是指答案文本的上文文本及下文文本。
在同一个所述待采样样本中，第一答案标定值是对所述问题样本文本在所述答案及答案上下文样本中的答案文本的标定值。第一答案标定值包括：答案标定文本和答案开始字符位置。答案标定文本也就是所述答案及答案上下文样本中的答案文本。答案开始字符位置是答案标定文本的第一个字符在所述答案及答案上下文样本中的位置。
可选的，获取一个待提取的文档；将所述待提取的文档进行句子拆分，得到多个待处理的答案文本；从多个所述待处理的答案文本中获取一个所述待处理的答案文本作为目标待处理的答案文本；采用预设的截取规则，根据所述目标待处理的答案文本从所述待提取的文档中获取上文文本及下文文本，得到目标答案上下文样本；根据所述目标待处理的答案文本确定问题，得到目标问题样本文本；根据所述目标待处理的答案文本、所述目标答案上下文样本和所述目标问题样本文本生成所述待采样样本；重复执行所述从多个所述待处理的答案文本中获取一个所述待处理的答案文本作为目标待处理的答案文本的步骤，直至完成所述待处理的答案文本的获取。
其中，所述将所述待提取的文档进行句子拆分，得到多个待处理的答案文本，也就是将拆分得到的每个句子作为一个待处理的答案文本。
其中，采用预设的截取规则，根据所述目标待处理的答案文本从所述待提取的文档中获取上文文本及下文文本，从而使得到的目标答案上下文样本的字符数量小于或等于所述预设的截取规则中的字符总数量。
其中，所述根据所述目标待处理的答案文本、所述目标答案上下文样本和所述目标问题样本文本生成所述待采样样本的步骤中，将所述目标待处理的答案文本、所述目标答案上下文样本按文本顺序进行拼接作为所述目标待处理的答案文本对应的所述待采样样本的所述答案及答案上下文样本，所述目标问题样本文本作为所述目标待处理的答案文本对应的所述待采样样本的所述问题样本文本，将所述目标待处理的答案文本作为所述目标待处理的答案文本对应的所述待采样样本的所述第一答案标定值的答案标定文本，将所述目标待处理的答案文本在所述待采样样本的所述答案及答案上下文样本中的开始位置，作为所述目标待处理的答案文本对应的所述待采样样本的所述第一答案标定值的答案开始字符位置。
比如，所述答案及答案上下文样本为“安雅.罗素法来自俄罗斯圣彼得堡的模特儿。她是《全美超级模特儿新秀大赛》第十季的亚军。2008年，安雅宣布改回出生时的名字。”，所述问题样本文本为“安雅.罗素法参加什么比赛获得了冠军？”，所述第一答案标定值的所述答案标定文本为“《全美超级模特儿新秀大赛》第十季”，所述第一答案标定值的所述答案开始字符位置为24，在此举例不做具体限定。
对于S132，按预设数量样本为一批次的划分规则，对多个所述待采样样本进行划分，将划分得到的每个集合作为一个所述初始样本集。也就是说，所述初始样本集中的所述待采样样本的数量小于或等于所述预设数量。
可选的，所述预设数量设置为64。
对于S133，从多个所述初始样本集中获取一个所述初始样本集，将获取的所述初始样本集作为目标初始样本集。
对于S134，训练样本集合中训练样本的数量和所述目标初始样本集中所述待采样样本的数量相同。
训练样本包括：问题样本文本、答案及答案上下文正样本、答案及答案上下文负样本集合和第二答案标定值。
其中，从所述目标初始样本集中获取所述待采样样本作为待处理的样本；将所述待处理的样本的所述答案及答案上下文样本作为所述待处理的样本对应的训练样本的答案及答案上下文正样本；将所述目标初始样本集中的所述待处理的样本以外的各个所述答案及答案上下文样本作为所述待处理的样本对应的所述训练样本的答案及答案上下文负样本集合；将所述待处理的样本的所述第一答案标定值作为所述待处理的样本对应的所述训练样本的第二答案标定值；重复执行所述从所述目标初始样本集中获取所述待采样样本作为待处理的样本的步骤，直至完成所述目标初始样本集中的所述待采样样本的获取。
比如，所述预设数量设置为64，则所述目标初始样本集中所述待采样样本的数量为64，则所述训练样本集合中有64个训练样本，每个训练样本的所述答案及答案上下文负样本集合中有63个答案及答案上下文负样本，在此举例不做具体限定。
对于S135，分别采用所述训练样本集合中的每个训练样本对初始模型进行训练。
对于S136，重复执行步骤S133至步骤S136，直至满足预设模型训练结束条件；当满足所述预设模型训练结束条件时，意味着继续对所述初始模型训练对模型性能提升比较小，因此将满足所述预设模型训练结束条件的所述初始模型作为所述相关性评分模型。
在一个实施例中，上述采用所述训练样本集合对初始模型进行训练的步骤，包括：训练样本包括：问题样本文本、答案及答案上下文正样本、答案及答案上下文负样本集合、第二答案标定值。
S1351：从所述训练样本集合中获取训练样本作为目标训练样本；
S1352：将所述目标训练样本的所述问题样本文本输入所述初始模型的问题编码层进行不涉及上下文的编码，得到问题编码向量；
S1353：将所述目标训练样本的答案及答案上下文正样本输入所述初始模型的答案编码层进行涉及上下文的编码，得到正答案编码向量；
S1354：分别将所述目标训练样本的答案及答案上下文负样本集合中的每个答案及答案上下文负样本输入所述答案编码层进行涉及上下文的编码，得到负答案编码向量集合；
S1355：采用所述初始模型的匹配分数计算层，对所述问题编码向量、所述正答案编码向量和所述负答案编码向量集合进行问题与答案的匹配分数计算，得到问题与正答案匹配分数和问题与负答案匹配分数集合；
S1356：采用所述初始模型的向量稀疏层，分别对所述问题与正答案匹配分数和所述问题与负答案匹配分数集合进行向量稀疏处理，得到问题与正答案稀疏匹配分数和问题与负答案稀疏匹配分数集合；
S1357：将所述问题与正答案稀疏匹配分数和所述问题与负答案稀疏匹配分数集合输入损失函数进行损失值计算，得到目标损失值；
S1358：根据所述目标损失值更新所述初始模型的参数；
S1359：重复执行所述从所述训练样本集合中获取训练样本作为目标训练样本的步骤，直至完成所述训练样本集合中的所述训练样本的获取。
本实施例采用所述初始模型对问题进行不涉及上下文的编码，对答案进行涉及上下文的编码，然后进行问题与答案的匹配分数计算，最后对计算的的匹配分数进行向量稀疏处理，最后将向量稀疏处理后的匹配分数进行损失值计算，从而训练出可以进行问题单字符与答案的相关性评分计算的模型，为构建倒排索引库提供了基础，为实现在每个问题与答案对之间采用字符级交互提供了基础。
对于S1351，从所述训练样本集合中获取一个训练样本，将获取的所述训练样本作为所述目标训练样本。
对于S1352，所述问题编码层，是Bert模型(语言表示模型)的编码层。
其中，将所述目标训练样本的所述问题样本文本输入所述初始模型的问题编码层进行每个字符的不涉及上下文的编码，将编码得到的向量作为所述问题编码向量。
对于S1353，所述答案编码层，是Bert模型的开始模块到Transformer(基于encoder-decoder结构的模型)最后一层的隐藏状态层。也就是说，隐藏状态层输出的向量作为答案编码向量。答案编码向量包括：正答案编码向量和负答案编码向量。
其中，将所述目标训练样本的答案及答案上下文正样本输入所述初始模型的答案编码层进行每个字符的涉及上下文的编码，将编码得到的向量作为正答案编码向量。
对于S1354，分别将所述目标训练样本的答案及答案上下文负样本集合中的每个答案及答案上下文负样本输入所述答案编码层进行每个字符的涉及上下文的编码，将编码得到的每个向量作为一个负答案编码向量，所有所述负答案编码向量作为所述负答案编码向量集合。也就是说，每个所述答案及答案上下文负样本对应一个负答案编码向量。
对于S1355，采用所述初始模型的匹配分数计算层，对所述问题编码向量和所述正答案编码向量进行问题与答案的匹配分数计算，得到所述问题与正答案匹配分数；采用所述初始模型的匹配分数计算层，分别对所述问题编码向量和所述负答案编码向量集合中的每个所述负答案编码向量进行问题与答案的匹配分数计算，得到所述问题与负答案匹配分数集合。
匹配分数计算层，用于进行内积计算，针对答案维度求解最大值。
对于S1356，采用所述初始模型的向量稀疏层，对所述问题与正答案匹配分数进行向量稀疏处理，得到所述问题与正答案稀疏匹配分数；采用所述初始模型的向量稀疏层，分别对所述问题与负答案匹配分数集合中的每个所述问题与负答案匹配分数进行向量稀疏处理，得到所述问题与负答案稀疏匹配分数集合。
向量稀疏层，用于使向量变得稀疏，以减少后续查表时的工作量。
对于S1357，对所述问题与正答案稀疏匹配分数进行变换累加，得到正答案累加分数；分别对所述问题与负答案稀疏匹配分数集合中每个所述问题与负答案稀疏匹配分数进行变换累加，得到负答案累加分数集合；根据所述正答案累加分数和所述负答案累加分数集合进行损失值计算，得到目标损失值。
对于S1358，根据所述目标损失值更新所述初始模型的参数的具体步骤在此不做赘述。
对于S1359，重复执行步骤S1351至步骤S1359，直至完成所述训练样本集合中的所述训练样本的获取。完成所述训练样本集合中的所述训练样本的获取时，意味着完成采用该批次的训练样本对所述初始模型的训练。
在一个实施例中，问题与答案匹配分数中的第i个匹配分数的计算公式yi为：
Figure BDA0003183130990000151
其中，
Figure BDA0003183130990000152
是对ei的转置计算，ei是所述目标训练样本的所述问题样本文本中的第i个字符在所述问题编码向量中对应的向量元素，sj是答案编码向量的第j个字符对应的向量元素，|c|是答案编码向量对应的字符数量，maxj∈[1,|c|]是在
Figure BDA0003183130990000153
的sj维度计算最大值；
当所述问题与答案匹配分数是所述问题与正答案匹配分数时，所述答案编码向量是所述正答案编码向量；
当所述问题与答案匹配分数是所述问题与负答案匹配分数集合中的问题与负答案匹配分数时，所述答案编码向量是所述负答案编码向量集合中的任一个负答案编码向量。
本实施例实现了对问题编码向量和答案编码向量进行内积计算，并且针对答案维度求解最大值，从而计算出了问题与答案的相关性评分。
其中，当所述问题与答案匹配分数是所述问题与正答案匹配分数时，所述答案编码向量的第j个字符对应的向量元素，是所述正答案编码向量对应的所述答案及答案上下文正样本的第j个字符在所述正答案编码向量对应的向量元素；当所述问题与答案匹配分数是所述问题与负答案匹配分数集合中的问题与负答案匹配分数时，所述答案编码向量的第j个字符对应的向量元素，是所述负答案编码向量对应的所述答案及答案上下文负样本的第j个字符在所述负答案编码向量对应的向量元素。
可以理解的是，所述问题与负答案匹配分数是同一个所述答案及答案上下文负样本对应的数据。
在一个实施例中，问题与答案稀疏匹配分数中的第i个稀疏匹配分数的计算公式P(yi)为：
P(yi)＝ReLU(yi+b)
其中，ReLU是激活函数，当yi+b大于预设数值时ReLU(yi+b)等于yi+b，当yi+b小于或等于所述预设数值时ReLU(yi+b)等于0，b是需要训练的参数，所述预设数值是常量；
当yi是所述问题与正答案匹配分数中的第i个所述匹配分数时P(yi)是所述问题与正答案稀疏匹配分数的第i个所述稀疏匹配分数，当yi是所述问题与负答案匹配分数集合中的问题与负答案匹配分数的第i个所述匹配分数时P(yi)是所述问题与负答案稀疏匹配分数集合中的问题与负答案稀疏匹配分数的第i个所述稀疏匹配分数；
答案累加分数的计算公式f为：
Figure BDA0003183130990000161
其中，|q|是所述问题编码向量对应的字符数量，log是对数函数，当P(yi)为所述问题与正答案稀疏匹配分数的第i个所述稀疏匹配分数时f是正答案累加分数，当P(yi)为所述问题与负答案稀疏匹配分数的第i个所述稀疏匹配分数时f是负答案累加分数集合中的负答案累加分数；
所述目标损失值的计算公式J为：
Figure BDA0003183130990000162
其中，K-是所述负答案累加分数集合中的所述负答案累加分数的数量，e是自然常数，
Figure BDA0003183130990000163
是所述负答案累加分数集合中的第k个所述负答案累加分数，f+是所述正答案累加分数。
本实施例实现了对匹配分数进行稀疏处理后，然后进行答案累加分数的计算，最后根据答案累加分数计算目标损失值，从而为更新所述初始模型的参数提供了基础。
通过使所述目标损失值越来越小，从而实现使正样本对应的所述问题与正答案稀疏匹配分数越来越大，以及使负样本对应的所述问题与负答案稀疏匹配分数越来越小，以实现所述初始模型进行问题单字符与答案的相关性评分计算的准确性越来越高。
可以理解的是，所述将所述目标问题单字符输入相关性评分模型进行问题单字符与答案的相关性评分计算，得到问题单字符与答案的相关性评分向量的步骤，也就是所述相关性评分模型的向量稀疏层输出的数据作为问题单字符与答案相关性评分向量。
其中，b是需要训练的参数，是初始模型训练时需要训练的参数。
可以理解的是，所述问题与负答案稀疏匹配分数是同一个所述答案及答案上下文负样本对应的数据。
在一个实施例中，上述根据所述相关性总评分集合确定目标相关性总评分的步骤，包括：
S41：获取相关性总评分阈值；
S42：从所述相关性总评分集合中找出最大值，得到待评估的相关性总评分；
S43：当所述待评估的相关性总评分大于或等于所述相关性总评分阈值时，将所述待评估的相关性总评分作为所述目标相关性总评分。
本实施例实现了先从所述相关性总评分集合中找出最大值，当找出的最大值大于或等于所述相关性总评分阈值时才作为所述目标相关性总评分，从而提高了确定的目标答案文本的准确性。
对于S41，可以获取用户输入的相关性总评分阈值，也可以从数据库中获取相关性总评分阈值，还可以从第三方应用系统中获取相关性总评分阈值，还可以将相关性总评分阈值写入实现本申请的程序中。所述相关性总评分阈值是一个具体数值。
对于S42，从所述相关性总评分集合中找出最大的相关性总评分，将找出的最大的相关性总评分作为待评估的相关性总评分。
对于S43，当所述待评估的相关性总评分大于或等于所述相关性总评分阈值时，意味着所述待评估的相关性总评分符合预设要求，因此将所述待评估的相关性总评分作为所述目标相关性总评分。
当所述待评估的相关性总评分小于所述相关性总评分阈值时，意味着所述待评估的相关性总评分不符合预设要求，没有找到所述目标问题文本对应的所述目标答案文本。
本申请还提出了一种知识问答的匹配装置，所述装置包括：
数据获取模块100，用于获取目标问题文本和倒排索引库；
问题单字符评分集合确定模块200，用于分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；
相关性总评分集合确定模块300，用于根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；
目标相关性总评分模块400，用于根据所述相关性总评分集合确定目标相关性总评分；
目标答案文本确定模块500，用于将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
本实施例通过首先获取目标问题文本和倒排索引库，其次，分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分，然后根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合，根据所述相关性总评分集合确定目标相关性总评分，最后将所述目标相关性总评分对应的所述答案文本作为目标答案文本，通过提前构建的倒排索引库进行问题与答案的匹配，实现了在每个问题与答案对之间采用字符级交互，提高了线上查询响应速度，从而避免采用双编码器架构的模型进行问题与答案编码、点积计算相关性分数和近似最近邻搜索的技术问题。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存知识问答的匹配方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种知识问答的匹配方法。所述知识问答的匹配方法，包括：获取目标问题文本和倒排索引库；分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；根据所述相关性总评分集合确定目标相关性总评分；将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
本实施例通过首先获取目标问题文本和倒排索引库，其次，分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分，然后根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合，根据所述相关性总评分集合确定目标相关性总评分，最后将所述目标相关性总评分对应的所述答案文本作为目标答案文本，通过提前构建的倒排索引库进行问题与答案的匹配，实现了在每个问题与答案对之间采用字符级交互，提高了线上查询响应速度，从而避免采用双编码器架构的模型进行问题与答案编码、点积计算相关性分数和近似最近邻搜索的技术问题。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种知识问答的匹配方法，包括步骤：获取目标问题文本和倒排索引库；分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；根据所述相关性总评分集合确定目标相关性总评分；将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
上述执行的知识问答的匹配方法，通过首先获取目标问题文本和倒排索引库，其次，分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分，然后根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合，根据所述相关性总评分集合确定目标相关性总评分，最后将所述目标相关性总评分对应的所述答案文本作为目标答案文本，通过提前构建的倒排索引库进行问题与答案的匹配，实现了在每个问题与答案对之间采用字符级交互，提高了线上查询响应速度，从而避免采用双编码器架构的模型进行问题与答案编码、点积计算相关性分数和近似最近邻搜索的技术问题。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种知识问答的匹配方法，其特征在于，所述方法包括：
获取目标问题文本和倒排索引库；
分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；
根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；
根据所述相关性总评分集合确定目标相关性总评分；
将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
2.根据权利要求1所述的知识问答的匹配方法，其特征在于，所述获取目标问题文本和倒排索引库的步骤之前，包括：
获取多个待评分的问题单字符；
从多个所述待评分的问题单字符中获取所述待评分的问题单字符作为目标问题单字符；
将所述目标问题单字符输入相关性评分模型进行问题单字符与答案的相关性评分计算，得到答案文本相关性评分集合，所述答案文本相关性评分集合包括：所述答案文本和所述问题单字符与答案相关性评分；
将所述目标问题单字符、所述答案文本相关性评分集合作为关联数据更新所述倒排索引库；
重复执行所述从多个所述待评分的问题单字符中获取所述待评分的问题单字符作为目标问题单字符的步骤，直至完成所述待评分的问题单字符的获取。
3.根据权利要求2所述的知识问答的匹配方法，其特征在于，所述将所述目标问题单字符输入相关性评分模型进行问题单字符与答案的相关性评分计算，得到答案文本相关性评分集合的步骤之前，还包括：
获取多个待采样样本，所述待采样样本包括：问题样本文本、答案及答案上下文样本、第一答案标定值；
采用预设划分规则，对多个所述待采样样本进行划分，得到多个初始样本集；
从多个所述初始样本集中获取所述初始样本集作为目标初始样本集；
采用批次内负采样的方法，根据所述目标初始样本集进行训练样本生成，得到训练样本集合；
采用所述训练样本集合对初始模型进行训练；
重复执行所述从多个所述初始样本集中获取所述初始样本集作为目标初始样本集的步骤，直至满足预设模型训练结束条件，将满足所述预设模型训练结束条件的所述初始模型作为所述相关性评分模型。
4.根据权利要求3所述的知识问答的匹配方法，其特征在于，所述采用所述训练样本集合对初始模型进行训练的步骤，包括：
从所述训练样本集合中获取训练样本作为目标训练样本；
将所述目标训练样本的所述问题样本文本输入所述初始模型的问题编码层进行不涉及上下文的编码，得到问题编码向量；
将所述目标训练样本的答案及答案上下文正样本输入所述初始模型的答案编码层进行涉及上下文的编码，得到正答案编码向量；
分别将所述目标训练样本的答案及答案上下文负样本集合中的每个答案及答案上下文负样本输入所述答案编码层进行涉及上下文的编码，得到负答案编码向量集合；
采用所述初始模型的匹配分数计算层，对所述问题编码向量、所述正答案编码向量和所述负答案编码向量集合进行问题与答案的匹配分数计算，得到问题与正答案匹配分数和问题与负答案匹配分数集合；
采用所述初始模型的向量稀疏层，分别对所述问题与正答案匹配分数和所述问题与负答案匹配分数集合进行向量稀疏处理，得到问题与正答案稀疏匹配分数和问题与负答案稀疏匹配分数集合；
将所述问题与正答案稀疏匹配分数和所述问题与负答案稀疏匹配分数集合输入损失函数进行损失值计算，得到目标损失值；
根据所述目标损失值更新所述初始模型的参数；
重复执行所述从所述训练样本集合中获取训练样本作为目标训练样本的步骤，直至完成所述训练样本集合中的所述训练样本的获取。
5.根据权利要求4所述的知识问答的匹配方法，其特征在于，问题与答案匹配分数中的第i个匹配分数的计算公式yi为：
Figure FDA0003183130980000031
其中，
Figure FDA0003183130980000032
是对ei的转置计算，ei是所述目标训练样本的所述问题样本文本中的第i个字符在所述问题编码向量中对应的向量元素，sj是答案编码向量的第j个字符对应的向量元素，|c|是答案编码向量对应的字符数量，maxj∈[1,|c|]是在
Figure FDA0003183130980000033
的sj维度计算最大值；
当所述问题与答案匹配分数是所述问题与正答案匹配分数时，所述答案编码向量是所述正答案编码向量；
当所述问题与答案匹配分数是所述问题与负答案匹配分数集合中的问题与负答案匹配分数时，所述答案编码向量是所述负答案编码向量集合中的任一个负答案编码向量。
6.根据权利要求5所述的知识问答的匹配方法，其特征在于，问题与答案稀疏匹配分数中的第i个稀疏匹配分数的计算公式P(yi)为：
P(yi)＝ReLU(yi+b)
其中，ReLU是激活函数，当yi+b大于预设数值时ReLU(yi+b)等于yi+b，当yi+b小于或等于所述预设数值时ReLU(yi+b)等于0，b是需要训练的参数，所述预设数值是常量；
当yi是所述问题与正答案匹配分数中的第i个所述匹配分数时P(yi)是所述问题与正答案稀疏匹配分数的第i个所述稀疏匹配分数，当yi是所述问题与负答案匹配分数集合中的问题与负答案匹配分数的第i个所述匹配分数时P(yi)是所述问题与负答案稀疏匹配分数集合中的问题与负答案稀疏匹配分数的第i个所述稀疏匹配分数；
答案累加分数的计算公式f为：
Figure FDA0003183130980000034
其中，|q|是所述问题编码向量对应的字符数量，log是对数函数，当P(yi)为所述问题与正答案稀疏匹配分数的第i个所述稀疏匹配分数时f是正答案累加分数，当P(yi)为所述问题与负答案稀疏匹配分数的第i个所述稀疏匹配分数时f是负答案累加分数集合中的负答案累加分数；
所述目标损失值的计算公式J为：
Figure FDA0003183130980000041
其中，K-是所述负答案累加分数集合中的所述负答案累加分数的数量，e是自然常数，
Figure FDA0003183130980000042
是所述负答案累加分数集合中的第k个所述负答案累加分数，f+是所述正答案累加分数。
7.根据权利要求1所述的知识问答的匹配方法，其特征在于，所述根据所述相关性总评分集合确定目标相关性总评分的步骤，包括：
获取相关性总评分阈值；
从所述相关性总评分集合中找出最大值，得到待评估的相关性总评分；
当所述待评估的相关性总评分大于或等于所述相关性总评分阈值时，将所述待评估的相关性总评分作为所述目标相关性总评分。
8.一种知识问答的匹配装置，其特征在于，所述装置包括：
数据获取模块，用于获取目标问题文本和倒排索引库；
问题单字符评分集合确定模块，用于分别将所述目标问题文本中的每个问题单字符在所述倒排索引库中进行查询，得到问题单字符评分集合，所述问题单字符评分集合包括：问题单字符、答案文本和问题单字符与答案相关性评分；
相关性总评分集合确定模块，用于根据所述问题单字符评分集合，针对每个所述答案文本进行所述问题单字符与答案相关性评分的求和计算，得到相关性总评分集合；
目标相关性总评分模块，用于根据所述相关性总评分集合确定目标相关性总评分；
目标答案文本确定模块，用于将所述目标相关性总评分对应的所述答案文本作为目标答案文本。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110852957.9A 2021-07-27 2021-07-27 知识问答的匹配方法、装置、设备及存储介质 Active CN113486140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110852957.9A CN113486140B (zh) 2021-07-27 2021-07-27 知识问答的匹配方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110852957.9A CN113486140B (zh) 2021-07-27 2021-07-27 知识问答的匹配方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113486140A true CN113486140A (zh) 2021-10-08
CN113486140B CN113486140B (zh) 2023-12-26

Family

ID=77944219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110852957.9A Active CN113486140B (zh) 2021-07-27 2021-07-27 知识问答的匹配方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113486140B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153949A (zh) * 2021-12-11 2022-03-08 北京信立方科技发展股份有限公司 一种分词检索方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103229223A (zh) * 2010-09-28 2013-07-31 国际商业机器公司 使用多个候选答案评分模型提供问题答案
US8935192B1 (en) * 2010-04-22 2015-01-13 Google Inc. Social search engine
CN106649612A (zh) * 2016-11-29 2017-05-10 中国银联股份有限公司 一种自动问答模板匹配的方法及装置
CN111597314A (zh) * 2020-04-20 2020-08-28 科大讯飞股份有限公司 推理问答方法、装置以及设备
CN111814466A (zh) * 2020-06-24 2020-10-23 平安科技（深圳）有限公司 基于机器阅读理解的信息抽取方法、及其相关设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8935192B1 (en) * 2010-04-22 2015-01-13 Google Inc. Social search engine
CN103229223A (zh) * 2010-09-28 2013-07-31 国际商业机器公司 使用多个候选答案评分模型提供问题答案
CN106649612A (zh) * 2016-11-29 2017-05-10 中国银联股份有限公司 一种自动问答模板匹配的方法及装置
CN111597314A (zh) * 2020-04-20 2020-08-28 科大讯飞股份有限公司 推理问答方法、装置以及设备
CN111814466A (zh) * 2020-06-24 2020-10-23 平安科技（深圳）有限公司 基于机器阅读理解的信息抽取方法、及其相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153949A (zh) * 2021-12-11 2022-03-08 北京信立方科技发展股份有限公司 一种分词检索方法及系统
CN114153949B (zh) * 2021-12-11 2022-12-13 北京信立方科技发展股份有限公司 一种分词检索方法及系统

Also Published As

Publication number Publication date
CN113486140B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN110598206B (zh) 文本语义识别方法、装置、计算机设备和存储介质
US10963637B2 (en) Keyword extraction method, computer equipment and storage medium
CN108829822B (zh) 媒体内容的推荐方法和装置、存储介质、电子装置
CN106997376B (zh) 一种基于多级特征的问题和答案句子相似度计算方法
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN111581229A (zh) Sql语句的生成方法、装置、计算机设备及存储介质
CN110569500A (zh) 文本语义识别方法、装置、计算机设备和存储介质
CN110347787B (zh) 一种基于ai辅助面试场景的面试方法、装置及终端设备
CN110413961B (zh) 基于分类模型进行文本评分的方法、装置和计算机设备
CN111191002A (zh) 一种基于分层嵌入的神经代码搜索方法及装置
CN111259113B (zh) 文本匹配方法、装置、计算机可读存储介质和计算机设备
CN109710921B (zh) 词语相似度的计算方法、装置、计算机设备及存储介质
CN115599901B (zh) 基于语义提示的机器问答方法、装置、设备及存储介质
CN113886531A (zh) 智能问答话术确定方法、装置、计算机设备和存储介质
CN114492429B (zh) 文本主题的生成方法、装置、设备及存储介质
CN112380421A (zh) 简历的搜索方法、装置、电子设备及计算机存储介质
CN113486140A (zh) 知识问答的匹配方法、装置、设备及存储介质
CN113076404B (zh) 一种文本相似度计算方法、装置、计算机设备和存储介质
CN112085091B (zh) 基于人工智能的短文本匹配方法、装置、设备及存储介质
CN111400340B (zh) 一种自然语言处理方法、装置、计算机设备和存储介质
CN115905187B (zh) 一种面向云计算工程技术人员认证的智能化命题系统
CN117093682A (zh) 意图识别方法、装置、计算机设备及存储介质
CN116821285A (zh) 基于人工智能的文本处理方法、装置、设备及介质
CN110826341A (zh) 一种基于seq2seq模型的语义相似度计算方法
CN116127981A (zh) 语义向量表示方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant