CN109271496A - 一种基于文本、知识库及序列到序列的自然问答方法 - Google Patents
一种基于文本、知识库及序列到序列的自然问答方法 Download PDFInfo
- Publication number
- CN109271496A CN109271496A CN201811005005.8A CN201811005005A CN109271496A CN 109271496 A CN109271496 A CN 109271496A CN 201811005005 A CN201811005005 A CN 201811005005A CN 109271496 A CN109271496 A CN 109271496A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- sequence
- vector
- decoder
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 230000003203 everyday effect Effects 0.000 claims abstract description 4
- 239000000284 extract Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明具体涉及一种基于文本、知识库及序列到序列的自然问答方法，包括如下：S1：用户输入一个问题；S2：初始化模型；S3：序列到序列模型中的编码器对问题进行编码，得到上下文向量；S4：利用用户问题来对知识进行检索得到与问题相关的知识候选集；S5：利用解码器当前状态和问题上下文向量，来决定生产回答中词的来源；S6：将上下文向量输入解码器，用于生产常用词；S7：利用解码器当前状态和问题上下文，知识候选集来匹配最终知识实体；S8：迭代执行步骤S5‑S7，直至最终输出自然答案。本发明克服了现有不能有效查询知识和所需知识不存在、不能有效的回答多个知识实体的缺陷，完全采用生成式，大量减少了人工干预。
Description
技术领域
本发明涉及自动问答领域，具体的涉及一种基于文本、知识库及序列到序列的自然问答方法。
背景技术
自动问答技术是一种能够自动回答问题，可以计算出用户输入问题与问答库中的候选问答对之间的各种特征，例如，词频、逆向词频、空间向量模型等等。然后，利用问答排序模型，根据所计算出的特征、以及各种特征的权值，得出问题与候选答案之间的匹配度，再根据该匹配度对候选问答对进行排序，并将排名靠前的问答对返回给用户。对于自动问答技术，一个重要的评价指标就是回答答案中知识的匹配程度，比如一个问题是“西游记的作者是谁”，回答应该为：“西游记的作者是吴承恩”，在该例子中可以把吴承恩看作为一个知识实体。通用策略是指通过联合嵌入结构化知识库和文本的知识形成统一的结构化表示，允许信息的交错传播，实际上，通用策略是一个矩阵，每一行都是实体对，每一列是结构化三元组和非结构化文本关系。现有的通用策略是用于在知识群体的背景下做关系抽取。每一行都是一个实体对，每一列代表了它们之间的关系，可以为结构化知识库关系，也可以是文本之间存在的一种策略。
现有的问答系统方法利用文本和结构化知识作为知识源，但文本是非结构化知识，三元组知识库是结构化知识，只有有效的结合文本和结构化知识，才能在匹配查询知识的时候能够查询到更相符合的知识。现有的自然问答方法存在着不能将文本和结构化知识结合作为统一的知识来源的技术缺陷。并且现有的自然问答方法不能有效查询知识和知识来源缺乏的问题，在回答每一个用户的问题时不能自然生成一句自然问答语句，而是单个知识实体，并且不能有效的回答需要多个知识实体的问题。
发明内容
本发明克服了现有的自然问答方法的不能有效的解决传统生成式系统中非结构化文本和结构化文本有效结合的技术缺陷，提供了一种基于文本、知识库及序列到序列的自然问答方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于文本、知识库及序列到序列的自然问答方法，包括如下步骤：
S1：用户输入一个问题；
S2：根据当前对话历史和上一轮用户对话初始化模型；
S3：序列到序列模型中的编码器对问题进行编码，得到上下文向量；
S4：利用用户问题来对知识进行检索得到与问题相关的知识候选集；
S5：利用解码器当前状态和问题上下文向量，来决定生产回答中词的来源；
S6：将上下文向量输入解码器，用于生产常用词；
S7：利用解码器当前状态和问题上下文，知识候选集来匹配最终知识实体；
S8：迭代执行步骤S5-S7，直至最终输出自然答案。
序列到序列模型包括解码器和编码器，所述编码器根据输入的前对话历史和上一轮用户对话进行编码，提取对话的特征，并将特征转变成上下文向量；所述编码器提取的上下文向量传输至解码器；所述解码器根据上下文向量生成新的序列。
S3具体包括如下步骤：
S3.1：编码器对当前问题编码，得到隐含向量和解码器当前隐含向量，并且计算相似度向量；
S3.2：根据S3.1得到的相似度向量计算注意力权重；
S3.3：根据S3.2得到的注意力权重、S3.1解码器的隐含向量，计算编码器当前的上下文向量，具体为注意力权重与隐含向量相乘；
S4具体包括如下步骤：
S4.1：提取问题的关键词；
S4.2：利用关键词得到结构化知识库中对应的三元组，组成一个集合；
S4.3：根据结构化知识库中对应的三元组查找文本知识，组成一个集合；
S4.4：根据S4.3得到的集合与结构化知识库候选知识结合做交集运算得到最
终的知识候选集合。
S7具体步骤为：
S7.1：得到当前状态
S7.2：将当前状态与问题上下向量相结合，生成待匹配向量输出知识匹配模
块，所述知识匹配模块包括多层神经网络或记忆网络；
S7.3：根据待匹配向量和知识候选集合进行知识匹配，生成当前状态的知识
实体。
S7.2记忆网络利用当前知识候选集作为知识来源，当前问题和当前解码器状态作为查询向量，经过网络计算，得到最为匹配的知识实体。
与现有技术相比，本发明技术方案的有益效果是：采用通用模式，有效的解决传统生成式系统和非结构化文本和结构化文本不能有效结合的问题，使得自然问答方法能够查询一个更加有效的知识来源。解决传统方法不能有效查询知识和所需要的知识不存在的问题，本发明技术方法采用通用策略对结构化知识库和非结构化文本进行有效整合，解决了生成式问答方法只能生成一个实体的问题，提升自然回答方法的效果和能力。
附图说明
图1为本发明的方法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1：
如图1所示，一种基于文本、知识库及序列到序列的自然问答方法，包括如下步骤：
S1：用户输入一个问题；
S2：根据当前对话历史和上一轮用户对话初始化模型；
S3：序列到序列模型中的编码器对问题进行编码，得到上下文向量；具体如下：S3.1：编码器对当前问题编码，得到隐含向量和解码器当前隐含向量，并且计算相似度向量；S3.2：根据S3.1得到的相似度向量计算注意力权重；S3.3：根据S3.2得到的注意力权重、S3.1解码器的隐含向量，计算编码器当前的上下文向量，具体为注意力权重与隐含向量相乘；
S4：利用用户问题来对知识进行检索得到与问题相关的知识候选集；具体如下：S4具体包括如下步骤：S4.1：提取问题的关键词；S4.2：利用关键词得到结构化知识库中对应的三元组，组成一个集合；S4.3：根据结构化知识库中对应的三元组查找文本知识，组成一个集合；S4.4：根据S4.3得到的集合与结构化知识库候选知识结合做交集运算得到最终的知识候选集合。
S5：利用解码器当前状态和问题上下文向量，来决定生产回答中词的来源；
S6：将上下文向量输入解码器，用于生产常用词；
S7：利用解码器当前状态和问题上下文，知识候选集来匹配最终知识实体；具体为：S7.1：得到当前状态S7.2：将当前状态与问题上下向量相结合，生成待匹配向量输出知识匹配模块，所述知识匹配模块包括多层神经网络或记忆网络；S7.3：根据待匹配向量和知识候选集合进行知识匹配，生成当前状态的知识实体。
S7.2记忆网络利用当前知识候选集作为知识来源，当前问题和当前解码器状态作为查询向量，经过网络计算，得到最为匹配的知识实体。
S8：迭代执行步骤S5-S7，直至最终输出自然答案。
序列到序列模型包括解码器和编码器，所述编码器根据输入的前对话历史和上一轮用户对话进行编码，提取对话的特征，并将特征转变成上下文向量；所述编码器提取的上下文向量传输至解码器；所述解码器根据上下文向量生成新的序列。
其中，在解码器部分，
ht＝f(ht-1,xt),t＝1,...,Tx
x表示输入，t表示时间步，h表示每一个时间步的编码状态，c表示上下文向量；
在编码器部分，
h0＝tanh(V’c)
ht＝f(ht-1,yt-1,c),t＝1,...,Tx
p(yt|yt-1,yt-2,...,y1,c)＝g(ht,yt-1,c)
y表示当前生成词表示输入，t表示时间步，h表示每一个时间步的解码状态，c表示编码器上下文向量；
其中，隐含向量的权重可由下式得到，
aij表示第i个目标与隐层向量hj之间的相关性。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (6)
1.一种基于文本、知识库及序列到序列的自然问答方法，其特征在于，所述方法包括如下步骤：
S1：用户输入一个问题；
S2：根据当前对话历史和上一轮用户对话初始化模型；
S3：序列到序列模型中的编码器对问题进行编码，得到上下文向量；
S4：利用用户问题来对知识进行检索得到与问题相关的知识候选集；
S5：利用解码器当前状态和问题上下文向量，来决定生产回答中词的来源；
S6：将上下文向量输入解码器，用于生产常用词；
S7：利用解码器当前状态和问题上下文，知识候选集来匹配最终知识实体；
S8：迭代执行步骤S5-S7，直至最终输出自然答案。
2.根据权利要求1所述的基于文本、知识库及序列到序列的自然问答方法，其特征在于，所述序列到序列模型包括解码器和编码器，所述编码器根据输入的前对话历史和上一轮用户对话进行编码，提取对话的特征，并将特征转变成上下文向量；所述编码器提取的上下文向量传输至解码器；所述解码器根据上下文向量生成新的序列。
3.根据权利要求1所述的基于文本、知识库及序列到序列的自然问答方法，其特征在于，所述S3具体包括如下步骤：
S3.1：编码器对当前问题编码，得到隐含向量和解码器当前隐含向量，并且计算相似度向量；
S3.2：根据S3.1得到的相似度向量计算注意力权重；
S3.3：根据S3.2得到的注意力权重、S3.1解码器的隐含向量，计算编码器当前的上下文向量，具体为注意力权重与隐含向量相乘。
4.根据权利要求1所述的基于文本、知识库及序列到序列的自然问答方法，其特征在于，所述S4具体包括如下步骤：
S4.1：提取问题的关键词；
S4.2：利用关键词得到结构化知识库中对应的三元组，组成一个集合；
S4.3：根据结构化知识库中对应的三元组查找文本知识，组成一个集合；
S4.4：根据S4.3得到的集合与结构化知识库候选知识结合做交集运算得到最终的知识候选集合。
5.根据权利要求1所述的基于文本、知识库及序列到序列的自然问答方法，其特征在于，所述S7具体步骤为：
S7.1：得到当前状态
S7.2：将当前状态与问题上下向量相结合，生成待匹配向量输出知识匹配模块，所述知识匹配模块包括多层神经网络或记忆网络；
S7.3：根据待匹配向量和知识候选集合进行知识匹配，生成当前状态的知识实体。
6.根据权利要求5所述的基于文本、知识库及序列到序列的自然问答方法，其特征在于，所述S7.2记忆网络利用当前知识候选集作为知识来源，当前问题和当前解码器状态作为查询向量，经过网络计算，得到最为匹配的知识实体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811005005.8A CN109271496B (zh) | 2018-08-30 | 2018-08-30 | 一种基于文本、知识库及序列到序列的自然问答方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811005005.8A CN109271496B (zh) | 2018-08-30 | 2018-08-30 | 一种基于文本、知识库及序列到序列的自然问答方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271496A true CN109271496A (zh) | 2019-01-25 |
| CN109271496B CN109271496B (zh) | 2021-12-24 |
Family
ID=65154975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811005005.8A Expired - Fee Related CN109271496B (zh) | 2018-08-30 | 2018-08-30 | 一种基于文本、知识库及序列到序列的自然问答方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271496B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399460A (zh) * | 2019-07-19 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 对话处理方法、装置、设备及存储介质 |
| CN111125154A (zh) * | 2019-12-31 | 2020-05-08 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
| CN111177339A (zh) * | 2019-12-06 | 2020-05-19 | 百度在线网络技术（北京）有限公司 | 对话生成方法、装置、电子设备及存储介质 |
| CN111414464A (zh) * | 2019-05-27 | 2020-07-14 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
| CN111680135A (zh) * | 2020-04-20 | 2020-09-18 | 重庆兆光科技股份有限公司 | 一种基于隐式知识的阅读理解方法 |
| CN111966782A (zh) * | 2020-06-29 | 2020-11-20 | 百度在线网络技术（北京）有限公司 | 多轮对话的检索方法、装置、存储介质及电子设备 |
| CN112559707A (zh) * | 2020-12-16 | 2021-03-26 | 四川智仟科技有限公司 | 一种基于知识驱动的客服问答方法 |
| CN115357705A (zh) * | 2022-10-24 | 2022-11-18 | 成都晓多科技有限公司 | 问题文本中实体属性的生成方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844368A (zh) * | 2015-12-03 | 2017-06-13 | 华为技术有限公司 | 用于人机对话的方法、神经网络系统和用户设备 |
| CN107944027A (zh) * | 2017-12-12 | 2018-04-20 | 苏州思必驰信息科技有限公司 | 创建语义键索引的方法及系统 |
| CN108021705A (zh) * | 2017-12-27 | 2018-05-11 | 中科鼎富（北京）科技发展有限公司 | 一种答案生成方法及装置 |
-
2018
- 2018-08-30 CN CN201811005005.8A patent/CN109271496B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106844368A (zh) * | 2015-12-03 | 2017-06-13 | 华为技术有限公司 | 用于人机对话的方法、神经网络系统和用户设备 |
| CN107944027A (zh) * | 2017-12-12 | 2018-04-20 | 苏州思必驰信息科技有限公司 | 创建语义键索引的方法及系统 |
| CN108021705A (zh) * | 2017-12-27 | 2018-05-11 | 中科鼎富（北京）科技发展有限公司 | 一种答案生成方法及装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414464A (zh) * | 2019-05-27 | 2020-07-14 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
| CN111414464B (zh) * | 2019-05-27 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 一种问题生成方法、装置、设备及存储介质 |
| CN110399460A (zh) * | 2019-07-19 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 对话处理方法、装置、设备及存储介质 |
| CN111177339A (zh) * | 2019-12-06 | 2020-05-19 | 百度在线网络技术（北京）有限公司 | 对话生成方法、装置、电子设备及存储介质 |
| CN111125154A (zh) * | 2019-12-31 | 2020-05-08 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
| CN111125154B (zh) * | 2019-12-31 | 2021-04-02 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
| US11449500B2 (en) | 2019-12-31 | 2022-09-20 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for outputting structured query sentence |
| CN111680135A (zh) * | 2020-04-20 | 2020-09-18 | 重庆兆光科技股份有限公司 | 一种基于隐式知识的阅读理解方法 |
| CN111680135B (zh) * | 2020-04-20 | 2023-08-25 | 重庆兆光科技股份有限公司 | 一种基于隐式知识的阅读理解方法 |
| CN111966782B (zh) * | 2020-06-29 | 2023-12-12 | 百度在线网络技术（北京）有限公司 | 多轮对话的检索方法、装置、存储介质及电子设备 |
| CN111966782A (zh) * | 2020-06-29 | 2020-11-20 | 百度在线网络技术（北京）有限公司 | 多轮对话的检索方法、装置、存储介质及电子设备 |
| US11947578B2 (en) | 2020-06-29 | 2024-04-02 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method for retrieving multi-turn dialogue, storage medium, and electronic device |
| CN112559707A (zh) * | 2020-12-16 | 2021-03-26 | 四川智仟科技有限公司 | 一种基于知识驱动的客服问答方法 |
| CN115357705A (zh) * | 2022-10-24 | 2022-11-18 | 成都晓多科技有限公司 | 问题文本中实体属性的生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109271496B (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109271496A (zh) | 一种基于文本、知识库及序列到序列的自然问答方法 | |
| CN108038234B (zh) | 一种问句模板自动生成方法及装置 | |
| CN110795571B (zh) | 基于深度学习和知识图谱的文化旅游资源推荐方法 | |
| CN109063164A (zh) | 一种基于深度学习的智能问答方法 | |
| CN111259127A (zh) | 一种基于迁移学习句向量的长文本答案选择方法 | |
| CN110096567A (zh) | 基于qa知识库推理的多轮对话回复选择方法、系统 | |
| CN111524593B (zh) | 基于上下文语言模型和知识嵌入的医疗问答方法及系统 | |
| CN105095433A (zh) | 实体推荐方法及装置 | |
| CN110647632B (zh) | 基于机器学习的图像与文本映射技术 | |
| CN111046155A (zh) | 一种基于fsm多轮问答的语义相似度计算方法 | |
| CN108536735B (zh) | 基于多通道自编码器的多模态词汇表示方法与系统 | |
| CN113283236B (zh) | 一种复杂中文文本中的实体消歧方法 | |
| CN113204611A (zh) | 建立阅读理解模型的方法、阅读理解方法及对应装置 | |
| CN113806630A (zh) | 基于注意力的多视角特征融合跨域推荐方法及装置 | |
| CN113051368A (zh) | 双塔模型训练方法、检索方法、装置及电子设备 | |
| CN112115253A (zh) | 基于多视角注意力机制的深度文本排序方法 | |
| CN113961679A (zh) | 智能问答的处理方法、系统、电子设备及存储介质 | |
| CN116821291A (zh) | 基于知识图谱嵌入与语言模型交替学习的问答方法及系统 | |
| CN117349423A (zh) | 一种模板匹配式水利领域知识问答模型 | |
| CN116308685A (zh) | 一种基于方面情感预测和协同过滤的产品推荐方法及系统 | |
| CN116010553A (zh) | 一种基于双路编码和精确匹配信号的观点检索系统 | |
| CN115455226A (zh) | 一种文本描述驱动的行人搜索方法 | |
| CN117455009A (zh) | 联邦学习方法、联邦预测方法、装置、设备及存储介质 | |
| CN117235216A (zh) | 一种基于异构知识融合的知识推理方法 | |
| CN114020871B (zh) | 基于特征融合的多模态社交媒体情感分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211224 |