CN107463699A - 一种基于seq2seq模型的实现问答机器人的方法 - Google Patents

一种基于seq2seq模型的实现问答机器人的方法 Download PDF

Info

Publication number
CN107463699A
CN107463699A CN201710696670.5A CN201710696670A CN107463699A CN 107463699 A CN107463699 A CN 107463699A CN 201710696670 A CN201710696670 A CN 201710696670A CN 107463699 A CN107463699 A CN 107463699A
Authority
CN
China
Prior art keywords
question
answer
descriptor
seq2seq models
corpus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710696670.5A
Other languages
English (en)
Inventor
尹青山
段成德
于治楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201710696670.5A priority Critical patent/CN107463699A/zh
Publication of CN107463699A publication Critical patent/CN107463699A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明特别涉及一种基于seq2seq模型的实现问答机器人的方法。该基于seq2seq模型的实现问答机器人的方法，首先对语料数据进行预处理，并使用seq2seq模型对经过预处理的语料数据进行训练得到问答模型；然后接收用户输入的问题，根据问答语句的上下文信息提取主题词存放于数据库中；最后将处理后的问题输入到训练的seq2seq模型中，获取与所述问题对应的回答。该基于seq2seq模型的实现问答机器人的方法，可以根据问答语句的上下文提取出主题词，能够处理省略主题词的问答，具有普遍的通用性。可以应用在导购，热线，自动控制等多种场景中。

Description

一种基于seq2seq模型的实现问答机器人的方法
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于seq2seq模型的实现问答机器人的方法。
背景技术
人工智能（Artificial Intelligence，AI）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。该领域的研究包括智能点餐机器人、语言识别、图像识别、自然语言处理和专家系。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。
TensorFlow是Google基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。
seq2seq（Sequence to Sequence）模型是Google开源的一款用于TensorFlow的通用编码器&解码器框架（encoder-decoder framework），可用于机器翻译、文本摘要、会话建模、图像描述等。
Seq2Seq模型解决问题的主要思路是通过深度神经网络模型（常用的是LSTM，长短记忆网络，一种循环神经网络）将一个作为输入的序列映射为一个作为输出的序列，这一过程由编码输入与解码输出两个环节组成。
seq2seq技术突破了传统的固定大小输入问题框架，开通了将经典深度神经网络模型（DNNs）运用于翻译与智能问答这一类序列型（Sequence Based，项目间有固定的先后关系）任务的先河，并被证实在英语－法语翻译、英语－德语翻译以及人机短问快答的应用中有着不俗的表现。
基于上述情况，本发明提出了一种基于seq2seq模型的实现问答机器人的方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于seq2seq模型的实现问答机器人的方法。
本发明是通过如下技术方案实现的：
一种基于seq2seq模型的实现问答机器人的方法，其特征在于，包括以下步骤：
（1）语料数据预处理；
（2）使用seq2seq模型对经过预处理的语料数据进行训练得到问答模型；
（3）接收用户输入的问题；
（4）根据问答语句的上下文信息提取主题词存放于数据库中；
（5）若问答语句中无主题词，则将存放于数据库的主题词加入到问答语句中；若问答语句中有主题词，则提取出主题词并更新到数据库中；
（6）将处理后的问题输入到训练的seq2seq模型中，获取与所述问题对应的回答。
所述步骤（1）中，语料数据预处理过程先根据知识图谱对语料库进行分词，然后将分词后的语料库转化为向量表示。
所述语料数据预处理过程，先根据知识图谱使用python的jiaba分词器对语料库进行分词，然后将分词后的语料库使用word2vec向量表示，并将回答语句更新于Mongo DB数据库中。
本发明的有益效果是：该基于seq2seq模型的实现问答机器人的方法，可以根据问答语句的上下文提取出主题词，能够处理省略主题词的问答，具有普遍的通用性。可以应用在导购，热线，自动控制等多种场景中。
附图说明
附图1 为本发明基于seq2seq模型的实现问答机器人的方法示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该基于seq2seq模型的实现问答机器人的方法，包括以下步骤：
（1）语料数据预处理；
（2）使用seq2seq模型对经过预处理的语料数据进行训练得到问答模型；
（3）接收用户输入的问题；
（4）根据问答语句的上下文信息提取主题词存放于数据库中；
（5）若问答语句中无主题词，则将存放于数据库的主题词加入到问答语句中；若问答语句中有主题词，则提取出主题词并更新到数据库中；
（6）将处理后的问题输入到训练的seq2seq模型中，获取与所述问题对应的回答。
所述步骤（1）中，语料数据预处理过程先根据知识图谱对语料库进行分词，然后将分词后的语料库转化为向量表示。
所述语料数据预处理过程，先根据知识图谱使用python的jiaba分词器对语料库进行分词，然后将分词后的语料库使用word2vec向量表示，并将回答语句更新于Mongo DB数据库中。
所述Python是一种面向对象的解释型计算机程序设计语言，是纯粹的自由软件，源代码和解释器CPython遵循 GPL（GNU General Public License）协议。Python语法简洁清晰，特色之一是强制用空白符(white space)作为语句缩进。
Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。
所述MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

Claims (3)

1.一种基于seq2seq模型的实现问答机器人的方法，其特征在于，包括以下步骤：
（1）语料数据预处理；
（2）使用seq2seq模型对经过预处理的语料数据进行训练得到问答模型；
（3）接收用户输入的问题；
（4）根据问答语句的上下文信息提取主题词存放于数据库中；
（5）若问答语句中无主题词，则将存放于数据库的主题词加入到问答语句中；若问答语句中有主题词，则提取出主题词并更新到数据库中；
（6）将处理后的问题输入到训练的seq2seq模型中，获取与所述问题对应的回答。
2.根据权利要求1所述的基于seq2seq模型的实现问答机器人的方法，其特征在于：所述步骤（1）中，语料数据预处理过程先根据知识图谱对语料库进行分词，然后将分词后的语料库转化为向量表示。
3.根据权利要求1或2所述的基于seq2seq模型的实现问答机器人的方法，其特征在于：所述语料数据预处理过程，先根据知识图谱使用python的jiaba分词器对语料库进行分词，然后将分词后的语料库使用word2vec向量表示，并将回答语句更新于Mongo DB数据库中。
CN201710696670.5A 2017-08-15 2017-08-15 一种基于seq2seq模型的实现问答机器人的方法 Pending CN107463699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710696670.5A CN107463699A (zh) 2017-08-15 2017-08-15 一种基于seq2seq模型的实现问答机器人的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710696670.5A CN107463699A (zh) 2017-08-15 2017-08-15 一种基于seq2seq模型的实现问答机器人的方法

Publications (1)

Publication Number Publication Date
CN107463699A true CN107463699A (zh) 2017-12-12

Family

ID=60549906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710696670.5A Pending CN107463699A (zh) 2017-08-15 2017-08-15 一种基于seq2seq模型的实现问答机器人的方法

Country Status (1)

Country Link
CN (1) CN107463699A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038209A (zh) * 2017-12-18 2018-05-15 深圳前海微众银行股份有限公司 答案选择方法、装置和计算机可读存储介质
CN108280218A (zh) * 2018-02-07 2018-07-13 逸途（北京）科技有限公司 一种基于检索和生产混合问答的流程系统
CN108491433A (zh) * 2018-02-09 2018-09-04 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
CN109002515A (zh) * 2018-07-04 2018-12-14 网宿科技股份有限公司 一种智能应答的方法和装置
CN109344174A (zh) * 2018-09-13 2019-02-15 深圳易投云智能科技有限公司 金融分析方法和系统
CN109635088A (zh) * 2018-12-13 2019-04-16 深圳市思迪信息技术股份有限公司 机器人长文本数据聊天的训练方法及装置
CN110019736A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 基于语言模型的问答匹配方法、系统、设备及存储介质
CN110020015A (zh) * 2017-12-29 2019-07-16 中国科学院声学研究所 一种对话系统回答生成方法及系统
CN110825861A (zh) * 2019-11-05 2020-02-21 重庆邮电大学 一种基于分布式表示模型困惑度的人机对话方法与系统
CN111061851A (zh) * 2019-12-12 2020-04-24 中国科学院自动化研究所 基于给定事实的问句生成方法及系统
US20210104233A1 (en) * 2019-10-03 2021-04-08 Ez-Ai Corp. Interactive voice feedback system and method thereof
WO2021164284A1 (zh) * 2020-02-19 2021-08-26 平安科技（深圳）有限公司 生成阅读理解的问题题目的方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005017698A2 (en) * 2003-08-11 2005-02-24 Educational Testing Service Cooccurrence and constructions
CN101075435A (zh) * 2007-04-19 2007-11-21 深圳先进技术研究院 一种智能聊天系统及其实现方法
CN101286161A (zh) * 2008-05-28 2008-10-15 华中科技大学 一种基于概念的智能中文问答系统
CN103493045A (zh) * 2011-01-18 2014-01-01 谷歌公司 对在线问题的自动回答

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005017698A2 (en) * 2003-08-11 2005-02-24 Educational Testing Service Cooccurrence and constructions
CN101075435A (zh) * 2007-04-19 2007-11-21 深圳先进技术研究院 一种智能聊天系统及其实现方法
CN101286161A (zh) * 2008-05-28 2008-10-15 华中科技大学 一种基于概念的智能中文问答系统
CN103493045A (zh) * 2011-01-18 2014-01-01 谷歌公司 对在线问题的自动回答

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ORIOL VINYALS ET AL.: "A Neural Conversational Model", 《COMPUTER SCIENCE》 *
风之清扬: "利用tensorflow制作一个简单的聊天机器人", 《CSDN》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038209A (zh) * 2017-12-18 2018-05-15 深圳前海微众银行股份有限公司 答案选择方法、装置和计算机可读存储介质
CN110019736B (zh) * 2017-12-29 2021-10-01 北京京东尚科信息技术有限公司 基于语言模型的问答匹配方法、系统、设备及存储介质
CN110019736A (zh) * 2017-12-29 2019-07-16 北京京东尚科信息技术有限公司 基于语言模型的问答匹配方法、系统、设备及存储介质
CN110020015A (zh) * 2017-12-29 2019-07-16 中国科学院声学研究所 一种对话系统回答生成方法及系统
CN108280218A (zh) * 2018-02-07 2018-07-13 逸途（北京）科技有限公司 一种基于检索和生产混合问答的流程系统
CN108491433A (zh) * 2018-02-09 2018-09-04 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
WO2019153613A1 (zh) * 2018-02-09 2019-08-15 平安科技（深圳）有限公司 聊天应答方法、电子装置及存储介质
WO2020006827A1 (zh) * 2018-07-04 2020-01-09 网宿科技股份有限公司 一种智能应答的方法和装置
CN109002515A (zh) * 2018-07-04 2018-12-14 网宿科技股份有限公司 一种智能应答的方法和装置
CN109344174A (zh) * 2018-09-13 2019-02-15 深圳易投云智能科技有限公司 金融分析方法和系统
CN109635088A (zh) * 2018-12-13 2019-04-16 深圳市思迪信息技术股份有限公司 机器人长文本数据聊天的训练方法及装置
US20210104233A1 (en) * 2019-10-03 2021-04-08 Ez-Ai Corp. Interactive voice feedback system and method thereof
CN110825861A (zh) * 2019-11-05 2020-02-21 重庆邮电大学 一种基于分布式表示模型困惑度的人机对话方法与系统
CN110825861B (zh) * 2019-11-05 2022-05-03 重庆邮电大学 一种基于分布式表示模型困惑度的人机对话方法与系统
CN111061851A (zh) * 2019-12-12 2020-04-24 中国科学院自动化研究所 基于给定事实的问句生成方法及系统
CN111061851B (zh) * 2019-12-12 2023-08-08 中国科学院自动化研究所 基于给定事实的问句生成方法及系统
WO2021164284A1 (zh) * 2020-02-19 2021-08-26 平安科技（深圳）有限公司 生成阅读理解的问题题目的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107463699A (zh) 一种基于seq2seq模型的实现问答机器人的方法
WO2023124933A1 (zh) 虚拟数字人的视频生成方法及装置、存储介质、终端
CN110377686A (zh) 一种基于深度神经网络模型的地址信息特征抽取方法
CN111339281B (zh) 一种多视角融合的阅读理解选择题的答案选择方法
CN112162628A (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
CN110070852A (zh) 合成中文语音的方法、装置、设备及存储介质
CN106844442A (zh) 基于fcn特征提取的多模态循环神经网络图像描述方法
CN107992299B (zh) 神经网络超参数提取转换方法、系统、装置及存储介质
CN105940446A (zh) 例如为仿人机器人的机器与人类对话者之间的对话方法，实施这种方法的电脑程序产品和仿人机器人
WO2022253074A1 (zh) 一种数据处理方法及相关设备
CN105355200A (zh) 直接训练和修改机器人交互内容的系统及方法
CN106886408A (zh) 应用于机器人软件工程师的智能决策系统
CN106557165B (zh) 智能设备的动作模拟交互方法和装置及智能设备
CN108268442A (zh) 一种语句意图预测方法及系统
WO2024199423A1 (zh) 一种数据处理方法及相关设备
WO2024164616A1 (zh) 一种视觉问答方法、装置及电子设备和存储介质
CN109726397A (zh) 中文命名实体的标注方法、装置、存储介质和电子设备
CN110991279A (zh) 文档图像分析与识别方法及系统
CN117857892B (zh) 基于人工智能的数据处理方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN117877125B (zh) 动作识别及其模型训练方法、装置、电子设备、存储介质
CN109584864A (zh) 图像处理装置和方法
CN110298046A (zh) 一种翻译模型训练方法、文本翻译方法及相关装置
CN110491372A (zh) 一种反馈信息生成方法、装置、存储介质和智能设备
WO2022194398A1 (en) Domain adaptive semantic segmentation
CN109740302B (zh) 一种神经网络的仿真方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171212

RJ01 Rejection of invention patent application after publication