CN108363763B - 一种自动问答方法、装置和存储介质 - Google Patents

一种自动问答方法、装置和存储介质 Download PDF

Info

Publication number
CN108363763B
CN108363763B CN201810113807.4A CN201810113807A CN108363763B CN 108363763 B CN108363763 B CN 108363763B CN 201810113807 A CN201810113807 A CN 201810113807A CN 108363763 B CN108363763 B CN 108363763B
Authority
CN
China
Prior art keywords
vector
question
digital content
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810113807.4A
Other languages
English (en)
Other versions
CN108363763A (zh
Inventor
涂兆鹏
刘晓江
史树明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN201810113807.4A priority Critical patent/CN108363763B/zh
Publication of CN108363763A publication Critical patent/CN108363763A/zh
Application granted granted Critical
Publication of CN108363763B publication Critical patent/CN108363763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种自动问答方法、装置和存储介质;本发明实施例采用识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;将问题信息中的非数字内容转换成对应的第二问题向量;根据第一问题向量、第二问题向量以及数字化的参考向量集合获取对应第一问题向量的目标答案向量;获取目标答案向量对应的目标数字内容;根据目标数字内容构建问题信息对应的答案信息。本发明实施例一方面为参考信息以及问题信息中出现的数字内容提供更好的理解方式,另一方面为答案信息中的数字内容提供更好的生成方式,能够使得最终得到的答案信息是与问题信息所匹配的,提升了问答系统得到答案信息的准确度。

Description

一种自动问答方法、装置和存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种自动问答方法、装置和存储介质。
背景技术
随着信息检索技术逐步走向成熟,其中搜索引擎技术已经发展得十分完善。部分问答系统通过搜索引擎来提供问题信息的输入接口,并通过搜索引擎来展示根据问题信息得到的答案信息,例如,请参照图1a,当在搜索引擎的输入框输入“天气”作为问题信息时,搜索引擎将最终展示图1a所示的检索结果作为对应问题信息的答案信息;请参照图1b,当在搜索引擎的输入框框输入“下周一的天气怎么样”作为问题信息时,搜索引擎将最终展示图1b所示的检索结果作为对应问题信息的答案信息,显然的,这并不是用户实际想要的答案信息,也即是说,目前的问答系统尚不能准确的得到对应问题信息的答案信息。
发明内容
本发明实施例提供一种自动问答方法、装置和存储介质,能够问答系统得到答案信息的准确度。
本发明实施例提供一种自动问答方法,包括:
识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;
将所述问题信息中的非数字内容转换成对应的第二问题向量;
根据所述第一问题向量、所述第二问题向量以及参考向量集合获取对应所述第一问题向量的目标答案向量,所述参考向量集合包括参考信息中的数字内容所对应的第一参考向量;
获取所述目标答案向量对应的目标数字内容;
根据所述目标数字内容构建所述问题信息对应的答案信息。
对应的,本发明实施例还提供了一种自动问答装置,包括:
第一转换模块,用于识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;
第二转换模块,用于将所述问题信息中的非数字内容转换成对应的第二问题向量;
第一获取模块,根据所述第一问题向量、所述第二问题向量以及参考向量集合获取对应所述第一问题向量的目标答案向量,所述参考向量集合包括参考信息中的数字内容所对应的第一参考向量;
第二获取模块,用于获取所述目标答案向量对应的目标数字内容;
答案构建模块,用于根据所述目标数字内容构建所述问题信息对应的答案信息。
对应的,本发明实施例还提供一种存储介质,所述存储介质存储有指令,所述指令被处理器执行时实现本发明实施例任一提供的自动问答方法。
本发明实施例识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;将问题信息中的非数字内容转换成对应的第二问题向量;根据第一问题向量、第二问题向量以及数字化的参考向量集合获取对应第一问题向量的目标答案向量;获取目标答案向量对应的目标数字内容;根据目标数字内容构建问题信息对应的答案信息。本发明实施例一方面为参考信息以及问题信息中出现的数字内容提供更好的理解方式,另一方面为答案信息中的数字内容提供更好的生成方式,能够使得最终得到的答案信息是与问题信息所匹配的,提升了问答系统得到答案信息的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是目前搜索引擎返回检索结果的示意图;
图1b是目前搜索引擎返回检索结果的另一示意图;
图2是本发明实施例提供的自动问答系统的场景示意图;
图3a是本发明实施例提供的自动问答方法的第一种流程示意图;
图3b是本发明实施例中一问题信息的示例图;
图3c是本发明实施例中转换问题信息中数字内容得到的第一问题向量的示意图;
图3d是本发明实施例中拆分数字内容得到数字单元的示例图;
图3e是本发明实施例中将问题信息输入编码器神经网络的示意图;
图3f是本发明实施例中获取到的股票知识的示例图;
图3g是本发明实施例中构建参考向量集合的示意图;
图3h是本发明实施例中转换参考信息中数字内容得到的第一参考向量的示例图;
图4a是本发明实施例提供的自动问答方法的第二种流程示意图;
图4b是本发明实施例中服务器的架构示意图;
图4c是本发明实施例中构建股票知识向量集合的示意图;
图4d是本发明实施例中终端提供的问题交互界面的示例图;
图4e是本发明实施例中生成目标数字内容的示例图;
图4f是本发明实施例中与问题信息对应的答案信息的示例图;
图4g是本发明实施例终端在问题交互界面展示答案信息的示例图;
图5a是本发明实施例提供的自动问答装置的第一种结构示意图;
图5b是本发明实施例提供的自动问答装置的第二种结构示意图;
图6是本发明实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种自动问答系统,该自动问答系统包括本发明实施例提供的任一自动问答装置,该自动问答装置可以集成在具备存储器并安装有处理器而具有运算能力的服务器中。
请参照图2,本发明实施例提供的自动问答系统,包括:服务器10和终端20,服务器10与终端20通过网络30连接。其中,网络30中包括路由器、网关等等网络实体,图2中并未一一示意出。终端20可以通过有线网络或无线网络与服务器10进行信息交互,比如,终端20可以接收输入的,自然语言的待回答问题,并将待回答问题作为问题信息通过网络30传输至服务器10;服务器10在获取到来自终端20的问题信息之后,对问题信息进行一系列处理,得到问题信息对应的答案信息,最后将得到的答案信息返回至终端20。
基于上述图2所示的自动问答系统,服务器10可以通过网络30获取来自终端20的问题信息;识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;将问题信息中的非数字内容转换成对应的第二问题向量;根据第一问题向量、第二问题向量以及参考向量集合获取对应第一问题向量的目标答案向量,参考向量集合包括参考信息中的数字内容所对应的第一参考向量;获取目标答案向量对应的目标数字内容;根据目标数字内容构建问题信息对应的答案信息;之后,服务器10可以将得到的答案信息通过网络30传输至终端20,指示终端20显示该答案信息。
需要说明的是,上述图2示出的仅是实现本发明实施例的一个系统架构实例,本发明实施例并不限于上述图2所示的系统架构,基于该系统架构,提出本发明各个实施例。
在本实施例中,将从自动问答装置的角度进行描述,该自动问答装置具体可以集成在服务器中。
一种自动问答方法,包括:识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;将问题信息中的非数字内容转换成对应的第二问题向量;根据第一问题向量、第二问题向量以及参考向量集合获取对应第一问题向量的目标答案向量,参考向量集合包括参考信息中的数字内容所对应的第一参考向量;获取目标答案向量对应的目标数字内容;根据目标数字内容构建问题信息对应的答案信息。
请参照图3a,图3a是本发明实施例提供的自动问答方法的流程示意图,如图3a所示,该自动问答方法包括:
在步骤101中,识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量。
其中,为实现对问题信息的处理,首先需要获取到需要处理的问题信息。可选的,自动问答装置获取问题信息的方式有多种,比如,在一个可选的实施方式中,自动问答装置可以接收来自终端的问题信息,该问题信息是用户实时输入到终端的。
又比如,在一个可选的实施方式中,自动问答装置可以采用网络爬虫技术,从互联网中获取问题信息,这些问题信息可以是用户上传到互联网中的。
在获取到问题信息之后,自动问答装置对问题信息进行切词,得到对应问题信息的单词序列。比如,请参照图3b,获取到的问题信息为“成本9.8,能否持有”,对该问题信息进行切词,将得到单词序列:(“成本”、“9.8”、“,”、“能否”、“持有”、“?”)。
之后,自动问答装置将对切词得到的单词序列进行识别,以识别出其中的数字内容。
比如,获取到的问题信息为“成本9.8,能否持有?”,自动问答装置将识别到其中的数字内容为“9.8”。
又比如,获取到的问题信息为“成本6,能否卖出?”,自动问答装置将识别到其中的数字内容为“6”。
需要说明的是,本发明实施例不限制采用何种识别技术来识别问题信息中的数字内容,可由本领域技术人员根据实际需要选取合适的识别技术来实现对问题信息中数字内容的识别。
本发明实施例中,自动问答装置在识别到问题信息中的数字内容之后,将识别到的数字内容转换成对应的第一问题向量,换言之,即采用向量的方式来表示问题信息中的数字内容。
可具体的,作为一种可选的实施方式,将识别到的数字内容转换成对应的第一问题向量,可以包括如下步骤:
(10111)对识别到的数字内容进行二进制编码,得到对应的单精度二进制向量;
(10112)将得到的单精度二进制向量作为第一问题向量。
其中,自动问答装置可以将识别到的数字内容输入到预训练的编码器神经网络(比如单层的递归神经网络)中,由该编码器神经网络对数字内容进行二进制编码,最终输出对应数字内容的单精度二进制向量。
比如,编码器神经网络可以采用计算机通用的32位单精度二进制编码方式对识别到的数字内容(该数字内容为浮点数表示)进行二进制编码,从而得到与数字内容对应的32位的单精度二进制向量,将该32位的单精度二进制向量作为识别到的数字内容的第一问题向量。
请参照图3c,为识别到的数字内容“9.75”所对应的第一问题向量,如图3c所示,共包括三个部分:
1、符号位:“0”代表正,“1”代表负,共1位。
2、指数位:用于储存科学计数法中的指数数据,并且采用移位存储,共8位。
3、尾数部分:尾数部分,共23位。
可具体的,作为另一种可选的实施方式,将识别到的数字内容转换成对应的第一问题向量,可以包括如下步骤:
(10121)将识别到的数字内容拆分为多个数字单元,得到数字单元序列;
(10122)将数字单元序列输入到数字编码器神经网络;
(10123)获取数字编码器神经网络输出的对应数字单元序列的向量序列;
(10124)将获取到的向量序列作为第一问题向量。
其中,自动问答装置可以首先将识别到的数字内容拆分为多个数字单元,得到多个数字单元构成的数字单元序列;然后将得到的数字单元序列输入到预训练的编码器神经网络(比如单层的递归神经网络)中,由该编码器神经网络对数字单元序列进行处理,最终输出对应数字单元序列的向量序列。
请参照图3d,自动问答位置识别到问题信息中的数字内容为“9.75”,对其拆分,将得到5个数字单元,每一个数字单元为一个单独字符,如图3d所示,5个数字单元分别为:“9”、“.”、“7”、“5”、“_”,其中“_”表示结束符。
需要说明的是,本发明实施例并不限定编码器神经网络的具体模型和拓扑结构,比如,在一个可选的实施方式中,可以采用单层的递归神经网络进行训练,得到编码器神经网络;又比如,在另一个可选的实施方式中,可以采用多层的递归神经网络进行训练,得到编码器神经网络;又比如在又一个可能的实施方式中,可以采用卷积神经网络,或者其变种,或者其他网络结构的神经网络进行训练,得到编码器神经网络。
在步骤102中,将问题信息中的非数字内容转换成对应的第二问题向量。
本发明实施例中,同样采用向量的方式来表示问题信息中的非数字内容,非数字内容即问题信息中除数字内容之外的内容。比如,问题信息为“成本9.8,能否持有?”,数字内容为“9.8”,非数字内容包括:“成本”、“,”、“能否”、“持有”和“?”。
可具体的,作为一种可选的实施方式,将问题信息中的非数字内容转换成对应的第二问题向量,可以包括以下步骤:
(1021)将问题信息中的非数字内容输入到编码器神经网络;
(1022)获取编码器神经网络输出的对应非数字内容的词向量;
(1023)将对应非数字内容的词向量作为第二问题向量。
其中,在将问题信息中的非数字内容转换成对应的第二问题向量时,可以将各非数字内容的单词依次输入到编码器神经网络中,将编码器神经网络输出的对应各单词的词向量,作为对应各非数字内容的第二问题向量。对于问题信息中的数字内容,将数字内容对应的第一问题向量作为数字内容的词向量,传入到编码器神经网络中。
请参照图3e,问题信息为“成本9.8,能否持有?”,对其切词将得到图3b所示的六个单词,其中单词“成本”、“,”、“能否”、“持有”和“?”为非数字内容,单词“9.8”为数字内容。按照图3e所示的顺序,也即是将“成本”、“,”、“能否”、“持有”、“?”以及“9.8”,按照各单词在问题信息中的顺序,依次传入到编码器神经网络中,得到编码器神经网络输出的对应问题信息的问题向量序列,该问题向量序列包括对应数字内容的第一问题向量和对应各非数字内容的第二问题向量。
在步骤103中,根据第一问题向量、第二问题向量以及参考向量集合获取第一问题向量对应的目标答案向量,参考向量集合包括参考消息中的数字内容所对应的第一参考向量。
其中,在得到对应第一问题向量和第二问题向量,也即是得到对应问题信息的问题向量序列之后,即可根据对应问题信息的问题向量序列以及参考向量集合,获取目标答案向量。
可选的,在步骤101之前,还可以包括以下步骤:
获取参考信息;
将参考信息中的数字内容转换成对应的第一参考向量,将参考信息中的非数字内容转换成对应的第二参考向量;
根据第一参考向量和第二参考向量构建参考向量集合。
其中,自动问答装置首先获取参考信息。作为一个可选的实施方式,自动问答装置可以采用网络爬虫技术,从互联网中获取参考信息。作为另一个可选的实施方式,自动问答装置可以接收输入的参考信息。
例如,针对于股票类问题信息,自动问答装置采用网络爬虫技术,从互联网中获取到图3f所示的多个股票知识,将获取到的这些股票知识作为参考信息。
可具体的,作为一个可选的实施方式,参考信息包括相互关联的键参考信息和值参考信息,且键参考信息为非数字内容,值参考信息为数字内容,
将参考信息中的数字内容转换成对应的第一参考向量,将参考信息中的非数字内容转换成对应的第二参考向量,包括以下步骤:
将获取到的键参考信息和值参考信息输入到键-值存储神经网络;
获取键-值存储神经网络调用数字编码器神经网络输出的对应值参考信息的第一参考向量;
获取所述键-值存储神经网络输出的对应键参考信息的第二参考向量。
其中,在获取到参考信息(参考信息包括相互关联的键参考信息和值参考信息)之后,自动问答装置将获取到的参考信息输入到键-值存储神经网络(该键-值存储神经网络由一系列键值对组成),通过该键-值存储神经网络构建参考向量集合。
具体的,请参照图3g,以获取到的参考信息为{(开盘价,9.75),(收盘价、9.15)(增幅,-0.45)……}为例,其中,开盘价、收盘价和增幅等非数字内容为键参考信息,“9.75”、“9.15”和“-0.45”等数字内容为值参考信息,其中,“9.75”与开盘价关联,“9.15”与收盘价关联,“-0.45”与增幅关联。
键-值存储神经网络使用两个转换矩阵分别将参考信息中的数字内容(即值参考信息)转换为对应的第一参考向量,将参考信息中的非数字内容(即键参考信息)转换为对应的第二参考向量:
kl=ΦK(rl)
vl=Φv(xl)
其中,rl表示第l个参考信息中的非数字内容(比如图3g所示的“开盘价”,收盘价等),xl表示第l个参考信息中的数字内容(比如图3g所示的“9.75”,“9.15”等),ΦK是将非数字内容转换为键向量的函数,ΦV是将数字内容转换为值向量的函数。可选的,可以采用词向量作为ΦK,采用前述数字编码器神经网络作为ΦV。其中,ΦK输出的键向量即为对应参考信息中非数字内容的第二参考向量,ΦV输出的值向量即为对应的参考信息中数字内容的第一参考向量。最后,得到包括第一参考向量的值向量集合,以及包括第二参考向量的键向量集合,将键向量集合和值向量集合组合为参考向量集合,如图3g所示。
需要说明的是,由于获取到的参考信息通常为多个,这些参考信息中将包括多个数字内容,而各数字内容的取值范围不同,为了避免各数字内容间相互干扰,设置各参考信息中的数字内容对应的第一参考向量为32*L维,其中,32是单精度二进制的位数,L为获取到的多个参考信息中所有数字内容的个数。比如,请参照图3h,第l个数字内容为“9.75”,如图3h所示,除了图示l区为数字内容“9.75”对应的单精度二进制表示,其它区域均为全零的的元素。
同理,在将问题信息中的数字内容转换为对应的第一问题向量时,也可以采用32*L维的表示方式。
需要说明的是,本发明实施例对于采用何种存储神经网络得到参考向量集合,不做具体限定,可以替换为各种其他类型的模型结构。比如,在其他可选的实施方式中,还可以采用神经图灵机,或者其变种,或者替换为其他网络结构。此外,对于ΦK的选择,也可由本领域技术人员根据实际需要替换为其他合理实现方式。
可具体的,作为一种可选的实施方式,根据第一问题向量、第二问题向量以及参考向量集合获取对应的目标答案向量,可以包括如下步骤:
(1031)根据第一问题向量以及第二问题向量,获取第一问题向量对应的第一上下文向量;
(1032)根据第一上下文向量,获取解码器神经网络的当前状态向量;
(1033)根据第一参考向量以及第二参考向量,获取第一参考向量对应的第二上下文向量;
(1034)将第一上下文向量、当前状态向量以及第二上下文向量输入到解码器神经网络;
(1035)获取解码器神经网络输出的答案向量,并将获取到的答案向量作为目标答案向量。
其中,定义获取第一问题向量所对应目标答案向量的解码时刻为当前解码时刻t。
将第一问题向量和第二问题向量构成的问题向量序列,以及前一解码时刻t-1解码器神经网络的状态向量st-1,输入到问题注意力模型,计算得到问题向量序列在当前解码时刻的注意力概率,问题注意力模型的公式表示为:
Figure BDA0001570062830000101
其中,Et表示问题向量序列在当前解码时刻的注意力概率,H表示问题向量序列,由第一问题向量和第二问题向量组成,tanh()为反正切函数,
Figure BDA0001570062830000102
Figure BDA0001570062830000103
为预先训练得到的参数矩阵,
Figure BDA0001570062830000104
表示转置矩阵。
将注意力概率Et输入到以下公式,计算得到问题向量序列在当前解码时刻的概率分布:
Figure BDA0001570062830000111
其中,αt表示问题向量序列在当前解码时刻的概率分布,
Figure BDA0001570062830000112
为预先训练得到的参数矩阵。
将计算得到的概率分布αt和问题向量序列加权后得到问题向量序列在当前解码时刻的上下文向量,也即是第一问题向量对应的第一上下文向量:
Figure BDA0001570062830000113
其中,ct表示第一问题向量对应的第一上下文向量。
之后,根据以下公式计算解码器神经网络的当前状态向量,也即是解码器神经网络在当前解码时刻的状态向量:
Figure BDA0001570062830000114
其中,st表示解码器神经网络在当前解码时刻的状态向量,即当前状态向量,其包含了已生成答案部分的信息,f()为非线性激活函数(比如逻辑斯蒂函数,长短期记忆单元等),
Figure BDA0001570062830000115
以及
Figure BDA0001570062830000116
为预先训练得到的参数矩阵,e(yt-1)表示解码器神经网络在上一解码时刻输出的答案向量。
将包括第二问题向量的键向量集合、解码器神经网络在当前解码时刻的当前状态向量以及第一问题向量对应的第一上下文向量输入到存储网络注意力模型,计算得到键向量集合在当前解码时刻的注意力概率,存储网络注意力模型的公式表示为:
Figure BDA0001570062830000117
其中,Mt表示键向量集合在当前解码时刻的注意力概率,tanh()为反正切函数,
Figure BDA0001570062830000118
以及
Figure BDA0001570062830000119
为预先训练得到的参数矩阵,
Figure BDA00015700628300001110
表示转置矩阵,K表示包括第二问题向量的键向量集合,ct表示表示第一问题向量对应的第一上下文向量,st表示解码器神经网络在当前解码时刻的当前状态向量。
将注意力概率Mt输入到以下公式,计算得到键向量集合在当前解码时刻的概率分布:
Figure BDA00015700628300001111
其中,βt表示键向量集合在当前解码时刻的概率分布,
Figure BDA00015700628300001112
为预先训练得到的参数矩阵。
将计算得到的概率分布βt和包括第一问题向量的值向量集合加权后得到值向量集合在当前解码时刻的上下文向量,也即是第一参考向量对应的第二上下文向量:
Figure BDA0001570062830000121
其中,mt表示第一参考向量对应的第二上下文向量,V表示包括第一参考向量的值向量集合。
将上述计算得到的当前状态向量st、第一上下文向量ct、以及第二上下文向量mt输入到解码器神经网络,得到解码器神经网络输出的答案向量,解码器神经网络的计算公式可以表示为:
Figure BDA0001570062830000122
其中,ot表示答案向量,此处为第一问题向量对应的目标答案向量,tanh()表示反正切函数,e(yt-1)表示解码器神经网络在上一解码时刻输出的答案向量,
Figure BDA0001570062830000123
以及
Figure BDA0001570062830000124
为预先训练得到的参数矩阵。
在步骤S104中,获取目标答案向量对应的目标数字内容。
需要说明的是,参照获取第一问题向量的目标答案向量的实施方式,可以获得各第二问题向量对应的目标答案向量。
自动问答装置每次获取到解码器神经网络在一解码时刻输出的答案向量(可以是第一问题向量对应的目标答案向量,也可以是第二问题向量对应的目标答案向量)时,按照以下公式获取其对应的目标词:
yt=softmax(W*ot+b)
其中,yt表示目标词,W*为预先训练得到的参数矩阵,ot答案向量,b表示偏置向量。
之后,判断目标词是否为数字符(比如“<NUM>”),若是,则生成对应的数字内容,替换该目标词,作为目标数字内容;否则不替换,也即是此时的目标词为非数字内容,作为目标非数字内容。
需要说明的是,对于上述所有的参数矩阵(
Figure BDA0001570062830000125
θ表示上述任一参数矩阵),在训练集
Figure BDA0001570062830000126
上通过优化下列目标训练:
Figure BDA0001570062830000131
其中,
Figure BDA0001570062830000132
表示训练目标,t表示解码时刻,T表示解码时刻的取值范围,yt表示当前解码时刻待生成的目标词,y<t表示历史解码时刻生成的目标词,Q表示问题,A表示答案,S表示参考信息。
可具体的,作为一种可选的实施方式,获取目标答案向量对应的目标数字内容可以包括以下步骤:
(1041)将当前状态向量以及第二上下文向量输入到数字解码器神经网络;
(1042)获取数字解码器神经网络输出的数字内容,并将获取到的数字内容作为目标答案向量对应的目标数字内容。
其中,该数字解码器神经网络可以是与解码器神经网络不同的另一个递归神经网络,数字解码器神经网络可以参照上述解码器神经网络训练得到,但该解码器神经网络专门用于处理数字内容生成。
本申请实施例中,每当解码器神经网络输出一个数字符(比如“<NUM>”)时,自动问答装置调用数字解码器神经网络生成数字内容。比如,前述第一问题向量对应的目标答案向量所对应的目标词为数字符。此时,将前述获取到的当前状态向量st以及第二上下文向量输入到数字解码器神经网络,由数字解码器神经网络逐字符生成对应的数字,得到前述目标答案向量对应的目标数字内容。换言之,对于输出为数字符的目标词,将该目标词的中间状态向量表示作为数字解码器神经网络的输入,由数字解码器神经网络输出对应的数字字符串。
需要说明的是,在训练数字解码器神经网络时,本申请实施例引入新的训练目标来对数字解码器神经网络的参数进行训练,区别在于新的训练目标是最大化字符串的生成概率,可以表示为:
Figure BDA0001570062830000141
其中,
Figure BDA0001570062830000142
表示新的训练目标,
Figure BDA0001570062830000143
表示标准词序列(即解码器神经网络的训练目标),
Figure BDA0001570062830000144
表示数字解码器神经网络的训练目标,λ为经验参数。
在步骤105中,根据目标数字内容构建问题信息对应的答案信息。
具体的,由于之前除了得到第一问题向量对应的目标答案向量的目标数字内容之外,还得到了各第二问题向量对应的目标答案向量的目标非数字内容。在构建问题信息对应的答案信息时,可以按照目标数字内容和目标非数字内容的生成时序,依序将目标数字内容和目标非数字内容组合为一个句子,作为问题信息对应的答案信息。
由上可知,本申请实施例提供的自动问答方法,首先识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;然后将问题信息中的非数字内容转换成对应的第二问题向量;再根据第一问题向量、第二问题向量以及数字化的参考向量集合获取对应第一问题向量的目标答案向量;获取目标答案向量对应的目标数字内容;根据目标数字内容构建问题信息对应的答案信息。本发明实施例一方面为参考信息以及问题信息中出现的数字内容提供更好的理解方式,另一方面为答案信息中的数字内容提供更好的生成方式,能够使得最终得到的答案信息是与问题信息所匹配的,提升了问答系统得到答案信息的准确度。
在一实施例中,以参考向量集合为股票知识向量集合为例,来详细介绍本发明提供的自动问答方法。
在本实施例中,将从自动问答系统的角度进行描述,其中该自动问答系统包括终端、网络和服务器,终端用于接收用户输入的问题信息,并将接收到问题信息通过网络传输至服务器;服务器用于对问题信息进行处理,得到对应问题信息的答案信息,并将答案信息通过网络传输至终端;终端还用于展示服务器传输的答案信息。
具体的,请结合参照图4a和图4b,其中,图4a为本实施例的流程示意图,图4b为服务器的架构示意图,该自动问答方法的具体流程如下:
在步骤201中,服务器构建股票知识向量集合。
具体的,服务器构建股票知识向量集合,可以包括:
(2011)获取股票知识;
(2012)识别股票知识中的数字内容,并将识别到的数字内容转换成对应的第一参考向量;
(2013)将股票知识中的非数字内容转换成对应的第二参考向量;
(2014)根据第一参考向量和第二参考向量构建股票知识向量集合。
其中,作为一个可选的实施方式,服务器可以采用网络爬虫技术,从互联网中获取股票知识。作为另一个可选的实施方式,服务器可以接收输入的股票知识。
比如,服务器采用网络爬虫技术,从互联网中获取到图3f所示的多个股票知识。
之后,服务器通过存储网络模块201对获取到的股票知识进行处理,得到股票知识向量结合。具体的,存储网络模块201调用预先训练的键-值存储神经网络对获取到股票知识进行处理,通过键-值存储神经网络将股票知识中的数字内容转换成对应的第一参考向量,通过键-值存储神经网络将股票知识中的非数字内容转换成对应的第二参考向量,并构建包括第一参考向量和第二参考向量的股票知识向量集合。
具体的,请参照图3g,以获取到的股票知识为{(开盘价,9.75),(收盘价、9.15)(增幅,-0.45)……}为例,键-值存储神经网络使用两个转换矩阵分别将股票知识中的数字内容转换为对应的第一参考向量,将股票知识中的非数字内容转换为对应的第二参考向量:
kl=ΦK(rl)
vl=Φv(xl)
其中,rl表示第l个股票知识中的非数字内容(比如图3g所示的“开盘价”,收盘价等),xl表示第l个股票知识中的数字内容(比如图3g所示的“9.75”,“9.15”等),ΦK是将非数字内容转换为键向量的函数,ΦV是将数字内容转换为值向量的函数。可选的,采用词向量作为ΦK,采用数字编码模块202作为ΦV。其中,ΦK输出的键向量即为对应股票知识中非数字内容的第二参考向量,ΦV输出的值向量即为对应的股票知识中数字内容的第一参考向量。最后,得到包括第一参考向量的值向量集合,以及包括第二参考向量的键向量集合,将键向量集合和值向量集合组合为股票知识向量集合,如图4c所示。
可具体的,将股票知识中的数字内容转换为对应的第一参考向量包括:
对股票知识中的数字内容进行二进制编码,得到对应的单精度二进制向量;
将得到的单精度二进制向量作为第一参考向量。
数字编码模块202采用计算机通用的32位单精度二进制编码方式对股票知识中的数字内容(该数字内容为浮点数表示)进行二进制编码,从而得到与数字内容对应的32位的单精度二进制向量,将该32位的单精度二进制向量作为数字内容的第一参考向量。
请参照图3h,为识别到的数字内容“9.75”所对应的第一参考向量,如图3h所示,共包括三个部分:
1、符号位:“0”代表正,“1”代表负,共1位。
2、指数位:用于储存科学计数法中的指数数据,并且采用移位存储,共8位。
3、尾数部分:尾数部分,共23位。
需要说明的是,由于获取到的股票知识通常为多个,这些股票知识中将包括多个数字内容,而各数字内容的取值范围不同,为了避免各数字内容间相互干扰,设置各股票知识中的数字内容对应的第一参考向量为32*L维,其中,32是单精度二进制的位数,L为获取到的多个股票知识中所有数字内容的个数。比如,请参照图3h,第l个数字内容为“9.75”,如图3h所示,除了图示l区为数字内容“9.75”对应的单精度二进制表示,其它区域均为全零的的元素。
在步骤202中,终端通过问题交互界面接收问题信息。
比如,请参照图4d,问题交互界面提供有输入框形式的输入接口,用户可以通过该输入接口输入想提出的问题。
在步骤203中,终端通过网络将接收到的问题信息传输至服务器。
其中,网络包括路由器、网关等等网络实体,用于实现终端和服务器之间的信息交互。
在步骤204中,服务器识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量。
服务器在接收到终端传输的问题信息之后,对问题信息进行切词,得到对应问题信息的单词序列。比如,请参照图3b,获取到的问题信息为股票操作问题,如“成本9.8,能否持有”,对该问题信息进行切词,将得到单词序列:(“成本”、“9.8”、“,”、“能否”、“持有”、“?”)。
之后,服务器将对切词得到的单词序列进行识别,以识别出其中的数字内容,并由数字编码模块202将识别到的数字内容转换成对应的第一问题向量。
比如,获取到的问题信息为“成本9.8,能否持有?”,服务器将识别到其中的数字内容为“9.8”。
具体的,将识别到的数字内容转换成对应的第一问题向量,可以包括:
(2041)对识别到的数字内容进行二进制编码,得到对应的单精度二进制向量;
(2042)将得到的单精度二进制向量作为第一问题向量。
其中,数字编码模块202在将问题信息中的数字内容转换为对应的第一问题向量时,也可以采用32*L维的表示方式,具体可参照第一参考向量的转换方式,此处不再赘述。
在步骤205中,服务器将问题信息中的非数字内容转换成对应的第二问题向量。
本发明实施例中,同样采用向量的方式来表示问题信息中的非数字内容,非数字内容即问题信息中除数字内容之外的内容。比如,问题信息为“成本9.8,能否持有?”,数字内容为“9.8”,非数字内容包括:“成本”、“,”、“能否”、“持有”和“?”
其中,服务器通过编码器模块203将问题信息中的非数字内容转换成对应的第二问题向量,具体的,编码器模块203调用预先训练的编码器神经网络,将各非数字内容的单词依次输入到编码器神经网络中,并将编码器神经网络输出的对应各单词的隐层向量,作为对应各非数字内容的第二问题向量。对于问题信息中的数字内容,将数字内容对应的第一问题向量作为数字内容的词向量,传入到编码器神经网络中。
请参照图3e,问题信息为“成本9.8,能否持有?”,对其切词将得到图3b所示的六个单词,其中单词“成本”、“,”、“能否”、“持有”和“?”为非数字内容,单词“9.8”为数字内容。按照图3e所示的顺序,也即是将“成本”、“,”、“能否”、“持有”、“?”以及“9.8”,按照各单词在问题信息中的顺序,依次传入到编码器神经网络中,得到编码器神经网络输出的对应问题信息的问题向量序列,该问题向量序列包括对应数字内容的第一问题向量和对应各非数字内容的第二问题向量。
在步骤206中,服务器调用解码器神经网络,根据第一问题向量、第二问题向量以及股票知识向量集合获取对应第一问题向量的目标答案向量。
其中,定义获取第一问题向量所对应目标答案向量的解码时刻为当前解码时刻t,服务器通过解码器模块204调用解码器神经网络,实现对问题向量序列的解码。
具体的,将第一问题向量和第二问题向量构成的问题向量序列,以及前一解码时刻t-1解码器神经网络的状态向量st-1,输入到问题注意力模型,计算得到问题向量序列在当前解码时刻的注意力概率,问题注意力模型的公式表示为:
Figure BDA0001570062830000181
其中,Et表示问题向量序列在当前解码时刻的注意力概率,H表示问题向量序列,由第一问题向量和第二问题向量组成,tanh()为反正切函数,
Figure BDA0001570062830000182
Figure BDA0001570062830000183
为预先训练得到的参数矩阵,
Figure BDA0001570062830000184
表示转置矩阵。
将注意力概率Et输入到以下公式,计算得到问题向量序列在当前解码时刻的概率分布:
Figure BDA0001570062830000185
其中,αt表示问题向量序列在当前解码时刻的概率分布,
Figure BDA0001570062830000186
为预先训练得到的参数矩阵。
将计算得到的概率分布αt和问题向量序列加权后得到问题向量序列在当前解码时刻的上下文向量,也即是第一问题向量对应的第一上下文向量:
Figure BDA0001570062830000191
其中,ct表示第一问题向量对应的第一上下文向量。
之后,根据以下公式计算解码器神经网络的当前状态向量,也即是解码器神经网络在当前解码时刻的状态向量:
Figure BDA0001570062830000192
其中,st表示解码器神经网络在当前解码时刻的状态向量,即当前状态向量,其包含了已生成答案部分的信息,f()为非线性激活函数(比如逻辑斯蒂函数,长短期记忆单元等),
Figure BDA0001570062830000193
以及
Figure BDA0001570062830000194
为预先训练得到的参数矩阵,e(yt-1)表示解码器神经网络在上一解码时刻输出的答案向量。
将包括第二问题向量的键向量集合、解码器神经网络在当前解码时刻的当前状态向量以及第一问题向量对应的第一上下文向量输入到存储网络注意力模型,计算得到键向量集合在当前解码时刻的注意力概率,存储网络注意力模型的公式表示为:
Figure BDA0001570062830000195
其中,Mt表示键向量集合在当前解码时刻的注意力概率,tanh()为反正切函数,
Figure BDA0001570062830000196
以及
Figure BDA0001570062830000197
为预先训练得到的参数矩阵,
Figure BDA0001570062830000198
表示转置矩阵,K表示包括第二问题向量的键向量集合,ct表示表示第一问题向量对应的第一上下文向量,st表示解码器神经网络在当前解码时刻的当前状态向量。
将注意力概率Mt输入到以下公式,计算得到键向量集合在当前解码时刻的概率分布:
Figure BDA0001570062830000199
其中,βt表示键向量集合在当前解码时刻的概率分布,
Figure BDA00015700628300001910
为预先训练得到的参数矩阵。
将计算得到的概率分布βt和包括第一问题向量的值向量集合加权后得到值向量集合在当前解码时刻的上下文向量,也即是第一参考向量对应的第二上下文向量:
Figure BDA0001570062830000201
其中,mt表示第一参考向量对应的第二上下文向量,V表示包括第一参考向量的值向量集合。
将上述计算得到的当前状态向量st、第一上下文向量ct、以及第二上下文向量mt输入到解码器神经网络,得到解码器神经网络输出的答案向量,解码器神经网络的计算公式可以表示为:
Figure BDA0001570062830000202
其中,ot表示答案向量,此处为第一问题向量对应的目标答案向量,tanh()表示反正切函数,e(yt-1)表示解码器神经网络在上一解码时刻输出的答案向量,
Figure BDA0001570062830000203
以及
Figure BDA0001570062830000204
为预先训练得到的参数矩阵。
在步骤207中,服务器调用数字解码器神经网络,获取目标答案向量对应的目标数字内容。
需要说明的是,参照获取第一问题向量的目标答案向量的实施方式,可以获得各第二问题向量对应的目标答案向量。
解码器模块204每次获取到解码器神经网络在一解码时刻输出的答案向量(可以是第一问题向量对应的目标答案向量,也可以是第二问题向量对应的目标答案向量)时,按照以下公式获取其对应的目标词:
yt=softmax(W*ot+b)
其中,yt表示目标词,W*为预先训练得到的参数矩阵,ot答案向量,b表示偏置向量。
之后,判断目标词是否为数字符(比如“<NUM>”),若是,则生成对应的数字内容,替换该目标词,作为目标数字内容;否则不替换,直接将该目标词为当前目标词(为目标非数字内容)。
需要说明的是,对于上述所有的参数矩阵(
Figure BDA0001570062830000205
θ表示上述任一参数矩阵),在训练集
Figure BDA0001570062830000206
上通过优化下列目标训练:
Figure BDA0001570062830000211
其中,
Figure BDA0001570062830000212
表示训练目标,t表示解码时刻,T表示解码时刻的取值范围,yt表示当前解码时刻待生成的目标词,y<t表示历史解码时刻生成的目标词,Q表示问题,A表示答案,S表示股票知识。
本发明实施例中,第一问题向量对应的目标答案向量所对应的目标词为数字符。此时,数字解码模块205将前述获取到的当前状态向量st以及第二上下文向量输入到数字解码器神经网络,由数字解码器神经网络逐字符生成对应的数字,得到前述目标答案向量对应的目标数字内容。换言之,对于输出为数字符的目标词,将该目标词的中间状态向量表示作为数字解码器神经网络的输入,由数字解码器神经网络输出对应的数字字符串。
需要说明的是,在训练数字解码器神经网络时,本申请实施例引入新的训练目标来对数字解码器神经网络的参数进行训练,区别在于新的训练目标是最大化字符串的生成概率,可以表示为:
Figure BDA0001570062830000213
其中,
Figure BDA0001570062830000214
表示新的训练目标,
Figure BDA0001570062830000215
表示标准词序列(即解码器神经网络的训练目标),
Figure BDA0001570062830000216
表示数字解码器神经网络的训练目标,λ为经验参数。
比如,请参照图4e,问题信息为“成本9.8,能否持有?”,数字内容为“9.8”,解码器神经网络上一解码时刻生成的目标词为“短线”(为非数字内容),e(yt-1)表示“短线”对应的答案向量,st-1表示解码器神经网络在前一解码时刻t-1时的状态向量,st表示解码器神经网络在当前解码时刻t时的状态向量,ct表示问题向量序列在当前解码时刻t的上下文向量,mt表示值向量集合在当前解码时刻t的上下文向量,解码器神经网络最终生成的目标数字内容为“9.7”,对应于问题信息中的数字内容“9.8”。
在步骤208中,服务器根据目标数字内容构建问题信息对应的答案信息。
由于之前除了得到第一问题向量对应的目标答案向量的目标数字内容之外,还得到了各第二问题向量对应的目标答案向量的目标非数字内容。在构建问题信息对应的答案信息时,解码器模块204可以按照目标数字内容和目标非数字内容的生成时序,依序将目标数字内容和目标非数字内容组合为一个句子,作为问题信息对应的答案信息。
请参照图4f,问题信息为“成本9.8,能否持有”,构建的答案信息为“短线9.7压力,保本……”。
在步骤209中,服务器通过网络将构建的答案信息传输至终端。
比如,在一个可选的实施方式中,服务器可以将构建的答案信息按照与终端约定的加解密方式加密后,传输至终端;又比如,在一个可选的实施方式中,服务器可以将构建的答案信息以明文的方式传输至终端。
在步骤210中,终端展示答案信息。
比如,终端可以直接在问题交互界面展示接收到的答案信息,如图4g所示。
本发明实施例提供的方案通过额外的数字编码器神经网络以及数字编码器神经网络来完成答案信息的生成,能够对股票知识和问题信息中出现的数字内容提供更好的理解和生成方式,能够提高问答系统的答案准确度和信息量。
为了便于更好的实施本发明实施例提供的自动问答方法,在一实施例中还提供了一种自动问答装置。其中名词的含义与上述自动问答方法中相同,具体实现细节可以参考方法实施例中的说明。
在一实施例中,还提供了一种自动问答装置,如图5a所示,该自动问答装置可以包括:第一转换模块301、第二转换模块302、第一获取模块303、第二获取模块304以及答案构建模块305;
第一转换模块301,用于识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;
第二转换模块302,用于将问题信息中的非数字内容转换成对应的第二问题向量;
第一获取模块303,根据第一问题向量、第二问题向量以及参考向量集合获取第一问题向量对应的目标答案向量,参考向量集合包括参考信息中的数字内容所对应的第一参考向量;
第二获取模块304,用于获取目标答案向量对应的目标数字内容;
答案构建模块305,用于根据目标数字内容构建问题信息对应的答案信息。
在一实施例中,请参照参考图5b,自动问答装置还可以包括第三获取模块306、第三转换模块307以及集合构建模块308;
第三获取模块306,用于获取参考信息;
第三转换模块307,用于将参考信息中的数字内容转换成对应的第一参考向量,将参考信息中的非数字内容转换成对应的第二参考向量;
集合构建模块308,用于根据第一参考向量和第二参考向量构建参考向量集合。
在一实施例中,第一获取模块303具体用于:
根据第一问题向量以及第二问题向量,获取第一问题向量对应的第一上下文向量;
根据第一上下文向量,获取解码器神经网络的当前状态向量;
根据第一参考向量以及第二参考向量,获取第一参考向量对应的第二上下文向量;
将第一上下文向量、当前状态向量以及第二上下文向量输入到解码器神经网络;
获取解码器神经网络输出的答案向量,并将获取到的答案向量作为目标答案向量。
在一实施例中,第二获取模块304具体用于:
将当前状态向量以及第二上下文向量输入到数字解码器神经网络;
获取数字解码器神经网络输出的数字内容,并将获取到的数字内容作为目标答案向量对应的目标数字内容。
在一实施例中,第一转换模块301具体用于:
对识别到的数字内容进行二进制编码,得到对应的单精度二进制向量;
将单精度二进制向量作为第一问题向量。
在一实施例中,第一转换模块301还可具体用于:
将识别到的数字内容拆分为多个数字单元,得到数字单元序列;
将数字单元序列输入到数字编码器神经网络;
获取数字编码器神经网络输出的对应数字单元序列的向量序列;
将获取到的所示向量序列作为第一问题向量。
在一实施例中,参考信息包括相互关联的键参考信息和值参考信息,且键参考信息为非数字内容,值参考信息为数字内容,第三转换模块307具体用于:
将获取到的键参考信息和值参考信息输入到键-值存储神经网络;
获取键-值存储神经网络调用数字编码器神经网络输出的对应值参考信息的第一参考向量;
获取键-值存储神经网络输出的对应键参考信息的第二参考向量。
在一实施例中,第二转换模块302具体用于:
将问题信息中的非数字内容输入到编码器神经网络;
获取编码器神经网络输出的对应问题信息中的非数字内容的词向量;
将获取到的词向量作为对应问题信息中的非数字内容的第二问题向量。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本发明实施例自动问答装置采用第一转换模块301识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;第二转换模块302将问题信息中的非数字内容转换成对应的第二问题向量;第一获取模块303根据第一问题向量、第二问题向量以及参考向量集合获取对应第一问题向量的目标答案向量;第二获取模块304获取目标答案向量对应的目标数字内容;答案构建模块305根据目标数字内容构建问题信息对应的答案信息。本发明实施例一方面为参考信息以及问题信息中出现的数字内容提供更好的理解方式,另一方面为答案信息中的数字内容提供更好的生成方式,能够使得最终得到的答案信息是与问题信息所匹配的,提升了问答系统得到答案信息的准确度。
参考图6,本发明实施例提供了一种服务器,可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、射频(Radio Frequency,RF)电路403、电源404、输入单元405、以及显示单元406等部件。本领域技术人员可以理解,图6中示出的服务器结构并不构成对服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该服务器的控制中心,利用各种接口和线路连接整个服务器的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行服务器的各种功能和处理数据,从而对服务器进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。
RF电路403可用于收发信息过程中,信号的接收和发送。
服务器还包括给各个部件供电的电源404(比如电池),优选的,电源可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
该服务器还可包括输入单元405,该输入单元405可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器还可包括显示单元406,该显示单元406可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。具体在本实施例中,服务器中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;将问题信息中的非数字内容转换成对应的第二问题向量;根据第一问题向量、第二问题向量以及参考向量集合获取对应第一问题向量的目标答案向量,参考向量集合包括参考信息中的数字内容所对应的第一参考向量;获取目标答案向量对应的目标数字内容;根据目标数字内容构建问题信息对应的答案信息。
自动问答方法详细步骤介绍可以参考上述方法实例的描述,这里不再赘述。
由上可知,本发明实施例服务器可以识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;将问题信息中的非数字内容转换成对应的第二问题向量;根据第一问题向量、第二问题向量以及数字化的参考向量集合获取对应第一问题向量的目标答案向量;获取目标答案向量对应的目标数字内容;根据目标数字内容构建问题信息对应的答案信息。本发明实施例一方面为参考信息以及问题信息中出现的数字内容提供更好的理解方式,另一方面为答案信息中的数字内容提供更好的生成方式,能够使得最终得到的答案信息是与问题信息所匹配的,提升了问答系统得到答案信息的准确度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种自动问答方法、装置和存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种自动问答方法,其特征在于,包括:
识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;
将所述问题信息中的非数字内容转换成对应的第二问题向量;
根据所述第一问题向量、所述第二问题向量以及参考向量集合获取对应的目标答案向量,所述参考向量集合包括参考信息中的数字内容所对应的第一参考向量;
获取所述目标答案向量对应的目标数字内容和对应的目标非数字内容;
根据所述目标数字内容、所述目标非数字内容以及所述目标数字内容与所述目标非数字内容的生成时序构建所述问题信息对应的答案信息。
2.如权利要求1所述的自动问答方法,其特征在于,识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量的步骤之前,还包括:
获取参考信息;
将所述参考信息中的数字内容转换成对应的第一参考向量,将所述参考信息中的非数字内容转换成对应的第二参考向量;
根据所述第一参考向量和所述第二参考向量构建所述参考向量集合。
3.如权利要求2所述的自动问答方法,其特征在于,根据所述第一问题向量、所述第二问题向量以及参考向量集合获取对应的目标答案向量的步骤,包括:
根据所述第一问题向量以及所述第二问题向量,获取所述第一问题向量对应的第一上下文向量;
根据所述第一上下文向量,获取解码器神经网络的当前状态向量;
根据所述第一参考向量以及所述第二参考向量,获取所述第一参考向量对应的第二上下文向量;
将所述第一上下文向量、所述当前状态向量以及所述第二上下文向量输入到解码器神经网络;
获取所述解码器神经网络输出的答案向量,并将获取到的答案向量作为所述第一问题向量对应的目标答案向量。
4.如权利要求3所述的自动问答方法,其特征在于,获取所述目标答案向量对应的目标数字内容的步骤,包括:
将所述当前状态向量以及所述第二上下文向量输入到数字解码器神经网络;
获取所述数字解码器神经网络输出的数字内容,并将获取到的数字内容作为所述目标答案向量对应的目标数字内容。
5.如权利要求1-4任一项所述的自动问答方法,其特征在于,将识别到的数字内容转换成对应的第一问题向量的步骤,包括:
对识别到的所述数字内容进行二进制编码,得到对应的单精度二进制向量;
将所述单精度二进制向量作为所述第一问题向量。
6.如权利要求1-4任一项所述的自动问答方法,其特征在于,将识别到的数字内容转换成对应的第一问题向量的步骤,包括:
将识别到的所述数字内容拆分为多个数字单元,得到数字单元序列;
将所述数字单元序列输入到数字编码器神经网络;
获取所述数字编码器神经网络输出的对应所述数字单元序列的向量序列;
将获取到的所述向量序列作为所述第一问题向量。
7.如权利要求2所述的自动问答方法,其特征在于,参考信息包括相互关联的键参考信息和值参考信息,且键参考信息为非数字内容,值参考信息为数字内容,
将所述参考信息中的数字内容转换成对应的第一参考向量,将所述参考信息中的非数字内容转换成对应的第二参考向量的步骤,包括:
将获取到的键参考信息和值参考信息输入到键-值存储神经网络;
获取所述键-值存储神经网络调用数字编码器神经网络输出的对应所述值参考信息的第一参考向量;
获取所述键-值存储神经网络输出的对应所述键参考信息的第二参考向量。
8.如权利要求1-4任一项所述的自动问答方法,其特征在于,将所述问题信息中的非数字内容转换成对应的第二问题向量的步骤,包括:
将所述非数字内容输入到编码器神经网络;
获取所述编码器神经网络输出的对应所述非数字内容的词向量;
将对应所述非数字内容的词向量作为所述第二问题向量。
9.一种自动问答装置,其特征在于,包括:
第一转换模块,用于识别问题信息中的数字内容,并将识别到的数字内容转换成对应的第一问题向量;
第二转换模块,用于将所述问题信息中的非数字内容转换成对应的第二问题向量;
第一获取模块,根据所述第一问题向量、所述第二问题向量以及参考向量集合获取对应的目标答案向量,所述参考向量集合包括参考信息中的数字内容所对应的第一参考向量;
第二获取模块,用于获取所述目标答案向量对应的目标数字内容和对应的目标非数字内容;
答案构建模块,用于根据所述目标数字内容、所述目标非数字内容以及所述目标数字内容与所述目标非数字内容的生成时序构建所述问题信息对应的答案信息。
10.如权利要求9所述的自动问答装置,其特征在于,自动问答装置还包括集合构建模块,用于:
获取参考信息;
将所述参考信息中的数字内容转换成对应的第一参考向量,将所述参考信息中的非数字内容转换成对应的第二参考向量;
根据所述第一参考向量和所述第二参考向量构建所述参考向量集合。
11.一种计算机可读存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的自动问答方法中的步骤。
CN201810113807.4A 2018-02-05 2018-02-05 一种自动问答方法、装置和存储介质 Active CN108363763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810113807.4A CN108363763B (zh) 2018-02-05 2018-02-05 一种自动问答方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810113807.4A CN108363763B (zh) 2018-02-05 2018-02-05 一种自动问答方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN108363763A CN108363763A (zh) 2018-08-03
CN108363763B true CN108363763B (zh) 2020-12-01

Family

ID=63004426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810113807.4A Active CN108363763B (zh) 2018-02-05 2018-02-05 一种自动问答方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN108363763B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857909B (zh) * 2019-01-22 2020-11-20 杭州一知智能科技有限公司 多粒度卷积自注意力上下文网络解决视频对话任务的方法
CN110597971B (zh) * 2019-08-22 2022-04-29 卓尔智联(武汉)研究院有限公司 基于神经网络的自动问答装置、方法及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014078612A2 (en) * 2012-11-16 2014-05-22 International Business Machines Corporation Multi-dimensional feature merging for open domain question answering
CN105930452A (zh) * 2016-04-21 2016-09-07 北京紫平方信息技术股份有限公司 一种识别自然语言的智能应答方法
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法
CN107590192A (zh) * 2017-08-11 2018-01-16 深圳市腾讯计算机系统有限公司 文本问题的数学化处理方法、装置、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014078612A2 (en) * 2012-11-16 2014-05-22 International Business Machines Corporation Multi-dimensional feature merging for open domain question answering
CN106844368A (zh) * 2015-12-03 2017-06-13 华为技术有限公司 用于人机对话的方法、神经网络系统和用户设备
CN105930452A (zh) * 2016-04-21 2016-09-07 北京紫平方信息技术股份有限公司 一种识别自然语言的智能应答方法
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN107562792A (zh) * 2017-07-31 2018-01-09 同济大学 一种基于深度学习的问答匹配方法
CN107590192A (zh) * 2017-08-11 2018-01-16 深圳市腾讯计算机系统有限公司 文本问题的数学化处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN108363763A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN110534087B (zh) 一种文本韵律层级结构预测方法、装置、设备及存储介质
CN110162799B (zh) 模型训练方法、机器翻译方法以及相关装置和设备
CN110598213A (zh) 一种关键词提取方法、装置、设备及存储介质
CN111460807B (zh) 序列标注方法、装置、计算机设备和存储介质
CN106897254B (zh) 一种网络表示学习方法
CN111553162A (zh) 一种意图识别的方法以及相关装置
CN109710953B (zh) 一种翻译方法及装置、计算设备、存储介质和芯片
CN113746620B (zh) 同态加密方法、设备、介质及计算机程序产品
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN108363763B (zh) 一种自动问答方法、装置和存储介质
CN108304376B (zh) 文本向量的确定方法、装置、存储介质及电子装置
CN112528634A (zh) 文本纠错模型训练、识别方法、装置、设备及存储介质
CN111680510B (zh) 文本处理方法、装置、计算机设备以及存储介质
Zhang et al. A unified multi-task semantic communication system with domain adaptation
CN108388549B (zh) 信息转换方法、装置、存储介质和电子装置
CN117094365A (zh) 图文生成模型的训练方法、装置、电子设备及介质
CN116127925B (zh) 基于对文本进行破坏处理的文本数据增强方法及装置
WO2021012263A1 (en) Systems and methods for end-to-end deep reinforcement learning based coreference resolution
WO2023040545A1 (zh) 一种数据处理方法、装置、设备、存储介质和程序产品
CN113222156A (zh) 一种待执行操作的量子模拟方法、装置
CN113222151A (zh) 一种量子态的变换方法及装置
CN116049691A (zh) 模型转换方法、装置、电子设备和存储介质
CN112069790A (zh) 文本相似度识别方法、装置及电子设备
CN112818688B (zh) 文本处理方法、装置、设备及存储介质
CN112507081B (zh) 相似句匹配方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant