CN110020009A - 在线问答方法、装置及系统 - Google Patents

Abstract

本申请实施例提供一种在线问答方法、装置及系统。在本申请实施例中，针对客户端发送的问题，获取可提供该问题对应答案的文档，基于文档中各文档分词与问题中各问题分词之间的关联度从文档中提取可作为答案的文档片段，不再依赖人工提炼的问答对，而是通过对文档的阅读理解直接提取问题对应的答案，有利于提高对问题的覆盖率，提高问答效果。

Description

在线问答方法、装置及系统

技术领域

本申请涉及互联网技术领域，尤其涉及一种在线问答方法、装置及系统。

背景技术

自动问答领域最常见的是问答对检索方式。在问答对检索方式中，需要人工从相关领域知识中提炼问答对；在问答时，根据问题在预先提炼出的问答对中进行检索，从而得到问题答案。

但是，人工提炼问答对比较受限，问答对可以很好的覆盖一些出现频率较高的问题，但对于一些出现频率较低的问题却无法很好的覆盖，导致问答效果不理想。

发明内容

本申请的多个方面提供一种在线问答方法、装置及系统，用以提高对问题的覆盖率，提高问答效果。

本申请实施例提供一种在线问答方法，包括：

接收客户端发送的问题数据；

获取可提供所述问题数据对应答案的目标文档；

根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度，从所述目标文档中提取可作为所述答案的文档片段；

将所述文档片段发送给所述客户端。

本申请实施例还提供一种在线问答方法，包括：

获取用户的问题数据；

将所述问题数据发送给服务器，以供所述服务器返回可作为答案的文档片段；

接收所述服务器返回的可作为答案的文档片段，并向所述用户输出所述文档片段；

其中，所述文档片段是所述服务器根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度从所述目标文档中提取的。

本申请实施例还提供一种服务器，包括：存储器、处理器以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

通过所述通信组件接收客户端发送的问题数据；

获取可提供所述问题数据对应答案的目标文档；

根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度，从所述目标文档中提取可作为所述答案的文档片段；

通过所述通信组件将所述文档片段发送给所述客户端；

所述通信组件，用于接收所述客户端发送的所述问题数据，并将所述文档片段发送给所述客户端。

本申请实施例还提供一种终端设备，包括：存储器、处理器、显示屏以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

获取用户的问题数据；

通过所述通信组件将所述问题数据发送给服务器，以供所述服务器返回可作为答案的文档片段；

通过所述通信组件接收所述服务器返回的可作为答案的文档片段，并向所述用户输出所述文档片段；

所述通信组件，用于向所述服务器发送所述问题数据，并接收所述服务器返回的所述文档片段；

其中，所述文档片段是所述服务器根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度从所述目标文档中提取的。

本申请实施例还提供一种在线问答系统，包括：终端设备以及服务器；

所述终端设备，用于获取用户的问题数据；将所述问题数据发送给所述服务器，接收所述服务器返回的可作为答案的文档片段，并向所述用户输出所述文档片段；

所述服务器，用于接收所述客户端发送的所述问题数据；获取可提供所述问题数据对应答案的目标文档；根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度，从所述目标文档中提取可作为所述答案的文档片段；以及将所述文档片段发送给所述客户端。

本申请实施例还提供一种在线问答方法，包括：

接收客户端发送的问题数据；

获取可提供所述问题数据对应答案的目标文档；

将所述问题数据和所述目标文档作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述目标文档的阅读理解获取答案提取参数；

根据所述答案提取参数，从所述目标文档中提取可作为所述答案的文档片段，并将所述文档片段发送给所述客户端。

本申请实施例还提供一种机器阅读理解模型训练方法，包括：

获取训练样本集，所述训练样本集包括问题样本、可提供所述问题样本对应答案的文档样本以及所述文档样本中可作为所述答案的标准文档片段；

将所述问题样本和所述文档样本作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述文档样本的阅读理解获取答案提取参数；

根据所述答案提取参数，从所述文档样本中提取可作为所述答案的待验证文档片段；

根据所述标准文档片段和所述待验证文档片段之间的吻合度，对所述机器阅读理解模型进行稳定性评测。

在本申请实施例中，针对客户端发送的问题，获取可提供该问题对应答案的文档，基于文档中各文档分词与问题中各问题分词之间的关联度从文档中提取可作为答案的文档片段，不再依赖人工提炼的问答对，而是通过对文档的阅读理解直接提取问题对应的答案，有利于提高对问题的覆盖率，提高问答效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的在线问答系统的结构示意图；

图2为本申请另一示例性实施例提供的机器学习模型的结构示意图；

图3为本申请又一示例性实施例提供的基于机器学习模型的在线问答的流程示意图；

图4为本申请又一示例性实施例提供的一种在线问答方法的流程示意图；

图5为本申请又一示例性实施例提供的另一种在线问答方法的流程示意图；

图6a为本申请又一示例性实施例提供的一种在线问答装置的结构示意图；

图6b为本申请又一示例性实施例提供的一种服务器的结构示意图；

图7a为本申请又一示例性实施例提供的另一种在线问答装置的结构示意图；

图7b为本申请又一示例性实施例提供的一种终端设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有问答对检索方式存在的因对问题覆盖不全面导致问答效果不理想的问题，本申请实施例提供一种解决方案，基本思路是：针对客户端发送的问题，获取可提供该问题对应答案的文档，基于文档中各文档分词与问题中各问题分词之间的关联度从文档中提取可作为答案的文档片段，不再依赖人工提炼的问答对，而是通过对文档的阅读理解直接提取问题对应的答案，有利于提高对问题的覆盖率，提高问答效果。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的在线问答系统100的结构示意图。如图1所示，该在线问答系统100包括：服务器10和终端设备20。

终端设备20与服务器10之间可以是无线或有线网络连接。在本实施例中，若终端设备20通过移动网络与服务器10通信连接，该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax等中的任意一种。

在在线网问答系统100中，服务器10主要面向终端设备20提供在线问题服务，例如响应于终端设备20的问答请求并向终端设备20提供答案。服务器10可以是任何可提供计算服务，能够响应服务请求并进行处理的设备，例如可以是常规服务器、云服务器、云主机、虚拟中心等。服务器的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。

终端设备20可以是智能手机、平板电脑、个人电脑、穿戴设备等。终端设备20可以是一台或多台。如图1所示，终端设备20通常包括至少一个处理单元21、至少一个存储器22以及显示器23。处理单元21和存储器22的数量取决于终端设备20的配置和类型。

显示器23可以包括屏幕，主要用于显示各类信息。可选地，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力等信息。

存储器22可以包括易失性的，例如RAM，也可以包括非易失性的，例如只读存储器(Read-Only Memory，ROM)、闪存等，或者也可以同时包括两种类型。存储器22内通常存储有操作系统(Operating System，OS)、一个或多个应用程序，也可以存储有程序数据等。

如图1所示，除了处理单元21、存储器22以及显示器23之外，终端设备20还包括一些基本配置24，例如网卡芯片、IO总线、音视频组件等。可选地，终端设备20还可以包括一些外围设备25，例如键盘、鼠标、输入笔、打印机等。这些外围设备在本领域中是众所周知的，在此不做赘述。

在一些应用场景中，用户经常需要咨询问题或了解一些信息，即有问答需求。下面列举几种具有问答需求的应用场景：

1、电商规则解读场景

各电商不断推出各种活动，例如双11、双12等。在电商推出活动时，大量用户会对活动规则进行咨询。例如，用户可能咨询活动时间是什么时候、可参加此次活动的商户有哪些、可参加此次活动的商品类目有哪些等等。

2、商品售前咨询场景

越来越多的电商开始推出智能客服，以便于在线解答用户的各种问题。在智能客服应用场景中，用户购物前可能需要咨询该商品的性能怎么样、什么时间发货、该商品的规格参数是多少等等。

3、词条描述问题场景

在面向企业提供本体知识库的应用场景中，企业往往需要咨询一些与该本体知识库相关的问题。例如，税务客户可以询问与某个税种相关问题。

除上述应用场景之外，还会有其它应用场景。但凡是用户有问答需求的应用场景，可以部署本实施例提供的在线问答系统100。基于在线问答系统100用户可以通过终端设备20向服务器10提出问题并获得答案。

对终端设备20来说，主要用于获取用户的问题数据，将用户的问题数据发送给服务器10，并接收服务器10针对该问题数据返回的可作为答案的文档片段，并向用户输出可作为答案的文档片段。根据应用场景的不同，终端设备20获取用户的问题数据以及向用户输出可作为答案的文档片段的方式也会有所不同。下面给出一种示例性实施方式，但并不限于此。

在一示例性实施例方式中，用户需要提问时，可以向终端设备20发出提问请求。终端设备20可响应于用户的提问请求，向用户展示问答界面，如图1所示。在向用户展示问题页面之后，终端设备20可以通过该问答界面获取用户的问题数据，将问题数据发送给服务器10，以供服务器10返回可作为答案的文档片段。之后，终端设备20可接收服务器10返回的可作为答案的文档片段，并输出至问答界面中。

在上述实施方式中，根据应用场景的不同，用户向终端设备20发出提问请求的方式会有所不同。例如，若用户正在通过终端设备20浏览某一页面，且该页面上设置有提问性质的按钮，则用户可以通过点击该按钮向终端设备20发出提问请求。

在上述实施方式中，终端设备20可以获取本地缓存的问答界面并展示给用户；或者，也可以向服务器10实时请求问答界面并在接收到服务器10返回的问答界面时展示给用户。如图1所示，该问答界面一方面用于获取用户的问题数据，另一方面用于向用户展示问题的答案。值得说明的是，终端设备20除了可以通过问答界面将答案展示给用户之外，还可以以语音方式播放给用户。

在上述实施方式中，用户可以通过终端设备20的输入设备，例如鼠标、键盘、触控键盘等向问答界面中输入问题数据。又例如，用户可以通过复制粘贴的方式将问题数据粘贴到问答界面中。又例如，问答界面上设置麦克风控件，用户通过点击或长按该麦克风控件进行语音输入，该语音经转换成问题数据后显示于问答界面上。又例如，问答界面上设置有摄像头控件，用户通过点击摄像头控件可对问题数据所在载体(例如照片、书籍、笔记本、电子设备的界面等)进行拍照，拍摄到的照片包含问题数据并会显示于问答界面上。对终端设备20来说，可获取从问答界面中获取用户的问题数据。

在另一些示例性实施例中，终端设备20支持用户通过语音输入设备，例如音响、耳机等设备以语音方式输入问题数据。在该示例性实施例中，终端设备20可以不提供问答界面，用户通过语音输入设备录制语音格式的问题数据，终端设备20接收语音输入设备发送的语音格式的问题数据，转换为文本格式的问题数据后发送给服务器10，之后将服务器10返回的文本格式的答案转换为语音格式的答案，通过语音输出设备(例如喇叭)输出该用户。

对服务器10来说，可接收终端设备20发送的问题数据，进而可确定需要向终端设备20提供该问题数据的答案。在本实施例中，服务器10在接收到终端设备20发送的问题数据后，不再像现有技术那样直接去查询预先提炼的问答对，而是获取可提供该问题数据对应答案的文档，然后基于对该文档的阅读理解从该文档中实时提取问题数据对应的答案。为便于区分和描述，将服务器10获取的可提供问题数据对应答案的文档称为目标文档。该目标文档可以是非结构化文本，例如新闻、百科文章，也可以是具有层次结构、大小标题的半结构化文本，例如法规条文等。

在本实施例中，服务器10对目标文档的阅读理解可认为是识别目标文档中的文档分词并确定各文档分词与问题数据中各问题分词之间的关联度等过程。相应地，基于对该目标文档的阅读理解从目标文档中提取答案主要是指根据各文档分词与各问题分词之间的关联度从目标文档中提取可作为答案的文档片段。

在从目标文档中提取出可作为答案的文档片段之后，服务器10将所提取的文档片段发送给终端设备20，以供终端设备20输出给用户。本实施例并不限定可作为答案的文档片段的粒度，其可以是一个词、一个短语，也可以是多个句子或者一个长段落。

在本实施例中，针对终端设备20发送的问题数据，服务器10可以获取可提供答案的文档，基于对该文档的阅读理解实时从文档中提取答案，不再依赖人工提炼的问答对，一方面可以节约提炼问答对消耗的人力资源，另一方面也可以克服人工提炼问答对对问题覆盖不全面的缺陷，有利于更加全面的覆盖问题，提高问题覆盖率，进而提高问答效果，例如可以提供更加准确的答案。

在一些示例性实施例中，服务器10接收终端设备20发送的问题数据，然后针对该问题数据获取可提供答案的目标文档。考虑到不同业务场景，问题数据会有所不同，可提供答案的目标文档也会有所不同。基于此，服务器10可以结合问题数据涉及的业务场景，基于该业务场景确定至少一个候选文档；计算问题数据与至少一个候选文档的匹配度；根据问题数据与至少一个候选文档的匹配度，从至少一个候选文档中选择目标文档。

在上述示例性实施例中，候选文档是指与问题数据涉及的业务场景相关的文档，其数量可以是一个或多个。可选地，服务器10可以根据问题数据中的核心词，确定问题数据所属的业务场景；然后，采用文本分类、文本检索或者问题模板拦截等方式来获取与业务场景相关的候选文档。

例如，假设用户的问题数据是“天猫造物节的活动什么时候开始？”，核心词是“天猫造物节”，服务器10可以采用无监督的文本检索或者人工维护的问题模板，获取与“天猫造物节”有关的文档段落，例如“天猫造物节”的活动规则作为候选文档。

又例如，假设用户的问题数据是“xxx型号手机的双摄像头拍照效果有什么特点？”，核心词是“xxx型号手机”，服务器10可以采用无监督的文本检索或者人工维护的问题模板，获取与“xxx型号手机”有关的文档段落，例如“xxx型号手机”的商品详情页作为候选文档。

可选地，服务器可以采用现有各种文本相似度计算方法计算问题数据中的核心词与候选文档的核心词之间的相似度，进而根据核心词之间的相似度确定问题数据与候选文档之间的匹配度。例如，可以直接将核心词之间的相似度作为问题数据与候选文档之间的匹配度，或者也可以对核心词之间的相似度进行加权处理，将加权处理结果作为问题数据与候选文档之间的匹配度。

可选地，服务器10可以根据问题数据与至少一个候选文档的匹配度，从至少一个候选文档中选择与问题数据的匹配度最大的候选文档作为目标文档。或者，服务器10可以根据问题数据与至少一个候选文档的匹配度，从至少一个候选文档中选择与问题数据的匹配度在设定匹配度范围内的候选文档作为目标文档。其中，根据应用场景的不同，匹配度范围可适应性设置。

值得说明的是，目标文档可以是一个，也可以是多个。对于目标文档为多个的情况，服务器10可以从每个目标文档中提取可作为答案的文档片段，然后综合从每个目标文档中提取的可作为答案的文档片段生成最终需要反馈给终端设备20的答案。例如，可以将多个文档片段中与问题数据匹配度最高的作为最终反馈给终端设备20的答案；或者，也可以将多个文档片段进行整合，将整合结果作为最终反馈给终端设备20的答案。

在上述示例性实施例中，基于业务场景筛选出候选文档，进而从候选文档中识别出目标文档，一方面可减少计算量，另一方面从业务场景相关的文档中提取答案，一定程度上可以提高答案的准确度。

在一些示例性实施例中，服务器10结合分词之间的上下文关系，从目标文档中提取可作为答案的文档片段。对同一词语，其上下文不同，所表达的整体含义会有所不同。例如，对“手机”一词，其下文是“价格”和“厂商”是完全不同的含义。因此，在进行答案提取过程中考虑分词之间的上下文关系，有利于提高提取答案的准确率。其中，服务器10结合分词之间的上下文关系，从目标文档中提取可作为答案的文档片段的过程包括以下操作：

结合各问题分词之间的上下文关系和各文档分词之间的上下文关系，计算各问题分词与各文档分词之间的关联度；

根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率；

根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段。

在上述示例性实施例中，结合各问题分词之间的上下文关系和各文档分词之间的上下文关系，计算各问题分词与各文档分词之间的关联度，而不是孤立的计算各问题分词与各文档分词之间的关联度，有利于提高关联度的准确度，为从目标文档中提取准确度更高的答案提供了条件。

进一步，在一些示例性实施例中，可以利用神经网络在语言处理方面的优势，尤其是适于处理动态时序行为的一些神经网络，例如长短期记忆网络(Long Short-TremMemory，LSTM)或设置门复现单元(Gated Recurrent Unit，GRU)或多层卷积神经网络(Convolutional Neural Network，CNN)等，对各问题分词和各文档分词进行编码，在编码过程中考虑各问题分词之间的上下文关系和各文档分词之间的上下文关系。基于此，服务器10结合分词之间的上下文关系，从目标文档中提取可作为答案的文档片段的过程包括：

第一步：从词、字以及特征的角度，分别对各问题分词和各文档分词进行向量化，以获得各问题分词的向量化信息和各文档分词的向量化信息。

可选地，可以先对问题数据进行分词处理，从而获得各问题分词，并对目标文档进行分词处理，从而获得各文档分词。然后，按照设定的词向量表和字向量表，分别获取各问题分词的词向量和字向量以及各文档分词的词向量和字向量。另外，针对各问题分词和各文档分词分别进行语言特征的计算形成各问题分词和各文档分词的特征向量。例如，对问题分词或文档分词，可以计算该分词的词频、对该分词进行词性标注、句法分析等，并将这些结果向量化得到该分词的特征向量。最后，对任一问题分词，将该问题分词的词向量、字向量、特征向量组合成一个三元组，作为该问题分词的向量化信息；同理，对任一文档分词，将该文档分词的词向量、字向量、特征向量组合成一个三元组，作为该文档分词的向量化信息。至此，问题分词和文档分词都被转化成数字表示的向量化信息，为后续利用LSTM或GRU或多层CNN进行编码提供基础条件。

第二步：在获得各问题分词和各文档分词的向量化信息之后，利用LSTM或GRU或多层CNN对各问题分词的向量化信息和各文档分词的向量化信息进行编码，以获得各问题分词的编码向量和各文档分词的编码向量。

对各问题分词，可以按照问题分词在问题数据中出现的先后顺序，依次将问题分词的向量化信息送入LSTM或GRU或多层CNN，LSTM或GRU或多层CNN依序对送入的问题分词的向量化信息进行编码，从而得到各问题分词的编码向量，该编码向量可以体现各问题分词之间的上下文关系。

对文档分词，可以按照文档分词在目标文档中出现的先后顺序，依次文档分词的向量化信息送入LSTM或GRU或多层CNN，LSTM或GRU或多层CNN依序对送入的文档分词的向量化信息进行编码，从而得到各文档分词的编码向量，该编码向量可以体现各文档分词之间的上下文关系。

第三步：根据各问题分词的编码向量和各文档分词的编码向量，计算各问题分词与各文档分词之间的关联度。

可选地，针对任一问题分词和任一文档分词，可以直接计算该问题分词的编码向量与该文档分词的编码向量之间的相似度；根据该相似度确定该问题分词与该文档分词之间的关联度。一般来说，问题分词的编码向量与文档分词的编码向量之间的相似度越高，意味着问题分词与文档分词之间的关联度越高。

在一种示例性实施方式中，针对任一问题分词和任一文档分词，可以直接将该问题分词的编码向量与该文档分词的编码向量进行点乘，点乘结果即为该问题分词的编码向量与该文档分词的编码向量之间的相似度。

在另一示例性实施方式中，针对任一问题分词和任一文档分词，可以计算该问题分词的编码向量与该文档分词的编码向量的明氏距离，该明氏距离即为该问题分词的编码向量与该文档分词的编码向量之间的相似度。

在又一种示例性实施方式中，针对任一问题分词和任一文档分词，可以计算该问题分词的编码向量中的最大值与该文档分词的编码向量中的最大值之间的差异，该差异即为该问题分词的编码向量与该文档分词的编码向量之间的相似度。

第四步：在获得各问题分词与各文档分词之间的关联度之后，根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率。

在一示例性实施方式中，可以根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率；然后，根据各文档分词作为答案起始点的概率以及各问题分词与各文档分词之间的关联度，计算各问题文档作为答案结束点的概率。

在另一示例性实施方式中，可以根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率；并根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率。

其中，根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率的方式可以根据应用场景适应性设定。本实施例提供一种示例性实施方式，如下：

可选地，对任一文档分词，可以采用第一非线性化处理方式对各问题分词与该文档分词之间的关联度进行非线性化处理，以获得该文档分词作为答案起始点的概率。

假设，共有N个问题分词，共有M个文档分词，预先设定第一非线性化处理方式的非线性参数，分别为a1，a2，…，an，并设定第一非线性化处理方式为加权求和，则对第i文档分词来说，其作为答案起始点的概率Pi＝a1*s1+a2*s2+…+an*sn。其中，s1，s2，…，sn表示第i文档分词与N个问题分词之间的关联度。M、N均为正整数。值得说明的是，这里仅仅给出第一非线性化处理方式的一种示例，第一非线性化处理方式并不限于此。

同理，根据各文档分词作为答案起始点的概率以及各问题分词与各文档分词之间的关联度，计算各问题文档作为答案结束点的概率的方式也可以根据应用场景适应性设定。本实施例提供一种示例性实施方式，如下：

对任一文档分词，采用第二非线性化处理方式对各问题分词与该文档分词之间的关联度进行非线性化处理，以获得该文档分词对应的初始概率；然后，将该文档分词作为答案起始点的概率和该文档分词对应的初始概率的数值计算结果，作为该文档分词作为答案结束点的概率。

可选地，上述数值计算方式可以是加权求和或相乘等方式。若上述数值计算方式采用加权求和，则可以将该文档分词作为答案起始点的概率和该文档分词对应的初始概率进行加权求和，加权求和的结果即为该文档分词作为答案结束点的概率。若上述数值计算方式采用相乘，则可以将该文档分词作为答案起始点的概率和该文档分词对应的初始概率相乘，相乘结果即为该文档分词作为答案结束点的概率。

上述第二非线性化处理方式可以与第一非线性化处理方式相同，也可以不相同。例如，与第一非线性化处理方式类似，第二非线性化处理方式的非线性参数，分别为b1，b2，…，bn，且第二非线性化处理方式为加权求和。除此之外，第一和第二非线性化处理方式还可以是指数形式、对数形式、导数形式的处理方式。

除上述示例之外，第二非线性化处理方式和数值计算方式也可以采用其他实现方式，可根据应用场景适应性设置。

第五步：在获得各文档分词作为答案起始点和答案结束点的概率之后，根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段。

例如，服务器10可以根据各文档分词作为答案起始点和答案结束点的概率，从各文档分词中确定作为答案起始点的第一文档分词和作为答案结束点的第二文档分词；然后，从目标文档中提取第一文档分词和第二文档分词之间的文档片段作为问题数据对应的答案。

可选地，服务器10可以根据各文档分词作为答案起始点的概率，从各文档分词中确定概率最大的分词文档的第一文档分词，并根据各文档分词作为答案结束点的概率，从各文档分词中确定概率最大的分词文档的第二文档分词。或者

可选地，对任一文档分词，服务器10计算该文档分词作为答案起始点的概率与其它文档分词作为答案结束点的概率的乘积；然后，从各文档分词中，选择乘积最大的文档分词对；将所述文档分词对中的文档分词分别作为第一文档分词和第二文档分词。

在一些示例性实施例中，在获得可作为答案的文档片段之后，服务器10可以直接将获取的文档片段发送给终端设备20，以供终端设备20提供给用户。

在另一些示例性实施例中，在获得可作为答案的文档片段之后，服务器10可以针对所获取的文档片段进行后处理操作，以便提高文档片段的可读性。其中，服务器10可以对文档片段进行的后处理操作包括但不限于以下至少一种：调整文档片段的展示样式，将文档片段中的结构化数据转换成同义的可读性数据，以及对文档片段进行降噪处理。在对文档片段进行后处理操作之后，服务器10将经过后处理操作的文档片段发送给终端设备20。

在本申请实施例提供的在线问答系统100中，针对终端设备20发送的问题，服务器10获取可提供该问题对应答案的文档，基于文档中各文档分词与问题中各问题分词之间的关联度从文档中提取可作为答案的文档片段，不再依赖人工提炼的问答对，而是通过对文档的阅读理解直接提取问题对应的答案，有利于提高对问题的覆盖率，提高问答效果。

进一步，为了提高在线问答的效率，在本申请一些示例性实施例中，可以将服务器10重复执行的操作模型化。可选地，可以将服务器10根据文档中各文档分词与问题中各问题分词之间的关联度从文档中提取可作为答案的文档片段的操作模型化，将该模型记为机器阅读模型。基于此，针对终端设备20发送的问题，服务器10获取可提供该问题对应答案的文档，之后可直接调用机器阅读模型从文档中提取可作为答案的文档片段，在提高对问题的覆盖率的同时，有利于提高问答效率。

值得说明的是，机器阅读模型可以有多种实现方式。本申请一示例性实施例给出机器阅读模型的一种实现方式。如图2所示，该机器阅读模型是一个深度神经网络模型，例如可以是循环神经网络(Recurrent neural Network，RNN)模型，共包含四层。其中，第一层是输入层(Input Layer)，第二层是编码层(Encoding Layer)，第三层是关注层(AttentionLayer)，第四层是输出层(Output Layer)。可选地，输入层可以采用LSTM或GRU或多层CNN来实现。编码层可以利用LSTM或GRU或多层CNN来实现。关注层可以结合LSTM和相关计算方法来实现。输出层可以采用LSTM，或者是多分类模型来实现。

其中，可以经过模型训练得到图2所示机器阅读模型。在模型训练阶段，需要将问题数据、可提供答案的文档以及文档中对应的答案内容作为输入送入输入层。在得到图2所示机器阅读模型之后，即可进入在线使用阶段。

在模型使用阶段，需要将问题数据中的问题分词以及目标文档中的文档分词作为输入送入输入层。如图2所示，输入层包括两部分，一部分是需要输入的问题分词，一部分是需要输入的文档分词。无论是问题分词还是文档分词，每个分词对应一个输入项，记为词条(term)。每个term主要由该term对应分词的词向量(Word Embedding)、字向量(CharacterEmbedding)以及环绕特征(Surround Features)连接组成。词向量、字向量是数字化的，这里使用的Surround Features也采用二进制(binary)特征，以便实现数字化。可选地，这里每个term对应的Surround Features可以包括该term对应分词是否在问题数据或目标文档中出现的特征，还可以包括该term的词频-倒排文档频率(TermFrequency–InverseDocumentFrequency，TFIDF)权重(weighted)。

如图2所示，输入层的输出将作为编码层的输入。在编码层，会对每个分词对应的term进行编码从而输出每个分词的编码向量。可选地，编码层可以采用LSTM或GRU或多层CNN实现，但不限于此。

如图2所示，编码层的输出将作为关注层的输入。在机器阅读模型中，关注层是一种模仿人脑注意力机制，找到图像或文本中对结果产生最大影响部分的机制在关注层，可以将各问题分词的编码向量与各文档分词的编码向量进行相关计算，从而得到各问题分词与各文档分词之间的关联度，以便于输出层能够找到目标文档中对问题数据影响最大的文档分词。可选的，这里采用的相关计算可以是直接将两个编码向量进行点乘，将点乘结果作为两个编码向量之间的相似度；或者，也可以计算两个编码向量的明氏距离，将明氏距离作为两个编码向量之间的相似度；或者，也可以计算两个编码向量中的最大值之间的差异，将该差异即作为两个编码向量之间的相似度；或者，也可以计算两个编码向量中的最小值之间的差异，将该差异即作为两个编码向量之间的相似度。

如图2所示，关注层的输出将作为输出层的输入。可选地，如图2所示，输出层主要分为两路，一路用于计算各文档分词作为答案起始点的概率，包括：计算节点Start_Score和计算节点Start_Mask；另一路用于计算各文档分词作为答案结束点的概率，包括计算节点End_Score和计算节点End_Mask。如图2所示，计算节点Start_Score的输出结果除了送入计算节点Start_Mask之外，还需要将其输出结果送入计算节点End_Score。

计算节点Start_Score主要根据关注层输出的各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率。计算节点End_Score主要根据计算节点Start_Score输出的各文档分词作为答案起始点的概率以及关注层输出的各问题分词与各文档分词之间的关联度，计算各文档分词作为答案结束点的概率。计算节点Start_Mask和计算节点End_Mask主要是对每个term进行输出加权、归一化等各种处理，目的是控制输出方式，以便于支持结构化输出或者支持按需输出。

其中，基于图2所示机器阅读模型进行在线问答的一种流程如图3所示，包括以下操作：

问题接收：主要是接收终端设备20发送的问题数据。

文档定位：主要是根据问题数据，从业务场景相关的文档中确定可以提供答案的目标文档。可选地，可以使用但不限于：文本分类、文本检索或者问题模板拦截定位目标文档。可选地，在文档定位过程中，若有必要，可以对文档进行缓存。

预处理：主要是对目标文档和问题数据进行预处理，以获得符合图2所示机器阅读模型的输入层需求的向量化信息。这里的预处理包括针对问题数据和针对目标文档的预处理过程相类似，主要包括分词、提取语言特征和向量化。可选地，对目标文档进行预处理过程中，考虑到文档可能伴有多级段落、特殊标签等结构信息，可以进行格式化处理。

例如，以问题数据为“华为手机怎么样”为例，分词结果可以包括三个问题分词，分别是“华为”、“手机”、“怎么样”。对这三个问题分词，可以分别确定其对应的词向量和字向量。以“手机”为例，可以确定“手机”对应的向量表达方式，以及“手”和“机”对应的向量表达方式。另外，对这三个分词，可以分别统计其语言特征并进行向量化。以“手机”为例，其词性是名词，在问题数据中出现，在问题数据中属于主语，假设统计其TFIDF为0.05。对“华为”、“手机”和“怎么样”三个问题分词来说，可以将其词向量、字向量以及特征向量连接起来形成对应的term。对文档分词可类似处理。

模型调用：主要是调用图2所示机器阅读模型。将上述形成的各分词的向量化信息分别作为输入送入输入层，各层依次进行处理，直至输出层输出各文档分词作为答案起始点和答案结束点的概率。

答案提取：主要是根据输出层输出各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可以作为答案的文档片段，并进入后处理阶段。

后处理：主要是对所提取的文档片段进行后处理，以提高可读性。

由此可见，基于图2所示机器学习模型，针对问题数据，服务器10只需进行计算量相对较少的一些处理，其它处理可以直接调用机器学习模型，不仅可以提高问答效率，而且可以降低服务器10的处理负担。

图4为本申请又一示例性实施例提供的一种在线问答方法的流程示意图。该方法主要是从服务器角度进行的描述。如图4所示，该方法包括：

401、接收客户端发送的问题数据。

402、获取可提供问题数据对应答案的目标文档。

403、根据问题数据中各问题分词与目标文档中各文档分词之间的关联度，从目标文档中提取可作为答案的文档片段。

404、将文档片段发送给客户端。

在本实施例中，接收客户端发送的问题数据，进而可确定需要向客户端提供该问题数据的答案。在本实施例中，服务器在接收到客户端发送的问题数据后，不再像现有技术那样直接去查询预先提炼的问答对，而是获取可提供该问题数据对应答案的文档，然后基于对该文档的阅读理解从该文档中实时提取问题数据对应的答案。为便于区分和描述，将服务器获取的可提供问题数据对应答案的文档称为目标文档。该目标文档可以是非结构化文本，例如新闻、百科文章，也可以是具有层次结构、大小标题的半结构化文本，例如法规条文等。

在从目标文档中提取出可作为答案的文档片段之后，服务器将所提取的文档片段发送给客户端，以供终客户端输出给用户。本实施例并不限定可作为答案的文档片段的粒度，其可以是一个词、一个短语，也可以是多个句子或者一个长段落。

在本实施例中，针对问题数据，可以获取可提供答案的文档，基于对该文档的阅读理解实时从文档中提取答案，不再依赖人工提炼的问答对，一方面可以节约提炼问答对消耗的人力资源，另一方面也可以克服人工提炼问答对对问题覆盖不全面的缺陷，有利于更加全面的覆盖问题，提高问题覆盖率，进而提高问答效果，例如可以提供更加准确的答案。

在一些示例性实施例中，考虑到不同业务场景，问题数据会有所不同，可提供答案的目标文档也会有所不同。基于此，在步骤402中，可结合问题数据涉及的业务场景，基于该业务场景确定至少一个候选文档；计算问题数据与至少一个候选文档的匹配度；根据问题数据与至少一个候选文档的匹配度，从至少一个候选文档中选择目标文档。

值得说明的是，目标文档可以是一个，也可以是多个。对于目标文档为多个的情况，可以从每个目标文档中提取可作为答案的文档片段，然后综合从每个目标文档中提取的可作为答案的文档片段生成最终需要反馈给客户端的答案。例如，可以将多个文档片段中与问题数据匹配度最高的作为最终反馈给客户端的答案；或者，也可以将多个文档片段进行整合，将整合结果作为最终反馈给客户端的答案。

在上述示例性实施例中，基于业务场景筛选出候选文档，进而从候选文档中识别出目标文档，一方面可减少计算量，另一方面从业务场景相关的文档中提取答案，一定程度上可以提高答案的准确度。

在一些示例性实施例中，考虑到对同一词语，其上下文不同，所表达的整体含义会有所不同。因此，可以结合分词之间的上下文关系，从目标文档中提取可作为答案的文档片段，这样有利于提高提取答案的准确率。基于此，步骤403的一种实施方式包括以下操作：

首先，结合各问题分词之间的上下文关系和各文档分词之间的上下文关系，计算各问题分词与各文档分词之间的关联度；

然后，根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率；

接着，根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段。

在一些示例性实施例中，可以利用神经网络在语言处理方面的优势，尤其是适于处理动态时序行为的一些神经网络，例如LSTM或GRU或多层CNN等，对各问题分词和各文档分词进行编码，在编码过程中考虑各问题分词之间的上下文关系和各文档分词之间的上下文关系。基于此，上述结合分词之间的上下文关系，从目标文档中提取可作为答案的文档片段的过程包括：

第一步：从词、字以及特征的角度，分别对各问题分词和各文档分词进行向量化，以获得各问题分词的向量化信息和各文档分词的向量化信息。

第二步：在获得各问题分词和各文档分词的向量化信息之后，利用LSTM或GRU或多层CNN对各问题分词的向量化信息和各文档分词的向量化信息进行编码，以获得各问题分词的编码向量和各文档分词的编码向量。

第三步：根据各问题分词的编码向量和各文档分词的编码向量，计算各问题分词与各文档分词之间的关联度。

可选地，针对任一问题分词和任一文档分词，可以直接计算该问题分词的编码向量与该文档分词的编码向量之间的相似度；根据该相似度确定该问题分词与该文档分词之间的关联度。一般来说，问题分词的编码向量与文档分词的编码向量之间的相似度越高，意味着问题分词与文档分词之间的关联度越高。

在一种示例性实施方式中，针对任一问题分词和任一文档分词，可以直接将该问题分词的编码向量与该文档分词的编码向量进行点乘，点乘结果即为该问题分词的编码向量与该文档分词的编码向量之间的相似度。

在另一示例性实施方式中，针对任一问题分词和任一文档分词，可以计算该问题分词的编码向量与该文档分词的编码向量的明氏距离，该明氏距离即为该问题分词的编码向量与该文档分词的编码向量之间的相似度。

在又一种示例性实施方式中，针对任一问题分词和任一文档分词，可以计算该问题分词的编码向量中的最大值与该文档分词的编码向量中的最大值之间的差异，该差异即为该问题分词的编码向量与该文档分词的编码向量之间的相似度。

第四步：在获得各问题分词与各文档分词之间的关联度之后，根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率。

在一示例性实施方式中，可以根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率；然后，根据各文档分词作为答案起始点的概率以及各问题分词与各文档分词之间的关联度，计算各问题文档作为答案结束点的概率。

在另一示例性实施方式中，可以根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率；并根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率。

其中，根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率的方式可以根据应用场景适应性设定。本实施例提供一种示例性实施方式，如下：

可选地，对任一文档分词，可以采用第一非线性化处理方式对各问题分词与该文档分词之间的关联度进行非线性化处理，以获得该文档分词作为答案起始点的概率。

同理，根据各文档分词作为答案起始点的概率以及各问题分词与各文档分词之间的关联度，计算各问题文档作为答案结束点的概率的方式也可以根据应用场景适应性设定。本实施例提供一种示例性实施方式，如下：

对任一文档分词，采用第二非线性化处理方式对各问题分词与该文档分词之间的关联度进行非线性化处理，以获得该文档分词对应的初始概率；然后，将该文档分词作为答案起始点的概率和该文档分词对应的初始概率的数值计算结果，作为该文档分词作为答案结束点的概率。

第五步：在获得各文档分词作为答案起始点和答案结束点的概率之后，根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段。

例如，可以根据各文档分词作为答案起始点和答案结束点的概率，从各文档分词中确定作为答案起始点的第一文档分词和作为答案结束点的第二文档分词；然后，从目标文档中提取第一文档分词和第二文档分词之间的文档片段作为问题数据对应的答案。

可选地，可以根据各文档分词作为答案起始点的概率，从各文档分词中确定概率最大的分词文档的第一文档分词，并根据各文档分词作为答案结束点的概率，从各文档分词中确定概率最大的分词文档的第二文档分词。或者

可选地，对任一文档分词，计算该文档分词作为答案起始点的概率与其它文档分词作为答案结束点的概率的乘积；然后，从各文档分词中，选择乘积最大的文档分词对；将所述文档分词对中的文档分词分别作为第一文档分词和第二文档分词。

在上述示例性实施例中，结合各问题分词之间的上下文关系和各文档分词之间的上下文关系，计算各问题分词与各文档分词之间的关联度，而不是孤立的计算各问题分词与各文档分词之间的关联度，有利于提高关联度的准确度，为从目标文档中提取准确度更高的答案提供了条件。

在一些示例性实施例中，在获得可作为答案的文档片段之后，可以直接将获取的文档片段发送给客户端，以供客户端提供给用户。

在另一些示例性实施例中，在获得可作为答案的文档片段之后，可以针对所获取的文档片段进行后处理操作，以便提高文档片段的可读性。其中，可对文档片段进行的后处理操作包括但不限于以下至少一种：调整文档片段的展示样式，将文档片段中的结构化数据转换成同义的可读性数据，以及对文档片段进行降噪处理。在对文档片段进行后处理操作之后，将经过后处理操作的文档片段发送给客户端。

图5为本申请又一示例性实施例提供的另一种在线问答方法的流程示意图。该方法主要是从客户端角度进行的描述。如图5所示，该方法包括：

501、获取用户的问题数据。

503、将问题数据发送给服务器，以供服务器返回可作为答案的文档片段。

504、接收服务器返回的可作为答案的文档片段，并向用户输出可作为答案的文档片段；其中，所述文档片段是服务器根据问题数据中各问题分词与目标文档中各文档分词之间的关联度从目标文档中提取的。

可选地，用户需要提问时，可以向客户端发出提问请求。客户端可响应于用户的提问请求，向用户展示问答界面，通过该问答界面获取用户的问题数据，将问题数据发送给服务器，以供服务器返回可作为答案的文档片段，在接收到服务器返回的可作为答案的文档片段时输出至问答界面中。

可选地，用户需要提问时，可以通过语音输入设备录制语音格式的问题数据，客户端接收语音输入设备发送的语音格式的问题数据，转换为文本格式的问题数据后发送给服务器，之后将服务器返回的文本格式的答案转换为语音格式的答案，通过语音输出设备(例如喇叭)输出该用户。

可选地，可作为答案的文档片段是服务器基于图2所示机器阅读理解模型从目标文档中提取的。

在本实施例中，由于服务器可以基于文档中各文档分词与问题中各问题分词之间的关联度从文档中提取可作为答案的文档片段，不再依赖人工提炼的问答对，而是通过对文档的阅读理解直接提取问题对应的答案，有利于提高对问题的覆盖率，提高问答效果。

基于图2所示机器阅读理解模型，本申请实施例还提供一种在线问答方法，包括以下操作：

接收客户端发送的问题数据；

获取可提供问题数据对应答案的目标文档；

将问题数据和目标文档作为机器阅读理解模型的入参，利用机器阅读理解模型对目标文档的阅读理解获取答案提取参数；

根据答案提取参数，从目标文档中提取可作为答案的文档片段，并将文档片段发送给客户端。

上述接收客户端发送的问题数据以及获取目标文档的详细描述，可参见前述实施例，在此不再赘述。

在本实施例中，如图2所示，机器阅读理解模型的一种实现结构包括：输入层、编码层、关注层和输出层。基于此，利用机器阅读理解模型对目标文档的阅读理解获取答案提取参数的过程包括：

在输入层，接收问题数据中各问题分词的向量化信息和目标文档中各文档分词的向量化信息，并输出给编码层；

在编码层，对各问题分词的向量化信息和各文档分词的向量化信息进行编码，以向编码层输出各问题分词的编码向量和各文档分词的编码向量；

在编码层，根据各问题分词的编码向量和各文档分词的编码向量，计算各问题分词与各文档分词之间的关联度，并输出给输出层；

在输出层，根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率作为答案提取参数并输出。

其中，在每层的处理方式可参见前述实施例中相应描述，在此不再赘述。

可选地，在机器阅读理解模型实现上，输入层可以采用LSTM或GRU或多层CNN来实现。编码层可以利用LSTM或GRU或多层CNN来实现。关注层可以结合LSTM和相关计算方法来实现。输出层可以采用LSTM，或者是多分类模型来实现。

可选地，在向输入层输入问题数据中各问题分词的向量化信息和目标文档中各文档分词的向量化信息之前，可以分别对问题数据以及目标文档进行分词、特征提取以及向量化等处理，从而获得各问题分词的向量化信息和各各文档分词的向量化信息。关于这部分内容可参见本申请前述实施例，在此不再赘述。

可选地，上述根据答案提取参数，从目标文档中提取可作为答案的文档片段，可以是根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段。其中，根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段的实施方式可参见前述实施例的描述，在此不再赘述。

在本实施例中，基于机器阅读理解模型可直接在目标文档中进行阅读理解，从中提取与用户问题相关的答案，有利于提高在线问答效率，由于不再受限于预先提炼的问答对，对问题覆盖面更广，可以为更多用户问题提供更加准确地答案。

在本申请实施例中，还提供一种机器阅读理解模型训练方法，包括：

获取训练样本集，该训练样本集包括问题样本、可提供问题样本对应答案的文档样本以及文档样本中可作为答案的标准文档片段；

将问题样本和文档样本作为机器阅读理解模型的入参，利用机器阅读理解模型对文档样本的阅读理解获取答案提取参数；

根据答案提取参数，从文档样本中提取可作为答案的待验证文档片段；

根据标准文档片段和待验证文档片段之间的吻合度，对机器阅读理解模型进行稳定性评测。

可选地，可以采用语料交叉的方式将多种类型的语料进行组合，形成训练样本集。例如，可以将学术文档、电商业务规则、以及根据业务场景标注的样本数据等交叉形成训练样本集。可选地，在对机器阅读理解模型进行训练的过程中，可以使用统一的训练样本集。或者，可选地，在训练阶段初期，使用部分训练样本(例如学术文档)训练出初始模型，在训练阶段后期，使用另外的训练样本(例如电商业务规则、根据业务场景标注的样本数据))继续对初始模型进行训练，以获得机器阅读理解模型。

在机器阅读理解模型训练阶段，输入的数据包括问题样本、可提供问题样本对应答案的文档样本以及文档样本中可作为答案的标准文档片段。其中，问题样本和文档样本主要用来训练机器阅读理解模型，文档样本中可作为答案的标准文档片段主要用于对机器阅读理解模型进行稳定性评测。

如图2所示，机器阅读理解模型的一种实现结构包括：输入层、编码层、关注层和输出层。基于此，利用机器阅读理解模型对文档样本的阅读理解获取答案提取参数的过程包括：

在输入层，接收问题样本中各问题分词的向量化信息和文档样本中各文档分词的向量化信息，并输出给编码层；

在编码层，对各问题分词的向量化信息和各文档分词的向量化信息进行编码，以向编码层输出各问题分词的编码向量和各文档分词的编码向量；

在编码层，根据各问题分词的编码向量和各文档分词的编码向量，计算各问题分词与各文档分词之间的关联度，并输出给输出层；

在输出层，根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率作为答案提取参数并输出。

其中，在每层的处理方式可参见前述实施例中相应描述，在此不再赘述。

可选地，在机器阅读理解模型实现上，输入层可以采用LSTM或GRU或多层CNN来实现。编码层可以利用LSTM或GRU或多层CNN来实现。关注层可以结合LSTM和相关计算方法来实现。输出层可以采用LSTM，或者是多分类模型来实现。

可选地，在向输入层输入问题样本中各问题分词的向量化信息和文档样本中各文档分词的向量化信息之前，可以分别对问题样本以及文档样本进行分词、特征提取以及向量化等处理，从而获得各问题分词的向量化信息和各各文档分词的向量化信息。关于这部分内容可参见本申请前述实施例，在此不再赘述。

可选地，上述根据答案提取参数，从文档样本中提取可作为答案的待验证文档片段，可以是根据各文档分词作为答案起始点和答案结束点的概率，从文档样本中提取可作为答案的文档片段。其中，根据各文档分词作为答案起始点和答案结束点的概率，从文档样本中提取可作为答案的文档片段的实施方式可参见前述实施例的描述，在此不再赘述。

可选地，上述根据标准文档片段和待验证文档片段之间的吻合度，对机器阅读理解模型进行稳定性评测，包括但不限于以下至少一种方式：

根据标准文档片段的起始点与待验证文档片段的起始点之间的偏离度，对机器阅读理解模型进行稳定性评测；

根据标准文档片段的结束点与待验证文档片段的结束点之间的偏离度，对机器阅读理解模型进行稳定性评测；

根据标准文档片段与待验证文档片段的重合度，对机器阅读理解模型进行评测。

可选地，可以计算标准文档片段的起始点与待验证文档片段的起始点之间间隔的字符个数，作为两个起始点之间的偏离度。两个起始点之间的偏离度越大，说明机器阅读理解模型的效果越不理想，其稳定性越差；反之两个起始点之间的偏离度越小，说明机器阅读理解模型的稳定性越好。可选地，可以设置一个起始点偏离度阈值，当两个起始点之间的偏离度小于该起始点偏离度阈值时，认为机器阅读理解模型是稳定的。

可选地，可以计算标准文档片段的结束点与待验证文档片段的结束点之间间隔的字符个数，作为两个结束点之间的偏离度。两个结束点之间的偏离度越大，说明机器阅读理解模型的效果越不理想，其稳定性越差；反之两个结束点之间的偏离度越小，说明机器阅读理解模型的稳定性越好。可选地，可以设置一个结束点偏离度阈值，当两个结束点之间的偏离度小于该结束点偏离度阈值时，认为机器阅读理解模型是稳定的。

可选地，可以统计标准文档片段与待验证文档片段中重合的字符个数，作为两个文档片段的重合度。两个文档片段之间的重合度越高，说明机器阅读理解模型的效果越理想，其稳定性越好；反之两个文档片段之间的重合度越低，说明机器阅读理解模型的稳定性越差。可选地，可以设置一个重合度阈值，当两个文档片段之间的重合度大于该重合度阈值时，认为机器阅读理解模型是稳定的。

上述方式可以择一使用，也可以相互结合使用。在结合使用的情况下，要求机器阅读理解模型满足每种方式对应的稳定性要求，才能判定机器阅读理解模型是稳定的。

可选地，若评测结果是机器阅读理解模型的稳定性不合格，则可以继续使用训练样本集对机器阅读理解模型进行训练，直到满足稳定性要求为止。

在本实施例中，通过训练机器阅读理解模型，为在线问答应用提供了一种全新的问答方式，有利于提高在线问答效率，使得在线问答应用对问题覆盖面更广，可以为更多用户问题提供更加准确地答案。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤401至步骤404的执行主体可以为设备A；又比如，步骤401和402的执行主体可以为设备A，步骤403和404的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如401、402等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图6a为本申请又一示例性实施例提供的一种在线问答装置的结构示意图。如图6a所示，该装置包括：接收模块61、获取模块62、提取模块63和发送模块64。

接收模块61，用于接收客户端发送的问题数据。

获取模块62，用于获取可提供问题数据对应答案的目标文档。

提取模块63，用于根据问题数据中各问题分词与目标文档中各文档分词之间的关联度，从目标文档中提取可作为答案的文档片段。

发送模块64，用于将文档片段发送给客户端。

在一些示例性实施例中，获取模块62具体用于：

根据问题数据涉及的业务场景，确定至少一个候选文档；

计算问题数据与至少一个候选文档的匹配度；

根据问题数据与至少一个候选文档的匹配度，从至少一个候选文档中选择目标文档。

在一些示例性实施例中，提取模块63具体用于：

结合各问题分词之间的上下文关系和各文档分词之间的上下文关系，计算各问题分词与各文档分词之间的关联度；

根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率；

根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段。

可选地，提取模块63在计算关联度时，具体用于：

从词、字以及特征的角度，分别对各问题分词和各文档分词进行向量化，以获得各问题分词的向量化信息和各文档分词的向量化信息；

利用LSTM或GRU或多层CNN对各问题分词的向量化信息和各文档分词的向量化信息进行编码，以获得各问题分词的编码向量和各文档分词的编码向量；

根据各问题分词的编码向量和各文档分词的编码向量，计算各问题分词与各文档分词之间的关联度。

可选地，提取模块63在计算概率时，具体用于：

根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率；

根据各文档分词作为答案起始点的概率以及各问题分词与各文档分词之间的关联度，计算各问题文档作为答案结束点的概率。

可选地，提取模块63在计算各文档分词作为答案起始点的概率时，具体用于：

对任一文档分词，采用第一非线性化处理方式对各问题分词与文档分词之间的关联度进行非线性化处理，以获得文档分词作为答案起始点的概率。

可选地，提取模块63在计算各文档分词作为答案结束点的概率时，具体用于：

对任一文档分词，采用第二非线性化处理方式对各问题分词与文档分词之间的关联度进行非线性化处理，以获得文档分词对应的初始概率；

将文档分词作为答案起始点的概率和文档分词对应的初始概率的数值计算结果，作为文档分词作为答案结束点的概率。

在一些示例性实施例中，提取模块63在根据各文档分词作为答案起始点和答案结束点的概率提取文档片段时，具体用于：

根据各文档分词作为答案起始点和答案结束点的概率，从各文档分词中确定作为答案起始点的第一文档分词和作为答案结束点的第二文档分词；

从目标文档中提取第一文档分词和第二文档分词之间的文档片段作为问题答案。

可选地，提取模块63在确定第一文档分词和第二文档分词时，具体用于：

对任一文档分词，计算文档分词作为答案起始点的概率与其它文档分词作为答案结束点的概率的乘积；

从各文档分词中，选择乘积最大的文档分词对；

将文档分词对中的文档分词分别作为第一文档分词和第二文档分词。

在一些示例性实施例中，装置还可以包括后处理模块，用于在发送模块64将文档片段发送给客户端之前，对文档片段执行以下至少一种后处理操作：

调整文档片段的展示样式；

将文档片段中的结构化数据转化成同义的可读性数据；

对文档片段进行降噪处理。

以上描述了在线问答装置的内部实现结构，如图6b所示，在线问答装置还可实现为服务器，包括：存储器601、处理器602以及通信组件603；

存储器601，用于存储计算机程序。除此之外，存储器601，还被配置为存储其它各种数据以支持在服务器上的操作。这些数据的示例包括用于在服务器上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器601可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器602，与存储器601耦合，用于执行计算机程序，以用于：

通过通信组件603接收客户端发送的问题数据；

获取可提供问题数据对应答案的目标文档；

根据问题数据中各问题分词与目标文档中各文档分词之间的关联度，从目标文档中提取可作为答案的文档片段；

通过通信组件603将文档片段发送给客户端。

通信组件603，用于接收客户端发送的问题数据，并将文档片段发送给客户端。

在一些示例性实施例中，处理器602在获取目标文档时，具体用于：

根据问题数据涉及的业务场景，确定至少一个候选文档；

计算问题数据与至少一个候选文档的匹配度；

根据问题数据与至少一个候选文档的匹配度，从至少一个候选文档中选择目标文档。

在一些示例性实施例中，处理器602在提取文档片段时，具体用于：

结合各问题分词之间的上下文关系和各文档分词之间的上下文关系，计算各问题分词与各文档分词之间的关联度；

根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点和答案结束点的概率；

根据各文档分词作为答案起始点和答案结束点的概率，从目标文档中提取可作为答案的文档片段。

可选地，处理器602在计算关联度时，具体用于：

从词、字以及特征的角度，分别对各问题分词和各文档分词进行向量化，以获得各问题分词的向量化信息和各文档分词的向量化信息；

利用LSTM或GRU或多层CNN对各问题分词的向量化信息和各文档分词的向量化信息进行编码，以获得各问题分词的编码向量和各文档分词的编码向量；

根据各问题分词的编码向量和各文档分词的编码向量，计算各问题分词与各文档分词之间的关联度。

可选地，处理器602在计算概率时，具体用于：

根据各问题分词与各文档分词之间的关联度，计算各文档分词作为答案起始点的概率；

根据各文档分词作为答案起始点的概率以及各问题分词与各文档分词之间的关联度，计算各问题文档作为答案结束点的概率。

可选地，处理器602在计算各文档分词作为答案起始点的概率时，具体用于：

对任一文档分词，采用第一非线性化处理方式对各问题分词与文档分词之间的关联度进行非线性化处理，以获得文档分词作为答案起始点的概率。

可选地，处理器602在计算各文档分词作为答案结束点的概率时，具体用于：

对任一文档分词，采用第二非线性化处理方式对各问题分词与文档分词之间的关联度进行非线性化处理，以获得文档分词对应的初始概率；

将文档分词作为答案起始点的概率和文档分词对应的初始概率的数值计算结果，作为文档分词作为答案结束点的概率。

在一些示例性实施例中，处理器602在根据各文档分词作为答案起始点和答案结束点的概率提取文档片段时，具体用于：

根据各文档分词作为答案起始点和答案结束点的概率，从各文档分词中确定作为答案起始点的第一文档分词和作为答案结束点的第二文档分词；

从目标文档中提取第一文档分词和第二文档分词之间的文档片段作为问题答案。

可选地，处理器602在确定第一文档分词和第二文档分词时，具体用于：

对任一文档分词，计算文档分词作为答案起始点的概率与其它文档分词作为答案结束点的概率的乘积；

从各文档分词中，选择乘积最大的文档分词对；

将文档分词对中的文档分词分别作为第一文档分词和第二文档分词。

在一些示例性实施例中，处理器602还可用于在通信组件603将文档片段发送给客户端之前，对文档片段执行以下至少一种后处理操作：

调整文档片段的展示样式；

将文档片段中的结构化数据转化成同义的可读性数据；

对文档片段进行降噪处理。

进一步，如图6b所示，认证服务器还包括：显示器604、电源组件605、音频组件606等其它组件。图6b中仅示意性给出部分组件，并不意味着认证服务器只包括图6b所示组件。

上述实施例提供的在线问答装置或服务器，可针对客户端发送的问题，获取可提供该问题对应答案的文档，基于文档中各文档分词与问题中各问题分词之间的关联度从文档中提取可作为答案的文档片段，不再依赖人工提炼的问答对，而是通过对文档的阅读理解直接提取问题对应的答案，有利于提高对问题的覆盖率，提高问答效果。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例中与服务器相关的方法步骤或功能。

图7a为本申请又一示例性实施例提供的另一种在线问答装置的结构示意图。如图7a所示，该装置包括：输出模块71、获取模块72、发送模块73以及接收模块74。

获取模块72，用于通获取用户的问题数据。

发送模块73，用于将问题数据发送给服务器，以供服务器返回可作为答案的文档片段。

接收模块74，用于接收服务器返回的可作为答案的文档片段。

输出模块71还用于向用户输出接收模块74接收到的文档片段。

其中，文档片段是服务器根据问题数据中各问题分词与目标文档中各文档分词之间的关联度从目标文档中提取的。可选地，文档片段是服务器基于图2所示机器阅读理解模型从目标文档中提取的。

以上描述了在线问答装置的内部实现结构，如图7b所示，在线问答装置还可实现为终端设备，包括：存储器701、处理器702、显示器703以及通信组件704；

存储器701，用于存储计算机程序。除此之外，存储器701，还被配置为存储其它各种数据以支持在终端设备上的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器701可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器702，与存储器701耦合，用于执行计算机程序，以用于：

获取用户的问题数据；

通过通信组件704将问题数据发送给服务器，以供服务器返回可作为答案的文档片段；

通过通信组件704接收服务器返回的可作为答案的文档片段，并向用户输出文档片段；

通信组件704，用于向服务器发送问题数据，并接收服务器返回的文档片段。其中，文档片段是服务器根据问题数据中各问题分词与目标文档中各文档分词之间的关联度从目标文档中提取的。可选地，文档片段是服务器基于图2所示机器阅读理解模型从目标文档中提取的。

进一步，如图7b所示，认证服务器还包括：电源组件705、音频组件706等其它组件。图7b中仅示意性给出部分组件，并不意味着认证服务器只包括图7b所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例中与终端设备或客户端相关的方法步骤或功能。

在图6b和图7b中的通信组件，可被配置为便于通信组件所属设备和其他设备之间有线或无线方式的通信。通信组件所属设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在图6b和图7b中的显示器，可以包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

在图6b和图7b中的电源组件，为电源组件所属设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所属设备生成、管理和分配电力相关联的组件。

在图6b和图7b中的音频组件，被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当音频组件所属设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本申请实施例还提供一种在线问答装置，包括：

接收模块，用于接收客户端发送的问题数据；

获取模块，用于获取可提供所述问题数据对应答案的目标文档；

调用模块，用于将所述问题数据和所述目标文档作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述目标文档的阅读理解获取答案提取参数；

提取模块，用于根据所述答案提取参数，从所述目标文档中提取可作为所述答案的文档片段；以及

输出模块，用于将所述文档片段发送给所述客户端。

可选地，机器阅读理解模型包括：输入层、编码层、关注层和输出层。基于此，调用模块具体用于：

在所述输入层，接收所述问题数据中各问题分词的向量化信息和所述目标文档中各文档分词的向量化信息，并输出给所述编码层；

在所述编码层，对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以向所述编码层输出所述各问题分词的编码向量和所述各文档分词的编码向量；

在所述编码层，根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度，并输出给所述输出层；

在所述输出层，根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率作为所述答案提取参数并输出。

以上描述了在线问答装置的内部实现结构，在线问答装置还可实现为另一种服务器，该服务器包括：存储器、处理器以及通信组件；

存储器，用于存储计算机程序；

处理器，与存储器耦合，用于执行计算机程序，以用于：

通过通信组件接收客户端发送的问题数据；

获取可提供所述问题数据对应答案的目标文档；

将所述问题数据和所述目标文档作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述目标文档的阅读理解获取答案提取参数；

根据所述答案提取参数，从所述目标文档中提取可作为所述答案的文档片段，并通过通信组件将所述文档片段发送给所述客户端。

可选地，机器阅读理解模型包括：输入层、编码层、关注层和输出层。基于此，处理器在获取答案提取参数时，具体用于：

在所述输入层，接收所述问题数据中各问题分词的向量化信息和所述目标文档中各文档分词的向量化信息，并输出给所述编码层；

在所述编码层，对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以向所述编码层输出所述各问题分词的编码向量和所述各文档分词的编码向量；

在所述编码层，根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度，并输出给所述输出层；

在所述输出层，根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率作为所述答案提取参数并输出。

关于服务器的其它实现结构，可参照上述实施例中的服务器，在此不再赘述。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例中与服务器进行在线问答相关的方法步骤或功能。

本申请实施例还提供一种模型训练装置，包括：

获取模块，用于获取训练样本集，所述训练样本集包括问题样本、可提供所述问题样本对应答案的文档样本以及所述文档样本中可作为所述答案的标准文档片段；

训练模块，用于将所述问题样本和所述文档样本作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述文档样本的阅读理解获取答案提取参数；

提取模块，用于根据所述答案提取参数，从所述文档样本中提取可作为所述答案的待验证文档片段；

评测模块，用于根据所述标准文档片段和所述待验证文档片段之间的吻合度，对所述机器阅读理解模型进行稳定性评测。

可选地，机器阅读理解模型包括：输入层、编码层、关注层和输出层。基于此，训练模块具体用于：

在所述输入层，接收所述问题样本中各问题分词的向量化信息和所述文档样本中各文档分词的向量化信息，并输出给所述编码层；

在所述编码层，对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以向所述编码层输出所述各问题分词的编码向量和所述各文档分词的编码向量；

在所述编码层，根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度，并输出给所述输出层；

在所述输出层，根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率作为所述答案提取参数并输出。

可选地，评测模块具体用于执行以下至少一种操作：

根据所述标准文档片段的起始点与所述待验证文档片段的起始点之间的偏离度，对所述机器阅读理解模型进行稳定性评测；

根据所述标准文档片段的结束点与所述待验证文档片段的结束点之间的偏离度，对所述机器阅读理解模型进行稳定性评测；

根据所述标准文档片段与所述待验证文档片段的重合度，对所述机器阅读理解模型进行评测。

以上描述了模型训练装置的内部实现结构，模型训练装置还可实现为一电子设备，该电子设备可以是服务器或移动终端等，该电子设备包括：存储器和处理器；

存储器，用于存储计算机程序；

处理器，与存储器耦合，用于执行计算机程序，以用于：

获取训练样本集，所述训练样本集包括问题样本、可提供所述问题样本对应答案的文档样本以及所述文档样本中可作为所述答案的标准文档片段；

将所述问题样本和所述文档样本作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述文档样本的阅读理解获取答案提取参数；

根据所述答案提取参数，从所述文档样本中提取可作为所述答案的待验证文档片段；

根据所述标准文档片段和所述待验证文档片段之间的吻合度，对所述机器阅读理解模型进行稳定性评测。

可选地，机器阅读理解模型包括：输入层、编码层、关注层和输出层。基于此，处理器获取答案提取参数时，具体用于：

在所述输入层，接收所述问题样本中各问题分词的向量化信息和所述文档样本中各文档分词的向量化信息，并输出给所述编码层；

在所述编码层，对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以向所述编码层输出所述各问题分词的编码向量和所述各文档分词的编码向量；

在所述编码层，根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度，并输出给所述输出层；

在所述输出层，根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率作为所述答案提取参数并输出。

可选地，处理器在对所述机器阅读理解模型进行稳定性评测时，可用于执行以下至少一种操作：

根据所述标准文档片段的起始点与所述待验证文档片段的起始点之间的偏离度，对所述机器阅读理解模型进行稳定性评测；

根据所述标准文档片段的结束点与所述待验证文档片段的结束点之间的偏离度，对所述机器阅读理解模型进行稳定性评测；

根据所述标准文档片段与所述待验证文档片段的重合度，对所述机器阅读理解模型进行评测。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例中与模型训练相关的方法步骤或功能。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (22)

1.一种在线问答方法，其特征在于，包括：

接收客户端发送的问题数据；

获取可提供所述问题数据对应答案的目标文档；

根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度，从所述目标文档中提取可作为所述答案的文档片段；

将所述文档片段发送给所述客户端。

2.根据权利要求1所述的方法，其特征在于，所述获取可提供所述问题数据对应答案的目标文档，包括：

根据所述问题数据涉及的业务场景，确定至少一个候选文档；

计算所述问题数据与所述至少一个候选文档的匹配度；

根据所述问题数据与所述至少一个候选文档的匹配度，从所述至少一个候选文档中选择所述目标文档。

3.根据权利要求1所述的方法，其特征在于，所述根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度，从所述目标文档中提取可作为所述答案的文档片段，包括：

结合所述各问题分词之间的上下文关系和所述各文档分词之间的上下文关系，计算所述各问题分词与所述各文档分词之间的关联度；

根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率；

根据所述各文档分词作为答案起始点和答案结束点的概率，从所述目标文档中提取可作为所述答案的文档片段。

4.根据权利要求3所述的方法，其特征在于，所述结合所述各问题分词之间的上下文关系和所述各文档分词之间的上下文关系，计算所述各问题分词与所述各文档分词之间的关联度，包括：

从词、字以及特征的角度，分别对所述各问题分词和所述各文档分词进行向量化，以获得所述各问题分词的向量化信息和所述各文档分词的向量化信息；

利用长短期记忆网络LSTM或设置门复现单元GRU或多层卷积神经网络CNN对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以获得所述各问题分词的编码向量和所述各文档分词的编码向量；

根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度。

5.根据权利要求3所述的方法，其特征在于，所述根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率，包括：

根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点的概率；

根据所述各文档分词作为答案起始点的概率以及所述各问题分词与所述各文档分词之间的关联度，计算所述各问题文档作为答案结束点的概率。

6.根据权利要求5所述的方法，其特征在于，所述根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点的概率，包括：

对任一文档分词，采用第一非线性化处理方式对所述各问题分词与所述文档分词之间的关联度进行非线性化处理，以获得所述文档分词作为答案起始点的概率。

7.根据权利要求6所述的方法，其特征在于，所述根据所述各文档分词作为答案起始点的概率以及所述各问题分词与所述各文档分词之间的关联度，计算所述各问题文档作为答案结束点的概率，包括：

对任一文档分词，采用第二非线性化处理方式对所述各问题分词与所述文档分词之间的关联度进行非线性化处理，以获得所述文档分词对应的初始概率；

将所述文档分词作为答案起始点的概率和所述文档分词对应的初始概率的数值计算结果，作为所述文档分词作为答案结束点的概率。

8.根据权利要求3所述的方法，其特征在于，所述根据所述各文档分词作为答案起始点和答案结束点的概率，从所述目标文档中提取可作为答案的文档片段，包括：

根据所述各文档分词作为答案起始点和答案结束点的概率，从所述各文档分词中确定作为答案起始点的第一文档分词和作为答案结束点的第二文档分词；

从所述目标文档中提取所述第一文档分词和所述第二文档分词之间的文档片段。

9.根据权利要求8所述的方法，其特征在于，所述根据所述各文档分词作为答案起始点和答案结束点的概率，从所述各文档分词中确定作为答案起始点的第一文档分词和作为答案结束点的第二文档分词，包括：

对任一文档分词，计算所述文档分词作为答案起始点的概率与其它文档分词作为答案结束点的概率的乘积；

从所述各文档分词中，选择乘积最大的文档分词对；

将所述文档分词对中的文档分词分别作为所述第一文档分词和所述第二文档分词。

10.根据权利要求1-9任一项所述的方法，其特征在于，在将所述文档片段发送给所述客户端之前，所述方法还包括以下至少一种后处理操作：

调整所述文档片段的展示样式；

将所述文档片段中的结构化数据转化成同义的可读性数据；

对所述文档片段进行降噪处理。

11.一种在线问答方法，其特征在于，包括：

获取用户的问题数据；

将所述问题数据发送给服务器，以供所述服务器返回可作为答案的文档片段；

接收所述服务器返回的可作为答案的文档片段，并向所述用户输出所述文档片段；

其中，所述文档片段是所述服务器根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度从所述目标文档中提取的。

12.一种服务器，其特征在于，包括：存储器、处理器以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

通过所述通信组件接收客户端发送的问题数据；

获取可提供所述问题数据对应答案的目标文档；

根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度，从所述目标文档中提取可作为所述答案的文档片段；

通过所述通信组件将所述文档片段发送给所述客户端；

所述通信组件，用于接收所述客户端发送的所述问题数据，并将所述文档片段发送给所述客户端。

13.根据权利要求12所述的服务器，其特征在于，所述处理器在提取所述文档片段时，具体用于：

结合所述各问题分词之间的上下文关系和所述各文档分词之间的上下文关系，计算所述各问题分词与所述各文档分词之间的关联度；

根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率；

根据所述各文档分词作为答案起始点和答案结束点的概率，从所述目标文档中提取可作为所述答案的文档片段。

14.根据权利要求13所述的服务器，其特征在于，所述处理器在计算关联度时，具体用于：

从词、字以及特征的角度，分别对所述各问题分词和所述各文档分词进行向量化，以获得所述各问题分词的向量化信息和所述各文档分词的向量化信息；

利用长短期记忆网络LSTM或设置门复现单元GRU或多层卷积神经网络CNN对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以获得所述各问题分词的编码向量和所述各文档分词的编码向量；

根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度。

15.根据权利要求13或14所述的服务器，其特征在于，所述处理器在计算概率时，具体用于：

根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点的概率；

根据所述各文档分词作为答案起始点的概率以及所述各问题分词与所述各文档分词之间的关联度，计算所述各问题文档作为答案结束点的概率。

16.一种终端设备，其特征在于，包括：存储器、处理器、显示屏以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：

获取用户的问题数据；

通过所述通信组件将所述问题数据发送给服务器，以供所述服务器返回可作为答案的文档片段；

通过所述通信组件接收所述服务器返回的可作为答案的文档片段，并向所述用户输出所述文档片段；

所述通信组件，用于向所述服务器发送所述问题数据，并接收所述服务器返回的所述文档片段；

其中，所述文档片段是所述服务器根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度从所述目标文档中提取的。

17.一种在线问答系统，其特征在于，包括：终端设备以及服务器；

所述终端设备，用于获取用户的问题数据；将所述问题数据发送给所述服务器，接收所述服务器返回的可作为答案的文档片段，并向所述用户输出所述文档片段；

所述服务器，用于接收所述客户端发送的所述问题数据；获取可提供所述问题数据对应答案的目标文档；根据所述问题数据中各问题分词与所述目标文档中各文档分词之间的关联度，从所述目标文档中提取可作为所述答案的文档片段；以及将所述文档片段发送给所述客户端。

18.一种在线问答方法，其特征在于，包括：

接收客户端发送的问题数据；

获取可提供所述问题数据对应答案的目标文档；

将所述问题数据和所述目标文档作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述目标文档的阅读理解获取答案提取参数；

根据所述答案提取参数，从所述目标文档中提取可作为所述答案的文档片段，并将所述文档片段发送给所述客户端。

19.根据权利要求18所述的方法，其特征在于，所述机器阅读理解模型包括：输入层、编码层、关注层和输出层；

所述将所述问题数据和所述目标文档作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述目标文档的阅读理解获取答案提取参数，包括：

在所述输入层，接收所述问题数据中各问题分词的向量化信息和所述目标文档中各文档分词的向量化信息，并输出给所述编码层；

在所述编码层，对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以向所述编码层输出所述各问题分词的编码向量和所述各文档分词的编码向量；

在所述编码层，根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度，并输出给所述输出层；

在所述输出层，根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率作为所述答案提取参数并输出。

20.一种机器阅读理解模型训练方法，其特征在于，包括：

获取训练样本集，所述训练样本集包括问题样本、可提供所述问题样本对应答案的文档样本以及所述文档样本中可作为所述答案的标准文档片段；

将所述问题样本和所述文档样本作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述文档样本的阅读理解获取答案提取参数；

根据所述答案提取参数，从所述文档样本中提取可作为所述答案的待验证文档片段；

根据所述标准文档片段和所述待验证文档片段之间的吻合度，对所述机器阅读理解模型进行稳定性评测。

21.根据权利要求20所述的方法，其特征在于，所述机器阅读理解模型包括：输入层、编码层、关注层和输出层；

所述将所述问题样本和所述文档样本作为机器阅读理解模型的入参，利用所述机器阅读理解模型对所述文档样本的阅读理解获取答案提取参数，包括：

在所述输入层，接收所述问题样本中各问题分词的向量化信息和所述文档样本中各文档分词的向量化信息，并输出给所述编码层；

在所述编码层，对所述各问题分词的向量化信息和所述各文档分词的向量化信息进行编码，以向所述编码层输出所述各问题分词的编码向量和所述各文档分词的编码向量；

在所述编码层，根据所述各问题分词的编码向量和所述各文档分词的编码向量，计算所述各问题分词与所述各文档分词之间的关联度，并输出给所述输出层；

在所述输出层，根据所述各问题分词与所述各文档分词之间的关联度，计算所述各文档分词作为答案起始点和答案结束点的概率作为所述答案提取参数并输出。

22.根据权利要求20或21所述的方法，其特征在于，所述根据所述标准文档片段和所述待验证文档片段之间的吻合度，对所述机器阅读理解模型进行稳定性评测，包括以下至少一种方式：

根据所述标准文档片段的起始点与所述待验证文档片段的起始点之间的偏离度，对所述机器阅读理解模型进行稳定性评测；

根据所述标准文档片段的结束点与所述待验证文档片段的结束点之间的偏离度，对所述机器阅读理解模型进行稳定性评测；

根据所述标准文档片段与所述待验证文档片段的重合度，对所述机器阅读理解模型进行评测。