CN110059174B

CN110059174B - 问询指引方法及装置

Info

Publication number: CN110059174B
Application number: CN201910350773.5A
Authority: CN
Inventors: 刘子新; 盛志超; 代旭东; 李�浩
Original assignee: iFlytek Co Ltd
Current assignee: iFlytek Co Ltd
Priority date: 2019-04-28
Filing date: 2019-04-28
Publication date: 2023-05-30
Anticipated expiration: 2039-04-28
Also published as: CN110059174A

Abstract

本发明公开了一种问询指引方法及装置，其中所述问询指引方法包括：接收当前问答对；根据所述当前问答对以及预设的问询指引策略，预测并输出下一个问题。相比事先设计规则或模板的现有处理方式，本发明与真实问询内容建立关联，因此所指引内容的质量得到了保障，从而可以有效地辅助相关人员提升工作效率以及后续处理的可靠性。进一步地，本发明能够通过无监督语料训练模型，达到无需大量人工干预的目的，并且便于模型参数的共享，因而可以将适用范围扩展到任意案由甚至任意涉及问询的应用场景。综上而言，本发明不仅极大地节约了人力成本，并且能够创造显著的经济和社会价值。

Description

问询指引方法及装置

技术领域

本发明涉及自然语言处理领域，尤其涉及一种问询指引方法及装置。

背景技术

随着人工智能技术的不断突破，特别是自然语言处理相关技术日趋成熟，自然语言处理技术在各个领域的应用逐渐受到重视。

举例来说，机器帮助人工完成复杂繁琐的工作，目前正成为推动司法改革，实质提升相关部门工作效率，改进司法领域信息化水平新的突破口。目前，对于法官、检察官、公安等公检法一线工作人员来说，办案过程中最重要的一个环节是根据案情需要问询或审问案情相关人员。但是由于人工作业难以避免的因素，问询过程往往会遗漏部分问题，从而造成工作效率降低甚至导致对案情错误分析、判断。

目前现有的问询指引技术，可以“指引”提问人提出问题，不会产生遗漏，但其主要是利用两种实现方式：设定规则或者将问答对分类后进行语义匹配再给出人工定义的问题模板。前者针对不同的案件类型或者审讯形式需要设计较多且不同的规则(正则表达式或其它形式)，这个过程需要大量人工介入；后者则是通过传统的机器学习方法，基于人工标注的大量语料对当前问答对分类，再由分类结果给出预先定义并存储的问题模板。

上述现有技术主要存在以下缺陷：

1、需要人工标注大量训练数据。

2、需要事先由专家人工定义大量的问题模板。

3、针对不同的案件类型或者审讯形式等，无法实现跨领域通用。

4、问题模板的形式、内容等相对固化，难以与当前问询内容产生有效交互。

发明内容

针对上述需求，本发明的目的是提供一种问询指引方法及装置，以解决现有问询指引过度依赖模板和既定规则，难以与实际问询内容相结合的问题。

本发明采用的技术方案如下：

一种问询指引方法，包括：

接收当前问答对；

根据所述当前问答对以及预设的问询指引策略，预测并输出下一个问题。

可选地，所述根据所述当前问答对以及预设的问询指引策略，预测并输出下一个问题包括：

预先构建问询指引模型；

对所述当前问答对的语句进行分词，并得到分词特征及分词所处语句位置的位置特征；

将分词特征及相应的位置特征拼接，得到分词的综合特征；

将所述当前问答对的所有分词的综合特征作为所述问询指引模型的输入。

可选地，所述问询指引模型执行如下编码操作：

基于所述综合特征对所述当前问答对进行首次编码，分别针对所述当前问答对的问题语句和答案语句，得到表征每个分词与其自身及本语句中其他分词之间依存关系的语句级编码；

对所述语句级编码进行二次编码，得到用于表征当前问答对中各语句与其自身及本次问询历史问答对的语句之间依存关系的当前问答对的篇章级编码。

可选地，所述问询指引模型执行如下解码及预测操作：

对解码中间结果进行语句级编码，得到待解码序列；其中，当进行首个词语的预测时，所述解码中间结果为预设的起始值；

根据所述待解码序列以及当前问答对的篇章级编码执行篇章级解码；

根据所述待解码序列以及答案语句的语句级编码执行语句级解码；

基于篇章级解码结果以及句子级解码结果，预测所述待解码序列的下一个词语，并将当前已预测出的全部词语汇总为所述解码中间结果；

重复上述解码及预测过程直至全部词语预测结束，并根据预测出的词语序列生成所述下一个问题。

可选地，所述问询指引模型的构建方式包括：利用大量无监督的问答语料数据进行训练。

可选地，所述方法还包括：根据所述当前问答对以及所述问询指引模型，预测下一个问题的答案。

一种问询指引装置，包括：

接收模块，用于接收当前问答对；

问题指引模块，用于根据所述当前问答对以及预设的问询指引策略，预测并输出下一个问题。

可选地，所述问题指引模块包括：问询指引模型组件；

所述问询指引模型组件具体包括：

语句级编码单元，用于对所述当前问答对进行首次编码，分别针对所述当前问答对的问题语句和答案语句，得到表征每个分词与其自身及本语句中其他分词之间依存关系的语句级编码；

篇章级编码单元，用于对所述语句级编码进行二次编码，得到用于表征当前问答对中各语句与其自身及本次问询历史问答对的语句之间依存关系的当前问答对的篇章级编码。

可选地，所述问询指引模型组件还包括：

待解码序列获取单元，用于对解码中间结果进行语句级编码，得到待解码序列；其中，当进行首个词语的预测时，所述解码中间结果为预设的起始值；

篇章级解码单元，用于根据所述待解码序列以及当前问答对的篇章级编码执行篇章级解码；

语句级解码单元，用于根据所述待解码序列以及答案语句的语句级编码执行语句级解码；

预测单元，用于基于篇章级解码结果以及句子级解码结果，预测所述待解码序列的下一个词语，并将当前已预测出的全部词语汇总为所述解码中间结果；

问题生成单元，用于根据预测出的词语序列生成所述下一个问题。

可选地，所述装置还包括：

答案指引模块，用于根据所述当前问答对以及所述问询指引策略，预测下一个问题的答案。

一种问询指引设备，包括：

存储器，用于存储计算机程序；

处理器，用于当执行所述计算机程序时，实现如权利要求上述问询指引方法。

一种可读存储介质，所述可读存储介质上存储有计算机程序，当所述计算机程序被执行时，实现上述问询指引方法。

一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使所述终端设备执行上述问询指引方法。

本发明通过基于端到端的深度学习框架，利用问询实际过程中的问答对以及预设的问询指引策略，自动预测出后续问题，相比事先设计规则或模板的处理方式，本发明与真实问询内容建立关联，因此所指引内容的质量得到了保障，从而可以有效地辅助相关人员提升工作效率以及后续处理的可靠性。

进一步地，本发明能够通过无监督语料训练模型，达到无需大量人工干预的目的，并且便于模型参数的共享，因而可以将适用范围扩展到任意案由甚至任意涉及问询的应用场景。

进一步地，可基于本发明的设计思路，以相似的方式进行多任务输出，例如基于相同的数据和指引策略，不仅预测出下一个问题，还能够预测出下一个问题的回答。

综上而言，本发明不仅极大地节约了人力成本，并且能够创造显著的经济和社会价值。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的问询指引方法的实施例的流程图；

图2为本发明提供的确定问答对的实施例的流程图；

图3为问询记录结构的示意图；

图4为本发明提供的获得模型输入数据的实施例的流程图；

图5为本发明提供的问询指引装置的实施例的方框示意图。

附图标记说明：

1接收模块2问题指引模块

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

首先需说明，本发明的应用领域并不限于前文提及的司法应用，只要是类似的问询场景(有提问有回答或者有提问无回答)且存在与前文所提需求相符的其他需求，本领域技术人员均可以采用本发明的技术方案予以实施，例如但不限于医疗问诊、教育教学、政务办公、招聘面试等诸多场景。但是为了说明之便同时也为了使本领域技术人员能够直观理解本发明的构思、方案及效果，本发明于此借警务应用对实施过程进行详细而具体的展开。因此，在对本发明的实施方式进行具体说明之前，先对本发明各实施例及优选方案中可能涉及的相关概念或背景进行如下解释：

问答对：在警务审讯时，一个问答对是指由办案人员的一次提问和一位涉案人员的回答所组成；其中，提问和回答均可以是一句或者多句话。例如，团伙盗窃案审理时的问答对记录样例：

问答对示例一：提问1句、回答1句；

问：你是否实施过盗窃？

答：没实施，但参与过。

问答对示例二：提问1句、回答多句；

问：你把经过交代清楚？

答：大概在XXXX年XX月XX日凌晨XX点钟的时候，我和A从XXX出来沿着XXX高架走。从一个出口下来就进了一个村子，因为我要去村里的公厕方便。A发现在公厕旁停着个大卡车。我从厕所出来后，A提议我把风，他拿着随身带的一个小刀去撬车门。车门弄开以后，他在里面翻东西，从车里找到了几百块钱。他拿了钱之后，分了我一百块，A就和我分头离开了。

问答对示例三：提问多句、回答1句；

问：XXX，现向你告知，你因涉嫌盗窃，经XXX公安分局批准，决定对你刑事拘留三日。期限自XXXX年XX月XX日至XXXX年XX月XX日，羁押地点为XXX看守所。你是否明白？

答：明白了。

当前问答对：即从时序角度而言，最新一轮的问答对。

历史问答对：在一次问询过程中，通常包含多轮问答的过程，处于当前问答对之前的问答对统称为历史问答对。

基于上述，本发明提出了一种问询指引方法的实施例，如图1所示，主要包括如下步骤：

步骤S1、接收当前问答对；

具体来说，可以由用户通过语音或文本形式输入待指引的最新一轮问答语句，其中包括提问人的问题语句以及作答人的答案语句，并且，如果是语音数据，则可由语音识别技术自动将语音转录为问答对文本。

这里所称提问人即可以是指前述示例中的办案人员，所述作答人即可以是指前述示例中的涉案人员，在办案人员对该涉案人员进行问询时，可以通过现已成熟且智能的语音处理技术，实现在审讯过程中办案人员与涉案人员的问答语音实时采集、识别处理等，并以此形成本次问询的问答笔录，此可借鉴多种现有解决方案；本领域技术人员还可知，在进行语音转写时还可以根据场景所需获取并存储与问答对相关的信息，例如在审讯数据库中存储本次审讯的原始问答语音数据，在前述问答笔录中则可以存储问答参与人、审讯时间、案由名目以及各问答对用时等相关信息，对上述本发明不做限定。

以接收语音形式的当前问答对而言，本发明提供了一种优选的通过语音转写得到问答对文本的实施参考，如图2所示，具体可以包括如下步骤：

步骤S11、实时采集问询中的语音数据；

步骤S12、根据从语音数据中提取的声学特征，划分不同说话人的语音数据边界；

具体可以采用说话人分离方法识别出不同说话人的语音数据边界，其中，不同说话人可以是指前述提问人和作答人。

步骤S13、将当前语音数据标记为不同说话人的语音段；

步骤S14、按照各语音段的时间顺序，生成当前问答对语音数据。

由语音段的先后顺序可以确定组成问答对的问和答，举例来说，按时序有Q1和A1两个语音段，由于从时间角度而言，回答通常位于提问之后，如果Q1表示当前时刻提问人的语音段，A1则表示Q1之后的作答人的语音段，因此可以将Q1和A1确定为当前问答对语音数据。

步骤S15、实时将当前问答对语音数据转写成对应的文本数据。

之前构建的仍是基于语音数据形式的问答对，因此在本步骤中将当前问答对语音数据进行转写得到相应于语音数据的文本数据，具体的转写方法已有多种现有技术支持，本发明在此不作赘述。但需知，上述优选方案仅是描述了“接收当前问答对”的一种具体的实现过程，并不是对本步骤、本实施例、本发明的限定。

接续前文，步骤S2、根据当前问答对以及预设的问询指引策略，预测并输出下一个问题。

例如可以结合当前的问答内容，利用预先训练的基于无监督深度学习框架的问询指引模型，自动获得问询的下一个问题，而非采用既定规则或模板。当然，本领域技术人员可以理解的是，所称问询指引模型仅是问询指引策略的一种表现形式，而非唯一限定。再者，这里所称的下一个问题是从时序上针对当前问答对而言的，通常来说，问询过程中的提问和回答会成对出现，并且由问答对序列构成本次问询的记录，图3示出的即是原始的问询记录结构，其中Q1表示问题语句，A1则表示针对Q1的答案语句，以此类推，之后的Q2、A2、Q3、A3……同理。本步骤实施时可以是，当前问答对由Q1和A1组成，那么本步骤即是指通过Q1和A1以及问询指引模型预测并输出Q2，这里的“输出”可以理解为展示给提问人，由提问人照此提问，或者还可以是通过语音播报、文字显示等形式自动向作答人展示；而A2则是由作答人针对预测出的Q2所作回应的内容，此时，所述当前问答对则是指Q2和A2，在具体实际操作中，本步骤至此可有两种后续实现过程：其一、仅由Q2和A2预测Q3；其二、由Q2、A2以及其与历史问答对Q1、A1的关联性预测Q3，即利用N-1轮对话信息生成第N轮问题指引。二者各有优势，前者计算数据量较少、硬件负担较小，后者考虑到篇章级(即结合本次问询从始至当前的过程)的信息关联性则能够有效提升预测准确度并更为符合某些特定场景的需求，例如医疗、警务等问询过程，后续问题的提出更依赖于对本次问询的历史问答内容的结合考量。此处以上例再作总结，本发明所称根据当前问答对进行预测，可以是指仅用Q2、A2(当前问答对)与预设策略结合去预测Q3，也可以是指利用Q2、A2(当前问答对)+Q1、A1(历史问答对)再与预设策略结合去预测Q3。

本实施例通过基于端到端的深度学习框架，利用问询实际过程中的问答对以及预先构建的问询指引模型，自动预测出后续问题，相比事先设计规则或模板的处理方式，本发明与真实问询内容建立关联，因此所指引内容的质量得到了保障，从而可以有效地辅助相关人员提升工作效率以及后续处理的可靠性。

具体到如何根据当前问答对以及预先构建的问询指引模型预测并输出下一个问题，此过程与模型的训练相关，所以此处以所述问询指引模型的构建过程进行说明，本领域技术人员可以理解实际操作中的处理方式与此相似。本发明提供了一种模型训练思路，主要是通过预先收集的大量多轮问答语料数据，并对所述多轮问答语料以句子(即语句)为单位进行分词处理，由此获得问题语句和答案语句中每个分词的特征表达，完成对问询指引模型的无监督学习。具体过程可参考如下：

(1)基于场景领域，收集大量包含提问语句和答案语句的问询语料。

除了公检法领域，例如但不限于医疗问诊、教育教学、行政办公、招聘面试等诸多场景均会涉及到与其领域相关的问答数据，并且不同场景下的问答数据既可能存在相似性也可能存在差异，因此训练数据的选取与目标对象以及学习结果相关。本发明强调基于端到端的学习框架，因此可以通过相同或相似的模型结构，以无监督的方式获得具备较佳拓展性的模型参数。

(2)以问询语料中的语句为单位，提取问答语句的特征并作为问询指引模型的输入。

根据不同的需求，对问答对的特征考察方向可以有不同的角度，例如可以从语义内容、关键信息量以及表述逻辑性等维度反映，而在司法系统领域中，还可以将犯罪心理分析作为立足点，从问答过程中的语气、语速、韵律、停顿时间、说话时的呼吸节奏、对话复杂度等方面考察，对此本发明不作限定。

关于模型的输入，本发明提供一种实施参考，如图4所示，可以包括如下步骤：

步骤21、对当前问答对的语句进行分词，并得到分词特征及分词所处语句位置的位置特征；

步骤22、将分词特征及相应的位置特征拼接，得到分词的综合特征；

步骤23、将当前问答对的所有分词的综合特征作为问询指引模型的输入。

在问询指引模型的训练阶段(包括实际使用阶段)，当预测问讯过程的下一个要问讯的问题时，可以分别对当前问讯的问题和答案各语句进行分词、过滤停用词、禁用语等操作。具体在获取特征表达时，可以以语句为单位，融合分词本身的字、词、词性等信息，获取到当前问答对的问题和答案中每个分词的向量化表示以及该分词对应于本语句位置的位置向量。在实际操作中，向量化表示可以是将每一个分词映射到一个对应的多维连续实数向量，该向量可采用随机初始化在训练过程中不断修正，也可以基于外部大规模数据采用与Word2Vec类似的技术学习到字符向量作为初始化，并可进一步在任务数据上进行微调，上述仅为向量化表示的示例性说明，本发明不对此作出限定。接着，在获取到问题和答案中每个分词的词向量表示及其对应的位置向量表示之后，可分别将问题和答案中每个分词的向量化表示及其位置向量融合一起，即拼接为用于较为完整地描述该分词的特征组合。此处需要说明的是，在一个优选的模型训练过程中，每个分词的向量化表示和位置向量在开始时可以均是随机初始化的，并在训练过程中学习到分词的向量化表示和位置向量有关的参数。

对于上述举例而言，在已知问讯过程中第一个问题和答案并需要预测第二个问题时，分别获取第一个问题和第一个答案中每个分词的词向量(即所述分词特征)及其对应分词的位置向量(即所述位置特征)融合后的拼接向量(即综合特征)，之后再分别将问题语句的所有分词的综合特征和答案语句的所有分词的综合特征，作为所述问询指引模型的输入。当需要预测第三个问题时则可按照前文提及的两种方式(仅依据当前问答对，或依据当前问答对及历史问答对)获取相应的输入数据，此处及后文将以第二种方式作为优选说明，即在预测第三个问题时可分别将第一个问题和答案以及第二个问题及答案中的相应拼接向量作为问询指引模型的输入向量，以此类推即可。

为便于说明，以前述符号举例，当需求是根据当前第一个问题Q₁及其答案A₁预测第二个问题Q₂时，假设Q₁包含n个分词，即其对应的词向量V₁＝(v₀,v₁,v₂,……v_n)，再为每个分词添加对应的表示分词位置特征的位置向量P₁，P₁＝(p₀,p₁,p₂,……p_n)，之后再将v₀和p₀的拼接结果记为x₀，这里还可以指出，在其他实施方式中可将分词再按照语句形式进行表达，即将x₀作为Q₁中第一个分词的综合特征表示结果，以此类推，Q₁的向量表达则可记为(x₀,x₁,x₂,……x_n)；对于A₁中每个分词的处理结果类似，此处不再赘述，据此，便可以得到当前问答对的问题语句和答案语句的向量化表示结果。

此外可以补充的是，在计算上述特征向量时，可以将问答对的特征追加到某个预设的数据库，作为针对该作答人的问询综合数据集，并可以据此生成结构化文档，作为可查询的笔录卷宗等。

(3)根据上述过程构建的问题和答案的向量化表示来构建问询指引模型。

根据训练阶段不同，可以将模型的执行过程分成两个部分，编码部分及解码预测部分，后文将一一介绍各部分具体情况。此处需要说明的是，在训练模型时还可以将预测生成的概率和真实的概率之间的交叉熵损失作为损失函数，即通过梯度回传直至网络收敛。

接续上文，关于编码操作的一种实施思路是：

可见，在该优选的编码实施例中，主要是由两部分构成：语句级编码、篇章级编码。其中，语句级编码主要作用是对问询对话中每个问题语句和答案语句以将前述输入进行编码得到语句中每个分词与自身和其他分词之间的相关表示，从而构建了整个语句的序列编码表示；篇章级编码是对语句级编码之后的编码状态再进行一次编码，得到了整个篇章中各个语句与其自身和其他语句的依存表示；本领域技术人员可以理解，篇章级编码主要有两个作用：一方面建模了整个问询从始至终的语义结构信息，另一方面得到了当前问询状态的隐式表达。

(一)关于语句级编码的实施参考：

该部分的输入即可以是前述问题语句和答案语句的拼接向量，并将其经过一个self-attention模块，即可得到语句中每个词语与自身和本语句中其他词语的依存关联表示，从而建模了整个语句的序列编码表示。

同样以Q₁为例进行具体说明，将Q₁的向量化表示结果(x₀,x₁,x₂,……x_n)经过一个self-attention层，能够分别得到将x₀、x₁……x_n与x₀,x₁,……x_n所有的attention权重W₀、W₁……W_n，其中，W₀＝(w₀₀,w₀₁,……w_0n)，w₀₀表示x₀和x₀的attention权重，w₀₁表示x₀和x₁的attention权重，以此类推即可。随后再将W₀、W₁……W_n分别与Q₁的向量化表示综合结果进行相乘，经累加后分别得到x₀、x₁……x_n的self-attention向量表示h₀＝sum(w₀₀*x₀,w₀₁*x₁,……w_0n*x_n),h₁＝sum(w₁₀*x₀,w₁₁*x₁,……w_1n*x_n)……h_n＝sum(w_n0*x₀,w_n1*x₁,……w_nn*x_n)，最后可将所有的h₀、h₁……h_n取平均值作为Q₁的语句级编码结果H₀；同理，可得到A₁的语句级编码结果H₁。

(二)关于篇章级编码的实施参考：

得到问题语句和答案语句的语句级编码表示后再将其送入下一层context self-attention层，则可以得到整个篇章(所称篇章是指本次问询从始至当前的全部问答内容)中各个语句与其他语句的依存关联表示，也即是当前问答对的语句与其自身及本次问询的历史问答对的语句之间的依存关联表示。该二次编码的作用是，一方面建模了整个篇章的语义结构信息，另一方面得到了当前问答对的隐式表达。

同样地，以已知第一个问题和第一个答案预测第二个问题为例对篇章级编码进行具体说明。在得到第一个问题和第一个答案的语句级编码后，依次计算H₀、H₁分别与H₀、H₁所有的attention权重，并将其记为W₀、W₁(此处沿用W表示权重，仅为表述方便)，其中W₀＝(w₀₀,w₀₁),W₁＝(w₁₀,w₁₁),然后分别利用W₀、W₁与第一个问题和第一个答案的语句级编码结果H₀和H₁相乘，然后经由累加得到H₀、H₁的self-attention向量表示t₀、t₁，其中，t₀＝sum(w₀₀*H₀,w₀₁*H₁),t₁＝sum(w₁₀*H₀,w₁₁*H₁)。最后，还可以将t₀和t₁拼接得到当前问答对的状态表达state₁＝T[t₀,t₁]，T包含了语句间的对话状态隐式表达以及所有语句的基于篇章的语义结构信息。

接续上文，关于解码及预测操作的一种实施思路是：

根据所述待解码序列以及当前问答对的篇章级编码结果执行篇章级解码；

根据所述待解码序列以及答案语句的语句级编码结果执行语句级解码；

可见，在该优选的解码及预测实施例中，主要是由四部分构成：输入再编码、篇章级解码、语句级解码和联合概率预测。其完整实施思路是：首先将已经预测得到的词语序列进行向量化表示，再经过一层self-attention模块得到该已知结果的语句级别的向量表示并以此作为待解码序列。但如果是已知第一个问题和第一个答案预测第二个问题，则实际还未有已经解码预测的结果，因此在训练阶段可用真实存在的问题添加特殊标志位后当作此时的训练输入。例如目标是要预测出下一个问题Q2(x₀,x₁,x₂……x_n),则需在语句开头添加一个起始标志bos，其维度和已知的Q1和A1中各分词的词向量及其对应位置向量拼接后的所有拼接结果的维度保持一致，并可以赋予一个预设的初始值(例如赋0)。至此，本领域技术人员可以理解的是，解码及预测的目标已经转变为Q2’(bos,x₀,x₁,x₂……x_n)，并并行地利用bos分别与篇章级编码T以及语句级编码H解码得到x₀，再将已知的bos和x₀进行语句级编码得到待解码序列；然后利用再与篇章级编码T以及语句级编码H解码得到x₁……以此类推即可。此处还需要说明的是，该过程实际就是将一个目标语句的已经生成的词语进行编码，目的是用来生成下一个词语，即若需要通过bos预测第一个词语x₀，则只需对bos进行编码；在得到x₀后，则此处需要根据bos和x₀预测第二个词语x₁，则只需对bos和x₀进行编码，以此类推，便可以根据bos、x₀……x_n-1生成x_n。关于该实施例的实现过程需要补充的是，对下一个问题的整个解码及预测过程的结束时机，是问询指引模型经由大量数据学习后的结果，当然，在实际操作中可以预设一个结束标识，即当预测至该结束标识时即表示下一个问题的完整序列表达已经完成。

(一)关于输入再编码的实施参考：

假设目前需要通过bos和x₀，x₁，x₂，解码得到x₃，首先是利用语句级self-attention层得到待解码序列的语句表示H_in＝[h_bos,h₀,h₁,h₂]，此处可与解码部分的表示一致，其中，h_bos表示bos的self-attention向量，h₀表示x₀的self-attention向量，依次类推即可。

(二)关于篇章级解码的实施参考：

利用上述待解码序列的语句级编码表示H_in与前文提及的篇章级编码所对应的state_m＝[t₀,t₁,……t_m](假设已有M+1个问题以及答案)，通过self-attention得到篇章级的解码隐层表示Hoc，此处t₀与前述编码部分所介绍的一致，仍表示第一个问题Q₁的句子表示的self-attention的向量表示，以此类推即可。具体而言，可以先分别计算h_bos与(t₀,t₁,……t_m)的权重W0～Wn(此处沿用W表示权重，仅为表述方便)，然后将(t₀,t₁,……t_m)分别与对应权重W0～Wn进行相乘并将得到的所有相乘结果拼接起来作为h_bos篇章级解码表示，依次类推可以分别得到h₀，h₁……h_n的篇章级解码表示，最后将h_bos，h₁，……h_n的篇章级解码表示拼接起来作为待预测问题Q的篇章级解码表示Hoc。

(三)关于语句级解码的实施参考：

虽然可以分别利用当前问答对的问题语句和答案语句的前述语句级编码结果作为此处语句级解码的依据，但根据技术分析以及测试反馈，问询过程中的问题产生方式除了对话状态以及之前整体的文章语义之外，被问询人的上一次回答则是下一次询问的最为重要的信息来源，所以相对而言，当前问答对的答案语句的语句级编码表示对于解码性能的提升起到关键作用，因此优选利用前述待解码序列H_in与待预测问题的上一个问题的答案的语句级编码结果H₁(h₀～h_n)通过self-attention得到语句级的解码表示Hoa，其中，(h₀～h_n)对应答案语句中每个分词的编码向量表示。具体计算过程可以是：先计算h_bos与H₁(h₀～h_n)对应的self-attention权重W0～Wn(此处沿用W表示权重，仅为表述方便)，然后将H₁(h₀～h_n)分别与对应权重W0～Wn进行相乘并将得到所有相乘结果拼接起来作为h_bos的语句级解码表示，依次类推可以分别得到h₀，h₁……h_n的语句级解码表示，最后将h_bos，h₁，……h_n的语句级解码表示拼接起来作为待预测问题Q的语句级解码表示Hoa。

(四)关于联合概率预测的实施参考：

具体在实施时，可以将前步所得篇章级解码Hoc以及语句级解码Hoa通过模型中的一个全连接层直接预测出下一个待生成的词语表示。此处补充两点：其一、如前所述，在模型训练阶段，还可以将预测结果的概率和训练数据中真实结果的概率之间的交叉熵损失作为损失函数，即通过梯度回传直至网络收敛；其二、将当前已预测出的全部词语汇总为所述解码中间结果，也即是预测出的结果被加入到解码操作起始所述的已经预测得到的词语序列之中，作为更新所述待解码序列的依据。

综上可知，本发明通过基于端到端的深度学习框架，利用问询实际过程中的问答对以及预先构建的问询指引模型，自动预测出后续问题，相比事先设计规则或模板的处理方式，本发明与真实问询内容建立关联，因此所指引内容的质量得到了保障，从而可以有效地辅助相关人员提升工作效率以及后续处理的可靠性。

进一步地，本发明能够利用无监督语料达到无需大量人工干预的目的，并且便于模型参数的共享，因而可以将适用范围扩展到任意案由甚至任意涉及问询的应用场景。综上而言，本发明不仅极大地节约了人力成本，并且能够创造显著的经济和社会价值。

此外，由于问询指引模型的训练语料(即大量问答对)不仅包括真实的下一个需要生成的问题，还包括真实的下一个回答，因此在本发明的另一个优选方案中可以考虑：一方面可以利用该语料的特点强化编码部分的信息获取能力，另一方面也可以基于该语料的特点增强对答状态的建模能力。换言之，即本发明不仅可以用来指引下一个问题，还可以基于与前文所述相似的实施过程思路和模型结构，输出有关下一个问题的回答的预测，本领域技术人员对此可以理解，对于回答的预测虽然可以不向作答人展示，但可以为提问人综合评价作答人的真实作答状态提供比对、评估参考。

相应于前述各实施例及其优选方案，本发明还提供了一种问询指引装置的实施参考，如图5所示，该装置可以包括：

接收模块1，用于接收当前问答对；

问题指引模块2，用于根据所述当前问答对以及预设的问询指引策略，预测并输出下一个问题。

进一步地，所述问题指引模块具体包括：

分词特征获取单元，用于对所述当前问答对的语句进行分词，并得到分词特征及分词所处语句位置的位置特征；

特征拼接单元，用于将分词特征及相应的位置特征拼接，得到分词的综合特征，并将所述当前问答对的所有分词的综合特征作为预先构建的问询指引模型的输入。

进一步地，所述问题指引模块包括：问询指引模型组件；

所述问询指引模型组件具体包括：

进一步地，所述问询指引模型组件还包括：

篇章级解码单元，用于根据所述待解码序列以及当前问答对的篇章级编码结果执行篇章级解码；

语句级解码单元，用于根据所述待解码序列以及答案语句的语句级编码结果执行语句级解码；

进一步地，所述装置还包括：

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于基于硬件载体的各种实施方案，本发明以下述硬件载体作为示意性说明：

(1)一种问询指引设备，其可以包括：

存储器，用于存储计算机程序或上述装置；

处理器，用于当执行所述计算机程序或上述装置时，实现上述问询指引方法。

(2)一种可读存储介质，在所述可读存储介质上存储有计算机程序或上述装置，当所述计算机程序或上述装置被执行时，实现上述问询指引方法。

(3)一种计算机程序产品(该产品可以包括上述装置)，所述计算机程序产品在终端设备上运行时，使所述终端设备执行上述问询指引方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；上述可读存储介质可以是ROM/RAM、磁碟或光盘等；上述设备可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等等)。并且，该设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；存储器也可以是高速RAM存储器或非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器。

最后需说明，虽然上述装置实施例及优选方案的工作方式以及技术原理皆记载于前文，但仍需强调的是，该装置中各个部件实施例仍可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。可以把装置实施例中的模块或单元或组件等组合成一个模块或单元或组件，也可以把它们分成多个子模块或子单元或子组件予以实施。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims

1.一种问询指引方法，其特征在于，包括：

接收当前问答对；

根据所述当前问答对以及预设的问询指引策略，预测并输出下一个问题，包括：

预先构建问询指引模型；

将分词特征及相应的位置特征拼接，得到分词的综合特征；

2.根据权利要求1所述的问询指引方法，其特征在于，所述问询指引模型执行如下编码操作：

3.根据权利要求2所述的问询指引方法，其特征在于，所述问询指引模型执行如下解码及预测操作：

4.根据权利要求1~3任一项所述的问询指引方法，其特征在于，所述问询指引模型的构建方式包括：利用大量无监督的问答语料数据进行训练。

5.根据权利要求4所述的问询指引方法，其特征在于，所述方法还包括：根据所述当前问答对以及所述问询指引模型，预测下一个问题的答案。

6.一种问询指引装置，其特征在于，包括：

接收模块，用于接收当前问答对；

问题指引模块，用于根据所述当前问答对以及预设的问询指引策略，预测并输出下一个问题，包括：

预先构建问询指引模型；

将分词特征及相应的位置特征拼接，得到分词的综合特征；

7.根据权利要求6所述的问询指引装置，其特征在于，所述问题指引模块包括：问询指引模型组件；

所述问询指引模型组件具体包括：

8.根据权利要求7所述的问询指引装置，其特征在于，所述问询指引模型组件还包括：

9.根据权利要求6所述的问询指引装置，其特征在于，所述装置还包括：

10.一种问询指引设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于当执行所述计算机程序时，实现如权利要求1~5任一项所述的问询指引方法。

11.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，当所述计算机程序被执行时，实现如权利要求1~5任一项所述的问询指引方法。