CN110110048A - 问询指引方法及装置 - Google Patents

Abstract

本发明公开了一种问询指引方法及装置，其中所述问询指引方法包括：接收问答对；基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题。本发明可通过基于端到端的深度学习框架，根据实际问询过程的问答对中所出现的专有词汇以及预设的包含专有词汇预测功能的问询指引策略，自动指引出涉及到专有词汇的下一个问题。相比事先设计模板的处理方式，本发明与真实问询内容建立关联，在保障指引内容质量的前提下，提升对实际问询中出现的专有词汇的预测能力，有效地辅助相关人员增进工作效率及后续处理的可靠性。

Description

问询指引方法及装置

技术领域

本发明涉及自然语言处理领域，尤其涉及一种问询指引方法及装置。

背景技术

随着人工智能技术的不断突破，特别是自然语言处理相关技术日趋成熟，自然语言处理技术在各个领域的应用逐渐受到重视。

举例来说，机器帮助人工完成复杂繁琐的工作，目前正成为推动司法改革，实质提升相关部门工作效率，改进司法领域信息化水平新的突破口。目前，对于法官、检察官、公安等公检法一线工作人员来说，办案过程中最重要的一个环节是根据案情需要问询或审问案情相关人员。但是由于人工作业难以避免的因素，问询过程往往会遗漏部分问题，从而造成工作效率降低甚至导致对案情错误分析、判断。

虽然目前可以采用问询指引技术，“指引”提问人提出下一个问题，减少遗漏概率，但问询过程中往往会涉及到一些专有的，诸如人名、地名、机构名、时间点等专有词汇，这些专有词汇通常在训练语料中出现频率较低，但是这些专有词汇也通常与问询过程的关键内容息息相关，同时也是指引出的下一个问题中最为重要的部分。例如警务审讯场景中，上述专有词汇会与作案动机、作案时间、作案地点等案发经过强相关，其决定了问题指引能否给出正确的问询思路。

尤其是，现有的问询指引方案主要是基于问答对分类进行语义匹配再给出人工定义问题模板方法。其需要人工设定大量特征，根据特征对当前问答对分类，根据分类结果给定事先定义好的人工书写问题模板；而预设模板的方式不仅使得问题指引结果与实际问询内容脱离，并且对于低频出现的专有词汇的预测效果十分有限，甚至多数情况下，难以根据当前对话内容在指引的问题中预测出专有词汇，导致基于问询的后续处理出现较大偏误。

发明内容

本发明的目的是提供一种问询指引方法及装置，以解决现有问询指引过度依赖模板的上述弊端。

本发明采用的技术方案如下：

一种问询指引方法，包括：

接收问答对；

基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题。

可选地，所述基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题包括：

预先构建问询指引模型；

对所述问答对的语句进行分词，并得到分词特征及分词所处语句位置的位置特征；

将分词特征及相应的位置特征拼接，得到分词的综合特征；

将所述问答对的所有分词的综合特征作为所述问询指引模型的输入。

可选地，所述问询指引模型的构建过程包括：

在所述问询指引模型的训练阶段，识别出输入数据及输出结果中的专有词汇；

在输入数据及输出结果中，为所述专有词汇设置标记，并通过学习得到所述标记的相关性权值；

为输入数据添加相应于所述专有词汇的所处位置的对齐标志，并基于所述对齐标志增强所述标记的相关性权值。

可选地，所述问询指引模型执行如下编码操作：

分别对所述问答对的问题语句和答案语句进行编码，得到表征每个分词与其自身及本语句中其他分词之间相关性的编码结果。

可选地，所述问询指引模型执行如下解码及预测操作：

对预测过程中的中间数据进行语句级编码，得到待解码序列；其中，所述中间数据是指当前已预测出的用于构成所述下一个问题的词语序列，当针对首个词语进行预测时，所述中间数据为预设的起始值；

根据当前所述待解码序列以及所述问答对的编码结果进行解码，得到解码结果；

基于所述解码结果，预测出所述词语序列的下一个词语；

并且，如果预测出的词语为所述标记，则在进行如上解码操作后，利用所述标记的增强后的相关性权值更新解码结果，并基于更新后的解码结果预测出所述专有词汇；

重复上述解码及预测过程直至全部词语预测结束，并根据最终预测出的词语序列生成包含所述专有词汇的下一个问题。

一种问询指引装置，包括：

接收模块，用于接收问答对；

问题指引模块，基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题。

可选地，所述问题指引模块包括：问询指引模型；

所述问询指引模型的训练组件包括：

专有词汇识别单元，用于在所述问询指引模型的训练阶段，识别出输入数据及输出结果中的专有词汇；

标记设置单元，用于在输入数据及输出结果中，为所述专有词汇设置标记，并通过学习得到所述标记的相关性权值；

对齐标志增强单元，用于为输入数据添加相应于所述专有词汇的所处位置的对齐标志，并基于所述对齐标志增强所述标记的相关性权值。

可选地，所述问询指引模型具体还包括：

输入数据编码单元，用于分别对所述问答对的问题语句和答案语句进行编码，得到表征每个分词与其自身及本语句中其他分词之间相关性的编码结果；

待解码序列获取单元，用于对预测过程中的中间数据进行语句级编码，得到待解码序列；其中，所述中间数据是指当前已预测出的用于构成所述下一个问题的词语序列，当针对首个词语进行预测时，所述中间数据为预设的起始值；

解码单元，用于根据当前所述待解码序列以及所述问答对的编码结果进行解码，得到解码结果；

预测单元，用于基于所述解码结果，预测出所述词语序列的下一个词语；并且，所述预测单元具体包括专有词汇生成子单元，用于如果预测出的词语为所述标记，则在进行如上解码操作后，利用所述标记的增强后的相关性权值更新解码结果，并基于更新后的解码结果预测出所述专有词汇；

问题生成单元，用于在全部词语预测结束后，根据最终预测出的词语序列生成包含所述专有词汇的下一个问题。

一种问询指引设备，包括：

存储器，用于存储计算机程序；

处理器，用于当执行所述计算机程序时，实现如上所述的问询指引方法。

一种可读存储介质，所述可读存储介质上存储有计算机程序，当所述计算机程序被执行时，实现如上所述的问询指引方法。

一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使所述终端设备执行如上所述的问询指引方法。

本发明可通过基于端到端的深度学习框架，根据实际问询过程的问答对中所出现的专有词汇以及预设的包含专有词汇预测功能的问询指引策略，自动指引出涉及到专有词汇的下一个问题。针对专有词汇的预测，本发明的一种实施构思是通过额外监督方式，增强专有词汇的相关性权值，最终使得相对低频的专有词汇的预测准确度得到显著提升，进而相比事先设计模板的处理方式，本发明与真实问询内容建立关联，在保障指引内容质量的前提下，提升对问询中出现的专有词汇的预测能力，有效地辅助相关人员增进工作效率及后续处理的可靠性。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的问询指引方法的实施例的流程图；

图2为本发明提供的确定问答对的实施例的流程图；

图3为本发明提供的指引问题策略的数据输入输出格式的示意图；

图4为本发明提供的获取模型输入数据的实施例的流程图；

图5为本发明提供的监督学习的具体实施例的流程图；

图6为本发明提供的标注训练语料的示意图；

图7为本发明提供的问询指引装置的实施例的方框示意图。

附图标记说明：

1接收模块 2问题指引模块

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

首先需说明，本发明的应用领域并不限于前文提及的司法应用，只要是类似的问询场景(有提问有回答或者有提问无回答)且存在与前文所提需求相符的其他需求，本领域技术人员均可以采用本发明的技术方案予以实施，例如但不限于医疗问诊、教育教学、政务办公、招聘面试等诸多场景。但是为了说明之便同时也为了使本领域技术人员能够直观理解本发明的构思、方案及效果，本发明于此借警务应用对实施过程进行详细而具体的展开。因此，在对本发明的实施方式进行具体说明之前，先对本发明各实施例及优选方案中可能涉及的相关概念或背景进行如下解释：

问答对：在警务审讯时，一个问答对是指由办案人员的一次提问和一位涉案人员的回答所组成；其中，提问和回答均可以是一句或者多句话。例如，团伙盗窃案审理时的问答对记录样例：

问答对示例一：提问1句、回答1句；

问：你是否实施过盗窃？

答：没实施，但参与过。

问答对示例二：提问1句、回答多句；

问：你把经过交代清楚？

答：大概在XXXX年XX月XX日凌晨XX点钟的时候，我和A从XXX出来沿着XXX高架走。从一个出口下来就进了一个村子，因为我要去村里的公厕方便。A发现在公厕旁停着个大卡车。我从厕所出来后，A提议我把风，他拿着随身带的一个小刀去撬车门。车门弄开以后，他在里面翻东西，从车里找到了几百块钱。他拿了钱之后，分了我一百块，A就和我分头离开了。

问答对示例三：提问多句、回答1句；

问：XXX，现向你告知，你因涉嫌盗窃，经XXX公安分局批准，决定对你刑事拘留三日。期限自XXXX年XX月XX日至XXXX年XX月XX日，羁押地点为XXX看守所。你是否明白？

答：明白了。

基于上述，本发明提出了一种问询指引方法的实施例，如图1所示，主要包括如下步骤：

步骤S1、接收问答对；

具体来说，可以由用户通过语音或文本形式输入待指引的最新一轮问答语句，其中包括提问人的问题语句以及作答人的答案语句，并且，如果是语音数据，则可由语音识别技术自动将语音转录为问答对文本。

这里所称提问人即可以是指前述示例中的办案人员，所述作答人即可以是指前述示例中的涉案人员，在办案人员对该涉案人员进行问询时，可以通过现已成熟且智能的语音处理技术，实现在审讯过程中办案人员与涉案人员的问答语音实时采集、识别处理等，并以此形成本次问询的问答笔录，此可借鉴多种现有解决方案；本领域技术人员还可知，在进行语音转写时还可以根据场景所需获取并存储与问答对相关的信息，例如在审讯数据库中存储本次审讯的原始问答语音数据，在前述问答笔录中则可以存储问答参与人、审讯时间、案由名目以及各问答对用时等相关信息，对上述本发明不做限定。

以接收语音形式的问答对而言，本发明提供了一种优选的通过语音转写得到问答对文本的实施参考，如图2所示，具体可以包括如下步骤：

步骤S11、实时采集问询中的语音数据；

步骤S12、根据从语音数据中提取的声学特征，划分不同说话人的语音数据边界；

具体可以采用说话人分离方法识别出不同说话人的语音数据边界，其中，不同说话人可以是指前述提问人和作答人。

步骤S13、将当前语音数据标记为不同说话人的语音段；

步骤S14、按照各语音段的时间顺序，生成问答对语音数据。

由语音段的先后顺序可以确定组成问答对的问和答，举例来说，按时序有Q1和A1两个语音段，由于从时间角度而言，回答通常位于提问之后，如果Q1表示当前时刻提问人的语音段，A1则表示Q1之后的作答人的语音段，因此可以将Q1和A1确定为问答对语音数据。

步骤S15、实时将问答对语音数据转写成对应的文本数据。

之前构建的仍是基于语音数据形式的问答对，因此在本步骤中将问答对语音数据进行转写得到相应于语音数据的文本数据，具体的转写方法已有多种现有技术支持，本发明在此不作赘述。但需知，上述优选方案仅是描述了“接收问答对”的一种具体的实现过程，并不是对本步骤、本实施例、本发明的限定。

接续前文，步骤S2、基于问答对中的专有词汇以及预设的问询指引策略，预测并输出包含专有词汇的下一个问题。

针对前文指出的技术问题，本发明摒弃了制定问询模板的传统思路，提出根据实际问询过程的问答对中所出现的专有词汇以及预设的包含专有词汇预测功能的问询指引策略，自动指引出涉及该专有词汇的下一个问题。本发明并不约束实现上述技术构思的表现形式，例如在一种实施方式中所述问询指引策略可以是，基于词语在语句中的概率分布，通过增强预先确定的专有词汇或与该专有词汇有关的权重，并结合对输入数据进行编解码过程，实现预测出的下一个问题能够对低频的专有词汇的准确覆盖，更为具体地，编解码过程可以考虑以词语为单位考察词语与自身及其他词语之间的相关性，并由此获得各词语的语句级的注意力权重(attention weight)，由此生成的预测问题则与实际问询过程有机结合，尤其是还可通过额外赋予的监督信息来完成权值的增强学习，也即是在原有的学习机制之外，利用补充监督后的词语权重，可使得准确预测某特定词语的概率显著增加，因此便可以基于实际问答出现的专有词汇，在预测出的下一个问题语句中不丢失该关键信息。对于上述构思的具体实施参考将在后文说明。

此处仅简单举例，在实际操作中，可以结合当前的问答对内容，利用预先训练的能够预测预设专有词汇的问询指引模型，自动获得问询的下一个问题。当然，本领域技术人员可以理解的是，这里举例的问询指引模型仅是上述问询指引策略的一种表现形式，而非唯一限定。再有，这里所称的“下一个问题”是从时序上针对当前的问答对而言的，通常来说，问询过程中的提问和回答会成对出现，图3示出的即是一种问询指引实施方式的输入输出形式，其中Q1表示当前的问答对的问题语句，A1则表示针对Q1的答案语句，基于此，所称问答对由Q1和A1组成，那么本步骤的目的即是指通过Q1和A1的实际内容以及预先构建的问询指引模型预测并输出Q2，并使得Q2中包含A1和/或Q1中的专有词汇(此处需指明，通常是由作答人给出的A1所包含的专有词汇相对而言更为关键，但本实施例并不对此限定)，也就是利用上一轮对话信息生成下一个问题的指引，这里的“输出”可以理解为展示给提问人，并由提问人照此进行下一轮提问，或者还可以是通过语音播报、文字显示等形式自动向作答人展示。使得能够充分利用当前的问答信息，生成下一个需要询问的问题，

综上可知，本发明可通过基于端到端的深度学习框架，根据实际问询过程的问答对中所出现的专有词汇以及预设的包含专有词汇预测功能的问询指引策略，自动指引出涉及到专有词汇的下一个问题。针对专有词汇的预测，本发明的一种实施构思是通过额外监督方式，增强专有词汇的相关性权值，最终使得相对低频的专有词汇的预测准确度得到显著提升，进而相比事先设计模板的处理方式，本发明与真实问询内容建立关联，在保障指引内容质量的前提下，提升对问询中出现的专有词汇的预测能力，有效地辅助相关人员增进工作效率及后续处理的可靠性。

具体到如何根据问答对的实际内容以及预先构建的问询指引模型预测并输出下一个问题，此过程与模型的训练相关，所以此处以所述问询指引模型的构建过程进行说明，本领域技术人员可以理解实际操作中的处理方式与此相似。本发明提供了一种模型训练思路，主要是通过预先收集的大量多轮问答语料数据，并对所述多轮问答语料以句子(即语句)为单位进行分词处理，由此获得问题语句和答案语句中每个分词的特征表达，完成对问询指引模型的额外监督学习。具体过程可参考如下：

(1)基于场景领域，收集大量包含提问语句和答案语句的问询语料。

除了公检法领域，例如但不限于医疗问诊、教育教学、行政办公、招聘面试等诸多场景均会涉及到与其领域相关的问答数据，并且不同场景下的问答数据既可能存在相似性也可能存在差异，因此训练数据的选取与目标对象以及学习结果相关。

(2)以问询语料中的语句为单位，提取问答语句的特征并作为问询指引模型的输入。

根据不同的需求，对问答对的特征考察方向可以有不同的角度，例如可以从语义内容、关键信息量以及表述逻辑性等维度反映，而在司法系统领域中，还可以将犯罪心理分析作为立足点，从问答过程中的语气、语速、韵律、停顿时间、说话时的呼吸节奏、对话复杂度等方面考察，对此本发明不作限定。

关于问询指引模型的输入，本发明提供一种实施参考，如图4所示，可以包括如下步骤：

步骤21、对问答对的语句进行分词，并得到分词特征及分词所处语句位置的位置特征；

步骤22、将分词特征及相应的位置特征拼接，得到分词的综合特征；

步骤23、将问答对的所有分词的综合特征作为问询指引模型的输入。

在问询指引模型的训练阶段(包括实际使用阶段)，当预测问讯过程的下一个要问讯的问题时，可以分别对当前问讯的问题语句和答案语句进行分词、过滤停用词、禁用语等操作。具体在获取特征表达时，可以以语句为单位，融合分词本身的字、词、词性等信息，获取到问答对的问题和答案中每个分词的向量化表示以及该分词对应于本语句位置的位置向量。在实际操作中，向量化表示可以是将每一个分词映射到一个对应的多维连续实数向量，该向量可采用随机初始化在训练过程中不断修正，也可以基于外部大规模数据采用与Word2Vec类似的技术学习到字符向量作为初始化，并可进一步在任务数据上进行微调，上述仅为向量化表示的示例性说明，本发明不对此作出限定。接着，在获取到问题和答案中每个分词的词向量表示及其对应的位置向量表示之后，可分别将问题和答案中每个分词的向量化表示及其位置向量融合一起，即拼接为用于较为完整地描述该分词的特征组合。此处需要说明的是，在一个优选的模型训练过程中，每个分词的向量化表示和位置向量在开始时可以均是随机初始化的，并在训练过程中学习到分词的向量化表示和位置向量有关的参数。

对于上述举例而言，在已知问讯过程中第一个问题及答案并需要预测第二个问题时，分别获取第一个问题和第一个答案中每个分词的词向量(即所述分词特征)及其对应分词的位置向量(即所述位置特征)融合后的拼接向量(即综合特征)，之后再分别将问题语句的所有分词的综合特征和答案语句的所有分词的综合特征，作为所述问询指引模型的输入。需补充的是，在预测第三个问题时可分别将第一个问题和答案以及第二个问题及答案中的相应拼接向量作为问询指引模型的输入向量，以此类推即可。

为便于说明，以前述符号举例，当需求是根据当前第一个问题Q₁及其答案A₁预测第二个问题Q₂时，假设Q₁包含n个分词，即其对应的词向量V₁＝(v₀,v₁,v₂,……v_n)，再为每个分词添加对应的表示分词位置特征的位置向量P₁，P₁＝(p₀,p₁,p₂,……p_n)，之后再将v₀和p₀的拼接结果记为x₀，这里还可以指出，在其他实施方式中可将分词再按照语句形式进行表达，即将x₀作为Q₁中第一个分词的综合特征表示结果，以此类推，Q₁的向量表达则可记为(x₀,x₁,x₂,……x_n)；对于A₁中每个分词的处理结果类似，此处不再赘述，据此，便可以得到问答对的问题语句和答案语句的向量化表示结果。

此外可以补充的是，在计算上述特征向量时，可以将问答对的特征追加到某个预设的数据库，作为针对该作答人的问询综合数据集，并可以据此生成结构化文档，作为可查询的笔录卷宗等。

(3)根据上述过程构建的问题和答案的向量化表示来构建问询指引模型。

根据训练阶段不同，可以将模型的执行过程分成两个部分，编码部分及解码预测部分，后文将一一介绍各部分具体情况。此处需要说明的是，在训练模型时还可以将预测生成的概率和真实的概率之间的交叉熵损失作为损失函数，即通过梯度回传直至网络收敛。

为了在准确预测下一个问题时兼顾对专有词汇的生成能力，对于问询指引模型的构建还可以采用前文提及的“额外监督”的方式，此处本发明给出一种监督学习的具体实施参考，如图5所示，可以包括如下过程：

步骤S201、在问询指引模型的训练阶段，识别出输入数据及输出结果中的专有词汇；

步骤S202、在输入数据及输出结果中，为专有词汇设置标记，并通过学习得到所述标记的相关性权值；

步骤S203、为输入数据添加相应于专有词汇的所处位置的对齐标志，并基于对齐标志增强所述标记的相关性权值。

具体在实际操作中可以参考如下，所述专有词汇可以预先按照语言规则凭借专家经验知识进行确定，也可以通过对收集到的大量语料进行分析来确定(例如考察语料中各词语的词频、依存关系、互信息、上下文等)，这样在本实施例中便可以利用第三方开源工具例如LTP等和或正则表达式，识别出输入语料及模型输出中存在的已在前期确定的专有词汇并作出相应标记，结合图6所示，例如输入的问答对中问题语句包含专有词汇AA，答案语句包含专有词汇BB，预测后的输出结果中含有AA、BB，则通过特殊符号**作为各专有词汇的标记。该标记**在学习过程中可获得词语级别的注意力权重，但是由于缺乏额外的监督信号干预，因此标记**的相关性权值可能难以符合预期，也就是说，通过**准确预测出AA或BB的概率较低。据此，本实施例还提出需要对输入数据标注相应于专有词汇的所处位置的对齐标志，即构思的原理是在原有的生成概率输出上增加attention weight多目标对齐(alignment)，相当于在模型训练阶段基于注意力对齐标记额外增加一组训练目标——根据已确定的专有词汇的位置，添加该注意力对齐标志位，用于注意力对齐学习。再结合图6所示，为训练阶段的输入语料额外增加一组标为01的标志位，由此提升问询指引模型对于专有词汇的注意力对齐能力，以使得该专有词汇的相关性权值最大，如此，输出的下一个问题中便能够准确地涵盖所需的专有词汇。还需要对上述实施方式说明的是，所述符合、标记等诸如“AA”、“BB”、“**”、“01”等仅为参考性示例，本发明不对此作出限定，并且“**”双星号也与下文记载的单星号“*”的乘号含义相区分。

如前所述，关于问询指引模型的一种具体实施方式，可以考虑设置两个主要功能：编码操作、解码及预测操作。

关于编码操作的一种参考方式是：

基于所述综合特征对所述问答对进行编码，分别针对所述问答对的问题语句和答案语句，得到表征每个分词与其自身及本语句中其他分词之间相关性的编码结果。可见，此处编码结果的具体构成是所述问答对的问题编码、答案编码。其中，问题编码主要作用是对输入的问答对中问题语句以分词为输入进行词级别编码得到句子中每个分词与自身和其他分词之间的相关表示，从而建模了整个语句的序列编码表示；答案编码的作用同上，主要是为了建模答案输入的整个语句编码序列。

(一)关于问题语句的编码操作的具体实施参考：

前文已经说明，问询指引模型的输入是问答对进行分词特征向量与其对应位置的位置特征向量的拼接结果，将其经过一个self-attention模块，即可得到问题语句中每个词语与自身和本语句中其他词语的相关性表示，从而建模了整个问题语句的序列编码表示。

举例来说，当前是通过输入问题Q1及其答案A1预测第二个问题Q2，在前文对分词向量表示的说明基础上，针对问答对中出现专有词汇的情况稍作调整：若Q1共包含n个分词，即其对应的词向量V₁＝(v₀,v₁,v_**,v_AA,v_**,……v_n)，然后分别为每个分词添加一个对应的表示分词当前位置特征的位置向量P₁，其中P₁＝(p₀,p₁,p_**,p_AA,p_**,……p_n)，之后再将v₀和p₀的拼接结果记为x₀，这里将x₀作为Q₁中第一个分词的综合特征表示结果，以此类推，Q₁的向量表达则可记为(x₀,x₁,x_**,x_AA,x_**,……x_n)，为表达方便，后文记为(x₀～x_n)。

接着输入问询指引模型后，将Q₁的向量化表示结果经过一个self-attention层，能够分别得到(x₀～x_n)与(x₀～x_n)所有的attention权重W₀～W_n，其中，W₀＝(w₀₀,w₀₁,……w_0n)，w₀₀表示x₀和x₀的attention权重，w₀₁表示x₀和x₁的attention权重，以此类推即可，并且W₀简单表达为w₀₀～w_0n。随后再将w₀₀～w_0n分别与Q₁的向量化表示综合结果进行相乘，经累加后分别得(x₀～x_n)的self-attention向量表示h₀＝sum(w₀₀*x₀～w_0n*x_n)，h₁＝sum(w₁₀*x₀～w_1n*x_n)……h_n＝sum(w_n0*x₀～w_nn*x_n)，最后可将所有的h₀、h₁……h_n拼接起来(例如可取均值)作为Q₁的编码结果H_Q1[h₀～h_n]。

(二)关于答案语句的编码操作的具体实施参考：

若A1共包含n个分词，即其对应的词向量V₁＝(v₀,v₁,v_**,v_BB,v_**,……v_n)，然后分别为每个分词添加一个对应的表示分词当前位置特征的位置向量P₁，其中P₁＝(p₀,p₁,p_**,p_BB,p_**,……p_n)，之后再将v₀和p₀的拼接结果记为x₀，这里将x₀作为A₁中第一个分词的综合特征表示结果，以此类推，A₁的向量表达则可记为(x₀,x₁,x_**,x_BB,x_**,……x_n)。输入模型后的编码过程可参照上述，这里不再赘述，由此便得到问答对的答案语句的编码结果H_A1[h₀～h_n]。

接续上文，关于解码及预测操作的一种参考方式是：

对预测过程中的中间数据进行语句级编码，得到待解码序列；其中，所述中间数据是指当前已预测出的用于构成所述下一个问题的词语序列，当针对首个词语进行预测时，所述中间数据为预设的起始值；

根据当前所述待解码序列以及所述问答对的编码结果进行解码，得到解码结果；

基于所述解码结果，预测出所述词语序列的下一个词语；

并且，如果预测出的词语为所述标记，则在进行如上解码操作后，利用所述标记的增强后的相关性权值更新解码结果，并基于更新后的解码结果预测出所述专有词汇；

重复上述解码及预测过程直至全部词语预测结束，并根据最终预测出的词语序列生成包含所述专有词汇的下一个问题。

可见，在该优选的解码及预测实施例中，主要是由三部分构成：待解码序列获取、解码和联合概率预测。其完整实施思路是：首先将已经预测得到的词语序列进行向量化表示，再经过一层self-attention模块得到该已知结果的语句级别的向量表示并以此作为待解码序列。但如果是已知第一个问题和第一个答案预测第二个问题的初始阶段，则实际还未有已经解码预测出的结果，因此在训练阶段可用真实存在的问题添加初始标志位后当作此时的训练输入。例如目标是要预测出下一个问题Q2(x₀～x_n),则需在语句开头添加一个起始标志bos，其维度和已知的Q1和A1中各分词的词向量及其对应位置向量拼接后的所有拼接结果的维度保持一致，并可以赋予一个预设的初始值(例如赋0)。至此，本领域技术人员可以理解的是，解码及预测的目标已经转变为Q2’(bos,x₀～x_n)，接着并行地利用bos分别与前述H_Q1、H_A1解码得到Q2’的x₀，再将中间数据bos和x₀进行语句级编码得到待解码序列；然后利用(bos，x₀)再与前述H_Q1、H_A1解码得到x₁……以此类推即可。此处还需说明的是，该过程实际就是将一个目标语句的已经生成的词语进行编码，目的是用来生成下一个词语，即若需要通过bos预测第一个词语x₀，则只需对bos进行编码；在得到x₀后，则此处需要根据bos和x₀预测第二个词语x₁，则只需对bos和x₀进行编码，以此类推，便可以根据bos、x₀……x_n-1生成x_n。关于该实施例的实现过程需要补充的是，对下一个问题的整个解码及预测过程的结束时机，是问询指引模型经由大量数据学习后的结果，当然，在实际操作中可以预设一个结束标识，即当预测至该结束标识时即表示下一个问题的完整序列表达已经完成。

(一)关于待解码序列获取的具体实施参考：

假设目前需要通过bos和x₀，x₁，x_**，解码得到x_AA，首先是利用语句级self-attention层得到待解码序列的语句表示H_in＝[h_bos,h₀,h₁,h_**]，此处可与解码部分的表示一致，其中，h_bos表示bos的self-attention向量，h₀表示x₀的self-attention向量，以此类推即可。

(二)关于解码操作的具体实施参考：

利用上述待解码序列的语句级编码表示H_in与待预测问题的上一个问题的语句级编码结果H_Q1(h₀～h_n)通过self-attention得到语句级的解码表示Hoq，其中，(h₀～h_n)对应问题语句中每个分词的编码向量表示。具体计算过程可以是：先计算h_bos与H_Q1(h₀～h_n)对应的self-attention权重W₀～W_n(此处沿用W表示权重，仅为表述方便)，然后将(h₀～h_n)分别与对应权重W₀～W_n进行相乘并将得到所有相乘结果拼接起来作为h_bos的语句级解码表示，依次类推可以分别得到h₀，h₁…..h_n的语句级解码表示，最后将h_bos，h₁，……h_n的语句级解码表示拼接起来作为问题语句的解码结果表示Hoq。有关答案语句的解码方式与上述相似，此处不再赘述，最终便得到了答案语句的解码结果表示Hoa。

(三)关于联合概率预测的具体实施参考：

具体在实施时，可以将前步所得解码结果Hoq以及Hoa通过问询指引模型中的一个全连接层直接预测出下一个待生成的词语表示。此处补充两点：其一、如前所述，在模型训练阶段，还可以将预测结果的概率和训练数据中真实结果的概率之间的交叉熵损失作为损失函数，即通过梯度回传直至网络收敛；其二、将当前已预测出的全部词语汇总为前述中间数据，也即是预测出的结果被加入到解码操作起始所述的已经预测得到的词语序列之中，作为更新所述待解码序列的依据。

如果待解码序列出现标记(例如符号**)，也即是预测出的当前词语为所述标记，则表明接下来的预测目标是结合**预测专有词汇问题语句中出现的AA或答案语句中出现的BB(此处以前文举例作示意性说明)。需表明的是，对于AA、BB这类不常见的低频专有词汇，例如人名，地名等，因为缺少训练样本，一般而言模型的生成能力就有所欠缺，所以为了增强该部分的获取能力，本实施例解码过程中利用了self-attention计算的注意力权重作为额外信息，加入到最终的概率计算过程中，提升了对于不常见的低频词汇的生成能力。其主要的构思是源于，需利用权值来计算最终的概率生成，所以权值的分布决定了生成质量，尤其是没有监督信号干预的权重，难以确定是否达到了预期分布，所以本发明涉及到相关性权值与给定的标志位的计算，这样的作用即是添加一个强有力的监督信号，使得构成待预测问题语句的各词语权重更加符合预期分布。

具体地，可以在联合概率预测过程中使用标记符号**对应的attention权重来增强对指定词汇的预测能力，所以attention权重分布决定了专有词汇的预测能力，在本实施例中的模型训练阶段，可使用外部添加的标志位来增强**对专有词汇的attention权重，以前文示例来说，由于解码结果x_**可以预测得到x_AA，因此计算x_**对应的权重WQx_**[w₀～w_n]，并且对齐标志为00010000000000，即对应的AA位置为1其他位置为0，再通过计算二者的损失函数(均方误差、交叉熵等)，用于梯度回传，直至网络收敛，由此便使得x_**对应AA的分布趋于最大。这样便可以增强对AA(BB同理)的解码能力，而涉及到的联合概率预测则可以基于Hoq+WQx_**[w₀～w_n]问题解码表示以及Hoa+WAx_**[w₀～w_n]答案解码表示，再利用此二者通过一个全连接层预测出下一个待生成的词语表示。

综上可知，本发明可通过基于端到端的深度学习框架，根据实际问询过程的问答对中所出现的专有词汇以及预设的包含专有词汇预测功能的问询指引策略，自动指引出涉及到专有词汇的下一个问题。针对专有词汇的预测，本发明的一种实施构思是通过额外监督方式，增强专有词汇的相关性权值，最终使得相对低频的专有词汇的预测准确度得到显著提升，进而相比事先设计模板的处理方式，本发明与真实问询内容建立关联，在保障指引内容质量的前提下，提升对问询中出现的专有词汇的预测能力，有效地辅助相关人员增进工作效率及后续处理的可靠性。

相应于前述各实施例及其优选方案，本发明还提供了一种问询指引装置的实施参考，如图7所示，该装置可以包括：

接收模块1，用于接收问答对；

问题指引模块2，基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题。

进一步地，所述问题指引模块具体包括：

分词特征获取单元，用于对所述问答对的语句进行分词，并得到分词特征及分词所处语句位置的位置特征；

特征拼接单元，用于将分词特征及相应的位置特征拼接，得到分词的综合特征；将所述问答对的所有分词的综合特征作为预先构建的问询指引模型的输入。

进一步地，所述问题指引模块包括：问询指引模型；

所述问询指引模型的训练组件包括：

专有词汇识别单元，用于在所述问询指引模型的训练阶段，识别出输入数据及输出结果中的专有词汇；

标记设置单元，用于在输入数据及输出结果中，为所述专有词汇设置标记，并通过学习得到所述标记的相关性权值；

对齐标志增强单元，用于为输入数据添加相应于所述专有词汇的所处位置的对齐标志，并基于所述对齐标志增强所述标记的相关性权值。

进一步地，所述问询指引模型具体还包括：

输入数据编码单元，用于分别对所述问答对的问题语句和答案语句进行编码，得到表征每个分词与其自身及本语句中其他分词之间相关性的编码结果；

待解码序列获取单元，用于对预测过程中的中间数据进行语句级编码，得到待解码序列；其中，所述中间数据是指当前已预测出的用于构成所述下一个问题的词语序列，当针对首个词语进行预测时，所述中间数据为预设的起始值；

解码单元，用于根据当前所述待解码序列以及所述问答对的编码结果进行解码，得到解码结果；

预测单元，用于基于所述解码结果，预测出所述词语序列的下一个词语；并且，所述预测单元具体包括专有词汇生成子单元，用于如果预测出的词语为所述标记，则在进行如上解码操作后，利用所述标记的增强后的相关性权值更新解码结果，并基于更新后的解码结果预测出所述专有词汇；

问题生成单元，用于在全部词语预测结束后，根据最终预测出的词语序列生成包含所述专有词汇的下一个问题。

综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明适用于基于硬件载体的各种实施方案，本发明以下述硬件载体作为示意性说明：

(1)一种问询指引设备，其可以包括：

存储器，用于存储计算机程序或上述装置；

处理器，用于当执行所述计算机程序或上述装置时，实现上述问询指引方法。

(2)一种可读存储介质，在所述可读存储介质上存储有计算机程序或上述装置，当所述计算机程序或上述装置被执行时，实现上述问询指引方法。

(3)一种计算机程序产品(该产品可以包括上述装置)，所述计算机程序产品在终端设备上运行时，使所述终端设备执行上述问询指引方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP；上述可读存储介质可以是ROM/RAM、磁碟或光盘等；上述设备可以是一台计算机设备(例如手机、PC终端、云平台、服务器、服务器集群或者诸如媒体网关等网络通信设备等等)。并且，该设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；存储器也可以是高速RAM存储器或非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器。

最后需说明，虽然上述装置实施例及优选方案的工作方式以及技术原理皆记载于前文，但仍需强调的是，该装置中各个部件实施例仍可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。可以把装置实施例中的模块或单元或组件等组合成一个模块或单元或组件，也可以把它们分成多个子模块或子单元或子组件予以实施。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (11)

1.一种问询指引方法，其特征在于，包括：

接收问答对；

基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题。

2.根据权利要求1所述的问询指引方法，其特征在于，所述基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题包括：

预先构建问询指引模型；

对所述问答对的语句进行分词，并得到分词特征及分词所处语句位置的位置特征；

将分词特征及相应的位置特征拼接，得到分词的综合特征；

将所述问答对的所有分词的综合特征作为所述问询指引模型的输入。

3.根据权利要求2所述的问询指引方法，其特征在于，所述问询指引模型的构建过程包括：

在所述问询指引模型的训练阶段，识别出输入数据及输出结果中的专有词汇；

在输入数据及输出结果中，为所述专有词汇设置标记，并通过学习得到所述标记的相关性权值；

为输入数据添加相应于所述专有词汇的所处位置的对齐标志，并基于所述对齐标志增强所述标记的相关性权值。

4.根据权利要求3所述的问询指引方法，其特征在于，所述问询指引模型执行如下编码操作：

分别对所述问答对的问题语句和答案语句进行编码，得到表征每个分词与其自身及本语句中其他分词之间相关性的编码结果。

5.根据权利要求4所述的问询指引方法，其特征在于，所述问询指引模型执行如下解码及预测操作：

对预测过程中的中间数据进行语句级编码，得到待解码序列；其中，所述中间数据是指当前已预测出的用于构成所述下一个问题的词语序列，当针对首个词语进行预测时，所述中间数据为预设的起始值；

根据当前所述待解码序列以及所述问答对的编码结果进行解码，得到解码结果；

基于所述解码结果，预测出所述词语序列的下一个词语；

并且，如果预测出的词语为所述标记，则在进行如上解码操作后，利用所述标记的增强后的相关性权值更新解码结果，并基于更新后的解码结果预测出所述专有词汇；

重复上述解码及预测过程直至全部词语预测结束，并根据最终预测出的词语序列生成包含所述专有词汇的下一个问题。

6.一种问询指引装置，其特征在于，包括：

接收模块，用于接收问答对；

问题指引模块，基于所述问答对中的专有词汇以及预设的问询指引策略，预测并输出包含所述专有词汇的下一个问题。

7.根据权利要求6所述的问询指引装置，其特征在于，所述问题指引模块包括：问询指引模型；

所述问询指引模型的训练组件包括：

专有词汇识别单元，用于在所述问询指引模型的训练阶段，识别出输入数据及输出结果中的专有词汇；

标记设置单元，用于在输入数据及输出结果中，为所述专有词汇设置标记，并通过学习得到所述标记的相关性权值；

对齐标志增强单元，用于为输入数据添加相应于所述专有词汇的所处位置的对齐标志，并基于所述对齐标志增强所述标记的相关性权值。

8.根据权利要求7所述的问询指引装置，其特征在于，所述问询指引模型具体还包括：

输入数据编码单元，用于分别对所述问答对的问题语句和答案语句进行编码，得到表征每个分词与其自身及本语句中其他分词之间相关性的编码结果；

待解码序列获取单元，用于对预测过程中的中间数据进行语句级编码，得到待解码序列；其中，所述中间数据是指当前已预测出的用于构成所述下一个问题的词语序列，当针对首个词语进行预测时，所述中间数据为预设的起始值；

解码单元，用于根据当前所述待解码序列以及所述问答对的编码结果进行解码，得到解码结果；

预测单元，用于基于所述解码结果，预测出所述词语序列的下一个词语；并且，所述预测单元具体包括专有词汇生成子单元，用于如果预测出的词语为所述标记，则在进行如上解码操作后，利用所述标记的增强后的相关性权值更新解码结果，并基于更新后的解码结果预测出所述专有词汇；

问题生成单元，用于在全部词语预测结束后，根据最终预测出的词语序列生成包含所述专有词汇的下一个问题。

9.一种问询指引设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于当执行所述计算机程序时，实现如权利要求1～5任一项所述的问询指引方法。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，当所述计算机程序被执行时，实现如权利要求1～5任一项所述的问询指引方法。

11.一种计算机程序产品，其特征在于，所述计算机程序产品在终端设备上运行时，使所述终端设备执行权利要求1～5任一项所述的问询指引方法。