CN114328908A - 一种问答语句质检方法、装置及相关产品 - Google Patents

Abstract

本申请实施例公开一种基于人工智能技术实现的问答语句质检方法、装置及相关产品。当需要质检匹配性的问答语句对，只需要将该问答语句对输入到训练好的问答语句质检模型。由于问答语句质检模型具有判定问题语句与答复语句之间匹配性的功能，因此通过该模型可以判定所输入的问答语句对中问题语句与答复语句是否匹配。进而输出结果可确定接收质检的问答语句对是否质检通过。可见本申请以训练好的问答语句质检模型实现了对问答语句的自动质检，提升了问答语句的质检效率，降低了质检成本。同时，该方案使得全量质检可实现，从而大幅提升质检的覆盖率。

Description

一种问答语句质检方法、装置及相关产品

技术领域

本申请涉及自然语言处理技术领域，尤其涉及一种问答语句质检方法、装置及相关产品。

背景技术

人与人的问答以及人机问答发生在人们日常生活的诸多场景中。以电子商务场景为例，当人们在购物平台上咨询货品信息时，由人工客服或者电子客服对消费者的提问做出答复。例如，消费者提供了个人的身材维度，咨询客服合适的衣服尺码，相应地，客服对消费者进行衣服尺码的推荐；消费者咨询某商品的质保时间，客服答复该商品的质保时间；消费者对某商品的使用方式提出疑问，客服提供该商品的正确使用方式。

无论是人工答复还是机器答复，都有可能发生答复与问题不匹配的情况。例如，答错、漏答或者敷衍答复等。为了保障客户服务的质量，通常需要对问答语句的匹配性进行质检。已有的技术中，采用人工质检问答语句，然而人工质检问答语句的效率低、成本高。另一方面，由于人工质检的效率不佳和出于对质检成本的考虑，人工质检问答语句通常是抽样进行的，因此所质检的问答语句的覆盖率较低，例如抽检5％或者10％的问答语句，难以做到对问答语句匹配性的全量质检。

发明内容

本申请实施例提供了一种问答语句质检方法、装置及相关产品，以提升对问答语句的质检效率，降低质检成本，使全量质检可实现。

有鉴于此，本申请第一方面提供了一种问答语句质检方法，方法包括：

获取待质检问答语句对，待质检问答语句对包括具有问答关系的问题语句和答复语句；

将问题语句和答复语句输入到问答语句质检模型中，以通过问答语句质检模型判定问题语句与答复语句的匹配性；

获取问答语句质检模型的输出结果，输出结果用于指示待质检问答语句对是否质检通过。

本申请第二方面提供一种问答语句质检装置，装置包括：

语句对获取单元，用于获取待质检问答语句对，待质检问答语句对包括具有问答关系的问题语句和答复语句；

语句对质检单元，用于将问题语句和答复语句输入到问答语句质检模型中，以通过问答语句质检模型判定问题语句与答复语句的匹配性；

输出结果获取单元，用于质检结果获取问答语句质检模型的输出结果，输出结果用于指示待质检问答语句对是否质检通过。

本申请第三方面提供一种问答语句质检设备，设备包括处理器以及存储器：

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令，执行如上述第一方面的问答语句质检方法的步骤。

本申请第四方面提供一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述第一方面的问答语句质检方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种问答语句质检方法、装置、设备及存储介质。在本申请中，当需要质检匹配性的问答语句对，只需要将该问答语句对输入到预先训练好的问答语句质检模型。由于问答语句质检模型具有判定问题语句与答复语句之间匹配性的功能，因此，通过该模型可以判定所输入的问答语句对中问题语句与答复语句是否匹配。进而，通过模型输出的结果来确定接收质检的问答语句对是否质检通过。例如，当模型输出该问题语句与答复语句的匹配概率为0.9，不匹配的概率为0.1时，可以基于两种概率的相对大小确定接收此模型质检后该问答语句对中问题语句与答复语句的匹配性质检不通过。可见本申请以训练好的问答语句质检模型实现了对问答语句的自动质检，提升了问答语句的质检效率，降低了质检成本。同时，该方案使得全量质检可实现，从而大幅提升质检的覆盖率。

附图说明

图1为本申请实施例提供的一种问答语句对质检方法流程图；

图2问题语句与答复语句之间问答关系的示意图；

图3为多个问答语句对正样本的示意图；

图4A为构建问答语句对负样本的一种实现方式示意图；

图4B为构建问答语句对负样本的另一种实现方式示意图；

图4C为构建问答语句对负样本的一种实现方式示意图；

图5为本申请实施例中通过不同批次归档的工单中提取的正样本构建负样本的示意图；

图6A为本申请实施例提供的一种问答语句质检模型的结构示意图；

图6B为本申请实施例提供的另一种问答语句质检模型的结构示意图；

图6C为本申请实施例提供的又一种问答语句质检模型的结构示意图；

图7为本申请实施例提供的自动方式与人工方式多重质检问答语句对的场景示意图；

图8为本申请实施例提供的问答语句质检装置的结构示意图；

图9为本申请实施例提供的一种用于问答语句质检的服务器的结构示意图；

图10为本申请实施例提供的一种用于问答语句质检的终端的结构示意图。

具体实施方式

如前文介绍，目前对问题语句和答复语句匹配性的质检通常由人工完成。人工抽检存在检测覆盖率低、效率低和成本高的问题。许多提供咨询服务的平台往往需要满足非实时的碎片化的用户咨询业务，而这类业务能够产生海量的工单。工单通过异步渠道归档汇集，工单中通常能够提取到大量的问答语句。面对数量如此庞大的工单以及问答语句，有必要提供一种更加高效、低廉和高覆盖率的问答语句质检方案。基于此需求，本申请中提供了一种自动化实现问答语句质检的解决方案。以下结合实施例和附图对技术方案的实现进行介绍和说明。

在本申请实施例中，采用人工智能的技术实现模型的训练和运用。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

其中，自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例中，所训练的模型采用机器学习的方法训练而成，且在样本的构建和模型内部对于文本的一部分处理方式采用了自然语言处理技术。

以上提及的问答语句质检方法可以应用于与屏幕具有通信关系的处理设备上，例如具备问答语句质检功能的终端设备或服务器。该方法由终端设备或服务器独立执行，也可以应用于终端设备和服务器通信的网络场景，通过终端设备和服务器配合运行。其中，终端设备可以为手机、台式计算机、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑、智能家电、智能语音交互设备等设备。服务器可以理解为是应用服务器，也可以为Web服务器，在实际部署时，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

为便于说明，以下实施例中以终端设备作为示例性的执行主体进行方案的详细阐述。

参见图1，该图为本申请实施例提供的一种问答语句质检方法的流程图。如图1所示的问答语句质检方法包括：

S101：终端设备获取待质检问答语句对。

待质检问答语句对，是指需通过本申请实施例提供的技术方案进行质检的问答语句对。待质检问答语句对包括具有问答关系的问题语句和答复语句。图2提供了问题语句与答复语句之间问答关系的示意图。如图2所示，客服侧针对用户侧的问题语句Q1进行了答复，答复语句表示为A1；类似地，客服侧针对用户侧的问题语句Q2进行了答复，答复语句表示为A2。即便答复语句A1可能是敷衍答复或者是错误的答复，答复语句A1也构成了与问题语句Q1的答复关系；A2与Q2的问答关系同理。因此，问题语句Q1和答复语句A2构成一对待质检问答语句对，问题语句Q2和答复语句A2也构成一对待质检问答语句对。对于任意一对待质检问答语句对，均可以执行后续S102步骤加以质检。

下面对获取待质检问答语句对的示例性实现方式进行介绍。

以异步系统为例，归档获得多个工单。这些工单中有可能存在一些噪声。当仅需要质检人工答复的工单时，噪声可以是非人工答复的工单。另外，如果工单中语料本身是不清晰的，那么质检的意义也是较小的，这一类工单也可以视为噪声。在去噪时，终端设备具体可以采用一些图像处理或者自然语言处理技术，从而实现对噪声的识别和筛除。需要说明的一点是，若原始的工单数据是经过编码处理的，则在去噪之前，还需要对工单数据进行解码。

对于去噪后保留下来的工单，为便于说明和区分，称为目标工单。待质检问答语句对即是从目标工单中提取。具体而言，终端设备可以从目标工单上提取具有问答关系的问题信息和答复信息。其中问题信息可以包括多个字段的内容，字段包括：问题描述、问题类型和问题详情。这些字段的内容组合起来构成问题语句。而答复信息可以是客服针对用户所提问题回复的内容，可以直接将回复的内容组合成答复语句。

在本申请实施例中，终端设备通过筛选目标工单，提升待质检问答语句对的有效性。另外，通过问题描述、问题类型和问题详情组合问题语句，丰富了问题语句中囊括的问题信息种类，从而提升了问题语句的质量和后续依据此问题语句进行质检的可靠性。

S102：终端设备将问题语句和答复语句输入到问答语句质检模型中，以通过问答语句质检模型判定问题语句与答复语句的匹配性。

本申请实施例中，问答语句质检模型为执行本实施例方法前预先训练获得的模型。经过训练，此模型能够根据输入的问题语句和答复语句，进行处理和分析，计算得到所输入的问题语句和答复语句相互匹配的概率和不匹配的概率。其中，相互匹配具体可以是指匹配度大于预设阈值，不匹配具体可以是指匹配度小于或等于预设阈值。两种概率之和为1。因此，输出结果本质上是二分类结果。匹配度可以通过多种不同的方式标定，例如，可以根据人工设定的方式来标定不同数值的匹配度。预设阈值则可以根据实际对于模型质检准确性的要求来设定，例如要求模型对问答语句匹配性的质检结果越准确，则可以设定越高的预设阈值。

为便于理解模型功能的实现，下面介绍问答语句质检模型的一种示例性的训练方式。为了实现模型的二分类功能，终端设备构建出两种不同类型的样本，其中一种为问答语句对正样本，另一种为问答语句对负样本。问答语句对正样本包括具有问答关系并且相互匹配的问题语句和答复语句，问答语句对负样本包括不匹配的问题语句和答复语句。在训练阶段，分别将问答语句对正样本和问答语句对负样本输入至初始质检模型中。初始质检模型中的参数会随着训练过程发生调整。具体地，根据初始质检模型的输出结果和输入至初始质检模型中的样本的标签之间的差异，对初始质检模型进行调整，直至满足训练截止条件，获得问答语句质检模型。问答语句对正样本的标签为第一类别，第一类别相应的匹配概率应当为1，不匹配的概率为0。问答语句对负样本的标签为第二类别，第二类别相应的匹配概率应当为0，不匹配的概率为1。匹配概率和不匹配概率，分别是指所输入的问答语句对属于第一类别(问题语句与答复语句相互匹配，质检通过)的概率和属于第二类别(问题语句与答复语句不匹配，质检不通过)的概率。相应地，模型的输出结果包括匹配概率和不匹配概率。

在以上实施例中，训练截止条件可以包括多种形式，例如可以是训练的迭代次数达到预设次数，或者损失值小于预设数值等。训练截止条件可以根据实际需求进行设定，故此处对于训练截止条件不做限定。

终端设备通过以上样本的选取和迭代训练，学习调整模型系数，最终获得的问答语句对质检模型已经能够实现判定所输入的待质检问答语句对中问题语句与答复语句是否匹配的功能。

S103：终端设备获取问答语句质检模型的输出结果，输出结果用于指示待质检问答语句对是否质检通过。

具体而言，当输出结果中，问题语句与答复语句的匹配概率大于不匹配概率，则指示待质检问答语句对通过质检，经本方案终端设备自动的质检，问题语句与答复语句相互匹配。而当输出结果中，问题语句与答复语句的匹配概率小于不匹配概率时，则指示待质检问答语句对的质检不通过，经本方案自动的质检，问题语句与答复语句不匹配。

在以上实施例介绍的技术方案中，通过预先训练获得的问答语句对质检模型，可实现对于具有问答关系的问题语句和答复语句之间匹配性的自动质检。由于这一过程中质检是可以自动完成的，因此不需要人工逐一审核，降低了对人工质检的依赖性，从而提升了质检效率，并降低了质检成本。另外，由于自动化质检问答语句对克服了人工质检的效率低和成本高的问题，因此，可以实现更高覆盖度的质检。例如，可以实现对海量工单中问题语句与答复语句匹配性的全量质检。

在上文介绍的模型训练过程中提及要训练问答语句对正样本和问答语句对负样本。样本的数量和质量通常关系着模型的训练效果，关系着模型训练后的功能可靠性。如果由人工标注样本，标注的成本会非常高。为了降低标注成本，在本申请实施例中，可以通过无监督方式实现问答语句对负样本的构建。例如，默认假设从历史工单中获取到的问答语句对均为正样本，即，包含具有问答关系且相互匹配的问题语句和答复语句，可以通过将多个问答语句对正样本中问题语句和答复语句打乱关系重新配对的方式，实现对负样本的构建。

图3为多个问答语句对正样本的示意图。如图3所示，问答语句对正样本表示为：{Q1，A1}、{Q2，A2}…{Qn，An}，其中Q表示问题语句，A表示答复语句。在实际应用中，重新配对多个问答语句对正样本中问题语句与答复语句的问答关系的方式可以是随机进行的，可以是按照一定规律进行的。例如，将某一问答语句对正样本中的问题语句(或答复语句)替换为随机的另一其他问答语句对正样本的问题语句(或答复语句)；或者，根据序号规律和预设数值间隔x(x为非0整数)，将正样本中序号为w+x的问题语句(或答复语句)替换到序号为w的问题语句(或答复语句)的位置上，其中w为正整数。当然，以上所列举的随机或者依据一定规律重新配对问答关系获得负样本的方式仅作为示例，本申请实施例中对此不做限定。另外，重新配对问答关系的范围可以是全部问答语句对正样本，也可以是部分问答语句对正样本。对于部分问答语句对正样本需要重新配对问答关系以形成负样本的情景，具体实现时，可以是随机选定这些正样本，也可以是根据工单归档时间、问题类型等因素选定这些正样本。

下面介绍一种终端设备筛选部分问答语句对正样本以构建问答语句对负样本的实现方式。在一种可能实现方式中，首先从已构建的问答语句对正样本中筛选出多个作为目标样本对。筛选方式可以是依照预设概率进行筛选。例如，对于每一个，以预设概率来决定是否将其作为目标样本对用以生成负样本。作为示例，预设概率可以为0.7，当然，预设概率也可以根据实际的样本生成数量要求来进行设置。假设构建出1000万份正样本，则依照预设概率生成约700万份负样本。对于上文提及的目标样本对，可以采用多种方式来处理生成负样本，负样本的作用是改变原始的目标样本对中问题语句和答复语句的匹配性，例如通过变更目标样本对中问题语句和答复语句之间的问答关系，即可以将问题语句和答复语句具备匹配性的目标样本对更改为不匹配的负样本。从而使得负样本具备训练前文的问答语句质检模型的效用。

下面介绍几种处理目标样本对的可选实现方式。

在示例的一种处理方式中，终端设备将目标样本对中的问题语句替换为其他问答语句正样本中的问题语句，获得问答语句对负样本。图4A为构建问答语句对负样本的一种实现方式示意图。假设{Q1，A1}为目标样本对，则形成的问答语句对负样本表示为{Qn，A1}，其中Qn表示目标样本对{Q1，A1}以外的其他问答语句对正样本的问题语句。

在示例的另一种处理方式中，终端设备将目标样本对中的答复语句替换为其他问答语句正样本中的答复语句，获得问答语句对负样本。图4B为构建问答语句对负样本的另一种实现方式示意图。假设{Q1，A1}为目标样本对，则形成的问答语句对负样本表示为{Q1，Am}，其中Am表示目标样本对{Q1，A1}以外的其他问答语句对正样本的答复语句。

在示例的又一种处理方式中，终端设备将目标样本对中的问题语句和答复语句相互颠倒，获得问答语句对负样本。图4C为构建问答语句对负样本的一种实现方式示意图。假设{Q1，A1}为目标样本对，则形成的问答语句对负样本表示为{A1，Q1}。结合以上示例处理方式，可知基于目标样本对获得的问答语句对负样本相比于原本的目标样本对，问题语句和答复语句的问答关系被重新配对。

在以上实施例中，终端设备通过选取目标样本对进而构建问答语句对负样本，实现了数据增强。以问答语句对正样本作为数据基础构建问答语句对负样本，便实现无监督学习下的样本标注，节省了对数据的人工标注成本，同时提升了人工标注效率。上述实施例中，终端设备可以将历史工单中提取的问答语句对作为正样本，还可以将已经经过人工标注过的正样本(全部或者部分)作为构建负样本的数据基础。

实际应用中，终端设备通过异步系统在同一批次归档获得的工单构建出的问答语句对正样本之间存在的关联性可能更强。为了提升构建出的问答语句对负样本的质量，终端设备在构建问答语句对负样本时，可以提升负样本的质量，从而促进训练出的模型的效果。图5为本申请实施例中通过不同批次归档的工单中提取的正样本构建负样本的示意图。如图5所示，一些批次归档的工单中提取的正样本中答复语句被替换为了其他批次归档的工单中提取的正样本中答复语句。即前述目标样本对与其他问答语句正样本来源于异步系统不同批次归档的工单。例如图5中第1批归档获得的第1对正样本作为目标样本对，该目标样本对中问题语句Q11与第5批归档获得的正样本中问答语句对正样本的答复语句A57重组为问答语句对负样本{Q11，A57}；第1批归档获得的第2对正样本作为目标样本对，该目标样本对中问题语句Q12与第9批归档获得的正样本中答复语句A98重组为问答语句对负样本{Q12，A98}。

下面介绍问答语句质检模型的结构，以便于理解模型对所输入的数据的处理方式。

问答语句质检模型包括：输入层、编码层、分类输入层和分类层。从模型的输入端到模型的输出端，依次是输入层、编码层、分类输入层和分类层，即输入层的输出作为编码层的输入；编码层的输出作为分类输入层的输入；分类输入层的输出作为分类层的输入。而分类层的输出作为整个模型的输出。图6A为本申请实施例提供的一种问答语句质检模型的结构示意图。可以理解的是，在结构中各层之间的关系与训练完成获得的问答语句对质检模型的结构中各层之间的关系相同。

实际应用中，问答语句质检模型中输入层可以对于输入的问题语句对中问题语句和答复语句分别做出处理，再将处理结果交由后续的逐层做处理。图6B还提供了另一种问答语句质检模型的结构示意图。如图6B所示，问答语句对正样本或者负样本中，问题语句和答复语句需要在输入层的不同输入端分别输入。

下面介绍模型中每一层的具体功能。

输入层用于将待质检问答语句对的问题语句和答复语句分别进行分词，将问题语句的分词结果转换为问题词向量，并将答复语句的分词结果转换为答复词向量。图6C为本申请实施例提供的又一种问答语句质检模型的结构示意图。在图6C中输入层具体包括分词处理层和词嵌入层。其中分词处理层将输入的语句进行分词处理，词嵌入层则用于完成分词结果到词向量的转换。如图6C所示的u1～un表示问题语句的分词结果，v1～vm表示答复语句的分词结果。

编码层用于对问题词向量编码，获得问题向量，以及用于对答复词向量编码，获得答复向量。编码层包括以下一种或多种编码器的组合形式：CNN(卷积神经网络，Convolutional Neural Networks)编码器、LSTM(长短期记忆网络，Long Short-TermMemory)编码器、BiLSTM(双向长短期记忆网络，)编码器、BERT(由Google AI研究院提出的一种预训练模型)编码器、RoBERTa(BERT的改进版)编码器或者Word-Average(词向量平均模型)编码器。当使用多种不同编码器时，可以便于模型在训练过程和使用过程中学习到更多不同的知识，进而提升模型的泛化能力。例如，编码层采用CNN编码器和LSTM编码器，其中CNN编码器可以捕捉N-gram的信息，而LSTM则可以相对轻松地编码文本信息。实际应用中对于编码器的组合应用方式不加以限定。

在图6C示意的模型结构中，编码层采用了CNN编码器和LSTM编码器，还包括一拼接层，拼接层的功能通过拼接符号表示。CNN编码器，用于通过CNN结构对问题词向量编码，获得第一问题向量，以及用于通过CNN结构对答复词向量编码，获得第一答复向量。LSTM编码器，用于通过LSTM结构对问题词向量编码，获得第二问题向量，以及用于通过LSTM结构对答复词向量编码，获得第二答复向量。结合图6C的拼接符号以及拼接后的输出内容可知，拼接层，用于将第一问题向量和第二问题向量拼接为问题向量Qemb，以及用于将第一答复向量和第二答复向量拼接为答复向量Aemb。

对于编码层最终输出的问题向量和答复向量，由分类输入层基于此再次扩展了对于分类层的输入内容。具体地，分类输入层基于问题向量和答复向量进行运算处理，得到两个新的向量，称为第一向量和第二向量。

具体而言，分类输入层用于基于问题向量和答复向量进行处理，获得第一向量和第二向量，其后对问题向量、答复向量、第一向量和第二向量进行拼接，获得拼接后向量。其中，第一向量用于表征问题向量和答复向量之间的差异，第二向量用于表征问题向量和答复向量之间的关系。

在一种可选实现方式中，分类输入层根据问题向量和答复向量，获取问题向量与答复向量之差的绝对值作为第一向量。分类输入层根据问题向量和答复向量，获取问题向量与答复向量的互相关结果作为第二向量。拼接后向量可以表示如下：

[Qemb，Aemb，abs(Qemb-Aemb)，Qemb*Aemb]

其中，abs(Qemb-Aemb)表示第一向量，Qemb*Aemb表示第二向量。拼接后向量中的第一向量和第二向量将在分类层中提供更加丰富的信息，便于提升模型的分类准确性，实现最终的质检目的，并提升质检准确性。分类层用于基于拼接后向量学习，预测待质检问答语句对中问题语句与答复语句的相互匹配的概率和不匹配的概率，并将预测的概率输出。

参见图6C所示的模型结构，在分类层中具体可以包括：向量空间融合层、向量空间转换层和softmax函数。其中，向量空间融合层可以基于拼接后向量，尤其是其中的第一向量来忽略问题向量和答复向量的顺序，以及通过第二向量实现对问题向量和答复向量之间关系的组合。向量空间转换层是模型学习分类的一个隐层。Softmax函数则用于获取各类预测概率，即，包括问题语句与答复语句之间相互匹配的概率和不匹配的概率。

通过图6C不难发现，本申请实施例中可以采用一种图6C所示的基于Infersent的问答语句质检模型，实现对待质检问答语句对匹配性的质检。在图6C中，编码层采用了CNN和LSTM两种编码器分别对输入层输出的词向量。如上文提及的，还可以采用其他形式的单一种类编码器或不同种类组合的编码器。不同形式的编码层对应的训练后的问答语句对质检模型后续采用了测试集进行测试。其中，测试集可以是通过实时收集工单提取出的问答语句对。经过使用测试集测试，得到不同形式的编码层对应的模型的测试集质检结果准确率如下表1所示。

表1模型测试集质检结果准确率与编码层形式的对照表

BiLSTM、Self-Attention(BERT的结构单元)通常会考虑上下文。由于异步系统归档的工单文本通常较长并出现大量无用词，使用相对复杂编码器结构的模型更容易产生过拟合的问题。使用Word-Average形式编码器的模型泛化性能会更好一些，因为Word-Average对于主题分类等任务效果较好。实际应用中可能不需要关注全文，只需关注某些词或者句子，以及问题与答复的主题是否一致。

结合实际的测试效果，发明人还发现，对于输入层中的词嵌入层，当编码层使用非BERT系列的编码器时，该词嵌入层可以使用Word2Vec(词转变为向量的模型)、Glove模型、ELMo模型，并通过测试，训练获得的质检模型具备较好的效果。

对于通过以上实施例获得的模型的输出结果，为了进一步增加质检的可靠性，减少对于工单中问答不匹配问题的识别失误率，还可以将不匹配的问答语句对交由人工继续审核。从而获得多重审核后的最终质检结果。

图7为自动方式与人工方式多重质检问答语句对的场景示意图。如图7所示，问答语句对质检设备首先获取待质检问答语句对，接着将其输入到问答语句质检模型中，获得问答语句质检模型的输出结果。当输出结果指示质检不通过时，该设备再向人工质检平台提供待质检问答语句对。经过人工审核，人工质检平台会向问答语句对质检设备反馈对该问答语句对的人工质检结果。问答语句对质检设备获取人工质检平台对待质检问答语句对的人工质检结果后，若确定人工质检结果指示待质检问答语句对人工质检不通过，则将待质检问答语句对上报给业务系统。前台的业务系统可以针对该问答语句对进行业务处理。例如，对该问答语句对所来源的工单进行查询，获取用户在业务系统中提供的账户信息，以便进行道歉、重新答复等措施，从而提升用户的问答体验。

基于以上实施例介绍的问答语句质检方法，相应地本申请还提供了一种问答语句质检装置。以下结合实施例和附图对该装置的具体实现进行说明。如图8所示为问答语句质检装置的结构示意图。在图8所示的装置结构中，可以看到，问答语句质检装置包括：

语句对获取单元81，用于获取待质检问答语句对，所述待质检问答语句对包括具有问答关系的问题语句和答复语句；

语句对质检单元82，用于将所述问题语句和所述答复语句输入到问答语句质检模型中，以通过所述问答语句质检模型判定所述问题语句与所述答复语句的匹配性；

输出结果获取单元83，用于质检结果获取所述问答语句质检模型的输出结果，所述输出结果用于指示所述待质检问答语句对是否质检通过。

可选地，问答语句质检装置还包括：模型训练单元。该模型训练单元用于执行以下操作训练获得问答语句对质检模型：

构建问答语句对正样本和问答语句对负样本，其中，所述问答语句对正样本包括具有问答关系并且相互匹配的问题语句和答复语句，所述问答语句对负样本包括不匹配的问题语句和答复语句；

分别将所述问答语句对正样本和所述问答语句对负样本输入至初始质检模型中；

根据所述初始质检模型的输出结果和输入至所述初始质检模型中的样本的标签之间的差异，对所述初始质检模型进行调整，直至满足训练截止条件，获得所述问答语句质检模型。

可选地，模型训练单元用于将多个所述问答语句对正样本中的问题语句和答复语句的问答关系打乱关系重新配对，获得所述问答语句对负样本。

可选地，模型训练单元用于从已构建的所述问答语句对正样本中筛选出多个作为目标样本对；采用以下任一方式对所述目标样本对进行处理，获得所述问答语句对负样本：

将所述目标样本对中的问题语句替换为其他问答语句正样本中的问题语句，获得所述问答语句对负样本；或者，将所述目标样本对中的答复语句替换为其他问答语句正样本中的答复语句，获得所述问答语句对负样本；或者，将所述目标样本对中的问题语句和答复语句相互颠倒，获得所述问答语句对负样本。

可选地，问答语句质检装置还包括：

第一发送单元，用于当所述输出结果指示所述待质检问答语句对质检不通过时，在所述获取所述问答语句质检模型的输出结果之后，向人工质检平台提供所述待质检问答语句对；

接收单元，用于获取人工质检平台对所述待质检问答语句对的人工质检结果；

第二发送单元，用于当所述人工质检结果指示所述待质检问答语句对人工质检不通过时，将所述待质检问答语句对上报给业务系统以使所述业务系统针对所述待质检问答语句对进行业务处理。

可选地，语句对获取单元81，包括：

去噪子单元，用于对已生成的工单去除噪声，获得目标工单；

信息提取子单元，用于提取目标工单中具有问答关系的问题信息和答复信息；

语句构建子单元，用于利用所述问题信息组成所述待质检问答语句对中的所述问题语句，并利用所述答复信息组成所述待质检问答语句对中的所述答复语句。

图9是本申请实施例提供的一种服务器结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。

服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图9所示的服务器结构。

其中，CPU 922用于执行如下步骤：

获取待质检问答语句对，所述待质检问答语句对包括具有问答关系的问题语句和答复语句；

将所述问题语句和所述答复语句输入到问答语句质检模型中，以通过所述问答语句质检模型判定所述问题语句与所述答复语句的匹配性；

获取所述问答语句质检模型的输出结果，所述输出结果用于指示所述待质检问答语句对是否质检通过。

本申请实施例还提供了另一种问答语句质检设备，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal DigitalAssistant，英文缩写：PDA)、销售终端(英文全称：Point of Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：

图10示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图10，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图10对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文缩写：LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文缩写：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，GPRS)、码分多址(英文全称：CodeDivision Multiple Access，英文缩写：CDMA)、宽带码分多址(英文全称：Wideband CodeDivision Multiple Access,英文缩写：WCDMA)、长期演进(英文全称：Long TermEvolution，英文缩写：LTE)、电子邮件、短消息服务(英文全称：Short Messaging Service，SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode，英文缩写：OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该终端所包括的处理器1080还具有以下功能：

获取待质检问答语句对，所述待质检问答语句对包括具有问答关系的问题语句和答复语句；

将所述问题语句和所述答复语句输入到问答语句质检模型中，以通过所述问答语句质检模型判定所述问题语句与所述答复语句的匹配性；

获取所述问答语句质检模型的输出结果，所述输出结果用于指示所述待质检问答语句对是否质检通过。

本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种问答语句质检方法中的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种问答语句质检方法中的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种问答语句质检方法，其特征在于，包括：

获取待质检问答语句对，所述待质检问答语句对包括具有问答关系的问题语句和答复语句；

将所述问题语句和所述答复语句输入到问答语句质检模型中，以通过所述问答语句质检模型判定所述问题语句与所述答复语句的匹配性；

获取所述问答语句质检模型的输出结果，所述输出结果用于指示所述待质检问答语句对是否质检通过。

2.根据权利要求1所述的方法，其特征在于，所述问答语句质检模型通过以下步骤训练获得：

构建问答语句对正样本和问答语句对负样本，其中，所述问答语句对正样本包括具有问答关系并且匹配度大于预设阈值的问题语句和答复语句，所述问答语句对负样本包括匹配度小于或等于所述预设阈值的问题语句和答复语句；

分别将所述问答语句对正样本和所述问答语句对负样本输入至初始质检模型中；

根据所述初始质检模型的输出结果和输入至所述初始质检模型中的样本的标签之间的差异，对所述初始质检模型进行调整，直至满足训练截止条件，获得所述问答语句质检模型。

3.根据权利要求2所述的方法，其特征在于，构建问答语句对负样本，包括：

将多个所述问答语句对正样本中的问题语句和答复语句打乱关系重新配对，获得所述问答语句对负样本。

4.根据权利要求3所述的方法，其特征在于，所述将多个所述问答语句对正样本中的问题语句和答复语句打乱关系重新配对，获得所述问答语句对负样本，包括：

从已构建的所述问答语句对正样本中筛选出多个作为目标样本对；

采用以下任一方式对所述目标样本对进行处理，获得所述问答语句对负样本：

将所述目标样本对中的问题语句替换为其他问答语句正样本中的问题语句，获得所述问答语句对负样本；或者，

将所述目标样本对中的答复语句替换为其他问答语句正样本中的答复语句，获得所述问答语句对负样本；或者，

将所述目标样本对中的问题语句和答复语句相互颠倒，获得所述问答语句对负样本。

5.根据权利要求2所述的方法，其特征在于，所述问答语句质检模型包括：输入层、编码层、分类输入层和分类层；

其中，所述输入层用于将输入的所述待质检问答语句对的问题语句和答复语句分别进行分词，将问题语句的分词结果转换为问题词向量，并将答复语句的分词结果转换为答复词向量；

所述编码层用于对所述问题词向量编码，获得问题向量，以及用于对所述答复词向量编码，获得答复向量；

所述分类输入层用于基于所述问题向量和所述答复向量进行处理，获得第一向量和第二向量，并对所述问题向量、所述答复向量、所述第一向量和所述第二向量进行拼接，获得拼接后向量；其中，所述第一向量用于表征所述问题向量和所述答复向量之间的差异，所述第二向量用于表征所述问题向量和所述答复向量之间的关系；

所述分类层用于基于所述拼接后向量学习，预测所述待质检问答语句对中问题语句与答复语句的匹配度大于所述预设阈值的概率和匹配度小于或等于所述预设阈值的概率，并将预测的概率输出。

6.根据权利要求5所述的方法，其特征在于，所述分类输入层基于所述问题向量和所述答复向量进行处理，获得所述第一向量，包括：

所述分类输入层根据所述问题向量和所述答复向量，获取所述问题向量与所述答复向量之差的绝对值作为所述第一向量。

7.根据权利要求5所述的方法，其特征在于，所述分类输入层基于所述问题向量和所述答复向量进行处理，获得所述第二向量，包括：

所述分类输入层根据所述问题向量和所述答复向量，获取所述问题向量与所述答复向量的互相关结果作为所述第二向量。

8.根据权利要求5所述的方法，其特征在于，所述编码层包括以下一种或多种编码器的组合形式：

CNN编码器、LSTM编码器、BiLSTM编码器、BERT编码器、RoBERTa编码器或者Word-Average编码器。

9.根据权利要求8所述的方法，其特征在于，所述编码层包括所述CNN编码器、所述LSTM编码器和拼接层；

所述CNN编码器，用于通过CNN结构对所述问题词向量编码，获得第一问题向量，以及用于通过CNN结构对所述答复词向量编码，获得第一答复向量；

所述LSTM编码器，用于通过LSTM结构对所述问题词向量编码，获得第二问题向量，以及用于通过LSTM结构对所述答复词向量编码，获得第二答复向量；

所述拼接层，用于将所述第一问题向量和所述第二问题向量拼接为所述问题向量，以及用于将所述第一答复向量和所述第二答复向量拼接为所述答复向量。

10.根据权利要求1-9任一项所述的方法，其特征在于，当所述输出结果指示所述待质检问答语句对质检不通过时，在所述获取所述问答语句质检模型的输出结果之后，所述方法还包括：

向人工质检平台提供所述待质检问答语句对；

获取人工质检平台对所述待质检问答语句对的人工质检结果；

当所述人工质检结果指示所述待质检问答语句对人工质检不通过时，将所述待质检问答语句对上报给业务系统以使所述业务系统针对所述待质检问答语句对进行业务处理。

11.根据权利要求1-9任一项所述的方法，其特征在于，所述获取待质检问答语句对，包括：

对已生成的工单去除噪声，获得目标工单；

提取目标工单中具有问答关系的问题信息和答复信息；

利用所述问题信息组成所述待质检问答语句对中的所述问题语句，并利用所述答复信息组成所述待质检问答语句对中的所述答复语句。

12.一种问答语句质检装置，其特征在于，包括：

语句对获取单元，用于获取待质检问答语句对，所述待质检问答语句对包括具有问答关系的问题语句和答复语句；

语句对质检单元，用于将所述问题语句和所述答复语句输入到问答语句质检模型中，以通过所述问答语句质检模型判定所述问题语句与所述答复语句的匹配性；

输出结果获取单元，用于质检结果获取所述问答语句质检模型的输出结果，所述输出结果用于指示所述待质检问答语句对是否质检通过。

13.一种问答语句质检设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-11任一项所述的问答语句质检方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-11任一项所述的问答语句质检方法。

Images