CN118113849A - 基于大数据的信息咨询服务系统及方法 - Google Patents

Abstract

本发明公开了一种基于大数据的信息咨询服务系统及方法。其首先对政务咨询问题进行分词处理后通过词嵌入层以得到政务咨询词嵌入向量的序列，接着，将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量，然后，对第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量，最后，对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码后通过分类器以得到用于表示是否返回所述第一备选答案的分类结果。这样，可以实现高效、准确的政务咨询服务。

Description

基于大数据的信息咨询服务系统及方法

技术领域

本申请涉及智能化信息咨询领域，且更为具体地，涉及一种基于大数据的信息咨询服务系统及方法。

背景技术

随着大数据和人工智能技术的快速发展，政务信息化建设不断加强，政务咨询服务也越来越成为政府服务的重要组成部分。目前，随着政务咨询服务需求的日益增长，如何提高政务咨询服务的效率和质量成为了亟待解决的问题。

传统的政务咨询服务常常依靠人工进行咨询问答，这种方式存在人力资源有限、效率低下等问题，同时咨询服务问答的准确性也得不到很好的保障。并且，现有的基于规则和模板的问答系统往往需要人工编写规则和模板，无法应对问题多样化和复杂化的情况，导致传统的政务咨询服务已经无法满足公民、企业和政府部门的需求。

因此，期望一种优化的基于大数据的信息咨询服务系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于大数据的信息咨询服务系统及方法。其首先对政务咨询问题进行分词处理后通过词嵌入层以得到政务咨询词嵌入向量的序列，接着，将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量，然后，对第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量，最后，对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码后通过分类器以得到用于表示是否返回所述第一备选答案的分类结果。这样，可以实现高效、准确的政务咨询服务。

根据本申请的一个方面，提供了一种基于大数据的信息咨询服务系统，其包括：咨询问题采集模块，用于获取政务咨询问题；分词模块，用于对所述政务咨询问题进行分词处理以得到政务咨询词的序列；词嵌入模块，用于将所述政务咨询词的序列通过词嵌入层以得到政务咨询词嵌入向量的序列；咨询问题语义理解模块，用于将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量；备选答案获取模块，用于获取第一备选答案；备选答案语义理解模块，用于对所述第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量；语义关联模块，用于对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到语义匹配特征矩阵；以及备选答案返回检测模块，用于将所述语义匹配特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否返回所述第一备选答案。

在上述的基于大数据的信息咨询服务系统中，所述咨询问题语义理解模块，用于：将所述政务咨询词嵌入向量的序列输入所述语义编码器以得到多个政务咨询问题语义特征向量；以及将所述多个政务咨询问题语义特征向量进行级联以得到所述政务咨询问题语义理解特征向量。

在上述的基于大数据的信息咨询服务系统中，所述备选答案语义理解模块，用于：对所述第一备选答案进行分词处理以得到第一备选答案词的序列；将所述第一备选答案词的序列通过所述词嵌入层以得到第一备选答案词嵌入向量的序列；将所述第一备选答案词嵌入向量的序列输入所述语义编码器以得到多个第一备选答案语义特征向量；以及将所述多个第一备选答案语义特征向量进行级联以得到所述第一备选答案语义理解特征向量。

在上述的基于大数据的信息咨询服务系统中，所述语义关联模块，用于：以如下关联编码公式对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到所述语义匹配特征矩阵；其中，所述关联编码公式为：，其中，/>表示所述第一备选答案语义理解特征向量，/>表示所述第一备选答案语义理解特征向量的转置向量，/>表示所述政务咨询问题语义理解特征向量，/>表示所述语义匹配特征矩阵，/>表示向量相乘。

在上述的基于大数据的信息咨询服务系统中，还包括用于对所述基于Transformer模块和BiLSTM模型的语义编码器和所述分类器进行训练的训练模块。

在上述的基于大数据的信息咨询服务系统中，所述训练模块，包括：训练数据采集单元，用于获取训练数据，所述训练数据包括训练政务咨询问题，训练第一备选答案，以及，所述是否返回所述第一备选答案的真实值；训练分词单元，用于对所述训练政务咨询问题进行分词处理以得到训练政务咨询词的序列；训练词嵌入单元，用于将所述训练政务咨询词的序列通过所述词嵌入层以得到训练政务咨询词嵌入向量的序列；训练咨询问题语义理解单元，用于将所述训练政务咨询词嵌入向量的序列通过所述基于Transformer模块和BiLSTM模型的语义编码器以得到训练政务咨询问题语义理解特征向量；训练备选答案语义理解单元，用于对所述训练第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到训练第一备选答案语义理解特征向量；训练语义关联单元，用于对所述训练第一备选答案语义理解特征向量和所述训练政务咨询问题语义理解特征向量进行关联编码以得到训练语义匹配特征矩阵；迭代优化单元，用于对所述训练语义匹配特征矩阵展开后的训练语义匹配特征向量进行迭代优化以得到优化训练语义匹配特征向量；分类损失单元，用于将所述优化训练语义匹配特征向量通过所述分类器以得到分类损失函数值；以及训练单元，用于以所述分类损失函数值通过梯度下降的反向传播来对所述基于Transformer模块和BiLSTM模型的语义编码器和所述分类器进行训练。

在上述的基于大数据的信息咨询服务系统中，所述迭代优化单元，用于：以如下迭代优化公式对所述训练语义匹配特征矩阵展开后的训练语义匹配特征向量进行迭代优化以得到所述优化训练语义匹配特征向量；其中，所述迭代优化公式为：，其中，/>是所述训练语义匹配特征向量的第/>个特征值，/>表示特征值的概率化函数，/>是通过分类器得到的类概率值，/>是所述语义匹配特征向量的长度，且/>是权重超参数，/>是所述优化训练语义匹配特征向量的第/>个特征值。

在上述的基于大数据的信息咨询服务系统中，所述分类损失单元，用于：使用所述分类器以如下分类损失公式对所述优化训练语义匹配特征向量进行处理以得到训练分类结果，所述分类损失公式为：，其中/>所述优化训练语义匹配特征向量，/>至/>为各层全连接层的权重矩阵，/>至/>表示各层全连接层的偏置矩阵；以及计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。

在上述的基于大数据的信息咨询服务系统中，根据本申请的另一个方面，提供了一种基于大数据的信息咨询服务方法，其包括：获取政务咨询问题；对所述政务咨询问题进行分词处理以得到政务咨询词的序列；将所述政务咨询词的序列通过词嵌入层以得到政务咨询词嵌入向量的序列；将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量；获取第一备选答案；对所述第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量；对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到语义匹配特征矩阵；对所述语义匹配特征矩阵进行特征尺度作为模仿掩码的秩排列分布软匹配以得到语义匹配特征矩阵；以及将所述语义匹配特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否返回所述第一备选答案。

在上述的基于大数据的信息咨询服务方法中，将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量，包括：将所述政务咨询词嵌入向量的序列输入所述语义编码器以得到多个政务咨询问题语义特征向量；以及将所述多个政务咨询问题语义特征向量进行级联以得到所述政务咨询问题语义理解特征向量。

与现有技术相比，本申请提供的基于大数据的信息咨询服务系统及方法，其首先对政务咨询问题进行分词处理后通过词嵌入层以得到政务咨询词嵌入向量的序列，接着，将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量，然后，对第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量，最后，对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码后通过分类器以得到用于表示是否返回所述第一备选答案的分类结果。这样，可以实现高效、准确的政务咨询服务。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。

图1为根据本申请实施例的基于大数据的信息咨询服务系统的应用场景图。

图2为根据本申请实施例的基于大数据的信息咨询服务系统的框图示意图。

图3为根据本申请实施例的基于大数据的信息咨询服务系统中进一步包括的训练模块的框图示意图。

图4为根据本申请实施例的基于大数据的信息咨询服务方法的流程图。

图5为根据本申请实施例的基于大数据的信息咨询服务方法的系统架构的示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

如上所述，传统的政务咨询服务常常依靠人工进行咨询问答，这种方式存在人力资源有限、效率低下等问题，同时咨询服务问答的准确性也得不到很好的保障。并且，现有的基于规则和模板的问答系统往往需要人工编写规则和模板，无法应对问题多样化和复杂化的情况，导致传统的政务咨询服务已经无法满足公民、企业和政府部门的需求。因此，期望一种优化的基于大数据的信息咨询服务系统。

相应地，考虑到在实际进行政务咨询服务的过程中，为了提高咨询服务的效率和准确度，期望使用大数据和人工智能技术，以通过对于政务咨询问题和备选答案的语义特征匹配分析来实现政务信息的智能咨询问答服务。也就是说，政务信息智能问答系统的核心为语义的特征匹配，其关键在于对政务咨询问题和各个备选答案分别进行准确且充分地语义理解，以此来进行两者的语义关联匹配。因此，在此过程中，难点和关键在于如何进行所述政务咨询问题的语义理解特征和所述备选答案的语义理解特征之间的上下文语义关联特征信息的充分表达，以此来准确地进行政务咨询问题和答案的智能匹配，从而实现高效、准确的政务咨询服务。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述政务咨询问题的语义理解特征和所述备选答案的语义理解特征之间的上下文语义关联特征信息提供了新的解决思路和方案。

图1为根据本申请实施例的基于大数据的信息咨询服务系统的应用场景图。如图1所示，在该应用场景中，首先，获取政务咨询问题（例如，图1中所示意的D1）以及第一备选答案（例如，图1中所示意的D2），然后，将所述政务咨询问题和所述第一备选答案输入至部署有基于大数据的信息咨询服务算法的服务器中（例如，图1中所示意的S），其中，所述服务器能够使用所述基于大数据的信息咨询服务算法对所述政务咨询问题和所述第一备选答案进行处理以得到用于表示是否返回所述第一备选答案的分类结果。

图2为根据本申请实施例的基于大数据的信息咨询服务系统的框图示意图。如图2所示，根据本申请实施例的基于大数据的信息咨询服务系统100，包括：咨询问题采集模块110，用于获取政务咨询问题；分词模块120，用于对所述政务咨询问题进行分词处理以得到政务咨询词的序列；词嵌入模块130，用于将所述政务咨询词的序列通过词嵌入层以得到政务咨询词嵌入向量的序列；咨询问题语义理解模块140，用于将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量；备选答案获取模块150，用于获取第一备选答案；备选答案语义理解模块160，用于对所述第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量；语义关联模块170，用于对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到语义匹配特征矩阵；以及，备选答案返回检测模块180，用于将所述语义匹配特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否返回所述第一备选答案。

更具体地，在本申请实施例中，所述咨询问题采集模块110，用于获取政务咨询问题；所述备选答案获取模块150，用于获取第一备选答案。政务信息智能问答系统的核心为语义的特征匹配，其关键在于对政务咨询问题和各个备选答案分别进行准确且充分地语义理解，以此来进行两者的语义关联匹配。

更具体地，在本申请实施例中，所述分词模块120，用于对所述政务咨询问题进行分词处理以得到政务咨询词的序列。由于所述政务咨询问题中包含有大量的语义信息量，并且所述政务咨询问题是由多个词组成的，这些词对于政务咨询问题的语义理解具有重要意义。因此，为了能够充分且准确地提取出所述政务咨询问题中的各个词之间的上下文语义关联特征，在本申请的技术方案中，首先对所述政务咨询问题进行分词处理，以避免在后续语义理解时造成词序混乱而使得对于所述政务咨询问题的语义理解出现错误，从而得到政务咨询词的序列。

更具体地，在本申请实施例中，所述词嵌入模块130，用于将所述政务咨询词的序列通过词嵌入层以得到政务咨询词嵌入向量的序列。由于所述政务咨询问题都为政务专业术语，为了能够提高后续对于所述政务咨询问题的语义理解精准度，在本申请的技术方案中，进一步将所述政务咨询词的序列通过词嵌入层，以使用所述词嵌入层将所述政务咨询词的序列映射到嵌入向量以得到政务咨询词嵌入向量的序列。特别地，这里，所述词嵌入层可利用政务有关的专业术语语义特征的知识图谱来进行构建以使得在将所述政务咨询词的序列转化为嵌入向量的过程中引入政务的专业术语语义特征的先验信息。

更具体地，在本申请实施例中，所述咨询问题语义理解模块140，用于将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量。由于所述政务咨询问题中的各个词之间具有着基于上下文的语义关联特征信息，为了能够充分地捕捉到所述政务咨询问题中的各个词之间的语义关联特征，以准确地进行所述政务咨询问题的语义理解，以此来进行后续的语义特征匹配，在本申请的技术方案中，进一步将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量。

相应地，在一个具体示例中，所述咨询问题语义理解模块140，用于：将所述政务咨询词嵌入向量的序列输入所述语义编码器以得到多个政务咨询问题语义特征向量；以及，将所述多个政务咨询问题语义特征向量进行级联以得到所述政务咨询问题语义理解特征向量。

更具体地，在本申请实施例中，所述备选答案语义理解模块160，用于对所述第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量。以此来提取出所述第一备选答案中基于长距离依赖关联和中短距离依赖关联的上下文语义关联融合特征信息，从而得到第一备选答案语义理解特征向量。

相应地，在一个具体示例中，所述备选答案语义理解模块160，用于：对所述第一备选答案进行分词处理以得到第一备选答案词的序列；将所述第一备选答案词的序列通过所述词嵌入层以得到第一备选答案词嵌入向量的序列；将所述第一备选答案词嵌入向量的序列输入所述语义编码器以得到多个第一备选答案语义特征向量；以及，将所述多个第一备选答案语义特征向量进行级联以得到所述第一备选答案语义理解特征向量。

更具体地，在本申请实施例中，所述语义关联模块170，用于对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到语义匹配特征矩阵。以此来表示所述政务咨询问题的语义理解特征和所述第一备选答案的语义理解特征之间的上下文语义关联特征信息，即所述政务咨询问题和所述第一备选答案之间的语义特征匹配关联信息，从而得到语义匹配特征矩阵。

相应地，在一个具体示例中，所述语义关联模块170，用于：以如下关联编码公式对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到所述语义匹配特征矩阵；其中，所述关联编码公式为：，其中，/>表示所述第一备选答案语义理解特征向量，/>表示所述第一备选答案语义理解特征向量的转置向量，/>表示所述政务咨询问题语义理解特征向量，/>表示所述语义匹配特征矩阵，/>表示向量相乘。

更具体地，在本申请实施例中，所述备选答案返回检测模块180，用于将所述语义匹配特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否返回所述第一备选答案。也就是说，以所述政务咨询问题和所述第一备选答案之间的语义特征匹配度来进行分类，以此来进行所述第一备选答案是否返回的判断。

应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类（或预测）。逻辑回归（logistics）、SVM等常用于解决二分类问题，对于多分类问题（multi-class classification），同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。

相应地，在一个具体示例中，所述的基于大数据的信息咨询服务系统，还包括用于对所述基于Transformer模块和BiLSTM模型的语义编码器和所述分类器进行训练的训练模块。其中，如图3所示，所述训练模块200，包括：训练数据采集单元210，用于获取训练数据，所述训练数据包括训练政务咨询问题，训练第一备选答案，以及，所述是否返回所述第一备选答案的真实值；训练分词单元220，用于对所述训练政务咨询问题进行分词处理以得到训练政务咨询词的序列；训练词嵌入单元230，用于将所述训练政务咨询词的序列通过所述词嵌入层以得到训练政务咨询词嵌入向量的序列；训练咨询问题语义理解单元240，用于将所述训练政务咨询词嵌入向量的序列通过所述基于Transformer模块和BiLSTM模型的语义编码器以得到训练政务咨询问题语义理解特征向量；训练备选答案语义理解单元250，用于对所述训练第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到训练第一备选答案语义理解特征向量；训练语义关联单元260，用于对所述训练第一备选答案语义理解特征向量和所述训练政务咨询问题语义理解特征向量进行关联编码以得到训练语义匹配特征矩阵；迭代优化单元270，用于对所述训练语义匹配特征矩阵展开后的训练语义匹配特征向量进行迭代优化以得到优化训练语义匹配特征向量；分类损失单元280，用于将所述优化训练语义匹配特征向量通过所述分类器以得到分类损失函数值；以及，训练单元290，用于以所述分类损失函数值通过梯度下降的反向传播来对所述基于Transformer模块和BiLSTM模型的语义编码器和所述分类器进行训练。

在本申请的技术方案中，考虑到所述训练第一备选答案语义理解特征向量和所述训练政务咨询问题语义理解特征向量分别表达所述训练第一备选答案和所述训练政务咨询词的词级文本语义的上下文关联编码特征和语义特征粒度的双向进程-远程关联编码特征，因此其源数据文本语义的差异会经语义编码器的文本语义编码在不同尺度的关联特征表达方面放大，从而导致所述训练第一备选答案语义理解特征向量和所述训练政务咨询问题语义理解特征向量的整体特征分布之间存在比较显著的分布不平衡，这会影响对所述训练第一备选答案语义理解特征向量和所述训练政务咨询问题语义理解特征向量进行逐位置关联编码的关联编码效果，从而导致所述训练语义匹配特征矩阵由于高维特征的空间异质分布引起的逐特征值特征分布差异性，使得所述训练语义匹配特征矩阵通过分类器进行分类时，由于局部特征分布的基于特征值数值分布的不一致性而影响类回归迭代收敛速度。

由此，本申请在每次所述训练语义匹配特征矩阵展开后的训练语义匹配特征向量通过分类器进行分类回归的迭代时，对所述训练语义匹配特征向量进行迭代优化。

相应地，在一个具体示例中，所述迭代优化单元270，用于：以如下迭代优化公式对所述训练语义匹配特征矩阵展开后的训练语义匹配特征向量进行迭代优化以得到所述优化训练语义匹配特征向量；其中，所述迭代优化公式为：，其中，/>是所述训练语义匹配特征向量的第/>个特征值，/>表示特征值的概率化函数，即将特征值/>映射到/>区间的概率化函数，/>是通过分类器得到的类概率值，/>是所述语义匹配特征向量的长度，且/>是权重超参数，/>是所述优化训练语义匹配特征向量的第/>个特征值。

这里，通过将伯努利概率似然性分布作为权威元实体来进行所述训练语义匹配特征向量的特征值基于伯努利概率分布/>的高层级类决策，并引入相对于特征集合整体的概率密度空间映射分配，从而经由确定所述训练语义匹配特征向量的特征值/>相对于类概率映射的关键见解，来实现所述训练语义匹配特征向量的特征值/>基于类概率分布/>的与类收敛的匹配功能正确性，以通过收敛性能优越性来促进样本迭代收敛，提升分类训练速度。这样，能够准确地进行政务咨询问题和答案的智能匹配，从而实现高效、准确的政务咨询服务。

相应地，在一个具体示例中，所述分类损失单元280，用于：使用所述分类器以如下分类损失公式对所述优化训练语义匹配特征向量进行处理以得到训练分类结果，所述分类损失公式为：，其中/>表示所述优化训练语义匹配特征向量，/>至/>为各层全连接层的权重矩阵，/>至/>表示各层全连接层的偏置矩阵；以及，计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。

综上，基于本申请实施例的基于大数据的信息咨询服务系统100被阐明，其首先对政务咨询问题进行分词处理后通过词嵌入层以得到政务咨询词嵌入向量的序列，接着，将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量，然后，对第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量，最后，对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码后通过分类器以得到用于表示是否返回所述第一备选答案的分类结果。这样，可以实现高效、准确的政务咨询服务。

如上所述，根据本申请实施例的基于本申请实施例的基于大数据的信息咨询服务系统100可以实现在各种终端设备中，例如具有基于本申请实施例的基于大数据的信息咨询服务算法的服务器等。在一个示例中，基于本申请实施例的基于大数据的信息咨询服务系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于本申请实施例的基于大数据的信息咨询服务系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于本申请实施例的基于大数据的信息咨询服务系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于本申请实施例的基于大数据的信息咨询服务系统100与该终端设备也可以是分立的设备，并且该基于大数据的信息咨询服务系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图4为根据本申请实施例的基于大数据的信息咨询服务方法的流程图。图5为根据本申请实施例的基于大数据的信息咨询服务方法的系统架构的示意图。如图4和图5所示，根据本申请实施例的基于大数据的信息咨询服务方法，其包括：S110，获取政务咨询问题；S120，对所述政务咨询问题进行分词处理以得到政务咨询词的序列；S130，将所述政务咨询词的序列通过词嵌入层以得到政务咨询词嵌入向量的序列；S140，将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量；S150，获取第一备选答案；S160，对所述第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量；S170，对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到语义匹配特征矩阵；以及，S180，将所述语义匹配特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否返回所述第一备选答案。

这里，本领域技术人员可以理解，上述基于大数据的信息咨询服务方法中的各个步骤的具体操作已经在上面参考图1到图3的基于大数据的信息咨询服务系统100的描述中得到了详细介绍，并因此，将省略其重复描述。

根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。

技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。

本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (9)

1.一种基于大数据的信息咨询服务系统，其特征在于，包括：

咨询问题采集模块，用于获取政务咨询问题；

分词模块，用于对所述政务咨询问题进行分词处理以得到政务咨询词的序列；

词嵌入模块，用于将所述政务咨询词的序列通过词嵌入层以得到政务咨询词嵌入向量的序列；

咨询问题语义理解模块，用于将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量；

备选答案获取模块，用于获取第一备选答案；

备选答案语义理解模块，用于对所述第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量；

语义关联模块，用于对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到语义匹配特征矩阵；以及

备选答案返回检测模块，用于将所述语义匹配特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否返回所述第一备选答案。

2.根据权利要求1所述的基于大数据的信息咨询服务系统，其特征在于，所述咨询问题语义理解模块，用于：

将所述政务咨询词嵌入向量的序列输入所述语义编码器以得到多个政务咨询问题语义特征向量；以及

将所述多个政务咨询问题语义特征向量进行级联以得到所述政务咨询问题语义理解特征向量。

3.根据权利要求2所述的基于大数据的信息咨询服务系统，其特征在于，所述备选答案语义理解模块，用于：

对所述第一备选答案进行分词处理以得到第一备选答案词的序列；

将所述第一备选答案词的序列通过所述词嵌入层以得到第一备选答案词嵌入向量的序列；

将所述第一备选答案词嵌入向量的序列输入所述语义编码器以得到多个第一备选答案语义特征向量；以及

将所述多个第一备选答案语义特征向量进行级联以得到所述第一备选答案语义理解特征向量。

4.根据权利要求3所述的基于大数据的信息咨询服务系统，其特征在于，所述语义关联模块，用于：

以如下关联编码公式对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到所述语义匹配特征矩阵；

其中，所述关联编码公式为：

，其中，/>表示所述第一备选答案语义理解特征向量，/>表示所述第一备选答案语义理解特征向量的转置向量，/>表示所述政务咨询问题语义理解特征向量，/>表示所述语义匹配特征矩阵，/>表示向量相乘。

5.根据权利要求4所述的基于大数据的信息咨询服务系统，其特征在于，还包括用于对所述基于Transformer模块和BiLSTM模型的语义编码器和所述分类器进行训练的训练模块。

6.根据权利要求5所述的基于大数据的信息咨询服务系统，其特征在于，所述训练模块，包括：

训练数据采集单元，用于获取训练数据，所述训练数据包括训练政务咨询问题，训练第一备选答案，以及，所述是否返回所述第一备选答案的真实值；

训练分词单元，用于对所述训练政务咨询问题进行分词处理以得到训练政务咨询词的序列；

训练词嵌入单元，用于将所述训练政务咨询词的序列通过所述词嵌入层以得到训练政务咨询词嵌入向量的序列；

训练咨询问题语义理解单元，用于将所述训练政务咨询词嵌入向量的序列通过所述基于Transformer模块和BiLSTM模型的语义编码器以得到训练政务咨询问题语义理解特征向量；

训练备选答案语义理解单元，用于对所述训练第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到训练第一备选答案语义理解特征向量；

训练语义关联单元，用于对所述训练第一备选答案语义理解特征向量和所述训练政务咨询问题语义理解特征向量进行关联编码以得到训练语义匹配特征矩阵；

迭代优化单元，用于对所述训练语义匹配特征矩阵展开后的训练语义匹配特征向量进行迭代优化以得到优化训练语义匹配特征向量；

分类损失单元，用于将所述优化训练语义匹配特征向量通过所述分类器以得到分类损失函数值；以及

训练单元，用于以所述分类损失函数值通过梯度下降的反向传播来对所述基于Transformer模块和BiLSTM模型的语义编码器和所述分类器进行训练。

7.根据权利要求6所述的基于大数据的信息咨询服务系统，其特征在于，所述迭代优化单元，用于：

以如下迭代优化公式对所述训练语义匹配特征矩阵展开后的训练语义匹配特征向量进行迭代优化以得到所述优化训练语义匹配特征向量；其中，所述迭代优化公式为：

，其中，/>是所述训练语义匹配特征向量的第/>个特征值，/>表示特征值的概率化函数，/>是通过分类器得到的类概率值，是所述语义匹配特征向量的长度，且/>是权重超参数，/>是所述优化训练语义匹配特征向量的第/>个特征值。

8.根据权利要求7所述的基于大数据的信息咨询服务系统，其特征在于，所述分类损失单元，用于：

使用所述分类器以如下分类损失公式对所述优化训练语义匹配特征向量进行处理以得到训练分类结果，所述分类损失公式为：，其中/>表示所述优化训练语义匹配特征向量，/>至/>为各层全连接层的权重矩阵，/>至/>表示各层全连接层的偏置矩阵；以及

计算所述训练分类结果与所述真实值之间的交叉熵值作为所述分类损失函数值。

9.一种基于大数据的信息咨询服务方法，其特征在于，包括：

获取政务咨询问题；

对所述政务咨询问题进行分词处理以得到政务咨询词的序列；

将所述政务咨询词的序列通过词嵌入层以得到政务咨询词嵌入向量的序列；

将所述政务咨询词嵌入向量的序列通过基于Transformer模块和BiLSTM模型的语义编码器以得到政务咨询问题语义理解特征向量；

获取第一备选答案；

对所述第一备选答案进行分词处理后通过所述词嵌入层和所述基于Transformer模块和BiLSTM模型的语义编码器以得到第一备选答案语义理解特征向量；

对所述第一备选答案语义理解特征向量和所述政务咨询问题语义理解特征向量进行关联编码以得到语义匹配特征矩阵；

对所述语义匹配特征矩阵进行特征尺度作为模仿掩码的秩排列分布软匹配以得到语义匹配特征矩阵；以及

将所述语义匹配特征矩阵通过分类器以得到分类结果，所述分类结果用于表示是否返回所述第一备选答案。