CN111199149A - 一种对话系统的语句智能澄清方法及系统 - Google Patents
一种对话系统的语句智能澄清方法及系统 Download PDFInfo
- Publication number
- CN111199149A CN111199149A CN201911301662.1A CN201911301662A CN111199149A CN 111199149 A CN111199149 A CN 111199149A CN 201911301662 A CN201911301662 A CN 201911301662A CN 111199149 A CN111199149 A CN 111199149A
- Authority
- CN
- China
- Prior art keywords
- sentence
- user
- sequence
- ambiguous
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 238000005352 clarification Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 55
- 238000009826 distribution Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 7
- 238000007476 Maximum Likelihood Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241001112285 Berta Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003867 tiredness Effects 0.000 description 1
- 208000016255 tiredness Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种对话系统的语句智能澄清方法及系统，包括：对获取的用户句子序列进行分词处理，以获取所述用户句子序列中的多个单词；将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子；当所述用户句子序列为歧义句子时，以中文的结束标点符号为切分依据，对所述用户句子序列进行分句处理，以获取切分子句；计算切分子句的向量与预设的意图语料库中每个意图类别的加权平均向量的相似度，根据所述相似度确定切分子句的意图。本发明得到方法能够识别歧义句子，对歧义句子进行多意图的分类，给出对应的澄清话术，帮助用户尽快完成相关任务需求，提升了用户体验。
Description
技术领域
本发明涉及智能语义分析技术领域，并且更具体地，涉及一种对话系统的语句智能澄清方法及系统。
背景技术
对话系统的主要目标是实现人和机器的无障碍交流，可以用于闲聊，订餐馆，订票等任何机器可以代替人做的任务。然而，多数情况下用户的话带有歧义性，通过对对话数据的分析总结，可分为两种：(1)用户说的话包含多种意图，如图1左；(2)用户在表达一种意图之前，做了较长的铺垫(说了较多无用的话)，如图1右。目前已有的对话机器人，对于用户带有歧义的话，一般采用拒识，或者给予不准确的回复，让用户觉得机器人不能理解自己的话，大大降低了用户的对话体验感。
在话系统中，依据机器人的理解力，可将用户的回答分为三种：(1)机器理解用户说的话，对话继续；(2)机器完全不理解用户说的话，采用兜底话术，比如“抱歉，我没听明白”；(3)机器部分理解，但用户的话带有歧义性，需进一步澄清，给出推荐选项。针对后两种情况，是目前对话系统技术急需要解决的难题。
因此，需要一种对话系统的语句智能澄清方法及系统，以解决如何快速准确地识别歧义句子，并理解及澄清的问题。
发明内容
本发明提出一种对话系统的语句智能澄清方法及系统，以解决如何快速准确地识别歧义句子，并理解及澄清的问题。
为了解决上述问题，根据本发明的一个方面，提供了一种对话系统的语句智能澄清方法，所述方法包括：
对获取的用户句子序列进行分词处理，以获取所述用户句子序列中的多个单词；
将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子；
当所述用户句子序列为歧义句子时，以中文的结束标点符号为切分依据，对所述用户句子序列进行分句处理，以获取切分子句；
计算切分子句的向量与预设的意图语料库中每个意图类别的加权平均向量的相似度，根据所述相似度确定切分子句的意图。
优选地，其中所述将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子，包括：
利用SeqGAN模型获取用户句子序列中每个单词的embedding特征，并经过隐含层函数的映射，得到隐含层状态序列；
所述隐含层状态序列经过softmax层处理，输出每个单词的概率分布；
根据每个单词的概率分布和预设的歧义句子语料库中的数据，采用卷积神经网络进行匹配，以确定所述用户句子序列是否为歧义句子。
优选地，其中所述SeqGAN模型，包括：一个生成器G和一个判别器D，利用如下方式确定所述SeqGAN模型，包括：
收集对话数据中，将用户带歧义的句子语料作为模型的训练集{s1,s2,...,sn},其中每个si为句子序列，表示si＝{x1:T},xj表示句子中的单个词；
使用训练集对G进行预训练，以最大似然估计作为优化目标；
使用预训练的G生成多个负样本，结合真实的歧义句子对D进行预训练，D训练以交叉熵作为优化目标；
G和D相互博弈进行优化，直至SeqGAN达到收敛，确定所述SeqGAN模型。
优选地，其中所述方法还包括：
基于BERT训练模型确定预设的意图语料库中每个意图类别的加权平均向量，包括：
其中，
为多个文本
的加权平均向量；
表示第i类意图的第j个用户表达，BERT
为文本
对应的相量；i∈{1,2,...m},j∈{1,2,...n}。
优选地，其中所述根据所述相似度确定切分子句的意图，包括：
其中，BERT(xp)为切分子句xp使用BERT预训练模型获得对应的向量；thre为预设的相似度阈值；当切分子句的向量与某个意图类别的加权平均向量的相似度大于所述相似度阈值时，确定最大的相似度对应的意图类别，即为所述切分子句对应的要表达的意图。
根据本发明的另一个方面，提供了一种对话系统的语句智能澄清系统，所述系统包括：
分词单元，用于对获取的用户句子序列进行分词处理，以获取所述用户句子序列中的多个单词；
歧义句子确定单元，用于将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子；
切分子句获取单元，用于当所述用户句子序列为歧义句子时，以中文的结束标点符号为切分依据，对所述用户句子序列进行分句处理，以获取切分子句；
意图确定单元，用于计算切分子句的向量与预设的意图语料库中每个意图类别的加权平均向量的相似度，根据所述相似度确定切分子句的意图。
优选地，其中所述歧义句子确定单元，将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子，包括：
利用SeqGAN模型获取用户句子序列中每个单词的embedding特征，并经过隐含层函数的映射，得到隐含层状态序列；
所述隐含层状态序列经过softmax层处理，输出每个单词的概率分布；
根据每个单词的概率分布和预设的歧义句子语料库中的数据，采用卷积神经网络进行匹配，以确定所述用户句子序列是否为歧义句子。
优选地，其中所述SeqGAN模型，包括：一个生成器G和一个判别器D，利用如下方式确定所述SeqGAN模型，包括：
收集对话数据中，将用户带歧义的句子语料作为模型的训练集{s1,s2,...,sn},其中每个si为句子序列，表示si＝{x1:T},xj表示句子中的单个词；
使用训练集对G进行预训练，以最大似然估计作为优化目标；
使用预训练的G生成多个负样本，结合真实的歧义句子对D进行预训练，D训练以交叉熵作为优化目标；
G和D相互博弈进行优化，直至SeqGAN达到收敛，确定所述SeqGAN模型。
优选地，其中所述系统还包括：
加权平均向量确定单元，用于基于BERT训练模型确定预设的意图语料库中每个意图类别的加权平均向量，包括：
其中，
为多个文本
的加权平均向量；
表示第i类意图的第j个用户表达，BERT
为文本
对应的相量；i∈{1,2,...m},j∈{1,2,...n}。
优选地，其中所述意图确定单元，根据所述相似度确定切分子句的意图，包括：
其中，BERT(xp)为切分子句xp使用BERT预训练模型获得对应的向量；thre为预设的相似度阈值；当切分子句的向量与某个意图类别的加权平均向量的相似度大于所述相似度阈值时，确定最大的相似度对应的意图类别，即为所述切分子句对应的要表达的意图。
本发明提供了一种对话系统的语句智能澄清方法及系统，旨在解决两个主要问题，一是机器如何识别用户带歧义的句子；二是对于带歧义的句子，如何理解以及澄清的方法。针对第一个问题，采用适用于文本领域的SeqGAN生成模型，可同时学习到表示文本概率分布的生成器和识别歧义句子的判别器，其中生成器可用于产生更多的训练数据，而判别器则可以准确识别带歧义的句子，解决了第一个问题；针对第二个问题，通过构建意图分类语料库，歧义句子切分，BERT模型向量化，计算句子相似度的方式，理解用户多意图的表达，当用户输入的文本表达多种意图，含有歧义时，智能澄清并能给出对应的澄清话术，帮助用户尽快完成相关任务需求，提升了用户体验。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为带歧义句子对话示例；
图2为根据本发明实施方式的对话系统的语句智能澄清方法200的流程图；
图3为根据本发明实施方式的对话系统的智能澄清模型的算法结构图；
图4为根据本发明实施方式的智能澄清模型的总体流程图；
图5为根据本发明实施方式的智能澄清的效果图；以及
图6为根据本发明实施方式的对话系统的语句智能澄清系统600的结构示意图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图2为根据本发明实施方式的对话系统的语句智能澄清方法200的流程图。如图2所示，本发明实施方式提供的对话系统的语句智能澄清方法，采用适用于文本领域的SeqGAN生成模型，可同时学习到表示文本概率分布的生成器和识别歧义句子的判别器，其中生成器可用于产生更多的训练数据，而判别器则可以准确识别带歧义的句子；通过构建意图分类语料库，歧义句子切分，BERT模型向量化，计算句子相似度的方式，理解用户多意图的表达，当用户输入的文本表达多种意图，含有歧义时，智能澄清并能给出对应的澄清话术，帮助用户尽快完成相关任务需求，提升了用户体验。本发明实施方式提供的对话系统的语句智能澄清方法200从步骤201处开始，在步骤201对获取的用户句子序列进行分词处理，以获取所述用户句子序列中的多个单词。
在步骤202，将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子。
优选地，其中所述将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子，包括：
利用SeqGAN模型获取用户句子序列中每个单词的embedding特征，并经过隐含层函数的映射，得到隐含层状态序列；
所述隐含层状态序列经过softmax层处理，输出每个单词的概率分布；
根据每个单词的概率分布和预设的歧义句子语料库中的数据，采用卷积神经网络进行匹配，以确定所述用户句子序列是否为歧义句子。
优选地，其中所述SeqGAN模型，包括：一个生成器G和一个判别器D，利用如下方式确定所述SeqGAN模型，包括：
收集对话数据中，将用户带歧义的句子语料作为模型的训练集{s1,s2,...,sn},其中每个si为句子序列，表示si＝{x1:T},xj表示句子中的单个词；
使用训练集对G进行预训练，以最大似然估计作为优化目标；
使用预训练的G生成多个负样本，结合真实的歧义句子对D进行预训练，D训练以交叉熵作为优化目标；
G和D相互博弈进行优化，直至SeqGAN达到收敛，确定所述SeqGAN模型。
图3为根据本发明实施方式的对话系统的智能澄清模型的算法结构图。如图3所示，本发明实施方式提供的智能澄清模型的算法，包括两部分：歧义句子识别和多意图识别及澄清方面。其中，对于歧义句子的识别部分，采用适用于文本领域的SeqGAN生成模型，它的主要结构包括一个生成器(Generator，G)和一个判别器D(Discriminator，D)，在网络的训练过程中，G和D处在对抗博弈中，G的作用是生成歧义句子，使得生成的句子和真实的句子相似，D的作用则是找到生成句子和真实句子之间的差异，反过来再优化G，最终的目标是学习到可以生成目标句子的生成器G，以及识别目标句子的判别器D。最终的目标是生成具有判别歧义句子能力的判别器D和学习到歧义句子概率分布的生成器G。
在本发明的实施方式中，SeqGAN主要由生成器G和判别器D构成，生成器一般选择循环神经网络，采用LSTM作为基础单元结构。对于输入的文本序列，首先得到序列中单词的embedding表示(x1,x2,...xT)，经过隐含层函数g的映射(可包含多个隐含层)，得到隐含层状态序列(h1,h2,...hT)，其中，ht＝g(ht-1,xt)。更进一步，在得到隐含层状态序列后，加上softmax层，输出关于预测词yt的概率分布p(yt|x1,...,xt)＝z(ht)＝softmax(c+Vht)。对于判别器D，可采用卷积神经网络(Convolutional neural network,CNN)来做文本句子的分类。
具体地，在SeqGAN模型的训练过程中，G和D以相互博弈的方式进行互相提升模型效果。训练步骤如下：
S1,收集对话数据中，用户带歧义的句子语料作为模型的训练集{s1,s2,...,sn},其中每个si为句子序列，表示si＝{x1:T},xj表示句子中的单个词；
S2,使用训练集对G进行预训练，以最大似然估计作为优化目标；
S3,使用预训练的G生成一堆负样本，结合真实的歧义句子对D进行预训练，D训练以交叉熵作为优化目标；
S4,G和D相互博弈优化阶段，直到SeqGAN达到收敛。
本发明实施方式提供的SeqGAN模型和通用的生成对抗网络(GenerativeAdversarial Networks,GAN)主要的区别在于，后者只能用来处理连续数据，如图像，而文本的向量是离散数据则不能适用。SeqGAN相比于GAN，通过使用强化学习中的优化方法来更新梯度，解决了GAN不能处理离散数据的问题。
在对获取的用户句子序列后，通过训练好的SeqGAN模型即可获取单词，并通过将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，即可确定所述用户句子序列是否为歧义句子。
在步骤203，当所述用户句子序列为歧义句子时，以中文的结束标点符号为切分依据，对所述用户句子序列进行分句处理，以获取切分子句。
在步骤204，计算切分子句的向量与预设的意图语料库中每个意图类别的加权平均向量的相似度，根据所述相似度确定切分子句的意图。
优选地，其中所述方法还包括：
基于BERT训练模型确定预设的意图语料库中每个意图类别的加权平均向量，包括：
其中，
为多个文本
的加权平均向量；
表示第i类意图的第j个用户表达，BERT
为文本
对应的相量；i∈{1,2,...m},j∈{1,2,...n}。
优选地，其中所述根据所述相似度确定切分子句的意图，包括：
其中，BERT(xp)为切分子句xp使用BERT预训练模型获得对应的向量；thre为预设的相似度阈值；当切分子句的向量与某个意图类别的加权平均向量的相似度大于所述相似度阈值时，确定最大的相似度对应的意图类别，即为所述切分子句对应的要表达的意图。
图3中的第二部分是意图的识别及澄清方法。在此过程中，首先需要建立一个意图分类语料库，里面存贮着每种意图下，用户常见的表达如表1所示。
表1意图分类语料库示例
表1中列举了两种意图，分别是找餐馆和打印机报修意图下用户常用的表达语句。可由此扩展为多种意图下，收集对应意图下的用户常用语句。
表示第i类意图的第j个用户表达，其中i∈{1,2,...m},j∈{1,2,...n}。
在本发明的实施方式中，对于文本
的向量表示，采用2018年Google新提出的BERT预训练模型，该模型在大量的文本语料上进行无监督学习，可学习到不同语境下句子的向量表示。针对每种意图，可以利用如下公式确定求出对应的加权平均向量
为：
当第一部分识别出带歧义的用户句子，传送到第二部分时，需对句子进行意图的识别。设待识别的歧义句子为S,使用python中的split()函数，切分依据为中文的结束标点符号,主要包括逗号，句号，问好，感叹号等。
如图5所示，对于左边的例子：“走路走的好累啊，这会肚子咕咕叫，等会想去看个电影？”。这句话可得到三个切分子句，分别是：x1＝“走路走的好累啊”(意图为打车)；x2＝“这会肚子咕咕叫”(意图为订餐馆)；以及x3＝“等会去看个电影？”(意图为订电影票)。
然后，对于每个切分子句xp，使用BERT预训练模型获得对应的向量BERT(xp)，计算气氛子句的向量与语料库中每个意图类别的平均向量求相似度，设定预设阈值thre。最后根据公式
确定切分子句的意图。其中，对于相似度simi大于阈值的意图，取最大相似度对应的意图种类，确定为子句对应要表达的意图。
图4为根据本发明实施方式的智能澄清模型的总体流程图。如图4所示，本发明提出的智能澄清模型，主要包括两部分的核心算法，首先是用户输入文本，经过歧义句子识别模型，目标是在人机对话中识别出歧义句子；然后，进入多意图识别及澄清，就是对歧义句子进行多意图的分类，给出对应的澄清话术，可进一步提升用户的满意度。图5为本发明实施方式的智能澄清的效果图。如图5所示，图5左边表明本发明能够对用户句子包含的多意图进行澄清，图5右边表明本发明能够对用户表达真实意图时，说的较多无用话进行澄清。
图6为根据本发明实施方式的对话系统的语句智能澄清系统600的结构示意图。如图6所示，本发明实施方式提供的对话系统的语句智能澄清系统600，包括：分词单元601、歧义句子确定单元602、切分子句获取单元603和意图确定单元604。
优选地，所述分词单元601，用于对获取的用户句子序列进行分词处理，以获取所述用户句子序列中的多个单词。
优选地，所述歧义句子确定单元602，用于将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子。
优选地，其中所述歧义句子确定单元602，将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子，包括：
利用SeqGAN模型获取用户句子序列中每个单词的embedding特征，并经过隐含层函数的映射，得到隐含层状态序列；
所述隐含层状态序列经过softmax层处理，输出每个单词的概率分布；
根据每个单词的概率分布和预设的歧义句子语料库中的数据，采用卷积神经网络进行匹配，以确定所述用户句子序列是否为歧义句子。
优选地，其中所述SeqGAN模型，包括：一个生成器G和一个判别器D，利用如下方式确定所述SeqGAN模型，包括：
收集对话数据中，将用户带歧义的句子语料作为模型的训练集{s1,s2,...,sn},其中每个si为句子序列，表示si＝{x1:T},xj表示句子中的单个词；
使用训练集对G进行预训练，以最大似然估计作为优化目标；
使用预训练的G生成多个负样本，结合真实的歧义句子对D进行预训练，D训练以交叉熵作为优化目标；
G和D相互博弈进行优化，直至SeqGAN达到收敛，确定所述SeqGAN模型。
优选地，所述切分子句获取单元603，用于当所述用户句子序列为歧义句子时，以中文的结束标点符号为切分依据，对所述用户句子序列进行分句处理，以获取切分子句。
优选地，所述意图确定单元604，用于计算切分子句的向量与预设的意图语料库中每个意图类别的加权平均向量的相似度，根据所述相似度确定切分子句的意图。
优选地，其中所述系统还包括：加权平均向量确定单元，用于基于BERT训练模型确定预设的意图语料库中每个意图类别的加权平均向量，包括：
其中，
为多个文本
的加权平均向量；
表示第i类意图的第j个用户表达，BERT
为文本
对应的相量；i∈{1,2,...m},j∈{1,2,...n}。
优选地，其中所述意图确定单元604，根据所述相似度确定切分子句的意图，包括：
其中，BERT(xp)为切分子句xp使用BERT预训练模型获得对应的向量；thre为预设的相似度阈值；当切分子句的向量与某个意图类别的加权平均向量的相似度大于所述相似度阈值时，确定最大的相似度对应的意图类别，即为所述切分子句对应的要表达的意图。
本发明的实施例的对话系统的语句智能澄清系统600与本发明的另一个实施例的对话系统的语句智能澄清方法100相对应，在此不再赘述。
已经通过参考少量实施方式描述了本发明。然而，本领域技术人员所公知的，正如附带的专利权利要求所限定的，除了本发明以上公开的其他的实施例等同地落在本发明的范围内。
通常地，在权利要求中使用的所有术语都根据他们在技术领域的通常含义被解释，除非在其中被另外明确地定义。所有的参考“一个/所述/该[装置、组件等]”都被开放地解释为所述装置、组件等中的至少一个实例，除非另外明确地说明。这里公开的任何方法的步骤都没必要以公开的准确的顺序运行，除非明确地说明。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种对话系统的语句智能澄清方法，其特征在于，所述方法包括：
对获取的用户句子序列进行分词处理，以获取所述用户句子序列中的多个单词；
将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子；
当所述用户句子序列为歧义句子时，以中文的结束标点符号为切分依据，对所述用户句子序列进行分句处理，以获取切分子句；
计算切分子句的向量与预设的意图语料库中每个意图类别的加权平均向量的相似度，根据所述相似度确定切分子句的意图。
2.根据权利要求1所述的方法，其特征在于，所述将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子，包括：
利用SeqGAN模型获取用户句子序列中每个单词的embedding特征，并经过隐含层函数的映射，得到隐含层状态序列；
所述隐含层状态序列经过softmax层处理，输出每个单词的概率分布；
根据每个单词的概率分布和预设的歧义句子语料库中的数据，采用卷积神经网络进行匹配，以确定所述用户句子序列是否为歧义句子。
3.根据权利要求1所述的方法，其特征在于，所述SeqGAN模型，包括：一个生成器G和一个判别器D，利用如下方式确定所述SeqGAN模型，包括：
收集对话数据中，将用户带歧义的句子语料作为模型的训练集{s1,s2,...,sn},其中每个si为句子序列，表示si＝{x1:T},xj表示句子中的单个词；
使用训练集对G进行预训练，以最大似然估计作为优化目标；
使用预训练的G生成多个负样本，结合真实的歧义句子对D进行预训练，D训练以交叉熵作为优化目标；
G和D相互博弈进行优化，直至SeqGAN达到收敛，确定所述SeqGAN模型。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于BERT训练模型确定预设的意图语料库中每个意图类别的加权平均向量，包括：
其中，
为多个文本
的加权平均向量；
表示第i类意图的第j个用户表达，
为文本
对应的相量；i∈{1,2,...m},j∈{1,2,...n}。
5.根据权利要求4所述的方法，其特征在于，所述根据所述相似度确定切分子句的意图，包括：
其中，BERT(xp)为切分子句xp使用BERT预训练模型获得对应的向量；thre为预设的相似度阈值；当切分子句的向量与某个意图类别的加权平均向量的相似度大于所述相似度阈值时，确定最大的相似度对应的意图类别，即为所述切分子句对应的要表达的意图。
6.一种对话系统的语句智能澄清系统，其特征在于，所述系统包括：
分词单元，用于对获取的用户句子序列进行分词处理，以获取所述用户句子序列中的多个单词；
歧义句子确定单元，用于将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子；
切分子句获取单元，用于当所述用户句子序列为歧义句子时，以中文的结束标点符号为切分依据，对所述用户句子序列进行分句处理，以获取切分子句；
意图确定单元，用于计算切分子句的向量与预设的意图语料库中每个意图类别的加权平均向量的相似度，根据所述相似度确定切分子句的意图。
7.根据权利要求6所述的系统，其特征在于，所述歧义句子确定单元，将所述用户句子序列中的多个单词与预设的歧义句子语料库中的数据进行匹配，以确定所述用户句子序列是否为歧义句子，包括：
利用SeqGAN模型获取用户句子序列中每个单词的embedding特征，并经过隐含层函数的映射，得到隐含层状态序列；
所述隐含层状态序列经过softmax层处理，输出每个单词的概率分布；
根据每个单词的概率分布和预设的歧义句子语料库中的数据，采用卷积神经网络进行匹配，以确定所述用户句子序列是否为歧义句子。
8.根据权利要求6所述的系统，其特征在于，所述SeqGAN模型，包括：一个生成器G和一个判别器D，利用如下方式确定所述SeqGAN模型，包括：
收集对话数据中，将用户带歧义的句子语料作为模型的训练集{s1,s2,...,sn},其中每个si为句子序列，表示si＝{x1:T},xj表示句子中的单个词；
使用训练集对G进行预训练，以最大似然估计作为优化目标；
使用预训练的G生成多个负样本，结合真实的歧义句子对D进行预训练，D训练以交叉熵作为优化目标；
G和D相互博弈进行优化，直至SeqGAN达到收敛，确定所述SeqGAN模型。
9.根据权利要求6所述的系统，其特征在于，所述系统还包括：
加权平均向量确定单元，用于基于BERT训练模型确定预设的意图语料库中每个意图类别的加权平均向量，包括：
其中，
为多个文本
的加权平均向量；
表示第i类意图的第j个用户表达，
为文本
对应的相量；i∈{1,2,...m},j∈{1,2,...n}。
10.根据权利要求9所述的系统，其特征在于，所述意图确定单元，根据所述相似度确定切分子句的意图，包括：
其中，BERT(xp)为切分子句xp使用BERT预训练模型获得对应的向量；thre为预设的相似度阈值；当切分子句的向量与某个意图类别的加权平均向量的相似度大于所述相似度阈值时，确定最大的相似度对应的意图类别，即为所述切分子句对应的要表达的意图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911301662.1A CN111199149B (zh) | 2019-12-17 | 2019-12-17 | 一种对话系统的语句智能澄清方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911301662.1A CN111199149B (zh) | 2019-12-17 | 2019-12-17 | 一种对话系统的语句智能澄清方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111199149A true CN111199149A (zh) | 2020-05-26 |
| CN111199149B CN111199149B (zh) | 2023-10-20 |
Family
ID=70746921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911301662.1A Active CN111199149B (zh) | 2019-12-17 | 2019-12-17 | 一种对话系统的语句智能澄清方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199149B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783955A (zh) * | 2020-06-30 | 2020-10-16 | 北京市商汤科技开发有限公司 | 神经网络的训练、对话生成方法及装置、存储介质 |
| CN111881179A (zh) * | 2020-07-20 | 2020-11-03 | 易通星云（北京）科技发展有限公司 | 数据匹配方法、装置及其设备、计算机存储介质 |
| CN112133306A (zh) * | 2020-08-03 | 2020-12-25 | 浙江百世技术有限公司 | 一种基于快递用户的应答方法、装置和计算机设备 |
| CN112257409A (zh) * | 2020-09-30 | 2021-01-22 | 华泰证券股份有限公司 | 一种相似句子对判断方法、系统及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015080559A2 (en) * | 2013-11-27 | 2015-06-04 | Mimos Berhad | A method and system for automated word sense disambiguation |
| CN106202029A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种指示描述信息的歧义的方法和装置 |
| CN106897263A (zh) * | 2016-12-29 | 2017-06-27 | 北京光年无限科技有限公司 | 基于深度学习的机器人对话交互方法及装置 |
| CN108388553A (zh) * | 2017-12-28 | 2018-08-10 | 广州索答信息科技有限公司 | 对话消除歧义的方法、电子设备及面向厨房的对话系统 |
| LU100532B1 (en) * | 2017-06-15 | 2018-10-01 | Univ Qilu Technology | Method and system for adjective word sense disambiguation based on dependency constraints and knowledge |
| CN108920497A (zh) * | 2018-05-23 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种人机交互方法及装置 |
| WO2019085640A1 (zh) * | 2017-10-31 | 2019-05-09 | 株式会社Ntt都科摩 | 词义消歧方法和设备、词义扩展方法、装置和设备、计算机可读存储介质 |
| CN109992648A (zh) * | 2019-04-10 | 2019-07-09 | 北京神州泰岳软件股份有限公司 | 基于词迁徙学习的深度文本匹配方法及装置 |
| CN110196913A (zh) * | 2019-05-23 | 2019-09-03 | 北京邮电大学 | 基于文本生成式的多实体关系联合抽取方法和装置 |
| CN110232114A (zh) * | 2019-05-06 | 2019-09-13 | 平安科技（深圳）有限公司 | 语句意图识别方法、装置及计算机可读存储介质 |
| CN110399474A (zh) * | 2019-07-18 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 一种智能对话方法、装置、设备及存储介质 |
| CN110427466A (zh) * | 2019-06-12 | 2019-11-08 | 阿里巴巴集团控股有限公司 | 用于问答匹配的神经网络模型的训练方法和装置 |
| CN110457457A (zh) * | 2019-08-02 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 对话生成模型的训练方法、对话生成方法及装置 |
| US20190377793A1 (en) * | 2018-06-07 | 2019-12-12 | Alibaba Group Holding Limited | Method and apparatus for establishing a hierarchical intent system |
-
2019
- 2019-12-17 CN CN201911301662.1A patent/CN111199149B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015080559A2 (en) * | 2013-11-27 | 2015-06-04 | Mimos Berhad | A method and system for automated word sense disambiguation |
| CN106202029A (zh) * | 2015-05-07 | 2016-12-07 | 阿里巴巴集团控股有限公司 | 一种指示描述信息的歧义的方法和装置 |
| CN106897263A (zh) * | 2016-12-29 | 2017-06-27 | 北京光年无限科技有限公司 | 基于深度学习的机器人对话交互方法及装置 |
| LU100532B1 (en) * | 2017-06-15 | 2018-10-01 | Univ Qilu Technology | Method and system for adjective word sense disambiguation based on dependency constraints and knowledge |
| WO2019085640A1 (zh) * | 2017-10-31 | 2019-05-09 | 株式会社Ntt都科摩 | 词义消歧方法和设备、词义扩展方法、装置和设备、计算机可读存储介质 |
| CN108388553A (zh) * | 2017-12-28 | 2018-08-10 | 广州索答信息科技有限公司 | 对话消除歧义的方法、电子设备及面向厨房的对话系统 |
| CN108920497A (zh) * | 2018-05-23 | 2018-11-30 | 北京奇艺世纪科技有限公司 | 一种人机交互方法及装置 |
| US20190377793A1 (en) * | 2018-06-07 | 2019-12-12 | Alibaba Group Holding Limited | Method and apparatus for establishing a hierarchical intent system |
| CN109992648A (zh) * | 2019-04-10 | 2019-07-09 | 北京神州泰岳软件股份有限公司 | 基于词迁徙学习的深度文本匹配方法及装置 |
| CN110232114A (zh) * | 2019-05-06 | 2019-09-13 | 平安科技（深圳）有限公司 | 语句意图识别方法、装置及计算机可读存储介质 |
| CN110196913A (zh) * | 2019-05-23 | 2019-09-03 | 北京邮电大学 | 基于文本生成式的多实体关系联合抽取方法和装置 |
| CN110427466A (zh) * | 2019-06-12 | 2019-11-08 | 阿里巴巴集团控股有限公司 | 用于问答匹配的神经网络模型的训练方法和装置 |
| CN110399474A (zh) * | 2019-07-18 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 一种智能对话方法、装置、设备及存储介质 |
| CN110457457A (zh) * | 2019-08-02 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 对话生成模型的训练方法、对话生成方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| LANTAO YU等: "SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient", 《ARXIV》, pages 1 - 11 * |
| YUAN SUN等: "QuGAN: Quasi Generative Adversarial Network for Tibetan Question Answering Corpus Generation", 《DIGITAL OBJECT IDENTIFIER》, pages 116247 - 116255 * |
| 李响等: "融合FAQ的任务型对话系统设计", 《信息工程大学学报》, vol. 20, no. 4, pages 473 - 479 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783955A (zh) * | 2020-06-30 | 2020-10-16 | 北京市商汤科技开发有限公司 | 神经网络的训练、对话生成方法及装置、存储介质 |
| CN111881179A (zh) * | 2020-07-20 | 2020-11-03 | 易通星云（北京）科技发展有限公司 | 数据匹配方法、装置及其设备、计算机存储介质 |
| CN111881179B (zh) * | 2020-07-20 | 2024-03-01 | 易通星云（北京）科技发展有限公司 | 数据匹配方法、装置及其设备、计算机存储介质 |
| CN112133306A (zh) * | 2020-08-03 | 2020-12-25 | 浙江百世技术有限公司 | 一种基于快递用户的应答方法、装置和计算机设备 |
| CN112133306B (zh) * | 2020-08-03 | 2023-10-03 | 浙江百世技术有限公司 | 一种基于快递用户的应答方法、装置和计算机设备 |
| CN112257409A (zh) * | 2020-09-30 | 2021-01-22 | 华泰证券股份有限公司 | 一种相似句子对判断方法、系统及存储介质 |
| CN112257409B (zh) * | 2020-09-30 | 2024-08-30 | 华泰证券股份有限公司 | 一种相似句子对判断方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111199149B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110609891B (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
| CN110222163B (zh) | 一种融合cnn与双向lstm的智能问答方法及系统 | |
| CN111199149B (zh) | 一种对话系统的语句智能澄清方法及系统 | |
| CN109992780B (zh) | 一种基于深度神经网络特定目标情感分类方法 | |
| CN111984766B (zh) | 缺失语义补全方法及装置 | |
| CN110555084B (zh) | 基于pcnn和多层注意力的远程监督关系分类方法 | |
| CN112417894A (zh) | 一种基于多任务学习的对话意图识别方法及识别系统 | |
| CN111966800A (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
| CN111027292B (zh) | 一种限定采样文本序列生成方法及其系统 | |
| CN111984780A (zh) | 多意图识别模型训练方法和多意图识别方法及相关装置 | |
| WO2021135457A1 (zh) | 基于循环神经网络的情绪识别方法、装置及存储介质 | |
| CN110674276B (zh) | 机器人自学习方法、机器人终端、装置及可读存储介质 | |
| CN111933127A (zh) | 一种具备自学习能力的意图识别方法及意图识别系统 | |
| CN111368066B (zh) | 获取对话摘要的方法、装置和计算机可读存储介质 | |
| CN110597968A (zh) | 一种回复选择方法及装置 | |
| CN115511069A (zh) | 神经网络的训练方法、数据处理方法、设备及存储介质 | |
| CN115130538A (zh) | 文本分类模型的训练方法、文本处理的方法、设备及介质 | |
| CN112988970A (zh) | 一种服务于智能问答系统的文本匹配算法 | |
| CN117350287B (zh) | 一种基于舆情大数据的文本情感分析方法 | |
| CN116522165B (zh) | 一种基于孪生结构的舆情文本匹配系统及方法 | |
| CN116151226B (zh) | 一种基于机器学习的聋哑人手语纠错方法、设备和介质 | |
| CN115905187B (zh) | 一种面向云计算工程技术人员认证的智能化命题系统 | |
| CN116070642A (zh) | 一种基于表情嵌入的文本情感分析方法及相关装置 | |
| CN113722477B (zh) | 基于多任务学习的网民情绪识别方法、系统及电子设备 | |
| CN115600595A (zh) | 一种实体关系抽取方法、系统、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |