CN111460828A - 一种文本补全方法、装置及设备 - Google Patents

一种文本补全方法、装置及设备 Download PDF

Info

Publication number
CN111460828A
CN111460828A CN201910001032.6A CN201910001032A CN111460828A CN 111460828 A CN111460828 A CN 111460828A CN 201910001032 A CN201910001032 A CN 201910001032A CN 111460828 A CN111460828 A CN 111460828A
Authority
CN
China
Prior art keywords
information
layer
probability distribution
distribution information
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910001032.6A
Other languages
English (en)
Other versions
CN111460828B (zh
Inventor
杜晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910001032.6A priority Critical patent/CN111460828B/zh
Publication of CN111460828A publication Critical patent/CN111460828A/zh
Application granted granted Critical
Publication of CN111460828B publication Critical patent/CN111460828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种文本补全方法、装置及设备，其中，文本补全方法包括：获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；根据所述对话领域信息，对所述第二内容信息进行补全；其中，所述历史信息包括用户历史轮次输入的内容信息。本方案实现在文本补全方案中加入了领域信息，充分利用了用户的历史信息，不再需要人工定义规则，节省了人工成本，并且准确率更高；很好的解决了现有技术中文本补全方案准确率低、人工成本高的问题。

Description

一种文本补全方法、装置及设备
技术领域
本发明涉及语音处理技术领域，特别是指一种文本补全方法、装置及设备。
背景技术
目前，在文本补全任务中，主要有模板、文本匹配、相似度计算等方法。具体的：
模板方法需要使用者尽可能的枚举出所有可能的情况。如，在淘宝客服问答中，当用户输入‘快递’时，系统在保存模板的数据库匹配，并反馈给用户，此时在用户页面会出现‘发什么快递？’、‘什么时候发货’等问题补充。模板的方法虽然操作简单，并且不需要其他的训练样本，但只有提炼出较好模板的情况下，才会达到比较好的效果；且当数据量过大时，规则模板数量将会非常庞大，从而导致系统的查找速度下降。
文本匹配方法中，精确的子串查询是工业界和学术界中的一个常见应用,同时也是子串近似匹配的一个基础操作，常见的算法有BF、RK、KMP、BM等，这种方式虽然简便且直观，但是得出的结果有一定局限性。例如，不同的文字虽然意思相近，但用字符匹配的方式不能通过文字召回意思相近的文本，并且需要自定义标准的语料库。
相似度计算是搜索中常用的方法，也可以用在文本补全的任务中，系统首先将用户的输入使用相似度计算把语料库中最符合对话上下文信息的语句找出来，并作为候选集合，然后经过排序算法筛选出相似度高的数据，作为对用户句子的补充，这种方法同样需要庞大的语料库做支撑，且当有新领域的加入时需要不断地更新规则，增加了人工的工作量。
由上可知，传统的文本补充方法如模板、文本匹配、相似度计算等，虽然操作简单，但只有提炼出较好规则时才会达到比较好的效果；并且需要庞大的语料库做支撑，当有新领域的加入时需要不断地更新规则，增加人工的工作量。
也就是说，现有的文本补全方案存在准确率低、人工成本高的问题。
发明内容
本发明的目的在于提供一种文本补全方法、装置及设备，解决现有技术中文本补全方案准确率低、人工成本高的问题。
为了解决上述技术问题，本发明实施例提供一种文本补全方法，包括：
获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；
根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；
根据所述对话领域信息，对所述第二内容信息进行补全；
其中，所述历史信息包括用户历史轮次输入的内容信息。
可选的，所述获取用户当前轮次输入的第二内容信息，包括：
获取用户当前轮次输入的语音信息；
根据所述语音信息得到对应的内容信息，作为第二内容信息。
可选的，所述根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息，包括：
使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息。
可选的，所述使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息，包括：
使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量；
对所述系统向量和内容向量进行处理，确定对话领域信息。
可选的，所述使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量，包括：
使用卷积神经网络CNN模型或长短期记忆网络LSTM模型，对所述第二内容信息和历史信息进行编码，得到内容向量；
使用词袋模型对所述第一内容信息进行编码，得到系统向量。
可选的，所述对所述系统向量和内容向量进行处理，确定对话领域信息，包括：
将所述系统向量和内容向量进行拼接，得到待输入向量；
利用LSTM模型，对所述待输入向量进行处理，得到目标隐层信息；
利用归一化指数函数对所述目标隐层信息进行处理，确定对话领域信息。
可选的，所述根据所述对话领域信息，对所述第二内容信息进行补全，包括：
根据所述对话领域信息，调用对应的文本补全模型；
利用所述文本补全模型，对所述第二内容信息进行补全；
其中，不同的对话领域信息对应不同的文本补全模型；
不同的文本补全模型的参数配置信息至少部分不相同。
可选的，所述利用所述文本补全模型，对所述第二内容信息进行补全，包括：
利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息；
将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
根据所述整体概率分布信息，确定补全信息；
利用所述补全信息，对所述第二内容信息进行补全。
可选的，所述利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息，包括：
利用所述文本补全模型中的双向长短期记忆网络LSTM，根据向量化处理后的所述第二内容信息，得到编码层的隐藏层信息；
利用所述文本补全模型中的单向LSTM，根据所述编码层的隐藏层信息，得到解码层的隐藏层信息；
根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息和指针网络概率分布信息。
可选的，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息，包括：
利用公式一，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息；
其中，所述公式一为：
Figure BDA0001933603820000041
pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，softmax表示归一化指数函数，st表示t时刻解码层的隐层向量，
Figure BDA0001933603820000042
表示编码层所有隐层相加的一维向量，且
Figure BDA0001933603820000043
m表示编码层隐层的总数量，hi表示第i个编码层隐层，V'、V、b以及b'为所述文本补全模型中的预设参数值，t为大于0的整数，i为大于0且小于或等于m的整数；
预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的。
可选的，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到指针网络概率分布信息，包括：
根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息；
根据所述注意力分布信息，得到指针网络概率分布信息。
可选的，所述根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息，包括：
利用公式二，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到编码层中各个词的注意力分布信息；
其中，所述公式二为：
Figure BDA0001933603820000044
Figure BDA0001933603820000045
表示编码层中的第i个词在解码层的t时刻的注意力分布信息，hi表示第i个编码层隐层，st表示t时刻解码层的隐层向量，vT、wh、ws以及battn为所述文本补全模型中的预设参数值；t为大于0的整数；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量。
可选的，所述根据所述注意力分布信息，得到指针网络概率分布信息，包括：
利用公式三，根据编码层中各个词的注意力分布信息，得到编码层中各个词的指针网络概率分布信息；
其中，所述公式三为：
Figure BDA0001933603820000046
Figure BDA0001933603820000047
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息，softmax表示归一化指数函数，
Figure BDA0001933603820000051
表示编码层中的第i个词在解码层的t时刻的注意力分布信息；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数。
可选的，所述将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息，包括：
利用公式四，将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
其中，所述公式四为：
Figure BDA0001933603820000052
p(w)表示预设词表中所有的词在解码层的t时刻的整体概率分布信息，pgen表示分布相加的权重系数，0≤pgen≤1，pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，
Figure BDA0001933603820000053
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息；预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的；i:wi＝w表示第i个词是当前词w；
Figure BDA0001933603820000054
σ表示激活函数，
Figure BDA0001933603820000055
表示编码层所有隐层相加的一维向量，st表示t时刻解码层的隐层向量，xt表示t时刻解码层的输入，且
Figure BDA0001933603820000056
其中vt为所述文本补全模型中的预设参数值，
Figure BDA0001933603820000057
表示拼接符号，wt-1表示t-1时刻解码层得到的词对应的词向量；
i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数；
Figure BDA0001933603820000058
以及bptr为所述文本补全模型中的预设参数值。
本发明实施例还提供了一种文本补全装置，包括：
第一获取模块，用于获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；
第一确定模块，用于根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；
第一补全模块，用于根据所述对话领域信息，对所述第二内容信息进行补全；
其中，所述历史信息包括用户历史轮次输入的内容信息。
可选的，所述第一获取模块，包括：
第一获取子模块，用于获取用户当前轮次输入的语音信息；
第一处理子模块，用于根据所述语音信息得到对应的内容信息，作为第二内容信息。
可选的，所述第一确定模块，包括：
第一确定子模块，用于使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息。
可选的，所述第一确定子模块，包括：
第一处理单元，用于使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量；
第一确定单元，用于对所述系统向量和内容向量进行处理，确定对话领域信息。
可选的，所述第一处理单元，包括：
第一处理子单元，用于使用卷积神经网络CNN模型或长短期记忆网络LSTM模型，对所述第二内容信息和历史信息进行编码，得到内容向量；
第二处理子单元，用于使用词袋模型对所述第一内容信息进行编码，得到系统向量。
可选的，所述第一确定单元，包括：
第一拼接子单元，用于将所述系统向量和内容向量进行拼接，得到待输入向量；
第三处理子单元，用于利用LSTM模型，对所述待输入向量进行处理，得到目标隐层信息；
第一确定子单元，用于利用归一化指数函数对所述目标隐层信息进行处理，确定对话领域信息。
可选的，所述第一补全模块，包括：
第一调用子模块，用于根据所述对话领域信息，调用对应的文本补全模型；
第一补全子模块，用于利用所述文本补全模型，对所述第二内容信息进行补全；
其中，不同的对话领域信息对应不同的文本补全模型；
不同的文本补全模型的参数配置信息至少部分不相同。
可选的，所述第一补全子模块，包括：
第二处理单元，用于利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息；
第三处理单元，用于将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
第二确定单元，用于根据所述整体概率分布信息，确定补全信息；
第一补全单元，用于利用所述补全信息，对所述第二内容信息进行补全。
可选的，所述第二处理单元，包括：
第四处理子单元，用于利用所述文本补全模型中的双向长短期记忆网络LSTM，根据向量化处理后的所述第二内容信息，得到编码层的隐藏层信息；
第五处理子单元，用于利用所述文本补全模型中的单向LSTM，根据所述编码层的隐藏层信息，得到解码层的隐藏层信息；
第六处理子单元，用于根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息和指针网络概率分布信息。
可选的，所述第六处理子单元，具体用于：
利用公式一，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息；
其中，所述公式一为：
Figure BDA0001933603820000071
pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，softmax表示归一化指数函数，st表示t时刻解码层的隐层向量，
Figure BDA0001933603820000072
表示编码层所有隐层相加的一维向量，且
Figure BDA0001933603820000073
m表示编码层隐层的总数量，hi表示第i个编码层隐层，V'、V、b以及b'为所述文本补全模型中的预设参数值，t为大于0的整数，i为大于0且小于或等于m的整数；
预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的。
可选的，所述第六处理子单元，具体用于：
根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息；
根据所述注意力分布信息，得到指针网络概率分布信息。
可选的，所述根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息，包括：
利用公式二，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到编码层中各个词的注意力分布信息；
其中，所述公式二为：
Figure BDA0001933603820000081
Figure BDA0001933603820000082
表示编码层中的第i个词在解码层的t时刻的注意力分布信息，hi表示第i个编码层隐层，st表示t时刻解码层的隐层向量，vT、wh、ws以及battn为所述文本补全模型中的预设参数值；t为大于0的整数；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量。
可选的，所述根据所述注意力分布信息，得到指针网络概率分布信息，包括：
利用公式三，根据编码层中各个词的注意力分布信息，得到编码层中各个词的指针网络概率分布信息；
其中，所述公式三为：
Figure BDA0001933603820000083
Figure BDA0001933603820000084
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息，softmax表示归一化指数函数，
Figure BDA0001933603820000085
表示编码层中的第i个词在解码层的t时刻的注意力分布信息；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数。
可选的，所述第二确定单元，包括：
第七处理子单元，用于利用公式四，将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
其中，所述公式四为：
Figure BDA0001933603820000086
p(w)表示预设词表中所有的词在解码层的t时刻的整体概率分布信息，pgen表示分布相加的权重系数，0≤pgen≤1，pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，
Figure BDA0001933603820000087
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息；预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的；i:wi＝w表示第i个词是当前词w；
Figure BDA0001933603820000088
σ表示激活函数，
Figure BDA0001933603820000089
表示编码层所有隐层相加的一维向量，st表示t时刻解码层的隐层向量，xt表示t时刻解码层的输入，且
Figure BDA0001933603820000091
其中vt为所述文本补全模型中的预设参数值，
Figure BDA0001933603820000092
表示拼接符号，wt-1表示t-1时刻解码层得到的词对应的词向量；
i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数；
Figure BDA0001933603820000093
以及bptr为所述文本补全模型中的预设参数值。
本发明实施例还提供了一种文本补全设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述的文本补全方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的文本补全方法中的步骤。
本发明的上述技术方案的有益效果如下：
上述方案中，所述文本补全方法通过获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；根据所述对话领域信息，对所述第二内容信息进行补全；其中，所述历史信息包括用户历史轮次输入的内容信息；实现在文本补全方案中加入了领域信息，充分利用了用户的历史信息，不再需要人工定义规则，节省了人工成本，并且准确率更高；很好的解决了现有技术中文本补全方案准确率低、人工成本高的问题。
附图说明
图1为本发明实施例的文本补全方法流程示意图；
图2为本发明实施例的句子补全系统流程示意图；
图3为本发明实施例的领域分类模块示意图；
图4为本发明实施例的句子补全模块示意图；
图5为本发明实施例的文本补全装置结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的技术中文本补全方案准确率低、人工成本高的问题，提供一种文本补全方法，如图1所示，包括：
步骤11：获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息(比如用户点击进入微信公众号，公众号系统会首先输出一条信息，然后用户会输入一条信息)；
步骤12：根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；
步骤13：根据所述对话领域信息，对所述第二内容信息进行补全；
其中，所述历史信息包括用户历史轮次输入的内容信息。
本发明实施例提供的所述文本补全方法通过获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；根据所述对话领域信息，对所述第二内容信息进行补全；其中，所述历史信息包括用户历史轮次输入的内容信息；实现在文本补全方案中加入了领域信息，充分利用了用户的历史信息，不再需要人工定义规则，节省了人工成本，并且准确率更高；很好的解决了现有技术中文本补全方案准确率低、人工成本高的问题。
其中，所述获取用户当前轮次输入的第二内容信息，包括：获取用户当前轮次输入的语音信息；根据所述语音信息得到对应的内容信息，作为第二内容信息。
这样使得本方案能够应用于语音对话场景中的文本补全。
本发明实施例中，所述根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息，包括：使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息。
这样能够进一步使得本方案不需要人工定义规则，节省了人工成本，并且文本补全的准确率更高。
其中，所述使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息，包括：使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量；对所述系统向量和内容向量进行处理，确定对话领域信息。
具体的，所述使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量，包括：使用卷积神经网络CNN模型或长短期记忆网络LSTM模型，对所述第二内容信息和历史信息进行编码，得到内容向量；使用词袋模型对所述第一内容信息进行编码，得到系统向量。
对应的，所述对所述系统向量和内容向量进行处理，确定对话领域信息，包括：将所述系统向量和内容向量进行拼接，得到待输入向量；利用LSTM模型，对所述待输入向量进行处理，得到目标隐层信息；利用归一化指数函数对所述目标隐层信息进行处理，确定对话领域信息。
本发明实施例中，所述根据所述对话领域信息，对所述第二内容信息进行补全，包括：根据所述对话领域信息，调用对应的文本补全模型；利用所述文本补全模型，对所述第二内容信息进行补全；其中，不同的对话领域信息对应不同的文本补全模型；不同的文本补全模型的参数配置信息至少部分不相同。
其中，所述利用所述文本补全模型，对所述第二内容信息进行补全，包括：利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息；将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；根据所述整体概率分布信息，确定补全信息；利用所述补全信息，对所述第二内容信息进行补全。
具体的，所述利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息，包括：利用所述文本补全模型中的双向长短期记忆网络LSTM，根据向量化处理后的所述第二内容信息，得到编码层的隐藏层信息；利用所述文本补全模型中的单向LSTM，根据所述编码层的隐藏层信息，得到解码层的隐藏层信息；根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息和指针网络概率分布信息。
更具体的，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息，包括：利用公式一，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息；
其中，所述公式一为：
Figure BDA0001933603820000111
pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，softmax表示归一化指数函数，st表示t时刻解码层的隐层向量，
Figure BDA0001933603820000112
表示编码层所有隐层相加的一维向量，且
Figure BDA0001933603820000113
m表示编码层隐层的总数量，hi表示第i个编码层隐层，V'、V、b以及b'为所述文本补全模型中(可训练)的预设参数值，t为大于0的整数(设补全后的句子有n个词组成，t的取值范围就是[1,n]中的整数)，i为大于0且小于或等于m的整数(设编码层由m个词组成，i的取值范围为[1,m]中的整数)；
预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的。
其中，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到指针网络概率分布信息，包括：根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息；根据所述注意力分布信息，得到指针网络概率分布信息。
具体的，所述根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息，包括：利用公式二，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到编码层中各个词的注意力分布信息；
其中，所述公式二为：
Figure BDA0001933603820000121
Figure BDA0001933603820000122
表示编码层中的第i个词在解码层的t时刻的注意力分布信息，hi表示第i个编码层隐层，st表示t时刻解码层的隐层向量，vT、wh、ws以及battn为所述文本补全模型中(可训练)的预设参数值；t为大于0的整数(设补全后的句子有n个词组成，t的取值范围就是[1,n]中的整数)；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量(设编码层由m个词组成，i的取值范围为[1,m]中的整数)。
对应的，所述根据所述注意力分布信息，得到指针网络概率分布信息，包括：利用公式三，根据编码层中各个词的注意力分布信息，得到编码层中各个词的指针网络概率分布信息；
其中，所述公式三为：
Figure BDA0001933603820000123
Figure BDA0001933603820000124
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息，softmax表示归一化指数函数，
Figure BDA0001933603820000125
表示编码层中的第i个词在解码层的t时刻的注意力分布信息；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量(设编码层由m个词组成，i的取值范围为[1,m]中的整数)，t为大于0的整数(设补全后的句子有n个词组成，t的取值范围就是[1,n]中的整数)。
本发明实施例中，所述将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息，包括：利用公式四，将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
其中，所述公式四为：
Figure BDA0001933603820000131
p(w)表示预设词表中所有的词在解码层的t时刻的整体概率分布信息，pgen表示分布相加的权重系数，0≤pgen≤1，pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，
Figure BDA0001933603820000132
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息；预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的；
Figure BDA0001933603820000133
σ表示激活函数，
Figure BDA0001933603820000134
表示编码层所有隐层相加的一维向量，st表示t时刻解码层的隐层向量，xt表示t时刻解码层的输入，且
Figure BDA0001933603820000135
其中vt为所述文本补全模型中(可训练)的预设参数值，
Figure BDA0001933603820000136
表示拼接符号，wt-1表示t-1时刻解码层得到的词对应的词向量(也就是将编码层得到的向量
Figure BDA0001933603820000137
与解码层得到的词对应的词向量wt-1拼接后做线性变换)；
i为大于0且小于或等于m的整数，m表示编码层隐层的总数量(设编码层由m个词组成，i的取值范围为[1,m]中的整数)，t为大于0的整数(设补全后的句子有n个词组成，t的取值范围就是[1,n]中的整数)；
Figure BDA0001933603820000138
以及bptr为所述文本补全模型中(可训练)的预设参数值。
下面对本发明实施例提供的所述文本补全方法进行进一步说明，应用场景以对话过程中的句子补全为例。
针对上述技术问题，本发明实施例提供了一种文本补全方法，具体可以为一种句子补全方法：使用深度神经网络的方法首先通过用户与系统对话过程中的历史信息和当前用户输入的部分信息确定当前对话的领域，然后根据不同的领域调用不同的句子补全模型猜测用户希望表达的内容，从而预测用户即将输入的词句。具体可采用图2所示的方式来实现：
其中，用户在对话过程中输入语句，句子补全系统将用户输入的语句和历史信息(当前轮次对话之前的对话信息)输入领域分类模块，输出当前对话的领域，然后进入句子补全模块，尽可能的将用户语句补全，最后输出结果。本发明实施例使用用户的历史语料信息(即上述历史信息)训练模型(包括领域分类模块以及句子补全模块)，针对不同的领域中的不同用户制定个性化的句子补全方案，节省了用户时间，提高了对话效率，使得对话过程更具多样性。
关于领域识别模块，可如图3所示，用户与系统对话的轮次为1,2,3….n,一个轮次表示系统与用户一问一答一组对话，在第t轮次的领域分类过程中，模块的输入是当前轮t及历史轮次1,2...，t-1的用户输入的信息，输出当前轮t的领域类别。模块使用层级模型，包括模型上下层结构。
模型(领域识别模块)下层对应了不同的编码方式，输入用户历史轮次和当前轮次输入的对话文本，使用CNN模型或LSTM模型编码(优选n轮对话均使用同一种模型编码)，输出一个文本向量，并且每一轮次对应一个固定长度(长度都一样)的文本向量
Figure BDA0001933603820000141
来表达对话的语义信息。
当使用CNN模型对某一轮次的用户输入的信息编码时，输入为二维矩阵向量X，如公式(1)：
Figure BDA0001933603820000142
其中，xi∈Rd，Rd表示d维的实数，这里表示xi是d维的词向量，m表示句子的长度，i表示词在句子中的位置。多次卷积操作得到若干个特征图(对应图3中卷积层那部分)，卷积核为c，b为偏置向量，如公式(2)所示：
h＝f(c×X+b) (2)
h表示每次卷积得到的特征图对应的一维向量。
在池化过程中，模型使用最大值池化的方式，h中的最大值
Figure BDA0001933603820000143
最终得到某一轮次的句子向量。
当使用LSTM模型对某一轮次的用户输入的信息编码时，输入仍然为二维矩阵X，定义了输入门、遗忘门、输出门，记忆单元使用tanh(正切)激活函数进行状态更新(进行线性变换)，当用户输入的句子长度为m时，取最后一层隐层(对应图3中底层编码层中LSTM和输入层最右侧的方框)输出
Figure BDA0001933603820000144
作为某一轮次的句子向量(句子的最后一个词作为输入，输出的向量代表句子的向量)。
模型(领域识别模块)上层的输入是下层的输出，模型的上层使用LSTM模型，在上层的输入单元中，除了用户的句子向量
Figure BDA0001933603820000145
还有当前轮次系统输出的信息，系统输出的信息使用词袋模型得到一维的特征向量，然后将用户的句子向量与系统的特征向量拼接作为LSTM某一时刻的输入(其中，某一次的输入就可以认为是某一时刻，第n轮的输入，就是第n时刻)。通过计算得到输入门、输出门和遗忘门，控制其(上述某一时刻的)状态传递和输出，并使用激活函数tanh函数变换，得到下一时刻的隐层单元ht。最终将最后一层隐层(LSTM的最后时刻的隐层单元)作为softmax层的输入，输出当前轮次对话的领域信息。
使用LSTM模型进行领域分类，使用了对话过程中的历史信息，提高了计算的准确率。
关于句子补全模块(不同领域的对话对应了不同的句子补全模块，至于对应关系可提前预定义)，可如图4所示，模型(句子补全模块)的基础是seq2seq(端到端)模型，该模型将输入序列映射为另外一个输出序列，由编码层和解码层组成，编码层的对输入序列进行编码，得到语义向量，解码层是利用语义向量输出另外一种序列。在本发明实施例中，对于该模型，编码过程中的输入是当前轮次中用户输入的词X＝<x1,x2…xi…,xm>，将单词(各个单独的词汇)向量化后输入一个双向的LSTM(该双向的LSTM作为编码层)，得到隐藏层集合H＝<h1,h2…hi…,hm>(h1,h2…hi…,hm都是隐藏层)。将编码层的所有隐藏层相加作为解码层的输入。
模型(句子补全模块)的解码过程中使用单层单向LSTM，输入为编码层得到的句子向量和解码层上一时刻的输出词对应的词向量，得到隐藏层集合S＝<s1,s2…st…,sn>(s1,s2…st…,sn都是隐藏层)，生成预设词表中的所有单词在预设词表中的概率分布pvocab(w)(pvocab(w)是预设词表中的概率分布，在训练模型之前会预先设置一个词表，设词表的长度为len(vocab)，则pvocab(w)为长度为len(vocab)的向量)。
pvocab(w)的计算方式为：
Figure BDA0001933603820000151
其中，st为t时刻(生成第t个文字时)解码层的隐层向量，
Figure BDA0001933603820000152
表示编码层所有隐层相加的一维向量(即图4中的句子向量)，
Figure BDA0001933603820000153
m表示编码层隐层的总数量，hi表示第i个编码层隐层，V'、V、b以及b'为模型(句子补全模块)中(可训练)的参数(预设参数值)，t为大于0的整数(设补全后的句子有n个词组成，t的取值范围就是[1,n]中的整数)，i为大于0且小于或等于m的整数(设编码层由m个词组成，i的取值范围为[1,m]中的整数)。
此外，模型在seq2seq基础上加入指针网络pointer network(是指结合这两者进行计算得到最后的概率)，具体的计算过程为在编码过程中得到的隐藏层H与解码过程中的隐藏层S相结合计算当前(生成当前文字时)的注意力分布，在t时刻的注意力计算由公式(3)所示，pointer network概率分布计算由公式(4)所示：
Figure BDA0001933603820000154
Figure BDA0001933603820000161
其中，
Figure BDA0001933603820000162
表示编码层中的第i个词在解码层的t时刻的注意力分布信息，hi表示第i个编码层隐层，st表示t时刻解码层的隐层向量，vT、wh、ws以及battn为模型(句子补全模块)中(可训练)的参数，
Figure BDA0001933603820000163
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息(也可理解为在句子中第i个单词在t时刻在预设词表中的概率分布)；t为大于0的整数(设补全后的句子有n个词组成，t的取值范围就是[1,n]中的整数)；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量(设编码层由m个词组成，i的取值范围为[1,m]中的整数)。
最终将两种概率(seq2seq概率和pointer network概率)分布相加，得到整体的词典概率分布p(w)，由公式(5)所示：
Figure BDA0001933603820000164
其中，p(w)表示预设词表中所有的词在解码层的t时刻的整体概率分布信息，pgen表示分布相加的权重系数，0≤pgen≤1，pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，
Figure BDA0001933603820000165
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息；预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的；i:wi＝w表示第i个词是当前词w；
权重系数pgen的计算方式为
Figure BDA0001933603820000166
其中σ表示激活函数，
Figure BDA0001933603820000167
表示编码层所有隐层相加的一维向量，st表示t时刻解码层的隐层向量，xt表示t时刻解码层的输入，且
Figure BDA0001933603820000168
其中vt为所述文本补全模型中(可训练)的预设参数值，
Figure BDA0001933603820000169
表示拼接符号，wt-1表示t-1时刻解码层得到的词对应的词向量(也就是将编码层得到的向量
Figure BDA00019336038200001610
与解码层得到的词对应的词向量wt-1拼接后做线性变换)；
i为大于0且小于或等于m的整数，m表示编码层隐层的总数量(设编码层由m个词组成，i的取值范围为[1,m]中的整数)，t为大于0的整数(设补全后的句子有n个词组成，t的取值范围就是[1,n]中的整数)；
Figure BDA00019336038200001611
以及bptr为所述文本补全模型中(可训练)的预设参数值。
本发明实施例中，解码层每个时刻只产生一个词，而产生的这个词对应词向量会作为下一时刻解码层的输入，同时上一时刻的隐藏层信息会反馈给当前时刻的隐藏层，然后选择最大概率对应的词即为补全单词，直到输出句子结束符eos为止。最终生成补全句子，补全后的句子Y＝<y1,y2,y3…,yn>，y1,y2,y3…,yn均表示单词。
在此说明，上述涉及“(可训练)的预设参数值”中的预设参数值，具体可为先随机初始化为服从预设分布的参数值，然后在对应模型中进行动态调整。
由上可知，本发明实施例提供的方案，与传统的文本补充方法对比，本方案使用深度神经网络对用户句子补全，不需要人工定义规则，节省了人工成本，并且准确率更高；此外，本发明加入了领域信息，并且充分利用了用户的历史信息，针对不同的领域中的不同用户制定了个性化的句子补全方案，节省了用户时间，提高了对话效率，使得对话过程更具多样性。
本发明实施例还提供了一种文本补全装置，如图5所示，包括：
第一获取模块51，用于获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；
第一确定模块52，用于根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；
第一补全模块53，用于根据所述对话领域信息，对所述第二内容信息进行补全；
其中，所述历史信息包括用户历史轮次输入的内容信息。
本发明实施例提供的所述文本补全装置通过获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；根据所述对话领域信息，对所述第二内容信息进行补全；其中，所述历史信息包括用户历史轮次输入的内容信息；实现在文本补全方案中加入了领域信息，充分利用了用户的历史信息，不再需要人工定义规则，节省了人工成本，并且准确率更高；很好的解决了现有技术中文本补全方案准确率低、人工成本高的问题。
其中，所述第一获取模块，包括：第一获取子模块，用于获取用户当前轮次输入的语音信息；第一处理子模块，用于根据所述语音信息得到对应的内容信息，作为第二内容信息。
本发明实施例中，所述第一确定模块，包括：第一确定子模块，用于使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息。
其中，所述第一确定子模块，包括：第一处理单元，用于使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量；第一确定单元，用于对所述系统向量和内容向量进行处理，确定对话领域信息。
具体的，所述第一处理单元，包括：第一处理子单元，用于使用卷积神经网络CNN模型或长短期记忆网络LSTM模型，对所述第二内容信息和历史信息进行编码，得到内容向量；第二处理子单元，用于使用词袋模型对所述第一内容信息进行编码，得到系统向量。
对应的，所述第一确定单元，包括：第一拼接子单元，用于将所述系统向量和内容向量进行拼接，得到待输入向量；第三处理子单元，用于利用LSTM模型，对所述待输入向量进行处理，得到目标隐层信息；第一确定子单元，用于利用归一化指数函数对所述目标隐层信息进行处理，确定对话领域信息。
本发明实施例中，所述第一补全模块，包括：第一调用子模块，用于根据所述对话领域信息，调用对应的文本补全模型；第一补全子模块，用于利用所述文本补全模型，对所述第二内容信息进行补全；其中，不同的对话领域信息对应不同的文本补全模型；不同的文本补全模型的参数配置信息至少部分不相同。
其中，所述第一补全子模块，包括：第二处理单元，用于利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息；第三处理单元，用于将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；第二确定单元，用于根据所述整体概率分布信息，确定补全信息；第一补全单元，用于利用所述补全信息，对所述第二内容信息进行补全。
具体的，所述第二处理单元，包括：第四处理子单元，用于利用所述文本补全模型中的双向长短期记忆网络LSTM，根据向量化处理后的所述第二内容信息，得到编码层的隐藏层信息；第五处理子单元，用于利用所述文本补全模型中的单向LSTM，根据所述编码层的隐藏层信息，得到解码层的隐藏层信息；第六处理子单元，用于根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息和指针网络概率分布信息。
更具体的，所述第六处理子单元，具体用于：利用公式一，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息；
其中，所述公式一为：
Figure BDA0001933603820000191
pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，softmax表示归一化指数函数，st表示t时刻解码层的隐层向量，
Figure BDA0001933603820000192
表示编码层所有隐层相加的一维向量，且
Figure BDA0001933603820000193
m表示编码层隐层的总数量，hi表示第i个编码层隐层，V'、V、b以及b'为所述文本补全模型中的预设参数值，t为大于0的整数，i为大于0且小于或等于m的整数；
预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的。
其中，所述第六处理子单元，具体用于：根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息；根据所述注意力分布信息，得到指针网络概率分布信息。
具体的，所述根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息，包括：利用公式二，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到编码层中各个词的注意力分布信息；
其中，所述公式二为：
Figure BDA0001933603820000194
Figure BDA0001933603820000195
表示编码层中的第i个词在解码层的t时刻的注意力分布信息，hi表示第i个编码层隐层，st表示t时刻解码层的隐层向量，vT、wh、ws以及battn为所述文本补全模型中的预设参数值；t为大于0的整数；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量。
对应的，所述根据所述注意力分布信息，得到指针网络概率分布信息，包括：利用公式三，根据编码层中各个词的注意力分布信息，得到编码层中各个词的指针网络概率分布信息；
其中，所述公式三为：
Figure BDA0001933603820000196
Figure BDA0001933603820000197
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息，softmax表示归一化指数函数，
Figure BDA0001933603820000198
表示编码层中的第i个词在解码层的t时刻的注意力分布信息；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数。
本发明实施例中，所述第二确定单元，包括：第七处理子单元，用于利用公式四，将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
其中，所述公式四为：
Figure BDA0001933603820000201
p(w)表示预设词表中所有的词在解码层的t时刻的整体概率分布信息，pgen表示分布相加的权重系数，0≤pgen≤1，pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，
Figure BDA0001933603820000202
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息；预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的；
Figure BDA0001933603820000203
σ表示激活函数，
Figure BDA0001933603820000204
表示编码层所有隐层相加的一维向量，st表示t时刻解码层的隐层向量，xt表示t时刻解码层的输入，且
Figure BDA0001933603820000205
其中vt为所述文本补全模型中的预设参数值，
Figure BDA0001933603820000206
表示拼接符号，wt-1表示t-1时刻解码层得到的词对应的词向量；
i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数；
Figure BDA0001933603820000207
以及bptr为所述文本补全模型中的预设参数值。
其中，上述文本补全方法的所述实现实施例均适用于该文本补全装置的实施例中，也能达到相同的技术效果。
本发明实施例还提供了一种文本补全设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述的文本补全方法。
其中，上述文本补全方法的所述实现实施例均适用于该文本补全设备的实施例中，也能达到相同的技术效果。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的文本补全方法中的步骤。
其中，上述文本补全方法的所述实现实施例均适用于该计算机可读存储介质的实施例中，也能达到相同的技术效果。
需要说明的是，此说明书中所描述的许多功能部件都被称为模块/子模块/单元/子单元，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块/子模块/单元/子单元可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述原理前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (30)

1.一种文本补全方法，其特征在于，包括：
获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；
根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；
根据所述对话领域信息，对所述第二内容信息进行补全；
其中，所述历史信息包括用户历史轮次输入的内容信息。
2.根据权利要求1所述的文本补全方法，其特征在于，所述获取用户当前轮次输入的第二内容信息，包括：
获取用户当前轮次输入的语音信息；
根据所述语音信息得到对应的内容信息，作为第二内容信息。
3.根据权利要求1所述的文本补全方法，其特征在于，所述根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息，包括：
使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息。
4.根据权利要求3所述的文本补全方法，其特征在于，所述使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息，包括：
使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量；
对所述系统向量和内容向量进行处理，确定对话领域信息。
5.根据权利要求4所述的文本补全方法，其特征在于，所述使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量，包括：
使用卷积神经网络CNN模型或长短期记忆网络LSTM模型，对所述第二内容信息和历史信息进行编码，得到内容向量；
使用词袋模型对所述第一内容信息进行编码，得到系统向量。
6.根据权利要求4或5所述的文本补全方法，其特征在于，所述对所述系统向量和内容向量进行处理，确定对话领域信息，包括：
将所述系统向量和内容向量进行拼接，得到待输入向量；
利用LSTM模型，对所述待输入向量进行处理，得到目标隐层信息；
利用归一化指数函数对所述目标隐层信息进行处理，确定对话领域信息。
7.根据权利要求1所述的文本补全方法，其特征在于，所述根据所述对话领域信息，对所述第二内容信息进行补全，包括：
根据所述对话领域信息，调用对应的文本补全模型；
利用所述文本补全模型，对所述第二内容信息进行补全；
其中，不同的对话领域信息对应不同的文本补全模型；
不同的文本补全模型的参数配置信息至少部分不相同。
8.根据权利要求7所述的文本补全方法，其特征在于，所述利用所述文本补全模型，对所述第二内容信息进行补全，包括：
利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息；
将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
根据所述整体概率分布信息，确定补全信息；
利用所述补全信息，对所述第二内容信息进行补全。
9.根据权利要求8所述的文本补全方法，其特征在于，所述利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息，包括：
利用所述文本补全模型中的双向长短期记忆网络LSTM，根据向量化处理后的所述第二内容信息，得到编码层的隐藏层信息；
利用所述文本补全模型中的单向LSTM，根据所述编码层的隐藏层信息，得到解码层的隐藏层信息；
根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息和指针网络概率分布信息。
10.根据权利要求9所述的文本补全方法，其特征在于，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息，包括：
利用公式一，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息；
其中，所述公式一为：
Figure FDA0001933603810000031
pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，softmax表示归一化指数函数，st表示t时刻解码层的隐层向量，
Figure FDA0001933603810000032
表示编码层所有隐层相加的一维向量，且
Figure FDA0001933603810000033
m表示编码层隐层的总数量，hi表示第i个编码层隐层，V'、V、b以及b'为所述文本补全模型中的预设参数值，t为大于0的整数，i为大于0且小于或等于m的整数；
预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的。
11.根据权利要求9所述的文本补全方法，其特征在于，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到指针网络概率分布信息，包括：
根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息；
根据所述注意力分布信息，得到指针网络概率分布信息。
12.根据权利要求11所述的文本补全方法，其特征在于，所述根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息，包括：
利用公式二，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到编码层中各个词的注意力分布信息；
其中，所述公式二为：
Figure FDA0001933603810000034
Figure FDA0001933603810000035
表示编码层中的第i个词在解码层的t时刻的注意力分布信息，hi表示第i个编码层隐层，st表示t时刻解码层的隐层向量，vT、wh、ws以及battn为所述文本补全模型中的预设参数值；t为大于0的整数；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量。
13.根据权利要求11所述的文本补全方法，其特征在于，所述根据所述注意力分布信息，得到指针网络概率分布信息，包括：
利用公式三，根据编码层中各个词的注意力分布信息，得到编码层中各个词的指针网络概率分布信息；
其中，所述公式三为：
Figure FDA0001933603810000036
Figure FDA0001933603810000041
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息，softmax表示归一化指数函数，
Figure FDA0001933603810000042
表示编码层中的第i个词在解码层的t时刻的注意力分布信息；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数。
14.根据权利要求8至13任一项所述的文本补全方法，其特征在于，所述将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息，包括：
利用公式四，将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
其中，所述公式四为：
Figure FDA0001933603810000043
p(w)表示预设词表中所有的词在解码层的t时刻的整体概率分布信息，pgen表示分布相加的权重系数，0≤pgen≤1，pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，
Figure FDA0001933603810000044
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息；预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的；i:wi＝w表示第i个词是当前词w；
Figure FDA0001933603810000045
σ表示激活函数，
Figure FDA0001933603810000046
表示编码层所有隐层相加的一维向量，st表示t时刻解码层的隐层向量，xt表示t时刻解码层的输入，且
Figure FDA0001933603810000047
其中vt为所述文本补全模型中的预设参数值，
Figure FDA0001933603810000048
表示拼接符号，wt-1表示t-1时刻解码层得到的词对应的词向量；
i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数；
Figure FDA0001933603810000049
以及bptr为所述文本补全模型中的预设参数值。
15.一种文本补全装置，其特征在于，包括：
第一获取模块，用于获取系统当前轮次输出的第一内容信息和用户当前轮次输入的第二内容信息；
第一确定模块，用于根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息；
第一补全模块，用于根据所述对话领域信息，对所述第二内容信息进行补全；
其中，所述历史信息包括用户历史轮次输入的内容信息。
16.根据权利要求15所述的文本补全装置，其特征在于，所述第一获取模块，包括：
第一获取子模块，用于获取用户当前轮次输入的语音信息；
第一处理子模块，用于根据所述语音信息得到对应的内容信息，作为第二内容信息。
17.根据权利要求15所述的文本补全装置，其特征在于，所述第一确定模块，包括：
第一确定子模块，用于使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，确定对话领域信息。
18.根据权利要求17所述的文本补全装置，其特征在于，所述第一确定子模块，包括：
第一处理单元，用于使用深度神经网络，根据所述第一内容信息、第二内容信息以及历史信息，得到系统向量和内容向量；
第一确定单元，用于对所述系统向量和内容向量进行处理，确定对话领域信息。
19.根据权利要求18所述的文本补全装置，其特征在于，所述第一处理单元，包括：
第一处理子单元，用于使用卷积神经网络CNN模型或长短期记忆网络LSTM模型，对所述第二内容信息和历史信息进行编码，得到内容向量；
第二处理子单元，用于使用词袋模型对所述第一内容信息进行编码，得到系统向量。
20.根据权利要求18或19所述的文本补全装置，其特征在于，所述第一确定单元，包括：
第一拼接子单元，用于将所述系统向量和内容向量进行拼接，得到待输入向量；
第三处理子单元，用于利用LSTM模型，对所述待输入向量进行处理，得到目标隐层信息；
第一确定子单元，用于利用归一化指数函数对所述目标隐层信息进行处理，确定对话领域信息。
21.根据权利要求15所述的文本补全装置，其特征在于，所述第一补全模块，包括：
第一调用子模块，用于根据所述对话领域信息，调用对应的文本补全模型；
第一补全子模块，用于利用所述文本补全模型，对所述第二内容信息进行补全；
其中，不同的对话领域信息对应不同的文本补全模型；
不同的文本补全模型的参数配置信息至少部分不相同。
22.根据权利要求21所述的文本补全装置，其特征在于，所述第一补全子模块，包括：
第二处理单元，用于利用所述文本补全模型，根据所述第二内容信息，得到端到端概率分布信息和指针网络概率分布信息；
第三处理单元，用于将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
第二确定单元，用于根据所述整体概率分布信息，确定补全信息；
第一补全单元，用于利用所述补全信息，对所述第二内容信息进行补全。
23.根据权利要求22所述的文本补全装置，其特征在于，所述第二处理单元，包括：
第四处理子单元，用于利用所述文本补全模型中的双向长短期记忆网络LSTM，根据向量化处理后的所述第二内容信息，得到编码层的隐藏层信息；
第五处理子单元，用于利用所述文本补全模型中的单向LSTM，根据所述编码层的隐藏层信息，得到解码层的隐藏层信息；
第六处理子单元，用于根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息和指针网络概率分布信息。
24.根据权利要求23所述的文本补全装置，其特征在于，所述第六处理子单元，具体用于：
利用公式一，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到端到端概率分布信息；
其中，所述公式一为：
Figure FDA0001933603810000071
pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，softmax表示归一化指数函数，st表示t时刻解码层的隐层向量，
Figure FDA0001933603810000072
表示编码层所有隐层相加的一维向量，且
Figure FDA0001933603810000073
m表示编码层隐层的总数量，hi表示第i个编码层隐层，V'、V、b以及b'为所述文本补全模型中的预设参数值，t为大于0的整数，i为大于0且小于或等于m的整数；
预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的。
25.根据权利要求23所述的文本补全装置，其特征在于，所述第六处理子单元，具体用于：
根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息；
根据所述注意力分布信息，得到指针网络概率分布信息。
26.根据权利要求25所述的文本补全装置，其特征在于，所述根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到注意力分布信息，包括：
利用公式二，根据所述编码层的隐藏层信息和解码层的隐藏层信息，得到编码层中各个词的注意力分布信息；
其中，所述公式二为：
Figure FDA0001933603810000074
Figure FDA0001933603810000075
表示编码层中的第i个词在解码层的t时刻的注意力分布信息，hi表示第i个编码层隐层，st表示t时刻解码层的隐层向量，vT、wh、ws以及battn为所述文本补全模型中的预设参数值；t为大于0的整数；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量。
27.根据权利要求25所述的文本补全装置，其特征在于，所述根据所述注意力分布信息，得到指针网络概率分布信息，包括：
利用公式三，根据编码层中各个词的注意力分布信息，得到编码层中各个词的指针网络概率分布信息；
其中，所述公式三为：
Figure FDA0001933603810000076
Figure FDA0001933603810000077
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息，softmax表示归一化指数函数，
Figure FDA0001933603810000078
表示编码层中的第i个词在解码层的t时刻的注意力分布信息；i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数。
28.根据权利要求22至27任一项所述的文本补全装置，其特征在于，所述第二确定单元，包括：
第七处理子单元，用于利用公式四，将端到端概率分布信息和指针网络概率分布信息，进行分布相加处理，得到整体概率分布信息；
其中，所述公式四为：
Figure FDA0001933603810000081
p(w)表示预设词表中所有的词在解码层的t时刻的整体概率分布信息，pgen表示分布相加的权重系数，0≤pgen≤1，pvocab(w)表示预设词表中所有的词在解码层的t时刻的端到端概率分布信息，
Figure FDA0001933603810000082
表示编码层中的第i个词在解码层的t时刻的指针网络概率分布信息；预设词表包括多个预设词汇，且多个预设词汇之间的排序位置为预定义的；i:wi＝w表示第i个词是当前词w；
Figure FDA0001933603810000083
σ表示激活函数，
Figure FDA0001933603810000084
表示编码层所有隐层相加的一维向量，st表示t时刻解码层的隐层向量，xt表示t时刻解码层的输入，且
Figure FDA0001933603810000085
其中vt为所述文本补全模型中的预设参数值，
Figure FDA0001933603810000086
表示拼接符号，wt-1表示t-1时刻解码层得到的词对应的词向量；
i为大于0且小于或等于m的整数，m表示编码层隐层的总数量，t为大于0的整数；
Figure FDA0001933603810000087
以及bptr为所述文本补全模型中的预设参数值。
29.一种文本补全设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述程序时实现如权利要求1至14中任一项所述的文本补全方法。
30.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至14中任一项所述的文本补全方法中的步骤。
CN201910001032.6A 2019-01-02 2019-01-02 一种文本补全方法、装置及设备 Active CN111460828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910001032.6A CN111460828B (zh) 2019-01-02 2019-01-02 一种文本补全方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910001032.6A CN111460828B (zh) 2019-01-02 2019-01-02 一种文本补全方法、装置及设备

Publications (2)

Publication Number Publication Date
CN111460828A true CN111460828A (zh) 2020-07-28
CN111460828B CN111460828B (zh) 2023-10-31

Family

ID=71684901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910001032.6A Active CN111460828B (zh) 2019-01-02 2019-01-02 一种文本补全方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111460828B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200583A (ja) * 1993-12-28 1995-08-04 Nec Corp 数量／時間表現処理方式
CN106503156A (zh) * 2016-10-24 2017-03-15 北京百度网讯科技有限公司 基于人工智能的人机交互方法及装置
CN108681610A (zh) * 2018-05-28 2018-10-19 山东大学 生成式多轮闲聊对话方法、系统及计算机可读存储介质
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07200583A (ja) * 1993-12-28 1995-08-04 Nec Corp 数量／時間表現処理方式
CN106503156A (zh) * 2016-10-24 2017-03-15 北京百度网讯科技有限公司 基于人工智能的人机交互方法及装置
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning
CN108681610A (zh) * 2018-05-28 2018-10-19 山东大学 生成式多轮闲聊对话方法、系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨成彪;吕荣荣;吴刚;: "一种基于记忆网络的多轮对话下的意图识别方法" *

Also Published As

Publication number Publication date
CN111460828B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
US11948066B2 (en) Processing sequences using convolutional neural networks
US11210306B2 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
US11741109B2 (en) Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system
CN110516253B (zh) 中文口语语义理解方法及系统
CN110019742B (zh) 用于处理信息的方法和装置
WO2020155619A1 (zh) 带情感的机器聊天方法、装置、计算机设备及存储介质
CN111079418B (zh) 命名体识别方法、装置、电子设备和存储介质
CN113326702B (zh) 语义识别方法、装置、电子设备及存储介质
CN113590778A (zh) 智能客服意图理解方法、装置、设备及存储介质
CN111339775A (zh) 命名实体识别方法、装置、终端设备及存储介质
CN112307048A (zh) 语义匹配模型训练方法、匹配方法、装置、设备及存储介质
CN111563161A (zh) 一种语句识别方法、语句识别装置及智能设备
CN111898363B (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
CN117634459A (zh) 目标内容生成及模型训练方法、装置、系统、设备及介质
CN113299277A (zh) 一种语音语义识别方法及系统
CN112597299A (zh) 文本的实体分类方法、装置、终端设备和存储介质
CN111767720A (zh) 一种标题生成方法、计算机及可读存储介质
CN116483979A (zh) 基于人工智能的对话模型训练方法、装置、设备及介质
CN114970666B (zh) 一种口语处理方法、装置、电子设备及存储介质
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN111460828A (zh) 一种文本补全方法、装置及设备
CN115238698A (zh) 生物医疗命名实体识别方法及系统
CN111625636B (zh) 一种人机对话的拒绝识别方法、装置、设备、介质
CN113961701A (zh) 消息文本的聚类方法及装置
CN114021004A (zh) 一种理科相似题推荐方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant