CN111309893A - 基于源问题生成相似问题的方法和装置 - Google Patents
基于源问题生成相似问题的方法和装置 Download PDFInfo
- Publication number
- CN111309893A CN111309893A CN202010410003.8A CN202010410003A CN111309893A CN 111309893 A CN111309893 A CN 111309893A CN 202010410003 A CN202010410003 A CN 202010410003A CN 111309893 A CN111309893 A CN 111309893A
- Authority
- CN
- China
- Prior art keywords
- source
- question
- auxiliary information
- character
- inputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
Abstract
本说明书实施例提供一种基于源问题生成相似问题的方法和装置，方法包括：获取源问题；对所述源问题进行分词处理，得到多个分词；从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。能够提升知识库中的标准问题对用户问题的覆盖率。
Description
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及基于源问题生成相似问题的方法和装置。
背景技术
由于语言表达的多样性，常常存在表达形式不同但语义相同的多个问题，在多种场景中，例如智能客服场景，由于用户表达的多样性，常常会出现不同的用户表达实质上想问的问题是相同的，因此需要预先确定标准问题，以便于与多种用户表达相匹配。
现有技术中，人工确定的标准问题常常无法覆盖多种用户表达的用户问题。
因此，希望能有改进的方案，能够提升知识库中的标准问题对用户问题的覆盖率。
发明内容
本说明书一个或多个实施例描述了一种基于源问题生成相似问题的方法和装置，能够提升知识库中的标准问题对用户问题的覆盖率。
第一方面，提供了一种基于源问题生成相似问题的方法，方法包括：
获取源问题；
对所述源问题进行分词处理，得到多个分词；
从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；
将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。
在一种可能的实施方式中，所述文本生成模型包括编码器和解码器；
所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
将所述辅助信息和所述源问题输入所述编码器，得到语义向量；
将所述语义向量输入所述解码器，得到所述源问题的相似问题。
在一种可能的实施方式中，所述文本生成模型包括第一编码器、第二编码器、解码器、第一交互层和第二交互层；
所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
将所述辅助信息输入所述第一编码器，得到所述辅助信息包括的各字符分别对应的第一字符编码向量；
将所述源问题输入所述第二编码器，得到所述源问题包括的各字符分别对应的第二字符编码向量；
将所述第一字符编码向量和所述第二字符编码向量输入所述第一交互层，以使所述第一交互层得到所述第二字符编码向量的注意力权重，并基于该注意力权重对所述第二字符编码向量进行加权求和，得到所述源问题对应的第一语义向量；
将所述第一字符编码向量和所述第二字符编码向量输入所述第二交互层，以使所述第二交互层得到所述第一字符编码向量的注意力权重，并基于该注意力权重对所述第一字符编码向量进行加权求和，得到所述辅助信息对应的第二语义向量；
将所述第一语义向量和所述第二语义向量输入所述解码器，得到所述源问题的相似问题。
在一种可能的实施方式中，所述文本生成模型为强化学习模型；所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
根据所述强化学习模型的策略参数，执行连续的多步动作，其中每个单步动作包括，将所述辅助信息、所述源问题和已经生成的字符作为当前状态，根据当前状态生成下一个字符；所述多步动作生成的字符序列构成所述相似问题。
进一步地，所述通过所述文本生成模型输出所述源问题的相似问题之后，所述方法还包括：
获取所述源问题对应的标准输出；
根据所述相似问题与所述标准输出之间的相似度分数，确定所述源问题和所述相似问题对应的累积奖励分数；
根据所述累积奖励分数，更新所述策略参数。
进一步地，所述获取所述源问题对应的标准输出，包括：
从预先设定的所述源问题的至少一个标准相似问题中，选择一个所述标准相似问题作为所述源问题对应的标准输出。
进一步地，所述根据所述累积奖励分数，更新所述策略参数，包括：
根据所述累积奖励分数，确定所述强化学习模型的目标函数的值；所述目标函数与所述累积奖励分数正相关，且与各字符的生成概率正相关；
通过优化所述目标函数的值，更新所述策略参数。
在一种可能的实施方式中，所述源问题为知识库中的标准问题。
第二方面，提供了一种基于源问题生成相似问题的装置，装置包括：
第一获取单元，用于获取源问题；
分词单元，用于对所述第一获取单元获取的源问题进行分词处理，得到多个分词；
辅助单元，用于从所述分词单元得到的多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；
生成单元，用于将所述辅助单元得到的辅助信息和所述第一获取单元获取的源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
通过本说明书实施例提供的方法和装置，首先获取源问题；然后对所述源问题进行分词处理，得到多个分词；接着从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；再将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。由上可见，本说明书实施例，通过文本生成模型生成源问题的相似问题，如果源问题为知识库中的标准问题，相似问题相当于对知识库中的标准问题进行了扩充，从而能够提升知识库中的标准问题对用户问题的覆盖率。此外，不仅将源问题作为文本生成模型的输入，还将根据源问题确定的辅助信息也作为文本生成模型的输入，有利于使文本生成模型生成的相似问题更符合用户表达。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的基于源问题生成相似问题的方法流程图；
图3示出根据一个实施例的文本生成模型的结构示意图；
图4示出根据另一个实施例的文本生成模型的结构示意图；
图5示出根据一个实施例的基于源问题生成相似问题的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及基于源问题生成相似问题。具体地，该实施场景可以为智能客服中的用户与机器的多轮对话场景。在智能客服中，由机器与用户进行对话，解答用户问题，由于用户的表达口语化，一轮对话往往无法明确用户诉求，需要机器与用户之间进行多轮对话，针对多轮对话进行问题识别，才能最终明确用户诉求。其中，问题识别是根据用户的问题描述等来识别用户的问题对应的标准问题。标准问题是根据业务整理的一些用户可能问的问题。每个问题有一个问题标识（identity,id）。
参照图1，本说明书实施例中，可以将初始知识库中的任一标准问题作为源问题，根据源问题得到辅助信息，将辅助信息和源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，相当于将相似问题作为标准问题的另一种表达形式，对初始知识库中标准问题的表达形式进行扩充，得到扩充知识库，从而提升知识库中的标准问题对用户问题的覆盖率。例如，对于初始知识库中的标准问题1，先根据标准问题1确定辅助信息1，然后将标准问题1和辅助信息1输入文本生成模型，通过文本生成模型输出相似问题1，将相似问题1添加到扩充知识库中作为标准问题1的另一种表达形式。可以理解的是，标准问题与其对应的相似问题具有相同的答案。
此外，需要说明的是，本说明书实施例中的实施场景并限于前述多轮对话场景，可以是其他任何涉及基于源问题生成相似问题的场景，例如，网络教学中的学生与老师的对话场景。
图2示出根据一个实施例的基于源问题生成相似问题的方法流程图，该方法可以基于图1所示的实施场景。如图2所示，该实施例中基于源问题生成相似问题的方法包括以下步骤：步骤21，获取源问题；步骤22，对所述源问题进行分词处理，得到多个分词；步骤23，从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；步骤24，将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。下面描述以上各个步骤的具体执行方式。
首先在步骤21，获取源问题。可以理解的是，上述源问题为已存在的一种问题表达。
在一个示例中，所述源问题为知识库中的标准问题。其中，标准问题一般配有相应的答案。
本说明书实施例中，对所述源问题的问题类型不做限定，也就是说，可以是任何领域的问题，例如，可以是针对如何购买商品的咨询问题，可以是针对地理、历史等百科知识的问题，可以是针对名人的兴趣爱好的问题，等等。
然后在步骤22，对所述源问题进行分词处理，得到多个分词。可以理解的是，上述分词处理通常指的是对中文进行分词处理。分词处理就是将连续的字序列按照一定的规范重新组合成词序列的过程。
其中，中文由于继承自古代汉语的传统，词语之间没有分隔。古代汉语中除了连绵词和人名地名等，词通常就是单个汉字，所以当时没有分词书写的必要。而现代汉语中双字或多字词居多，一个字不再等同于一个词。
本说明书实施例可以采用通常的分词算法进行分词处理，例如，基于字符串匹配的分词方法、基于理解的分词方法、基于统计的分词方法。这些分词算法可以与词性标注过程相结合，按照是否与词性标注过程相结合，可以分为单纯分词方法和分词与标注相结合的一体化方法。
举例来说，源问题为“中国的首都在哪里”，经过分词处理后，得到的分词依次为“中国”、“的”、“首都”、“在哪里”。
接着在步骤23，从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息。可以理解的是，上述关键词的数目可以仅为一个，也可以为多个，当关键词的数目为多个时，获取每个关键词的同义词或近义词。
本说明书实施例中，当步骤22得到的分词数目较多时，可以根据各分词分别对应的重要度，从多个分词中选择出预设数目个关键词，其中上述重要度可以根据分词的TextRank值来衡量。
TextRank算法为一种常用的提取关键词的算法，该算法可以确定出每个分词的TextRank值，具体地，如果一个单词出现在很多单词后面的话，那么说明这个单词比较重要，相应地，TextRank值比较高；一个TextRank值很高的单词后面跟着的一个单词，那么这个单词的TextRank值会相应地因此而提高。
举例来说，源问题为“中国的首都在哪里”，经过分词处理后，得到的分词依次为“中国”、“的”、“首都”、“在哪里”。提取的关键词为“中国”和“在哪里”，其中，“中国”的同义词为“中华人民共和国”，“在哪里”的同义词为“在哪”。
源问题为“我的花呗怎么还款”，经过分词处理后，得到的分词依次为“我”、“的”、“花呗”、“怎么”、“还款”。提取的关键词为“怎么”和“还款”，其中，“怎么”的近义词为“怎样”，“还款”的近义词为“还钱”。
最后在步骤24，将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。可以理解的是，辅助信息可以相当于生成相似问题的线索。
本说明书实施例中，文本生成模型属于序列到序列（sequence to sequence，seq2seq）模型，为一种编码器-解码器结构，输出序列的长度不确定。
图3示出根据一个实施例的文本生成模型的结构示意图。参照图3，所述文本生成模型包括编码器和解码器；将所述辅助信息和所述源问题输入所述编码器，得到语义向量；将所述语义向量输入所述解码器，得到所述源问题的相似问题。其中，辅助信息和源问题可以拼接在一起输入到编码器中。
图4示出根据另一个实施例的文本生成模型的结构示意图。参照图4，所述文本生成模型包括第一编码器、第二编码器、解码器、第一交互层和第二交互层。
基于图4所示的模型结构，所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
将所述辅助信息输入所述第一编码器，得到所述辅助信息包括的各字符分别对应的第一字符编码向量；
将所述源问题输入所述第二编码器，得到所述源问题包括的各字符分别对应的第二字符编码向量；
将所述第一字符编码向量和所述第二字符编码向量输入所述第一交互层，以使所述第一交互层得到所述第二字符编码向量的注意力权重，并基于该注意力权重对所述第二字符编码向量进行加权求和，得到所述源问题对应的第一语义向量；
将所述第一字符编码向量和所述第二字符编码向量输入所述第二交互层，以使所述第二交互层得到所述第一字符编码向量的注意力权重，并基于该注意力权重对所述第一字符编码向量进行加权求和，得到所述辅助信息对应的第二语义向量；
将所述第一语义向量和所述第二语义向量输入所述解码器，得到所述源问题的相似问题。
前述得到第一语义向量和第二语义向量的过程可以通过公式表示，具体地：
可以理解的是，其中，辅助信息包括
个字，即
个字符；
为字符
对应的第一字符编码向量，
为第一字符编码向量的注意力权重，
为辅助信息对应的第二语义向量；源问题包括
个字，即
个字符；
为字符
对应的第二字符编码向量，
为第二字符编码向量的注意力权重，
为源问题对应的第一语义向量。
本说明书实施例中，前述编码器和解码器的网络结构可以有多种选择方式，例如双向长短期记忆网络（bi-directional long short-term memory，BiLSTM）、双向门控循环单元（bi-directionalgated recurrent unit，BiGRU）、转换器（transformer）单元等。
本说明书实施例还提供了对文本生成模型进行优化的处理过程。
在一个示例中，所述文本生成模型为强化学习模型；所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
根据所述强化学习模型的策略参数，执行连续的多步动作，其中每个单步动作包括，将所述辅助信息、所述源问题和已经生成的字符作为当前状态，根据当前状态生成下一个字符；所述多步动作生成的字符序列构成所述相似问题。
举例来说，文本生成模型的输入可以表示为
，共S个字符，例如，“中华人民共和国\中国的首都在哪里”，其中，“中华人民共和国”为辅助信息，“中国的首都在哪里”为源问题；文本生成模型的输出可以表示为，共T个字符，例如，“中华人民共和国的首都是哪个城市”。
作为示例，基于图3所示的模型结构，编码器对输入x进行编码，表示成语义向量；解码器基于该语义向量和已经生成的字符
来预测生成下一个字符
的概率，即
，其中，
，并根据上述概率来生成 y的下一个字符
，
代表整个模型的策略参数集合。
生成下一个字符
的概率
进一步可以具体表示如下：
其中，
,f是非线性的转置函数; 
代表策略参数矩阵。
进一步地，所述通过所述文本生成模型输出所述源问题的相似问题之后，所述方法还包括：
获取所述源问题对应的标准输出；
根据所述相似问题与所述标准输出之间的相似度分数，确定所述源问题和所述相似问题对应的累积奖励分数；
根据所述累积奖励分数，更新所述策略参数。
进一步地，所述获取所述源问题对应的标准输出，包括：
从预先设定的所述源问题的至少一个标准相似问题中，选择一个所述标准相似问题作为所述源问题对应的标准输出。
其中，所述相似问题与所述标准输出之间的相似度分数可以基于自动摘要的评价指标来确定，例如，（ recall-oriented understudy for gisting evaluation，ROUGE-2）或双语评估替补（bilingual evaluation understudy，BLEU）得分。
进一步地，所述根据所述累积奖励分数，更新所述策略参数，包括：
根据所述累积奖励分数，确定所述强化学习模型的目标函数的值；所述目标函数与所述累积奖励分数正相关，且与各字符的生成概率正相关；
通过优化所述目标函数的值，更新所述策略参数。
作为示例，目标函数
表示如下：
其中，
称作策略函数，基于x的语义向量和已经生成的字符
来预测生成下一个字符
的概率
；
是奖励函数，用来衡量模型预测输出
与实际想要的输出结果y之间的相似程度，如果
，则
。
通过本说明书实施例提供的方法，首先获取源问题；然后对所述源问题进行分词处理，得到多个分词；接着从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；再将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。由上可见，本说明书实施例，通过文本生成模型生成源问题的相似问题，如果源问题为知识库中的标准问题，相似问题相当于对知识库中的标准问题进行了扩充，从而能够提升知识库中的标准问题对用户问题的覆盖率。此外，不仅将源问题作为文本生成模型的输入，还将根据源问题确定的辅助信息也作为文本生成模型的输入，有利于使文本生成模型生成的相似问题更符合用户表达。
根据另一方面的实施例，还提供一种基于源问题生成相似问题的装置，该装置用于执行本说明书实施例提供的基于源问题生成相似问题的方法。图5示出根据一个实施例的基于源问题生成相似问题的装置的示意性框图。如图5所示，该装置500包括：
第一获取单元51，用于获取源问题；
分词单元52，用于对所述第一获取单元51获取的源问题进行分词处理，得到多个分词；
辅助单元53，用于从所述分词单元52得到的多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；
生成单元54，用于将所述辅助单元53得到的辅助信息和所述第一获取单元51获取的源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。
可选地，作为一个实施例，所述文本生成模型包括编码器和解码器；
所述生成单元54具体包括：
编码子单元，用于将所述辅助信息和所述源问题输入所述编码器，得到语义向量；
解码子单元，用于将所述编码子单元得到的语义向量输入所述解码器，得到所述源问题的相似问题。
可选地，作为一个实施例，所述文本生成模型包括第一编码器、第二编码器、解码器、第一交互层和第二交互层；
所述生成单元54具体包括：
第一编码子单元，用于将所述辅助信息输入所述第一编码器，得到所述辅助信息包括的各字符分别对应的第一字符编码向量；
第二编码子单元，用于将所述源问题输入所述第二编码器，得到所述源问题包括的各字符分别对应的第二字符编码向量；
第一交互子单元，用于将所述第一编码子单元得到的第一字符编码向量和所述第二编码子单元得到的第二字符编码向量输入所述第一交互层，以使所述第一交互层得到所述第二字符编码向量的注意力权重，并基于该注意力权重对所述第二字符编码向量进行加权求和，得到所述源问题对应的第一语义向量；
第二交互子单元，用于将所述第一编码子单元得到的第一字符编码向量和所述第二编码子单元得到的第二字符编码向量输入所述第二交互层，以使所述第二交互层得到所述第一字符编码向量的注意力权重，并基于该注意力权重对所述第一字符编码向量进行加权求和，得到所述辅助信息对应的第二语义向量；
解码子单元，用于将所述第一交互子单元得到的第一语义向量和所述第二交互子单元得到的第二语义向量输入所述解码器，得到所述源问题的相似问题。
可选地，作为一个实施例，所述文本生成模型为强化学习模型；所述生成单元54，具体用于根据所述强化学习模型的策略参数，执行连续的多步动作，其中每个单步动作包括，将所述辅助信息、所述源问题和已经生成的字符作为当前状态，根据当前状态生成下一个字符；所述多步动作生成的字符序列构成所述相似问题。
进一步地，所述装置还包括：
第二获取单元，用于在所述生成单元54通过所述文本生成模型输出所述源问题的相似问题之后，获取所述源问题对应的标准输出；
确定单元，用于根据所述相似问题与所述第二获取单元获取的标准输出之间的相似度分数，确定所述源问题和所述相似问题对应的累积奖励分数；
更新单元，用于根据所述确定单元得到的累积奖励分数，更新所述策略参数。
进一步地，所述第二获取单元，具体用于从预先设定的所述源问题的至少一个标准相似问题中，选择一个所述标准相似问题作为所述源问题对应的标准输出。
进一步地，所述更新单元具体包括：
确定子单元，用于根据所述累积奖励分数，确定所述强化学习模型的目标函数的值；所述目标函数与所述累积奖励分数正相关，且与各字符的生成概率正相关；
更新子单元，用于通过优化所述确定子单元得到的目标函数的值，更新所述策略参数。
可选地，作为一个实施例，所述源问题为知识库中的标准问题。
通过本说明书实施例提供的装置，首先第一获取单元51获取源问题；然后分词单元52对所述源问题进行分词处理，得到多个分词；接着辅助单元53从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；再由生成单元54将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。由上可见，本说明书实施例，通过文本生成模型生成源问题的相似问题，如果源问题为知识库中的标准问题，相似问题相当于对知识库中的标准问题进行了扩充，从而能够提升知识库中的标准问题对用户问题的覆盖率。此外，不仅将源问题作为文本生成模型的输入，还将根据源问题确定的辅助信息也作为文本生成模型的输入，有利于使文本生成模型生成的相似问题更符合用户表达。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (18)
1.一种基于源问题生成相似问题的方法，所述方法包括：
获取源问题；
对所述源问题进行分词处理，得到多个分词；
从所述多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；
将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。
2.如权利要求1所述的方法，其中，所述文本生成模型包括编码器和解码器；
所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
将所述辅助信息和所述源问题输入所述编码器，得到语义向量；
将所述语义向量输入所述解码器，得到所述源问题的相似问题。
3.如权利要求1所述的方法，其中，所述文本生成模型包括第一编码器、第二编码器、解码器、第一交互层和第二交互层；
所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
将所述辅助信息输入所述第一编码器，得到所述辅助信息包括的各字符分别对应的第一字符编码向量；
将所述源问题输入所述第二编码器，得到所述源问题包括的各字符分别对应的第二字符编码向量；
将所述第一字符编码向量和所述第二字符编码向量输入所述第一交互层，以使所述第一交互层得到所述第二字符编码向量的注意力权重，并基于该注意力权重对所述第二字符编码向量进行加权求和，得到所述源问题对应的第一语义向量；
将所述第一字符编码向量和所述第二字符编码向量输入所述第二交互层，以使所述第二交互层得到所述第一字符编码向量的注意力权重，并基于该注意力权重对所述第一字符编码向量进行加权求和，得到所述辅助信息对应的第二语义向量；
将所述第一语义向量和所述第二语义向量输入所述解码器，得到所述源问题的相似问题。
4.如权利要求1所述的方法，其中，所述文本生成模型为强化学习模型；所述将所述辅助信息和所述源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题，包括：
根据所述强化学习模型的策略参数，执行连续的多步动作，其中每个单步动作包括，将所述辅助信息、所述源问题和已经生成的字符作为当前状态，根据当前状态生成下一个字符；所述多步动作生成的字符序列构成所述相似问题。
5.如权利要求4所述的方法，其中，所述通过所述文本生成模型输出所述源问题的相似问题之后，所述方法还包括：
获取所述源问题对应的标准输出；
根据所述相似问题与所述标准输出之间的相似度分数，确定所述源问题和所述相似问题对应的累积奖励分数；
根据所述累积奖励分数，更新所述策略参数。
6.如权利要求5所述的方法，其中，所述获取所述源问题对应的标准输出，包括：
从预先设定的所述源问题的至少一个标准相似问题中，选择一个所述标准相似问题作为所述源问题对应的标准输出。
7.如权利要求5所述的方法，其中，所述根据所述累积奖励分数，更新所述策略参数，包括：
根据所述累积奖励分数，确定所述强化学习模型的目标函数的值；所述目标函数与所述累积奖励分数正相关，且与各字符的生成概率正相关；
通过优化所述目标函数的值，更新所述策略参数。
8.如权利要求1所述的方法，其中，所述源问题为知识库中的标准问题。
9.一种基于源问题生成相似问题的装置，所述装置包括：
第一获取单元，用于获取源问题；
分词单元，用于对所述第一获取单元获取的源问题进行分词处理，得到多个分词；
辅助单元，用于从所述分词单元得到的多个分词中提取至少一个关键词，并获取所述至少一个关键词的同义词和/或近义词，作为辅助信息；
生成单元，用于将所述辅助单元得到的辅助信息和所述第一获取单元获取的源问题输入文本生成模型，通过所述文本生成模型输出所述源问题的相似问题。
10.如权利要求9所述的装置，其中，所述文本生成模型包括编码器和解码器；
所述生成单元具体包括：
编码子单元，用于将所述辅助信息和所述源问题输入所述编码器，得到语义向量；
解码子单元，用于将所述编码子单元得到的语义向量输入所述解码器，得到所述源问题的相似问题。
11.如权利要求9所述的装置，其中，所述文本生成模型包括第一编码器、第二编码器、解码器、第一交互层和第二交互层；
所述生成单元具体包括：
第一编码子单元，用于将所述辅助信息输入所述第一编码器，得到所述辅助信息包括的各字符分别对应的第一字符编码向量；
第二编码子单元，用于将所述源问题输入所述第二编码器，得到所述源问题包括的各字符分别对应的第二字符编码向量；
第一交互子单元，用于将所述第一编码子单元得到的第一字符编码向量和所述第二编码子单元得到的第二字符编码向量输入所述第一交互层，以使所述第一交互层得到所述第二字符编码向量的注意力权重，并基于该注意力权重对所述第二字符编码向量进行加权求和，得到所述源问题对应的第一语义向量；
第二交互子单元，用于将所述第一编码子单元得到的第一字符编码向量和所述第二编码子单元得到的第二字符编码向量输入所述第二交互层，以使所述第二交互层得到所述第一字符编码向量的注意力权重，并基于该注意力权重对所述第一字符编码向量进行加权求和，得到所述辅助信息对应的第二语义向量；
解码子单元，用于将所述第一交互子单元得到的第一语义向量和所述第二交互子单元得到的第二语义向量输入所述解码器，得到所述源问题的相似问题。
12.如权利要求9所述的装置，其中，所述文本生成模型为强化学习模型；所述生成单元，具体用于根据所述强化学习模型的策略参数，执行连续的多步动作，其中每个单步动作包括，将所述辅助信息、所述源问题和已经生成的字符作为当前状态，根据当前状态生成下一个字符；所述多步动作生成的字符序列构成所述相似问题。
13.如权利要求12所述的装置，其中，所述装置还包括：
第二获取单元，用于在所述生成单元通过所述文本生成模型输出所述源问题的相似问题之后，获取所述源问题对应的标准输出；
确定单元，用于根据所述相似问题与所述第二获取单元获取的标准输出之间的相似度分数，确定所述源问题和所述相似问题对应的累积奖励分数；
更新单元，用于根据所述确定单元得到的累积奖励分数，更新所述策略参数。
14.如权利要求13所述的装置，其中，所述第二获取单元，具体用于从预先设定的所述源问题的至少一个标准相似问题中，选择一个所述标准相似问题作为所述源问题对应的标准输出。
15.如权利要求13所述的装置，其中，所述更新单元具体包括：
确定子单元，用于根据所述累积奖励分数，确定所述强化学习模型的目标函数的值；所述目标函数与所述累积奖励分数正相关，且与各字符的生成概率正相关；
更新子单元，用于通过优化所述确定子单元得到的目标函数的值，更新所述策略参数。
16.如权利要求9所述的装置，其中，所述源问题为知识库中的标准问题。
17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项的所述的方法。
18.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项的所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410003.8A CN111309893A (zh) | 2020-05-15 | 2020-05-15 | 基于源问题生成相似问题的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410003.8A CN111309893A (zh) | 2020-05-15 | 2020-05-15 | 基于源问题生成相似问题的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111309893A true CN111309893A (zh) | 2020-06-19 |
Family
ID=71161132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010410003.8A Pending CN111309893A (zh) | 2020-05-15 | 2020-05-15 | 基于源问题生成相似问题的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111309893A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737440A (zh) * | 2020-07-31 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 一种问题生成方法及装置 |
| CN113553838A (zh) * | 2021-08-03 | 2021-10-26 | 稿定（厦门）科技有限公司 | 一种商品文案生成方法及装置 |
| CN116881398A (zh) * | 2023-07-04 | 2023-10-13 | 华院计算技术(上海)股份有限公司 | 提升大模型生成信息质量的方法及装置 |
| CN117591630A (zh) * | 2023-11-21 | 2024-02-23 | 北京天防安全科技有限公司 | 一种关键词识别方法、装置和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133224A (zh) * | 2017-04-25 | 2017-09-05 | 中国人民大学 | 一种基于主题词的语言生成方法 |
| CN108287822A (zh) * | 2018-01-23 | 2018-07-17 | 北京容联易通信息技术有限公司 | 一种中文相似问题生成系统与方法 |
| CN108304489A (zh) * | 2018-01-05 | 2018-07-20 | 广东工业大学 | 一种基于强化学习网络的目标引导型个性化对话方法与系统 |
| US20190026624A1 (en) * | 2017-07-21 | 2019-01-24 | Google Llc | Hierarchical device placement with reinforcement learning |
| CN109992669A (zh) * | 2019-04-08 | 2019-07-09 | 浙江大学 | 一种基于语言模型和强化学习的关键词问答方法 |
| CN110892418A (zh) * | 2017-05-19 | 2020-03-17 | 渊慧科技有限公司 | 多任务神经网络系统 |
-
2020
- 2020-05-15 CN CN202010410003.8A patent/CN111309893A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133224A (zh) * | 2017-04-25 | 2017-09-05 | 中国人民大学 | 一种基于主题词的语言生成方法 |
| CN110892418A (zh) * | 2017-05-19 | 2020-03-17 | 渊慧科技有限公司 | 多任务神经网络系统 |
| US20190026624A1 (en) * | 2017-07-21 | 2019-01-24 | Google Llc | Hierarchical device placement with reinforcement learning |
| CN108304489A (zh) * | 2018-01-05 | 2018-07-20 | 广东工业大学 | 一种基于强化学习网络的目标引导型个性化对话方法与系统 |
| CN108287822A (zh) * | 2018-01-23 | 2018-07-17 | 北京容联易通信息技术有限公司 | 一种中文相似问题生成系统与方法 |
| CN109992669A (zh) * | 2019-04-08 | 2019-07-09 | 浙江大学 | 一种基于语言模型和强化学习的关键词问答方法 |
Non-Patent Citations (2)
| Title |
|---|
| 董孝政: "融入特征和注意力机制的问题生成方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 黄文明等: "基于序列到序列神经网络模型的古诗自动生成方法", 《计算机应用研究》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737440A (zh) * | 2020-07-31 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 一种问题生成方法及装置 |
| CN113553838A (zh) * | 2021-08-03 | 2021-10-26 | 稿定（厦门）科技有限公司 | 一种商品文案生成方法及装置 |
| CN116881398A (zh) * | 2023-07-04 | 2023-10-13 | 华院计算技术(上海)股份有限公司 | 提升大模型生成信息质量的方法及装置 |
| CN117591630A (zh) * | 2023-11-21 | 2024-02-23 | 北京天防安全科技有限公司 | 一种关键词识别方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021082953A1 (zh) | 机器阅读理解方法、设备、存储介质及装置 | |
| CN113962315B (zh) | 模型预训练方法、装置、设备、存储介质以及程序产品 | |
| CN111309893A (zh) | 基于源问题生成相似问题的方法和装置 | |
| US10891427B2 (en) | Machine learning techniques for generating document summaries targeted to affective tone | |
| CN110083710B (zh) | 一种基于循环神经网络与潜变量结构的词语定义生成方法 | |
| CN107480144B (zh) | 具备跨语言学习能力的图像自然语言描述生成方法和装置 | |
| CN109657054A (zh) | 摘要生成方法、装置、服务器及存储介质 | |
| CN110163181B (zh) | 手语识别方法及装置 | |
| CN113591902A (zh) | 基于多模态预训练模型的跨模态理解与生成方法和装置 | |
| CN110781306B (zh) | 一种英文文本的方面层情感分类方法及系统 | |
| KR20210151281A (ko) | Bert의 문장 임베딩 벡터를 이용한 텍스트랭크 기반 핵심 문장 추출 방법 및 장치 | |
| WO2021204014A1 (zh) | 一种模型训练的方法及相关装置 | |
| CN112836514A (zh) | 嵌套实体识别方法、装置、电子设备和存储介质 | |
| CN112487139A (zh) | 基于文本的自动出题方法、装置及计算机设备 | |
| CN111026857A (zh) | 对话状态跟踪方法、人机对话方法及系统 | |
| CN107832300A (zh) | 面向微创医疗领域文本摘要生成方法及装置 | |
| RU2712101C2 (ru) | Предсказание вероятности появления строки с использованием последовательности векторов | |
| CN115292463A (zh) | 一种基于信息抽取的联合多意图检测和重叠槽填充的方法 | |
| CN113239666A (zh) | 一种文本相似度计算方法及系统 | |
| CN110263218A (zh) | 视频描述文本生成方法、装置、设备和介质 | |
| CN112669215A (zh) | 一种训练文本图像生成模型、文本图像生成的方法和装置 | |
| EP4060548A1 (en) | Method and device for presenting prompt information and storage medium | |
| US20230034414A1 (en) | Dialogue processing apparatus, learning apparatus, dialogue processing method, learning method and program | |
| CN111563373A (zh) | 聚焦属性相关文本的属性级情感分类方法 | |
| CN116467417A (zh) | 问题答案的生成方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |