CN116089589A - 问句生成方法及装置 - Google Patents
问句生成方法及装置 Download PDFInfo
- Publication number
- CN116089589A CN116089589A CN202310172856.6A CN202310172856A CN116089589A CN 116089589 A CN116089589 A CN 116089589A CN 202310172856 A CN202310172856 A CN 202310172856A CN 116089589 A CN116089589 A CN 116089589A
- Authority
- CN
- China
- Prior art keywords
- question
- initial
- sample
- answer
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本说明书实施例提供问句生成方法及装置,其中所述问句生成方法包括:获取待处理文本和目标答案;将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;提取所述初始问句对应的初始问句模板;根据所述初始问句模板确定至少一个目标候选问句模板;将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。实现了可以对非结构化的待处理文本进行处理的同时,提高目标问句的多样性和准确性。
Description
技术领域
本说明书实施例涉及人工智能技术领域,特别涉及问句生成方法。
背景技术
随着科学技术的发展,人们的生活水平逐渐提高,人工智能化服务也应用于人们的实际生活中,影响着人们的生活。在目前的各个应用领域中,问句知识挖掘技术也逐渐被应用于各个不同的技术领域中,问句知识挖掘技术可以极大地加速智能问答型服务在智能化落地的进程。
目标的各种应用场景中,大都是以单个句子或者对话流作为输入源,直接以非结构化的文档数据为源头进行智能化问句知识挖掘的实现几乎没有。且仅以单个的句子或是对话流作为输入源,生成的问句会比较单一,因此,如何将非结构化的文档数据作为问句知识挖掘的输入源进行处理,并提高问句多样性是一个非常值得关注的技术问题。
发明内容
有鉴于此,本说明书实施例提供了问句生成方法。本说明书一个或者多个实施例同时涉及问句生成装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种问句生成方法,包括:
获取待处理文本和目标答案;
将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;
提取所述初始问句对应的初始问句模板;
根据所述初始问句模板确定至少一个目标候选问句模板;
将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
根据本说明书实施例的第二方面,提供了一种问句生成装置,包括:
获取模块,被配置为获取待处理文本和目标答案;
第一输入模块,被配置为将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;
提取模块,被配置为提取所述初始问句对应的初始问句模板;
确定模块,被配置为根据所述初始问句模板确定至少一个目标候选问句模板;
第二输入模块,被配置为将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
根据本说明书实施例的第三方面,提供了另一种问句生成方法,应用于智能问答场景,包括:
获取待处理问答文本和目标答案;
将所述待处理问答文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问答问句,其中,所述问句生成模型用于生成所述待处理问答文本和所述目标答案对应的至少一个目标问答问句;
提取所述初始问答问句对应的初始问答问句模板;
根据所述初始问答问句模板确定至少一个目标候选问答问句模板;
将至少一个待输入问答文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问答问句,其中,待输入问答文本基于所述至少一个目标候选问答问句模板、所述待处理问答文本和所述目标答案构建。
根据本说明书实施例的第四方面,提供了另一种问句生成装置,应用于智能问答场景,包括:
文本获取模块,被配置为获取待处理问答文本和目标答案;
第一文本输入模块,被配置为将所述待处理问答文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问答问句,其中,所述问句生成模型用于生成所述待处理问答文本和所述目标答案对应的至少一个目标问答问句;
模板提取模块,被配置为提取所述初始问答问句对应的初始问答问句模板;
模板确定模块,被配置为根据所述初始问答问句模板确定至少一个目标候选问答问句模板;
第二文本输入模块,被配置为将至少一个待输入问答文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问答问句,其中,待输入问答文本基于所述至少一个目标候选问答问句模板、所述待处理问答文本和所述目标答案构建。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述问句生成方法的步骤。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述问句生成方法的步骤。
根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述问句生成方法的步骤。
本说明书提供的一种问句生成方法,包括:获取待处理文本和目标答案;将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;提取所述初始问句对应的初始问句模板;根据所述初始问句模板确定至少一个目标候选问句模板;将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
本说明书一个实施例通过获取待处理文本和答案,并对待处理文本和答案进行处理,实现了可以使非结构化的文档数据作为输入源进行处理,并通过基于提取问句生成模型输出的初始问句的初始问句模板获得至少一个目标候选问句模板,进而基于至少一个目标候选问句模板和待处理文本、目标答案获取与待处理文本和目标答案对应的至少一个目标问句,从而提高生成的目标问句的多样性和准确性。
附图说明
图1是本说明书一个实施例提供的一种问句生成方法的应用过程示意图;
图2是本说明书一个实施例提供的一种问句生成方法的流程图;
图3是本说明书一个实施例提供的一种问句生成方法的训练过程示意图;
图4是本说明书一个实施例提供的一种问句生成方法的处理过程流程图;
图5是本说明书一个实施例提供的一种问句生成装置的结构示意图;
图6是本说明书一个实施例提供的另一种问句生成方法的流程图;
图7是本说明书一个实施例提供的另一种问句生成装置的结构示意图;
图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
NER:Named Entity Recognition,命名实体识别,是自然语言处理中的一项基础任务,将文本中的实体抽取标注出来。
Jaccard相似度:又称Jaccard相似系数(Jaccard similarity coefficient),两个集合A和B的交集元素在A,B的并集中所占的比例,称为两个集合的Jaccard相似系数,用符号J(A,B)表示。Jaccard相似系数是衡量两个集合的相似度一种指标。即计算两个集合之间的相似程度,元素的“取值”为0或1。
T5:Text-To-Text Transfer Transformer,一个基于Transformer结构的大规模预训练语言模型,包含一个编码器和一个解码器。
强化学习:是智能体以“试错”的方式进行学习,通过与环境进行交互获得的奖赏指导行为,目标是使智能体获得最大的奖赏,强化学习不同于监督学习,主要表现在强化信号上,强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)。
在目前的实际生活中,问句知识挖掘技术逐渐应用于各个领域中,目前的问句知识挖掘技术大都是以单个的句子或是对话流作为输入源,但在实际应用中,需要进行问句知识挖掘的大多是非结构化的文档数据,仅对单个的句子或是对话流进行问句知识挖掘,会降低处理效率,因此,亟需一种方法可以以非结构化的文档数据作为输入源通过问句知识挖掘技术生成对应的问句。
在本说明书中,提供了问句生成方法,本说明书同时涉及问句生成装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明一个实施例提供的一种问句生成方法的应用过程示意图。本说明书实施例提供的问句生成方法应用于终端,该终端可以是笔记本电脑、台式电脑、平板电脑、智能设备、服务器、云服务器、分布式服务器等。在本说明书提供的实施例中,对终端的具体形式不做限定。
首先,获取待处理文本和目标答案,将待处理文本和目标答案输入至问句生成模型,获得问句生成模型输出的初始问句。其次,识别初始问句中的命名实体,并将识别到的命名实体从初始问句中剔除,以获得初始问句对应的初始问句模板。然后,基于初始问句模板在问句模板数据库中进行检索,根据问句模板数据库中的问句模板与初始问句模板之间的相关性,获得初始候选问句模板集合。对初始候选问句模板集合中的初始候选问句模板进行去重处理,将去重后的初始候选问句模板确定为目标候选问句模板。将各个目标候选问句模板与待处理文本、目标答案进行拼接,并输入至问句生成模型,即可获得问句生成模型输出的至少一个目标问句。
本说明书提供的问句生成方法,不仅可以对非结构化的待处理文本进行处理,还可以基于目标候选问句模板生成与待处理文本、目标答案对应的至少一个目标问句,提供生成的目标问句的多样性和丰富性。同时,在生成目标问句的过程中,还会对问句模板进行去重处理,保证目标问句的准确性。
参见图2,图2示出了根据本说明书一个实施例提供的一种问句生成方法的流程图,具体包括以下步骤。
步骤202:获取待处理文本和目标答案。
其中,待处理文本是指获取到的需要生成对应的问句的等待处理的文本数据,目标答案是指期望待处理文本生成的问句对应的答案。
例如,需要为文本数据“1332年图格·特穆尔去世,同年仁钦巴尔(宁宗皇帝)去世后,13岁的托洪·特穆尔(徽宗皇帝),忽必烈九位继承人中的最后一位,被从广西召回并继承了王位。”生成对应的问句,则该文本数据为待处理文本。针对该文本数据期望生成的问句为“图格·特穆尔什么时候去世的?”,由上述文本数据的内容可知,该问句对应的答案应该为“1332年”,则“1332年”为目标答案。
具体的,在实际应用中,待处理文本和目标答案都是可以直接获取的,需要生成期望生成的问句所对应的文本数据即可以为待处理文本,期望生成的问句所对应的答案即为目标答案。
本说明书提供的问句生成方法,可以直接获取需要生成问句的待处理文本以及需要生成的问句所对应的目标答案,并在后续的处理过程中无需将获取的待处理文本处理成单个的句子,可以直接对待处理文本进行处理,即可以实现将非结构化的文档数据作为输入源进行处理。
步骤204:将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句。
其中,问句生成模型是指用于生成待处理文本和目标答案对应的至少一个目标问句的模型。初始问句是指将待处理文本和目标答案输入至问句生成模型生成并输出的问句,该问句并不是最终获取的待处理文本和目标答案对应的问句,初始问句用于为后续生成至少一个目标问句提供基础和标准。目标问句是指问句生成模型输出的最终获取的问句,目标问句是以初始问句为基础生成的问句。
沿用上例,获取到的待处理文本为“1332年图格·特穆尔去世,同年仁钦巴尔(宁宗皇帝)去世后,13岁的托洪·特穆尔(徽宗皇帝),忽必烈九位继承人中的最后一位,被从广西召回并继承了王位。”,目标答案为“1332年”。那么,根据该待处理文本和目标答案可知,该待处理文本和目标答案期望生成的基础问句为“图格·特穆尔什么时候去世的?”,则“图格·特穆尔什么时候去世的?”为初始问句。目标问句则是以初始问句“图格·特穆尔什么时候去世的?”在后续过程中生成的与初始问句具有相关性的问句。
具体的,在获取到待处理文本和目标答案后,将待处理文本和目标答案输入至问句生成模型,问句生成模型对待处理文本和目标答案进行处理后,即可获取问句生成模型输出的初始问句。
进一步的,将待处理文本和目标答案输入至问句生成模型的格式可以为目标答案包含于待处理文本中,也可以是将待处理文本和目标答案进行拼接的格式,无论是哪种输入格式,都需要使用答案分隔符使得问句生成模型可以准确识别出待处理文本和目标答案。
沿用上例对待处理文本和目标答案的输入格式进行说明,待处理文本和目标答案的输入格式为目标答案包含于待处理文本中,“<HL>1332年<HL>图格·特穆尔去世,同年仁钦巴尔(宁宗皇帝)去世后,13岁的托洪·特穆尔(徽宗皇帝),忽必烈九位继承人中的最后一位,被从广西召回并继承了王位。”;待处理文本和目标答案的输入格式为拼接格式,“1332年图格·特穆尔去世,同年仁钦巴尔(宁宗皇帝)去世后,13岁的托洪·特穆尔(徽宗皇帝),忽必烈九位继承人中的最后一位,被从广西召回并继承了王位。<HL>1332年<HL>”。其中,“<HL>”为答案分隔符。
将获取到的待处理文本和目标答案根据上述的输入格式进行相应的处理,并将按照输入格式进行处理后的待处理文本和目标答案输入至问句生成模型,问句生成模型对接收到的待处理文本和目标答案进行识别和处理,并输出与待处理文本和目标答案对应的初始问句。
本说明书提供的问句生成方法,在获取到待处理文本和目标答案后,先通过问句生成模型生成对应的初始问句,但并不直接将初始问句作为最终获得的目标问句,而是将初始问句作为基础问句,用于后续生成与初始问句具有相关性的至少一个目标问句,从而丰富生成的问句的多样性。
步骤206:提取所述初始问句对应的初始问句模板。
其中,初始问句模板具体是指,剔除初始问句中对应的命名实体的剩余部分。例如,初始问句为“图格·特穆尔什么时候去世的?”,将该初始问句中的命名实体“图格·特穆尔”剔除,得到的初始问句模板为“[mask]什么时候去世的?”。
具体的,本说明书提供的一种具体实施方式中,提取所述初始问句对应的初始问句模板可以通过预先设置的问句模板生成模型进行识别获得,例如,将初始问句输入至问句模板生成模型中,进而可以获取到问句模板生成模型输出的初始问句模板。
也可以通过识别初始问句中的命名实体,从而获得初始问句模板。相应的,提取所述初始问句对应的初始问句模板,包括:
识别所述初始问句中的至少一个命名实体;
将所述至少一个命名实体从所述初始问句中剔除,获得所述初始问句对应的初始问句模板。
其中,命名实体可以理解为,初始问句中的人名、地名等以名称为标识的实体。在上述示例中,“图格·特穆尔”为初始语句“图格·特穆尔什么时候去世的?”中的命名实体。
具体的,获取问句生成模型输入的初始问句后,对初始问句进行识别,获得初始问句中的命名实体,并将命名实体从初始问句中剔除,进而用[mask]标识符替换剔除的命名实体,即可得到初始问句对应的初始问句模板。
例如,问句生成模型输出的初始问句为“图格·特穆尔什么时候去世的?”,识别初始问句中的命名实体为“图格·特穆尔”,将“图格·特穆尔”从“图格·特穆尔什么时候去世的?”中剔除,并用[mask]标识符替换“图格·特穆尔”,得到初始问句模板为“[mask]什么时候去世的?”。
需要说明的是,具体可以通过NER技术(命名实体识别技术)识别初始问句中命名实体,识别方法亦可以采用其他方式,本说明书优先采用NER技术,具体可以根据实际应用情况确定,本说明书在此不做任何限定。
本说明书提供的问句生成方法,可以通过识别问句生成模型输出的初始问句中的命名实体,并将命名实体从初始问句中剔除,进而获取初始问句对应的初始问句模板。
步骤208:根据所述初始问句模板确定至少一个目标候选问句模板。
其中,目标候选问句模板具体是指,对初始候选问句模板进行去重处理后获得的候选问句模板。
具体的,本说明书提供的一种具体实施方式中,根据所述初始问句模板确定至少一个目标候选问句模板,包括:
基于所述初始问句模板在问句模板数据库中进行检索,获得初始候选问句模板集合;
对所述初始候选问句模板集合中的初始候选问句模板进行去重处理,获得所述至少一个目标候选问句模板。
其中,问句模板数据库是指存储有每个问句对应的问句模板的数据库。初始候选问句模板集合是指基于初始问句模板在问句模板数据库检索后获得的与初始问句模板具有相关性的问句模板的集合。
具体的,在提取初始问句的初始问句模板后,可以通过初始问句模板在问句模板数据库中进行检索,以获得与初始问句模板相关的其它问句模板,将检索得到的问句模板添加至初始候选问句模板集合中。为了保证检索所得到的初始候选问句模板的准确性,进一步的,需要对检索得到的初始候选问句模板集合中的初始候选问句模板进行去重处理,并将去重后获得的初始候选问句模板确定为目标候选问句模板。
例如,在获取初始问句模板后,基于初始问句模板在问句模板数据库中进行检索与初始问句模板相关的问句模板,基于检索结果获得初始候选问句模板1、初始候选问句模板2、初始候选问句模板3、初始候选问句模板4和初始候选问句模板5,在检索得到的5个初始候选问句模板中进行去重处理,根据去重结果在5个初始候选问句模板中确定至少一个目标候选问句模板。若进行去重处理后,获得的候选问句模板为初始候选问句模板1、初始候选问句模板2和初始候选问句模板3,则确定的目标候选问句模板为目标候选问句模板1、目标候选问句模板2和目标候选问句模板3;若进行去重处理后,获得的候选问句模板为初始候选问句模板4和初始候选问句模板5,则确定的目标候选问句模板为目标候选问句模板4和目标候选问句模板5。
通过对获取的初始候选问句模板集合中的初始候选问句模板进行去重处理,将与初始问句模板关联性较小的、或是与初始问句模板的语义重复的初始候选问句模板过滤掉,进而保证获得的初始候选问句模板的准确性。
进一步的,对初始候选问句模板集合中的初始候选问句模板进行去重处理以获得至少一个目标候选问句模板的实现方式如下:
本说明书提供的一种具体实施方式中,对所述初始候选问句模板集合中的初始候选问句模板进行去重处理,获得所述至少一个目标候选问句模板,包括:
将各个初始候选问句模板转换为对应的初始候选问句模板特征矩阵;
对所述各个初始候选问句模板特征矩阵进行聚类,获得至少一个初始聚类簇;
确定各个初始聚类簇对应的目标候选问句模板特征矩阵;
将各个目标候选问句模板特征矩阵对应的初始候选问句模板确定为目标候选问句模板。
其中,初始聚类簇是指对各个初始候选问句模板对应的初始候选问句模板特征矩阵进行聚类得到的聚类簇。
具体的,将各个初始候选问句模板转换为对应的初始候选问句模板特征矩阵,并对每个初始候选问句模板特征矩阵执行聚类处理,获得至少一个初始聚类簇,进而在每个初始聚类簇中确定一个目标候选问句模板特征矩阵,并将目标候选问句模板特征矩阵对应的初始候选问句模板确定为目标候选问句模板。
需要说明的是,在确定各个初始聚类簇对应的目标候选问句模板特征矩阵的过程中,并不是每个初始聚类簇都可以确定并获得对应的目标候选问句模板特征矩阵,需要根据确定目标候选问句模板特征矩阵的确定条件,在初始聚类簇中的各个初始候选问句模板特征矩阵均满足确定条件的情况下,进一步确定目标候选问句模板特征矩阵。因此,在确定初始聚类簇中没有初始候选问句模板特征矩阵满足确定条件的情况下,则说明该初始聚类簇中不存在目标候选问句模板特征矩阵。其中,目标候选问句模板特征矩阵的确定条件可以为预设的初始候选问句模板特征矩阵之间的相似度,也可以为初始候选问句模板特征矩阵对应的检索分数,本说明书对此不做限制。
沿用上例,在问句模板数据库中检索得到的初始候选问句模板集合中包括初始候选问句模板1、初始候选问句模板2、初始候选问句模板3、初始候选问句模板4和初始候选问句模板5,将这5个初始候选问句模板分别转换为与其对应的初始候选问句模板特征矩阵,获得初始候选问句模板特征矩阵1、初始候选问句模板特征矩阵2、初始候选问句模板特征矩阵3、初始候选问句模板特征矩阵4和初始候选问句模板特征矩阵5。对5个初始候选问句模板特征矩阵进行聚类,获得至少一个初始聚类簇,假设聚类得到的初始聚类簇为初始聚类簇1、初始聚类簇2和初始聚类簇3,其中,初始聚类簇1中包括初始候选问句模板特征矩阵1和初始候选问句模板特征矩阵4,初始聚类簇2中包括初始候选问句模板特征矩阵2,初始聚类簇3中包括初始候选问句模板特征矩阵3和初始候选问句模板特征矩阵5。进一步的,分别在初始聚类簇1、初始聚类簇2和初始聚类簇3中确定一个初始候选问句模板特征矩阵作为目标候选问句模板特征矩阵,即目标候选问句模板特征矩阵可以为初始候选问句模板特征矩阵1、初始候选问句模板特征矩阵2和初始候选问句模板特征矩阵3,也可以为初始候选问句模板特征矩阵1和初始候选问句模板特征矩阵3,还可以为初始候选问句模板特征矩阵4、初始候选问句模板特征矩阵2和初始候选问句模板特征矩阵5。上述是对确定每个初始聚类簇对应的目标候选问句模板特征矩阵的示例情况,并不仅限于上述几种情况,本说明书在此不再一一列举。
进一步的,在确定每个初始聚类簇对应的目标候选问句模板特征矩阵后,即可将每个目标候选问句模板特征矩阵对应的初始候选问句模板确定为目标候选问句模板。沿用上例,若获得的目标候选问句模板特征矩阵为初始候选问句模板特征矩阵1和初始候选问句模板特征矩阵3,即目标候选问句模板特征矩阵为目标候选问句模板特征矩阵1和目标候选问句模板特征矩阵3,则可以确定目标候选问句模板特征矩1对应的初始候选问句模板为初始候选问句模板1,目标候选问句模板特征矩阵3对应的初始候选问句模板为初始候选问句模板3。
通过对每个初始候选问句模板特征矩阵进行聚类,实现利用无监督学习确定目标候选问句模板特征矩阵,在这个过程中,不需要人工对初始候选问句模板进行标注,从而大大减少了人工的工作量,并降低人工标注成本。对于无监督学习的聚类过程通过下述方式实现:
本说明书提供的一种具体实施方式中,对所述各个初始候选问句模板特征矩阵进行聚类,包括:
计算所述各个初始候选问句模板特征矩阵之间的相似度;
基于相似度结果对所述各个初始候选问句模板特征矩阵进行聚类。
具体的,在将每个初始候选问句模板转换为与其对应的初始候选问句模板特征矩阵后,需要计算每个初始候选问句模板特征矩阵之间的相似度,并根据计算得到的相似度结果对每个初始候选问句模板特征矩阵进行聚类,优选的,将相似度较高的初始候选问句模板特征矩阵聚类为一个初始聚类簇。
在本说明书中,优先使用Jzccard相似度算法计算每个初始候选问句模板特征矩阵之间的相似度。对于计算每个初始候选问句模板特征矩阵之间的相似度,并不仅限于使用Jzccard相似度算法,也可以采用其它相似度算法,例如余弦距离相似度、欧式距离等,在实际应用中,计算每个初始候选问句模板特征矩阵之间的相似度的方法可以根据实际应用情况进行确定,本说明书在此不做任何限定。
本说明书提供的一种具体实施方式中,确定各个初始聚类簇对应的目标候选问句模板特征矩阵,包括:
确定待处理初始聚类簇,并获取所述待处理初始聚类簇中的初始候选问句模板特征矩阵;
获取各个初始候选问句模板特征矩阵对应的检索分数,其中,所述检索分数是所述初始候选问句模板与所述初始问句模板之间的相似度评分;
根据所述各个初始候选问句模板特征矩阵对应的检索分数,确定所述待处理初始聚类簇对应的目标候选问句模板特征矩阵。
其中,待处理初始聚类簇具体是指,在至少一个初始聚类簇中确定的等待进行处理的初始聚类簇。检索分数是指每个初始候选问句模板与初始问句模板之间的相似度评分,用于根据初始问句模板在问句模板数据库中检索与初始问句模板相似度较高的初始候选问句模板。
例如,根据聚类结果获取的初始聚类簇为初始聚类簇1、初始聚类簇2和初始聚类簇3,需要对初始聚类簇1进行处理,则初始聚类簇1为待处理初始聚类簇。
具体的,在对每个初始候选问句模板特征矩阵进行聚类后,根据聚类结果获得至少一个初始聚类簇,在至少一个初始聚类簇中确定待处理聚类簇,并获取待处理初始聚类簇中的初始候选问句模板特征矩阵。进一步的,获取初始问句模板和每个初始候选问句模板之间的检索分数,并根据每个初始候选问句模板对应的检索分数,确定每个初始候选问句模板特征矩阵对应的检索分数。进而,根据每个初始候选问句模板特征矩阵对应的检索分数,在待处理初始聚类簇中确定目标候选问句模板特征矩阵,具体的,可以将待处理初始聚类簇中初始候选问句模板特征矩阵对应的检索分数最高的初始候选问句模板特征矩阵确定为目标候选问句模板特征矩阵。
沿用上例,确定待处理初始聚类簇为初始聚类簇1,获取初始聚类簇1中的初始候选问句模板特征矩阵1和初始候选问句模板特征矩阵4,获取初始候选问句模板特征矩阵1对应的检索分数为0.8,初始候选问句模板特征矩阵4对应的检索分数为0.5,由于初始候选问句模板特征矩阵1的检索分数高于初始候选问句模板特征矩阵4的检索分数,因此,即可确定初始候选问句模板特征矩阵1为初始聚类簇1对应的目标候选问句模板特征矩阵。
根据初始问句模板与每个初始候选问句模板之间的检索分数,在每个初始聚类簇中确定对应的目标候选问句模板特征矩阵,可以提高确定的目标候选问句模板特征矩阵的准确性,进而为后续生成至少一个目标问句提供保障。
在获取到至少一个目标候选问句模板后,需要将每个目标候选问句模板分别与待处理文本和目标答案输入至问句生成模型,以获得问句生成模型输出的至少一个目标问句。
本说明书提供的一种具体实施方式中,在根据所述初始问句模板确定至少一个目标候选问句模板之后,所述方法还包括:
分别将各个目标候选问句模板和所述待处理文本、所述目标答案进行拼接,获得所述至少一个待输入文本。
其中,待输入文本是指基于目标候选问句模板、待处理文本和目标答案构建的文本数据。待输入文本用于输入至问句生成模型获得待处理文本和目标答案对应的目标问句。
具体的,将每个目标候选问句模板分别与待处理文本、目标答案进行拼接,将拼接后的文本确定为待输入文本。以便于后续将构建的待输入文本输入至问句生成模型,并获得问句生成模型输出的至少一个目标问句。
例如,通过预先设置的拼接标识对目标候选问句模板、待处理文本和目标答案进行拼接,拼接后的待输入文本可以为,“[CLS]目标候选问句模板[SEP]待处理文本[SEP]目标答案[SEP]”,其中,[CLS]符号为特殊分类嵌入字符,将[CLS]符号插入至文本前;[SEP]符号可以理解为文件中的字段分离符,用于将文本文件进行分割。
也可以为,“目标候选问句模板[piece]待处理文本[piece]目标答案”,其中,[piece]为拼接标识。需要说明的是,在对目标候选问句模板、待处理文本和目标答案进行拼接的过程中,本说明书对于目标候选问句模板、待处理文本、目标答案的拼接顺序不进行限定。
进一步的,本说明书提供的一种具体实施方式中,所述问句模板数据库通过下述方法创建:
获取待处理问句;
识别所述待处理问句中的至少一个命名实体;
将所述至少一个命名实体从所述待处理问句中剔除,获得所述待处理问句对应的待处理问句模板;
将所述待处理问句模板添加至所述问句模板数据库。
其中,待处理问句具体是指,等待进行处理的问句,待处理问句可以是任意问句。待处理问句模板是指剔除待处理问句中对应的命名实体的剩余部分。
例如,待处理问句为“你喜欢吃苹果吗?”,采用和上述获取初始问句模板相同的方法,将该待处理问句中的命名实体“苹果”剔除,将用[mask]标识符替换剔除的命名实体,得到待处理问句对应的待处理问句模板为“你喜欢吃[mask]吗?”。进一步的,将剔除命名实体的待处理问句模板添加至问句模板数据库。基于相同的方法,可以获得任意问句的问句模板,并将其添加至问句模板数据库,从而可以得到一个包含任意问句模板的问句模板数据库。
通过基于问句获取问句模板,进而创建问句模板数据库,极大地丰富了问句模板数据库中问句模板的丰富性,为检索问句模板的过程提供丰富的语料资源。
本说明书提供的问句生成方法,通过问句生成模型输出的初始问句获得初始问句模板,并根据初始问句生成模板在问句模板数据库中检索与初始问句模板具有相关性的初始候选问句模板,可以提高后续生成的目标问句的多样性和丰富性,在对初始候选问句模板进行去重后,获得对应的目标候选问句模板,可以使得在提高目标问句的多样性的基础上,保证生成的目标问句的准确性。
步骤210:将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
在拼接获得至少一个待输入文本后,可以将待输入文本输入至问句生成模型,并获得问句生成模型输出的至少一个目标问句,其中,目标问句的数量与待输入文本的数量一致。
本说明书提供的一种具体实施方式中,所述问句生成模型通过下述方法训练获得:
获取第一样本训练数据,其中,所述第一样本训练数据包括第一样本问句、第一样本处理文本和第一样本答案;
提取所述第一样本问句对应的第一样本问句模板;
根据所述第一样本问句模板确定至少一个样本目标候选问句模板;
将至少一个样本待输入文本输入至初始问句生成模型,获得所述初始问句生成模型输出的至少一个初始预测问句,其中,样本待输入文本基于所述至少一个样本目标候选问句模板、所述第一样本处理文本和所述第一样本答案构建;
基于各个初始预测问句、所述第一样本处理文本和所述第一样本答案获取至少一个奖励值,并根据所述第一样本处理文本、所述第一样本答案、所述至少一个样本目标候选问句模板和所述至少一个奖励值训练所述初始问句生成模型,获得所述问句生成模型,其中,所述奖励值用于表征所述各个初始预测问句和所述第一样本答案之间的匹配结果。
其中,第一样本训练数据是指在第一样本训练数据集合中获取的样本训练数据,包括第一样本问句、第一样本处理文本和第一样本答案,是问句生成模型的训练样本;第一样本训练数据集合是指通过采集样本处理文本和样本答案中的文本内容,以及与样本处理文本和样本答案对应的样本问句,获得的第一样本训练数据组成的集合。
第一样本问句模板是指将第一样本问句剔除命名实体的剩余部分;样本目标候选问句模板是指对样本初始候选问句模板进行去重处理后获得的候选问句模板;样本初始候选问句模板是指基于第一样本问句模板在问句模板数据库中检索的获得的候选问句模板。
样本待输入文本是指基于每个样本目标候选问句模板、第一样本处理文本和第一样本答案构建的文本数据;初始问句生成模型为基于第一样本训练数据进行训练的问句生成模型,初始问句生成模型并不作为最终的问句生成模型进行使用;初始预测问句是指将样本待输入文本输入至初始问句生成模型所输出的问句;奖励值用于表征每个初始预测问句和第一样本答案之间的匹配结果。
具体的,参见图3,图3是本说明书一个实施例提供的一种问句生成方法的训练过程示意图。获取第一样本训练数据,第一样本训练数据包括第一样本问句、第一样本处理文本和第一样本答案,提取第一样本问句中的样本命名实体,并将样本命名实体从第一样本问句中剔除,获得第一样本问句对应的第一样本问句模板。根据第一样本问句模板在问句模板数据库中进行检索,获得与第一样本问句模板对应的样本初始候选问句模板集合,并在样本初始候选问句模板集合中确定至少一个样本目标候选问句模板。将基于样本目标候选问句模板、第一样本处理文本和第一样本答案构建的样本待输入文本输入至初始问句生成模型,并获取初始问句生成模型输出的至少一个初始预测问句。进一步的,基于每个初始预测问句、第一样本处理文本和第一样本答案获取每个初始预测问句对应的奖励值,并反馈至初始问句生成模型,并根据第一样本处理文本、第一样本答案、至少一个样本目标候选问句模板和至少一个奖励值继续训练初始问句生成模型,以获得问句生成模型。
本说明书提供的问句生成模型优先选用T5模型进行训练,但问句生成模型的训练模型并不仅限于T5模型,也可以为其它的训练模型,如Transformer模型等。
本说明书提供的问句生成方法,通过为问句生成模型提供奖励值的方式对问句生成模型进行训练,无需大量的标注数据,降低人工标注的成本,并提高问句生成模型的准确性。
本说明书提供的一种具体实施方式中,提取所述第一样本问句对应的第一样本问句模板,包括:
识别所述第一样本问句中的至少一个样本命名实体;
将所述至少一个样本命名实体从所述第一样本问句中剔除,获得所述第一样本问句对应的第一样本问句模板。
其中,样本命名实体可以理解为,第一样本问句中的人名、地名等以名称为标识的实体。例如,第一样本问句为“图格·特穆尔什么时候去世的?”,“图格·特穆尔”则为第一样本问句中的样本命名实体。
具体的,获取第一样本训练数据后,对第一样本训练数据中的第一样本问句进行识别,获得第一样本问句中的样本命名实体,并将样本命名实体从第一样本问句中剔除,进而用[mask]标识符替换剔除的样本命名实体,即可得到第一样本问句对应的第一样本问句模板。
例如,第一样本训练数据中的第一样本问句为“图格·特穆尔什么时候去世的?”,识别第一样本问句中的样本命名实体为“图格·特穆尔”,将“图格·特穆尔”从“图格·特穆尔什么时候去世的?”中剔除,并用[mask]标识符替换“图格·特穆尔”,得到第一样本问句模板为“[mask]什么时候去世的?”。
通过识别第一样本问句中的样本命名实体,并将样本命名实体从第一样本问句中剔除,进而获取第一样本问句对应的第一样本问句模板。
本说明书提供的一种具体实施方式中,根据所述第一样本问句模板确定至少一个样本目标候选问句模板,包括:
基于所述第一样本问句模板在问句模板数据库中进行检索,获得样本初始候选问句模板集合;
对所述样本初始候选问句模板集合中的样本初始候选问句模板进行去重处理,获得所述至少一个样本目标候选问句模板。
其中,样本初始候选问句模板集合是指基于第一样本问句模板在问句模板数据库检索后获得的与第一样本问句模板具有相关性的问句模板的集合。
具体的,在提取第一样本问句的第一样本问句模板后,可以通过第一样本问句模板在问句模板数据库中进行检索,以获得与第一样本问句模板相关的其它问句模板,将检索得到的问句模板添加至样本初始候选问句模板集合中。为了保证检索所得到的样本初始候选问句模板的准确性,进一步的,需要对检索得到的样本初始候选问句模板集合中的样本初始候选问句模板进行去重处理,并将去重后获得的样本初始候选问句模板确定为样本目标候选问句模板。
通过对获取的样本初始候选问句模板集合中的样本初始候选问句模板进行去重处理,将与第一样本问句模板关联性较小的、或是与第一样本问句模板的语义重复的样本初始候选问句模板过滤掉,进而保证获得的样本初始候选问句模板的准确性。
进一步的,本说明书提供的一种具体实施方式中,基于各个初始预测问句、所述第一样本处理文本和所述第一样本答案获取至少一个奖励值,包括:
确定待处理初始预测问句,将所述待处理初始预测问句和所述第一样本处理文本输入至问答模型;
获取所述问答模型输出的与所述待处理初始预测问句对应的预测答案;
计算所述预测答案和所述第一样本答案之间的误差值;
根据所述误差值确定所述第一样本答案和所述待处理初始预测问句之间的奖励值。
其中,待处理初始预测问句是指至少一个初始预测问句中等待进行处理的初始预测问句;问答模型是指根据样本处理文本和样本问句生成对应的样本答案的模型,问答模型用于在训练问句生成模型的过程中为问句生成模型提供奖励;预测答案是指将待处理预测问句和第一样本处理文本输入至问答模型所输出的答案;误差值是指预测答案和第一样本答案之间的差异值。
具体的,获取初始问句生成模型输出的至少一个初始预测问句,在获取的至少一个初始预测问句中确定待处理初始预测问句,将待处理初始预测问句和第一样本处理文本输入至问答模型,进而即可以获取问答模型输出的预测答案,该预测答案与待处理初始预测问句相对应。
进一步的,计算预测答案与第一样本答案之间的误差值,并根据该误差值确定第一样本答案与待处理初始预测问句之间的奖励值。需要说明的是,预测答案与第一样本答案之间的误差值越小,第一样本答案与待处理初始预测问句之间的奖励值越大。例如,计算得出的误差值为0.2,基于误差值与奖励值的对应关系,确定对应的奖励值可以为80。
通过训练问答模型,可以为训练问句生成模型的过程中,为问句生成模型提供奖励,以使得问句生成模型生成的问句与待处理文本和目标答案尽可能相匹配,提高目标问句生成的准确性。
进一步的,本说明书提供的一种具体实施方式中,所述问答模型通过下述方法训练获得:
获取第二样本训练数据和所述第二样本训练数据对应的第二样本答案,其中,所述第二样本训练数据包括第二样本处理文本和第二样本问句;
将所述第二样本处理文本和所述第二样本问句输入至所述问答模型,获得所述第二样本问句对应的第二预测答案;
根据所述第二样本答案和所述第二预测答案计算所述问答模型的损失值;
根据所述损失值调整所述问答模型的模型参数,并继续训练所述问答模型,直至达到训练停止条件。
其中,第二样本训练数据是指在第二样本训练数据集合中获取的样本训练数据,包括第二样本处理文本和第二样本问句,是问答模型的训练样本;第二样本训练数据集合是指通过采集样本处理文本和样本问句中的文本内容获得的第二样本训练数据组成的集合;第二样本答案是指第二样本训练数据对应的实际答案;第二预测答案是指将第二样本处理文本和第二样本问句输入至问答模型所输出的答案;损失值是指第二样本答案和第二预测答案之间的差异值,用于度量第二样本答案和第二预测答案之间的差异。
具体的,将第二样本处理文本和第二样本问句输入至问答模型中,问答模型用于生成第二样本处理文本和第二样本问句对应的答案,此时的问答模型是还未训练好的模型,生成的第二预测答案与实际的第二样本答案之间会存在偏差,需要对问答模型的模型参数进行相应的调整,具体的,根据输出的第二预测答案和第二样本问句计算问答模型的损失值,计算损失值的损失函数在实际应用中可以为 0-1 损失函数、平方损失函数、交叉熵损失函数等等,在本说明书中,优选的,选择交叉熵函数作为计算损失值的损失函数,并根据损失值调整问答模型的模型参数,基于调整后的模型参数用于下一批次第二样本处理文本和第二样本问句继续训练问答模型,直至达到模型训练的停止条件。具体的,模型训练停止条件包括模型损失值小于预设阈值和/或训练轮次达到预设的轮次。
在本说明书提供的一具体实施方式中,以通过模型损失值小于预设阈值为训练停止条件为例,预设阈值为0.3,当模型损失值小于0.3时,则认为问答模型训练完成。
在本说明书提供的另一具体实施方式中,以预设的训练轮次作为训练停止条件为例,预设的训练轮次为30轮,当第二样本处理文本和第二样本问句的训练轮次达到30轮后,则认为问答模型训练完成。
在本说明书提供的又一具体实施方式中,设置预设阈值和预设训练轮次两个训练停止条件,同时监测损失值和训练轮次,当模型损失值或训练轮次中任意一项满足训练停止条件时,则认为问答模型训练完成。
通过训练一个问答模型为训练问句生成模型的过程中,为问句生成模型提供奖励,相对于有监督学习的训练方式,不需要大量的标注数据,降低人工标注的成本,相对于无监督学习的训练方式,提供训练问句生成模型的准确性。
本说明书提供的问句生成方法,包括:获取待处理文本和目标答案;将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;提取所述初始问句对应的初始问句模板;根据所述初始问句模板确定至少一个目标候选问句模板;将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
本说明书一个实施例通过获取待处理文本和答案,并对待处理文本和答案进行处理,实现了可以使非结构化的文档数据作为输入源进行处理,并通过基于提取问句生成模型输出的初始问句的初始问句模板获得至少一个目标候选问句模板,进而基于至少一个目标候选问句模板和待处理文本、目标答案获取与待处理文本和目标答案对应的至少一个目标问句,从而提高生成的目标问句的多样性和准确性。
下述结合附图4,以本说明书提供的问句生成方法在智能问答的应用为例,对所述问句生成方法进行进一步说明。其中,图4示出了本说明书一个实施例提供的一种问句生成方法的处理过程流程图,具体包括以下步骤。
步骤402:获取待处理文本和目标答案。
获取待处理文本“1332年图格·特穆尔去世,同年仁钦巴尔(宁宗皇帝)去世后,13岁的托洪·特穆尔(徽宗皇帝),忽必烈九位继承人中的最后一位,被从广西召回并继承了王位。”和目标答案“1332年”。
步骤404:将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句。
将待处理文本“1332年图格·特穆尔去世,同年仁钦巴尔(宁宗皇帝)去世后,13岁的托洪·特穆尔(徽宗皇帝),忽必烈九位继承人中的最后一位,被从广西召回并继承了王位。”和目标答案“1332年”输入至问句生成模型,获得问句生成模型输出的初始问句为“图格·特穆尔什么时候去世的?”。
步骤406:识别所述初始问句中的至少一个命名实体,将所述至少一个命名实体从所述初始问句中剔除,获得所述初始问句对应的初始问句模板。
识别初始问句“图格·特穆尔什么时候去世的?”中的命名实体为“图格·特穆尔”,将“图格·特穆尔”从初始问句“图格·特穆尔什么时候去世的?”中剔除,获得初始问句模板为“[mask]什么时候去世的?”。
步骤408:基于所述初始问句模板在问句模板数据库中进行检索,获得初始候选问句模板集合。
基于初始问句模板“[mask]什么时候去世的?”在问句模板数据库中进行检索,获得与初始问句模板“[mask]什么时候去世的?”对应的初始候选问句模板集合A。
步骤410:对所述初始候选问句模板集合中的初始候选问句模板进行去重处理,获得所述至少一个目标候选问句模板。
对初始候选问句模板集合A中的初始候选问句模板1、初始候选问句模板2、初始候选问句模板3、初始候选问句模板4和初始候选问句模板5进行去重处理,获得的目标候选问句模板为初始候选问句模板1、初始候选问句模板4和初始候选问句模板5,则目标候选问句模板为目标候选问句模板1、目标候选问句模板4和目标候选问句模板5。
步骤412:分别将所述至少一个目标候选问句模板和所述待处理文本、所述目标答案进行拼接,获得所述至少一个待输入文本。
将目标候选问句模板1、待处理文本和目标答案进行拼接获得待输入文本1,将目标候选问句模板4、待处理文本和目标答案进行拼接获得待输入文本2,目标候选问句模板5、待处理文本和目标答案进行拼接获得待输入文本3。
步骤414:将所述至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句。
将待输入文本1、待输入文本2和待输入文本3输入至问句生成模型,获得问句生成模型输出的目标问句1、目标问句2和目标问句3。
本说明书提供的问句生成方法,不仅可以对非结构化的待处理文本进行处理,还可以基于目标候选问句模板生成与待处理文本、目标答案对应的至少一个目标问句,提供生成的目标问句的多样性和丰富性。同时,在生成目标问句的过程中,还会对问句模板进行去重处理,保证目标问句的准确性。
与上述方法实施例相对应,本说明书还提供了问句生成装置实施例,图5示出了本说明书一个实施例提供的一种问句生成装置的结构示意图。如图5所示,该装置包括:
获取模块502,被配置为获取待处理文本和目标答案;
第一输入模块504,被配置为将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;
提取模块506,被配置为提取所述初始问句对应的初始问句模板;
确定模块508,被配置为根据所述初始问句模板确定至少一个目标候选问句模板;
第二输入模块510,被配置为将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
可选的,所述提取模块506,进一步被配置为:
识别所述初始问句中的至少一个命名实体;
将所述至少一个命名实体从所述初始问句中剔除,获得所述初始问句对应的初始问句模板。
可选的,所述确定模块508,进一步被配置为:
基于所述初始问句模板在问句模板数据库中进行检索,获得初始候选问句模板集合;
对所述初始候选问句模板集合中的初始候选问句模板进行去重处理,获得所述至少一个目标候选问句模板。
可选的,所述确定模块508,进一步被配置为:
将各个初始候选问句模板转换为对应的初始候选问句模板特征矩阵;
对所述各个初始候选问句模板特征矩阵进行聚类,获得至少一个初始聚类簇;
确定各个初始聚类簇对应的目标候选问句模板特征矩阵;
将各个目标候选问句模板特征矩阵对应的初始候选问句模板确定为目标候选问句模板。
可选的,所述确定模块508,进一步被配置为:
计算所述各个初始候选问句模板特征矩阵之间的相似度;
基于相似度结果对所述各个初始候选问句模板特征矩阵进行聚类。
可选的,所述确定模块508,进一步被配置为:
确定待处理初始聚类簇,并获取所述待处理初始聚类簇中的初始候选问句模板特征矩阵;
获取各个初始候选问句模板特征矩阵对应的检索分数,其中,所述检索分数是所述初始候选问句模板与所述初始问句模板之间的相似度评分;
根据所述各个初始候选问句模板特征矩阵对应的检索分数,确定所述待处理初始聚类簇对应的目标候选问句模板特征矩阵。
可选的,所述装置还包括拼接模块,被配置为:
分别将各个目标候选问句模板和所述待处理文本、所述目标答案进行拼接,获得所述至少一个待输入文本。
可选的,所述装置还包括第一训练模块,被配置为:
获取第一样本训练数据,其中,所述第一样本训练数据包括第一样本问句、第一样本处理文本和第一样本答案;
提取所述第一样本问句对应的第一样本问句模板;
根据所述第一样本问句模板确定至少一个样本目标候选问句模板;
将至少一个样本待输入文本输入至初始问句生成模型,获得所述初始问句生成模型输出的至少一个初始预测问句,其中,样本待输入文本基于所述至少一个样本目标候选问句模板、所述第一样本处理文本和所述第一样本答案构建;
基于各个初始预测问句、所述第一样本处理文本和所述第一样本答案获取至少一个奖励值,并根据所述第一样本处理文本、所述第一样本答案、所述至少一个样本目标候选问句模板和所述至少一个奖励值训练所述初始问句生成模型,获得所述问句生成模型,其中,所述奖励值用于表征所述各个初始预测问句和所述第一样本答案之间的匹配结果。
可选的,所述第一训练模块,进一步被配置为:
识别所述第一样本问句中的至少一个样本命名实体;
将所述至少一个样本命名实体从所述第一样本问句中剔除,获得所述第一样本问句对应的第一样本问句模板。
可选的,所述第一训练模块,进一步被配置为:
基于所述第一样本问句模板在问句模板数据库中进行检索,获得样本初始候选问句模板集合;
对所述样本初始候选问句模板集合中的样本初始候选问句模板进行去重处理,获得所述至少一个样本目标候选问句模板。
可选的,所述第一训练模块,进一步被配置为:
确定待处理初始预测问句,将所述待处理初始预测问句和所述第一样本处理文本输入至问答模型;
获取所述问答模型输出的与所述待处理初始预测问句对应的预测答案;
计算所述预测答案和所述第一样本答案之间的误差值;
根据所述误差值确定所述第一样本答案和所述待处理初始预测问句之间的奖励值。
可选的,所述第一训练模块还包括第二训练模块,被配置为:
获取第二样本训练数据和所述第二样本训练数据对应的第二样本答案,其中,所述第二样本训练数据包括第二样本处理文本和第二样本问句;
将所述第二样本处理文本和所述第二样本问句输入至所述问答模型,获得所述第二样本问句对应的第二预测答案;
根据所述第二样本答案和所述第二预测答案计算所述问答模型的损失值;
根据所述损失值调整所述问答模型的模型参数,并继续训练所述问答模型,直至达到训练停止条件。
可选的,所述确定模块508还包括创建模块,被配置为:
获取待处理问句;
识别所述待处理问句中的至少一个命名实体;
将所述至少一个命名实体从所述待处理问句中剔除,获得所述待处理问句对应的待处理问句模板;
将所述待处理问句模板添加至所述问句模板数据库。
本说明书提供的一种问句生成装置,包括:获取模块,被配置为获取待处理文本和目标答案;第一输入模块,被配置为将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;提取模块,被配置为提取所述初始问句对应的初始问句模板;确定模块,被配置为根据所述初始问句模板确定至少一个目标候选问句模板;第二输入模块,被配置为将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
本说明书一个实施例通过获取待处理文本和答案,并对待处理文本和答案进行处理,实现了可以使非结构化的文档数据作为输入源进行处理,并通过基于提取问句生成模型输出的初始问句的初始问句模板获得至少一个目标候选问句模板,进而基于至少一个目标候选问句模板和待处理文本、目标答案获取与待处理文本和目标答案对应的至少一个目标问句,从而提高生成的目标问句的多样性和准确性。
上述为本实施例的一种问句生成装置的示意性方案。需要说明的是,该问句生成装置的技术方案与上述的问句生成方法的技术方案属于同一构思,问句生成装置的技术方案未详细描述的细节内容,均可以参见上述问句生成方法的技术方案的描述。
进一步的,结合附图6,以应用场景为智能问答场景为例进行说明,图6示出了根据本说明书一个实施例提供的一种问句生成方法的应用于智能问答场景的流程图,具体包括以下步骤。
步骤602:获取待处理问答文本和目标答案。
步骤604:将所述待处理问答文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问答问句,其中,所述问句生成模型用于生成所述待处理问答文本和所述目标答案对应的至少一个目标问答问句。
步骤606:提取所述初始问答问句对应的初始问答问句模板。
步骤608:根据所述初始问答问句模板确定至少一个目标候选问答问句模板。
步骤610:将至少一个待输入问答文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问答问句,其中,待输入问答文本基于所述至少一个目标候选问答问句模板、所述待处理问答文本和所述目标答案构建。
本说明书一个实施例提供的问句生成方法,应用于智能问答场景,通过获取针对智能问答场景的待处理问答文本和目标答案,将获取的待处理问答文本和目标答案输入至问句生成模型,可以获取问句生成模型输出的初始问答问句,进一步的,通过提取初始问答问句对应的初始问答问句模板,以获取至少一个目标候选问答问句模板,进而根据目标候选问答问句模板、待处理问答文本和目标答案构建对应的待输入问答文本,将待输入问答文本输入至问句生成模型,获取问句生成模型输出的至少一个目标问答问句。
本说明一个实施例实现了,对非结构化的文本数据进行处理,提高生成的目标问答问句的多样性和准确性。
上述为本实施例的应用于智能问答场景的一种问句生成方法的示意性方案。需要说明的是,该问句生成方法的技术方案与上述的问句生成方法的技术方案属于同一构思,问句生成方法的技术方案未详细描述的细节内容,均可以参见上述问句生成方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了应用于智能问答场景的问句生成装置实施例,图7示出了本说明书一个实施例提供的一种问句生成装置应用于智能问答场景的结构示意图。如图7所示,该装置包括:
文本获取模块702,被配置为获取待处理问答文本和目标答案;
第一文本输入模块704,被配置为将所述待处理问答文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问答问句,其中,所述问句生成模型用于生成所述待处理问答文本和所述目标答案对应的至少一个目标问答问句;
模板提取模块706,被配置为提取所述初始问答问句对应的初始问答问句模板;
模板确定模块708,被配置为根据所述初始问答问句模板确定至少一个目标候选问答问句模板;
第二文本输入模块710,被配置为将至少一个待输入问答文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问答问句,其中,待输入问答文本基于所述至少一个目标候选问答问句模板、所述待处理问答文本和所述目标答案构建。
本说明书一个实施例提供的问句生成装置,应用于智能问答场景,通过获取针对智能问答场景的待处理问答文本和目标答案,将获取的待处理问答文本和目标答案输入至问句生成模型,可以获取问句生成模型输出的初始问答问句,进一步的,通过提取初始问答问句对应的初始问答问句模板,以获取至少一个目标候选问答问句模板,进而根据目标候选问答问句模板、待处理问答文本和目标答案构建对应的待输入问答文本,将待输入问答文本输入至问句生成模型,获取问句生成模型输出的至少一个目标问答问句。
本说明一个实施例实现了,对非结构化的文本数据进行处理,提高生成的目标问答问句的多样性和准确性。
上述为本实施例的一种问句生成装置的示意性方案。需要说明的是,该问句生成装置的技术方案与上述的问句生成方法的技术方案属于同一构思,问句生成装置的技术方案未详细描述的细节内容,均可以参见上述问句生成方法的技术方案的描述。
图8示出了根据本说明书一个实施例提供的一种计算设备800的结构框图。该计算设备800的部件包括但不限于存储器810和处理器820。处理器820与存储器810通过总线830相连接,数据库850用于保存数据。
计算设备800还包括接入设备840,接入设备840使得计算设备800能够经由一个或多个网络860通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备840可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备800的上述部件以及图8中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图8所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备800可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备800还可以是移动式或静止式的服务器。
其中,处理器820用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述问句生成方法的步骤。上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的问句生成方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述问句生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述问句生成方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的问句生成方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述问句生成方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述问句生成方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的问句生成方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述问句生成方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种问句生成方法,包括:
获取待处理文本和目标答案;
将所述待处理文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问句,其中,所述问句生成模型用于生成所述待处理文本和所述目标答案对应的至少一个目标问句;
提取所述初始问句对应的初始问句模板;
根据所述初始问句模板确定至少一个目标候选问句模板;
将至少一个待输入文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问句,其中,待输入文本基于所述至少一个目标候选问句模板、所述待处理文本和所述目标答案构建。
2.如权利要求1所述的方法,提取所述初始问句对应的初始问句模板,包括:
识别所述初始问句中的至少一个命名实体;
将所述至少一个命名实体从所述初始问句中剔除,获得所述初始问句对应的初始问句模板。
3.如权利要求1所述的方法,根据所述初始问句模板确定至少一个目标候选问句模板,包括:
基于所述初始问句模板在问句模板数据库中进行检索,获得初始候选问句模板集合;
对所述初始候选问句模板集合中的初始候选问句模板进行去重处理,获得所述至少一个目标候选问句模板。
4.如权利要求3所述的方法,对所述初始候选问句模板集合中的初始候选问句模板进行去重处理,获得所述至少一个目标候选问句模板,包括:
将各个初始候选问句模板转换为对应的初始候选问句模板特征矩阵;
对所述各个初始候选问句模板特征矩阵进行聚类,获得至少一个初始聚类簇;
确定各个初始聚类簇对应的目标候选问句模板特征矩阵;
将各个目标候选问句模板特征矩阵对应的初始候选问句模板确定为目标候选问句模板。
5.如权利要求4所述的方法,确定各个初始聚类簇对应的目标候选问句模板特征矩阵,包括:
确定待处理初始聚类簇,并获取所述待处理初始聚类簇中的初始候选问句模板特征矩阵;
获取各个初始候选问句模板特征矩阵对应的检索分数,其中,所述检索分数是所述初始候选问句模板与所述初始问句模板之间的相似度评分;
根据所述各个初始候选问句模板特征矩阵对应的检索分数,确定所述待处理初始聚类簇对应的目标候选问句模板特征矩阵。
6.如权利要求1所述的方法,所述问句生成模型通过下述方法训练获得:
获取第一样本训练数据,其中,所述第一样本训练数据包括第一样本问句、第一样本处理文本和第一样本答案;
提取所述第一样本问句对应的第一样本问句模板;
根据所述第一样本问句模板确定至少一个样本目标候选问句模板;
将至少一个样本待输入文本输入至初始问句生成模型,获得所述初始问句生成模型输出的至少一个初始预测问句,其中,样本待输入文本基于所述至少一个样本目标候选问句模板、所述第一样本处理文本和所述第一样本答案构建;
基于各个初始预测问句、所述第一样本处理文本和所述第一样本答案获取至少一个奖励值,并根据所述第一样本处理文本、所述第一样本答案、所述至少一个样本目标候选问句模板和所述至少一个奖励值训练所述初始问句生成模型,获得所述问句生成模型,其中,所述奖励值用于表征所述各个初始预测问句和所述第一样本答案之间的匹配结果。
7.如权利要求6所述的方法,提取所述第一样本问句对应的第一样本问句模板,包括:
识别所述第一样本问句中的至少一个样本命名实体;
将所述至少一个样本命名实体从所述第一样本问句中剔除,获得所述第一样本问句对应的第一样本问句模板。
8.如权利要求6所述的方法,根据所述第一样本问句模板确定至少一个样本目标候选问句模板,包括:
基于所述第一样本问句模板在问句模板数据库中进行检索,获得样本初始候选问句模板集合;
对所述样本初始候选问句模板集合中的样本初始候选问句模板进行去重处理,获得所述至少一个样本目标候选问句模板。
9.如权利要求6所述的方法,基于各个初始预测问句、所述第一样本处理文本和所述第一样本答案获取至少一个奖励值,包括:
确定待处理初始预测问句,将所述待处理初始预测问句和所述第一样本处理文本输入至问答模型;
获取所述问答模型输出的与所述待处理初始预测问句对应的预测答案;
计算所述预测答案和所述第一样本答案之间的误差值;
根据所述误差值确定所述第一样本答案和所述待处理初始预测问句之间的奖励值。
10.如权利要求9所述的方法,所述问答模型通过下述方法训练获得:
获取第二样本训练数据和所述第二样本训练数据对应的第二样本答案,其中,所述第二样本训练数据包括第二样本处理文本和第二样本问句;
将所述第二样本处理文本和所述第二样本问句输入至所述问答模型,获得所述第二样本问句对应的第二预测答案;
根据所述第二样本答案和所述第二预测答案计算所述问答模型的损失值;
根据所述损失值调整所述问答模型的模型参数,并继续训练所述问答模型,直至达到训练停止条件。
11.如权利要求3所述的方法,所述问句模板数据库通过下述方法创建:
获取待处理问句;
识别所述待处理问句中的至少一个命名实体;
将所述至少一个命名实体从所述待处理问句中剔除,获得所述待处理问句对应的待处理问句模板;
将所述待处理问句模板添加至所述问句模板数据库。
12.一种问句生成方法,应用于智能问答场景,包括:
获取待处理问答文本和目标答案;
将所述待处理问答文本和所述目标答案输入至问句生成模型,获得所述问句生成模型输出的初始问答问句,其中,所述问句生成模型用于生成所述待处理问答文本和所述目标答案对应的至少一个目标问答问句;
提取所述初始问答问句对应的初始问答问句模板;
根据所述初始问答问句模板确定至少一个目标候选问答问句模板;
将至少一个待输入问答文本输入至所述问句生成模型,获得所述问句生成模型输出的至少一个目标问答问句,其中,待输入问答文本基于所述至少一个目标候选问答问句模板、所述待处理问答文本和所述目标答案构建。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310172856.6A CN116089589B (zh) | 2023-02-10 | 2023-02-10 | 问句生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310172856.6A CN116089589B (zh) | 2023-02-10 | 2023-02-10 | 问句生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116089589A true CN116089589A (zh) | 2023-05-09 |
CN116089589B CN116089589B (zh) | 2023-08-29 |
Family
ID=86212067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310172856.6A Active CN116089589B (zh) | 2023-02-10 | 2023-02-10 | 问句生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116089589B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102737042A (zh) * | 2011-04-08 | 2012-10-17 | 北京百度网讯科技有限公司 | 建立问句生成模型的方法和装置以及问句生成方法和装置 |
CN110543553A (zh) * | 2019-07-31 | 2019-12-06 | 平安科技(深圳)有限公司 | 问题生成方法、装置、计算机设备及存储介质 |
CN110647614A (zh) * | 2019-08-01 | 2020-01-03 | 平安科技(深圳)有限公司 | 智能问答方法、装置、介质及电子设备 |
CN111125328A (zh) * | 2019-12-12 | 2020-05-08 | 深圳数联天下智能科技有限公司 | 文本处理方法及相关设备 |
CN111221945A (zh) * | 2020-04-24 | 2020-06-02 | 支付宝(杭州)信息技术有限公司 | 基于用户问句生成标准问题的方法和装置 |
CN111553159A (zh) * | 2020-04-24 | 2020-08-18 | 中国科学院空天信息创新研究院 | 一种问句生成方法及系统 |
CN111597313A (zh) * | 2020-04-07 | 2020-08-28 | 深圳追一科技有限公司 | 问答方法、装置、计算机设备和存储介质 |
CN111782759A (zh) * | 2020-06-29 | 2020-10-16 | 数网金融有限公司 | 一种问答处理方法、装置及计算机可读存储介质 |
WO2021243706A1 (zh) * | 2020-06-05 | 2021-12-09 | 中山大学 | 一种跨语言生成提问的方法和装置 |
CN113934834A (zh) * | 2021-11-01 | 2022-01-14 | 阳光保险集团股份有限公司 | 一种问句匹配的方法、装置、设备和存储介质 |
CN114138947A (zh) * | 2020-09-03 | 2022-03-04 | 北京金山数字娱乐科技有限公司 | 文本处理方法及装置 |
CN115391514A (zh) * | 2022-09-06 | 2022-11-25 | 京东科技信息技术有限公司 | 问答语句生成方法、装置、电子设备及存储介质 |
CN115510205A (zh) * | 2022-09-30 | 2022-12-23 | 太保科技有限公司 | 一种问句生成的方法、系统及存储介质 |
CN115688879A (zh) * | 2022-10-21 | 2023-02-03 | 中电智恒信息科技服务有限公司 | 一种基于知识图谱的智能客服语音处理系统及方法 |
-
2023
- 2023-02-10 CN CN202310172856.6A patent/CN116089589B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102737042A (zh) * | 2011-04-08 | 2012-10-17 | 北京百度网讯科技有限公司 | 建立问句生成模型的方法和装置以及问句生成方法和装置 |
CN110543553A (zh) * | 2019-07-31 | 2019-12-06 | 平安科技(深圳)有限公司 | 问题生成方法、装置、计算机设备及存储介质 |
CN110647614A (zh) * | 2019-08-01 | 2020-01-03 | 平安科技(深圳)有限公司 | 智能问答方法、装置、介质及电子设备 |
CN111125328A (zh) * | 2019-12-12 | 2020-05-08 | 深圳数联天下智能科技有限公司 | 文本处理方法及相关设备 |
CN111597313A (zh) * | 2020-04-07 | 2020-08-28 | 深圳追一科技有限公司 | 问答方法、装置、计算机设备和存储介质 |
CN111553159A (zh) * | 2020-04-24 | 2020-08-18 | 中国科学院空天信息创新研究院 | 一种问句生成方法及系统 |
CN111221945A (zh) * | 2020-04-24 | 2020-06-02 | 支付宝(杭州)信息技术有限公司 | 基于用户问句生成标准问题的方法和装置 |
WO2021243706A1 (zh) * | 2020-06-05 | 2021-12-09 | 中山大学 | 一种跨语言生成提问的方法和装置 |
CN111782759A (zh) * | 2020-06-29 | 2020-10-16 | 数网金融有限公司 | 一种问答处理方法、装置及计算机可读存储介质 |
CN114138947A (zh) * | 2020-09-03 | 2022-03-04 | 北京金山数字娱乐科技有限公司 | 文本处理方法及装置 |
CN113934834A (zh) * | 2021-11-01 | 2022-01-14 | 阳光保险集团股份有限公司 | 一种问句匹配的方法、装置、设备和存储介质 |
CN115391514A (zh) * | 2022-09-06 | 2022-11-25 | 京东科技信息技术有限公司 | 问答语句生成方法、装置、电子设备及存储介质 |
CN115510205A (zh) * | 2022-09-30 | 2022-12-23 | 太保科技有限公司 | 一种问句生成的方法、系统及存储介质 |
CN115688879A (zh) * | 2022-10-21 | 2023-02-03 | 中电智恒信息科技服务有限公司 | 一种基于知识图谱的智能客服语音处理系统及方法 |
Non-Patent Citations (3)
Title |
---|
DHAWALESWAR RAO CH; SUJAN KUMAR SAHA;: "Automatic Multiple Choice Question Generation From Text: A Survey", IEEE TRANSACTIONS ON LEARNING TECHNOLOGIES, pages 14 * |
庞泽雄;张奇;: "基于佐证图神经网络的多跳问题生成", 中文信息学报, pages 94 - 101 * |
陈玉;: "问答系统中问句分类算法研究", 软件工程师, no. 11, pages 30 - 31 * |
Also Published As
Publication number | Publication date |
---|---|
CN116089589B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110795543B (zh) | 基于深度学习的非结构化数据抽取方法、装置及存储介质 | |
CN110298037B (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
CN112256828B (zh) | 医学实体关系抽取方法、装置、计算机设备及可读存储介质 | |
CN111444340A (zh) | 文本分类和推荐方法、装置、设备及存储介质 | |
CN111159485B (zh) | 尾实体链接方法、装置、服务器及存储介质 | |
CN112270196A (zh) | 实体关系的识别方法、装置及电子设备 | |
CN110895559A (zh) | 模型训练、文本处理方法、装置以及设备 | |
CN113536801A (zh) | 阅读理解模型的训练方法及装置、阅读理解方法及装置 | |
CN115130538A (zh) | 文本分类模型的训练方法、文本处理的方法、设备及介质 | |
CN114691864A (zh) | 文本分类模型训练方法及装置、文本分类方法及装置 | |
CN108763211A (zh) | 融合蕴含知识的自动文摘方法及系统 | |
CN112579752A (zh) | 实体关系的抽取方法及装置、存储介质、电子设备 | |
CN115858750A (zh) | 基于自然语言处理的电网技术标准智能问答方法及系统 | |
CN112182151A (zh) | 基于多语言的阅读理解任务识别方法及装置 | |
CN115408488A (zh) | 用于小说场景文本的分割方法及系统 | |
CN113392191B (zh) | 一种基于多维度语义联合学习的文本匹配方法和装置 | |
CN111783464A (zh) | 一种面向电力的领域实体识别方法、系统及存储介质 | |
CN115064154A (zh) | 混合语言语音识别模型的生成方法及装置 | |
CN112015903B (zh) | 题目判重方法、装置、存储介质、计算机设备 | |
CN117828024A (zh) | 一种插件检索方法、装置、存储介质及设备 | |
CN116089589B (zh) | 问句生成方法及装置 | |
CN116595170A (zh) | 一种基于软提示的医疗文本分类方法 | |
CN115795018A (zh) | 一种面向电网领域的多策略智能搜索问答方法及系统 | |
CN115600602A (zh) | 一种长文本的关键要素抽取方法、系统及终端设备 | |
CN115641395A (zh) | 一种基于互信息的图文对齐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |