CN117370519A - 生成问答对的方法、装置、设备、存储介质及程序产品 - Google Patents
生成问答对的方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN117370519A CN117370519A CN202311329204.5A CN202311329204A CN117370519A CN 117370519 A CN117370519 A CN 117370519A CN 202311329204 A CN202311329204 A CN 202311329204A CN 117370519 A CN117370519 A CN 117370519A
- Authority
- CN
- China
- Prior art keywords
- text
- key information
- question
- information
- answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000000463 material Substances 0.000 claims abstract description 199
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000000605 extraction Methods 0.000 claims description 41
- 239000000284 extract Substances 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 23
- 238000005065 mining Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000003999 initiator Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本公开提供了一种生成问答对的方法、装置、电子设备、存储介质及程序产品,涉及深度学习、生成式大语言模型、文本处理、自然语言处理、信息检索等人工智能技术领域。该方法的一具体实施方式包括:获取素材文本;基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,并基于关键信息的改写结果生成问题文本;从素材文本中提取与关键信息存在关联的关联信息,并基于关联信息的改写结果生成针对问题文本的答案文本;基于问题文本和答案文本构建问答对。该实施方式提供的生成问答对的方法,可以基于对素材文本的语法结构和/或文本内容的解析,来挖掘素材文本中可以用于构成问答对的内容,能够提升针对问答对的挖掘质量和挖掘效率。
Description
技术领域
本公开涉及数据处理技术领域,具体涉及深度学习、生成式大语言模型、文本处理、自然语言处理、信息检索等技术领域,尤其涉及一种生成问答对的方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
随着社会的发展,为了便利用户获取知识,智能问答、检索技术应运而生。用户可以通过在构建的知识库中通过提出问题、问题关键词的方式,来搜索、获取与问题相关联的答案。
通常,知识库中可以通过问题-答案的“问答对”形式来收集问题以及与问题对应的答案,使得用户可以通过提供问题的方式来获取对应的答案。由此,知识库的使用价值与问答对的数量和质量直接相关,如何更效率、更有质量地构建问答是值得关注和迫切需求的。
发明内容
本公开实施例提出了一种生成问答对的方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
第一方面,本公开实施例提出了一种生成问答对的方法,包括:获取素材文本;基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,并基于关键信息的改写结果生成问题文本;从素材文本中提取与关键信息存在关联的关联信息,并基于关联信息的改写结果生成针对问题文本的答案文本;基于问题文本和答案文本构建问答对。
第二方面,本公开实施例提出了一种生成问答对的装置,包括:素材获取单元,被配置成获取素材文本;关键信息提取及问题改写单元,包括:关键信息提取子单元和问题改写子单元,关键信息提取子单元被配置成基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,问题改写子单元被配置成基于关键信息的改写结果生成问题文本;关联信息提取及答案改写单元,包括:关联信息提取子单元和答案改写子单元,关联信息提取子单元被配置成从素材文本中提取与关键信息存在关联的关联信息,答案改写子单元被配置成基于关联信息的改写结果生成针对问题文本的答案文本;问答对构建单元,被配置成基于问题文本和答案文本构建问答对。
第三方面,本公开实施例提供了一种电子设备,该电子设备包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的生成问答对的方法。
第四方面,本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的生成问答对的方法。
第五方面,本公开实施例提供了一种包括计算机程序的计算机程序产品,该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的生成问答对的方法。
本公开实施例提供的生成问答对的方法、装置、电子设备、计算机可读存储介质及计算机程序产品,可以在获取素材文本后,基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,以基于关键信息的改写结果生成问题文本。进一步地,还可以从素材文本中提取与关键信息存在关联的关联信息,以基于关联信息的改写结果生成针对问题文本的答案文本。由此,可以通过改建关键信息得到问答对中的问题文本、改写关联信息得到问答对中的答案的方式,构建问答对。
相较于一些方案中利用人工方式来对文档中的问题、答案拆分结果来构建问答对的方式。本公开可以基于对素材文本的语法结构和/或文本内容的解析,来挖掘素材文本中可以用于构成问答对的内容。本公开所提供的生成问答对的方式能够解决例如人工方式解析能力有限、覆盖面较窄、处理效率较低以及处理质量参差的技术问题,提升针对问答对的挖掘质量和挖掘效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开可以应用于其中的示例性系统架构;
图2为本公开实施例提供的一种生成问答对的方法的流程图;
图3为本公开实施例提供的一种生成问题文本的过程的流程图;
图4为本公开实施例提供的在一应用场景下的生成问答对的方法的流程示意图;
图5为本公开实施例提供的一种生成问答对的装置的结构框图;
图6为本公开实施例提供的一种适用于执行生成问答对的方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
此外,本公开涉及的技术方案中,所涉及的用户个人信息的获取(例如本公开的素材文本中可能涉及到的、由用户自主上传的相关信息)、存储、使用、加工、运输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图1示出了可以应用本公开的生成问答对的方法、装置、电子设备及计算机可读存储介质的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用,例如文档识别类应用、检索类应用、即时通讯类应用等。
终端设备101、102、103和服务器105可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等;当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中,其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器;服务器为软件时,可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块,在此不做具体限定。
服务器105通过内置的各种应用可以提供各种服务,以可以提供基于文本内容来生成与素材文本相关联的问答对的文档识别类应用为例,服务器105在运行该文档识别类应用时可实现如下效果:首先,通过网络104从终端设备101、102、103中获取素材文本;然后,服务器105基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,并基于关键信息的改写结果生成问题文本;然后,服务器105从素材文本中提取与关键信息存在关联的关联信息,并基于关联信息的改写结果生成针对问题文本的答案文本;最后,服务器105基于问题文本和答案文本构建问答对。
需要指出的是,素材文本除可以从终端设备101、102、103通过网络104获取到之外,也可以通过各种方式预先存储在服务器105本地。因此,当服务器105检测到本地已经存储有这些数据时(例如开始处理之前留存的待处理的问答对生成任务),可选择直接从本地获取这些数据,在此种情况下,示例性系统架构100也可以不包括终端设备101、102、103和网络104。
由于对素材文本进行处理、生成问答对可能需要占用较多的运算资源和较强的运算能力,因此本公开后续各实施例所提供的生成问答对的方法一般由拥有较强运算能力、较多运算资源的服务器105来执行,相应地,生成问答对的装置一般也设置于服务器105中。但同时也需要指出的是,在终端设备101、102、103也具有满足要求的运算能力和运算资源时,终端设备101、102、103也可以通过其上安装的文档识别类应用完成上述本交由服务器105做的各项运算,进而输出与服务器105同样的结果。尤其是在同时存在多种具有不同运算能力的终端设备的情况下,但文档识别类应用判断所在的终端设备拥有较强的运算能力和剩余较多的运算资源时,可以让终端设备来执行上述运算,从而适当减轻服务器105的运算压力,相应的,生成问答对的装置也可以设置于终端设备101、102、103中。在此种情况下,示例性系统架构100也可以不包括服务器105和网络104。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
接下来请继续参考图2,图2为本公开实施例提供的一种生成问答对的方法的流程图,其中流程200包括以下步骤:
步骤201:获取素材文本。
本步骤旨在由生成问答对的方法的执行主体(例如图1所示的服务器105)获取素材文本,以通过对素材文本的解析结果,来识别、拆分素材文本,得到与素材文本内容的相关联的问答对。在本公开的实施例中,问答对中的问题,可以是基于素材文本相关联的内容做出提问、询问的疑问句。例如,在素材文本中的内容是解释A产品的功能的情况下,基于素材文本构建出的问答对中的问题可能例如“A产品具有什么样的功能?”。在本开的实施例中,素材文本可以是由执行主体定期获取或者被用户所指示更新的文本,执行主体可以基于对这些素材文本的解析以构建问答对,以实现例如对知识库进行更新的目的。通常,素材文本是包括有可以被识别的文字内容的文本,例如,素材文本可以是论文文本、产品说明书、使用手册、引导手册、在线问答记录等等。在本实施例的一些可选的实现方式中,素材文本的形式基于拆分需求的不同,可以是段落、句子等等。
需要指出的是,素材文本可以由上述执行主体直接从本地的存储设备获取,也可以从非本地的存储设备(例如图1所示的终端设备101、102、103)中获取。本地的存储设备可以是设置在上述执行主体内的一个数据存储模块,例如服务器硬盘,在此种情况下,素材文本可以在本地快速读取到;非本地的存储设备还可以为其它任何被设置用于存储数据的电子设备,例如一些用户终端等,在此情况下,上述执行主体可以通过向该电子设备发送获取命令来获取所需的素材文本。
步骤202:基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,并基于关键信息的改写结果生成问题文本。
本步骤旨在由上述的执行主体,在获取到素材文本后,基于对素材文本的解析,例如语法结构、文本内容的解析,来理解素材文本的架构、内容,并基于架构和/或内容,来确定素材文本中的关键信息。在本公开的实施例中,语法结构与语言类型相对应。例如,在中文中,语法结构至少可以包括主-谓-宾结构,并列短语、偏正短语、动宾短语、动补短语、主谓短语等。在英语中,语法结构例如可以包括主-谓-宾结构、主-系-表结构。关键信息通常与素材文本所说明的内容、目的等相关。例如,素材文本为针对A产品进行说明、解释的情况下,关键信息可以包括表明被说明对象的“A产品”(例如,A产品的名称,或者,A产品的文本形式)。又例如,素材文本实际上目的是在于对B概念进行解释的情况下,关键信息可以例如包括“B概念”(或者说,概念“B”)。例如,执行主体可以基于素材文本的语法结构以理解素材文本的架构形式和/或文本内容,来确定素材文本中所包括的“关键信息”。例如,执行主体可以基于素材文本的语法结构来确定素材文本所期望表达的内容,例如,在中文中,句子中可能利用“判断动词”来对“主语”进行解释。由此,则执行主体可以基于这样的语法结构,来将“主语”部分对应的内容确定为“关键信息”。在一些场景中,对于这样的素材文本,其中包括的内容的类型也可以被理解为“概念定义”。在本公开的实施例中,还可以基于对文本内容的处理,来确定关键信息。例如,执行主体可以针对素材文本进行语义分析,并根据其分析结果来确定相应的“关键信息”。例如,执行主体可以解析出素材文本的语义是“对解释概念A进行解释”,则执行主体则可以将“概念A”作为关键信息。类似地,执行主体还可以联合语法结构和文本内容来确定关键信息。例如,某个素材文本中的主语是“A”,基于对其进行语义分析后,可以确定该素材文本的语义是对“A”概念的具体解释,素材文本的文本形式可能是列举概念A的例如A1、A2的下位概念。由此,可以利用基于语法结构和文本内容的联合分析结果,确定关键信息“A”。
相应地,执行主体可以基于确定出的关键信息,来对其进行改写,以利用改写结果来生成问题文本。通常,执行主体可以基于关键信息的性质、内容,来确定改写的形式,或者说,期望针对关键信息提出的问题。例如,执行主体识别出A的类型为“概念”时,则问题文本可以例如,“A”是什么?在“A”为“产品”时,则问题文本可以例如“A”是如何使用的?等等。在本实施例的一些可选的实现方式中,问题文本的表达形式内容,可以被预设,例如预设多个询问模板后,例如,模板中可能为“主语”处于待填入状态的疑问句。例如,模板可以是,“_是什么?”,相应地,在确定到关键信息后,可以通过填入关键信息的方式来得到问题文本。
步骤203:从素材文本中提取与关键信息存在关联的关联信息,并基于关联信息的改写结果生成针对问题文本的答案文本。
本步骤旨在基于上述步骤202的基础,进一步地对素材文本进行处理,以从素材文本中提取与关键信息存在关联的关联信息。例如,执行主体可以基于不同语言类型相对应的语法结构,将素材文本中(例如,句子中)与“主语”相关联的“定语”、“表语”等(即,可以用于修饰句子“主语”的其他句子成分)作为关联信息进行提取。类似地,执行主体也可以基于对素材文本中与关键信息相关的内容的归纳结果来确定与关键信息相关联的关联信息。在实践中,关联信息通常可以是针对关键信息的解释信息、关键信息在逻辑上所包括的信息(例如,关键信息的具体下位概念)和关键信息在分类上所包括的信息(例如,关键信息实际上外在的表现形式)等等。或者说,关联信息和关键信息可以为包含逻辑的关系。又例如,关联信息可以是关键信息的分类结果,或者说,关键信息和关联信息之间具有“分类逻辑”。相应地,执行主体可以通过对这些关联信息的改写,以生成针对问题文本的答案文本。作为备选或附加地,在对关联信息进行改写时,同样可以基于例如模板的方式,对其改写。例如,执行主体可以基于语义、分词结果等提取出关联信息中的“核心内容”,以基于核心内容进行改写,以达到精简内容的目的。
步骤204:基于问题文本和答案文本构建问答对。
本步骤旨在基于上述步骤202和203分别获取到问题文本和答案文本后,基于问题文本和答案文本的匹配、配对结果,来构建问答对。例如,在获取问题文本和答案文本后,基于语义匹配的方式,来匹配问题文本和答案文本。例如,如果问题文本的语义是“A包括什么”,则可以基于其与语义“A包括XX”语义匹配结果(例如,两者匹配)来确定该问题文本和“A包括XX”对应的关联信息为一个问答对。在本公开的实施例中,执行主体可以通过例如生成语义向量并基于向量相似度匹配(例如,向量相似度是否超过预设相似度阈值)等方式,以确定语义是否匹配。
在本实施例的一些可选的实现方式中,执行主体也可以根据用于生成问题文本和答案问题的关键信息和关联信息的位置关系、语法结构关系等来辅助完成配对。例如,基于语义确定两者可能匹配的情况下,进一步地通过检测关键信息和关联信息是否处于相同的句子中,或者,关键信息和关联信息是否分别为同一句子的主语、表语的方式,以辅助确定关键信息对应的问题文本和关联信息对应的答案文本可以被匹配。
在本实施例的一些可选的实现方式中,为了节约运算资源,执行主体在生成,或者说,选择生成文本时,可以基于素材文本的语义,或者在确定关联信息后,基于关联信息的语义来对应地选择被生成的问题文本。例如,执行主体在确定到关联信息为对“概念A”的解释的情况下,可以适应性地选择基于与“_是什么?”的形式来生成问题文本。由此,以避免利用错误的语义来生成问题文本、造成资源浪费。类似地,在本实施例的一些可选的实现方式中,执行主体也可以通过将素材文本基于语法结构拆分为多个部分后,基于语法结构的匹配关系,来确定关键信息和对应的关联信息,以直接根据用于生成问题文本和答案问题的关键信息和关联信息的位置关系、语法结构关系等来辅助完成配对。例如,执行主体可以将同属于一个句子中的关键信息和关联信息确定为一对,然后分别基于改写关键信息得到的问题文本和改写关联信息得到的答案文本来构建问答对。作为备选或附加地,在此情况下,在构建问答对前执行主体已经识别到关键信息和对应的关联信息,则在此情况下,执行主体也可以基于关联信息的语义来选择问题文本的改写形式或者说改写方向,以提升改写质量、降低资源消耗。
或者说,在本实施例的一些可选的实现方式中,为了达到例如上述的节约运算资源的目的,执行主体可以在获取到关键信息后,检测是否存在与该关键信息的相关联的关联信息。如果检测到了关联信息,再基于关联信息的内容方向(或者说,语义)来确定对关键信息、关联信息的改写方式。
本公开实施例提供的生成问答对的方法,可以在获取素材文本后,基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,以基于关键信息的改写结果生成问题文本。进一步地,还可以从素材文本中提取与关键信息存在关联的关联信息,以基于关联信息的改写结果生成针对问题文本的答案文本。由此,可以基于对素材文本的语法结构和/或文本内容的解析,来挖掘素材文本中可以用于构成问答对的内容,能够提升针对问答对的挖掘质量和挖掘效率。
在本公开的实施例中,执行主体可以依据不同的策略,或者不同的方式、维度,来确定、提取关键信息。例如,执行主体可以通过直接从素材文本提取文本(例如,直接从素材文本中的部分的原文内容)的方式来提取关键信息,也可以通过对素材文本进行处理后,利用处理后的内容来提取素材信息。例如,执行主体可以基于素材文本的文本内容提取语义后,基于语义来归纳、总结素材文本期望表达的内容,以确定关键信息。
在本实施例的一些可选的实现方式中,基于素材文本的文本内容,从素材文本中提取关键信息,包括:获取文本内容的语义角色;响应于语义角色的类型为预设类型,将素材文本中语义角色所指示的内容确定为关键信息。
具体地,执行主体可以获取文本内容的语义角色。语义角色可以根据谓语和变元之间不同的语义关系,把变元分为若干个类型。或者说,这种变元的类型一般称之为“语义角色”常见的语义角色有施事、受事、与事、工具、结果、处所等。“与事”指施事所发动事件的非主动参与者;“主事”是指性质、状态或发生非自主变化的主体,又称“当事”;致事则是事件或变化的引发者。此外,还有一些外围语义角色,即不是句子必须的成分,包括:工具、时间、处所等。进一步地,如果执行主体确定获取到的语义角色为预设类型(例如,基于需求,预先被配置的可以作为“关键信息”的类型,例如,预设类型可以是“主事”),则执行主体可以将该语义角色所对应的内容确定为关键信息。例如,执行主体确定所提取出的语义角色是“主事”,则可以将该“主事”所指示的内容作为关键信息。由此,可以利用语义角色来对素材文本的文本内容进行分析、处理,以提取出其中的关键内容作为关键信息,确保关键信息的提取价值。作为备选或附加地,对于一些类型的语义角色,执行主体还可以基于其语义角色的具体类型来适应性地构建问题文本,例如,针对与时间、地点相关的语义角色,可以通过何时、何地等方式来构建问题文本,以使两者对应。
在本实施例的一些可选的实现方式中,基于素材文本的文本内容,从素材文本中提取关键信息,包括:基于文本内容确定素材文本中所包括的实体;将实体确定为关键信息。
具体地,执行主体可以通过对文本内容的分析,以识别其中所包括的实体,或者说,命名实体。例如,实体可以是“人物名称”、“地理位置名称”和“机构名称”等等。相应地,执行主体可以将提取出的实体作为关键信息。由此,以便于后续通过实体来构造例如“是谁”、“在哪儿”等问题文本,以提供素材文本中的“实体”,方便用户获取信息。
在本实施例的一些可选的实现方式中,基于素材文本的文本内容,从素材文本中提取关键信息,包括:确定文本内容中是否包括候选词库中的目标词;响应于存在目标词,将目标词确定为关键信息。
具体地,为了使得执行主体可以针对特定类型的信息、内容具有提取能力,执行主体还可以通过检测素材文本的文本内容中是否存在候选词库中的目标词的方式,来实现对特定类型的信息的检测,并确定关键信息。通常,候选词库可以是基于需求被配置有特定类型的信息对应的关键词。由此,执行主体可以基于候选词库中的词来理解期望被识别、标识出的词。相应地,执行主体如果检测到文本内容中存在词库中的目标词,则可以对此响应,以将目标词确定为关键信息,以具有针对性地对文本内容中的内容进行提取。由此,可以通过候选词库来指示需要被执行主体所识别、提取出的相关内容,方便用户灵活、动态地调整识别目标。作为备选或附加地,候选词库可以基于所属领域被差异性地配置,例如,针对不同的领域关注的不同内容,差异性地配置候选词库中的词,以提升其使用价值。
在本实施例的一些可选的实现方式中,基于素材文本的文本内容,从素材文本中提取关键信息,包括:基于对文本内容的语义解析结果,生成语义关键词;将语义关键词确定为关键信息。
具体地,执行主体还可以通过对素材进行语义解析后,得到对应的解析结果,以分析“素材文本的叙述目的”。相应地,执行主体可以通过该解析结果确定语义关键词(在一些场景下,也可以是关键句),以利用关键词来“概括”语义解析结果。进一步地,执行主体可以利用该关键词作为关键信息,以形成针对素材文本整体内容的问题文本,以便于后续将素材文本整体的描述内容来提供给用户。这样的方式,可以基于对素材文本的整体内容(例如,叙述目的)的分析,来进行内容识别、拆分。由此,可以避免遗漏内容,提升问答对的质量。
在本实施例的一些可选的实现方式中,基于素材文本的语法结构,从素材文本中提取关键信息,包括:基于对素材文本的语法结构拆分结果,确定素材文本是否包括询问句;响应于包括询问句,将询问句确定为关键信息。
具体地,执行主体可以通过对素材文本进行拆分后,以确定素材文本是否包括询问句。例如,执行主体可以基于语法结构的拆分结果中是否包括询问引导词、问号等结构来确定素材文本是否包括询问句。如果包括询问句,执行主体可以将询问句作为关键信息,以直接利用素材文本中已有的、原生“询问形式”的内容作为关键信息、构建问题文本,以更为准确地、效率地提取“问题”。
在本实施例的一些可选的实现方式中,基于素材文本的语法结构,从素材文本中提取关键信息,包括:基于对素材文本的语法结构拆分结果,确定素材文本中所包括的主语;将主语确定为关键信息;以及从素材文本中提取与关键信息存在关联的关联信息,包括:提取关键信息所在的关键句中的非主语成分,作为与关键信息存在关联的关联信息。具体地,如上述示例,执行主体可以通过拆分语法结构的方式,以确定素材文本中的主语。作为备选或附加地,如果素材文本是例如段落的形式,则这样的主语可能是一组主语(即,由段落中各个句子的主语组成)。相应地,如果将“主语”确定为关键信息,执行主体可以适应性地基于每个主语所在的关键句中的非主语成分(例如,谓语、宾语、判断动词、表语等等)作为与关键信息相关联的关联信息。由此,可以通过原有的语法结构来确定、挖掘与关键信息相关联的关联信息。
进一步地,执行主体也可以基于语义比较的方式,来确定关键信息对应的关联信息。在本实施例的一些可选的实现方式中,执行主体还可以比较关键信息与候选句的归纳结果的语义相似度,生成与候选句相对应的语义比较结果。语义比较结果指示关键信息与相应的候选句的归纳结果的相似度。具体地,执行主体可以生成素材文本中的各候选句。作为备选或附加地,除了将素材文本中所有的句子确定为候选句之外,执行主体可以基于句子距离关键信息的提取位置的距离(例如,文本字符距离、欧式距离等等),来确定句是否可用,以确定候选句子。进一步地,执行主体可以归纳各个候选句的语义,以得到相应的归纳结果。然后,执行主体可以通过比较归纳结果与关键信息的语义相似度,来得到关键信息相对于各个候选句的语义比较结果,或者说,得到关键信息与相应的候选句的归纳结果的相似度。进一步地,执行主体可以将相似度满足阈值要求的候选句确定为与关键信息存在关联的关联信息。例如,执行主体可以通过比较语义向量、得到余弦相似度之后,确定该余弦相似度是否满足阈值相似度的要求(例如,满足阈值相似度所要求的最小值)。如果满足,执行主体可以对此进行响应,确定候选句与关键信息的语义相关联、相对应,进而将候选句确定为关联信息。由此,可以通过归纳句子的方式,对可能“跨句”存在的关联信息进行识别,避免信息遗漏关联信息。
在本开的实施例中,执行主体还可以同时利用语法结构和文本内容,来从素材文本中提取关键信息。例如,执行主体在执行基于素材文本的语法结构和文本内容,从素材文本中提取关键信息时,可以先基于素材文本的语法结构将素材文本拆分为多个子文本内容。
具体地,执行主体可以基于语法结构拆分素材文本。例如,将素材文本拆分为多个句子。或者,将素材文本拆分为多个句子组(每个句子组中包括至少一个句子)。进一步地,执行主体分别从多个子文本内容中提取相应的子关键信息。例如,执行主体对于各个子文本内容(例如,在将素材文本拆分为多个句子的情况下,子文本内容可以是每个句子),可以通过解析文本内容的语义(或者,例如上述的各个实现方式中的至少一种方式)来确定各个子文本内容对应的关键信息(为方便描述,与子文本内容对应的关键信息也可以被描述为子关键信息)。进一步地,执行主体可以基于提取到的一组子关键信息确定关键信息。例如,执行主体可以通过拼接一组子关键信息,或者,识别一组子关键信息的整体语义,以确定关键信息。由此,可以通过联合语法结构、文本内容的方式,对各个部分的子关键信息进行整合,以更细粒地对素材文本的关键信息进行分析、提取,进而提升问答对中问题的质量。
另外,为了更加便利地用户使用,执行主体可以放宽对于素材文本的上传要求。例如,用户可以根据需求任意地上传原始的待处理文本。执行主体在接收到原始的待处理文本后,可以基于本机处理,以从中提取出素材文本。对此,在本公开的实施例中,执行主体还可以获取原始的待处理文本;基于原始的待处理文本中各部分文本的文本位置,确定素材文本,其中,素材文本包括原始的待处理文本中位于摘要部分的文本。
具体地,执行主体在接收到原始的待处理文本后,可以对其进行拆分(例如,基于章节标题、段落标号等等),以确定原始的待处理文本中各部分存在的文本,或者说,确定用于组成原始的待处理文本的各部分文本。进一步地,执行主体可以基于各部分文本的所处的文本位置,从中确定位于摘要部分的文本。进而,将位于摘要部分的文本作为素材文本,由此,以利用摘要部分的文本来快速地理解、识别原始的待处理文本的内容,以更效力地对其进行解析、构建问答对。例如,执行主体可以基于摘要部分的文本,来快速地确定原始的待处理文本的主题和要点,以此来构造主题相关的问答对。
接下来,请参考图3,图3为本公开实施例提供的一种生成问题文本的过程的流程图,其中流程300包括以下步骤:
步骤301:基于关键信息的领域标签,获取与领域标签对应的语料库。
具体地,执行主体预先可以配置与领域对应的语料库。语料库至少包括用于生成问题文本的第一样本句式,或者说,语料库中可以至少记录有用于生成问题文本的话术、句式。例如,语料库中可以维护有针对特定领域的问题话术、句式(例如,问题结构、用于构建问题文本所使用的词语)。例如,在对于法律领域而言,其可能是“_情况的典型案例是什么?”,而对于物理领域,其可能是“_的求解公式是什么?”。相应地,执行主体可以基于关键信息的领域标签来获取对应领域的语料库。
步骤302:利用语料库中的至少一项第一样本句式,生成问题文本。
具体地,执行主体在基于上述步骤301确定关键信息所属的领域的语料库后,利用语料库中的第一样本句式,来生成与领域相对应的问题文本。由此,以便于利用贴合领域的语料库来构建问答文本,提升问题文本的阅读质量、可读性。
在本实施例的一些可选的实现方式中,语料库中还可以包括与第一样本句式对应的第二样本句式。第二样本句式被用于生成与问题文本对应的答案文本。相应地,执行主体在调用第一样本句式生成问题文本时,还可以获取与第一样本句式对应的第二样本句式,以利用第二样本句式来构建答案文本。由此,使得问题文本和答案文本之间的表达句式、形式相对应,提升阅读流畅性、方便用户阅读问答对。例如,对于“_的求解公式是什么?”的问题,第二样本句式可以是“公式是_”,由此使得利用填入的方式来效力地生成答案文本。
作为备选或附加地,语料库也同样可以基于例如在线维护等方式对其中所包括的第一样本句式、第二样本句式等进行更新,以提升其使用性能。
应当理解的是,在本公开所提供的实施例中,在生成问答对之后,执行主体可以基于获取到的问答对来构建知识库,以利用知识库为用户提供常见问题解答(Frequently-asked Questions,简称,FAQ)服务。例如,知识库中以问答对的形式存储有多条可检索内容,使得用户可以通过输入问题来检索、搜索问答对,以获取与问题对应的答案。在此情况下,因知识库可以基于本公开所提供的生成问答对的方法来自动地从素材文本中获取问答对、抽取与FAQ相关的内容,所以知识库可以具有覆盖更多知识的能力,能够更好地满足用户的查询需求。此外,这样的方式还使得知识库可以更便利、效力地被更新指示,例如,在需要更新知识的情况下,只需要重新上传新的文档即可。另外,因知识库是基于问答对的形式构建,所以对于用户而言,其可以被利用特型卡的形式呈现出答案。这样的方式相较于传统搜索的全文检索形式,可以更为简洁、直观地为用户呈现所需内容,方便用户进行阅读。
在本公开的实施例中,为了提升对于问题文本、答案文本的生成效率、生成质量,还可以利用生成式模型来对素材文本进行处理,来检测关键信息、获取关联信息、改写问题文本和改写答案文本等等。
生成式模型,例如,大语言模型(Large Language Model,简称LLM)也称大型语言模型,是一种人工智能模型,旨在理解和生成人类语言。并且,生成式模型可以基于其理解的内容,相应地执行处理操作,以得到对应的处理结果。例如,在接收从文本中提取某类型内容的指示时,生成式模型可以在理解指示后,理解“某类型”的具体含义,并基于对文本的分析结果,将与“具体含义”相对应的“某类型”的内容提取出来。它们在大量的文本数据上进行训练,可以执行广泛的任务,包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大,通常其可以包括大量的参数,以帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构,如转化器,这有助于它们在各种NLP任务上提供更好的处理性能。在本公开的实施例中,执行主体还可以选择获取生成式模型。生成式模型至少被配置成利用基于输入文本的语法结构和/或文本内容从输入文本中提取文本关键信息后,将文本关键信息改写为文本问题文本。例如,生成式模型可以预先被训练,以具有基于输入文本的语法结构和/或文本内容从输入文本中提取文本关键信息的能力。在此情况下,执行主体可以基于预先配置的引导词、引导标签等,来指示生成式模型基于输入文本的语法结构和/或文本内容从输入文本中提取文本关键信息。例如,引导词可以是“请基于语法结构和/或文本内容,输出输入文本(例如,素材文本)中的关键信息”。在一些场景中,为了提升生成效率和生成质量,还可以通过同时录入引导词“关键信息包括:XX”,“关键信息可以基于XX等被确定”的类似内容,以对生成式模型进行引导、便于生成式模型来处理输入内容。
类似地,对于生成式模型,其可以通过被默认配置的方式,以省略“引导词”。例如,对于提取关键信息这一目的,生成式模型中可以基于被默认的配置,当然地理解需要对输入文本执行的操作。由此,以通过默认配置的方式,使得生成式模型能够稳定、定向地对输入文本进行处理,提取关键信息。类似地,执行主体可以通过与指示生成问题文本相类似的方式,指示生成式模型对提取到的关键信息进行改写,以基于关键信息的改写结果生成问题文本,此处不再重复说明。由此,不仅可以利用生成式模型来更效率、质量地确定问题文本,还可以通过复用生成式模型的方式,使得提取标准、改写标准统一,以对齐多个问题文本的生成质量。
在本公开的实施例中,如果生成式模型还被配置成根据从输入文本中提取出的与文本关键信息存在关联的文本关联信息的改写结果,生成针对文本问题文本的文本答案文本。或者说,上述的生成式模型还具有从输入文本中提取出的与文本关键信息存在关联的文本关联信息的改写结果,生成针对文本问题文本的文本答案文本的能力。在此情况下,执行主体可以类似地利用生成式模型,来进一步地对素材文本进行处理,以从中提取出与关键信息存在关联的关联信息(例如,通过另外的引导词,通过调整生成式模型的参数,以使得生成式模型可以对素材文本进行处理,以同时输出关键信息和与关键信息对应的关联信息)。相应地,执行主体可以进一步地利用、指示生成式模型,来对关联信息的进行改写,以基于关联信息的改写结果生成针对问题文本的答案文本。由此,以利用生成式模型来同时生成问题文本和答案文本,提升生成效率,并使得提取标准、改写标准统一,以对齐多个问题对的生成质量。
为加深理解,本公开还结合一个具体应用场景,给出了一种具体的实现方案,请参见如图4所示的流程400。
在流程400所示例的应用场景中,执行主体可以获取素材文本411至431。
进一步地,执行主体可以分别从素材文本411至431中提取出相应的信息。例如,针对素材文本411,执行主体至少基于其中所包括的“主语”,即“A作用”,提取出关键信息412(“A作用”)。例如,针对素材文本421,执行主体可以基于其中所包括的候选词库中的目标词“B”,提取出关键信息422(“B”)。例如,针对素材文本431,执行主体可以基于其中所包括的实体“C”,提取出关键信息432(“C”)。
进一步地,执行主体从素材文本411提取出与关键信息412相关联的关联信息413,例如,执行主体可以基于对素材文本的语义分析结果,以确定针对“A作用”进行解释的“XXX”,以及用于解释“XXX”的文本内容作为关联信息413。
执行主体可以从素材文本421提取出与关键信息422相关联的关联信息423。例如,执行主体可以基于句子结构的分析,将“B”所处句子中的其他成分,作为关键信息422的关联信息423。
执行主体可以从素材文本431提取出与关键信息432相关联的关联信息433。例如,执行主体同样可以基于句子结构和文本内容的语义的分析,将“C”所处句子中的其他成分、用于解释“C”的分类的文本内容,作为关键信息432的关联信息433。
进一步地,执行主体可以基于关键信息412-关联信息413构建问答对414,基于关键信息422-关联信息423构建问答对424,以及基于关键信息432-关联信息433构建问答对434。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种生成问答对的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的生成问答对的装置500可以包括:素材获取单元501,被配置成获取素材文本;关键信息提取及问题改写单元502,包括:关键信息提取子单元和问题改写子单元,关键信息提取子单元被配置成基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,问题改写子单元被配置成基于关键信息的改写结果生成问题文本;关联信息提取及答案改写单元503,包括:关联信息提取子单元和答案改写子单元,关联信息提取子单元被配置成从素材文本中提取与关键信息存在关联的关联信息,答案改写子单元被配置成基于关联信息的改写结果生成针对问题文本的答案文本;问答对构建单元504,被配置成基于问题文本和答案文本构建问答对。
在本实施例中,生成问答对的装置500中:素材获取单元501、关键信息提取及问题改写单元502、关联信息提取及答案改写单元503和问答对构建单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,关键信息提取子单元,包括:语义角色获取模块,被配置成获取文本内容的语义角色;第一关键信息确定模块,被配置成响应于语义角色的类型为预设类型,将素材文本中语义角色所指示的内容确定为关键信息。
在本实施例的一些可选的实现方式中,关键信息提取子单元,包括:实体确定模块,被配置成基于文本内容确定素材文本中所包括的实体;第二关键信息确定模块,被配置成将实体确定为关键信息。
在本实施例的一些可选的实现方式中,关键信息提取子单元,包括:目标词确定模块,被配置成确定文本内容中是否包括候选词库中的目标词;第三关键信息确定模块,被配置成响应于存在目标词,将目标词确定为关键信息。
在本实施例的一些可选的实现方式中,关键信息提取子单元,包括:语义关键词生成模块,被配置成基于对文本内容的语义解析结果,生成语义关键词;第三关键信息确定模块,被配置成将语义关键词确定为关键信息。
在本实施例的一些可选的实现方式中,关键信息提取子单元,包括:主语确定模块,被配置成基于对素材文本的语法结构拆分结果,确定素材文本中所包括的主语;第四关键信息确定模块,被配置成将主语确定为关键信息;以及关联信息提取子单元,进一步被配置成提取关键信息所在的关键句中的非主语成分,作为与关键信息存在关联的关联信息。
在本实施例的一些可选的实现方式中,关键信息提取子单元,包括:询问句确定模块,被配置成基于对素材文本的语法结构拆分结果,确定素材文本是否包括询问句;第五关键信息确定模块,被配置成响应于包括询问句,将询问句确定为关键信息。
在本实施例的一些可选的实现方式中,答案改写子单元,包括:语料库获取模块,被配置成基于关键信息的领域标签,获取与领域标签对应的语料库,其中,语料库至少包括用于生成问题文本的第一样本句式;问题文本生成模块,被配置成利用语料库中的至少一项第一样本句式,生成问题文本。
在本实施例的一些可选的实现方式中,语料库还包括与第一样本句式对应的第二样本句式,第二样本句式被用于生成与问题文本对应的答案文本。
在本实施例的一些可选的实现方式中,装置500还包括:原始文本获取单元,被配置成获取待处理文本;素材文本确定单元,被配置成基于原始的待处理文本中各部分文本的文本位置,确定素材文本,其中,素材文本包括原始的待处理文本中位于摘要部分的文本。
在本实施例的一些可选的实现方式中,装置500还包括:语义比较单元,被配置成比较关键信息与候选句的归纳结果的语义相似度,生成与候选句相对应的语义比较结果,其中,语义比较结果指示关键信息与相应的候选句的归纳结果的相似度;关联信息确定单元,被配置成将相似度满足阈值要求的候选句确定为与关键信息存在关联的关联信息。
在本实施例的一些可选的实现方式中,关键信息提取子单元,包括:文本拆分模块,被配置成基于素材文本的语法结构将素材文本拆分为多个子文本内容;第五关键信息确定模块,被配置成分别从多个子文本内容中提取相应的子关键信息,并基于提取到的一组子关键信息确定关键信息。
在本实施例的一些可选的实现方式中,装置500还包括:模型获取模块,被配置成获取生成式模型,其中,生成式模型至少被配置成利用基于输入文本的语法结构和/或文本内容从输入文本中提取文本关键信息后,将文本关键信息改写为文本问题文本;以及关键信息提取子单元,进一步被配置成利用生成式模型基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息;问题改写子单元,进一步被配置成利用生成式模型,基于关键信息的改写结果生成问题文本。
在本实施例的一些可选的实现方式中,响应于生成式模型还被配置成根据从输入文本中提取出的与文本关键信息存在关联的文本关联信息的改写结果,生成针对文本问题文本的文本答案文本,关联信息提取子单元,进一步被配置成,利用生成式模型从素材文本中提取与关键信息存在关联的关联信息,答案改写子单元,进一步被配置成利用生成式模型,基于关联信息的改写结果生成针对问题文本的答案文本。
本实施例作为对应于上述方法实施例的装置实施例存在,本实施例提供的生成问答对的装置,可以在获取素材文本后,基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,以基于关键信息的改写结果生成问题文本。进一步地,还可以从素材文本中提取与关键信息存在关联的关联信息,以基于关联信息的改写结果生成针对问题文本的答案文本。由此,可以基于对素材文本的语法结构和/或文本内容的解析,来挖掘素材文本中可以用于构成问答对的内容,能够提升针对问答对的挖掘质量和挖掘效率。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如生成问答对的方法。例如,在本实施例的一些可选的实现方式中,生成问答对的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在本实施例的一些可选的实现方式中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的生成问答对的方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置成执行生成问答对的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS,Virtual Private Server)服务中存在的管理难度大,业务扩展性弱的缺陷。服务器也可以分为分布式系统的服务器,或者是结合了区块链的服务器。
根据本公开实施例的技术方案,可以在获取素材文本后,基于素材文本的语法结构和/或文本内容,从素材文本中提取关键信息,以基于关键信息的改写结果生成问题文本。进一步地,还可以从素材文本中提取与关键信息存在关联的关联信息,以基于关联信息的改写结果生成针对问题文本的答案文本。由此,可以基于对素材文本的语法结构和/或文本内容的解析,来挖掘素材文本中可以用于构成问答对的内容,能够提升针对问答对的挖掘质量和挖掘效率。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开提供的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (31)
1.一种生成问答对的方法,包括:
获取素材文本;
基于素材文本的语法结构和/或文本内容,从所述素材文本中提取关键信息,并基于所述关键信息的改写结果生成问题文本;
从所述素材文本中提取与所述关键信息存在关联的关联信息,并基于所述关联信息的改写结果生成针对所述问题文本的答案文本;
基于所述问题文本和所述答案文本构建问答对。
2.根据权利要求1所述的方法,其中,基于所述素材文本的文本内容,从所述素材文本中提取关键信息,包括:
获取所述文本内容的语义角色;
响应于所述语义角色的类型为预设类型,将所述素材文本中所述语义角色所指示的内容确定为所述关键信息。
3.根据权利要求1所述的方法,其中,基于所述素材文本的文本内容,从所述素材文本中提取关键信息,包括:
基于所述文本内容确定所述素材文本中所包括的实体;
将所述实体确定为所述关键信息。
4.根据权利要求1所述的方法,其中,基于所述素材文本的文本内容,从所述素材文本中提取关键信息,包括:
确定所述文本内容中是否包括候选词库中的目标词;
响应于存在所述目标词,将所述目标词确定为所述关键信息。
5.根据权利要求1所述的方法,其中,基于所述素材文本的文本内容,从所述素材文本中提取关键信息,包括:
基于对所述文本内容的语义解析结果,生成语义关键词;
将所述语义关键词确定为所述关键信息。
6.根据权利要求1所述的方法,其中,基于所述素材文本的语法结构,从所述素材文本中提取关键信息,包括:
基于对所述素材文本的语法结构拆分结果,确定所述素材文本中所包括的主语;
将所述主语确定为所述关键信息;以及
所述从所述素材文本中提取与所述关键信息存在关联的关联信息,包括:
提取所述关键信息所在的关键句中的非主语成分,作为与所述关键信息存在关联的关联信息。
7.根据权利要求1所述的方法,其中,基于所述素材文本的语法结构,从所述素材文本中提取关键信息,包括:
基于对所述素材文本的语法结构拆分结果,确定所述素材文本是否包括询问句;
响应于包括所述询问句,将所述询问句确定为所述关键信息。
8.根据权利要求1所述的方法,其中,所述基于所述关键信息的改写结果生成问题文本,包括:
基于所述关键信息的领域标签,获取与所述领域标签对应的语料库,其中,所述语料库至少包括用于生成所述问题文本的第一样本句式;
利用所述语料库中的至少一项所述第一样本句式,生成所述问题文本。
9.根据权利要求8所述的方法,其中,所述语料库还包括与所述第一样本句式对应的第二样本句式,所述第二样本句式被用于生成与所述问题文本对应的答案文本。
10.根据权利要求1所述的方法,还包括:
获取原始的待处理文本;
基于所述原始的待处理文本中各部分文本的文本位置,确定所述素材文本,其中,所述素材文本包括所述原始的待处理文本中位于摘要部分的文本。
11.根据权利要求1所述的方法,还包括:
比较所述关键信息与候选句的归纳结果的语义相似度,生成与候选句相对应的语义比较结果,其中,所述语义比较结果指示所述关键信息与相应的候选句的归纳结果的相似度;
将所述相似度满足阈值要求的候选句确定为与所述关键信息存在关联的关联信息。
12.根据权利要求1所述的方法,其中,基于素材文本的语法结构和文本内容,从所述素材文本中提取关键信息,包括:
基于素材文本的语法结构将所述素材文本拆分为多个子文本内容;
分别从所述多个子文本内容中提取相应的子关键信息,并基于提取到的一组子关键信息确定所述关键信息。
13.根据权利要求1-12中任一项所述的方法,还包括:
获取生成式模型,其中,所述生成式模型至少被配置成利用基于输入文本的语法结构和/或文本内容从所述输入文本中提取文本关键信息后,将所述文本关键信息改写为文本问题文本;以及
所述基于素材文本的语法结构和/或文本内容,从所述素材文本中提取关键信息,并基于所述关键信息的改写结果生成问题文本,包括:
利用所述生成式模型基于所述素材文本的语法结构和/或文本内容,从所述素材文本中提取所述关键信息,并基于所述关键信息的改写结果生成所述问题文本。
14.根据权利要求13所述的方法,响应于所述生成式模型还被配置成根据从所述输入文本中提取出的与所述文本关键信息存在关联的文本关联信息的改写结果,生成针对所述文本问题文本的文本答案文本,
所述从所述素材文本中提取与所述关键信息存在关联的关联信息,并基于所述关联信息的改写结果生成针对所述问题文本的答案文本,包括:
利用所述生成式模型从所述素材文本中提取与所述关键信息存在关联的关联信息,并基于所述关联信息的改写结果生成针对所述问题文本的答案文本。
15.一种生成问答对的装置,包括:
素材获取单元,被配置成获取素材文本;
关键信息提取及问题改写单元,包括:关键信息提取子单元和问题改写子单元,所述关键信息提取子单元被配置成基于素材文本的语法结构和/或文本内容,从所述素材文本中提取关键信息,所述问题改写子单元被配置成基于所述关键信息的改写结果生成问题文本;
关联信息提取及答案改写单元,包括:关联信息提取子单元和答案改写子单元,所述关联信息提取子单元被配置成从所述素材文本中提取与所述关键信息存在关联的关联信息,所述答案改写子单元被配置成基于所述关联信息的改写结果生成针对所述问题文本的答案文本;
问答对构建单元,被配置成基于所述问题文本和所述答案文本构建问答对。
16.根据权利要求15所述的装置,其中,所述关键信息提取子单元,包括:
语义角色获取模块,被配置成获取所述文本内容的语义角色;
第一关键信息确定模块,被配置成响应于所述语义角色的类型为预设类型,将所述素材文本中所述语义角色所指示的内容确定为所述关键信息。
17.根据权利要求15所述的装置,其中,所述关键信息提取子单元,包括:
实体确定模块,被配置成基于所述文本内容确定所述素材文本中所包括的实体;
第二关键信息确定模块,被配置成将所述实体确定为所述关键信息。
18.根据权利要求15所述的装置,其中,所述关键信息提取子单元,包括:
目标词确定模块,被配置成确定所述文本内容中是否包括候选词库中的目标词;
第三关键信息确定模块,被配置成响应于存在所述目标词,将所述目标词确定为所述关键信息。
19.根据权利要求15所述的装置,其中,所述关键信息提取子单元,包括:
语义关键词生成模块,被配置成基于对所述文本内容的语义解析结果,生成语义关键词;
第三关键信息确定模块,被配置成将所述语义关键词确定为所述关键信息。
20.根据权利要求15所述的装置,其中,所述关键信息提取子单元,包括:
主语确定模块,被配置成基于对所述素材文本的语法结构拆分结果,确定所述素材文本中所包括的主语;
第四关键信息确定模块,被配置成将所述主语确定为所述关键信息;
以及所述关联信息提取子单元,进一步被配置成提取所述关键信息所在的关键句中的非主语成分,作为与所述关键信息存在关联的关联信息。
21.根据权利要求15所述的装置,其中,所述关键信息提取子单元,包括:
询问句确定模块,被配置成基于对所述素材文本的语法结构拆分结果,确定所述素材文本是否包括询问句;
第五关键信息确定模块,被配置成响应于包括所述询问句,将所述询问句确定为所述关键信息。
22.根据权利要求15所述的装置,其中,所述答案改写子单元,包括:
语料库获取模块,被配置成基于所述关键信息的领域标签,获取与所述领域标签对应的语料库,其中,所述语料库至少包括用于生成所述问题文本的第一样本句式;
问题文本生成模块,被配置成利用所述语料库中的至少一项所述第一样本句式,生成所述问题文本。
23.根据权利要求22所述的装置,其中,所述语料库还包括与所述第一样本句式对应的第二样本句式,所述第二样本句式被用于生成与所述问题文本对应的答案文本。
24.根据权利要求15所述的装置,还包括:
原始文本获取单元,被配置成获取待处理文本;
素材文本确定单元,被配置成基于所述原始的待处理文本中各部分文本的文本位置,确定所述素材文本,其中,所述素材文本包括所述原始的待处理文本中位于摘要部分的文本。
25.根据权利要求15所述的装置,还包括:
语义比较单元,被配置成比较所述关键信息与候选句的归纳结果的语义相似度,生成与候选句相对应的语义比较结果,其中,所述语义比较结果指示所述关键信息与相应的候选句的归纳结果的相似度;
关联信息确定单元,被配置成将所述相似度满足阈值要求的候选句确定为与所述关键信息存在关联的关联信息。
26.根据权利要求15所述的装置,其中,所述关键信息提取子单元,包括:
文本拆分模块,被配置成基于素材文本的语法结构将所述素材文本拆分为多个子文本内容;
第五关键信息确定模块,被配置成分别从所述多个子文本内容中提取相应的子关键信息,并基于提取到的一组子关键信息确定所述关键信息。
27.根据权利要求15-26任一项所述的装置,还包括:
模型获取模块,被配置成获取生成式模型,其中,所述生成式模型至少被配置成利用基于输入文本的语法结构和/或文本内容从所述输入文本中提取文本关键信息后,将所述文本关键信息改写为文本问题文本;以及
所述关键信息提取子单元,进一步被配置成利用所述生成式模型基于所述素材文本的语法结构和/或文本内容,从所述素材文本中提取所述关键信息;
所述问题改写子单元,进一步被配置成利用所述生成式模型,基于所述关键信息的改写结果生成所述问题文本。
28.根据权利要求27所述的装置,响应于所述生成式模型还被配置成根据从所述输入文本中提取出的与所述文本关键信息存在关联的文本关联信息的改写结果,生成针对所述文本问题文本的文本答案文本,所述关联信息提取子单元,进一步被配置成,利用所述生成式模型从所述素材文本中提取与所述关键信息存在关联的关联信息,所述答案改写子单元,进一步被配置成利用所述生成式模型,基于所述关联信息的改写结果生成针对所述问题文本的答案文本。
29.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-14中任一项所述的生成问答对的方法。
30.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-14中任一项所述的生成问答对的方法。
31.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-14中任一项所述的生成问答对的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311329204.5A CN117370519A (zh) | 2023-10-13 | 2023-10-13 | 生成问答对的方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311329204.5A CN117370519A (zh) | 2023-10-13 | 2023-10-13 | 生成问答对的方法、装置、设备、存储介质及程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117370519A true CN117370519A (zh) | 2024-01-09 |
Family
ID=89397682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311329204.5A Pending CN117370519A (zh) | 2023-10-13 | 2023-10-13 | 生成问答对的方法、装置、设备、存储介质及程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117370519A (zh) |
-
2023
- 2023-10-13 CN CN202311329204.5A patent/CN117370519A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230142217A1 (en) | Model Training Method, Electronic Device, And Storage Medium | |
US10878009B2 (en) | Translating natural language utterances to keyword search queries | |
US10055402B2 (en) | Generating a semantic network based on semantic connections between subject-verb-object units | |
EP3320490B1 (en) | Transfer learning techniques for disparate label sets | |
CN108369580B (zh) | 针对屏幕上项目选择的基于语言和域独立模型的方法 | |
US10339916B2 (en) | Generation and application of universal hypothesis ranking model | |
US20220004714A1 (en) | Event extraction method and apparatus, and storage medium | |
US20210216580A1 (en) | Method and apparatus for generating text topics | |
US10073840B2 (en) | Unsupervised relation detection model training | |
WO2020108063A1 (zh) | 特征词的确定方法、装置和服务器 | |
US11567981B2 (en) | Model-based semantic text searching | |
US20220129448A1 (en) | Intelligent dialogue method and apparatus, and storage medium | |
CN113220836A (zh) | 序列标注模型的训练方法、装置、电子设备和存储介质 | |
CN110268472B (zh) | 用于自动化对话系统的检测机构 | |
US11080615B2 (en) | Generating chains of entity mentions | |
US20150169676A1 (en) | Generating a Table of Contents for Unformatted Text | |
US20220414463A1 (en) | Automated troubleshooter | |
WO2019148797A1 (zh) | 自然语言处理方法、装置、计算机设备和存储介质 | |
CN117370519A (zh) | 生成问答对的方法、装置、设备、存储介质及程序产品 | |
US10628632B2 (en) | Generating a structured document based on a machine readable document and artificial intelligence-generated annotations | |
US20230061773A1 (en) | Automated systems and methods for generating technical questions from technical documents | |
US20240176778A1 (en) | System and Method Performing Terminology Disambiguation | |
CN117435282A (zh) | 一种app语言自动转换方法和装置、设备及介质 | |
CN114896974A (zh) | 媒体信息处理方法、装置、电子设备以及存储介质 | |
CN115828915A (zh) | 实体消歧方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |