CN117909454A - 一种基于多轮对话的文本补全方法、装置及设备 - Google Patents
一种基于多轮对话的文本补全方法、装置及设备 Download PDFInfo
- Publication number
- CN117909454A CN117909454A CN202311637792.9A CN202311637792A CN117909454A CN 117909454 A CN117909454 A CN 117909454A CN 202311637792 A CN202311637792 A CN 202311637792A CN 117909454 A CN117909454 A CN 117909454A
- Authority
- CN
- China
- Prior art keywords
- text
- target
- question
- type
- completed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000004458 analytical method Methods 0.000 claims abstract description 148
- 230000004927 fusion Effects 0.000 claims description 147
- 238000013145 classification model Methods 0.000 claims description 14
- 230000000295 complement effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 239000013589 supplement Substances 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000001502 supplementing effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及人工智能技术领域,尤其涉及一种基于多轮对话的文本补全方法、装置及设备。对待补全文本和预设轮次的问答文本进行语义分析,确定待补全文本的追问类型,大模型根据追问类型在预设轮次的问答文本中选取预设轮次的目标文本,并将待补全文本与每个目标文本分别进行融合,得到融合文本,大模型对每个融合文本的合理性进行分析,根据分析结果选取目标融合文本作为待补全文本的目标补全文本,结合预设轮次的问答文本综合的对待补全文本进行补全,再基于大模型强大的语言分析能力,选取最为合理的目标融合文本作为目标补全文本,提高了多轮对话时文本补全的准确率。本申请所保护的技术方案具有可靠性、鲁棒性、可泛化性特点,符合可信赖特性。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种基于多轮对话的文本补全方法、装置及设备。
背景技术
随着技术的发展,用户在与电子设备的问答交互过程中,常常会基于上一轮的问题或者答案进行追问,因此,如何基于之前轮次的问答对话内容,对当前轮次的问题文本进行补全成为行业的研究重点。
相关技术中,一种方式是直接使用槽位替换的方式对当前轮次的问题文本进行补全,另一种方式是直接将上一轮次的问答文本以及当前轮次的问题文本输入到大模型中,让大模型直接输出补全后的问题文本。上述两种方式,所得到的补全后的问题文本的准确率是不高的。
因此,如何提高多轮对话时文本补全的准确率成为亟待解决的问题。
发明内容
本申请实施例提供了一种基于多轮对话的文本补全方法、装置及设备,用以解决现有技术中文本补全准确率不高的问题。
第一方面,本申请提供了一种基于多轮对话的文本补全方法,所述方法包括:
获取待补全文本,及所述待补全文本之前预设轮次的问答文本;
对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问;
将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的第一目标文本,并得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本;
所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
第二方面,本申请提供了一种基于多轮对话的文本补全装置,所述装置包括:
获取模块,用于获取待补全文本,及所述待补全文本之前预设轮次的问答文本;
分析补全模块,用于对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问;将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的第一目标文本,并得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本;所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
第三方面,本申请还提供了一种电子设备,所述电子设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述基于多轮对话的文本补全方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一所述基于多轮对话的文本补全方法的步骤。
由于在本申请实施例中,对待补全文本和待补全文本之前预设轮次的问答文本进行语义分析,以确定待补全文本的追问类型,并使大模型根据确定的追问类型,在预设轮次的问答文本中选取该预设轮次的目标文本,并将待补全文本与每个目标文本分别进行融合,得到融合文本,再由大模型对每个融合文本的合理性进行分析,从而根据分析结果选取目标融合文本作为待补全文本的目标补全文本,结合预设轮次的问答文本综合的对待补全文本进行补全,再基于大模型强大的语言分析能力,选取最为合理的目标融合文本作为目标补全文本,提高了多轮对话时文本补全的准确率。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于多轮对话的文本补全过程的流程示意图;
图2为本申请实施例提供的一种关键词匹配法的流程示意图;
图3为本申请实施例提供的一种特殊文本匹配法的流程示意图;
图4为本申请实施例提供的一种目标追问类型确定的流程示意图;
图5为本申请实施例提供的一种文本融合示意图;
图6为本申请实施例提供的一种文本补全的流程示意图;
图7为本申请实施例提供的问答对话应用示意图;
图8为本申请实施例提供的一种基于多轮对话的文本补全装置结构示意图;
图9为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图,对本申请的实施例的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种基于多轮对话的文本补全方法、装置、设备及介质,该方法中获取待补全文本,及该待补全文本之前预设轮次的问答文本;对该待补全文本及该预设轮次的问答文本进行语义分析,确定该待补全文本的目标追问类型,该目标追问类型为结果追问或问题追问;将该待补全文本、该目标追问类型、该预设轮次的问答文本和第一提示文本输入到大模型中,该大模型根据该目标追问类型在该预设轮次的问答文本中选取该预设轮次的目标文本,并得到该待补全文本与每个目标文本分别进行融合后的融合文本;该大模型基于每个融合文本的合理性的分析结果,选取目标融合文本作为该待补全文本的目标补全文本。
图1为本申请实施例提供的一种基于多轮对话的文本补全过程的流程示意图,如图1所示,该过程包括以下步骤:
S101:获取待补全文本,及所述待补全文本之前预设轮次的问答文本。
本申请提供的基于多轮对话的文本补全方法应用于电子设备,该电子设备可以是服务器、PC、移动终端等。
在进行智能问答时,可以将每次获取到的问题确定为待补全文本,也就是说,该待补全文本可以是电子设备的使用者,即用户,输入到电子设备中的。电子设备的使用者在输入待补全文本时,可以是以文本方式输入的,也可以是语音方式输入的,也就是说,电子设备的使用者可以使用与电子设备连接的键盘输入待补全文本,也可以对电子设备说出待补全文本的语音,电子设备的语音采集模块在采集到该待转换文本的语音之后,对该语音进行语音识别处理,得到的文本即可作为待补全文本。本申请实施例中所获取到的待补全文本也可以是与电子设备连接的其他电子设备发送给电子设备的,还可以是电子设备对图像进行图像识别处理得到的文本,本申请实施例对待补全文本的获取方式不进行限制。
为了对待补全文本进行补全,以保证问答回复的准确性,在本申请实施例中,可以获取接收到该待补全文本之前预设轮次的问答文本,其中,预设轮次可以是任意正整数,该预设轮次可以理解为是需要根据之前哪几轮的问答文本对待补全文本进行补全,该预设轮次可以为2、3、5等,本领域的技术人员可以根据需要任意配置该预设轮次,本申请实施例对预设轮次的配置不进行限制。需要说明的是,如果该待补全文本之前的问答文本的数量不足该预设轮次,则获取已有数量的问答文本,后续基于该已有数量的问答文本进行文本补全即可。
在本申请实施例中,在进行智能问答时,每接收到一个问题,以及基于该问题确定了对应的答复信息之后,均需要按照时间先后顺序将答复信息对应问题进行保存,以便于后续获取预设轮次的问答文本。
在一种可能的实施方式中,电子设备可能服务于多个电子设备的使用者,因此在保存答复信息及对应的问题时,可以获取输入问题的电子设备的使用者的身份标识,并对应身份标识保存答复信息和问题,那么在获取预设轮次的问答文本时,也可以获取发送待补全文本的电子设备的使用者的身份标识,并在记录的问答文本中,获取该身份标识对应的预设轮次的问答文本。
在一种可能的实施方式中,可以预先保存时间阈值,如果获取不到电子设备的使用者的身份标识,可以在获取到待补全文本之后,判断接收到该待补全文本的时间与上一次输出答复信息的时间之间的时间间隔是否大于该时间阈值,若是,可以认为当前接收到的该待补全文本为新的问答对话,那么获取到的该待补全文本之前预设轮次的问答文本为空,可以直接确定该待补全文本对应的答复信息,并将该待补全文本和答复信息作为最新问答文本进行保存。若否,可以认为当前接收到的该待补全文本与之间的问答文本为同一组问答对话,并非新的问答对话,可以在保存的最新问答文本中获取预设轮次的问答文本,并在该最新问答文本中继续添加该待补全文本及对应的答复信息。
S102:对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问。
通过统计发现,在多轮对话过程中,电子设备的使用者常常会基于上一轮或之前几轮电子设备输出的答复信息进行追问,或者是基于上一轮或之前几轮的问题进行追问,因此,在对待补全文本进行补全时,可以预先判断待补全文本是基于答复信息的追问,还是基于问题的追问,为了便于描述,本申请实施例将基于答复信息的追问称为结果追问,将基于问题的追问称为问题追问。
示例性地,假设当前存在两轮问答对话,其中,第1轮的问题为:查看崂山区9月的税收收入是多少?对应的答复信息为:2023年9月崂山区税收收入总量是21.0亿元。第2轮的问题为:跟市南区比怎么样,该问题即为待补全文本,通过分析可知,第2轮的问题是基于问题的追问,将该第2轮的问题补全后为:崂山区9月的税收收入跟市南区比怎么样?
示例性地,第1轮的问题为:查看崂山区9月的税收收入是多少?对应的答复信息为:2023年9月崂山区税收收入总量是21.0亿元。第2轮的问题为:青岛市比这个数值高的区有哪些?该第2轮的问题即为待补全文本,通过分析可知,第2轮的问题是基于答复信息的追问,将该第2轮的问题补全后为:青岛市税收收入比21.0亿元高的区有哪些?
示例性地,第1轮的问题为:查看崂山区9月的税收收入是多少?对应的答复信息为:2023年9月崂山区税收收入总量是21.0亿元。第2轮的问题为:市南区呢?该第2轮的问题即为待补全文本,通过分析可知,第2轮的问题是基于问题的追问,将该第2轮的问题补全后为:查看市南区9月的税收收入是多少?
在确定待补全文本的目标追问类型时,可以对待补全文本及该预设轮次的问答文本进行语义分析。在本申请实施例中,可以基于预先训练完成的分类模型或意图识别模型,对待补全文本和预设轮次的问答文本进行语义分析,从而确定待补全文本的目标追问类型。或者也可以通过关键词匹配的方式,确定待补全文本的目标追问类型。相关技术中,确定某一文本的追问类型的方式很多,本申请实施例不对确定目标追问类型的方式进行限制。
S103:将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的目标文本,并得到所述待补全文本与每个目标文本分别进行融合后的融合文本。
在确定了待补全文本的目标追问类型之后,可以将该待补全文本、目标追问类型、预设轮次的问答文本和第一提示文本输入到大模型中,由大模型根据该目标追问类型在预设轮次的问答文本中选取预设轮次的目标文本,并将待补全文本与每个目标文本分别进行融合,得到融合文本。其中,第一提示文本是用于提示大模型将待补全文本与目标追问类型对应的目标文本进行融合的。
在本申请实施例中,大模型可以理解为是基于transformer架构的模型;该大模型也可以理解为是具有庞大的参数规模和复杂程度的机器学习模型,例如,具有数百万到数十亿参数或者上百亿参数的神经网络模型;该大模型也可以理解为是通过半(弱)监督、全监督、自监督或者无监督等技术,在大规模训练数据上训练得到的一种深度学习模型。在本申请实施例中,大模型可以处理多种不同任务,在训练大模型时一般是基于某个目标任务领域的训练数据进行训练的,训练得到的大模型一般情况下可以被迁移到与目标任务领域相近的其他任务领域中进行使用。
在本申请实施例中,大模型根据目标追问类型在预设轮次的问答文本中选取预设轮次的目标文本时,可以先确定目标追问类型是结果追问还是问题追问,如果是问题追问,则将预设轮次的问答文本中的每个问题确定为目标文本;若果是结果追问,则将预设轮次的问答文本中的每个答复信息确定为目标问题。
示例性地,假设预设轮次为2,获取到的预设轮次的问答文本可以表示为Q1,A1,Q2,A2,其中,Q2表示获取到的待补全文本的前一轮接收到的问题,A2表示该待补全文本的前一轮输出的答复信息,Q1表示该待补全文本的上上轮接收到的问题,A1表示该待补全文本的上上轮输出的答复信息。假设,确定待补全文本的目标追问类型为结果追问,则可以将问答文本中的A1和A2确定为目标文本。再将待补全文本与目标文本A1和目标文本A2分别进行融合,得到融合后的融合文本。需要说明的是,如何使大模型对两个文本进行融合为现有技术,本申请实施例对融合过程不再赘述。
S104:所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
在得到了每个融合文本之后,大模型可以基于自身强大的语言分析能力,对每个融合文本的合理性进行分析,从而基于对每个融合文本的分析结果,选取最合理的一个目标融合文本作为待补全文本的目标补全文本。在本申请实施例中,可以将预设轮次的问答文本以及每个融合文本均输入到大模型中,由大模型自主分析选择合理性最高的一个融合文本作为目标补全文本。大模型如何分析文本的合理性为现有技术,本申请实施例对合理性分析的过程不再赘述。
在一种特殊的情况下,如果只得到了一个融合文本,那么则可以将该融合文本确定为待补全文本的目标补全文本。
由于在本申请实施例中,对待补全文本和待补全文本之前预设轮次的问答文本进行语义分析,以确定待补全文本的追问类型,并使大模型根据确定的追问类型,在预设轮次的问答文本中选取该预设轮次的目标文本,并将待补全文本与每个目标文本分别进行融合,得到融合文本,再由大模型对每个融合文本的合理性进行分析,从而根据分析结果选取目标融合文本作为待补全文本的目标补全文本,结合预设轮次的问答文本综合的对待补全文本进行补全,再基于大模型强大的语言分析能力,选取最为合理的目标融合文本作为目标补全文本,提高了多轮对话时文本补全的准确率。
为了进一步保证文本补全的准确率,在上述实施例的基础上,在本申请实施例中,所述获取待补全文本,及所述待补全文本之前预设轮次的问答文本之后,所述对所述待补全文本及所述预设轮次的问答文本进行语义分析之前,所述方法还包括:
将所述预设轮次的问答文本和所述待补全文本输入到分类模型,得到所述待补全文本的目标类型,所述目标类型为需要补全类型或不需要补全类型;
判断所述目标类型是否为需要补全类型;
若是,则执行对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型的步骤。
由于电子设备的使用者输入的问题可能已经是完整的问题了,如果对完整的问题再次进行补全,反而会错误的进行补全,因此,为了进一步保证文本补全的准确率,在本申请实施例中,在获取到待补全文本和预设轮次的问答文本之后,确定待补全文本的目标追问类型之前,可以进一步判断获取到的该待补全文本是需要进行融合补全的文本,还是不需要进行融合补全的文本。在本申请实施例中,将需要进行融合补全的文本的目标类型称为需要补全类型,将不需要进行融合补全的文本的目标类型称为不需要补全类型。
在本申请实施例中,可以将获取到的该预设轮次的问答文本和待补全文本输入到分类模型中,由分类模型确定该待补全文本的目标类型,也就是说,确定该待补全文本是需要补全类型还是不需要补全类型。其中,分类模型可以是预先训练完后的任意分类模型,本领域的技术人员可以根据需要配置分类模型。示例性地,分类模型可以是来自Transformer的双向编码器(Bidirectional Encoder Representations from Transformers,BERT)模型,例如BERT-Base,BERT-Base是BERT模型的其中一种预训练模型。
在得到了目标类型之后,可以判断该目标类型是否为需要补全类型,若是,则可以继续执行对待补全文本及预设轮次的问答文本进行语义分析,确定待补全文本的目标追问类型的步骤,也就是说,在确定目标类型为需要补全类型之后,基于本申请所提供的基于多轮对话的文本补全方法对待补全文本进行补全。而如果该目标类型为不需要补全类型,则可以不对该待补全文本进行补全,直接确定该待补全文本对应的答复信息即可。
具体的,在获取到待补全文本之后,将该待补全文本的上一轮问题、答复信息,以及该待补全文本输入到BERT-Base模型中,由BERT-Base模型进行分类,以确定待补全文本的目标追问类型。表1为本申请实施例提供的目标追问类型的对应关系,表1中question_1所在列的文本表示待补全文本的上一轮问题,answer_1所在列的文本表示待补全文本的上一轮问题对应的答复信息,question_2所在列的文本表示待补全文本,label所在列的文本表示目标类型,label为1时表示目标类型为需要补全类型,label为0时表示目标类型为不需要补全类型。
表1
为了进一步保证文本补全的准确率,在上述各实施例的基础上,在本申请实施例中,所述对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
分别采用预设的每个分析方法对所述待补全文本及所述预设轮次的问答文本进行语义分析,得到每个分析方法对应的目标追问类型;
所述将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的目标文本包括:
将所述待补全文本、每个目标追问类型、所述预设轮次的问答文本和所述第一提示文本拼接,得到第二目标文本;
将所述第二目标文本输入到所述大模型中,所述大模型对所述第二目标文本进行语义分析,确定所述待补全文本对应的最终追问类型;
所述大模型根据所述最终追问类型,在所述预设轮次的问答文本中选取所述预设轮次的目标文本。
为了进一步保证文本补全的准确率,可以使用不同的分析方法确定待补全文本的目标追问类型,在本申请实施例中,预先保存了不同的分析方法,在确定待补全文本的目标追问类型时,可以分别采用预设的每个分析方法,对待补全文本及预设轮次的问答文本进行语义分析,从而得到每个分析方法对应的目标追问类型。
具体的,假设预先保存了两种分析方法,其中,分析方法1为基于意图识别模型1进行语义分析,分析方法2为基于分类模型1进行语义分析,其中意图识别模型1与分类模型1为不同的模型。
大模型在选取目标文本时,可以考虑每个分析方法对应的目标追问类型确定最终的追问类型。在本申请实施例中,可以将待补全文本、每个目标追问类型、预设轮次的问答文本和第一提示文本拼接,得到第二目标文本,并将该第二目标文本输入到大模型中,由大模型对该第二目标文本进行语义分词,从而确定待补全文本对应的最终追问类型。也就是说,将第二目标文本输入到大模型中,可以使大模型在分析预设轮次的问答文本和待补全文本之间是基于问题的追问,还是基于答案的追问时,还可以考虑其他的分析方法的分析结果,以进一步提高大模型确定待补全文本对应的最终追问类型的准确率。
在大模型确定了最终追问类型之后,即可根据该最终追问类型,在预设轮次的问答文本中选取预设轮次的目标文本。根据最终追问类型选取目标文本的原理与上述实施例中根据目标追问类型选取第一目标文本的原理一致,本申请实施例中不再赘述。
具体的,为了便于大模型的语义分析,在拼接待补全文本、每个目标追问类型、预设轮次的问答文本和第一提示文本拼接,得到第二目标文本时,可以将每个目标追问类型添加到预设模板中,并使用添加了目标追问类型的预设模板与其他文本进行拼接,得到第二目标文本。示例性地,可以将任一目标追问类型添加到模板“针对用户输入,目标追问类型为{judgement_func}可能较大,请综合判别给出结论”。其中,{judgement_func}即表示任一目标追问类型。
为了进一步保证文本补全的准确率,在上述各实施例的基础上,在本申请实施例中,若采用的分析方法为模型分析法,对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
将第二提示文本、示例文本、所述预设轮次的问答文本和所述待补全文本进行拼接,得到第三目标文本;其中,所述第二提示文本用于提示所述大模型对所述待补全文本的目标追问类型进行确认;
将所述第三目标文本输入到所述大模型中,所述大模型对所述第三目标文本进行语义分析,确定所述待补全文本的目标追问类型。
为了进一步保证文本补全的准确率,预先保存的分析方法包括:模型分析法、关键词匹配法和特殊文本匹配法。
当采用的分析方法为模型分析法时,确定待补全文本的目标追问类型时,可以采用思维链(Chain-of-thought,CoT)与少样本学习(few_shot)相结合的方式进行确定。在本申请实施例中,可以将第二提示文本、示例文本、预设轮次的问答文本和待补全文本进行拼接,得到第三目标文本,其中,第二提示文本用于提示大模型对待补全文本的目标追问类型进行确认。其中,示例文本是为大模型确定目标追问类型所举的例子。将该第三目标文本输入到大模型中之后,大模型可以依靠自身强大的语言分析能力,对该第三目标文本进行语义分析,从而确定待补全文本的目标追问类型。大模型如何对接收到的文本进行语义分析为现有技术,本申请实施例对确定待补全文本的目标追问类型的过程不再赘述。
具体的,拼接得到的第三目标文本可以包括以下内容:
#你现在是一个意图分类专家,现在的任务是依据用户输入判断第2轮是否是对第1轮答案的追问,最终结果json格式返回:
##其中json字段包含requirement,answer simplified,json字段定义如下:
-answer simplified,string,判断依据
-requirement,enum,用户意图,枚举值只包含:是结果的追问,不是结果的追问
##判断用户意图按照如下步骤:
1.用户想知道第2轮的问题与第1轮的问题、答案哪个更相关
2.考虑可能的结果:
候选1:仅与第1轮问题有关,结合第1轮的问题能融合成一句上下文关联的话
候选2:仅与第2轮答案有关,结合第1轮的答案能融合成一句上下文关联的话
3.根据用户需求判断出,判断候选1和候选2哪个更符合
4.生成用户需要的意图
##示例:
-输入:第1轮:问题:居民各项收入排名第一的是哪个答案:2023年青岛市居民经营净收入,居民转移净收入,居民财产净收入,居民工资性收入总量排名为第1的是居民经营净收入
第2轮:数量有多少
输出:{
"answer simplified":"居民经营净收入",
"requirement":"是结果的追问"}
-输入:第1轮:问题:青岛市去年税收收入有多少亿答案:2022年青岛市税收收入总量是98.0亿元
第2轮:那和济南市比谁多
输出:{
"answer simplified":"98.0亿元",
"requirement":"不是结果的追问"}
#输入:第1轮:问题:{question_1}答案:{answer_1}
第2轮:问题{question_2}
输出:
上述第三目标文本中,“##示例:”之前的内容为第二提示文本;“##示例:”与“#输入:第1轮:问题:{question_1}答案:{answer_1}”之间的文本为示例文本;“第1轮:问题:{question_1}答案:{answer_1}”为获取到的问答文本;“第2轮:问题{question_2}”中的question_2为待补全文本。
为了进一步保证文本补全的准确率,在上述各实施例的基础上,在本申请实施例中,若采用的分析方法为关键词匹配法,对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
根据预先保存的每个关键词与问答类型之间的对应关系,确定所述预设轮次的问答文本对应的目标问答类型;
提取所述待补全文本中的关联关键词;
根据预先保存的每个关联关键词及问答类型与每个追问类型之间的对应关系,确定所述待补全文本的目标追问类型。
为了进一步保证文本补全的准确率,在本申请实施例中,还预先保存由不同关键词与问答类型之间的对应关系。如果采用的分析方法为关键词匹配法,那么在确定待补全文本的目标追问类型时,则可以根据预先保存的每个关键词与问答类型之间的对应关系,确定预设轮次的问答文本对应的目标问答类型。也就是说,通过预先保存的对应关系,确定获取到的预设轮次的问答文本中是在讨论关于什么方向的内容。
本领域的技术人员可以根据需要配置预先保存的每个关键词与问答类型之间的对应关系。以智慧城市查指标这一应用场景为例,其包括的问答类型可以是关于三产业的问答类型、关于时间找典型的问答类型、关于地点找典型的问答类型等。其中,关于三产业的问答类型对应的关键词可以是三产业,例如,“三产业中增加值哪个最高?2023年三产业中第一产业增加值最高,总量6000亿元。这个产业在三产业中的占比呢?”这一问答文本即为关于三产业的问答类型;关于时间找典型的问答类型对应的关键词可以是时间,该关于时间找典型的问答类型可以理解为是基于时间查找相应的数据的问答文本,例如,“2023年哪个月份的税收收入最高?2023年青岛市税收收入最高月份是6月份”这一问答文本,即为关于时间找典型的问答类型;关于地点找典型的问答类型对应的关键词可以是地点,该关于地点找典型的问答类型可以理解为是基于地点查找相应的数据的问答文本,例如,“青岛市地区生产总值低于1000亿的地区是哪个?2023年4季度青岛市地区生产总值低于1000亿的是平度市”这一问答文本即为关于地点找典型的问答类型。
为了确定待补全文本与预设轮次的问答文本之间的目标追问类型,在确定了预设轮次的问答文本对应的目标问答类型之后,还可以提取待补全文本中的关联关键词。在本申请实施例中,该关联关键词可以是代词、与…比较、与…相比等。具体的,在提取待补全文本中的关联关键词时,可以基于正则表达式提取预先保存的关联关键词。需要说明的是,在提取关联关键词时还可以基于其他方式进行提取,本申请实施例不进行限制。
为了确定待补全文本的目标追问类型,在本申请实施例中,预先保存有关联关键词、问答类型、追问类型之间的对应关系,那么在确定待补全文本的目标追问类型时,则可以在预先保存的每个关联关键词及问答类型与每个追问类型之间的对应关系中,是否存在目标问答类型与提取到的关联关键词组合对应的问答类型,如果存在,则可以将对应的问答类型确定为目标追问类型。
具体的,假设预先保存了关联关键词A与问答类型A对应着追问类型A;关联关键词A与问答类型B对应着追问类型B;关联关键词C与问答类型A对应着追问类型A。如果确定了预设轮次的问答文本对应的目标问答类型为问答类型A、提取到的待补全文本中的关联关键词为关联关键词C,由于预先保存有问答类型A和关联关键词C与追问类型之间的对应关系,因此,可以确定该待补全文本的目标追问类型为追问类型A。
下面结合一个具体的实施例对关键词匹配法进行说明,图2为本申请实施例提供的一种关键词匹配法的流程示意图。如图2所示,获取到待补全文本及预设轮次的问答文本之后,根据预先保存的每个关键词与问答类型之间的对应关系,确定预设轮次的问答文本对应的目标问答类型,当问答文本中不包括预先保存的关键词时,则可以确定该问答文本对应的目标问答类型为空。并在待补全文本中提取预先保存的关联关键词,例如,代词、与…比较等,如果该待补全文本中不包含关联关键词,则可以确定关联关键词为空。在目标问答类型且关联关键词均不为空时,可以根据预先保存的每个关联关键词及问答类型与每个追问类型之间的对应关系,确定待补全文本的目标追问类型,如果没有预先保存目标问答类型与关联关键词之间的对应关系,则可以确定关键词匹配方法确定的目标追问类型为空。
为了进一步保证文本补全的准确率,在上述各实施例的基础上,在本申请实施例中,若采用的分析方法为特殊文本匹配法,对所述待补全文本及所述预设轮次的问答文本进行预设阈值次的语义分析,得到所述预设阈值的目标追问类型包括:
若所述待补全文本存在于预先保存的特殊文本集中,则根据所述特殊文本集中保存的特殊文本与追问类型的对应关系,确定所述待补全文本的目标追问类型。
通过对大量的待补全文本的分析统计可知,对于一些特殊的文本,无论是模型分析法,还是关键词匹配法,确定对应的目标追问类型的准确率均不高,因此,为了进一步保证文本补全的准确率,在本申请实施例中,预先配置有特殊文本集,该特殊文本集中保存了每个特殊文本与追问类型之间的关系。
若采用的分析方法为特殊文本匹配法,在确定待补全文本对的追问类型时,则可以判断该待补全文本是否存在于特殊文本集中,若存在,则说明该待补全文本为特殊文本,可以将特殊文本集中保存的该待补全文本对应的追问类型,确定为目标准问类型。
具体的,假设特殊文本集中保存了特殊文本“前两名呢”对应的追问类型为问题追问;特殊文本“接下来呢”对应的追问类型为结果追问。假设待补全文本为“前两名呢”,则可以确定该待补全文本的目标追问类型为问题追问。
需要说明的是,只要待补全文本中包括了特殊文本集中记录的特殊文本,则可以确定待补全文本存在于预先保存的特殊文本集中,也就是说,只要待补全文本中的一部分为特殊文本集中记录的特殊文本,则可以额确定该待补全文本存在于特殊文本集中。
另外,在确定待补全文本是否存在于预先保存的特殊文本集中时,还可以确定待补全文本与特殊文本集中记录的每个特殊文本之间的相似度,将相似度最高,且相似度大于预设相似度阈值的特殊文本对应的追问类型,确定为待补全文本的目标追问类型。
下面结合一个具体的实施例对特殊文本匹配法进行说明,图3为本申请实施例提供的一种特殊文本匹配法的流程示意图。在获取到待补全文本之后,判断该待补全文本是否存在与特殊文本集中,若存在,获取特殊文本集中该待补全文本对应的追问类型,将对应的追问类型确定目标追问类型;若不存在,则将该待补全文本的追问类型确定为空。可以再基于其他的分析方法确定目标追问类型。
下面结合另一个具体的实施例对目标追问类型的确定过程进行说明,图4为本申请实施例提供的一种目标追问类型确定的流程示意图,图4中以2轮对话进行说明,先采用特殊文本匹配法对上轮问题、上轮答案以及本轮问题进行分析,其中本领问题即为待补全文本,如果确定该待补全文本为特殊文本,则可以将特殊文本集中该待补全文本对应的追问类型确定为目标追问类型。如果该待补全文本不为特殊文本,则可以继续使用其他分析方法确定待补全文本的目标追问类型。
为了进一步保证文本补全的准确率,在上述各实施例的基础上,在本申请实施例中,若所述融合文本的数量为多个,所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本包括:
所述大模型将第三提示文本、每个融合文本进行拼接,得到第四目标文本,其中,所述第三提示文本用于提示所述大模型将所有融合文本中不合理的融合文本删除;
所述大模型对所述第四目标文本中的每个融合文本的合理性进行分析,并基于每个融合文本对应的分析结果,将不合理的融合文本删除,得到候选融合文本;
若所述候选融合文本的数量为1,则将所述候选融合文本确定为所述待补全文本的目标补全文本。
为了进一步保证文本补全的准确率,大模型可以逐步的确定目标补全文本,大模型可以将第三提示文本、每个融合文本进行拼接,得到第四目标文本,其中,第三提示文本用于提示大模型将所有融合文本中不合理的融合文本删除。示例性地,第三提示文本可以是“对每个融合文本进行比较,剔除掉最不可能的融合文本”。
大模型在得到了该第四目标文本之后,则可以对第四目标文本中的每个融合文本的合理性进行分析,并基于每个融合文本对应的分析结果,将不合理的融合文本删除,得到候选融合文本。需要说明的是,大模型如何对文本的合理性进行分析为现有技术,本申请实施例不再赘述。
大模型在将不合理的融合文本剔除掉之后,则可以对判断剩余的候选融合文本的数量是否为1,若是,则可以认为剩余了最优、最合理的一个荣恶化文本,可以将该候选融合文本确定为该待补全文本的目标补全文本。
为了进一步保证文本补全的准确率,在上述各实施例的基础上,在本申请实施例中,所述方法还包括:
若所述候选融合文本的数量不为1,将删除的融合文本对应的第一目标文本删除,并继续执行得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本的步骤。
当剩余的候选融合文本的数量不为1时,为了确定最优的目标补全文本,在本申请实施例中,大模型可以将删除的融合文本对应的第一目标文本删除,并继续执行得到待补全文本与每个第一目标文本分别进行融合后的融合文本的步骤。也就是说,通过一次一次的融合、剔除,确定最终的目标补全文本。
在本申请实施例中,为了进一步保证文本补全的准确率,还可以使用其他大模型确定融合效果最好的融合文本,并将该融合效果最好的融合文本与目标准问类型一同输入到大模型中,使大模型在基于对每个融合文本的合理性的分析结果,选取目标融合文本作为待补全文本的目标补全文本时,考虑其他大模型的融合结果,以进步提升自身的文本补全的准确率。
在本申请实施例中,其他大模型在确定融合效果最好的融合文本时,可以将待补全文本以及预设轮次的问答文本均输入到该其他大模型中,该其他大模型在接收到待补全文本以及预设轮次的问答文本之后,将待补全文本与预设轮次的问答文本中包括的每个文本进行融合,得到对应的每个融合文本。在得到了每个融合文本之后,对每个融合文本的合理性进行分析,并基于每个合理性的分析结果,选取一个融合效果最好的融合文本。在本申请实施例中,可以将该融合效果最好的融合文本填充到模板“根据验证,{llm_evaluation_result}融合效果更好,请综合分析”中,其中,{llm_evaluation_result}即表示确定的融合效果最好的融合文本。在得到了填充后的模板之后,则可以将该填充后的模板与待补全文本、目标追问类型、预设轮次的问答文本和第一提示文本一同输入到大模型中,使大模型在确定待补全文本的目标补全文本时,考虑该其他大模型所确定的融合结果。
在本申请实施例中,任一大模型在将文本进行融合时,可以按照如下示例向该任一大模型输入文本。具体为:
#你现在是一个语言专家,现在的任务是参考用户第1轮的问题和答案,将第2轮输入补充成一句查询指标的简单疑问句,补充的类型如下:
-第2轮时间追问时,请改写第1轮问题的时间
-第2轮是地点追问时,请改写第1轮问题的地点
-第2轮是指标追问时,请改写第1轮问题的指标
#示例:
-输入:第1轮:问题:一季度青岛市GDP与二季度相比怎么样。答案:2023年青岛市GDP一季度总量10万亿,二季度总量15万亿。
第2轮:那在山东省的占比是多少
输出:一季度青岛市GDP在山东省的占比是多少
#输入:第1轮:问题:{question1}。答案:{answer1}
第2轮:{question2}
输出:
需要说明的,上述文本只是本申请所举的一个示例,本领域的技术人员可以根据需要配置具体的文本,本申请实施例不进行限制。
图5为本申请实施例提供的一种文本融合示意图,如图5所示,问答文本包括:Q1、A1、Q2、A2,其中Q1为:青岛市、烟台市的GDP谁高,A1为:青岛市的GDP更高,共2w亿,Q2为:市南区的税收收入排第几,A2为市南区排第一。待补全文本Input为:他的数量是多少。
大模型可以根据预先保存的提示文本“你现在需要将Input与Q1这两个文本融合成一句指标查询的疑问句”,即可将“他的数量是多少”与“青岛市、烟台市的GDP谁高”进行融合,得到融合文本M1“青岛市、烟台市GDP是多少”,以此类推,与其他文本进行融合,即可得到融合文本M2“青岛市GDP数量共2w亿”、融合文本M3“市南区的税收收入数量多少”、融合文本M4“市南区的数量多少”。在得到了每个融合文本之后,大模型可以根据预先保存的提示文本“对融合的结果比较,剔除最不可能的融合结果”,即可将最不合理的融合文本M2及对应的问答文本A1剔除。并基于剩余的Q1、Q2和A2进行融合、剔除的操作,从而得到融合效果最好的融合文本M1。
下面结合一个具体的实施例对基于多轮对话的文本补全的过程进行说明,图6为本申请实施例提供的一种文本补全的流程示意图,该过程包括以下步骤:
S601:获取待补全文本,及待补全文本之前预设轮次的问答文本。
S602:判断待补全文本的目标类型是否为需要补全类型,若是,则执行S604、S605、S606;若否,则执行S603。
S603:基于待补全文本查询相应的数据,并确定回复信息。
S604:基于模型分析法确定待补全文本的目标追问类型1。
S605:基于关键词匹配法确定待补全文本的目标追问类型2。
S606:基于特殊文本匹配法确定待补全文本的目标追问类型3。
S607:将待补全文本、每个目标追问类型、预设轮次的问答文本和第一提示文本拼接,得到第二目标文本,并将第二目标文本输入到大模型中,得到大模型输出的目标补全文本。
本申请提供的基于多轮对话的文本补全方法,可以应用于智能手机中的智能语音助手,图7为本申请实施例提供的问答对话应用示意图,通过实验统计基于本申请提供的文本补全方法进行问答对话处理,可以有效的保证文本补全的准确率整体在90%以上,从而提高问答对话的准确率。
本申请所保护的技术方案具有可靠性、鲁棒性、可泛化性特点,符合可信赖特性。
在上述各实施例的基础上,图8为本申请实施例提供的一种基于多轮对话的文本补全装置结构示意图,该装置包括:
获取模块801,用于获取待补全文本,及所述待补全文本之前预设轮次的问答文本;
分析补全模块802,用于对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问;将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的第一目标文本,并得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本;所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
在一种可能的实施方式中,所述分析补全模块802,还用于将所述预设轮次的问答文本和所述待补全文本输入到分类模型,得到所述待补全文本的目标类型,所述目标类型为需要补全类型或不需要补全类型;判断所述目标类型是否为需要补全类型;若是,则执行对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型的步骤。
在一种可能的实施方式中,所述分析补全模块802,具体用于分别采用预设的每个分析方法对所述待补全文本及所述预设轮次的问答文本进行语义分析,得到每个分析方法对应的目标追问类型;所述将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的目标文本包括:将所述待补全文本、每个目标追问类型、所述预设轮次的问答文本和所述第一提示文本拼接,得到第二目标文本;将所述第二目标文本输入到所述大模型中,所述大模型对所述第二目标文本进行语义分析,确定所述待补全文本对应的最终追问类型;所述大模型根据所述最终追问类型,在所述预设轮次的问答文本中选取所述预设轮次的目标文本。
在一种可能的实施方式中,若采用的分析方法为模型分析法,所述分析补全模块802,具体用于将第二提示文本、示例文本、所述预设轮次的问答文本和所述待补全文本进行拼接,得到第三目标文本;其中,所述第二提示文本用于提示所述大模型对所述待补全文本的目标追问类型进行确认;将所述第三目标文本输入到所述大模型中,所述大模型对所述第三目标文本进行语义分析,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若采用的分析方法为关键词匹配法,所述分析补全模块802,具体用于根据预先保存的每个关键词与问答类型之间的对应关系,确定所述预设轮次的问答文本对应的目标问答类型;提取所述待补全文本中的关联关键词;根据预先保存的每个关联关键词及问答类型与每个追问类型之间的对应关系,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若采用的分析方法为特殊文本匹配法,所述分析补全模块802,具体用于若所述待补全文本存在于预先保存的特殊文本集中,则根据所述特殊文本集中保存的特殊文本与追问类型的对应关系,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若所述融合文本的数量为多个,所述分析补全模块802,具体用于所述大模型将第三提示文本、每个融合文本进行拼接,得到第四目标文本,其中,所述第三提示文本用于提示所述大模型将所有融合文本中不合理的融合文本删除;所述大模型对所述第四目标文本中的每个融合文本的合理性进行分析,并基于每个融合文本对应的分析结果,将不合理的融合文本删除,得到候选融合文本;若所述候选融合文本的数量为1,则将所述候选融合文本确定为所述待补全文本的目标补全文本。
在一种可能的实施方式中,所述分析补全模块802,还用于若所述候选融合文本的数量不为1,将删除的融合文本对应的第一目标文本删除,并继续执行得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本的步骤。
在上述实施例的基础上,本申请实施例还提供了一种电子设备,图9为本申请实施例提供的一种电子设备结构示意图,如图9所示,包括:处理器901、通信接口902、存储器903和通信总线904,其中,处理器901,通信接口902,存储器903通过通信总线904完成相互间的通信;
存储器903中存储有计算机程序,当程序被处理器901执行时,使得处理器901执行如下步骤:
获取待补全文本,及所述待补全文本之前预设轮次的问答文本;
对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问;
将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的第一目标文本,并得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本;
所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
在一种可能的实施方式中,所述处理器901还用于:将所述预设轮次的问答文本和所述待补全文本输入到分类模型,得到所述待补全文本的目标类型,所述目标类型为需要补全类型或不需要补全类型;
判断所述目标类型是否为需要补全类型;
若是,则执行对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型的步骤。
在一种可能的实施方式中,所述处理器901还用于:分别采用预设的每个分析方法对所述待补全文本及所述预设轮次的问答文本进行语义分析,得到每个分析方法对应的目标追问类型;
所述将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的目标文本包括:
将所述待补全文本、每个目标追问类型、所述预设轮次的问答文本和所述第一提示文本拼接,得到第二目标文本;
将所述第二目标文本输入到所述大模型中,所述大模型对所述第二目标文本进行语义分析,确定所述待补全文本对应的最终追问类型;
所述大模型根据所述最终追问类型,在所述预设轮次的问答文本中选取所述预设轮次的目标文本。
在一种可能的实施方式中,若采用的分析方法为模型分析法,所述处理器901还用于:将第二提示文本、示例文本、所述预设轮次的问答文本和所述待补全文本进行拼接,得到第三目标文本;其中,所述第二提示文本用于提示所述大模型对所述待补全文本的目标追问类型进行确认;
将所述第三目标文本输入到所述大模型中,所述大模型对所述第三目标文本进行语义分析,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若采用的分析方法为关键词匹配法,所述处理器901还用于:根据预先保存的每个关键词与问答类型之间的对应关系,确定所述预设轮次的问答文本对应的目标问答类型;
提取所述待补全文本中的关联关键词;
根据预先保存的每个关联关键词及问答类型与每个追问类型之间的对应关系,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若采用的分析方法为特殊文本匹配法,所述处理器901还用于:若所述待补全文本存在于预先保存的特殊文本集中,则根据所述特殊文本集中保存的特殊文本与追问类型的对应关系,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若所述融合文本的数量为多个,所述处理器901还用于:所述大模型将第三提示文本、每个融合文本进行拼接,得到第四目标文本,其中,所述第三提示文本用于提示所述大模型将所有融合文本中不合理的融合文本删除;
所述大模型对所述第四目标文本中的每个融合文本的合理性进行分析,并基于每个融合文本对应的分析结果,将不合理的融合文本删除,得到候选融合文本;
若所述候选融合文本的数量为1,则将所述候选融合文本确定为所述待补全文本的目标补全文本。
在一种可能的实施方式中,所述处理器901还用于:若所述候选融合文本的数量不为1,将删除的融合文本对应的第一目标文本删除,并继续执行得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本的步骤。
由于上述电子设备解决问题的基于多轮对话的文本补全方法相似,因此上述电子设备的实施可以参见方法的实施例,重复之处不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口902用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器(RandomAccess Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字指令处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上,本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质内存储有可由处理器执行的计算机程序,当程序在处理器上运行时,使得处理器执行时实现如下步骤:
获取待补全文本,及所述待补全文本之前预设轮次的问答文本;
对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问;
将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的第一目标文本,并得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本;
所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
在一种可能的实施方式中,将所述预设轮次的问答文本和所述待补全文本输入到分类模型,得到所述待补全文本的目标类型,所述目标类型为需要补全类型或不需要补全类型;
判断所述目标类型是否为需要补全类型;
若是,则执行对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型的步骤。
在一种可能的实施方式中,分别采用预设的每个分析方法对所述待补全文本及所述预设轮次的问答文本进行语义分析,得到每个分析方法对应的目标追问类型;
所述将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的目标文本包括:
将所述待补全文本、每个目标追问类型、所述预设轮次的问答文本和所述第一提示文本拼接,得到第二目标文本;
将所述第二目标文本输入到所述大模型中,所述大模型对所述第二目标文本进行语义分析,确定所述待补全文本对应的最终追问类型;
所述大模型根据所述最终追问类型,在所述预设轮次的问答文本中选取所述预设轮次的目标文本。
在一种可能的实施方式中,若采用的分析方法为模型分析法,对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
将第二提示文本、示例文本、所述预设轮次的问答文本和所述待补全文本进行拼接,得到第三目标文本;其中,所述第二提示文本用于提示所述大模型对所述待补全文本的目标追问类型进行确认;
将所述第三目标文本输入到所述大模型中,所述大模型对所述第三目标文本进行语义分析,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若采用的分析方法为关键词匹配法,对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
根据预先保存的每个关键词与问答类型之间的对应关系,确定所述预设轮次的问答文本对应的目标问答类型;
提取所述待补全文本中的关联关键词;
根据预先保存的每个关联关键词及问答类型与每个追问类型之间的对应关系,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若采用的分析方法为特殊文本匹配法,对所述待补全文本及所述预设轮次的问答文本进行预设阈值次的语义分析,得到所述预设阈值的目标追问类型包括:
若所述待补全文本存在于预先保存的特殊文本集中,则根据所述特殊文本集中保存的特殊文本与追问类型的对应关系,确定所述待补全文本的目标追问类型。
在一种可能的实施方式中,若所述融合文本的数量为多个,所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本包括:
所述大模型将第三提示文本、每个融合文本进行拼接,得到第四目标文本,其中,所述第三提示文本用于提示所述大模型将所有融合文本中不合理的融合文本删除;
所述大模型对所述第四目标文本中的每个融合文本的合理性进行分析,并基于每个融合文本对应的分析结果,将不合理的融合文本删除,得到候选融合文本;
若所述候选融合文本的数量为1,则将所述候选融合文本确定为所述待补全文本的目标补全文本。
在一种可能的实施方式中,所述方法还包括:
若所述候选融合文本的数量不为1,将删除的融合文本对应的第一目标文本删除,并继续执行得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本的步骤。
由于上述计算机可读存储介质解决问题的原理与基于多轮对话的文本补全方法相似,因此上述计算机可读存储介质的实施可以参见方法的实施例,重复之处不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于多轮对话的文本补全方法,其特征在于,所述方法包括:
获取待补全文本,及所述待补全文本之前预设轮次的问答文本;
对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问;
将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的第一目标文本,并得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本;
所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
2.根据权利要求1所述的方法,其特征在于,所述获取待补全文本,及所述待补全文本之前预设轮次的问答文本之后,所述对所述待补全文本及所述预设轮次的问答文本进行语义分析之前,所述方法还包括:
将所述预设轮次的问答文本和所述待补全文本输入到分类模型,得到所述待补全文本的目标类型,所述目标类型为需要补全类型或不需要补全类型;
判断所述目标类型是否为需要补全类型;
若是,则执行对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型的步骤。
3.根据权利要求1所述的方法,其特征在于,所述对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
分别采用预设的每个分析方法对所述待补全文本及所述预设轮次的问答文本进行语义分析,得到每个分析方法对应的目标追问类型;
所述将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的目标文本包括:
将所述待补全文本、每个目标追问类型、所述预设轮次的问答文本和所述第一提示文本拼接,得到第二目标文本;
将所述第二目标文本输入到所述大模型中,所述大模型对所述第二目标文本进行语义分析,确定所述待补全文本对应的最终追问类型;
所述大模型根据所述最终追问类型,在所述预设轮次的问答文本中选取所述预设轮次的目标文本。
4.根据权利要求3所述的方法,其特征在于,若采用的分析方法为模型分析法,对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
将第二提示文本、示例文本、所述预设轮次的问答文本和所述待补全文本进行拼接,得到第三目标文本;其中,所述第二提示文本用于提示所述大模型对所述待补全文本的目标追问类型进行确认;
将所述第三目标文本输入到所述大模型中,所述大模型对所述第三目标文本进行语义分析,确定所述待补全文本的目标追问类型。
5.根据权利要求3所述的方法,其特征在于,若采用的分析方法为关键词匹配法,对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型包括:
根据预先保存的每个关键词与问答类型之间的对应关系,确定所述预设轮次的问答文本对应的目标问答类型;
提取所述待补全文本中的关联关键词;
根据预先保存的每个关联关键词及问答类型与每个追问类型之间的对应关系,确定所述待补全文本的目标追问类型。
6.根据权利要求3所述的方法,其特征在于,若采用的分析方法为特殊文本匹配法,对所述待补全文本及所述预设轮次的问答文本进行预设阈值次的语义分析,得到所述预设阈值的目标追问类型包括:
若所述待补全文本存在于预先保存的特殊文本集中,则根据所述特殊文本集中保存的特殊文本与追问类型的对应关系,确定所述待补全文本的目标追问类型。
7.根据权利要求1所述的方法,其特征在于,若所述融合文本的数量为多个,所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本包括:
所述大模型将第三提示文本、每个融合文本进行拼接,得到第四目标文本,其中,所述第三提示文本用于提示所述大模型将所有融合文本中不合理的融合文本删除;
所述大模型对所述第四目标文本中的每个融合文本的合理性进行分析,并基于每个融合文本对应的分析结果,将不合理的融合文本删除,得到候选融合文本;
若所述候选融合文本的数量为1,则将所述候选融合文本确定为所述待补全文本的目标补全文本。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若所述候选融合文本的数量不为1,将删除的融合文本对应的第一目标文本删除,并继续执行得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本的步骤。
9.一种基于多轮对话的文本补全装置,其特征在于,所述装置包括:
获取模块,用于获取待补全文本,及所述待补全文本之前预设轮次的问答文本;
分析补全模块,用于对所述待补全文本及所述预设轮次的问答文本进行语义分析,确定所述待补全文本的目标追问类型,所述目标追问类型为结果追问或问题追问;将所述待补全文本、所述目标追问类型、所述预设轮次的问答文本和第一提示文本输入到大模型中,所述大模型根据所述目标追问类型在所述预设轮次的问答文本中选取所述预设轮次的第一目标文本,并得到所述待补全文本与每个第一目标文本分别进行融合后的融合文本;所述大模型基于对每个融合文本的合理性的分析结果,选取目标融合文本作为所述待补全文本的目标补全文本。
10.一种电子设备,其特征在于,所述电子设备包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-8任一项所述基于多轮对话的文本补全方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311637792.9A CN117909454A (zh) | 2023-11-30 | 2023-11-30 | 一种基于多轮对话的文本补全方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311637792.9A CN117909454A (zh) | 2023-11-30 | 2023-11-30 | 一种基于多轮对话的文本补全方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117909454A true CN117909454A (zh) | 2024-04-19 |
Family
ID=90682769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311637792.9A Pending CN117909454A (zh) | 2023-11-30 | 2023-11-30 | 一种基于多轮对话的文本补全方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117909454A (zh) |
-
2023
- 2023-11-30 CN CN202311637792.9A patent/CN117909454A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110168535B (zh) | 一种信息处理方法及终端、计算机存储介质 | |
CN110727779A (zh) | 基于多模型融合的问答方法及系统 | |
CN112100354B (zh) | 人机对话方法、装置、设备及存储介质 | |
CN111046132A (zh) | 一种检索多轮对话的客服问答处理方法及其系统 | |
CN109325040B (zh) | 一种faq问答库泛化方法、装置及设备 | |
CN112035599B (zh) | 基于垂直搜索的查询方法、装置、计算机设备及存储介质 | |
CN110309504B (zh) | 基于分词的文本处理方法、装置、设备及存储介质 | |
CN117521675A (zh) | 基于大语言模型的信息处理方法、装置、设备及存储介质 | |
CN113821605A (zh) | 一种事件抽取方法 | |
CN113988071A (zh) | 一种基于金融知识图谱的智能对话方法及装置、电子设备 | |
CN111444677A (zh) | 基于大数据的阅读模型优化方法、装置、设备及介质 | |
CN114647713A (zh) | 基于虚拟对抗的知识图谱问答方法、设备及存储介质 | |
CN114491018A (zh) | 敏感信息检测模型的构建方法、敏感信息检测方法及装置 | |
CN116304748A (zh) | 一种文本相似度计算方法、系统、设备及介质 | |
CN115840808A (zh) | 科技项目咨询方法、装置、服务器及计算机可读存储介质 | |
CN114911915A (zh) | 一种基于知识图谱的问答搜索方法、系统、设备和介质 | |
CN114282513A (zh) | 文本语义相似度的匹配方法、系统、智能终端及存储介质 | |
CN111401034A (zh) | 文本的语义分析方法、语义分析装置及终端 | |
CN113127617A (zh) | 通用领域知识图谱的知识问答方法、终端设备及存储介质 | |
CN112818096A (zh) | 对话生成方法及其装置 | |
CN111680514B (zh) | 信息处理和模型训练方法、装置、设备及存储介质 | |
CN109684357B (zh) | 信息处理方法及装置、存储介质、终端 | |
CN116974554A (zh) | 代码数据处理方法、装置、计算机设备和存储介质 | |
CN116070642A (zh) | 一种基于表情嵌入的文本情感分析方法及相关装置 | |
CN117909454A (zh) | 一种基于多轮对话的文本补全方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |