CN117332072A - 对话处理、语音摘要提取以及目标对话模型训练方法 - Google Patents
对话处理、语音摘要提取以及目标对话模型训练方法 Download PDFInfo
- Publication number
- CN117332072A CN117332072A CN202311631676.6A CN202311631676A CN117332072A CN 117332072 A CN117332072 A CN 117332072A CN 202311631676 A CN202311631676 A CN 202311631676A CN 117332072 A CN117332072 A CN 117332072A
- Authority
- CN
- China
- Prior art keywords
- dialogue
- sample
- target
- text
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000000605 extraction Methods 0.000 title abstract description 41
- 238000012545 processing Methods 0.000 title description 46
- 238000003672 processing method Methods 0.000 claims abstract description 30
- 238000002372 labelling Methods 0.000 claims description 48
- 238000010276 construction Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 5
- 208000004547 Hallucinations Diseases 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000006698 induction Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000003058 natural language processing Methods 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 9
- 230000018109 developmental process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001376 precipitating effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3343—Query execution using phonetics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本说明书实施例提供对话处理、语音摘要提取以及目标对话模型训练方法,其中所述对话处理方法包括:获取目标对话数据;从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。在目标对话模型处理之前进行要点提炼和场景归纳,缓解初始答复内容的关键信息幻觉问题;利用目标对话数据作为参考,生成目标答复内容,保证目标答复内容的事实准确性。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及对话处理、语音摘要提取以及目标对话模型训练方法。
背景技术
随着计算机技术的发展,大模型开始大放异彩,在语言理解、生成、交互和推理方面表现出的非凡能力,广泛应用于对话、翻译、代码生成等自然语言处理领域。然而大模型由于预训练数据或模型规模本身,可能导致其在处理任务时,存在一些事实性错误的输出结果,这种现象也被称为幻觉。因此,关于增强大模型生成内容的正确性已经成为自然语言处理领域中尤为重要的问题之一。
目前,在大模型生成内容的过程中,通常添加人工编写的提示信息来辅助内容的生成,然而,仅通过添加人工编写的提示信息,大模型生成过程中仍会出现事实性错误内容,导致任务处理准确性仍旧较差,因此,亟需一种准确性高的对话处理方案。
发明内容
有鉴于此,本说明书实施例提供了一种对话处理方法。本说明书一个或者多个实施例同时涉及一种语音摘要提取方法,一种目标对话模型训练方法,一种对话处理装置,一种语音摘要提取装置,一种目标对话模型训练装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种对话处理方法,包括:获取目标对话数据;从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。
根据本说明书实施例的第二方面,提供了一种语音摘要提取方法,包括:获取目标对话语音;从目标对话语音中提取对话关键信息,其中,对话关键信息表征目标对话语音的对话情境;将对话关键信息和目标对话语音输入目标对话模型中,获得初始摘要文本,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;根据目标对话语音和初始摘要文本,生成目标对话语音对应的目标摘要文本。
根据本说明书实施例的第三方面,提供了一种目标对话模型训练方法,应用于云侧设备,包括:获取对话样本集,其中,对话样本集包括多个样本对话文本,样本对话文本携带样本文本标签;从样本对话文本中提取样本关键信息,其中,样本关键信息表征样本对话文本的对话情境;将多个样本对话文本和样本关键信息输入初始对话模型中,获得多个样本对话文本分别对应的预测答复结果;根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
根据本说明书实施例的第四方面,提供了一种对话处理装置,包括:第一获取模块,被配置为获取目标对话数据;第一提取模块,被配置为从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;第一输入模块,被配置为将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;第一生成模块,被配置为根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。
根据本说明书实施例的第五方面,提供了一种语音摘要提取装置,包括:第二获取模块,被配置为获取目标对话语音;第二提取模块,被配置为从目标对话语音中提取对话关键信息,其中,对话关键信息表征目标对话语音的对话情境;第二输入模块,被配置为将对话关键信息和目标对话语音输入目标对话模型中,获得初始摘要文本,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;第二生成模块,被配置为根据目标对话语音和初始摘要文本,生成目标对话语音对应的目标摘要文本。
根据本说明书实施例的第六方面,提供了一种目标对话模型训练装置,应用于云侧设备,包括:第三获取模块,被配置为获取对话样本集,其中,对话样本集包括多个样本对话文本,样本对话文本携带样本文本标签;第三提取模块,被配置为从样本对话文本中提取样本关键信息,其中,样本关键信息表征样本对话文本的对话情境;第三输入模块,被配置为将多个样本对话文本和样本关键信息输入初始对话模型中,获得多个样本对话文本分别对应的预测答复结果;调整模块,被配置为根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
根据本说明书实施例的第七方面,提供了一种计算设备,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。
根据本说明书实施例的第八方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。
根据本说明书实施例的第九方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述第一方面或者第二方面或者第三方面所提供方法的步骤。
本说明书一个实施例提供的对话处理方法,获取目标对话数据;从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。首先,通过从目标对话数据中提取对话关键信息,在目标对话模型处理之前进行了要点提炼和场景归纳,使得目标对话模型可以直观感知到目标对话数据中的关键信息,大大缓解了初始答复内容中的关键信息幻觉问题;其次,由于对目标对话模型训练的过程中,融入了样本生成指令,保证了目标对话模型的指令遵从性;此外,在获得初始答复内容之后,利用目标对话数据作为参考,生成目标答复内容,进一步保证了目标答复内容的事实准确性。
附图说明
图1是本说明书一个实施例提供的一种对话处理系统的架构图;
图2是本说明书一个实施例提供的另一种对话处理系统的架构图;
图3是本说明书一个实施例提供的一种对话处理方法的流程图;
图4是本说明书一个实施例提供的一种语音摘要提取方法的流程图;
图5是本说明书一个实施例提供的一种目标对话模型训练方法的流程图;
图6是本说明书一个实施例提供的一种对话处理方法的处理过程流程图;
图7是本说明书一个实施例提供的一种对话处理界面的界面示意图;
图8是本说明书一个实施例提供的一种对话处理装置的结构示意图;
图9是本说明书一个实施例提供的一种语音摘要提取装置的结构示意图;
图10是本说明书一个实施例提供的一种目标对话模型训练装置的结构示意图;
图11是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
本说明书一个或多个实施例中,大模型是指具有大规模模型参数的深度学习模型,通常包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的模型参数。大模型又可以称为基石模型/基础模型(Foundation Model),通过大规模无标注的语料进行大模型的预训练,产出亿级以上参数的预训练模型,这种模型能适应广泛的下游任务,模型具有较好的泛化能力,例如大规模语言模型(LLM,Large Language Model)、多模态预训练模型(multi-modal pre-training model)等。
大模型在实际应用时,仅需少量样本对预训练模型进行微调即可应用于不同的任务中,大模型可以广泛应用于自然语言处理(NLP,Natural Language Processing)、计算机视觉等领域,具体可以应用于如视觉问答(VQA,Visual Question Answering)、图像描述(IC,Image Caption)、图像生成等计算机视觉领域任务,以及基于文本的情感分类、文本摘要生成、机器翻译等自然语言处理领域任务,大模型主要的应用场景包括数字助理、智能机器人、搜索、在线教育、办公软件、电子商务、智能设计等。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
零样本学习:在机器学习中,模型在训练时没有直接接触过某些数据,但在测试时需要对这些数据进行预测或分类,这种情况被称为零样本学习(Zero-shot learning)。
解耦:解耦是指解除耦合关系,本说明书实施例中的解耦是指将整段输出中的有幻觉和没有幻觉的句子进行拆分,形成句子级的独立标签。
思维链:思维链(CoT,Chain-of-Thought)是指一系列有逻辑关系的思考步骤,形成一个完整的思考过程。思维链通常被用于大模型的提示学习中,将大模型的推理过程,分解成一个个步骤,直观地展现出来,从而提高最终结果的准确率。
幻觉:幻觉是指大模型生成的内容,不是基于任何现实世界的数据,或者来源于给定的参考内容,而是大模型根据训练时学习到的参数给出想象中的答案,例如杜撰出一些看上去像是权威正确、但实际不存在的虚假信息。
BERT:BERT(Bidirectional Encoder Representations from Transformers)是一种Transformer架构的模型,用于生成文本的表征向量,适用于自然语言处理(NLP,Natural Language Processing)领域的诸多任务,如问答系统、文本分类、情感分析等。
随着计算机技术的发展,大模型开始大放异彩,在语言理解、生成、交互和推理方面表现出的非凡能力,广泛应用于对话、翻译、代码生成等自然语言处理领域。例如,可以将大模型应用在具有高知识附加值的音视频内容场景,其中,音视频内容场景比如开会、上课、访谈、培训、面试、直播、看视频、听播客等等,从而通过大模型快速提炼和沉淀知识,帮助随时随地高效完成对音视频内容的转写、检索、摘要、整理、提取等任务。
然而,大模型由于预训练数据或模型规模本身,可能导致其在完成对话任务时,存在一些事实性错误的输出结果,这种现象也被称为幻觉。一类幻觉是事实性幻觉,即在真实世界中是正确的,但是并未出现在源数据里;另一类幻觉是非事实性幻觉,即无法在真实世界中验证或完全错误的答案。这两类的幻觉输出都会导致用户对音视频的内容产生错误的理解,尤其是针对工作学习等场景下的专业领域知识而言,用户无法自行辨别输出答案的正确性,进而对用户体验产生较大影响。
为了解决上述问题,本说明书实施例基于音视频场景和对话任务的特点,提出了覆盖训练、推理以及后处理的全链路的幻觉优化方案,具体地,获取目标对话数据;从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。通过以上方案,可以在模型的每个环节都尽可能减少幻觉现象,从而大幅提升目标答复内容的忠实性。
在本说明书中,提供了一种对话处理方法,本说明书同时涉及一种语音摘要提取方法,一种目标对话模型训练方法,一种对话处理装置,一种语音摘要提取装置,一种目标对话模型训练装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了本说明书一个实施例提供的一种对话处理系统的架构图,对话处理系统可以包括客户端100和服务端200;
客户端100,用于向服务端200发送目标对话数据;
服务端200,用于从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容;向客户端100发送目标答复内容;
客户端100,还用于接收服务端200发送的目标答复内容。
应用本说明书实施例的方案,首先,通过从目标对话数据中提取对话关键信息,在目标对话模型处理之前进行了要点提炼和场景归纳,使得目标对话模型可以直观感知到目标对话数据中的关键信息,大大缓解了初始答复内容中的关键信息幻觉问题;其次,由于对目标对话模型训练的过程中,融入了样本生成指令,保证了目标对话模型的指令遵从性;此外,在获得初始答复内容之后,利用目标对话数据作为参考,生成目标答复内容,进一步保证了目标答复内容的事实准确性。
参见图2,图2示出了本说明书一个实施例提供的另一种对话处理系统的架构图,对话处理系统可以包括多个客户端100以及服务端200,其中,客户端100可以包括端侧设备,服务端200可以包括云侧设备。多个客户端100之间通过服务端200可以建立通信连接,在对话处理场景中,服务端200即用来在多个客户端100之间提供对话处理服务,多个客户端100可以分别作为发送端或接收端,通过服务端200实现通信。
用户通过客户端100可与服务端200进行交互以接收其它客户端100发送的数据,或将数据发送至其它客户端100等。在对话处理场景中,可以是用户通过客户端100向服务端200发布数据流,服务端200根据该数据流生成目标答复内容,并将目标答复内容推送至其他建立通信的客户端中。
其中,客户端100与服务端200之间通过网络建立连接。网络为客户端100与服务端200之间提供了通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。客户端100所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端200。
客户端100可以为浏览器、APP(Application,应用程序)、或网页应用如H5(HyperText Markup Language5,超文本标记语言第5版)应用、或轻应用(也被称为小程序,一种轻量级应用程序)或云应用等,客户端100可以基于服务端200提供的相应服务的软件开发工具包(SDK,Software Development Kit),如基于实时通信(RTC,Real TimeCommunication)SDK开发获得等。客户端100可以部署在电子设备中,需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等,如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用,例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端200可以包括提供各种服务的服务器,例如为多个客户端提供通信服务的服务器,又如为客户端上使用的模型提供支持的用于后台训练的服务器,又如对客户端发送的数据进行处理的服务器等。需要说明的是,服务端200可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content DeliveryNetwork)以及大数据和人工智能平台等基础云计算服务的云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是,本说明书实施例中提供的对话处理方法一般由服务端执行,但是,在本说明书的其它实施例中,客户端也可以与服务端具有相似的功能,从而执行本说明书实施例所提供的对话处理方法。在其它实施例中,本说明书实施例所提供的对话处理方法还可以是由客户端与服务端共同执行。
参见图3,图3示出了本说明书一个实施例提供的一种对话处理方法的流程图,具体包括以下步骤:
步骤302:获取目标对话数据。
本说明书一个或多个实施例中,对话处理开始时,可以获取目标对话数据,进一步基于目标对话数据进行对话处理,获得目标对话数据对应的目标答复内容。
具体地,目标对话数据是指包括对话内容的数据,如目标对话音频、目标对话视频、目标对话图像、目标对话文本等等。对话内容可以包括单个对话角色的对话内容,也可以包括多个对话角色的对话内容。目标对话数据对应的对话处理任务可能有多种,如语音摘要提取、语音文本转写、语音内容检索等等。目标对话数据可以是不同场景的对话数据,如会议场景中的对话数据、直播场景中的对话数据、访问场景中的对话数据等等。
实际应用中,获取目标对话数据的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以接收用户通过客户端发送的目标对话数据。本说明书另一种可能的实现方式中,可以从其他数据获取设备或数据库中读取目标对话数据。
步骤304:从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境。
本说明书一个或多个实施例中,由于目标对话数据中可能不包括对话情境的相关信息,因此直接利用模型对目标对话数据进行处理,可能会导致大模型出现无法分辨参与角色数量、参与角色名、对话观点等信息的具体来源,进一步出现角色和场景的幻觉问题,因此,获取目标对话数据之后,进一步地,可以从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境。
具体地,对话情境是指目标对话数据产生的环境和条件,对话情境包括对话发生的时间、地点、角色、话题中的至少一个因素。对话关键信息包括但不限于对话关键场景信息、对话关键角色信息、对话关键话题信息、对话关键时间信息。
需要说明的是,利用目标对话模型执行对话处理任务之前,可以基于思维链的对话关键要素推理步骤,使得目标对话模型感知目标对话数据的对话情境,针对性地解决目标对话模型处理的痛点和难点,也即,从目标对话数据中提取对话关键信息。
实际应用中,从目标对话数据中提取对话关键信息的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以对目标对话数据进行文本转换,获得目标对话数据对应的目标对话文本,进一步对目标对话文本进行上下文分析,从目标对话文本中提取对话关键信息。
本说明书另一种可能的实现方式中,可以利用预训练语言模型从目标对话数据中提取对话关键信息,也即,上述从目标对话数据中提取对话关键信息,可以包括以下步骤:
获取情境提示信息,其中,情境提示信息包括场景提示信息、角色提示信息中的至少一种;
将情境提示信息和目标对话数据输入预训练语言模型,获得对话关键信息。
具体地,情境提示信息还可以包括话题提示信息、时间提示信息等等。可以直接将大模型作为预训练语言模型,还可以基于大量样本数据训练得到预训练语言模型是大模型,也可以将目标对话模型作为预训练语言模型,预训练语言模型具体根据实际情况进行选择,本说明书实施例对此不做任何限定。场景提示信息用于引导预训练语言模型从目标对话数据中提取对话关键场景信息,对话关键场景信息包括但不限于对话场景、对话观点、对话主题。角色提示信息用于引导预训练语言模型从目标对话数据中提取对话关键角色信息。对话关键角色信息包括但不限于对话角色数量、对话角色名称、对话角色身份。
实际应用中,获取情境提示信息的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以接收用户通过客户端发送的情境提示信息。本说明书另一种可能的实现方式中,可以从其他数据获取设备或数据库中读取情境提示信息。
需要说明的是,获取的情境提示信息可能是多重提示信息,例如场景提示信息包括第一场景提示信息和第二场景提示信息,其中,第一场景提示信息用于确定目标对话数据对应的目标对话场景,第二场景提示信息用于确定目标对话场景的相关内容信息。具体地,将第一场景提示信息和目标对话数据输入预训练语言模型,获得第一对话关键场景信息,将第二场景提示信息和目标对话数据输入预训练语言模型,获得第二对话关键场景信息,合并第一对话关键场景信息和第二对话关键场景信息,获得对话关键场景信息。
示例性地,第一场景提示信息可以是这段对话可能属于哪个场景?例如演讲、访谈、面试、会议、课程、直播或其他场景。进一步地,确定目标对话场景之后,可以根据场景动态生成第二场景提示信息,第二场景提示信息可以是请基于目标对话场景给出3个通用问题并回答。例如针对演讲场景,问题包括演讲主题、发言人观点等。角色提示信息可以是这段对话是单人还是多人的?这段对话包含具体哪些人?是否能从原文中找到他们的名字或者推断出他们的身份信息。
应用本说明书实施例的方案,情境提示信息是不固定的,如先确定场景,再根据场景动态生成相关提示信息,并且,情境提示信息是非抽取式的提示信息,而是推断式的提示信息,通过目标对话数据中的称呼、人物关系判断具体角色数量、角色名称等等,通过复杂、灵活的情境提示信息可以获得针对性更好的对话关键信息,将对话关键信息和目标对话数据一起作为模型输入,相当于已经做了一次要点提炼和场景归纳,再进行标准的对话处理,可以大大缓解模型输出的幻觉问题。
步骤306:将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到。
本说明书一个或多个实施例中,获取目标对话数据;从目标对话数据中提取对话关键信息之后,进一步地,可以将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到。
具体地,目标对话模型基于对话样本集对初始对话模型训练得到,初始对话模型可以是大模型。将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容之后,可以直接将初始答复内容作为目标答复内容。
进一步地,由于目标对话模型输出的初始答复内容中可能仍然会存在幻觉情况,例如,在常见的单人演讲场景中,发言人常常不提及自己的名字,但转写文本有时能体现出发言人所在的公司或组织。这时候目标对话模型往往会由于其基础模型能力,在初始答复内容中自动补全人名,如果人名正确则属于事实性幻觉,如果补全的人名错误则称为非事实性幻觉。为了尽可能忠于目标对话数据,本说明书实施例可以针对已经生成的初始答复内容进行后处理,也即根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。
步骤308:根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。
本说明书一个或多个实施例中,获取目标对话数据;从目标对话数据中提取对话关键信息;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容之后,进一步地,可以根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。
具体地,目标答复内容与目标对话数据对应的对话处理任务相关,例如对话处理任务为语音摘要提取任务,则目标答复内容为目标摘要文本。
应用本说明书实施例的方案,首先,通过从目标对话数据中提取对话关键信息,在目标对话模型处理之前进行了要点提炼和场景归纳,使得目标对话模型可以直观感知到目标对话数据中的关键信息,大大缓解了初始答复内容中的关键信息幻觉问题;其次,由于对目标对话模型训练的过程中,融入了样本生成指令,保证了目标对话模型的指令遵从性;此外,在获得初始答复内容之后,利用目标对话数据作为参考,生成目标答复内容,进一步保证了目标答复内容的事实准确性。
实际应用中,根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以直接对比目标对话数据和初始答复内容,删除初始答复内容中未在目标对话数据出现的字符,获得目标答复内容。
本说明书另一种可能的实现方式中,为了避免字符匹配但非关键信息的情况,可以根据初始答复内容中的答复关键信息和目标对话数据中的目标对话关键词,生成目标答复内容,也即,上述根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容,可以包括以下步骤:
从初始答复内容中提取答复关键信息;
对目标对话数据进行分词,获得目标对话关键词;
根据答复关键信息和目标对话关键词,生成目标对话数据对应的目标答复内容。
具体地,答复关键信息表征初始答复内容的答复情境。答复关键信息包括但不限于答复关键场景信息、答复关键角色信息、答复关键话题信息、答复关键时间信息。目标对话关键词包括但不限于目标对话中的角色名称、专业技术名词。
需要说明的是,从初始答复内容中提取答复关键信息的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。第一种方式:利用关键信息词典(如人名词典)直接匹配初始答复内容,获得答复关键信息;第二种方式,采用小模型(如BERT)做初始答复内容进行命名实体识别,获得答复关键信息;第三种方式,通过大模型直接对初始答复内容进行关键信息识别的零样本学习推理。其中,关键信息词典可以快速修复以及及时干预,小模型的准确率更高,而大模型可以直接推理无需额外的模型资源消耗。
进一步地,对目标对话数据进行分词,获得目标对话关键词的实现方式有多种,具体根据实际情况进行选择,本说明书实施例便不再进行赘述。可以利用分词工具(如jieba工具)对目标对话数据进行分词,获得目标对话关键词,还可以利用预设词库匹配目标对话数据,获得目标对话关键词。
应用本说明书实施例的方案,从初始答复内容中提取答复关键信息;对目标对话数据进行分词,获得目标对话关键词;根据答复关键信息和目标对话关键词,生成目标对话数据对应的目标答复内容。通过目标对话关键词生成目标答复内容,避免后续出现字符匹配但非关键信息的情况,提高了目标答复内容的准确性。
实际应用中,根据答复关键信息和目标对话关键词,生成目标对话数据对应的目标答复内容的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
本说明书一种可能的实现方式中,上述根据答复关键信息和目标对话关键词,生成目标对话数据对应的目标答复内容,可以包括以下步骤:
基于目标对话关键词,从答复关键信息中筛选出待删除答复关键信息,其中,待删除答复关键信息为目标对话关键词中未出现的答复关键信息;
从初始答复内容中删除待删除答复关键信息,获得目标答复内容。
需要说明的是,可以采用正则表达式或空字符串替换技术从初始答复内容中删除待删除答复关键信息,获得目标答复内容。
应用本说明书实施例的方案,基于目标对话关键词,从答复关键信息中筛选出待删除答复关键信息,其中,待删除答复关键信息为目标对话关键词中未出现的答复关键信息;从初始答复内容中删除待删除答复关键信息,获得目标答复内容。认为目标对话关键词中未出现的答复关键信息为幻觉关键信息,判断幻觉的逻辑简单有效,保证了目标答复内容的准确性。
本说明书一种可能的实现方式中,由于直接删除待删除答复关键信息可能会导致目标答复内容不够流畅,因此,可以利用预训练语言模型执行答复内容改写任务,将去除待删除答复关键信息的不连贯答复内容重新表述,得到流畅通顺的目标答复内容,也即,上述根据答复关键信息和目标对话关键词,生成目标对话数据对应的目标答复内容,可以包括以下步骤:
基于目标对话关键词,从答复关键信息中筛选出待删除答复关键信息,其中,待删除答复关键信息为目标对话关键词中未出现的答复关键信息;
根据待删除答复关键信息,构建生成提示信息;
将初始答复内容和生成提示信息输入预训练语言模型,获得目标答复内容。
需要说明的是,利用预训练语音模型生成目标答复内容的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。
本说明书一种可能的实现方式中,可以将已经删除了待删除答复关键信息的初始答复内容和预设生成提示信息输入预训练语音模型,获得目标答复内容,其中,预设生成提示信息可以是“请优化以下文本,使其表达流畅”。
本说明书另一种可能的实现方式中,还可以根据待删除答复关键信息构建生成提示信息,进一步直接将初始答复内容和生成提示信息输入预训练语言模型,获得目标答复内容。构建生成提示信息时,可以获取生成提示模板,将待删除答复关键信息填充至生成提示模板中,获得生成提示信息。
示例性地,生成提示模板可以是“请优化以下文本,使其表达流畅,不要出现{待删除答复关键信息}”,将待删除答复关键信息填充至生成提示模板中,获得生成提示信息,进一步拼接初始答复内容和生成提示信息,将拼接后的信息输入预训练语言模型,获得目标答复内容。
应用本说明书实施例的方案,基于目标对话关键词,从答复关键信息中筛选出待删除答复关键信息,其中,待删除答复关键信息为目标对话关键词中未出现的答复关键信息;根据待删除答复关键信息,构建生成提示信息;将初始答复内容和生成提示信息输入预训练语言模型,获得目标答复内容,提高了目标答复内容的流畅性。
本说明书一种可选的实施例中,上述将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容之前,还可以包括以下步骤:
获取对话样本集,其中,对话样本集包括多个样本对话文本,样本对话文本携带样本文本标签;
从样本对话文本中提取样本关键信息,其中,样本关键信息表征样本对话文本的对话情境;
将多个样本对话文本和样本关键信息输入初始对话模型中,获得多个样本对话文本分别对应的预测答复结果;
根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
具体地,目标对话模型的训练方式为有监督训练,也即对话样本集中的各样本对话文本是携带真实样本文本标签的,样本文本标签为初始对话模型的处理目标,用于指导初始对话模型的训练过程。对话样本集可以是仅包括正样本文本的对话样本集,也可以是包括正样本文本和负样本文本的正负对话样本集。
获取对话样本集的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以从其他数据获取设备或者数据库中读取大量携带样本文本标签的样本对话文本组成对话样本集。本说明书另一种可能的实现方式中,可以接收用户通过客户端发送的大量携带样本文本标签的样本对话文本组成对话样本集。
需要说明的是,“从样本对话文本中提取样本关键信息;将多个样本对话文本和样本关键信息输入初始对话模型中,获得多个样本对话文本分别对应的预测答复结果”的实现方式与上述“从目标对话数据中提取对话关键信息;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容”的实现方式相同,本说明书实施例便不再进行赘述。
实际应用中,根据预测答复结果和样本文本标签,调整初始对话模型的模型参数时,可以根据预测答复结果和样本文本标签,计算预测损失值,基于预测损失值调整初始对话模型的模型参数,直至达到预设停止条件,获得训练完成的目标对话模型。其中,预设停止条件包括但不限于预测损失值达到预设阈值、迭代次数达到预设迭代次数。
应用本说明书实施例的方案,根据预测答复结果和样本文本标签,计算获得预测损失值,将预测损失值与预设停止条件进行比较,在不满足预设停止条件的情况下继续训练初始对话模型,直至达到预设停止条件,完成训练获得目标对话模型。通过不断对初始对话模型的模型参数进行调整,能使最终得到的目标对话模型更加精准。
本说明书一种可选的实施例中,样本对话文本包括正样本文本和负样本文本,预测答复结果包括正样本文本对应的第一预测答复结果和负样本文本对应的第二预测答复结果;上述根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型,可以包括以下步骤:
根据第一预测答复结果和样本文本标签,计算第一损失值;
根据第二预测答复结果和样本文本标签,计算第二损失值;
根据第一损失值和第二损失值,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
具体地,由于第一预测答复结果为正样本文本对应的答复结果,因此,第一损失值为正向损失(likelihood loss),而第二预测结果为负样本文本对应的答复结果,因此,第二损失值为负向损失(unlikelihood loss)。
实际应用中,根据第一损失值和第二损失值,调整初始对话模型的模型参数时,可以根据第一损失值和第二损失值,计算总损失值,进一步基于总损失值调整初始对话模型的模型参数。具体地,可以通过以下公式(1)计算第一损失值,通过以下公式(2)计算第二损失值,通过以下公式(3)计算总损失值:
(1)
(2)/>
(3)
其中,L1表示第一损失值,L2表示第二损失值,表示总损失值,/>表示第二损失值的权重,用于平衡第一损失值和第二损失值,避免因第二损失值过大影响模型输出,/>表示在当前时间t,给定当前预测单位(token)xt之前的预测结果x,对xt的预测概率;/>表示错误token的集合,c表示当前错误的token,/>表示在当前时间t,给定当前预测单位c之前的预测结果x,对c的预测概率。
需要说明的是,考虑到负样本文本中存在部分正确无幻觉的语句,因此,在计算第二损失值的时候可以对正确无幻觉的语句进行掩码(sentence-level masking),避免正确无幻觉的语句对预测答复结果产生干扰,掩码时,可以直接将这正确无幻觉的语句对应的损失乘以0,不计入损失计算。
应用本说明书实施例的方案,根据第一预测答复结果和样本文本标签,计算第一损失值;根据第二预测答复结果和样本文本标签,计算第二损失值;根据第一损失值和第二损失值,调整初始对话模型的模型参数,获得完成训练的目标对话模型。在预测下一个token的时候,除了计算正向的第一损失值作为模型奖励,还将负样本文本的概率计算负向的第二损失值作为模型惩罚,使得目标对话模型更加精准。
本说明书一种可选的实施例中,多个样本对话文本包括正样本文本和负样本文本;上述获取对话样本集,可以包括以下步骤:
获取多个样本文本,其中,样本文本携带样本生成指令;
将多个样本文本和样本生成指令输入预训练语言模型中,获得多个样本文本分别对应的指令预测结果;
根据样本生成指令和指令预测结果,对多个样本文本划分得到正样本文本和负样本文本。
具体地,样本生成指令用于表征样本文本对应的样本任务。例如,样本生成指令为“生成摘要”,则表示样本文本对应的样本任务为摘要提取任务。样本生成指令可以分为普通指令和特定指令,其中,普通指令即为任务处理指令,例如“生成摘要”。特定指令为携带特定需求的任务处理指令,如“生成真实摘要”或者“生成幻觉摘要”。
需要说明的是,获取多个样本文本的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以从其他数据获取设备或者数据库中读取大量携带样本生成指令的样本文本。本说明书另一种可能的实现方式中,可以接收用户通过客户端发送的大量携带样本生成指令的样本文本。
应用本说明书实施例的方案,获取多个样本文本,其中,样本文本携带样本生成指令;将多个样本文本和样本生成指令输入预训练语言模型中,获得多个样本文本分别对应的指令预测结果;根据样本生成指令和指令预测结果,对多个样本文本划分得到正样本文本和负样本文本。通过根据样本生成指令和指令预测结果确定正负样本文本,保证了目标对话模型的指令遵从性。
实际应用中,根据样本生成指令和指令预测结果,对多个样本文本划分得到正样本文本和负样本文本的方式有多种,具体根据实际情况进行选择,本说明书实施例对此不做任何限定。本说明书一种可能的实现方式中,可以直接对指令预测结果进行文本级的幻觉标注,在文本级的幻觉标注结果和样本生成指令匹配的情况下,确定样本文本为正样本文本;在文本级的幻觉标注结果和样本生成指令不匹配的情况下,确定样本文本为负样本文本。
本说明书另一种可能的实现方式中,考虑到指令预测结果的内容普遍偏长,幻觉仅存在于某些语句,因此,可以对指令预测结果进行句子级的幻觉标注,再利用样本生成指令和句子级的幻觉标注结果对多个样本文本划分得到正样本文本和负样本文本,也即,上述根据样本生成指令和指令预测结果,对多个样本文本划分得到正样本文本和负样本文本,可以包括以下步骤:
获取样本构建提示信息;
对指令预测结果进行语句划分,确定指令预测结果对应的至少一个语句标识;
将样本构建提示信息、多个样本文本和至少一个语句标识输入幻觉标注模型,获得至少一个语句标识分别对应的幻觉标注结果;
根据幻觉标注结果和样本生成指令,对多个样本文本划分得到正样本文本和负样本文本。
具体地,样本构建提示信息用于引导幻觉标注模型对输入的数据进行幻觉标注。例如,样本构建提示信息可以是“回答哪些语句与对应的样本文本不一致,如编号、时间、地点、年龄、身份、因果关系、时间顺序等与样本文本冲突或未提及的具体细节”。进一步地,样本构建提示信息中还可以包括输出格式,如“以JSON格式提供答案”。由于JSON输出的是结构化数据,可以直接确定有幻觉的语句,提高样本划分效率。
语句标识可以称为语句索引,语句标识可以是数字编号,也可以是字母编号,本说明书实施例对语句标识不做任何限定。幻觉标注结果用于描述至少一个语句标识对应的语句是否存在幻觉,也即至少一个语句标识对应的语句与样本文本是否一致。幻觉标注结果可以是JSON格式的标注结果,还可以是有无幻觉的语句标识列表。例如,幻觉标注结果为:{“不一致的语句”:[语句标识],“一致的语句”:[语句标识]}。
需要说明的是,由于不同的幻觉标注模型可能具有不同的侧重点,因此,本说明书实施例中可以采用多个幻觉标注模型分别生成幻觉标注结果,进一步地对多个幻觉标注模型生成的幻觉标注结果取并集得到最终的幻觉标注结果,以提高模型召回率和准确率。
应用本说明书实施例的方案,获取样本构建提示信息;对指令预测结果进行语句划分,确定指令预测结果对应的至少一个语句标识;将样本构建提示信息、多个样本文本和至少一个语句标识输入幻觉标注模型,获得至少一个语句标识分别对应的幻觉标注结果;根据幻觉标注结果和样本生成指令,对多个样本文本划分得到正样本文本和负样本文本,提高了正样本文本和负样本文本的准确性。
本说明书一种可选的实施例中,上述根据幻觉标注结果和样本生成指令,对多个样本文本划分得到正样本文本和负样本文本,可以包括以下步骤:
在幻觉标注结果和样本生成指令匹配的情况下,确定样本文本为正样本文本;
在幻觉标注结果和样本生成指令不匹配的情况下,确定样本文本为负样本文本。
具体地,正样本文本包括真实样本文本和指令匹配样本文本,负样本文本包括幻觉样本文本和指令冲突样本文本。
需要说明的是,在样本生成指令为普通指令的情况下,若幻觉标注结果为真实语句,说明幻觉标注结果和样本生成指令匹配,则确定样本文本为正样本文本(真实样本文本);若幻觉标注结果为幻觉语句,说明幻觉标注结果和样本生成指令不匹配,则确定样本文本为负样本文本(幻觉样本文本)。通过普通指令进行结果幻觉检测,可以检测指令预测结果本身的幻觉程度。
在样本生成指令为特定指令“生成真实结果”的情况下,若幻觉标注结果为真实语句,说明幻觉标注结果和样本生成指令匹配,则确定样本文本为正样本文本(指令匹配样本文本);若幻觉标注结果为幻觉语句,说明幻觉标注结果和样本生成指令不匹配,则确定样本文本为负样本文本(指令冲突样本文本);在样本生成指令为特定指令“生成幻觉结果”的情况下,若幻觉标注结果为真实语句,说明幻觉标注结果和样本生成指令不匹配(指令冲突样本文本),则确定样本文本为负样本文本;若幻觉标注结果为幻觉语句,说明幻觉标注结果和样本生成指令匹配(指令匹配样本文本),则确定样本文本为正样本文本。通过特定指令进行指令冲突检测,可以训练模型的指令遵从性。
应用本说明书实施例的方案,在幻觉标注结果和样本生成指令匹配的情况下,确定样本文本为正样本文本;在幻觉标注结果和样本生成指令不匹配的情况下,确定样本文本为负样本文本。不仅可以检测结果本身的幻觉,还可以训练模型的指令遵从性。
下述结合附图4,以本说明书提供的对话处理方法应用于语音摘要提取任务为例,对所述对话处理方法进行进一步说明。其中,图4示出了本说明书一个实施例提供的一种语音摘要提取方法的流程图,具体包括以下步骤:
步骤402:获取目标对话语音。
步骤404:从目标对话语音中提取对话关键信息,其中,对话关键信息表征目标对话语音的对话情境。
步骤406:将对话关键信息和目标对话语音输入目标对话模型中,获得初始摘要文本,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到。
步骤408:根据目标对话语音和初始摘要文本,生成目标对话语音对应的目标摘要文本。
需要说明的是,步骤402至步骤408的实现方式与上述步骤302至步骤308的实现方式相同,本说明书实施例对此不做任何限定。
应用本说明书实施例的方案,首先,通过从目标对话语音中提取对话关键信息,在目标对话模型处理之前进行了要点提炼和场景归纳,使得目标对话模型可以直观感知到目标对话语音中的关键信息,大大缓解了初始摘要文本中的关键信息幻觉问题;其次,由于对目标对话模型训练的过程中,融入了样本生成指令,保证了目标对话模型的指令遵从性;此外,在获得初始摘要文本之后,利用目标对话语音作为参考,生成目标摘要文本,进一步保证了目标摘要文本的事实准确性。
实际应用中,上述从目标对话语音中提取对话关键信息之前,还可以对目标对话语音进行文本转换,获得目标对话文本。获得目标对话文本之后,可以从目标对话文本中提取对话关键信息,进一步将对话关键信息和目标对话文本输入目标对话模型中,获得初始摘要文本。最后,根据目标对话文本和初始摘要文本,生成目标对话语音对应的目标摘要文本。
本说明书一种可选的实施例中,上述根据目标对话语音和初始摘要文本,生成目标对话语音对应的目标摘要文本之后,还可以包括以下步骤:
接收用户基于目标摘要文本发送的调整样本数据,并根据调整样本数据调整目标对话模型的模型参数。
需要说明的是,用户获得目标对话语音对应的目标摘要文本之后,若对目标摘要文本不满意,则可以基于目标摘要文本发送调整样本数据,以重新训练目标对话模型,进行二次语音摘要提取。上述“根据调整样本数据调整目标对话模型的模型参数”的实现方式与目标对话模型的训练方式相同,本说明书实施例便不再进行赘述。
应用本说明书实施例的方案,接收用户基于目标摘要文本发送的调整样本数据,并根据调整样本数据调整目标对话模型的模型参数,增加了与用户之间的交互,提高了用户满意度。
参见图5,图5示出了本说明书一个实施例提供的一种目标对话模型训练方法的流程图,目标对话模型训练方法应用于云侧设备,具体包括以下步骤:
步骤502:获取对话样本集,其中,对话样本集包括多个样本对话文本,样本对话文本携带样本文本标签。
步骤504:从样本对话文本中提取样本关键信息,其中,样本关键信息表征样本对话文本的对话情境。
步骤506:将多个样本对话文本和样本关键信息输入初始对话模型中,获得多个样本对话文本分别对应的预测答复结果。
步骤508:根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
需要说明的是,步骤502至步骤508的实现方式详见上述对话处理方法中目标对话模型的训练方式,本说明书实施例对此不做任何限定。获得完成训练的目标对话模型之后,可以将完成训练的目标对话模型的模型参数发送至端侧设备,以使用户基于模型参数在本地构建目标对话模型,进行对话处理。
应用本说明书实施例的方案,根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型,通过不断对初始对话模型的模型参数进行调整,能使最终得到的目标对话模型更加精准。
参见图6,图6示出了本说明书一个实施例提供的一种对话处理方法的处理过程流程图,具体包括训练阶段、推理阶段和后处理阶段,从而实现全链路的幻觉优化,其中,训练阶段可以理解为基于句子级幻觉标注的解耦样本有监督训练(SFT,Supervised Fine-Tuning),推理阶段可以理解为基于对话关键信息感知的思维链推理,后处理阶段可以理解为针对对话关键信息的幻觉自动检测与改写。
需要说明的是,基于幻觉标注的样本的有监督训练方案,在100条评测集上进行自动评估的事实一致性比例从70%提升到77%(真实样本文本和幻觉样本文本)和84%(指令匹配样本文本和指令冲突样本文本),因此,本说明书实施例提出的对话处理方法能够有效缓解幻觉现象的产生。在后处理阶段中,根据对话样本集中的幻觉样本文本,预估额外新增5%的改写调用量即可实现后处理优化功能。由人工标注50条改写前后结果,改写后效果更好的样本:效果一样:改写后效果更差的样本=30:12:8,因此,可以证明端到端对话关键信息幻觉问题得到显著改善。示例性地,后处理前的初始答复内容为“上市公司老板张三谈论了某某某事件”,后处理后的目标答复内容为“上市公司老板谈论了某某某事件”,通过后处理可以正确略去人名张三。
应用本说明书实施例的方案,首先,通过从目标对话数据中提取对话关键信息,在目标对话模型处理之前进行了要点提炼和场景归纳,使得目标对话模型可以直观感知到目标对话数据中的关键信息,大大缓解了初始答复内容中的关键信息幻觉问题;其次,由于对目标对话模型训练的过程中,融入了样本生成指令,保证了目标对话模型的指令遵从性;此外,在获得初始答复内容之后,利用目标对话数据作为参考,生成目标答复内容,进一步保证了目标答复内容的事实准确性;实现在模型的每个环节都尽可能减少幻觉现象,从而大幅提升目标答复内容的忠实性。
参见图7,图7示出了本说明书一个实施例提供的一种对话处理界面的界面示意图。对话处理界面分为请求输入界面和结果展示界面。请求输入界面中包括请求输入框、“确定”控件以及“取消”控件。结果展示界面中包括结果展示框。
用户通过客户端显示的请求输入框输入对话处理请求,其中,对话处理请求携带目标对话数据,点选“确定”控件,服务端接收客户端发送的目标对话数据;从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容,并将目标答复内容发送至客户端。客户端在结果展示框中显示目标答复内容。
实际应用中,用户对控件进行操作的方式包括点击、双击、触控、鼠标悬停、滑动、长按、语音控制或摇一摇等任一方式,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
与上述对话处理方法实施例相对应,本说明书还提供了对话处理装置实施例,图8示出了本说明书一个实施例提供的一种对话处理装置的结构示意图。如图8所示,该装置包括:
第一获取模块802,被配置为获取目标对话数据;
第一提取模块804,被配置为从目标对话数据中提取对话关键信息,其中,对话关键信息表征目标对话数据的对话情境;
第一输入模块806,被配置为将对话关键信息和目标对话数据输入目标对话模型中,获得初始答复内容,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;
第一生成模块808,被配置为根据目标对话数据和初始答复内容,生成目标对话数据对应的目标答复内容。
可选地,第一提取模块804,进一步被配置为获取情境提示信息,其中,情境提示信息包括场景提示信息、角色提示信息中的至少一种;将情境提示信息和目标对话数据输入预训练语言模型,获得对话关键信息。
可选地,第一生成模块808,进一步被配置为从初始答复内容中提取答复关键信息;对目标对话数据进行分词,获得目标对话关键词;根据答复关键信息和目标对话关键词,生成目标对话数据对应的目标答复内容。
可选地,第一生成模块808,进一步被配置为基于目标对话关键词,从答复关键信息中筛选出待删除答复关键信息,其中,待删除答复关键信息为目标对话关键词中未出现的答复关键信息;从初始答复内容中删除待删除答复关键信息,获得目标答复内容。
可选地,第一生成模块808,进一步被配置为基于目标对话关键词,从答复关键信息中筛选出待删除答复关键信息,其中,待删除答复关键信息为目标对话关键词中未出现的答复关键信息;根据待删除答复关键信息,构建生成提示信息;将初始答复内容和生成提示信息输入预训练语言模型,获得目标答复内容。
可选地,该装置还包括:训练模块,被配置为获取对话样本集,其中,对话样本集包括多个样本对话文本,样本对话文本携带样本文本标签;从样本对话文本中提取样本关键信息,其中,样本关键信息表征样本对话文本的对话情境;将多个样本对话文本和样本关键信息输入初始对话模型中,获得多个样本对话文本分别对应的预测答复结果;根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
可选地,样本对话文本包括正样本文本和负样本文本,预测答复结果包括正样本文本对应的第一预测答复结果和负样本文本对应的第二预测答复结果;训练模块,进一步被配置为根据第一预测答复结果和样本文本标签,计算第一损失值;根据第二预测答复结果和样本文本标签,计算第二损失值;根据第一损失值和第二损失值,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
可选地,多个样本对话文本包括正样本文本和负样本文本;训练模块,进一步被配置为获取多个样本文本,其中,样本文本携带样本生成指令;将多个样本文本和样本生成指令输入预训练语言模型中,获得多个样本文本分别对应的指令预测结果;根据样本生成指令和指令预测结果,对多个样本文本划分得到正样本文本和负样本文本。
可选地,训练模块,进一步被配置为获取样本构建提示信息;对指令预测结果进行语句划分,确定指令预测结果对应的至少一个语句标识;将样本构建提示信息、多个样本文本和至少一个语句标识输入幻觉标注模型,获得至少一个语句标识分别对应的幻觉标注结果;根据幻觉标注结果和样本生成指令,对多个样本文本划分得到正样本文本和负样本文本。
可选地,训练模块,进一步被配置为在幻觉标注结果和样本生成指令匹配的情况下,确定样本文本为正样本文本;在幻觉标注结果和样本生成指令不匹配的情况下,确定样本文本为负样本文本。
应用本说明书实施例的方案,首先,通过从目标对话数据中提取对话关键信息,在目标对话模型处理之前进行了要点提炼和场景归纳,使得目标对话模型可以直观感知到目标对话数据中的关键信息,大大缓解了初始答复内容中的关键信息幻觉问题;其次,由于对目标对话模型训练的过程中,融入了样本生成指令,保证了目标对话模型的指令遵从性;此外,在获得初始答复内容之后,利用目标对话数据作为参考,生成目标答复内容,进一步保证了目标答复内容的事实准确性。
上述为本实施例的一种对话处理装置的示意性方案。需要说明的是,该对话处理装置的技术方案与上述的对话处理方法的技术方案属于同一构思,对话处理装置的技术方案未详细描述的细节内容,均可以参见上述对话处理方法的技术方案的描述。
与上述语音摘要提取方法实施例相对应,本说明书还提供了语音摘要提取装置实施例,图9示出了本说明书一个实施例提供的一种语音摘要提取装置的结构示意图。如图9所示,该装置包括:
第二获取模块902,被配置为获取目标对话语音;
第二提取模块904,被配置为从目标对话语音中提取对话关键信息,其中,对话关键信息表征目标对话语音的对话情境;
第二输入模块906,被配置为将对话关键信息和目标对话语音输入目标对话模型中,获得初始摘要文本,其中,目标对话模型基于对话样本集训练得到,对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;
第二生成模块908,被配置为根据目标对话语音和初始摘要文本,生成目标对话语音对应的目标摘要文本。
可选地,该装置还包括:接收模块,被配置为接收用户基于目标摘要文本发送的调整样本数据,并根据调整样本数据调整目标对话模型的模型参数。
应用本说明书实施例的方案,首先,通过从目标对话语音中提取对话关键信息,在目标对话模型处理之前进行了要点提炼和场景归纳,使得目标对话模型可以直观感知到目标对话语音中的关键信息,大大缓解了初始摘要文本中的关键信息幻觉问题;其次,由于对目标对话模型训练的过程中,融入了样本生成指令,保证了目标对话模型的指令遵从性;此外,在获得初始摘要文本之后,利用目标对话语音作为参考,生成目标摘要文本,进一步保证了目标摘要文本的事实准确性。
上述为本实施例的一种语音摘要提取装置的示意性方案。需要说明的是,该语音摘要提取装置的技术方案与上述的语音摘要提取方法的技术方案属于同一构思,语音摘要提取装置的技术方案未详细描述的细节内容,均可以参见上述语音摘要提取方法的技术方案的描述。
与上述目标对话模型训练方法实施例相对应,本说明书还提供了目标对话模型训练装置实施例,图10示出了本说明书一个实施例提供的一种目标对话模型训练装置的结构示意图。如图10所示,该装置应用于云侧设备,包括:
第三获取模块1002,被配置为获取对话样本集,其中,对话样本集包括多个样本对话文本,样本对话文本携带样本文本标签;
第三提取模块1004,被配置为从样本对话文本中提取样本关键信息,其中,样本关键信息表征样本对话文本的对话情境;
第三输入模块1006,被配置为将多个样本对话文本和样本关键信息输入初始对话模型中,获得多个样本对话文本分别对应的预测答复结果;
调整模块1008,被配置为根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型。
应用本说明书实施例的方案,根据预测答复结果和样本文本标签,调整初始对话模型的模型参数,获得完成训练的目标对话模型,通过不断对初始对话模型的模型参数进行调整,能使最终得到的目标对话模型更加精准。
上述为本实施例的一种目标对话模型训练装置的示意性方案。需要说明的是,该目标对话模型训练装置的技术方案与上述的目标对话模型训练方法的技术方案属于同一构思,目标对话模型训练装置的技术方案未详细描述的细节内容,均可以参见上述目标对话模型训练方法的技术方案的描述。
图11示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接,数据库1150用于保存数据。
计算设备1100还包括接入设备1140,接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Card))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图11所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
其中,处理器1120用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述对话处理方法或者语音摘要提取方法或者目标对话模型训练方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的对话处理方法、语音摘要提取方法以及目标对话模型训练方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述对话处理方法或者语音摘要提取方法或者目标对话模型训练方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述对话处理方法或者语音摘要提取方法或者目标对话模型训练方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的对话处理方法、语音摘要提取方法以及目标对话模型训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述对话处理方法或者语音摘要提取方法或者目标对话模型训练方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述对话处理方法或者语音摘要提取方法或者目标对话模型训练方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的对话处理方法、语音摘要提取方法以及目标对话模型训练方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述对话处理方法或者语音摘要提取方法或者目标对话模型训练方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地区,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (15)
1.一种对话处理方法,包括:
获取目标对话数据;
从所述目标对话数据中提取对话关键信息,其中,所述对话关键信息表征所述目标对话数据的对话情境;
将所述对话关键信息和所述目标对话数据输入目标对话模型中,获得初始答复内容,其中,所述目标对话模型基于对话样本集训练得到,所述对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;
根据所述目标对话数据和所述初始答复内容,生成所述目标对话数据对应的目标答复内容。
2.根据权利要求1所述的方法,所述从所述目标对话数据中提取对话关键信息,包括:
获取情境提示信息,其中,所述情境提示信息包括场景提示信息、角色提示信息中的至少一种;
将所述情境提示信息和所述目标对话数据输入预训练语言模型,获得对话关键信息。
3.根据权利要求1所述的方法,所述根据所述目标对话数据和所述初始答复内容,生成所述目标对话数据对应的目标答复内容,包括:
从所述初始答复内容中提取答复关键信息;
对所述目标对话数据进行分词,获得目标对话关键词;
根据所述答复关键信息和所述目标对话关键词,生成所述目标对话数据对应的目标答复内容。
4.根据权利要求3所述的方法,所述根据所述答复关键信息和所述目标对话关键词,生成所述目标对话数据对应的目标答复内容,包括:
基于所述目标对话关键词,从所述答复关键信息中筛选出待删除答复关键信息,其中,所述待删除答复关键信息为所述目标对话关键词中未出现的答复关键信息;
从所述初始答复内容中删除所述待删除答复关键信息,获得目标答复内容。
5.根据权利要求3所述的方法,所述根据所述答复关键信息和所述目标对话关键词,生成所述目标对话数据对应的目标答复内容,包括:
基于所述目标对话关键词,从所述答复关键信息中筛选出待删除答复关键信息,其中,所述待删除答复关键信息为所述目标对话关键词中未出现的答复关键信息;
根据所述待删除答复关键信息,构建生成提示信息;
将所述初始答复内容和所述生成提示信息输入预训练语言模型,获得目标答复内容。
6.根据权利要求1所述的方法,所述将所述对话关键信息和所述目标对话数据输入目标对话模型中,获得初始答复内容之前,还包括:
获取对话样本集,其中,所述对话样本集包括多个样本对话文本,所述样本对话文本携带样本文本标签;
从所述样本对话文本中提取样本关键信息,其中,所述样本关键信息表征所述样本对话文本的对话情境;
将所述多个样本对话文本和所述样本关键信息输入初始对话模型中,获得所述多个样本对话文本分别对应的预测答复结果;
根据所述预测答复结果和所述样本文本标签,调整所述初始对话模型的模型参数,获得完成训练的目标对话模型。
7.根据权利要求6所述的方法,所述样本对话文本包括正样本文本和负样本文本,所述预测答复结果包括所述正样本文本对应的第一预测答复结果和所述负样本文本对应的第二预测答复结果;
所述根据所述预测答复结果和所述样本文本标签,调整所述初始对话模型的模型参数,获得完成训练的目标对话模型,包括:
根据所述第一预测答复结果和所述样本文本标签,计算第一损失值;
根据所述第二预测答复结果和所述样本文本标签,计算第二损失值;
根据所述第一损失值和所述第二损失值,调整所述初始对话模型的模型参数,获得完成训练的目标对话模型。
8.根据权利要求6所述的方法,所述多个样本对话文本包括正样本文本和负样本文本;
所述获取对话样本集,包括:
获取多个样本文本,其中,所述样本文本携带样本生成指令;
将所述多个样本文本和所述样本生成指令输入预训练语言模型中,获得所述多个样本文本分别对应的指令预测结果;
根据所述样本生成指令和所述指令预测结果,对所述多个样本文本划分得到所述正样本文本和所述负样本文本。
9.根据权利要求8所述的方法,所述根据所述样本生成指令和所述指令预测结果,对所述多个样本文本划分得到所述正样本文本和所述负样本文本,包括:
获取样本构建提示信息;
对所述指令预测结果进行语句划分,确定所述指令预测结果对应的至少一个语句标识;
将所述样本构建提示信息、所述多个样本文本和所述至少一个语句标识输入幻觉标注模型,获得所述至少一个语句标识分别对应的幻觉标注结果;
根据所述幻觉标注结果和所述样本生成指令,对所述多个样本文本划分得到所述正样本文本和所述负样本文本。
10.根据权利要求9所述的方法,所述根据所述幻觉标注结果和所述样本生成指令,对所述多个样本文本划分得到所述正样本文本和所述负样本文本,包括:
在所述幻觉标注结果和所述样本生成指令匹配的情况下,确定所述样本文本为正样本文本;
在所述幻觉标注结果和所述样本生成指令不匹配的情况下,确定所述样本文本为负样本文本。
11.一种语音摘要提取方法,包括:
获取目标对话语音;
从所述目标对话语音中提取对话关键信息,其中,所述对话关键信息表征所述目标对话语音的对话情境;
将所述对话关键信息和所述目标对话语音输入目标对话模型中,获得初始摘要文本,其中,所述目标对话模型基于对话样本集训练得到,所述对话样本集基于多个样本文本的样本文本标签、样本生成指令和指令预测结果构建得到;
根据所述目标对话语音和所述初始摘要文本,生成所述目标对话语音对应的目标摘要文本。
12.根据权利要求11所述的方法,所述根据所述目标对话语音和所述初始摘要文本,生成所述目标对话语音对应的目标摘要文本之后,还包括:
接收用户基于所述目标摘要文本发送的调整样本数据,并根据所述调整样本数据调整目标对话模型的模型参数。
13.一种目标对话模型训练方法,应用于云侧设备,包括:
获取对话样本集,其中,所述对话样本集包括多个样本对话文本,所述样本对话文本携带样本文本标签;
从所述样本对话文本中提取样本关键信息,其中,所述样本关键信息表征所述样本对话文本的对话情境;
将所述多个样本对话文本和所述样本关键信息输入初始对话模型中,获得所述多个样本对话文本分别对应的预测答复结果;
根据所述预测答复结果和所述样本文本标签,调整所述初始对话模型的模型参数,获得完成训练的目标对话模型。
14.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10任意一项或者权利要求11至12任意一项或者权利要求13所述方法的步骤。
15.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10任意一项或者权利要求11至12任意一项或者权利要求13所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311631676.6A CN117332072B (zh) | 2023-12-01 | 2023-12-01 | 对话处理、语音摘要提取以及目标对话模型训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311631676.6A CN117332072B (zh) | 2023-12-01 | 2023-12-01 | 对话处理、语音摘要提取以及目标对话模型训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117332072A true CN117332072A (zh) | 2024-01-02 |
CN117332072B CN117332072B (zh) | 2024-02-13 |
Family
ID=89293891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311631676.6A Active CN117332072B (zh) | 2023-12-01 | 2023-12-01 | 对话处理、语音摘要提取以及目标对话模型训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117332072B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117540012A (zh) * | 2024-01-04 | 2024-02-09 | 阿里云计算有限公司 | 文本生成方法以及系统 |
CN117633196A (zh) * | 2024-01-24 | 2024-03-01 | 浙江阿里巴巴机器人有限公司 | 问答模型构建方法及项目问答方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018028752A (ja) * | 2016-08-16 | 2018-02-22 | 国立研究開発法人情報通信研究機構 | 対話システム及びそのためのコンピュータプログラム |
CN112365892A (zh) * | 2020-11-10 | 2021-02-12 | 杭州大搜车汽车服务有限公司 | 人机对话方法、装置、电子装置及存储介质 |
CN112883180A (zh) * | 2021-02-24 | 2021-06-01 | 挂号网(杭州)科技有限公司 | 模型训练方法、装置、电子设备和存储介质 |
WO2021232725A1 (zh) * | 2020-05-22 | 2021-11-25 | 百度在线网络技术(北京)有限公司 | 基于语音交互的信息核实方法、装置、设备和计算机存储介质 |
CN114077840A (zh) * | 2020-08-17 | 2022-02-22 | 大众问问(北京)信息科技有限公司 | 语音对话系统的优化方法、装置、设备及存储介质 |
CN115062134A (zh) * | 2022-08-17 | 2022-09-16 | 腾讯科技(深圳)有限公司 | 知识问答模型训练及知识问答方法、装置和计算机设备 |
CN115525740A (zh) * | 2021-06-24 | 2022-12-27 | Tcl科技集团股份有限公司 | 对话应答语句的生成方法、装置、电子设备及存储介质 |
CN116050405A (zh) * | 2022-12-26 | 2023-05-02 | 阿里巴巴(中国)有限公司 | 文本处理、问答文本处理及文本处理模型训练方法 |
CN116665662A (zh) * | 2023-02-20 | 2023-08-29 | 阿里巴巴(中国)有限公司 | 人机对话方法及对话数据集生成方法 |
CN117033582A (zh) * | 2023-07-21 | 2023-11-10 | 北京百度网讯科技有限公司 | 对话模型的训练方法、装置、电子设备和存储介质 |
-
2023
- 2023-12-01 CN CN202311631676.6A patent/CN117332072B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018028752A (ja) * | 2016-08-16 | 2018-02-22 | 国立研究開発法人情報通信研究機構 | 対話システム及びそのためのコンピュータプログラム |
WO2021232725A1 (zh) * | 2020-05-22 | 2021-11-25 | 百度在线网络技术(北京)有限公司 | 基于语音交互的信息核实方法、装置、设备和计算机存储介质 |
CN114077840A (zh) * | 2020-08-17 | 2022-02-22 | 大众问问(北京)信息科技有限公司 | 语音对话系统的优化方法、装置、设备及存储介质 |
CN112365892A (zh) * | 2020-11-10 | 2021-02-12 | 杭州大搜车汽车服务有限公司 | 人机对话方法、装置、电子装置及存储介质 |
CN112883180A (zh) * | 2021-02-24 | 2021-06-01 | 挂号网(杭州)科技有限公司 | 模型训练方法、装置、电子设备和存储介质 |
CN115525740A (zh) * | 2021-06-24 | 2022-12-27 | Tcl科技集团股份有限公司 | 对话应答语句的生成方法、装置、电子设备及存储介质 |
CN115062134A (zh) * | 2022-08-17 | 2022-09-16 | 腾讯科技(深圳)有限公司 | 知识问答模型训练及知识问答方法、装置和计算机设备 |
CN116050405A (zh) * | 2022-12-26 | 2023-05-02 | 阿里巴巴(中国)有限公司 | 文本处理、问答文本处理及文本处理模型训练方法 |
CN116665662A (zh) * | 2023-02-20 | 2023-08-29 | 阿里巴巴(中国)有限公司 | 人机对话方法及对话数据集生成方法 |
CN117033582A (zh) * | 2023-07-21 | 2023-11-10 | 北京百度网讯科技有限公司 | 对话模型的训练方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
左明章;赵蓉;王志锋;李香勇;徐燕丽;: "基于论坛文本的互动话语分析模式构建与实践", 电化教育研究, no. 09, 31 August 2018 (2018-08-31) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117540012A (zh) * | 2024-01-04 | 2024-02-09 | 阿里云计算有限公司 | 文本生成方法以及系统 |
CN117540012B (zh) * | 2024-01-04 | 2024-04-30 | 阿里云计算有限公司 | 文本生成方法以及系统 |
CN117633196A (zh) * | 2024-01-24 | 2024-03-01 | 浙江阿里巴巴机器人有限公司 | 问答模型构建方法及项目问答方法 |
CN117633196B (zh) * | 2024-01-24 | 2024-04-30 | 浙江阿里巴巴机器人有限公司 | 问答模型构建方法及项目问答方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117332072B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109829039B (zh) | 智能聊天方法、装置、计算机设备及存储介质 | |
CN117332072B (zh) | 对话处理、语音摘要提取以及目标对话模型训练方法 | |
WO2022095380A1 (zh) | 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质 | |
CN111241237A (zh) | 一种基于运维业务的智能问答数据处理方法及装置 | |
CN111930914A (zh) | 问题生成方法和装置、电子设备以及计算机可读存储介质 | |
CN109857865B (zh) | 一种文本分类方法及系统 | |
CN113987147A (zh) | 样本处理方法及装置 | |
CN112417158A (zh) | 文本数据分类模型的训练方法、分类方法、装置和设备 | |
CN111666400A (zh) | 消息获取方法、装置、计算机设备及存储介质 | |
CN116975288A (zh) | 文本处理方法及文本处理模型训练方法 | |
CN116610781A (zh) | 任务模型训练方法以及装置 | |
CN116595154A (zh) | 任务处理方法以及自动问答方法 | |
CN117521675A (zh) | 基于大语言模型的信息处理方法、装置、设备及存储介质 | |
CN117271745A (zh) | 一种信息处理方法、装置及计算设备、存储介质 | |
CN117150338A (zh) | 任务处理、自动问答以及多媒体数据识别模型训练方法 | |
CN116881730A (zh) | 基于语境的聊天场景匹配系统、方法、设备及存储介质 | |
CN116415597A (zh) | 语音翻译、同声传译方法 | |
CN116303930A (zh) | 一种基于语义匹配与生成模型的会话智能生成方法 | |
CN115759001A (zh) | 语言模型训练方法、文本预测方法以及装置 | |
CN112749553B (zh) | 视频文件的文本信息处理方法、装置和服务器 | |
CN112632241A (zh) | 智能会话的方法、装置、设备和计算机可读介质 | |
KR101890704B1 (ko) | 음성 인식과 언어 모델링을 이용한 간편 메시지 출력장치 및 출력방법 | |
CN116913278B (zh) | 语音处理方法、装置、设备和存储介质 | |
CN117633540B (zh) | 样本数据构建方法及装置 | |
CN112256833B (zh) | 一种基于大数据和ai算法的手机问题智能问答方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |