CN117932043B - 对话风格迁移答复信息显示方法、装置、设备和可读介质 - Google Patents
对话风格迁移答复信息显示方法、装置、设备和可读介质 Download PDFInfo
- Publication number
- CN117932043B CN117932043B CN202410330812.6A CN202410330812A CN117932043B CN 117932043 B CN117932043 B CN 117932043B CN 202410330812 A CN202410330812 A CN 202410330812A CN 117932043 B CN117932043 B CN 117932043B
- Authority
- CN
- China
- Prior art keywords
- dialogue
- data
- style
- information
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013508 migration Methods 0.000 title claims abstract description 137
- 230000005012 migration Effects 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004140 cleaning Methods 0.000 claims abstract description 100
- 238000002372 labelling Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000005406 washing Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 230000014509 gene expression Effects 0.000 abstract description 11
- 239000010410 layer Substances 0.000 description 29
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000002699 waste material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002344 surface layer Substances 0.000 description 3
- 244000298697 Actinidia deliciosa Species 0.000 description 2
- 235000009436 Actinidia deliciosa Nutrition 0.000 description 2
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 2
- 235000005979 Citrus limon Nutrition 0.000 description 2
- 244000131522 Citrus pyriformis Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 235000016709 nutrition Nutrition 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010926 purge Methods 0.000 description 2
- 235000009434 Actinidia chinensis Nutrition 0.000 description 1
- 244000183685 Citrus aurantium Species 0.000 description 1
- 235000007716 Citrus aurantium Nutrition 0.000 description 1
- 235000005976 Citrus sinensis Nutrition 0.000 description 1
- 240000002319 Citrus sinensis Species 0.000 description 1
- ZZZCUOFIHGPKAK-UHFFFAOYSA-N D-erythro-ascorbic acid Natural products OCC1OC(=O)C(O)=C1O ZZZCUOFIHGPKAK-UHFFFAOYSA-N 0.000 description 1
- 229930003268 Vitamin C Natural products 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 235000019154 vitamin C Nutrition 0.000 description 1
- 239000011718 vitamin C Substances 0.000 description 1
- 235000020632 vitamin C rich food Nutrition 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本申请的实施例公开了对话风格迁移答复信息显示方法、装置、设备和可读介质。该方法的一具体实施方式包括:采集多模态人物对话数据集;对多模态人物对话数据集进行数据清洗处理;对清洗多模态人物对话数据进行内容标注处理;将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集;创建人物对话数据库;对人物对话数据库进行检索;确定待训练数据;对对话风格迁移模型进行训练;将目标需求信息输入至预设大语言模型;将答复信息输入至训练完成的对话风格迁移模型;将对话风格迁移答复信息发送至客户端,以供客户端显示对话风格迁移答复信息。该实施方式提高了显示的文本信息语义表达连贯性,提高了用户体验感。
Description
技术领域
本申请的实施例涉及计算机技术领域,具体涉及对话风格迁移答复信息显示方法、装置、设备和可读介质。
背景技术
随着人工智能,机器学习的深入发展,大语言模型的普及,人们对智能对话系统和自然语言生成的需求不断增加,传统的单一风格文本生成已经不能满足用户多样化的需求。对话风格迁移答复信息显示,是将文本信息转换成预设对话风格的文本信息的一项技术。目前,在将文本信息转换成预设对话风格的文本信息时,通常采用的方式为:直接根据预设规则的替换和改写的方式进行转换。
然而,当采用上述方式将文本信息转换成预设对话风格的文本信息时,经常会存在如下技术问题:
第一,直接根据预设规则的替换和改写的方式进行转换,只能进行表层的替换和改写,难以捕捉文本之间的深层语义关联,导致转换效果可能不够准确或自然。进而导致显示的文本信息语义表达连贯性较差,降低了用户体验感。
继续地,实践中,在采用技术方案来解决上述技术问题一的过程中,在对清洗多模态人物对话数据进行内容标注时,通常采用的方式为:直接采用预定义逻辑运算规则进行内容标注,当采用上述方式进行内容标注时进一步存在如下技术问题:
第二,预定义的逻辑运算规则通常是基于固定的语法和语义规则,直接采用预定义逻辑运算规则进行内容标注,无法很好地泛化到各种不同类型的对话文本数据。当清洗多模态人物对话数据中的对话文本数据的对话场景较复杂且需要对对话数据中的对话风格进行标注时,采用预定义的逻辑运算规则进行对话风格标注,可能会导致对话风格标注不准确,进而导致内容标注的准确性较差,需要重新对清洗多模态人物对话数据进行内容标注,造成了计算机算力资源的浪费。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本申请的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
本申请的一些实施例提出了对话风格迁移答复信息显示方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面,本申请的一些实施例提供了一种对话风格迁移答复信息显示方法,该方法包括:采集多模态人物对话数据集;对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集;对于上述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据;将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集;根据上述标注清洗多模态对话数据集,创建人物对话数据库;响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据上述第一索引风格标识与上述第二索引风格标识,对上述人物对话数据库进行检索,得到风格对话数据;将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据;将上述风格对话数据与上述普通对话数据确定为待训练数据;根据上述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型;响应于接收到客户端发送的目标需求信息,将上述目标需求信息输入至预设大语言模型,得到与上述目标需求信息对应的答复信息;将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息;将上述对话风格迁移答复信息发送至上述客户端,以供上述客户端在预设对话界面的预设位置显示上述对话风格迁移答复信息。
第二方面,本申请的一些实施例提供了一种对话风格迁移答复信息显示装置,装置包括:采集单元,被配置成采集多模态人物对话数据集;数据清洗处理单元,被配置成对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集;内容标注处理单元,被配置成对于上述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据;第一确定单元,被配置成将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集;创建单元,被配置成根据上述标注清洗多模态对话数据集,创建人物对话数据库;检索单元,被配置成响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据上述第一索引风格标识与上述第二索引风格标识,对上述人物对话数据库进行检索,得到风格对话数据;转换单元,被配置成将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据;第二确定单元,被配置成将上述风格对话数据与上述普通对话数据确定为待训练数据;训练单元,被配置成根据上述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型;第一输入单元,被配置成响应于接收到客户端发送的目标需求信息,将上述目标需求信息输入至预设大语言模型,得到与上述目标需求信息对应的答复信息;第二输入单元,被配置成将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息;发送单元,被配置成将上述对话风格迁移答复信息发送至上述客户端,以供上述客户端在预设对话界面的预设位置显示上述对话风格迁移答复信息。
第三方面,本申请的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面,本申请的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本申请的上述各个实施例具有如下有益效果:通过本申请的一些实施例的对话风格迁移答复信息显示方法,提高了文本信息语义表达的连贯性与用户体验感。具体来说,造成文本信息语义表达的连贯性较差与用户体验感较差的原因在于:直接根据预设规则的替换和改写的方式进行转换,只能进行表层的替换和改写,难以捕捉文本之间的深层语义关联,导致转换效果可能不够准确或自然。进而导致显示的文本信息语义表达连贯性较差,降低了用户体验感。基于此,本申请的一些实施例的对话风格迁移答复信息显示方法,首先,采集多模态人物对话数据集。由此,可以得到用于生成清洗多模态人物对话数据集的多模态人物对话数据集。然后,对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集。由此,可以对多模态人物对话数据集进行数据清洗。接着,对于上述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据。然后,将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集。由此,可以得到用于创建人物对话数据库的标注清洗多模态对话数据集。根据上述标注清洗多模态对话数据集,创建人物对话数据库。由此,可以创建用于生成风格对话数据的人物对话数据库。然后,响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据上述第一索引风格标识与上述第二索引风格标识,对上述人物对话数据库进行检索,得到风格对话数据。由此,可以得到用于生成待训练数据的风格对话数据。接着,将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据。由此,可以得到用于生成待训练数据的普通对话数据。然后,将上述风格对话数据与上述普通对话数据确定为待训练数据。由此,可以得到用于进行训练对话风格迁移模型的待训练数据。上述对话风格迁移模型可以为将文本信息转换成预设对话风格的文本信息的模型。接着,根据上述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型。由此,可以得到将文本信息转换成预设对话风格的文本信息训练完成的对话风格迁移模型。然后,响应于接收到客户端发送的目标需求信息,将上述目标需求信息输入至预设大语言模型,得到与上述目标需求信息对应的答复信息。由此,可以得到表征用于转换文本信息的目标需求信息。然后,将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息。由此,可以得到对话风格转换后的对话风格迁移答复信息。将上述对话风格迁移答复信息发送至上述客户端,以供上述客户端在预设对话界面的预设位置显示上述对话风格迁移答复信息。也因为是在将目标需求信息转换成预设对话风格的对话风格迁移答复信息过程中,采用了训练完成的对话风格迁移模型进行转换,对话风格迁移模型可以捕捉文本之间的深层语义关联,使得对话风格转换后的对话风格迁移答复信息的转换效果更加准确、自然。进而,使得客户端显示的对话风格迁移答复信息的语义表达更加连贯,提高了用户体验感。
附图说明
结合附图并参考以下具体实施方式,本申请各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
图1是根据本申请的对话风格迁移答复信息显示方法的一些实施例的流程图;
图2是根据本申请的对话风格迁移答复信息显示装置的一些实施例的结构示意图;
图3是适于用来实现本申请的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例,然而应当理解的是,本申请可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是,本申请的附图及实施例仅用于示例性作用,并非用于限制本申请的保护范围。
另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要注意,本申请中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本申请中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本申请实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的对话风格迁移答复信息显示方法的一些实施例的流程100。该对话风格迁移答复信息显示方法,包括以下步骤:
步骤101,采集多模态人物对话数据集。
在一些实施例中,对话风格迁移答复信息显示方法的执行主体(例如计算设备)可以通过调用预设API接口从网上公开并允许下载的信息发布渠道下载多模态人物对话数据集。其中,上述预设API接口可以为用于下载多模态人物对话数据集的应用程序编程接口(英语:Application Programming Interface,简称:API)。上述信息发布渠道可以为预设网站。上述多模态人物对话数据集可以表示媒体作品中的人物对话资料。上述多模态人物对话数据集中的多模态人物对话数据可以包括人物对话文本数据、至少一项图像数据与至少一项音频数据。上述媒体作品可以包括但不限于以下至少一项:小说、电视剧、电影。上述多模态人物对话数据对应有类型标签。上述类型标签可以表征人物对话数据的来源。例如,上述类型标签可以包括但不限于以下中的一项:小说类型、电视剧类型、电影类型。上述执行主体可以为服务器。
步骤102,对多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集。
在一些实施例中,上述执行主体可以对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集。
在一些实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集:
第一步,对于上述多模态人物对话数据集中的每个多模态人物对话数据,对上述多模态人物对话数据进行预设标记去除处理,得到与上述多模态人物对话数据对应的初始目标多模态人物对话数据。实践中,上述执行主体可以通过正则表达式技术将上述多模态人物对话数据中的预设标记去除。然后,上述执行主体可以将去除预设标记后的多模态人物对话数据确定为初始目标多模态人物对话数据。其中,上述预设标记可以包括但不限于以下中的至少一项:HTML标签、表情符号、网络链接。
第二步,将所得到的各个初始目标多模态人物对话数据确定为初始目标多模态人物对话数据集。
第三步,对于上述初始目标多模态人物对话数据集中的每个初始目标多模态人物对话数据,对上述初始目标多模态人物对话数据执行错字修正处理,得到与上述初始目标多模态人物对话数据对应的目标多模态人物对话数据。实践中,首先,上述执行主体可以通过错别字模型对上述初始目标多模态人物对话数据进行错别字识别,得到上述初始目标多模态人物对话数据中存在的各个错别字,然后上述错别字模型可以对识别出的各个错别字进行修正。之后,上述执行主体可以将错别字修正后的初始目标多模态人物对话数据确定为目标多模态人物对话数据。
第四步,将所得到的各个目标多模态人物对话数据确定为清洗多模态人物对话数据集。
步骤103,对于清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据。
在一些实施例中,上述执行主体可以对于上述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据。
在一些实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据:
第一步,将上述清洗多模态人物对话数据的数据来源信息确定为目标数据来源标识。其中,上述数据来源信息可以为但不限于以下中的一项:小说、电影、电视剧。
第二步,响应于确定上述多模态人物对话数据包括人物对话文本数据,对上述人物对话文本数据进行说话者身份识别,得到身份识别信息。其中,上述身份识别信息包括各个身份标识信息与各个标识位置信息,上述各个身份标识信息中的一个身份标识信息与上述各个标识位置信息中的一个标识位置信息对应。实践中,上述执行主体可以通过命名实体识别模型对上述人物对话文本数据进行说话者身份识别,得到身份识别信息。其中,上述身份标识信息可以为身份标识。例如,上述身份识别信息可以为“小红”。上述标识位置信息可以表示上述身份标识所在人物对话文本数据中的位置。上述位置可以为一个词在一个文本数据中的位置。例如,上述文本数据可以为“今天天气真好,阳光明媚。”词“阳光”的起始字符索引为6,结束字符索引为8。因此,可以用[6,8]表示词“阳光”在文本数据“今天天气真好,阳光明媚。”中的位置。
第三步,对于上述身份识别信息包括的各个身份标识信息中的每个身份识别信息,执行以下身份标注处理:
第一子步骤,将对应上述身份识别信息的标识位置信息确定为目标标识位置信息。
第二子步骤,根据上述目标标识位置信息,将上述身份识别信息标注在上述人物对话文本数据中,以对上述人物对话文本数据进行更新。实践中,上述执行主体可以将上述目标标识位置信息在上述人物对话文本数据中对应的位置确定为目标位置。之后,上述执行主体可以将上述身份识别信息插入至预设标记符号中,得到待插入数据。接着,上述执行主体可以将上述待插入数据插入至上述人物对话文本数据中目标位置之后,以对人物对话文本数据进行更新。例如,上述人物对话文本数据可以为“A:你好,最近过得怎么样?B:还好。”。上述目标标识位置信息可以为“[0,0]”。上述身份识别信息可以为“说话者A”。上述预设标记符号可以为“[]”。上述待插入数据可以为“[说话者A]”。将身份标识标记在上述人物对话数据中后的数据可以为“A[说话者A]:你好,最近过得怎么样?B:还好。”
第四步,根据各个身份标识信息,对更新后的人物对话文本数据进行分组处理,得到对应上述各个身份标识信息的各个人物对话文本数据组。其中,上述更新后的人物对话文本数据可以包括各个对话文本句子。上述各个对话文本句子中的每个对话文本句子可以为一整个句子。例如,上述更新后的人物对话文本数据可以“A[说话者A]:你好,最近过得怎么样?B[说话者B]:还好。”上述各个对话文本句子中的对话文本句子可以为“B[说话者B]:还好。”实践中,上述执行主体可以将对应同一个说话者的各个对话文本句子划分为一组。
第五步,对于上述各个人物对话文本数据组中的每个人物对话文本数据组执行以下对话风格标注处理:
第一子步骤,将上述人物对话文本数据组输入至对话风格预测模型,得到与上述人物对话文本数据组对应的对话风格预测信息。其中,上述对话风格预测模型可以为基于朴素贝叶斯模型(Naive Bayesian Model,NBM)的语言模型。上述对话风格预测信息可以表示说话风格。例如,上述对话风格预测信息可以为“非正式、幽默”。
第二子步骤,将与上述人物对话文本数据组对应的对话风格标记为上述对话风格预测信息。
第六步,将标记对话风格的各个人物对话文本数据组确定为目标对话数据。
第七步,响应于确定上述多模态人物对话数据包括至少一项图像数据,将上述至少一项图像数据确定为目标图像数据集。其中,上述至少一项图像数据可以为与上述人物对话文本数据对应的至少一个图像。
第八步,响应于确定上述多模态人物对话数据包括至少一项音频数据,将上述至少一项音频数据确定为目标音频数据集。其中,上述至少一项音频数据可以为与上述任务对话文本数据对应的至少一个音频。
第九步,将上述目标对话数据、上述目标图像数据集与上述目标音频数据集确定为初始标注清洗多模态对话数据。
第十步,将对应上述初始标注清洗多模态对话数据的数据来源标记为上述目标数据来源标识。
第十一步,将标记数据来源的初始标注清洗多模态对话数据确定为标注清洗多模态对话数据。
上述技术方案及其相关内容作为本申请的实施例的一个发明点,解决了背景技术提及的技术问题二“预定义的逻辑运算规则通常是基于固定的语法和语义规则,直接采用预定义逻辑运算规则进行内容标注,无法很好地泛化到各种不同类型的对话文本数据。当清洗多模态人物对话数据中的对话文本数据的对话场景较复杂且需要对对话数据中的对话风格进行标注时,采用预定义的逻辑运算规则进行对话风格标注,可能会导致对话风格标注不准确,进而导致内容标注的准确性较差,需要重新对清洗多模态人物对话数据进行内容标注,造成了计算机算力资源的浪费”。导致计算机算力资源浪费的因素往往如下:预定义的逻辑运算规则通常是基于固定的语法和语义规则,直接采用预定义逻辑运算规则进行内容标注,无法很好地泛化到各种不同类型的对话文本数据。当清洗多模态人物对话数据中的对话文本数据的对话场景较复杂且需要对对话数据中的对话风格进行标注时,采用预定义的逻辑运算规则进行对话风格标注,可能会导致对话风格标注不准确,进而导致内容标注的准确性较差,需要重新对清洗多模态人物对话数据进行内容标注,造成了计算机算力资源的浪费。如果解决了上述因素,就能达到减少计算机算力资源浪费的效果。为了达到这一效果,首先,第一步,将上述清洗多模态人物对话数据的数据来源信息确定为目标数据来源标识。由此,可以得到用于确定初始标注清洗多模态对话数据的数据来源标识的目标数据来源标识。然后,响应于确定上述多模态人物对话数据包括人物对话文本数据,对上述人物对话文本数据进行说话者身份识别,得到身份识别信息。由此,可以得到用于身份标注处理的身份识别信息。接着,对于上述身份识别信息包括的各个身份标识信息中的每个身份识别信息,执行以下身份标注处理:第一子步骤,将对应上述身份识别信息的标识位置信息确定为目标标识位置信息。第二子步骤,根据上述目标标识位置信息,将上述身份识别信息标注在上述人物对话文本数据中,以对上述人物对话文本数据进行更新。由此,可以将身份标识信息标注在上述人物对话文本数据中。然后,根据各个身份标识信息,对更新后的人物对话文本数据进行分组处理,得到对应上述各个身份标识信息的各个人物对话文本数据组。之后,对于上述各个人物对话文本数据组中的每个人物对话文本数据组执行以下对话风格标注处理:第一子步骤,将上述人物对话文本数据组输入至对话风格预测模型,得到与上述人物对话文本数据组对应的对话风格预测信息。由此,可以通过对话风格预测模型对人物对话文本数据组的对话风格进行预测,得到用于标注上述人物对话文本数据组的对话风格的对话风格预测信息。通过对话风格模型生成用于标注上述人物对话文本数据组的对话风格的对话风格预测信息,可以泛化到各种不同类型的对话文本数据,能够较为准确地预测人物对话文本数据组的对话风格。第二子步骤,将与上述人物对话文本数据组对应的对话风格标记为上述对话风格预测信息。接着,将标记对话风格的各个人物对话文本数据组确定为目标对话数据。由此,可以得到用于生成初始标注清洗多模态对话数据的目标对话数据。然后,响应于确定上述多模态人物对话数据包括至少一项图像数据,将上述至少一项图像数据确定为目标图像数据集。由此,可以得到用于生成初始标注清洗多模态对话数据的目标图像数据集。之后,响应于确定上述多模态人物对话数据包括至少一项音频数据,将上述至少一项音频数据确定为目标音频数据集。由此,可以得到用于生成初始标注清洗多模态对话数据的目标音频数据集。然后,将上述目标对话数据、上述目标图像数据集与上述目标音频数据集确定为初始标注清洗多模态对话数据。由此,可以得到用于生成标注清洗多模态对话数据的标注清洗多模态对话数据。接着,将对应上述初始标注清洗多模态对话数据的数据来源标记为上述目标数据来源标识。由此,可以标记初始标注清洗多模态对话数据的数据来源。之后,将标记数据来源的初始标注清洗多模态对话数据确定为标注清洗多模态对话数据。也因为在对人物对话文本数据组进行对话风格标注处理时采用了对话风格预测模型对人物对话文本数据组的对话风格进行了预测。通过对话风格模型生成用于标注上述人物对话文本数据组的对话风格的对话风格预测信息,可以泛化到各种不同类型的对话文本数据,能够较为准确地预测人物对话文本数据组的对话风格,使得对话风格标注更加准确,进而提高了内容标注的准确性,减少了重新进行内容标注的标注次数,减少了计算机算力资源的浪费。
步骤104,将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集。
在一些实施例中,上述执行主体可以将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集。
步骤105,根据标注清洗多模态对话数据集,创建人物对话数据库。
在一些实施例中,上述执行主体可以根据上述标注清洗多模态对话数据集,创建人物对话数据库。
在一些实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤根据上述标注清洗多模态对话数据集,创建人物对话数据库:
第一步,根据预设需求信息,创建初始数据库。其中,上述预设需求信息可以表示创建数据库的具体要求。上述预设需求信息可以包括但不限于以下至少一项:数据库使用场景信息、数据库结构信息。上述数据库使用场景信息可以表示在预设场景下数据库被用于存储和管理数据的情况。上述数据库结构信息可以表示要创建的数据库的结构。实践中,上述执行主体可以通过数据库管理系统,创建与上述预设需求信息对应的数据库作为初始数据库。
第二步,将上述标注清洗多模态对话数据集插入至上述初始数据库,以对上述初始数据库进行更新。实践中,上述执行主体可以执行预设数据插入信息对应的插入任务将上述标注清洗多模态对话数据集插入至上述初始数据库。其中,上述预设数据插入信息可以为预设代码。上述预设代码可以为将上述标注清洗多模态对话数据集插入至上述初始数据库的编程语言代码。
第三步,将更新后的初始数据库确定为人物对话数据库。
步骤106,响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据第一索引风格标识与第二索引风格标识,对人物对话数据库进行检索,得到风格对话数据。
在一些实施例中,上述执行主体可以响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据上述第一索引风格标识与上述第二索引风格标识,对上述人物对话数据库进行检索,得到风格对话数据。实践中,上述执行主体可以在上述人物对话数据库中查询上述第一索引风格标识下第二索引风格标识对应的数据作为风格对话数据。上述第一索引风格标识可以表示说话风格的标识。例如,上述第一索引风格标识可以为但不限于以下中的一项:温柔平顺、从容和平、自我嘲讽、幽默风趣。上述第二索引风格标识可以为第一索引风格标识下的人物说话风格的标识。例如,第二索引风格标识可以为自我嘲讽下的人物A说话风格。上述A可以为人物名字。
在一些实施例的一些可选的实现方式中,上述第一索引风格标识与上述第二索引风格标识通过以下步骤生成的:
第一步,响应于检测到作用于上述预设对话界面中对话风格选择控件的风格选择操作,显示与上述风格选择操作对应的各个风格选择控件。其中,上述预设对话界面可以为客户端提供营养咨询服务的界面交互页面。上述对话风格选择控件可以为用于显示各个风格选择控件的交互元素。上述各个风格选择控件中的风格选择控件可以为用于选择对话风格的交互元素。例如,上述对话风格可以为但不限于以下中的一项:温柔平顺型、从容和平型、自我嘲讽型、幽默风趣型。
第二步,响应于检测到作用于上述各个风格选择控件中一个风格选择控件的选择操作,显示与上述风格选择控件对应的各个人物对话风格选择控件,以及将对应上述风格选择控件的风格标识确定为第一索引风格标识。其中,上述各个人物对话风格选择控件中的人物对话风格选择控件可以为用于选择人物说话风格的交互元素。例如,上述人物说话风格可以为但不限于以下中的一项:人物A说话风格、人物B说话风格、人物C说话风格。上述B和上述C可以为人物名字。
第三步,响应于检测到作用于上述各个人物对话风格选择控件中一个人物对话风格选择控件的选择操作,将对应上述人物对话风格选择控件的人物对话风格标识确定为第二索引风格标识。
步骤107,将风格对话数据转换成与风格对话数据对应的普通对话数据。
在一些实施例中,上述执行主体可以将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据。
在一些实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据:
第一步,对上述风格对话数据进行分词处理,得到与上述风格对话数据对应的词集。其中,上述风格对话数据包括各个文本句子。实践中,上述执行主体可以通过分词处理技术将上述风格对话数据转换成对应的词集。
第二步,将上述词集中满足预设删除条件的各个词确定为各个待删除词。其中,上述预设删除条件可以为与预设口头语和俚语词汇表中至少一个词相同。上述预设口头语和俚语词汇表可以为存储各个预设口头语和各个俚语词的列表。
第三步,将上述各个待删除词从上述风格对话数据中删除,以对上述风格对话数据进行更新。
第四步,将更新后的风格对话数据所包括的各个文本句子确定为各个对话句子。
第五步,对于上述各个对话句子中的每个对话句子,对上述对话句子进行结构简化处理,得到简化对话句子。实践中,上述执行主体可以通过句子结构简化处理技术对上述对话句子进行结构简化处理,得到简化对话句子。
第六步,将所得到的各个简化对话句子确定为普通对话数据。
步骤108,将风格对话数据与普通对话数据确定为待训练数据。
在一些实施例中,上述执行主体可以将上述风格对话数据与上述普通对话数据确定为待训练数据。
步骤109,根据待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型。
在一些实施例中,上述执行主体可以根据上述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型。其中,上述对话风格迁移模型可以为基于注意力机制的Transformer模型。
步骤110,响应于接收到客户端发送的目标需求信息,将目标需求信息输入至预设大语言模型,得到与目标需求信息对应的答复信息。
在一些实施例中,上述执行主体可以响应于接收到客户端发送的目标需求信息,将上述目标需求信息输入至预设大语言模型,得到与上述目标需求信息对应的答复信息。其中,上述目标需求信息可以为用户在客户端输入的文本问题。上述预设大语言模型可以为用于回答用户提出的营养和健康相关问题的大语言模型。
步骤111,将答复信息输入至训练完成的对话风格迁移模型,得到与答复信息对应的对话风格迁移答复信息。
在一些实施例中,上述执行主体可以将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息。其中,上述对话风格迁移答复信息可以为将大语言模型的输出信息转换成预设对话风格后的信息。上述大语言模型的输出信息可以为文本信息。例如,上述大语言模型的输出信息可以为“建议增加富含维生素C的食物,如橙子、柠檬、猕猴桃等,以增强免疫力”。上述对话风格迁移答复信息可以为“嘿,听我说啊,我跟你讲,要想身体倍棒、免疫力杠杠的,就得在吃上多下功夫!我这有个好建议,那就是多吃富含维生素C的食物。比如说那个酸甜可口的大橙子,还有那个挤出汁来贼清爽的柠檬,再有就是那个毛茸茸外表里头藏着满满维C炸弹的猕猴桃!这些水果都是咱们增强抵抗力的小帮手,可别忘了每天吃一些哦”。上述对话风格迁移答复信息对应幽默风趣对话风格。
在一些实施例的一些可选的实现方式中,上述执行主体可以通过以下步骤将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息:
第一步,将上述答复信息输入至上述训练完成的对话风格迁移模型的输入层,得到与上述答复信息对应的起始转换信息,上述对话风格迁移模型包括:上述输入层、起始信息映射层、第一特征信息捕获层、第二特征信息捕获层、前馈神经网络层、风格转换层、输出层。其中,上述起始转换信息可以为与上述答复信息对应的单词序列。
第二步,将上述起始转换信息输入至上述起始信息映射层,得到与上述起始转换信息对应的特征映射信息。其中,上述起始信息映射层可以为将上述单词序列中的词映射到低维度向量空间的嵌入层(Embedding Layer)。上述特征映射信息可以为与上述起始转换信息对应的词嵌入向量集。
第三步,将上述特征映射信息输入至上述第一特征信息捕获层,得到与上述特征映射信息对应的词序特征提取信息。其中,上述第一特征信息捕获层可以为捕捉单词序列中各个词的位置信息的位置编码层。上述词序特征提取信息可以为上述单词序列中各个词的位置信息对应的位置向量集。
第四步,将上述词序特征提取信息输入至上述第二特征信息捕获层,得到与上述词序特征提取信息对应的上下文语义特征提取信息。其中,上述第二特征信息捕获层可以为用于捕捉上述单词序列中各个单词的关联性的多头自注意力层(Multi-head Self-Attention Layer)。上述上下文语义特征提取信息可以为表示上下文关系的向量。
第五步,将上述上下文语义特征提取信息输入至上述前馈神经网络层,得到与上述上下文语义特征提取信息对应的强化语义特征提取信息。其中,上述强化语义特征提取信息可以为经过前馈神经网络层处理后得到的表征上下文关系的向量。上述前馈神经网络层可以为对上述上下文语义特征提取信息进行非线性变换的神经网络层。
第六步,将上述强化语义特征提取信息输入至上述风格转换层,得到对应上述强化语义特征提取信息的初始风格迁移答复信息。其中上述风格转换层可以为将普通对话的语义表示转化为目标对话风格的语义表示的编码器层。上述初始风格迁移答复信息可以为与上述答复信息对应的经过风格转换后的向量。上述语义表示可以为向量。上述目标对话风格可以为上述对话风格迁移模型通过训练学习到的对话风格。
第七步,将上述初始风格迁移答复信息输入至上述输出层,得到与上述初始风格迁移答复信息对应的对话风格迁移答复信息。上述对话风格迁移答复信息可以为表征将答复信息转换成预设风格后的文本序列。上述输出层可以为将上述初始风格迁移答复信息转换成文本序列的神经网络层。
步骤112,将对话风格迁移答复信息发送至客户端,以供客户端在预设对话界面的预设位置显示对话风格迁移答复信息。
在一些实施例中,上述执行主体可以将对话风格迁移答复信息发送至客户端,以供客户端在预设对话界面的预设位置显示对话风格迁移答复信息。其中,上述预设位置可以为上述预设对话界面中预设答复框对应的位置。上述预设答复框可以为用于显示信息的文本框。
本申请的上述各个实施例具有如下有益效果:通过本申请的一些实施例的对话风格迁移答复信息显示方法,提高了文本信息语义表达的连贯性与用户体验感。具体来说,造成文本信息语义表达的连贯性较差与用户体验感较差的原因在于:直接根据预设规则的替换和改写的方式进行转换,只能进行表层的替换和改写,难以捕捉文本之间的深层语义关联,导致转换效果可能不够准确或自然。进而导致显示的文本信息语义表达连贯性较差,降低了用户体验感。基于此,本申请的一些实施例的对话风格迁移答复信息显示方法,首先,采集多模态人物对话数据集。由此,可以得到用于生成清洗多模态人物对话数据集的多模态人物对话数据集。然后,对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集。由此,可以对多模态人物对话数据集进行数据清洗。接着,对于上述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据。然后,将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集。由此,可以得到用于创建人物对话数据库的标注清洗多模态对话数据集。根据上述标注清洗多模态对话数据集,创建人物对话数据库。由此,可以创建用于生成风格对话数据的人物对话数据库。然后,响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据上述第一索引风格标识与上述第二索引风格标识,对上述人物对话数据库进行检索,得到风格对话数据。由此,可以得到用于生成待训练数据的风格对话数据。接着,将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据。由此,可以得到用于生成待训练数据的普通对话数据。然后,将上述风格对话数据与上述普通对话数据确定为待训练数据。由此,可以得到用于进行训练对话风格迁移模型的待训练数据。上述对话风格迁移模型可以为将文本信息转换成预设对话风格的文本信息的模型。接着,根据上述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型。由此,可以得到将文本信息转换成预设对话风格的文本信息训练完成的对话风格迁移模型。然后,响应于接收到客户端发送的目标需求信息,将上述目标需求信息输入至预设大语言模型,得到与上述目标需求信息对应的答复信息。由此,可以得到表征用于转换文本信息的目标需求信息。然后,将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息。由此,可以得到对话风格转换后的对话风格迁移答复信息。将上述对话风格迁移答复信息发送至上述客户端,以供上述客户端在预设对话界面的预设位置显示上述对话风格迁移答复信息。也因为是在将目标需求信息转换成预设对话风格的对话风格迁移答复信息过程中,采用了训练完成的对话风格迁移模型进行转换,对话风格迁移模型可以捕捉文本之间的深层语义关联,使得对话风格转换后的对话风格迁移答复信息的转换效果更加准确、自然。进而,使得客户端显示的对话风格迁移答复信息的语义表达更加连贯,提高了用户体验感。
进一步参考图2,作为对各图所示方法的实现,本申请提供了一种对话风格迁移答复信息显示装置的一些实施例,这些装置实施例与图1所示的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图2所示,一些实施例的对话风格迁移答复信息显示装置200包括:采集单元201、数据清洗处理单元202、内容标注处理单元203、第一确定单元204、创建单元205、检索单元206、转换单元207、第二确定单元208、训练单元209、第一输入单元210、第二输入单元211和发送单元212。其中,采集单元201被配置成采集多模态人物对话数据集;数据清洗处理单元202被配置成对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集;内容标注处理单元203被配置成对于上述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据;第一确定单元204被配置成将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集;创建单元205被配置成根据上述标注清洗多模态对话数据集,创建人物对话数据库;检索单元206被配置成响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据上述第一索引风格标识与上述第二索引风格标识,对上述人物对话数据库进行检索,得到风格对话数据;转换单元207被配置成将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据;第二确定单元208被配置成将上述风格对话数据与上述普通对话数据确定为待训练数据;训练单元209被配置成根据上述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型;第一输入单元210被配置成响应于接收到客户端发送的目标需求信息,将上述目标需求信息输入至预设大语言模型,得到与上述目标需求信息对应的答复信息;第二输入单元211被配置成将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息;发送单元212被配置成将上述对话风格迁移答复信息发送至上述客户端,以供上述客户端在预设对话界面的预设位置显示上述对话风格迁移答复信息。
可以理解的是,该装置200中记载的诸单元与参考图1述的方法中的各个步骤相对应。由此,上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置200及其中包含的单元,在此不再赘述。
下面参考图3,其示出了适于用来实现本申请的一些实施例的电子设备300的结构示意图。图3示出的电子设备仅仅是一个示例,不应对本申请的实施例的功能和使用范围带来任何限制。
如图3所示,电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常,以下装置可以连接至I/O接口305:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307;包括例如磁带、硬盘等的存储装置308;以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。
特别地,根据本申请的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置309从网络上被下载和安装,或者从存储装置308被安装,或者从ROM 302被安装。在该计算机程序被处理装置301执行时,执行本申请的一些实施例的方法中限定的功能。
需要说明的是,本申请的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者的任意合适的组合。在本申请的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者的任意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。
计算机可读介质可以是电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。计算机可读介质承载有一个或者多个程序,当一个或者多个程序被该电子设备执行时,使得该电子设备:采集多模态人物对话数据集;对上述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集;对于上述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对上述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据;将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集;根据上述标注清洗多模态对话数据集,创建人物对话数据库;响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据上述第一索引风格标识与上述第二索引风格标识,对上述人物对话数据库进行检索,得到风格对话数据;将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据;将上述风格对话数据与上述普通对话数据确定为待训练数据;根据上述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型;响应于接收到客户端发送的目标需求信息,将上述目标需求信息输入至预设大语言模型,得到与上述目标需求信息对应的答复信息;将上述答复信息输入至上述训练完成的对话风格迁移模型,得到与上述答复信息对应的对话风格迁移答复信息;将上述对话风格迁移答复信息发送至上述客户端,以供上述客户端在预设对话界面的预设位置显示上述对话风格迁移答复信息。可以以一种或多种程序设计语言或其组合来编写用于执行本申请的一些实施例的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括采集单元201、数据清洗处理单元202、内容标注处理单元203、第一确定单元204、创建单元205、检索单元206、转换单元207、第二确定单元208、训练单元209、第一输入单元210、第二输入单元211和发送单元212。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,转换单元还可以被描述为“将上述风格对话数据转换成与上述风格对话数据对应的普通对话数据的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本申请的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请的实施例中所涉及的发明范围,并不限于技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离发明构思的情况下,由技术特征或其等同特征进行任意组合而形成的其它技术方案。例如特征与本申请的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种对话风格迁移答复信息显示方法,包括:
采集多模态人物对话数据集;
对所述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集;
对于所述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对所述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据,其中,所述对所述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据,包括:
将所述清洗多模态人物对话数据的数据来源信息确定为目标数据来源标识;
响应于确定所述多模态人物对话数据包括人物对话文本数据,对所述人物对话文本数据进行说话者身份识别,得到身份识别信息;
对于所述身份识别信息包括的各个身份标识信息中的每个身份识别信息,执行以下身份标注处理:
将对应所述身份识别信息的标识位置信息确定为目标标识位置信息;
根据所述目标标识位置信息,将所述身份识别信息标注在所述人物对话文本数据中,以对所述人物对话文本数据进行更新;
根据各个身份标识信息,对更新后的人物对话文本数据进行分组处理,得到对应所述各个身份标识信息的各个人物对话文本数据组;
对于所述各个人物对话文本数据组中的每个人物对话文本数据组执行以下对话风格标注处理:
将所述人物对话文本数据组输入至对话风格预测模型,得到与所述人物对话文本数据组对应的对话风格预测信息;
将与所述人物对话文本数据组对应的对话风格标记为所述对话风格预测信息;
将标记对话风格的各个人物对话文本数据组确定为目标对话数据;
响应于确定所述多模态人物对话数据包括至少一项图像数据,将所述至少一项图像数据确定为目标图像数据集;
响应于确定所述多模态人物对话数据包括至少一项音频数据,将所述至少一项音频数据确定为目标音频数据集;
将所述目标对话数据、所述目标图像数据集与所述目标音频数据集确定为初始标注清洗多模态对话数据;
将对应所述初始标注清洗多模态对话数据的数据来源标记为所述目标数据来源标识;
将标记数据来源的初始标注清洗多模态对话数据确定为标注清洗多模态对话数据;
将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集;
根据所述标注清洗多模态对话数据集,创建人物对话数据库;
响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据所述第一索引风格标识与所述第二索引风格标识,对所述人物对话数据库进行检索,得到风格对话数据;
将所述风格对话数据转换成与所述风格对话数据对应的普通对话数据,其中,所述将所述风格对话数据转换成与所述风格对话数据对应的普通对话数据,包括:
对所述风格对话数据进行分词处理,得到与所述风格对话数据对应的词集,其中,所述风格对话数据包括各个文本句子;
将所述词集中满足预设删除条件的各个词确定为各个待删除词,其中,所述预设删除条件为与预设口头语和俚语词汇表中至少一个词相同,所述预设口头语和俚语词汇表为存储各个预设口头语和各个俚语词的列表;
将所述各个待删除词从所述风格对话数据中删除,以对所述风格对话数据进行更新;
将更新后的风格对话数据所包括的各个文本句子确定为各个对话句子;
对于所述各个对话句子中的每个对话句子,对所述对话句子进行结构简化处理,得到简化对话句子;
将所得到的各个简化对话句子确定为普通对话数据;
将所述风格对话数据与所述普通对话数据确定为待训练数据;
根据所述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型;
响应于接收到客户端发送的目标需求信息,将所述目标需求信息输入至预设大语言模型,得到与所述目标需求信息对应的答复信息;
将所述答复信息输入至所述训练完成的对话风格迁移模型,得到与所述答复信息对应的对话风格迁移答复信息,其中,所述将所述答复信息输入至所述训练完成的对话风格迁移模型,得到与所述答复信息对应的对话风格迁移答复信息,包括:
将所述答复信息输入至所述训练完成的对话风格迁移模型的输入层,得到与所述答复信息对应的起始转换信息,所述对话风格迁移模型包括:所述输入层、起始信息映射层、第一特征信息捕获层、第二特征信息捕获层、前馈神经网络层、风格转换层、输出层,所述起始转换信息为与所述答复信息对应的单词序列;
将所述起始转换信息输入至所述起始信息映射层,得到与所述起始转换信息对应的特征映射信息;
将所述特征映射信息输入至所述第一特征信息捕获层,得到与所述特征映射信息对应的词序特征提取信息;
将所述词序特征提取信息输入至所述第二特征信息捕获层,得到与所述词序特征提取信息对应的上下文语义特征提取信息;
将所述上下文语义特征提取信息输入至所述前馈神经网络层,得到与所述上下文语义特征提取信息对应的强化语义特征提取信息;
将所述强化语义特征提取信息输入至所述风格转换层,得到对应所述强化语义特征提取信息的初始风格迁移答复信息;
将所述初始风格迁移答复信息输入至所述输出层,得到与所述初始风格迁移答复信息对应的对话风格迁移答复信息;
将所述对话风格迁移答复信息发送至所述客户端,以供所述客户端在预设对话界面的预设位置显示所述对话风格迁移答复信息。
2.根据权利要求1所述的方法,其中,所述第一索引风格标识与所述第二索引风格标识是通过以下步骤生成的:
响应于检测到作用于所述预设对话界面中对话风格选择控件的风格选择操作,显示与所述风格选择操作对应的各个风格选择控件;
响应于检测到作用于所述各个风格选择控件中一个风格选择控件的选择操作,显示与所述风格选择控件对应的各个人物对话风格选择控件,以及将对应所述风格选择控件的风格标识确定为第一索引风格标识;
响应于检测到作用于所述各个人物对话风格选择控件中一个人物对话风格选择控件的选择操作,将对应所述人物对话风格选择控件的人物对话风格标识确定为第二索引风格标识。
3.根据权利要求1所述的方法,其中,所述对所述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集,包括:
对于所述多模态人物对话数据集中的每个多模态人物对话数据,对所述多模态人物对话数据进行预设标记去除处理,得到与所述多模态人物对话数据对应的初始目标多模态人物对话数据;
将所得到的各个初始目标多模态人物对话数据确定为初始目标多模态人物对话数据集;
对于所述初始目标多模态人物对话数据集中的每个初始目标多模态人物对话数据,对所述初始目标多模态人物对话数据执行错字修正处理,得到与所述初始目标多模态人物对话数据对应的目标多模态人物对话数据;
将所得到的各个目标多模态人物对话数据确定为清洗多模态人物对话数据集。
4.根据权利要求1所述的方法,其中,所述根据所述标注清洗多模态对话数据集,创建人物对话数据库,包括:
根据预设需求信息,创建初始数据库;
将所述标注清洗多模态对话数据集插入至所述初始数据库,以对所述初始数据库进行更新;
将更新后的初始数据库确定为人物对话数据库。
5.一种对话风格迁移答复信息显示装置,包括:
采集单元,被配置成采集多模态人物对话数据集;
数据清洗处理单元,被配置成对所述多模态人物对话数据集进行数据清洗处理,得到清洗多模态人物对话数据集;
内容标注处理单元,被配置成对于所述清洗多模态人物对话数据集中的每个清洗多模态人物对话数据,对所述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据,其中,所述对所述清洗多模态人物对话数据进行内容标注处理,得到标注清洗多模态对话数据,包括:将所述清洗多模态人物对话数据的数据来源信息确定为目标数据来源标识;响应于确定所述多模态人物对话数据包括人物对话文本数据,对所述人物对话文本数据进行说话者身份识别,得到身份识别信息;对于所述身份识别信息包括的各个身份标识信息中的每个身份识别信息,执行以下身份标注处理:将对应所述身份识别信息的标识位置信息确定为目标标识位置信息;根据所述目标标识位置信息,将所述身份识别信息标注在所述人物对话文本数据中,以对所述人物对话文本数据进行更新;根据各个身份标识信息,对更新后的人物对话文本数据进行分组处理,得到对应所述各个身份标识信息的各个人物对话文本数据组;对于所述各个人物对话文本数据组中的每个人物对话文本数据组执行以下对话风格标注处理:将所述人物对话文本数据组输入至对话风格预测模型,得到与所述人物对话文本数据组对应的对话风格预测信息;将与所述人物对话文本数据组对应的对话风格标记为所述对话风格预测信息;将标记对话风格的各个人物对话文本数据组确定为目标对话数据;响应于确定所述多模态人物对话数据包括至少一项图像数据,将所述至少一项图像数据确定为目标图像数据集;响应于确定所述多模态人物对话数据包括至少一项音频数据,将所述至少一项音频数据确定为目标音频数据集;将所述目标对话数据、所述目标图像数据集与所述目标音频数据集确定为初始标注清洗多模态对话数据;将对应所述初始标注清洗多模态对话数据的数据来源标记为所述目标数据来源标识;将标记数据来源的初始标注清洗多模态对话数据确定为标注清洗多模态对话数据;
第一确定单元,被配置成将所得到的各个标注清洗多模态对话数据确定为标注清洗多模态对话数据集;
创建单元,被配置成根据所述标注清洗多模态对话数据集,创建人物对话数据库;
检索单元,被配置成响应于接收到客户端发送的第一索引风格标识与第二索引风格标识,根据所述第一索引风格标识与所述第二索引风格标识,对所述人物对话数据库进行检索,得到风格对话数据;
转换单元,被配置成将所述风格对话数据转换成与所述风格对话数据对应的普通对话数据,其中,所述将所述风格对话数据转换成与所述风格对话数据对应的普通对话数据,包括:对所述风格对话数据进行分词处理,得到与所述风格对话数据对应的词集,其中,所述风格对话数据包括各个文本句子;将所述词集中满足预设删除条件的各个词确定为各个待删除词,其中,所述预设删除条件为与预设口头语和俚语词汇表中至少一个词相同,所述预设口头语和俚语词汇表为存储各个预设口头语和各个俚语词的列表;将所述各个待删除词从所述风格对话数据中删除,以对所述风格对话数据进行更新;将更新后的风格对话数据所包括的各个文本句子确定为各个对话句子;对于所述各个对话句子中的每个对话句子,对所述对话句子进行结构简化处理,得到简化对话句子;将所得到的各个简化对话句子确定为普通对话数据;
第二确定单元,被配置成将所述风格对话数据与所述普通对话数据确定为待训练数据;
训练单元,被配置成根据所述待训练数据,对对话风格迁移模型进行训练,得到训练完成的对话风格迁移模型;
第一输入单元,被配置成响应于接收到客户端发送的目标需求信息,将所述目标需求信息输入至预设大语言模型,得到与所述目标需求信息对应的答复信息;
第二输入单元,被配置成将所述答复信息输入至所述训练完成的对话风格迁移模型,得到与所述答复信息对应的对话风格迁移答复信息,其中,所述将所述答复信息输入至所述训练完成的对话风格迁移模型,得到与所述答复信息对应的对话风格迁移答复信息,包括:将所述答复信息输入至所述训练完成的对话风格迁移模型的输入层,得到与所述答复信息对应的起始转换信息,所述对话风格迁移模型包括:所述输入层、起始信息映射层、第一特征信息捕获层、第二特征信息捕获层、前馈神经网络层、风格转换层、输出层,所述起始转换信息为与所述答复信息对应的单词序列;将所述起始转换信息输入至所述起始信息映射层,得到与所述起始转换信息对应的特征映射信息;将所述特征映射信息输入至所述第一特征信息捕获层,得到与所述特征映射信息对应的词序特征提取信息;将所述词序特征提取信息输入至所述第二特征信息捕获层,得到与所述词序特征提取信息对应的上下文语义特征提取信息;将所述上下文语义特征提取信息输入至所述前馈神经网络层,得到与所述上下文语义特征提取信息对应的强化语义特征提取信息;将所述强化语义特征提取信息输入至所述风格转换层,得到对应所述强化语义特征提取信息的初始风格迁移答复信息;将所述初始风格迁移答复信息输入至所述输出层,得到与所述初始风格迁移答复信息对应的对话风格迁移答复信息;
发送单元,被配置成将所述对话风格迁移答复信息发送至所述客户端,以供所述客户端在预设对话界面的预设位置显示所述对话风格迁移答复信息。
6.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至4中任一所述的方法。
7.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1至4中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410330812.6A CN117932043B (zh) | 2024-03-22 | 2024-03-22 | 对话风格迁移答复信息显示方法、装置、设备和可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410330812.6A CN117932043B (zh) | 2024-03-22 | 2024-03-22 | 对话风格迁移答复信息显示方法、装置、设备和可读介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117932043A CN117932043A (zh) | 2024-04-26 |
CN117932043B true CN117932043B (zh) | 2024-06-21 |
Family
ID=90766759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410330812.6A Active CN117932043B (zh) | 2024-03-22 | 2024-03-22 | 对话风格迁移答复信息显示方法、装置、设备和可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117932043B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205811A (zh) * | 2021-05-25 | 2021-08-03 | 上海汽车集团股份有限公司 | 一种对话处理方法、装置及电子设备 |
CN113822064A (zh) * | 2021-06-22 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 一种文本风格迁移方法、装置、电子设备和存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
US11314950B2 (en) * | 2020-03-25 | 2022-04-26 | International Business Machines Corporation | Text style transfer using reinforcement learning |
US11487971B2 (en) * | 2020-10-16 | 2022-11-01 | Adobe Inc. | Multi-dimensional language style transfer |
CN113722492A (zh) * | 2021-09-09 | 2021-11-30 | 国网电子商务有限公司 | 一种意图识别方法及装置 |
CN114416934B (zh) * | 2021-12-24 | 2023-02-07 | 北京百度网讯科技有限公司 | 多模态的对话生成模型的训练方法、装置及电子设备 |
CN114548038A (zh) * | 2022-02-25 | 2022-05-27 | 杭州电子科技大学 | 一种基于汉字字形扰动的字体风格迁移方法 |
CN114818695A (zh) * | 2022-04-08 | 2022-07-29 | 招商银行股份有限公司 | 文本风格迁移方法、装置、设备及存储介质 |
CN114818728A (zh) * | 2022-04-24 | 2022-07-29 | 北京金山数字娱乐科技有限公司 | 一种文本风格迁移模型训练及文本风格迁移方法及装置 |
CN115309882A (zh) * | 2022-08-10 | 2022-11-08 | 上海元梦智能科技有限公司 | 基于多模态特征的交互信息生成方法、系统及存储介质 |
CN116860943A (zh) * | 2023-07-17 | 2023-10-10 | 福州大学 | 对话风格感知与主题引导的多轮对话方法及系统 |
CN117539985A (zh) * | 2023-10-16 | 2024-02-09 | 厦门美柚股份有限公司 | 基于语言风格的问答方法和装置、电子设备及存储介质 |
-
2024
- 2024-03-22 CN CN202410330812.6A patent/CN117932043B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205811A (zh) * | 2021-05-25 | 2021-08-03 | 上海汽车集团股份有限公司 | 一种对话处理方法、装置及电子设备 |
CN113822064A (zh) * | 2021-06-22 | 2021-12-21 | 腾讯科技(深圳)有限公司 | 一种文本风格迁移方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117932043A (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111090987B (zh) | 用于输出信息的方法和装置 | |
US10108601B2 (en) | Method and system for presenting personalized content | |
JP7334395B2 (ja) | ビデオ分類方法、装置、機器、および記憶媒体 | |
CN111325020A (zh) | 一种事件论元抽取方法、装置以及电子设备 | |
CN107861954B (zh) | 基于人工智能的信息输出方法和装置 | |
CN111339765B (zh) | 文本质量评估方法、文本推荐方法及装置、介质及设备 | |
CN109933217B (zh) | 用于推送语句的方法和装置 | |
WO2023108993A1 (zh) | 基于深度聚类算法的产品推荐方法、装置、设备及介质 | |
CN113486833A (zh) | 多模态特征提取模型训练方法、装置、电子设备 | |
CN109582825B (zh) | 用于生成信息的方法和装置 | |
CN114972823A (zh) | 数据处理方法、装置、设备及计算机介质 | |
CN111737559A (zh) | 资源排序方法、训练排序模型的方法及对应装置 | |
WO2023005968A1 (zh) | 文本类别识别方法、装置、电子设备和存储介质 | |
CN113139391A (zh) | 翻译模型的训练方法、装置、设备和存储介质 | |
CN111859953A (zh) | 训练数据的挖掘方法、装置、电子设备及存储介质 | |
CN112188311A (zh) | 用于确定新闻的视频素材的方法和装置 | |
CN117216535A (zh) | 推荐文本生成模型的训练方法、装置、设备及介质 | |
CN113868519A (zh) | 信息搜索方法、装置、电子设备和存储介质 | |
CN110457325B (zh) | 用于输出信息的方法和装置 | |
US20230367972A1 (en) | Method and apparatus for processing model data, electronic device, and computer readable medium | |
CN112633004A (zh) | 文本标点符号删除方法、装置、电子设备和存储介质 | |
CN117932043B (zh) | 对话风格迁移答复信息显示方法、装置、设备和可读介质 | |
CN112651231B (zh) | 口语信息处理方法、装置和电子设备 | |
CN111062207B (zh) | 表情图像处理方法、装置、计算机存储介质及电子设备 | |
CN114265948A (zh) | 图像推送方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |