CN117273019A - 对话模型的训练方法、对话生成方法、装置和设备 - Google Patents
对话模型的训练方法、对话生成方法、装置和设备 Download PDFInfo
- Publication number
- CN117273019A CN117273019A CN202311346277.5A CN202311346277A CN117273019A CN 117273019 A CN117273019 A CN 117273019A CN 202311346277 A CN202311346277 A CN 202311346277A CN 117273019 A CN117273019 A CN 117273019A
- Authority
- CN
- China
- Prior art keywords
- dialogue
- sample
- gender
- reply
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000004927 fusion Effects 0.000 claims abstract description 117
- 238000013145 classification model Methods 0.000 claims description 66
- 230000015654 memory Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 abstract description 21
- 239000013598 vector Substances 0.000 description 29
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 230000008451 emotion Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 6
- 230000007935 neutral effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000699800 Cricetinae Species 0.000 description 3
- 206010049290 Feminisation acquired Diseases 0.000 description 3
- 208000034793 Feminization Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 241000070023 Phoenicopterus roseus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种对话模型的训练方法、对话生成方法、装置和设备，属于人工智能技术领域。方法包括：获取预训练对话模型；获取目标性别的对象的对话样本对，对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征；融合问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征；将第一融合特征和第二融合特征输入预训练对话模型，得到预测回复特征；基于回复样本特征和预测回复特征，调整预训练对话模型的模型参数，以得到目标性别的对话模型。该方法训练得到的对话模型能够准确生成具有目标性别的对话风格的回复语句。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及一种对话模型的训练方法、对话生成方法、装置和设备。
背景技术
随着人工智能的发展，人机对话技术成为一个广泛应用的技术。相关技术中，一般通过多种来源的对话语料来训练一个对话模型，通过训练得到的对话模型来完成人机交互。然而，由于对话语料的来源广泛，即对话语料多种多样，这样训练出来的对话模型仅具有泛化性，而不具备个性化特色。因此，需要一种对话模型的训练方法，来得到一种具有性别特色的对话模型。
发明内容
本申请实施例提供了一种对话模型的训练方法、对话生成方法、装置和设备，训练得到的对话模型能够准确生成具有目标性别的对话风格的回复语句。所述技术方案如下：
一方面，提供了一种对话模型的训练方法，所述方法包括：
获取预训练对话模型，所述预训练对话模型基于多组对话样本对训练得到；
获取目标性别的对象的对话样本对，所述对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征，所述回复样本语句为所述对象的回复语句；
融合所述问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合所述回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征；
将所述第一融合特征和所述第二融合特征输入所述预训练对话模型，得到预测回复特征；
基于所述回复样本特征和所述预测回复特征，调整所述预训练对话模型的模型参数，以得到所述目标性别的对话模型，所述对话模型用于生成具有所述目标性别的对话风格的回复语句。
另一方面，提供了一种对话生成方法，所述方法包括：
获取问话语句的问话语句特征、对话角色特征和性别特征；
融合所述问话语句特征、所述对话角色特征和所述性别特征，得到融合特征；
将所述融合特征输入目标性别的对话模型，得到问话语句特征对应的回复语句特征，所述目标性别的对话模型基于目标性别的对象的回复语句训练得到，所述回复语句特征用于表示所述问话语句对应的回复语句，所述回复语句的对话风格属于所述目标性别的对话风格。
在一些实施例中，所述融合所述问话语句特征、所述对话角色特征和所述性别特征，得到融合特征，包括：将所述问话语句特征、所述对话角色特征和所述性别特征相加，得到所述融合特征。
在一些实施例中，所述问话语句特征包括所述问话语句中多个词各自的词特征，所述将所述问话语句特征、所述对话角色特征和所述性别特征相加，得到所述融合特征，包括：将所述问话语句中每个词的词特征分别与所述问话语句的对话角色特征和性别特征相加，得到融合特征。
另一方面，提供了一种对话模型的训练装置，所述装置包括：
获取模块，用于获取预训练对话模型，所述预训练对话模型基于多组对话样本对训练得到；
所述获取模块，还用于获取目标性别的对象的对话样本对，所述对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征，所述回复样本语句为所述对象的回复语句；
融合模块，用于融合所述问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合所述回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征；
输入输出模块，用于将所述第一融合特征和所述第二融合特征输入所述预训练对话模型，得到预测回复特征；
调整模块，用于基于所述回复样本特征和所述预测回复特征，调整所述预训练对话模型的模型参数，以得到所述目标性别的对话模型，所述对话模型用于生成具有所述目标性别的对话风格的回复语句。
在一些实施例中，所述融合模块，用于：
将所述问话样本语句的问话样本特征、对话角色特征和性别特征相加，得到所述第一融合特征，将所述回复样本语句的回复样本特征、对话角色特征和性别特征相加，得到所述第二融合特征。
在一些实施例中，所述问话样本特征包括所述问话样本语句中多个词各自的词特征，所述回复样本特征包括所述回复样本语句中多个词各自的词特征，所述融合模块，用于：
将所述问话样本语句中每个词的词特征分别与所述问话样本语句的对话角色特征和性别特征相加，得到所述第一融合特征；
将所述回复样本语句中每个词的词特征分别与所述回复样本语句的对话角色特征和性别特征相加，得到所述第二融合特征。
在一些实施例中，所述获取模块，用于：
通过性别分类模型，从对话语料库中获取至少两句对话语句，所述至少两句对话语句的结束语句被所述性别分类模型确定为目标性别的对话风格的对话语句，且所述至少两句对话语句中与所述结束语句属于同一对象的其他对话语句被所述性别分类模型确定为目标性别的对话风格的对话语句；
将所述结束语句作为所述回复样本语句，将所述至少两句对话语句中所述结束语句以外的其他对话语句作为所述问话样本语句，基于所述问话样本语句和所述回复样本语句分别得到文本样本特征和回复样本特征。
在一些实施例中，所述装置还包括：
确定模块，用于通过所述性别分类模型，确定所述对话样本对中所述问话样本语句对应的性别，基于所述问话样本语句对应的性别，得到所述问话样本语句的性别特征。
在一些实施例中，所述获取模块，还用于：
基于所述预训练对话模型，获取初始性别分类模型，所述初始性别分类模型包括分类参数和所述预训练对话模型中注意力层的模型参数，所述注意力层的模型参数用于提取对话语句的语义特征，所述分类参数用于基于语义特征确定对话语句对应的性别；获取样本对话语句和所述样本对话语句对应的参考性别；
所述调整模块，还用于通过所述初始性别分类模型，得到所述样本对话语句对应的预测性别，基于所述参考性别和所述预测性别，调整所述初始性别分类模型中的分类参数，以得到所述性别分类模型。
另一方面，提供了一种对话生成装置，所述装置包括：
获取模块，用于获取问话语句的问话语句特征、对话角色特征和性别特征；
融合模块，用于融合所述问话语句特征、所述对话角色特征和所述性别特征，得到融合特征；
输入输出模块，用于将所述融合特征输入目标性别的对话模型，得到问话语句特征对应的回复语句特征，所述目标性别的对话模型基于目标性别的对象的回复语句训练得到，所述回复语句特征用于表示所述问话语句对应的回复语句，所述回复语句的对话风格属于所述目标性别的对话风格。
在一些实施例中，所述融合模块，用于：将所述问话语句特征、所述对话角色特征和所述性别特征相加，得到所述融合特征。
在一些实施例中，所述问话语句特征包括所述问话语句中多个词各自的词特征，所述融合模块，用于：将所述问话语句中每个词的词特征分别与所述问话语句的对话角色特征和性别特征相加，得到融合特征。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段程序，所述至少一段程序由所述处理器加载并执行以实现本申请实施例中的对话模型的训练方法或基于对话模型的图像处理方法或所有权检测方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现本申请实施例中的对话模型的训练方法或基于对话模型的图像处理方法或所有权检测方法。
另一方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一段程序，所述至少一段程序存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述至少一段程序，所述处理器执行所述至少一段程序，使得所述计算机设备执行上述任一实现方式所述的对话模型的训练方法或基于对话模型的图像处理方法或所有权检测方法。
本申请实施例提供了一种对话模型的训练方法，该方法在训练好的预训练对话模型的基础上，基于目标性别的对象的对话样本对继续对预训练对话模型进行训练，来得到目标性别的对话模型。该方法在基于对话样本对进行训练时，对问话样本特征和回复样本特征分别融合对话角色特征和性别特征，这样通过添加用于区分对话对象的对话角色的角色特征和用于区分对话对象的性别风格的性别特征，有助于预训练对话模型区分不同的对话角色和捕捉对话语句的性别风格信息，进而使得预训练对话模型能够更好地理解对话语句的上下文语义信息，从而可以提高预训练对话模型的训练效果，这样训练得到的对话模型就能够准确生成具有目标性别的对话风格的回复语句。且由于基于融合特征对预训练对话模型的训练效果好，这样就能够通过较少的训练数据来得到目标性别的对话模型，降低训练成本，缩短训练时间，从而在保证了准确性的基础上，提高了目标性别的对话模型的训练效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种对话模型的训练方法的流程图；
图3是本申请实施例提供的另一种对话模型的训练方法的流程图；
图4是本申请实施例提供的一种预训练对话模型的结构示意图；
图5是本申请实施例提供的一种性别分类模型的结构示意图；
图6是本申请实施例提供的一种特征融合的示意图；
图7是本申请实施例提供的一种女性的对话模型的训练过程示意图；
图8是本申请实施例提供的另一种女性的对话模型的训练过程示意图；
图9是本申请实施例提供的一种对话生成方法的流程图；
图10是本申请实施例提供的一种对话模型的训练装置的框图；
图11是本申请实施例提供的一种对话生成装置的框图；
图12是本申请实施例提供的一种终端的框图；
图13是本申请实施例提供的一种服务器的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的对话样本对、对话语句等都是在充分授权的情况下获取的。
以下，对本申请涉及的专业术语进行介绍：
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教式学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。
自然语言处理(Nature Language Processing，NLP)是计算机科学领域与人工智能领域中的重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理涉及自然语言，即人们日常使用的语言，与语言学研究密切；同时涉及计算机科学和数学，人工智能领域模型训练的重要技术，预训练模型，即是从NLP领域的大语言模型(Large Language Model)发展而来。经过微调，大语言模型可以广泛应用于下游任务。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
预训练模型(Pre-training model)，也称基石模型、大模型，指具有大参量的深度神经网络(Deep Neural Network，DNN)，在海量未标记的数据上对其进行训练，利用大参量DNN的函数近似能力使PTM在数据上提取共性特征，经微调(fine tune)、参数高效微调(PEFT)、prompt-tuning等技术，适用于下游任务。因此，预训练模型可以在小样本(Few-shot)或零样本(Zero-shot)场景下达到理想效果。PTM按照处理的数据模态可以分为语言模型(ELMO，BERT，GPT)、视觉模型(swin-transformer，ViT，V-MOE)、语音模型(VALL-E)、多模态模型(ViBERT，CLIP，Flamingo，Gato)等，其中多模态模型指建立两种或以上数据模态特征表示的模型。预训练模型是输出人工智能生成内容(AIGC，Artificial IntelligenceGenerated Content)重要工具，也可以作为连接多个具体任务模型的通用接口。
以下，对本申请涉及的实施环境进行介绍：
本申请实施例提供的对话模型的训练方法，能够由计算机设备执行，该计算机设备可以提供为服务器或终端。下面介绍一下本申请实施例提供的对话模型的训练方法的实施环境示意图。
参见图1，图1为本申请实施例提供的一种实施环境的示意图，该实施环境包括终端101和服务器102，该实施环境可以应用于对话模型的训练方法，也可以应用于对话生成方法。其中，终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。在一些实施例中，服务器102用于训练目标性别的对话模型，目标性别的对话模型用于输出具有目标性别的对话风格的回复语句。终端101上安装有目标应用，该目标应用用于进行人机对话。在一些实施例中，终端101上嵌入有训练得到的目标性别的对话模型，终端101通过该对话模型实现人机对话，输出具有目标性别的对话风格的回复语句。在另一些实施例中，终端101通过服务器102上的对话模型输出具有目标性别的对话风格的回复语句。
在一些实施例中，终端101可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、车载终端、飞行器、VR(Virtual Reality，虚拟现实)装置、AR(Augmented Reality，增强现实)装置等，但并不限于此。在一些实施例中，服务器102是独立的服务器也能够是多个服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。在一些实施例中，服务器102主要承担计算工作，终端101承担次要计算工作；或者，服务器102承担次要计算服务，终端101承担主要计算工作；或者，服务器102和终端101二者之间采用分布式计算架构进行协同计算。
参见图2，图2为本申请实施例提供的一种对话模型的训练方法的流程图，该方法包括以下步骤。
201、计算机设备获取预训练对话模型，预训练对话模型基于多组对话样本对训练得到。
在本申请实施例中，多组对话样本对从开放领域对话语料中获取，开放领域对话语料包括多个领域、多种性别的对话语料。预训练对话模型已经具备较好的人机对话能力。
202、计算机设备获取目标性别的对象的对话样本对，对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征，回复样本语句为对象的回复语句。
在本申请实施例中，目标性别为男性或女性。
在本申请实施例中，问话样本特征和回复样本特征的表现形式分别为矩阵。问话样本特征用于描述问话样本语句。回复样本特征用于描述回复样本语句。
其中，问话样本特征为一个向量序列，向量序列中的每个向量用于描述问话样本语句中的一个词。同理，回复样本特征为一个向量序列，向量序列中的每个向量用于描述回复样本语句中的一个词。
203、计算机设备融合问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征。
在本申请实施例中，对话角色特征用于区分对话样本对中不同的对话对象。性别特征用于区分对话样本对中不同性格风格的对话语句。计算机设备融合问话样本语句的问话样本特征、对话角色特征和性别特征，以丰富问话样本语句的特征；融合回复样本语句的回复样本特征、对话角色特征和性别特征，以丰富回复样本语句的特征。
在本申请实施例中，问话样本语句包括至少一个对话对象的至少一句对话语句。计算机设备对该至少一句对话语句分别基于其对话角色特征和性别特征进行特征融合，以得到第一融合特征。
204、计算机设备将第一融合特征和第二融合特征输入预训练对话模型，得到预测回复特征。
在本申请实施例中，预训练对话模型用于基于第一融合特征和第二融合特征，得到预测回复特征。预测回复特征为针对于问话样本特征的回复特征。预测回复特征用于描述预测回复语句，预测回复特征为一个向量序列，向量序列中的每个向量用于描述一个词。
205、计算机设备基于回复样本特征和预测回复特征，调整预训练对话模型的模型参数，以得到目标性别的对话模型，对话模型用于生成具有目标性别的对话风格的回复语句。
在本申请实施例中，目标性别的对话样本对为多组，计算机设备基于多组对话样本对对预训练对话模型进行迭代训练，直到达到预设要求，得到目标性别的对话模型。
其中，达到预设要求可以为回复样本特征和预测回复特征之间的差距小于预设差距。进一步地，达到预设要求指基于回复样本特征和预测回复特征确定的损失值达到收敛，或损失值达到预设阈值，或迭代次数达到预设次数，在此不作具体限定。
在本申请实施例中，基于目标性别的对话样本对训练预训练对话模型，使得预训练对话模型能够学习到目标性别的对话风格，进而训练得到的目标性别的对话模型能够生成具有目标性别的对话风格的回复语句。
本申请实施例提供了一种对话模型的训练方法，该方法在训练好的预训练对话模型的基础上，基于目标性别的对象的对话样本对继续对预训练对话模型进行训练，来得到目标性别的对话模型。该方法在基于对话样本对进行训练时，对问话样本特征和回复样本特征分别融合对话角色特征和性别特征，这样通过添加用于区分对话对象的对话角色的角色特征和用于区分对话对象的性别风格的性别特征，有助于预训练对话模型区分不同的对话角色和捕捉对话语句的性别风格信息，进而使得预训练对话模型能够更好地理解对话语句的上下文语义信息，从而可以提高预训练对话模型的训练效果，这样训练得到的对话模型就能够准确生成具有目标性别的对话风格的回复语句。且由于基于融合特征对预训练对话模型的训练效果好，这样就能够通过较少的训练数据来得到目标性别的对话模型，降低训练成本，缩短训练时间，从而提高目标性别的对话模型的训练效率。
上述图2为对话模型的训练方法的基本流程，下面基于图3对对话模型的训练方法进行进一步介绍。参见图3，图3为本申请实施例提供的一种对话模型的训练方法的流程图，该方法包括以下步骤。
301、计算机设备获取多组对话样本对。
在本申请实施例中，计算机设备获取开放领域的对话语料。其中，可以将各种社交媒体平台作为数据源，以得到对话语料。需要说明的是，计算机设备在从任意平台获取对话语料之前，已获得该平台的授权许可。
在一些实施例中，计算机设备对获取到的对话语料进行预处理和数据清洗，以提高数据质量。可选地，预处理的过程包括以下步骤：计算机设备去除对话语料中的链接、HTML(Hyper Text Markup Language，超文本标记语言)标签、广告等干扰信息。然后对对话语料进行统一大小写，且去除重复、无意义或低质量的对话语料，且过滤掉三人及三人以上的对话语料，只保留两个对话对象之间的对话语料，以得到多组对话样本对。在该实施例中，将对话语料进行预处理，使得训练数据更加规范化，进而便于基于训练数据进行模型训练。
在本申请实施例中，一组对话样本对可以包括多轮对话。可选地，计算机设备采用特殊符号将多轮对话进行分隔，以分隔不同的对话对象的对话语句。
例如，下面以对话对象A和对话对象B之间的多轮对话为例进行说明。
对话对象A：仓鼠适合做宠物吗？
对话对象B：我觉得很适合啊，我家的特别乖，超级可爱呢，一点也不会咬人，放心啦。
对话对象A：你是怎么喂养的？
对话对象B：就是买的鼠粮啊，记得一天喂两次就可以啦～。
其中，将多轮对话的最后一句作为回复样本语句。则问话样本语句即预训练对话模型的输入语句如下X所示，回复样本语句或预训练对话模型的输出语句如下Y所示。
X＝仓鼠适合做宠物吗？[SEP]我觉得很适合啊，我家的特别乖，超级可爱呢，一点也不会咬人，放心啦。[SEP]你是怎么喂养的？
Y＝就是买的鼠粮啊，记得一天喂两次就可以啦～。
302、计算机设备基于多组对话样本对训练预训练对话模型。
在一些实施例中，预训练对话模型采用基于自注意力机制的transformer结构的模型。预训练对话模型由多个相同的transformer层堆叠而成，每个transformer层由多头注意力机制和前馈神经网络两部分组合而成。transformer结构的模型建模能力强，可拓展性好，可以较好地进行并行计算。
在一些实施例中，对于预训练对话模型的输入数据采用双向注意力机制，预训练对话模型的输入数据中的每个词都可以关注到其他所有的词。对于预训练对话模型的输出数据采用从左到右的单向注意力机制，即输出数据中的每个词只能关注到该次之前的词，而不能关注到其之后的词。
在该实施例中，采用双向注意力机制来处理输入数据有助于预训练对话模型更好地理解输入数据的语义信息。在一些实施例中，计算机设备采用交叉熵损失函数来确定预测输出与参考输出之间的损失，也即确定回复样本特征与预测回复特征之间的损失，进而通过最小化该损失来更新预训练对话模型的模型参数。在海量的开放领域对话语料基础上，训练transformer模型结构的通用对话模型，由于开放领域对话语料数据量很大，训练好的通用预训练对话模型已经具备很好的人机交互和对话能力，可以生成流畅的、符合上下文语境的回复语句。但是由于预训练对话模型是通用的无条件的语言模型，生成的内容无法满足需要控制的属性，如性别属性。因此，通过本申请实施例提供的方法，在预训练对话模型的基础上进行进一步训练，以得到符合相应性别的对话风格的对话模型。
例如，参见图4，图4是本申请实施例提供的一种预训练对话模型的结构示意图。预处理后的问话样本语句和回复样本语句通过预训练对话模型中的M层transformer层也即注意力层处理，以得到输出结果。
其中，问话样本特征和回复样本特征分别携带问话标识和回复标识，以使得预训练对话模型能够区分二者，进而输出针对于问话样本特征的预测回复特征。可选地，在问话样本特征的末尾添加特殊符号“eos”来标识问话样本特征，在回复样本特征的开头添加特殊符号“bos”来标识回复样本特征。在预测回复特征的末尾添加特殊符号“eos”来表征输出的结束。
303、计算机设备获取多个样本对话语句和多个样本对话语句各自对应的参考性别。
在本申请实施例中，多个样本对话语句为具有性别倾向的对话语句。具有性别倾向的多个样本对话语句包括具有男性倾向、女性倾向和中性倾向的样本对话语句，各个性别倾向的对话语句分别有多个。将多个样本对话语句分别基于性别标签进行标注，得到多个样本对话语句各自对应的参考性别。
在本申请实施例中，计算机设备获取开放领域的具有性别倾向的样本对话语句，以得到多个样本对话语句和各自的参考性别。计算机设备可以将各种社交媒体平台作为数据源。需要说明的是，计算机设备在从任意平台获取对话语句之前，已获得该平台的授权许可。在一些实施例中，计算机设备对获取到的对话语句进行预处理和数据清洗，以提高数据质量，进而得到具有性别倾向的样本对话语句，预处理过程与步骤301同理，在此不再赘述。
在一些实施例中，计算机设备从步骤301中获取的多组对话样本对中获取具有性别倾向的多个样本对话语句，进而获取到的具有性别倾向的样本对话语句为预处理后的样本对话语句。或者，计算机设备从步骤301中获取到的对话语料中确定具有性别倾向的对话语句，然后对所获取的对话语句进行预处理和数据清洗，得到具有性别倾向的样本对话语句。
需要说明的是，男性和女性的语言风格存在较大的差异。女性在对话中更倾向于使用词缀、叠词、儿化词等；女性在对人或物的称谓上，更倾向于使用昵称来表达自己的情感。而男性相对较少使用词缀或叠词。女性喜欢使用夸张的形容词或有情感色彩的词，词语带有强烈的情感色彩、女性用夸张性的形容词表达自己的情感，能较好地带动对方的情绪。女性在表达不高兴的情绪时，会本能地避开一些低级的词，而采用含蓄的、直接的表达。而男性一般无所顾忌地使用各种词。男性在语句表达上直接武断，女性委婉模糊。女性较少使用武断词语，偏向于使用模糊性的结构和疑问句，比如“可以把门关上吗”。而男性更多地使用命令式的口吻，言辞坚决，语气强烈。
可选地，计算机设备对所获取的具有性别倾向的样本对话语句进行性别标注。其中，根据男性和女性的语言风格差异，将样本对话语句分为男性、女性和中性这三个类别标签。例如，若样本对话语句表现出女性化风格，可以推测说话对象为女性，则为该样本对话语句分配一个女性标签。若样本对话语句表现出男性化风格，可以推测说话对象为男性，则为该样本对话语句分配一个男性标签。若根据对话语句推测不出对话对象的性别，则为该样本对话语句分配一个中性标签。
在另一些实施例中，计算机设备基于公开的性别分类数据集来得到具有性别倾向的多个样本对话语句。例如，某一数据集有3万条数据，中性、男性和女性的对话语句的数量分别为多个。数据集可以为各种语言的数据集，在此不作限定。
例如，参见下述表1，其示出了数据集中几个具有性别倾向的对话语句的示例，且分别标注了性别标签。
表1
| 对话语句 | 性别标签 |
| 我喜欢打篮球。 | 男性 |
| 我喜欢练瑜伽。 | 女性 |
| 我喜欢听**的歌 | 中性 |
304、计算机设备基于多个样本对话语句和多个样本对话语句各自对应的参考性别进行模型训练，得到性别分类模型。
在一些实施例中，计算机设备基于预训练对话模型得到性别分类模型。其中，计算机设备基于预训练对话样本对，获取初始性别分类模型，初始性别分类模型包括分类参数和预训练对话模型中注意力层的模型参数，注意力层的模型参数用于提取对话语句的语义特征，分类参数用于基于语义特征确定对话语句对应的性别。然后计算机设备基于获取到的多个样本对话语句和多个样本对话语句的参考性别，训练初始性别分类模型，以得到性别分类模型。
其中，对于每个样本对话语句，计算机设备通过初始性别分类模型，得到样本对话语句对应的预测性别，基于参考性别和预测性别，调整初始性别分类模型中的分类参数，以得到性别分类模型。
可选地，计算机设备采用交叉熵损失函数来确定预测输出与参考输出之间的损失，也即确定参考性别与预测性别之间的损失，进而通过最小化该损失来更新初始性别分类模型的模型参数。
在该实施例中，性别分类模型以预训练对话模型为基础，通过在注意力层的顶部添加一个分类层来实现对话语句的性别分类任务。transformer模型由多个相同的注意力层堆叠而成，每个注意力层由多头自注意力机制和前馈神经网络层两部分组合而成。transformer模型采用双向注意力机制，其对于输入数据中的每个词，不仅能关注到之前的词，而且能关注到之后的词，这样用双向注意力机制来编码输入数据有助于性别分类模型更好地理解输入数据的语义信息。分类层可以为一个线性层也即全连接层，用于将注意力层的输出映射到性别标签的概率分布上，进而得到预测的性别标签。
在该实施例中，利用已训练好的预训练对话模型中注意力层的模型参数来得到性别分类模型，这样仅需训练分类参数，而无需训练其他模型参数，降低了训练成本，缩短了训练时间，进而提高了性别分类模型的训练效率。
其中，在将样本对话语句输入初始性别分类模型之前，对样本对话语句进行预处理。首先在样本对话语句的开头添加一个特殊符号“CLS”，然后对样本对话语句进行分词，且把词映射到词表索引，以将样本对话语句转换为初始性别分类模型可以接受的形式，即完成对样本对话语句的编码，得到样本对话语句的样本语句特征。然后将编码后的样本对话语句输入初始性别分类模型的注意力层，注意力层的输出为一个向量序列，向量序列中的每个向量用于描述样本对话语句中的一个词。将向量序列中的第一个向量也即对应于特殊符号“CLS”对应的向量输入到线性层，由于这个向量基于双向注意力机制得到，使得这样向量综合了样本对话语句中其他词的信息，进而该向量可以用于表示样本对话语句。线性层的输出可以通过softmax函数将输入映射到性别标签上的概率分布，进而选择概率最高的性别标签作为预测的性别标签。
例如，参见图5，图5是本申请实施例提供的一种性别分类模型的结构示意图。其中，注意力层可以为多层。性别分类模型的输入经过多层注意力层处理后，将最后一个注意力层的输出作为线性层的输入，通过线性层输出预测的性别标签。其中，x0到x6表示输入的样本对话语句。
305、计算机设备通过性别分类模型，获取目标性别的对象的对话样本对，对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征，回复样本语句为对象的回复语句。
在一些实施例中，上述计算机设备通过性别分类模型，获取目标性别的对象的对话样本对的过程，包括以下步骤：计算机设备通过性别分类模型，获取至少两句对话语句，至少两句对话语句的结束语句被性别分类模型确定为目标性别的对话风格的对话语句，且至少两句对话语句中与结束语句属于同一对象的其他对话语句被性别分类模型确定为目标性别的对话风格的对话语句。计算机设备将结束语句作为回复样本语句，将至少两句对话语句中结束语句以外的其他对话语句作为问话样本语句，基于问话样本语句和回复样本语句分别得到文本样本特征和回复样本特征。
其中，计算机设备对问话样本语句进行分词、索引化处理等，以将对话语句转换为矩阵的形式，进而得到问话样本特征，对回复样本语句进行同样处理，得到回复样本特征。
在一些实施例中，计算机设备获取多个初始对话语句对，每个初始对话语句对包括多轮对话，即包括至少两句对话语句。计算机设备将多轮对话进行拆分，得到多个对话语句。通过性别分类模型为每个对话语句确定一个性别标签。可选地，计算机设备从步骤301中获取的大量对话语料中获取多个初始对话语句对。
在一些实施例中，计算机设备在将每句对话语句输入性别分类模型之前，对对话语句进行预处理。首先，在对话语句的开头添加一个特殊符号“CLS”，然后对对话语句进行分词，且把词映射到词表索引，以将对话语句转换为性别分类模型可以接受的形式，即完成对对话语句的编码，得到对话语句的语句特征。然后将编码后的对话语句输入性别分类模型，得到对话语句的预测概率分布，预测概率分布用于表示对话语句属于各个性别标签的概率，进而根据预测概率分布筛选出属于目标性别的对话语句。
其中，计算机设备将概率最大的性别标签作为对话语句的性别标签，进而从多个对话语句中确定具有目标性别的对话风格的对话语句。或者，计算机设备将多个对话语句中，属于目标性别的概率超过概率阈值的对话语句作为目标性别的对话风格的对话语句。概率阈值可以根据需要进行设定并更改，在此不作具体限定。
在一些实施例中，对于多组对话语句对中的任一对话语句对，若结束语句被性别分类模型确定为目标性别的对话风格的对话语句，且至少两句对话语句中与结束语句属于同一对象的其他对话语句被性别分类模型确定为目标性别的对话风格的对话语句，则将该组对话语句作为上述至少两句对话语句，进而将该至少两句对话语句中结束语句以外的其他对话语句作为问话样本语句。
例如，下面以对话对象A和对话对象B之间的多轮对话为例进行说明。多轮对话中的结束语句被确定为属于目标性别，即具有目标性别的对话风格。结束语句的对话对象为B，且多轮对话中，对话对象B的其他对话语句也被确定为具有目标性别的对话风格的对话语句。
对话对象A：仓鼠适合做宠物吗？
对话对象B：我觉得很适合啊，我家的特别乖，超级可爱呢，一点也不会咬人，放心啦。
对话对象A：你是怎么喂养的？
对话对象B：就是买的鼠粮啊，记得一天喂两次就可以啦～。
在该实施例中，不仅要求结束语句具有目标性别的对话风格，且要求回复对象的其他对话语句也为具有目标性别的对话风格的对话语句，这样保证同一对话角色的对话语句具有相同的性别特征，这样可提高对话样本对的规整性，使得模型能够更好地捕捉到同一对话角色的对话语句的性别风格信息，避免了同一对话角色的多种性别风格信息对预训练对话模型的语义理解造成干扰，从而使得预训练对话模型能够更好地理解对话上下文的语义信息，以基于对话样本对能够更好的得到适应于目标性别的对话模型。
在本申请实施例中，通过上述步骤305可以获取目标性别的对象的多组对话样本对，进而基于这多组对话样本对训练预训练对话模型。需要说明的是，上述步骤305仅为实现获取目标性别的对象的对话样本对的一种可选地实现方式，计算机设备还可以通过其他可选地实现方式实现该过程。同理，步骤303-304也为一种可选地实现方式，若不通过性别分类模型获取目标性别的对象的对话样本对，则无需执行303-304。
在该实施例中，通过性别分类模型来获取目标性别的对象的对话样本对，可提高对话样本对的获取效率，就不再需要进行大量的人工标注，节省了时间和人力成本投入，省时省力。
306、计算机设备融合问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征。
在一些实施例中，上述计算机设备融合问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征的过程，包括以下步骤：计算机设备将问话样本语句的问话样本特征、对话角色特征和性别特征相加，得到第一融合特征，将回复样本语句的回复样本特征、对话角色特征和性别特征相加，得到第二融合特征。
在该实施例中，将对话角色特征和性别特征分别添加到问话样本特征和回复样本特征中，来实现特征融合，提高了特征融合的便捷性；且将第一融合特征和第二融合特征输入预训练对话模型后，有助于预训练对话模型区分不同的对话角色和捕捉对话语句的性别风格信息，进而使得预训练对话模型能够更好地理解对话语句的上下文语义信息，从而可以提高预训练对话模型的训练效果。
在另一些实施例中，计算机设备将将问话样本语句的问话样本特征、对话角色特征和性别特征相乘，得到第一融合特征；将回复样本语句的回复样本特征、对话角色特征和性别特征相乘，得到第二融合特征。
可选地，计算机设备通过不同的预设字符来分别标识问话样本语句和回复样本语句对应的性别，然后对预设字符进行特征转换，以得到问话样本语句和回复样本语句各自的性别特征，性别特征为一个特征向量。同理，计算机设备通过不同的预设字符来分别标识问话样本语句和回复样本语句对应的对话角色特征，然后对预设字符进行特征转换，以得到问话样本语句和回复样本语句各自的对话角色特征，对话角色特征为一个特征向量。可选地，性别和对话角色基于不同的预设字符进行标识。
在本申请实施例中，在训练预训练对话模型时，为了区别不同对话对象的角色，在预训练对话模型的输入中添加用于表示对话对象角色的嵌入层表示(role embedding)，也即角色特征。不同的对话对象用不同的角色特征进行表示。例如，对话对象A的对话角色＝1，对话对象B的对话角色＝2。这样通过添加角色嵌入表示，有助于预训练对话模型区分不同的对话角色，从而能够更好地理解对话上下文的语义信息。
同理，为了区分对话上下文中不同对话语句的性别风格信息，在预训练对话模型的输入中添加用于表示对话对象的性格风格的嵌入层表示(gender embedding)，也即性别特征。不同性别风格的对话语句用不同的性别特征进行表示。例如，女性对话风格的对话语句的性别＝1，男性对话风格的对话语句的性别＝2，中性对话风格的对话语句的性别＝3。这样通过添加性别嵌入表示，有助于预训练对话模型更好地捕捉对话语句的性别风格信息，从而更好地学习和适应具有目标性别的对话风格的对话语句。
在一些实施例中，问话样本特征包括问话样本语句中多个词各自的词特征，回复样本特征包括回复样本语句中多个词各自的词特征。上述计算机设备将问话样本语句的问话样本特征、对话角色特征和性别特征相加，得到第一融合特征，将回复样本语句的回复样本特征、对话角色特征和性别特征相加，得到第二融合特征的过程，包括以下步骤：计算机设备将问话样本语句中每个词的词特征分别与问话样本语句的对话角色特征和性别特征相加，得到第一融合特征；将回复样本语句中每个词的词特征分别与回复样本语句的对话角色特征和性别特征相加，得到第二融合特征。
其中，第一融合特征包括问话样本语句中每个词的融合特征，每个词的融合特征由该词的词特征与对话角色特征和性别特征相加得到。同理，第二融合特征包括回复样本语句中每个词的融合特征。
可选地，每个词的词特征、对话角色特征和性别特征分别为一个特征向量，且多个特征向量的向量维度相同，也即多个特征向量分别包括的元素数量相同。相应地，将词特征、对话角色特征和性别特征相加也即将多个特征向量中相同位置的元素进行相加，进而得到词的融合特征。
在该实施例中，由于问话样本特征包括问话样本语句中多个词各自的词特征，回复样本特征包括回复样本语句中多个词各自的词特征，这样为每个词的词特征分别添加对话角色特征和性别特征，可实现对问话样本特征和回复样本特征的精细化处理。且由于每个词的词特征、对话角色特征和性别特征也分别为一个特征向量，且多个特征向量的向量维度相同，这样将多个特征相加来得到融合特征，也可提高特征融合的规整性和便捷性。
在一些实施例中，问话样本特征和回复样本特征中不仅包括每个词的词嵌入表示(word embedding)，也即词特征，还包括每个词的位置编码表示(position embedding)，也即位置特征。相应地，计算机设备对于每个词，将该次的词特征、位置特征、对话角色特征和性别特征相加，得到该词的融合特征。
例如，参见图6，图6是本申请实施例提供的一种特征融合的示意图。其中，将预训练对话模型的输入数据中的每个词的词特征、位置特征、对话角色特征和性别特征相加，得到第一融合特征和第二融合特征。其中，问话样本特征和回复样本特征采用分隔符“SEP”进行分割，“SEP”的性别特征和角色特征可以与前一对话语句相同，也可以与后一对话语句相同，在此不作具体限定。其中，E0到E11分别表示一个词特征，F0到F11分别表示一个位置特征，RA和RB分别表示一个角色特征，G1和G2分别表示一个性别特征。
在一些实施例中，计算机设备通过性别分类模型，确定对话样本对中问话样本语句对应的性别，基于问话样本语句对应的性别，得到问话样本语句的性别特征。其中，性别特征用于表示问话样本语句对应的性别。可选地，计算机设备通过一个预设字符来标识问话样本语句对应的性别，然后对该预设字符进行特征转换，以得到性别特征，性别特征为一个特征向量。
在该实施例中，通过性别分类模型来确定问话样本语句对应的性别，可提高效率，而不再需要人工进行确定，节省了时间和人力成本投入，省事省力。
307、计算机设备将第一融合特征和第二融合特征输入预训练对话模型，得到预测回复特征。
其中，第一融合特征和第二融合特征分别携带问话标识和回复标识，以使得预训练对话模型能够区分二者，进而输出针对于第一融合特征的预测回复特征。
在一些实施例中，通过预训练对话模型中的注意力层提取输入数据的语义特征，通过预训练对话模型中的一个线性层也即全连接层来基于语义特征确定预测回复特征。其中，线性层用于将注意力层输出的注意力特征映射到词汇的概率分布，以得到预测回复特征。其中，注意力特征映射到词汇的概率分布后，得到多个候选词特征在预测回复特征中每个词位置上的概率，进而将多个位置上各自概率最大的候选词特征组成为预测回复特征。
308、计算机设备基于回复样本特征和预测回复特征，调整预训练对话模型的模型参数，以得到目标性别的对话模型，对话模型用于生成具有目标性别的对话风格的回复语句。
在本申请实施例中，通过步骤305获取目标性别的对象的多组对话样本对，基于多组对话样本对迭代执行上述步骤306-308，以得到目标性别的对话模型。
可选地，计算机设备采用交叉熵损失函数来确定预测输出与参考输出之间的损失，也即确定预测回复特征与回复样本特征之间的损失，进而通过最小化该损失来更新预训练对话模型的模型参数。
在一些实施例中，以目标性别为女性，训练得到女性的对话模型为例进行说明。例如，参见图7和图8，图7和图8分别是本申请实施例提供的一种女性的对话模型的训练过程示意图。其中，计算机设备首先基于大量开放领域的对话语料训练通用的预训练对话模型。然后基于有性别标签的对话语句训练性别分类模型，然后通过性别分类模型从大量的开放领域的对话语料中筛选出具有女性对话风格的对话样本对，基于这些对话样本对微调通用的预训练对话模型，以得到女性的对话模型。
本申请实施例提供了一种具有目标性别的对话风格的对话模型的训练方法。该方法先在大量开放领域对话语料上训练通用的预训练对话模型。由于开放领域对话语料数据量很大，训练好的预训练对话模型已经具备较好的人机对话能力。然后在小规模具有性别标签的对话语句上训练性别分类模型，用训练好的性别分类模型从大量开放领域的对话语料中筛选出具有目标性别风格的对话样本对。最后通过筛选出的目标性别的对话样本对对训练好的预训练对话模型进行微调，以得到适应于目标性别的对话风格的对话模型。在微调过程中，通过添加用于区分对话对象的角色嵌入表示和用于区分对话语句性别风格的性别嵌入表示，有助于对话模型区分不同的对话角色和捕捉对话文本的性别风格信息，从而更好地理解对话上下文的语义信息，更好的得到适应于目标性别的对话风格的对话模型。
本申请实施例提供的方法不需要进行大量的人工标注，节省了时间和人力成本投入。并且，使得对话模型可以充分理解对话语句的上下文信息，在回应用户的输入时，对话模型生成的目标性别回复与上下文的相关性好，灵活性更好。
在一些实施例中，以目标性别为女性为例进行说明。女性化的对话模型可以应用在智能客服、虚拟助手等场景。对话模型以女性化风格的回复与用户进行交互，女性化风格的回复可能让用户感受到更多的关怀、耐心和亲切感，从而提高用户满意度。女性化风格的对话模型也可以为产品赋予更多的人性化和情感化特点，增强与用户的情感联系。
本申请实施例提供的方法，相比于收集和标注性别的对话数据的方法，不需要进行大量的人工标注，节省了时间和人力成本投入。相比于检索式方法，该方法可以充分理解对话的上下文信息，在回应用户输入时，对话模型生成的具有目标性别的对话风格的回复与上下文的相关性好，灵活性更好。相比于后处理与重排序方法，有效解决了无法筛选出目标性别的对话风格的回复的问题，可以根据用户的输入生成具有目标性别的对话风格的回复。
本申请实施例提供了一种对话模型的训练方法，该方法在训练好的预训练对话模型的基础上，基于目标性别的对象的对话样本对继续对预训练对话模型进行训练，来得到目标性别的对话模型。该方法在基于对话样本对进行训练时，对问话样本特征和回复样本特征分别融合对话角色特征和性别特征，这样通过添加用于区分对话对象的对话角色的角色特征和用于区分对话对象的性别风格的性别特征，有助于预训练对话模型区分不同的对话角色和捕捉对话语句的性别风格信息，进而使得预训练对话模型能够更好地理解对话语句的上下文语义信息，从而可以提高预训练对话模型的训练效果，这样训练得到的对话模型就能够准确生成具有目标性别的对话风格的回复语句。且由于基于融合特征对预训练对话模型的训练效果好，这样就能够通过较少的训练数据来得到目标性别的对话模型，降低训练成本，缩短训练时间，从而提高目标性别的对话模型的训练效率。
通过上述图2和图3的实施例训练得到了用于输出具有目标性别的对话风格的对话模型。下面基于图9介绍一种基于训练得到的对话模型生成对话的方法。参见图9，图9是本申请实施例提供的一种对话生成方法的流程图，该方法包括以下步骤。
901、计算机设备获取问话语句的问话语句特征、对话角色特征和性别特征。
在本申请实施例中，问话语句的对话角色特征与步骤306中问话样本语句的对话角色特征相同，都是用于表征问话角色。性别特征可以根据用户输入的性别信息确定。若用户未输入性别信息，则将其性别确定为中性。
902、计算机设备融合问话语句特征、对话角色特征和性别特征，得到融合特征。
在一些实施例中，上述计算机设备融合问话语句特征、对话角色特征和性别特征，得到融合特征的过程，包括以下步骤：计算机设备将问话语句特征、对话角色特征和性别特征相加，得到融合特征。
其中，步骤902中融合问话语句特征、对话角色特征和性别特征，得到融合特征的过程与步骤306中融合问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征的过程同理，在此不再赘述。
在一些实施例中，问话语句特征包括问话语句中多个词各自的词特征，上述计算机设备将问话语句特征、对话角色特征和性别特征相加，得到融合特征的过程，包括以下步骤：计算机设备将问话语句中每个词的词特征分别与问话语句的对话角色特征和性别特征相加，得到融合特征。
其中，步骤902中将问话语句特征、对话角色特征和性别特征相加，得到融合特征的过程步骤306中将问话样本语句的问话样本特征、对话角色特征和性别特征相加，得到第一融合特征的过程同理，在此不再赘述。
903、计算机设备将融合特征输入目标性别的对话模型，得到问话语句特征对应的回复语句特征，目标性别的对话模型基于目标性别的对象的回复语句训练得到，回复语句特征用于表示问话语句对应的回复语句，回复语句的对话风格属于目标性别的对话风格。
在该实施例中，若目标性别为女性，则得到的回复语句具有女性的对话风格。若目标性别为男性，则得到的回复语句具有男性的对话风格。
本申请实施例提供了一种对话生成方法，该方法通过目标性别的对话模型生成回复语句，由于目标性别的对话模型基于目标性别的对象的回复语句训练得到，进而基于该目标性别的对话模型能够生成具有目标性别的对话风格的回复语句，这样通过目标性别的对话模型生成回复语句，可快速地生成具有目标性别的对话风格的回复语句。
图10是根据本申请实施例提供的一种对话模型的训练装置的框图。参见图10，装置包括：
获取模块1001，用于获取预训练对话模型，预训练对话模型基于多组对话样本对训练得到；
获取模块1001，还用于获取目标性别的对象的对话样本对，对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征，回复样本语句为对象的回复语句；
融合模块1002，用于融合问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征；
输入输出模块1003，用于将第一融合特征和第二融合特征输入预训练对话模型，得到预测回复特征；
调整模块1004，用于基于回复样本特征和预测回复特征，调整预训练对话模型的模型参数，以得到目标性别的对话模型，对话模型用于生成具有目标性别的对话风格的回复语句。
在一些实施例中，融合模块1002，用于：
将问话样本语句的问话样本特征、对话角色特征和性别特征相加，得到第一融合特征，将回复样本语句的回复样本特征、对话角色特征和性别特征相加，得到第二融合特征。
在一些实施例中，问话样本特征包括问话样本语句中多个词各自的词特征，回复样本特征包括回复样本语句中多个词各自的词特征，融合模块1002，用于：
将问话样本语句中每个词的词特征分别与问话样本语句的对话角色特征和性别特征相加，得到第一融合特征；
将回复样本语句中每个词的词特征分别与回复样本语句的对话角色特征和性别特征相加，得到第二融合特征。
在一些实施例中，获取模块1001，用于：
通过性别分类模型，从对话语料库中获取至少两句对话语句，至少两句对话语句的结束语句被性别分类模型确定为目标性别的对话风格的对话语句，且至少两句对话语句中与结束语句属于同一对象的其他对话语句被性别分类模型确定为目标性别的对话风格的对话语句；
将结束语句作为回复样本语句，将至少两句对话语句中结束语句以外的其他对话语句作为问话样本语句，基于问话样本语句和回复样本语句分别得到文本样本特征和回复样本特征。
在一些实施例中，装置还包括：
确定模块，用于通过性别分类模型，确定对话样本对中问话样本语句对应的性别，基于问话样本语句对应的性别，得到问话样本语句的性别特征。
在一些实施例中，获取模块1001，还用于：
基于预训练对话模型，获取初始性别分类模型，初始性别分类模型包括分类参数和预训练对话模型中注意力层的模型参数，注意力层的模型参数用于提取对话语句的语义特征，分类参数用于基于语义特征确定对话语句对应的性别；获取样本对话语句和样本对话语句对应的参考性别；
调整模块1004，还用于通过初始性别分类模型，得到样本对话语句对应的预测性别，基于参考性别和预测性别，调整初始性别分类模型中的分类参数，以得到性别分类模型。
本申请实施例提供了一种对话模型的训练装置，该装置在训练好的预训练对话模型的基础上，基于目标性别的对象的对话样本对继续对预训练对话模型进行训练，来得到目标性别的对话模型。该装置在基于对话样本对进行训练时，对问话样本特征和回复样本特征分别融合对话角色特征和性别特征，这样通过添加用于区分对话对象的对话角色的角色特征和用于区分对话对象的性别风格的性别特征，有助于预训练对话模型区分不同的对话角色和捕捉对话语句的性别风格信息，进而使得预训练对话模型能够更好地理解对话语句的上下文语义信息，从而可以提高预训练对话模型的训练效果，这样训练得到的对话模型就能够准确生成具有目标性别的对话风格的回复语句。且由于基于融合特征对预训练对话模型的训练效果好，这样就能够通过较少的训练数据来得到目标性别的对话模型，降低训练成本，缩短训练时间，从而提高目标性别的对话模型的训练效率。
图11是根据本申请实施例提供的一种基于对话生成装置的框图。参见图11，装置包括：
获取模块1101，用于获取问话语句的问话语句特征、对话角色特征和性别特征；
融合模块1102，用于融合问话语句特征、对话角色特征和性别特征，得到融合特征；
输入输出模块1103，用于将融合特征输入目标性别的对话模型，得到问话语句特征对应的回复语句特征，目标性别的对话模型基于目标性别的对象的回复语句训练得到，回复语句特征用于表示问话语句对应的回复语句，回复语句的对话风格属于目标性别的对话风格。
在一些实施例中，融合模块1102，用于：将问话语句特征、对话角色特征和性别特征相加，得到融合特征。
在一些实施例中，问话语句特征包括问话语句中多个词各自的词特征，融合模块1102，用于：将问话语句中每个词的词特征分别与问话语句的对话角色特征和性别特征相加，得到融合特征。
本申请实施例提供了一种对话生成装置，该装置通过目标性别的对话模型生成回复语句，由于目标性别的对话模型基于目标性别的对象的回复语句训练得到，进而基于该目标性别的对话模型能够生成具有目标性别的对话风格的回复语句，这样通过目标性别的对话模型生成回复语句，可快速地生成具有目标性别的对话风格的回复语句。
在本申请实施例中，计算机设备可以为终端或者服务器，当计算机设备为终端时，由终端作为执行主体来实施本申请实施例提供的技术方案；当计算机设备为服务器时，由服务器作为执行主体来实施本申请实施例提供的技术方案；或者，通过终端和服务器之间的交互来实施本申请提供的技术方案，本申请实施例对此不作限定。
图12示出了本申请一个示例性实施例提供的终端1200的结构框图。
通常，终端1200包括有：处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器1201所执行以实现本申请中方法实施例提供的对话模型的训练方法或对话生成方法。
在一些实施例中，终端1200还可选包括有：外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地，外围设备包括：射频电路1204、显示屏1205、摄像头组件1206、音频电路1207和电源1208中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中，处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上；在一些其他实施例中，处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1204包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1204还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1205用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时，显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时，显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1205可以为一个，设置在终端1200的前面板；在另一些实施例中，显示屏1205可以为至少两个，分别设置在终端1200的不同表面或呈折叠设计；在另一些实施例中，显示屏1205可以是柔性显示屏，设置在终端1200的弯曲表面上或折叠面上。甚至，显示屏1205还可以设置成非矩形的不规则图形，也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地，摄像头组件1206包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1201进行处理，或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1207还可以包括耳机插孔。
电源1208用于为终端1200中的各个组件进行供电。电源1208可以是交流电、直流电、一次性电池或可充电电池。当电源1208包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1200还包括有一个或多个传感器1209。该一个或多个传感器1209包括但不限于：加速度传感器1210、陀螺仪传感器1211、压力传感器1212、光学传感器1213以及接近传感器1214。
加速度传感器1210可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1210可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1210采集的重力加速度信号，控制显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1210还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1211可以检测终端1200的机体方向及转动角度，陀螺仪传感器1211可以与加速度传感器1210协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1211采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1212可以设置在终端1200的侧边框和/或显示屏1205的下层。当压力传感器1212设置在终端1200的侧边框时，可以检测用户对终端1200的握持信号，由处理器1201根据压力传感器1212采集的握持信号进行左右手识别或快捷操作。当压力传感器1212设置在显示屏1205的下层时，由处理器1201根据用户对显示屏1205的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1213用于采集环境光强度。在一个实施例中，处理器1201可以根据光学传感器1213采集的环境光强度，控制显示屏1205的显示亮度。具体地，当环境光强度较高时，调高显示屏1205的显示亮度；当环境光强度较低时，调低显示屏1205的显示亮度。在另一个实施例中，处理器1201还可以根据光学传感器1213采集的环境光强度，动态调整摄像头组件1206的拍摄参数。
接近传感器1214，也称距离传感器，通常设置在终端1200的前面板。接近传感器1214用于采集用户与终端1200的正面之间的距离。在一个实施例中，当接近传感器1214检测到用户与终端1200的正面之间的距离逐渐变小时，由处理器1201控制显示屏1205从亮屏状态切换为息屏状态；当接近传感器1214检测到用户与终端1200的正面之间的距离逐渐变大时，由处理器1201控制显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图12中示出的结构并不构成对终端1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图13是根据本申请实施例提供的一种服务器的结构示意图，该服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1301和一个或一个以上的存储器1302，其中，存储器1302用于存储可执行程序代码，处理器1301被配置为执行上述可执行程序代码，以实现上述各个方法实施例提供的对话模型的训练方法或对话生成方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有至少一段程序，至少一段程序由处理器加载并执行，以实现上述任一实现方式的对话模型的训练方法或对话生成方法。
本申请实施例还提供了一种计算机程序产品，计算机程序产品包括至少一段程序，至少一段程序存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取至少一段程序，处理器执行至少一段程序，使得计算机设备执行上述任一实现方式的对话模型的训练方法或对话生成方法。
在一些实施例中，本申请实施例所涉及的计算机程序产品可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (14)
1.一种对话模型的训练方法，其特征在于，所述方法包括：
获取预训练对话模型，所述预训练对话模型基于多组对话样本对训练得到；
获取目标性别的对象的对话样本对，所述对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征，所述回复样本语句为所述对象的回复语句；
融合所述问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合所述回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征；
将所述第一融合特征和所述第二融合特征输入所述预训练对话模型，得到预测回复特征；
基于所述回复样本特征和所述预测回复特征，调整所述预训练对话模型的模型参数，以得到所述目标性别的对话模型，所述对话模型用于生成具有所述目标性别的对话风格的回复语句。
2.根据权利要求1所述的方法，其特征在于，所述融合所述问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合所述回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征，包括：
将所述问话样本语句的问话样本特征、对话角色特征和性别特征相加，得到所述第一融合特征，将所述回复样本语句的回复样本特征、对话角色特征和性别特征相加，得到所述第二融合特征。
3.根据权利要求2所述的方法，其特征在于，所述问话样本特征包括所述问话样本语句中多个词各自的词特征，所述回复样本特征包括所述回复样本语句中多个词各自的词特征，所述将所述问话样本语句的问话样本特征、对话角色特征和性别特征相加，得到所述第一融合特征，将所述回复样本语句的回复样本特征、对话角色特征和性别特征相加，得到所述第二融合特征，包括：
将所述问话样本语句中每个词的词特征分别与所述问话样本语句的对话角色特征和性别特征相加，得到所述第一融合特征；
将所述回复样本语句中每个词的词特征分别与所述回复样本语句的对话角色特征和性别特征相加，得到所述第二融合特征。
4.根据权利要求1所述的方法，其特征在于，所述获取目标性别的对象的对话样本对，包括：
通过性别分类模型，从对话语料库中获取至少两句对话语句，所述至少两句对话语句的结束语句被所述性别分类模型确定为目标性别的对话风格的对话语句，且所述至少两句对话语句中与所述结束语句属于同一对象的其他对话语句被所述性别分类模型确定为目标性别的对话风格的对话语句；
将所述结束语句作为所述回复样本语句，将所述至少两句对话语句中所述结束语句以外的其他对话语句作为所述问话样本语句，基于所述问话样本语句和所述回复样本语句分别得到所述问话样本特征和所述回复样本特征。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过所述性别分类模型，确定所述对话样本对中所述问话样本语句对应的性别，基于所述问话样本语句对应的性别，得到所述问话样本语句的性别特征。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述预训练对话模型，获取初始性别分类模型，所述初始性别分类模型包括分类参数和所述预训练对话模型中注意力层的模型参数，所述注意力层的模型参数用于提取对话语句的语义特征，所述分类参数用于基于语义特征确定对话语句对应的性别；
获取样本对话语句和所述样本对话语句对应的参考性别；
通过所述初始性别分类模型，得到所述样本对话语句对应的预测性别，基于所述参考性别和所述预测性别，调整所述初始性别分类模型中的分类参数，以得到所述性别分类模型。
7.一种对话生成方法，其特征在于，所述方法还包括：
获取问话语句的问话语句特征、对话角色特征和性别特征；
融合所述问话语句特征、所述对话角色特征和所述性别特征，得到融合特征；
将所述融合特征输入目标性别的对话模型，得到问话语句特征对应的回复语句特征，所述目标性别的对话模型基于目标性别的对象的回复语句训练得到，所述回复语句特征用于表示所述问话语句对应的回复语句，所述回复语句的对话风格属于所述目标性别的对话风格。
8.根据权利要求7所述的方法，其特征在于，所述融合所述问话语句特征、所述对话角色特征和所述性别特征，得到融合特征，包括：
将所述问话语句特征、所述对话角色特征和所述性别特征相加，得到所述融合特征。
9.根据权利要求8所述的方法，其特征在于，所述问话语句特征包括所述问话语句中多个词各自的词特征，所述将所述问话语句特征、所述对话角色特征和所述性别特征相加，得到所述融合特征，包括：
将所述问话语句中每个词的词特征分别与所述问话语句的对话角色特征和性别特征相加，得到所述融合特征。
10.一种对话模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取预训练对话模型，所述预训练对话模型基于多组对话样本对训练得到；
所述获取模块，还用于获取目标性别的对象的对话样本对，所述对象的对话样本对包括问话样本语句的问话样本特征和回复样本语句的回复样本特征，所述回复样本语句为所述对象的回复语句；
融合模块，用于融合所述问话样本语句的问话样本特征、对话角色特征和性别特征，得到第一融合特征，融合所述回复样本语句的回复样本特征、对话角色特征和性别特征，得到第二融合特征；
输入输出模块，用于将所述第一融合特征和所述第二融合特征输入所述预训练对话模型，得到预测回复特征；
调整模块，用于基于所述回复样本特征和所述预测回复特征，调整所述预训练对话模型的模型参数，以得到所述目标性别的对话模型，所述对话模型用于生成具有所述目标性别的对话风格的回复语句。
11.一种对话生成装置，其特征在于，所述装置包括：
获取模块，用于获取问话语句的问话语句特征、对话角色特征和性别特征；
融合模块，用于融合所述问话语句特征、所述对话角色特征和所述性别特征，得到融合特征；
输入输出模块，用于将所述融合特征输入目标性别的对话模型，得到问话语句特征对应的回复语句特征，所述目标性别的对话模型基于目标性别的对象的回复语句训练得到，所述回复语句特征用于表示所述问话语句对应的回复语句，所述回复语句的对话风格属于所述目标性别的对话风格。
12.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段程序，所述至少一段程序由所述处理器加载并执行权利要求1至6任一项所述的对话模型的训练方法或权利要求7-9任一项所述的对话生成方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储至少一段程序，所述至少一段程序用于执行权利要求1至6任一项所述的对话模型的训练方法或权利要求7-9所述的对话生成方法。
14.一种计算机程序产品，其特征在于，所述计算机程序产品包括至少一段程序，所述至少一段程序存储在计算机可读存储介质中，计算机设备的处理器从所述计算机可读存储介质读取所述至少一段程序，所述处理器执行所述至少一段程序，使得所述计算机设备执行权利要求1至6任一项所述的对话模型的训练方法或权利要求7-9所述的对话生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346277.5A CN117273019A (zh) | 2023-10-17 | 2023-10-17 | 对话模型的训练方法、对话生成方法、装置和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346277.5A CN117273019A (zh) | 2023-10-17 | 2023-10-17 | 对话模型的训练方法、对话生成方法、装置和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117273019A true CN117273019A (zh) | 2023-12-22 |
Family
ID=89212249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311346277.5A Pending CN117273019A (zh) | 2023-10-17 | 2023-10-17 | 对话模型的训练方法、对话生成方法、装置和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117273019A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117787293A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 一种基于大语言模型的个性化对话生成方法及系统 |
| CN118467711A (zh) * | 2024-07-15 | 2024-08-09 | 北京红棉小冰科技有限公司 | 角色对话模型的训练方法、对话生成方法及装置 |
-
2023
- 2023-10-17 CN CN202311346277.5A patent/CN117273019A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117787293A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 一种基于大语言模型的个性化对话生成方法及系统 |
| CN117787293B (zh) * | 2024-02-27 | 2024-05-24 | 南京信息工程大学 | 一种基于大语言模型的个性化对话生成方法及系统 |
| CN118467711A (zh) * | 2024-07-15 | 2024-08-09 | 北京红棉小冰科技有限公司 | 角色对话模型的训练方法、对话生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490213B (zh) | 图像识别方法、装置及存储介质 | |
| CN111897964B (zh) | 文本分类模型训练方法、装置、设备及存储介质 | |
| CN110599557B (zh) | 图像描述生成方法、模型训练方法、设备和存储介质 | |
| CN111985240B (zh) | 命名实体识别模型的训练方法、命名实体识别方法及装置 | |
| CN112069309B (zh) | 信息获取方法、装置、计算机设备及存储介质 | |
| CN111414736B (zh) | 故事生成模型训练方法、装置、设备及存储介质 | |
| CN113254684B (zh) | 一种内容时效的确定方法、相关装置、设备以及存储介质 | |
| CN117273019A (zh) | 对话模型的训练方法、对话生成方法、装置和设备 | |
| CN111680123B (zh) | 对话模型的训练方法、装置、计算机设备及存储介质 | |
| CN113515942A (zh) | 文本处理方法、装置、计算机设备及存储介质 | |
| CN111753498B (zh) | 文本处理方法、装置、设备及存储介质 | |
| CN115858826A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN117033799B (zh) | 资源推荐方法、装置、计算机设备及存储介质 | |
| CN117633198A (zh) | 角色对话模型的训练方法、对话生成方法、装置和设备 | |
| CN117370529A (zh) | 品牌知识问答方法、装置、设备及可读存储介质 | |
| CN115130456A (zh) | 语句解析、匹配模型的训练方法、装置、设备及存储介质 | |
| CN117669512B (zh) | 答案生成方法、装置、设备及存储介质 | |
| CN113822084A (zh) | 语句翻译方法、装置、计算机设备及存储介质 | |
| CN113792537A (zh) | 一种动作生成方法以及装置 | |
| CN111414737B (zh) | 故事生成模型训练方法、装置、设备及存储介质 | |
| CN113515943A (zh) | 自然语言处理方法及其模型的获取方法、装置、存储介质 | |
| CN117454954A (zh) | 模型训练方法、装置、计算机设备及存储介质 | |
| CN115116437B (zh) | 语音识别方法、装置、计算机设备、存储介质及产品 | |
| CN116956814A (zh) | 标点预测方法、装置、设备及存储介质 | |
| CN113486260B (zh) | 互动信息的生成方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40098532 Country of ref document: HK |