CN115481221B - 对话数据的增强方法、装置、设备、计算机存储介质 - Google Patents

对话数据的增强方法、装置、设备、计算机存储介质 Download PDF

Info

Publication number
CN115481221B
CN115481221B CN202110597727.2A CN202110597727A CN115481221B CN 115481221 B CN115481221 B CN 115481221B CN 202110597727 A CN202110597727 A CN 202110597727A CN 115481221 B CN115481221 B CN 115481221B
Authority
CN
China
Prior art keywords
personality
information
dialogue
data sample
dialogue data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110597727.2A
Other languages
English (en)
Other versions
CN115481221A (zh
Inventor
黄殷雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110597727.2A priority Critical patent/CN115481221B/zh
Publication of CN115481221A publication Critical patent/CN115481221A/zh
Application granted granted Critical
Publication of CN115481221B publication Critical patent/CN115481221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种对话数据的增强方法、装置、设备、计算机存储介质；其中，该方法包括：获取待增强的对话数据样本，对话数据样本中包括人物个性信息、历史聊天信息以及针对历史聊天信息的对话回复信息；对待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；针对每一个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。本申请实施例中，能够增强对话数据样本中的人物个性特性，从而能提升对话数据样本集的质量及样本的数量和多样性。

Description

对话数据的增强方法、装置、设备、计算机存储介质
技术领域
本申请涉及但不限于人工智能领域，尤其涉及一种对话数据的增强方法、装置、设备、计算机可读存储介质。
背景技术
数据增强(Data augmentation，DA)是指在不采集同类样本数据的情况下，通过特定的方法(如变换、添加噪声等)对已有数据集进行扩充，从而弥补数据集中样本数量、质量或多样性的不足，进而增强在该数据集上训练得到的模型的性能。相关技术中针对对话数据的增强方法中，由于仅仅考虑了基于聊天历史和对话回复进行数据增强，且新生成的对话数据样本往往和原始对话数据样本在语义上不会有显著差别，更类似于文本重组，导致整个数据集的多样性并没有得到显著增强，甚至可能会引入一些新的带有噪声的样本，从而不利于模型训练。
发明内容
本申请实施例提供一种对话数据的增强方法、装置、设备、计算机可读存储介质，能够增强对话数据样本中的人物个性特性，从而能够提升对话数据样本集的质量，并且能够提升对话数据样本集中样本的数量和多样性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种对话数据的增强方法，包括：
获取待增强的对话数据样本；其中，所述对话数据样本中包括人物个性信息、历史聊天信息以及针对所述历史聊天信息的对话回复信息；
对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；
针对每一所述个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
在一些实施例中，所述人物个性信息包括至少一个个性描述文本，所述对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本，包括：从所述待增强的对话数据样本的至少一个个性描述文本中，确定与所述待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本；针对每一目标个性描述文本，基于所述目标个性描述文本、所述对话回复信息和所述待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本。
在一些实施例中，所述从所述待增强的对话数据样本的至少一个个性描述文本中，确定与所述待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本，包括：针对所述至少一个个性描述文本中的每一个性描述文本，利用自然语言推理模型，确定所述个性描述文本与所述对话回复信息之间是否为文本蕴含关系；将所述至少一个个性描述文本中，与所述对话回复信息之间为文本蕴含关系的个性描述文本确定为目标个性描述文本。
在一些实施例中，所述待增强的对话数据样本的历史聊天信息包括至少一个历史聊天语句，所述基于所述目标个性描述文本、所述对话回复信息和所述待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本，包括：从所述待增强的对话数据样本的至少一个历史聊天语句中，确定聊天时间距离所述对话回复信息最近的目标历史聊天语句；基于所述目标个性描述文本、所述对话回复信息和所述目标历史聊天信息，得到一个个性匹配后的对话数据样本。
在一些实施例中，所述从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，包括以下至少之一：从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本；从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
在一些实施例中，所述从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，包括：对所述个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息；针对每一扩充的人物个性信息，基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息；基于每一所述扩充的人物个性信息、与所述扩充的人物个性信息对应的扩充的对话回复信息以及所述个性匹配后的对话数据样本的历史聊天信息，得到至少一个增强后的对话数据样本。
在一些实施例中，所述人物个性信息包括个性描述文本，所述对所述个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息，包括：利用预训练语言模型，对所述个性描述文本中的至少一个字词和/或短语进行改写，得到至少一个改写后的个性描述文本；将每一改写后的个性描述文本确定为扩充的个性描述文本。
在一些实施例中，所述基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息，包括：基于所述扩充的个性描述文本和所述个性匹配后的对话数据样本的个性描述文本，确定所述扩充的个性描述文本中改写前的字词和改写后的字词；利用所述改写后的字词，对所述个性匹配后的对话数据样本的对话回复信息中包含的所述改写前的字词进行改写，得到与所述扩充的个性描述文本对应的扩充的对话回复信息。
在一些实施例中，所述基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息，包括：基于所述扩充的人物个性信息和所述个性匹配后的对话数据样本的历史聊天信息，进行对话回复信息预测，得到与所述扩充的人物个性信息对应的扩充的对话回复信息。
在一些实施例中，所述从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，包括：采用反向翻译、条件变分自编码器、近义词替换、文本重组中的至少一种方式，对所述个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，得到至少一个扩充的历史聊天信息；基于每一所述扩充的历史聊天信息，以及所述个性匹配后的对话数据样本的人物个性信息和对话回复信息，得到至少一个增强后的对话数据样本。
本申请实施例提供一种对话数据的增强装置，包括：
获取模块，用于获取待增强的对话数据样本；其中，所述对话数据样本中包括人物个性信息、历史聊天信息以及针对所述历史聊天信息的对话回复信息；
匹配模块，用于对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；
扩充模块，用于针对每一所述个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
在一些实施例中，所述人物个性信息包括至少一个个性描述文本，所述匹配模块还用于：从所述待增强的对话数据样本的至少一个个性描述文本中，确定与所述待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本；针对每一目标个性描述文本，基于所述目标个性描述文本、所述对话回复信息和所述待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本。
在一些实施例中，所述匹配模块还用于：针对所述至少一个个性描述文本中的每一个性描述文本，利用自然语言推理模型，确定所述个性描述文本与所述对话回复信息之间是否为文本蕴含关系；将所述至少一个个性描述文本中，与所述对话回复信息之间为文本蕴含关系的个性描述文本确定为目标个性描述文本。
在一些实施例中，所述待增强的对话数据样本的历史聊天信息包括至少一个历史聊天语句，所述匹配模块还用于：从所述待增强的对话数据样本的至少一个历史聊天语句中，确定聊天时间距离所述对话回复信息最近的目标历史聊天语句；基于所述目标个性描述文本、所述对话回复信息和所述目标历史聊天信息，得到一个个性匹配后的对话数据样本。
在一些实施例中，所述扩充模块还用于以下至少之一：从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本；从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
在一些实施例中，所述扩充模块还用于：对所述个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息；针对每一扩充的人物个性信息，基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息；基于每一所述扩充的人物个性信息、与所述扩充的人物个性信息对应的扩充的对话回复信息以及所述个性匹配后的对话数据样本的历史聊天信息，得到至少一个增强后的对话数据样本。
在一些实施例中，所述人物个性信息包括个性描述文本，所述扩充模块还用于：利用预训练语言模型，对所述个性描述文本中的至少一个字词和/或短语进行改写，得到至少一个改写后的个性描述文本；将每一改写后的个性描述文本确定为扩充的个性描述文本。
在一些实施例中，所述扩充模块还用于：基于所述扩充的个性描述文本和所述个性匹配后的对话数据样本的个性描述文本，确定所述扩充的个性描述文本中改写前的字词和改写后的字词；利用所述改写后的字词，对所述个性匹配后的对话数据样本的对话回复信息中包含的所述改写前的字词进行改写，得到与所述扩充的个性描述文本对应的扩充的对话回复信息。
在一些实施例中，所述扩充模块还用于：基于所述扩充的人物个性信息和所述个性匹配后的对话数据样本的历史聊天信息，进行对话回复信息预测，得到与所述扩充的人物个性信息对应的扩充的对话回复信息。
在一些实施例中，所述扩充模块还用于：采用反向翻译、条件变分自编码器、近义词替换、文本重组中的至少一种方式，对所述个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，得到至少一个扩充的历史聊天信息；基于每一所述扩充的历史聊天信息，以及所述个性匹配后的对话数据样本的人物个性信息和对话回复信息，得到至少一个增强后的对话数据样本。
本申请实施例提供一种对话数据的增强设备，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的对话数据的增强方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的方法。
本申请实施例具有以下有益效果：
首先，获取待增强的对话数据样本，其中，对话数据样本中包括人物个性信息、历史聊天信息以及针对历史聊天信息的对话回复信息；然后，对待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；最后，针对每一个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。这样，通过对待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，能够增强对话数据样本中的人物个性特性，从而能够提升对话数据样本集的质量。此外，通过对每一个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度进行多样化扩充处理，能够提升对话数据样本集中样本的数量和多样性。
附图说明
图1是本申请实施例提供的对话数据的增强系统的一个可选的架构示意图；
图2是本申请实施例提供的对话数据的增强设备的一个可选的结构示意图；
图3是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图；
图4是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图；
图5是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图；
图6是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图；
图7是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图；
图8A是本申请实施例提供的一种对话数据的增强方法的实现流程示意图；
图8B是本申请实施例提供的一种词汇级别的人物个性信息多样化的实现示意图；
图8C是本申请实施例提供的一种短语级别的人物个性信息多样化的实现示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)对话生成(Dialogue generation)：一般是指在两方的对话中，其中一方为真实用户，而另一方为计算机(如聊天机器人)，计算机需要利用对话生成模型，根据两人之间的聊天信息以及用户前一次的对话信息来生成当前对话的回复。该对话生成模型的样本数据集中，每个样本一般包含两部分：聊天历史H以及当前对应回复R，对话生成模型需要学习根据H生成R。
2)个性化对话生成(Personalized dialogue generation)：聊天机器人需要基于给定的一组人物个性进行对话回复的生成，并在回复中尽可能地体现自己的个性。一个典型的个性对话数据样本包括下面三部分：A)人物个性描述P，包含若干句话，如“我喜欢吃汉堡”，“我是一名大学生”等；B)聊天历史H，一般包含若干句聊天历史文本；C)当前对话回复R，即对于给定的P和H，所对应的聊天回复。需要指出的是，在待增强的数据集中，R和P之间的关系不确定，R可能不会体现P中的任意一个人物个性，也有可能和P中的一个或者多个人物个性相对应，而这些关系在数据集中不会给出。
3)数据增强：在不采集同类样本数据的情况下，通过特定的方法(如变换、添加噪声等)对已有数据集进行扩充，从而弥补已有数据集中样本数量、质量或多样性的不足，进而增强在该数据集上训练得到的模型的性能。
4)自然语言推理(natural language inference，NLI)：即给定两段文本，模型通过推理判断两段文本之间是文本蕴含关系(entailment)、冲突关系(contradict)或不相关关系(neutral)。例如，给定一句话“我正在睡觉”，那么“我闭着眼睛”与“我正在睡觉”之间是蕴含关系，“我正在玩游戏”和“我正在睡觉”之间是冲突关系，而“我是一个程序员”则和“我正在睡觉”之间不相关。
为了更好地理解本申请实施例提供的对话数据的增强方法，下面先对相关技术中的对话数据的增强方法进行说明。
相关技术中，采用如下方式对对话数据进行增强：1)反向翻译(BackTranslation，BT)的方式，将待增强数据集中全部对话数据样本的文本先翻译至与原始语言不同的另一种语言，再由该另一种语言翻译回原始语言，利用翻译的差异可以得到新的对话数据样本；2)条件变分自编码器(Conditional Variational AutoEncoders，CVAE)采样生成的方式，利用CVAE中间变量的特性对待增强数据集中的对话数据样本进行随机采样得到新的中间变量，再根据新的中间变量生成对应的新的对话数据样本。相关技术中对话数据的增强方法中，新生成的对话数据样本往往和原始对话数据样本在语义上不会有显著差别，更类似于文本重组，没有考虑人物个性作为额外输入，所以该对话数据的增强方法即使应用到个性化对话数据上，也不会引入新的人物个性，导致整个数据集的多样性并没有得到显著增强，甚至可能会引入一些新的带有噪声的样本(如对话回复中未体现人物个性的样本)，从而不利于模型训练。
本申请实施例提供一种对话数据的增强方法、装置、设备和计算机可读存储介质，能够在进行对话数据的增强时，增强对话数据样本中的人物个性特性，从而能够提升对话数据样本集的质量，并且能够提升对话数据样本集中样本的数量和多样性。下面说明本申请实施例提供的对话数据的增强设备的示例性应用，本申请实施例提供的对话数据的增强设备可以为电子设备，电子设备可以实施为笔记本电脑，平板电脑，台式计算机，车载导航仪，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端，也可以实施为服务器。下面，将说明本申请实施例提供的电子设备实施为服务器时的示例性应用。
参见图1，图1是本申请实施例提供的对话数据的增强系统100的一个可选的架构示意图，可以实现对对话数据的数据增强，终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
终端用于：在图形界面(示例性示出了图形界面410-1和图形界面410-2)显示用户进行对话数据增强的交互界面，接收用户的对待增强的对话数据样本进行的对话数据增强操作，并向服务器200发送待增强的对话数据样本。
服务器200用于：获取待增强的对话数据样本；其中，所述对话数据样本中包括人物个性信息、历史聊天信息以及针对所述历史聊天信息的对话回复信息；对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；针对每一所述个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
此外，本申请实施例涉及的对话数据的增强系统也可以是应用于区块链系统的分布式系统，服务器200可以实施为区块链上的节点。该分布式系统可以是由多个节点和客户端形成的分布式节点，节点可以是接入网络中的任意形式的计算设备，如服务器、用户终端等，节点之间形成点对点(P2P，Peer To Peer)网络。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是地图数据自动采集车、智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本发明实施例中不做限制。
参见图2，图2是本申请实施例提供的对话数据的增强设备的结构示意图，图2所示的对话数据的增强设备包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。对话数据的增强设备中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。
处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。
存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。
在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的对话数据的增强装置可以采用软件方式实现，图2示出了存储在存储器250中的对话数据的增强装置255，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块2551、匹配模块2552和扩充模块2553，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的对话数据的增强装置可以采用硬件方式实现，作为示例，本申请实施例提供的对话数据的增强装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的对话数据的增强方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面将结合本申请实施例提供的终端或服务器的示例性应用和实施，说明本申请实施例提供的对话数据的增强方法。
参见图3，图3是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图，下面将结合图3示出的步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S101中，获取待增强的对话数据样本；其中，所述对话数据样本中包括人物个性信息、历史聊天信息以及针对所述历史聊天信息的对话回复信息。
这里，对话数据样本为用于训练对话生成模型的数据样本，可以包括人物个性信息、历史聊天信息以及针对历史聊天信息的对话回复信息。
人物个性信息用于描述该对话数据样本对应的人物个性，可以包括但不限于可以至少一个个性描述文本、人物个性标签、用于在数据库中检索个性描述文本的标识或索引等。
历史聊天信息为确定对话回复信息之前的聊天信息，可以包含历史对话中聊天双方的聊天语句。例如，历史聊天信息可以包括历史对话中聊天双方一问一答的多个回合，也即包括聊天双方的各N条语句。
对话回复信息为在对话过程中针对历史聊天信息进行回复的聊天语句。在实施时，对话回复信息可以是针对历史聊天信息，基于人物个性信息描述的人物个性确定的能体现人物个性的回复信息，如“我喜欢吃汉堡”、“我讨厌运动”等；对话回复信息也可以是针对历史聊天信息确定的，与人物个性信息描述的人物个性无关的回复信息，如“今天的天气是晴天”、“明天是星期六”等，这里并不限定。
待增强的对话数据样本可以是从已有的对话数据样本集中获取的样本，也可以是从聊天机器人或社交平台的历史聊天数据中爬取或挖掘得到的，这里并不限定。通过对已有的对话数据样本集中的样本进行数据增强，得到增强后的对话数据样本后，将增强后的对话数据样本加入已有的对话数据样本集中，可以实现对已有的对话数据样本集的扩充，从而可以弥补已有的对话数据样本集中样本数量、质量或多样性的不足，进而增强在该对话数据样本集上训练得到的模型的性能。
在步骤S102中，对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本。
这里，待增强的对话数据样本中的人物个性信息可以描述至少一种人物个性，通过对待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，可以确定至少一种人物个性中与对话回复信息表现的个性相匹配的人物个性，从而可以得到包含的人物个性信息与对话回复信息相匹配的新的对话数据样本。在实施时，由于至少一种人物个性中与对话回复信息表现的个性相匹配的人物个性的数量可以是一个或者多个，因此，对待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，可以得到至少一个个性匹配后的对话数据样本。
在步骤S103中，针对每一所述个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
这里，个性匹配后的对话数据样本中包括人物个性信息、历史聊天信息和对话回复信息，且人物个性信息与对话回复信息表现的人物个性是相匹配的。
对个性匹配后的对话数据样本进行多样化扩充处理，是指对个性匹配后的对话数据样本中的人物个性信息、历史聊天信息、对话回复信息等中的一种或多种信息，通过文本重组、模型预测、预训练语言模型改写等任意合适的方式，得到至少一个新的对话数据样本。新的对话数据样本与个性匹配后的对话数据样本相比，人物个性信息、历史聊天信息、对话回复信息中至少之一是不同的，是对个性匹配后的对话数据样本在人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度进行多样化扩充处理后得到的对话数据样本，也即增强后的对话数据样本。
从人物个性信息维度对所述个性匹配后的对话数据样本进行多样化扩充处理，是指基于个性匹配后的对话数据样本中的人物个性信息，采用任意合适的方式得到至少一个与该人物个性信息不同的新的人物个性信息。在实施时，可以对个性匹配后的对话数据样本中的人物个性信息采用预训练语言模型(如基于转换器的双向编码(BidirectionalEncoder Representation from Transformers，BERT)模型、ELMo(Embedding fromLanguage Model)模型、生成式预训练(Generative Pre-Training，GPT)模型、GPT2.0、XL-Net模型等)预测、反向翻译、CVAE采样生成、近义词替换、文本重组等方式进行多样化扩充处理，得到至少一个与该人物个性信息不同的新的人物个性信息。新的人物个性信息描述的人物个性与个性匹配后的对话数据样本中的人物个性信息描述的人物个性可以相同，也可以不同，这里并不限定。
从历史聊天信息维度对所述个性匹配后的对话数据样本进行多样化扩充处理，是指基于个性匹配后的对话数据样本中的历史聊天信息，采用任意合适的方式得到至少一个与该历史聊天信息不同的新的历史聊天信息。在实施时，可以对个性匹配后的对话数据样本中的历史聊天信息采用预训练语言模型预测、反向翻译、CVAE采样生成、近义词替换、文本重组等方式进行多样化扩充处理，得到至少一个与该历史聊天信息不同的新的历史聊天信息。新的历史聊天信息与个性匹配后的对话数据样本中的历史聊天信息之间可以是语义相同或相近的，也可以是语义不同的，这里并不限定。
从对话回复信息维度对所述个性匹配后的对话数据样本进行多样化扩充处理，是指基于个性匹配后的对话数据样本中的对话回复信息，采用任意合适的方式得到至少一个与该对话回复信息不同的新的对话回复信息。在实施时，可以对个性匹配后的对话数据样本中的对话回复信息采用预训练语言模型预测、反向翻译、CVAE采样生成、近义词替换、文本重组等方式进行多样化扩充处理，得到至少一个与该对话回复信息不同的新的对话回复信息。新的对话回复信息与个性匹配后的对话数据样本中的对话回复信息之间可以是语义相同或相近的，也可以是语义不同的，表现的人物个性可以是相同的，也可以是不同的，这里并不限定。
需要说明的是，上述对个性匹配后的对话数据样本在人物个性信息维度、历史聊天信息维度和对话回复信息维度中进行的多样化扩充处理可以是分别独立实施的，也可以是采用合适的方式互相结合实施的，这里并不限定。多样化扩充处理后得到的增强后的对话数据样本中人物个性信息与对话回复信息表现的人物个性可以是相匹配的，也可以是无关的。
本申请实施例中，首先，获取待增强的对话数据样本，其中，对话数据样本中包括人物个性信息、历史聊天信息以及针对历史聊天信息的对话回复信息；然后，对待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；最后，针对每一个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。这样，通过对待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，能够增强对话数据样本中的人物个性特性，从而能够提升对话数据样本集的质量。此外，通过对每一个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度进行多样化扩充处理，能够提升对话数据样本集中样本的数量和多样性。
在一些实施例中，参见图4，图4是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图，基于图3，所述人物个性信息包括至少一个个性描述文本，图3中示出的步骤S102可以通过如下步骤S401至步骤S402实现，下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S401中，从所述待增强的对话数据样本的至少一个个性描述文本中，确定与所述待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本。
这里，可以针对待增强的对话数据样本的至少一个个性描述文本中的每一个性描述文本，确定该个性描述文本与待增强的对话数据样本的对话回复信息是否相匹配，从而得到与待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本。
个性描述文本与对话回复信息相匹配是指对话回复信息所表现的人物个性与个性描述文本所描述的人物个性是一致的。例如，个性描述文本为“我最喜欢的食物为汉堡”，对话回复信息为“吃的汉堡，我最喜欢吃汉堡了”，则该个性描述文本与该对话回复信息相匹配。又如，个性描述文本为“我最讨厌的季节为冬天”，对话回复信息为“下雪了，我最喜欢堆雪人”，则该个性描述文本与该对话回复信息不匹配。在实施时，可以采用自然语言推理、语义分析、同义词或近义词检测、分类模型预测等任意合适的方式，确定对话回复信息所表现的人物个性与个性描述文本所描述的人物个性是一致，这里并不限定。
在步骤S402中，针对每一目标个性描述文本，基于所述目标个性描述文本、所述对话回复信息和所述待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本。
这里，由于目标个性描述文本与对话回复信息是相匹配的，因此，针对每一目标个性描述文本，可以将该目标个性描述文本和对话回复信息分别作为一个新的对话数据样本中的人物个性信息和对话回复信息，并基于待增强的对话数据样本的历史聊天信息，确定该新的对话数据样本中的历史聊天信息，从而得到一个个性匹配后的对话数据样本。在实施时，可以直接将待增强的对话数据样本的历史聊天信息作为新的对话数据样本中的历史聊天信息，也可以对待增强的对话数据样本的历史聊天信息进行格式简化处理后，得到新的对话数据样本中的历史聊天信息。
在一些实施例中，上述步骤S401可以通过如下步骤S411至步骤S412实现。
在步骤S411中，针对所述至少一个个性描述文本中的每一个性描述文本，利用自然语言推理模型，确定所述个性描述文本与所述对话回复信息之间是否为文本蕴含关系。
这里，自然语言推理模型可以是任意合适的可以实现自然语言推理的模型，通过自然语言推理可以确定两个文本间是文本蕴含关系、冲突关系或不相关关系。文本蕴含关系描述的是两个文本之间的推理关系，例如，将文本A作为前提，文本B作为假设，如果根据前提A能够推理得出假设B，则说明A蕴含B，在A蕴含B，和/或B蕴含A的情况下，可以确定文本A与文本B之间为文本蕴含关系。冲突关系是指两个文本之间的含义互相冲突。不相关关系是指两个文本之间的含义互不相关。
针对每一个性描述文本，可以将该个性描述文本和对话回复信息输入到预设的自然语言推理模型中，得到该个性描述文本和对话回复信息之间的推理关系，进而确定该个性描述文本和对话回复信息之间是否为文本蕴含关系。
在步骤S412中，将所述至少一个个性描述文本中，与所述对话回复信息之间为文本蕴含关系的个性描述文本确定为目标个性描述文本。
这里，至少一个个性描述文本中可以有一个或者多个个性描述文本与对话回复信息之间为文本蕴含关系，可以将至少一个个性描述文本中，与对话回复信息之间为文本蕴含关系的个性描述文本确定为目标个性描述文本。目标个性描述文本的数量可以是一个，也可以是多个，这里并不限定。
这样，可以快速准确地从至少一个个性描述文本中，确定与待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本，提升个性匹配的准确率。
在一些实施例中，所述待增强的对话数据样本的历史聊天信息包括至少一个历史聊天语句，上述步骤S402中所述的所述待增强的对话数据样本的历史聊天信息包括至少一个历史聊天语句，可以通过如下步骤S421至步骤S422实现。
在步骤S421中，从所述待增强的对话数据样本的至少一个历史聊天语句中，确定聊天时间距离所述对话回复信息最近的目标历史聊天语句。
这里，待增强的对话数据样本的历史聊天信息包括每一历史聊天语句分别对应一个聊天时间。在实施时，可以在历史聊天信息中包括每一历史聊天语句的聊天时间，根据每一历史聊天语句的聊天时间，确定聊天时间距离对话回复信息的回复时间最近的目标历史聊天语句，也可以在历史聊天信息中将每一历史聊天语句按照聊天时间的先后排序，历史聊天信息中的最后一句历史聊天语句即为聊天时间距离对话回复信息的回复时间最近的目标历史聊天语句。
在步骤S422中，基于所述目标个性描述文本、所述对话回复信息和所述目标历史聊天信息，得到一个个性匹配后的对话数据样本。
这里，可以将目标个性描述文本、对话回复信息和目标历史聊天信息分别作为一个新的对话数据样本中的人物个性信息、对话回复信息和历史聊天信息，并将该新的对话数据样本确定为个性匹配后的对话数据样本。
这样，由于聊天时间距离对话回复信息最近的历史聊天语句与当前的对话回复信息的相关性最大，因此将该历史聊天语句确定为目标历史聊天语句用于得到个性匹配后的对话数据样本，可以提升个性匹配后的对话数据样本中历史聊天信息与对话回复信息之间的相关度，进而可以进一步提升多样化扩充处理后的对话数据样本的质量。
本申请实施例中，从待增强的对话数据样本的至少一个个性描述文本中，确定与待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本，并针对每一目标个性描述文本，基于该目标个性描述文本、该对话回复信息和待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本。这样，可以得到人物个性信息与对话回复信息相匹配的个性匹配后的对话数据样本，从而在增强后的对话数据样本中可以更好地体现人物个人特性，提升数据质量。
在一些实施例中，参见图5，图5是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图，基于图3，图3中示出的步骤S103中所述的从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，可以通过如下步骤S501和/或步骤S502实现，下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S501中，从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
这里，可以针对个性匹配后的对话数据样本中的人物个性信息和对话回复信息，通过文本重组、模型预测、预训练语言模型改写等任意合适的方式，得到至少一个新的对话数据样本。新的对话数据样本与个性匹配后的对话数据样本相比，人物个性信息和对话回复信息均是不同的，是对个性匹配后的对话数据样本在人物个性信息维度和对话回复信息维度进行多样化扩充处理后得到的对话数据样本，也即增强后的对话数据样本。增强后的对话数据样本中，人物个性信息与对话回复信息表现的人物个性可以是相匹配的，也可以是无关的，这里并不限定。
在步骤S502中，从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
这里，可以针对个性匹配后的对话数据样本中的历史聊天信息，通过文本重组、模型预测、预训练语言模型改写等任意合适的方式，得到至少一个新的对话数据样本。新的对话数据样本与个性匹配后的对话数据样本相比，历史聊天信息是不同的，是对个性匹配后的对话数据样本在历史聊天信息维度进行多样化扩充处理后得到的对话数据样本，也即增强后的对话数据样本。
本申请实施例中，一方面，从人物个性信息维度和对话回复信息维度，对个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，从而可以从人物个性信息维度和对话回复信息维度提升增强的对话数据样本的多样性；另一方面，从历史聊天信息维度，对个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，可以从历史聊天信息维度提升增强的对话数据样本的多样性。
在一些实施例中，参见图6，图6是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图，基于图5，上述步骤S501可以通过如下步骤S601至步骤S603实现，下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
在步骤S601中，对所述个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息。
这里，可以预训练语言模型改写、文本重组等任意合适的方式，对个性匹配后的对话数据样本中的人物个性信息进行多样化扩充处理，得到至少一个新的对话数据样本。
在步骤S602中，针对每一扩充的人物个性信息，基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息。
这里，由于个性匹配后的对话数据样本的人物个性信息描述的人物个性与对话回复信息表现的人物个性是一致的，因此，针对每一扩充的人物个性信息，可以基于该扩充的人物个性信息，对个性匹配后的对话数据样本的对话回复信息进行相应的多样化扩充处理，得到与该扩充的人物个性信息对应的扩充的对话回复信息。每一扩充的对话回复信息表现的人物个性与对应的扩充的人物个性信息描述的人物个性是一致的。在实施时，可以采用与人物个性信息的多样化扩充处理对应的方式(如预训练语言模型改写、文本重组等)，对对话回复信息进行多样化扩充处理，得到与扩充的人物个性信息对应的扩充的对话回复信息；也可以基于扩充的人物个性信息和个性匹配后的对话数据样本的历史聊天信息，利用预先训练好的个性化对话生成模型生成与扩充的人物个性信息对应的扩充的对话回复信息。
在步骤S603中，基于每一所述扩充的人物个性信息、与所述扩充的人物个性信息对应的扩充的对话回复信息以及所述个性匹配后的对话数据样本的历史聊天信息，得到至少一个增强后的对话数据样本。
这里，可以针对每一扩充的人物个性信息，将该扩充的人物个性信息、与该扩充的人物个性信息对应的扩充的对话回复信息以及个性匹配后的对话数据样本的历史聊天信息分别作为一个新的对话数据样本中的人物个性信息、对话回复信息和历史聊天信息，并将该新的对话数据样本确定为增强后的对话数据样本。
在一些实施例中，所述人物个性信息包括个性描述文本，上述步骤S601可以通过如下步骤S611至步骤S612实现。
在步骤S611中，利用预训练语言模型，对所述个性描述文本中的至少一个字词和/或短语进行改写，得到至少一个改写后的个性描述文本。
这里，可以采用任意合适的预训练语言模型对个性描述文本中的至少一个字词和/或短语进行改写，包括但不限于BERT、ELMo、GPT、GPT2.0、XL-Net等模型中的一种或多种。在实施时，预训练语言模型可以基于个性描述文本的上下文语境，从预设的语料库中选取不同的字词和/或短语，对个性描述文本中的至少一个字或词进行预测、语料填充等处理，得到至少一个改写后的个性描述文本。个性描述文本中的字词可以是单字、词语、单词等。个性描述文本中的短语可以是短句、词组等。
在一些实施例中，可以利用预训练语言模型，对个性描述文本中的至少一个字词进行改写，得到至少一个改写后的个性描述文本。例如，可以首先对个性描述文本P′中的部分词汇进行随机掩盖(mask)，然后使用双向的预训练语言模型(如BERT模型等)，来预测被掩盖的词汇，并利用预测的词汇对对应的被掩盖的词汇进行替换，从而得到与个性描述文本P′在语义上不同的新的个性描述文本Pa(即改写后的个性描述文本)。在实施时，可以对个性描述文本P′中反映人物个性的字或词进行掩盖，在对同一字或词进行预测的结果有多个时，可以从多个预测结果中选取置信度最高的前N个结果，分别利用该N个结果，对对应的被掩盖的字或词进行替换，得到N个与个性描述文本P′在语义上不同的新的个性描述文本Pa，N为正整数。
在一些实施例中，可以利用预训练语言模型，对个性描述文本中的至少一个短语进行改写，得到至少一个改写后的个性描述文本。例如，可以将个性描述文本P′尾部的若干长度的文本掩盖，然后使用单向预训练语言模型(如GPT2模型等)来填充被掩盖的句子尾部的文本，从而得到与个性描述文本P′在语义上不同的新的个性描述文本Pa。
在步骤S612中，将每一改写后的个性描述文本确定为扩充的个性描述文本。
这样，由于预训练语言模型可以基于上下文语境，从语料库中选取不同的字词和/或短语，对个性描述文本中的字或词进行预测、语料填充等处理。因此，利用预训练语言模型，对个性描述文本中的至少一个字词和/或短语进行改写，可以引入新的人物个性信息，从而可以有效扩充个性描述文本的多样性，进而可以进一步提升增强后的对话数据样本的多样性。
在一些实施例中，上述步骤S602中所述的基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息，可以通过如下步骤S621a至步骤S621b实现。
在步骤S621a中，基于所述扩充的个性描述文本和所述个性匹配后的对话数据样本的个性描述文本，确定所述扩充的个性描述文本中改写前的字词和改写后的字词。
这里，扩充的个性描述文本是利用预训练语言模型对个性匹配后的对话数据样本的个性描述文本中的至少一个字词和/或短语进行改写得到的，通过比对扩充的个性描述文本和个性匹配后的对话数据样本的个性描述文本，可以确定扩充的个性描述文本中改写前的字词和改写后的字词。
在步骤S621b中，利用所述改写后的字词，对所述个性匹配后的对话数据样本的对话回复信息中包含的所述改写前的字词进行改写，得到与所述扩充的个性描述文本对应的扩充的对话回复信息。
这里，可以将个性匹配后的对话数据样本的对话回复信息中包含的改写前的字词，替换为对应的改写后的字词，得到与扩充的个性描述文本对应的扩充的对话回复信息。例如，个性匹配后的对话数据样本的个性描述文本“我最喜欢的食物为汉堡”，对话回复信息为“吃的汉堡，我最喜欢吃汉堡了”，如果扩充的个性描述文本为“我最喜爱的食物是冒菜”，对话回复信息中的“汉堡”全部改写为“冒菜”，可以得到“吃的冒菜，我最喜欢吃冒菜了”，即为与扩充的个性描述文本对应的扩充的对话回复信息。
这样，可以快速准确地生成与扩充的个性描述文本对应的扩充的对话回复信息，从而可以保证增强后的对话数据样本的人物个性信息与对话回复信息之间的一致性。
在一些实施例中，上述步骤S602中所述的基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息，可以通过如下步骤S622实现。
在步骤S622中，基于所述扩充的人物个性信息和所述个性匹配后的对话数据样本的历史聊天信息，进行对话回复信息预测，得到与所述扩充的人物个性信息对应的扩充的对话回复信息。
这里，可以基于扩充的人物个性信息和个性匹配后的对话数据样本的历史聊天信息，利用预先训练好的个性化对话生成模型生成与扩充的人物个性信息对应的扩充的对话回复信息。在实施时，可以采用任意合适的个性化对话生成模型，这里并不限定。个性化对话生成模型可以是预先基于大量的个性匹配后的对话数据样本进行训练后得到的。
这样，通过基于扩充的人物个性信息和个性匹配后的对话数据样本的历史聊天信息，进行对话回复信息预测，可以快速准确地得到与扩充的人物个性信息对应的扩充的对话回复信息。
需要说明的是，上述步骤S621a至步骤S621b，与步骤S622可以分别独立实施，也可以结合实施。例如，可以在步骤S621b之后，执行如下步骤S623：在确定个性匹配后的对话数据样本的对话回复信息中不包含所述改写前的字词的情况下，执行如下步骤S622。这样，可以针对不同的对话回复信息采用合适的方式进行多样化扩充处理，得到与扩充的人物个性信息对应的扩充的对话回复信息。
本申请实施例中，对个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息，针对每一扩充的人物个性信息，基于该扩充的人物个性信息，对个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与扩充的人物个性信息对应的扩充的对话回复信息，基于每一扩充的人物个性信息、与扩充的人物个性信息对应的扩充的对话回复信息以及个性匹配后的对话数据样本的历史聊天信息，得到至少一个增强后的对话数据样本。这样，可以对个性匹配后的对话数据样本的人物个性信息的多样性进行提升，并能为每一扩充后的人物个性信息扩充对应的对话回复信息，从而可以进一步提升增强后的对话数据样本的多样性，进而可以进一步提升对话数据样本集中样本的数量和多样性。
在一些实施例中，参见图7，图7是本申请实施例提供的对话数据的增强方法的一个可选的流程示意图，基于图5，上述步骤S502可以通过如下步骤S701至步骤S702实现，下面将结合各步骤进行说明，下述步骤的执行主体可以是前文的终端或服务器。
步骤S701中，采用反向翻译、条件变分自编码器、近义词替换、文本重组中的至少一种方式，对所述个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，得到至少一个扩充的历史聊天信息。
这里，可以采用反向翻译、条件变分自编码器、近义词替换、文本重组中的一种或多种方式，对个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，得到至少一个扩充的历史聊天信息。扩充的历史聊天信息与相比，在语义上可以相近或相同，也可以不同，这里并不限定。
采样反向翻译的方法对个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理的过程中，可以将个性匹配后的对话数据样本的历史聊天信息通过机器翻译模型翻译到与原始语言不同的新语言，再将翻译后的信息由机器翻译模型从新语言翻译到原始语言，在翻译过程中由于近义词、多义词以及翻译模型本身存在着一定偏差的缘故，翻译回原始语言的文本和原始文本在细节上有一定的差异但是在语义上相近，这样，可以得到至少一个扩充的历史聊天信息。
采用条件变分自编码器对个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理的过程中，可以利用条件变分自编码器中间变量的特性对个性匹配后的对话数据样本的历史聊天信息进行随机采样得到新的中间变量，再根据新的中间变量可以生成至少一个扩充的历史聊天信息。
采用近义词替换的方式对个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，是指将个性匹配后的对话数据样本的历史聊天信息中的至少一个字词采用近义词进行替换，得到至少一个扩充的历史聊天信息。
采用文本重组的方式对个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，是指按照预设的文本重组策略，将个性匹配后的对话数据样本的历史聊天信息中的至少两个字词进行重组，得到至少一个扩充的历史聊天信息。
步骤S702中，基于每一所述扩充的历史聊天信息，以及所述个性匹配后的对话数据样本的人物个性信息和对话回复信息，得到至少一个增强后的对话数据样本。
这里，可以针对每一扩充的历史聊天信息，将该扩充的历史聊天信息、以及个性匹配后的对话数据样本的人物个性信息和对话回复信息分别作为一个新的对话数据样本中的历史聊天信息、人物个性信息和对话回复信息，并将该新的对话数据样本确定为增强后的对话数据样本。
本申请实施例中，采用反向翻译、条件变分自编码器、近义词替换、文本重组中的至少一种方式，对个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，得到至少一个扩充的历史聊天信息，并基于每一扩充的历史聊天信息，以及个性匹配后的对话数据样本的人物个性信息和对话回复信息，得到至少一个增强后的对话数据样本。这样，可以对个性匹配后的对话数据样本的历史聊天信息的多样性进行提升，从而可以进一步提升增强后的对话数据样本的多样性，进而可以进一步提升对话数据样本集中样本的数量和多样性。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。本申请实施例提供的对话数据的增强方法可以应用于对个性化聊天机器人、个性化问答系统等产品中，基于待增强的对话数据样本，可以得到增强后的对话数据样本，且增强后的对话数据样本可以更好地体现人物个性特性，使用增强后的对话数据样本联合待增强的对话数据样本，训练产品的个性化对话生成模型，相比于只使用原始待增强的对话数据样本训练个性化对话生成模型，可以使得训练好的个性化对话生成模型可以生成更加贴合设定的人物个性的回复信息。例如，可以针对不同用户给的个性化聊天机器人设定不同的人物个性，基于训练好的个性化对话生成模型，可以使得个性化聊天机器人的对话回复更贴合用户喜好。
参见图8A，图8A为本申请实施例提供的一种对话数据的增强方法的实现流程示意图。如图8A所示，该方法可以包括数据蒸馏流程810和数据多样化流程820，下面分别对数据蒸馏流程810和数据多样化流程820进行具体说明：
1)数据蒸馏流程：
该流程用于对原始的个性化对话数据样本进行数据蒸馏处理，得到蒸馏数据样本。得到的蒸馏数据样本相比原始的个性化对话数据样本格式会得到简化，同时每个蒸馏数据样本的对话回复和人物个性信息有确定的一致性关系。
对于给定的原始的个性化对话数据样本(P,H,R)，对该个性化对话数据样本(P,H,R)进行数据蒸馏处理，可以得到蒸馏数据样本(P′,H′,R′)。这里，P为人物个性信息，P＝P1,P2,…,PL，共包含L个个性描述文本，L为正整数；H为历史聊天信息，H＝H1,H2,…,HM，共包含M句历史聊天语句，M为正整数；R为当前对话回复信息，包含单一文本。在对该个性化对话数据样本(P,H,R)进行数据蒸馏的流程中，首先，将人物个性信息P中包含的L个个性描述文本分别与当前对话回复信息R组成L个文本对(P1,R)，(P2,R)，…，(PL,R)；然后，判断每个个性描述文本Pk是否与当前对话回复R中所体现的人物个性相符，选出Pk与R中所体现的人物个性相符的文本对(Pk,R)；最后，得到蒸馏后的蒸馏数据样本(P′,H′,R′)，其中，P′＝Pk，H′＝HM，R′＝R。在实施时，可以使用自然语言推理模型判断每个文本对之间的关系，并在Pk与R为蕴含关系的情况下确定Pk与R中所体现的人物个性相符。对于含有多句历史聊天语句的历史聊天信息H，选择对应聊天时间最后的一句历史聊天语句HM(也就是和当前回复信息关系最大的历史聊天语句)作为蒸馏数据样本中的历史聊天信息，以简化对话数据样本的格式。
需要说明的是，由于不同的原始的个性化对话数据样本的R和P中的个性描述文本之间的关系不固定，R可能完全不体现人物个性也可能体现一个或者多个人物个性，因此，一个原始的个性化对话数据样本经过数据蒸馏处理后，可能得到0个、1个或者多个蒸馏数据样本。
2)数据多样化流程：
该流程用于对数据蒸馏流程得到的蒸馏数据样本(P′,H′,R′)中的人物个性信息、历史聊天信息和对话回复信息中进行多样化扩充处理，得到至少一个增强后的对话数据样本(Pa,Ha,Ra)。
在实施时，参见图8A，数据多样化流程820可以包括人物个性信息多样化821、历史聊天信息多样化822和对话回复信息对齐823，可分别对蒸馏数据样本中的P′、H′、R′进行多样化扩充处理。下面分别对人物个性信息多样化821、历史聊天信息多样化822和对话回复信息对齐823进行具体说明：
a)人物个性信息多样化
人物个性信息多样化可以对蒸馏数据样本(P′,H′,R′)中的人物个性信息P′进行多样化扩充处理，包括词汇级别的多样化和短语级别的多样化。通过人物个性信息多样化，可以得到至少一个新的个性描述文本Pa。
在词汇级别的多样化过程中，可以首先对人物个性信息P′中的个性描述文本中的部分词汇进行随机掩盖(mask)，然后使用双向的预训练语言模型(如BERT模型等)，来预测被掩盖的词汇，并利用预测的词汇对对应的被掩盖的词汇进行替换，从而得到与原始个性描述文本在语义上不同的新的个性描述文本。在实施时，可以对反映人物个性的字或词进行掩盖，在对同一字或词进行预测的结果有多个时，可以从多个预测结果中选取置信度最高的前N个结果，分别利用该N个结果，对对应的被掩盖的字或词进行替换，得到N个与原始个性描述文本在语义上不同的新的个性描述文本Pa。例如，参见图8B，若原始的个性描述文本为“我最喜欢的食物是汉堡。”，可以对该个性描述文本中的“喜欢”和“汉堡”进行掩盖，利用BERT模型对被掩盖的词汇进行预测，可以得到新的个性描述文本“我最讨厌的食物是榴莲。”以及“我最喜爱的食物是冒菜。”。
在句子级别的多样化过程中，可以将人物个性信息P′中的个性描述文本尾部的若干长度的文本掩盖，然后使用单向预训练语言模型(如GPT2等)来填充被掩盖的句子尾部的文本，从而得到与原始个性描述文本在语义上不同的新的个性描述文本Pa。例如，参见图8C，若原始的个性描述文本为“我最喜欢的食物是汉堡。”，可以对该个性描述文本的尾部“食物是汉堡”进行掩盖，利用GPT2模型对被掩盖的句子尾部的文本进行预测，可以得到新的个性描述文本“我最喜欢的季节是夏天。”以及“我最喜欢的歌手是周杰伦。”。
在一些实施例中，还可以利用检索的方式，从其他数据集、网络或社交平台等中，检索得到一些语义上与蒸馏数据样本(P′,H′,R′)中的人物个性信息P′不同的至少一个新的个性描述文本Pa。
在一些实施例中，还可以利用CVAE采样生成的方法对蒸馏数据样本(P′,H′,R′)中的人物个性信息P′进行文本改写，得到至少一个新的个性描述文本Pa。
b)历史聊天信息多样化
历史聊天信息多样化可以对蒸馏数据样本(P′,H′,R′)中的历史聊天信息H′进行多样化扩充处理，得到至少一个新的历史聊天信息Ha。对于历史聊天信息多样化得到的新的历史聊天信息，可以不需要语义上与原始的历史聊天信息H′有较大的不同。在实施时，可以使用反向翻译、CVAE采样生成、近义词替换、文本重组等方法来得到新的历史聊天信息，从而增强历史聊天信息的多样性。例如，采样反向翻译的方法实现历史聊天信息多样化的过程中，可以将历史聊天信息H′通过机器翻译模型翻译到与原始语言不同的新语言，再将翻译后的信息由机器翻译模型从新语言翻译到原始语言，在翻译过程中由于近义词、多义词以及翻译模型本身存在着一定偏差的缘故，翻译回原始语言的文本和原始文本在细节上有一定的差异但是在语义上相近。这样，可以得到至少一个新的历史聊天信息Ha。
c)对话回复信息对齐
对话回复信息对齐是指对于新的人物个性信息Pa，需要保证有对应的新的对话回复信息Ra，新的对话回复信息Ra可以在与新的历史聊天信息Ha保持相关性的同时体现新的人物个性信息Pa。由于在历史聊天信息多样化的过程中，得到的Ha的语义与H′接近，所以在确定新的对话回复信息Ra的过程中，可以考虑如何让新得到的Ra能够准确地体现Pa的信息。在实施时，可以使用如下两种方法：
i)词汇改写：由于P′和R′有一定的人物个性一致性，，因而P′和R′之间可能有部分词汇重叠，而人物个性信息多样化过程中会将P′中的一部分词汇改写，如果将R′中相应位置的词汇也改写成与Pa中相同的新词汇，改写后得到的Ra也能体现Pa所对应的人物个性。例如，蒸馏数据样本(P′,H′,R′)中的P′为“我最喜欢的食物为汉堡”，H′为“你今天中午吃的什么”，R′为“吃的汉堡，我最喜欢吃汉堡了”，如果经过人物个性信息多样化过程得到的Pa为“我最喜爱的食物是冒菜”，那么可以将R′中的“汉堡”全部替换为“冒菜”，即Ra为“吃的冒菜，我最喜欢吃冒菜了”，从而可以得到与新的人物个性信息Pa对应的新的对话回复信息Ra。
ii)模型预测：在P′和R′之间可能不存在词汇重叠的情况下，可以使用一个在蒸馏数据样本(P′,H′,R′)上训练的个性化对话生成模型，将Pa和Ha作为输入，利用该个性化对话生成模型对对话回复信息进行预测，得到的输出可以作为Ra。
经过数据蒸馏流程和数据多样化流程，可以得到一系列的新的增强后的对话数据样本(Pa,Ha,Ra)，并将该增强后的对话数据样本(Pa,Ha,Ra)作为额外的数据样本，用于训练个性化聊天机器人、个性化问答系统等产品中的个性化对话生成模型，以增强个性化对话生成模型的性能。
本申请实施例提供的对话数据的增强方法，可以提升个性化对话生成模型在使用已有数据样本集进行训练时所得到的性能。首先对已有数据集中的原始的对话数据样本进行数据蒸馏，得到蒸馏数据样本，每个蒸馏数据样本的对话回复信息和提供的人物个性信息有确定的一致性关系，然后通过预训练模型改写、反向翻译、模型预测等方法中的一种或多种，进一步扩充蒸馏数据，得到已有数据集的增强数据。这样，一方面通过预训练模型(如BERT、GPT2等)改写的手段，可以产生一些新的语义较为不同的人物个性描述文本；另一方面，通过数据蒸馏的方法，得到的蒸馏数据样本中的对话回复信息R′和人物个性信息P′存在着一致性关系，可以使得基于蒸馏数据样本增强后的样本的对话回复信息可以更好地体现人物个性。因而，本申请实施例提供的对话数据的增强方法，通过数据蒸馏和数据多样化的手段，既可以提升对话数据样本的质量，也增加了对话数据样本的数量和多样性。使用增强后的对话数据样本联合原始的对话数据样本，训练个性化对话生成模型，相比于只使用原始的对话数据样本训练个性化对话生成模型，最后得到的训练好的模型的性能上有一定的提升。在PersonaChat基准数据集上使用Transformer和Seq2seq作为个性化对话生成模型的情况下，使用本申请实施例提供的对话数据的增强方法生成的增强后的对话数据样本，相比于不使用数据增强，训练得到的模型在生成对话流畅度以及聊天历史相关性方面都有10％的提升，在体现人物个人特性方面，可以达到80％的提升。
下面继续说明本申请实施例提供的对话数据的增强装置255的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器250的对话数据的增强装置255中的软件模块可以包括：
获取模块2551，用于获取待增强的对话数据样本；其中，所述对话数据样本中包括人物个性信息、历史聊天信息以及针对所述历史聊天信息的对话回复信息；
匹配模块2552，用于对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；
扩充模块2553，用于针对每一所述个性匹配后的对话数据样本，从人物个性信息维度、历史聊天信息维度和对话回复信息维度中的至少一个维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
在一些实施例中，所述人物个性信息包括至少一个个性描述文本，所述匹配模块还用于：从所述待增强的对话数据样本的至少一个个性描述文本中，确定与所述待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本；针对每一目标个性描述文本，基于所述目标个性描述文本、所述对话回复信息和所述待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本。
在一些实施例中，所述匹配模块还用于：针对所述至少一个个性描述文本中的每一个性描述文本，利用自然语言推理模型，确定所述个性描述文本与所述对话回复信息之间是否为文本蕴含关系；将所述至少一个个性描述文本中，与所述对话回复信息之间为文本蕴含关系的个性描述文本确定为目标个性描述文本。
在一些实施例中，所述待增强的对话数据样本的历史聊天信息包括至少一个历史聊天语句，所述匹配模块还用于：从所述待增强的对话数据样本的至少一个历史聊天语句中，确定聊天时间距离所述对话回复信息最近的目标历史聊天语句；基于所述目标个性描述文本、所述对话回复信息和所述目标历史聊天信息，得到一个个性匹配后的对话数据样本。
在一些实施例中，所述扩充模块还用于以下至少之一：从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本；从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
在一些实施例中，所述扩充模块还用于：对所述个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息；针对每一扩充的人物个性信息，基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息；基于每一所述扩充的人物个性信息、与所述扩充的人物个性信息对应的扩充的对话回复信息以及所述个性匹配后的对话数据样本的历史聊天信息，得到至少一个增强后的对话数据样本。
在一些实施例中，所述人物个性信息包括个性描述文本，所述扩充模块还用于：利用预训练语言模型，对所述个性描述文本中的至少一个字词和/或短语进行改写，得到至少一个改写后的个性描述文本；将每一改写后的个性描述文本确定为扩充的个性描述文本。
在一些实施例中，所述扩充模块还用于：基于所述扩充的个性描述文本和所述个性匹配后的对话数据样本的个性描述文本，确定所述扩充的个性描述文本中改写前的字词和改写后的字词；利用所述改写后的字词，对所述个性匹配后的对话数据样本的对话回复信息中包含的所述改写前的字词进行改写，得到与所述扩充的个性描述文本对应的扩充的对话回复信息。
在一些实施例中，所述扩充模块还用于：基于所述扩充的人物个性信息和所述个性匹配后的对话数据样本的历史聊天信息，进行对话回复信息预测，得到与所述扩充的人物个性信息对应的扩充的对话回复信息。
在一些实施例中，所述扩充模块还用于：采用反向翻译、条件变分自编码器、近义词替换、文本重组中的至少一种方式，对所述个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，得到至少一个扩充的历史聊天信息；基于每一所述扩充的历史聊天信息，以及所述个性匹配后的对话数据样本的人物个性信息和对话回复信息，得到至少一个增强后的对话数据样本。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的对话数据的增强方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的对话数据的增强方法，例如，如图3示出的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本申请实施例在进行对话数据的增强时，能够增强对话数据样本中的人物个性特性，从而能够提升对话数据样本集的质量，并且能够提升对话数据样本集中样本的数量和多样性。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (12)

1.一种对话数据的增强方法，其特征在于，包括：
获取待增强的对话数据样本；其中，所述对话数据样本中包括人物个性信息、历史聊天信息以及针对所述历史聊天信息的对话回复信息；
对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；
针对每一所述个性匹配后的对话数据样本，执行以下至少之一：从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本；从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
2.根据权利要求1所述的方法，其特征在于，所述人物个性信息包括至少一个个性描述文本，所述对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本，包括：
从所述待增强的对话数据样本的至少一个个性描述文本中，确定与所述待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本；
针对每一目标个性描述文本，基于所述目标个性描述文本、所述对话回复信息和所述待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本。
3.根据权利要求2所述的方法，其特征在于，所述从所述待增强的对话数据样本的至少一个个性描述文本中，确定与所述待增强的对话数据样本的对话回复信息相匹配的至少一个目标个性描述文本，包括：
针对所述至少一个个性描述文本中的每一个性描述文本，利用自然语言推理模型，确定所述个性描述文本与所述对话回复信息之间是否为文本蕴含关系；
将所述至少一个个性描述文本中，与所述对话回复信息之间为文本蕴含关系的个性描述文本确定为目标个性描述文本。
4.根据权利要求2或3所述的方法，其特征在于，所述待增强的对话数据样本的历史聊天信息包括至少一个历史聊天语句，所述基于所述目标个性描述文本、所述对话回复信息和所述待增强的对话数据样本的历史聊天信息，得到一个个性匹配后的对话数据样本，包括：
从所述待增强的对话数据样本的至少一个历史聊天语句中，确定聊天时间距离所述对话回复信息最近的目标历史聊天语句；
基于所述目标个性描述文本、所述对话回复信息和所述目标历史聊天语句，得到一个个性匹配后的对话数据样本。
5.根据权利要求1所述的方法，其特征在于，所述从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，包括：
对所述个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息；
针对每一扩充的人物个性信息，基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息；
基于每一所述扩充的人物个性信息、与所述扩充的人物个性信息对应的扩充的对话回复信息以及所述个性匹配后的对话数据样本的历史聊天信息，得到至少一个增强后的对话数据样本。
6.根据权利要求5所述的方法，其特征在于，所述人物个性信息包括个性描述文本，所述对所述个性匹配后的对话数据样本的人物个性信息，进行多样化扩充处理，得到至少一个扩充的人物个性信息，包括：
利用预训练语言模型，对所述个性描述文本中的至少一个字词和/或短语进行改写，得到至少一个改写后的个性描述文本；
将每一改写后的个性描述文本确定为扩充的个性描述文本。
7.根据权利要求6所述的方法，其特征在于，所述基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息，包括：
基于所述扩充的个性描述文本和所述个性匹配后的对话数据样本的个性描述文本，确定所述扩充的个性描述文本中改写前的字词和改写后的字词；
利用所述改写后的字词，对所述个性匹配后的对话数据样本的对话回复信息中包含的所述改写前的字词进行改写，得到与所述扩充的个性描述文本对应的扩充的对话回复信息。
8.根据权利要求5至7中任一项所述的方法，其特征在于，所述基于所述扩充的人物个性信息，对所述个性匹配后的对话数据样本的对话回复信息进行多样化扩充处理，得到与所述扩充的人物个性信息对应的扩充的对话回复信息，包括：
基于所述扩充的人物个性信息和所述个性匹配后的对话数据样本的历史聊天信息，进行对话回复信息预测，得到与所述扩充的人物个性信息对应的扩充的对话回复信息。
9.根据权利要求1所述的方法，其特征在于，所述从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本，包括：
采用反向翻译、条件变分自编码器、近义词替换、文本重组中的至少一种方式，对所述个性匹配后的对话数据样本的历史聊天信息进行多样化扩充处理，得到至少一个扩充的历史聊天信息；
基于每一所述扩充的历史聊天信息，以及所述个性匹配后的对话数据样本的人物个性信息和对话回复信息，得到至少一个增强后的对话数据样本。
10.一种对话数据的增强装置，其特征在于，包括：
获取模块，用于获取待增强的对话数据样本；其中，所述对话数据样本中包括人物个性信息、历史聊天信息以及针对所述历史聊天信息的对话回复信息；
匹配模块，用于对所述待增强的对话数据样本中的人物个性信息与对话回复信息进行个性匹配，得到至少一个个性匹配后的对话数据样本；
扩充模块，用于针对每一所述个性匹配后的对话数据样本，执行以下至少之一：从人物个性信息维度和对话回复信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本；从历史聊天信息维度，对所述个性匹配后的对话数据样本进行多样化扩充处理，得到至少一个增强后的对话数据样本。
11.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至9任一项所述的方法。
CN202110597727.2A 2021-05-31 2021-05-31 对话数据的增强方法、装置、设备、计算机存储介质 Active CN115481221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110597727.2A CN115481221B (zh) 2021-05-31 2021-05-31 对话数据的增强方法、装置、设备、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110597727.2A CN115481221B (zh) 2021-05-31 2021-05-31 对话数据的增强方法、装置、设备、计算机存储介质

Publications (2)

Publication Number Publication Date
CN115481221A CN115481221A (zh) 2022-12-16
CN115481221B true CN115481221B (zh) 2024-06-07

Family

ID=84419522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110597727.2A Active CN115481221B (zh) 2021-05-31 2021-05-31 对话数据的增强方法、装置、设备、计算机存储介质

Country Status (1)

Country Link
CN (1) CN115481221B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117787293B (zh) * 2024-02-27 2024-05-24 南京信息工程大学 一种基于大语言模型的个性化对话生成方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224623A (zh) * 2015-09-22 2016-01-06 北京百度网讯科技有限公司 数据模型的训练方法及装置
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
CN110298391A (zh) * 2019-06-12 2019-10-01 同济大学 一种基于小样本的迭代式增量对话意图类别识别方法
WO2019191337A1 (en) * 2018-03-28 2019-10-03 Conversica, Inc. Systems and methods for enhanced natural language processing for machine learning conversations
CN110837548A (zh) * 2019-11-05 2020-02-25 泰康保险集团股份有限公司 答案匹配方法、装置、电子设备及存储介质
CN111428015A (zh) * 2020-03-20 2020-07-17 腾讯科技（深圳）有限公司 一种信息生成方法、装置、设备及存储介质
CN112100350A (zh) * 2020-09-11 2020-12-18 湖南大学 一种用于强化回复个性化表达的开放域对话模型与方法
CN112100354A (zh) * 2020-09-16 2020-12-18 北京奇艺世纪科技有限公司 人机对话方法、装置、设备及存储介质
KR20200143766A (ko) * 2019-06-17 2020-12-28 주식회사 스캐터랩 감성형 채팅 어플리케이션, 채팅 어플리케이션의 채팅 서비스 방법 및 채팅 서버
CN112182159A (zh) * 2020-09-30 2021-01-05 中国人民大学 一种基于语义表示的个性化检索式对话方法和系统
CN112541063A (zh) * 2020-12-08 2021-03-23 山东师范大学 一种基于自学习对话模型的人机对话方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190286711A1 (en) * 2015-01-23 2019-09-19 Conversica, Inc. Systems and methods for message building for machine learning conversations
US10719770B2 (en) * 2016-09-28 2020-07-21 International Business Machines Corporation System and method for enhanced chatflow application
US10853717B2 (en) * 2017-04-11 2020-12-01 Microsoft Technology Licensing, Llc Creating a conversational chat bot of a specific person
US20200395008A1 (en) * 2019-06-15 2020-12-17 Very Important Puppets Inc. Personality-Based Conversational Agents and Pragmatic Model, and Related Interfaces and Commercial Models

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224623A (zh) * 2015-09-22 2016-01-06 北京百度网讯科技有限公司 数据模型的训练方法及装置
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
WO2019191337A1 (en) * 2018-03-28 2019-10-03 Conversica, Inc. Systems and methods for enhanced natural language processing for machine learning conversations
CN110298391A (zh) * 2019-06-12 2019-10-01 同济大学 一种基于小样本的迭代式增量对话意图类别识别方法
KR20200143766A (ko) * 2019-06-17 2020-12-28 주식회사 스캐터랩 감성형 채팅 어플리케이션, 채팅 어플리케이션의 채팅 서비스 방법 및 채팅 서버
CN110837548A (zh) * 2019-11-05 2020-02-25 泰康保险集团股份有限公司 答案匹配方法、装置、电子设备及存储介质
CN111428015A (zh) * 2020-03-20 2020-07-17 腾讯科技（深圳）有限公司 一种信息生成方法、装置、设备及存储介质
CN112100350A (zh) * 2020-09-11 2020-12-18 湖南大学 一种用于强化回复个性化表达的开放域对话模型与方法
CN112100354A (zh) * 2020-09-16 2020-12-18 北京奇艺世纪科技有限公司 人机对话方法、装置、设备及存储介质
CN112182159A (zh) * 2020-09-30 2021-01-05 中国人民大学 一种基于语义表示的个性化检索式对话方法和系统
CN112541063A (zh) * 2020-12-08 2021-03-23 山东师范大学 一种基于自学习对话模型的人机对话方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Expressing Coherent Personality with Incremental Acquisition of Multimodal Behaviors;Mota, Pedro 等;2018 27TH IEEE INTERNATIONAL SYMPOSIUM ON ROBOT AND HUMAN INTERACTIVE COMMUNICATION (IEEE RO-MAN 2018);20181231;第396-403页 *
任务型对话系统研究综述;赵阳洋;王振宇;王佩;杨添;张睿;尹凯;;计算机学报;20191105(10);第1862-1896页 *
基于HRED模型的中文多轮对话任务方法研究;王孟宇;俞鼎耀;严睿;胡文鹏;赵东岩;;中文信息学报;20200815(08);第78-85页 *
基于深度学习的个性化对话内容生成方法;王豪;郭斌;郝少阳;张秋韵;於志文;;图学学报;20200401(02);第210-216页 *
基于远监督的语义知识资源扩展研究;卢达威;王星友;袁毓林;;中文信息学报;20161115(06);第147-155页 *

Also Published As

Publication number Publication date
CN115481221A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
US10536402B2 (en) Context-sensitive generation of conversational responses
US20190163691A1 (en) Intent Based Dynamic Generation of Personalized Content from Dynamic Sources
CN110140133A (zh) 机器学习任务的隐式桥接
CN111831798A (zh) 信息处理方法、装置、电子设备及计算机可读存储介质
CN111142681B (zh) 一种确定汉字拼音的方法、系统、装置及存储介质
Wilks et al. A prototype for a conversational companion for reminiscing about images
KR20200014047A (ko) 시맨틱 트리플 기반의 지식 확장 시스템, 방법 및 컴퓨터 프로그램
CN116541493A (zh) 基于意图识别的交互应答方法、装置、设备、存储介质
CN117194646A (zh) 问答方法、装置以及电子设备
CN113392197A (zh) 问答推理方法、装置、存储介质及电子设备
CN117453925A (zh) 知识迁移方法、装置、设备、可读存储介质及程序产品
CN115481221B (zh) 对话数据的增强方法、装置、设备、计算机存储介质
CN114648032A (zh) 语义理解模型的训练方法、装置和计算机设备
WO2022221004A1 (en) Semantic parsing of utterance using contractive paraphrasing
JP6895037B2 (ja) 音声認識方法、コンピュータプログラム及び装置
CN117093460A (zh) 评估方法、装置、电子设备及计算机可读存储介质
KR101113940B1 (ko) 사용자 설정 상황에서 사용자가 선택한 단어를 기반으로 하는 언어 학습 시스템 및 그 언어 학습 방법
CN110249326B (zh) 自然语言内容生成器
CN114328857A (zh) 语句扩展方法、装置以及计算机可读存储介质
CN114911904A (zh) 机器人回复方法、装置、电子设备及存储介质
Sicilia et al. ISABEL: An Inclusive and Collaborative Task-Oriented Dialogue System
Shih Voice revolution
Patel et al. My Buddy App: Communications between Smart Devices through Voice Assist
JP7359196B2 (ja) 情報処理装置、情報処理方法、及び、情報処理プログラム
US20240184982A1 (en) Hierarchical text generation using language model neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant