CN112417127B - 对话模型的训练、对话生成方法、装置、设备及介质 - Google Patents

对话模型的训练、对话生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN112417127B
CN112417127B CN202011413401.1A CN202011413401A CN112417127B CN 112417127 B CN112417127 B CN 112417127B CN 202011413401 A CN202011413401 A CN 202011413401A CN 112417127 B CN112417127 B CN 112417127B
Authority
CN
China
Prior art keywords
question
sentences
sentence
answer
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011413401.1A
Other languages
English (en)
Other versions
CN112417127A (zh
Inventor
汪硕芃
周晓松
张聪
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202011413401.1A priority Critical patent/CN112417127B/zh
Publication of CN112417127A publication Critical patent/CN112417127A/zh
Application granted granted Critical
Publication of CN112417127B publication Critical patent/CN112417127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明提供一种对话模型的训练、对话生成方法、装置、设备及介质，涉及数据处理技术领域。该方法包括：获取包括有多个样本问答对的目标问答数据语料，目标问答数据语料包含满足非常规且高频条件的表达语句；根据目标问答数据语料对初始对话模型进行训练，得到对话模型，其中，对话模型用于根据输入语句的句向量和目标问答数据语料确定多个初始问答对，并评估各初始问答对的相关程度、基于相关程度输出输入语句对应的输出语句。基于目标问答数据语料所训练得到的对话模型，可以基于输入语句输出不常规的输出语句，即更加灵活、趣味性更高的语句，无需人工的特殊定制，便实现对于自动的输出趣味性较高语句，减少了开发资源，提高了开发效率。

Description

对话模型的训练、对话生成方法、装置、设备及介质
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种对话模型的训练、对话生成方法、装置、设备及介质。
背景技术
随着互联网和AI(Artificial Intelligence，人工智能)技术的高速发展，在游戏、电商、社交媒体等行业和领域，人机问答技术也变得必不可少，人机问答技术可以通过机器来替代人工回复用户的问题。
相关技术中，根据输入的问题，采用训练得到的模型输出一些较为安全的回复，一般此类回复趣味性较低。为了提升一些场景下的用户体验，现有技术中可以利用文本分类将输入的问题分发到不同场景下进行回复，以实现在不同场景下回复趣味性较高的内容。
但是，相关技术中，对于每种场景、每种情况均需要进行人工的定制，开发资源过高、且效率低下。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种对话模型的训练、对话生成方法、装置、设备及介质，以便解决相关技术中，对于每种场景、每种情况均需要进行人工的定制，开发资源过高、且效率低下的问题。
为实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供了一种对话模型的训练方法，所述方法包括：
获取包括有多个样本问答对的目标问答数据语料，所述目标问答数据语料包含满足非常规且高频条件的表达语句；
根据所述目标问答数据语料对初始对话模型进行训练，得到对话模型；所述对话模型用于根据输入语句的句向量和所述目标问答数据语料确定多个初始问答对，并评估各所述初始问答对的相关程度、基于所述相关程度输出所述输入语句对应的输出语句。
可选的，所述获取包括有多个样本问答对的目标问答数据语料，包括：
根据初始样本用户对话数据，确定初始问答数据语料；
基于预设训练语言模型，根据所述初始问答数据语料确定目标语句，所述目标语句为非常规且高频的语句；
根据所述目标语句从所述初始问答数据语料中筛选所述目标问答数据语料。
可选的，所述根据初始样本用户对话数据，确定初始问答数据语料，包括：
从预设领域服务数据中获取用户的对话日志文件；
对所述对话日志文件中的对话语句进行预设切割处理，获取目标问答对，所述目标问答对中问题语句和回答语句是一一对应的；
采用预设清洗规则，对所述目标问答对进行清洗处理，得到所述初始问答数据语料。
可选的，所述对所述对话日志文件中的对话语句进行预设切割处理，获取目标问答对，包括：
根据各所述对话语句的时间戳信息，对所述对话语句进行排序，得到排序后的对话语句；
对所述排序后的对话语句中，同一用户对应的多条连续对话语句进行合并，并对发送时间间隔大于预设阈值的相邻两个对话语句进行话题分割，得到处理后的对话语句；
将所述处理后的对话语句中为预设安全字符、且字符数量小于预设数量的语句进行过滤，得到所述目标问答对。
可选的，所述采用预设清洗规则，对所述目标问答对进行清洗处理，得到所述初始问答数据语料，包括：
删除所述目标问答对料中由非中文字符组成的语句、各语句中的首部和尾部的非中文字符；和/或，采用预设情感分析模型对所述目标问答对中包括有敏感词的问答对进行过滤，得到所述初始问答数据语料。
可选的，所述基于预设训练语言模型，根据所述初始问答数据语料确定目标语句，包括：
采用所述预设训练语言模型计算所述初始问答数据语料中各语句的困惑度，所述困惑度用于表征语句的常规程度；
根据所述困惑度对所述初始问答数据语料中各语句进行排序，得到排序后的初始问答数据语料；
对所述排序后的初始问答数据语料进行聚类分析，得到多个簇，每个所述簇可以包括至少一个语句；
对各所述簇中的语句进行筛选，得到所述目标语句。
可选的，所述对各所述簇中的语句进行筛选，得到所述目标语句，包括：
若所述簇中语句数量大于预设语句数量，则将所述簇中语句的各个子语句在所述初始问答数据语料中出现次数大于预设次数的语句，作为所述目标语句；或者，
若所述簇中包括一个语句，且所述语句的子语句在所述初始问答数据语料中出现次数大于所述预设次数，则将所述语句作为所述目标语句。
可选的，所述采用所述预设训练语言模型计算所述初始问答数据语料中各语句的困惑度，包括：
采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度；
根据多个所述困惑度进行归一化融合处理，得到各所述语句的目标困惑度。
可选的，所述采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度，包括：
采用第一预设训练语言模型对初始问答数据语料中各语句进行处理，输出各语句的编码值；
根据各所述语句的编码值和预设索引号进行计算，得到交叉熵；
根据预设参数和所述交叉熵，确定第一困惑度。
可选的，所述采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度，包括：
依次对各所述语句中的字符进行掩膜处理，得到多个掩膜后的子语句；
采用第二预设训练语言模型，分别对所述掩膜后的子语句进行处理，得到各所述掩膜后的子语句对应的分值；
将各所述掩膜后的子语句对应的分值的平均值，作为对应的所述语句的第二困惑度。
可选的，所述采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度，包括：
采用第三预设训练语言模型，分别计算各所述语句中的一部分字符的第一编码值、另一部分字符的第二编码值；
根据所述第一编码值和所述第二编码值进行计算，得到交叉熵；
根据预设参数和所述交叉熵，确定第三困惑度。
可选的，所述对话模型包括：第一匹配模型和第二匹配模型，所述第二匹配模型为孪生网络；
所述根据所述目标问答数据语料分别对初始相关性匹配模型进行训练，得到对话模型，包括：
对所述目标问答数据语料进行采样处理，得到正样本和负样本；
将所述正样本和所述负样本中的问答语句进行拼接，获取拼接后的样本；
根据所述拼接后的样本对初始第一匹配模型进行训练，直至所述初始第一匹配模型中损失函数收敛，得到所述第一匹配模型；
根据所述正样本、所述负样本和预设问答隐层向量计算余弦相似度，对初始孪生网络进行拟合训练，直至所述初始孪生网络中损失函数收敛，得到所述第二匹配模型。
可选的，所述对目标问答数据语料进行采样处理，得到正样本和负样本，包括：
将所述目标问答数据语料作为正样本；
对所述目标问答数据语料进行随机采样，得到第一采样数据；
对所述目标问答数据语料中，问题语句和回复语句中重复字符占比大于预设阈值的语句进行采样，得到第二采样数据；所述负样本包括所述第一采样数据和所述第二采样数据。
第二方面，本发明实施例还提供了一种应用于第一方面任一所述对话模型，所述方法包括：
采用字共现的方式，根据输入语句从目标问答数据语料中确定多个第一问答对，所述目标问答数据语料包含表征满足非常规且高频条件的表达语句；
根据所述输入语句的句向量，从所述从目标问答数据语料中确定多个第二问答对；
采用所述对话模型，获取各个所述第一问答对和所述第二问答对的相关程度，并根据所述相关程度，确定所述输入语句对应的输出语句，其中，所述相关程度用于表征各问答对中问题语句和回复语句的相关程度。
第三方面，本发明实施例还提供了一种对话模型的训练装置，所述装置包括：
获取模块，用于获取包括有多个样本问答对的目标问答数据语料，所述目标问答数据语料包含满足非常规且高频条件的表达语句；
训练模块，用于根据所述目标问答数据语料对初始对话模型进行训练，得到对话模型；所述对话模型用于根据输入语句的句向量和所述目标问答数据语料确定多个初始问答对，并评估各所述初始问答对的相关程度、基于所述相关程度输出所述输入语句对应的输出语句。
可选的，所述获取模块，还用于根据初始样本用户对话数据，确定初始问答数据语料；基于预设训练语言模型，根据所述初始问答数据语料确定目标语句，所述目标语句为非常规且高频的语句；根据所述目标语句从所述初始问答数据语料中筛选所述目标问答数据语料。
可选的，所述获取模块，还用于从预设领域服务数据中获取用户的对话日志文件；对所述对话日志文件中的对话语句进行预设切割处理，获取目标问答对，所述目标问答对中问题语句和回答语句是一一对应的；采用预设清洗规则，对所述目标问答对进行清洗处理，得到所述初始问答数据语料。
可选的，所述获取模块，还用于根据各所述对话语句的时间戳信息，对所述对话语句进行排序，得到排序后的对话语句；对所述排序后的对话语句中，同一用户对应的多条连续对话语句进行合并，并对发送时间间隔大于预设阈值的相邻两个对话语句进行话题分割，得到处理后的对话语句；将所述处理后的对话语句中为预设安全字符、且字符数量小于预设数量的语句进行过滤，得到所述目标问答对。
可选的，所述获取模块，还用于删除所述目标问答对料中由非中文字符组成的语句、各语句中的首部和尾部的非中文字符；和/或，采用预设情感分析模型对所述目标问答对中包括有敏感词的问答对进行过滤，得到所述初始问答数据语料。
可选的，所述获取模块，还用于采用所述预设训练语言模型计算所述初始问答数据语料中各语句的困惑度，所述困惑度用于表征语句的常规程度；根据所述困惑度对所述初始问答数据语料中各语句进行排序，得到排序后的初始问答数据语料；对所述排序后的初始问答数据语料进行聚类分析，得到多个簇，每个所述簇可以包括至少一个语句；对各所述簇中的语句进行筛选，得到所述目标语句。
可选的，所述获取模块，还用于若所述簇中语句数量大于预设语句数量，则将所述簇中语句的各个子语句在所述初始问答数据语料中出现次数大于预设次数的语句，作为所述目标语句；或者，若所述簇中包括一个语句，且所述语句的子语句在所述初始问答数据语料中出现次数大于所述预设次数，则将所述语句作为所述目标语句。
可选的，所述获取模块，还用于采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度；根据多个所述困惑度进行归一化融合处理，得到各所述语句的目标困惑度。
可选的，所述获取模块，还用于采用第一预设训练语言模型对初始问答数据语料中各语句进行处理，输出各语句的编码值；根据各所述语句的编码值和预设索引号进行计算，得到交叉熵；根据预设参数和所述交叉熵，确定第一困惑度。
可选的，所述获取模块，还用于依次对各所述语句中的字符进行掩膜处理，得到多个掩膜后的子语句；采用第二预设训练语言模型，分别对所述掩膜后的子语句进行处理，得到各所述掩膜后的子语句对应的分值；将各所述掩膜后的子语句对应的分值的平均值，作为对应的所述语句的第二困惑度。
可选的，所述获取模块，还用于采用第三预设训练语言模型，分别计算各所述语句中的一部分字符的第一编码值、另一部分字符的第二编码值；根据所述第一编码值和所述第二编码值进行计算，得到交叉熵；根据预设参数和所述交叉熵，确定第三困惑度。
可选的，所述对话模型包括：第一匹配模型和第二匹配模型，所述第二匹配模型为孪生网络；所述训练模块，还用于对所述目标问答数据语料进行采样处理，得到正样本和负样本；将所述正样本和所述负样本中的问答语句进行拼接，获取拼接后的样本；根据所述拼接后的样本对初始第一匹配模型进行训练，直至所述初始第一匹配模型中损失函数收敛，得到所述第一匹配模型；根据所述正样本、所述负样本和预设问答隐层向量计算余弦相似度，对初始孪生网络进行拟合训练，直至所述初始孪生网络中损失函数收敛，得到所述第二匹配模型。
可选的，所述训练模块，还用于将所述目标问答数据语料作为正样本；对所述目标问答数据语料进行随机采样，得到第一采样数据；对所述目标问答数据语料中，问题语句和回复语句中重复字符占比大于预设阈值的语句进行采样，得到第二采样数据；所述负样本包括所述第一采样数据和所述第二采样数据。
第四方面，本发明实施例还提供了一种对话生成装置，应用于上述第一方面任一所述对话模型，所述装置包括：
确定模块，用于采用字共现的方式，根据输入语句从目标问答数据语料中确定多个第一问答对，所述目标问答数据语料包含表征满足非常规且高频条件的表达语句；根据所述输入语句的句向量，从所述从目标问答数据语料中确定多个第二问答对；
获取模块，用于采用所述对话模型，获取各个所述第一问答对和所述第二问答对的相关程度，并根据所述相关程度，确定所述输入语句对应的输出语句，其中，所述相关程度用于表征各问答对中问题语句和回复语句的相关程度。
第五方面，本发明实施例还提供了一种处理设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面和第二方面任一项所述的方法。
第六方面，本发明实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面和第二方面任一项所述的方法。
本发明的有益效果是：本发明实施例提供一种对话模型的训练方法，获取包括有多个样本问答对的目标问答数据语料，目标问答数据语料包含满足非常规且高频条件的表达语句；根据目标问答数据语料对初始对话模型进行训练，得到对话模型，其中，对话模型用于根据输入语句的句向量和目标问答数据语料确定多个初始问答对，并评估各初始问答对的相关程度、基于相关程度输出输入语句对应的输出语句。目标问答数据语料包含满足非常规且高频条件的语句，基于该目标问答数据语料所训练得到的对话模型，可以基于输入语句输出不常规的输出语句，即更加灵活、趣味性更高的语句，无需人工的特殊定制，便实现对于自动的输出趣味性较高语句，减少了开发资源，提高了开发效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图2为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图3为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图4为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图5为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图6为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图7为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图8为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图9为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图10为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图11为本发明实施例提供的一种对话模型的训练方法的流程示意图；
图12为本发明实施例提供的一种对话生成方法的流程示意图；
图13为本发明实施例提供的一种对话模型的训练装置的结构示意图；
图14为本发明实施例提供的一种对话生成装置的结构示意图；
图15为本发明实施例提供的一种处理设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
针对相关技术中智能对话的场景，对于每种场景、每种情况均需要进行人工的定制，开发资源过高、且效率低下的问题，本申请实施例提供一种对话模型的训练方法，目标问答数据语料包含满足非常规且高频条件的语句，基于该目标问答数据语料所训练得到的对话模型，可以基于输入语句输出不常规的输出语句，即更加灵活、趣味性更高的语句，无需人工的特殊定制，便实现对于自动的输出趣味性较高语句，减少了开发资源，提高了开发效率。
本申请实施例提供的一种对话模型的训练方法，其执行主体可以为处理设备，该处理设备可以为服务器，也可以为终端，还可以为其他类型的具备处理功能的设备，本申请实施例对此不进行具体限制。
图1为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图1所示，该方法可以包括：
S101、获取包括有多个样本问答对的目标问答数据语料。
其中，目标问答数据语料包含满足非常规且高频条件的表达语句。目标问答数据语料可以为趣味性较高且用户使用频率较高的表达语句。例如，非常规的语句可以为“哈哈哈，我爱了”，“我在跑商(一种游戏玩法)”等网络流行语。
需要说明的是，目标回答数据语料中的每个样本问答对，均可以包括一个样本问题和对应的一个样本回答。可选的，目标问答数据语料可以是不包括敏感词、非中文字符、无意义字符的数据。
在一种可能的实施方式中，目标问答数据语料可以为处理设备基于对话文件所获取到的数据，也可以为从其他平台上获取的数据，当然，也可以为采用其他方式得到的对话数据，本申请实施例对此不进行具体限制。
S102、根据目标问答数据语料对初始对话模型进行训练，得到对话模型。
其中，对话模型用于根据输入语句的句向量和目标问答数据语料确定多个初始问答对，并评估各初始问答对的相关程度、基于相关程度输出输入语句对应的输出语句。
在一些实施方式中，可以将目标问答数据语料输入初始对话模型中，初始对话模型可以对目标问答数据语料进行处理，可以更新初始对话模型中的模型参数，当初始对话模型中的评估参数满足预设条件时，得到训练好的对话模型。
在本申请实施例中，将输入语句输入对话模型中，采用对话模型对输入语句进行处理得到输入语句的句向量。基于输入语句的句向量可以在目标问答数据语料中查找得到多个初始问答对。继而采用对话模型评价各初始问答对中问题和回复的相关程度，基于各相关程度可以确定目标问答对，将目标问答对中的回复语句作为输入语句对应的输出语句。
当然，上述多个初始问答对中还可以包括：基于输入语句采用其他检索方式在目标问答数据语料中所检索到的问答对，本申请实施例对此不进行具体限制。
综上所述，本发明实施例提供一种对话模型的训练方法，获取包括有多个样本问答对的目标问答数据语料，目标问答数据语料包含满足非常规且高频条件的表达语句；根据目标问答数据语料对初始对话模型进行训练，得到对话模型，其中，对话模型用于根据输入语句的句向量和目标问答数据语料确定多个初始问答对，并评估各初始问答对的相关程度、基于相关程度输出输入语句对应的输出语句。目标问答数据语料包含满足非常规且高频条件的语句，基于该目标问答数据语料所训练得到的对话模型，可以基于输入语句输出不常规的输出语句，即更加灵活、趣味性更高的语句，无需人工的特殊定制，便实现对于自动的输出趣味性较高语句，减少了开发资源，提高了开发效率。
而且，对话模型学习到高频且非常规的信息，可以使得基于输入语句输出趣味性较高语句可以使得人机的对话互动更加灵活、有趣，提高了用户的体验。
可选的，图2为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图2所示，上述S101中，获取包括有多个样本问答对的目标问答数据语料的过程，可以包括：
S201、根据初始样本用户对话数据，确定初始问答数据语料。
其中，初始样本用户对话数据可以为用户和用户之间的对话数据。
在本申请实施例中，处理设备可以对初始样本用户对话数据进行处理，以过滤初始样本用户对话数据中的无意义字符、非中文字符、敏感词等，使得初始问答数据语料中包括多个初始问答对更加规整。每个初始问答对可以包括一个问题和对应的一个回复。
另外，初始问答数据语料中所包括的多个初始问答对，可以称为高质量问答对。
S202、基于预设训练语言模型，根据初始问答数据语料确定目标语句。
其中，目标语句为非常规且高频的语句。目标语句可以为问题语句，也可以为答复语句。
在一些实施方式中，处理设备可以基于预设训练语言模型，确定初始问答数据语料中各个语句的困惑度，即确定各个语句的常规程度，继而将困惑度较高，且在初始问答数据语料中高频出现的语句确定为目标语句。
S203、根据目标语句从初始问答数据语料中筛选目标问答数据语料。
在一种可能的实施方式中，处理设备根据各目标语句遍历初始问答数据语料，若该目标语句与初始问答数据语料中的问题语句相同，则该问题语句以及该问题语句对应的答复语句作为一个样本问答对。
另外，若该目标语句与初始问答数据语料中的答复语句相同，则该答复语句以及该答复语句对应的问题语句作为一个样本问答对，可以得到多个样本问答对，即构成目标问答数据语料。使得获取的高频且非常规目标问答数据语料，更加准确。
综上所述，根据初始样本用户对话数据，确定初始问答数据语料；基于预设训练语言模型，根据初始问答数据语料确定目标语句；根据目标语句从初始问答数据语料中筛选目标问答数据语料。
可选的，图3为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图3所示，上述S201中根据初始样本用户对话数据，确定初始问答数据语料的过程，可以包括：
S301、从预设领域服务数据中获取用户的对话日志文件。
其中，对话日志文件可以为实时对话日志文件，该对话日志文件可以用于表征两个用户之间的对话。
另外，预设领域服务数据可以为游戏领域服务数据，也可以为售卖领域服务数据，还可以为其他领域服务数据，本申请实施例对此不进行具体限制。
需要说明的是，可以基于对话模型的应用场景去选择和获取相应的对话日志文件，例如，将对话模型应用于游戏的自动问答时，预设领域服务数据可以为游戏领域服务数据。该对话日志文件可以通过网络获取，或者从相关数据库调用，在此不作限制。
S302、对对话日志文件中的对话语句进行预设切割处理，获取目标问答对。
其中，目标问答对中问题语句和回答语句是一一对应的。对话日志文件中的对话语句会出现一位用户连续发出多条消息，并且另一位用户很有可能不回消息等若干情况。
在一些实施方式中，处理设备可以对对话日志文件中连续的对话语句进行合并处理，对对话日志文件中的对话语句不同的话题进行切割，得到目标问答对。
S303、采用预设清洗规则，对目标问答对进行清洗处理，得到初始问答数据语料。
在本申请实施例中，处理设备可以采用预设清洗规则，对目标问答对进行清洗处理，以清洗其中无意义的字符和词语，使得得到的初始问答数据语料中可以包括有效、规整的语句。
可选的，图4为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图4所示，上述S302中对对话日志文件中的对话语句进行预设切割处理，获取目标问答对的过程，可以包括：
S401、根据各对话语句的时间戳信息，对对话语句进行排序，得到排序后的对话语句。
其中，各对话语句的时间戳信息，可以为对话时各对话语句的发送时间。处理设备可以根据各对话语句的发送时间，对多个对话语句进行排序，得到排序后的对话语句。
S402、对排序后的对话语句中，同一用户对应的多条连续对话语句进行合并，并对发送时间间隔大于预设阈值的相邻两个对话语句进行话题分割，得到处理后的对话语句。
在一种可能的实施方式中，可以对同一用户对应的多条连续对话语句进行合并拼接为一个语句，若相邻两个对话语句之间的时间间隔大于或者等于预设阈值，则抛弃之前的所有连续消息，对该相邻两个对话语句进行话题切割。
需要说明的是，对话日志文件可以为用户A和用户B之间的对话日志数据。处理后的对话语句均以‘A-B-A-B’的形式保留，如果该组信息中仅包含用户A或者用户B发送内容，则进行删除。将处理后的对话语句构建为QA(QueryAnswer，问答)对的形式，将形成3组合法QA问答对，分别为‘A-B’‘B-A’‘A-B’。QA对中第一条文本信息称为Query(问题)，第二条文本信息称为Answer(回答)。
S403、将处理后的对话语句中为预设安全字符、且字符数量小于预设数量的语句进行过滤，得到目标问答对。
在本申请实施例中，为了使得构建的目标问答对更有意义，将处理后的对话语句中问题语句中包括的预设安全字符进行删除处理，例如，预设安全字符可以为“好吧”，“哈哈”等字符。另外，处理设备还可以将处理后的对话语句中字符数量小于预设数量，且非首轮的QA回答对进行删除，其中，预设数量可以为5或者6，当然还可以为其他数量，本申请实施例对此不进行具体限制。
可选的，上述S303采用预设清洗规则，对目标问答对进行清洗处理，得到初始问答数据语料的过程，可以包括：删除目标问答对料中由非中文字符组成的语句、各语句中的首部和尾部的非中文字符；和/或，采用预设情感分析模型对目标问答对中的敏感词进行过滤，得到初始问答数据语料。
在一些实施方式中，处理设备可以将目标问答对中的答复语句输入情感分析模型，情感分析模型可以输出目标问答对中各答复语句的置信度，并将置信度大于预设置信度的语句所在的问答对进行删除，得到初始问答数据语料。
其中，上述置信度大于预设置信度的语句为包含敏感词的语句，预设置信度可以为0.95或者0.96，当然还可以其他数值，本申请实施例对此不进行具体限制。
可选的，图5为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图5所示，上述S202中基于预设训练语言模型，根据初始问答数据语料确定目标语句的过程，可以包括：
S501、采用预设训练语言模型计算初始问答数据语料中各语句的困惑度。
其中，困惑度用于表征语句的常规程度。其中，困惑度越高则说明语句越非常规；反之，困惑度越低则说明语句越常规。
在一种可能的实施方式中，处理设备可以将初始问答数据语料中各语句依次输入预设训练语言模型中，则预设训练语言模型可以输出各语句的困惑度；当然可以将初始问答数据语料中各语句同时输入预设训练语言模型中，本申请实施例对此不进行具体限制。
S502、根据困惑度对初始问答数据语料中各语句进行排序，得到排序后的初始问答数据语料。
在本申请实施例中，处理设备可以对初始问答数据语料中各语句进行唯一化处理，即保证相同的语句仅出现一次。继而并根据各语句的困惑度采用由高到低顺序，对初始问答数据语料中各语句进行排序，得到排序后的初始问答数据语料。
S503、对排序后的初始问答数据语料进行聚类分析，得到多个簇。
其中，每个簇可以包括至少一个语句。可选的，聚类分析的方式可以为HDBSCAN聚类分析，其中，HDBSCAN是一种基于密度的分层聚类算法，无需人为指定聚类数目。
在一种可能的实施方式中，在聚类分析的过程中，每一个语句的代表向量可以由sentence vector bert(句向量bert)模型进行infer(推断)得到，其中，sentence vectorbert(句向量bert)模型是CMNLI数据集上训练得到的。聚类的距离度量方式可以采用余弦距离，句向量X和句向量Y之间的距离sim(X，Y)可以为：根据该距离和多个预设阈值范围，可以将各句向量对应的语句划分到相应的簇中。
S504、对各簇中的语句进行筛选，得到目标语句。
需要说明的是，由于聚类分析本身和sentence vector bert模型的泛化能力具有一定的限制，因此，可以对聚类分析结果所指示的多个簇进行自动化后筛选处理，以确定满足非常规且高频的目标语句。
综上所述，考虑非常规的句子，可能只是某些罕见表达，若直接利用可能会造成误差，例如语料中突然出现的粤语表达。故而，可以利用聚类分析，将语义接近的句子聚到同一类，在语义层面考虑其出现的频次情况，召回高于一定阈值的作为用户高频但非常规的语言表达语料集合。
可选的，上述S504中对各簇中的语句进行筛选，得到目标语句的过程，可以包括：
若簇中语句数量大于预设语句数量，则将簇中语句的各个子语句在初始问答数据语料中出现次数均大于预设次数的语句，作为目标语句；或者，若簇中仅包括一个语句，且语句的子语句在初始问答数据语料中出现次数大于预设次数，则将语句作为目标语句。
其中，在聚类分析时，若一个簇中语句数量过多，可能会存在由于聚类算法本身造成语义上的偏移，因此，可以对聚类结果的每一个簇进行处理。
在一种可能的实施方式中，对簇中预设语句数量进行设定，遍历各个簇，判断簇中语句的数量是否大于预设语句数量；若簇中语句的数量是否大于预设语句数量，基于非中文字符对簇中的每个语句进行分割，得到每个语句对应的子语句，若该语句的每个子语句在初始问答数据语料中出现次数大于或者等于预设次数，则认为将该语句作为目标语句。
在另一种可能的实施方式中，由于sentence vector bert模型的泛化能力限制，可以对仅有一个语句的簇进行处理，将子语句在初始问答数据语料中出现的次数大于或者等于预设次数的语句，作为满足高频且非常规的目标语句。
可选的，图6为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图6所示，S501中采用预设训练语言模型计算初始问答数据语料中各语句的困惑度的过程，可以包括：
S601、采用多种基于不同算法的预设训练语言模型，分别计算初始问答数据语料中各语句的多个困惑度。
需要说明是，针对初始问答数据语料中每个语句，采用不同算法的预设训练语言模型可以输出不同的困惑度，得到初始问答数据语料中各个语句的多个困惑度。
S602、根据多个困惑度进行归一化融合处理，得到各语句的目标困惑度。
其中，处理设备可以对各困惑度进行归一化处理，得到多个归一化处理后的困惑度，求取多个归一化处理后的困惑度的平均值，得到各语句的目标困惑度。
在一种可能的实施方式中，各困惑度可以用scorei表示，各困惑度进行归一化处理后可以用scorenorm_i表示，多个困惑度中最大困惑度可以用 scoremax表示，多个困惑度中最小困惑度可以用scoremin表示，则继而再求取多个scorenorm_i的平均值，例如，多个scorenorm_i可以包括：scoreppl1、scoreppl2、scoreppl3，则目标困惑度/>
可选的，图7为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图7所示，上述S601中采用多种基于不同算法的预设训练语言模型，分别计算初始问答数据语料中各语句的多个困惑度的过程，可以包括：
S701、采用第一预设训练语言模型对初始问答数据语料中各语句进行处理，输出各语句的编码值。
其中，第一预设训练语言模型可以为Bert-whole-vision PPL模型。其中， Bert(双向编码器)为一种基于编码器端以masklanguagemodel(掩码语言模型)为目标的预训练语言模型。利用Bert可以更好的利用更多的数据，来构建更符合语义信息的句向量，语言困惑度也是其输出之一。
另外，可以将初始问答数据语料中各语句的one-hot(一位有效)编码序列输入第一预设训练语言模型中，第一预设训练语言模型可以输出各语句的编码值，该各语句的编码值可以用H表示。
在一些实施方式中，初始问答数据语料中语句假设序列长度为100， Bert隐层维度为768，Bert词表大小为21128，则初始问答数据语料中语句的编码值HR∈{100*768}＝Bert(XR ∈{100*21128})。
S702、根据各语句的编码值和预设索引号进行计算，得到交叉熵。
在一种可能的实施方式中，初始问答数据语料中语句的编码值可以用H 表示，预设索引号可以用label表示，label是句子的每一个字符本身在21128 维词表中的预设索引号，编码值和预设索引号的交叉熵可以表示为：CrossEntropy∈{label,H}。
S703、根据预设参数和交叉熵，确定第一困惑度。
其中，可以以预设参数为底，以交叉熵为指数，计算得到第一困惑度。该第一困惑度可以成为第一分数。
例如，预设参数可以用e表示，如上所述，交叉熵表示为CrossEntropy∈ {label,H}PPL，则第一困惑度可以表示为PPL＝eCrossEntropy∈{label,H}。
可选的，图8为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图8所示，上述S601中采用多种基于不同算法的预设训练语言模型，分别计算初始问答数据语料中各语句的多个困惑度的过程，可以包括：
S801、依次对各语句中的字符进行掩膜处理，得到多个掩膜后的子语句。
其中，掩膜处理可以为称为mask方式的处理。
另外，处理设备对各语句中的字符依次进行掩膜，每一个语句均可以得到多个掩膜后的子语句。
S802、采用第二预设训练语言模型，分别对掩膜后的子语句进行处理，得到各掩膜后的子语句对应的分值。
S803、将各掩膜后的子语句对应的分值的平均值，作为对应的语句的第二困惑度。
其中，第二预设训练语言模型可以为Bert-masked PPL模型。
在一些实施方式中，可以将每一个语句对应的多个掩膜后的子语句，均输入第二预设训练语言模型中，第二预设训练语言模型可以输出每个掩膜后的子语句对应的编码值，计算该编码值与对应预设索引号的交叉熵；以e为底交叉熵为指数，计算每个掩膜后的子语句对应的分值；多个掩膜后的子语句的分值平均值，可以作为对应语句的第二困惑度。
可选的，图9为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图9所示，上述采用多种基于不同算法的预设训练语言模型，分别计算初始问答数据语料中各语句的多个困惑度，包括：
S901、采用第三预设训练语言模型，分别计算各语句中的一部分字符的第一编码值、另一部分字符的第二编码值。
其中，第三预设训练语言模型可以为GPT PPL模型，GPT PPL采用以自回归方式训练的以GPT为基础模型，其中，GPT为一种基于解码器端以语言模型为目标的预训练语言模型。该模型本身自回归的训练目标与计算语言困惑度的目标非常接近。
在一些实施方式中，各语句中的一部分字符可以为第[0,n-1]个字符，另一部分字符可以为第n个字符，字符可以用token表示。
S902、根据第一编码值和第二编码值进行计算，得到交叉熵。
S903、根据预设参数和交叉熵，确定第三困惑度。
在本申请实施例中，S903的过程与上述S703的过程类似，此处不再一一赘述。
可选的，对话模型可以包括：第一匹配模型和第二匹配模型。其中，第二匹配模型为孪生网络。
图10为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图10所示，上述S102中根据目标问答数据语料分别对初始相关性匹配模型进行训练，得到对话模型的过程，可以包括：
S1001、对目标问答数据语料进行采样处理，得到正样本和负样本。
其中，正样本中问题语句和答复语句的匹配程度较高，负样本中问题语句和答复语句的匹配程度较低。例如可以将满足预设匹配度的问题语句和答复语句作为正样本，其他问题语句和答复语句作为负样本，其预设匹配度的值可以根据实际需求进行调整。
S1002、将正样本和负样本中的问答语句进行拼接，获取拼接后的样本。
其中，处理设备根据预设拼接字符，对各个样本中的问题语句和答复语句进行拼接，得到拼接后的样本。
在一些实施方式中，各样本的问题语句可以表示为Query，答复语句可以表示为Answer，预设拼接字符可以为[CLS]和[SEP]，则该样本对应的拼接后的样本可以表示为：[CLS]+Query+[SEP]+Answer。
S1003、根据拼接后的样本对初始第一匹配模型进行训练，直至初始第一匹配模型中损失函数收敛，得到第一匹配模型。
其中，初始第一匹配模型可以为单个RoBERTa模型，在RoBERTa模型后可以添加隐层和全连接层。
在本申请实施例中，将各个拼接后的样本输入初始第一匹配模型中，对输出的隐层向量采用平均池化，在隐层后添加全连接层进行分类处理，分类为问题以及答复匹配的样本、问题以及答复不匹配的样本，实现对初始第一匹配模型的训练，并计算初始第一匹配模型中的损失函数，当损失函数值收敛时，得到第一匹配模型。
另外，该第一匹配模型可以为基于问答拼接方式构建QA相关性匹配模型，采用该方式可以进行QA的相关性匹配，在第一匹配模型的推理阶段仍然需要输问答对的形式，但相对孪生网络方式，其精度更高。
S1004、根据正样本、负样本和预设问答隐层向量计算余弦相似度，对初始孪生网络进行拟合训练，直至初始孪生网络中损失函数收敛，得到第二匹配模型。
其中，孪生网络可以包括两个RoBERTa模型。预设问答隐层向量可以包括：问题隐层向量HQuery，以及答复隐层向量HAnswer。第二匹配模型可以称为基于孪生网络的方式构建QA相关性匹配模型。
在一种可能的方式中，可以将正样本和负样本中的问题语句输入初始孪生网络中一个RoBERTa模型，将正样本和负样本中的答复语句输入初始孪生网络中的另一个RoBERTa模型，继而利用预设问答隐层向量计算余弦相似度，对初始孪生网络进行拟合训练，计算初始孪生网络的损失函数，在初始孪生网络中损失函数收敛时，得到第二匹配模型。
需要说明的是，初始孪生网络中的两个RoBERTa模型其参数是可以共享的。在第二匹配模型的应用阶段，将所有经过第二匹配模型的多个样本问答对应的编码离线保存。将输入语句通过第二匹配模型进行语句编码，利用向量检索工具检所得到余弦距离最小的多个候选回复作为高质量回复。
另外，正样本训练目标可以是1.0，负样本训练目标可以是0.0。
可选的，图11为本发明实施例提供的一种对话模型的训练方法的流程示意图，如图11所示，S1001中对目标问答数据语料进行采样处理，得到正样本和负样本的过程，可以包括：
S1101、将目标问答数据语料作为正样本。
S1102、对目标问答数据语料进行随机采样，得到第一采样数据。
S1103、对目标问答数据语料中，问题语句和回复语句中重复字符占比大于预设阈值的语句进行采样，得到第二采样数据。
其中，负样本包括第一采样数据和第二采样数据。第一采样数据在负样本中占比可以为百分之五十，第二采样数据在负样本中占比可以为百分之五十。当时第一采样数据在负样本中占比，以及第二采样数据在负样本中占比还可以为其他数值，本申请实施例对此不进行具体限制。
需要说明的是，上述预设阈值可以为百分之五十，即，问题语句和回复语句中重复字符占比大于百分之五十时，说明该问题语句和回复语句所属的问答对问题和答复不匹配，因此，该问答对可以作为负样本。当然预设阈值也可以为其他数值，例如，预设阈值可以为百分之五十五或者百分之六十，本申请实施例对此不进行具体限制。
图12为本发明实施例提供的一种对话生成方法的流程示意图，如图12 所示，该方法可以包括：
S1201、采用字共现的方式，根据输入语句从目标问答数据语料中确定多个第一问答对。
其中，目标问答数据语料包含表征满足非常规且高频条件的表达语句。
在一些实施方式中，可以采用ES(ElasticSearch，一种分布式全文搜索) 的方式，在目标问答数据语料中查找与输入语句字共现程度最高的多个问题语句。将多个问题语句，以及该多个问题语句对应的答复语句，作为多个第一问答对。
例如，多个第一问答对的数量可以为第一数量，第一数量可以为10对，也可以为12对，还可以为其他数量，本申请实施例对此不进行具体限制。
S1202、根据输入语句的句向量，从目标问答数据语料中确定多个第二问答对。
在一种可能的实施方式中，可以将输入语句输入对话模型中，则对话模型可以输出输入语句的句向量。根据该输入语句的句向量，采用Annoy (approximate nearestneighbors oh yeah，搜索算法)向量检索的方式，从目标问答数据语料中从语义层面查询出，与该句向量语义相近的多个第二问答对。
例如，多个第一问答对的数量可以为第一数量，第一数量可以为10对，也可以为15对，还可以为其他数量，本申请实施例对此不进行具体限制。
可选的，对话模型可以包括第一匹配模型和第二匹配模型，可以将输入语句输入第二匹配模型中，第二匹配模型可以输出输入语句的句向量。
S1203、采用对话模型，获取各个第一问答对和第二问答对的相关程度，并根据相关程度，确定输入语句对应的输出语句。
其中，相关程度用于表征各问答对中问题语句和回复语句的相关程度。
在一种可能的实施方式中，将各个第一问答对和第二问答对，输入对话模型，对话模型可以输出各个第一问答对和第二问答对中问题语句和回复语句的相关程度。其中，相关程度可以为分值，分值可以在[0,1]之间，越接近1则说明问题语句和答复语句越匹配。处理设备可以将匹配度高的问答对中的答复语句作为输入语句的输出语句。
可选的，对话模型可以包括第一匹配模型和第二匹配模型，处理设备可以采用第一匹配模型，根据第一问答对和第二问答对，输出各个第一问答对和第二问答对中问题语句和答复语句的相关程度。
需要说明的是，第一匹配模型可以为上述S1003中所得到的模型，第二匹配模型可以为上述S1004中所得到的模型。
在本申请实施例中，处理设备可以根据各个第一问答对和第二问答对的相关程度，对第一问答对和第二问答由高至低对进行排序。对于排序靠前的问答对，即相关程度较高的问答对，可以进行规则后处理限制。例如，为了防止输入语句和输出语句过于接近的情况，将问题语句和答复语句共现程度较高的问答对进行删除，将问题语句和答复语句共现程度不高的，且相关程度最高的问答对中的答复语句作为输出语句。此外，还可以过滤一些语句敏感词的句子。
需要说明的是，上述共现程度采用文本编辑距离来衡量，即问题语句最少经过多少次插入，删除，替换操作可以变成答复语句，编辑距离小于句长本身的百分之二十的，可以算作共现程度较高的问答对。
综上所述，本申请实施例提供一种对话生成方法，采用字共现的方式，根据输入语句从目标问答数据语料中确定多个第一问答对，目标问答数据语料包含表征满足非常规且高频条件的表达语句；根据输入语句的句向量，从目标问答数据语料中确定多个第二问答对；采用对话模型，获取各个第一问答对和第二问答对的相关程度，并根据相关程度，确定输入语句对应的输出语句，其中，相关程度用于表征各问答对中问题语句和回复语句的相关程度。采用对话模型，可以基于输入语句输出非常规的输出语句，即更加灵活、趣味性更高的语句，无需人工的特殊定制，便实现对于自动的输出趣味性较高语句，减少了开发资源，提高了开发效率。
而且，基于字共现信息和基于语义信息(句向量)混合召回候选集的方法，可以提高召回质量，大大提升整体链路的响应效果。
图13为本发明实施例提供的一种对话模型的训练装置的结构示意图，如图13所示，装置包括：
获取模块1301，用于获取包括有多个样本问答对的目标问答数据语料，目标问答数据语料包含满足非常规且高频条件的表达语句；
训练模块1302，用于根据目标问答数据语料对初始对话模型进行训练，得到对话模型；对话模型用于根据输入语句的句向量和目标问答数据语料确定多个初始问答对，并评估各初始问答对的相关程度、基于相关程度输出输入语句对应的输出语句。
可选的，获取模块1301，还用于根据初始样本用户对话数据，确定初始问答数据语料；基于预设训练语言模型，根据初始问答数据语料确定目标语句，目标语句为非常规且高频的语句；根据目标语句从初始问答数据语料中筛选目标问答数据语料。
可选的，获取模块1301，还用于从预设领域服务数据中获取用户的对话日志文件；对对话日志文件中的对话语句进行预设切割处理，获取目标问答对，目标问答对中问题语句和回答语句是一一对应的；采用预设清洗规则，对目标问答对进行清洗处理，得到初始问答数据语料。
可选的，获取模块1301，还用于根据各对话语句的时间戳信息，对对话语句进行排序，得到排序后的对话语句；对排序后的对话语句中，同一用户对应的多条连续对话语句进行合并，并对发送时间间隔大于预设阈值的相邻两个对话语句进行话题分割，得到处理后的对话语句；将处理后的对话语句中为预设安全字符、且字符数量小于预设数量的语句进行过滤，得到目标问答对。
可选的，获取模块1301，还用于删除目标问答对料中由非中文字符组成的语句、各语句中的首部和尾部的非中文字符；和/或，采用预设情感分析模型对目标问答对中包括有敏感词的问答对进行过滤，得到初始问答数据语料。
可选的，获取模块1301，还用于采用预设训练语言模型计算初始问答数据语料中各语句的困惑度，困惑度用于表征语句的常规程度；根据困惑度对初始问答数据语料中各语句进行排序，得到排序后的初始问答数据语料；对排序后的初始问答数据语料进行聚类分析，得到多个簇，每个簇可以包括至少一个语句；对各簇中的语句进行筛选，得到目标语句。
可选的，获取模块1301，还用于若簇中语句数量大于预设语句数量，则将簇中语句的各个子语句在初始问答数据语料中出现次数大于预设次数的语句，作为目标语句；或者，若簇中包括一个语句，且语句的子语句在初始问答数据语料中出现次数大于预设次数，则将语句作为目标语句。
可选的，获取模块1301，还用于采用多种基于不同算法的预设训练语言模型，分别计算初始问答数据语料中各语句的多个困惑度；根据多个困惑度进行归一化融合处理，得到各语句的目标困惑度。
可选的，获取模块1301，还用于采用第一预设训练语言模型对初始问答数据语料中各语句进行处理，输出各语句的编码值；根据各语句的编码值和预设索引号进行计算，得到交叉熵；根据预设参数和交叉熵，确定第一困惑度。
可选的，获取模块1301，还用于依次对各语句中的字符进行掩膜处理，得到多个掩膜后的子语句；采用第二预设训练语言模型，分别对掩膜后的子语句进行处理，得到各掩膜后的子语句对应的分值；将各掩膜后的子语句对应的分值的平均值，作为对应的语句的第二困惑度。
可选的，获取模块1301，还用于采用第三预设训练语言模型，分别计算各语句中的一部分字符的第一编码值、另一部分字符的第二编码值；根据第一编码值和第二编码值进行计算，得到交叉熵；根据预设参数和交叉熵，确定第三困惑度。
可选的，对话模型包括：第一匹配模型和第二匹配模型，第二匹配模型为孪生网络；训练模块1302，还用于对目标问答数据语料进行采样处理，得到正样本和负样本；将正样本和负样本中的问答语句进行拼接，获取拼接后的样本；根据拼接后的样本对初始第一匹配模型进行训练，直至初始第一匹配模型中损失函数收敛，得到第一匹配模型；根据正样本、负样本和预设问答隐层向量计算余弦相似度，对初始孪生网络进行拟合训练，直至初始孪生网络中损失函数收敛，得到第二匹配模型。
可选的，训练模块1302，还用于将目标问答数据语料作为正样本；对目标问答数据语料进行随机采样，得到第一采样数据；对目标问答数据语料中，问题语句和回复语句中重复字符占比大于预设阈值的语句进行采样，得到第二采样数据；负样本包括第一采样数据和第二采样数据。
图14为本发明实施例提供的一种对话生成装置的结构示意图，应用于上述的对话模型，如图14所示，该装置可以包括：
确定模块1401，用于采用字共现的方式，根据输入语句从目标问答数据语料中确定多个第一问答对，目标问答数据语料包含表征满足非常规且高频条件的表达语句；根据输入语句的句向量，从目标问答数据语料中确定多个第二问答对；
获取模块1402，用于采用对话模型，获取各个第一问答对和第二问答对的相关程度，并根据相关程度，确定输入语句对应的输出语句，其中，相关程度用于表征各问答对中问题语句和回复语句的相关程度。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称 FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图15为本发明实施例提供的一种处理设备的结构示意图，该处理设备可以为服务器或者终端。
该装置包括：处理器1501、存储器1502。
存储器1502用于存储程序，处理器1501调用存储器1502存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文： Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种对话模型的训练方法，其特征在于，所述方法包括：
获取包括有多个样本问答对的目标问答数据语料，所述目标问答数据语料包含满足非常规且高频条件的表达语句；
根据所述目标问答数据语料对初始对话模型进行训练，得到对话模型；所述对话模型用于根据输入语句的句向量和所述目标问答数据语料确定多个初始问答对，并评估各所述初始问答对的相关程度、基于所述相关程度输出所述输入语句对应的输出语句；
所述对话模型包括：第一匹配模型和第二匹配模型，所述第二匹配模型为孪生网络；所述根据所述目标问答数据语料分别对初始相关性匹配模型进行训练，得到对话模型，包括：
对所述目标问答数据语料进行采样处理，得到正样本和负样本；
将所述正样本和所述负样本中的问答语句进行拼接，获取拼接后的样本；
根据所述拼接后的样本对初始第一匹配模型进行训练，直至所述初始第一匹配模型中损失函数收敛，得到所述第一匹配模型；
根据所述正样本、所述负样本和预设问答隐层向量计算余弦相似度，对初始孪生网络进行拟合训练，直至所述初始孪生网络中损失函数收敛，得到所述第二匹配模型。
2.根据权利要求1所述的方法，其特征在于，所述获取包括有多个样本问答对的目标问答数据语料，包括：
根据初始样本用户对话数据，确定初始问答数据语料；
基于预设训练语言模型，根据所述初始问答数据语料确定目标语句，所述目标语句为非常规且高频的语句；
根据所述目标语句从所述初始问答数据语料中筛选所述目标问答数据语料。
3.根据权利要求2所述的方法，其特征在于，所述根据初始样本用户对话数据，确定初始问答数据语料，包括：
从预设领域服务数据中获取用户的对话日志文件；
对所述对话日志文件中的对话语句进行预设切割处理，获取目标问答对，所述目标问答对中问题语句和回答语句是一一对应的；
采用预设清洗规则，对所述目标问答对进行清洗处理，得到所述初始问答数据语料。
4.根据权利要求3所述的方法，其特征在于，所述对所述对话日志文件中的对话语句进行预设切割处理，获取目标问答对，包括：
根据各所述对话语句的时间戳信息，对所述对话语句进行排序，得到排序后的对话语句；
对所述排序后的对话语句中，同一用户对应的多条连续对话语句进行合并，并对发送时间间隔大于预设阈值的相邻两个对话语句进行话题分割，得到处理后的对话语句；
将所述处理后的对话语句中为预设安全字符、且字符数量小于预设数量的语句进行过滤，得到所述目标问答对。
5.根据权利要求3所述的方法，其特征在于，所述采用预设清洗规则，对所述目标问答对进行清洗处理，得到所述初始问答数据语料，包括：
删除所述目标问答对料中由非中文字符组成的语句、各语句中的首部和尾部的非中文字符；和/或，采用预设情感分析模型对所述目标问答对中包括有敏感词的问答对进行过滤，得到所述初始问答数据语料。
6.根据权利要求2所述的方法，其特征在于，所述基于预设训练语言模型，根据所述初始问答数据语料确定目标语句，包括：
采用所述预设训练语言模型计算所述初始问答数据语料中各语句的困惑度，所述困惑度用于表征语句的常规程度；
根据所述困惑度对所述初始问答数据语料中各语句进行排序，得到排序后的初始问答数据语料；
对所述排序后的初始问答数据语料进行聚类分析，得到多个簇，每个所述簇包括至少一个语句；
对各所述簇中的语句进行筛选，得到所述目标语句。
7.根据权利要求6所述的方法，其特征在于，所述对各所述簇中的语句进行筛选，得到所述目标语句，包括：
若所述簇中语句数量大于预设语句数量，则将所述簇中语句的各个子语句在所述初始问答数据语料中出现次数大于预设次数的语句，作为所述目标语句；或者，
若所述簇中包括一个语句，且所述语句的子语句在所述初始问答数据语料中出现次数大于所述预设次数，则将所述语句作为所述目标语句。
8.根据权利要求6所述的方法，其特征在于，所述采用所述预设训练语言模型计算所述初始问答数据语料中各语句的困惑度，包括：
采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度；
根据多个所述困惑度进行归一化融合处理，得到各所述语句的目标困惑度。
9.根据权利要求8所述的方法，其特征在于，所述采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度，包括：
采用第一预设训练语言模型对初始问答数据语料中各语句进行处理，输出各语句的编码值；
根据各所述语句的编码值和预设索引号进行计算，得到交叉熵；
根据预设参数和所述交叉熵，确定第一困惑度。
10.根据权利要求8所述的方法，其特征在于，所述采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度，包括：
依次对各所述语句中的字符进行掩膜处理，得到多个掩膜后的子语句；
采用第二预设训练语言模型，分别对所述掩膜后的子语句进行处理，得到各所述掩膜后的子语句对应的分值；
将各所述掩膜后的子语句对应的分值的平均值，作为对应的所述语句的第二困惑度。
11.根据权利要求8所述的方法，其特征在于，所述采用多种基于不同算法的预设训练语言模型，分别计算所述初始问答数据语料中各语句的多个困惑度，包括：
采用第三预设训练语言模型，分别计算各所述语句中的一部分字符的第一编码值、另一部分字符的第二编码值；
根据所述第一编码值和所述第二编码值进行计算，得到交叉熵；
根据预设参数和所述交叉熵，确定第三困惑度。
12.根据权利要求1所述的方法，其特征在于，所述对所述目标问答数据语料进行采样处理，得到正样本和负样本，包括：
将所述目标问答数据语料作为正样本；
对所述目标问答数据语料进行随机采样，得到第一采样数据；
对所述目标问答数据语料中，问题语句和回复语句中重复字符占比大于预设阈值的语句进行采样，得到第二采样数据；所述负样本包括所述第一采样数据和所述第二采样数据。
13.一种对话生成方法，其特征在于，应用于上述权利要求1-12任一所述对话模型，所述方法包括：
采用字共现的方式，根据输入语句从目标问答数据语料中确定多个第一问答对，所述目标问答数据语料包含表征满足非常规且高频条件的表达语句；
根据所述输入语句的句向量，从所述从目标问答数据语料中确定多个第二问答对；
采用所述对话模型，获取各个所述第一问答对和所述第二问答对的相关程度，并根据所述相关程度，确定所述输入语句对应的输出语句，其中，所述相关程度用于表征各问答对中问题语句和回复语句的相关程度。
14.一种对话模型的训练装置，其特征在于，所述装置包括：
获取模块，用于获取包括有多个样本问答对的目标问答数据语料，所述目标问答数据语料包含满足非常规且高频条件的表达语句；
训练模块，用于根据所述目标问答数据语料对初始对话模型进行训练，得到对话模型；所述对话模型用于根据输入语句的句向量和所述目标问答数据语料确定多个初始问答对，并评估各所述初始问答对的相关程度、基于所述相关程度输出所述输入语句对应的输出语句；
所述对话模型包括：第一匹配模型和第二匹配模型，所述第二匹配模型为孪生网络；所述训练模块，还用于对所述目标问答数据语料进行采样处理，得到正样本和负样本；将所述正样本和所述负样本中的问答语句进行拼接，获取拼接后的样本；根据所述拼接后的样本对初始第一匹配模型进行训练，直至所述初始第一匹配模型中损失函数收敛，得到所述第一匹配模型；根据所述正样本、所述负样本和预设问答隐层向量计算余弦相似度，对初始孪生网络进行拟合训练，直至所述初始孪生网络中损失函数收敛，得到所述第二匹配模型。
15.一种对话生成装置，其特征在于，应用于上述权利要求1-12任一所述对话模型，所述装置包括：
确定模块，用于采用字共现的方式，根据输入语句从目标问答数据语料中确定多个第一问答对，所述目标问答数据语料包含表征满足非常规且高频条件的表达语句；根据所述输入语句的句向量，从所述从目标问答数据语料中确定多个第二问答对；
获取模块，用于采用所述对话模型，获取各个所述第一问答对和所述第二问答对的相关程度，并根据所述相关程度，确定所述输入语句对应的输出语句，其中，所述相关程度用于表征各问答对中问题语句和回复语句的相关程度。
16.一种处理设备，其特征在于，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-13任一项所述的方法。
17.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-13任一项所述的方法。
CN202011413401.1A 2020-12-02 2020-12-02 对话模型的训练、对话生成方法、装置、设备及介质 Active CN112417127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011413401.1A CN112417127B (zh) 2020-12-02 2020-12-02 对话模型的训练、对话生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011413401.1A CN112417127B (zh) 2020-12-02 2020-12-02 对话模型的训练、对话生成方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112417127A CN112417127A (zh) 2021-02-26
CN112417127B true CN112417127B (zh) 2023-08-22

Family

ID=74776302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011413401.1A Active CN112417127B (zh) 2020-12-02 2020-12-02 对话模型的训练、对话生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112417127B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033664A (zh) * 2021-03-26 2021-06-25 网易（杭州）网络有限公司 问答模型训练方法、问答方法、装置、设备及存储介质
CN113238947B (zh) * 2021-05-18 2023-08-08 山东大学 一种人机协同的对话系统评测方法及系统
CN113742471B (zh) * 2021-09-15 2023-09-12 重庆大学 一种普法问答系统的向量检索式对话方法
CN113792540B (zh) * 2021-09-18 2024-03-22 平安科技（深圳）有限公司 意图识别模型更新方法及相关设备
CN114416941B (zh) * 2021-12-28 2023-09-05 北京百度网讯科技有限公司 融合知识图谱的对话知识点确定模型的生成方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573000A (zh) * 2015-01-07 2015-04-29 北京云知声信息技术有限公司 基于排序学习的自动问答装置及方法
WO2017094212A1 (ja) * 2015-11-30 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018157700A1 (zh) * 2017-03-02 2018-09-07 腾讯科技（深圳）有限公司 对话生成方法、装置及存储介质
WO2019039375A1 (ja) * 2017-08-23 2019-02-28 国立研究開発法人情報通信研究機構 対話応答システム、モデル学習装置および対話装置
CN109739956A (zh) * 2018-11-08 2019-05-10 第四范式（北京）技术有限公司 语料清洗方法、装置、设备及介质
CN109977207A (zh) * 2019-03-21 2019-07-05 网易（杭州）网络有限公司 对话生成方法、对话生成装置、电子设备及存储介质
CN110399489A (zh) * 2019-07-08 2019-11-01 厦门市美亚柏科信息股份有限公司 一种聊天数据分段方法、装置及存储介质
CN110543552A (zh) * 2019-09-06 2019-12-06 网易（杭州）网络有限公司 对话交互方法、装置及电子设备
CN110704597A (zh) * 2019-09-29 2020-01-17 北京金山安全软件有限公司 对话系统可靠性校验方法、模型生成方法及装置
CN111125484A (zh) * 2019-12-17 2020-05-08 网易（杭州）网络有限公司 话题发现方法、系统及电子设备
CN111428010A (zh) * 2019-01-10 2020-07-17 北京京东尚科信息技术有限公司 人机智能问答的方法和装置
CN111666766A (zh) * 2019-03-05 2020-09-15 阿里巴巴集团控股有限公司 数据处理方法、装置和设备
CN111708873A (zh) * 2020-06-15 2020-09-25 腾讯科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质
US10847140B1 (en) * 2018-11-02 2020-11-24 Noble Systems Corporation Using semantically related search terms for speech and text analytics

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3593262A4 (en) * 2017-03-10 2020-12-09 Eduworks Corporation AUTOMATED TOOL FOR GENERATING QUESTIONS
US11170761B2 (en) * 2018-12-04 2021-11-09 Sorenson Ip Holdings, Llc Training of speech recognition systems

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573000A (zh) * 2015-01-07 2015-04-29 北京云知声信息技术有限公司 基于排序学习的自动问答装置及方法
WO2017094212A1 (ja) * 2015-11-30 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2018157700A1 (zh) * 2017-03-02 2018-09-07 腾讯科技（深圳）有限公司 对话生成方法、装置及存储介质
WO2019039375A1 (ja) * 2017-08-23 2019-02-28 国立研究開発法人情報通信研究機構 対話応答システム、モデル学習装置および対話装置
US10847140B1 (en) * 2018-11-02 2020-11-24 Noble Systems Corporation Using semantically related search terms for speech and text analytics
CN109739956A (zh) * 2018-11-08 2019-05-10 第四范式（北京）技术有限公司 语料清洗方法、装置、设备及介质
CN111428010A (zh) * 2019-01-10 2020-07-17 北京京东尚科信息技术有限公司 人机智能问答的方法和装置
CN111666766A (zh) * 2019-03-05 2020-09-15 阿里巴巴集团控股有限公司 数据处理方法、装置和设备
CN109977207A (zh) * 2019-03-21 2019-07-05 网易（杭州）网络有限公司 对话生成方法、对话生成装置、电子设备及存储介质
CN110399489A (zh) * 2019-07-08 2019-11-01 厦门市美亚柏科信息股份有限公司 一种聊天数据分段方法、装置及存储介质
CN110543552A (zh) * 2019-09-06 2019-12-06 网易（杭州）网络有限公司 对话交互方法、装置及电子设备
CN110704597A (zh) * 2019-09-29 2020-01-17 北京金山安全软件有限公司 对话系统可靠性校验方法、模型生成方法及装置
CN111125484A (zh) * 2019-12-17 2020-05-08 网易（杭州）网络有限公司 话题发现方法、系统及电子设备
CN111708873A (zh) * 2020-06-15 2020-09-25 腾讯科技（深圳）有限公司 智能问答方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dialogue act recognition in synchronous and asynchronous conversations;Maryam Tavafi;《The Faculty of Graduate and Postdoctoral Studies》;全文 *

Also Published As

Publication number Publication date
CN112417127A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112417127B (zh) 对话模型的训练、对话生成方法、装置、设备及介质
CN109299280B (zh) 短文本聚类分析方法、装置和终端设备
Garg et al. The structure of word co-occurrence network for microblogs
CN110309114B (zh) 媒体信息的处理方法、装置、存储介质和电子装置
Pota et al. A subword-based deep learning approach for sentiment analysis of political tweets
CN113283238B (zh) 文本数据处理的方法和装置、电子设备和存储介质
Mehndiratta et al. Identification of sarcasm using word embeddings and hyperparameters tuning
Zhang et al. STCS lexicon: Spectral-clustering-based topic-specific Chinese sentiment lexicon construction for social networks
CN111460162A (zh) 一种文本分类方法、装置、终端设备及计算机可读存储介质
CN115017303A (zh) 基于新闻文本进行企业风险评估的方法、计算设备和介质
Campbell et al. Content+ context networks for user classification in twitter
CN111581379B (zh) 一种基于作文扣题度的自动作文评分计算方法
Kundana Data Driven Analysis of Borobudur Ticket Sentiment Using Naïve Bayes.
CN110377706B (zh) 基于深度学习的搜索语句挖掘方法及设备
Das et al. Automated pipeline for sentiment analysis of political tweets
Gupta et al. Real-time sentiment analysis of tweets: A case study of Punjab elections
CN115730221A (zh) 基于溯因推理的虚假新闻识别方法、装置、设备及介质
Mozafari et al. Content similarity analysis of written comments under posts in social media
CN115269846A (zh) 文本处理方法、装置、电子设备及存储介质
CN111401070B (zh) 词义相似度确定方法及装置、电子设备及存储介质
CN113239143A (zh) 融合电网故障案例库的输变电设备故障处理方法及系统
CN113763934A (zh) 音频识别模型的训练方法、装置和存储介质及电子设备
CN113157993A (zh) 一种基于时序图极化分析的网络水军行为预警模型
Hosaka et al. An analytical model of website relationships based on browsing history embedding considerations of page transitions
Giancaterino NLP and Insurance–Workshop Results at SwissText 2022

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant