CN114780694A - 基于预训练语言模型的零微调拟人会话生成方法及设备 - Google Patents

基于预训练语言模型的零微调拟人会话生成方法及设备 Download PDF

Info

Publication number
CN114780694A
CN114780694A CN202210315679.8A CN202210315679A CN114780694A CN 114780694 A CN114780694 A CN 114780694A CN 202210315679 A CN202210315679 A CN 202210315679A CN 114780694 A CN114780694 A CN 114780694A
Authority
CN
China
Prior art keywords
conversation
resources
concepts
knowledge
language model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210315679.8A
Other languages
English (en)
Inventor
张笑涵
于济凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhipu Huazhang Technology Co ltd
Original Assignee
Beijing Zhipu Huazhang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhipu Huazhang Technology Co ltd filed Critical Beijing Zhipu Huazhang Technology Co ltd
Priority to CN202210315679.8A priority Critical patent/CN114780694A/zh
Publication of CN114780694A publication Critical patent/CN114780694A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于预训练语言模型的零微调拟人会话生成方法及设备，该方法基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源；基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复。通过本发明，能够自动构建适合多轮拟真对话的大模型引导语模板，基于大模型生成得到对话结果。

Description

基于预训练语言模型的零微调拟人会话生成方法及设备
技术领域
本发明涉及对话系统技术领域，尤其涉及一种基于预训练语言模型的零微调拟人会话生成方法、装置、计算机设备及存储介质。
背景技术
超大规模预训练语言模型的兴起，被认为是AI领域的范式革命。下一代人工智能的大量应用系统将依托于大模型构建，从而利用其超强的建模能力及预先蕴含的海量数据知识。在这些实际应用中，构建可以与人类对话的高仿真对话系统是被尤为关注的重要任务，尤其是通过引入一些与当前对话有关的外部知识，从而完成更高信息量，更具象化的对话生成已经亟待投入产业界使用。经调研可知，这个近年来备受关注的任务被定义为“知识具象化的对话生成”，即给定对话历史内容，从外部数据库中搜索选择相关的知识资源进行补充，最后生成一个符合上下文的高质量回复，要求对大规模语言模型进行充分挖掘和使用，并需要收集高质量的相关知识资源。
然而，虽然该任务相关的现有研究成果颇丰，如专门为仿真对话的大模型 PLATO-XL，开发者实际部署超大规模模型并构建对话系统仍然困难重重。首先，构建高拟真对话系统的高质量数据的集成十分困难，这一方面是因为高质量的知识获取本身就并不轻松，而且如果按照已有的方法的策略，要对大模型进行微调的话，则还需要额外准备大量的特定领域对话语料。这些数据的收集和有效维护都增加了部署大模型完成拟真对话的复杂度；其次，已有方法往往需要在效率和性能之间进行取舍，如效果优异的方法Inverse Prompt，由于要进行多次反向搜索的大模型查询，其时间开销非常高，而且微调超大规模模型本身的计算资源要求也比较高，这些都是开发者使用大模型的主要障碍。
发明内容
本发明提供一种基于预训练语言模型的零微调拟人会话生成方法、装置、计算机设备及存储介质，旨在支持无监督的自动知识补充，以及高效的高质量对话生成功能，方便开发者快速部署自己的拟人对话系统。
为此，本发明的第一个目的在于提出一种基于预训练语言模型的零微调拟人会话生成方法，包括：
基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源；
基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复。
其中，基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源，包括：
将所述关键词作为种子概念，从外部知识图谱中获取种子概念相关的概念描述和知识资源，同时获取种子概念相关的概念描述和知识资源对应的文本内容，得到关键词对应的资源数据；
将收集到的资源数据进行格式标准化；其中，标准化格式包括问答对形式和文本描述形式；
对格式标准化的资源数据进行数据拓展，作为所述资源数据的拓展候选集合；
对所述拓展候选集合进行聚类，以聚类结果为单位，与所述种子概念进行相似度计算，完成概念排序。
其中，问答对形式由收集到的三元组内容得到，文本描述形式由知识图谱中实体描述得到。
其中，基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复，包括步骤：
根据当前用户输入轮次作为查询从整个会话历史中挑选出k个相关对话轮次，作为输入基础；
对作为输入基础的k个相关对话轮次进行概念抽取，并基于抽取结果得到的概念从知识资源库中寻找相关对话型资源，补充在对应的会话轮次；
将多轮对话历史作为整体，从知识库中查找最相关的概念，并将其描述型资源插入在聊天之前，作为对话背景知识；
使用大规模预训练语言模型，将得到的整体对话作为输入，使用Beam Search 方式生成当轮对话回复。
其中，对所述拓展候选集合进行聚类时，采用K-means聚类算法，相似度计算公式如下所示：
Figure RE-RE-GDA0003701213510000031
其中cosine表示余弦相似度，sk表示一个特定的种子概念，
Figure RE-RE-GDA0003701213510000032
表示聚类类别。
其中，从整个会话历史中挑选出k个相关对话轮次，包括步骤：
针对整个会话历史中的句子，使用SentenceBert作为编码器，映射到768维的空间向量中；
基于以下公式计算相似度；
αt-i*cosine([Ui；Si]，Ut)
其中，cosine表示余弦相似度,α＝0.7,代表距离衰减系数,Ui和Si为对话中的语句,对应第i轮中用户和对话系统产生的对话语句，Ui表示本轮用户的输入语句。
其中，基于从历史会话中挑选的相关对话轮次，使用命名实体识别工具提取其中对应概念，从相关知识资源中搜索对应概念，得到三元组对话，插入会话内容中。
本发明的第二个目的在于提出一种基于预训练语言模型的零微调拟人会话生成装置，包括：
离线知识获取模块，用于基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源；
在线对话生成模块，用于基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复。
本发明的第三个目的在于提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述技术方案的方法。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现前述技术方案的方法。
区别于现有技术，本发明提供的基于预训练语言模型的零微调拟人会话生成方法，基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源；基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复。通过本发明，能够自动构建适合多轮拟真对话的大模型引导语模板，基于大模型生成得到对话结果。
附图说明
本发明的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提供的一种基于预训练语言模型的零微调拟人会话生成方法的流程示意图。
图2是本发明提供的一种基于预训练语言模型的零微调拟人会话生成方法中历史会话输入示意图。
图3是本发明提供的一种基于预训练语言模型的零微调拟人会话生成方法中修改后历史会话输入示意图。
图4是本发明提供的一种基于预训练语言模型的零微调拟人会话生成装置的结构示意图。
图5是本发明提供的一种非临时性计算机可读存储介质的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
图1为本发明实施例所提供的一种基于预训练语言模型的零微调拟人会话生成方法。该方法包括以下步骤：
步骤101，基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源。
本发明旨在构建机器人多轮闲聊对话，将需要解决的问题定义为：
输入是一个t轮的对话历史
Figure RE-RE-GDA0003701213510000051
其中Ut和 St都是句子，分别对应第i轮中用户和系统的对话内容，其中Ut也即是本轮的用户提问，系统需要基于外部知识资源
Figure RE-RE-GDA0003701213510000052
输出一个本轮的机器生成的回复St，其中
Figure RE-RE-GDA0003701213510000053
代表一系列与对话有关的外部资源。
步骤101具体包括：
将所述关键词作为种子概念，从外部知识图谱中获取种子概念相关的概念描述和知识资源，同时获取种子概念相关的概念描述和知识资源对应的文本内容，得到关键词对应的资源数据；
将收集到的资源数据进行格式标准化；其中，标准化格式包括问答对形式和文本描述形式；问答对形式由收集到的三元组内容得到，所述文本描述形式由知识图谱中实体描述得到。
对格式标准化的资源数据进行数据拓展，作为所述资源数据的拓展候选集合；
对所述拓展候选集合进行聚类，以聚类结果为单位，与所述种子概念进行相似度计算，完成概念排序。
步骤102，基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复
具体包括：
根据当前用户输入轮次作为查询从整个会话历史中挑选出k个相关对话轮次，作为输入基础；
对作为输入基础的k个相关对话轮次进行概念抽取，并基于抽取结果得到的概念从知识资源库中寻找相关对话型资源，补充在对应的会话轮次；
将多轮对话历史作为整体，从知识库中查找最相关的概念，并将其描述型资源插入在聊天之前，作为对话背景知识；
使用大规模预训练语言模型，将得到的整体对话作为输入，使用Beam Search 方式生成当轮对话回复。
对所述拓展候选集合进行聚类时，采用K-means聚类算法，相似度计算公式如下所示：
Figure RE-RE-GDA0003701213510000061
其中cosine表示余弦相似度，sk表示一个特定的种子概念，
Figure RE-RE-GDA0003701213510000062
表示聚类类别。
从整个会话历史中挑选出k个相关对话轮次，包括步骤：
针对整个会话历史中的句子，使用SentenceBert作为编码器，映射到768维的空间向量中；
基于以下公式计算相似度；
αt-i*cosine([Ui；Si]，Ut)
其中，cosine表示余弦相似度,α＝0.7,代表距离衰减系数,Ui和Si为对话中的语句,对应第i轮中用户和对话系统产生的对话语句，Ui表示本轮用户的输入语句。
基于从历史会话中挑选的相关对话轮次，使用命名实体识别工具提取其中对应概念，从相关知识资源中搜索对应概念，得到三元组对话，插入会话内容中。
下面将详细介绍基于预训练语言模型完成零微调拟真对话生成的实现方法，本实施例以中文语境下，体育主题的开放对话场景为例，将k设为2，使用中文的GLM模型作为预训练模型，它是一个生成式的具有100亿参数的预训练语言模型。
给定{滑雪，花样滑冰，短道速滑}作为种子，将作为种子的词条从两个方向进行内容获取：1)将这些词条链接到大规模百科知识图谱Xlore2中，如“滑雪”得到其对应的三元组及文本内容；2)将这些词条使用Bing搜索引擎进行搜索，得到对应文本内容。
资源数据的格式标准化，具体方式为：
问答对格式：1)将收集的三元组内容，使用基于规则的方法改写为问答对形式，如<滑雪，起源国家，A国>，被转写为“Q：滑雪的起源国家是哪个？A：滑雪的起源国家是A国。”由此进行收集；2)将包含种子概念的陈述句，使用基于T5的开源问句生成工具完成转化。如实体描述文本可生成问题“什么是滑雪？”
描述文本格式：将实体描述和搜索引擎中包含种子概念的文本段落进行保存。
这些格式的资源都通过其对应的种子概念进行索引构建，使它们可以使用Elastic Search方便地查询。
对于这些种子概念中对应的文本，使用NER工具及百科词条将其包含的知识概念进行发现，如滑雪界面中，可以找出“滑雪板”、“障碍滑雪”、“滑雪杖”、“高山滑雪”、“金属材料”等，这些概念都被作为候选暂存，但并不都应该被保留。
对于这些获取的候选概念，对它们进行聚类，在本实现中这些候选概念被使用K-means聚合成15个类别，每个类别用
Figure RE-RE-GDA0003701213510000071
表示，这些类别中的概念的置信度可以由以下公式求得，
Figure RE-RE-GDA0003701213510000072
其中cosine表示余弦相似度，sk表示一个特定的种子概念。最终保留分数最高的1个聚类中的候选概念，从而扩充种子概念集合。如本例子中的“滑雪板”、“障碍滑雪”、“滑雪杖”、“高山滑雪”等概念就被聚为一类后保留，而“金属材料”、“塑料”等概念则被剔除。
选取历史会话，如图2所示，包括6轮对话历史，第七轮提问“那滑雪运动员们每天的训练都怎么进行呢？”即是当前的用户查询，系统目标是针对此问题给出合适的回复。
所有的句子使用SentenceBert作为编码器，映射到一个768维的向量空间中。然后，基于以下公式完成相似度计算αt-i*cosine([Ui；Si]，Ut)，其中α＝0.7，根据当前问句，本专利选择最相关的2个历史对话作为会话历史保留，即 Q4,S4以及Q5,S5。
基于选择的2组对话，分别提取其中对应的概念，使用实体，Q4，S4和Q5， S5分别得到概念“滑雪”。以此，可以从离线资源库中，使用之前已经建立索引的Elastic Search，搜索“滑雪”，得到其相关的三元组对话，插入到对话内容之前，即Q：什么是滑雪？A：滑雪运动是运动员把滑雪板装在靴底上…。
将多轮对话历史作为整体，从知识库中查找最相关的概念，并将其描述型资源插入在聊天之前，作为对话背景知识。由于问答历史中不仅提及了“滑雪”，“自由式滑雪”还提及了“运动员”等概念，经过相似度计算，可得最相关概念为“冬季运动会”，并将其描述置于对话最前部分作为背景，由此，得到的大模型输入如图3。
使用大规模预训练语言模型GLM，将得到的整体对话作为输入，使用Beam Search等方式生成当轮对话回复。从而得到对应回复结果。在本例中，得到的回复结果为“他们都是按照每天不同的滑雪环境进行锻炼,滑雪时还要不断调整速度和滑行方向,这就要求运动员具有扎实的基础和良好的协调能力,再加上不断的学习和训练,才能练就好技术。”
在开放域对话场景以及“旅游”、“体育”两个特定领域收集。对于开放域的问答收集了75000个对话内容，而对于领域特定场景收集了6000个对话内容，并从连贯性，协调性，信息性，幻觉性以及吸引度五个维度完成人工评价。
实验结果表明，该方法在不进行模型训练或微调的情况下，可以连贯性，协调性和吸引度等维度取得与已有特定训练过的模型相匹敌的效果，且在信息性上有显著的优势，超越当前算法约30％。
此外，基于对已有方法进行部署和在线接口调用的实机测试效果，该方法与大模型的单次查询响应速度保持接近，超过已有的其他可控生成算法的响应速度约50％。
此外，如图4所示，本发明提供了一种基于预训练语言模型的零微调拟人会话生成装置，包括：
离线知识获取模块310，用于基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源；
在线对话生成模块320，用于基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复。
为了实现实施例，本发明还提出另一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如本发明实施例的零微调拟人会话生成。
如图5所示，非临时性计算机可读存储介质包括指令的存储器810，接口830，指令可由根据零微调拟人会话生成处理器820执行以完成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现所述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的零微调拟人会话生成。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现所述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。所述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
所述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，所述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对所述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于预训练语言模型的零微调拟人会话生成方法，其特征在于，包括：
基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源；
基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复。
2.根据权利要求1所述的基于预训练语言模型的零微调拟人会话生成方法，其特征在于，基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源，包括：
将所述关键词作为种子概念，从外部知识图谱中获取种子概念相关的概念描述和知识资源，同时获取种子概念相关的概念描述和知识资源对应的文本内容，得到关键词对应的资源数据；
将收集到的资源数据进行格式标准化；其中，标准化格式包括问答对形式和文本描述形式；
对格式标准化的资源数据进行数据拓展，作为所述资源数据的拓展候选集合；
对所述拓展候选集合进行聚类，以聚类结果为单位，与所述种子概念进行相似度计算，完成概念排序。
3.根据权利要求2所述的基于预训练语言模型的零微调拟人会话生成方法，其特征在于，所述问答对形式由收集到的三元组内容得到，所述文本描述形式由知识图谱中实体描述得到。
4.根据权利要求2所述的基于预训练语言模型的零微调拟人会话生成方法，其特征在于，基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复，包括步骤：
根据当前用户输入轮次作为查询从整个会话历史中挑选出k个相关对话轮次，作为输入基础；
对作为输入基础的k个相关对话轮次进行概念抽取，并基于抽取结果得到的概念从知识资源库中寻找相关对话型资源，补充在对应的会话轮次；
将多轮对话历史作为整体，从知识库中查找最相关的概念，并将其描述型资源插入在聊天之前，作为对话背景知识；
使用大规模预训练语言模型，将得到的整体对话作为输入，使用Beam Search方式生成当轮对话回复。
5.根据权利要求2所述的基于预训练语言模型的零微调拟人会话生成方法，其特征在于，对所述拓展候选集合进行聚类时，采用K-means聚类算法，相似度计算公式如下所示：
Figure FDA0003568930470000021
其中cosine表示余弦相似度，sk表示一个特定的种子概念，
Figure FDA0003568930470000022
表示聚类类别。
6.根据权利要求3所述的基于预训练语言模型的零微调拟人会话生成方法，其特征在于，从整个会话历史中挑选出k个相关对话轮次，包括步骤：
针对整个会话历史中的句子，使用SentenceBert作为编码器，映射到768维的空间向量中；
基于以下公式计算相似度；
αt-i*cosine([Ui；Si]，Ut)
其中，cosine表示余弦相似度,α＝0.7,代表距离衰减系数,Ui和Si为对话中的语句,对应第i轮中用户和对话系统产生的对话语句，Ut表示本轮用户的输入语句。
7.根据权利要求6所述的基于预训练语言模型的零微调拟人会话生成方法，其特征在于，基于从历史会话中挑选的相关对话轮次，使用命名实体识别工具提取其中对应概念，从相关知识资源中搜索对应概念，得到三元组对话，插入会话内容中。
8.一种基于预训练语言模型的零微调拟人会话生成装置，其特征在于，包括：
离线知识获取模块，用于基于给定的描述领域的关键词，获取所述关键词的相关语料，并进行概念集扩展，聚合资源以提供相关知识资源；
在线对话生成模块，用于基于用户会话历史，选取其中与所述关键词相关的会话轮次，对所述会话轮次中的对话进行概念抽取，基于抽取结果得到的概念从知识资源库中寻找相关资源，将所述会话轮次文本以及所述资源拼接整合构建引导语,作为大规模预训练语言模型的输入,输出结果为对应会话轮次的对话回复。
9.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202210315679.8A 2022-03-28 2022-03-28 基于预训练语言模型的零微调拟人会话生成方法及设备 Pending CN114780694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210315679.8A CN114780694A (zh) 2022-03-28 2022-03-28 基于预训练语言模型的零微调拟人会话生成方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210315679.8A CN114780694A (zh) 2022-03-28 2022-03-28 基于预训练语言模型的零微调拟人会话生成方法及设备

Publications (1)

Publication Number Publication Date
CN114780694A true CN114780694A (zh) 2022-07-22

Family

ID=82424634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210315679.8A Pending CN114780694A (zh) 2022-03-28 2022-03-28 基于预训练语言模型的零微调拟人会话生成方法及设备

Country Status (1)

Country Link
CN (1) CN114780694A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116720786A (zh) * 2023-08-01 2023-09-08 中国科学院工程热物理研究所 一种融合kg和plm的装配质量稳定性预测方法、系统及介质
CN116932703A (zh) * 2023-09-19 2023-10-24 苏州元脑智能科技有限公司 一种用户可控内容生成方法、装置、设备和介质
CN116957047A (zh) * 2023-09-19 2023-10-27 苏州元脑智能科技有限公司 一种采样网络更新方法、装置、设备和介质
CN117093679A (zh) * 2023-06-19 2023-11-21 无码科技（杭州）有限公司 一种大语言模型智能问诊对话方法、系统、设备及介质
CN117421416A (zh) * 2023-12-19 2024-01-19 数据空间研究院 交互检索方法、装置和电子设备
CN117787293A (zh) * 2024-02-27 2024-03-29 南京信息工程大学 一种基于大语言模型的个性化对话生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309883A (zh) * 2020-02-13 2020-06-19 腾讯科技（深圳）有限公司 基于人工智能的人机对话方法、模型训练方法及装置
KR20210063880A (ko) * 2019-11-25 2021-06-02 주식회사 데이터마케팅코리아 마케팅 지식 그래프를 위한 문서 분류 처리 방법 및 그 장치
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法
CN113836278A (zh) * 2021-08-13 2021-12-24 北京百度网讯科技有限公司 通用对话模型的训练与对话生成方法、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210063880A (ko) * 2019-11-25 2021-06-02 주식회사 데이터마케팅코리아 마케팅 지식 그래프를 위한 문서 분류 처리 방법 및 그 장치
CN111309883A (zh) * 2020-02-13 2020-06-19 腾讯科技（深圳）有限公司 基于人工智能的人机对话方法、模型训练方法及装置
CN113836278A (zh) * 2021-08-13 2021-12-24 北京百度网讯科技有限公司 通用对话模型的训练与对话生成方法、装置
CN113656569A (zh) * 2021-08-24 2021-11-16 电子科技大学 一种基于上下文信息推理的生成式对话方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117093679A (zh) * 2023-06-19 2023-11-21 无码科技（杭州）有限公司 一种大语言模型智能问诊对话方法、系统、设备及介质
CN117093679B (zh) * 2023-06-19 2024-04-02 无码科技（杭州）有限公司 一种大语言模型智能问诊对话方法、系统、设备及介质
CN116720786A (zh) * 2023-08-01 2023-09-08 中国科学院工程热物理研究所 一种融合kg和plm的装配质量稳定性预测方法、系统及介质
CN116720786B (zh) * 2023-08-01 2023-10-03 中国科学院工程热物理研究所 一种融合kg和plm的装配质量稳定性预测方法、系统及介质
CN116932703A (zh) * 2023-09-19 2023-10-24 苏州元脑智能科技有限公司 一种用户可控内容生成方法、装置、设备和介质
CN116957047A (zh) * 2023-09-19 2023-10-27 苏州元脑智能科技有限公司 一种采样网络更新方法、装置、设备和介质
CN116957047B (zh) * 2023-09-19 2024-01-23 苏州元脑智能科技有限公司 一种采样网络更新方法、装置、设备和介质
CN116932703B (zh) * 2023-09-19 2024-01-23 苏州元脑智能科技有限公司 一种用户可控内容生成方法、装置、设备和介质
CN117421416A (zh) * 2023-12-19 2024-01-19 数据空间研究院 交互检索方法、装置和电子设备
CN117421416B (zh) * 2023-12-19 2024-03-26 数据空间研究院 交互检索方法、装置和电子设备
CN117787293A (zh) * 2024-02-27 2024-03-29 南京信息工程大学 一种基于大语言模型的个性化对话生成方法及系统
CN117787293B (zh) * 2024-02-27 2024-05-24 南京信息工程大学 一种基于大语言模型的个性化对话生成方法及系统

Similar Documents

Publication Publication Date Title
CN114780694A (zh) 基于预训练语言模型的零微调拟人会话生成方法及设备
CN111930992B (zh) 神经网络训练方法、装置及电子设备
CN110427463B (zh) 搜索语句响应方法、装置及服务器和存储介质
CN112784130B (zh) 孪生网络模型训练、度量方法、装置、介质和设备
CN107329949B (zh) 一种语义匹配方法和系统
EP4016467A1 (en) Method and device for compositing action sequence of virtual object
CN111090727B (zh) 语言转换处理方法、装置及方言语音交互系统
CN107832439B (zh) 多轮状态追踪的方法、系统及终端设备
CN111767385A (zh) 一种智能问答方法及装置
CN114596844B (zh) 声学模型的训练方法、语音识别方法及相关设备
CN112232086A (zh) 一种语义识别方法、装置、计算机设备及存储介质
CN113590876A (zh) 一种视频标签设置方法、装置、计算机设备及存储介质
CN110795544B (zh) 内容搜索方法、装置、设备和存储介质
KR20240116864A (ko) 검색 엔진 결과를 사용하여 기계 학습 언어 모델 강화
CN112418302A (zh) 一种任务预测方法及装置
CN113221530A (zh) 一种基于circle loss的文本相似度匹配方法、装置、计算机设备和储存介质
Xie et al. Language-based audio retrieval task in DCASE 2022 challenge
CN113761887A (zh) 基于文本处理的匹配方法、装置、计算机设备和存储介质
CN106776782B (zh) 基于人工智能的语义相似度获取方法及装置
CN116680387A (zh) 基于检索增强的对话答复方法、装置、设备及存储介质
CN115186073A (zh) 一种基于混合检索的开放域表格文本问答方法
CN114022822A (zh) 视频配乐的获取方法、装置、电子设备及计算机可读介质
CN113761152A (zh) 一种问答模型的训练方法、装置、设备及存储介质
CN115705705A (zh) 基于机器学习的视频识别方法、装置、服务器和存储介质
CN118643115B (zh) 基于知识库的教育ai内容生成方法、系统和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination