CN116955569A - 对话生成方法、装置、设备及存储介质 - Google Patents

对话生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116955569A
CN116955569A CN202311004000.4A CN202311004000A CN116955569A CN 116955569 A CN116955569 A CN 116955569A CN 202311004000 A CN202311004000 A CN 202311004000A CN 116955569 A CN116955569 A CN 116955569A
Authority
CN
China
Prior art keywords
target
information
dialogue
template
prompt information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311004000.4A
Other languages
English (en)
Inventor
张丽
杜悦艺
王忠鹏
郭帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202311004000.4A priority Critical patent/CN116955569A/zh
Publication of CN116955569A publication Critical patent/CN116955569A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本公开提供了一种对话生成方法、装置、设备及存储介质，涉及计算机技术领域，尤其涉及深度学习、人工智能、生成式模型、大语言模型以及模型微调等技术领域。具体实现方案为：基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。有利于目标生成式大模型输出的准确和智能化。

Description

对话生成方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及深度学习、人工智能、生成式模型、大语言模型以及模型微调等技术领域，具体涉及一种对话生成方法、装置、设备及存储介质。
背景技术
在人机对话场景中，例如网络安全运维过程中，用户可能会遇到解决方式比较复杂的问题，因此，在用户寻求解决方式的过程中可能会涉及多轮问答对话，如何使客服机器人智能化的理解用户的问题、给出更加智能化的回复也是本领域研究的重点。
发明内容
本公开提供了一种对话生成方法、装置、设备及存储介质。
根据本公开的一方面，提供了一种对话生成方法，包括：
基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；
基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；
将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。
根据本公开的另一方面，提供了一种对话生成装置，包括：
第一确定单元，用于基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；
第一生成单元，基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；
第一输出单元，用于将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
本公开实施例提供的对话生成方法、装置、设备及存储介质。通过基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。由于第一目标提示信息中包含了与问题逻辑规则相关的对话示例，使得目标生成式大模型输出的目标问题答复更加准确和智能。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为应用本公开实施例的对话生成方法的系统的结构示意图；
图2A是根据本公开一实施例提供的对话生成方法的示意图；
图2B是根据本公开一实施例提供的问题逻辑规则的示意图；
图3是根据本公开一实施例提供的基于第一样本提示信息对第一预训练的生成式大模型进行训练的方法的示意图；
图4是根据本公开一实施例提供的问题逻辑规则的生成方法的示意图；
图5是根据本公开一实施例提供的基于第二样本提示信息对第二预训练的生成式大模型进行训练的方法的示意图；
图6是根据本公开一实施例提供的对话生成装置的示意图；
图7是用来实现本公开实施例的对话生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
公开实施例提供一种对话生成方法、装置、电子设备及存储介质。具体地，本公开实施例的对话生成可以由电子设备执行，其中，该电子设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、智能语音交互设备、智能家电、穿戴式智能设备、飞行器、智能车载终端等设备，终端还可以包括客户端，该客户端可以是音频客户端、视频客户端、浏览器客户端、即时通信客户端或小程序等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在人机对话过程中，例如网络安全运维过程中，有些问题是很简单的，比如定义类的，什么是透明模式。这种直接使用QUERY(查询)匹配技术匹配到标准QUERY、给出对应答案即可。
但有些问题的解决是比较复杂的，例如，当用户问到在线升级特征库失败怎么办这个问题的时候，我们需要通过调用某个命令或者某个API(Application ProgrammingInterface，应用程序借口)查看用户的环境中是否存在授权，接下来如果不存在授权的话，那么解决方案就是找管理员申请授权。如果存在授权，则还会有更加复杂、更加长的解决路径。
对于这些复杂问题，我们如果要很好的解决，面临如下两个问题：
第一个问题是需要从繁杂的文档(例如文本文档(word格式))中梳理出如上的问题逻辑树。针对这个问题，相关技术中主要依靠人工梳理来实现。但是，人工梳理需要耗费大量时间。每一个复杂问题，人都需要梳理、理解文档，从而抽取出问题逻辑树。
第二个问题是有了问题逻辑树之后，如何更加智能化的理解用户的回答、从而给出更加智能化的回复。
针对该问题，相关技术中主要是通过配置关键词来实现，即通过配置关键词的方式来理解用户的回答，但是该方式很容易出错，无法正确理解用户的回答。比如用户说了一堆话，如何把和这个问题相关的回复抽取出来，这个过程容易产生错误，导致无法正确理解用户意图。同时，因为是通过配置关键词的方式来理解用户的回答，那么针对用户的回答给出的回复实际上也是配置的，这个相对来说会有点固定和死板，无法体现出机器人的高级智能。
为了解决上述问题中的至少一个，本公开实施例提供一种对话生成方法、装置、设备及存储介质。通过基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。由于第一目标提示信息中包含了与问题逻辑规则相关的对话示例，使得目标生成式大模型输出的目标问题答复更加准确和智能。
以下将结合附图对本公开实施例进行具体说明。
图1为应用本公开实施例的对话生成方法的系统的结构示意图。请参照图1，该系统包括终端110和服务器120等；终端110和服务器120之间通过网络连接，比如，通过有线或无线网络连接等。
其中，终端110，可以用于显示图形用户界面。其中，该终端用于通过图形用户界面与用户进行交互，例如通过终端下载安装相应的客户端并运行，例如通过调用相应的小程序并运行，例如通过登录网站呈现相应的图像用户界面等。在本公开实施例中，终端110可以通过应用程序与用户进行交互，呈现对话上文。服务器120可以获取对话上文，基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。终端110还可以显示目标答复信息，以便解答用户问题。
需要说明的是，应用程序可以为安装在台式机上的应用程序、也可以为安装在移动终端的应用程序，还可以为嵌入到应用程序中的小程序等。
需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施例在此方面不受任何限制。相反，本公开的实施例可以应用于适用的任何场景。
以下进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
图2A是根据本公开一实施例提供的对话生成方法的示意图；请参照图2A，本公开实施例提供一种对话生成方法200，包括以下步骤S201至步骤S203。
步骤S201，基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；
步骤S202，基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；
步骤S203，将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。
可以理解，在复杂问题的人机对话过程中，可能需要进行多轮对话，多轮对话的对话上文为在客户机器人进行回复之前的用户与客服机器人之前的对话过程。
问题逻辑规则为该对话所涉及的问题的解答逻辑，例如可以表现为问题逻辑树的形式。
图2B是根据本公开一实施例提供的问题逻辑规则的示意图；请参照图2B，例如，当用户问到在线升级特征库失败怎么办这个问题的时候，我们需要通过调用某个命令或者某个API查看用户的环境中是否存在授权，接下来如果不存在授权的话，那么解决方案就是找管理员申请授权。如果存在授权，则需要判断是否配置外网DNS(Domain Name System，域名系统)。若未配置，则需要配置外网DNS，若已配置，则需要判断是否能够ping(PacketInternet Groper，因特网包探索器)通外网，若无法ping通，则需要检查网络环境，若能ping通，可以尝试在线升级特征库。可以理解，图2中是以逻辑树的形式进行表示，问题逻辑规则还可以通过文本形式进行表示。
对话示例(对话DEMO，简称DEMO)是指用户与客服机器人之间的对话示范，其可以为包含上下文的至少一轮对话。另外，对话示例的数量可以为一个或多个。
对话示例可以与问题逻辑规则相关，可以理解，每个问题逻辑规则可以与一个具体的主旨问题相关，问题逻辑规则为解决该主旨问题的整体解决方案的逻辑方法，例如主旨问题为在线升级特征库。对话示例采用与该具体的主旨问题相关的示例，如与在线升级特征库相关的对话。当然，针对其他主旨问题，如系统更新等问题，其问题逻辑规则和对话示例也会不同。各问题逻辑规则和对应的相关对话示例都可以是预先配置好。
可以理解，通过对话上文，可以获知用户主旨问题，例如“在线升级特征库失败怎么办”，针对该问题可以确定用户的主旨问题是关于在线升级特征库，根据该问题可以确定与其对应的问题逻辑规则和对话示例。
目标生成式大模型可以为生成式大规模语言模型，其可以为神经网络模型等。第一提示信息模板为目标生成式大模型的输入模板，具体可以为与多轮对话相关的模板。将对话上文、问题逻辑规则、对话示例等与第一提示信息模板结合，可以得到第一目标提示信息。
第一目标提示信息可以为作为目标生成式大模型的输入，目标生成式大模型可以根据第一目标提示信息，输出针对对话上文的目标答复信息。
可以理解，第一提示信息模板可以包括对话上文、问题逻辑规则、和对话示例数等数据的使用方法，通过第一提示信息模板得到的第一目标提示信息，可以引导目标生成式大模型，根据问题逻辑规则，利用对话示例作为参考进行输出，从而得到针对对话上文的目标答复信息。
以下结合第一目标提示信息的具体实施例，进行说明。
在一个实施例中，第一目标提示信息如下，用下方两个//包围起来的段落表示。
//
一、首先说一下目标：
1、你的目标是【扮演】【专家机器人】，针对【多轮对话的聊天上文】，给出输出。这个输出最重要的部分就是【智能化回复】。
2、这个【智能化回复】必须依据【问题整体解决方案的逻辑】产出。
3、同时为了帮助你产出正确的【智能化回复】，我会给你2个【DEMO】用于学习。你可以参考这2个【DEMO】，针对【多轮对话的聊天上文】，给出输出。
二、接下来，给出上面说到的3份数据，分别是【问题整体解决方案的逻辑】、【DEMO】、【多轮对话的聊天上文】。
1、【问题整体解决方案的逻辑】：下面用前后两个###包围起来的一段话，就是【问题整体解决方案的逻辑】。具体来说，是【在线升级特征库失败】的整体解决方案。我们可以看到，整体解决方案就像一颗二叉树，根据不同条件、存在不同的解决办法。可以看到，【在线升级特征库失败】为根节点。
2、【DEMO】：下面用两个包围起来的一段话，就是【DEMO】。具体来说，是2个【DEMO】。
每个【DEMO】包含两部分。
一部分是输入，也就是【多轮对话的聊天上文】。
一部分是输出，输出包含如何根据输入(也就是【多轮对话的聊天上文】)和【问题整体解决方案的逻辑】得到【智能化回复】的【推理过程】，以及最终的【智能化回复】。
3、【多轮对话的聊天上文】：下面用两个@@@包围起来的一段话，就是【多轮对话的聊天上文】。具体来说，你需要扮演专家机器人，针对这个【多轮对话的聊天上文】，给出【智能化回复】。
###【问题整体解决方案的逻辑】：
1、【在线升级特征库失败】：【需要问用户】【是否存在授权】
2、【是否存在授权】：
1、【不存在授权】：【最终解决方案】找管理员申请授权
2、【存在授权】：【需要问用户】【是否配置外网DNS】
3、【是否配置外网DNS】：
1、【没有配置好】：【中间解决方案】配置好外网DNS。用户执行【中间解决方案】后，状态变成【配置好了】，这个时候需要走【配置好了】的解决办法。
2、【配置好了】：【需要问用户】【是否能ping通外网DNS】
4、【是否能ping通外网DNS】：
1、【能ping通】：【最终解决方案】尝试在线升级特征库
2、【不能ping通】：【最终解决方案】检查网络环境
###
【DEMO】：
【DEMO】1:
1、输入：
1、用户：在线升级特征库失败了，怎么办，比较着急，辛苦帮忙快点看下
2、专家机器人：你看一下，你那边是否存在授权
3、用户：有授权
2、输出：
1、输入中有3句话。最后一句话是用户的回复：有授权。
2、根据整体解决方案可以知道，当前节点是【存在授权】，因而应对办法是：【需要问用户】【是否配置外网DNS】。所以专家机器人的【智能化回复】可以是：你看一下，你那边是否配置了外网DNS。
【DEMO】2:
1、输入：
1、用户：在线升级特征库失败了，怎么办呀？
2、输出：
1、输入中只有一句话，是用户说的。这句话是：在线升级特征库失败了，怎么办呀？
2、根据整体解决方案可以知道，当前节点是【在线升级特征库失败】，因而应对办法是：【需要问用户】【是否存在授权】。所以专家机器人的【智能化回复】可以是：你先看一下你那边是否存在授权
@@@【多轮对话的聊天上文】(最终输入)：
1、用户：在线升级特征库失败了，怎么办
2、专家机器人：你那边是否存在授权呢？
3、用户：存在
4、专家机器人：你再看一下，你是否配置了外网DNS
5、用户：配置好了
@@@
三、OK，所有的事情都阐述好了。
辛苦你【扮演】【专家机器人】，针对由两个@@@包围起来的【多轮对话的聊天上文】，给出输出。
输出格式参考2个【DEMO】中的输出。
//
以上为第一提示信息的一个示例，将其输入到目标生成式大模型后，可以得到的输出如下，用下方两个///包围起来的段落表示。
///
输出：
1、输入中有5句话。最后一句话是用户的回复：配置好了。
2、根据整体解决方案可以知道，当前节点是【配置好了】，因而应对办法是：【需要问用户】【是否能ping通外网DNS】。所以专家机
器人的【智能化回复】可以是：你能ping通外网DNS吗？
///
在上述实施例中，前后两个###包围起来的一段话，即【问题整体解决方案的逻辑】为问题逻辑规则。前后两个包围起来的一段话，即【DEMO】为对话示例。前后两个@@@包围起来的一段话，即【多轮对话的聊天上文】为多轮对话的对话上文。
同时输出中的【智能化回复】“你能ping通外网DNS吗？”为回复用户的目标答复信息。
可以理解，本实施例中，通过在第一目标提示信息中设置与问题逻辑规则相关的对话示例，使得目标生成式大模型在输出目标答复信息时，会以对话示例作为参考，有利于更好地正确理解用户的问题或回答，且可以提高目标答复信息的智能化，有利于实现了多轮对话过程的智能化，用户可以灵活的表达自己的意图，客服机器人也可以准确理解用户意图，给出更加智能化的回复，相较于相关技术中刻板生硬的答复，提高了用户使用感受，使得目标生成式大模型输出的目标问题答复更加准确和智能。
在一些实施例中，对话示例还包括：输入信息以及输出信息；输入信息包括对话上文示例，输出信息包括与对话上文示例相对应的答复示例。
继续参照上述第一目标提示信息的实施例，每个DEMO都被分为输入(输入信息)和输出(输出信息)两个部分。通过第一提示信息模板中的关于DEMO的使用方法(如第一目标提示信息中第二部分中的第2点)，可以使得目标生成式大模型区分对话示例中的输入信息和输出信息，并分别参考输入信息和输出信息，得到针对对话上文的目标答复信息，有利于提升客服机器人答复的智能化。
当然，在其他实施例中，对话示例可以包含多轮对话，其可以不区分输入信息和输出信息，即对话示例为整段对话。
在一些实施例中，输出信息还可以包括：基于对话上文示例以及问题逻辑规则得到答复示例的推理过程示例。
继续参照上述第一目标提示信息的实施例，DEMO的输出(对话示例的输出信息)中还包括【推理过程】，即推理过程示例。第一目标提示信息(或第一提示信息模板)中解释了推理过程示例是根据对话上文示例和问题逻辑规则得到答复示例的推理过程。
以【DEMO】1为例，其输出为：“1、输入中有3句话。最后一句话是用户的回复：有授权。2、根据整体解决方案可以知道，当前节点是【存在授权】，因而应对办法是：【需要问用户】【是否配置外网DNS】。所以专家机器人的【智能化回复】可以是：你看一下，你那边是否配置了外网DNS。”该信息不仅示出了目标答复信息(即【智能化回复】)，还给出了根据用户的回复得到该目标答复信息的逻辑推理过程，即推理过程示例(1、输入中有3句话。最后一句话是用户的回复：有授权。2、根据整体解决方案可以知道，当前节点是【存在授权】，因而应对办法是：【需要问用户】【是否配置外网DNS】。)。
通过推理过程示例，目标生成式大模型在进行输出时，会参考DEMO中【智能化回复】的推理过程。
例如，上述实施例中，目标生成式大模型的输出为：“1、输入中有5句话。最后一句话是用户的回复：配置好了。2、根据整体解决方案可以知道，当前节点是【配置好了】，因而应对办法是：【需要问用户】【是否能ping通外网DNS】。所以专家机器人的【智能化回复】可以是：你能ping通外网DNS吗？”
由上可见，目标生成式大模型会根据输出信息中的推理过程示例的推理过程，对对话上文进行推理，从而得到目标答复信息。由于推理过程示例的存在，使得目标生成式大模型的输出更加符合人的思维，使得输出的目标答复信息也更加智能化。
在一些实施例中，方法200还包括：基于对话上文，确定第一提示信息模板，其中，第一提示信息模板包括第一角色扮演目标以及第一内容模板，第一内容模板用于填写对话上文、问题逻辑规则以及对话示例，第一角色扮演目标用于引导目标生成式大模型根据第一内容模板中的信息进行输出。
可以理解，对于目标生成式大模型，不同的输入类型可以对应不同的提示信息模板，例如，对于对话类的输入，可以采用第一提示信息模板。
因此，可以现根据对话上文，例如用户的问题或需求，先确定适用于多轮对话的第一提示信息模板。
继续参考上述第一目标提示信息的实施例，可以理解，第一提示信息模板可以包括三个部分，第一部分为目标生成式大模型的目标信息，第二部分为所需要使用的数据以及数据的使用方法信息，第三部分为总结信息。
第一角色扮演目标可以指模板中无需修改的部分，例如第一部分、第三部分的内容以及第二部分中关于数据的使用方法信息，第一角色扮演目标用于表征目标生成式大模型的扮演角色以及该扮演角色的扮演方式(即如何利用第一内容模板中的信息进行输出)，使目标生成式大模型可以扮演专家机器人，并进行智能化回复。
第一内容模板可以为第二部分中所需要的数据，例如，前后两个###包围起来的【问题整体解决方案的逻辑】，前后两个包围起来的【DEMO】，以及前后两个@@@包围起来的【多轮对话的聊天上文】。可以理解，第一内容模板为针对用户的不同问题或不同回答可能存在修改的部分内容。
第一内容模板中的信息可以为对话上文、问题逻辑规则以及对话示例。在生成第一目标提示信息的过程中，需要在第一提示信息模板的第二部分中填写对应的对话上文、问题逻辑规则以及对话示例。第一部分和第三部分可以保持不变。
另外，针对同一主旨问题的多轮对话答复过程中，问题逻辑规则以及对话示例可以保持不变，只需要对应修改第一提示信息模板的第二部分中的对话上文即可。
本实施例中，通过确定第一提示信息模板，可以选取与多轮问答相关的提示信息模板，有利于目标生成式大模型更好地理解用户的意图，并生成智能化地进行输出，提升用户体验。
另外，结合上述第一目标提示信息的实施例，在第一目标提示信息(第二部分)中将数据的使用方法信息和所需的数据分别独立表示，即先阐述了数据的使用方法，而所需的数据通过符号(例如两个@@@包围起来)的方式在进行独立表示，更有利于目标生成式大模型准确理解数据的使用方法信息，进一步提高答复的智能化。
在一些实施例中，基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息第一目标提示信息，包括：
将对话上文、问题逻辑规则以及对话示例分别填写至第一内容模板的对应区域中，得到第一内容信息；
基于第一内容信息以及第一角色扮演目标，生成第一目标提示信息。
在生成第一目标提示信息时，可以将对话上文、问题逻辑规则、对话示例分别填写至第一内容模板的对应区域，例如在两个###之间填写问题逻辑规则，在两个之间填写对话示例，在两个@@@之间填写对话上文，从而可以得到第一内容信息。
第一内容信息与第一角色扮演目标结合即可得到第一目标提示信息，从而可以减少模板的改动，并快速生成第一目标提示信息。
上述实施例是通过对第一提示信息模板的优化，从而提高模型对用户问题的理解程度以及输出的智能化。以下将结合优化后的第一提示信息模板，对大模型进行微调训练。
图3是根据本公开一实施例提供的基于第一样本提示信息对第一预训练的生成式大模型进行训练的方法的示意图；请参照图3，方法200还包括以下步骤S301至步骤S302。
步骤S301，将第一样本提示信息输入第一预训练的生成式大模型，得到与对话上文样本相对应的预测答复信息，其中，第一样本提示信息为以第一提示信息模板为模板且包括对话上文样本、问题逻辑规则样本、对话示例样本的信息；
步骤S302，基于预测答复信息以及对话上文样本的标注答复信息，对第一预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型。
可以理解，第一样本提示信息的生成方式与第一目标提示信息的生成方式相同。对话上文样本、问题逻辑规则样本、对话示例样本分别与对话上文、问题逻辑规则、对话示例的构成相同，具体可以参考上述各个实施例，在此不再赘述。
第一预训练的生成式大模型是一个通过大量数据进行训练并被保存下来的生成式大模型网络，其可以具有一定的功能，目标生成式大模型可以为在第一预训练的生成式大模型基础上进行迭代更新的版本。
本实施例中，通过将包含有对话示例样本的第一样本提示信息作为第一预训练的生成式大模型的输入，得到预测答复信息。然后基于预测答复信息和标注答复信息对第一预训练的生成式大模型的部分参数进行微调训练，从而可以得到目标生成式大模型。
部分参数微调就是在个性化任务微调训练的过程中，绝大部分参数都是不变的，只变更少量参数。该方法可以充分利用第一预训练的生成式大模型基座中大模型的各种通用能力，同时在个性化训练过程中，仅使用少量样本即可获得很好的效果，有利于模型能力的增强。
在一些可能的实施例中，步骤S302中的基于预测答复信息以及对话上文样本的标注答复信息，对第一预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型，包括：
冻结第一预训练的生成式大模型的权重参数；
在第一预训练的生成式大模型中注入秩分解矩阵，秩分解矩阵中包括与权重参数并行的可训练参数；
基于预测答复信息以及对话上文样本的标注答复信息，对可训练参数进行训练，得到目标生成式大模型。
本实施例中，可以先冻结第一预训练的生成式大模型的权重参数，并将可训练的秩分解矩阵注入第一预训练的生成式大模型的每一层与之并行，在微调训练期间，第一预训练的生成式大模型权重参数被冻结并且不接受梯度更新，而引入的参数矩阵(秩分解矩阵)包含可训练参数，且与权重参数并行，可训练参数可以为训练过程中的可调参数，从而可以大大减少下游任务的可训练参数数量。
在一些实施例中，步骤S302中的基于预测答复信息以及对话上文样本的标注答复信息，对第一预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型，包括：
基于预测答复信息以及对话上文样本的标注答复信息，利用低秩自适应法对第一预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型。
低秩自适应法又称LoRA(Low-Rank Adaptation of Large Languages Models)，通过该方法可以对第一预训练的生成式大模型的部分参数进行微调训练，减少训练所需的样本数量，且可以达到较好的效果。
问题逻辑规则通常记录于使用文档(例如运维文档中)，为了简单方便的提取问题逻辑规则，可以利用目标生成式大模型的通用功能对问题逻辑规则进行提取，以下进行说明。
图4是根据本公开一实施例提供的问题逻辑规则的生成方法的示意图；请参照图4，方法200还可以包括以下步骤S401至步骤S403。
步骤S401，解析使用文档，得到逻辑关系数据集；
步骤S402，基于逻辑关系数据集以及第二提示信息模板，生成第二目标提示信息，第二目标提示信息为以第二提示信息模板为模板且包含逻辑关系数据集的信息；
步骤S403，将第二目标提示信息输入目标生成式大模型，得到问题逻辑规则。
使用文档可以为运维文档等，其可以为word等格式文档，问题逻辑规则可以从使用文档中来提取。可以理解，使用文档中具有包含该问题逻辑规则的一段或几段文字，例如，关于主旨问题为在线升级特征库失败的使用文档可以包括以下两个////包围起来的部分内容：
////
·1.1在线升级特征库失败
请先检查防火墙是否有特征库升级授权，存在以下方式可以获取：【title：在线升级特征库失败】
(1)命令行获取方式
判断条件：在命令行使用show license查看授权是否存在，命令如下：
[C:\～]$telnet 192.168.218.79
·1.2在线升级特征库失败，不存在授权
请联系管理员申请授权
·1.3在线升级特征库失败，存在授杈
需检查防火墙是否配置外网DNS，存在以下方式可以获取
(1)命令行获取方式
命令行使用show dns server查看是否存在外网DNS:
system#show dns server
dns server:114.114.114.114 218.85.152.99
……
////
首先，可以先对包含以上内容的使用文档进行解析，得到逻辑关系数据集。
在一些实施例中，逻辑关系数据集中的逻辑关系数据包括：逻辑条件以及逻辑条件对应的解决方案；步骤S401中的解析使用文档，得到逻辑关系数据集，包括：
提取使用文档中的标题以及标题对应的文本内容；
将标题确定为逻辑条件，并将标题对应的文本内容确定为逻辑条件对应的解决方案，得到逻辑关系数据；
至少基于逻辑关系数据，得到逻辑关系数据集。
可以理解，使用文档中可以通过标题(用key(关键字)来表示)以及标题对应的文本内容(用value(值)来表示)的形式进行整理。在解析时，可以先以标题为单位进行解析，在上述使用文档的实施例中，大标题1.1-1.3代表逻辑条件，而其对应的文本内容是满足该条件下的解决方案，因此，在解析时可以以大标题为单位，即将大标题(逻辑条件)作为key(标题)，将大标题对应的文本内容(逻辑条件对应的解决方案)作为value(标题对应的文本内容)。
每个标题以及其对应的文本内容可以作为一条逻辑关系数据。
通过对使用文档中的所有标题和文本内容进行解析，可以得到至少一条逻辑关系数据，这些逻辑关系数据即为逻辑关系数据集，每个逻辑关系数据集与一个主旨问题相关，即其可以对应于一个问题逻辑规则。
上述解析方法可以快速解析使用文档，并提取逻辑关系数据集。
解析后得到的逻辑关系数据集可以存储于txt等格式的文档中，其可以与第二提示信息模板结合，作为目标生成式大模型的输入。
可以理解，目标生成式大模型的功能并不限于多轮问答，其还可以具有其他功能，在利用其提取问题逻辑规则时，可以使用对应的第二提示信息模板。
第二提示信息模板可以包括：第二角色扮演目标以及第二内容模板。相较于第一提示信息模板，第二提示信息模板可以相对简化，由于其不涉及多轮问答，可以不需要填写问题逻辑规则、对话上文和对话示例，只需要提供简单的角色扮演，并提供所需的数据即可。第二提示信息模板所需要的数据包括逻辑关系数据集以及问题逻辑规则的展示格式。
通过逻辑关系数据集以及第二提示信息模板能够生成第二目标提示信息。
第二目标提示信息可以作为目标生成式大模型的输入，输出即为对应的问题逻辑规则。
例如，还是针对在线升级特征库的主旨问题，模型的输出包括如下两个/////包围起来的内容：
/////
1、【在线升级特征库失败】：【需要问用户】【是否存在授权】
2、【是否存在授权】：
1、【不存在授权】：【最终解决方案】找管理员申请授权
2、【存在授权】：【需要问用户】【是否配置外网DNS】
3、【是否配置外网DNS】：
1、【没有配置好】：【中间解决方案】配置好外网DNS。用户执行【中间解决方案】后，状态变成【配置好了】，这个时候需要走【配置好了】的解决办法。
2、【配置好了】：【需要问用户】【是否能ping通外网DNS】
4、【是否能ping通外网DNS】：
1、【能ping通】：【最终解决方案】尝试在线升级特征库
2、【不能ping通】：【最终解决方案】检查网络环境
/////
由上可知，根据使用文档输出的问题逻辑规则与第一目标提示信息中的【问题整体解决方案的逻辑】内容一致，格式区别可以通过第二提示信息模板中的问题逻辑规则的展示格式进行调整。
本实施例中，通过文档解析技术、少量参数微调技术实现了从使用文档到问题逻辑规则的智能化生成，大大降低了人工梳理成本。
上述实施例是对如何通过目标生成式大模型智能地生成问题逻辑规则的方法进行说明。以下将结合问题逻辑规则的相关样本，对大模型进行微调训练。
图5是根据本公开一实施例提供的基于第二样本提示信息对第二预训练的生成式大模型进行训练的方法的示意图；请参照图5，在一些实施例中，方法200还可以包括以下步骤S501和步骤S502。
步骤S501，将第二样本提示信息输入第二预训练的生成式大模型，得到预测问题逻辑规则，其中，第二样本提示信息为以第二提示信息模板为模板且包含逻辑关系样本数据集的信息；
步骤S502，基于预测问题逻辑规则以及第二样本数据的标注问题逻辑规则，对第二预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型。
可以理解，第二样本提示信息的生成方式与第二目标提示信息的生成方式相同。逻辑关系样本数据集与逻辑关系数据集的构成相同，具体可以参考上述各个实施例，在此不再赘述。
第二预训练的生成式大模型是一个通过大量数据进行训练并被保存下来的生成式大模型网络，其可以具有一定的功能，目标生成式大模型可以为在第二预训练的生成式大模型基础上进行迭代更新的版本。第二与训练的生成式大模型与第一预训练的生成式大模型可以为同一版本的大模型，或者，两者在中的一个可以为另一个的迭代版本。
本实施例中，通过将包含有逻辑关系样本数据集的第二样本提示信息作为第二预训练的生成式大模型的输入，得到预测问题逻辑规则。然后基于预测问题逻辑规则和标注问题逻辑规则对第二预训练的生成式大模型的部分参数进行微调训练，从而可以得到目标生成式大模型。
部分参数微调就是在个性化任务微调训练的过程中，绝大部分参数都是不变的，只变更少量参数。该方法可以充分利用第二预训练的生成式大模型基座中大模型的各种通用能力，同时在个性化训练过程中，仅使用少量样本即可获得很好的效果，有利于模型能力的增强。
在一些可能的实施例中，步骤S502中的基于预测问题逻辑规则以及第二样本数据的标注问题逻辑规则，对第二预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型，包括：
冻结第二预训练的生成式大模型的第二权重参数；
在第二预训练的生成式大模型中注入第二秩分解矩阵，第二秩分解矩阵中包括与第二权重参数并行的第二可训练参数；
基于预测问题逻辑规则以及第二样本数据的标注问题逻辑规则，对第二可训练参数进行训练，得到目标生成式大模型。
本实施例与第一预训练的生成式大模型的微调方法相同或相似，具体可以参考上述实施例，不再赘述。
在一些实施例中，步骤S502中的基于预测问题逻辑规则以及第二样本数据的标注问题逻辑规则，对第二预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型，包括：
基于预测问题逻辑规则以及第二样本数据的标注问题逻辑规则，利用低秩自适应法对第二预训练的生成式大模型的部分参数进行微调训练，到目标生成式大模型。
本实施例中，通过低秩自适应法可以对第二预训练的生成式大模型的部分参数进行微调训练，减少训练所需的样本数量，且可以达到较好的效果。
在一个具体实施例中，提供一种对话生成方法，可以实现中间对话过程的更高级智能。
本实施例提供的方法是在生成式大模型的基础上，通过对prompt(第一目标提示信息)进行优化、以及对生成式大模型进行微调训练来实现了对用户回复的智能化理解、以及针对性产出智能化回复，从而实现了中间对话过程的智能化。
1、关于prompt优化方面，在实际使用过程中，如果直接给到【问题逻辑树】和【聊天上文】，最终的【智能化回复】总是不稳定。通过给出几个【对话DEMO】，而且【对话DEMO】中我们设置模型的输出为【推理过程+最终的智能化回复】。总之，通过多轮迭代，通过详细阐述角色目标、给出多个对话DEMO、以及详细阐述得到正确输出的推理逻辑等prompt优化方式，最终得到了稳定的智能化回复。
以上述第一目标提示信息的实施例中两个//包围起来的内容为最终优化后的prompt。
根据该prompt生成的response(目标答复信息)，也就是生成式大模型的最终输出可以为上述两个///包围起来的内容。
2、关于基于生成式大模型对这个任务进行微调训练方面，可以把prompt作为大模型输入，把response作为大模型输出，然后使用LORA Turing(Low-Rank Adaptation ofLarge Languages Models Turing，低秩自适应图灵方法)部分参数微调的方式在基座大模型(第一预训练的生成式大模型)的基础上、来进行微调训练。
部分参数微调就是在个性化任务微调训练的过程中，绝大部分参数都是不变的，只变更少量参数。这样做有两个好处，第一个好处是充分利用大模型基座大模型的各种通用能力，第二个好处是在个性化训练过程中，仅使用少量样本即可获得很好的效果。
另外，本实施例提供的方法还可以实现word原始文档(使用文档)到问题逻辑树(或者问题配置模板json(JavaScript Object Notation,JS对象简谱))，即问题逻辑规则的智能化。
该方法主要使用了模型微调的方式来实现，考虑到样本少、而且希望可以复用基座大模型本身的能力，依然是使用了LORA少量参数微调的方式。
1、首先，我们会把WORD文档进行解析，以大标题为单位进行解析，也就是大标题为key，下面的内容为value。具体可以参考上述实施例中两个////包围起来的内容。
2、把解析之后的txt内容(问题逻辑规则数据集)作为模型输入的主要组成部分。
3、大模型输出可以参考上述两个/////包围起来的内容，可以看到大模型的输出实际上就是prompt优化方面的输入组成部分(问题逻辑规则)。
4、最终基于模型输入、模型输出，进行模型微调训练。
本实施例完成了目标生成式大模型在安全智能运维领域的一个实际应用。基于目标生成式大模型，通过使用prompt优化技术、少量参数微调技术，实现了多轮对话中间对话过程的智能化，用户可以灵活的表达自己的意图，客服机器人也可以给出更加智能化的回复。
同时，通过文档解析技术、少量参数微调技术实现了从word文档到问题逻辑树的智能化生成，大大降低了人工梳理成本。
实际上，其设计的prompt、以及有效性对其他领域也会有所参考。以及少量参数微调技术在实际场景中的有效性、易用性(只使用少量参数)也会对其他场景有所帮助。
图6是根据本公开一实施例提供的对话生成装置的示意图；请参照图6，本公开实施例提供一种对话生成装置600，包括以下单元。
第一确定单元，用于基于多轮对话的对话上文，确定多轮对话的问题逻辑规则、以及与问题逻辑规则相关的对话示例，对话示例用于为目标生成式大模型的输出提供参考；
第一生成单元602，基于对话上文、问题逻辑规则、对话示例以及第一提示信息模板，生成第一目标提示信息，其中，第一目标提示信息为以第一提示信息模板为模板并包含对话上文、问题逻辑规则和对话示例的信息；
第一输出单元603，用于将第一目标提示信息输入目标生成式大模型，得到与对话上文相对应的目标答复信息。
在一些实施例中，对话示例还包括：输入信息以及输出信息；
输入信息包括对话上文示例，输出信息包括与对话上文示例相对应的答复示例。
在一些实施例中，输出信息还包括：基于对话上文示例以及问题逻辑规则得到答复示例的推理过程示例。
在一些实施例中，装置600还包括：
第二确定单元，用于基于对话上文，确定第一提示信息模板，其中，第一提示信息模板包括第一角色扮演目标以及第一内容模板，第一内容模板用于填写对话上文、问题逻辑规则以及对话示例，第一角色扮演目标用于引导目标生成式大模型根据第一内容模板中的信息进行输出。
在一些实施例中，第一生成单元602还用于：
将对话上文、问题逻辑规则以及对话示例分别填写至第一内容模板的对应区域中，得到第一内容信息；
基于第一内容信息以及第一角色扮演目标，生成第一目标提示信息。
在一些实施例中，装置600还包括：
第一微调单元，用于将第一样本提示信息输入第一预训练的生成式大模型，得到与对话上文样本相对应的预测答复信息，其中，第一样本提示信息为以第一提示信息模板为模板且包括对话上文样本、问题逻辑规则样本、对话示例样本的信息；基于预测答复信息以及对话上文样本的标注答复信息，对第一预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型。
在一些实施例中，第一微调单元还用于：
冻结第一预训练的生成式大模型的权重参数；
在第一预训练的生成式大模型中注入秩分解矩阵，秩分解矩阵中包括与权重参数并行的可训练参数；
基于预测答复信息以及对话上文样本的标注答复信息，对可训练参数进行训练，得到目标生成式大模型。
在一些实施例中，第一微调单元还用于：
基于预测答复信息以及对话上文样本的标注答复信息，利用低秩自适应算法对第一预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型。
在一些实施例中，装置600还包括：
解析单元，用于解析使用文档，得到逻辑关系数据集；
第二生成单元，用于基于逻辑关系数据集以及第二提示信息模板，生成第二目标提示信息，第二目标提示信息为以第二提示信息模板为模板且包含逻辑关系数据集的信息；
第二输出单元，用于将第二目标提示信息输入目标生成式大模型，得到问题逻辑规则。
在一些实施例中，逻辑关系数据集中的逻辑关系数据包括：逻辑条件以及逻辑条件对应的解决方案；
解析单元还用于：
提取使用文档中的标题以及标题对应的文本内容；
将标题确定为逻辑条件，并将标题对应的文本内容确定为逻辑条件对应的解决方案，得到逻辑关系数据；
至少基于逻辑关系数据，得到逻辑关系数据集。
在一些实施例中，装置600还包括：
第二微调单元，用于将第二样本提示信息输入第二预训练的生成式大模型，得到预测问题逻辑规则，其中，第二样本提示信息为以第二提示信息模板为模板且包含逻辑关系样本数据集的信息；基于预测问题逻辑规则以及第二样本数据的标注问题逻辑规则，对第二预训练的生成式大模型的部分参数进行微调训练，得到目标生成式大模型。
在一些实施例中，第二微调单元还用于：
基于预测问题逻辑规则以及第二样本数据的标注问题逻辑规则，利用低秩自适应法对第二预训练的生成式大模型的部分参数进行微调训练，到目标生成式大模型。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
本公开实施例提供一种电子设备，包括:至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。
本公开实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述的方法。
本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据上述的方法。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如对话生成方法。例如，在一些实施例中，对话生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的对话生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行对话生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

1.一种对话生成方法，包括：
基于多轮对话的对话上文，确定所述多轮对话的问题逻辑规则、以及与所述问题逻辑规则相关的对话示例，所述对话示例用于为目标生成式大模型的输出提供参考；
基于所述对话上文、所述问题逻辑规则、所述对话示例以及第一提示信息模板，生成第一目标提示信息，其中，所述第一目标提示信息为以所述第一提示信息模板为模板并包含所述对话上文、所述问题逻辑规则和所述对话示例的信息；
将所述第一目标提示信息输入所述目标生成式大模型，得到与所述对话上文相对应的目标答复信息。
2.根据权利要求1所述的方法，其中，所述对话示例还包括：输入信息以及输出信息；
所述输入信息包括对话上文示例，所述输出信息包括与所述对话上文示例相对应的答复示例。
3.根据权利要求2所述的方法，其中，
所述输出信息还包括：基于所述对话上文示例以及所述问题逻辑规则得到所述答复示例的推理过程示例。
4.根据权利要求1-3中任一项所述的方法，还包括：
基于所述对话上文，确定所述第一提示信息模板，其中，所述第一提示信息模板包括第一角色扮演目标以及第一内容模板，第一内容模板用于填写所述对话上文、所述问题逻辑规则以及所述对话示例，所述第一角色扮演目标用于引导所述目标生成式大模型根据所述第一内容模板中的信息进行输出。
5.根据权利要求4所述的方法，其中，基于所述对话上文、所述问题逻辑规则、所述对话示例以及第一提示信息模板，生成第一目标提示信息第一目标提示信息，包括：
将所述对话上文、所述问题逻辑规则以及所述对话示例分别填写至所述第一内容模板的对应区域中，得到第一内容信息；
基于所述第一内容信息以及所述第一角色扮演目标，生成所述第一目标提示信息。
6.根据权利要求1-5中任一项所述的方法，还包括：
将第一样本提示信息输入第一预训练的生成式大模型，得到与对话上文样本相对应的预测答复信息，其中，第一样本提示信息为以所述第一提示信息模板为模板且包括所述对话上文样本、问题逻辑规则样本、对话示例样本的信息；
基于所述预测答复信息以及所述对话上文样本的标注答复信息，对所述第一预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型。
7.根据权利要求6所述的方法，其中，基于所述预测答复信息以及所述对话上文样本的标注答复信息，对所述第一预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型，包括：
冻结所述第一预训练的生成式大模型的权重参数；
在所述第一预训练的生成式大模型中注入秩分解矩阵，所述秩分解矩阵中包括与所述权重参数并行的可训练参数；
基于所述预测答复信息以及所述对话上文样本的标注答复信息，对所述可训练参数进行训练，得到所述目标生成式大模型。
8.根据权利要求6所述的方法，其中，基于所述预测答复信息以及所述对话上文样本的标注答复信息，对所述第一预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型，包括：
基于所述预测答复信息以及所述对话上文样本的标注答复信息，利用低秩自适应法对所述第一预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型。
9.根据权利要求1-8中任一项所述的方法，还包括：
解析使用文档，得到逻辑关系数据集；
基于所述逻辑关系数据集以及第二提示信息模板，生成第二目标提示信息，所述第二目标提示信息为以所述第二提示信息模板为模板且包含所述逻辑关系数据集的信息；
将所述第二目标提示信息输入所述目标生成式大模型，得到所述问题逻辑规则。
10.根据权利要求9所述的方法，其中，所述逻辑关系数据集中的逻辑关系数据包括：逻辑条件以及所述逻辑条件对应的解决方案；
解析使用文档，得到逻辑关系数据集，包括：
提取所述使用文档中的标题以及所述标题对应的文本内容；
将所述标题确定为所述逻辑条件，并将所述标题对应的文本内容确定为所述逻辑条件对应的解决方案，得到所述逻辑关系数据；
至少基于所述逻辑关系数据，得到所述逻辑关系数据集。
11.根据权利要求9或10所述的方法，还包括：
将第二样本提示信息输入第二预训练的生成式大模型，得到预测问题逻辑规则，其中，第二样本提示信息为以第二提示信息模板为模板且包含逻辑关系样本数据集的信息；
基于所述预测问题逻辑规则以及所述第二样本数据的标注问题逻辑规则，对所述第二预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型。
12.根据权利要求11所述的方法，其中，基于所述预测问题逻辑规则以及所述第二样本数据的标注问题逻辑规则，对所述第二预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型，包括：
基于所述预测问题逻辑规则以及所述第二样本数据的标注问题逻辑规则，利用低秩自适应法对所述第二预训练的生成式大模型的部分参数进行微调训练，到所述目标生成式大模型。
13.一种对话生成装置，包括：
第一确定单元，用于基于多轮对话的对话上文，确定所述多轮对话的问题逻辑规则、以及与所述问题逻辑规则相关的对话示例，所述对话示例用于为目标生成式大模型的输出提供参考；
第一生成单元，基于所述对话上文、所述问题逻辑规则、所述对话示例以及第一提示信息模板，生成第一目标提示信息，其中，所述第一目标提示信息为以所述第一提示信息模板为模板并包含所述对话上文、所述问题逻辑规则和所述对话示例的信息；
第一输出单元，用于将所述第一目标提示信息输入所述目标生成式大模型，得到与所述对话上文相对应的目标答复信息。
14.根据权利要求13所述的装置，其中，所述对话示例还包括：输入信息以及输出信息；
所述输入信息包括对话上文示例，所述输出信息包括与所述对话上文示例相对应的答复示例。
15.根据权利要求14所述的装置，其中，
所述输出信息还包括：基于所述对话上文示例以及所述问题逻辑规则得到所述答复示例的推理过程示例。
16.根据权利要求13-15中任一项所述的装置，还包括：
第二确定单元，用于基于所述对话上文，确定所述第一提示信息模板，其中，所述第一提示信息模板包括第一角色扮演目标以及第一内容模板，第一内容模板用于填写所述对话上文、所述问题逻辑规则以及所述对话示例，所述第一角色扮演目标用于引导所述目标生成式大模型根据所述第一内容模板中的信息进行输出。
17.根据权利要求16所述的装置，其中，所述第一生成单元还用于：
将所述对话上文、所述问题逻辑规则以及所述对话示例分别填写至所述第一内容模板的对应区域中，得到第一内容信息；
基于所述第一内容信息以及所述第一角色扮演目标，生成所述第一目标提示信息。
18.根据权利要求13-17中任一项所述的装置，还包括：
第一微调单元，用于将第一样本提示信息输入第一预训练的生成式大模型，得到与对话上文样本相对应的预测答复信息，其中，第一样本提示信息为以所述第一提示信息模板为模板且包括所述对话上文样本、问题逻辑规则样本、对话示例样本的信息；基于所述预测答复信息以及所述对话上文样本的标注答复信息，对所述第一预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型。
19.根据权利要求18所述的装置，其中，所述第一微调单元还用于：
冻结所述第一预训练的生成式大模型的权重参数；
在所述第一预训练的生成式大模型中注入秩分解矩阵，所述秩分解矩阵中包括与所述权重参数并行的可训练参数；
基于所述预测答复信息以及所述对话上文样本的标注答复信息，对所述可训练参数进行训练，得到所述目标生成式大模型。
20.根据权利要求19所述的装置，其中，所述第一微调单元还用于：
基于所述预测答复信息以及所述对话上文样本的标注答复信息，利用低秩自适应法对所述第一预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型。
21.根据权利要求13-20中任一项所述的装置，还包括：
解析单元，用于解析使用文档，得到逻辑关系数据集；
第二生成单元，用于基于所述逻辑关系数据集以及第二提示信息模板，生成第二目标提示信息，所述第二目标提示信息为以所述第二提示信息模板为模板且包含所述逻辑关系数据集的信息；
第二输出单元，用于将所述第二目标提示信息输入所述目标生成式大模型，得到所述问题逻辑规则。
22.根据权利要求21所述的装置，其中，所述逻辑关系数据集中的逻辑关系数据包括：逻辑条件以及所述逻辑条件对应的解决方案；
所述解析单元还用于：
提取所述使用文档中的标题以及所述标题对应的文本内容；
将所述标题确定为所述逻辑条件，并将所述标题对应的文本内容作为所述逻辑条件对应的解决方案，得到所述逻辑关系数据；
至少基于所述逻辑关系数据，得到所述逻辑关系数据集。
23.根据权利要求21或22所述的装置，还包括：
第二微调单元，用于将第二样本提示信息输入第二预训练的生成式大模型，得到预测问题逻辑规则，其中，第二样本提示信息为以第二提示信息模板为模板且包含逻辑关系样本数据集的信息；基于所述预测问题逻辑规则以及所述第二样本数据的标注问题逻辑规则，对所述第二预训练的生成式大模型的部分参数进行微调训练，得到所述目标生成式大模型。
24.根据权利要求23所述的装置，其中，所述第二微调单元还用于：
基于所述预测问题逻辑规则以及所述第二样本数据的标注问题逻辑规则，利用低秩自适应法对所述第二预训练的生成式大模型的部分参数进行微调训练，到所述目标生成式大模型。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-12中任一项所述的方法。
CN202311004000.4A 2023-08-10 2023-08-10 对话生成方法、装置、设备及存储介质 Pending CN116955569A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311004000.4A CN116955569A (zh) 2023-08-10 2023-08-10 对话生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311004000.4A CN116955569A (zh) 2023-08-10 2023-08-10 对话生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116955569A true CN116955569A (zh) 2023-10-27

Family

ID=88444513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311004000.4A Pending CN116955569A (zh) 2023-08-10 2023-08-10 对话生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116955569A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117312530A (zh) * 2023-11-10 2023-12-29 北京百度网讯科技有限公司 问卷调查、模型训练方法、装置、设备、介质及产品
CN117609444A (zh) * 2023-11-08 2024-02-27 天讯瑞达通信技术有限公司 一种基于大模型的搜索问答方法
CN117611254A (zh) * 2024-01-23 2024-02-27 口碑(上海)信息技术有限公司 基于大语言模型的文案生成方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117609444A (zh) * 2023-11-08 2024-02-27 天讯瑞达通信技术有限公司 一种基于大模型的搜索问答方法
CN117312530A (zh) * 2023-11-10 2023-12-29 北京百度网讯科技有限公司 问卷调查、模型训练方法、装置、设备、介质及产品
CN117611254A (zh) * 2024-01-23 2024-02-27 口碑(上海)信息技术有限公司 基于大语言模型的文案生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US20210304075A1 (en) Batching techniques for handling unbalanced training data for a chatbot
US12014146B2 (en) Techniques for out-of-domain (OOD) detection
CN116955569A (zh) 对话生成方法、装置、设备及存储介质
US20210081615A1 (en) Template-based intent classification for chatbots
KR102682781B1 (ko) 대화 생성 방법, 장치, 전자 기기 및 기록 매체
CN110188185A (zh) 多轮对话的处理方法、装置、设备和存储介质
CN117539975A (zh) 大语言模型的提示词信息的生成方法、装置、设备及介质
CN113569017A (zh) 一种模型处理方法、装置、电子设备及存储介质
US20180357404A1 (en) Information processing method and apparatus, and electronic device
CN112487790A (zh) 包括粗略语义解析器和精细语义解析器的改进语义解析器
US20230139397A1 (en) Deep learning techniques for extraction of embedded data from documents
CN113901837A (zh) 一种意图理解方法、装置、设备及存储介质
WO2022115291A1 (en) Method and system for over-prediction in neural networks
JP2022031854A (ja) 返信内容の生成方法、装置、機器及び記憶媒体
CN117332068B (zh) 人机交互方法、装置、电子设备以及存储介质
US20230206007A1 (en) Method for mining conversation content and method for generating conversation content evaluation model
CN112100355A (zh) 一种智能交互方法、装置及设备
CN109002498B (zh) 人机对话方法、装置、设备及存储介质
CN114841471B (zh) 知识点预测方法、装置、电子设备和存储介质
CN111753062A (zh) 一种会话应答方案确定方法、装置、设备及介质
US20220245489A1 (en) Automatic intent generation within a virtual agent platform
CN115510203A (zh) 问题答案确定方法、装置、设备、存储介质及程序产品
CN113312025B (zh) 组件库生成方法及装置、存储介质、电子设备
CN116561733B (zh) 基于图片验证码的验证方法及装置
CN115934920B (zh) 针对人机对话的模型训练方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination