CN117633196A - 问答模型构建方法及项目问答方法 - Google Patents

问答模型构建方法及项目问答方法 Download PDF

Info

Publication number
CN117633196A
CN117633196A CN202410105529.3A CN202410105529A CN117633196A CN 117633196 A CN117633196 A CN 117633196A CN 202410105529 A CN202410105529 A CN 202410105529A CN 117633196 A CN117633196 A CN 117633196A
Authority
CN
China
Prior art keywords
data
model
question
project
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410105529.3A
Other languages
English (en)
Other versions
CN117633196B (zh
Inventor
武玉川
王睿
马文涛
黎航宇
王轲
林廷恩
刘雄
樊艳
黄非
李永彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Alibaba Robot Co ltd
Original Assignee
Zhejiang Alibaba Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Alibaba Robot Co ltd filed Critical Zhejiang Alibaba Robot Co ltd
Priority to CN202410105529.3A priority Critical patent/CN117633196B/zh
Publication of CN117633196A publication Critical patent/CN117633196A/zh
Application granted granted Critical
Publication of CN117633196B publication Critical patent/CN117633196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供问答模型构建方法及项目问答方法,包括:接收针对项目问答模型的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。通过多种结构化样本数据训练获得数据处理模型,再通过项目知识信息和数据处理模型构建项目问答模型,实现了项目问答模型在复杂场景的应用中准确度提高。

Description

问答模型构建方法及项目问答方法
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种项目问答模型构建方法。
背景技术
随着人工智能和自然语言处理技术的发展,项目问答模型逐渐成为企业服务的核心,项目问答模型能够有效处理大量的客户咨询,提高服务效率。
当前,针对复杂场景的处理方案是通过不同类型的引擎(如文档、表格、流程、API等)解决了多样化的服务需求,但通过不同类型的引擎处理项目存在模块众多、相互冲突、优化困难的问题。并且,现有的基于大模型的解决方案在处理企业服务的复杂场景时也显示出了限制,如理解流程和调用复杂API生成对应答案的准确度不足。所以,需要一种针对各种复杂场景的项目问答模型构建方法。
发明内容
有鉴于此,本说明书实施例提供了一种问答模型构建方法,一种项目问答模型构建方法,一种应用于云侧设备的项目问答模型构建方法,一种项目问答模型构建装置,一种项目问答方法,一种应用于云侧设备的项目问答方法。本说明书一个或者多个实施例同时涉及一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种问答模型构建方法,包括:
获取样本数据,并根据所述样本数据训练数据处理模型,其中,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个;
接收针对项目处理模型的模型构建指令,其中,所述模型构建指令中携带有知识信息;
根据所述知识信息和数据处理模型,构建所述知识信息对应的项目处理模型,其中,所述项目处理模型用于根据所述知识信息生成项目答案数据。
根据本说明书实施例的第二方面,提供了一种项目问答模型构建方法,包括:
接收针对项目问答模型的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;
根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
根据本说明书实施例的第三方面,提供了一种应用于云侧设备的项目问答模型构建方法,包括:
接收端侧设备发送的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;
根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个;
获得所述项目问答模型的模型参数,并返回所述模型参数至所述端侧设备。
根据本说明书实施例的第四方面,提供了一种问答模型构建装置,包括:
指令接收模块,被配置为接收针对项目问答模型的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;
模型构建模块,被配置为根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
根据本说明书实施例的第五方面,提供了一种项目问答方法,包括:
接收项目问答指令,其中,所述项目问答指令中携带有项目问题数据;
将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型根据项目知识信息生成的项目答案数据,其中,所述项目问答模型根据上述项目问答模型构建方法获得。
根据本说明书实施例的第六方面,提供了应用于云侧设备的项目问答方法,包括:
接收端侧设备发送的项目问答指令,其中,所述项目问答指令中携带有项目问题数据;
将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型根据项目知识信息生成的项目答案数据,其中,所述项目问答模型根据目问答模型构建方法获得;
返回所述项目答案数据至所述端侧设备。
根据本说明书实施例的第七方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现上述问答模型构建方法的步骤。
根据本说明书实施例的第八方面,提供了一种计算机可读存储介质,其存储有计算机程序/指令,该指令被处理器执行时实现上述问答模型构建方法的步骤。
根据本说明书实施例的第九方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述问答模型构建方法的步骤。
本说明书一个实施例提供的项目问答模型构建方法,接收针对项目问答模型的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
本说明书实施例提供的方法,通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。同时,通过由多种结构化样本数据训练获得数据处理模型获取项目问答模型,使项目问答模型能够基于项目知识进行复杂任务拆解,提升了智能化水平。
附图说明
图1是本说明书一个实施例提供的一种项目问答模型构建系统的架构图;
图2是本说明书一个实施例提供的一种项目问答模型构建方法的流程图;
图3是本说明书一个实施例提供的一种项目接口调整样本数据生成方法的示意图;
图4是本说明书一个实施例提供的一种流程规划数据生成策略的示意图;
图5是本说明书一个实施例提供的一种应用于云侧设备的项目问答模型构建方法的流程图;
图6是本说明书一个实施例提供的一种企业问答模型构建方法的处理过程流程图;
图7是本说明书一个实施例提供的一种项目问答模型构建装置的结构示意图;
图8是本说明书一个实施例提供的一种问答模型构建方法的流程图;
图9是本说明书一个实施例提供的一种项目问答系统的架构图;
图10是本说明书一个实施例提供的一种项目问答方法的流程图;
图11是本说明书一个实施例提供的一种应用于云侧设备的项目问答方法的流程图;
图12是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
针对本说明书一个或多个实施例中的大模型,具体是指具有大规模模型参数的深度学习模型,通常包含上亿、上百亿、甚至上千亿的模型参数。大模型又可以称为基石模型/基础模型(Foundation Model),通过大规模无标注的语料进行大模型的预训练,产出亿级以上参数的预训练模型,这种模型能适应广泛的下游任务,模型具有较好的泛化能力,例如大规模语言模型(Large Language Model, LLM)、多模态预训练模型(multi-modal pre-training model)等。
大模型在实际应用时,仅需少量样本对预训练模型进行微调即可应用于不同的任务中,大模型可以广泛应用于自然语言处理(Natural Language Processing,简称NLP)、计算机视觉等领域,具体可以应用于如视觉问答(Visual Question Answering,简称VQA)、图像描述(Image Caption,简称IC)、图像生成等计算机视觉领域任务,以及基于文本的情感分类、文本摘要生成、机器翻译等自然语言处理领域任务,大模型主要的应用场景包括数字助理、智能机器人、搜索、在线教育、办公软件、电子商务、智能设计等。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
应用程序编程接口(Application Programming Interface,API)定义了软件间交互的规则,允许不同应用程序之间的数据和功能共享。作为软件之间的中介,确保数据交换的流畅性和安全性。通过规定请求的构成、数据交换的方式和格式,API简化了开发过程,增强了应用的功能和效率。在现代软件开发中,API是连接不同服务和资源的关键,使得应用程序能够实现互联、互动以及功能的多样化。
基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF):是一种训练机器学习模型的方法,特别用于训练大型语言模型以更好地符合人类价值观和偏好。在RLHF中,模型的决策策略是通过从人类反馈中学习得到的奖励模型来训练的。这种方法涉及收集人类对模型输出的评价,如偏好、批评或改进建议,然后使用这些数据训练模型以产生更符合人类评估标准的输出。RLHF有助于提高模型的性能,尤其是在复杂的交互式任务中,如对话生成或文本摘要。
直接偏好优化(Direct Preference Optimization,DPO):是一种用于优化模型以符合特定目标的训练方法。它直接根据从人类评估获得的偏好数据来调整模型的行为,这些数据通常以比较的形式提供,即评价哪个模型输出更优。DPO的关键特点是它直接目标化地优化模型以最大化符合人类偏好的决策。这种方法特别适用于需要精细调整以达到特定人类审美或效果标准的应用场景,如艺术创作、内容推荐或语言生成。
二元线性分类器:是一种简单而有效的机器学习算法,用于将数据分为两个类别。它通过学习一个线性决策边界来区分两组数据点。在给定的特征空间中,分类器找到较好的线性分割线(或超平面),使得两类数据点尽可能分开。这种分类器特别适用于处理线性可分的数据集,即那些可以通过一条直线或平面清晰分隔的数据。它的优势在于简单性和计算效率,但它可能无法处理复杂或非线性可分的数据集。
困惑度(Perplexity, PPL)是用于评估语言模型性能的一个指标,主要衡量模型预测文本的不确定性。一个较低的PPL值表明模型对数据的预测能力较强,即模型在给定上下文的情况下能够更准确地预测下一个词。它通常是基于模型对词序列概率的预测进行计算的,其中考虑了整个词序列的概率乘积。PPL的计算涉及取这些概率的逆并进行幂运算。在自然语言处理(NLP)领域,困惑度是评价和比较不同语言模型如何处理特定数据集的重要工具。较低的困惑度通常意味着更好的语言理解和生成能力。
自监督学习:是一种无需显式标签的训练方法,其中数据本身用作学习信号。在这种学习方式中,模型通过从原始输入数据中推断隐藏的结构来学习。例如,模型可能会被训练来预测文本中被遮蔽(未显示)的单词,或者在图像中预测缺失的部分。这种方法使得模型能够在没有大量标记数据的情况下学习丰富的特征表示。自监督学习在自然语言处理、计算机视觉等领域非常有效,因为它可以利用大量的未标记数据。
有监督学习:是机器学习中最常用的训练方法,它依赖于标记的训练数据。在这种方法中,每个训练样本都有一个与之相关联的标签或输出,模型的任务是学习如何根据输入数据预测这些标签。通过训练,模型能够识别出输入和输出之间的关系,从而对新的、未见过的数据进行准确预测。有监督学习被广泛应用于分类、回归等多种任务,其成功依赖于高质量、丰富的标记训练数据。
祖先节点:在树形结构中,祖先节点是位于特定节点向树的根方向上的所有节点。以家谱树为例,你的父母、祖父母、曾祖父母等都是你的祖先节点。在计算机科学的数据结构中,比如在一棵二叉树中,一个节点的祖先包括它的父节点、父节点的父节点,一直到这棵树的根节点。祖先节点的概念对理解树的层级结构和关系非常重要。例如,在遍历树、搜索特定元素或实现树的算法时,理解节点与其祖先之间的关系是关键的。祖先节点提供了一个从当前节点回溯到根节点的路径,这对于许多树相关的操作是必需的。
子节点:在树形结构中,一个节点的子节点是直接从该节点向下延伸的节点。以家谱树为例,一个人的子节点是他们的孩子。在数据结构中,如二叉树,一个节点最多有两个子节点,称为左子节点和右子节点。子节点的概念是树形结构的基础,它描述了从一个节点向下的直接关系。在执行树的遍历或搜索操作时,经常会访问节点的子节点。例如,在二叉搜索树中,插入和搜索操作都依赖于与节点的子节点的比较。子节点使树形结构成为一种重要的层次性数据结构,允许有效地组织和存储数据。
父节点:在树形数据结构中,一个节点的父节点是直接连接并位于该节点上方的单个节点。以家谱树为例,一个人的父节点就是他们的父亲或母亲。在计算机科学中,如在二叉树中,除了根节点之外的每个节点都有一个父节点。父节点的概念在理解和操作树形结构中至关重要。父节点提供了从树的叶子节点向根节点方向上的链接。在许多树相关的算法和操作中,例如树的遍历、节点的插入和删除,都需要识别和使用父节点。父节点的概念还用于定义树的层级和深度,因为从根节点到任何一个节点的路径都是通过父节点来确定的。
通过在使用单个大模型进行复杂场景处理的过程中,发现大模型在复杂场景的处理过程中,存在大量几十轮上百轮的对话、复杂场景处理过程中有大量的文档、表格、项目流程等需要进行精准理解、对于复杂任务的处理,比如信用卡激活,需要进行任务拆解,逐步引导、企业中存在大量的信息查询、事物办理的接口,也就是说,大模型的多轮对话能力、知识溯源能力、推理规划能力、插件使用能力4类基础能力对于模型在处理复杂任务时很重要。
在本说明书中,提供了一种项目问答模型构建方法,一种应用于云侧设备的项目问答模型构建方法,本说明书同时涉及一种项目问答模型构建装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了本说明书一个实施例提供的一种项目问答模型构建系统的架构图,项目问答模型构建系统可以包括客户端100和服务端200;
客户端100,用于向服务端200发送模型构建指令;
服务端200,用于接收模型构建指令,其中,所述模型构建指令中携带有项目知识信息;根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个;获得所述项目问答模型的模型参数;向客户端100发送模型参数;
客户端100,还用于接收服务端200发送的模型参数。
本说明书实施例提供的方法,通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。同时,通过由多种结构化样本数据训练获得数据处理模型获取项目问答模型,使项目问答模型使项目问答模型能够基于项目知识进行复杂任务拆解,提升了智能化水平。
项目问答模型构建系统可以包括多个客户端100以及服务端200,其中,客户端100可以称为端侧设备,服务端200可以称为云侧设备。多个客户端100之间通过服务端200可以建立通信连接,在项目问答模型构建场景中,服务端200即用来在多个客户端100之间提供项目问答模型构建服务,多个客户端100可以分别作为发送端或接收端,通过服务端200实现通信。
用户通过客户端100可与服务端200进行交互以接收其它客户端100发送的数据,或将数据发送至其它客户端100等。在项目问答模型构建场景中,可以是用户通过客户端100向服务端200发布数据流,服务端200根据该数据流生成模型参数,并将模型参数推送至其他建立通信的客户端中。
其中,客户端100与服务端200之间通过网络建立连接。网络为客户端100与服务端200之间提供了通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。客户端100所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端200。
客户端100可以为浏览器、APP(Application,应用程序)、或网页应用如H5(HyperText Markup Language5,超文本标记语言第5版)应用、或轻应用(也被称为小程序,一种轻量级应用程序)或云应用等,客户端100可以基于服务端200提供的相应服务的软件开发工具包(SDK,Software Development Kit),如基于实时通信(RTC,Real TimeCommunication)SDK开发获得等。客户端100可以部署在电子设备中,需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等,如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用,例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端200可以包括提供各种服务的服务器,例如为多个客户端提供通信服务的服务器,又如为客户端上使用的模型提供支持的用于后台训练的服务器,又如对客户端发送的数据进行处理的服务器等。需要说明的是,服务端200可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content DeliveryNetwork)以及大数据和人工智能平台等基础云计算服务的云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是,本说明书实施例中提供的项目问答模型构建方法一般由服务端执行,但是,在本说明书的其它实施例中,客户端也可以与服务端具有相似的功能,从而执行本说明书实施例所提供的项目问答模型构建方法。在其它实施例中,本说明书实施例所提供的项目问答模型构建方法还可以是由客户端与服务端共同执行。
参见图2,图2示出了本说明书一个实施例提供的一种项目问答模型构建方法的流程图,具体包括以下步骤:
步骤202:接收针对项目问答模型的模型构建指令,其中,所述模型构建指令中携带有项目知识信息。
实际应用中,项目问答模型用于接收问题数据,并根据问题数据生成包含有问题对应答案的对话数据;模型构建指令用于构建项目问答模型,项目知识信息用于结合数据处理模型构建项目问答模型。
具体的,项目问答模型可以理解为数据处理模型根据模型构建指令中携带的项目知识信息构建的模型,模型构建指令可以理解为用于构建项目问答模型的指令,携带有当前项目对应的项目知识信息,项目知识信息包括接口数据、文档数据、记录数据等等企业中可能存在的数据,本申请对此不作任何限制,项目知识信息可以理解为用于提供当前项目对应知识的信息。
在本申请所提供的一个实施例中,企业A中包含有企业文档A,企业文档A的内容“企业文档A内容”为项目知识信息,结合“企业文档A内容”生成模型构建指令,以便于后续构建生成项目问答模型。
通过上述携带有项目知识信息的模型构建指令,构建获得的项目知识模型通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,在通过由多种结构化样本数据训练获得数据处理模型获取项目问答模型,使项目问答模型能够基于项目知识进行复杂任务拆解,提升了智能化水平的前提下,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。并且,利用模型构建指令中携带项目知识信息,构建获得的项目知识模型,可以通过项目知识信息进一步的提高处理企业中对应项目的准确度。
步骤204:根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
实际应用中,样本数据为结构化的数据,知识对话数据为用于训练数据处理模型的对话数据,流程规划数据为用于训练数据处理模型的专业数据,代码数据为用于训练数据处理模型的代码数据。具体的,由结构化数据组成的样本数据可以理解为具有逻辑关联的文本数据,例如,表明对话目标以及对话发生时间的对话数据,表明解决的问题以及解决该问题步骤的专业数据,表明所处理的项目需求以及完成该需求的代码数据等等,本说明书对此不作任何限制。
需要说明的是,根据项目知识信息和数据处理模型,构建项目知识信息对应的项目问答模型,既可以是,通过设置数据处理模型处理项目知识信息的方式,构建对应的项目问答模型,并不对数据处理模型的参数进行调整,例如,需要构建对模型提问关于企业中某些规定的问题进行回答的项目问答模型,构建完成的项目问答模型在应用过程中可以实现通过用户提出的问题,对模型构建指令中携带的项目知识信息进行检索,以获得相应的项目知识信息,进而可以通过检索到的项目知识信息对问题进行回答,也就提高了回答的准确度。也可以是,数据处理模型根据项目知识信息生成项目知识信息对应的微调数据,根据上述获得的微调数据,调整数据处理模型的参数,以构建项目问答模型,本申请对此不作任何限定。
在本申请所提供的一个实施例中,需要构建对模型提问获取企业中的某些文档对应摘要的项目问答模型,考虑到构建完成的项目问答模型需要保证所生成摘要的真实性,所以,该项目问答模型的构建指令包括带有多个问题的答案以及通过问题难度生成的对答案的评价的样本对和企业中的知识,通过该样本对(项目知识信息携带的样本对)对数据处理模型进行调整,以使调整过后数据处理模型(也就是构建出的项目问答模型)在应用过程中可以实现通过用户提出的问题,对模型构建指令中携带的企业中的知识进行检索,以获得相应的企业中的知识,进而可以对检索到的企业中的知识对提取摘要,通过包括带有多个问题的答案以及通过问题难度生成的对答案的评价的样本对在原始的数据处理模型的基础上提高了摘要生成的准确度。
在本申请所提供的另一个实施例中,需要构建通过对模型提问实现企业中某些项目的项目问答模型,考虑到构建完成的项目问答模型需要保证项目的顺利实现以及所实现的项目符合企业内项目的标准,所以,该项目问答模型的构建指令包括带有其中的项目对应的接口数据,通过该接口数据对数据处理模型进行调整,以使调整过后数据处理模型实现通过用户提出的问题,自动回答与目标项目相关的回答,以使项目的顺利实现,进而也就提高了项目实现的效率。
需要说明的是,上述数据处理模型具有强大的多轮对话能力、知识溯源能力、推理规划能力和插件使用能力,具体的,上述数据处理模型在训练时通过知识对话数据训练强化了该模型的多轮对话能力和知识溯源能力,上述数据处理模型在训练时通过流程规划数据强化了该模型的知识溯源能力和推理规划能力,上述数据处理模型在训练时通过代码数据强化了该模型的推理规划能力和插件使用能力。
多轮对话能力可以理解为在企业服务中处理长对话序列的能力,例如,在客户服务中,一个问题可能需要通过几十轮的对话来充分理解和解决。知识溯源能力可以理解为准确理解和利用企业中的文档、表格、项目流程等信息的能力,例如,解析一份技术手册来回答特定的产品问题。推理规划能力可以理解为在处理复杂任务时进行有效拆解和逐步引导的能力,例如,指导客户完成信用卡激活的多个步骤。插件使用能力可以理解为利用企业内部的信息查询和事务处理接口的能力,例如,通过企业提供的项目接口查询客户账户信息或办理项目流程。通过数据处理模型强大的多轮对话能力、知识溯源能力、推理规划能力和插件使用能力在对企业提供服务时,可以实现知识利用方面、交互方面以及模型任务拆解方面的功能。
结合知识利用方面的功能,可以使模型提供的企业服务更加准确的利用企业所上传的各种类型文档,以使在企业服务的使用过程中,模型根据企业所上传的文档给出回复,保证了模型给出回复与企业中文档的一致性。进而在对企业提供例如,获取企业某文档的摘要、总结企业当前月份的统计数据等等企业服务时,可以提高模型给出回答的准确度。
在本申请所提供的一实施例中,用户提出问题“帮助我总结一下流程手册A说了一些什么”,随后模型结合知识利用方面的功能,在企业上传的文档中共查找“流程手册A”,再根据查找到的“流程手册A”提取“摘要A”,基于此,模型给出关于用户的答复“您好,很高兴可以帮到您,以下是流程手册A的摘要:‘摘要A’”。
结合交互方面的功能,可以使模型提供的企业服务根据企业中用户给出的问题以及答复,操作该用户想要操作的数据,以使在企业服务的使用过程中,模型根据用户所给出的指示调用响应的接口实现对数据的操作。并且模型还可以通过接口要求的格式调整接口调用时传入接口的数据,进而可以避免企业中包括的多种负责接口所带来的参数格式混乱的问题。进而在对企业提供例如,根据用户指示删除该用户邮箱中的指定邮件、根据用户指示向企业中某文件添加数据等等企业服务时,可以使模型更加准确的操作并显示对应的数据。
在本申请所提供的一实施例中,用户提出问题“请帮我删除邮箱中的邮件A”,随后模型结合交互方面的功能,调用邮件查询接口查询到该用户对应有“邮件A”“邮件B”“邮件C”“邮件D”,随后模型再依据邮件删除接口删除用户指出的“邮件A”。基于此,模型给出关于用户的答复“您好,很高兴可以帮到您,邮件A已删除,现在您的邮箱中有邮件B、邮件C、邮件D”。
结合任务拆解方面的功能,可以使模型提供的企业服务根据企业中用户给出的项目指示拆解出实现该项目所需的步骤,以使在企业服务的使用过程中,模型根据用户所给出的所提出的需求实现该需求对应的项目。进而在对企业提供例如,用户提出邮件删除需求,模型向用户提问获取该用户的邮箱和密码,再询问用户想要删除的邮件等等企业服务时,可以使模型根据用户给出的问题完成用户提出的需求,同时也避免了由于用户提供问题不全而无法完成用户需求的问题。
在本申请所提供的一实施例中,用户提出问题“请帮我安排明天11点-11点30《关于流程A细节更改》的会议”,随后模型结合任务拆解方面的功能,对用户所提出的问题进行解析,确定用户提出的问题为组织会议,并确定组织会议的流程具有如下步骤:1.确定会议的开始时间、2.确定会议的结束时间、3.确定参会人员、4.确定会议的地点、5.设置会议日程。基于此,模型判断出用户已经提供了会议的开始时间和结束时间,后续还需要继续执行步骤3、4、5所以模型输出对话“您好,很高兴可以帮到您,请您提供参会人员,以便于我为您安排会议”。依次类推模型与用户进行多轮对话直至用户指示放弃安排会议或会议安排成功。
在本申请所提供的另一个实施例中,在项目问答模型中所获取到的问答如表1所示:
表1
其中,在第2轮对话中,模型首先利用任务拆解方面的功能对用户要求的“向文档插入文本”任务拆解为: 1. 确定要插入的文档是哪个、2.确定要插入的文本是哪个、3.确定用户的操作权限、4.确定文本的插入位置;5.执行插入操作五个步骤,由于用户在对话中已经指定了要插入的文档为文档1,要插入的文本为文本1,所以,确定该用户已经确定要插入的文本是哪个(即要插入的文本为文本1),随后模型根据任务拆解方面的功能确定当前用户处于“向文档插入文本”的第2步,继而继续执行第3小步:确定用户的操作权限。模型再通过知识利用方面的功能获取了文档1的操作权限,并向用户询问用户的身份认证信息,以确认用户的权限。
在第4轮对话中,模型通过交互方面的功能调用账号密码验证的接口,对用户所提供的账户以及密码进行验证,由于用户所提供的账户及密码没有通过验证,所以向用户再次询问。在第6轮对话中,模型同样通过交互方面的功能调用账号密码验证的接口,对用户所提供的账户以及密码进行验证,在用户的账号及密码通过验证之后,通过知识利用方面的功能确定该用户所具有的权限,并确定该用户具有操作文档1的权限后,再进行第4小步:确定文本的插入位置。
在第8轮对话中,模型通过知识利用方面的功能确定文档1的目录信息,以使用户可以确定文本所插入的位置。在第10轮对话中,模型通过交互方面的功能,得知文档插入接口获取该接口需要获取插入文档分节的分节标题,再通过任务拆解方面的功能得知需要由用户确定分节标题后,在进行文本插入。
在第14轮对话中,模型通过交互方面的功能,将文本1插入文档1中,插入之后文档1的目录为:“第一节:A;第二节:B;第三节:C;第四节:AB;第五节:D”,又根据模型任务拆解方面的功能,拆解用户所提出的需求:向负责人1发送邮件,获取分解后的步骤。在第16轮对话中,模型利用了本身多轮对话的能力,获取到了用户之前所提供正确的密码B。
第16轮对话中,模型根据交互方面的功能调用人员管理接口获取用户的账户A对应的是管理人1,随后知识利用方面的功能提取本次修改文档1的内容生成摘要1,并编辑邮件:“管理人1编辑了文档1,编辑的内容如下:摘要1,具体请查看:编辑后的文档1”后续又通过交互方面的功能获取负责人1的邮箱,并将邮件发送至负责人1的邮箱中。
在第20对话中,模型根据交互方面的功能获取负责人1的空闲时间,查询到负责人1的在11:00-11:30是空闲状态时,再向用户发送确定会议室的问题。在第22轮的对话中,模型利用多轮对话的能力获取到本次修改的目标为文档1,大概内容为用户所起的标题AB,所以生成会议名称《关于文档1中AB的修订》。
通过数据处理模型结合项目知识获得获取项目问答模型,使项目问答模型在企业所提供的处理复杂任务时,更加可以使输出的结果更加符合企业所提供的数据,进而可以提高处理复杂任务的效率。
考虑到需要实现在接口调用方面效果更好的项目问答模型,所以项目知识信息包括接口数据;
进一步的,根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,包括:
根据所述接口数据生成虚拟用户数据和虚拟环境数据;
所述数据处理模型根据所述接口数据、所述虚拟用户数据和所述虚拟环境数据,生成接口调整样本数据;
根据所述接口调整样本数据调整所述数据处理模型,构建所述项目知识信息对应的项目问答模型。
实际应用中,接口数据为用于生成接口调整样本数据的数据,虚拟用户数据为虚拟的用户操作数据,虚拟环境数据为虚拟用户对应的接口调用的结果,接口调整样本数据为用于调整数据处理模型生成项目问答模型的样本数据。
具体的,接口数据可以理解为企业中所包含项目对应的接口信息,接口数据包括有接口名称信息、接口描述信息、接口输入参数信息、接口输出参数信息,例如:API(Application Programming Interface,应用程序编程接口)数据;“解口名称:searchMails;接口描述:根据关键词,在收件箱中搜索。需要验证用户身份。接口输入参数:keyword (string): 搜索关键词,user_id (integer): 用户ID,10位数字,password(integer): 用户密码,6位数字;接口输出参数:mails (list): 搜索到的邮件,mail_id(integer): 邮件ID,mail_title (string): 邮件内容”。
虚拟用户数据可以理解为根据接口数据虚拟生成的用户可能的操作,例如,上述接口searchMails对应有用户可能操作(也就是虚拟用户数据):想要删除邮件、想要删除邮件,但是忘记了密码、想要查询邮件、想要发送邮件等等。虚拟环境数据可以理解为根据接口数据虚拟生成的可能拥有的接口调用的结果,例如,上述接口searchMails对应有用户可能所拥有的数据(也就是虚拟环境数据):搜索到一个符合的邮件、搜索到多个符合的邮件、没有搜索到符合的邮件、删除成功、删除失败等等。
接口调整样本数据可以理解为关于某个项目实现的多轮对话数据,可以通过数据处理模型根据接口数据、虚拟用户数据和虚拟环境数据,生成与该项目对应的多轮对话数据,例如,“问题 昨天有一个保险广告的邮件,我想把它删掉。回答 好的,我需要首先验证一下您的身份,请提供用户名和密码。问题 用户名是tom2023,密码88888888。回答 抱歉,用户名应当是10位的数字,请您再确认一下。问题 不好意思我记错了,用户名是2314567485。回答 调用searchMails{"keyword": "保险", "问题_id": 2314567485,"password": 88888888}结果: [{"mail_id": 124, "title": "人寿保险年终优惠"}, {"mail_id": 125, "title":"立即了解我们的全面的健康保险计划"}]。回答 查询到您有两封保险广告邮件,请问您要删除哪一个?两封邮件分别为:1.保险年终优惠2.立即了解我们的全面的健康保险计划。问题 哦好像是有两个来着。我想删除的是第2个。。回答 调用deleteMail{"mail_id": 125, "问题_id": 2314567485,"password": 88888888}结果:{"result": "删除成功"}。回答 已为您删除邮件 《立即了解我们的全面的健康保险计划》”。
通过企业提供的接口数生成虚拟用户数据和虚拟环境数据,并根据虚拟用户数据和虚拟环境数据生成接口调整样本数据,随后通过接口调整样本数据调整数据处理模型,使数据处理模型在处理真实的企业服务场景时,解决了不同企业会存在各种类型的复杂接口,参数格式多种多样接口之间存在依赖,模型需要进行复杂的参数格式归一化转换等问题,并且能够自主规划多接口的调用场景。
进一步的,根据所述接口数据生成虚拟用户数据和虚拟环境数据,包括:
根据所述接口数据生成对应的接口功能信息;
根据所述接口数据和所述接口功能信息生成虚拟用户数据和虚拟环境数据。
实际应用中,接口功能信息为具有接口数据生成的描述信息。具体的,接口功能信息可以理解为接口的功能描述信息,具有对应接口的功能描述,例如:接口数据为:“解口名称: searchMails;接口描述:根据关键词,在收件箱中搜索。需要验证用户身份。接口输入参数:keyword (string): 搜索关键词,user_id (integer): 用户ID,10位数字,password(integer): 用户密码,6位数字;接口输出参数:mails (list): 搜索到的邮件,mail_id(integer): 邮件ID,mail_title (string): 邮件内容”,该接口数据对应的接口功能信息为:“我是您的邮箱助理,可以帮助管理您的邮箱,比如搜索和删除指定邮件等”。
如图3所示,图3是本说明书一个实施例提供的一种项目接口调整样本数据生成方法的示意图,根据接口数据302获取接口功能信息304,再根据接口功能信息304获取虚拟用户数据306和虚拟环境数据308,随后数据处理模型310在根据接口数据302、虚拟用户数据306和虚拟环境数据308生成接口调整样本数据312,最后数据处理模型310根据接口调整样本数据调整参数,构建项目问答模型314。
通过接口数据生成,再根据接口功能信息生成虚拟用户数据和虚拟环境数据,可以自动构建用于调整数据处理模型的具有多轮对话以及接口调整具体方式的接口调整样本数据,进而可以提供过由数据处理模型根据接口调整样本数据调整生成的项目问答模型,进一步的提高模型在处理企业对应项目的效率。
进一步的,所述数据处理模型根据所述接口数据、所述虚拟用户数据和所述虚拟环境数据,生成接口调整样本数据,包括:
基于所述虚拟用户数据生成第一轮对话的问题数据;
基于所述接口数据和所述虚拟环境数据,生成所述第一轮对话的问题数据对应的回答数据;
根据上一轮对话的回答数据和所述虚拟用户数据生成下一轮对话的问题数据,并根据所述接口数据和所述虚拟环境数据,生成该轮对话的回答数据,直至达到对话轮次停止条件;
根据多轮对话的问题数据和回答数据生成接口调整样本数据。
实际应用中,问题数据为向项目问答模型提出的问题数据,回答数据为项目问答模型输出的回答数据,对话轮次停止条件为停止对话生成的条件。
具体的,问题数据和回答数据的生成方式可以理解为在多轮次对话生成中,首先根据虚拟用户数据生成第一轮对话的问题。这些问题是模拟用户向项目问答模型提出的询问。然后,利用接口数据和虚拟环境数据生成对应的回答,这些回答由项目问答模型产生,模拟客服或代理的响应。接下来,根据上一轮对话中的回答和虚拟用户数据,生成下一轮对话的问题。同时,继续使用接口数据和虚拟环境数据来生成这一轮问题的回答。这个过程会持续进行,直到达到预设的对话轮次停止条件,如达到特定轮次、解决了用户问题或对话自然结束。最后,基于这些问题和回答数据,生成接口调整样本数据。
对话轮次停止条件可以理解为在自动生成对话的场景中设定的特定参数或逻辑判断,用以决定何时终止对话流程的条件。这些条件可能包括达到预定的对话轮次数量,这是为了限制对话长度,确保对话集中而高效。另一个常见的对话轮次停止条件是解决了模拟的用户问题,即当自动生成的问题得到了满意且合理的回答时,对话可以结束。此外,对话也可能在满足特定的内容丰富度或相关性标准后自然结束。例如,如果连续几轮对话没有产生新的信息或讨论开始变得重复,系统可能会判断对话已达到其自然的结束点。在实际的应用中,对话轮次停止条件还可以包括基于动态评估的决策机制,例如对话的情感倾向、用户满意度的模拟评估或对话内容的适时性。这些条件共同作用,确保自动生成的对话在实现其预设目标的同时,保持一定的质量标准和效率。应用上述的对话轮次停止条件不仅模拟了真实的对话场景,还能在保持对话相关性和实用性的同时,避免无效或无目的对话延续。
通过由虚拟的多个角色的信息生成多轮对话的问题数据和回答数据生成接口调整样本数据,可以创建一个逼真、动态的多轮对话模拟,有助于训练和测试问答系统。
考虑到大模型在提取某个文档的摘要时由于无法判断在该情况下应该终于原文输出摘要,所以存在有提取到的摘要于原始文档所记载的内容存在歧义的问题存在,所以,所述项目知识信息包括文档数据;
进一步的,根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,包括:
根据文档问题数据生成策略处理所述文档数据,生成文档问题数据集,其中,文档问题数据生成策略包括反馈文档问题数据生成策略和事实一致性问题数据生成策略中的至少一个;
根据所述文档问题数据集调整所述数据处理模型,构建所述项目知识信息对应的项目问答模型。
实际应用中,文档问题数据生成策略为用于生成文档问题数据集的数据处理策略,反馈文档问题数据生成策略为用于生成反馈文档问题数据集的数据处理策略,事实一致性问题数据生成策略为用于生成事实一致性问题数据集的数据处理策略,文档问题数据集包括反馈文档问题数据集和对抗文档问题数据集中的至少一个。
具体的,文档问题数据集可以理解为用于微调数据处理模型的数据集,在使用反馈文档问题数据生成策略生成数据的情况下生成的文档问题数据集为反馈文档问题数据集,在使用事实一致性问题数据生成策略生成数据的情况下生成的文档问题数据集为对抗文档问题数据集。
事实一致性问题数据生成策略可以理解为,根据给定文章数据生成该数据对应的摘要,并对摘要中的每句话标注出所属的任务类型,任务类型包括有修饰任务和理解任务。修饰任务指的是生成有幻觉的摘要,而理解任务对应的摘要内容必须严格遵从原文的输入由基于事实一致性问题数据生成策略所生成的事实一致性问题数据集可以理解为,包含有原文和一个与该原文对应的由多个句子组成的摘要,以及各个句子所属的任务类型。
在本申请所提供的另一实施例中,先选取一批文章,然后使用大语言模型针对每篇文章制作摘要,并标注出摘要中各个句子是否具有幻觉(也就是标注出句子所属的任务类型,具有幻觉的句子所属的任务类型为修饰任务,未具有幻觉的剧组所属的任务类型为理解任务)所生成的对抗问答问题数据集为:
“数据对1:
文章:" 位于英超联赛倒数第二的球队A’,周一解雇了教练B。球队AA的下一场比赛是在4月29日客场对抗排名比他们高一位、领先两分的球队C。42岁的教练D说:‘是的,我们目前的位置很糟糕,但同样,我们离[排名第七的]球队E并不远。’他表示,‘我很兴奋。我很感激这次机会,我不会轻率地对待。对我来说这不是一个大风险,但对球队来说可能是一个大风险——很多人会这么认为,因为我以前没有做过这个工作。’他还说,‘这个机会太好了,无法拒绝。’球队AAA目前连续七场失利,球队F在上周六在球队AAA的主场以2-0赢球后超过了他们。教练D,曾在球队G执教,也曾为媒体机构H解说过苏格兰足球。球队AAA的总经理I表示,教练D是这个职位的‘首选’,新任经理坚称目前的球队AAA‘绝对足够好’。他说,‘我对他们目前的位置感到惊讶。’他还说,‘我不会欺骗任何人说这很简单,因为事实并非如此。前面有很多艰苦的工作。我们周围的其他球队也有同样的心态。这是一项重大的工作。我认为大多数人都了解我是怎样的人,我的性格,我在比赛和训练时所坚持的标准——这些品质我想我会带到球队AAA。现在我的工作是和球员们坐在一起,尝试让他们理解那些要求,那些要求将使他们更上一层楼,足以让我们赢得足球比赛。’教练D还说他对于让球队AAA摆脱降级困境‘非常有信心’。他1992年在球队AAA开始他的职业生涯,曾效力于球队J、球队K、球队L和球队M,最终于2011年在球队AAA退役。他还代表国家队出战26场,打进3个国际进球。教练D的前队友和同国家队球员N支持球队AAA的任命。前球队O和球队P的主教练告诉媒体机构Q:‘教练D在这项运动中拥有丰富的经验,’他说:‘我不认为教练D会接受这个工作,如果他不自信的话。他对球队AAA的感情,他和他们的亲和力,我认为他不会考虑这个职位,除非他确信自己能从更衣室中的球员那里得到反应。他显然是个聪明的年轻人,他对比赛有很好的见解。教练D性格很火爆。我一直认为他会成为经理。那里有五场重要的比赛,对他们来说是保持在该联赛中的关键。他们有能力做到这一点。"
摘要:
"球队AAA已经任命前球员教练B为他们的新经理。"
"球队AA目前处于降级区,但距离第七名的球队E仅有两分之差。"
"球队AAA在过去七场比赛中均告失利,而上周六球队F以2-0击败了他们。"
标签: [0](表示摘要中第一个句子存在幻觉)。”
将对抗文档问题数据集中的任意一篇文章数据输入至项目问答模型中,如果模型输出摘要中句子与样本对中摘要的句子对应的任务类型是一致的,则鼓励这种样本的生成,称之为激励损失值;如果两者的任务类型不一致,例如理解任务采用了有幻觉的样本,那么则惩罚这种错配行为,称之为惩罚损失值。随后根据预设的超参数对激励损失值和惩罚损失值进行加权求和之后获取总损失值,随后获取模型每层的输出并对根据每层输出的总损失值选择表现最差的至少一层,随后使用事实一致性问题数据集对选出的各个层进行训练,使得项目问答模型能够专注于其弱点,同时通过基于探测的对项目问答模型进行调整可以在提高项目问答模型生成的文章摘要与目标文章的正确性的基础上,减少调整的参数以减少模型训练的消耗。
在本申请所提供的另一实施例中,对同一数据“截至周五上午,A市一夜之间的降雨量达到202.8毫米,是自1952年有记录以来降雨量最大的一次。C市在数小时内降雨量约为150毫米 …… A市官方表示,A市的救援人员从洪水危险中疏散或 救出了3000多人。官员们还宣布将在周五凌晨从附近的一座大坝泄洪,以减轻其压力 ……据官方估计,暴雨还袭击了中国东南部的B省沿海地区,迫使约30万居民转移到更安全的地方。周五,A市、B市和中国南方其他地区学校停课。但在整个地区,尽管交通中断,一些人仍然坚持在工作岗位上”分别使用未经过上述基于对抗文档问题数据集调整方式调整过后的数据处理模型和经历过上述基于对抗文档问题数据集调整方式调整过后的项目问答模型提取上述数据的摘要。
使用数据处理模型获取到的摘要为:“据报道,A市和B市遭遇了持续暴雨,创下了历史上最大的降雨量纪录…… 这次暴雨是由台风“海葵”引起的,导致B省沿海地区受灾。A市官方表示,救援人员已疏散或救出3000多人。在泄洪后,市政府称洪水将得到控制,预计约30万居民被迫转移到安全地区”。可以看出,未经过基于对抗文档问题数据集调整的数据处理模型所输出的摘要具有主语不一致,事实错误的问题。
使用基于对抗文档问题数据集调整后的项目问答模型获取到的摘要为:“据报道,A市和C市遭遇了持续暴雨,创下了历史上最大的降雨量纪录…… 这次暴雨是由台风“海葵”引起的,导致B省沿海地区受灾。A市官方表示,救援人员已疏散或 救出3000多人。暴雨同时袭击了B省沿海地区,预计约30万居民被迫转移到安全地区”。可以看出,经过基于对抗文档问题数据集调整后的项目问答模型避免了主语不一致,事实错误的问题。
通过在构建项目问答模型时将任务拆解为理解任务和修饰任务,并利用对应的理解任务数据和修饰任务数据进行针对性的调优,可以有效的提高项目问答模型在判断任务类型时的准确度,也就提高了模型在执行摘要提取任务时所输出的摘要与原文的一致性。
反馈文档问题数据生成策略可以理解为,利用人工以及大模型对各个问题的答案进行评价以构建反馈数据的方法,基于反馈文档问题数据生成策略所生成的反馈文档问题数据集可以理解为,包含有问题数据、该问题的回答数据,以及针对回答数据质量的反馈数据的数据集合。
在本申请所提供的一实施例中,首先创建一个问题数据集,该问题数据集中包括三个不同的任务:问题回答、对话生成和文本摘要。从各个数据集中随机选择10000个样本,并将它们组合成一个综合问题数据集,随后进行难度计算和分组使用一个回答问题的模型作为基础模型,为综合问题数据集中的每个问题生成答案,然后计算每个答案的困惑度(Perplexity ,PPL),并根据困惑度分数将问题分为三组:困难度低(E组)、中等(M组)和高(H组)。最后为模型生成的答案收集多样化反馈。
对于简单问题(E组),收集评语反馈,具体的,收集评语反馈的过程为AI大模型根据E组中问题和问题对应的答案获取该答案对应的评语,随后数据未经过对齐的数据处理模型通过上述问题和第一个答案以及该答案对应的评语,获取该答案对应的另一个答案,并将生成的另一个答案标注为偏好以构建数据集;这种反馈形式提供一系列评价和建议,指出回复中可以提升的点,以协助修改提升对话回复。
在本申请所提供的另一实施例中,提供的简单问题为:“描述太阳系的基本结构。”由未对齐的数据处理模型生成的第一个回答1为:“太阳系由太阳和围绕它运行的八颗行星组成。”将上述简单问题和问答1输入至AI大模型中,获取到的评语为:“回答正确,但可以添加关于行星的顺序和主要特征的信息”。随后将上述的问题、回答1、评语输入至未对齐的数据处理模型中,获取到该模型输出的第二个回答2为:“太阳系由太阳和围绕它运行的八颗行星组成,八颗行星的排序方式为水星(Mercury):距离太阳最近的行星。金星(Venus):太阳系中第二近的行星。地球(Earth):我们的家园,位于第三位。火星(Mars):被称为“红色行星”,位于地球外侧。木星(Jupiter):太阳系中最大的行星。土星(Saturn):以其显著的环系统著名。天王星(Uranus):一个冰巨星,以其独特的侧向旋转轴而闻名。海王星(Neptune):太阳系中最远的行星。”最后,将第二个回答(回答2)标注为偏好的回答,所获得反馈文档数据集中简单问题的数据集合为:
“问题:描述太阳系的基本结构。
回答1:太阳系由太阳和围绕它运行的八颗行星组成。
回答2:太阳系由太阳和围绕它运行的八颗行星组成,八颗行星的排序方式为水星(Mercury):距离太阳最近的行星。金星(Venus):太阳系中第二近的行星。地球(Earth):我们的家园,位于第三位。火星(Mars):被称为“红色行星”,位于地球外侧。木星(Jupiter):太阳系中最大的行星。土星(Saturn):以其显著的环系统著名。天王星(Uranus):一个冰巨星,以其独特的侧向旋转轴而闻名。海王星(Neptune):太阳系中最远的行星。
偏好标注:[1](说明回答2符合偏好)。”
对于中等难度问题(M组),收集改进反馈,具体的,收集改进反馈的过程为AI大模型根据M组中的问题和问题对应的答案生成该问题的另一个答案,并将生成的另一个答案标注为偏好以构建数据集;这种反馈形式为给模型预测的对话进行回复,并在该回复的基础上进行改良润色,让它更符合对话场景和用户需求。
在本申请所提供的另一实施例中,提供的中等难度问题为:“解释光合作用的过程”由未对齐的数据处理模型生成的第一个回答1为:“光合作用是植物使用阳光将水和二氧化碳转化为氧气和葡萄糖的过程。”将上述中等难度问题和问答1输入至AI大模型中,直接获取该模型输出的第二个回答2为:“光合作用是植物利用叶绿体将太阳能转化为化学能的过程,对维持地球生态平衡至关重要。在这个过程中,叶绿体内的叶绿素和其他色素吸收太阳光能,触发光反应。这一阶段主要发生在叶绿体的类囊体膜上,太阳能被用来将水分子分解成氧气和氢离子。此过程产生的氧气释放到大气中。”最后,将第二个回答(回答2)标注为偏好的回答,所获得反馈文档数据集中等难度问题的数据集合为:
“问题:解释光合作用的过程。
回答1:光合作用是植物使用阳光将水和二氧化碳转化为氧气和葡萄糖的过程。
回答2:光合作用是植物利用叶绿体将太阳能转化为化学能的过程,对维持地球生态平衡至关重要。在这个过程中,叶绿体内的叶绿素和其他色素吸收太阳光能,触发光反应。这一阶段主要发生在叶绿体的类囊体膜上,太阳能被用来将水分子分解成氧气和氢离子。此过程产生的氧气释放到大气中。
偏好标注:[1](说明回答2符合偏好)。”
对于困难问题(H组),收集偏好反馈,具体的,收集偏好反馈的过程为使用另一个未对齐的数据处理模型生成另一个回复,再使用AI大模型判断两个回答中哪一个回答更加全面的回答了目标问题。偏好反馈为给模型预测的有两个或多个不同的对话进行回复,这种反馈形式从中选择最符合当前对话场景和用户需求的对话回复。
在本申请所提供的另一实施例中,提供的困难问题为:“讨论量子纠缠的概念。”由第一个未对齐的数据处理模型生成的第一个回答1为:“量子纠缠涉及两个或多个粒子形成的系统,其中粒子的量子状态不能单独描述,而是相互依赖。”将上述困难问题和问答1输入另一个未对齐的数据处理模型中,获取到该模型输出的第二个回答2为:“量子纠缠涉及两个或多个粒子形成的系统,其中粒子的量子状态不能单独描述,而是相互依赖。”随后将上述问题以及该问题对应的两个回答输入至AI大模型中,获取到的大模型输出的偏好反馈为:“回答1更准确地描述了量子纠缠的复杂性。”最后,根据上述AI大模型输入的偏好反馈将第一个回答(回答1)标注为偏好的回答,所获得反馈文档数据集中困难问题的数据集合为:
“问题:讨论量子纠缠的概念。
回答1:量子纠缠涉及两个或多个粒子形成的系统,其中粒子的量子状态不能单独描述,而是相互依赖。
回答2:量子纠缠是一种量子粒子间的特殊联系,即一个粒子的状态即刻影响另一个粒子的状态。
偏好标注:[0](说明回答1符合偏好)。”
需要说明的是,在文档问题数据集为反馈文档问题数据集的情况下,模型的调整方式为使用基于数据集中反馈数据的模型训练方法根据反馈文档问题数据集对项目问答模型进行调整,例如RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)、DPO(Direct Preference Optimization,直接偏好优化)等等,本说明书对此不作任何限制。
在本申请所提供的另一实施例中,对同一数据“没错好,我们说了唯一的今天介绍的一个在三环之外的,下面的就真是比较城区了。………地名,地点1大街,有。我去这,我知道地点1大街,我知道。地点1大街是非常有名儿。……,在那儿有两个寺,其实也就是一墙之隔,分别叫寺庙A和寺庙B,他们都是宗教教派的寺庙。……下面我们也会讲到这个东西寺庙,其中的寺庙A现在已经完全没有了,……寺庙B现在开放的这个部分叫寺庙B博物馆,堪称某最新的景点之一。……这里面最著名寺庙B现在开放的区域里面,最著名的景点是一座塔,叫做塔名称1。这个塔相当于是名人1的衣冠冢,……但是,历史人物1的时候就是为了纪念这个名人1,是给他在这个寺庙B修了1个衣冠冢,很合理,就是那种宗教风格的有点儿。……塔院正在开放的这个部分,等于在地标1外,地标1外离地点2公园都不远,对。地点2公园就是大家看导演1的电影作品1,对那边的角色1,角色2,那场整整场戏都是在那里边的……这全是在地点2公园。对。对,因为里面有一点欧式建筑”分别使用未经过上述基于反馈文档问题数据集调整方式调整过后的数据处理模型和经历过上述基于反馈文档问题数据集调整方式调整过后的项目问答模型提取上述数据的摘要。
使用数据处理模型获取到的摘要为:“讲者介绍了一些某的寺庙和景点,包括位于三环外的庙宇和位于二环以外的宗教教派寺庙。其中,寺庙B是一个不开放的单位,现在开放的寺庙B博物馆是某最新的景点之一。最著名的景点是塔名称,是名人1的衣冠冢。讲者还提到了地点2公园和一些欧式建筑。”。可以看出,未经过基于反馈文档问题数据集调整的数据处理模型所输出的摘要,虽然事实准确,但是具有重点不全、可读性一般的问题。
使用基于反馈文档问题数据集调整后的项目问答模型获取到的摘要为:“讲者介绍了两个位于某市内的寺庙:寺庙A和寺庙B。寺庙A曾经是两个朝代宗教教派寺庙之一,现在已经不存在,只剩下寺庙B。寺庙B以前是一个不开放的单位,现在开放的区域包括寺庙B博物馆,其中最著名的是塔名称,是名人1的衣冠冢。讲者还介绍了地点2公园,它是导演1电影作品1中的场景之一”。可以看出,经过基于反馈文档问题数据集调整后的项目问答模型避免了重点不全、可读性一般的问题。
通过包含有反馈的反馈文档问题数据集对项目问答模型进行调整,可以有效的提高项目问答模型生成文章摘要的质量。
考虑到传统的任务型对话在对复杂任务进行任务拆解时由于复杂任务包含大量小任务,所以存在有需要配置大量小任务对应的回应而造成的配置工作量过大,如果使用传统的大模型任务进行拆解还伴随有大模型对拆解后的任务输入理解正确率低的问题,所以,所述项目知识信息包括任务流程数据;
进一步的,根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,包括:
根据所述任务流程数据生成任务流程图数据,并基于所述任务流程图数据生成任务流程指令数据;
根据所述任务流程数据和对应的任务流程指令数据调整所述数据处理模型,构建所述项目知识信息对应的项目问答模型。
为了实现基于业务流程的可控对话,将接收到的任务流程数据构建成图结构的任务流程图数据,再将任务流程图数据转化为基于规范语法的任务流程指令数据输入给大模型,大模型之后可以基于该任务流程指令数据对应的任务流程图数据进行可控规划。
具体的,将任务流程图数据转换为任务流程指令数据,可以通过为任务流程图数据中的节点和边分别赋予不同的功能来表达业务流程,再根据任务流程图数据中的各个节点和不同功能、各个节点和边在任务流程图数据中的关联关系,生成该任务流程数据对应的任务流程指令数据。例如,任务流程图数据中的节点定义为:定义每一步模型所需要做出的动作,每个节点包含一个子指令,让模型按照该指令去回复用户或者执行某个动作;任务流程图数据中的边定义为:用描述性自然语言描述各种跳转条件,称为描述性分支,包括用户意图、基于变量/内容的条件判断等。
在本申请所提供的一个实施例中,任务流程数据为:“我要激活ETC”,根据该任务流程数据生成的任务流程指令数据为:
“ETC激活r流程指令开始)--ETC激活-->B-->根据系统手机号,调用API:getUserInfo,获取用户车牌信息plate_list]
B-->C[遍历plate_list中的车牌号,跟用户确认激活车牌plate]
C-->D{是否获取到激活车牌plate}
D--是-->F-->根据车牌号,调用API: getCarInfo,查询车型和对应激活知识]
F-->G[根据激活知识指导激活]
D--否-->E[询问车牌号信息]
E-->F
G--激活成功-->H[恭喜激活成功,致谢再见]”
由任务流程数据转换为任务流程指令数据可以覆盖各种业务流程,方便业务流程到图指令之间的转化,相比于传统的方式梳理配置工作量大幅度减少,并且由任务流程数据转换为任务流程指可以令大模型容易理解,进一步提高了大模型处理复杂任务的准确度。
进一步的,在构建所述项目知识信息对应的项目问答模型之后,还包括:
获取测试数据集合,其中,所述测试数据集合包括至少一个测试数据和各测试数据对应的测试标签数据;
将所述测试数据输入至所述项目问答模型,获取所述项目问答模型输出的测试预测标签数据;
根据各测试数据对应的测试标签数据和测试预测标签数据,确定所述项目问答模型的评分。
实际应用中,测试数据集合为任意的问题数据以及该问题数据对应答案数据的集合,测试数据为测试数据集合中的问题数据,测试标签数据为测试数据集合中问题数据对应的答案数据,测试预测标签数据为项目问答模型根据测试数据集合中的问题数据输出的答案数据。
优选的,考虑到项目问答模型需要在回答项目相关的问题时具有很高的正确率,所以上述的测试数据集可以为与项目有关的问题数据和答案数据。
具体的,项目问答模型的评分可以是计算模型针对各个问题所输出的测试预测标签数据与原始测试数据集中该问题数据的标签数据计算相似度,将平均相似度视为模型的评分,还可以是将相似度大于阈值的测试预测标签数据视为正确,将正确率视为模型的评分,本说明书对此不作任何限制。
考虑到原始的大模型在多轮问答方面、知识溯源方面、推理规划方面和插件使用方面所输出的回答准确率低,所述数据处理模型由下述步骤训练获得:
根据预设样本数据生成策略生成至少一个样本数据;
根据预设样本对生成策略处理各样本数据,获取各样本数据对应的至少一个样本对,其中,所述样本对包括待处理样本数据和与所述待处理样本数据对应的样本标签数据;
将各待处理样本数据输入至所述数据处理模型中,获取所述数据处理模型输出的各待处理样本数据对应的预测标签数据;
根据各待处理样本数据对应的预测标签数据和样本标签数据计算模型损失值,并根据所述模型损失值调整所述数据处理模型的模型参数;
继续训练所述数据处理模型,直至达到模型训练停止条件。
实际应用中,样本数据生成策略是用于生成样本数据的策略,样本数据是用于调整数据处理模型的样本数据,样本对生成策略是用于生成调整数据处理模型的样本对的策略,样本对是用于生成调整数据处理模型的样本对,待处理样本数据是输入至数据处理模型以使数据处理模型输出预测标签数据的数据,样本标签数据是待处理样本数据对应的正确标签,预测标签数据是数据处理模型对待处理样本数据预测的标签。
具体的,样本数据生成策略可以理解为,生成包括有文本以及各个文本的逻辑关系,并且冗余数据少的样本数据的策略,样本数据可以理解为包括由知识对话数据、流程规划数据和代码数据的结构化数据,例如,表明对话目标以及对话发生时间的对话数据,表明解决的问题以及解决该问题步骤的专业数据,表明所处理的项目需求以及完成该需求的代码数据等等,本说明书对此不作任何限制。
样本对生成策略可以理解为,将样本数据处理为具有对应关系文本对的样本对的策略,将样本数据处理为样本对的目的主要是为了训练和评估数据处理模型。在数据处理模型的训练过程中,每个样本对通常包含一个输入(待处理样本数据)和一个期望输出(样本标签数据)。通过这种配对,模型可以通过将模型根据待处理样本数据的输出(预测标签数据)与期望输出(样本标签数据)之间的做出比对,并根据比对结果,学习如何从给定的输入生成正确的输出。
通过知识对话数据对数据处理模型进行训练,由于知识对话数据中包含有多轮的对话以及对话与知识的关联信息,因此强化了模型的多轮对话能力、知识溯源能力;通过流程规划数据对数据处理模型进行训练,由于流程规划数据中包含有强烈逻辑关联的学术知识和数理知识,还包括有解决目标问题的详细步骤信息,因此强化了模型的知识溯源能力和推理规划能力;通过代码数据对数据处理模型进行训练,由于代码数据中包含有强烈逻辑关联的问题以及解决问题的代码步骤,还包括有详细的接口调用信息,因此强化了模型的和推理规划能力、插件使用能力。
在获得模型损失值后,即可根据模型损失值对问答模型的模型参数进行调整,具体的,可以是将所述模型损失值反向传播依次更新所述问答模型的模型参数。
在调整完模型参数后,即可继续重复上述的步骤,继续对问答模型进行训练,直至达到训练停止条件,在实际应用中,问答模型的所述训练停止条件,包括:
模型损失值小于预设阈值;和/或
训练轮次达到预设的训练轮次。
具体的,在对问答模型进行训练的过程中,可以将模型的训练停止条件设置为模型损失值小于预设阈值,也可以将训练停止条件设置为训练轮次为预设的训练轮次,例如训练10轮,在本说明书中,对损失值的预设阈值和/或预设的训练轮次不做具体限定,以实际应用为准。
考虑到根据不同的训练方式需要划分不同的样本对,所以样本对生成策略包括问答样本对生成策略和文本样本对生成策略;
进一步的,根据预设样本对生成策略处理各样本数据,获取各样本数据对应的至少一个样本对,包括:
在所述样本对生成策略为问答样本对生成策略的情况下,确定所述样本数据中知识数据和问题数据为待处理样本数据,所述问题数据对应的答案数据为所述待处理样本数据对应的样本标签数据;
在所述样本对生成策略为文本样本对生成策略的情况下,确定所述样本数据中预设长度的待处理文本为待处理样本数据,所述待处理文本对应的后续待处理文本为所述待处理样本数据对应的样本标签数据。
实际应用中,问答样本对生成策略为将样本数据中的问题数据和答案数据作为样本对的策略,文本样本对生成策略为分割样本数据中的文本,并根据分割后文本的待处理文本和后续文本作为样本对的策略。
具体的,问答样本对生成策略可以理解为生成问题和答案的样本对,以使数据处理模型进行有监督学习,通过将样本数据中的问题数据和对应的答案数据处理为样本对,实现了有效的模型训练。这种问答样本对生成策略使得模型能够针对特定问题学习其正确的答案,从而提高了模型在问答任务上的性能。文本样本对生成策略可以理解为,通过分割样本数据中的文本,并将分割后的待处理文本及其后续文本作为样本对,以使数据处理模型进行自监督学习使得模型能够学习文本的连贯性和上下文关系。这种文本样本对生成策略有助于提升模型在文本生成和理解方面的能力。
考虑到需要利用优质的样本数据对上述数据处理模型进行调整以增强数据模型在多轮问答方面、知识溯源方面、推理规划方面和插件使用方面的能力,所以样本数据生成策略包括知识对话数据生成策略、流程规划数据生成策略、代码数据生成策略;
进一步的,根据预设样本数据生成策略生成至少一个样本数据,包括:
根据所述知识对话数据生成策略生成知识对话数据;
根据所述流程规划数据生成策略生成流程规划数据;
根据所述代码数据生成策略生成代码数据。
实际应用中,知识对话数据生成策略为用于生成知识对话数据的策略,知识对话数据为具有逻辑关系的对话数据。流程规划数据生成策略为用于生成流程规划数据的策略,流程规划数据为具有逻辑关系的流程规划数据。代码数据生成策略为用于生成代码数据的策略,代码数据为具有逻辑关系的代码数据。
知识对话数据生成策略可以理解为处理获取到的原始对话数据,将原始的对话数据处理为具有逻辑关系的对话数据,例如,获取包括有多个知识每个知识对应有多轮对话的对话数据,将知识数据作为根节点,并按照对话数据的轮数构建一个知识树,随后遍历该知识树,遍历之后所获得的结果为具有逻辑关系的流程规划数据。
知识对话数据可以理解为包含有多轮的对话以及对话与知识的关联的数据,例如,包括有论坛中帖子和该贴子对应回复的数据“帖子1 回复1 回复2 回复3 回复6 回复4回复5;帖子2 回复7 回复10 回复13 回复8 回复9 回复11”。
由于该知识对话数据包含有多轮对话,而使用包含有多轮对话的知识对话数据对模型进行训练可以有效的提高模型进行大量多轮对话且不会忘记前文的能力,也就是多轮对话能力,并且,由于上述知识对话数据包括有对话与知识关联的信息,而使用包括有对话与知识关联的信息对模型进行训练可以有效的提高模型在回答问题时与对应知识关联的能力,也就是知识溯源能力。因此,基于上述知识对话数据对模型进行训练,可以强化模型的多轮对话能力、知识溯源能力。
流程规划数据生成策略可以理解为处理获取到的原始知识数据,将原始的知识数据处理为具有逻辑关系的知识数据,需要说明的是,可以对原始知识数据的来源进行初步筛选,并按照来源的质量,构建原始的知识数据,可以初步保证知识数据的质量。原始数据可以理解为专业领域之中的数据,例如各个专业领域的论文、专利、教科书等等文件,本说明书对此不作任何限制。
如图4所示,图4是本说明书一个实施例提供的一种流程规划数据生成策略的示意图,具体包括以下步骤:步骤402:获取专业知识原始数据。步骤404:判断是否为预设语言种类,若是则执行步骤406,若否则执行步骤410。步骤406:判断图表依赖度是否小于阈值,若是则执行步骤408,若否则执行步骤410。步骤408:判断是否不存在冗余数据,若是则执行步骤412,若否则执行步骤410。步骤410:丢弃数据。步骤412:根据清洗策略清洗数据。步骤414:结构化处理数据。
其中,语言种类可以是任意自然语言种类,例如,英语、中文、法语等等,本说明书对此不作任何限制。通过语言种类进行初步筛选可以有效的选择需要语种的数据进行训练,可以有效的减少数据处理模型训练的消耗。图表依赖度可以理解为数据中文本对于图表的依赖程度,可以表示剔除掉数据中的图表后的文本数据是否还具有逻辑性。冗余数据可以理解为不表示有任何异议的文本词,例如,图像文本提取过程中产生的特殊字符等等,本说明书对此不作任何限制。通过对含有冗余数据的原始数据进行丢弃,可以进一步的减少数据处理模型训练的消耗。清洗策略可以包括采用文本分类的方式,将分类为广告、无意义数据等数据进行剔除。在经过上述的判断策略对原始数据进行判断之后,再使用清洗策略对原始数据进行清洗,可以提高数据清洗的效率,并且更进一步的减少数据处理模型训练时的消耗。结构化处理数据可以理解为根据原始数据的格式,生成具有逻辑关系的文本,例如,针对不同类型的文本,如专利、学术论文和考试题目,该系统开发了特别的解析规则。专利文本的解析是基于预设专利格式进行的,而学术论文则根据它们普遍的结构,如标题、引言、方法和结论等部分进行解析。生成标题-引言等结构关系的文本。
通过上述的流程规划数据生成策略对获取到的流程规划数据进行处理不仅显著提升了数据清洗的精确度和效率,还展现了出色的灵活性和可扩展性。它能够依据不同数据类型的特性进行调整,从而有效提高数据处理的质量,为之后的数据处理模型的训练奠定了坚实的基础。
流程规划数据可以理解为包含有强逻辑关联的学术知识和数理知识,以及解决目标问题的详细步骤的数据,例如下述表2所包含的数据。
表2
其中,在实际应用中可以选择采用质量为高的数据集,也可以选择特定一种或多种类别的数据集,还可以选择特定一种或多种语言的数据集,以及可以选择特定一种或多种领域的数据集,甚至可以指定特定一个或多个数据集,进行筛选后作为流程规划数据。
由于流程规划数据包含有强逻辑关联的学术知识和数理知识,而使用包含有强逻辑关联的学术知识和数理知识对模型进行训练可以有效的提高模型在回答问题时所回答的答案与实际数理知识和学术知识的关联能力,也就是说,可以使模型在回答问题时有“依据”,也就提高了模型的知识溯源能力,并且,由于上述知识对话数据包括有解决目标问题的详细步骤的数据,而使用包括有解决目标问题的详细步骤的数据对模型进行训练可以有效的提高模型在解决问题时将该问题分解为多个步骤的能力,也就是推理规划能力。因此,基于上述流程规划数据对模型进行训练强化了模型的知识溯源能力和推理规划能力。
代码数据生成策略理解为处理获取到的原始代码数据,将原始的代码数据处理为具有逻辑关系的代码数据,也就是,将获取到的代码文本处理为项目场景与项目实现代码对应的文本数据,例如处理之后的代码数据为:项目场景1-实现项目场景1所需的代码、项目场景2-实现项目场景2所需的代码。
代码数据可以理解为包含有强逻辑关联的问题以及解决该问题代码的步骤,和详细的接口调用的数据,例如,所获取到的代码数据为实现项目1的代码为:实现的项目为项目1,具有3个代码模块,接收代码模块,处理代码模块和显示代码模块,接收代码模块中包含有实现数据接收的代码1,处理代码模块中包含有实现数据添加的代码2、实现数据删除的代码3、实现数据修改的代码4、实现数据查找的代码5,显示代码模块中有显示项目执行结果的代码6。
由于代码数据包含有强逻辑关联的问题以及解决该问题代码的步骤,而使用包含有强逻辑关联的问题以及解决该问题的步骤对模型进行训练,可以有效的提高模型在解决问题时将该问题分解为多个步骤的能力,也就是推理规划能力,并且,由于上述知识对话数据包括有解决目标问题代码的数据,而使用包括有解决目标问题代码的数据对模型进行训练可以有效的提高模型在解决问题时使用代码的能力,并且使用代码的能力可以理解为使用插件的能力,也提高了模型的插件使用能力。因此,基于上述代码数据对数据处理模型进行训练强化了模型的和推理规划能力、插件使用能力。
需要注意的是,多轮对话能力可以理解为在企业服务中处理长对话序列的能力,例如,在客户服务中,一个问题可能需要通过几十轮的对话来充分理解和解决。知识溯源能力可以理解为准确理解和利用企业中的文档、表格、项目流程等信息的能力,例如,解析一份技术手册来回答特定的产品问题。推理规划能力可以理解为在处理复杂任务时进行有效拆解和逐步引导的能力,例如,指导客户完成信用卡激活的多个步骤。插件使用能力可以理解为利用企业内部的信息查询和事务处理接口的能力,例如,通过企业提供的项目接口查询客户账户信息或办理项目流程。
通过知识对话数据生成策略生成的知识对话数据和流程规划数据生成策略生成的流程规划数据,以及根据代码数据生成策略生成的代码数据,对数据处理模型训练,提高了数据处理模型的多轮对话能力、知识溯源能力、推理规划能力和插件使用能力,进而提高了数据处理模型在处理复杂任务时的准确率。
考虑到社交网络中的对话数据中存在有逻辑关联,所以要在构建的样本数据中体现出上述社交网络对话中的逻辑关联,并且要清除数据中冗余部分,但是,考虑到在社交网络中的对话数据可能存在有对话数据量少或对话数据质量高的情况,所以知识对话数据生成策略中可以不仅包括知识对话数据构建策略,和知识对话数据生成策略;
为避免由于社交网络中的对话数据可能存在有部分无效数据带来的模型训练效率低的问题,知识对话数据生成策略还包括有知识对话数据清洗策略;
优选的,根据所述知识对话数据生成策略生成知识对话数据,包括:
获取知识对话原始数据,并根据所述知识对话数据构建策略处理所述知识对话原始数据构建知识对话树;
根据所述知识对话数据清洗策略,调整所述知识对话树;
根据所述知识对话数据生成策略遍历所述知识对话树,获取至少一个知识对话文本;
结合各知识对话文本生成知识对话数据。
实际应用中,知识对话数据构建策略为构建知识树的策略,知识对话数据清洗策略为调整知识树的策略,知识对话数据生成策略为根据知识树生成知识对话数据的策略。
具体的,根据知识对话数据构建策略和知识对话原始数据,构建知识对话树可以理解为根据原始的文本数据通过数据构建策略处理之后生成的树形结构的知识对话数据,优选的,构建的对话树具有一个虚拟节点,该虚拟节点作为知识树的根节点,并将所有的知识数据对应的节点视为该虚拟节点的子节点,为方便描述,下面将知识数据对应的节点描述为根节点,以区分知识数据对应的节点与回复数据对应节点。可以将知识对话原始数据中的知识数据视为根节点,再根据评论目标构建各个节点的子节点。需要补充的是,在上述知识对话数据构建策略之外,还可以考虑到回复的发布时间来去确定子节点的排序,以便于后续根据排序生成带有时间特征数据的知识对话数据,以使知识对话数据的逻辑关系更加密切。
根据知识对话数据清洗策略调整知识对话树,可以理解为根据知识对话数据清洗策略删除掉知识对话树中冗余的数据,调整知识对话树可以更加准确的剔除掉知识密度小的回复数据、与回复目标相关性低的回复数据以及该回复数据对应的回复数据,可以保证对话中的知识和回复在常规数据集中是罕见的,其次还可以保证对话内容的分布广泛,避免内容的冗余和重复,最后还可以保证对话内容与更广泛的上下文保持紧密相关。
根据知识对话数据生成策略遍历知识对话树获取至少一个知识对话文本,可以理解为,根据树的遍历策略遍历知识树,由于知识树可以是由一个虚拟节点作为根节点,所有的知识数据对应的节点作为根节点的子节点组成的树,所以对一个知识树进行遍历,可以获得所有的知识数据对应的知识对话文本,也就能获得至少一个知识对话文本。并且,考虑到模型的训练需要以纯文本形式进行,所以需要将知识树转变为纯文本形式的训练语料,并且为了减少数据的重复性,在处理纯文本时,树状结构中的每个节点都应该只出现一次,以及考虑到,在大型文本生成模型的学习过程中,当模型生成文本中的每个词时,它只能访问该词之前的文本片段,而无法看到该词之后的内容,训练数据的组织应遵循内在的因果逻辑,所以需要按照特定的顺序遍历树中的所有节点,并根据这个遍历顺序,将各个节点的文本内容顺序拼接起来,这样做既保持了数据的之间所具有的逻辑关系,又避免了数据的重复。
在本说明书所提供的一实施例中,原始的文本数据为:“‘知识1’,发布者:用户1;‘回复1’,发布者:用户2,评论目标:知识1; ‘回复2’,发布者:用户3,评论目标:知识1; ‘回复3’,发布者:用户1,评论目标:知识1; ‘回复4’,发布者:用户1,评论目标:回复1; ‘回复5’,发布者:用户3,评论目标:回复1”。处理之后的树形结构的知识树为:
“知识1
-回复1
-回复4
-回复5
-回复2
-回复3
随后,根据知识对话数据清洗策略对该知识树进行调整,获取到的知识树为:
“知识1
-回复1
-回复5
-回复2
最后,根据预设的顺序对调整后的知识树进行遍历,遍历之后所获取到的知识对话文本为:“知识1 回复1 回复5 回复2”。
考虑到社交网络中的对话数据经常组织为树的结构并且主题帖下方通常会有多个对话,所以知识对话树包括至少一个知识节点和各知识节点对应的至少一个对话节点;
进一步的,根据所述知识对话数据清洗策略,调整所述知识对话树,包括:
确定待判断节点,所述待判断节点为各对话节点中任意一个;
根据所述知识对话数据清洗策略和所述待判断节点,确定待剪枝节点,其中,所述知识对话数据清洗策略包括困惑度清洗判断策略和对话长度清洗判断策略中的至少一个;
对所述待剪枝节点进行剪枝处理,调整所述知识对话树。
实际应用中,待判断节点为对话节点中的任意一个,待剪枝节点为确定为需要删除的对话节点,剪枝处理为删除待剪枝节点以及该待剪枝节点对应的所有子节点,困惑度清洗判断策略为根据待判断节点的困惑度的判断策略,对话长度清洗判断策略为根据待判断节点的对话长度的判断策略。
具体的,根据知识对话数据清洗策略判断待判断节点是否为待剪枝节点,以使后续对待剪枝节点进行剪枝,可以理解为,判断该对话节点是否满足预设条件,将不满足预设条件的节点以及该节点对应的回复数据进行删除,也就是说,根据预设的条件将不满足条件的数据删除,避免后续形成的对话数据质量低带来的模型训练效果差的问题。
困惑度清洗判断策略可以理解为根据待判断节点的困惑度判断该节点是否应该删除,考虑到困惑度(Perplexity, PPL)是用来评估语言模型对一段文本预测能力的指标,这个指标的核心在于衡量模型对文本中各个词汇出现概率的预测准确性,困惑度越低,则意味着语言模型对该文本的预测程度越高,也就是说,模型对文本的理解和预测更加准确,代表着该文本与该语言模型训练时所使用的文本相似程度度越高,从而,待判断节点的困惑度可以理解为待判断节点与目标模型训练时所使用数据的相似程度,进而可以根据该待判断节点在不同数据中的相似程度确定该节点是否满足删除条件,可以有效地判断该节点是否具有保留的价值,以此来提高整体数据集的质量和实用性。
对话长度清洗判断策略可以理解为根据待判断节点的文本长度和知识树整体的长度特征判断该节点是否应该删除,如果一个对话节点或路径的文本长度过短,它可能缺乏足够的信息量,因而在新颖性、上下文相关性和多样性方面表现不佳。文本长度作为一个关键指标,能够反映出对话内容的丰富程度和信息深度。短文本可能无法有效地展现复杂的思想或深入的讨论,而较长的文本则更可能包含丰富、有深度的内容。因此,通过评估节点的文本长度以及从根节点到该节点的路径长度,可以有效地判断该节点是否具有保留的价值。这种方法的目的是确保保留的对话数据不仅在长度上满足一定标准,而且在内容质量上也达到一定水平,以此来提高整体数据集的质量和实用性。
需要注意的是,新颖性可以理解为知识对话中的知识和模式应当在通用数据中未见过,多样性可以理解为对话的分布应当尽量多样,避免冗余和重复,上下文相关性可以理解为对话内容应当与较长的上下文相关。通常,将具备新颖性、上下文相关性和多样性的数据视为优质的数据。
考虑到困惑度衡量的是语言模型对于一段文本的预测程度,所以知识对话数据清洗策略为困惑度清洗判断策略,困惑度清洗判断策略包括新颖性判断策略、多样性判断策略和上下文相关性判断策略中的至少一个;
进一步的,根据所述知识对话数据清洗策略和所述待判断节点,确定待剪枝节点,包括:
确定待判断节点对应的至少一个祖先节点;
根据各祖先节点确定祖先文本数据,并根据所述待判断节点确定待判断文本数据;
根据所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的困惑度;
根据所述困惑度判断所述待判断节点是否为待剪枝节点。
实际应用中,祖先文本数据为待判断节点对应所有祖先节点的文本数据,待判断文本数据为待判断节点的文本数据,困惑度为待判断节点对应文本的困惑度。
进一步的,根据所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的困惑度,包括:
确定所述待判断文本数据中的至少一个待判断词信息;
获取初始困惑度判断模型;
根据所述初始困惑度判断模型和所述祖先文本数据,计算各待判断词信息对应的待判断词概率;
根据各待判断词信息对应的待判断词概率,确定所述待判断节点对应的困惑度。
实际应用中,待判断词信息为待判断文本中各个词的信息,初始困惑度判断模型为通过通用文本训练获得的模型。
具体的,根据待判断节点所有祖先节点的文本判断待判断节点中文本对应各个词的困惑度,最后结合待判断节点中文本中各个词的困惑度可以获得待判断节点的困惑度,具体如公式1所示:
……公式1
其中,v是待判断文本数据,C是待判断节点对应的祖先文本数据,L为待判断文本中词的个数,wt代表待判断文本的第t个词,P(wt|w1:t-1,C,θ)是由语言模型θ给出,P(wt|w1:t-1,C,θ)代表着将待判断文本的前t-1个词以及祖先文本数据输入至模型θ中,由模型θ输出的待判断文本的第t个词的困惑度。
新颖性判断策略可以理解为获取一个在通用数据上训练获得的模型θ,计算节点v的困惑度PPL(v|C, θ),并设定一个新颖度阈值,将困惑度大于新颖度阈值的节点视为不具有新颖性,进而将该待判断节点视为待剪枝节点进行删除。通过节点的困惑度判断该节点的新颖性并根据该节点是否具有新颖性判断是否删除该节点,可以提高该知识对话数据的质量,进而提高了根据该数据对数据处理模型进行训练的效率。
进一步的,在所述困惑度清洗判断策略为多样性判断策略的情况下,根据所述困惑度判断所述待判断节点是否为待剪枝节点,包括:
根据所述知识对话树生成知识对话数据子数据;
根据知识对话数据子数据训练所述初始困惑度判断模型,获得多样性困惑度判断模型;
根据所述多样性困惑度判断模型、所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的多样性困惑度;
根据所述多样性困惑度和所述困惑度,计算多样性困惑度差值;
根据预设多样性困惑度阈值和所述多样性困惑度差值,判断所述待判断节点是否为待剪枝节点。
实际应用中,知识对话数据子数据为知识对话数据中包括的部分数据,多样性困惑度判断模型为根据知识对话数据子数据训练获得的深度学习模型,多样性困惑度为根据多样性困惑度判断模型获取的待判断节点对应的困惑度,多样性困惑度差值为多样性困惑度与困惑度之间的差值。
具体的,多样性判断策略可以理解为从全量的结构化对话数据中获取一部分的对话数据,并根据该对话数据进一步训练由通用数据上训练获得的模型θ,获取模型γ,再分别利用模型θ计算计算节点v的困惑度PPL(v|C, θ),利用模型γ计算计算节点v的多样性困惑度PPL(v|C, γ),最后使用节点v的多样性困惑度PPL(v|C, γ)减去困惑度PPL(v|C,θ),确定两者的差值,将差值低于设定阈值的待判断节点视为不具有多样性,进而将该待判断节点设置为待剪枝节点并进行删除。
考虑到节点的困惑度表示节点与对应模型的训练的样本之间的相似度,也就是说,该节点对应的根据一部分知识对话数据与获取通用数据训练获得的模型γ所获得的多样性困惑度,与根据通用数据训练获得的模型θ所获得的困惑度之间的差值,则代表着待判断节点对应的文本与一部分知识对话数据之间的相似度,进而可以得知,待判断节点地多样性困惑度与困惑度差值越大,则该待判断节点对应待判断文本以及一部分知识对话数据与通用文本之间地的差距越大,从而可以设定预设的阈值判断该待判断节点是否具有多样性。
进一步的,在所述困惑度清洗判断策略为上下文相关性判断策略的情况下,根据所述困惑度判断所述待判断节点是否为待剪枝节点,包括:
根据所述知识对话数据,训练所述初始困惑度判断模型,获得上下文相关性困惑度判断模型;
从各祖先节点中确定至少一个距离接近祖先节点,并根据各距离接近祖先节点确定距离接近祖先文本数据;
根据所述上下文相关性困惑度判断模型、所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的上下文相关性困惑度;
根据所述上下文相关性困惑度判断模型、所述距离接近祖先文本和所述待判断文本数据,确定所述待判断节点对应的距离接近上下文相关性困惑度;
根据所述上下文相关性困惑度和所述距离接近上下文相关性困惑度,计算上下文相关性困惑度差值;
根据预设上下文相关性困惑度阈值和所述上下文相关性困惑度差值,判断所述待判断节点是否为待剪枝节点。
实际应用中,距离接近祖先节点为待判断节点小于预设距离的祖先节点,距离接近祖先文本数据为距离接近祖先节点对应的文本数据,上下文相关性困惑度判断模型为知识对话数据训练获得的深度学习模型,上下文相关性困惑度为根据上下文相关性困惑度判断模型获取的待判断节点对应的困惑度,距离接近上下文相关性困惑度为上下文相关性困惑度判断模型结合距离接近祖先节点获取的待判断节点对应的困惑度。
具体的,上下文相关性判断策略可以理解为,根据全量的结构化对话数据进一步训练由通用数据训练获得的模型θ获取模型δ,并提取待判断节点距离小于等于K的n个祖先,并获取上述n个对应的文本数据为距离接近祖先文本数据Cn,再分别利用模型δ和距离接近祖先文本数据Cn计算节点v的距离接近上下文相关性困惑度PPL(v|Cn,δ),利用模型δ和祖先文本数据C计算节点v的距离接近上下文相关性困惑度PPL(v|C,δ),最后使用节点v的距离接近上下文相关性困惑度PPL(v|Cn,δ)减去下文相关性困惑度PPL(v|C,δ),确定两者的差值,将差值低于设定阈值的待判断节点视为不具有上下文相关性,进而将该待判断节点设置为待剪枝节点并进行删除。
考虑到节点的困惑度表示当前待判断节点在设定文本的前提下,模型对当前待判断节点中文本预测的准确度,也就是说,如果该节点与其长距离的祖先相关,那么在预测该节点时如果只提供最近的祖先、不提供长距离的祖先,该节点的困惑度可能会增加。因此,可以用不提供长距离的祖先(距离接近祖先文本数据)获得的距离接近上下文相关困惑度,和提供长距离的祖先获得的上下文相关困惑度之间的差值衡量该节点的上下文相关性,差值越大则说明该节点与其祖先就越相关,从而可以设定预设的阈值判断该待判断节点是否具有上下文相关性。
本说明书实施例提供的方法,通过知识对话数据生成策略生成的知识对话数据和流程规划数据生成策略生成的流程规划数据,以及根据代码数据生成策略生成的代码数据,对数据处理模型训练,提高了数据处理模型的多轮对话能力、知识溯源能力、推理规划能力和插件使用能力,进而提高了数据处理模型在处理复杂任务时的准确率,再通过上述数据训练获得的数据处理模型,使数据处理模型结合项目知识获得获取项目问答模型,进而使项目问答模型在处理复杂任务时,可以提高处理的准确率。同时,通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。
下述结合附图5,图5示出了本说明书一个实施例提供的一种应用于云侧设备的项目问答模型构建方法的流程图,具体包括以下步骤:
步骤502:接收端侧设备发送的模型构建指令,其中,所述模型构建指令中携带有项目知识信息。
步骤504:根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
步骤506:获得所述项目问答模型的模型参数,并返回所述模型参数至所述端侧设备。
实际应用中,模型参数用于端侧设备生成项目问答模型。具体的,模型参数可以理解为云侧设备训练完成的项目问答模型所具备的参数,将该参数发送至端侧设备,可以使端侧设备建立参数相同的深度学习模型,也就是说,可以使端侧设备建立能力相同的深度学习模型。
上述为本实施例的一种应用于云侧设备的项目问答模型构建方法的示意性方案。需要说明的是,该应用于云侧设备的项目问答模型构建方法的技术方案与上述的项目问答模型构建方法的技术方案属于同一构思,应用于云侧设备的项目问答模型构建方法的技术方案未详细描述的细节内容,均可以参见上述项目问答模型方法的技术方案的描述。
本说明书实施例提供的方法,通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。同时,通过由多种结构化样本数据训练获得数据处理模型获取项目问答模型,使项目问答模型使项目问答模型能够基于项目知识进行复杂任务拆解,提升了智能化水平。
下述结合附图6,以本说明书提供的项目问答模型构建方法在企业问答模型构建的应用为例,对所述项目问答模型构建方法进行进一步说明。其中,图6示出了本说明书一个实施例提供的一种企业问答模型构建方法的处理过程流程图,具体包括以下步骤:
步骤602:获取原始知识对话数据:“知识1,发布者:用户1;回复1,发布者:用户2,评论目标:知识1;回复2,发布者:用户3,评论目标:知识1;回复3,发布者:用户1,评论目标:回复1”。
步骤604:根据上述原始对话数据构建知识对话树为:根节点对应的内容:“知识1”,根节点的子节点有对话节点1和对话节点2,对话节点1对应的内容为:“回复1”,对话节点2对应的内容为:“回复2”,对话节点1的子节点有对话节点3,对话节点3对应的内容为:“回复3”。
步骤606:计算各个对话节点对应的困惑度,获取到的对话节点1对应的困惑度为:0.1,对话节点2对应的困惑度为:0.8,对话节点3对应的困惑度为:0.6。
具体的,对话节点1是根据根节点对应的“知识1”以及对话节点1本身的内容“回复1”,通过大模型计算获得;对话节点2是根据根节点对应的“知识1”以及对话节点2本身的内容“回复2”,通过大模型计算获得;对话节点3是根据根节点对应的“知识1”、对话节点1对应的内容“回复1”以及对话节点3本身对应的内容“回复3”通过大模型计算获得。
步骤608:根据预设的困惑度阈值0.5,可以得知,对话节点1对应的困惑度小于阈值。
步骤610:将对话节点1进行剪枝处理。
步骤612:确定调整后的知识树为:根节点对应的内容:“知识1”,根节点的子节点有对话节点2,对话节点2对应的内容为:“回复2”。
步骤614:根据上述调整之后的知识树,生成知识对话数据“知识1-回复2”。
步骤616:将知识1和回复2进行切分,获取样本数据“知识1”和样本数据标签“回复2”,根据上述样本数据和样本数据标签训练数据处理模型。
步骤618:企业上传企业知识文档1“文档1”和文档2“文档2”。
步骤620:企业内用户向模型提问“请帮我总结文档1”。
步骤622:训练后的数据处理模型根据提问“请帮我总结文档1”,获取文档1的内容“文档1”。
步骤624:训练后的数据处理模型根据“文档1”生成摘要“文档1摘要”。
步骤626:将“文档1摘要”作为提问“请帮我总结文档1”的回答呈现。
本说明书实施例提供的方法,通过知识对话数据生成策略生成的知识对话数据和流程规划数据生成策略生成的流程规划数据,以及根据代码数据生成策略生成的代码数据,对数据处理模型训练,提高了数据处理模型的多轮对话能力、知识溯源能力、推理规划能力和插件使用能力,进而提高了数据处理模型在处理复杂任务时的准确率,再通过上述数据训练获得的数据处理模型,使数据处理模型结合项目知识获得获取项目问答模型,进而使项目问答模型在处理复杂任务时,可以提高处理的准确率。同时,通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。
与上述方法实施例相对应,本说明书还提供了项目问答模型构建装置实施例,图7示出了本说明书一个实施例提供的一种项目问答模型构建装置的结构示意图。如图7所示,该装置包括:
指令接收模块702,被配置为接收针对项目问答模型的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;
模型构建模块704,被配置为根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
可选的,所述项目知识信息包括接口数据;
所述模型构建模块704,进一步被配置为:
根据所述接口数据生成虚拟用户数据和虚拟环境数据;
所述数据处理模型根据所述接口数据、所述虚拟用户数据和所述虚拟环境数据,生成接口调整样本数据;
根据所述接口调整样本数据调整所述数据处理模型,构建所述项目知识信息对应的项目问答模型。
可选的,所述模型构建模块704,进一步被配置为:
根据所述接口数据生成对应的接口功能信息;
根据所述接口数据和所述接口功能信息生成虚拟用户数据和虚拟环境数据。
可选的,所述模型构建模块704,进一步被配置为:
基于所述虚拟用户数据生成第一轮对话的问题数据;
基于所述接口数据和所述虚拟环境数据,生成所述第一轮对话的问题数据对应的回答数据;
根据上一轮对话的回答数据和所述虚拟用户数据生成下一轮对话的问题数据,并根据所述接口数据和所述虚拟环境数据,生成该轮对话的回答数据,直至达到对话轮次停止条件;
根据多轮对话的问题数据和回答数据生成接口调整样本数据。
可选的,所述项目问答模型构建装置还包括模型训练模块,被配置为:
根据预设样本数据生成策略生成至少一个样本数据;
根据预设样本对生成策略处理各样本数据,获取各样本数据对应的至少一个样本对,其中,所述样本对包括待处理样本数据和与所述待处理样本数据对应的样本标签数据;
将各待处理样本数据输入至所述数据处理模型中,获取所述数据处理模型输出的各待处理样本数据对应的预测标签数据;
根据各待处理样本数据对应的预测标签数据和样本标签数据计算模型损失值,并根据所述模型损失值调整所述数据处理模型的模型参数;
继续训练所述数据处理模型,直至达到模型训练停止条件。
可选的,所述样本对生成策略包括问答样本对生成策略和文本样本对生成策略;
所述模型训练模块,进一步被配置为:
在所述样本对生成策略为问答样本对生成策略的情况下,确定所述样本数据中知识数据和问题数据为待处理样本数据,所述问题数据对应的答案数据为所述待处理样本数据对应的样本标签数据;
在所述样本对生成策略为文本样本对生成策略的情况下,确定所述样本数据中预设长度的待处理文本为待处理样本数据,所述待处理文本对应的后续待处理文本为所述待处理样本数据对应的样本标签数据。
可选的,所述样本数据生成策略包括知识对话数据生成策略、流程规划数据生成策略、代码数据生成策略;
所述模型训练模块,进一步被配置为:
根据所述知识对话数据生成策略生成知识对话数据;
根据所述流程规划数据生成策略生成流程规划数据;
根据所述代码数据生成策略生成代码数据。
可选的,所述知识对话数据生成策略包括知识对话数据构建策略、知识对话数据清洗策略、知识对话数据生成策略;
所述模型训练模块,进一步被配置为:获取知识对话原始数据,并根据所述知识对话数据构建策略处理所述知识对话原始数据构建知识对话树;
根据所述知识对话数据清洗策略,调整所述知识对话树;
根据所述知识对话数据生成策略遍历所述知识对话树,获取至少一个知识对话文本;
结合各知识对话文本生成知识对话数据。
可选的,所述知识对话树包括至少一个知识节点和各知识节点对应的至少一个对话节点;
所述模型训练模块,进一步被配置为:
确定待判断节点,所述待判断节点为各对话节点中任意一个;
根据所述知识对话数据清洗策略和所述待判断节点,确定待剪枝节点,其中,所述知识对话数据清洗策略包括困惑度清洗判断策略和对话长度清洗判断策略中的至少一个;
对所述待剪枝节点进行剪枝处理,调整所述知识对话树。
可选的,所述知识对话数据清洗策略为困惑度清洗判断策略,困惑度清洗判断策略包括新颖性判断策略、多样性判断策略和上下文相关性判断策略中的至少一个;
根据所述知识对话数据清洗策略和所述待判断节点,确定待剪枝节点,包括:
确定待判断节点对应的至少一个祖先节点;
根据各祖先节点确定祖先文本数据,并根据所述待判断节点确定待判断文本数据;
根据所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的困惑度;
根据所述困惑度判断所述待判断节点是否为待剪枝节点。
可选的,所述模型训练模块,进一步被配置为:
确定所述待判断文本数据中的至少一个待判断词信息;
获取初始困惑度判断模型;
根据所述初始困惑度判断模型和所述祖先文本数据,计算各待判断词信息对应的待判断词概率;
根据各待判断词信息对应的待判断词概率,确定所述待判断节点对应的困惑度。
可选的,所述困惑度清洗判断策略为多样性判断策略;
所述模型训练模块,进一步被配置为:
根据所述知识对话树生成知识对话数据子数据;
根据知识对话数据子数据训练所述初始困惑度判断模型,获得多样性困惑度判断模型;
根据所述多样性困惑度判断模型、所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的多样性困惑度;
根据所述多样性困惑度和所述困惑度,计算多样性困惑度差值;
根据预设多样性困惑度阈值和所述多样性困惑度差值,判断所述待判断节点是否为待剪枝节点。
可选的,所述困惑度清洗判断策略为上下文相关性判断策略;
所述模型训练模块,进一步被配置为:
根据所述知识对话数据,训练所述初始困惑度判断模型,获得上下文相关性困惑度判断模型;
从各祖先节点中确定至少一个距离接近祖先节点,并根据各距离接近祖先节点确定距离接近祖先文本数据;
根据所述上下文相关性困惑度判断模型、所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的上下文相关性困惑度;
根据所述上下文相关性困惑度判断模型、所述距离接近祖先文本和所述待判断文本数据,确定所述待判断节点对应的距离接近上下文相关性困惑度;
根据所述上下文相关性困惑度和所述距离接近上下文相关性困惑度,计算上下文相关性困惑度差值;
根据预设上下文相关性困惑度阈值和所述上下文相关性困惑度差值,判断所述待判断节点是否为待剪枝节点。
本说明书实施例提供的装置,通过知识对话数据生成策略生成的知识对话数据和流程规划数据生成策略生成的流程规划数据,以及根据代码数据生成策略生成的代码数据,对数据处理模型训练,提高了数据处理模型的多轮对话能力、知识溯源能力、推理规划能力和插件使用能力,进而提高了数据处理模型在处理复杂任务时的准确率,再通过上述数据训练获得的数据处理模型,使数据处理模型结合项目知识获得获取项目问答模型,进而使项目问答模型在处理复杂任务时,可以提高处理的准确率。同时,通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。
上述为本实施例的一种项目问答模型构建装置的示意性方案。需要说明的是,该项目问答模型构建装置的技术方案与上述的项目问答模型构建方法的技术方案属于同一构思,项目问答模型构建装置的技术方案未详细描述的细节内容,均可以参见上述项目问答模型方法的技术方案的描述。
参见图8,图8示出了本说明书一个实施例提供的一种问答模型构建方法的流程图,具体包括以下步骤:
步骤802:获取样本数据,并根据所述样本数据训练数据处理模型,其中,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
步骤804:接收针对项目处理模型的模型构建指令,其中,所述模型构建指令中携带有知识信息。
实际应用中,项目处理模型为处理对应项目的模型,知识信息为目标项目相关的知识信息。
步骤806:根据所述知识信息和数据处理模型,构建所述知识信息对应的项目处理模型,其中,所述项目处理模型用于根据所述知识信息生成项目答案数据。
实际应用中,项目答案数据为用户发来的针对目标项目的问题数据对应的答案数据。
上述为本实施例的一种问答模型构建方法的示意性方案。需要说明的是,该问答模型构建方法的技术方案与上述的项目问答模型构建方法的技术方案属于同一构思,问答模型构建方法的技术方案未详细描述的细节内容,均可以参见上述项目问答模型方法的技术方案的描述。
本说明书实施例提供的方法,通过知识对话数据生成策略生成的知识对话数据和流程规划数据生成策略生成的流程规划数据,以及根据代码数据生成策略生成的代码数据,对数据处理模型训练,提高了数据处理模型的多轮对话能力、知识溯源能力、推理规划能力和插件使用能力,进而提高了数据处理模型在处理复杂任务时的准确率,再通过上述数据训练获得的数据处理模型,使数据处理模型可以结合知识信息获得获取项目处理模型,进而使项目处理模型在处理复杂任务时,可以提高处理的准确率。同时,通过采用单个数据处理模型并结合项目知识数据处理复杂场景的方案,解决了传统多引擎建模存在的模块众多、相互冲突、优化困难的问题。
参见图9,图9示出了本说明书一个实施例提供的一种项目问答系统的架构图,项目问答系统可以包括客户端300和服务端400;
客户端300,用于向服务端400发送项目问答指令;
服务端400,用于接收项目问答指令,其中,所述项目问答指令中携带有项目问题数据;将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型根据项目知识信息生成的项目答案数据,其中,所述项目问答模型根据上述项目问答模型构建方法获得;向客户端300发送项目答案数据;
客户端300,还用于接收服务端400发送的项目答案数据。
通过项目问答模型,接收用户发来的项目问答指令中的项目问题数据,并输出该项目问题数据的项目答案数据,利用了根据项目知识获得的项目问答模型所具有的各项能力,以及该项目问答模型对于该项目知识的增强能力,可以在提供对企业的智能服务时,提高该智能服务的准确度。
项目问答系统可以包括多个客户端300以及服务端400,其中,客户端300可以称为端侧设备,服务端400可以称为云侧设备。多个客户端300之间通过服务端400可以建立通信连接,在项目问答场景中,服务端400即用来在多个客户端300之间提供项目问答服务,多个客户端300可以分别作为发送端或接收端,通过服务端400实现通信。
用户通过客户端300可与服务端400进行交互以接收其它客户端300发送的数据,或将数据发送至其它客户端300等。在项目问答场景中,可以是用户通过客户端300向服务端400发布数据流,服务端400根据该数据流生成项目答案数据,并将项目答案数据推送至其他建立通信的客户端中。
其中,客户端300与服务端400之间通过网络建立连接。网络为客户端300与服务端400之间提供了通信链路的介质。网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。客户端300所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务端400。
客户端300可以为浏览器、APP(Application,应用程序)、或网页应用如H5(HyperText Markup Language5,超文本标记语言第5版)应用、或轻应用(也被称为小程序,一种轻量级应用程序)或云应用等,客户端300可以基于服务端400提供的相应服务的软件开发工具包(SDK,Software Development Kit),如基于实时通信(RTC,Real TimeCommunication)SDK开发获得等。客户端300可以部署在电子设备中,需要依赖设备运行或者设备中的某些APP而运行等。电子设备例如可以具有显示屏并支持信息浏览等,如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用,例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
服务端400可以包括提供各种服务的服务器,例如为多个客户端提供通信服务的服务器,又如为客户端上使用的模型提供支持的用于后台训练的服务器,又如对客户端发送的数据进行处理的服务器等。需要说明的是,服务端400可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content DeliveryNetwork)以及大数据和人工智能平台等基础云计算服务的云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
值得说明的是,本说明书实施例中提供的项目问答方法一般由服务端执行,但是,在本说明书的其它实施例中,客户端也可以与服务端具有相似的功能,从而执行本说明书实施例所提供的项目问答方法。在其它实施例中,本说明书实施例所提供的项目问答方法还可以是由客户端与服务端共同执行。
参见图10,图10示出了本说明书一个实施例提供的一种项目问答方法的流程图,具体包括以下步骤:
步骤1002:接收项目问答指令,其中,所述项目问答指令中携带有项目问题数据。
实际应用中,项目问答指令用于生成项目问题数据对应的项目答案数据,项目问题数据用于输入至项目问答模型中获取项目答案数据。
具体的,项目问题数据可以理解为企业中用户所提出的问题数据,可以是用户自己提出的问题,也可以是用户根据之前该项目问答方法所输出的项目答案数据给出的问题数据,还可以是企业中的自动任务自动生成的问题数据等等,本说明书对此不作任何限制。
需要说明的是,本说明书实施例所提供的项目问答方法指的是在项目问答模型的应用过程中的一次问答场景,而在项目问答模型的应用过程中,包括有问答对话场景和实施场景。在问答场景中,也就是说,在项目问答模型的实际应用场景中,可能包含有多轮对话,每一轮对话问题数据都是视为项目问题数据,都通过项目问答指令发送。
在实施场景中,项目问题数据为根据用户的操作以及预设的规则模板生成的数据。并且上述的实施场景可以理解为给用户提供单一服务的场景,例如,上传文件并提供文件的摘要、获取指定用户的简介信息、根据接收到的邮件生成待办事项列表等等,本申请对此不作任何限制。
在本申请所提供的一个问答对话场景的实施例中,企业B的员工A在前端输入框中输入问题“我想要向文档1中加入‘文本1’”,前端结合上述问题生成携带有“我想要向文档1中加入‘文本1’”的项目问答指令并发送至运行有该项目问答方法的服务器中。
在本申请所提供的另一个实施场景的实施例中,提供有摘要生成服务,用户在选择界面选择文件2,则将携带有“提取‘文本2’摘要”的项目问答指令并发送至运行有该项目问答方法的服务器中。
通过上述携带有项目问题数据的项目问答指令,以使项目问答模型可以根据项目问题数据做出回答。进而利用根据上述项目问答模型构建方法获得的项目问答模型所具有的能力,使得给问答方法在企业的应用中,提高对用户提出问题回答的准确率。
步骤1004:将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型根据项目知识信息生成的项目答案数据,其中,所述项目问答模型根据上述项目问答模型构建方法获得。
实际应用中,项目答案数据为项目问题数据对应的答案。具体的,项目答案数据可以理解项目问答模型根据项目问题数据所输出的回答。
进一步的,将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型生成的项目答案数据,包括:
在接收所述项目问答指令之前还接收有项目问答指令的情况下,获取所述项目问答指令之前的项目问答指令对应的背景项目问题数据和背景项目答案数据;
基于所述项目问题数据、各背景项目问题数据和各背景项目答案数据,生成目标项目问题数据;
将所述目标项目问题数据输入至所述项目问答模型中,获取所述项目问答模型生成的项目答案数据。
实际应用中,之前的项目问答指令为当前项目问答指令之前的预设条数的项目问答指令,背景项目问题数据为之前的项目问答指令对应的项目问题数据,背景项目答案数据为之前的项目问答指令对应的答案问题数据,目标项目问题数据为当前的项目问题数据与背景项目问题数据和背景项目答案数据拼接之后形成的数据。
具体的,考虑到在上述问答方法提供问答服务时,在一次问答服务中可以实现多个轮次的问答。而且,在提供问答服务时,该方法所提供的答案应该考虑到当前轮次之前所进行的对话,并且,同时考虑到文本所输入的长度越长,所需要的算力消耗就越多,所以,模型在每次进行回答之前,都需要获取之前预设条数的对话数据,以实现在问答服务的提供过程中的上下文相关性。如表3所示,表3为在本申请所提供的一个问答对话场景的实施例。
表3
其中,对话轮次1对应的项目问答指令中携带的项目问题数据为“请帮我提供文件A的摘要”。
对话轮次3对应的之前项目问答指令为对话轮次1对应的项目问答指令,所以,对话轮次3对应的背景项目问题数据和背景项目答案数据分别为“请帮我提供文件A的摘要”和“好的,很高兴可以向你提供文件A的摘要,文件A的摘要为“摘要A””,在此基础上,再结合对话轮次3对应项目问答指令中携带的项目问题数据“将这个摘要发送给李四”生成的目标项目问题数据为“请帮我提供文件A的摘要;好的,很高兴可以向你提供文件A的摘要,文件A的摘要为“摘要A”;将这个摘要发送给李四”。
由于预设的条数为两条,所以,仅获取当前项问答指令的前两条项目问答指令的数据,所以,对话轮次7对应的之前项目问答指令为对话轮次3对应的项目问答指令和对话轮次5对应的项目问答指令,基于此,获取到对话轮次7对应的目标项目问题数据。
上述为本实施例的一种项目问答方法的示意性方案。需要说明的是,该项目问答方法的技术方案与上述的项目问答模型构建方法的技术方案属于同一构思,项目问答方法的技术方案未详细描述的细节内容,均可以参见上述项目问答模型方法的技术方案的描述。
本说明书实施例提供的方法,通过项目问答模型,接收用户发来的项目问答指令中的项目问题数据,并输出该项目问题数据的项目答案数据,利用了根据项目知识获得的项目问答模型所具有的各项能力,以及该项目问答模型对于该项目知识的增强能力,可以在提供对企业的智能服务时,提高该智能服务的准确度。
与上述方法实施例相对应,本说明书还提供了应用于云侧设备的项目问答方法实施例,图11示出了本说明书一个实施例提供的一种应用于云侧设备的项目问答方法的流程图。具体包括以下步骤:
步骤1102:接收端侧设备发送的项目问答指令,其中,所述项目问答指令中携带有项目问题数据。
步骤1104:将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型根据项目知识信息生成的项目答案数据,其中,所述项目问答模型根据上述项目问答模型构建方法获得。
步骤1106:返回所述项目答案数据至所述端侧设备。
上述为本实施例的一种应用于云侧设备的项目问答方法的示意性方案。需要说明的是,该应用于云侧设备的项目问答方法的技术方案与上述的项目问答方法的技术方案属于同一构思,应用于云侧设备的项目问答方法的技术方案未详细描述的细节内容,均可以参见上述项目问答模型方法的技术方案的描述。
上述为本实施例的一种应用于云侧设备的项目问答方法的示意性方案。需要说明的是,该应用于云侧设备的项目问答方法的技术方案与上述的项目问答模型构建方法的技术方案属于同一构思,应用于云侧设备的项目问答方法的技术方案未详细描述的细节内容,均可以参见上述项目问答模型方法的技术方案的描述。
本说明书实施例提供的方法,通过项目问答模型,接收用户发来的项目问答指令中的项目问题数据,并输出该项目问题数据的项目答案数据,利用了根据项目知识获得的项目问答模型所具有的各项能力,以及该项目问答模型对于该项目知识的增强能力,可以在提供对企业的智能服务时,提高该智能服务的准确度。
图12示出了根据本说明书一个实施例提供的一种计算设备1200的结构框图。该计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
计算设备1200还包括接入设备1240,接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备1240可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE1202.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)。
在本说明书的一个实施例中,计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备1200可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
其中,处理器1220用于执行如下计算机程序/指令,该计算机程序/指令被处理器执行时实现上述项目问答模型构建方法、问答模型构建方法、项目问答方法、应用于云侧设备的项目问答模型构建方法、应用于云侧设备的项目问答方法中任意一个的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的项目问答模型构建方法、问答模型构建方法、项目问答方法、应用于云侧设备的项目问答模型构建方法、应用于云侧设备的项目问答方法中的任意一个的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述项目问答模型构建方法、问答模型构建方法、项目问答方法、应用于云侧设备的项目问答模型构建方法、应用于云侧设备的项目问答方法中任意一个的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述项目问答模型构建方法、问答模型构建方法、项目问答方法、应用于云侧设备的项目问答模型构建方法、应用于云侧设备的项目问答方法中任意一个的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的项目问答模型构建方法、问答模型构建方法、项目问答方法、应用于云侧设备的项目问答模型构建方法、应用于云侧设备的项目问答方法中任意一个的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述项目问答模型构建方法、问答模型构建方法、项目问答方法、应用于云侧设备的项目问答模型构建方法、应用于云侧设备的项目问答方法中任意一个的技术方案的描述。
本说明书一实施例还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现当上述项目问答模型构建方法、问答模型构建方法、项目问答方法、应用于云侧设备的项目问答模型构建方法、应用于云侧设备的项目问答方法中任意一个的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的项目问答模型构建方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述项目问答模型构建方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (22)

1.一种问答模型构建方法,包括:
获取样本数据,并根据所述样本数据训练数据处理模型,其中,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个;
接收针对项目处理模型的模型构建指令,其中,所述模型构建指令中携带有知识信息;
根据所述知识信息和数据处理模型,构建所述知识信息对应的项目处理模型,其中,所述项目处理模型用于根据所述知识信息生成项目答案数据。
2.一种项目问答模型构建方法,包括:
接收针对项目问答模型的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;
根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个。
3.如权利要求2所述的方法,所述项目知识信息包括接口数据;
根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,包括:
根据所述接口数据生成虚拟用户数据和虚拟环境数据;
所述数据处理模型根据所述接口数据、所述虚拟用户数据和所述虚拟环境数据,生成接口调整样本数据;
根据所述接口调整样本数据调整所述数据处理模型,构建所述项目知识信息对应的项目问答模型。
4.如权利要求3所述的方法,根据所述接口数据生成虚拟用户数据和虚拟环境数据,包括:
根据所述接口数据生成对应的接口功能信息;
根据所述接口数据和所述接口功能信息生成虚拟用户数据和虚拟环境数据。
5.如权利要求4所述的方法,所述数据处理模型根据所述接口数据、所述虚拟用户数据和所述虚拟环境数据,生成接口调整样本数据,包括:
基于所述虚拟用户数据生成第一轮对话的问题数据;
基于所述接口数据和所述虚拟环境数据,生成所述第一轮对话的问题数据对应的回答数据;
根据上一轮对话的回答数据和所述虚拟用户数据生成下一轮对话的问题数据,并根据所述接口数据和所述虚拟环境数据,生成该轮对话的回答数据,直至达到对话轮次停止条件;
根据多轮对话的问题数据和回答数据生成接口调整样本数据。
6.如权利要求2所述的方法,所述项目知识信息包括文档数据;
根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,包括:
根据文档问题数据生成策略处理所述文档数据,生成文档问题数据集,其中,文档问题数据生成策略包括反馈文档问题数据生成策略和事实一致性问题数据生成策略中的至少一个;
根据所述文档问题数据集调整所述数据处理模型,构建所述项目知识信息对应的项目问答模型。
7.如权利要求2所述的方法,所述数据处理模型由下述步骤训练获得:
根据预设样本数据生成策略生成至少一个样本数据;
根据预设样本对生成策略处理各样本数据,获取各样本数据对应的至少一个样本对,其中,所述样本对包括待处理样本数据和与所述待处理样本数据对应的样本标签数据;
将各待处理样本数据输入至所述数据处理模型中,获取所述数据处理模型输出的各待处理样本数据对应的预测标签数据;
根据各待处理样本数据对应的预测标签数据和样本标签数据计算模型损失值,并根据所述模型损失值调整所述数据处理模型的模型参数;
继续训练所述数据处理模型,直至达到模型训练停止条件。
8.如权利要求7所述的方法,所述样本对生成策略包括问答样本对生成策略和文本样本对生成策略;
根据预设样本对生成策略处理各样本数据,获取各样本数据对应的至少一个样本对,包括:
在所述样本对生成策略为问答样本对生成策略的情况下,确定所述样本数据中知识数据和问题数据为待处理样本数据,所述问题数据对应的答案数据为所述待处理样本数据对应的样本标签数据;
在所述样本对生成策略为文本样本对生成策略的情况下,确定所述样本数据中预设长度的待处理文本为待处理样本数据,所述待处理文本对应的后续待处理文本为所述待处理样本数据对应的样本标签数据。
9.如权利要求8所述的方法,所述样本数据生成策略包括知识对话数据生成策略、流程规划数据生成策略、代码数据生成策略;
根据预设样本数据生成策略生成至少一个样本数据,包括:
根据所述知识对话数据生成策略生成知识对话数据;
根据所述流程规划数据生成策略生成流程规划数据;
根据所述代码数据生成策略生成代码数据。
10.如权利要求9所述的方法,所述知识对话数据生成策略包括知识对话数据构建策略、知识对话数据生成策略;
根据所述知识对话数据生成策略生成知识对话数据,包括:
获取知识对话原始数据,并根据所述知识对话数据构建策略处理所述知识对话原始数据构建知识对话树;
根据所述知识对话数据生成策略遍历所述知识对话树,获取至少一个知识对话文本;
结合各知识对话文本生成知识对话数据。
11.如权利要求10所述的方法,所述知识对话数据生成策略包括知识对话数据清洗策略;
相应的,根据所述知识对话数据生成策略生成知识对话数据,还包括:
根据所述知识对话数据清洗策略,调整所述知识对话树。
12.如权利要求11所述的方法,所述知识对话树包括至少一个知识节点和各知识节点对应的至少一个对话节点;
根据所述知识对话数据清洗策略,调整所述知识对话树,包括:
确定待判断节点,所述待判断节点为各对话节点中任意一个;
根据所述知识对话数据清洗策略和所述待判断节点,确定待剪枝节点,其中,所述知识对话数据清洗策略包括困惑度清洗判断策略和对话长度清洗判断策略中的至少一个;
对所述待剪枝节点进行剪枝处理,调整所述知识对话树。
13.如权利要求12所述的方法,所述知识对话数据清洗策略为困惑度清洗判断策略,困惑度清洗判断策略包括新颖性判断策略、多样性判断策略和上下文相关性判断策略中的至少一个;
根据所述知识对话数据清洗策略和所述待判断节点,确定待剪枝节点,包括:
确定待判断节点对应的至少一个祖先节点;
根据各祖先节点确定祖先文本数据,并根据所述待判断节点确定待判断文本数据;
根据所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的困惑度;
根据所述困惑度判断所述待判断节点是否为待剪枝节点。
14.如权利要求13所述的方法,根据所述祖先文本数据和所述待判断文本数据,确定所述待判断节点对应的困惑度,包括:
确定所述待判断文本数据中的至少一个待判断词信息;
获取初始困惑度判断模型;
根据所述初始困惑度判断模型和所述祖先文本数据,计算各待判断词信息对应的待判断词概率;
根据各待判断词信息对应的待判断词概率,确定所述待判断节点对应的困惑度。
15.如权利要求2所述的方法,在构建所述项目知识信息对应的项目问答模型之后,还包括:
获取测试数据集合,其中,所述测试数据集合包括至少一个测试数据和各测试数据对应的测试标签数据;
将所述测试数据输入至所述项目问答模型,获取所述项目问答模型输出的测试预测标签数据;
根据各测试数据对应的测试标签数据和测试预测标签数据,确定所述项目问答模型的评分。
16.一种项目问答方法,包括:
接收项目问答指令,其中,所述项目问答指令中携带有项目问题数据;
将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型根据项目知识信息生成的项目答案数据,其中,所述项目问答模型根据上述权利要求2-14任意一项项目问答模型构建方法获得。
17.如权利要求16所述的方法,将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型生成的项目答案数据,包括:
在接收所述项目问答指令之前还接收有项目问答指令的情况下,获取所述项目问答指令之前的项目问答指令对应的背景项目问题数据和背景项目答案数据;
基于所述项目问题数据、各背景项目问题数据和各背景项目答案数据,生成目标项目问题数据;
将所述目标项目问题数据输入至所述项目问答模型中,获取所述项目问答模型生成的项目答案数据。
18.一种项目问答模型构建方法,应用于云侧设备,包括:
接收端侧设备发送的模型构建指令,其中,所述模型构建指令中携带有项目知识信息;
根据所述项目知识信息和数据处理模型,构建所述项目知识信息对应的项目问答模型,其中,所述数据处理模型由结构化数据组成的样本数据训练获得,所述样本数据包括知识对话数据、流程规划数据、代码数据中的至少一个;
获得所述项目问答模型的模型参数,并返回所述模型参数至所述端侧设备。
19.一种项目问答方法,应用于云侧设备,包括:
接收端侧设备发送的项目问答指令,其中,所述项目问答指令中携带有项目问题数据;
将所述项目问题数据输入至项目问答模型中,获取所述项目问答模型根据项目知识信息生成的项目答案数据,其中,所述项目问答模型根据上述权利要求2-14任意一项项目问答模型构建方法获得;
返回所述项目答案数据至所述端侧设备。
20.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1、2-15、16-17、18或19任意一项所述方法的步骤。
21.一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1、2-15、16-17、18或19任意一项所述方法的步骤。
22.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1、2-15、16-17、18或19任意一项所述方法的步骤。
CN202410105529.3A 2024-01-24 2024-01-24 问答模型构建方法及项目问答方法 Active CN117633196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410105529.3A CN117633196B (zh) 2024-01-24 2024-01-24 问答模型构建方法及项目问答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410105529.3A CN117633196B (zh) 2024-01-24 2024-01-24 问答模型构建方法及项目问答方法

Publications (2)

Publication Number Publication Date
CN117633196A true CN117633196A (zh) 2024-03-01
CN117633196B CN117633196B (zh) 2024-04-30

Family

ID=90038014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410105529.3A Active CN117633196B (zh) 2024-01-24 2024-01-24 问答模型构建方法及项目问答方法

Country Status (1)

Country Link
CN (1) CN117633196B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150142704A1 (en) * 2013-11-20 2015-05-21 Justin London Adaptive Virtual Intelligent Agent
CN115587175A (zh) * 2022-12-08 2023-01-10 阿里巴巴达摩院(杭州)科技有限公司 人机对话及预训练语言模型训练方法、系统及电子设备
CN116561270A (zh) * 2023-04-11 2023-08-08 阿里巴巴达摩院(杭州)科技有限公司 问答方法以及问答模型训练方法
CN116701444A (zh) * 2023-04-01 2023-09-05 阿里巴巴(中国)有限公司 信息检索方法、智能问答方法和风险防控方法
CN116775820A (zh) * 2023-05-10 2023-09-19 阿里巴巴(中国)有限公司 问答处理方法以及问答模型训练方法
CN117216570A (zh) * 2023-09-27 2023-12-12 清华大学 领域模型训练、指令执行方法、一体机和存储介质
CN117271787A (zh) * 2023-08-25 2023-12-22 浙江飞猪网络技术有限公司 知识库构建、智能客服实现与知识问答方法、设备及介质
CN117332072A (zh) * 2023-12-01 2024-01-02 阿里云计算有限公司 对话处理、语音摘要提取以及目标对话模型训练方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150142704A1 (en) * 2013-11-20 2015-05-21 Justin London Adaptive Virtual Intelligent Agent
CN115587175A (zh) * 2022-12-08 2023-01-10 阿里巴巴达摩院(杭州)科技有限公司 人机对话及预训练语言模型训练方法、系统及电子设备
CN116701444A (zh) * 2023-04-01 2023-09-05 阿里巴巴(中国)有限公司 信息检索方法、智能问答方法和风险防控方法
CN116561270A (zh) * 2023-04-11 2023-08-08 阿里巴巴达摩院(杭州)科技有限公司 问答方法以及问答模型训练方法
CN116775820A (zh) * 2023-05-10 2023-09-19 阿里巴巴(中国)有限公司 问答处理方法以及问答模型训练方法
CN117271787A (zh) * 2023-08-25 2023-12-22 浙江飞猪网络技术有限公司 知识库构建、智能客服实现与知识问答方法、设备及介质
CN117216570A (zh) * 2023-09-27 2023-12-12 清华大学 领域模型训练、指令执行方法、一体机和存储介质
CN117332072A (zh) * 2023-12-01 2024-01-02 阿里云计算有限公司 对话处理、语音摘要提取以及目标对话模型训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阴红志;张帆;丁鼎;赵斌;: "AnswerSeeker:基于互联网挖掘的智能问答系统", 计算机系统应用, no. 01, 15 January 2010 (2010-01-15) *

Also Published As

Publication number Publication date
CN117633196B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
Mondal et al. Chatbot: An automated conversation system for the educational domain
CN110188331A (zh) 模型训练方法、对话系统评价方法、装置、设备及存储介质
CN109271506A (zh) 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法
CN112199608B (zh) 基于网络信息传播图建模的社交媒体谣言检测方法
CN110472017A (zh) 一种话术分析和话题点识别匹配的方法及系统
CN108920544A (zh) 一种基于知识图谱的个性化职位推荐方法
CN107368468A (zh) 一种运维知识图谱的生成方法及系统
CN107818164A (zh) 一种智能问答方法及其系统
CN101510197A (zh) 信息检索系统
CN107944027A (zh) 创建语义键索引的方法及系统
CN108280218A (zh) 一种基于检索和生产混合问答的流程系统
CN110059169A (zh) 基于语料标注的智能机器人聊天上下文实现方法及系统
CN111651572A (zh) 一种多领域任务型对话系统、方法和终端
CN112905776A (zh) 一种情感对话模型构建方法、情感对话系统及方法
CN116932733A (zh) 基于生成式大语言模型的信息推荐方法及相关装置
CN113723853A (zh) 岗位胜任力需求数据处理方法及装置
CN114153955A (zh) 一种融合闲聊和常识的多技能任务型对话系统构建方法
CN116303558A (zh) 查询语句生成方法、数据查询方法及生成模型训练方法
CN116737922A (zh) 一种游客在线评论细粒度情感分析方法和系统
CN117473034A (zh) 交互文本处理方法、装置、电子设备及存储介质
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
CN117633196B (zh) 问答模型构建方法及项目问答方法
Chiranjeevi et al. Evaluating the satisfaction index using automated interaction service and customer knowledgebase: a big data approach to CRM
CN117336539B (zh) 一种用于短视频ip打造的视频脚本生产方法及系统
Wu et al. The construction of smart city community environment under the application of animation immersion technology integrated into southern Fujian Folk Culture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant