CN117556008A - 基于大语言模型的交互方法、介质、装置和计算设备 - Google Patents
基于大语言模型的交互方法、介质、装置和计算设备 Download PDFInfo
- Publication number
- CN117556008A CN117556008A CN202311511901.2A CN202311511901A CN117556008A CN 117556008 A CN117556008 A CN 117556008A CN 202311511901 A CN202311511901 A CN 202311511901A CN 117556008 A CN117556008 A CN 117556008A
- Authority
- CN
- China
- Prior art keywords
- interface
- data acquisition
- natural language
- target
- subtask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003993 interaction Effects 0.000 title claims abstract description 52
- 230000006870 function Effects 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 22
- 230000001419 dependent effect Effects 0.000 claims description 19
- 238000012790 confirmation Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 6
- 238000012550 audit Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 235000002198 Annona diversifolia Nutrition 0.000 description 1
- 241000282842 Lama glama Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施方式提供了一种基于大语言模型的交互方法、介质、装置和计算设备,涉及智能交互技术领域,该方法包括:获取表达用户意图的自然语言问句,在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口;确定自然语言问句对应的包括自然语言问句和候选数据获取接口的接口功能描述信息的目标提示词信息;将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并基于子任务对应的从候选数据获取接口确定的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,本公开能够大大提高交互效率。
Description
技术领域
本公开的实施方式涉及智能交互技术领域,更具体地,本公开的实施方式涉及一种基于大语言模型的交互方法、介质、装置和计算设备。
背景技术
本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着互联网的发展,越来越多的企事业单位通过开发自己的应用程序、网站等与用户进行交互,以提供相关产品、服务或业务的办理。以用户使用某个服务为例,若用户在使用该服务时出现问题,则用户可以向该服务的服务提供方提问问题出现的原因,以得到相应的答复。
目前,服务提供方针对用户提出的问题,通常通过人工方式查询服务对应的不同业务系统,来确定问题出现的原因,并给予用户相应的答复,存在效率较低的问题。
发明内容
本公开提供一种基于大语言模型的交互方法、介质、装置和计算设备,以解决通过人工方式查询服务对应的不同业务系统,来确定问题出现的原因,并给予用户相应的答复,存在的效率较低的问题。
在本公开实施方式的第一方面中,提供了一种基于大语言模型的交互方法,包括:
获取表达用户意图的自然语言问句;
在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口;
确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息;
将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,候选数据获取接口包含子任务对应的目标数据获取接口。
在一种可能的实施方式中,基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,包括:针对目标执行链包含的任一子任务,获取子任务对应的目标数据获取接口的接口参数和接口参数的初始值;根据接口参数、初始值和自然语言问句,确定接口参数对应的参数值;若子任务不是目标执行链的第一个子任务,则输入至大语言模型的信息还包括上一子任务的执行结果;根据接口参数和接口参数对应的参数值,执行子任务,得到子任务的执行结果;根据目标执行链中包含的子任务的执行结果,确定针对自然语言问句的答复内容。
在一种可能的实施方式中,该交互方法还包括:响应子任务执行结束,确定子任务的执行结果中是否包含待确认信息;若子任务的执行结果中包含待确认信息,则输出待确认信息,以得到针对待确认信息的确认结果;在子任务的执行结果中添加确认结果后,执行下一子任务;若子任务的执行结果中不包含待确认信息,则执行下一子任务。
在一种可能的实施方式中,该交互方法还包括:在大语言模型执行目标执行链中包含的子任务的过程中,若子任务执行失败,则获取子任务执行失败的失败原因;若失败原因为第一原因,则重复执行执行失败的子任务,第一原因用于表示进行重试;若失败原因为第二原因,则执行执行失败的子任务的上一子任务,第二原因用于表示进行回滚。
在一种可能的实施方式中,在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口,包括:针对多个数据获取接口中的每个数据获取接口,获取数据获取接口对应的接口功能描述信息的第一向量;确定第一向量与自然语言问句对应的第二向量的相似度;确定对应相似度满足设定相似度要求的数据获取接口为目标接口;根据目标接口对应的接口功能描述信息,获取目标接口的依赖接口;确定候选数据获取接口包含目标接口以及依赖接口。
在一种可能的实施方式中,多个数据获取接口是根据用户对数据获取接口对应的应用服务的访问权限确定的。
在一种可能的实施方式中,多个数据获取接口是采用开放式应用编程接口(OpenApplication Programming Interface,OpenAPI)格式进行配置的。
在一种可能的实施方式中,答复内容的输出方式包括图表、表格、代码和文本中的至少一种。
第二方面,本公开实施例提供一种基于大语言模型的交互装置,包括:
获取模块,用于获取表达用户意图的自然语言问句;
第一确定模块,用于在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口;
第二确定模块,用于确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息;
处理模块,用于将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,候选数据获取接口包含子任务对应的目标数据获取接口。
在一种可能的实施方式中,处理模块在用于基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容时,具体用于:针对目标执行链包含的任一子任务,获取子任务对应的目标数据获取接口的接口参数和接口参数的初始值;根据接口参数、初始值和自然语言问句,确定接口参数对应的参数值;若子任务不是目标执行链的第一个子任务,则输入至大语言模型的信息还包括上一子任务的执行结果;根据接口参数和接口参数对应的参数值,执行子任务,得到子任务的执行结果;根据目标执行链中包含的子任务的执行结果,确定针对自然语言问句的答复内容。
在一种可能的实施方式中,处理模块还用于:响应子任务执行结束,确定子任务的执行结果中是否包含待确认信息;若子任务的执行结果中包含待确认信息,则输出待确认信息,以得到针对待确认信息的确认结果;在子任务的执行结果中添加确认结果后,执行下一子任务;若子任务的执行结果中不包含待确认信息,则执行下一子任务。
在一种可能的实施方式中,处理模块还用于:在大语言模型执行目标执行链中包含的子任务的过程中,若子任务执行失败,则获取子任务执行失败的失败原因;若失败原因为第一原因,则重复执行执行失败的子任务,第一原因用于表示进行重试;若失败原因为第二原因,则执行执行失败的子任务的上一子任务,第二原因用于表示进行回滚。
在一种可能的实施方式中,第一确定模块具体用于:针对多个数据获取接口中的每个数据获取接口,获取数据获取接口对应的接口功能描述信息的第一向量;确定第一向量与自然语言问句对应的第二向量的相似度;确定对应相似度满足设定相似度要求的数据获取接口为目标接口;根据目标接口对应的接口功能描述信息,获取目标接口的依赖接口;确定候选数据获取接口包含目标接口以及依赖接口。
在一种可能的实施方式中,多个数据获取接口是根据用户对数据获取接口对应的应用服务的访问权限确定的。
在一种可能的实施方式中,多个数据获取接口是采用OpenAPI格式进行配置的。
在一种可能的实施方式中,答复内容的输出方式包括图表、表格、代码和文本中的至少一种。
第三方面,本公开实施例提供一种计算设备,包括:处理器,以及与处理器通信连接的存储器;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,以实现如本公开第一方面所述的基于大语言模型的交互方法。
第四方面,本公开实施例提供一种存储介质,存储介质中存储有计算机程序指令,计算机程序指令被执行时,实现如本公开第一方面所述的基于大语言模型的交互方法。
第五方面,本公开实施例提供一种计算机程序产品,包括计算机程序,计算机程序被执行时实现如本公开第一方面所述的基于大语言模型的交互方法。
本公开实施例提供的基于大语言模型的交互方法、介质、装置和计算设备,通过获取表达用户意图的自然语言问句,在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口;确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息;将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,候选数据获取接口包含子任务对应的目标数据获取接口。本公开基于大语言模型,实现对表达用户意图的自然语言问句的分析与理解,将自然语言问句拆解为目标执行链,即自动制定执行计划,提供不同应用服务的目标数据获取接口的一站式处理,帮助用户方便地对各个应用服务进行数据管理,而不需要通过人工方式针对用户的自然语言问句进行答复,因此,在保证准确地获得针对自然语言问句的答复内容的基础上,能够大大提高交互效率,提升用户体验。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1为本公开实施例提供的一种应用场景示意图;
图2为本公开一实施例提供的基于大语言模型的交互方法的流程图;
图3为本公开一实施例提供的答复内容的输出方式的示意图;
图4为本公开另一实施例提供的基于大语言模型的交互方法的流程图;
图5为本公开一实施例提供的答复内容需要人工进行确认的示意图;
图6为本公开一实施例提供的基于大语言模型的交互装置的结构示意图;
图7为本公开一实施例提供的存储介质示意图;
图8为本公开一实施例提供的计算设备的结构示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据,本公开实施方式/实施例可以互相组合。
根据本公开的实施方式,提出了一种基于大语言模型的交互方法、介质、装置和计算设备。
附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
下面参考本公开的若干代表性实施方式,详细阐释本公开的原理和精神。
发明概述
本发明人发现,目前,用户在使用某个服务时,服务提供方针对用户提出的问题,通常通过人工方式查询服务对应的不同业务系统,来确定问题出现的原因,并给予用户相应的答复,存在效率较低的问题。
基于上述问题,本公开提供一种基于大语言模型的交互方法、介质、装置和计算设备,通过获取表达用户意图的自然语言问句,基于大语言模型,实现自然语言问句的分析与理解,将自然语言问句拆解为链式执行的子任务,即自动制定执行计划,提供不同应用服务的目标数据获取接口的一站式处理,帮助用户方便地对各个应用服务进行数据管理,能够大大提高交互效率,提升用户体验。
应用场景总览
首先参考图1对本公开提供的方案的应用场景进行示例说明。图1为本公开实施例提供的一种应用场景示意图,如图1所示,本应用场景中,服务器101通过客户端102获取表达用户意图的自然语言问句,确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息。服务器101将目标提示词信息输入至服务器101的大语言模型中,得到针对自然语言问句的答复内容。服务器101将答复内容输出给客户端102,客户端102向用户展示答复内容。
需要说明的是,图1仅是本公开实施例提供的一种应用场景的示意图,本公开实施例不对图1中包括的设备进行限定,也不对图1中设备之间的位置关系进行限定。
示例性方法
下面结合图1的应用场景,参考图2来描述根据本公开示例性实施方式的用于基于大语言模型的交互方法。需要注意的是,上述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何场景。
首先,通过具体实施例介绍基于大语言模型的交互方法。
图2为本公开一实施例提供的基于大语言模型的交互方法的流程图。本公开实施例的方法可以应用于计算设备中,该计算设备可以是服务器或服务器集群等。如图2所示,本公开实施例的方法包括:
S201、获取表达用户意图的自然语言问句。
本公开实施例中,表达用户意图的自然语言问句可以是用户以文本方式或语音方式输入的,对于以语音方式输入的自然语言问句,可以通过目前的音频转文字技术,转化为对应的文本方式的自然语言问句。示例性地,表达用户意图的自然语言问句比如为根据用户提问获得的自然语言问句,例如,用户提问“查询文章123的审核状态”,则可以得到表达用户意图的自然语言问句为“查询文章123的审核状态”。自然语言问句可以理解为用户提出的问题。
S202、在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口。
可以理解,由于目前各类大语言模型的提示词(token)长度限制,同时也是为了节约成本,输入给大语言模型的提示词不会包含用户配置的全部数据获取接口,需要尽可能地选择与自然语言问句相关的数据获取接口。因此,可以在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口,候选数据获取接口为与自然语言问句相似度更高、语意更加相关的接口。对于具体如何在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口,可参考后续实施例,此处不再赘述。
可选的,多个数据获取接口是根据用户对数据获取接口对应的应用服务的访问权限确定的。
示例性地,假设用户拥有多个应用服务的访问权限,则执行本方法实施例的电子设备可以根据用户的访问权限,确定访问权限对应的多个数据获取接口,以调用数据获取接口对应的应用服务。
可选的,多个数据获取接口是采用OpenAPI格式进行配置的。
可以理解,采用OpenAPI格式配置数据获取接口,可以使得数据获取接口标准化,具有更好的通用性。
S203、确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息。
示例性地,候选数据获取接口的接口功能描述信息可以用于描述候选数据获取接口的功能和使用限制条件(比如依赖的数据获取接口)等。该步骤中,在确定针对自然语言问句的候选数据获取接口后,可以确定包含自然语言问句和候选数据获取接口的接口功能描述信息的目标提示词信息。
S204、将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,候选数据获取接口包含子任务对应的目标数据获取接口。
可以理解,近些年,随着显卡等硬件成本的降低,大语言模型的相关研究和应用越发成熟,本申请实施例中的大语言模型可以为多种类型的大语言模型,比如为ChatGPT(一种自然语言处理工具)、ChatGLM(一种对话语言模型)或LLaMA(一组预训练和微调的大型语言模型)机器微调系列等。通常一个用户任务,需要被拆解为多个子任务,顺序执行,可以被抽象为一个执行链,执行链支持嵌套。该步骤中,在确定自然语言问句对应的目标提示词信息后,可以将目标提示词信息输入至大语言模型中,依赖大语言模型的理解能力,将自然语言问句拆解为可以链式执行的子任务,即目标执行链。基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容。其中,目标数据获取接口是大语言模型从候选数据获取接口中确定的子任务对应的数据获取接口;大语言模型拆分后的子任务,可以被代码自动执行,调用对应的OpenAPI数据获取接口;大语言模型需要根据目标数据获取接口的域名和输入参数格式,转化为子任务执行时的输入描述,以及根据目标数据获取接口的返回格式,转化为子任务返回值提取描述。对于具体如何基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,可参考后续实施例,此处不再赘述。
可选的,本公开实施例提供的基于大语言模型的交互方法支持保留上下文,用户可以针对上次对话返回的结果进行调整或者进一步提问。
可选的,答复内容的输出方式包括图表、表格、代码和文本中的至少一种。
示例性地,大语言模型可以选择不同的输出方式来输出答复内容。图3为本公开一实施例提供的答复内容的输出方式的示意图,如图3所示,分别以表格301和图表302的输出方式输出答复内容,展示给用户。
本公开实施例提供的基于大语言模型的交互方法,通过获取表达用户意图的自然语言问句,在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口;确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息;将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,候选数据获取接口包含子任务对应的目标数据获取接口。本公开实施例基于大语言模型,实现对表达用户意图的自然语言问句的分析与理解,将自然语言问句拆解为目标执行链,即自动制定执行计划,提供不同应用服务的目标数据获取接口的一站式处理,帮助用户方便地对各个应用服务进行数据管理,而不需要通过人工方式针对用户的自然语言问句进行答复,因此,在保证准确地获得针对自然语言问句的答复内容的基础上,能够大大提高交互效率,提升用户体验。
图4为本公开另一实施例提供的基于大语言模型的交互方法的流程图。在上述实施例的基础上,本公开实施例对基于大语言模型的交互方法进行进一步说明。如图4所示,本公开实施例的方法可以包括:
S401、获取表达用户意图的自然语言问句。
该步骤的具体描述可以参见图2所示实施例中S201的相关描述,此处不再赘述。
本公开实施例中,图2中S202步骤可以进一步包括如下的S402至S404三个步骤:
S402、在提供的多个数据获取接口中,针对多个数据获取接口中的每个数据获取接口,获取数据获取接口对应的接口功能描述信息的第一向量;确定第一向量与自然语言问句对应的第二向量的相似度;确定对应相似度满足设定相似度要求的数据获取接口为目标接口。
该步骤中,由于目前各类大语言模型的提示词长度限制,同时也是为了节约成本,在提供的多个数据获取接口中,需要尽可能地选择与自然语言问句相关的数据获取接口。因此,可以将数据获取接口对应的接口功能描述信息进行嵌入式(embedding)向量化处理,获得数据获取接口对应的接口功能描述信息的第一向量,以及将自然语言问句进行嵌入式向量化处理,获得自然语言问句对应的第二向量。确定第一向量与第二向量的相似度,进而可以根据相似度,确定对应相似度满足设定相似度要求的数据获取接口为目标接口。可以理解,目标接口为与自然语言问句相似度更高、语意更加相关的接口。
S403、根据目标接口对应的接口功能描述信息,获取目标接口的依赖接口。
该步骤中,例如,某个应用服务中的数据获取接口调用,可能间接地依赖另外一个数据获取接口的返回信息,此时,需要在数据获取接口对应的接口功能描述信息中描述清楚,否则会因为依赖的数据获取接口缺失,导致无法完成链式执行各个子任务,进而导致目标执行链执行失败。因此,该步骤可以根据目标接口对应的接口功能描述信息,获取目标接口的依赖接口。
S404、确定候选数据获取接口包含目标接口以及依赖接口。
该步骤中,在获得了目标接口以及目标接口的依赖接口后,可以确定候选数据获取接口包含目标接口以及依赖接口。
S405、确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息。
该步骤的具体描述可以参见图2所示实施例中S203的相关描述,此处不再赘述。
本公开实施例中,图2中S204步骤可以进一步包括如下的S406和S407两个步骤:
S406、将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并针对目标执行链包含的任一子任务,获取子任务对应的目标数据获取接口的接口参数和接口参数的初始值;根据接口参数、初始值和自然语言问句,确定接口参数对应的参数值;若子任务不是目标执行链的第一个子任务,则输入至大语言模型的信息还包括上一子任务的执行结果;根据接口参数和接口参数对应的参数值,执行子任务,得到子任务的执行结果,候选数据获取接口包含子任务对应的目标数据获取接口。
示例性地,将目标提示词信息输入至大语言模型中,大语言模型负责将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务。其中,目标提示词信息比如包括自然语言问句、候选数据获取接口的接口功能描述信息和会话上下文等背景知识。可以抽象一个应用服务的OpenAPI调用,支持查看/创建/更新/删除(GET/POST/PUT/DELETE)等操作。通过读取应用服务的OpenAPI标准配置文件,理解接口域名、请求方式、请求参数以及返回结果等接口配置信息,将这些接口配置信息作为目标提示词信息,输入给大语言模型,通过大语言模型LLM将其转化为可以被代码执行的参数。大语言模型针对目标执行链包含的任一子任务,获取子任务对应的目标数据获取接口的接口参数和接口参数的初始值,根据接口参数、初始值和自然语言问句,确定接口参数对应的参数值,若子任务不是目标执行链的第一个子任务,则输入至大语言模型的信息还可以包括上一子任务的执行结果以及接口返回值的配置信息,以从上一子任务的执行结果中,提取当前子任务的请求参数。根据接口参数和接口参数对应的参数值,执行子任务,得到子任务的执行结果,并通过大语言模型判断目标执行链包含的各子任务是否均执行完成。
需要说明的是,对于请求参数默认值,有些请求参数不是必选的,在文档定义时,需要描述清楚默认取值,比如调用来源。对于接口枚举值定义,接口返回值通常会包含一些枚举数字,在文档定义中,需要描述清楚每个数字代表的具体含义,以使大语言模型能够准确提取所需字段,请求参数也需要描述清楚每个请求参数代表的具体含义。格式化大语言模型的输出,传统的链式执行指令,使得大语言模型以普通文本的格式进行补全,容易出现格式错误,或者解析失败,而本公开实施例中,所有大语言模型的输出均以JSON(一种数据交换格式)格式进行输出,通过严格定义输出格式,可以保证解析不出错。
示例性地,假设某个内容审核部门,每天要接收大量用户和运营的反馈,询问某个内容没有被推荐分发的原因,若通过人工方式进行答复,会耗费大量的人力和时间。而通过本公开实施例提供的基于大语言模型的交互方法,可以自动获取审核相关的OpenAPI数据获取接口,从而可以快速、自动地帮助用户解决问题。例如,用户输入的自然语言问句为“文章标识(Identity,ID)为XXX的内容,为什么没有被推荐分发”,首先将用户输入的自然语言问句转化为可以被大语言模型使用的指令(即目标提示词),目标提示词比如包括自然语言问句、候选数据获取接口的接口功能描述信息、接口参数以及会话上下文等。将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务。具体的链式执行的子任务比如为(1)查询内容推荐分发状态;(2)查询内容的机器审核结果;(3)查询内容的人工审核结果;(4)查询内容的复审结果,分别调用接口,执行子任务,并汇总结果,展示给用户。基于子任务对应的目标数据获取接口,执行子任务,得到子任务的执行结果。
S407、根据目标执行链中包含的子任务的执行结果,确定针对自然语言问句的答复内容。
该步骤中,在获得了目标执行链中包含的子任务的执行结果后,可以确定针对自然语言问句的答复内容。
可选的,在大语言模型执行目标执行链中包含的子任务的过程中,若子任务执行失败,则获取子任务执行失败的失败原因;若失败原因为第一原因,则重复执行执行失败的子任务,第一原因用于表示进行重试;若失败原因为第二原因,则执行该执行失败的子任务的上一子任务,第二原因用于表示进行回滚。
该实施例中,第一原因比如为处理超时;第二原因比如为参数错误或应用服务异常等。例如,应用服务可能存在短暂的数据获取接口不可用或者网络抖动,导致数据获取接口调用报错。若子任务执行失败,则大语言模型获取子任务执行失败的失败原因。若失败原因为第一原因,则重复执行执行失败的子任务,即进行重试;若失败原因为第二原因,则执行该执行失败的子任务的上一子任务,即进行回滚。
可选的,本公开实施例提供的基于大语言模型的交互方法还可以包括:响应子任务执行结束,确定子任务的执行结果中是否包含待确认信息;若子任务的执行结果中包含待确认信息,则输出待确认信息,以得到针对待确认信息的确认结果;在子任务的执行结果中添加确认结果后,执行下一子任务;若子任务的执行结果中不包含待确认信息,则执行下一子任务。
可以理解,对于某些更新操作或者删除操作,风险较高,需要人工进行确认,因此,可以将人工作为执行链中的一个节点,在交互中,让用户进行选择和确认,再由大语言模型决定下一个执行节点(即子任务)。示例性地,图5为本公开一实施例提供的答复内容需要人工进行确认的示意图,如图5所示,子任务的执行结果中包含待确认信息501,需要人工进行确认。在用户确认后,在子任务的执行结果中添加确认结果后,执行下一子任务。
本公开实施例提供的基于大语言模型的交互方法,通过获取表达用户意图的自然语言问句,在提供的多个数据获取接口中,针对多个数据获取接口中的每个数据获取接口,获取数据获取接口对应的接口功能描述信息的第一向量;确定第一向量与自然语言问句对应的第二向量的相似度;确定对应相似度满足设定相似度要求的数据获取接口为目标接口;根据目标接口对应的接口功能描述信息,获取目标接口的依赖接口,确定候选数据获取接口包含目标接口以及依赖接口;确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息;将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并针对目标执行链包含的任一子任务,获取子任务对应的目标数据获取接口的接口参数和接口参数的初始值;根据接口参数、初始值和自然语言问句,确定接口参数对应的参数值;若子任务不是目标执行链的第一个子任务,则输入至大语言模型的信息还包括上一子任务的执行结果;根据接口参数和接口参数对应的参数值,执行子任务,得到子任务的执行结果,候选数据获取接口包含子任务对应的目标数据获取接口;根据目标执行链中包含的子任务的执行结果,确定针对自然语言问句的答复内容。本公开实施例基于大语言模型,实现对表达用户意图的自然语言问句的分析与理解,将自然语言问句拆解为目标执行链,即自动制定执行计划,提供不同应用服务的目标数据获取接口的一站式处理,帮助用户方便地对各个应用服务进行数据管理,其中,根据相似度从提供的多个数据获取接口中确定目标接口,并考虑了目标接口的依赖接口,将目标接口以及依赖接口作为候选数据获取接口,因此,在保证准确地获得针对自然语言问句的答复内容的基础上,能够大大提高交互效率,提升用户体验。
示例性装置
在介绍了本公开示例性实施方式的介质之后,接下来,参考图6对本公开示例性实施方式的基于大语言模型的交互装置进行说明。本公开示例性实施方式的装置,可以实现前述基于大语言模型的交互方法实施例中的各个过程,并达到相同的功能和效果。
图6为本公开一实施例提供的基于大语言模型的交互装置的结构示意图,如图6所示,本公开实施例的基于大语言模型的交互装置600包括:获取模块601、第一确定模块602、第二确定模块603和处理模块604。其中:
获取模块601,用于获取表达用户意图的自然语言问句。
第一确定模块602,用于在提供的多个数据获取接口中,根据自然语言问句与接口功能描述信息的匹配关系,确定针对自然语言问句的候选数据获取接口。
第二确定模块603,用于确定自然语言问句对应的目标提示词信息,目标提示词信息包括自然语言问句和候选数据获取接口的接口功能描述信息。
处理模块604,用于将目标提示词信息输入至大语言模型中,将自然语言问句拆解为目标执行链,目标执行链包含链式执行的子任务,并基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容,候选数据获取接口包含子任务对应的目标数据获取接口。
在一种可能的实施方式中,处理模块604在用于基于子任务对应的目标数据获取接口,执行子任务,以得到针对自然语言问句的答复内容时,可以具体用于:针对目标执行链包含的任一子任务,获取子任务对应的目标数据获取接口的接口参数和接口参数的初始值;根据接口参数、初始值和自然语言问句,确定接口参数对应的参数值;若子任务不是目标执行链的第一个子任务,则输入至大语言模型的信息还包括上一子任务的执行结果;根据接口参数和接口参数对应的参数值,执行子任务,得到子任务的执行结果;根据目标执行链中包含的子任务的执行结果,确定针对自然语言问句的答复内容。
在一种可能的实施方式中,处理模块604还可以用于:响应子任务执行结束,确定子任务的执行结果中是否包含待确认信息;若子任务的执行结果中包含待确认信息,则输出待确认信息,以得到针对待确认信息的确认结果;在子任务的执行结果中添加确认结果后,执行下一子任务;若子任务的执行结果中不包含待确认信息,则执行下一子任务。
在一种可能的实施方式中,处理模块604还可以用于:在大语言模型执行目标执行链中包含的子任务的过程中,若子任务执行失败,则获取子任务执行失败的失败原因;若失败原因为第一原因,则重复执行执行失败的子任务,第一原因用于表示进行重试;若失败原因为第二原因,则执行执行失败的子任务的上一子任务,第二原因用于表示进行回滚。
在一种可能的实施方式中,第一确定模块602可以具体用于:针对多个数据获取接口中的每个数据获取接口,获取数据获取接口对应的接口功能描述信息的第一向量;确定第一向量与自然语言问句对应的第二向量的相似度;确定对应相似度满足设定相似度要求的数据获取接口为目标接口;根据目标接口对应的接口功能描述信息,获取目标接口的依赖接口;确定候选数据获取接口包含目标接口以及依赖接口。
在一种可能的实施方式中,多个数据获取接口是根据用户对数据获取接口对应的应用服务的访问权限确定的。
在一种可能的实施方式中,多个数据获取接口是采用OpenAPI格式进行配置的。
在一种可能的实施方式中,答复内容的输出方式包括图表、表格、代码和文本中的至少一种。
本公开实施例的装置,可以用于执行上述任一方法实施例中基于大语言模型的交互方法的方案,其实现原理和技术效果类似,此处不再赘述。
示例性介质
在介绍了本公开示例性实施方式的方法之后,接下来,参考图7对本公开示例性实施方式的存储介质进行说明。
图7为本公开一实施例提供的存储介质示意图。参考图7所示,存储介质700中存储着根据本公开的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备。
示例性计算设备
在介绍了本公开示例性实施方式的方法、介质和装置之后,接下来,参考图8对本公开示例性实施方式的计算设备进行说明。
图8显示的计算设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
图8为本公开一实施例提供的计算设备的结构示意图,如图8所示,计算设备800以通用计算设备的形式表现。计算设备800的组件可以包括但不限于:上述至少一个处理单元801、上述至少一个存储单元802,连接不同系统组件(包括处理单元801和存储单元802)的总线803。示例性地,处理单元801可以具体为处理器,存储单元802存储计算机执行指令,处理单元801执行存储单元802存储的计算机执行指令,以实现上述的基于大语言模型的交互方法。
总线803包括数据总线、控制总线和地址总线。
存储单元802可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)8021和/或高速缓存存储器8022,可以进一步包括非易失性存储器形式的可读介质,例如只读存储器(ROM)8023。
存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025,这样的程序模块8024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备800也可以与一个或多个外部设备804(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且,计算设备800还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图8所示,网络适配器806通过总线803与计算设备800的其它模块通信。应当理解,尽管图中未示出,可以结合计算设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了基于大语言模型的交互装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理,但是应该理解,本公开并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (10)
1.一种基于大语言模型的交互方法,包括:
获取表达用户意图的自然语言问句;
在提供的多个数据获取接口中,根据所述自然语言问句与接口功能描述信息的匹配关系,确定针对所述自然语言问句的候选数据获取接口;
确定所述自然语言问句对应的目标提示词信息,所述目标提示词信息包括所述自然语言问句和所述候选数据获取接口的接口功能描述信息;
将所述目标提示词信息输入至大语言模型中,将所述自然语言问句拆解为目标执行链,所述目标执行链包含链式执行的子任务,并基于所述子任务对应的目标数据获取接口,执行所述子任务,以得到针对所述自然语言问句的答复内容,所述候选数据获取接口包含所述子任务对应的目标数据获取接口。
2.根据权利要求1所述的交互方法,所述基于所述子任务对应的目标数据获取接口,执行所述子任务,以得到针对所述自然语言问句的答复内容,包括:
针对所述目标执行链包含的任一子任务,获取所述子任务对应的目标数据获取接口的接口参数和所述接口参数的初始值;根据所述接口参数、所述初始值和所述自然语言问句,确定所述接口参数对应的参数值;若所述子任务不是所述目标执行链的第一个子任务,则输入至所述大语言模型的信息还包括上一子任务的执行结果;根据所述接口参数和所述接口参数对应的参数值,执行所述子任务,得到所述子任务的执行结果;
根据所述目标执行链中包含的子任务的执行结果,确定针对所述自然语言问句的答复内容。
3.根据权利要求2所述的交互方法,还包括:
响应所述子任务执行结束,确定所述子任务的执行结果中是否包含待确认信息;
若所述子任务的执行结果中包含待确认信息,则输出所述待确认信息,以得到针对所述待确认信息的确认结果;在所述子任务的执行结果中添加所述确认结果后,执行下一子任务;
若所述子任务的执行结果中不包含待确认信息,则执行下一子任务。
4.根据权利要求2所述的交互方法,还包括:
在所述大语言模型执行所述目标执行链中包含的子任务的过程中,若子任务执行失败,则获取子任务执行失败的失败原因;
若所述失败原因为第一原因,则重复执行所述执行失败的子任务,所述第一原因用于表示进行重试;若所述失败原因为第二原因,则执行所述执行失败的子任务的上一子任务,所述第二原因用于表示进行回滚。
5.根据权利要求1至4中任一项所述的交互方法,所述在提供的多个数据获取接口中,根据所述自然语言问句与接口功能描述信息的匹配关系,确定针对所述自然语言问句的候选数据获取接口,包括:
针对所述多个数据获取接口中的每个数据获取接口,获取所述数据获取接口对应的接口功能描述信息的第一向量;
确定所述第一向量与所述自然语言问句对应的第二向量的相似度;
确定对应相似度满足设定相似度要求的数据获取接口为目标接口;
根据所述目标接口对应的接口功能描述信息,获取所述目标接口的依赖接口;
确定所述候选数据获取接口包含所述目标接口以及所述依赖接口。
6.根据权利要求5所述的交互方法,所述多个数据获取接口是根据所述用户对所述数据获取接口对应的应用服务的访问权限确定的。
7.根据权利要求5所述的交互方法,所述多个数据获取接口是采用开放式应用编程接口OpenAPI格式进行配置的。
8.一种基于大语言模型的交互装置,包括:
获取模块,用于获取表达用户意图的自然语言问句;
第一确定模块,用于在提供的多个数据获取接口中,根据所述自然语言问句与接口功能描述信息的匹配关系,确定针对所述自然语言问句的候选数据获取接口;
第二确定模块,用于确定所述自然语言问句对应的目标提示词信息,所述目标提示词信息包括所述自然语言问句和所述候选数据获取接口的接口功能描述信息;
处理模块,用于将所述目标提示词信息输入至大语言模型中,将所述自然语言问句拆解为目标执行链,所述目标执行链包含链式执行的子任务,并基于所述子任务对应的目标数据获取接口,执行所述子任务,以得到针对所述自然语言问句的答复内容,所述候选数据获取接口包含所述子任务对应的目标数据获取接口。
9.一种计算设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至7中任一项所述的基于大语言模型的交互方法。
10.一种存储介质,所述存储介质中存储有计算机程序指令,所述计算机程序指令被执行时,实现如权利要求1至7中任一项所述的基于大语言模型的交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311511901.2A CN117556008A (zh) | 2023-11-13 | 2023-11-13 | 基于大语言模型的交互方法、介质、装置和计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311511901.2A CN117556008A (zh) | 2023-11-13 | 2023-11-13 | 基于大语言模型的交互方法、介质、装置和计算设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117556008A true CN117556008A (zh) | 2024-02-13 |
Family
ID=89822679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311511901.2A Pending CN117556008A (zh) | 2023-11-13 | 2023-11-13 | 基于大语言模型的交互方法、介质、装置和计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117556008A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117744754A (zh) * | 2024-02-19 | 2024-03-22 | 浙江同花顺智能科技有限公司 | 大语言模型任务处理方法、装置、设备及介质 |
-
2023
- 2023-11-13 CN CN202311511901.2A patent/CN117556008A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117744754A (zh) * | 2024-02-19 | 2024-03-22 | 浙江同花顺智能科技有限公司 | 大语言模型任务处理方法、装置、设备及介质 |
CN117744754B (zh) * | 2024-02-19 | 2024-05-10 | 浙江同花顺智能科技有限公司 | 大语言模型任务处理方法、装置、设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11238099B2 (en) | Method and device for obtaining answer, and computer device | |
CN110428319B (zh) | 一种数据比对平台、方法、设备和存储介质 | |
WO2019062010A1 (zh) | 语义识别方法、电子装置及计算机可读存储介质 | |
CN109241384B (zh) | 一种科研信息的可视化方法及装置 | |
US8868483B2 (en) | Database load engine | |
CN117556008A (zh) | 基于大语言模型的交互方法、介质、装置和计算设备 | |
CN112711581A (zh) | 医疗数据校验方法、装置、电子设备及存储介质 | |
CN116244387A (zh) | 实体关系构建方法、装置、电子设备及存储介质 | |
CN114996288A (zh) | 数据比对方法及装置、计算机存储介质、电子设备 | |
CN116560642A (zh) | 代码生成方法及其装置、电子设备及存储介质 | |
CN114416049A (zh) | 结合rpa和ai的服务接口的配置方法及装置 | |
CN117314139A (zh) | 业务流程的建模方法、装置、终端设备及存储介质 | |
CN114928566B (zh) | 客户端的功能测试方法、装置、存储介质与电子设备 | |
CN116010461A (zh) | 数据血缘关系解析方法及装置、存储介质及电子设备 | |
US20230195792A1 (en) | Database management methods and associated apparatus | |
CN114219643A (zh) | 一种交易调用方法、装置、设备及存储介质 | |
CN111338935B (zh) | 用于联调的方法和系统 | |
CN113901025A (zh) | 数据库管理方法、装置、设备和存储介质 | |
CN113900895B (zh) | 信息处理方法、信息处理装置、存储介质与电子设备 | |
CN113537954B (zh) | 一种项目里程碑的处理方法、装置、存储介质及电子设备 | |
CN112711566B (zh) | 跨服务Modify数据的共享使用方法、系统、设备及存储介质 | |
US20220147568A1 (en) | Mapping expression generator | |
CN115689504A (zh) | 一种智能办公机器人的工作方法及系统 | |
CN118151905A (zh) | 工具使用实例的生成方法及装置、存储介质、电子设备 | |
CN116700718A (zh) | 基于页面配置的数据处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |