CN117033030B - 基于大规模语言模型的应用程序接口调度系统及方法 - Google Patents
基于大规模语言模型的应用程序接口调度系统及方法 Download PDFInfo
- Publication number
- CN117033030B CN117033030B CN202311082880.7A CN202311082880A CN117033030B CN 117033030 B CN117033030 B CN 117033030B CN 202311082880 A CN202311082880 A CN 202311082880A CN 117033030 B CN117033030 B CN 117033030B
- Authority
- CN
- China
- Prior art keywords
- api
- language model
- user
- scale language
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000977 initiatory effect Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 119
- 238000013473 artificial intelligence Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/544—Remote
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Stored Programmes (AREA)
Abstract
本发明提供了一种大规模语言模型的应用程序接口调度方法，包括：使用大规模语言模型识别用户需求并将用户需求转换为结构化文本；根据用户需求使用大规模语言模型生成调用API的指令字符串；将调用API的指令字符串和API网络地址或软件服务端口号进行拼接，得到API完整调用指令；通过API完整调用指令发起服务调用，得到服务调用返回信息；将服务调用返回信息改写并添加大规模语言模型的提示上下文；使用大规模语言模型对返回信息进行解读分析，生成反馈数据发送给用户。本发明可以解决现有技术中API调用流程和指令格式是固化的，其适用的场景数量有限的技术问题。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于大规模语言模型的应用程序接口调度系统及方法。
背景技术
近年来，由于软件及系统需要实现的功能日益增多，常常需要把复杂的系统划分成小的组成部分，API被广泛使用。API是应用程序接口的简称，其功能是让应用程序开发人员可以调用一组现有例程的功能，而无须考虑例程底层的源代码为何、或理解例程内部工作机制的细节。比如：图形库中的一组API定义了绘制指针的方式，可于图形输出设备上显示指针；当应用程序需要指针功能时，就在编译时链接到这组API，这样应用程序运行时就会调用此API来显示指针。
对于API调用，公开号为CN105117233A的现有专利，提供了一种调用方法及装置，API调用方法包括：获取待调用API的前端调用代码，其中，前端调用代码是预先根据与待调用API具有映射关系的方法函数的描述信息动态生成的；运行前端调用代码，以对待调用API进行调用。公开号为CN106295330A的现有专利，提供了一种调用API的控制装置及方法，包括：在接收到应用对API的调用请求时，确定所述调用请求对应的API是否为预设的受限API；在所述调用请求对应的API为预设的受限API时，根据预设的API调用规则确定所述调用请求是否合法；在所述调用请求合法时，允许所述应用调用所述API。
但是，现有技术对于API调用，就如同上述专利，在调用过程中的每一步所采用的调用指令格式是固化的，或者根据预先设定好的映射关系生成的，调用API只能沿用已固化好的流程及调用指令来实施，且只能在预先考虑好的应用场景中使用，其适用的场景数量有限，无法适应目前多元化的应用场景需求。
发明内容
针对现有技术存在的不足，本发明提出一种基于大规模语言模型的应用程序接口调度系统及方法，以解决现有技术中存在的API调用流程和指令格式是固化的，其适用的场景数量有限的技术问题。
本发明采用的技术方案如下：第一方面，提供了一种大规模语言模型的应用程序接口调度方法，包括：
使用大规模语言模型识别用户需求；
根据用户需求使用大规模语言模型生成调用API的指令字符串；
将调用API的指令字符串和API网络地址或软件服务端口号进行拼接，得到API完整调用指令；
通过API完整调用指令发起服务调用，得到服务调用返回信息；
将服务调用返回信息反馈给用户。
进一步的，使用大规模语言模型识别用户需求时，将用户需求转换为结构化文本。
进一步的，结构化文本为指定的数据格式串，转换过程包括：
根据用户需求为大规模语言模型配置相应的提示词和限定词，在提示词中指定大规模语言模型生成的数据格式，在限定词中需指定大规模语言模型输入的规范。
进一步的，大规模语言模型通过API知识库和API微调模型生成调用API的指令字符串。
进一步的，API知识库和API微调模型根据API的描述及标签生成，包括：
数据预处理；
对于API知识库，调用向量化模型，对预处理好的数据进行计算并生成向量，存入向量库；
对于API微调模型，将数据预训练成大规模语言模型的权重微调模块。
进一步的，对生成的指令字符串进行校验。
进一步的，还包括：在将服务调用返回信息反馈给用户之前，先对服务调用返回信息进行改写，添加大规模语言模型的提示上下文；
根据提示上下文，使用大规模语言模型对返回信息进行解读分析，生成反馈数据发送给用户。
第二方面，提供了一种大规模语言模型的应用程序接口调度系统，用于实现第一方面所提供的调度方法，调度系统包括：
前端，与AI中台信号连接；用于多端口信息接入，还用于和用户进行多模态交流；
AI中台，分别与前端、服务中心信号连接；用于使用大规模语言模型，通过API知识库和API微调模型生成API调用所需的指令字符串；还用于将指令字符串和地址或软件服务端口号进行拼接，生成完整的API调用指令；还用于配合服务中心API返回信息中的上下文内容，对API返回信息进行解读。
服务中心，与AI中台信号连接；用于对返回信息附加提示上下文；还用于向AI中台提供生成API调用指令时需要用到的网络地址或软件服务端口号。
进一步的，AI中台还用于优化提示词描述；还用于验证新指令的快速加入；还用于对非正常运行时的信息解读，给用户返回友好的提示信息；还用于对现有业务流程优化；
服务中心还用于向AI中台提供协议、参数改写、权限验证及其它API网关所需要提供的服务。
第三方面，提供了一种电子设备，包括：
一个或多个处理器；存储装置，用于存储一个或多个程序；一个或多个处理器；存储装置，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现第一方面提供的调度方法。
由上述技术方案可知，本发明的有益技术效果如下：
1.大规模语言模型可根据用户需求自适应生成的调用API的指令字符串，还可将自适应生成的指令字符串和传统软件服务API进行任意的、混合的流程编排，来实现复杂的业务场景和业务意图。
2.适用的场景根据大规模语言模型的迭代训练结果，可持续更新、增多，能够适应目前日益增多的应用场景需求。
3.获取了服务调用返回信息之后、反馈给用户之前，在传统的API的返回结果数据上附加大规模语言模型的提示上下文，与AI中台里面的大规模语言模型应用中的提示词和限定词相配合，可以达到更好的解读效果；同时能够将大规模语言模型应用的构建工作与API的接入工作彻底解耦，便于高效推进传统软件的AI化。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明一实施例的应用程序接口调度方法流程示意图；
图2为本发明一实施例的应用程序接口调度系统架构示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例
本实施例提供了一种基于大规模语言模型的应用程序接口调度系统，包括：前端，AI中台和服务中心。
前端，与AI中台信号连接；用于多端口信息接入，还用于和用户进行多模态交流。多端口信息接入包括使用微信机器人，以及通过框架实现各种前端界面的接入，如公众号，企业号，web页面，企业专有IM等。和用户进行多模态交流的形式，包括文字输入、语音输入和图像输入等。
AI(人工智能)中台，分别与前端、服务中心信号连接。AI中台加载了大规模语言模型，大规模语言模型可将用户需求转换为结构化文本。AI中台还用于将API的描述及标签生成API知识库和API微调模型。
AI中台用于使用大规模语言模型，借助API知识库和API微调模型，生成API调用所需的指令字符串；还用于将指令字符串和地址或软件服务端口号进行拼接，生成完整的API调用指令。
在一些实施例中，AI中台还用于配合服务中心API返回信息中的上下文内容，对API返回信息进行正确解读。
在一些实施例中，AI中台还用于优化提示词描述，以便于形成可以适应多种场景的调度应用。
在一些实施例中，AI中台还用于验证新指令的快速加入，具体的，将新指令挂入服务中心，API知识库添加对应条目后，前端即自动开通该功能。
在一些实施例中，AI中台还用于对非正常运行时的信息解读，给用户返回友好的提示信息。
在一些实施例中，AI中台还用于对现有业务流程优化，具体的，AI中台对非正常运行时的信息进行抓取，以友好的上下文信息返回给大规模语言模型。
服务中心，与AI中台信号连接。服务中心用于对返回信息进行API上下文附加，具体的，针对每个API，在接口返回信息时，根据返回信息的内容附加提示上下文，以便AI中台进行解读。服务中心还用于向AI中台提供生成API调用指令时需要用到的网络地址或软件服务端口号，以及协议、参数改写、权限验证及其它API网关所需要提供的服务，如负载均衡等。
在一些实施例中，服务中心还用于对AI知识库进行同步，具体的，当API挂载时，将API的描述描述和标签信息直接同步到AI中台知识库并生成知识库条目。
需要说明的是，基于大规模语言模型的应用程序接口调度系统可用于互联网中，在此应用场景，服务中心装载于网络的服务器端；应用程序接口调度系统也可用于单机环境中。
基于上述基于大规模语言模型的应用程序接口调度系统，本实施例提供了一种基于大规模语言模型的应用程序接口调度方法，包括：
S1、使用大规模语言模型识别用户需求
用户需求包括多模态输入，比如文字输入、语音输入和图像输入。在一些实施例中，大规模语言模型为已经训练好的人工智能模型，可根据文字输入的用户需求进行智能识别并转为结构化文本；还可以对语音输入和图像输入进行智能识别，转化为结构化文本。对于图像输入，可在现有大规模语言模型的基础上采用Language-Enhanced NeuralSystem框架进行识别。
在一些实施例中，可将用户需求转换为结构化文本，供后续步骤使用。在具体的实施方式中，结构化文本的转化过程包括：在AI中台中创建大规模语言模型应用，根据用户需求为大规模语言模型配置相应的提示词和限定词。在提示词中指定大规模语言模型生成的数据格式，比如：{‘flag’:’yes’,’msg’:’指令？x＝aaa&y＝bbb’}，此为get调用的示例，本领域技术人员应理解，不同的调用模式生成的格式各不相同。在限定词中需指定大规模语言模型输入的规范，比如，时间以字符串格式20230632表示。
在一些实施例中，为了实现更好的调度效果，还可以优化大规模语言模型的其他参数，如自由度、角色等。
通过本步骤，大规模语言模型可以在接受用户需求输入的情况下，理解用户意图，将用户需求转换为结构化文本，生成的结构化文本就是指定的数据格式串；本领域技术人员应理解，数据格式串的格式不作限定，举例说明，比如json格式。
S2、根据用户需求使用大规模语言模型生成调用API的指令字符串
在一些实施例中，将众多服务的API挂载到服务中心，将API的描述及标签通过AI中台生成API知识库和API微调模型。生成步骤包括：
数据预处理，预处理可分为人工录入知识点、人工整理问答对、大规模语言模型自动拆分知识点和/或自动生成问答等方式。
数据向量化，通过调用向量化模型，比如专用的向量化算法embedding，对预处理好的数据进行计算并生成向量，存入向量库。
在具体的实施方式中，API知识库包括：
API协议：如rpc.http.mqtt等，不同的协议可用于不同的场景。
API指令：即API具体要进行的操作，由应用程序定义，通常为接口的名称；如getdata、insert等。
API地址：即API所需要调用的地址uri；在一些实施例中，服务中心提供地址转发功能，可以实现地址统一。
API参数：即API调用时所需要输入的内容，比如getdata指令后面需指出城市名city。
API调用模式：如GET\POST\PUT等等。
API其他补充参数：主要是调用时候需要补充的其他信息，如http post调用里面的header块。
API调用示例：完整的API调用命令示例。
参数别名：个别口语化的输入需进行专门的转化的，比如需要指出川渝地区＝成都、重庆。
本领域技术人员应理解，上述API知识库中包括的内容只是基本内容，在运用时可根据API的不同功能，对应不同的知识点内容也不一样，API知识库中的知识点不限于上述举例。
API微调模型包括的对象与API知识库类似，只是API微调模型不以向量数据库的形态存在，而是已经通过lora等技术将数据预训练成了大规模语言模型的权重微调模块。
在一些实施例中，大规模语言模型根据结构化文本中记载的用户需求，借助API知识库和API微调模型，生成API调用所需的指令字符串，生成的具体步骤如下：根据步骤S1中生成的指定数据格式串，大规模语言模型采用字符匹配算法从中提取出具体的指令字符串，指令字符串的格式不作限定，举例说明，比如json格式。
在一些实施例中，还可以对已生成的指令字符串进行校验。比如：校验前文举例中的‘flag’这类的自定义信息，以确定是否已经生成正确的指令。本领域技术人员应理解，对指令字符串进行校验的这一步骤是可以根据实际需求灵活增加或减少，也可以不校验，也可以加入更多更复杂的校验规则。
对于API调用所需的指令字符串进行举例说明：命令名：getdata；功能描述：城市空气质量数据；参数：time；时间，可以为时间范围如20230701-20230715，也可以为时间跨度如0，1，3，7，14等；参数：city，城市名称，等等。
S3、将调用API的指令字符串与API网络地址或软件服务端口号进行拼接，得到API完整调用指令
在一些实施例中，当基于大规模语言模型的应用程序接口调度系统用于互联网中时，由AI中台将指令字符串与服务中心中内置的、该API的路由地址进行拼接，得到完整的API调用指令。在具体的实施方式中，服务中心设于政务云综合服务平台，可能涉及到要调用的API分散在互联网的各个节点中，比如环保局系统、住建局系统中，等等。API完整调用指令，举例如下为：
协议：//地址/指令？参数＝值&参数＝值
上述是一个典型的http get调用的指令拼接，其中的地址就是指向某个系统在网络上能对外公开链接的地址，比如132.158.190.26。本领域技术人员应理解，针对不同的应用场景，API完整调用指令会略有区别。
在一些实施例中，当基于大规模语言模型的应用程序接口调度系统用于单机环境时，由AI中台将指令字符串与软件服务端口号进行拼接。
S4、通过API完整调用指令发起服务调用，得到服务调用返回信息
在一些实施例中，当基于大规模语言模型的应用程序接口调度系统用于互联网中时，由服务中心通过路由转发给真正执行调用的业务API，执行对应的应用程序后，将处理结果信息返回给服务中心。
S5、将服务调用返回信息反馈给用户
在一些实施例中，在将服务调用返回信息反馈给用户之前，可先对服务调用返回信息进行改写，添加大规模语言模型的提示上下文。在具体的实施方式中，服务中心获取的服务调用返回信息后，根据预设的每个API的信息，对服务调用API的返回信息进行改写，添加的大规模语言模型提示上下文。举例说明：
对大规模语言模型发送："你是一个空气质量方面的专家，请根据所收到的空气质量数据给用户提供解读和分析，分为如下几个部分1、开场白，告知用户本次分析的此数据对应的时间和地点,要替换成你分析的具体的日期。注意没有具体说明年份的，默认按照2023年采纳\n2、基本数据，罗列空气质量基本指标的数据，不进行分析\n3、整体分析，罗列空气质量等级，首要污染物数据，并进行整体分析\n以下是本次需要分析的数据\n\\["。
根据提示上下文，使用大规模语言模型对返回信息进行解读分析，生成反馈数据发送给用户。在一些实施例中，AI中台根据返回信息和提示上下文，使用大规模语言模型对返回信息中的内容进行解读和分析，生成可以供用户阅读或听取的反馈数据，反馈数据包括文字数据、语音数据和图像数据，比如文字分析、图片、报告、表格、页面和/或语音等多种形式。
在具体的实施方式中，将反馈数据发送给用户的方式包括：通过轮询接口读取相应的反馈数据返回给应用程序接口调度系统的前端。前端将收到的反馈数据发送给用户。
以下以实例对本实施例的工作原理进行说明：
1、场景一：用户通过微信语音提问，想获取某一时间段的空气质量数据对于上述应用场景，采用本实施例的技术方案，会执行以下操作：
用户利用微信文字提出问题，前端收取信息，多模态识别为文字，然后调用轮询接口。
轮询接口发起流程，轮询接口调用AI中台API，发起流程，并开始在后台以心跳方式查询流程的运行结果。
调用AI中台“空气质量API调度”应用，AI中台上“空气质量API调度”应用根据所传入的用户问题，检索应用知识库里面所存储的API接口的描述作为上下文，通过大规模语言模型判断用户所提问题是否可以生成正确的内容，如果可以，则生成对应的调度指令、参数内容，并设置标志位为yes，如果不行，则返回提示信息，告知用户所提问题中有内容不明确，无法生成查询所需的完整信息，同时设置标志位为no。并以json格式向中台返回。
对返回信息进行解析与判定，收到返回信息后，对其中的标志位进行判断，如果是no，则设置全局变量为上一步模型所返回的提示信息，并将全局变量设置为整个流程的输出，将会把流程的状态设置为“完成”，轮询接口在发现流程状态变化后即转到后续步骤“轮询接口返回信息”。如果是yes，则解析生成的json文件，从中间提取指令和参数，并将其传递给流程下一步。
发起服务调用，当流程的服务调用单元接收到上一步所传递的指令和参数信息后，将其与服务中心在流程中内置的API路由地址进行拼接，生成完整的restful http调用指令，并发起服务调用，由服务中心通过路由转发给真正执行调用的业务API，接口形态还包括rpc、mqtt等。
服务调用返回信息加工，服务调用返回相应的内容后，服务中心根据预设的每个API的信息，向服务调用API的返回信息中添加相应的大规模语言模型提示上下文。如在返回数据前加上“这是一段空气质量的数据，请你告知用户本次分析的此数据对应的时间和地点，罗列空气质量基本指标的数据，罗列空气质量等级，首要污染物数据，并进行整体分析”。同时，将信息传递给流程下一步。
服务内容解读与反馈，AI中台上“空气质量API反馈信息解读”应用根据所传入的提示词及返回信息，利用大规模语言模型对相应的内容进行解读和分析，生成可以供用户阅读和参考的信息内容，同时将全局变量设置为所生成的信息内容，并将全局变量设置为整个流程的输出，AI中台将会把流程的状态设置为“完成”，轮询接口在发现流程状态变化后转到步骤“轮询接口返回信息”。
轮询接口返回信息，轮询接口读取相应的输出信息，并返回给前端。
前端反馈，前端将收到的信息反馈给用户，其中部分内容将会以更直观的方式呈现，如图片地址将直接给用户呈现图片。
2、场景二：大规模语言模型根据用户的语音描述，将用户所提供的信息录入到系统(A，B或C系统)中
用户利用微信语音提出问题，前端收取信息，调用轮询接口。
轮询接口发起流程，轮询接口调用AI中台API，发起流程，并开始在后台以心跳方式查询流程的运行结果。
用户问题确认信息生成，流程调用AI中台上的“通用信息反馈解读”应用，将用户所提问题中需要录入的内容进行解读和整理，生成待用户确认的信息，将该信息通过AI中台事件处理程序反馈给轮询接口。
轮询接口返回信息，轮询接口读取相应的输出信息，并返回给前端。
用户确认内容，用户通过前端返回的信息，确认自己要录入系统的内容及需要录入的对象系统无误。
调用AI中台“通用API调度”应用，AI中台上“通用API调度”应用根据所传入的用户问题，检索应用知识库里面所存储的API接口的描述作为上下文，通过大规模语言模型判断用户所提问题是否可以生成正确的内容，如果可以，则生成对应的调度指令、参数内容，并设置标志位为yes，如果不行，则返回提示信息，告知用户所提问题中有内容不明确，无法生成查询所需的完整信息，同时设置标志位为no。并以json格式向中台返回。
对返回信息进行解析与判定，收到返回信息后，对其中的标志位进行判断，如果是no，则设置全局变量为上一步模型所返回的提示信息，并将全局变量设置为整个流程的输出；把流程的状态设置为“完成”，轮询接口在发现流程状态变化后即转到步骤“轮询接口返回信息”。如果是yes，则解析生成的json文件，从中间提取指令和参数，并将其传递给流程“轮询接口返回信息”。
轮询接口返回信息，轮询接口感知到流程已经完成的状态后，将录入任务是否成功完成的情况返回给前端。
前端反馈，前端将收到的信息反馈给用户。
通过本实施的技术方案，大规模语言模型可根据用户需求自适应生成的调用API的指令字符串，还可将自适应生成的指令字符串和传统软件服务API进行任意的、混合的流程编排，来实现复杂的业务场景和业务意图。适用的场景根据大规模语言模型的迭代训练结果，可持续更新、增多，能够适应目前日益增多的应用场景需求。
获取了服务调用返回信息之后、反馈给用户之前，在传统的API的返回结果数据上附加大规模语言模型的提示上下文，与AI中台里面的大规模语言模型应用中的提示词和限定词相配合，可以达到更好的解读效果；同时能够将大规模语言模型应用的构建工作与API的接入工作彻底解耦，便于高效推进传统软件的AI化。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种大规模语言模型的应用程序接口调度系统，其特征在于，包括：
前端，与AI中台信号连接，用于多端口信息接入；所述前端还用于和用户进行多模态交流，将用户需求传输给所述AI中台；
AI中台，分别与前端、服务中心信号连接；所述AI中台根据用户需求使用大规模语言模型生成API调用所需的指令字符串；将调用API的指令字符串和API网络地址或软件服务端口号进行拼接，生成完整的API调用指令；通过API完整调用指令发起服务调用，得到服务调用返回信息；所述AI中台还用于配合服务中心API返回信息中的上下文内容，对API返回信息进行解读；
服务中心，与AI中台信号连接；所述服务中心用于向AI中台提供生成API调用指令时需要用到的 API网络地址或软件服务端口号 ；还用于对返回信息附加提示上下文，将服务调用返回信息反馈给用户。
2.根据权利要求1所述的调度系统，其特征在于，所述AI中台还用于优化提示词描述；还用于验证新指令的快速加入；还用于对非正常运行时的信息解读，给用户返回友好的提示信息；还用于对现有业务流程优化。
3.根据权利要求1所述的调度系统，其特征在于，所述服务中心还用于向AI中台提供协议、参数改写、权限验证。
4.一种大规模语言模型的应用程序接口调度方法，通过使用权利要求1-3任一项所述的调度系统进行调度，其特征在于，使用大规模语言模型识别用户需求时，将用户需求转换为结构化文本。
5.根据权利要求4所述的调度方法，其特征在于，所述结构化文本为指定的数据格式串，转换过程包括：
根据用户需求为大规模语言模型配置相应的提示词和限定词，在提示词中指定大规模语言模型生成的数据格式，在限定词中需指定大规模语言模型输入的规范。
6.根据权利要求4所述的调度方法，其特征在于，大规模语言模型通过API知识库和API微调模型生成调用API的指令字符串。
7.根据权利要求6所述的调度方法，其特征在于，所述API知识库和API微调模型根据API的描述及标签生成，包括：
数据预处理；
对于API知识库，调用向量化模型，对预处理好的数据进行计算并生成向量，存入向量库；
对于API微调模型，将数据预训练成大规模语言模型的权重微调模块。
8.根据权利要求4所述的调度方法，其特征在于，对生成的指令字符串进行校验。
9.根据权利要求4所述的调度方法，其特征在于，还包括：在将服务调用返回信息反馈给用户之前，先对服务调用返回信息进行改写，添加大规模语言模型的提示上下文；
根据提示上下文，使用大规模语言模型对返回信息进行解读分析，生成反馈数据发送给用户。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求4-9任一项所述的调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311082880.7A CN117033030B (zh) | 2023-08-25 | 2023-08-25 | 基于大规模语言模型的应用程序接口调度系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311082880.7A CN117033030B (zh) | 2023-08-25 | 2023-08-25 | 基于大规模语言模型的应用程序接口调度系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117033030A CN117033030A (zh) | 2023-11-10 |
| CN117033030B true CN117033030B (zh) | 2024-07-12 |
Family
ID=88602248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311082880.7A Active CN117033030B (zh) | 2023-08-25 | 2023-08-25 | 基于大规模语言模型的应用程序接口调度系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117033030B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110324410A (zh) * | 2019-06-18 | 2019-10-11 | 中国南方电网有限责任公司 | 发起网页请求的方法、装置、计算机设备和存储介质 |
| CN116127045A (zh) * | 2023-03-03 | 2023-05-16 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法、基于模型的人机语音交互方法 |
| CN116521841A (zh) * | 2023-04-18 | 2023-08-01 | 百度在线网络技术（北京）有限公司 | 用于生成回复信息的方法、装置、设备及介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198155B (zh) * | 2013-04-27 | 2017-09-22 | 北京光年无限科技有限公司 | 一种基于移动终端的智能问答交互系统及方法 |
| CN110750282B (zh) * | 2019-10-14 | 2021-04-02 | 支付宝(杭州)信息技术有限公司 | 用于运行应用程序的方法、装置及gpu节点 |
| WO2022246194A1 (en) * | 2021-05-21 | 2022-11-24 | Google Llc | Machine-learned language models which generate intermediate textual analysis in service of contextual text generation |
| CN116541497A (zh) * | 2023-04-25 | 2023-08-04 | 百度时代网络技术（北京）有限公司 | 任务型对话的处理方法、装置、设备和存储介质 |
| CN116383026B (zh) * | 2023-06-05 | 2023-09-01 | 阿里巴巴（中国）有限公司 | 基于大模型的数据处理方法及服务器 |
-
2023
- 2023-08-25 CN CN202311082880.7A patent/CN117033030B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110324410A (zh) * | 2019-06-18 | 2019-10-11 | 中国南方电网有限责任公司 | 发起网页请求的方法、装置、计算机设备和存储介质 |
| CN116127045A (zh) * | 2023-03-03 | 2023-05-16 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法、基于模型的人机语音交互方法 |
| CN116521841A (zh) * | 2023-04-18 | 2023-08-01 | 百度在线网络技术（北京）有限公司 | 用于生成回复信息的方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117033030A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2576605C (en) | Natural language classification within an automated response system | |
| US20170116989A1 (en) | Generic virtual personal assistant platform | |
| US20060235694A1 (en) | Integrating conversational speech into Web browsers | |
| CN111144128A (zh) | 语义解析方法和装置 | |
| CN110998526B (zh) | 用户配置的且自定义的交互式对话应用 | |
| EP1583076A1 (en) | System and method for automatic generation of dialogue run time systems | |
| CN111538825B (zh) | 知识问答方法、装置、系统、设备及存储介质 | |
| US11604929B2 (en) | Guided text generation for task-oriented dialogue | |
| CN116644168A (zh) | 一种交互数据构建方法、装置、设备及存储介质 | |
| CN112231544A (zh) | 结合rpa与ai的rpa机器人的搜索方法、装置和设备 | |
| CN117892828B (zh) | 一种地理信息系统自然语言交互方法、装置、设备及介质 | |
| US8260839B2 (en) | Messenger based system and method to access a service from a backend system | |
| CN115033677A (zh) | 基于对话机器人的事件处理方法、装置、设备和介质 | |
| CN112860873B (zh) | 智能应答方法、装置及存储介质 | |
| CN112837683B (zh) | 语音服务方法及装置 | |
| CN117033030B (zh) | 基于大规模语言模型的应用程序接口调度系统及方法 | |
| EP3843090B1 (en) | Method and apparatus for outputting analysis abnormality information in spoken language understanding | |
| US20230244878A1 (en) | Extracting conversational relationships based on speaker prediction and trigger word prediction | |
| CN111221841A (zh) | 基于大数据的实时处理方法及装置 | |
| CN106570002B (zh) | 自然语言处理方法和装置 | |
| CN112148854B (zh) | 一种对话管理方法及装置 | |
| Ly | Chatter--a conversational telephone agent | |
| US20050114147A1 (en) | System and method for creating business process models by multi-modal conversation | |
| Duan | Application development exploration and practice based on LangChain+ ChatGLM+ Rasa | |
| CN111046146B (zh) | 用于生成信息的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |