CN116560857B - Agi平台调用管理方法、装置、存储介质及电子设备 - Google Patents
Agi平台调用管理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116560857B CN116560857B CN202310778507.9A CN202310778507A CN116560857B CN 116560857 B CN116560857 B CN 116560857B CN 202310778507 A CN202310778507 A CN 202310778507A CN 116560857 B CN116560857 B CN 116560857B
- Authority
- CN
- China
- Prior art keywords
- platform
- calling
- call
- list
- agi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 34
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001522296 Erithacus rubecula Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例提供一种AGI平台调用管理方法、装置、存储介质及电子设备，涉及调用管理技术领域。所述方法包括：响应于AGI平台调用请求，获取与所述AGI平台调用请求对应的适用平台列表；获取当前可调用平台列表；根据所述适用平台列表和所述当前可调用平台列表进行平台调用。本申请实施例通过综合考虑当前调用场景适用性及平台供应方的可用性选择合适平台进行调用，从而有效提高了AGI平台调用的可用性。
Description
技术领域
本申请涉及调用管理技术领域，具体而言，涉及一种通用人工智能（ArtificialGeneral Intelligence，AGI）平台调用管理方法、装置、存储介质及电子设备。
背景技术
AGI通用大模型技术正迅猛发展，随之而来的是机器在各个领域取代工作的趋势。企业内部以及客户服务领域中涌现出众多基于AGI的效率提升工具。
这些效率提升工具可以是基于企业内部自主研发的大模型，也可以是基于各大AGI模型企业提供的开放平台。然而，在绝大多数情况下，企业自主研发的大模型与商用AGI模型之间在性能、成本和生成效果上存在一定差异。为了满足不断增长的需求，各大互联网公司也在积极快速发展AGI模型平台。
目前，企业在实现基于AGI的各工具的过程中，在调用AGI大模型的开放平台进行使用时存在可用性不高的问题。
发明内容
本申请实施例的目的在于提供一种AGI平台调用管理方法、装置、存储介质及电子设备，用以提高调用AGI大模型的开放平台时的可用性。
第一方面，本申请实施例提供了一种AGI平台调用管理方法，包括：
响应于AGI平台调用请求，获取与所述AGI平台调用请求对应的适用平台列表；
获取当前可调用平台列表；
根据所述适用平台列表和所述当前可调用平台列表进行平台调用。
在本申请实施例中，通过获取与当前调用请求对应的适用平台列表，同时获取系统当前的可用平台列表，并综合考虑当前调用场景适用性及供应方的可用性选择平台进行调用，能够保证所调用平台的适用性和可用性，从而有效提高了AGI平台调用的可用性。
在一个可能的实施例中，所述根据所述适用平台列表和所述当前可调用平台列表进行平台调用，包括：
根据所述适用平台列表与所述当前可调用平台列表的交集确定目标调用平台；
对所述目标调用平台进行调用。
在本申请实施例中，只需要根据适用平台列表和当前可调用平台列表的交集即可准确地确定本次调用的平台，通过采用数据运算方式来选择适合的调用平台，能够提高调用管理的精确性和效率，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述根据所述适用平台列表与所述当前可调用平台列表的交集确定目标调用平台，包括：
根据所述适用平台列表与所述当前可调用平台列表的交集确定候选调用平台列表；
根据所述候选调用平台列表中各个候选调用平台的场景适用权重值确定目标调用平台；其中，所述场景适用权重值是所述适用平台列表中预配置的与所述AGI平台调用请求的调用场景相匹配的值。
在本申请实施例中，通过按照与当前调用请求的场景适配度对各个平台分别配置权重值，能够优先选择与当前调用场景最合适的平台进行调用，从而提高了调用平台的服务效率和质量，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述根据所述候选调用平台列表中各个候选调用平台的场景适用权重值确定目标调用平台，包括：
根据所述候选调用平台列表中各个候选调用平台的场景适用权重值和可用性权重值计算综合权重值；其中，所述可用性权重值是所述当前可调用平台列表中预配置的与各平台供应商的平台信息相对应的值；
基于所述综合权重值确定目标调用平台。
在本申请实施例中，除了配置场景适用权重，还可以根据供应商的平台信息配置可用性权重，例如考虑平台本身调用成本等因素，再根据两个平台列表的权重综合计算并确定最合适的平台进行调用，能够提高平台调用的适用性和经济性，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述场景适用权重值的数量级大于所述可用性权重值的数量级。
在本申请实施例中，在配置权重值时，通过将场景适用权重的数量级配置为大于可用性权重的数量级，从而在确定目标调用平台时可以优先考虑场景适用性，其次（例如当场景适用性差不多时）再考虑可用性，有效提高了平台调用的适用性，提高平台调用的服务质量，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述的AGI平台调用管理方法还包括：
响应于所述目标调用平台返回的调用失败信息；
基于所述调用失败信息对所述适用平台列表中与所述目标调用平台对应的平台的场景适用权重值进行降级调整；或，基于所述调用失败信息对所述当前可调用平台列表中与所述目标调用平台对应的平台的可用性权重值进行降级调整。
在本申请实施例中，当平台调用失败时，需要对该平台预配置的权重进行降级，使得后续再次发起平台调用请求时优先选择其他平台进行调用，避免重复调用该平台出现再次失败的情况，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述对所述目标调用平台进行调用，包括：
获取与所述AGI平台调用请求对应的第一可用API秘钥列表，并获取与所述目标调用平台对应的第二可用API秘钥列表；其中，API为应用程序编程接口，ApplicationProgramming Interface；
根据所述第一可用API秘钥列表与所述第二可用API秘钥列表的交集确定候选API秘钥列表；
基于预存的秘钥调用记录信息获取所述候选API秘钥列表中各个候选API秘钥对应的累计调用次数，并将累计调用次数最小的候选API秘钥确定为目标API秘钥；
基于所述目标API秘钥对所述目标调用平台进行调用。
在本申请实施例中，在确定目标调用平台后，根据当前场景配置的第一可用API秘钥列表以及该平台本身对应的第二可用API秘钥列表，再按照调用次数较少的原则综合计算确定最终用于调用的API秘钥。避免了平台对于访问频率限制导致的调用失败问题，从而有效提高了平台调用的成功率，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述的AGI平台调用管理方法还包括：
响应于所述目标调用平台返回的调用失败信息；
基于所述调用失败信息对所述秘钥调用记录信息中与所述目标API秘钥对应的API秘钥的累计调用次数进行增加。
在本申请实施例中，当调用失败且根据错误信息确定是API秘钥暂不可用或超频时，对于当前使用的API秘钥对应记录的累计调用次数进行增加，使得该API秘钥在后续调用请求中当选的权重降低，从而在后续重新发起调用请求时，优先选择其他API秘钥进行平台调用，提高平台调用的成功率，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述对所述目标调用平台进行调用，还包括：
基于预设的格式转换器对所述AGI平台调用请求携带的入参及模型提示词进行转换，得到与所述目标调用平台对应的目标入参及目标模型提示词；
基于所述目标入参和所述目标模型提示词对所述目标调用平台进行调用。
在本申请实施例中，通过预设格式转换器对调用请求的入参及模型提示词进行格式转换，从而能够根据不同调用场景统一转换为适配于调用平台的数据，提高平台调用的兼容性和调用效率，从而进一步提高了AGI平台调用的可用性。
第二方面，本申请实施例提供了一种AGI平台调用管理装置，包括：
响应模块，用于响应于AGI平台调用请求，获取与所述AGI平台调用请求对应的适用平台列表；
获取模块，用于获取当前可调用平台列表；
调用模块，用于根据所述适用平台列表和所述当前可调用平台列表进行平台调用。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时可实现第一方面任一实施例所述的方法。
第四方面，本申请实施例提供了一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现第一方面任一实施例所述的方法。
第五方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现第一方面任一实施例所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种AGI平台调用管理方法的流程示意图之一；
图2为本申请实施例提供的一种AGI平台调用管理方法的流程示意图之二；
图3为本申请实施例提供的一种AGI平台调用管理装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，本申请实施例提供了一种AGI平台调用管理方法，可以包括步骤：
S1、响应于AGI平台调用请求，获取与所述AGI平台调用请求对应的适用平台列表；
S2、获取当前可调用平台列表；
S3、根据所述适用平台列表和所述当前可调用平台列表进行平台调用。
需要说明的是，企业在需要实现基于AGI的效率提升工具时，往往需要调用各个AGI模型厂商（平台）提供的开放平台。在发起AGI平台调用请求时，可以在请求信息中携带场景值（可以是数字和字母等字符串），系统根据预设的配置策略，可以匹配并获取与该场景值相对应的适用平台列表，列表中可以包含一个或多个适用平台。然后，系统根据当前的平台供应商情况获取对应的当前可调用平台列表，列表中可以包含一个或多个可用平台，且该可调用平台列表可以是根据供应商可用情况进行实时更新的。根据上述获取的适用平台列表和当前可调用平台列表进行综合分析，例如求取两个列表的交集后随机选择一个平台作为本次调用的目标。
在本申请实施例中，通过获取与当前调用请求对应的适用平台列表，同时获取系统当前的可用平台列表，并综合考虑当前调用场景适用性及供应方的可用性选择平台进行调用，能够保证所调用平台的适用性和可用性，从而有效提高了AGI平台调用的可用性。
在一个可能的实施例中，步骤S3（所述根据所述适用平台列表和所述当前可调用平台列表进行平台调用）可以包括步骤：
S301、根据所述适用平台列表与所述当前可调用平台列表的交集确定目标调用平台；
S302、对所述目标调用平台进行调用。
在本申请实施例中，只需要根据适用平台列表和当前可调用平台列表的交集即可准确地筛选掉不符合当前调用需求的平台，并确定得到本次调用的平台，通过采用数据运算方式来选择适合的调用平台，有效提高了调用管理的精确性和效率，从而进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，步骤S301（所述根据所述适用平台列表与所述当前可调用平台列表的交集确定目标调用平台）可以包括步骤：
S3011、根据所述适用平台列表与所述当前可调用平台列表的交集确定候选调用平台列表；
S3012、根据所述候选调用平台列表中各个候选调用平台的场景适用权重值确定目标调用平台；其中，所述场景适用权重值是所述适用平台列表中预配置的与所述AGI平台调用请求的调用场景相匹配的值。
在本申请实施例中，由于求取两个列表的交集后得到的候选调用平台列表中通常可能存在两个或以上的候选调用平台，对此，为了区别候选调用平台的优先度，通过按照与当前调用请求的场景适配度对各个平台分别配置权重值，能够在得到的候选调用平台列表中优先选择与当前调用场景最合适的平台进行调用，从而提高了调用平台的服务效率和质量，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，步骤S3012（所述根据所述候选调用平台列表中各个候选调用平台的场景适用权重值确定目标调用平台）可以包括步骤：
S30121、根据所述候选调用平台列表中各个候选调用平台的场景适用权重值和可用性权重值计算综合权重值；其中，所述可用性权重值是所述当前可调用平台列表中预配置的与各平台供应商的平台信息相对应的值；
S30122、基于所述综合权重值确定目标调用平台。
在本申请实施例中，由于企业在平台调用过程中往往还需要考虑经济性等因素，因此，除了配置场景适用权重，还可以根据供应商的平台信息等为当前可调用平台列表中各个平台配置可用性权重，例如考虑平台本身调用成本等，再根据两个平台列表的权重综合计算并确定最合适的平台进行调用，能够提高平台调用的适用性和经济性，从而能够更全面更科学地选择到合适的平台进行调用，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述场景适用权重值的数量级大于所述可用性权重值的数量级。
需要说明的是，在实际应用中，企业调用平台时往往更多的是考虑平台的适用性，其次才会考虑调用的成本等问题，因此，在本申请实施例中，在配置权重值时，为了区分两种权重的优先度，可以通过将场景适用权重的数量级配置为大于可用性权重的数量级，从而在确定目标调用平台时可以优先考虑场景适用性，其次（例如当场景适用性差不多或等同时）再考虑可用性。例如，场景适用权重配置为0-100且为10的倍数，可用性权重配置为0-10且为1的倍数，则当A平台对应的场景适用权重和可用性权重分别为50和5、B平台对应的场景适用权重和可用性权重分别为40和8时，优先选择综合权重较大的A作为目标调用平台（尽管B的可用性权重更高）。本申请实施例有效提高了平台调用的适用性，提高平台调用的服务质量，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述的AGI平台调用管理方法还可以包括步骤：
S401、响应于所述目标调用平台返回的调用失败信息；
S402、基于所述调用失败信息对所述适用平台列表中与所述目标调用平台对应的平台的场景适用权重值进行降级调整；或，基于所述调用失败信息对所述当前可调用平台列表中与所述目标调用平台对应的平台的可用性权重值进行降级调整。
需要说明的是，当平台调用失败时，可以根据调用返回的错误信息判断失败类型。在本申请实施例中，当平台调用失败并确定是平台不可用问题时，需要对该平台预配置的权重进行降级，其中，可以是对场景适用权重或可用性权重进行降低（均可减少该平台的综合权重从而实现降低选择优先度），例如可以将权重降为负数。通过降低该平台的权重，使得后续再次发起平台调用请求时优先选择其他平台进行调用，避免重复调用该平台出现再次失败的情况，进一步提高了AGI平台调用的可用性。
在一些实施例中，还可以在将平台的权重降低为负数之后，在后续每次发起调用请求时对该平台的权重进行增加一定的值，直至该平台的权重值重新增加为正数，重新变为可用。相当于对该平台设定了一个不可调用的周期。
在一个可能的实施例中，步骤S302（所述对所述目标调用平台进行调用）可以包括步骤：
S3021、获取与所述AGI平台调用请求对应的第一可用API秘钥列表，并获取与所述目标调用平台对应的第二可用API秘钥列表；
S3022、根据所述第一可用API秘钥列表与所述第二可用API秘钥列表的交集确定候选API秘钥列表；
S3023、基于预存的秘钥调用记录信息获取所述候选API秘钥列表中各个候选API秘钥对应的累计调用次数，并将累计调用次数最小的候选API秘钥确定为目标API秘钥；
S3024、基于所述目标API秘钥对所述目标调用平台进行调用。
需要说明的是，由于AGI模型基于GPU的成本较高，AGI模型开放平台会对账号或者API-KEY（API秘钥）的维度进行模型访问的频率限制，因此在平台调用时，优先选择多个可用API秘钥中累计调用次数较少的API秘钥作为本次调用的API秘钥。
在本申请实施例中，在确定目标调用平台后，根据当前场景配置的第一可用API秘钥列表以及该平台本身对应的第二可用API秘钥列表，再按照调用次数较少的原则综合计算确定最终用于调用的API秘钥。避免了平台对于访问频率限制导致的调用失败问题，从而有效提高了平台调用的成功率，进一步提高了AGI平台调用的可用性。
在一个可能的实施例中，所述的AGI平台调用管理方法还可以包括步骤：
S501、响应于所述目标调用平台返回的调用失败信息；
S502、基于所述调用失败信息对所述秘钥调用记录信息中与所述目标API秘钥对应的API秘钥的累计调用次数进行增加。
在本申请实施例中，当调用失败且根据错误信息确定是API秘钥暂不可用或超频时，对于当前使用的API秘钥对应记录的累计调用次数进行增加（例如增加100次），由于选择API秘钥进行平台调用时是按照调用次数较少者优先调用原则的，从而使得该API秘钥在后续调用请求中当选的权重降低，进而在后续重新发起调用请求时，优先选择其他API秘钥进行平台调用，提高平台调用的成功率，进一步提高了AGI平台调用的可用性。
需要说明的是，由于在后续每次调用其他API秘钥时均会进行+1操作，当其他某个API秘钥被调用100次后，相当于该API秘钥与其他API秘钥的调用优先度重新回到了“同一起跑线”，继而在后续选择调用API秘钥时，该API秘钥重新变为较高的选择优先度。整个过程相当于对该API秘钥设定了一个不可调用的周期。
在一个可能的实施例中，步骤S302（所述对所述目标调用平台进行调用）还可以包括步骤：
S3025、基于预设的格式转换器对所述AGI平台调用请求携带的入参及模型提示词进行转换，得到与所述目标调用平台对应的目标入参及目标模型提示词；
S3026、基于所述目标入参和所述目标模型提示词对所述目标调用平台进行调用。
在本申请实施例中，通过预设格式转换器对调用请求的入参及模型提示词进行格式转换，从而能够根据不同调用场景统一转换为适配于调用平台的数据，提高平台调用的兼容性和调用效率，从而进一步提高了AGI平台调用的可用性。
需要说明的是，基于上述背景技术描述的问题，企业实现基于AGI的各工具在调用AGI大模型的开放平台使用时，存在以下问题：
问题一：AGI模型开放平台由于技术特性，无法提供高可用性承诺保障，但企业工具服务需要提供稳定且高效的服务；
问题二：由于AGI模型基于GPU的成本较高，AGI模型开放平台会对账号或者API-KEY的维度进行模型访问的频率限制；
问题三：不同AGI模型平台的模型特性不同，为生成相同需求的回复需要使用的prompt（模型提示词）差异比较大，针对同一场景不同模型厂商的使用prompt无法复用。
针对上述问题但不限于上述问题，本申请实施例提供了一种AGI平台调用管理方案，主要的设计要点包括：
1、统一各AGI大模型调用场景访问出口，为不同访问场景分配场景值，通过场景值进行访问身份鉴别以及可用策略区分；
2、对接多个模型厂商（平台）的接口，并通过转换器将各模型厂商接口的入参、出参转换为本设计平台统一的格式；
3、根据策略确定本次调用的厂商（平台），通过prompt的转换器或者场景值与各厂商平台的配置，生成本次请求的prompt；
4、每个模型供应商配置多个账号，并根据账号的频率限制或者级别不同设置不同账号API-KEY的访问权重值；
5、当某个场景值调用请求时，通过该场景值的分配策略和当前每个API-KEY的使用情况，分配请求实际使用的API-KEY；
6、于请求完成后通过供应商返回的Token（代币）消耗情况，进行该场景值使用本次API-KEY消耗记录，用于账单分析和追溯；
7、如果厂商平台接口返回错误，根据错误信息或者Code码，区分错误类型，并根据错误类型判断是否需要告警、重试或者降级。
请参见图2，作为举例，本申请实施例可以通过以下步骤实现：
1、根据调用场景值以及预配置的策略获取当前场景的适用信息：带权重的可用平台列表（适用平台列表）、可用模型名称列表、可用API-KEY列表、各平台的prompt；
2、获取系统所有启用的可用平台列表及各个可用平台的权重；
3、对场景可用平台列表与系统可用平台列表求交集后（候选调用平台列表），将场景值对应的平台列表权重乘以100+第2步获取的可用平台列表权重乘以10（10为可变变量，默认为10，步骤10中如平台降级会对该变量重新赋值）来取得本次调用平台判断的最终权重（综合权重），综合权重最高平台确定为本次调用的平台。
本规则的目的是为了优先使用场景值的权重，当场景值配置的权重一样（或差不多）时，再考虑系统可用平台列表的权重；
4、根据确认使用的平台将本次请求的入参转换为该平台对应的入参；
5、根据本次使用的平台和场景值判断是否存在配置的prompt，如有使用该prompt，如没有通过转换器将标准prompt转换为同格式的本平台prompt；
6、获取该平台所有可用的API-KEY（下文为集合A），并获取该平台所有API-KEY的目前调用次数（下文为集合B）；
7、将集合A与本次场景值可用的API-KEY列表（步骤1获取得到，下文为集合C）两个集合求交集，得出本次请求可用的API-KEY列表（下文为集合D）；将集合B中的调用次数作为集合D的分值，（按照从小到大）排序后取第一个元素，即取得当前可用所有API-KEY中总请求量最小的API-KEY，作为本次调用使用的API-KEY。用此方式可以实现所有API-KEY的轮询均衡负载。
8、根据步骤4的入参、步骤5的prompt、以及步骤7确定的API-KEY调用本次确定的目标AGI平台；
9、根据调用结果进行判断，如结果为成功，将平台接口返回的参数转换为系统统一的出参，并记录该平台、该场景、该API-KEY的Token（代币）消耗情况；将步骤6中集合B中的该API-KEY的调用次数进行+1操作；
10、如果步骤8调用返回失败，根据返回的错误Code和信息，结合该平台的错误枚举文档，可以将失败类型分为4类：
a)平台问题暂不可用，针对该类错误将平台使用权重进行降级；例如，调整步骤2中的平台权重为-1000（权重为负数时，相当于配置为不可用），以此实现该平台的权重降低，同时之后的每次请求均将该权重+10，直至100次后停止（权重变为正数，重新变为可用），即101次请求后该平台恢复使用；
b)API-KEY暂不可用或超频，针对该类错误将此API-KEY使用权重进行降低；由于选择API-KEY是优先选择调用次数最小的，因此在列表中记录增加API-KEY的调用次数即可降低该API-KEY在后续请求中的调用优先度。例如，将步骤6的集合B中对应此API-KEY的元素进行+100操作，当本平台其余API-KEY均调用100次（或至少一个API-KEY被调用100次）请求后恢复该API-KEY的优先度；如恢复后首次调用该API-KEY依然不可用，可以再次触发该降级操作；
c)请求入参问题，返回错误信息；
d)其他未知错误问题；
11、针对错误a、b、c、d，错误a、b返回请求可以重试标识，针对c、d错误则确认为无法重试，需要人工介入修复；
12、针对以上错误均进行告警，并提示剩余可用平台、API-KEY情况，以此种方式保证整体大模型调用请求的高可用。
请参考图3，图3示出了本申请的一些实施例提供的AGI平台调用管理装置的组成框图。应理解，该AGI平台调用管理装置与上述图1方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该AGI平台调用管理装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
图3的AGI平台调用管理装置包括至少一个能以软件或固件的形式存储于存储器中或固化在AGI平台调用管理装置中的软件功能模块，该AGI平台调用管理装置包括：
响应模块310，用于响应于AGI平台调用请求，获取与所述AGI平台调用请求对应的适用平台列表；
获取模块320，用于获取当前可调用平台列表；
调用模块，用于根据所述适用平台列表和所述当前可调用平台列表进行平台调用330。
可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的一种AGI平台调用管理装置，可以实现本发明任意一项方法项实施例提供的AGI平台调用管理方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
如图4所示，本申请的一些实施例提供一种电子设备400，该电子设备400包括：存储器410、处理器420以及存储在存储器410上并可在处理器420上运行的计算机程序，其中，处理器420通过总线430从存储器410读取程序并执行所述程序时可实现如上述AGI平台调用管理方法包括的任意实施例的方法。
处理器420可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器420可以是微处理器。
存储器410可以用于存储由处理器420执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器420可以用于执行存储器410中的指令以实现上述所示的方法。存储器410包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
本申请的一些实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行方法实施例所述的方法。
本申请的一些实施例还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种通用人工智能AGI平台调用管理方法，其特征在于，包括：
响应于AGI平台调用请求，获取与所述AGI平台调用请求对应的适用平台列表；
获取当前可调用平台列表；
根据所述适用平台列表与所述当前可调用平台列表的交集确定候选调用平台列表；
根据所述候选调用平台列表中各个候选调用平台的场景适用权重值和可用性权重值计算综合权重值；其中，所述场景适用权重值是所述适用平台列表中预配置的与所述AGI平台调用请求的调用场景相匹配的值；所述可用性权重值是所述当前可调用平台列表中预配置的与各平台供应商的平台信息相对应的值；
基于所述综合权重值确定目标调用平台；
对所述目标调用平台进行调用。
2.根据权利要求1所述的AGI平台调用管理方法，其特征在于，所述场景适用权重值的数量级大于所述可用性权重值的数量级。
3.根据权利要求1所述的AGI平台调用管理方法，其特征在于，还包括：
响应于所述目标调用平台返回的调用失败信息；
基于所述调用失败信息对所述适用平台列表中与所述目标调用平台对应的平台的场景适用权重值进行降级调整；或，基于所述调用失败信息对所述当前可调用平台列表中与所述目标调用平台对应的平台的可用性权重值进行降级调整。
4.根据权利要求1至3任一项所述的AGI平台调用管理方法，其特征在于，所述对所述目标调用平台进行调用，包括：
获取与所述AGI平台调用请求对应的第一可用API秘钥列表，并获取与所述目标调用平台对应的第二可用API秘钥列表；其中，API为应用程序编程接口；
根据所述第一可用API秘钥列表与所述第二可用API秘钥列表的交集确定候选API秘钥列表；
基于预存的秘钥调用记录信息获取所述候选API秘钥列表中各个候选API秘钥对应的累计调用次数，并将累计调用次数最小的候选API秘钥确定为目标API秘钥；
基于所述目标API秘钥对所述目标调用平台进行调用。
5.根据权利要求4所述的AGI平台调用管理方法，其特征在于，还包括：
响应于所述目标调用平台返回的调用失败信息；
基于所述调用失败信息对所述秘钥调用记录信息中与所述目标API秘钥对应的API秘钥的累计调用次数进行增加。
6.根据权利要求4所述的AGI平台调用管理方法，其特征在于，所述对所述目标调用平台进行调用，还包括：
基于预设的格式转换器对所述AGI平台调用请求携带的入参及模型提示词进行转换，得到与所述目标调用平台对应的目标入参及目标模型提示词；
基于所述目标入参和所述目标模型提示词对所述目标调用平台进行调用。
7.一种AGI平台调用管理装置，其特征在于，包括：
响应模块，用于响应于AGI平台调用请求，获取与所述AGI平台调用请求对应的适用平台列表；
获取模块，用于获取当前可调用平台列表；
调用模块，用于：
根据所述适用平台列表与所述当前可调用平台列表的交集确定候选调用平台列表；
根据所述候选调用平台列表中各个候选调用平台的场景适用权重值和可用性权重值计算综合权重值；其中，所述场景适用权重值是所述适用平台列表中预配置的与所述AGI平台调用请求的调用场景相匹配的值；所述可用性权重值是所述当前可调用平台列表中预配置的与各平台供应商的平台信息相对应的值；
基于所述综合权重值确定目标调用平台；
对所述目标调用平台进行调用。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-6任一所述的AGI平台调用管理方法。
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-6中任意一项权利要求所述的AGI平台调用管理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310778507.9A CN116560857B (zh) | 2023-06-29 | 2023-06-29 | Agi平台调用管理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310778507.9A CN116560857B (zh) | 2023-06-29 | 2023-06-29 | Agi平台调用管理方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116560857A CN116560857A (zh) | 2023-08-08 |
| CN116560857B true CN116560857B (zh) | 2023-09-22 |
Family
ID=87496767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310778507.9A Active CN116560857B (zh) | 2023-06-29 | 2023-06-29 | Agi平台调用管理方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116560857B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105634846A (zh) * | 2014-10-31 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种通用dpi平台及其构建方法 |
| WO2021051918A1 (zh) * | 2019-09-17 | 2021-03-25 | 华为技术有限公司 | 提供ai模型的方法、ai平台、计算设备及存储介质 |
| CN113377465A (zh) * | 2021-06-07 | 2021-09-10 | 上海商汤智能科技有限公司 | 基于服务的sdk调用方法及装置、电子设备和存储介质 |
| CN114138243A (zh) * | 2021-11-30 | 2022-03-04 | 中国平安财产保险股份有限公司 | 基于开发平台的功能调用方法、装置、设备及存储介质 |
| CN114638732A (zh) * | 2022-02-28 | 2022-06-17 | 广东轻工职业技术学院 | 一种人工智能智慧教育平台及其应用 |
| CN114840182A (zh) * | 2022-04-18 | 2022-08-02 | 拓元(广州)智慧科技有限公司 | 一种面向任务的人工智能项目通用架构平台及其使用方法 |
| CN115082082A (zh) * | 2022-03-25 | 2022-09-20 | 国家电网有限公司 | 基于云平台的人工智能服务系统及方法 |
| CN115442260A (zh) * | 2021-06-01 | 2022-12-06 | 中国移动通信集团设计院有限公司 | 数据传输方法、终端设备及存储介质 |
| CN115719026A (zh) * | 2021-08-23 | 2023-02-28 | 上海宝信软件股份有限公司 | 适用于人工智能中台的系统和方法、可读介质 |
| CN115879122A (zh) * | 2021-09-28 | 2023-03-31 | 北京奇虎科技有限公司 | 开放平台管理方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10417060B2 (en) * | 2016-06-27 | 2019-09-17 | Verizon Patent And Licensing Inc. | Automated API publication for Internet of Things platform |
-
2023
- 2023-06-29 CN CN202310778507.9A patent/CN116560857B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105634846A (zh) * | 2014-10-31 | 2016-06-01 | 任子行网络技术股份有限公司 | 一种通用dpi平台及其构建方法 |
| WO2021051918A1 (zh) * | 2019-09-17 | 2021-03-25 | 华为技术有限公司 | 提供ai模型的方法、ai平台、计算设备及存储介质 |
| CN115442260A (zh) * | 2021-06-01 | 2022-12-06 | 中国移动通信集团设计院有限公司 | 数据传输方法、终端设备及存储介质 |
| CN113377465A (zh) * | 2021-06-07 | 2021-09-10 | 上海商汤智能科技有限公司 | 基于服务的sdk调用方法及装置、电子设备和存储介质 |
| CN115719026A (zh) * | 2021-08-23 | 2023-02-28 | 上海宝信软件股份有限公司 | 适用于人工智能中台的系统和方法、可读介质 |
| CN115879122A (zh) * | 2021-09-28 | 2023-03-31 | 北京奇虎科技有限公司 | 开放平台管理方法、装置、设备及存储介质 |
| CN114138243A (zh) * | 2021-11-30 | 2022-03-04 | 中国平安财产保险股份有限公司 | 基于开发平台的功能调用方法、装置、设备及存储介质 |
| CN114638732A (zh) * | 2022-02-28 | 2022-06-17 | 广东轻工职业技术学院 | 一种人工智能智慧教育平台及其应用 |
| CN115082082A (zh) * | 2022-03-25 | 2022-09-20 | 国家电网有限公司 | 基于云平台的人工智能服务系统及方法 |
| CN114840182A (zh) * | 2022-04-18 | 2022-08-02 | 拓元(广州)智慧科技有限公司 | 一种面向任务的人工智能项目通用架构平台及其使用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116560857A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7035919B1 (en) | Method for calculating user weights for thin client sizing tool | |
| US7873531B2 (en) | Estimation mechanisms that utilize a complexity matrix | |
| US7089568B2 (en) | Program control method, computer system, control program, and storage medium storing the control program | |
| US20070016465A1 (en) | Mechanism to control delegation and revocation of tasks in workflow system | |
| US20050060662A1 (en) | Process for creating service action data structures | |
| US20110072253A1 (en) | Method, system and program product for determining an optimal configuration and operational costs for implementing a capacity management service | |
| US20070106622A1 (en) | System, method and program to manage software licenses | |
| US20050259683A1 (en) | Control service capacity | |
| US20080270153A1 (en) | Service oriented architecture (soa) lifecycle model migration | |
| US20080148236A1 (en) | Test device, method, and computer readable medium for deriving a qualified test case plan from a test case database | |
| CN110673924B (zh) | 一种多架构容器云镜像选择方法、装置、设备及存储介质 | |
| US20080281652A1 (en) | Method, system and program product for determining an optimal information technology refresh solution and associated costs | |
| CN111199379A (zh) | 工作流引擎的审批方法、审批设备及存储介质 | |
| CN109388950A (zh) | 确保系统配置的安全改变的系统和方法 | |
| US9612890B2 (en) | Method and apparatus for workflow based high availability analysis | |
| US20070038502A1 (en) | Efficient Frontier and Attainment Rate for Business Transformation Outsourcing | |
| US20230031049A1 (en) | Dynamic resource allocation in a distributed system | |
| CN116560857B (zh) | Agi平台调用管理方法、装置、存储介质及电子设备 | |
| Park et al. | C-RCE: an approach for constructing and managing a cloud service broker | |
| CN111435495B (zh) | 业务处理方法、装置与设备 | |
| CN110930253A (zh) | 智能合约内部主键生成方法、装置、计算机设备及存储介质 | |
| US20150074688A1 (en) | Method and System for Automated Process Distribution | |
| CN111429125B (zh) | 账户管理方法、装置、存储介质及电子设备 | |
| CN114546425A (zh) | 模型部署方法、装置、电子设备及存储介质 | |
| CN110865876A (zh) | 一种服务依赖资源的调度方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 716, floor 7, building 2, No. 28 Andingmen East Street, Dongcheng District, Beijing 100010 Patentee after: Beijing Easy Yikang Information Technology Co.,Ltd. Address before: Room 716, floor 7, building 2, No. 28 Andingmen East Street, Dongcheng District, Beijing 100010 Patentee before: BEIJING QINGSONGCHOU INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |