CN116909896A - 提示模板处理方法、装置、设备及介质 - Google Patents
提示模板处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116909896A CN116909896A CN202310855722.4A CN202310855722A CN116909896A CN 116909896 A CN116909896 A CN 116909896A CN 202310855722 A CN202310855722 A CN 202310855722A CN 116909896 A CN116909896 A CN 116909896A
- Authority
- CN
- China
- Prior art keywords
- interface
- template
- prompt
- templates
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 26
- 238000012360 testing method Methods 0.000 claims abstract description 123
- 230000003993 interaction Effects 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012216 screening Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000011161 development Methods 0.000 abstract description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 26
- 230000004044 response Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000005457 optimization Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 13
- 238000003058 natural language processing Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000008451 emotion Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 208000001613 Gambling Diseases 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本公开提供了一种提示模板处理方法、装置、设备及介质，涉及数据处理领域，具体涉及人工智能、大模型和人机交互领域。具体实现方案为：获取接口描述信息，并确定至少一个接口提示模板；采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数；将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应；根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。本公开实施例可提高提示模板的开发效率和预测准确性。
Description
技术领域
本公开涉及提示模板处理领域，涉及数据处理领域，具体涉及人工智能、大模型和人机交互领域，尤其涉及一种提示模板处理方法、装置、设备及介质。
背景技术
大模型能够为许多下游任务(例如面向任务的对话和问题解答)生成流畅响应，随着预训练大模型技术的发展，基于提示模板(prompt)方式对模型进行微调获得模型输出已经是一种非常普遍的大模型使用方法。
提示模板是向模型输入的一段文本提示，其中包含用户要查询的信息或问题的关键词和上下文，以便模型更好地理解用户的意图并给出更准确的回复。
发明内容
本公开提供了一种提示模板处理方法、装置、设备及介质。
根据本公开的一方面，提供了一种提示模板处理方法，包括：
获取接口描述信息，并确定至少一个接口提示模板；
采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数；
将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应；
根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
根据本公开的一方面，提供了一种提示模板处理装置，包括：
提示模板获取模块，用于获取接口描述信息，并确定至少一个接口提示模板；
接口参数检测模块，用于采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数；
执行结果获取模块，用于将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应；
提示模板筛选模块，用于根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的接口提示模板处理方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的接口提示模板处理方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的接口提示模板处理方法。
本公开实施例可以提高提示模板的开发效率和预测准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例公开的一种提示模板处理方法的流程图；
图2是根据本公开实施例公开的另一种提示模板处理方法的流程图；
图3是根据本公开实施例公开的另一种提示模板处理方法的流程图；
图4是根据本公开实施例公开的一种提示模板处理方法的场景图；
图5是根据本公开实施例公开的接口提示模板处理装置的结构示意图；
图6是根据本公开实施例公开的接口提示模板处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例公开的一种提示模板处理方法的流程图，本实施例可以适用于自动化生成提示模板的情况。本实施例方法可以由提示模板处理装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
S101、获取接口描述信息，并确定至少一个接口提示模板。
接口描述信息可以是指描述接口如何使用以及功能的信息。接口描述信息用于确定接口的功能以及接口的输入输出。接口提示模板用于确定接口参数所需要的信息，接口参数可以是指调用接口时提供给接口的参数，包括参数的类型以及属性值。接口描述信息可以包括多个类型的功能的描述信息和多个类型的输入输出的描述信息，相应的，每个描述信息可以生成相应的内容，由不同内容进行组合，一个组合确定为一个接口提示模板。相应的，多个组合可以形成多个接口提示模板。一个接口描述信息可以生成至少一个接口提示模板。接口描述信息确定的接口提示模板包括基于接口描述信息生成的接口提示模板，还可以包括基于生成的接口提示模板进行调整得到的接口提示模板，以及人工生成的接口提示模板。
此外，一个接口可以处理一类任务，不同类型的任务可以确定不同接口描述信息，同类任务可以确定相同的接口描述信息，从而一个接口可以对应一个接口描述信息，对应该接口描述信息生成的至少一个接口提示模板。又如，每类任务可以细分更多类型的子任务。每个类型的子任务可以确定一个接口描述信息，不同类型的子任务可以确定不同的接口描述信息，从而一个接口可以对应多个接口描述信息，对应各接口描述信息生成的至少一个接口提示模板。还可以继续细分，对此不具体限定。
S102、采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数。
测试交互内容用于结合接口提示模板，共同确定接口参数。测试交互内容可以是人机交互过程中用户提供的交互内容。测试交互内容可以是某次在线应用时候的用户提供的真实内容，也可以是测试人员提供的模拟内容。示例性的，接口参数的确定方式可以是：根据测试交互内容可以识别用户意图，并根据接口提示模板中限定接口的输入输出，将用户意图转换为符合接口规范的输入，即接口参数；或者从用户意图中提取数据，并生成符合接口规范的输入，即接口参数。
S103、将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应。
测试接口为被调用的接口，并提供测试交互内容中用户意图指代的功能。例如，测试接口可以用于实现创建待办、假期查询、年假查询、会议预约和饭卡查询等。执行结果为测试接口基于接口参数执行相应任务，得到的结果，即测试接口的调用反馈内容。接口描述信息与测试接口对应，是指接口描述信息是测试接口的描述信息。实际上，接口描述信息描述的是测试接口的信息，测试交互内容表达的用户意图是调用测试接口，以实现用户意图。从而，测试交互内容、接口描述信息、生成的接口提示模板以及目标提示模板均与测试接口对应。通常情况下，测试交互内容、接口描述信息、生成的接口提示模板以及目标提示模板均与一个测试接口对应。可以根据需要设置对应的测试接口的数量。
S104、根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
根据执行结果的执行情况，检测各接口提示模板的优劣，以筛选出最优的接口提示模板，确定为目标提示模板。例如，执行情况可以包括：执行结果的准确率和响应时间等。目标提示模板可以用于线上为用户提供服务。在线上提供服务的过程中，获取人机交互过程中用户输入的请求内容，根据请求内容结合目标提示模板，得到请求内容对应的接口参数，并调用相应的请求接口(即目标提示模板对应的测试接口)，得到请求接口反馈的执行结果，执行结果作为请求内容的响应结果，反馈给用户。根据请求内容结合目标提示模板，得到请求内容对应的接口参数的方式，与采用测试交互内容基于接口提示模板，确定接口参数的方式相同。
目标提示模板确定之后用于线上使用。可以定时周期性对各接口提示模板进行筛选，例如，周期为一天。此外，针对一个测试接口，筛选的范围可以是该测试接口对应的接口描述信息关联的全部接口提示模板；还可以是当前使用的目标提示模板的不同版本的接口提示模板。关联的全部接口提示模板可以不仅仅包括基于接口描述信息生成的接口提示模板，还可以包括人工调整和生成的接口提示模板。
需要说明的是，请求内容是第一业务系统发送的数据；测试接口是第二业务系统的对外接口，第一业务系统和第二业务系统不同。请求内容代表的用户意图通常是无法直接通过模型计算得到响应结果，需要额外调用与提供请求内容的第一业务系统不同的第二业务系统的对外接口，由第二业务系统提供相应服务。
根据本公开的技术方案，通过接口描述信息，生成多个接口提示模板，并根据测试交互内容和接口提示模板，确定接口参数，输入到测试接口中，得到测试接口反馈的执行结果，根据不同的接口提示模板的执行结果，在多个接口提示模板中筛选出目标提示模板，以响应用户输入的请求内容，可以快速实现提示模板的调优过程，降低调优更新的人力成本，并且基于实时调优的目标提示模板，可以增加人机交互的任务处理稳定性和质量。
图2是根据本公开实施例公开的另一种提示模板处理方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数，具体化为：将所述接口提示模板和所述测试交互内容进行组合，得到测试输入内容；将所述测试输入内容输入到预先训练的接口参数检测模型，得到所述接口提示模板对应的接口参数；其中，所述接口提示模板包括功能描述信息和输入输出示例。
S201、获取接口描述信息，并确定至少一个接口提示模板。
示例性的，通过输入接口(Application Programming Interface，API)的OpenAPI规范(OAS)格式生成描述API的作用和参数的prompt，该模块大大减少了人工创建prompt的工作量，提高了生成效率。可以通过配置一个预处理模块实现，预处理模块用于对API的OpenAPI规范(OpenAPI Specification，OAS)格式进行进一步的预处理。例如，可以使用自然语言处理(Natural Language Processing，NLP)技术对API的描述进行情感分析，以更好地理解API的目的和意图，从而生成更贴切的prompt。具体步骤：(1)格式化处理：首先，对OAS文档进行格式化处理，将其转化为易于处理的数据结构，例如JSON或XML。(2)语义解析：接下来，对格式化后的数据进行语义解析，提取出API的关键信息，如API的功能描述、参数列表等。(3)情感分析：在语义解析的基础上，进一步进行情感分析，以理解API的目的和意图。这可能需要使用到自然语言处理(NLP)的相关技术。(4)关键词提取：接着，对API的描述进行关键词提取，将这些关键词用于后续的prompt生成。(5)特性标注：对API的各个特性进行标注，如是否需要用户输入，是否有返回值，返回值的类型是什么等。(6)规范检查：最后，进行规范检查，确保提取出的信息满足生成prompt的需求，例如，检查是否所有必需的信息都已提取出来，是否有冲突的信息等。
S202、将所述接口提示模板和所述测试交互内容进行组合，得到测试输入内容。
测试输入内容用于输入到接口参数检测模型中，得到接口参数。接口提示模板和测试交互内容组合可以是将接口提示模板与测试交互内容进行拼接。此外还可以将接口提示模板和测试交互内容之间采用特定预设字符进行分隔。
S203、将所述测试输入内容输入到预先训练的接口参数检测模型，得到所述接口提示模板对应的接口参数；其中，所述接口提示模板包括功能描述信息和输入输出示例。
接口参数检测模型用于根据接口提示模板，将测试交互内容转换为接口参数。功能描述信息可以是指描述由测试交互内容转换为接口参数的功能。输入输出示例可以是指至少一对测试交互内容和接口参数的实例。具体的，功能描述信息用于描述接口参数检测模型的功能。输入输出示例用于描述接口参数检测模型的至少一对输入和输出的例子。
在一个具体的例子中，测试内容为创建待办的功能描述信息为：请你根据用户的输入，为a填充所需的参数，以json结构返回。XX描述：根据名称修改待办XX请求：XX参数说明：XX用户的idXX待办名称XX截止时间，你给用户必须以json格式返回，不包括其他无关内容，json中包括a和d两个字段，d为操作的具体参数。其中，XX可以指代不同内容。
输入输出示例可以是：输入：“提交周报”这条待办改为明天10点，并修改优先级为高优。输出为：a为：YY；d为：提交周报(分隔符)明天10点(分隔符)高优。输入为：“技术调研”这条待办改为后天下午3点。输出为：a为：YY；d为：技术调研(分隔符)后天下午3点(分隔符)未提及。
接口参数检测模型根据接口提示模板可以理解测试交互内容的用户意图，并从中提取到接口参数。示例性的，接口参数检测模型可以是大语言模型，例如，可以实现自然语言理解的深度学习模型。其训练样本可以包括：接口提示模板、用户输入的人机交互内容和标准接口参数。可以将接口提示模板后面拼接人机交互内容，作为接口参数检测模型的输入，得到接口参数检测模型输出的预测接口参数，计算预测接口参数与标准接口参数之间的差异，以最小化差异为优化目标，调整接口参数检测模型的参数，直至训练结束。
S204、将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应。
S205、根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
可选的，所述的接口提示模板处理方法，还包括：在所述接口参数检测模型的更新发布的情况下，将所述接口提示模板对应的测试输入内容，输入到新的接口参数检测模型中，得到所述接口提示模板的新的接口参数；将所述回复内容和所述请求内容对应的执行结果，得到所述新的测试接口参数对应的新的执行结果；根据各所述接口提示模板的新的执行结果，对各所述接口提示模板进行筛选，更新所述目标提示模板。
接口参数检测模型会不断优化更新。接口参数检测模型更新之后，会影响接口提示模板的更新，例如，旧版本的最优接口提示模板是A，但新版本的最优接口提示模板可能是B。可以基于新的接口参数检测模型，针对每个接口描述信息，重新在该接口描述信息对应的各接口提示模板中筛选出新的目标提示模板，更新历史的目标提示模板，并在线实时更新。
其中，基于新的接口参数检测模型，采用接口提示模板可以得到新的接口参数，基于新的接口参数调用测试接口，可以得到新的执行结果，基于新的执行结果，对目标提示模板进行更新。需要说明的是，筛选得到的接口提示模板可以和基于旧的接口参数检测模型筛选的目标提示模板相同，也可以不同，若不同，则更新目标提示模板。
通过在接口参数检测模型更新时，重新筛选目标提示模板，可以适配新的接口参数检测模型得到当前最优接口提示模板，提高接口提示模板的更新实时性和开发效率，提高接口提示模板的稳定性。
可选的，所述根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，包括：在当前存在目标提示模板的情况下，获取所述目标提示模板关联的版本提示模板，所述版本提示模板为所述目标提示模板在不同版本下的接口提示模板；根据各所述版本提示模板对应的执行结果，在各所述版本提示模板中筛选得到目标提示模板。
当前存在目标提示模板可以是指，历史已经筛选过目标提示模板。筛选目标提示模板可以是周期性操作，即周期性针对一个接口描述信息，对对应的全部接口提示模板进行筛选，将新的目标提示模板替换旧的目标提示模板。此外，接口提示模板还可以根据反馈进行更新，得到新版本的接口提示模板，新版本的接口提示模板和旧版本的接口提示模板均作为该接口描述信息对应的接口提示模板。
在筛选目标提示模板时，若历史已经筛选到目标提示模板，可以优先对目标提示模板的不同版本下的接口提示模板进行筛选，得到目标提示模板。若不同版本的接口提示模板的性能都很差，例如小于预设性能阈值，可以在从剩余的接口提示模板中筛选目标提示模板。
通过在目标提示模板筛选过程中，在历史已经筛选到目标提示模板时，可以优先对目标提示模板的不同版本下的接口提示模板进行筛选，得到目标提示模板，可以分步查询最优接口提示模板，提高筛选效率。
根据本公开的技术方案，通过将接口提示模板和测试交互内容组合，并输入到接口参数检测模型中，可以使得接口参数检测模型学习接口提示模板的交互内容与接口参数的转换规则，对测试交互内容进行转换得到对应的接口参数，以根据用户需求正确调用接口，可以提高接口参数的检测准确性，以及提高接口参数的转换效率。
图3是根据本公开实施例公开的另一种提示模板处理方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，具体化为：根据各所述接口提示模板对应的执行结果，获取各所述接口提示模板的性能数据；根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板。
S301、获取接口描述信息，并确定至少一个接口提示模板。
S302、采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数。
S303、将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应。
S304、根据各所述接口提示模板对应的执行结果，获取各所述接口提示模板的性能数据。
性能数据用于检测接口提示模板对响应测试交互内容的影响程度。性能数据可以是指系统采用接口提示模板时响应测试交互内容的性能。性能数据可以包括下述至少一项：准确率、响应时间和F1值(精准率和召回率的调和平均数)等。
可选的，所述提示模板处理方法，还包括：在各所述接口提示模板的性能数据均满足性能低条件的情况下，获取所述测试接口的反馈数据；根据所述反馈数据，检测所述接口提示模板的性能问题类型，并生成与所述性能问题类型对应的建议信息；所述性能问题类型包括下述至少一项：模板问题、参数转换问题和接口执行问题。
性能低的条件可以是指判断是否接口描述信息对应的全部接口提示模板的性能较低。示例性的，性能低条件可以是指准确率小于预设准确率阈值、又如，响应时间大于预设时间阈值；F1值小于预设F1阈值。
测试接口的反馈数据用于检测接口提示模板的性能过低的原因。反馈数据可以包括用户反馈、模型反馈和业务反馈等。反馈数据的形式可以包括下述至少一项：文本反馈、评分反馈和点击反馈等。对反馈数据进行预处理，将其转化为易于处理的格式。例如包括数据清洗(例如去除无效反馈、去除重复反馈等)，数据转化(例如将文本反馈转化为数值反馈)和数据标准化(例如将各种形式的反馈转化为统一的评分系统)等。
可以针对不同版本的同一接口提示模板的反馈数据进行分析，确定接口提示模板的性能问题类型。可以采用数据分析和可视化的相关技术等。对反馈进行深入解析，理解反馈背后的原因和含义。例如，如果一个prompt收到了较差的反馈，需要理解这是由于什么原因，如：prompt的表述不清、模型的理解错误或API的执行错误等，即对应性能问题类型中的模板问题、参数转换问题和接口执行问题。每个类型还可以具体细分子类型，对此不具体限定。
根据性能问题类型可以预设对应的建议信息，实现反馈转化：将反馈转化为具体的优化建议。优化建议信息用于提供给运维用户，运维用户对提示模板进行优化。例如，如果一个prompt的表述不清，可以建议改进其表述方式，建议信息可以是改进prompt的表述方式；如果一个prompt的响应时间过长，可以建议优化其执行速度，建议信息可以是改进prompt的执行速度。
通过在接口提示模板性能均低的情况下，对接口提示模板进行提示优化，可以全面准确理解模板的性能并针对性优化，实现精准优化模板。
S305，根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
根据性能数据，选择性能最优的接口提示模板。其中，可以对各接口提示模板的性能数据进行比较，将表示性能最优的性能数据的接口提示模板，确定为目标提示模板。若性能数据包括多个指标项，可以对多个指标项进行加权求和，将计算结果中最大值的接口提示模板作为性能最优的性能数据。其中，若数值越大，性能越差，在加权求和中取反。
可选的，所述根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板，包括：根据各所述接口提示模板在特定知识领域的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为所述特定知识领域下的目标提示模板。
可选的，所述提示模板处理方法，还包括：获取业务系统发送的请求内容和模板标识信息；根据所述模板标识信息查询所述目标提示模板；根据所述请求内容和所述目标提示模板，确定所述目标提示模板对应的接口参数；根据所述接口参数调用所述目标提示模板对应的请求接口，得到所述请求内容对应的执行结果，并反馈给所述业务系统。
在目标提示模板确定之后，可以线上应用该目标提示模板。业务系统用于实现人机交互，业务系统直接和用户交互，接收用户输入的请求内容。请求内容可以是指用户在人机交互过程中输入的内容，其可以包括下述至少一项文本、音频、图像和视频等内容。业务系统对请求内容进行识别检测，确定请求内容对应的模板标识信息。实际上，本公开实施例中实现提示模板处理方法的设备可以对接口描述信息对应的接口提示模板进行标识，并存储模板标识信息，以及建立模板标识信息与该接口描述信息对应的接口提示模板之间的对应关系。根据模板标识信息可以查询该些接口提示模板，并获取在该些接口提示模板中预先筛选得到的目标提示模板，若没有预先筛选可以先进行筛选得到目标提示模板。
将请求内容和目标提示模板进行组合，输入到预先训练的接口参数检测模型，得到接口参数检测模型输出的接口参数。将接口参数输入到目标提示模板对应的接口，调用该接口，得到该接口反馈的执行结果。该执行结果为请求内容对应的响应结果，并反馈给业务系统，业务系统将执行结果反馈给用户。
通过将目标提示模板应用于线上自然语言理解任务执行过程，可以快速实现接口提示模板的优化和应用。
可选的，所述根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板，包括：根据各所述接口提示模板在特定知识领域的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为所述特定知识领域下的目标提示模板。
特定知识领域，可以是指接口提示模板的应用场景所属的领域。例如，在产品应用场景，可以优化接口提示模板处理更多的产品查询和推荐的任务。例如，在体育应用场景，可以优化接口模板处理更多的体育文化查询、体育产品查询和体育热点推荐的任务。
在特定知识领域的性能数据可以是针对隶属于特定知识领域的测试内容进行响应，在响应过程中采集的性能数据。通过收集专属于特定知识领域的性能数据，并筛选接口提示模板，可以针对特定知识领域得到性能最优目标提示模板。
通过针对特定知识领域，采集性能数据，并筛选接口提示模板，可以实现场景特定优化，实现适配特定知识领域的接口提示模板的精准优化，提高提示模板的性能优化精准性。
可选的，所述反馈给所述业务系统，包括：根据所述请求内容对应的执行结果和回复提示模板，确定所述请求内容对应的回复内容；将所述回复内容和所述请求内容对应的执行结果，反馈给所述业务系统。
回复提示模板可以包括功能描述信息和输入输出示例。其中，功能描述信息可以是指描述由执行结果转换为回复内容的功能。输入输出示例可以是指至少一对执行结果和回复内容的实例。此外，回复提示模板可以与接口提示模板相同，即接口提示模板还可以包括由执行结果转换为回复内容的功能描述信息，以及执行结果和回复内容的输入输出示例。将执行结果和回复提示模板发送至接口参数检测模型中，得到输出的回复内容。回复内容可以是人机过程中机器人回复用户的内容。回复内容可以作为请求内容的响应结果，可以将执行结果和回复内容共同反馈给业务系统。
需要说明的是，接口参数检测模型用于将输入的内容转换功能描述信息中指定的内容。从而，接口参数检测模型还用于将执行结果转换为提示模板中指定的内容。
通过设置回复提示模板，将请求内容对应的执行结果和回复提示模板确定回复内容，并共同作为请求内容的响应结果，反馈给业务系统，增加响应内容，可以适配不同的用户输入内容，增加机器回复内容的灵活性和多样性，更好的实现人机交互。
可选的，所述请求内容通过用户输入的内容进行识别得到；所述用户输入的内容包括下述至少一项：文本、音频、图像和视频。
请求内容可以是自然语言文本。而用户输入的内容的类型可以有多种，可以预先对用户输入的内容进行识别，得到用户意图确定为请求内容，例如，音频识别成语音文本或音频描述文本，图像识别成图像描述文本，视频识别成语音文本或音频描述文本，以及图像描述文本。或者，直接将用户输入的内容，确定为请求内容。若直接将用户输入的内容确定为请求内容，接口提示模板中相应的输入输出示例会相应调整，输入可以是请求内容，例如，音频、图像和视频，或者执行前述媒体数据的存储地址，输出还是文本的接口参数。
若用户输入的内容为文本，接口提示模板优化为处理文本的对话；若用户输入的内容为语音，接口提示模板优化为理解和回应语音命令；若用户输入的内容为图像，接口提示模板优化为处理和生成与图像相关的描述和指令。
通过设置用户输入的内容为多模态输入，相应的接口提示模板可以优化为适配多模态输入的多模态输出，增加应用场景的丰富性，提高自然语言理解任务的灵活性和多样性。
根据本公开的技术方案，通过根据接口提示模板对应的执行结果，确定接口提示模板的性能数据，从而筛选性能最优的接口提示模板，作为目标提示模板，实现自动化性能调优提示模板，精准提高提示模板的自然语言处理任务的处理准确性。
图4是根据本公开实施例公开的一种提示模板处理方法的场景图。
S401，通过输入API的OpenAPI规范(OAS)格式生成描述API的作用和参数的prompt，可以大大减少了人工创建prompt的工作量，提高了生成效率。
S402，使用特定的数据对prompt进行调整，特定的数据可以是用户反馈、模型反馈和业务数据等。还可以记录每个prompt及其对应的调试结果，以便后续分析和优化，为后续的自动化回归测试和结果比对提供了依据。
S403，可以批量地进行prompt验证，收集每个prompt的性能数据，并自动根据预期的抽取结果进行评估。可以使得大模型的迭代更为稳健，保障了prompt效果的稳定性。
S404，根据评估结果，挑选出表现最佳的prompt。这个选择过程可以基于各种指标，如准确率、F1值和响应时间等，从而达到择优选择的效果。
S405，还可以对prompt的版本进行管理，可以跟踪prompt的修改历史，记录每一次修改的内容和结果，提供调试、审核和发布功能，提高了prompt的管理效率。
S406，监控正在使用的prompt的效果，当prompt的效果出现降低时，会及时发出报警，并执行预设的自动替换策略，如自动使用备选的高效能prompt，从而保证业务的稳定运行。
其中，S401是初始步骤，以及S403之后执行S404，其他步骤的顺序可以调整。
实施方式：
假设有一个待生成prompt的业务API，它的OpenAPI规范(OAS)已经准备好。
首先，获取输入的API的OAS。本公开实施例的提示模板处理系统实现了从OAS到prompt的转换逻辑，它会分析OAS中API的功能，参数等信息，并生成对应的prompt。
提示模板处理系统存在一个预设好的数据集，这些数据可能来源于用户反馈、模型反馈和业务数据等。提示模板处理系统会利用这些数据对生成的prompt进行调整，优化其格式，以便让模型能够更好的理解和执行。
提示模板处理系统还会记录每个生成并调整过的prompt，包括它们的版本历史，调试结果等。这些记录被保存在一个数据库中，用于后续的分析和优化。
提示模板处理系统定期或者根据需要，从数据库中获取所有的prompt，进行批量的验证。这个验证过程包括调用模型，输入prompt，然后收集模型的输出，验证输出是否符合预期。如果有新的模型版本发布，提示模板处理系统还会触发新一轮的批量验证，以保证prompt在新的模型版本上依然有效。
提示模板处理系统根据验证结果，挑选出效果最好的prompt。这个选择过程可能会根据一些预设的标准进行，比如准确率、F1值和响应时间等。当有新的模型版本发布，且有足够的验证结果后，提示模板处理系统会重新挑选出在新模型版本上效果最好的prompt。
提示模板处理系统会对数据库中的prompt进行管理，包括版本控制，调试，审核和发布。提示模板处理系统也负责保存每一次的修改，用于验证。
提示模板处理系统监控正在使用的prompt的效果，比如可以设置一个性能下降的阈值，如果某个正在使用的prompt的效果下降超过这个阈值，就会触发报警，并且根据预设的规则，比如可以自动从数据库中挑选出一个效果较好的prompt替换掉性能下降的prompt。
Prompt调优的实施方式：
1.提示模板处理系统可以用于对API的OpenAPI规范(OAS)格式进行进一步的预处理。例如，可以使用自然语言处理(NLP)技术对API的描述进行情感分析，以更好地理解API的目的和意图，从而生成更贴切的prompt。
具体步骤：(1)格式化处理：首先，对OAS文档进行格式化处理，将其转化为易于处理的数据结构，例如JSON或XML。(2)语义解析：接下来，对格式化后的数据进行语义解析，提取出API的关键信息，如API的功能描述、参数列表等。(3)情感分析：在语义解析的基础上，进一步进行情感分析，以理解API的目的和意图。这可能需要使用到自然语言处理(NLP)的相关技术。(4)关键词提取：接着，对API的描述进行关键词提取，将这些关键词用于后续的prompt生成。(5)特性标注：对API的各个特性进行标注，如是否需要用户输入，是否有返回值，返回值的类型是什么等。(6)规范检查：最后，进行规范检查，确保提取出的信息满足生成prompt的需求，例如，检查是否所有必需的信息都已提取出来，是否有冲突的信息等。
2.提示模板处理系统能够将来自不同来源的反馈(如用户反馈、模型反馈等)集成在一起，以更全面地理解模型的性能。
具体步骤：(1)反馈收集：首先，收集来自各种来源的反馈数据，这可能包括用户反馈、模型反馈、业务数据等。反馈数据可能是各种形式的，例如，文本反馈、评分反馈、点击反馈等。(2)数据预处理：对收集到的反馈数据进行预处理，将其转化为易于处理的格式。这可能包括数据清洗(例如去除无效反馈、去除重复反馈等)，数据转化(例如将文本反馈转化为数值反馈)，数据标准化(例如将各种形式的反馈转化为统一的评分系统)等。(3)反馈分析：在数据预处理的基础上，进行反馈分析，了解反馈的主要内容和趋势。这可能需要使用到数据分析和可视化的相关技术。(4)反馈解析：对反馈进行深入解析，理解反馈背后的原因和含义。例如，如果一个prompt收到了较差的反馈，需要理解这是由于什么原因，如：prompt的表述不清、模型的理解错误、API的执行错误等。(5)反馈转化：将反馈转化为具体的优化建议。例如，如果一个prompt的表述不清，可以建议改进其表述方式；如果一个prompt的响应时间过长，可以建议优化其执行速度。
3.提示模板处理系统可以扩展功能，以支持自适应选择策略。不仅可以根据预定义的指标(如准确率、F1值等)来选择最优的prompt，而且还可以自定义指标来调整选择策略，以适应模型和业务需求的变化。具体步骤：(1)性能评估：首先，收集各个prompt的性能数据，包括准确率、F1值、响应时间等，并对每个prompt的性能进行评估。评估的方法可能会根据具体需求有所不同，比如可以使用加权评分法，将各项性能指标按照一定权重进行加权，得到一个综合的性能评分。(2)排序和筛选：在性能评估的基础上，对prompt进行排序和筛选。排序的依据可能是性能评分，也可能是某一项具体的性能指标，比如响应时间。筛选的目的是去除那些性能不佳的prompt，只保留性能较好的prompt。(3)自适应选择：在排序和筛选的基础上，进行自适应选择。自适应选择的依据可能会根据实际需求有所不同，比如可以选择性能评分最高的prompt，也可以选择响应时间最短的prompt，或者根据某种预设的策略，比如多臂赌博机策略，动态选择最优的prompt。
4.场景特定优化：根据prompt的应用场景，进行特定的优化。例如，在电商环境中，可以优化prompt以处理更多的商品查询和推荐相关的问题。
5.多模态输入/输出：考虑到多种类型的用户输入和输出，例如文本、语音、图片等。可以优化prompt，以便它能够处理这些多模态的数据，而不仅仅是基于文本的对话。例如，对于语音输入，prompt可以被优化为理解和回应语音命令；对于图像输入，prompt可以被优化为处理和生成与图像相关的描述或指令。
根据本公开的技术方案，通过构建了一个自动化的prompt训练调优管理工具，能够应对大模型快速迭代，prompt效果不稳定等问题，有效降低了开发成本，提高了效率。
根据本公开的实施例，图5是本公开实施例中的提示模板处理装置的结构图，本公开实施例适用于自动化生成提示模板的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
如图5所示的一种提示模板处理装置500，包括：提示模板获取模块501、接口参数检测模块502、执行结果获取模块503和提示模板筛选模块504。其中，
提示模板获取模块501，用于获取接口描述信息，并确定至少一个接口提示模板；
接口参数检测模块502，用于采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数；
执行结果获取模块503，用于将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应；
提示模板筛选模块504，用于根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
根据本公开的技术方案，通过接口描述信息，生成多个接口提示模板，并根据测试交互内容和接口提示模板，确定接口参数，输入到测试接口中，得到测试接口反馈的执行结果，根据不同的接口提示模板的执行结果，在多个接口提示模板中筛选出目标提示模板，以响应用户输入的请求内容，可以快速实现提示模板的调优过程，降低调优更新的人力成本，并且基于实时调优的目标提示模板，可以增加人机交互的任务处理稳定性和质量。
进一步的，所述接口参数检测模块，包括：输入内容确定单元，用于将所述接口提示模板和所述测试交互内容进行组合，得到测试输入内容；模型检测单元，用于将所述测试输入内容输入到预先训练的接口参数检测模型，得到所述接口提示模板对应的接口参数；其中，所述接口提示模板包括功能描述信息和输入输出示例。
进一步的，所述提示模板筛选模块，包括：性能数据获取单元，用于根据各所述接口提示模板对应的执行结果，获取各所述接口提示模板的性能数据；目标模板检测单元，用于根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板。
进一步的，所述提示模板处理装置，还包括：反馈数据获取模块，用于在各所述接口提示模板的性能数据均满足性能低条件的情况下，获取所述测试接口的反馈数据；反馈建议生成模块，用于根据所述反馈数据，检测所述接口提示模板的性能问题类型，并生成与所述性能问题类型对应的建议信息；所述性能问题类型包括下述至少一项：模板问题、参数转换问题和接口执行问题。
进一步的，所述提示模板处理装置，还包括：模板标识信息获取模块，用于获取业务系统发送的请求内容和模板标识信息；目标提示模板查询模块，用于根据所述模板标识信息查询所述目标提示模板；接口参数确定模块，用于根据所述请求内容和所述目标提示模板，确定所述目标提示模板对应的接口参数；执行结果反馈模块，用于根据所述接口参数调用所述目标提示模板对应的请求接口，得到所述请求内容对应的执行结果，并反馈给所述业务系统。
进一步的，所述执行结果反馈模块，包括：回复内容生成单元，用于根据所述请求内容对应的执行结果和回复提示模板，确定所述请求内容对应的回复内容；回复内容反馈单元，用于将所述回复内容和所述请求内容对应的执行结果，反馈给所述业务系统。
进一步的，所述请求内容通过用户输入的内容进行识别得到；所述用户输入的内容包括下述至少一项：文本、音频、图像和视频。
进一步的，所述提示模板处理装置，还包括：新接口参数检测模块，用于在所述接口参数检测模型的更新发布的情况下，将所述接口提示模板对应的测试输入内容，输入到新的接口参数检测模型中，得到所述接口提示模板的新的接口参数；新执行结果获取模块，用于采用所述新的接口参数调用所述测试接口，得到所述新的测试接口参数对应的新的执行结果；目标提示模板更新模块，用于根据各所述接口提示模板的新的执行结果，对各所述接口提示模板进行筛选，更新所述目标提示模板。
进一步的，所述提示模板筛选模块，包括：版本提示模板获取单元，用于在当前存在目标提示模板的情况下，获取所述目标提示模板关联的版本提示模板，所述版本提示模板为所述目标提示模板在不同版本下的接口提示模板；版本提示模板筛选单元，用于根据各所述版本提示模板对应的执行结果，在各所述版本提示模板中筛选得到目标提示模板。
进一步的，所述目标模板检测单元，包括：特定领域模板筛选子单元，用于根据各所述接口提示模板在特定知识领域的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为所述特定知识领域下的目标提示模板。
上述提示模板处理装置可执行本公开任意实施例所提供的提示模板处理方法，具备执行提示模板处理方法相应的功能模块和有益效果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性区域图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如提示模板处理方法。例如，在一些实施例中，提示模板处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的提示模板处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行提示模板处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准对象(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (23)
1.一种提示模板处理方法，包括：
获取接口描述信息，并确定至少一个接口提示模板；
采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数；
将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应；
根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
2.根据权利要求1所述的方法，其中，所述采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数，包括：
将所述接口提示模板和所述测试交互内容进行组合，得到测试输入内容；
将所述测试输入内容输入到预先训练的接口参数检测模型，得到所述接口提示模板对应的接口参数；
其中，所述接口提示模板包括功能描述信息和输入输出示例。
3.根据权利要求1所述的方法，其中，所述根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，包括：
根据各所述接口提示模板对应的执行结果，获取各所述接口提示模板的性能数据；
根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板。
4.根据权利要求3所述的方法，还包括：
在各所述接口提示模板的性能数据均满足性能低条件的情况下，获取所述测试接口的反馈数据；
根据所述反馈数据，检测所述接口提示模板的性能问题类型，并生成与所述性能问题类型对应的建议信息；所述性能问题类型包括下述至少一项：模板问题、参数转换问题和接口执行问题。
5.根据权利要求1所述的方法，还包括：
获取业务系统发送的请求内容和模板标识信息；
根据所述模板标识信息查询所述目标提示模板；
根据所述请求内容和所述目标提示模板，确定所述目标提示模板对应的接口参数；
根据所述接口参数调用所述目标提示模板对应的请求接口，得到所述请求内容对应的执行结果，并反馈给所述业务系统。
6.根据权利要求5所述的方法，其中，所述反馈给所述业务系统，包括：
根据所述请求内容对应的执行结果和回复提示模板，确定所述请求内容对应的回复内容；
将所述回复内容和所述请求内容对应的执行结果，反馈给所述业务系统。
7.根据权利要求5或6所述的方法，其中，所述请求内容通过用户输入的内容进行识别得到；所述用户输入的内容包括下述至少一项：文本、音频、图像和视频。
8.根据权利要求2所述的方法，还包括：
在所述接口参数检测模型的更新发布的情况下，将所述接口提示模板对应的测试输入内容，输入到新的接口参数检测模型中，得到所述接口提示模板的新的接口参数；
采用所述新的接口参数调用所述测试接口，得到所述新的测试接口参数对应的新的执行结果；
根据各所述接口提示模板的新的执行结果，对各所述接口提示模板进行筛选，更新所述目标提示模板。
9.根据权利要求1所述的方法，其中，所述根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，包括：
在当前存在目标提示模板的情况下，获取所述目标提示模板关联的版本提示模板，所述版本提示模板为所述目标提示模板在不同版本下的接口提示模板；
根据各所述版本提示模板对应的执行结果，在各所述版本提示模板中筛选得到目标提示模板。
10.根据权利要求3所述的方法，其中，所述根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板，包括：
根据各所述接口提示模板在特定知识领域的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为所述特定知识领域下的目标提示模板。
11.一种提示模板处理装置，包括：
提示模板获取模块，用于获取接口描述信息，并确定至少一个接口提示模板；
接口参数检测模块，用于采用测试交互内容，基于所述接口提示模板，确定所述接口提示模板对应的接口参数；
执行结果获取模块，用于将所述接口提示模板对应的接口参数，发送至到所述测试交互内容对应的测试接口，得到所述测试接口反馈的执行结果，作为所述接口提示模板对应的执行结果；所述接口描述信息与所述测试接口对应；
提示模板筛选模块，用于根据各所述接口提示模板对应的执行结果，筛选得到目标提示模板，所述目标提示模板用于结合用户输入的请求内容，响应所述请求内容。
12.根据权利要求11所述的装置，其中，所述接口参数检测模块，包括：
输入内容确定单元，用于将所述接口提示模板和所述测试交互内容进行组合，得到测试输入内容；
模型检测单元，用于将所述测试输入内容输入到预先训练的接口参数检测模型，得到所述接口提示模板对应的接口参数；其中，所述接口提示模板包括功能描述信息和输入输出示例。
13.根据权利要求11所述的装置，其中，所述提示模板筛选模块，包括：
性能数据获取单元，用于根据各所述接口提示模板对应的执行结果，获取各所述接口提示模板的性能数据；
目标模板检测单元，用于根据各所述接口提示模板的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为目标提示模板。
14.根据权利要求13所述的装置，还包括：
反馈数据获取模块，用于在各所述接口提示模板的性能数据均满足性能低条件的情况下，获取所述测试接口的反馈数据；
反馈建议生成模块，用于根据所述反馈数据，检测所述接口提示模板的性能问题类型，并生成与所述性能问题类型对应的建议信息；所述性能问题类型包括下述至少一项：模板问题、参数转换问题和接口执行问题。
15.根据权利要求11所述的装置，还包括：
模板标识信息获取模块，用于获取业务系统发送的请求内容和模板标识信息；
目标提示模板查询模块，用于根据所述模板标识信息查询所述目标提示模板；
接口参数确定模块，用于根据所述请求内容和所述目标提示模板，确定所述目标提示模板对应的接口参数；
执行结果反馈模块，用于根据所述接口参数调用所述目标提示模板对应的请求接口，得到所述请求内容对应的执行结果，并反馈给所述业务系统。
16.根据权利要求15所述的装置，其中，所述执行结果反馈模块，包括：
回复内容生成单元，用于根据所述请求内容对应的执行结果和回复提示模板，确定所述请求内容对应的回复内容；
回复内容反馈单元，用于将所述回复内容和所述请求内容对应的执行结果，反馈给所述业务系统。
17.根据权利要求15或16所述的装置，其中，所述请求内容通过用户输入的内容进行识别得到；所述用户输入的内容包括下述至少一项：文本、音频、图像和视频。
18.根据权利要求12所述的装置，还包括：
新接口参数检测模块，用于在所述接口参数检测模型的更新发布的情况下，将所述接口提示模板对应的测试输入内容，输入到新的接口参数检测模型中，得到所述接口提示模板的新的接口参数；
新执行结果获取模块，用于采用所述新的接口参数调用所述测试接口，得到所述新的测试接口参数对应的新的执行结果；
目标提示模板更新模块，用于根据各所述接口提示模板的新的执行结果，对各所述接口提示模板进行筛选，更新所述目标提示模板。
19.根据权利要求11所述的装置，其中，所述提示模板筛选模块，包括：
版本提示模板获取单元，用于在当前存在目标提示模板的情况下，获取所述目标提示模板关联的版本提示模板，所述版本提示模板为所述目标提示模板在不同版本下的接口提示模板；
版本提示模板筛选单元，用于根据各所述版本提示模板对应的执行结果，在各所述版本提示模板中筛选得到目标提示模板。
20.根据权利要求13所述的装置，其中，所述目标模板检测单元，包括：
特定领域模板筛选子单元，用于根据各所述接口提示模板在特定知识领域的性能数据，在各所述接口提示模板中筛选性能最优的接口提示模板，确定为所述特定知识领域下的目标提示模板。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的接口提示模板处理方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的接口提示模板处理方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的接口提示模板处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310855722.4A CN116909896A (zh) | 2023-07-12 | 2023-07-12 | 提示模板处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310855722.4A CN116909896A (zh) | 2023-07-12 | 2023-07-12 | 提示模板处理方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116909896A true CN116909896A (zh) | 2023-10-20 |
Family
ID=88355833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310855722.4A Pending CN116909896A (zh) | 2023-07-12 | 2023-07-12 | 提示模板处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116909896A (zh) |
-
2023
- 2023-07-12 CN CN202310855722.4A patent/CN116909896A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230089596A1 (en) | Database systems and methods of defining conversation automations | |
| US20210097410A1 (en) | Recommodation method, recommodation apparatus, electronic device and storage medium | |
| CN113468302A (zh) | 组合共享询问线的多个搜索查询的参数 | |
| CN114612749B (zh) | 神经网络模型训练方法及装置、电子设备和介质 | |
| EP2757493A2 (en) | Natural language processing method and system | |
| US12106055B2 (en) | Techniques for providing explanations for text classification | |
| CN116737908A (zh) | 知识问答方法、装置、设备和存储介质 | |
| CN113032673B (zh) | 资源的获取方法、装置、计算机设备及存储介质 | |
| US20220414474A1 (en) | Search method, electronic device and storage medium based on neural network model | |
| CN116541536B (zh) | 知识增强的内容生成系统、数据生成方法、设备和介质 | |
| KR20230006601A (ko) | 정렬 방법, 정렬 모델의 트레이닝 방법, 장치, 전자 기기 및 매체 | |
| US11941414B2 (en) | Unstructured extensions to rpa | |
| CN113190746A (zh) | 推荐模型的评估方法、装置及电子设备 | |
| US20230386237A1 (en) | Classification method and apparatus, electronic device and storage medium | |
| CN114861675A (zh) | 用于语义识别的方法及装置、控制指令的生成方法及装置 | |
| CN114356275B (zh) | 交互控制方法、装置、智能语音设备及存储介质 | |
| CN113190154B (zh) | 模型训练、词条分类方法、装置、设备、存储介质及程序 | |
| CN116909896A (zh) | 提示模板处理方法、装置、设备及介质 | |
| CN114238745A (zh) | 一种提供搜索结果的方法及装置、电子设备和介质 | |
| CN114861658B (zh) | 地址信息解析方法及装置、设备和介质 | |
| CN116244413B (zh) | 新意图确定方法、设备和存储介质 | |
| CN113344405B (zh) | 基于知识图谱生成信息的方法、装置、设备、介质和产品 | |
| US20230044508A1 (en) | Data labeling processing | |
| US20240193373A1 (en) | Database systems with user-configurable automated metadata assignment | |
| CN116048936A (zh) | 一种xai模型评价方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |