CN117725036B - 中文提示词压缩方法及装置 - Google Patents
中文提示词压缩方法及装置 Download PDFInfo
- Publication number
- CN117725036B CN117725036B CN202410172132.6A CN202410172132A CN117725036B CN 117725036 B CN117725036 B CN 117725036B CN 202410172132 A CN202410172132 A CN 202410172132A CN 117725036 B CN117725036 B CN 117725036B
- Authority
- CN
- China
- Prior art keywords
- processed
- word
- examples
- prompt
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 title claims abstract description 91
- 230000006835 compression Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000012217 deletion Methods 0.000 claims abstract description 5
- 230000037430 deletion Effects 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims description 37
- 239000012634 fragment Substances 0.000 claims description 12
- 238000013138 pruning Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种中文提示词压缩方法及装置，应用于人工智能领域。所述方法包括：获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；基于待处理示例中的各个文本片段与待处理问题之间的关联度，计算待处理示例的相关性得分；根据相关性得分进行示例删减处理得到中间提示词；基于领域词典和待处理问题，计算中间示例中每个词语的重要性得分；结合重要性得分和相关性得分进行词语删减处理，得到压缩后提示词。基于相关性得分在示例层次进行信息的删减，再基于重要性得分在词语层次进行信息的删减，可在准确删减冗余信息的同时兼顾语义完整性，从而可确保压缩效果的同时兼顾推理的准确性。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种中文提示词压缩方法及装置。
背景技术
提示词是一种提供给大语言模型的文本，用于引导大语言模型更好地完成推理任务，在一些任务中，大语言模型的提示词非常长，导致其推理成本过高，推理速度较慢，为了降低推理成本并提升推理效率，可以对超长的提示词进行压缩后使用。
然而，对提示词进行压缩时通常会选择性地丢弃部分冗余信息，冗余信息的选择不当则会导致大语言模型的推理准确度降低，因此，亟需一种方式在压缩提示词时兼顾压缩效果和推理的准确性。
发明内容
本发明实施例提供一种中文提示压缩方法及装置，可以在压缩提示词时兼顾压缩效果和推理准确性。
本发明实施例提供一种中文提示词压缩方法，该方法包括：
获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；
针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分；
根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，所述中间提示词包括多个中间示例；
针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，所述领域词典为所述待处理中文提示词所属领域中的词典；
结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词。
本发明实施例还提供一种中文提示词压缩装置，该装置包括：
获取模块，用于获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；
相关性计算模块，用于针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分；
示例删减模块，用于根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，所述中间提示词包括多个中间示例；
重要性计算模块，用于针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，所述领域词典为所述待处理中文提示词所属领域中的词典；
词语删减模块，用于结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词。
本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明实施例所提供的任一种中文提示词压缩方法中的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种中文提示词压缩方法中的步骤。
本发明实施例还提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本发明实施例所提供的任一种中文提示词压缩方法中的步骤。
本发明实施例可以获取到待处理中文提示词，针对待处理中文提示词中的每个待处理示例，基于待处理示例中各个文本片段与待处理问题之间的关联度，计算待处理示例的相关性得分，并利用相关性得分删减待处理示例，得到中间提示词，再结合待处理中文提示词对应的领域词典和待处理示例，计算中间示例中每个词语的重要性得分，结合重要性得分和相关性得分，以删减中间提示词中的词语得到压缩后提示词。
基于待处理示例和待处理问题之间的关联度在示例层次进行信息的删减，再结合领域词典和待处理问题在词语层次进行信息的删减，可准确删减与待处理问题无关的冗余信息的同时兼顾语义完整性，由此，最终得到的压缩后提示词中不包含冗余信息具有较好的压缩效果，且压缩后提示词的语义完整，也可确保后续推理的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的中文提示词压缩方法的应用场景示意图；
图2是本发明实施例提供的中文提示词压缩方法的流程示意图；
图3是本发明实施例提供的中文提示词压缩方法的架构示意图；
图4是本发明实施例提供的中文提示词压缩装置的结构示意图；
图5是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
大语言模型可应用在文档搜索、问答、文档自动摘要生成、阅读理解等应用场景，在这些应用场景中，大语言模型的提示词非常长，超长的提示词，将会导致推理成本过高，且大语言模型的推理时间过长，无法适配实用场景。
研究中发现，在对提示词进行压缩时会选择性地丢弃部分信息，由于提示词的信息丢失，大语言模型在利用提示词进行推理时，可能会导致推理准确性的降低。由此，本发明提出了一种中文提示词压缩方法及装置，以兼顾压缩效果和后续使用提示词的推理准确性。
可参考图1，示出了中文提示词压缩方法的应用场景示意图，其中，该应用场景中可以包括终端101和服务器102。终端101可以是手机、平板电脑、智能蓝牙设备、智能穿戴设备、笔记本电脑、或者个人电脑（Personal Computer，PC）、车载终端等设备；服务器102可以是单一服务器，也可以是由多个服务器组成的服务器集群。
终端101和服务器102之间可通过网络进行数据交互，例如，终端101可将待处理中文提示词发送至服务器102，从而服务器102可获取到待处理中文提示词。然后服务器102可针对待处理中文提示词中的每个待处理示例，利用待处理示例中的各个文本片段为与待处理问题之间的关联度，计算待处理示例的相关性得分；根据待处理示例的相关性得分，对待处理中文提示词中的待处理示例进行删减，得到中间提示词；针对中间提示词中的每个中间示例，基于领域词典和待处理问题，计算示例中每个词语的重要性得分，再结合词语的重要性得分以及中间示例的相关性得分，删减中间示例中的词语，得到压缩后提示词。后续服务器102可基于压缩后提示词进行推理，以提升推理效率。
以下将分别进行详细说明。
在本实施例中，如图2所示，中文提示词压缩方法的具体流程可以如下：
S110、获取待处理中文提示词。
待处理中文提示词是指输入至大语言模型中的中文提示词，待处理中文提示词中可包括待处理问题以及多个待处理示例。其中，待处理问题是指要求大语言模型回答或处理的具体问题，可用于提供一个具体的任务或要求，以便大语言模型可生成相应的回答或结果。
待处理问题中可以包括问题描述文本和限制描述文本，问题描述文本是用于描述具体问题的文本，限制描述文本是用于描述问题的限制条件或要求的文本，这种方式可更加精确地定义问题，限制问题的范围，有助于提供更具针对性的回答。例如，问题描述文本可以是“如何缓解失眠和焦虑”，而限制描述文本可以是“在指定文件中获取答案”。将问题描述文本和限制描述文本拼接后，则可以得到待处理问题。
待处理示例用于为大语言模型提供背景知识和上下文信息，这些示例可以是相关的、互补的，或者具有不同观点的，通过多个待处理示例，大语言模型可以获得更丰富的信息来理解问题和生成准确的回答。
在一些实施方式中，待处理中文提示词还可以包括指令部分，这是对大语言模型的明确指导或要求的部分，指令部分提供了关于任务、期望输出格式、需要关注的细节等方面的指示，以告诉大语言模型需要执行的具体任务以及如何进行处理。
S120、针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分。
待处理示例通常为多个，其表现形式可以是问答对，文档、文章等，待处理示例的具体表现形式可根据实际的任务进行设置，例如，在文档阅读任务中，该待处理示例中可包含文档，在智能问答任务中，该待处理示例可以是问答对。文本片段可以是指几组问答对，文档或文章中的段落等，每个待处理示例均可被划分为多个文本片段。
利用待处理示例中的各个文本片段和待处理问题之间的关联度，可计算出待处理示例的相关性得分。其中，相关性得分可用于表征待处理示例和待处理问题之间的相关性，该相关性得分越高，则相关性越强，待处理示例越重要。
作为一种实施方式，基于关联度计算相关性得分时，可以是针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，确定关键片段；利用所有所述文本片段与所述待处理问题之间的关联度以及所述文本片段的数量，计算所述待处理示例的第一参数；根据所述待处理问题和所述关键片段，计算所述待处理示例的第二参数；根据所述第一参数和所述第二参数，计算所述待处理示例的相关性得分。
其中，文本片段和待处理问题之间的关联度可通过Bert模型计算得到，例如，利用Bert模型对每个文本片段进行编码，得到片段向量，并利用Bert模型对待处理问题进行编码得到问题向量，再计算每个片段向量和问题向量之间的向量距离，以得到关联度，其中，向量距离越小，关联度越大，关联性越强。
关键片段是指多个文本片段中，与待处理问题的关联性较强的文本片段，可用于代表整个待处理示例。作为一种实施方式，可对关联度进行排序，将关联度排名前m位的文本片段作为关键片段，其中，m可根据实际需要进行设置，例如m为3，m为5等。
然后，可利用所有文本片段与待处理问题之间的关联度以及文本片段的数量，计算出关联度的平均值，以得到待处理示例的第一参数，其中，第一参数越大，表明待处理示例和待处理问题的关联性越强。也即，第一参数为待处理示例中各个文本片段与待处理问题之间的平均关联度。
此处的待处理问题可认为是问题描述文本和限制描述文本的拼接文本，可利用待处理问题和关键片段，计算待处理示例的第二参数。可选地，针对待处理问题中的每个字符，获取指定模型在以关键片段为输入时，推理出所述字符的概率，得到字符的第一概率；对所述字符的第一概率进行取对数处理，得到字符的第二概率；将所述字符的第一概率和所述第二概率相乘，得到字符的待使用概率；根据所有字符的待使用概率以及所述待处理问题中的总字符数，计算所述待处理示例的第二参数。其中，字符是文本中的最小语义单元，字符的划分可根据实际的需要进行设置，在此不做具体限定。
其中，待处理示例的第二参数可通过指定模型计算得到。作为一种实施方式，指定模型可以是处理该待处理中文提示词的大语言模型。作为另一种实施方式，为了提升压缩效率，指定模型可以是小语言生成模型，该指定模型的规模小于处理该待处理中文提示词的大语言模型的规模，指定模型可用于替代大语言模型来计算待处理示例中各个文本段落的第二参数。
为了缩小大语言模型和指定模型之间的差异，可通过指令调优将指定模型和大语言模型的分布对齐。例如，可以预先定义一个提示词指令集，先得到大语言模型的输出，利用大语言模型的输出对指定模型进行指令调优，以将指定模型和大语言模型分布对齐。
可选地，第二参数可通过如下公式计算得到：
；
其中，Q表示待处理示例的第二参数；yi表示待处理问题中的第i个字符；xdoc表示待处理示例的关键片段；表示以xdoc为指定模型的输入时，指定模型输出的分布中yi的概率，即第i个字符的第一概率；/>表示第i个字符的第二概率；N表示待处理问题中的字符的总数量。需要说明的是，字符是文本中的最小语义单元，字符的划分可根据实际的需要进行设置，在此不做具体限定。
基于上述第二参数的计算可知，第二参数与指定模型在以关键文本为输入时，输出的分布中待处理问题中的字符的概率相关，概率越大，第二参数越大，则待处理示例和待处理问题之间的关联性越强，反之，概率越小，第二参数越小，则待处理示例和待处理问题之间的关联性越弱。
利用第一参数和第二参数可计算得到待处理示例的相关性得分。作为一种实施方式，可直接将第一参数和第二参数相乘，得到相关性得分。例如，将第一参数记为S，将第二参数记为Q，则待处理示例的相关性得分为。需要说明的是，该相关性得分越高，表明待处理示例和待处理问题的相关性越高。
S130、根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词。
基于步骤S120可知，待处理示例的相关性得分基于第一参数和第二参数计算得到，可结合相关性得分、第一参数以及第二参数对待处理中文提示词中的待处理示例进行删减，得到中间提示词。其中，中间提示词中包含中间示例，也即中间示例是未被删减的待处理示例。
作为一种实施方式，在进行删减处理时，可以是获取预先设置的第一阈值和第二阈值；将所述第一参数不小于所述第一阈值，且所述第二参数不小于所述第二阈值的待处理示例，确定为候选示例；利用所有待处理示例的相关性得分中的最大值，计算指定阈值；将所述相关性得分大于所述指定阈值的候选示例，确定为中间示例；从所述待处理中文提示词中删除所述中间示例之外的其他待处理示例，得到中间提示词。
其中，第一阈值为用于衡量第一参数的阈值，第二阈值为用于衡量第二参数的阈值，第一阈值和第二阈值可基于实际的需要进行设置，在此不做具体限定。
若待处理示例的第一参数小于第一阈值或第二参数小于第二阈值，可认为该待处理示例与待处理问题的相关性较低，反之，若待处理示例的第一参数不小于第一阈值且第二参数不小于第二阈值，可认为待处理示例与待处理问题的相关性较高，这些待处理示例可被判定为候选示例。
指定阈值是用于衡量相关性得分的阈值，该指定阈值可根据实际的需要进行设置，也可按照一定的方式进行计算得到。例如，在本发明实施例中，由于已经计算出了各个待处理示例的相关性得分，则可以获取到相关性得分中的最大值，将预设权重与最大的相关性得分相乘，计算得到指定阈值，例如，将相关性得分中的最大值记为，将预设权重记为c，则指定阈值为/>。其中，预设权重c可根据实际的需要进行设置，在本发明实施例中，c可设置为2/3。
然后将相关性得分大于指定阈值的候选示例，确定为中间示例，也即中间示例是与待处理问题之间的相关性较高的待处理示例。最后，从待处理中文提示词中，将除了中间示例之外的其他待处理示例删除，也即仅保留中间示例，得到中间提示词。基于相关性得分删减待处理示例，可确保删减掉的待处理示例是待处理问题相关性不高的示例，即该待处理示例和待处理问题之间的相关性较低，对推理待处理问题的作用不大是冗余信息，通过删除冗余信息可降低删减信息对后续的推理准确性的影响。
大语言模型对提示词不同位置的信息的敏感度不同，通常，大语言模型对提示词的首部和尾部的信息的敏感度较高，效果较好，而对中间部分的信息的敏感度较低，效果较差。由此，为了确保在压缩效果的同时兼顾后续的推理效果，可对中间提示词中的中间示例的位置进行调整。
例如，可以是基于每个中间示例的相关性得分，对中间示例进行排序处理，其中，相关性得分越大的中间示例，越靠近中间提示词的首部和尾部。如假设中间提示词中的示例部分中，中间示例按照示例1、示例2、示例3、示例4、示例5排列，而各个示例的相关性得分满足如下关系：示例3>示例4>示例1>示例5>示例2。则重新排序后为：示例3、示例1、示例2、示例5、示例4。
通过计算待处理中文提示词中每个待处理示例的相关性得分，可将待处理中文提示词中，将与待处理问题相关性较低的待处理示例删除，以在示例层次上压缩待处理中文提示词，为了具有更好的压缩效果，后续还可以在词语层次上对每个中间示例进一步压缩。
S140、针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分。
中间示例和提示词均为中文文本，中文文本可被划分为词语，而词语可被划分为字符。在中文场景下，每个词语都具有其对应的语义而不可将其拆分为字符理解，为了确保语义的完整性，针对每个中间示例，可计算中间示例中每个词语的重要性得分，该重要性得分越高，表明该词语越重要，被保留下来的概率也就越大。
其中，领域词典为待处理中文提示词所属领域中的词典，例如，待处理中文提示词为康养领域，则领域词典中记载了康养领域中的专用词汇，又例如，为金融领域，则领域词典中记载了金融领域中的专用词汇。需要说明的是，不同领域中通常存在不同的专业名词，这些专业名词在对应的领域有其固定含义，若强行将其拆分为不同的词语，则会导致语义不完整。例如，康养领域中的“康复护理”是一个专业名词，不能将其拆分为“康复”和“护理”。
在一些实施方式中，在计算词语的重要性得分时，可以是基于所述问题描述文本，计算所述中间示例中每个字符的条件困惑度差异；利用领域词典，对所述中间示例进行分词处理，得到分词结果；针对所述分词结果中的每个词语，基于所述领域词典以及所述词语中的每个字符的条件困惑度差异，计算所述词语的重要性得分。
前述待处理问题中可包括问题描述文本，计算条件困惑度差异时，可仅使用该问题描述文本，中间示例由文本组成，则中间示例可按照字符划分，针对中间示例中的每个字符，可计算字符的条件困惑度差异。例如，可以是针对所述中间示例中的每个字符，获取在第一指定文本的情况下，指定模型对字符的困惑度，得到字符的第一困惑度，所述第一指定文本为所述中间示例中，在所述字符之前的文本；针对所述中间示例中的每个字符，获取在第二指定文本的情况下，指定模型对字符的困惑度，得到字符的第二困惑度，所述第二指定文本为所述问题描述文本与所述中间示例中在所述字符之前的文本的拼接文本；计算所述第一困惑度与所述第二困惑度之间的差值，得到所述字符的条件困惑度差异。
可选地，该条件困惑度差异可按照以下公式计算得到：
；
其中，Ri表示中间示例中的第i个字符的条件困惑度差异；xi表示中间示例中的第i个字符；表示在给定第i个字符之前的文本的情况下，指定模型对xi的困惑度，即第一困惑度；/>表示在给定问题描述文本和第i个字符之前的文本的情况下，指定模型对xi的困惑度，即第二困惑度。困惑度是一种衡量模型对输入数据的困惑程度的指标，其值越小表示模型对输入数据的理解越好。
针对每个中间示例，可对中间示例进行分词处理，以得到对应的分词结果。为了确保分词结果中词义的完整性，可利用待处理中文提示词所的属的领域对应的领域词典，进行分词处理。
可选地，分词处理可使用双向最大匹配分词方法，也即按照正向最大匹配算法对中间示例分词，可得到第一分词结果，再按照后向最大匹配算法对中间示例分分词，可得到第二分词结果，然后将第一分词结果和第二分词结果中，将分词数量较少作为最终分词结果；若第一分词结果和第二分词结果的分词数量相同，且分词结果一致，则任意选择一个作为最终分词结果；若第一分词结果和第二分词结果的分词数量相同，且分词结果不一致，则选择单字较少的作为最终分词结果。
然后，针对该分词结果中的每个词语，可基于该词语中每个字符的条件困惑度差异，计算出词语的重要性得分，为了确保该重要性得分的准确性，可基于领域词典进行重要性得分的计算。例如，若在所述领域词典中检测到所述词语，计算所述词语中所有字符的条件困惑度差异的均值，得到所述词语的重要性得分；若未在所述领域词典中检测到所述词语，计算所述词语中所有字符的条件困惑度差异的均值的预设倍数，得到所述词语的重要性得分。
针对分词结果中的每个词语，若未在领域词典中查找到该词语，则计算该词语中所有字符的条件困惑度差异的均值，得到词语的重要性得分。也即，在领域词典中查找到词语的情况下，可按照以下公式计算出的词语的重要性得分：
；
其中，表示中间示例中第i个词语的重要性得分；sj表示词语中第j个字符的条件困惑度差异；n表示词语中的字符的总数量。
若未在领域词典中查找到该词语，则计算该词语中所有字符的条件困惑度差异的均值的预设倍数，得到词语的重要性得分，该预设倍数可根据实际需要进行设置，在本发明实施例中该预设倍数可设置为2。也即，未在领域词典中查找到词语的情况下，可按照以下公式计算出的词语的重要性得分：
；
其中，表示中间示例中第i个词语的重要性得分；sj表示词语中第j个字符的条件困惑度差异；n表示词语中的字符的总数量。
按照上述方式，可计算得到每个中间示例中的每个词语的重要性得分，该重要性得分越高，表明该词语越重要，该重要性得分越低，表明该词语越不重要。
S150、结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词。
最后可依据词语的重要性得分以及中间示例的相关性得分，对每个中间示例中的词语进行删减处理，以得到压缩后提示词，其中，压缩后提示词则是指待处理中文提示词压缩后得到的最终结果。
在一些实施方式中，可以是获取预先设置的初始压缩率；基于每个所述中间示例的相关性得分和所述初始压缩率，计算所述中间示例对应的目标压缩率；针对每个所述中间示例，基于所述中间示例的目标压缩率，计算截断参数；按照所述截断参数，对词语序列进行截断处理，得到待删减词语，所述词语序列为按照所述重要性得分对词语进行排列所得到的序列；从所述中间示例中删除所述待删减词语，得到所述中间示例对应的压缩示例；以所述压缩示例替换所述中间提示词中对应的中间示例，得到压缩后提示词。
初始压缩率是指在经过词语删减后得到的提示词与中间提示词的长度的比例，该初始压缩率可由用户根据实际需要进行设置，在此不做具体限定，其中，初始压缩率越大，需要删减的词语越少。
利用中间示例的相关性得分可确定出各个中间示例的重要程度，即相关性得分越高，则重要程度越高。由此，可基于各个中间示例的相关性得分，确定出各个中间示例对应的目标压缩率，以满足整体的压缩率达到初始压缩率。
中间示例的相关性得分越高，表明该中间示例越重要。前述对压缩率的定义为压缩后的字符数与压缩前的字符数的比值，该值越大，表明压缩力度越小。为了避免重要的中间示例被压缩过多，因此，相关性得分越高的中间示例，对应的目标压缩率越高。
作为一种实施方式，若初始压缩率记为Kc，可以按照各个中间示例的相关性得分，使用[]的均匀离散分布计算每个中间示例的目标压缩率。例如，可以是根据中间示例对应的相关性得分对中间示例进行排序处理，得到待处理序列；基于预设的压缩区间以及中间示例的数量，确定区间宽度，所述压缩区间与所述初始压缩率相关；利用所述中间示例在所述待处理序列中的位置，以及所述区间宽度，计算中间示例的目标压缩率。
其中，预设的压缩区间可以是[]，当然，该预设的压缩区间也可以根据实际的需要进行设置，例如是初始压缩率的2倍或3倍等。然后可利用预设的压缩区间的较大值减去较小值所得到的差值，除以中间示例的数量，即可得到区间宽度。
其中，待处理序列可以是按照相关性得分从高到低排列的，中间示例在待处理序列中的位置即为排名，相关性得分最高的位置为1，依次递增。中间示例的目标压缩率则为位置减去1的差值除以区间宽度，再加上1。
其中，目标压缩率是指删减词语后的中间示例和原中间示例的字符数之比。结合该目标压缩率和中间示例中的总字符数，可计算出需要删除的字符的数量，即截断参数。基于上述目标压缩率的定义可知，可直接将目标压缩率和总字符数相乘，得到压缩后的字符数，使用总字符数减去压缩后的字符数，即可得到截断参数，其中，目标压缩率越高，压缩力度越小，目标压缩率越低，压缩力度越大。
前述计算出了每个词语的重要性得分，可按照重要性得分从高到低的顺序对词语进行排序，得到词语序列，然后利用截断参数从词语序列中确定出待删减词语。例如，截断参数为需要删除的字符的数量，从词语序列中排名最后的词语开始，倒序选择出对应数量的字符，得到待删减词语。
最后将待删减词语从中间示例中删除，即可得到中间示例对应的压缩示例，再以压缩示例替换掉中间提示词中对应的中间示例，即可得到压缩后提示词，其中，以替换的方式得到压缩后提示词，可不改变中间提示词中原中间示例的位置。
为了进一步详细说明本发明的中文提示词压缩方法，可参阅图3，示出了中文提示词的压缩方法的架构示意图。其中，待处理中文提示词可由三个部分组成，分别为指令、待处理示例和待处理问题，对待处理中文提示词的压缩可分为示例层次的压缩和词语层次的压缩。
其中，在示例层次中，利用待处理示例和待处理问题可以计算每个待处理示例的第一参数和第二参数，并进一步计算出待处理示例的相关性得分。然后可按照相关性得分从待处理提示词中删减掉部分示例，得到中间提示词。在词语层次中，针对中间示例中的每个词语，计算出词语的重要性得分，并基于该重要性得分删减词语，得到压缩后提示词。
整个压缩过程可由指定模型执行，该指令模型通过指令调优和大语言模型的分布对齐，同时，指定模型一般选用小语言模型，以提升压缩效率。压缩后提示词可由大语言模型进行推理，以得到和待处理问题对应的响应。在删减信息实现压缩的过程中兼顾了语义的完整性，后续大语言模型在利用压缩后提示词进行推理时，可得到较为准确的响应输出。并且，通过对中文提示词的压缩，可有效节省大语言模型的推理成本和时间成本，更加适配于低延迟要求场景和低成本应用场景。
本发明实施例提供的中文提示词压缩方案，可应用在需要处理较长的中文提示词的场景中，例如，文档自动摘要生成、文档搜索、阅读理解，智能问答等场景。采用本发明实施例提供的方案可以在压缩的过程中确保语义完整性，从而在使用压缩后提示词进行推理时，可在确保推理效果的情况下，有效提升推理效率并节约推理成本，可适用于实时场景和低成本应用场景。
由上可知，本发明提供的中文提示词压缩方法能够依据待处理示例的相关性得分在示例层次对待处理中文提示词进行压缩，得到中间提示词，基于词语的重要性得分在词语层次对中间提示词进行压缩，可准确识别待处理中文提示词中的冗余信息并兼顾压缩后提示词的语义完整性，进而可确保后续使用压缩后提示词进行推理时的推理准确性。
为了更好地实施以上方法，本发明实施例还提供一种中文提示词压缩装置，该中文提示词压缩装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑、车载终端等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
比如，在本实施例中，将以中文提示词压缩装置具体集成在服务器为例，对本发明实施例的方法进行详细说明。
例如，如图4所示，该中文提示词压缩装置200可以包括：
获取模块210，用于获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；
相关性计算模块220，用于针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分；
示例删减模块230，用于根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，所述中间提示词包括多个中间示例；
重要性计算模块240，用于针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，所述领域词典为所述待处理中文提示词所属领域中的词典；
词语删减模块250，用于结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词。
在一些实施例中，相关性计算模块220具体用于：
针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，确定关键片段；
利用所有所述文本片段与所述待处理问题之间的关联度以及所述文本片段的数量，计算所述待处理示例的第一参数；
根据所述待处理问题和所述关键片段，计算所述待处理示例的第二参数；
根据所述第一参数和所述第二参数，计算所述待处理示例的相关性得分。
在一些实施例中，相关性计算模块220具体用于：
针对所述待处理问题中的每个字符，获取指定模型在以所述关键片段为输入时，推理出所述字符的概率，得到字符的第一概率；
对所述字符的第一概率进行取对数处理，得到字符的第二概率；
将所述字符的第一概率和所述第二概率相乘，得到字符的待使用概率；
根据所有字符的待使用概率以及所述待处理问题中的总字符数，计算所述待处理示例的第二参数。
在一些实施例中，示例删减模块230具体用于：
获取预先设置的第一阈值和第二阈值；
将所述第一参数不小于所述第一阈值，且所述第二参数不小于所述第二阈值的待处理示例，确定为候选示例；
利用所有待处理示例的相关性得分中的最大值，计算指定阈值；
将所述相关性得分大于所述指定阈值的候选示例，确定为中间示例；
从所述待处理中文提示词中删除所述中间示例之外的其他待处理示例，得到中间提示词。
在一些实施例中，在根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词之后，示例删减模块230具体用于：
基于所述中间示例对应的相关性得分，对所述中间提示词中的中间示例进行排序处理，其中，所述中间示例的相关性得分越大，所述中间示例越靠近所述中间提示词的首部和尾部。
在一些实施例中，所述待处理问题包括问题描述文本，重要性计算模块240具体用于：
基于所述问题描述文本，计算所述中间示例中每个字符的条件困惑度差异；
利用所述领域词典，对所述中间示例进行分词处理，得到分词结果；
针对所述分词结果中的每个词语，基于所述领域词典以及所述词语中的每个字符的条件困惑度差异，计算所述词语的重要性得分。
在一些实施例中，重要性计算模块240具体用于：
针对所述中间示例中的每个字符，获取在第一指定文本的情况下，指定模型对字符的困惑度，得到字符的第一困惑度，所述第一指定文本为所述中间示例中，在所述字符之前的文本；
针对所述中间示例中的每个字符，获取在第二指定文本的情况下，指定模型对字符的困惑度，得到字符的第二困惑度，所述第二指定文本为所述问题描述文本与所述中间示例中在所述字符之前的文本的拼接文本；
计算所述第一困惑度与所述第二困惑度之间的差值，得到所述字符的条件困惑度差异。
在一些实施例中，重要性计算模块240具体用于：
若在所述领域词典中检测到所述词语，计算所述词语中所有字符的条件困惑度差异的均值，得到所述词语的重要性得分；
若未在所述领域词典中检测到所述词语，计算所述词语中所有字符的条件困惑度差异的均值的预设倍数，得到所述词语的重要性得分。
在一些实施例中，词语删减模块250具体用于：
获取预先设置的初始压缩率；
基于每个所述中间示例的相关性得分和所述初始压缩率，计算所述中间示例对应的目标压缩率；
针对每个所述中间示例，基于所述中间示例中所有词语的重要性得分以及所述目标压缩率，计算截断参数；
按照所述截断参数，对词语序列进行截断处理，得到待删减词语，所述词语序列为按照所述重要性得分排列得到的序列；
从所述中间示例中删除所述待删减词语，得到所述中间示例对应的压缩示例；
以所述压缩示例替换所述中间提示词中对应的中间示例，得到所述待处理中文提示词对应的压缩后提示词。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例的中文提示词压缩装置可以依据待处理示例的相关性得分在示例层次对待处理中文提示词进行压缩，得到中间提示词，基于词语的重要性得分在词语层次对中间提示词进行压缩，可准确识别待处理中文提示词中的冗余信息并兼顾压缩后提示词的语义完整性，进而可确保后续使用压缩后提示词进行推理时的推理准确性。
本发明实施例还提供一种电子设备，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑、车载终端等；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群等。
在一些实施例中，该中文提示词压缩装置还可以集成在多个电子设备中，比如，中文提示词压缩装置可以集成在多个服务器中，由多个服务器来实现本发明的中文提示词压缩方法。
在本实施例中，将以本实施例的电子设备是服务器为例进行详细描述，比如，如图5所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器310、一个或一个以上计算机可读存储介质的存储器320、电源330、输入模块340以及通信模块350等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器310是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器320内的数据，执行电子设备的各种功能和处理数据。在一些实施例中，处理器310可包括一个或多个处理核心；在一些实施例中，处理器310可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器310中。
存储器320可用于存储软件程序以及模块，处理器310通过运行存储在存储器320的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器320还可以包括存储器控制器，以提供处理器310对存储器320的访问。
电子设备还包括给各个部件供电的电源330，在一些实施例中，电源330可以通过电源管理系统与处理器310逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源330还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入模块340，该输入模块340可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可包括通信模块350，在一些实施例中通信模块350可以包括无线模块，电子设备可以通过该通信模块350的无线模块进行短距离无线传输，从而为用户提供了无线的宽带互联网访问。比如，该通信模块350可以用于帮助用户收发、浏览网页和访问流式媒体等。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器310会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器320中，并由处理器310来运行存储在存储器320中的应用程序，从而实现本发明各实施例方法中的步骤。以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本发明实施例提供的电子设备可以依据待处理示例的相关性得分在示例层次对待处理中文提示词进行压缩，得到中间提示词，基于词语的重要性得分在词语层次对中间提示词进行压缩，可准确识别待处理中文提示词中的冗余信息并兼顾压缩后提示词的语义完整性，进而可确保后续使用压缩后提示词进行推理时的推理准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种中文提示词压缩方法中的步骤。
其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
根据本发明的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序/指令，该计算机程序/指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序/指令，处理器执行该计算机程序/指令，使得该电子设备执行上述实施例中提供的中文提示词压缩方面的各种可选实现方式中提供的方法。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种中文提示词压缩方法中的步骤，因此，可以实现本发明实施例所提供的任一种中文提示词压缩方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种中文提示词压缩方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种中文提示词压缩方法，其特征在于，所述方法包括：
获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；
针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分；
根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，所述中间提示词包括多个中间示例；
针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，所述领域词典为所述待处理中文提示词所属领域中的词典；
结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词；包括：
获取预先设置的初始压缩率；
基于每个所述中间示例的相关性得分和所述初始压缩率，计算所述中间示例对应的目标压缩率；
若初始压缩率记为Kc，按照每个中间示例的相关性得分，使用的均匀离散分布计算每个中间示例对应的目标压缩率；具体地，根据中间示例的相关性得分对中间示例进行排序处理，得到待处理序列；基于预设的压缩区间以及中间示例的数量，确定区间宽度，所述压缩区间与所述初始压缩率相关；利用所述中间示例在所述待处理序列中的位置，以及所述区间宽度，计算中间示例的目标压缩率；其中，预设的压缩区间是/>；
针对每个所述中间示例，基于所述中间示例中所有词语的重要性得分以及所述目标压缩率，计算截断参数；
所述目标压缩率是指删减词语后的中间示例和原中间示例的字符数之比；结合所述目标压缩率和中间示例中的总字符数，计算出需要删除的字符数，即截断参数；具体地，直接将目标压缩率和总字符数相乘，得到压缩后的字符数，使用总字符数减去压缩后的字符数，即得到截断参数；
按照所述截断参数，对词语序列进行截断处理，得到待删减词语，所述词语序列为按照所述重要性得分排列得到的序列；
从所述中间示例中删除所述待删减词语，得到所述中间示例对应的压缩示例；
以所述压缩示例替换所述中间提示词中对应的中间示例，得到所述待处理中文提示词对应的压缩后提示词。
2.根据权利要求1所述的方法，其特征在于，所述针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分，包括：
针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，确定关键片段；
利用所有所述文本片段与所述待处理问题之间的关联度以及所述文本片段的数量，计算所述待处理示例的第一参数；
根据所述待处理问题和所述关键片段，计算所述待处理示例的第二参数；
根据所述第一参数和所述第二参数，计算所述待处理示例的相关性得分。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待处理问题和所述关键片段，计算所述待处理示例的第二参数，包括：
针对所述待处理问题中的每个字符，获取指定模型在以所述关键片段为输入时，推理出所述字符的概率，得到字符的第一概率；
对所述字符的第一概率进行取对数处理，得到字符的第二概率；
将所述字符的第一概率和所述第二概率相乘，得到字符的待使用概率；
根据所有字符的待使用概率以及所述待处理问题中的总字符数，计算所述待处理示例的第二参数。
4.根据权利要求2所述的方法，其特征在于，所述根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，包括：
获取预先设置的第一阈值和第二阈值；
将所述第一参数不小于所述第一阈值，且所述第二参数不小于所述第二阈值的待处理示例，确定为候选示例；
利用所有待处理示例的相关性得分中的最大值，计算指定阈值；
将所述相关性得分大于所述指定阈值的候选示例，确定为中间示例；
从所述待处理中文提示词中删除所述中间示例之外的其他待处理示例，得到中间提示词。
5.根据权利要求1所述的方法，其特征在于，所述根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词之后，所述方法还包括：
基于所述中间示例对应的相关性得分，对所述中间提示词中的中间示例进行排序处理，其中，所述中间示例的相关性得分越大，所述中间示例越靠近所述中间提示词的首部和尾部。
6.根据权利要求1所述的方法，其特征在于，所述待处理问题包括问题描述文本，所述针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，包括：
基于所述问题描述文本，计算所述中间示例中每个字符的条件困惑度差异；
利用所述领域词典，对所述中间示例进行分词处理，得到分词结果；
针对所述分词结果中的每个词语，基于所述领域词典以及所述词语中的每个字符的条件困惑度差异，计算所述词语的重要性得分。
7.根据权利要求6所述的方法，其特征在于，所述基于所述问题描述文本，计算所述中间示例中每个字符的条件困惑度差异，包括：
针对所述中间示例中的每个字符，获取在第一指定文本的情况下，指定模型对字符的困惑度，得到字符的第一困惑度，所述第一指定文本为所述中间示例中，在所述字符之前的文本；
针对所述中间示例中的每个字符，获取在第二指定文本的情况下，指定模型对字符的困惑度，得到字符的第二困惑度，所述第二指定文本为所述问题描述文本与所述中间示例中在所述字符之前的文本的拼接文本；
计算所述第一困惑度与所述第二困惑度之间的差值，得到所述字符的条件困惑度差异。
8.根据权利要求6所述的方法，其特征在于，所述针对所述分词结果中的每个词语，基于所述领域词典以及所述词语中的每个字符的条件困惑度差异，计算所述词语的重要性得分，包括：
若在所述领域词典中检测到所述词语，计算所述词语中所有字符的条件困惑度差异的均值，得到所述词语的重要性得分；
若未在所述领域词典中检测到所述词语，计算所述词语中所有字符的条件困惑度差异的均值的预设倍数，得到所述词语的重要性得分。
9.一种中文提示词压缩装置，用于实现如权利要求1至8中任一项所述的方法，其特征在于，所述装置包括：
获取模块，用于获取待处理中文提示词，所述待处理中文提示词包括待处理问题以及多个待处理示例；
相关性计算模块，用于针对每个所述待处理示例，基于所述待处理示例中的各个文本片段与所述待处理问题之间的关联度，计算所述待处理示例的相关性得分；
示例删减模块，用于根据所述待处理示例的相关性得分，对所述待处理中文提示词中的待处理示例进行删减处理，得到中间提示词，所述中间提示词包括多个中间示例；
重要性计算模块，用于针对每个所述中间示例，基于所述待处理中文提示词对应的领域词典和所述待处理问题，计算所述中间示例中每个词语的重要性得分，所述领域词典为所述待处理中文提示词所属领域中的词典；
词语删减模块，用于结合每个所述中间示例的相关性得分以及所述中间示例中每个词语的重要性得分，对每个所述中间示例中的词语进行删减处理，得到压缩后提示词。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172132.6A CN117725036B (zh) | 2024-02-07 | 2024-02-07 | 中文提示词压缩方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172132.6A CN117725036B (zh) | 2024-02-07 | 2024-02-07 | 中文提示词压缩方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117725036A CN117725036A (zh) | 2024-03-19 |
| CN117725036B true CN117725036B (zh) | 2024-04-26 |
Family
ID=90203795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410172132.6A Active CN117725036B (zh) | 2024-02-07 | 2024-02-07 | 中文提示词压缩方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117725036B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829042A (zh) * | 2018-12-28 | 2019-05-31 | 北京科技大学 | 一种基于生物医学文献的知识问答系统及方法 |
| KR20220080999A (ko) * | 2020-12-08 | 2022-06-15 | 엔에이치엔애드 (주) | 복수의 멀티미디어 컨텐츠들을 참조하여 사용자 단말기와 통신하는 네트워크 서버 및 방법 |
| WO2023063610A1 (ko) * | 2021-10-13 | 2023-04-20 | 주식회사 스켈터랩스 | 기계독해를 이용한 리뷰 분석 시스템 및 방법 |
| CN116167369A (zh) * | 2023-03-07 | 2023-05-26 | 普强时代(珠海横琴)信息技术有限公司 | 一种文本关键词提取方法及装置 |
| CN116933782A (zh) * | 2023-06-08 | 2023-10-24 | 杭州淘粉吧网络技术股份有限公司 | 一种电商文本关键词提取处理方法及系统 |
| CN116975271A (zh) * | 2022-12-26 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 文本相关性的确定方法、装置、计算机设备和存储介质 |
| CN117194628A (zh) * | 2023-09-08 | 2023-12-08 | 四维创智（北京）科技发展有限公司 | 基于压缩技术提示词优化方法、装置、设备及存储介质 |
| CN117235213A (zh) * | 2023-08-14 | 2023-12-15 | 成都温江暖欣门诊部有限公司 | 一种交互式客服方法及系统 |
-
2024
- 2024-02-07 CN CN202410172132.6A patent/CN117725036B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829042A (zh) * | 2018-12-28 | 2019-05-31 | 北京科技大学 | 一种基于生物医学文献的知识问答系统及方法 |
| KR20220080999A (ko) * | 2020-12-08 | 2022-06-15 | 엔에이치엔애드 (주) | 복수의 멀티미디어 컨텐츠들을 참조하여 사용자 단말기와 통신하는 네트워크 서버 및 방법 |
| WO2023063610A1 (ko) * | 2021-10-13 | 2023-04-20 | 주식회사 스켈터랩스 | 기계독해를 이용한 리뷰 분석 시스템 및 방법 |
| CN116975271A (zh) * | 2022-12-26 | 2023-10-31 | 腾讯科技（深圳）有限公司 | 文本相关性的确定方法、装置、计算机设备和存储介质 |
| CN116167369A (zh) * | 2023-03-07 | 2023-05-26 | 普强时代(珠海横琴)信息技术有限公司 | 一种文本关键词提取方法及装置 |
| CN116933782A (zh) * | 2023-06-08 | 2023-10-24 | 杭州淘粉吧网络技术股份有限公司 | 一种电商文本关键词提取处理方法及系统 |
| CN117235213A (zh) * | 2023-08-14 | 2023-12-15 | 成都温江暖欣门诊部有限公司 | 一种交互式客服方法及系统 |
| CN117194628A (zh) * | 2023-09-08 | 2023-12-08 | 四维创智（北京）科技发展有限公司 | 基于压缩技术提示词优化方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117725036A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3648099A1 (en) | Voice recognition method, device, apparatus, and storage medium | |
| US8732204B2 (en) | Automatic frequently asked question compilation from community-based question answering archive | |
| CN111563158B (zh) | 文本排序方法、排序装置、服务器和计算机可读存储介质 | |
| CN111382260A (zh) | 一种检索文本纠错方法、装置和存储介质 | |
| WO2021121020A1 (zh) | 问答方法、装置及设备 | |
| CN111382563B (zh) | 文本相关性的确定方法及装置 | |
| CN110795544B (zh) | 内容搜索方法、装置、设备和存储介质 | |
| CN114756677B (zh) | 样本生成方法、文本分类模型的训练方法及文本分类方法 | |
| CN114925174A (zh) | 文档检索方法、装置及电子设备 | |
| CN111931034B (zh) | 数据搜索方法、装置、设备及存储介质 | |
| CN117725036B (zh) | 中文提示词压缩方法及装置 | |
| CN113571196A (zh) | 构建医疗训练样本的方法及装置、医疗文本的检索方法 | |
| CN117112754A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| KR102534086B1 (ko) | 복수의 멀티미디어 컨텐츠들을 참조하여 사용자 단말기와 통신하는 네트워크 서버 및 방법 | |
| CN114372478A (zh) | 一种基于知识蒸馏的问答方法、终端设备及存储介质 | |
| CN113761104A (zh) | 知识图谱中实体关系的检测方法、装置和电子设备 | |
| CN113934894A (zh) | 基于指标树的数据显示方法、终端设备 | |
| CN111026854A (zh) | 一种答案质量的评估方法 | |
| CN117725191B (zh) | 大语言模型的引导信息生成方法、装置及电子设备 | |
| CN115437620B (zh) | 一种自然语言编程方法、装置、设备及存储介质 | |
| CN116994232A (zh) | 一种内容识别方法和相关装置 | |
| CN117556024B (zh) | 知识问答方法以及相关设备 | |
| US20220284900A1 (en) | Voice Interaction Method, System, Terminal Device and Medium | |
| CN116662477A (zh) | 文本检索方法、装置、设备及计算机可读存储介质 | |
| CN118014087A (zh) | 一种领域数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |