CN117194628A - 基于压缩技术提示词优化方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种基于压缩技术提示词优化方法，包括：获取用户输入指令，并对输入指令的停用词进行删除处理，提取指令分词列表里的指令分词并通过搜索引擎进行检索处理；基于搜索结果语句进行组合处理；将搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，根据所需压缩比设置相对应百分位数，以得到预设阈值；计算结果分词列表中每个分词词汇的Se l f‑i nformat i on，将结果分词列表中各词汇阈值与预设阈值进行比较，根据比较结果删除小于预设阈值的分词词汇；根据用户输入指令和保留结果分词列表中的分词词汇合并生成背景知识，以获得更好得回答效果，本发明通过以上设计，可以提高用户在进行问答体验效果的同时还能够节省其大模型计算资源。

Description

基于压缩技术提示词优化方法、装置、设备及存储介质

技术领域

本发明涉及大语言模型的技术领域，尤其是涉及一种基于压缩技术提示词优化方法、装置、设备及存储介质。

背景技术

近年来，随着人工智能的不断发展，一些知识问答的应用不断涌现，通过这种基于大语言模型的知识问答的应用，能够提高人们检索问题的效率，但是由于时代不断变化，势必会有一些新的问题出现，这个时候大模型在实时知识问答的应用中会缺少一些专业知识的补充，而缺乏最新专业知识补充，则在人们进行问答的时候大模型会通过搜索引擎进行搜索；

目前市面上普遍的解决办法是，根据用户指令先通过搜索引擎进行搜索，然后将搜索结果作为背景知识和用户输入指令一起交给大模型进行问答，但问题是，搜索结果会包含许多冗余文本(停用词、名词解释、常识等)，大模型计算资源宝贵，同时通常在上下文长度限制下，无法放置很多背景知识从而严重影响问答效果；

因此，针对上述问题本领域人员需要亟待解决。

发明内容

为了解决上述背景技术中提出的技术缺陷，本发明的目的是提供一种基于压缩技术提示词优化方法、装置、设备及存储介质，可提高回答效果，同时还能够节省大模型计算资源。

本发明采用如下技术方案：

第一方面，提供了一种基于压缩技术提示词优化方法，其特征在于，包括：

获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表；提取所述指令分词列表里的指令分词并通过搜索引擎进行检索处理，以得到搜索结果语句；基于所述搜索结果语句进行组合处理，以得到搜索结果列表；将所述搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，其中结果分词列表包括多个分词词汇；根据所需压缩比设置相对应百分位数，以得到预设阈值；计算所述结果分词列表中每个分词词汇的Self-information，以得到多个词汇阈值；将所述结果分词列表中各所述词汇阈值与所述预设阈值进行比较，根据比较结果删除小于所述预设阈值的所述分词词汇；根据用户所述输入指令和保留所述结果分词列表中的分词词汇合并生成背景知识，以获得更好得回答效果。

可选的，所述获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表，包括：基于所述输入指令生成指令文本；将指令文本进行分词处理以得到待处理分词；将所述待处理分词的停用词进行删除，以得到指令分词；将所述指令分词进行存储，以得到指令分词列表。

可选的，所述将所述指令分词进行存储，以得到指令分词列表，包括：根据所述指令文本顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致。

可选的，所述检索处理的步骤包括：对所述指令分词列表中的指令分词进行提取；将所述提取后的指令分词通过空格进行拼接，以得到搜索语句；将所述搜索语句通过搜索引擎进行检索，以得到搜索结果语句。

可选的，所述比较的步骤，包括：将各所述词汇阈值与预设阈值进行比较，得到多个比较结果；根据各比较结果删除小于所述预设阈值的所述结果分词词汇。

第二方面，提供了一种基于压缩技术提示词优化装置，包括：

获取单元：用于获取用户输入指令；处理模块：用于对输入指令的停用词和搜索结果列表中的停用词进行删除，和对小于预设阈值的结果分词列表中的分词词汇进行删除；组合单元：用于对搜索结果语句进行组合；遍历模块：用于将搜索结果列表进行遍历；计算模块：用于将结果分词列表中的各分词词汇进行Self-information计算并得出词汇阈值；预设单元：用于对所需压缩比进行百分位数设置；比较单元：用于将词汇阈值与预设阈值进行比较。

第三方面，提供了一种基于压缩技术提示词优化设备，包括存储器和处理器：所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如1-6任一项所述的基于压缩技术提示词优化方法。

第四方面，提供了一种存储介质，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的基于压缩技术提示词优化方法的各个步骤。

本发明的有益效果为:

通过获取用户输入指令并对输入指令进行停用词的处理，能够使搜索结果更加精简，由于对问题进行了压缩，进而能够使其系统响应的更加快速，从而提升了用户的体验，同时将指令列表里的指令分词通过空格进行拼接作为搜索语句，再将搜索语句通过搜索引擎进行搜索，进而能够保证搜索结果语句的精确度，通过这样的方式，第一方面能够对背景知识进行压缩，第二方面能够提升其系统的响应速度，进而能够提升用户的体验；同时将检索出来的搜索结果语句进行组合处理，进而能够得到其搜索结果列表，随即再将搜索结果列表进行遍历，在遍历的同时将停用词进行删除，从而能够得到更加精准的结果分词列表；

通过计算结果分词列表中的分词词汇的Self-information的词汇阈值，再根据所需压缩比设置相对应的预设阈值，再通过计算出每个结果分词列表中的词汇阈值与预设阈值进行比较，进而能够将小于预设阈值的结果分词列表中的分词词汇进行删除，进而保留下来的结果分词列表与用户输出指令生成背景知识，通过这种方式能够压缩文本的同时，将其冗余文本进行删除，且上述的操作不需要发送至大模型，直接在部署的时候可以以极低的成本大幅提高用户的体验。

上述说明仅是本发明的技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明实施例的一种基于压缩技术提示词优化方法流程图；

图2是本发明实施例的一种基于压缩技术提示词优化装置的结构示意图；

图3是本发明实施例的一种设备结构示意图。

具体实施方式

在介绍本申请方案之前，首先对本文中涉及到的名词进行解释：

停用词：连接词、介词等，例如“和、的、于”等。

Self-information：表示一个随机事件所包含的信息量。一个随机事件发生的概率越高，其自信息越低，Self-information也称为surprisal。在信息论中self-information被用于衡量一个event在一个特定的概率分布中所蕴含的信息。在LLMs的背景下，这里的概率分布可以视为language model，而event可以视作一段文本，其公式为：

I(x)＝-log P(x)

大模型：(Large language model，LLM)是指基于Transformer结构的生成式深度神经网络模型，其具备超强的语义理解及多轮对话能力，常见的大语言模型如GT4以及其它企业研发的大语言模型；

List集合：是一个有序、可重复的集合，用于存储数据。

数组：数组是一种数据结构，用于存储一系列相同类型的元素。每个元素都可以通过索引访问，索引从0开始，依次递增。

为了使本发明的内容能更容易被清楚的理解，下面根据具体实施例并结合附图，对本发明作进一步说明。

如图1所示，图1是本发明实施例的提供的一种基于压缩技术提示词优化方法流程图。该基于压缩技术提示词优化方法包括：

100、获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表；

具体的，由于用户输入的问题是通过输入文字实现的，计算机通过分析输入文字并转换为输入指令，由于输入的指令势必会存在一些停用词(介词、连词等)，进而会存在一些冗余文本，通过将这些停用词进行删除，能够精确细化出用户的问题，再将删除后的输入指令转化为指令分词列表，进而能够得到指令分词列表，从而能够初步节省内存空间，降低大模型的计算资源，且能够提升其用户的体验。

101、提取所述指令分词列表里的指令分词并通过搜索引擎进行检索处理，以得到搜索结果语句；

具体的，由于存放在指令分词列表里的指令分词是用户问题的关键词信息，所以需要对其通过遍历的方式对指令分词列表里的指令分词进行提取，需要说明说的是，指令分词可以通过数组、集合等方式存储，提取之后通过将指令分词转换为搜索语句进行搜索，由于搜索引擎输入框的语法是有规则的，因此在进行检索的时候需要设定与搜索引擎相匹配的语法，从而能够获取到更加精准的背景知识。

102、基于所述搜索结果语句进行组合处理，以得到搜索结果列表；

具体的，搜索出来的背景知识是一长串的文本文字，且是[标题：内容]的格式，因此需要对搜索结果语句进行组合处理，使其形成一个搜索结果列表，需要说明的是，该组合处理可以是字符串拼接，也可以是通过List集合或数组直接存储，数组和List集合的特性是有序的集合，因此在进行存储的时候需要将检索出来的搜索结果按顺序存入到搜索结果列表中，如此，以便后续的步骤进行。

103、将所述搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，其中结果分词列表包括多个分词词汇；

具体的，由于搜索结果列表里的搜索结果语句是一连串的，因此需要对其冗余文本和停用词进行删除，因此在进行删除的时候需要对其进行遍历，随后将每个搜索结果语句取出来进行删除停用词操作，同时再将每个删除后的搜索结果语句存入到新的集合中，如此能够得到结果分词列表，并且结果分词列表包括多个分词词汇，通过上述的技术方案，能够进一步将多余的冗余文本(停用词、名词解释、常识等)进行删除，如此，能够节省大模型的计算资源，同时由于文本长度较短，因此可以放置背景知识，同时从而提升问答效果。

104、根据所需压缩比设置相对应百分位数，以得到预设阈值；

具体的，预设阈值可以根据需要的压缩比进行设置相对应的百分数位，需要说明的是，预设阈值越高，用户输入指令与搜索见过语句的匹配度就越高，从而能够得到用户想要的结果，从而能够提升用户的问答体验。

105、计算所述结果分词列表中每个分词词汇的Self-information，以得到多个词汇阈值；

可选的，需要说明的是，Self-information也称为“自信息”或“信息量”，其公式可以为：I(x)＝-logP(x),其中，I(x)表示事件x的信息量，Px表示事件x发生的概率，log表示以2为底的对数，该公式可以衡量事件的不确定性，概率越高，信息量越低，反之亦然。

进一步的，而在本实施例中，通过计算每个结果分词列表中的Self-information，能够得出结果分词列表的分词词汇的词汇阈值，再通过将词汇阈值与预设阈值进行比较，从而得到多个比较结果，如此，能够根据比较结果对小于该预设阈值的结果分词列表的信息量进行删除，从而保留大于或等于预设阈值的结果分词列表，如此，能够得到较为准确的结果分词列表呈现于用户，进而提升了用户的体验，同时由于删除了冗余文本和一些停用词，进而能够节省出了大模型的计算资源。

106、将所述结果分词列表中各所述词汇阈值与所述预设阈值进行比较，根据比较结果删除小于所述预设阈值的所述分词词汇；

具体的，由于结果分词列表为可以为多个，因此需要将计算出来的词汇阈值与预设阈值进行比较，通过比较能够得到多个比较结果，再进行将小于预设阈值的结果分词列表进行删除，从而能够得到比较精准的结果分词列表。

107、根据用户所述输入指令和保留所述结果分词列表中的分词词汇合并生成背景知识，以获得更好得回答效果。

具体的，在进行问答对话时，需要将用户所输入的指令和搜索结果语句一起输入呈现在用户界面，因此需要将用户的输入指令和保留的结果分词列表进行合并，如此能够生成背景知识，由于经过停用词的删除和通过，从而能够提升用户的问答体验。

可选的，本实施例中，获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表，包括：基于所述输入指令生成指令文本；将指令文本进行分词处理以得到待处理分词；将所述待处理分词的停用词进行删除，以得到指令分词；将所述指令分词进行存储，以得到指令分词列表。

具体的，用户在进行输入指令文本时，通常是一连串的语句，因此需要对指令文本进行分词处理，其中，该分词处理可以是断句，通过先断句的方式将指令文本进行分割，从而得到关键词，但是，关键词中会包含很多停用词，进而需要将停用词进行删除(例如介词、连用词等)，通过上述步骤操作从而得到指令分词，再将指令文本通过集合的方式存储起来，该集合可以是List集合，需要说明的是，List集合是一个有序的集合且可重复的集合，通过使用这种集合方式来进行存储，能够使指令文本存储的顺序得到有序，如此就不会混乱，从而通过这种方式来进行存储并生成指令分词列表。

可选的，将所述指令分词进行存储，以得到指令分词列表，包括：根据所述指令文本顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致。

具体的，由于需要将用户输入的指令文本通过通过一些可选的处理手段进行检索，而指令文本是详细描述出用户的需求的，而在将指令文本处理成指令分词列表之间，也就是在存入List集合之前或之后，需要对指令分词进行排序，该排序可以是通过冒泡排序、快速排序等，从而将指令分词列表里的指令分词与用户输入的指令文本中的关键词继续对应的排序，从而方便后续提取指令分词，同时适配了其搜索引擎的语法，进而能够使其搜索结果更加精准，从而节省了大模型的计算资源，进一步提升了用户的体验。

进一步的，检索处理的步骤包括：对所述指令分词列表中的指令分词进行提取；将所述提取后的指令分词通过空格进行拼接，以得到搜索语句；将所述搜索语句通过搜索引擎进行检索，以得到搜索结果语句。

具体的，首先在进行检索之前需要对指令分词列表中的指令分词进行提取，随即将提取后的指令分词通过空格进行拼接，从能能够得到搜索语句，再将搜索语句通过搜索引擎进行检索，可以理解的，由于搜索引擎的语法格式是需要通过空格符来进行检索的，因此，将指令分词通过通过空格进行拼接能够将其适配搜索引擎语法，从而能够得到精准的搜索结果语句，通过这样的设置，在进行大模型问答的时候，能够节省其计算资源同时还能够使其系统的应用速度更快，从而能够提升用户的体验。

进一步的，所述比较的步骤，包括：将将各所述词汇阈值与预设阈值进行比较，得到多个比较结果；根据各比较结果删除小于所述预设阈值的所述结果分词词汇。

具体的，由于存在多个结果分词列表，因此需要对结果分词列表中的分词词汇进行Self-information计算，从而得到多个词汇阈值，再将多个词汇阈值与预设阈值进行比较，从而能够得到多个比较结果，由于预设阈值只有一个，而词汇阈值有多个，因此在两两对应比较下，能够得到多个比较结果，随即通过比较结果删除小于预设阈值的分词词汇，从而能够得到比较准确的结果分词列表，如此，能够提升用户体验的同时还能够节省大模型的计算资源。

下面对本申请实施例提供的基于压缩技术提示词优化装置进行描述，下文描述的基于压缩技术提示词优化装置与上文描述的基于压缩技术提示词优化方法可相互对应参照。参照图2为本申请实施例公开的一种基于压缩技术提示词优化装置结构示意图。

如图2所示，一种基于压缩技术提示词优化装置，包括：

获取单元200：用于获取用户输入指令；

处理模块201：用于对输入指令的停用词和搜索结果列表中的停用词进行删除，和对小于预设阈值的结果分词列表中的分词词汇进行删除；

组合单元202：用于对搜索结果语句进行组合；

遍历模块203：用于将搜索结果列表进行遍历；

计算模块204：用于将结果分词列表中的各分词词汇进行Self-information计算并得出词汇阈值；

预设单元205：用于对所需压缩比进行百分位数设置；

比较单元206：用于将词汇阈值与预设阈值进行比较。

本申请实施例提供的基于压缩技术提示词优化装置可应用于知识问答设备，如手机、电脑、学习机、智能机器人等设备中。

本发明实施例提供的大模型提示词优化装置能够实现上述方法实施例中基于压缩技术提示词优化方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。

参照图3，图3是本发明实施例提供的一种设备的结构示意图，如图3所示，包括：存储器、处理器及存储在存储器上并可在处理器上运行的基于压缩技术提示词优化方法的计算机程序，其中：

处理器用于调用存储器存储的计算机程序，执行如下步骤：

获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表；

提取所述指令分词列表里的指令分词并通过搜索引擎进行检索处理，以得到搜索结果语句；

基于所述搜索结果语句进行组合处理，以得到搜索结果列表；

将所述搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，其中结果分词列表包括多个分词词汇；

根据所需压缩比设置相对应百分位数，以得到预设阈值；

计算所述结果分词列表中每个分词词汇的Self-information，以得到多个词汇阈值；

将所述结果分词列表中各所述词汇阈值与所述预设阈值进行比较，根据比较结果删除小于所述预设阈值的所述分词词汇；

根据用户所述输入指令和保留所述结果分词列表中的分词词汇合并生成背景知识，以获得更好得回答效果。

可选的，获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表，包括：

基于所述输入指令生成指令文本；

将指令文本进行分词处理以得到待处理分词；

将所述待处理分词的停用词进行删除，以得到指令分词；

将所述指令分词进行存储，以得到指令分词列表。

可选的，将所述指令分词进行存储，以得到指令分词列表，包括：

根据所述指令文本顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致。

可选的，检索处理的步骤包括：

对所述指令分词列表中的指令分词进行提取；

将所述提取后的指令分词通过空格进行拼接，以得到搜索语句；

将所述搜索语句通过搜索引擎进行检索，以得到搜索结果语句。

可选的，比较的步骤，包括：

将各所述词汇阈值与预设阈值进行比较，得到多个比较结果；

根据各比较结果删除小于所述预设阈值的所述结果分词词汇。

本发明实施例提供的设备能够实现上述方法实施例中基于压缩技术提示词优化方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。

发明实施例还提供一种存储介质，存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的大模型提示优化方法或应用大模型提示词优化方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，其中相同的零部件用相同的附图标记表示。故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (8)

1.一种基于压缩技术提示词优化方法，其特征在于，包括：

获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表；

提取所述指令分词列表里的指令分词并通过搜索引擎进行检索处理，以得到搜索结果语句；

基于所述搜索结果语句进行组合处理，以得到搜索结果列表；

将所述搜索结果列表进行遍历并对停用词进行删除，以得到结果分词列表，其中结果分词列表包括多个分词词汇；

根据所需压缩比设置相对应百分位数，以得到预设阈值；

计算所述结果分词列表中每个分词词汇的Self-information，以得到多个词汇阈值；

将所述结果分词列表中各所述词汇阈值与所述预设阈值进行比较，根据比较结果删除小于所述预设阈值的所述分词词汇；

根据用户所述输入指令和保留所述结果分词列表中的分词词汇合并生成背景知识，以获得更好得回答效果。

2.根据权利要求1所述的一种基于压缩技术提示词优化方法，其特征在于，所述获取用户输入指令，并对输入指令的停用词进行删除处理，以得到指令分词列表，包括：

基于所述输入指令生成指令文本；

将指令文本进行分词处理以得到待处理分词；

将所述待处理分词的停用词进行删除，以得到指令分词；

将所述指令分词进行存储，以得到指令分词列表。

3.根据权利要求2所述的一种基于压缩技术提示词优化方法，其特征在于，所述将所述指令分词进行存储，以得到指令分词列表，包括：

根据所述指令文本顺序，对所述指令分词列表中的指令分词进行排序，以使所述指令分词列表的指令分词顺序与用户输入的所述指令文本顺序一致。

4.根据权利要求1所述的一种基于压缩技术提示词优化方法，其特征在于，所述检索处理的步骤包括：

对所述指令分词列表中的指令分词进行提取；

将所述提取后的指令分词通过空格进行拼接，以得到搜索语句；

将所述搜索语句通过搜索引擎进行检索，以得到搜索结果语句。

5.根据权利要求1所述的一种基于压缩技术提示词优化方法，其特征在于，所述比较的步骤，包括：

将各所述词汇阈值与预设阈值进行比较，得到多个比较结果；

根据各比较结果删除小于所述预设阈值的所述结果分词词汇。

6.根据权利要求1所述的一种基于压缩技术提示词优化装置，其特征在于，包括：

获取单元：用于获取用户输入指令；

处理模块：用于对输入指令的停用词和搜索结果列表中的停用词进行删除，和对小于预设阈值的结果分词列表中的分词词汇进行删除；

组合单元：用于对搜索结果语句进行组合；

遍历模块：用于将搜索结果列表进行遍历；

计算模块：用于将结果分词列表中的各分词词汇进行Self-info rmation计算并得出词汇阈值；

预设单元：用于对所需压缩比进行百分位数设置；

比较单元：用于将词汇阈值与预设阈值进行比较。

7.根据权利要求1所述的一种基于压缩技术提示词优化设备，其特征在于，包括存储器和处理器：

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如1-6任一项所述的基于压缩技术提示词优化方法。

8.一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的基于压缩技术提示词优化方法的各个步骤。