CN116911289B - 政务领域大模型可信文本生成方法、装置及存储介质 - Google Patents
政务领域大模型可信文本生成方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116911289B CN116911289B CN202311176752.9A CN202311176752A CN116911289B CN 116911289 B CN116911289 B CN 116911289B CN 202311176752 A CN202311176752 A CN 202311176752A CN 116911289 B CN116911289 B CN 116911289B
- Authority
- CN
- China
- Prior art keywords
- data
- template
- model
- knowledge
- problem data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013507 mapping Methods 0.000 claims abstract description 71
- 239000013598 vector Substances 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Stored Programmes (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种政务领域大模型可信文本生成方法、装置及存储介质。本申请方法包括：构建问题数据以及对应的知识数据；将问题数据以及知识数据构建成可控Prompt模板；将问题数据插入至预先配置的空白Prompt模板中，得到语义近似Prompt模板；将语义近似Prompt模板输入至目标大模型中，得到语义近似问题数据，语义近似问题数据与问题数据语义近似；将可控Prompt模板、问题数据、知识数据以及语义近似问题数据按照不同的组合方式构建映射数据集；以映射数据集作为目标大模型的输入，对目标大模型进行微调；在使用微调后的目标大模型时，将目标大模型输出的实时答案输入至预先构建的判别过滤器中执行负面判别，并将判别后的内容向用户输出。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及一种政务领域大模型可信文本生成方法、装置及存储介质。
背景技术
随着信息技术的飞速进步，政务领域正迎来信息化和数字化的浪潮。然而，在这个变革过程中，确保政务文本生成的可信度和准确性成为一个极具挑战性的任务。政务领域的文本生成任务涉及诸多复杂因素，包括对知识的精准理解、标准化问题描述的要求，以及对负面内容的严格过滤等。
尽管目前已存在多种文本生成技术，但在政务领域，由于其独特的知识性质和对文本可信性的特殊要求，现有技术常常难以胜任。传统的文本生成方法在政务领域的应用受到一定限制，常常无法满足政务领域对标准化、可信度要求高的文本生成的迫切需求。这些传统方法往往在对政务知识的准确理解方面存在欠缺，导致难以生成与政务领域相关、精准度高的文本内容。
随着大型模型技术的快速发展，基于这些模型的文本生成正逐渐成为一项重要趋势。尽管文本生成作为人工智能领域的重要研究领域，大型模型在生成文本方面的表现表现仍受到一定局限，可能无法始终满足人类表达意图的要求，因此需要适当的控制机制来引导生成过程。
传统的文本生成方法在政务领域依然存在一系列问题，例如内容逻辑错误、生成内容发散不聚焦、可信度不高、安全保密性差以及语句重复等。这些问题不仅影响了文本生成的质量，也难以满足政务领域对文本准确性、安全性、可信性以及内容约束的严格要求。
特别值得注意的是，政务领域常涉及大量政府机构生成的文本，如政策解读、公告通知、会议记录等。鉴于政务领域数据的海量性质，利用大型模型技术来加强对知识的理解能力，有望解决模型生成内容随意、缺乏约束等问题，从而提升文本生成的可控性和准确性。
通过提高生成文本的智能水平，能够更好地满足政府机构在文本生成方面的紧迫需求，从而在政务领域的信息化和数字化过程中发挥积极作用。这种创新方法在政务领域文本生成的可信度、准确性和可控性方面具有潜在的应用前景，为政府机构提供了一个更加高效、精确和可信的文本生成解决方案。
发明内容
为了解决上述技术问题，本申请提供了一种政务领域大模型可信文本生成方法、装置及存储介质，下面对本申请中提供的技术方案进行描述：
本申请第一方面提供了一种政务领域大模型可信文本生成方法，所述方法包括：
构建问题数据以及对应的知识数据；
将所述问题数据以及所述知识数据构建成可控Prompt模板，所述可控Prompt模板为结构化的模板，并且与所述问题数据建立有映射关系；
将所述问题数据插入至预先配置的空白Prompt模板中，得到语义近似Prompt模板，所述空白Prompt模板与所述可控Prompt具有相似的结构；
将所述语义近似Prompt模板输入至目标大模型中，得到语义近似问题数据，所述语义近似问题数据与所述问题数据语义近似；
将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集；
以所述映射数据集作为所述目标大模型的输入，对所述目标大模型进行微调；
在使用微调后的目标大模型时，将所述目标大模型输出的实时答案输入至预先构建的判别过滤器中执行负面判别，并将判别后的内容向用户输出；
将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集包括：
以所述问题数据映射至所述可控Prompt模板的模式，构建标准化的问题数据到Prompt可控模板的映射数据集；
以所述问题数据映射至所述可控Prompt模板至所述知识数据的模式，构建标准化的问题数据、可控Prompt模板与所述知识数据的映射数据集；
以所述语义近似问题数据映射至所述问题数据的模式，构建语义近似问题数据指标准化的问题数据的映射数据集。
可选的，所述语义近似问题数据包括正样本和负样本，所述正样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
将所述语义近似Prompt模板输入至所述目标大模型中，得到正样本；
所述负样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
针对每一个问题数据，为其增加负面引导语或者提示词；
将所述语义近似Prompt模板和所述负面引导语或者提示词输入至所述目标大模型中，得到负样本。
可选的，所述判别过滤器通过如下方式构建：
基于所述问题数据以及对应的知识数据构建原始数据集；
将所述原始数据集输入至微调后的目标大模型中，使得所述目标大模型针对所述原始数据集中的每一条问题数据生成不同长度的答案；
针对所述不同长度的答案，执行语句顺序随机变换、部分内容替换和关键词随机插入操作，得到负样本知识；
构建出问题数据-知识数据-负样本知识的训练数据集；
使用多层神经网络构建初始的判别过滤器；
基于所述初始的判别过滤器构建双塔结构的判别过滤孪生器模型；
以所述训练数据集作为输入，对所述判别过滤孪生器模型进行训练，得到最终的判别过滤器。
可选的，所述以所述训练数据集作为输入，对所述判别过滤孪生器模型进行训练，得到最终的判别过滤器包括：
基于所述训练数据集，以知识数据-负样本知识的模式，输入至所述判别过滤孪生器模型中，并映射至一个共享的表示空间；
构建对比损失函数，用于比较正样本知识和负样本知识之间的距离，所述正样本知识表示正常的所述知识数据；
针对每对样本，将它们分别输入至模型中，得到对应的表示向量，分别为正样本表示向量和负样本表示向量；
计算正样本表示向量和负样本表示向量在所述共享的表示空间中的距离，并根据所述对比损失函数进行优化，将收敛的判别器确定为最终的判别过滤器。
可选的，并根据所述对比损失函数进行优化包括：
使用随机梯度下降SGD，逐步调整模型的参数，使得所述对比损失函数逐渐减小，并将相似的知识数据映射到相近的表示，将不同的知识数据映射到相对较远的表示。
可选的，还包括：
向所述判别过滤孪生器模型添加一个全连接层以及softmax层，所述softmax层的输出包括正向内容输出和负向内容输出。
可选的，所述计算正样本表示向量和负样本表示向量在所述共享的表示空间中的距离包括：
通过下述式子进行计算：
将正样本表示向量表示为向量A，负样本表示向量表示为向量B，则：
其中，Distance表示两个向量在所述共享的表示空间中的距离，A1, A2, ..., An表示向量A的各个分量，B1, B2, ..., Bn 表示向量B的各个分量。n表示向量的维度，表示求平方根运算。
本申请第二方面提供了一种政务领域大模型可信文本生成装置，包括：
数据构建单元，用于构建问题数据以及对应的知识数据；
模板构建单元，用于将所述问题数据以及所述知识数据构建成可控Prompt模板，所述可控Prompt模板为结构化的模板，并且与所述问题数据建立有映射关系；
插入单元，用于将所述问题数据插入至预先配置的空白Prompt模板中，得到语义近似Prompt模板，所述空白Prompt模板与所述可控Prompt具有相似的结构；
语义近似数据生成单元，用于将所述语义近似Prompt模板输入至目标大模型中，得到语义近似问题数据，所述语义近似问题数据与所述问题数据语义近似；
映射数据集构建单元，用于将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集；
微调单元，用于以所述映射数据集作为所述目标大模型的输入，对所述目标大模型进行微调；
判别输出单元，用于在使用微调后的目标大模型时，将所述目标大模型输出的实时答案输入至预先构建的判别过滤器中执行负面判别，并将判别后的内容向用户输出；
所述映射数据集构建单元具体用于：
以所述问题数据映射至所述可控Prompt模板的模式，构建标准化的问题数据到Prompt可控模板的映射数据集；
以所述问题数据映射至所述可控Prompt模板至所述知识数据的模式，构建标准化的问题数据、可控Prompt模板与所述知识数据的映射数据集；
以所述语义近似问题数据映射至所述问题数据的模式，构建语义近似问题数据指标准化的问题数据的映射数据集。
本申请第三方面提供了一种政务领域大模型可信文本生成装置，所述装置包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供的方法这个方法在政务领域可信文本生成方面具有以下优点：
（1）通过将问题数据和知识数据结合构建成可控的Prompt模板，然后将其插入到空白的Prompt模板中，生成语义近似的Prompt模板，从而确保了生成的文本与问题和知识的语义相关性，提高了生成文本的可信度。
（2）可控Prompt模板的构建允许在生成文本时对模型进行引导和控制，从而确保生成的文本符合政务领域的标准和要求。用户可以根据具体情况设计适合的模板，引导模型生成准确、标准化的文本。
（3）构建映射数据集时，将问题数据、可控Prompt模板、知识数据和语义近似问题数据按不同的组合方式构建，丰富了模型的训练数据，有助于提高模型在生成文本时的适应能力和多样性。
（4）通过使用映射数据集对目标大模型进行微调，使其更好地理解政务领域的问题和知识，从而提高了生成文本的质量和可信度。同时，引入判别过滤器对模型输出进行负面判别，进一步提高了生成文本的可控性和质量。
（5）在微调后的目标大模型生成文本时，通过判别过滤器进行负面判别，可以自动识别和过滤掉不符合要求的文本内容，减轻了人工审核的负担，提高了效率和准确性。
本申请提供的方法可应用于政务领域的各类文本生成任务，如政策解读、公告通知、会议记录等，具有一定的通用性和适用性。
附图说明
为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的政务领域大模型可信文本生成方法的一个实施例流程示意图；
图2为本申请中构建判别过滤器部分的一个实施例流程示意图；
图3为本申请中提供的方法的模块化流程示意图；
图4为本申请提供的政务领域大模型可信文本生成装置的一个实施例结构示意图；
图5为本申请提供的政务领域大模型可信文本生成装置的另一个实施例结构示意图。
具体实施方式
需要说明的是，本申请提供的方法，可以应用于终端也可以应用于系统，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。
下面对本申请中提供的实施例进行详细描述：
请参阅图1和图3，本申请首先提供了一种政务领域大模型可信文本生成方法的实施例，该实施例包括：
S101、构建问题数据以及对应的知识数据；
该步骤中，可以基于大规模无标注政策公文文本语料，筛选出可以用于知识问答应用场景的部分语料，并从该语料中梳理出可以作为知识问答的知识数据，形成知识数据。针对梳理好的知识数据，可以通过标注的方式为每个知识数据标注对应的问题，最终得到完整的问题数据以及所对应的知识数据。
S102、将所述问题数据以及所述知识数据构建成可控Prompt模板；
该步骤中，将问题数据和知识数据组合构建成可控的Prompt模板，用于引导模型生成与问题和知识相关的文本。
该步骤中，首先将问题和知识数据进行结构化表示，例如将问题转化为标准问题模板，将知识数据分解成关键信息。
根据问题和知识的结构化表示，构建一个可控的Prompt模板。这个模板可以包含问题的占位符、知识的占位符以及其他需要的文本框架，以便引导模型填充内容。
再将问题和知识数据中的具体内容替换到相应的占位符位置，形成最终的可控Prompt模板。这样，模板中的占位符就被实际问题和知识数据填充了。将构建好的可控Prompt模板作为输入，输入到目标大模型中，让模型根据这个模板生成与问题和知识相关的文本。
例如，如果有一个问题：“如何申请政府补助？”以及对应的知识条目：“政府补助申请流程包括填写申请表格、提交所需文件等。”可以构建一个可控的Prompt模板，如下所示：
问题：如何申请政府补助？
知识：政府补助申请流程包括填写申请表格、提交所需文件等。
请你详细说明如何申请政府补助。
在这个模板中，问题和知识数据被嵌入到文本框架中，模型可以根据这个模板生成详细的申请流程说明。这样的可控Prompt模板能够引导模型生成与问题和知识相关的文本，确保生成的内容准确、相关且具有可信度。
S103、将所述问题数据插入至预先配置的空白Prompt模板中，得到语义近似Prompt模板，所述空白Prompt模板与所述可控Prompt具有相似的结构；
将问题数据嵌入预先配置的空白Prompt模板中，生成语义近似的Prompt模板，确保其结构与可控Prompt相似，以保持语义的一致性。
该步骤中，首先设计一个空白的Prompt模板，其中留有可以插入问题数据的占位符位置。这个模板的结构应该与可控Prompt模板的结构相似，以确保最终生成的语义近似Prompt模板具有一致的结构。
将具体的问题数据插入到空白Prompt模板的占位符位置中，形成一个新的语义近似Prompt模板。这样，问题数据就被嵌入到了模板中，保持了语义的一致性。
将生成的语义近似Prompt模板输入到模型中，让模型根据这个模板生成与问题数据语义近似的文本。模型会根据模板的结构和问题数据的语义生成相应的文本内容。
例如，如果空白Prompt模板为：
[问题数据将插入此处]
对于问题数据：“如何申请政府补助？”将其插入到模板中，形成语义近似的Prompt模板：
如何申请政府补助？[问题数据将插入此处]
这样，生成的语义近似Prompt模板与问题数据语义相近，同时保持了可控Prompt模板的结构一致性。模型在生成文本时会根据这个模板进行填充，确保生成的文本与问题数据语义相关。
S104、将所述语义近似Prompt模板输入至目标大模型中，得到语义近似问题数据，所述语义近似问题数据与所述问题数据语义近似；
在前述步骤中，所生成的语义近似Prompt模板包括正面的和负面的，即语义近似问题数据包括正样本和负样本，基于正样本所生成的为正面的语义近似Prompt模板，基于负样本所生成的为负面的语义近似Prompt模板。
其中，所述正样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
将所述语义近似Prompt模板输入至所述目标大模型中，得到正样本；
所述负样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
针对每一个问题数据，为其增加负面引导语或者提示词；
将所述语义近似Prompt模板和所述负面引导语或者提示词输入至所述目标大模型中，得到负样本。
该可选的实施例中，对于每一个问题数据，将其嵌入到预先设计的空白Prompt模板中，生成语义近似的Prompt模板。将生成的语义近似Prompt模板输入至目标大模型中，得到正样本，即与问题数据语义相关的文本。
对于每一个问题数据，同样将其嵌入到空白Prompt模板中，生成语义近似的Prompt模板。
针对每一个问题数据，为其增加负面引导语或者提示词，以模拟负面情况。
将带有负面引导语或提示词的语义近似Prompt模板输入至目标大模型中，得到负样本，即与问题数据语义不相关、甚至带有负面意义的文本。
这样，通过构建正样本和负样本，可以在语义近似的基础上，分别得到与问题数据相关的正面语义近似Prompt模板和与问题数据不相关或带有负面意义的负面语义近似Prompt模板。这有助于在后续的模型训练和判别过程中，对生成的文本进行准确的判别和分类，从而提高文本生成的可信度和准确性。
S105、将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集；
该步骤中，基于不同的组合方式，构建映射数据集，以用于模型训练和优化，确保生成文本的质量和准确性。
在实际中，可以按照多种不同的组合方式来构建映射数据集，本申请中提供了一些可能的组合方式，下面进行描述：
以所述问题数据至所述可控Prompt模板的模式，构建标准化的问题数据到Prompt可控模板的映射数据集；
以所述问题数据至所述可控Prompt模板至所述知识数据的模式，构建标准化的问题数据、可控Prompt模板与所述知识数据的映射数据集；
以所述问题数据至所述可控Prompt模板的模式，构建标准化问题数据到可控Prompt模板映射的数据集。
下面对这三种组合方式做详细解释：
问题数据至可控Prompt模板的映射数据集：在这种组合方式中，每个问题数据与一个可控Prompt模板相对应，形成问题到Prompt的映射。这种映射数据集旨在让模型以问题为输入，结合可控Prompt模板的引导，生成与问题相关的文本。例如，问题为"如何申请社会保险？"，可控Prompt模板为"请说明如何申请{knowledge}"，这将生成映射数据集，其中包含了问题到Prompt的映射。基于该数据集，微调目标大模型，实现非标准化问题到标准化问题的变换学习，使目标大模型具备用户问题标准化的能力。
问题数据至可控Prompt模板至知识数据的映射数据集：在这种组合方式中，每个问题数据与一个可控Prompt模板以及对应的知识数据相对应，形成问题、Prompt和知识的映射。这种映射数据集旨在让模型不仅结合问题和引导，还结合了问题相关的知识，生成更具体和准确的文本。例如，问题为"如何申请社会保险？"，可控Prompt模板为"请说明如何申请{knowledge}"，知识数据包含有关社会保险申请的具体步骤，这将生成映射数据集，其中包含了问题、Prompt和知识的映射。基于该数据集，微调目标大模型，实现用户标准化问题到Prompt可控模板的变换学习，使政务模型具备从用户标准化问题预测可控Prompt模板的能力
还有一种方式是以所述语义近似问题数据至所述问题数据的模式，构建语义近似问题数据指标准化的问题数据的映射数据集。
首先需要有一组原始的问题数据，这些问题可能是用户提出的实际问题或需要回答的查询。
然后使用自然语言处理（NLP）技术中的语义近似方法，例如词嵌入模型（WordEmbeddings）或预训练的深度学习模型，来分析原始的问题的语义。这些技术能够捕捉问题之间的语义相似性。
再基于语义近似技术的分析，生成与原始问题语义相似但经过标准化处理的新问题数据。标准化可以包括去除问题中的歧义、规范化结构和格式、统一术语等。最后将这些标准化的问题数据与原始问题数据建立映射关系。
这种映射方式的目的在于：
帮助模型理解问题的语义，标准化的问题数据更容易被模型理解，因为它们经过了语义近似处理，去除了一些可能导致歧义或困惑的元素。
并且，通过使用语义相似的标准化问题，模型可以更一致地生成文本回答，无论原始问题的具体形式如何。标准化问题通常更易处理，因为它们通常符合模型的输入要求，可以更好地导向模型生成相关和准确的文本回答。
S106、以所述映射数据集作为所述目标大模型的输入，对所述目标大模型进行微调；
在步骤S106中，使用构建的映射数据集作为输入，对目标大模型进行微调，以提升模型对问题和知识的理解能力，进而提高生成文本的质量和可信度。
该步骤可以首先将构建的映射数据集分为训练集和验证集，用于微调目标大模型。映射数据集中的数据对包括问题数据、知识数据、可控Prompt模板以及语义近似问题数据。使用映射数据集作为训练数据，对目标大模型进行微调。在微调过程中，通过训练模型使其逐渐调整参数，以更好地适应输入数据的特征，提高对问题和知识的理解能力。在微调过程中，可以使用反向传播算法结合优化算法（如随机梯度下降）来最小化损失函数。损失函数衡量了模型生成文本与真实文本之间的差距，目标是使生成文本尽可能地接近真实文本。还可以使用验证集对微调后的模型进行验证，评估模型在未见过的数据上的性能。根据验证结果进行参数调优，以确保模型的泛化能力和性能。
S107、在使用微调后的目标大模型时，将所述目标大模型输出的实时答案输入至预先构建的判别过滤器中执行负面判别，并将判别后的内容向用户输出。
在使用微调后的目标大模型生成实时答案后，通过判别过滤器进行负面判别，以确保生成的文本内容满足可信度和准确性要求，并向用户提供相应的输出。
在该步骤中可以通过预先构建的判别过滤器对使用微调后的目标大模型生成的实时答案进行负面判别，以确保生成的文本内容满足可信度和准确性要求，并向用户提供相应的输出。根据判别过滤器的结果，确定实时答案是否满足可信度和准确性要求。如果实时答案被判定为正面，即满足要求，可以将其直接向用户输出。如果实时答案被判定为负面，即存在不满足要求的特征，可以向用户提供相应的提示，或者重新生成更合适的文本。
实施例二：
上述实施例中，通过判别过滤器来对模型输出的答案进行判别和过滤，本申请还提供了一个实施例，用于适用于上述方法的构建判别过滤器，参阅图2，下面对该实施例进行描述：
S201、基于所述问题数据以及对应的知识数据构建原始数据集；
S202、将所述原始数据集输入至微调后的目标大模型中，使得所述目标大模型针对所述原始数据集中的每一条问题数据生成不同长度的答案；
该实施例中首先基于前述的问题数据和对应的知识数据，构建原始数据集，然后将该原始数据集输入至目标大模型中，从而生成多条不同长度的答案，这一过程有助于模型学习并提高生成文本的多样性和适应性。微调后的模型将会根据不同的输入数据，产生各种长度和内容的答案，以更好地满足用户需求和上下文。通过这种方式，模型可以逐步优化生成文本的表达能力，以更准确地传达问题和知识的关联性，从而提高生成文本的质量和可信度。这也有助于使模型在不同场景下生成更具有创造性和多样性的文本内容，以适应不同用户需求和交流情境。
S203、针对所述不同长度的答案，执行语句顺序随机变换、部分内容替换和关键词随机插入操作，得到负样本知识；
S204、构建出问题数据-知识数据-负样本知识的训练数据集；
该实施例中，通过对生成答案进行这些处理，可以生成一系列与原问题和知识无关的负面样本，用于训练模型识别和区分可信文本和负面文本。这有助于模型更好地理解文本的上下文和相关性，提高其判别能力，进而增强可信文本生成模型的质量和可信度。当针对不同长度的生成答案进行负样本知识的构建时，可以采取以下三种变换方式，以丰富负面样本，从而帮助训练可信文本生成判别过滤模型：
语句顺序随机变换： 对于每个问题和对应的知识，生成不同长度的答案，然后对这些答案的句子顺序进行随机变换。通过重新排列句子顺序，可以构建出多个负样本知识，这些知识在结构上与原始生成文本不同。这有助于模型学习识别不同句子组合的可信度。
部分内容随机替换： 对于每个问题和知识，生成不同长度的答案，然后随机选择其中一部分内容，将其替换为与问题和知识无关的内容。例如，将问题和知识相关的关键信息替换为随机生成的文本，以创建与原始内容不相关的负样本知识。这有助于训练模型识别不相关信息的存在。
关键词随机插入： 对于每个问题和知识，生成不同长度的答案，并在其中随机插入与问题和知识无关的安全保密相关关键词。这些关键词可能是敏感词汇或与政务领域无关的词汇，从而构建出一种与原始内容不相关的负样本知识。这有助于模型在处理潜在安全问题时保持警惕。
通过将这些负样本知识（问题，知识，负样本知识）添加到可信文本生成判别过滤数据集中，模型可以在训练过程中学习辨别原始内容和负面内容之间的差异，从而提高其可信文本判别能力。这样的训练有助于模型更准确地判别和生成政务领域的可信文本。
S205、使用多层神经网络构建初始的判别过滤器；
将问题、知识以及负样本知识映射为数值化的表示形式，例如词嵌入或字嵌入。可以使用预训练的词向量模型来获取词的分布式表示，或者使用训练数据集在任务中学习得到。在神经网络中构建判别过滤器的各个层，包括输入层、隐藏层和输出层。输入层接收数值化的问题、知识和负样本知识表示，隐藏层可以包括多个神经元和激活函数，用于学习抽取特征，输出层用于判别生成文本的可信度。定义适当的损失函数来度量判别过滤器的性能。例如损失函数包括交叉熵损失函数、均方误差等。损失函数能够衡量生成文本与负样本知识之间的差异，使模型能够区分正确的文本和负面样本。
S206、基于所述初始的判别过滤器构建双塔结构的判别过滤孪生器模型；
在步骤S206中，基于初始的可信文本生成判别过滤器构建双塔结构的判别过滤孪生器模型，以进一步提升模型的可信度和准确性。这个双塔结构由两个神经网络塔组成，分别处理生成的文本和真实的标准化文本。
首先选择适当的神经网络架构，与初始判别过滤器类似，但在两个塔中略有不同以适应不同类型的输入数据。这些网络在某些层次共享参数，以便在学习过程中共同捕获文本的特征。
将生成的文本数据和标准化的真实文本数据输入到两个塔中。通过这些输入，每个塔将生成相应的表示向量，用于表示输入文本的语义信息。首先将训练数据集中的知识数据和对应的负样本知识数据按照知识数据-负样本知识的模式输入到判别过滤孪生器模型中。这些数据会通过模型的神经网络结构，映射到一个共享的表示空间，其中每个知识数据和负样本知识数据都对应一个表示向量。
可以设计一个对比损失函数，该函数测量两个塔生成的表示向量之间的距离。这有助于确保相似内容的文本在表示空间中更接近，而不同内容的文本则更远离。
对于每一对样本，将其正样本知识数据和负样本知识数据分别输入到模型中，通过前向传播得到对应的表示向量。这些表示向量在共享的表示空间中表达了它们的语义信息。然后，计算正样本表示向量和负样本表示向量在共享的表示空间中的距离，使用先前设计的对比损失函数来度量它们之间的相似性或差异性。
在计算两个向量之间的距离时，可以通过下述式子来计算：
将正样本表示向量表示为向量A，负样本表示向量表示为向量B，则：
其中，Distance表示两个向量在所述共享的表示空间中的距离，A1, A2, ..., An表示向量A的各个分量，B1, B2, ..., Bn 表示向量B的各个分量。n表示向量的维度，表示求平方根运算。
根据计算得到的距离值，使用优化算法（例如随机梯度下降）逐步调整模型的参数，以最小化对比损失函数。这个过程会使得正样本知识数据在表示空间中更接近，而负样本知识数据更远离，从而提升判别器的能力。
这种对比学习机制增强了模型在区分可信文本和负面样本方面的能力。还可以使用优化算法，如随机梯度下降，迭代地调整神经网络的参数，以最小化对比损失函数。通过这个过程，使得两个塔生成的表示向量能够更好地区分不同类型的文本。在训练过程完成后，还可以使用验证数据集来评估双塔结构的性能。可以计算表示向量之间的距离、分类准确率等指标，以确定模型的效果。
S207、以所述训练数据集作为输入，对所述判别过滤孪生器模型进行训练，得到最终的判别过滤器。
经过多次迭代优化后，判别器的参数逐渐收敛。当对比损失函数收敛到一个稳定值时，将得到的模型视为最终的判别过滤器。该过滤器在共享的表示空间中能够有效区分正样本知识和负样本知识，从而用于判别生成文本的可信度和准确性。
实施例三：
在一个可选的实现方式中，可以增加一个全连接层和一个softmax层，以进一步优化和增强模型的输出。
首先对已经构建好的判别过滤孪生器模型进行扩展，在模型的结构中添加一个全连接层。全连接层通常由多个神经元组成，每个神经元与前一层的所有神经元相连。这样的全连接层可以引入更多的参数和非线性变换，从而更好地捕捉文本数据的复杂特征。
在全连接层之后，再添加一个Softmax层。Softmax层是一种常用于多分类问题的激活函数，它将模型的输出映射为概率分布。在这个特征中，Softmax层的输出被设计为包括正向内容输出和负向内容输出两部分。
在Softmax层的输出中，正向内容输出表示模型认为文本是正面、可信内容的概率，而负向内容输出表示模型认为文本是负面、不可信内容的概率。这两个输出值通过Softmax函数进行归一化，使得它们之和为1，以便表示一个文本既可能是正面的又可能是负面的。
通过向判别过滤孪生器模型添加全连接层和Softmax层，可以使模型能够更精确地对生成文本的可信度进行分类，同时提供了关于正面和负面内容的输出概率，从而帮助用户更好地理解模型的判别结果。这个特征进一步提高了模型的可信文本生成能力。
上述实施例对本申请中提供的方法进行了详细描述，下面对本申请中提供的装置和存储介质进行描述：
参阅图4,本申请提供了一种政务领域大模型可信文本生成装置，包括：
数据构建单元401，用于构建问题数据以及对应的知识数据；
模板构建单元402，用于将所述问题数据以及所述知识数据构建成可控Prompt模板；
插入单元403，用于将所述问题数据插入至预先配置的空白Prompt模板中，得到语义近似Prompt模板，所述空白Prompt模板与所述可控Prompt具有相似的结构；
语义近似数据生成单元404，用于将所述语义近似Prompt模板输入至目标大模型中，得到语义近似问题数据，所述语义近似问题数据与所述问题数据语义近似；
映射数据集构建单元405，用于将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集；
微调单元406，用于以所述映射数据集作为所述目标大模型的输入，对所述目标大模型进行微调；
判别输出单元407，用于在使用微调后的目标大模型时，将所述目标大模型输出的实时答案输入至预先构建的判别过滤器中执行负面判别，并将判别后的内容向用户输出。
可选的，映射数据集构建单元具体用于：
以所述问题数据至所述可控Prompt模板的模式，构建标准化的问题数据到Prompt可控模板的映射数据集；
以所述问题数据至所述可控Prompt模板至所述知识数据的模式，构建标准化的问题数据、可控Prompt模板与所述知识数据的映射数据集；
以所述语义近似问题数据至所述问题数据的模式，构建语义近似问题数据指标准化的问题数据的映射数据集。
可选的，所述语义近似问题数据包括正样本和负样本，插入单元403具体用于构建正样本和负样本，其中：
正样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
将所述语义近似Prompt模板输入至所述目标大模型中，得到正样本；
负样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
针对每一个问题数据，为其增加负面引导语或者提示词；
将所述语义近似Prompt模板和所述负面引导语或者提示词输入至所述目标大模型中，得到负样本。
可选的，还包括判别过滤器构建单元408，用于通过如下方式构建判别过滤器：
基于所述问题数据以及对应的知识数据构建原始数据集；
将所述原始数据集输入至微调后的目标大模型中，使得所述目标大模型针对所述原始数据集中的每一条问题数据生成不同长度的答案；
针对所述不同长度的答案，执行语句顺序随机变换、部分内容替换和关键词随机插入操作，得到负样本知识；
构建出问题数据-知识数据-负样本知识的训练数据集；
使用多层神经网络构建初始的判别过滤器；
基于所述初始的判别过滤器构建双塔结构的判别过滤孪生器模型；
以所述训练数据集作为输入，对所述判别过滤孪生器模型进行训练，得到最终的判别过滤器。
可选的，判别过滤器构建单元408具体用于：
基于所述训练数据集，以知识数据-负样本知识的模式，输入至所述判别过滤孪生器模型中，并映射至一个共享的表示空间；
构建对比损失函数，用于比较正样本知识和负样本知识之间的距离，所述正样本知识表示正常的所述知识数据；
针对每对样本，将它们分别输入至模型中，得到对应的表示向量，分别为正样本表示向量和负样本表示向量；
计算正样本表示向量和负样本表示向量在所述共享的表示空间中的距离，并根据所述对比损失函数进行优化，将收敛的判别器确定为最终的判别过滤器。
可选的，判别过滤器构建单元408具体用于：
使用随机梯度下降SGD，逐步调整模型的参数，使得所述对比损失函数逐渐减小，并将相似的知识数据映射到相近的表示，将不同的知识数据映射到相对较远的表示。
可选的，判别过滤器构建单元408具体用于：
通过下述式子进行计算：
将正样本表示向量表示为向量A，负样本表示向量表示为向量B，则：
其中，Distance表示两个向量在所述共享的表示空间中的距离，A1, A2, ..., An表示向量A的各个分量，B1, B2, ..., Bn 表示向量B的各个分量。n表示向量的维度，√表示求平方根运算。
可选的，判别过滤器构建单元408具体用于：
向所述判别过滤孪生器模型添加一个全连接层以及softmax层，所述softmax层的输出包括正向内容输出和负向内容输出。
本申请还提供了一种政务领域大模型可信文本生成装置，包括：
处理器501、存储器502、输入输出单元503、总线504；
处理器501与存储器502、输入输出单元503以及总线504相连；
存储器502保存有程序，处理器501调用程序以执行如上任一方法。
本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种政务领域大模型可信文本生成方法，其特征在于，所述方法包括：
构建问题数据以及对应的知识数据；
将所述问题数据以及所述知识数据构建成可控Prompt模板，所述可控Prompt模板为结构化的模板，并且与所述问题数据建立有映射关系；
将所述问题数据插入至预先配置的空白Prompt模板中，得到语义近似Prompt模板，所述空白Prompt模板与所述可控Prompt具有相似的结构；
将所述语义近似Prompt模板输入至目标大模型中，得到语义近似问题数据，所述语义近似问题数据与所述问题数据语义近似；
将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集；
以所述映射数据集作为所述目标大模型的输入，对所述目标大模型进行微调；
在使用微调后的目标大模型时，将所述目标大模型输出的实时答案输入至预先构建的判别过滤器中执行负面判别，并将判别后的内容向用户输出；
将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集包括：
以所述问题数据映射至所述可控Prompt模板的模式，构建标准化的问题数据到Prompt可控模板的映射数据集；
以所述问题数据映射至所述可控Prompt模板至所述知识数据的模式，构建标准化的问题数据、可控Prompt模板与所述知识数据的映射数据集；
以所述语义近似问题数据映射至所述问题数据的模式，构建语义近似问题数据指标准化的问题数据的映射数据集。
2.根据权利要求1中所述的政务领域大模型可信文本生成方法，其特征在于，所述语义近似问题数据包括正样本和负样本，所述正样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
将所述语义近似Prompt模板输入至所述目标大模型中，得到正样本；
所述负样本通过如下方式构建：
针对每一个问题数据，将其嵌入到空白Prompt模板中，得到语义近似Prompt模板；
针对每一个问题数据，为其增加负面引导语或者提示词；
将所述语义近似Prompt模板和所述负面引导语或者提示词输入至所述目标大模型中，得到负样本。
3.根据权利要求1中所述的政务领域大模型可信文本生成方法，其特征在于，所述判别过滤器通过如下方式构建：
基于所述问题数据以及对应的知识数据构建原始数据集；
将所述原始数据集输入至微调后的目标大模型中，使得所述目标大模型针对所述原始数据集中的每一条问题数据生成不同长度的答案；
针对所述不同长度的答案，执行语句顺序随机变换、部分内容替换和关键词随机插入操作，得到负样本知识；
构建出问题数据-知识数据-负样本知识的训练数据集；
使用多层神经网络构建初始的判别过滤器；
基于所述初始的判别过滤器构建双塔结构的判别过滤孪生器模型；
以所述训练数据集作为输入，对所述判别过滤孪生器模型进行训练，得到最终的判别过滤器。
4.根据权利要求3中所述的政务领域大模型可信文本生成方法，其特征在于，所述以所述训练数据集作为输入，对所述判别过滤孪生器模型进行训练，得到最终的判别过滤器包括：
基于所述训练数据集，以知识数据-负样本知识的模式，输入至所述判别过滤孪生器模型中，并映射至一个共享的表示空间；
构建对比损失函数，用于比较正样本知识和负样本知识之间的距离，所述正样本知识表示正常的所述知识数据，且不具有负面信息；
针对每对样本，将它们分别输入至模型中，得到对应的表示向量，分别为正样本表示向量和负样本表示向量；
计算正样本表示向量和负样本表示向量在所述共享的表示空间中的距离，并根据所述对比损失函数进行优化，将收敛的判别器确定为最终的判别过滤器。
5.根据权利要求4中所述的政务领域大模型可信文本生成方法，其特征在于，并根据所述对比损失函数进行优化包括：
使用随机梯度下降SGD，逐步调整模型的参数，使得所述对比损失函数逐渐减小，并将相似的知识数据映射到相近的表示，将不同的知识数据映射到相对较远的表示。
6.根据权利要求4中所述的政务领域大模型可信文本生成方法，其特征在于，还包括：
向所述判别过滤孪生器模型添加一个全连接层以及softmax层，所述softmax层的输出包括正向内容输出和负向内容输出。
7.根据权利要求4中所述的政务领域大模型可信文本生成方法，其特征在于，所述计算正样本表示向量和负样本表示向量在所述共享的表示空间中的距离包括：
通过下述式子进行计算：
将正样本表示向量表示为向量A，负样本表示向量表示为向量B，则：
其中，Distance表示两个向量在所述共享的表示空间中的距离，A1, A2, ..., An 表示向量A的各个分量，B1, B2, ..., Bn 表示向量B的各个分量，n表示向量的维度，/>表示求平方根运算。
8.一种政务领域大模型可信文本生成装置，其特征在于，包括：
数据构建单元，用于构建问题数据以及对应的知识数据；
模板构建单元，用于将所述问题数据以及所述知识数据构建成可控Prompt模板，所述可控Prompt模板为结构化的模板，并且与所述问题数据建立有映射关系；
插入单元，用于将所述问题数据插入至预先配置的空白Prompt模板中，得到语义近似Prompt模板，所述空白Prompt模板与所述可控Prompt具有相似的结构；
语义近似数据生成单元，用于将所述语义近似Prompt模板输入至目标大模型中，得到语义近似问题数据，所述语义近似问题数据与所述问题数据语义近似；
映射数据集构建单元，用于将所述可控Prompt模板、所述问题数据、所述知识数据以及所述语义近似问题数据按照不同的组合方式构建映射数据集；
微调单元，用于以所述映射数据集作为所述目标大模型的输入，对所述目标大模型进行微调；
判别输出单元，用于在使用微调后的目标大模型时，将所述目标大模型输出的实时答案输入至预先构建的判别过滤器中执行负面判别，并将判别后的内容向用户输出；
映射数据集构建单元具体用于：
以所述问题数据映射至所述可控Prompt模板的模式，构建标准化的问题数据到Prompt可控模板的映射数据集；
以所述问题数据映射至所述可控Prompt模板至所述知识数据的模式，构建标准化的问题数据、可控Prompt模板与所述知识数据的映射数据集；
以所述语义近似问题数据映射至所述问题数据的模式，构建语义近似问题数据指标准化的问题数据的映射数据集。
9.一种政务领域大模型可信文本生成装置，其特征在于，所述装置包括：
处理器、存储器、输入输出单元以及总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至7任一项所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至7中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311176752.9A CN116911289B (zh) | 2023-09-13 | 2023-09-13 | 政务领域大模型可信文本生成方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311176752.9A CN116911289B (zh) | 2023-09-13 | 2023-09-13 | 政务领域大模型可信文本生成方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116911289A CN116911289A (zh) | 2023-10-20 |
| CN116911289B true CN116911289B (zh) | 2024-01-02 |
Family
ID=88360730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311176752.9A Active CN116911289B (zh) | 2023-09-13 | 2023-09-13 | 政务领域大模型可信文本生成方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116911289B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117272123B (zh) * | 2023-11-22 | 2024-02-27 | 中电科大数据研究院有限公司 | 一种基于大模型的敏感数据处理方法、装置及存储介质 |
| CN117313748B (zh) * | 2023-11-24 | 2024-03-12 | 中电科大数据研究院有限公司 | 面向政务问答的多特征融合语义理解方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113962219A (zh) * | 2021-10-13 | 2022-01-21 | 国网浙江省电力有限公司电力科学研究院 | 面向电力变压器知识检索和问答的语义匹配方法及系统 |
| CN114416927A (zh) * | 2022-01-24 | 2022-04-29 | 招商银行股份有限公司 | 智能问答方法、装置、设备及存储介质 |
| CN114647719A (zh) * | 2020-12-21 | 2022-06-21 | 北京金山数字娱乐科技有限公司 | 一种基于知识图谱的问答方法及装置 |
| CN115292457A (zh) * | 2022-06-30 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 知识问答方法、装置、计算机可读介质及电子设备 |
| CN115587583A (zh) * | 2022-11-07 | 2023-01-10 | 维沃移动通信有限公司 | 噪声的检测方法、装置及电子设备 |
| CN115599901A (zh) * | 2022-12-14 | 2023-01-13 | 中国人民解放军国防科技大学（Cn） | 基于语义提示的机器问答方法、装置、设备及存储介质 |
| CN115687609A (zh) * | 2022-09-06 | 2023-02-03 | 北京交通大学 | 一种基于Prompt多模板融合的零样本关系抽取方法 |
| CN116384411A (zh) * | 2023-06-05 | 2023-07-04 | 北京水滴科技集团有限公司 | 基于外呼机器人的用户意图识别模型的训练方法和装置 |
| CN116467417A (zh) * | 2023-04-14 | 2023-07-21 | 平安科技（深圳）有限公司 | 问题答案的生成方法、装置、设备及存储介质 |
-
2023
- 2023-09-13 CN CN202311176752.9A patent/CN116911289B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114647719A (zh) * | 2020-12-21 | 2022-06-21 | 北京金山数字娱乐科技有限公司 | 一种基于知识图谱的问答方法及装置 |
| CN113962219A (zh) * | 2021-10-13 | 2022-01-21 | 国网浙江省电力有限公司电力科学研究院 | 面向电力变压器知识检索和问答的语义匹配方法及系统 |
| CN114416927A (zh) * | 2022-01-24 | 2022-04-29 | 招商银行股份有限公司 | 智能问答方法、装置、设备及存储介质 |
| CN115292457A (zh) * | 2022-06-30 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 知识问答方法、装置、计算机可读介质及电子设备 |
| CN115687609A (zh) * | 2022-09-06 | 2023-02-03 | 北京交通大学 | 一种基于Prompt多模板融合的零样本关系抽取方法 |
| CN115587583A (zh) * | 2022-11-07 | 2023-01-10 | 维沃移动通信有限公司 | 噪声的检测方法、装置及电子设备 |
| CN115599901A (zh) * | 2022-12-14 | 2023-01-13 | 中国人民解放军国防科技大学（Cn） | 基于语义提示的机器问答方法、装置、设备及存储介质 |
| CN116467417A (zh) * | 2023-04-14 | 2023-07-21 | 平安科技（深圳）有限公司 | 问题答案的生成方法、装置、设备及存储介质 |
| CN116384411A (zh) * | 2023-06-05 | 2023-07-04 | 北京水滴科技集团有限公司 | 基于外呼机器人的用户意图识别模型的训练方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing;Pengfei Liu 等;《ACM Computing Surveys》;第55卷(第9期);1-35 * |
| 基于Prompt和BERT的情感原因对抽取方法;陈籽健 等;《信息技术与信息化》(第08期);42-46 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116911289A (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116911289B (zh) | 政务领域大模型可信文本生成方法、装置及存储介质 | |
| CN116992005B (zh) | 基于大模型及本地知识库的智能对话方法、系统及设备 | |
| CN116956835B (zh) | 一种基于预训练语言模型的文书生成方法 | |
| CN116663525B (zh) | 一种文档审核方法、装置、设备及存储介质 | |
| CN112711652B (zh) | 术语标准化方法及装置 | |
| CN113448843A (zh) | 基于缺陷分析的图像识别软件测试数据增强方法及装置 | |
| CN114003682A (zh) | 一种文本分类方法、装置、设备及存储介质 | |
| CN115858750A (zh) | 基于自然语言处理的电网技术标准智能问答方法及系统 | |
| CN116542297A (zh) | 基于文本数据训练生成对抗网络的方法及装置 | |
| CN113627159B (zh) | 纠错模型的训练数据确定方法、装置、介质及产品 | |
| CN116910251A (zh) | 基于bert模型的文本分类方法、装置、设备及介质 | |
| CN115858776B (zh) | 一种变体文本分类识别方法、系统、存储介质和电子设备 | |
| CN111898337A (zh) | 一种基于深度学习的单句摘要缺陷报告标题自动生成方法 | |
| CN116738956A (zh) | 一种提示模板生成方法、装置、计算机设备及存储介质 | |
| CN111625623B (zh) | 文本主题提取方法、装置、计算机设备、介质和程序产品 | |
| CN114911922A (zh) | 一种情感分析方法、装置和存储介质 | |
| CN117573956B (zh) | 元数据管理方法、装置、设备及存储介质 | |
| CN118070775B (zh) | 摘要生成模型的性能评测方法、装置、计算机设备 | |
| Palomo-Alonso et al. | A flexible architecture using temporal, spatial and semantic correlation-based algorithms for story segmentation of broadcast news | |
| CN110427615B (zh) | 一种基于注意力机制的金融事件修饰时态的分析方法 | |
| CN112347196B (zh) | 基于神经网络的实体关系抽取方法及装置 | |
| US20240111962A1 (en) | Systems and methods for algorithmically orchestrating conversational dialogue transitions within an automated conversational system | |
| Macanovic et al. | A systematic evaluation of text mining methods for short texts: Mapping individuals’ internal states from online posts | |
| Guo et al. | KBPT: knowledge-based prompt tuning for zero-shot relation triplet extraction | |
| CN116822508A (zh) | 一种基于文本理解的结构化知识抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |