CN117591661A - 一种基于大语言模型的问答数据构建方法及装置 - Google Patents

一种基于大语言模型的问答数据构建方法及装置 Download PDF

Info

Publication number
CN117591661A
CN117591661A CN202410076463.XA CN202410076463A CN117591661A CN 117591661 A CN117591661 A CN 117591661A CN 202410076463 A CN202410076463 A CN 202410076463A CN 117591661 A CN117591661 A CN 117591661A
Authority
CN
China
Prior art keywords
question
triplet
answer data
triples
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410076463.XA
Other languages
English (en)
Other versions
CN117591661B (zh
Inventor
施佳璐
闫看阳
邵研
王芷霖
洪星芸
段曼妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202410076463.XA priority Critical patent/CN117591661B/zh
Publication of CN117591661A publication Critical patent/CN117591661A/zh
Application granted granted Critical
Publication of CN117591661B publication Critical patent/CN117591661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书公开了一种基于大语言模型的问答数据构建方法及装置，可以从知识图谱中提取出基础三元组以及从文档库中提取出文本素材，而后，可以根据文本素材，对基础三元组进行补充，得到三元组集合；针对三元组集合中的每个三元组，可以确定该三元组的关联三元组以及从文本素材中确定出该三元组的关联文本段落，以得到多源知识数据。而后，可以根据多源知识数据，生成问答数据，可以对生成的问答数据进行标注，从而通过半监督的方式训练识别模型，以通过识别模型从问答数据中筛选出有效的问答数据，筛选出的有效的问答数据可以用于对大语言模型进行训练或微调，从而本方法能够提到生成问答数据的效率和有效性。

Description

一种基于大语言模型的问答数据构建方法及装置
技术领域
本说明书涉及知识图谱、深度学习领域，尤其涉及一种基于大语言模型的问答数据构建方法及装置。
背景技术
问答数据是指包含问题和对应答案的数据集合，通常用于训练和评估问答系统、对话系统和自然语言处理模型等。在大模型背景下，通过构建领域特定的数据进行模型微调，可以帮助大模型更好地理解领域内的术语、概念和问题，从而提供更准确的答案。
其中，在现有技术中问答数据生成的知识来源单一。并且，现有技术在考虑生成数据质量不稳定性方面存在不足，可能生成包含错误、模糊或不相关信息的问答数据，尚未进行额外的审核和筛选工作。
因此，本发明提出了一种基于大语言模型的问答数据构建方法，以实现高质量和可信度的问答数据自动生成。此外，所生成的数据还为后续问答模型的微调、FAQ问答系统的训练和性能评估提供了坚实的数据基础，推动了问答系统在实际应用中的有效应用与发展。
发明内容
本说明书提供一种基于大语言模型的问答数据构建方法及装置，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种基于大语言模型的问答数据构建方法，包括：
从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，所述文本素材中包含若干文本段落；
根据所述文本素材，对所述基础三元组进行补充，得到三元组集合；针对所述三元组集合中的每个三元组，确定该三元组的关联三元组以及从所述文本素材中确定出该三元组的关联文本段落，并将所述三元组集合中的每个三元组，每个三元组的关联三元组和每个三元组的关联文本段落，作为多源知识数据；
根据所述多源知识数据，生成问答数据；
选取出若干问答数据，并根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，通过所述训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对所述识别模型进行训练，直到所述识别模型收敛，以通过所述识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
可选地，从预设的知识图谱中提取出基础三元组，具体包括：
从所述知识图谱中随机选取出初始实体，执行查询，以获取与所述初始实体相关的三元组信息，并从中提取目标实体，以提取的目标实体为新的初始实体，再次执行查询，继续获取与所述初始实体相关的三元组信息，直到满足设定的停止条件停止，以得到基础三元组。
可选地，根据所述文本素材，对所述基础三元组进行补充，得到三元组集合，具体包括：
从所述文本素材中确定出补充三元组；
针对所述补充三元组和所述基础三元组进行去重，得到去重后的三元组；
将所述去重后的三元组中属于所述补充三元组的部分三元组进行随机采样，将采样得到的三元组与所述去重后的三元组中属于所述基础三元组的部分三元组合并，得到所述三元组集合。
可选地，根据所述多源知识数据，生成问答数据，具体包括：
确定预设的题型模板；
根据所述每个三元组，每个三元组的关联三元组和关联文本段落，对预设的题型模板进行填充，得到问答数据。
可选地，预设的题型模板包括：自由文本题型模板、选择型题型模板、判断型题型模板和截取型题型模板。
可选地，根据所述每个三元组，每个三元组的关联三元组和关联文本段落，对预设的题型模板进行填充，得到问答数据，具体包括：
将所述多源知识数据和针对所述预设的题型模板的提示词与格式要求信息进行拼接，得到拼接后数据；
将所述拼接后数据输入到预先训练的大语言模型中，得到所述大语言模型输出的问答数据，筛选出的有效的问答数据用于对所述大语言模型进行微调训练。
可选地，根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，具体包括：
针对每个问答数据，分别对该问答数据中的问题的有效性和答案的有效性进行标注；
若该问答数据中问题与答案均具备有效性，将该问答数据作为正样本，否则将该问答数据作为负样本。
本说明书提供了一种基于大语言模型的问答数据构建装置，包括：
数据提取模块，用于从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，所述文本素材中包含若干文本段落；
知识检索模块，用于根据所述文本素材，对所述基础三元组进行补充，得到三元组集合；针对所述三元组集合中的每个三元组，确定该三元组的关联三元组以及从所述文本素材中确定出该三元组的关联文本段落，并将所述三元组集合中的每个三元组，每个三元组的关联三元组和每个三元组的关联文本段落，作为多源知识数据；
生成模块，用于根据所述多源知识数据，生成问答数据；
筛选模块，用于选取出若干问答数据，并根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，通过所述训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对所述识别模型进行训练，直到所述识别模型收敛，以通过所述识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于大语言模型的问答数据构建方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于大语言模型的问答数据构建方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
从上述一种基于大语言模型的问答数据构建方法中可以看出，可以从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，所述文本素材中包含若干文本段落；而后，可以根据文本素材，对基础三元组进行补充，得到三元组集合；针对三元组集合中的每个三元组，确定该三元组的关联三元组以及从文本素材中确定出该三元组的关联文本段落，并将三元组集合中的每个三元组，每个三元组的关联三元组和每个三元组的关联文本段落，作为多源知识数据。而后，根据多源知识数据，生成问答数据，选取出若干问答数据，并根据预设规则，对若干问答数据的有效性进行标注，得到训练样本，通过训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对识别模型进行训练，直到识别模型收敛，以通过识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
与现有技术相比，本发明具有有益效果：本发明提出了一种基于多元知识源构建问答数据的方法，提高了问答数据的可靠性和鲁棒性。本发明提出了一种融合提示词工程和大语言模型的问答数据构建方法，通过实现模块功能集成并生成不同题型的问答数据，提高了问答数据构建效率以及数据的多样性。本发明结合人工校验和模型训练，提高了问答数据筛选的效率和成本效益。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的一种基于大语言模型的问答数据构建方法的流程示意图；
图2为本说明书提供的一种问答数据生成的完整流程示意图；
图3为本说明书中提供的一种通过大语言模型生成问答数据的流程示意图；
图4为本说明书提供的一种针对上述多源知识数据得到4种题型的问答数据的示意图；
图5为本说明书提供的一种基于大语言模型的问答数据构建装置示意图；
图6为本说明书提供的对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种基于大语言模型的问答数据构建方法的流程示意图，具体包括以下步骤：
S100：从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，所述文本素材中包含若干文本段落。
本说明书提供的基于大语言模型的问答数据构建方法的整体流程图可以如图2所示。
图2为本说明书提供的一种问答数据生成的完整流程示意图。
从图2中可以看出，本方法包括数据提取（提取知识图谱与文档库中的数据）、知识检索（得到三元组的关联三元组和关联文本段落）、问答数据生成，以及问答数据的筛选四个大致步骤。
考虑到知识图谱和文档库在知识库方面具有各自独特的优势，并在某些方面互为补充，因此将它们视为数据提取的主要资源。这一选择源自于对这两种知识存储形式的深入审查，以及对它们如何相互协同以强化信息提取的理解。
知识图谱，作为高度结构化的知识存储，通常包含了大量的实体关系信息，这些信息在问题回答中的语义理解和推理过程中具有关键作用。知识图谱还能够提供准确的事实和概念关系，因此在特定领域的问题解答方面具有高度可信度和准确性。然而，知识图谱可能受制于知识不完整性的限制，特别是在新兴领域或较少研究的领域。
相比之下，文档库包含大量非结构化文本信息，覆盖了广泛的主题和领域。这些文本数据具有更广泛的覆盖面，能够涵盖知识图谱未包含的领域，同时包括更多的实际案例和上下文信息。这些文档可以用于构建丰富的自然语言模型，支持自然语言处理任务的广泛应用，包括问答系统。然而，文档库中的信息通常是非结构化的，需要进行信息抽取和处理，以便将其整合到问答模型的知识体系中。
因此，将知识图谱和文档库作为主要的数据提取来源，有助于充分发挥它们各自的优势，弥补它们的不足，为问答系统提供更全面、准确和多样化的知识基础。这种综合方法不仅有助于提高问答系统的性能，还为跨领域和多领域的信息检索和知识推理提供了强大的支持。
基于此，服务器从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，文本素材中包含若干文本段落。上述提到的知识图谱可以包括多种关系下的知识图谱，在此对三元组进行举例，例如，A公司发明了B专利，通过三元组可表示为[A公司，发明，B专利]。也就是说一个三元组可以表示出两个实体之间存在的关系。
需要说明的是，在从预设文档库提取文本素材时，可以使用正则表达式以及标点符号（如句号、问号、感叹号）作为文本分隔符，以确保随机提取的文本具有完整性，并避免关键信息的丢失。与此同时，结合自然语言处理技术，如词性标注和句法分析，来识别句子的结构和语法关系，以确保提取的文本片段具有更好的语义一致性和连贯性。这些步骤有助于提高提取的文本数据的质量和可用性。
在通过知识图谱提取三元组时，可以从该知识图谱中随机选取出初始实体，执行查询，以获取与所述初始实体相关的三元组信息，并从中提取目标实体，以提取的目标实体为新的初始实体，再次执行查询，继续获取与所述初始实体相关的三元组信息，直到满足设定的停止条件停止。
上述提到的停止条件可以是指设置从初始实体进行实体和关系查询的跳数阈值，假如设置为5，就会捕获所有与初始实体相关且路径数小于5的所有实体和关系。
S102：根据所述文本素材，对所述基础三元组进行补充，得到三元组集合；针对所述三元组集合中的每个三元组，确定该三元组的关联三元组以及从所述文本素材中确定出该三元组的关联文本段落，并将所述三元组集合中的每个三元组，每个三元组的关联三元组和每个三元组的关联文本段落，作为多源知识数据。
通过知识图谱提取出基础三元组，以及通过预设文档库提取出文本素材后，可以根据文本素材，对基础三元组进行补充，得到三元组集合；并针对三元组集合中的每个三元组，确定该三元组的关联三元组以及从文本素材中确定出该三元组的关联文本段落。
需要说明的是，在对基础三元组进行补充时，可以从文本素材中确定出补充三元组，并将补充三元组与基础三元组进行去重，得到去重后的三元组，而后，可以将去重后的三元组中属于补充三元组的部分三元组进行随机采样，将采样得到的三元组与去重后的三元组中属于基础三元组的部分三元组合并，得到三元组集合。
上述提到的补充三元组可以是通过预设文档库中的文本素材得到的，其中，可以针对文本素材进行实体识别和关系链接的操作，以得到补充三元组。
具体的，可以结合大型语言模型和提示词工程，以借助大型语言模型对非结构化文本（文本素材）进行分析，生成补充三元组。生成的补充三元组包含了多样的实体和关系信息，为后续信息检索和补充提供了丰富的资源。
而后，可以从生成的补充三元组中选择实体和关系信息，将其用作匹配的关键词。借助Elasticsearch技术，在知识图谱库中进行检索，以获取与这些关键词相关的三元组，进一步添加到补充三元组中。这一步骤旨在进一步丰富和扩充相关的三元组数据，以满足信息需求的多样性。
当将补充三元组和基础三元组放在一起时，可能会存在一些重复的三元组，因此，可以对补充三元组和基础三元组进行去重，得到去重后的三元组。
而后，由于补充三元组中存在大量的从非结构化数据中得到的信息，可能没有从知识图谱中提取到的信息准确，因此，为了提高得到的三元组的有效性，可以对去重后的三元组中属于补充三元组的部分三元组进行随机采样，从而将采样得到的三元组与去重后的三元组中属于基础三元组的部分三元组合并，得到三元组集合。后续，将使用三元组集合和预设文档库中的文本素材生成问答数据。
在得到三元组集合后，可以确定出三元组集合中每个三元组对应的关联三元组和关联文本段落。
一方面，可以从三元组集合中提取实体和关系信息，以供文档库和搜索引擎的检索使用。另一方面，也可以将三元组集合中的三元组直接输入到大型语言模型中，利用这些信息来扩充生成文本段落的能力。这种双重策略充分发挥了结构化知识和自然语言处理的协同作用，以满足多样化的信息需求。
其中，对于一个三元组来说，可以通过文档库检索、搜索引擎检索和大语言模型，来确定出该三元组的关联文本段落。
在文档库检索中，首先，可以将文档库的内容索引到查询系统（如：Elasticsearch）中，并确保文档中包含与三元组中的实体和关系相关的信息；其次，根据三元组列表，构建查询DSL（Domain Specific Language）查询，需要包括与实体和关系匹配的关键字和过滤条件，以确保精确匹配；接下来，发送查询请求，将构建好的查询发送给查询系统，触发检索操作；然后，对查询结果进行结果过滤，提取所需的关联文本段落，包括文档ID、文档内容和相关性分数。
在搜索引擎检索的过程中，搜索查询的构建涉及将实体及其相关的关系信息与用户输入的搜索关键词相融合，这一过程可利用布尔逻辑运算符或者特定的查询语法来实现。这种方法允许用户更精确地定义其信息需求，以获取与其查询条件匹配度最高的结果。随着查询的提交，搜索引擎的后台系统将执行一系列复杂的信息检索和排名算法，以确定哪些信息资源与查询最为相关。这一决策过程包括考虑文本相似性、权重分配、链接分析、用户反馈等多个因素，以产生高质量的搜索结果。最终，搜索引擎将返回与查询条件匹配的一系列结果，这些结果可能包括相关网页、新闻文章、知识卡片等多种形式的信息。
在利用大语言模型进行文本生成时，需要设计提示词，用于触发模型生成与三元组相关的文本，在每个三元组中，利用主体提示词生成一个用于引入主题的初始文本段落，其次引入关系和客体进一步扩充以丰富内容，并通过加入连接词或过渡句子等连贯逻辑，以使文本流畅，最后根据生成的文本，对生成过程进行反馈和改进，调整提示词的选择和顺序，以确保其质量、连贯性和信息准确性。
还需说明的是，对于一个三元组来说，可以确定出该三元组包含的实体的实体名称，作为目标实体名称，以及通过目标实体名称，确定出符合条件的其他三元组，作为关联三元组，其中，这里提到的符合条件的其他三元组可以包括存在实体名称与目标实体名称相似的实体的其他三元组，存在实体名称与目标实体名称相同的实体的其他三元组，以及包含有符合前两种条件的其他三元组中实体的三元组。
需要说明的是，一个三元组，该三元组的关联三元组以及该三元组的关联文本段落，可以作为一个多源知识数据。通过上述方式，能够得到多个多源知识数据。
S104：根据所述多源知识数据，生成问答数据。
在确定出多源知识数据后，可以根据多源知识数据，生成问答数据。
其中，可以设计出多种预设的题型，并根据每个三元组，每个三元组的关联三元组和关联文本段落，对预设的题型进行填充，得到问答数据。
上述提到的题型模板可以包含有自由文本题型、选择型题型、判断型题型和截取型题型。其中，自由文本题型指不限定题目类型，可由大语言模型自由发挥。截取型题型指答案必须为背景知识（给出的多源知识数据）的一部分（子字符串），示例可以如下：
“context：目前A市有11家医院，5家博物馆。Question：A市有几家博物馆?type:截取型answer:5家”。
图3为本说明书中提供的一种通过大语言模型生成问答数据的流程示意图。
如图3所示，生成问答数据的流程可以结合大语言模型和提示词工程，通过大语言模型处理多源知识数据，得到生成的问答数据。
为了引导模型生成符合问题和知识源的答案，设计有效的提示词和上下文，包括问题的提出方式、相关背景信息、特定关键词等，以确保生成数据的准确性和一致性。针对不同题型的问答数据生成要求，根据问答格式和特点，编写了四种不同的提示词，分别适用于自由题型、选择题型、判断题型和截断题型的问答数据生成。其中，自由题型指不限定题目类型，可由大模型自由发挥。另外，可以使用Langchain中的format_instructions参数作为格式要求信息来指导大语言模型生成特定格式的输出，以更精确的方式控制生成的文本格式。
其次，可以对多源知识数据和提示词以及格式要求信息进行拼接，作为大模型的输入文本。通过在提示词中加入{input_data}参数，通过该{input_data}参数填充多源知识数据，实现每条不同多源知识数据与提示词的快速拼接，告诉模型如何生成数据，包括格式、内容和结构，以供模型根据用户输入和提示词工程生成符合规范格式的问答数据。
随后，可以利用现有的大语言模型进行问答数据的生成。
第一步，模型基于自然语言处理（NLP）技术，如分词、命名实体识别和句法分析等，对用户输入进行解析，以理解用户的意图和需求。第二步，为了考虑对话历史，需要将之前的对话内容合并到当前上下文中，这有助于模型更好地回应用户，因为模型可以根据上下文进行个性化的回复。第三步，基于用户输入和上下文信息，使用预训练的神经网络模型，通常是Transformer架构，来生成回复文本。生成的过程可以包括以下步骤：①编码：将输入文本和上下文编码成向量表示。②解码：使用编码的向量表示生成文本，逐词逐词地生成回复。③温度控制：控制生成的多样性，通过温度参数来调整生成的随机性。④最大长度限制：限制生成文本的长度，以确保回复不会过长。最后，如果生成了多个潜在的回复，根据语法正确性、相关性等对其进行排序和过滤，以选择最相关和合适的回复。
最后，可以对大语言模型生成的问答数据进行解析，在解析成功的情况下，以json格式分别存储问题和答案，得到多组问答数据；若解析失败，需要重新根据该输入文本（一个多源知识数据）进行问答数据的生成，直至成功得到规范格式下的问答数据。
这里提到的解析可以是指将问答数据中的问题和答案分别解析出来，例如，生成的问答数据格式为“Question：……；Answer：……”则可以按照“Question：”和“Answer：”这两个文本分别将问题的答案拆分出来，进行存储。
根据提示词和格式规范语句的不同，可以生成不同题型的问答数据，主要有自由文本、选择型、判断型和截取型等，以如下的多源知识数据为例进行说明：
“ ['A机构-拥有成果-B产品', 'B产品-属于-创新生物医药技术'，'B产品-描述-利用新型高效率光伏材料，将太阳能转换为能量，进而驱动一系列的生物医疗设备和程序']。”
不同题型的提示词、format_instructions参数（格式要求指令）及其对应生成的问答数据如图4所示。
图4为本说明书提供的一种针对上述多源知识数据得到4种题型的问答数据的示意图。
其中，图4中表示出了按照上述多源知识数据生成每一种题型的问答数据所需要的提示词、格式要求信息（也可以称之为格式要求指令）以及生成的问答数据的问题和答案所对应的示例。格式要求指令用于指导大语言模型输出符合要求的格式的问答数据。
可以看出，自由文本题型中提示词可以为：现在，你的任务是根据给定的多源知识数据生成几个问答数据；格式要求指令可以包括：问题：“一个关于三元组的问题”，答案：“这是你对上一个问题的回答”。
选择型中提示词可以为：你现在的任务是根据给定的多源知识数据，生成几个问答数据，它们是单选题；格式要求指令可以包括：““问题”：“这是一个关于三元组的问题”），答案：“这是你的回答，是对上一个问题的回答，格式为A.选项A/ B.选项B/ C.选项C/ D.选项D””。
判断型中提示词可以为：现在，任务是根据给定的多源知识数据生成几个问答数据，这些问答数据是判断问题，答案只能由“是/否”组成；格式要求指令可以为：“ “问题”：“这是一个关于三元组的问题”，答案：“这是你的回答，一个对上一个问题的回答” ”。
截取型中的提示词可以为：你的任务是通过阅读理解生成问答数据。你应该给出一个问题和一个答案，这个问题应该有明确的主语（而不是代词），答案是输入文本的一部分；格式要求指令可以为：““问题”：“这是一个关于三元组的问题”，答案：“这是你的回答，一个对上一个问题的回答””。
S106：选取出若干问答数据，并根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，通过所述训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对所述识别模型进行训练，直到所述识别模型收敛，以通过所述识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
在生成大量问答数据后，可以对问答数据进行筛选，从而筛选出有效的问答数据。
因此，可以从生成的问答数据中选取出若干问答数据，并根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，而后，服务器可以通过该训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对所述识别模型进行训练，直到识别模型收敛，以通过识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
也就是说，可以通过半监督的方式对上述识别模型进行训练，训练得到的识别模型可以对大量未进行标注的问答数据进行有效性的识别，从而筛选出有效的问答数据。
需要说明的是，上述提到的根据预设规则，对若干问答数据的有效性进行标注，得到训练样本，可以是人为对问答数据标注，并且，对于每一条问答数据，可以分别对该问答数据中的问题的有效性和答案的有效性进行标注，若服务器确定该问答数据中问题与答案均具备有效性，则可以将该问答数据作为正样本，否则将该问答数据作为负样本。
其中，对问答数据中问题和答案分别标注的预设规则可以如下：
1. 对于生成的问题：
a. 问题是否与背景知识相关，且未超出背景知识范围？
b. 生成的问题类型是否与给定的问题类型一致？
c. 生成问题中是否没有使用指代词，且不混杂中英文？
满足以上所有条件的问题标为“1”，否则标为“0”。如果“context”无法作为参考信息或包含的信息量不足，则视为背景知识与问题不相关，标为“0”。
2. 对于基于给定的背景知识生成的答案：
a. 答案是否能够正确回答生成的问题，无冗余且不混杂中英文？
b. 答案格式是否与问题类型一致？
满足以上所有条件的答案标为“1”，否则标为“0”。
根据这一标注标准，可以通过人工的方式来进行问答数据的有效性评估和标记。最终，得到的问答数据可以分为四种不同的标签类别，分别为：
1. (Q:1, A:1)：问题（Q）和答案（A）均被标记为有效。这表示该问答数据是有效的，满足了所有标准。
2. (Q:1, A:0)：问题（Q）被标记为有效，但答案（A）被标记为无效。这意味着问题是合格的，但生成的答案不符合标准，如答案错误、冗余或混杂中英文等。
3. (Q:0, A:1)：问题（Q）被标记为无效，但答案（A）被标记为有效。这表示问题不合格，但答案是有效的，如生成问题类型与要求不符或混杂中英文等。
4. (Q:0, A:0)：问题（Q）和答案（A）均被标记为无效。这种情况下，问答数据被认为是无效的，未能满足所有标准。
需要强调的是，只有当问题和答案均被标记为1时，才能将问答数据视为有效的（正样本），这有助于确保问答数据满足高质量的标准。
针对有限的问答标记数据，采用了一种综合有监督学习和无监督学习元素的半监督方法，以训练一个预测问答数据是否有效的识别模型。该方法的具体步骤如下：
（1）数据采集和整理：进行了已标注问答数据集的数据采集和整理工作，仅将那些问题与答案均被标注为1的问答数据视作有效数据，并为这些问答数据分配标签1；对于不符合此条件的问答数据，则分配标签0。
（2）特征工程：对问题和答案进行特征工程的目的在于将文本数据转化为模型可解释的特征表示形式。这一过程涵盖了多种技术，包括但不限于词嵌入、TF-IDF向量化等方法。在特征表示的选择方面，选用了miniLM，这是一种基于轻量级语言模型的向量表示方法，具有在保留语义信息的同时减小计算资源消耗的优势。
（3）监督学习模型训练：利用已标注的数据对监督学习模型（识别模型）进行训练。在训练过程中，考虑了不同的模型选项，其中包括简单的逻辑回归方法，也包括深度学习模型，如卷积神经网络（CNN）或循环神经网络（RNN）。鉴于文本数据的序列性以及上下文信息的重要性，选择了采用循环神经网络进行模型的培训。循环神经网络是一种适用于序列数据的神经网络结构，它能够有效地捕获文本中的时序关系和上下文信息，从而提升模型的表现。
（4）伪标签分配：借助已经训练好的监督学习模型（识别模型），对未标记的问答数据进行预测，并为其分配伪标签（1/0），以表示识别模型对其有效性的估计。这一过程有助于扩展训练数据集，使其包含更多的样本，进一步改善模型的性能。
（5）数据集扩展：将伪标签与已经标记的数据合并，从而构建一个扩展的训练数据集。这一步骤有助于增加训练样本的数量，提高模型的性能和鲁棒性。
（6）模型重新训练：借助扩展数据集，对监督学习模型（识别模型）进行重新训练，通过多次迭代执行标签传播和模型训练的过程，以使模型的性能在验证集上趋于收敛或达到令人满意的水平。这一步骤有助于不断优化模型的预测能力，使其逐步适应更丰富的数据分布。
（7）性能评估：通过在测试集上进行性能评估，来客观地评估半监督模型（识别模型）的表现。在评估过程中，将考虑多个指标，如准确度、召回率、精确度等，以确定该模型在问答有效性预测方面的效能。这一评估过程能够提供模型的客观性能度量，从而更好地了解其在实际应用中的适用性。
半监督学习策略的独特之处在于其融合了有监督学习和无监督学习的最佳元素，以构建一种在有限标记数据情况下仍能产生高效问答有效性预测模型的方法。这一创新性方法允许充分利用有标签数据以建立基础模型，同时通过无监督标签传播来扩展训练数据。这种方法的强大之处在于，它不仅考虑了有监督学习的指导性，还充分利用了未标签数据的信息，提高了模型的泛化性能。这一策略推动了自然语言处理领域对于数据稀缺问题的创新解决方案，为有效问答预测建立了一个可行的框架。此外，该方法还具有广泛的应用前景，可用于多领域问答系统的性能增强，从智能助手到信息检索系统，都有着重要的潜在应用价值。
从上述内容中可以看出，本方法可以融合文档库与知识图谱中的知识，得到多源知识数据，从而通过多源知识数据构建出的问答数据可以较为丰富。并且，本方法还可以通过半监督的方式得到用于对问答数据进行有效性筛选的模型，从而对问答数据进行筛选，得到更为准确的问答数据，通过更为准确的问答数据能够对大语言模型进行训练，或者进行进一步地微调。
需要说明的是，为了便于描述，将执行本方法的执行主体作为服务器进行描述，本方法的执行主体可以是计算机、大型的服务平台等，在此不进行限定。还需说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
另外，需要说明的是，本说明书中所有获取信号、信息或数据的动作都是在遵照所在地相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
以上为本说明书的一个或多个实施例提供的基于大语言模型的问答数据构建方法，基于同样的思路，本说明书还提供了基于大语言模型的问答数据构建装置，如图5所示。
图5为本说明书提供的一种基于大语言模型的问答数据构建装置示意图，包括：
数据提取模块501，用于从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，所述文本素材中包含若干文本段落；
知识检索模块502，用于根据所述文本素材，对所述基础三元组进行补充，得到三元组集合；针对所述三元组集合中的每个三元组，确定该三元组的关联三元组以及从所述文本素材中确定出该三元组的关联文本段落，并将所述三元组集合中的每个三元组，每个三元组的关联三元组和每个三元组的关联文本段落，作为多源知识数据；
生成模块503，用于根据所述多源知识数据，生成问答数据；
筛选模块504，用于选取出若干问答数据，并根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，通过所述训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对所述识别模型进行训练，直到所述识别模型收敛，以通过所述识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
可选地，所述数据提取模块501具体用于，从所述知识图谱中随机选取出初始实体，执行查询，以获取与所述初始实体相关的三元组信息，并从中提取目标实体，以提取的目标实体为新的初始实体，再次执行查询，继续获取与所述初始实体相关的三元组信息，直到满足设定的停止条件停止，以得到基础三元组。
可选地，所述知识检索模块502具体用于，从所述文本素材中确定出补充三元组；针对所述补充三元组和所述基础三元组进行去重，得到去重后的三元组；将所述去重后的三元组中属于所述补充三元组的部分三元组进行随机采样，将采样得到的三元组与所述去重后的三元组中属于所述基础三元组的部分三元组合并，得到所述三元组集合。
可选地，生成模块503具体用于，确定预设的题型；根据所述每个三元组，每个三元组的关联三元组和关联文本段落，对预设的题型进行填充，得到问答数据。
可选地，所述预设的题型包括：自由文本题型、选择型题型、判断型题型和截取型题型。
可选地，所述生成模块503具体用于，将所述多源知识数据和针对所述预设的题型模板的提示词与格式要求信息进行拼接，得到拼接后数据；将所述拼接后数据输入到预先训练的大语言模型中，得到所述大语言模型输出的问答数据，筛选出的有效的问答数据用于对所述大语言模型进行微调训练。
可选地，所述筛选模块504具体用于，针对每个问答数据，分别对该问答数据中的问题的有效性和答案的有效性进行标注；若该问答数据中问题与答案均具备有效性，将该问答数据作为正样本，否则将该问答数据作为负样本。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述基于大语言模型的问答数据构建方法。
本说明书还提供了图6所示的电子设备的示意结构图。如图6所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现基于大语言模型的问答数据构建方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种基于大语言模型的问答数据构建方法，其特征在于，包括：
从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，所述文本素材中包含若干文本段落；
根据所述文本素材，对所述基础三元组进行补充，得到三元组集合；针对所述三元组集合中的每个三元组，确定该三元组的关联三元组以及从所述文本素材中确定出该三元组的关联文本段落，并将所述三元组集合中的每个三元组，每个三元组的关联三元组和每个三元组的关联文本段落，作为多源知识数据；
根据所述多源知识数据，生成问答数据；
选取出若干问答数据，并根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，通过所述训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对所述识别模型进行训练，直到所述识别模型收敛，以通过所述识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
2.如权利要求1所述的方法，其特征在于，从预设的知识图谱中提取出基础三元组，具体包括：
从所述知识图谱中随机选取出初始实体，执行查询，以获取与所述初始实体相关的三元组信息，并从中提取目标实体，以提取的目标实体为新的初始实体，再次执行查询，继续获取与所述初始实体相关的三元组信息，直到满足设定的停止条件停止，以得到基础三元组。
3.如权利要求1所述的方法，其特征在于，根据所述文本素材，对所述基础三元组进行补充，得到三元组集合，具体包括：
从所述文本素材中确定出补充三元组；
针对所述补充三元组和所述基础三元组进行去重，得到去重后的三元组；
将所述去重后的三元组中属于所述补充三元组的部分三元组进行随机采样，将采样得到的三元组与所述去重后的三元组中属于所述基础三元组的部分三元组合并，得到所述三元组集合。
4.如权利要求1所述的方法，其特征在于，根据所述多源知识数据，生成问答数据，具体包括：
确定预设的题型；
根据所述每个三元组，每个三元组的关联三元组和关联文本段落，对预设的题型进行填充，得到问答数据。
5.如权利要求4所述的方法，其特征在于，所述预设的题型包括：自由文本题型、选择型题型、判断型题型和截取型题型。
6.如权利要求4所述的方法，其特征在于，根据所述每个三元组，每个三元组的关联三元组和关联文本段落，对预设的题型模板进行填充，得到问答数据，具体包括：
将所述多源知识数据和针对所述预设的题型模板的提示词与格式要求信息进行拼接，得到拼接后数据；
将所述拼接后数据输入到预先训练的大语言模型中，得到所述大语言模型输出的问答数据，筛选出的有效的问答数据用于对所述大语言模型进行微调训练。
7.如权利要求1所述的方法，其特征在于，根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，具体包括：
针对每个问答数据，分别对该问答数据中的问题的有效性和答案的有效性进行标注；
若该问答数据中问题与答案均具备有效性，将该问答数据作为正样本，否则将该问答数据作为负样本。
8.一种基于大语言模型的问答数据构建装置，其特征在于，包括：
数据提取模块，用于从预设的知识图谱中提取出基础三元组，以及从预设文档库中提取出文本素材，其中，三元组用于表示两个之间存在关系的实体以及两个实体之间的关系的组合，所述文本素材中包含若干文本段落；
知识检索模块，用于根据所述文本素材，对所述基础三元组进行补充，得到三元组集合；针对所述三元组集合中的每个三元组，确定该三元组的关联三元组以及从所述文本素材中确定出该三元组的关联文本段落，并将所述三元组集合中的每个三元组，每个三元组的关联三元组和每个三元组的关联文本段落，作为多源知识数据；
生成模块，用于根据所述多源知识数据，生成问答数据；
筛选模块，用于选取出若干问答数据，并根据预设规则，对所述若干问答数据的有效性进行标注，得到训练样本，通过所述训练样本对预设的识别模型进行训练，并通过训练后的识别模型继续对未标注的问答数据进行标注，以得到新的训练样本，以及通过新的训练样本继续对所述识别模型进行训练，直到所述识别模型收敛，以通过所述识别模型从未标注的问答数据中筛选出有效的问答数据，筛选出的有效的问答数据用于对大语言模型进行训练。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
CN202410076463.XA 2024-01-18 2024-01-18 一种基于大语言模型的问答数据构建方法及装置 Active CN117591661B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410076463.XA CN117591661B (zh) 2024-01-18 2024-01-18 一种基于大语言模型的问答数据构建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410076463.XA CN117591661B (zh) 2024-01-18 2024-01-18 一种基于大语言模型的问答数据构建方法及装置

Publications (2)

Publication Number Publication Date
CN117591661A true CN117591661A (zh) 2024-02-23
CN117591661B CN117591661B (zh) 2024-04-26

Family

ID=89913751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410076463.XA Active CN117591661B (zh) 2024-01-18 2024-01-18 一种基于大语言模型的问答数据构建方法及装置

Country Status (1)

Country Link
CN (1) CN117591661B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992600A (zh) * 2024-04-07 2024-05-07 之江实验室 一种业务执行方法、装置、存储介质以及电子设备
CN118260403A (zh) * 2024-04-17 2024-06-28 南京智鹤电子科技有限公司 一种基于物联网时序数据的问答预测系统及方法
CN118278407A (zh) * 2024-05-13 2024-07-02 上海岩芯数智人工智能科技有限公司 一种用于长序列预训练的多源数据拼接方法及系统
CN118551770A (zh) * 2024-07-30 2024-08-27 联想新视界（北京）科技有限公司 一种知识图谱生成方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178623A1 (en) * 2013-12-23 2015-06-25 International Business Machines Corporation Automatically Generating Test/Training Questions and Answers Through Pattern Based Analysis and Natural Language Processing Techniques on the Given Corpus for Quick Domain Adaptation
US20170103069A1 (en) * 2015-10-13 2017-04-13 International Business Machines Corporation Supplementing candidate answers
US20200218988A1 (en) * 2019-01-08 2020-07-09 International Business Machines Corporation Generating free text representing semantic relationships between linked entities in a knowledge graph
CN112100343A (zh) * 2020-08-17 2020-12-18 深圳数联天下智能科技有限公司 一种扩充知识图谱的方法、电子设备及存储介质
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及系统
CN114021546A (zh) * 2021-09-08 2022-02-08 北京市农林科学院信息技术研究中心 迁移语境网络的大桃生产知识开放问答方法及装置
KR20220022701A (ko) * 2020-08-19 2022-02-28 경기대학교 산학협력단 지식 그래프 추론 기반의 오픈 도메인 질문 응답 시스템
CN115658861A (zh) * 2022-10-20 2023-01-31 科大讯飞股份有限公司 一种问答方法、知识图谱补全方法和相关装置
CN116204615A (zh) * 2021-12-31 2023-06-02 北京金山数字娱乐科技有限公司 问题生成模型训练方法及装置
CN116467412A (zh) * 2023-03-16 2023-07-21 中国电子科技南湖研究院 一种基于知识图谱的问答方法、系统和存储介质
CN116578684A (zh) * 2023-05-23 2023-08-11 中国电信股份有限公司北京研究院 基于知识图谱的问答方法、装置以及相关设备
CN116795973A (zh) * 2023-08-16 2023-09-22 腾讯科技（深圳）有限公司 基于人工智能的文本处理方法及装置、电子设备、介质
CN117033608A (zh) * 2023-09-28 2023-11-10 中国电子科技集团公司第十研究所 一种基于大语言模型的知识图谱生成式问答方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178623A1 (en) * 2013-12-23 2015-06-25 International Business Machines Corporation Automatically Generating Test/Training Questions and Answers Through Pattern Based Analysis and Natural Language Processing Techniques on the Given Corpus for Quick Domain Adaptation
US20170103069A1 (en) * 2015-10-13 2017-04-13 International Business Machines Corporation Supplementing candidate answers
US20200218988A1 (en) * 2019-01-08 2020-07-09 International Business Machines Corporation Generating free text representing semantic relationships between linked entities in a knowledge graph
CN112100343A (zh) * 2020-08-17 2020-12-18 深圳数联天下智能科技有限公司 一种扩充知识图谱的方法、电子设备及存储介质
KR20220022701A (ko) * 2020-08-19 2022-02-28 경기대학교 산학협력단 지식 그래프 추론 기반의 오픈 도메인 질문 응답 시스템
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及系统
CN114021546A (zh) * 2021-09-08 2022-02-08 北京市农林科学院信息技术研究中心 迁移语境网络的大桃生产知识开放问答方法及装置
CN116204615A (zh) * 2021-12-31 2023-06-02 北京金山数字娱乐科技有限公司 问题生成模型训练方法及装置
CN115658861A (zh) * 2022-10-20 2023-01-31 科大讯飞股份有限公司 一种问答方法、知识图谱补全方法和相关装置
CN116467412A (zh) * 2023-03-16 2023-07-21 中国电子科技南湖研究院 一种基于知识图谱的问答方法、系统和存储介质
CN116578684A (zh) * 2023-05-23 2023-08-11 中国电信股份有限公司北京研究院 基于知识图谱的问答方法、装置以及相关设备
CN116795973A (zh) * 2023-08-16 2023-09-22 腾讯科技（深圳）有限公司 基于人工智能的文本处理方法及装置、电子设备、介质
CN117033608A (zh) * 2023-09-28 2023-11-10 中国电子科技集团公司第十研究所 一种基于大语言模型的知识图谱生成式问答方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PENG QIAN ETC.: "Agricultural Planting Big Data Q & A System Technology Research Based on Knowledge Graph", 《 2023 IEEE 3RD INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY, BIG DATA AND ARTIFICIAL INTELLIGENCE (ICIBA)》, 6 July 2023 (2023-07-06), pages 955 - 958 *
TIAN, J ETC.: "Text-enhanced question answering over knowledge graph", 《 IJCKG\'21: THE 10TH INTERNATIONAL JOINT CONFERENCE ON KNOWLEDGE GRAPHS》, 1 November 2022 (2022-11-01), pages 135 - 139 *
张鹤译 等: "大语言模型融合知识图谱的问答系统研究", 《计算机科学与探索》, 31 October 2023 (2023-10-31), pages 2377 - 2388 *
欧阳欣: "基于多源信息融合的知识表示学习及应用", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, 15 January 2019 (2019-01-15), pages 138 - 5410 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117992600A (zh) * 2024-04-07 2024-05-07 之江实验室 一种业务执行方法、装置、存储介质以及电子设备
CN117992600B (zh) * 2024-04-07 2024-06-11 之江实验室 一种业务执行方法、装置、存储介质以及电子设备
CN118260403A (zh) * 2024-04-17 2024-06-28 南京智鹤电子科技有限公司 一种基于物联网时序数据的问答预测系统及方法
CN118260403B (zh) * 2024-04-17 2024-09-27 南京智鹤电子科技有限公司 一种基于物联网时序数据的问答预测系统及方法
CN118278407A (zh) * 2024-05-13 2024-07-02 上海岩芯数智人工智能科技有限公司 一种用于长序列预训练的多源数据拼接方法及系统
CN118278407B (zh) * 2024-05-13 2024-08-13 上海岩芯数智人工智能科技有限公司 一种用于长序列预训练的多源数据拼接方法及系统
CN118551770A (zh) * 2024-07-30 2024-08-27 联想新视界（北京）科技有限公司 一种知识图谱生成方法及装置

Also Published As

Publication number Publication date
CN117591661B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN117591661B (zh) 一种基于大语言模型的问答数据构建方法及装置
US11586987B2 (en) Dynamically updated text classifier
CN111324728A (zh) 文本事件摘要的生成方法、装置、电子设备及存储介质
CN109992771B (zh) 一种文本生成的方法及装置
CN113221555B (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN111026320B (zh) 多模态智能文本处理方法、装置、电子设备及存储介质
CN111144093B (zh) 一种智能文本处理方法、装置、电子设备及存储介质
CN108804592A (zh) 知识库检索实现方法
CN116738233A (zh) 在线训练模型的方法、装置、设备及存储介质
US11935315B2 (en) Document lineage management system
CN117216222A (zh) 一种智能问答方法、装置及相关设备
CN116720008B (zh) 一种机器阅读方法、装置、存储介质及电子设备
CN117369783B (zh) 一种安全代码生成模型的训练方法及装置
CN116662657A (zh) 一种模型训练和信息推荐的方法、装置、存储介质及设备
CN114661616A (zh) 目标代码的生成方法及装置
CN117033469B (zh) 一种基于表格语义注释的数据库检索方法、装置以及设备
CN117992600B (zh) 一种业务执行方法、装置、存储介质以及电子设备
CN117079646B (zh) 一种语音识别模型的训练方法、装置、设备及存储介质
CN117744837B (zh) 一种模型训练、文本检测方法、装置、存储介质及设备
CN117592472A (zh) 一种模型训练和业务执行方法、装置、存储介质及设备
Somogyi et al. The AI-TOOLKIT: Machine Learning Made Simple
CN117725920A (zh) 一种代码变更标签生成方法、装置以及设备
CN118364195A (zh) 网页信息获取方法、装置、计算机设备和存储介质
CN117217191A (zh) 语言模型的提示语处理方法、装置、设备及存储介质
CN117829164A (zh) 一种文本表示向量生成方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant