CN116719899A - 一种针对大模型的领域知识更新系统及方法 - Google Patents

一种针对大模型的领域知识更新系统及方法 Download PDF

Info

Publication number
CN116719899A
CN116719899A CN202310596576.8A CN202310596576A CN116719899A CN 116719899 A CN116719899 A CN 116719899A CN 202310596576 A CN202310596576 A CN 202310596576A CN 116719899 A CN116719899 A CN 116719899A
Authority
CN
China
Prior art keywords
knowledge
data
model
entity
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310596576.8A
Other languages
English (en)
Inventor
周玉
邓彪
翟飞飞
孙建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongkefan Language Technology Co ltd
Original Assignee
Beijing Zhongkefan Language Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongkefan Language Technology Co ltd filed Critical Beijing Zhongkefan Language Technology Co ltd
Priority to CN202310596576.8A priority Critical patent/CN116719899A/zh
Publication of CN116719899A publication Critical patent/CN116719899A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种针对大模型的领域知识更新系统，包括对知识数据进行实体及关系抽取的实体关系联合抽取模型、对新知识进行储存的新知识向量库、句嵌入模块、以及对大模型输出结果进行优化的相似度分析模型；与现有技术相比，本发明通过设置独立的新知识向量库，与大模型相配合，在实现对大模型中知识更新的同时，弥补大模型在处理新任务时可能存在的缺陷或偏差，从而提高模型的准确性，同时新知识向量库中的知识内存可以提供先前学习到的知识和经验，帮助大模型快速适应新任务，降低训练成本和时间，进一步提高模型的泛化能力，随着时间的推移，通过不断更新外部知识内存中的内容，大模型可以保持对多领域的了解，从而提高模型的适应性。

Description

一种针对大模型的领域知识更新系统及方法
技术领域
本发明涉及自然语言处理领域，具体为一种针对大模型的领域知识更新系统及方法。
背景技术
大模型的训练数据主要来源于互联网上的海量文本，包括百科、新闻文章、小说、论坛帖子等等。经过预处理和训练，模型可以理解和生成多种语言的文本。
然而，由于大模型通常在海量数据上进行预训练，对一些垂直领域而言，由于缺少训练数据，导致存在大模型在该领域的泛化性较差的问题。同时，现实世界中的任务和场景变化很快，传统的机器学习方法需要重新收集和标注数据来训练新模型，使得大模型中存储的知识存在着一定的滞后性，大模型参数量巨大，通常有数亿个参数，难以解释它们每一个的作用，因此很难为了融入新知识而微调模型，难以对模型中可能存在的缺陷或偏差进行处理。
综上所述，需提供一个解决上述问题的技术方案。
发明内容
为解决上述问题，本发明提供如下技术方案：
一种针对大模型的领域知识更新系统，包括：
实体关系联合抽取模型，其用于对知识数据进行实体及关系的识别抽取；
新知识向量库，其用于对大模型中未记录的知识数据进行储存以及检索；
句嵌入模块，其用于对实体关系联合抽取模型所抽取的知识数据的实体及关系进行句向量的转化；
相似度分析模型，其能够根据句嵌入模块的句向量转化数据，分析有新任务输入的大模型初步输出结果与新知识向量库中储存数据的相似度。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步的，所述新知识向量库能够对新任务输入大模型后得出的初步结果数据与新知识向量库中的知识相似度进行计算。
进一步的，所述新知识向量库能够将大模型中未记录知识数据的保存为三元组结构。
进一步的，所述实体关系联合抽取模型能够抽取出知识数据中的头实体、尾实体、以及头实体与尾实体的关系。
一种针对大模型的领域知识更新方法，包括如下步骤：
S1、实体关系联合抽取模型抽取领域知识数据中的实体与关系，并以此构建知识图谱。
S2、根据判断模板将知识图谱中的目标知识数据输入至大模型，由大模型判断其内部是否包含与目标知识数据对应的知识数据。
S3、将知识图谱中在大模型中未查询到的目标知识数据储存至新知识向量库；
S4、新任务输入至大模型，大模型输出初始结果数据。
S5、选取新知识向量库中与初始结果数据相似度最高的相近知识数据，计算初始结果数据与相近知识数据的相似度。
S6、根据相似度选择输出初始结果数据与相近知识数据中的其中一个。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步的，所述S2中，知识图谱中的目标知识数据输入至大模型的判断模板为：
你是否知道{头实体}{关系}{尾实体}，只能回答“是”或“否”。
进一步的，所述S3中，将知识数据储存至新知识向量库中的方法包括如下步骤：
S2-1、对知识图谱中需要存入新知识向量库中的知识数据对应的三元组的实体和关系进行拼接。
S2-2、通过句嵌入模块对拼接后的结果进行向量化处理，并将处理结果存入新知识向量库。
进一步的，所述S5中，对新知识向量库中与初始结果数据相似度最高的相近知识数据的选取方法包括如下步骤：
S5-1-1、实体关系联合抽取模型对大模型的初始结果数据进行实体与关系的抽取，并以抽取的结果数据构建知识三元组，记作A。
S5-1-2、将实体关系联合抽取模型抽取到的实体与关系进行拼接，通过句嵌入模块对拼接后的结果进行编码，得到句向量，记作B。
S5-1-3、由新知识向量库计算B与新知识向量库向量库中其他知识的相似度，输出相似度最高的实体拼接数据以及对应的索引，相似度最高的实体拼接数据记作C。
进一步的，所述S5中，初始结果数据与相近知识数据相似度的计算方法包括如下步骤：
S5-2-1、抽取三元组A中的尾实体以及B与新知识向量库中相似度最高的实体拼接数据C中的尾实体。
S5-2-2、通过相似度分析模型对比由三元组A抽取出的尾实体与由相似度最高的实体拼接数据中抽取出的尾实体，计算二者的相似度。
进一步的，所述S6中，相似度大于设定阈值时，最终输出大模型输出的初始输出数据，若相似度小于设定阈值，则由A抽取出的尾实体替换C中抽取出的尾实体后，输出替换尾实体后的实体数据。
有益效果
与现有技术相比，本发明通过设置独立的新知识向量库，与大模型相配合，在实现对大模型中知识更新的同时，弥补大模型在处理新任务时可能存在的缺陷或偏差，从而提高模型的准确性，同时新知识向量库中的知识内存可以提供先前学习到的知识和经验，帮助大模型快速适应新任务，降低训练成本和时间，进一步提高模型的泛化能力，随着时间的推移，通过不断更新外部知识内存中的内容，大模型可以保持对多领域的了解，从而提高模型的适应性和可扩展性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为发明实施例的流程框图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明公开了一种针对大模型的领域知识更新系统，包括对知识数据进行实体及关系抽取的实体关系联合抽取模型、对新知识进行储存的新知识向量库、句嵌入模块、以及对大模型输出结果进行优化的相似度分析模型。
其中，新知识向量库能够用于对大模型中未记录的知识数据进行储存以及检索，句嵌入模块用于对实体关系联合抽取模型所抽取的知识数据的实体及关系进行句向量的转化，相似度分析模型能够根据句嵌入模块的句向量转化数据，分析有新任务输入的大模型初步输出结果与新知识向量库中储存数据的相似度。
通过设置的独立新知识向量库，能够对大模型中未记录或检索到的知识进行储存与更新，同时，新知识向量库能够对新任务输入大模型后得出的初步结果数据与新知识向量库中的知识相似度进行计算，经由新知识向量库来对大模型的输出结果进行一定程度的校正，提升大模型对不同领域知识任务的适应性。
为方便对新知识向量库中的知识数据进行分析，新知识向量库能够将大模型中未记录知识数据的保存为三元组结构，实体关系联合抽取模型能够抽取出知识数据中的头实体、尾实体、以及头实体与尾实体的关系。
进一步的，为对上述系统进行详细说明，现公开一种针对大模型的领域知识更新方法，请参阅图1，包括如下步骤：
S1、实体关系联合抽取模型抽取领域知识数据中的实体与关系，并以此构建知识图谱。
S2、根据判断模板将知识图谱中的目标知识数据输入至大模型，由大模型判断其内部是否包含与目标知识数据对应的知识数据。
其中，知识图谱中的目标知识数据输入至大模型的判断模板为：你是否知道{头实体}{关系}{尾实体}，只能回答“是”或“否”。
例如：你是否知道某国面积一千万平方公里，只能回答“是”或“否”。
S3、将知识图谱中在大模型中未查询到的目标知识数据储存至新知识向量库。
S3-1、对知识图谱中需要存入新知识向量库中的知识数据对应的三元组的实体和关系进行拼接。
S3-2、通过句嵌入模块对拼接后的结果进行向量化处理，并将处理结果存入新知识向量库。
S4、新任务输入至大模型，大模型输出初始结果数据。
S5、选取新知识向量库中与初始结果数据相似度最高的相近知识数据，并计算初始结果数据与相近知识数据的相似度。
S5-1-1、实体关系联合抽取模型对大模型的初始结果数据进行实体与关系的抽取，并以抽取的结果数据构建知识三元组，记作A。
S5-1-2、将实体关系联合抽取模型抽取到的实体与关系进行拼接，通过句嵌入模块对拼接后的结果进行编码，得到句向量，记作B。
S5-1-3、由新知识向量库计算B与新知识向量库向量库中其他知识的相似度，输出相似度最高的实体拼接数据以及对应的索引，相似度最高的实体拼接数据记作C。
S5-2-1、抽取三元组A中的尾实体以及B与新知识向量库中相似度最高的实体拼接数据C中的尾实体。
S5-2-2、通过相似度分析模型对比由三元组A抽取出的尾实体与由相似度最高的实体拼接数据中抽取出的尾实体，计算二者的相似度。
S6、根据相似度选择输出初始结果数据与相近知识数据中的其中一个，在相似度大于设定阈值时，最终输出大模型输出的初始输出数据，若相似度小于设定阈值，则由A抽取出的尾实体替换C中抽取出的尾实体后，输出替换尾实体后的实体数据。
其中，设定阈值可为0～1中的任意值，优选为0.8。
上述方法通过设置独立新知识数据库向模型注入特定领域的知识数据，能够弥补模型与实际场景差距，相较于传统需要重新收集和标注数据来训练新模型的机器学习方法，本发明能够通过动态地增量学习、增量训练和知识库更新来快速适应新的任务和场景，进而对现实世界中快速变化的任务和场景进行快速的适应。
同时，本发明通过向大模型注入领域知识(例如本体论或规则)的数据，可以使得大模型更加稳定和可解释，并减少对训练数据的依赖，提高模型的可解释性和稳定性
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种针对大模型的领域知识更新系统，其特征在于，包括：
实体关系联合抽取模型，其用于对知识数据进行实体及关系的识别抽取；
新知识向量库，其用于对大模型中未记录的知识数据进行储存以及检索；
句嵌入模块，其用于对实体关系联合抽取模型所抽取的知识数据的实体及关系进行句向量的转化；
相似度分析模型，其能够根据句嵌入模块的句向量转化数据，分析有新任务输入的大模型初步输出结果与新知识向量库中储存数据的相似度。
2.根据权利要求1所述的一种针对大模型的领域知识更新系统，其特征在于，所述新知识向量库能够对新任务输入大模型后得出的初步结果数据与新知识向量库中的知识相似度进行计算。
3.根据权利要求2所述的一种针对大模型的领域知识更新系统，其特征在于，所述新知识向量库能够将大模型中未记录知识数据的保存为三元组结构。
4.根据权利要求3所述的一种针对大模型的领域知识更新系统，其特征在于，所述实体关系联合抽取模型能够抽取出知识数据中的头实体、尾实体、以及头实体与尾实体的关系。
5.一种针对大模型的领域知识更新方法，其特征在于，包括如下步骤：
S1、实体关系联合抽取模型抽取领域知识数据中的实体与关系，并以此构建知识图谱；
S2、根据判断模板将知识图谱中的目标知识数据输入至大模型，由大模型判断其内部是否包含与目标知识数据对应的知识数据；
S3、将知识图谱中在大模型中未查询到的目标知识数据储存至新知识向量库；
S4、新任务输入至大模型，大模型输出初始结果数据；
S5、选取新知识向量库中与初始结果数据相似度最高的相近知识数据，计算初始结果数据与相近知识数据的相似度；
S6、根据相似度选择输出初始结果数据与相近知识数据中的其中一个。
6.根据权利要求5所述的一种针对大模型的领域知识更新方法，其特征在于，所述S2中，知识图谱中的目标知识数据输入至大模型的判断模板为：
你是否知道{头实体}{关系}{尾实体}，只能回答“是”或“否”。
7.根据权利要求5所述的一种针对大模型的领域知识更新方法，其特征在于，所述S3中，将知识数据储存至新知识向量库中的方法包括如下步骤：
S3-1、对知识图谱中需要存入新知识向量库中的知识数据对应的三元组的实体和关系进行拼接；
S3-2、通过句嵌入模块对拼接后的结果进行向量化处理，并将处理结果存入新知识向量库。
8.根据权利要求5所述的一种针对大模型的领域知识更新方法，其特征在于，所述S5中，对新知识向量库中与初始结果数据相似度最高的相近知识数据的选取方法包括如下步骤：
S5-1-1、实体关系联合抽取模型对大模型的初始结果数据进行实体与关系的抽取，并以抽取的结果数据构建知识三元组，记作A；
S5-1-2、将实体关系联合抽取模型抽取到的实体与关系进行拼接，通过句嵌入模块对拼接后的结果进行编码，得到句向量，记作B；
S5-1-3、由新知识向量库计算B与新知识向量库向量库中其他知识的相似度，输出相似度最高的实体拼接数据以及对应的索引，相似度最高的实体拼接数据记作C。
9.根据权利要求8所述的一种针对大模型的领域知识更新方法，其特征在于，所述S5中，初始结果数据与相近知识数据相似度的计算方法包括如下步骤：
S5-2-1、抽取三元组A中的尾实体以及C中的尾实体；
S5-2-2、通过相似度分析模型对比由A抽取出的尾实体与C中抽取出的尾实体，计算二者的相似度。
10.根据权利要求9所述的一种针对大模型的领域知识更新方法，其特征在于，所述S6中，相似度大于设定阈值时，最终输出大模型输出的初始输出数据，若相似度小于设定阈值，则由A抽取出的尾实体替换C中抽取出的尾实体后，输出替换尾实体后的实体数据。
CN202310596576.8A 2023-05-25 2023-05-25 一种针对大模型的领域知识更新系统及方法 Pending CN116719899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310596576.8A CN116719899A (zh) 2023-05-25 2023-05-25 一种针对大模型的领域知识更新系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310596576.8A CN116719899A (zh) 2023-05-25 2023-05-25 一种针对大模型的领域知识更新系统及方法

Publications (1)

Publication Number Publication Date
CN116719899A true CN116719899A (zh) 2023-09-08

Family

ID=87874249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310596576.8A Pending CN116719899A (zh) 2023-05-25 2023-05-25 一种针对大模型的领域知识更新系统及方法

Country Status (1)

Country Link
CN (1) CN116719899A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114112A (zh) * 2023-10-16 2023-11-24 北京英视睿达科技股份有限公司 基于大模型的垂直领域数据整合方法、装置、设备及介质
CN117312535A (zh) * 2023-11-28 2023-12-29 中国平安财产保险股份有限公司 基于人工智能的问题数据处理方法、装置、设备及介质
CN118364903A (zh) * 2024-05-20 2024-07-19 北京网田科技发展有限公司 一种基于ai大模型技术的知识库模型训练方法及系统
CN118627610A (zh) * 2024-08-15 2024-09-10 山东浪潮科学研究院有限公司 一种基于知识表示和动态提示的多模态模型知识更新方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114112A (zh) * 2023-10-16 2023-11-24 北京英视睿达科技股份有限公司 基于大模型的垂直领域数据整合方法、装置、设备及介质
CN117114112B (zh) * 2023-10-16 2024-03-19 北京英视睿达科技股份有限公司 基于大模型的垂直领域数据整合方法、装置、设备及介质
CN117312535A (zh) * 2023-11-28 2023-12-29 中国平安财产保险股份有限公司 基于人工智能的问题数据处理方法、装置、设备及介质
CN118364903A (zh) * 2024-05-20 2024-07-19 北京网田科技发展有限公司 一种基于ai大模型技术的知识库模型训练方法及系统
CN118627610A (zh) * 2024-08-15 2024-09-10 山东浪潮科学研究院有限公司 一种基于知识表示和动态提示的多模态模型知识更新方法

Similar Documents

Publication Publication Date Title
CN116719899A (zh) 一种针对大模型的领域知识更新系统及方法
CN111783394B (zh) 事件抽取模型的训练方法、事件抽取方法和系统及设备
CN112101041B (zh) 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN108268539A (zh) 基于文本分析的视频匹配系统
CN113849648B (zh) 分类模型训练方法、装置、计算机设备和存储介质
CN112766319A (zh) 对话意图识别模型训练方法、装置、计算机设备及介质
CN116303977B (zh) 一种基于特征分类的问答方法及系统
CN115544303A (zh) 用于确定视频的标签的方法、装置、设备及介质
CN114647713A (zh) 基于虚拟对抗的知识图谱问答方法、设备及存储介质
CN111460830A (zh) 一种司法文本中经济事件的抽取方法及系统
CN114691866A (zh) 面向多级标签的文本分类方法、装置、设备及存储介质
CN115408488A (zh) 用于小说场景文本的分割方法及系统
CN117217277A (zh) 语言模型的预训练方法、装置、设备、存储介质及产品
CN116561274A (zh) 一种基于数字人技术与自然语言大模型的知识问答方法
CN117113937A (zh) 一种基于大规模语言模型的电力领域阅读理解方法和系统
CN111831624A (zh) 数据表创建方法、装置、计算机设备及存储介质
CN111783464A (zh) 一种面向电力的领域实体识别方法、系统及存储介质
CN111597816A (zh) 一种自注意力命名实体识别方法、装置、设备及存储介质
Hafeth et al. Semantic representations with attention networks for boosting image captioning
CN117828024A (zh) 一种插件检索方法、装置、存储介质及设备
Mars et al. Combination of DE-GAN with CNN-LSTM for Arabic OCR on Images with Colorful Backgrounds
CN112131879A (zh) 一种关系抽取系统、方法和装置
CN114510943B (zh) 一种基于伪样本重放的增量式命名实体识别方法
WO2023173547A1 (zh) 文本图像匹配方法、装置、设备及存储介质
CN114416923A (zh) 一种基于富文本特征的新闻实体链接方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination