CN117235279B - 一种融合大语言模型和知识图谱的关键任务开发系统 - Google Patents
一种融合大语言模型和知识图谱的关键任务开发系统 Download PDFInfo
- Publication number
- CN117235279B CN117235279B CN202311132779.8A CN202311132779A CN117235279B CN 117235279 B CN117235279 B CN 117235279B CN 202311132779 A CN202311132779 A CN 202311132779A CN 117235279 B CN117235279 B CN 117235279B
- Authority
- CN
- China
- Prior art keywords
- behavior
- individual case
- data
- entity
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011161 development Methods 0.000 title claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012986 modification Methods 0.000 claims abstract description 20
- 230000004048 modification Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000006399 behavior Effects 0.000 claims description 117
- 238000001228 spectrum Methods 0.000 claims description 17
- 239000000463 material Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000005516 engineering process Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003014 reinforcing effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种融合大语言模型和知识图谱的关键任务开发系统,其包括行业专用大模型、个案图谱模版库、智能信息抽取模块、个案图谱模块、关键任务智能体应用和模型微调模块。个案图谱模版库、智能信息抽取模块和行业专用大模型的共同支撑,叠加来自个案图谱模块的数据支持,能帮助利用关键任务智能体应用执行关键任务的用户用更高效率工作的同时,获得更好的工作质量。而用户在执行关键任务时,在关键任务智能体应用使用的过程中所做的一系列专业判断,又将被用来进一步修改和完善个案知识图谱。所有用户针对所有个案任务所做的修改和完善的数据同时将被收集起来,模型微调模块用于对行业专用大模型的进一步微调和优化,形成闭环。
Description
技术领域
本发明涉及开发系统技术领域,特别是涉及一种融合大语言模型和知识图谱的关键任务开发系统。
背景技术
以GPT模型为代表的大语言模型(LLM,简称大模型)技术具备了应用广泛、通用性好、适应性强、模型能力强等一系列接近通用人工智能级别的性能表现,具备广泛的潜在实用性。但对于任务关键应用来说,LLM还存在一系列难以克服的缺点,包括:无法彻底消除生成内容中的编造行为、几次运行之间生成的结果无法确保一致、LLM作为黑箱模型生成的结果缺乏可解释性、LLM缺乏领域特定或新增的知识,等等。这些缺点导致应用难以直接依赖LLM作为应用核心,而需要一整套手段对其进行特别的控制。针对单个应用而言,对大语言模型进行外部控制存在较多的方法,但这些方法往往是因应用而异,迁移到其他用途上时,往往需要做大量的改造。
实现人工智能的应用的另一条技术路线是依托知识图谱。知识图谱是一种存在时间较长的技术。基于该技术搭建的典型应用就是谷歌和百度的搜索产品。知识图谱技术所具备的优点包括:知识逻辑清晰准确、结果精确可重复、生成内容可解释性极强、专业知识和新知识的补充和调整迅速可靠,等等。这些优点正好覆盖了LLM的缺点。但与此同时,知识图谱的生成和维护,特别是那些海量、多来源、多形态、差异巨大的数据如何可靠、高效、低成本地组织成知识图谱以服务于任务关键应用,却是单靠现存的知识图谱技术本身难以解决的困难问题。
使用知识图谱技术作为大语言模型的应用支撑,是一个业界在深入探索的方向。这方面的努力可以被分为三条技术路线:使用知识图谱来强化LLM、使用LLM来强化知识图谱、以及知识图谱和LLM互相强化。
这三条路线中,前两条路线属于相对成熟的路线,已经有不少的研究工作和技术实践,后者虽然存在概念,但具体的工作很少见。总体上,无论哪种方案,在从研究成果转化成具体应用的过程中,由于现实情况千差万别,并且大语言模型作为概率模型无法实现完全精确可控等原因,导致应用能力的提升存在瓶颈。在这个领域,目前尚未出现具备实用意义,足够用来支撑任务关键应用开发和实战部署的技术突破。
总结现有技术方案的缺点:
1、应用完全依赖大语言模型驱动:完全依赖大语言模型驱动的应用,其表现完全受大语言模型控制。在实际应用中,会分别或同时表现出胡编乱造、以及多次运行结果不一致等问题,运行结果的可解释性也非常差。更主要的是,由模型参数只有在对模型进行训练或微调的过程中才会调整,因此两次参数调整之间新出现的知识完全无从进入大模型,服务于应用。由于这些缺陷,无法让任务关键应用完全依赖LLM来执行任务。
2、应用完全依靠知识图谱:完全依靠知识图谱可以构建高度可靠的任务关键应用,问题在于支撑应用所需要的知识图谱,特别是任务关键应用所需要解决的,具备高度个性化和复杂度的问题(例如一个刑事案件、或者一个具体的病例),很难用一种可靠、高效、低成本的方式来自动生成和维护。目前业界的解决方案,都高度依赖专门的人工数据维护团队,来专门维护知识图谱。这种专门的数据团队维护知识图谱的方法,存在三个问题:首先,知识图谱的创建和持续维护成本高昂;其次,知识图谱的维护人员是数据工程师,而非业务专业人员,因此很难就个案数据做出可靠、专业的判断;最后,知识图谱的更新和维护与应用的节奏不一致,只能用于通用场景(例如知识查询、问答支持等等),而难以用于时间要求高的任务关键应用场景(例如检察官或律师助手、审讯辅助、法官助理、自动受理、智能诊疗等等)。
3、依靠知识图谱增强LLM:这条技术路线虽然可以通过不同方式强化LLM的能力,约束LLM的行为,但本质上,无法彻底改变LLM作为概率模型的核心特征,因此难以让强化过的LLM完全承担应用核心的任务。
4、使用LLM增强知识图谱:使用LLM强化知识图谱是一条行之有效的路径,能大幅提高生成知识图谱的效率和准确性,并能自动对知识图谱进行更新。这里存在的问题是,由于现实中个案情况的复杂性,很多甚至涉及到业务领域的重大的、前沿性和突破性问题(例如可能需要创造新的法律条文,需要建立新的诊断方案,等等),单纯依赖LLM难以彻底解决为任务关键应用实时构建和维护更新个案知识图谱的问题,因此也无法依靠这样的知识图谱来驱动应用。
发明内容
本发明针对现有技术存在的问题和不足,提供一种融合大语言模型和知识图谱的关键任务开发系统。
本发明是通过下述技术方案来解决上述技术问题的:
本发明提供一种融合大语言模型和知识图谱的关键任务开发系统,其特点在于,其包括行业专用大模型、个案图谱模版库、智能信息抽取模块、个案图谱模块、关键任务智能体应用和模型微调模块;
所述行业专用大模型为基于优选的模型基座并使用行业专有的任务设计和相关数据集进行微调和强化学习得到的大语言模型,模型基座为可切换的;
所述个案图谱模版库包括不同类型的个案图谱模版,个案图谱模版包括两大类模版:行为图谱模版和个案实体图谱模版;
其中,所述行为图谱模版包括针对不同业务行为设计的,以知识图谱三元组要素定义为核心的结构化数据框架,此结构化数据框架用于将从针对同一业务行为所采集的不同类型文档中抽取出来的数据有机地融合到一起,以及包括一系列依托此结构化数据框架从文档中抽取数据,填充、生成、校验和保存针对每项特定业务行为的行为图谱的行为数据实体抽取填充方法,文档包括文字材料、录音、照片和视频;
所述个案实体图谱模版包括针对完整的特定个案,结合该类型个案的基本特征所设计的,能将所有数据中围绕该个案的核心特征要件组织起来的结构化数据框架,此结构化数据框架用于将所有围绕该个案的行为以及相关的文档和卷宗材料构建成一个整体,以及包括一系列依托此结构化数据框架将业务行为对应的行为图谱与个案要件实行关联,并从行为图谱中抽取个案要件有关的数据,并经过形式转换填充到此结构化数据框架以形成个案实体图谱的个案数据实体抽取填充方法;
所述智能信息抽取模块用于接收调用方的信息提取指令,调用方为个案图谱模块或关键任务智能体应用,以此调用行业专用大模型,从调用方指定的文档里提取目标信息,并按照调用方的要求对提取到的目标信息进行进一步处理以输出符合调用方要求的提取处理结果;
所述个案图谱模块用于获取指定文档所属的行为图谱模版,调用智能信息抽取模块依据所属的行为图谱模版中行为数据实体抽取填充方法从指定文档中提取行为数据实体对所属的行为图谱模版中结构化数据框架进行数据实体填充,生成指定文档对应的行为图谱,校验和保存该行为图谱;
所述个案图谱模块还用于获取行为图谱所属的个案实体图谱模版,调用智能信息抽取模块依据所属的个案实体图谱模版中个案数据实体抽取填充方法从行为图谱中提取个案数据实体对所属的个案实体图谱模版中结构化数据框架进行数据实体填充,生成所属的个案实体图谱模版对应的个案实体图谱,校验和保存该个案实体图谱;
所述关键任务智能体应用用于可调用智能信息抽取模块、行业专用大模型、个案图谱模版库和个案图谱模块,在用户使用此应用执行关键任务时,调用个案图谱模块以获得与该关键任务相关的数据并按照该关键任务的要求生成特定形式文档呈现给用户,特定形式文档中的每个字段提供供用户追溯的数据生成路径的链接,接收并记录用户对特定形式文档中的某数据的修改,根据所修改的数据的数据生成路径反向追溯并修改对应个案实体图谱中个案数据实体相应字段的内容及对应行为图谱中行为数据实体相应字段的内容,并记录修改前后的相应字段内容对应的个案数据实体、相应字段内容对应的行为数据实体及原始文档中相应字段内容;
所述模型微调模块用于基于收集的修改前后的相应字段内容对应的个案数据实体、相应字段内容对应的行为数据实体及原始文档中相应字段内容,构建行业专用大模型的微调训练数据集,定期对行业专用大模型进行进一步微调,以提高行业专用大模型的性能。
本发明的积极进步效果在于:
1、自动知识图谱信息提取高质高效:本方案与最接近的现有技术相比,能有效地按知识图谱生成的要求,引导行业专用大模型自动、准确、完整地提取填充个案知识图谱的内容,并能自动校验提取数据的准确性。这个方案保障了所生成知识图谱的质量,极大降低了创建、管理和维护知识图谱所需要的成本,使得知识图谱在关键任务智能体应用中的使用成为可行的选择。
2、对关键任务智能体应用的支持具备极大的灵活性:本方案通过设计不同的模块支持应用在不同方面的需求,保障了高质量应用的开发,大幅降低了应用使用各项人工智能技术的门槛,确保应用的开发团队在不深入学习具体的人工智能技术使用方式的同时,还能高质量低享受各项人工智能技术的支持。
3、兼具LLM的能力和知识图谱的严谨:本方案通过多种机制性的设计,保障了LLM和知识图谱两者的有机结合,在发挥各自优点的同时,有效实现了对各自缺点的补强,同时还能保证整个开发系统运行的自动化,并大幅降低系统体系运行维护的专用人力的投入,由此大幅降低了运行维护的成本。
4、以极低成本引入了极高质量的人类反馈:本方案通过整个系统体系的设计,把关键任务智能体应用的使用者引入了本开发系统中,并通过他们开展执行关键任务智能体应用的整个过程,实现了对行业专用大模型任务结果的长程的、高精度的、全方位的专家级的自动反馈,并且这种反馈的产生和数据的收集整理是用户无感的,极大提高了整个设计的可用性。
附图说明
图1为本发明较佳实施例的融合大语言模型和知识图谱的关键任务开发系统的结构框图。
图2为本发明较佳实施例的融合大语言模型和知识图谱的关键任务开发系统的功能实现图。
图3为本发明较佳实施例的个案图谱模版库的架构图。
图4为本发明较佳实施例的个案图谱模块的功能实现图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1和图2所示,本实施例提供一种融合大语言模型和知识图谱的关键任务开发系统,其包括行业专用大模型1、个案图谱模版库2、智能信息抽取模块3、个案图谱模块4、关键任务智能体应用5和模型微调模块6。
行业专用大模型1为基于优选的模型基座并使用行业专有的任务设计和相关数据集进行微调和强化学习得到的大语言模型。
模型基座是可以选择和切换的,模型基座的设计和训练不在本开发系统的设计范围内,本开发系统假定可以在不同的模型基座之间自由切换,并根据应用的效果评估结论对基座模型进行取舍,这有助于保障整个开发系统可以随时切换到更新、更好、能力更强大的模型基座。
如图3所示,个案图谱模版库2包括不同类型的个案图谱模版,个案图谱模版包括两大类模版:行为图谱模版21和个案实体图谱模版22。
其中,行为图谱模版21包括针对不同业务行为设计的,以知识图谱三元组要素定义为核心的结构化数据框架,此结构化数据框架用于将从针对同一业务行为所采集的不同类型文档中抽取出来的数据有机地融合到一起,以及包括一系列依托此结构化数据框架从文档中抽取数据,填充、生成、校验和保存针对每项特定业务行为的行为图谱的行为数据实体抽取填充方法。
需要说明的是,本实施例提及的文档不仅仅指基于文字的材料(包括文字材料的扫描件),也可以包括录音、照片、视频等等多种媒体形式的材料。
个案实体图谱模版22包括针对完整的特定个案(例如一个法律案件、一个医疗病例、等等),结合该类型个案的基本特征所设计的,能将所有数据中围绕该个案的核心特征要件组织起来的结构化数据框架,此结构化数据框架用于将所有围绕该个案的行为以及相关的文档和卷宗材料构建成一个整体,以及包括一系列依托此结构化数据框架将业务行为对应的行为图谱与个案要件实行关联,并从行为图谱中抽取个案要件有关的数据,并经过形式转换填充到此结构化数据框架以形成个案实体图谱的个案数据实体抽取填充方法。
智能信息抽取模块3用于接收调用方的信息提取指令,调用方为个案图谱模块或关键任务智能体应用,以此调用行业专用大模型,从调用方指定的文档里提取目标信息,并按照调用方的要求对提取到的目标信息进行进一步处理(格式变换等)以输出符合调用方要求的提取处理结果。
本实施例中,个案图谱模块4可以调用智能信息抽取模块3,关键任务智能体应用5也可以调用智能信息抽取模块3,此外,个案图谱模版库2也可以调用智能信息抽取模块3。智能信息抽取模块3是可调用的公共功能应用模块,是智能信息提取的工具。
如图4所示,个案图谱模块4用于获取指定文档所属的行为图谱模版21,调用智能信息抽取模块3依据所属的行为图谱模版21中行为数据实体抽取填充方法从指定文档中提取行为数据实体对所属的行为图谱模版21中结构化数据框架进行数据实体填充,生成指定文档对应的行为图谱,校验和保存该行为图谱。
其中,获取指定文档所属的行为图谱模版的获取方式有两种,一种是直接指定方式,另一种是识别方式,直接指定方式是指直接指定指定文档所属的行为图谱模版,识别方式是指依托行业专用大模型1分析指定文档的内容,并调用不同类型的行为图谱模版21,以匹配识别出指定文档所属的行为图谱模版。
个案图谱模块4还用于获取行为图谱所属的个案实体图谱模版22,调用智能信息抽取模块3依据所属的个案实体图谱模版22中个案数据实体抽取填充方法从行为图谱中提取个案数据实体对所属的个案实体图谱模版22中结构化数据框架进行数据实体填充,生成所属的个案实体图谱模版22对应的个案实体图谱,校验和保存该个案实体图谱。
其中,获取行为图谱所属的个案实体图谱模版的获取方式有两种,一种是直接指定方式,另一种是识别方式,直接指定方式是指直接指定行为图谱所属的个案实体图谱模版,识别方式是指依托行业专用大模型1分析行为图谱的内容,并调用不同类型的个案实体图谱模版22,以匹配识别出行为图谱所属的个案实体图谱模版。
关键任务智能体应用5用于可以调用智能信息抽取模块3、行业专用大模型1、个案图谱模版库2和个案图谱模块4,在用户使用此应用执行关键任务时,调用个案图谱模块4以获得与该关键任务相关的数据并按照该关键任务的要求生成特定形式文档呈现给用户,特定形式文档中的每个字段提供供用户追溯的数据生成路径的链接,接收并记录用户对特定形式文档中的某数据的修改,根据所修改的数据的数据生成路径反向追溯并修改对应个案实体图谱中个案数据实体相应字段的内容及对应行为图谱中行为数据实体相应字段的内容,并记录修改前后的相应字段内容对应的个案数据实体、相应字段内容对应的行为数据实体及原始文档中相应字段内容。
例如:在用户使用关键任务智能体应用5执行关键任务(需要一份起诉书)时,关键任务智能体应用5会调用个案图谱模块4,从个案实体图谱中提取相关的数据,获得与起诉书相关的数据并按照起诉书的要求生成特定形式文档(即起诉书的初稿)呈现给用户。用户点击起诉书初稿中的每段文字,可以追溯到这段文字的数据生成路径,如这段文字来自于哪一个或多个原始文档中的哪一段、以及后续做过的处理操作。
用户可以根据自己的理解对起诉书中任意文字进行修改,会记录用户对起诉书中某个字段的修改,并根据所保存的数据生成路径(如原始文档-生成指令-生成结果-转换和处理-行为图谱字段-字段转换-个案实体图谱字段-应用调用转换)反向追溯,并修改对应字段的内容。同时会记录下修改前后的内容。
模型微调模块6用于基于收集的修改前后的相应字段内容对应的个案数据实体、相应字段内容对应的行为数据实体及原始文档中相应字段内容,构建行业专用大模型的微调训练数据集,定期对行业专用大模型进行进一步微调,以提高行业专用大模型的性能。
在本实施例中,个案图谱模块4用于供用户对该行为图谱中的行为数据实体进行修改,即用户可以对行为图谱中的任一个行为数据实体进行修改。个案图谱模块4还用于对与该个案实体图谱相关的所有行为图谱进行跟踪,在相关的行为图谱中的行为数据实体发生修改时,根据所修改的数据的数据生成路径正向追溯并修改该个案实体图谱中相关的个案数据实体。在用户对行为图谱中的某个行为数据实体进行修改时,还需要根据所修改的数据的数据生成路径正向追溯并修改个案实体图谱中相关的个案数据实体。模型微调模块6用于基于收集的修改前后的对应的行为数据实体、个案数据实体及原始文档中相应字段内容,构建行业专用大模型1的微调训练数据集,定期对行业专用大模型1进行进一步微调,以提高行业专用大模型的性能。
在本实施例中,个案图谱模块4用于供用户对该个案实体图谱中的个案数据实体进行修改,即用户可以对个案实体图谱中的任一个个案数据实体进行修改,在该个案实体图谱中的某个案数据实体修改时,同时根据所修改的数据的数据生成路径反向追溯并修改该个案数据实体对应的行为图谱中对应的行为数据实体。模型微调模块6用于基于收集的修改前后的对应的个案数据实体、行为数据实体及原始文档中相应字段内容,构建行业专用大模型1的微调训练数据集,定期对行业专用大模型1进行进一步微调,以提高行业专用大模型的性能。
此外,个案图谱模块4可以支持一个类型的个案实体图谱引用另一个类型的个案实体图谱。如,在一个刑事案件的个案实体图谱中引用关于合同的个案实体图谱。
本方案中,将知识图谱分成了个案知识图谱模版(行为图谱模版和个案实体图谱模版)和个案知识图谱(行为图谱和个案实体图谱),其中,个案知识图谱作为特定任务相关数据的集成者(例如一个刑事案件、一份复杂的合同、或者一个复杂的病例),用以承载对关键任务智能体应用的支撑;知识图谱模版作为目标任务的通用知识体系的承载者,用于引导和支撑LLM从外界输入的数据(文字材料、照片图片、视频或录音等等)中自动提取关键数据,填充生成个案知识图谱。
与此同时,本开发系统还引入了关键任务智能体应用,作为开发系统的一部分。个案知识图谱模版在应用中起到了引导应用业务逻辑的作用,同时个案知识图谱模版还进一步负责引导行业专用大模型在应用中更好地执行各项特定的任务。个案知识图谱模版、智能信息抽取模块和行业专用大模型的共同支撑,叠加来自个案知识图谱的数据支持,能帮助执行关键任务的用户用更高效率工作的同时,获得更好的工作质量。而用户在执行关键任务时,在应用使用的过程中所做的一系列专业判断,又将被用来进一步修改和完善个案知识图谱。所有用户针对所有个案任务所做的修改和完善的数据同时将被收集起来,用于对行业专用大模型的进一步微调和优化,形成闭环。
本发明的关键点和欲保护点为:
1、个案图谱模版除了常见的图谱模版内容以外,还包含了可以使用图谱模版的各种方法(包括行为数据实体抽取填充方法和个案数据实体抽取填充方法)。通过这些方法,图谱模版可以为不同的目的构建不同的行业专用大模型的提示词,从而确保调用图谱模版的关键任务智能体应用能更有效地控制行业专用大模型,并有效地消除大语言模型现存的各种问题。是技术关键点,应予以保护。
2、具备独立服务能力的个案图谱模版(行为图谱模版和个案实体图谱模版)和个案知识图谱(行为图谱和个案实体图谱)体系:通常的知识图谱系统中,对知识图谱模版的定义和管理属于后台功能,通常并不用来直接支撑应用,而本发明通过引入了个案图谱模版和个案知识图谱的概念,将个案图谱模版和个案知识图谱做成两个独立的模块,在本开发系统中承担不同的功能。其中,个案知识图谱主要承载的功能包括关键任务智能体应用所需要的数据提供、记录数据的来源和去向、记录关键任务智能体应用的专业用户在执行关键任务的过程中对数据所做的更改、并为模型微调和优化提供数据等功能。本开发系统将基于类型的个案知识图谱独立出来,并赋予了对关键任务智能体应用独立支撑的能力。这种能力可用于更大程度上发挥出LLM的能力,在很大程度上消除LLM的一些难以根除的问题,同时能确保关键任务智能体应用不受LLM编造内容(Hallucination)问题的影响。需要说明的是,至少目前为止,LLM的Hallucination问题从原理上就无法单靠自身彻底避免。是技术关键点,应予以保护。
3、在个案图谱模版引导下的信息抽取:本开发系统创造了在知识图谱模版引导下使用行业专用大模型的信息抽取模式。这种信息抽取模式的优点是能自动识别抽取对象的类型,并根据该类型为行业专用大模型的信息抽取行动提供明确的指引和准确的辅助信息(即行为数据实体抽取填充方法和个案数据实体抽取填充方法)。这种方案借助行业专用大模型实现自动信息抽取,大幅度提高了抽取内容的完整性和准确性,是技术关键点,应予以保护。
4、从多个维度为关键任务智能体应用提供人工智能能力支撑:本开发系统提供的四个核心模块(行业专用大模型、个案图谱模版库、个案图谱模块、智能信息抽取模块)从不同的角度(行业专用大模型能提供各种任务的直接支持、个案图谱模版库能为应用提供业务逻辑的引导、个案图谱模块能为应用提供准确及时完整的数据调用、智能信息抽取模块能为应用提供最为高效准确的自动信息抽取能力支撑)为应用提供了人工智能的能力支撑,确保应用能最灵活地根据自己的需要使用这些能力,且实现能力效果的最大化,而不必每个应用都单独开发与LLM的适配,是技术关键点,应予以保护。
5、反馈数据的自动采集和模型效果自动评测/微调优化:本开发系统通过提供可直接嵌入的、标准化的数据修正反馈机制,在不影响关键任务智能体应用使用者主观感受的前提下,为整个开发系统搭建了由专家执行的,通过关键任务智能体应用在用户体系中获得了准确性的、全面保障的、覆盖全部业务的全部流程的、同时又不发生额外成本的、高质量的、完整的、低成本反馈数据收集体系。在这个体系所收集回来的,可完整追溯的数据集的支持下,本开发系统所设计的模型效果自动评测和微调优化能力,可用于支持多种类型的模型的同时运行,并有效地保证了多模型自由切换的能力,是技术关键点,应予以保护。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (5)
1.一种融合大语言模型和知识图谱的关键任务开发系统,其特征在于,其包括行业专用大模型、个案图谱模版库、智能信息抽取模块、个案图谱模块、关键任务智能体应用和模型微调模块;
所述行业专用大模型为基于优选的模型基座并使用行业专有的任务设计和相关数据集进行微调和强化学习得到的大语言模型,模型基座为可切换的;
所述个案图谱模版库包括不同类型的个案图谱模版,个案图谱模版包括两大类模版:行为图谱模版和个案实体图谱模版;
其中,所述行为图谱模版包括针对不同业务行为设计的,以知识图谱三元组要素定义为核心的结构化数据框架,此结构化数据框架用于将从针对同一业务行为所采集的不同类型文档中抽取出来的数据有机地融合到一起,以及包括一系列依托此结构化数据框架从文档中抽取数据,填充、生成、校验和保存针对每项特定业务行为的行为图谱的行为数据实体抽取填充方法,文档包括文字材料、录音、照片和视频;
所述个案实体图谱模版包括针对完整的特定个案,结合该类型个案的基本特征所设计的,能将所有数据中围绕该个案的核心特征要件组织起来的结构化数据框架,此结构化数据框架用于将所有围绕该个案的行为以及相关的文档和卷宗材料构建成一个整体,以及包括一系列依托此结构化数据框架将业务行为对应的行为图谱与个案要件实行关联,并从行为图谱中抽取个案要件有关的数据,并经过形式转换填充到此结构化数据框架以形成个案实体图谱的个案数据实体抽取填充方法;
所述智能信息抽取模块用于接收调用方的信息提取指令,调用方为个案图谱模块或关键任务智能体应用,以此调用行业专用大模型,从调用方指定的文档里提取目标信息,并按照调用方的要求对提取到的目标信息进行进一步处理以输出符合调用方要求的提取处理结果;
所述个案图谱模块用于获取指定文档所属的行为图谱模版,调用智能信息抽取模块依据所属的行为图谱模版中行为数据实体抽取填充方法从指定文档中提取行为数据实体对所属的行为图谱模版中结构化数据框架进行数据实体填充,生成指定文档对应的行为图谱,校验和保存该行为图谱;
所述个案图谱模块还用于获取行为图谱所属的个案实体图谱模版,调用智能信息抽取模块依据所属的个案实体图谱模版中个案数据实体抽取填充方法从行为图谱中提取个案数据实体对所属的个案实体图谱模版中结构化数据框架进行数据实体填充,生成所属的个案实体图谱模版对应的个案实体图谱,校验和保存该个案实体图谱;
所述关键任务智能体应用用于可调用智能信息抽取模块、行业专用大模型、个案图谱模版库和个案图谱模块,在用户使用此应用执行关键任务时,调用个案图谱模块以获得与该关键任务相关的数据并按照该关键任务的要求生成特定形式文档呈现给用户,特定形式文档中的每个字段提供供用户追溯的数据生成路径的链接,接收并记录用户对特定形式文档中的某数据的修改,根据所修改的数据的数据生成路径反向追溯并修改对应个案实体图谱中个案数据实体相应字段的内容及对应行为图谱中行为数据实体相应字段的内容,并记录修改前后的相应字段内容对应的个案数据实体、相应字段内容对应的行为数据实体及原始文档中相应字段内容;
所述模型微调模块用于基于收集的修改前后的相应字段内容对应的个案数据实体、相应字段内容对应的行为数据实体及原始文档中相应字段内容,构建行业专用大模型的微调训练数据集,定期对行业专用大模型进行进一步微调,以提高行业专用大模型的性能;
所述个案图谱模块用于供用户对该行为图谱中的行为数据实体进行修改;
所述个案图谱模块还用于对与该个案实体图谱相关的所有行为图谱进行跟踪,在相关的行为图谱中的行为数据实体发生修改时,根据所修改的数据的数据生成路径正向追溯并修改该个案实体图谱中相关的个案数据实体;
所述模型微调模块用于基于收集的修改前后的对应的行为数据实体、个案数据实体及原始文档中相应字段内容,构建行业专用大模型的微调训练数据集。
2.如权利要求1所述的融合大语言模型和知识图谱的关键任务开发系统,其特征在于,所述个案图谱模块用于供用户对该个案实体图谱中的个案数据实体进行修改,在该个案实体图谱中的某个案数据实体修改时,同时根据所修改的数据的数据生成路径反向追溯并修改该个案数据实体对应的行为图谱中对应的行为数据实体;
所述模型微调模块用于基于收集的修改前后的对应的个案数据实体、行为数据实体及原始文档中相应字段内容,构建行业专用大模型的微调训练数据集。
3.如权利要求1所述的融合大语言模型和知识图谱的关键任务开发系统,其特征在于,所述个案图谱模块用于支持一个类型的个案实体图谱引用另一个类型的个案实体图谱。
4.如权利要求1所述的融合大语言模型和知识图谱的关键任务开发系统,其特征在于,所述个案图谱模块用于获取指定文档所属的行为图谱模版,获取方式为直接指定方式或识别方式,直接指定方式是指直接指定指定文档所属的行为图谱模版,识别方式是指依托行业专用大模型分析指定文档的内容,并调用不同类型的行为图谱模版,以识别出指定文档所属的行为图谱模版。
5.如权利要求1所述的融合大语言模型和知识图谱的关键任务开发系统,其特征在于,所述个案图谱模块用于获取行为图谱所属的个案实体图谱模版,获取方式为直接指定方式或识别方式,直接指定方式是指直接指定行为图谱所属的个案实体图谱模版,识别方式是指依托行业专用大模型分析行为图谱的内容,并调用不同类型的个案实体图谱模版,以识别出行为图谱所属的个案实体图谱模版。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311132779.8A CN117235279B (zh) | 2023-09-04 | 2023-09-04 | 一种融合大语言模型和知识图谱的关键任务开发系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311132779.8A CN117235279B (zh) | 2023-09-04 | 2023-09-04 | 一种融合大语言模型和知识图谱的关键任务开发系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117235279A CN117235279A (zh) | 2023-12-15 |
CN117235279B true CN117235279B (zh) | 2024-03-19 |
Family
ID=89083603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311132779.8A Active CN117235279B (zh) | 2023-09-04 | 2023-09-04 | 一种融合大语言模型和知识图谱的关键任务开发系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117235279B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460698A (zh) * | 2018-03-30 | 2018-08-28 | 北京合享智慧科技有限公司 | 构建专利价值度评价模型的方法和计算机可读存储介质 |
CN108629708A (zh) * | 2018-03-30 | 2018-10-09 | 北京合享智慧科技有限公司 | 构建专利价值度评价模型的方法和计算机可读存储介质 |
CN108694462A (zh) * | 2018-03-30 | 2018-10-23 | 北京合享智慧科技有限公司 | 专利价值度评价方法和计算机可读存储介质 |
CN112883196A (zh) * | 2021-02-01 | 2021-06-01 | 上海交通大学 | 基于知识图谱的案件分配方法、系统、介质及电子设备 |
CN115994230A (zh) * | 2022-12-29 | 2023-04-21 | 南京烽火星空通信发展有限公司 | 一种融合人工智能和知识图谱技术的智慧档案构建方法 |
CN116127095A (zh) * | 2023-01-04 | 2023-05-16 | 北京工业大学 | 一种序列模型与知识图谱结合的问答方法 |
CN116383402A (zh) * | 2023-03-10 | 2023-07-04 | 科技谷(厦门)信息技术有限公司 | 一种基于图分析模型的智能出行图谱构建方法 |
CN116542233A (zh) * | 2023-05-24 | 2023-08-04 | 北京华宇信息技术有限公司 | 法律文书生成方法及装置 |
-
2023
- 2023-09-04 CN CN202311132779.8A patent/CN117235279B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460698A (zh) * | 2018-03-30 | 2018-08-28 | 北京合享智慧科技有限公司 | 构建专利价值度评价模型的方法和计算机可读存储介质 |
CN108629708A (zh) * | 2018-03-30 | 2018-10-09 | 北京合享智慧科技有限公司 | 构建专利价值度评价模型的方法和计算机可读存储介质 |
CN108694462A (zh) * | 2018-03-30 | 2018-10-23 | 北京合享智慧科技有限公司 | 专利价值度评价方法和计算机可读存储介质 |
CN112883196A (zh) * | 2021-02-01 | 2021-06-01 | 上海交通大学 | 基于知识图谱的案件分配方法、系统、介质及电子设备 |
CN115994230A (zh) * | 2022-12-29 | 2023-04-21 | 南京烽火星空通信发展有限公司 | 一种融合人工智能和知识图谱技术的智慧档案构建方法 |
CN116127095A (zh) * | 2023-01-04 | 2023-05-16 | 北京工业大学 | 一种序列模型与知识图谱结合的问答方法 |
CN116383402A (zh) * | 2023-03-10 | 2023-07-04 | 科技谷(厦门)信息技术有限公司 | 一种基于图分析模型的智能出行图谱构建方法 |
CN116542233A (zh) * | 2023-05-24 | 2023-08-04 | 北京华宇信息技术有限公司 | 法律文书生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117235279A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Drath | Automationml: A practical guide | |
Maedche et al. | Managing multiple ontologies and ontology evolution in ontologging | |
CN112559766B (zh) | 一种法律知识图谱构建系统 | |
CN110083639A (zh) | 一种基于聚类分析的数据血缘智能溯源的方法及装置 | |
CN107943945A (zh) | 一种大数据分析开发平台中异构算子管理方法 | |
CN103309904A (zh) | 一种生成数据仓库etl 代码的方法及装置 | |
CN103903086A (zh) | 一种基于业务模型驱动的管理信息系统开发方法及系统 | |
CN105808853B (zh) | 一种面向工程应用的本体构建管理与本体数据自动获取方法 | |
Trojer et al. | Living modeling of IT architectures: challenges and solutions | |
CN111176613A (zh) | 基于体系结构模型的协同任务自动分解系统 | |
CN112559690A (zh) | 一种自然语言智能数据建模技术 | |
Tauscher et al. | A modular graph transformation rule set for IFC‐to‐CityGML conversion | |
CN113626024A (zh) | 结合rpa和ai的低代码开发方法、装置及计算设备 | |
CN117235279B (zh) | 一种融合大语言模型和知识图谱的关键任务开发系统 | |
Storga | Traceability in product development | |
CN115878096B (zh) | 深度学习模型统一应用方法、装置、服务器及存储介质 | |
Li et al. | Consistent automated production systems modeling in a multi-disciplinary engineering workflow | |
Efendioglu et al. | Modelling method design: a model-driven approach | |
CN101706840A (zh) | 基于产品节点树的产品性能仿真信息的表示方法 | |
Oliveira et al. | An ontology for describing ETL patterns behavior | |
CN105930483A (zh) | 对象格式生成方法、装置及系统 | |
Buyle | Towards interoperability in the public sector | |
CN102902519A (zh) | 一种基于动态系统实现复合断言计算的方法 | |
Raedler et al. | Code Generation for Machine Learning using Model-Driven Engineering and SysML | |
CN111562944B (zh) | 程序代码的比对方法、比对装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240219 Address after: Room 715, No. 228 Jiangchang 3rd Road, Jing'an District, Shanghai, 200436 Applicant after: Shanghai Junsi Huanyu Data Technology Co.,Ltd. Country or region after: China Address before: Room 1511, No. 78, Lane 1688, Guoquan North Road, Yangpu District, Shanghai 200082 Applicant before: Shanghai Xinguang Data Technology Co.,Ltd. Country or region before: China |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |