CN117235220B - 基于图数据库知识增强的可扩展大语言模型调用装置 - Google Patents
基于图数据库知识增强的可扩展大语言模型调用装置 Download PDFInfo
- Publication number
- CN117235220B CN117235220B CN202311193554.3A CN202311193554A CN117235220B CN 117235220 B CN117235220 B CN 117235220B CN 202311193554 A CN202311193554 A CN 202311193554A CN 117235220 B CN117235220 B CN 117235220B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- model
- graph
- coordination controller
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000003623 enhancer Substances 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 241000256836 Apis Species 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 1
- 235000017491 Bambusa tulda Nutrition 0.000 description 1
- 241001330002 Bambuseae Species 0.000 description 1
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000011425 bamboo Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于图数据库知识增强的可扩展大语言模型调用方法和装置,交互显示台接受用户问题输入并传递给协调控制器,在协调控制器中基于第一提示模板将用户问题输入翻译为图数据库的图查询语言,将图查询语言输入知识增强器获取背景知识返回协调控制器,在协调控制器中利用背景知识生成第二提示模板,将带有第二提示模板的调用请求输入至模型管理器,通过模型管理器加载相应的大语言模型并生成答案返回协调控制器,再经协调控制器将生成答案转化为自然语言并输出至交互显示台反馈给用户。本发明通过在线服务的方式为用户提供更高效准确的问答服务,具有安全、可靠和便捷的优势。
Description
技术领域
本发明属于人工智能自然语言处理技术领域,具体涉及一种基于图数据库知识增强的可扩展大语言模型调用方法和装置。
背景技术
大语言模型(Large Language Model,LLM)是一种基于深度学习的自然语言处理模型,它能够学习到自然语言的语法和语义,在文档分类检索、情感意图识别、机器翻译对话等众多领域有着广阔的应用前景。随着ChatGPT的出现,通用人工智能进入了一个全新的发展时期,类似的LLM大语言模型如雨后春笋般不断涌出。与模型技术研究相比,市场应用就显得不温不火。一来受商业大模型接口限制、数据安全、付费调用等众多因素影响,二来由于企业都拥有大量的数据,覆盖行业标准、用户产品、市场生产等,如何将这些有价值的数据和泛化的大模型相结合以便实现更精准更垂直的业务智能,是政府和企业在迈向人工智能道路上必须解决的重要课题。
针对上述课题,常见的方法是对已有模型利用特定数据进行再训练,但实现困难且成本较高。以一个6B的开源小模型为例,在4块卡条件下训练十万级数据需要数天才能完成,而小样本对参数越多泛化能力越强的模型起到的效果并不好。由于大模型天然适应上下文感知推理,对小样本的学习能力强,所以面向大模型的新范式微调(prompt-tuning)技术近年来成为研究的热点,其核心思想是通过添加提示模板(prompt模板)给到更多的上下文背景知识,在不重新预训练的情况下实现借助额外知识增强模型推理能力。
Prompt-tuning技术可以按知识的获取方式分为搜索引擎、向量数据库、知识图谱等不同的实现。其中搜索引擎是将用户输入转化为关键词模糊检索获得知识的过程,召回的信息往往是由近义词打分排序机制决定,结果对LLM的推理增强效果不好。向量数据库是将外部文档知识进行片段化后建立向量化模型并存于向量数据库中,然后对用户输入以同样方式转化为向量问题后,在向量数据库中进行近似性查询发现知识的过程。该方法能够利用多模态数据向量化表示更多的相关性,但在非对称语义查询场景下也存在较大的检索难度,终其原因是输入输出不能映射在同一空间,向量化查询只能发现与输入意思差不多的知识,而对于语义的扩展十分有限。知识图谱是实体、属性、关系构成的一个语义网络,非常适合做语义分析与匹配,为大模型知识增强提供了更好的解决方案。
因此,面对用户多样化的自然语言输入,采用Prompt-tuning技术能够实现知识增强,但面临多样化的通用大语言模型未被有效利用的问题,目前仍缺乏一种智能高效地将通用大语言模型进行集成和统一调用的方法。
发明内容
鉴于上述,本发明的目的是提供一种基于图数据库知识增强的可扩展大语言模型调用方法和装置,调用大语言模型时引入基于图数据库的知识增强方法,通过添加提示(prompt)模板充分结合背景知识,结合管线(pipeline)处理流实现图数据库知识自动化持续更新,最终形成的大语言模型调用装置能够以插件化方式集成和灵活调用已存在的大语言模型,通过在线服务的方式为用户提供更高效准确的问答服务,具有安全、可靠和便捷的优势,适用于个人及中小企业特定环境下高效的内容生成等应用场景,为大语言模型在具体行业的应用提供技术参考。
为实现上述发明目的,本发明提供的技术方案如下:
第一方面,本发明实施例提供的一种基于图数据库知识增强的可扩展大语言模型调用装置,包括:交互显示台、协调控制器、知识增强器和模型管理器;
所述交互显示台、知识增强器和模型管理器均与协调控制器相连;
所述交互显示台接受用户问题输入并传递给协调控制器,在协调控制器中基于第一提示模板将用户问题输入翻译为图数据库的图查询语言,将图查询语言输入知识增强器获取背景知识返回协调控制器,在协调控制器中利用背景知识生成第二提示模板,将带有第二提示模板的调用请求输入至模型管理器,通过模型管理器加载相应的大语言模型并生成答案返回协调控制器,再经协调控制器将生成答案转化为自然语言并输出至交互显示台反馈给用户。
进一步地,所述交互显示台提供基于图数据的知识增强问答页面,包括问答历史栏、对话界面、知识管理界面、快捷操作栏、问题输入对话框;
所述问答历史栏展示不同时间段内用户输入的历史问题,通过点击历史问题直接获取答案;
所述对话界面展示用户输入的问题以及生成的答案;
所述知识管理界面用于可视化当前知识库,并提供对图知识的实体/关系名称的搜索功能、全屏显示和关闭显示功能;
所述快捷操作栏包括刷新、删除、语音输入、word文本输入、pdf输入和知识库选择和加载功能;
所述问题输入对话框包括用户问题输入对话框和发送按钮。
进一步地,所述交互显示台提供模型管理页面,包括多个已集成大语言模型管理块和关键词搜索栏;每个已集成大语言模型管理块中显示包括模型名称、模型状态、模型简介和调用统计图,还显示包括服务地址、端口、健康状态、对话参数、快捷开关、发布时间、日志、操作功能;其中对话参数、日志和操作均能够点击进入相应扩展页面进行查看和/或操作。
进一步地,所述协调控制器中设置图查询器,所述图查询器用于基于第一提示模板将用户问题输入翻译为图数据库的图查询语言。
进一步地,所述协调控制器中设置统一调用网关作为服务请求控制单元,统一调用网关包含接收层、过滤层、转发调用层和注册中心;
所述接收层用于统一接收来自外部的请求,对参数格式错误或超时的请求将报错并直接返回;
所述过滤层基于内置的过滤规则对请求进一步进行检测和过滤;
转发调用层通过分析请求参数,在注册中心找到能够供调用服务的地址,实现路由转发和发起执行调用的功能;
注册中心用于保存所有服务的地址及状态信息。
进一步地,所述知识增强器为基于图数据库实现,其中利用多模态数据图结构化管线获取外部知识转化为图结构化数据并写入图数据库;所述多模态数据图结构化管线,包括指代消除、实体识别、语义对齐、关系抽取和实体-关系入库;
所述指代消除为找出图查询语言的多模态数据中的代词,将图查询语言中的代词替换为所指代的实体;
所述实体识别为对图查询语言的多模态数据中的实体进行识别和分类;
所述语义对齐为对同一个实体的不同表示进行统一;
所述关系抽取为通过识别实体之间的关系来提取实体之间的语义信息;
所述实体-关系入库为将得到的实体以及关系写入图数据库。
进一步地,所述模型管理器负责所有大语言模型生命周期的管理工作,包括大语言模型的加载、适配调用、上线、下线,模型管理器包括模型加载器、模型适配器和模型检测器;
所述模型加载器用于对大语言模型文件的合规性进行检查并申请加载内存空间,最后执行启动脚本,待服务启动完成并通过自检后,向外暴露能够供调用的原生API地址;
所述模型适配器用于将来自协调控制器的统一调用格式改写为能适应各类大语言模型原生API的本地调用,以透明的方式实现不同大语言模型的统一调用;
所述模型检测器用于负责大语言模型在线服务的心跳信息传递,以及记录调用执行日志和常用统计信息。
第二方面,为实现上述发明目的,本发明实施例还提供了一种基于图数据库知识增强的可扩展大语言模型调用方法,包括以下步骤:
S1,利用交互显示台接受用户问题输入并传递给协调控制器;
S2,利用协调控制器基于第一提示模板将用户问题输入翻译为图数据库的图查询语言,将图查询语言输入知识增强器;
S3,利用知识增强器获取背景知识返回协调控制器;
S4,利用协调控制器将背景知识生成第二提示模板,将带有第二提示模板的调用请求输入至模型管理器;
S5,利用模型管理器加载相应的大语言模型并生成答案返回协调控制器;
S6,利用协调控制器将生成答案转化为自然语言并输出至交互显示台反馈给用户。
第三方面,为实现上述发明目的,本发明实施例还提供了一种基于图数据库知识增强的可扩展大语言模型调用设备,包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于当执行所述计算机程序时,实现第一方面本发明实施例提供的基于图数据库知识增强的可扩展大语言模型调用方法。
第四方面,为实现上述发明目的,本发明实施例还提供了一种计算机可读的存储介质,所述存储介质上存储有计算机程序,所述计算机程序使用计算机时,实现第一方面本发明实施例提供的基于图数据库知识增强的可扩展大语言模型调用方法。
与现有技术相比,本发明具有的有益效果至少包括:
(1)本发明提供了一种通用的大语言模型调用框架,能够以插件化的可扩展方式快速支持各种大语言模型的接入和调用,方便快捷。
(2)实现了基于图数据库的大语言模型知识增强逻辑,结合prompt模板和图数据库语义检索能力,能够将泛化的大语言模型智能问答扩展到具有额外背景知识的各业务应用场景,为大语言模型泛化能力的具体应用提供了解决方案。
(3)定义了多模态数据的图结构化处理pipeline,能够实现图谱知识持续自动化更新。
(4)附加了诸如统一网关、缓存、历史对话等功能,提高了大语言模型调用的安全性、可用性和高效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是本发明实施例提供的基于图数据库知识增强的可扩展大语言模型调用装置总体结构示意图;
图2是本发明实施例提供的交互显示台中基于图数据的知识增强问答页面示意图;
图3是本发明实施例提供的交互显示台中模型管理页面示意图;
图4是本发明实施例提供的协调控制器中图查询器的影响力语义图结构示意图;
图5是本发明实施例提供的协调控制器中统一调用网关结构示意图;
图6是本发明实施例提供的知识增强器中多模态数据图结构化pipeline示意图;
图7是本发明实施例提供的基于图数据库知识增强的可扩展大语言模型调用方法流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
本发明的发明构思为:针对现有技术中面对用户多样化的自然语言输入,目前仍缺乏一种智能高效地将通用大语言模型进行集成和统一调用的方法的问题,本发明实施例提供了一种基于图数据库知识增强的可扩展大语言模型调用方法和装置,通过添加prompt模板提示学习增强背景知识和结合pipeline处理流自动化持续更新图数据库构建了基于图数据库知识增强的大语言模型调用框架,最终形成的大语言模型调用装置能够以插件化的可扩展方式集成和灵活调用已存在的大语言模型,通过在线服务的方式为用户提供更高效准确的问答服务,具有安全、可靠和便捷的优势,适用于个人及中小企业特定环境下高效的内容生成等应用场景。
图1是本发明实施例提供的基于图数据库知识增强的可扩展大语言模型调用装置总体结构示意图。如图1所示,实施例提供了一种基于图数据库知识增强的可扩展大语言模型调用装置100,包括:交互显示台110、协调控制器120、知识增强器130和模型管理器140;
交互显示台110、知识增强器130和模型管理器140均与协调控制器120相连;交互显示台110接受用户问题输入并传递给协调控制器120,在协调控制器120中基于第一prompt模板将用户问题输入翻译为图数据库的图查询语言,将图查询语言输入知识增强器130获取背景知识返回协调控制器120,在协调控制器120中利用背景知识生成第二prompt模板,将带有第二prompt模板的调用请求输入至模型管理器140,通过模型管理器140加载相应的大语言模型并生成答案返回协调控制器120,再经协调控制器120将生成答案转化为自然语言并输出至交互显示台110反馈给用户。
具体地,交互显示台110是装置的前端部分,它的作用包括接受用户的问题输入并传递给后面的协调控制器120,并接受答案输出反馈展示给终端用户。交互显示台110提供基于图数据的知识增强问答页面,如图2所示,包括问答历史栏、对话界面、知识管理界面、快捷操作栏、问题输入对话框;问答历史栏展示不同时间段内用户输入的历史问题,通过点击历史问题直接获取答案;对话界面展示用户输入的问题以及生成的答案;知识管理界面用于可视化当前知识库,并提供对图知识的实体/关系名称的搜索功能、全屏显示和关闭显示功能;快捷操作栏包括刷新、删除、语音输入、word文本输入、pdf输入和知识库选择和加载功能;问题输入对话框包括用户问题输入对话框和发送按钮。
交互显示台110还提供模型管理页面,如图3所示,包括多个已集成大语言模型管理块和关键词搜索栏,每个已集成大语言模型管理块中显示包括模型名称、模型状态、模型简介和调用统计图,还能够实时地显示包括服务地址、端口、健康状态、对话参数、快捷开关、发布时间、日志、操作功能,以便用户选择调用模型和对异常情况进行相应处理。其中对话参数、日志和操作均能够点击进入相应扩展页面进行查看和/或操作,设置对话参数实现对输入语句长度的限制以及最大对话轮数的限制等多项参数控制;日志能够点击进入查看页面;操作能够点击选择编辑、下架或删除等并进入相应页面。快捷开关包括缓存开关和知识增强开关,开启或关闭缓存开关能够实现是否调用问答历史的缓存数据,对于重复性问题直接调用缓存能够提高问答效率,减小计算时耗;开启或关闭知识增强开关能够基于输出答案的质量和用户需求选择是否在问答时开启知识增强功能。
具体地,所述协调控制器120是中间核心组件,它负责对用户的空间数据进行管理,比如保留用户相关的配置信息、为调用申请数据缓存块、维护历史对话记录等,并通过内部的图查询器和统一调用网关实现基于图数据库的大模型知识增强逻辑。协调控制器120中设置图查询器,用于基于第一prompt模板将用户问题输入翻译为图数据库的图查询语言输入知识增强器130以实现背景知识的获取。
实施例中,对于图数据库nebulagraph而言,通过图查询器将输入的自然语言翻译为可以直接供nebulagraph执行的申明式图查询语言nGQL。同样地,可以利用大模型小样本学习能力强的特点,只需要提供一些翻译的例子就可以借助大模型实现自然语言到图查询语言nGQL的自动转化。如下面的翻译可直接在如图4所示的语义图上执行:
对于用户提问“C国历史上影响力最大的运动员是谁?”,在图查询器中将用户提问翻译为图查询语言nGQL,基于第一prompt模板执行如下样例:
样例1:
你知道小明吗?
CALL{ MATCH(v:person{name:"小明"})-[:RELATIONSHIP]->(rel)-[:
RELATIONSHIP]->(target)
RETURN v.name+" "+rel.type+" "+target.name as response LIMIT 3 UNION
ALL
MATCH(v:person{name:"小明"})<-[:RELATIONSHIP]->(rel)<-[:
RELATIONSHIP]->(target) RETURN
v.name+" "+rel.type+" "+target.person.name as response LIMIT 3 }
RETURN response LIMIT 3
样例2:
小明在哪里工作?
MATCH(v:person{name:"小明"})-[:work]->(target) RETURN
target.enterprise.name as response
进而在面临用户提问:
C国历史上影响力最大的运动员是谁?
得到的图查询语言nGQL结果是:
MATCH (pl)<-[:birth_place]-(v:person)<-[:mentions]-(:article)-[:has_
section]->(:section{name:"运动"}) WHERE pl.place.name CONTAINS 'C国' WITH v,
count(*) as mentions ORDER BY mentions DESC LIMIT 3 RETURN v.person.name as
response
协调控制器120中还设置统一调用网关作为服务请求控制单元,如图5所示,统一调用网关包含接收层、过滤层、转发调用层和注册中心。接收层开启了socket服务,用于统一接收来自外部的请求,对参数格式错误或超时的请求将报错并直接返回;过滤层基于一些内置的过滤规则对请求进一步进行检测,常见的有安全控制会对一些敏感词进行过滤,流量控制会限制单位时间内用户的调用量从而避免出现服务整体不可用或访问不均衡等问题;转发调用层通过分析请求参数,在注册中心找到可供调用服务的地址,实现路由转发和发起执行调用的功能;注册中心保存了所有服务的地址及状态信息,每个服务通过心跳机制定时更新注册中心信息,保证服务调用的正确性。
具体地,知识增强器130是基于图数据库实现的,其中利用多模态数据图结构化管线获取外部知识转化为图结构化数据并写入图数据库。多模态数据图结构化pipeline如图6所示,包括指代消除、实体识别、语义对齐、关系抽取和实体-关系入库。
实施例中,指代消除为找出多模态数据中的代词,如“你”、“我”、“他”这样的词汇,它们单独存在并无实际意义,但往往在语境中是不可或缺的一类实体,起到承上启下的作用。比如有“小明是一名篮球运动员,他是C国人”一句话,可以转化为“小明是一名篮球运动员,小明是C国人”,这样就将原始语句中的“他”替换为代指的实体“小明”,方便后续进行实体的识别。
实施例中,实体识别为对图查询语言的多模态数据中的实体进行识别和分类,主要包括人名、地名、机构名、专有名词等。比如“小明是M国职业篮球联盟下XSD火箭俱乐部的前队员”,识别后可以得到“小明”、“M国”、“XSD火箭”三个实体,分别对应了人名、地名、组织名。
实施例中,语义对齐为对同一个实体的不同表示进行统一。很多时候同一个实体会有不止一种名称表示,比如对于“小明”这样一个篮球运动员,很多文章中会以“小巨人”来称呼他,这是在特定场合或背景下常见的表述方式。对于相同实体的不同表示需要在转化为图谱知识过程中进行统一,可以通过查询wiki百科或建立专有实体映射关系表进行解决。
实施例中,关系抽取为通过识别实体之间的关系来提取实体之间的语义信息。比如有文本“小明,出生于1980年9月12日,著名男子篮球运动员,出生于C国SH市XH区,曾于2002年至2011年效力于M国职业篮球联盟下XSD火箭俱乐部”,从中可以抽取的关系包括:
(‘小明’,‘出生日期’,‘1980年9月12日’)
(‘小明’,‘出生地’,‘C国SH市XH区’)
(‘小明’,‘工作单位’,‘M国职业篮球联盟下XSD火箭俱乐部’)
实施例中,实体-关系入库为将得到的实体以及关系写入图数据库nebulagraph。与图查询语句生成类似,同样可以基于大模型推理将分析得到的实体-关系自动转化为可以在图数据库上直接执行的nGQL语句,例如:
INSERT VERTEX person(name) VALUES "p_1":("小明");
INSERT VERTEX enterprise(name) VALUES "e_1":("M国职业篮球联盟下XSD火
箭俱乐部");
INSERT EDGE work (start_date, end_date) VALUES "p_1"->"e_1":(date("
2002"), date("2011"));
INSERT VERTEX place(name) values "pla_1":("C国SH市XH区");
INSERT EDGE birth_place() VALUES "p_1"->"pla_1":();
INSERT VERTEX `date`(val) VALUES "d_1":("1980年9月12日");
INSERT EDGE birth_date() VALUES "p_1"->"d_1":();
具体地,模型管理器140负责所有大语言模型生命周期的管理工作,包括大语言模型的加载、适配调用、上线、下线,模型管理器140包括模型加载器、模型适配器和模型检测器。
实施例中,模型加载器用于根据配置文件,首先对模型的文件进行扫描,在扫描过程中对模型文件的合规性进行检查,比如模型文件夹下如不存在启动脚本则无法进行下一步操作。然后申请内存空间,将模型参数及相关预料加载到内存空间。最后执行启动脚本,待服务启动完成并通过自检后,向外暴露可供调用的原生API地址。
实施例中,在模型适配器中,由于调用要满足各种大模型集成,而协调控制器120中向模型管理器140发出的调用请求具有统一的格式,为了屏蔽不同模型各自API带来的差异性(如编程语言、调用协议、入参类型、返回结构等),须要针对具体的模型设置对应的适配器。适配器的核心逻辑就是将来自协调控制器120的统一调用格式改写为能适应各类模型原生API的本地调用,以透明的方式实现不同模型的统一调用。模型适配器是插件化的工作方式,新的模型只需对应的适配器便可无缝实现集成。
实施例中,模型监测器是管理辅助子构件,它负责模型在线服务的心跳信息传递,如第一次启动成功后向协调控制器120中的注册中心报告发现新的模型服务,以后每隔一段时间更新服务的最新状态,当服务下线后负责从注册中心里删除对应的模型服务数据。此外,该子构件还负责记录调用执行日志和常用统计信息,这些都更利于对模型的状态进行监测。
综上,一种基于图数据库知识增强的可扩展大语言模型调用装置,能够实现插件化的可扩展在线服务大语言模型调用,实现了不同大模型的通用集成和统一调用,其中定义了从多模态数据中挖掘额外信息并形成知识图谱的pipeline处理流,可满足知识的自动化持续更新,同时利用了基于图数据库的大模型知识增强系统,结合定义的prompt模板和图数据库的语义检索能力,将泛化的大模型智能问答扩展到具有额外知识背景的各业务应用场景,并结合统一网关、缓存等技术大大提高了调用的可用性与高效性。
基于同样的发明构思,实施例还提供了一种基于图数据库知识增强的可扩展大语言模型调用方法,如图7所示,包括以下步骤:
S1,利用交互显示台110接受用户问题输入并传递给协调控制器120;
S2,利用协调控制器120基于第一prompt模板将用户问题输入翻译为图数据库的图查询语言,将图查询语言输入知识增强器130;
S3,利用知识增强器130获取背景知识返回协调控制器120;
S4,利用协调控制器120将背景知识生成第二prompt模板,将带有第二prompt模板的调用请求输入至模型管理器140;
S5,利用模型管理器140加载相应的大语言模型并生成答案返回协调控制器120;
S6,利用协调控制器120将生成答案转化为自然语言并输出至交互显示台110反馈给用户。
基于同样的发明构思,实施例还提供了一种基于图数据库知识增强的可扩展大语言模型调用设备,包括存储器和处理器,其中,存储器用于存储计算机程序,处理器用于当执行所述计算机程序时,实现上述基于图数据库知识增强的可扩展大语言模型调用方法。
基于同样的发明构思,实施例还提供了一种计算机可读的存储介质,存储介质上存储有计算机程序,计算机程序使用计算机时,实现上述基于图数据库知识增强的可扩展大语言模型调用方法。
需要说明的是,上述实施例提供的基于图数据库知识增强的可扩展大语言模型调用方法、基于图数据库知识增强的可扩展大语言模型调用设备和计算机可读的存储介质,均与基于图数据库知识增强的可扩展大语言模型调用装置实施例属于同一构思,其具体内容详见基于图数据库知识增强的可扩展大语言模型调用装置实施例,这里不再赘述。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于图数据库知识增强的可扩展大语言模型调用装置,其特征在于,包括:交互显示台、协调控制器、知识增强器和模型管理器;
所述交互显示台、知识增强器和模型管理器均与协调控制器相连;
所述交互显示台提供基于图数据的知识增强问答页面,包括问答历史栏、对话界面、知识管理界面、快捷操作栏、问题输入对话框;所述问答历史栏展示不同时间段内用户输入的历史问题,通过点击历史问题直接获取答案;所述对话界面展示用户输入的问题以及生成的答案;所述知识管理界面用于可视化当前知识库,并提供对图知识的实体/关系名称的搜索功能、全屏显示和关闭显示功能;所述快捷操作栏包括刷新、删除、语音输入、word文本输入、pdf输入和知识库选择和加载功能;所述问题输入对话框包括用户问题输入对话框和发送按钮;
所述协调控制器中设置统一调用网关作为服务请求控制单元,统一调用网关包含接收层、过滤层、转发调用层和注册中心;所述接收层用于统一接收来自外部的请求,对参数格式错误或超时的请求将报错并直接返回;所述过滤层基于内置的过滤规则对请求进一步进行检测和过滤;转发调用层通过分析请求参数,在注册中心找到能够供调用服务的地址,实现路由转发和发起执行调用的功能;注册中心用于保存所有服务的地址及状态信息;
所述知识增强器为基于图数据库实现,其中利用多模态数据图结构化管线获取外部知识转化为图结构化数据并写入图数据库;所述多模态数据图结构化管线包括指代消除、实体识别、语义对齐、关系抽取和实体-关系入库;所述指代消除为找出图查询语言的多模态数据中的代词,将图查询语言中的代词替换为所指代的实体;所述实体识别为对图查询语言的多模态数据中的实体进行识别和分类;所述语义对齐为对同一个实体的不同表示进行统一;所述关系抽取为通过识别实体之间的关系来提取实体之间的语义信息;所述实体-关系入库为将得到的实体以及关系写入图数据库;
所述模型管理器负责所有大语言模型生命周期的管理工作,包括大语言模型的加载、适配调用、上线、下线,模型管理器包括模型加载器、模型适配器和模型检测器;所述模型加载器用于对大语言模型文件的合规性进行检查并申请加载内存空间,最后执行启动脚本,待服务启动完成并通过自检后,向外暴露能够供调用的原生API地址;所述模型适配器用于将来自协调控制器的统一调用格式改写为能适应各类大语言模型原生API的本地调用,以透明的方式实现不同大语言模型的统一调用;所述模型检测器用于负责大语言模型在线服务的心跳信息传递,以及记录调用执行日志和常用统计信息;
所述交互显示台接受用户问题输入并传递给协调控制器,在协调控制器中基于第一提示模板将用户问题输入翻译为图数据库的图查询语言,将图查询语言输入知识增强器获取背景知识返回协调控制器,在协调控制器中利用背景知识生成第二提示模板,将带有第二提示模板的调用请求输入至模型管理器,通过模型管理器加载相应的大语言模型并生成答案返回协调控制器,再经协调控制器将生成答案转化为自然语言并输出至交互显示台反馈给用户。
2.根据权利要求1所述的基于图数据库知识增强的可扩展大语言模型调用装置,其特征在于,所述交互显示台提供模型管理页面,包括多个已集成大语言模型管理块和关键词搜索栏;每个已集成大语言模型管理块中显示包括模型名称、模型状态、模型简介和调用统计图,还显示包括服务地址、端口、健康状态、对话参数、快捷开关、发布时间、日志、操作功能;其中对话参数、日志和操作均能够点击进入相应扩展页面进行查看和/或操作。
3.根据权利要求1所述的基于图数据库知识增强的可扩展大语言模型调用装置,其特征在于,所述协调控制器中设置图查询器,所述图查询器用于基于第一提示模板将用户问题输入翻译为图数据库的图查询语言。
4.一种基于图数据库知识增强的可扩展大语言模型调用方法,利用权利要求1-3任一项所述的基于图数据库知识增强的可扩展大语言模型调用装置实现,其特征在于,包括以下步骤:
S1,利用交互显示台接受用户问题输入并传递给协调控制器;
S2,利用协调控制器基于第一提示模板将用户问题输入翻译为图数据库的图查询语言,将图查询语言输入知识增强器;
S3,利用知识增强器获取背景知识返回协调控制器;
S4,利用协调控制器将背景知识生成第二提示模板,将带有第二提示模板的调用请求输入至模型管理器;
S5,利用模型管理器加载相应的大语言模型并生成答案返回协调控制器;
S6,利用协调控制器将生成答案转化为自然语言并输出至交互显示台反馈给用户。
5.一种基于图数据库知识增强的可扩展大语言模型调用设备,包括存储器和处理器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于当执行所述计算机程序时,实现权利要求4所述的基于图数据库知识增强的可扩展大语言模型调用方法。
6.一种计算机可读的存储介质,所述存储介质上存储有计算机程序,其特征在于,所述计算机程序被计算机执行时,实现权利要求4所述的基于图数据库知识增强的可扩展大语言模型调用方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311193554.3A CN117235220B (zh) | 2023-09-15 | 2023-09-15 | 基于图数据库知识增强的可扩展大语言模型调用装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311193554.3A CN117235220B (zh) | 2023-09-15 | 2023-09-15 | 基于图数据库知识增强的可扩展大语言模型调用装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117235220A CN117235220A (zh) | 2023-12-15 |
CN117235220B true CN117235220B (zh) | 2024-03-15 |
Family
ID=89092379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311193554.3A Active CN117235220B (zh) | 2023-09-15 | 2023-09-15 | 基于图数据库知识增强的可扩展大语言模型调用装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117235220B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117453895B (zh) * | 2023-12-20 | 2024-03-01 | 苏州元脑智能科技有限公司 | 一种智能客服应答方法、装置、设备及可读存储介质 |
CN117972121A (zh) * | 2024-01-10 | 2024-05-03 | 南京大学 | 基于多模态大语言模型的关系抽取方法 |
CN117709909B (zh) * | 2024-02-06 | 2024-04-09 | 绵阳师范学院 | 一种基于大语言模型的业务数据处理方法 |
CN118332134B (zh) * | 2024-05-31 | 2024-09-10 | 湖北经济学院 | 基于知识图谱的语言输出方法、系统、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116303980A (zh) * | 2023-05-19 | 2023-06-23 | 无码科技(杭州)有限公司 | 一种大语言模型知识增强方法、系统、电子设备及介质 |
CN116483980A (zh) * | 2023-05-30 | 2023-07-25 | 科大讯飞股份有限公司 | 人机交互方法、装置及系统 |
CN116483982A (zh) * | 2023-06-25 | 2023-07-25 | 北京中关村科金技术有限公司 | 知识问答方法、装置、电子设备及可读存储介质 |
CN116561278A (zh) * | 2023-05-05 | 2023-08-08 | 科大讯飞股份有限公司 | 知识问答方法、装置、设备及存储介质 |
CN116701431A (zh) * | 2023-05-25 | 2023-09-05 | 东云睿连(武汉)计算技术有限公司 | 一种基于大语言模型的数据检索方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10127274B2 (en) * | 2016-02-08 | 2018-11-13 | Taiger Spain Sl | System and method for querying questions and answers |
KR102252459B1 (ko) * | 2019-09-18 | 2021-05-14 | 주식회사 솔트룩스 | 지식 그래프 기반의 사용자 맞춤형 질의 응답 시스템 |
-
2023
- 2023-09-15 CN CN202311193554.3A patent/CN117235220B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116561278A (zh) * | 2023-05-05 | 2023-08-08 | 科大讯飞股份有限公司 | 知识问答方法、装置、设备及存储介质 |
CN116303980A (zh) * | 2023-05-19 | 2023-06-23 | 无码科技(杭州)有限公司 | 一种大语言模型知识增强方法、系统、电子设备及介质 |
CN116701431A (zh) * | 2023-05-25 | 2023-09-05 | 东云睿连(武汉)计算技术有限公司 | 一种基于大语言模型的数据检索方法及系统 |
CN116483980A (zh) * | 2023-05-30 | 2023-07-25 | 科大讯飞股份有限公司 | 人机交互方法、装置及系统 |
CN116483982A (zh) * | 2023-06-25 | 2023-07-25 | 北京中关村科金技术有限公司 | 知识问答方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
ChatGPT启示:大语言模型时代传播学研究新问题;张尔坤 等;《国际新闻界》;20230630(第6期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117235220A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117235220B (zh) | 基于图数据库知识增强的可扩展大语言模型调用装置 | |
US10929348B2 (en) | Method and system for large scale data curation | |
KR100969447B1 (ko) | 자연 언어 커맨드에 따른 표 렌더링 | |
AU2021212025B2 (en) | Intelligent question answering on tabular content | |
CA2684822C (en) | Data transformation based on a technical design document | |
US20060235690A1 (en) | Intent-based information processing and updates | |
US20060235691A1 (en) | Intent-based information processing and updates in association with a service agent | |
US20050120009A1 (en) | System, method and computer program application for transforming unstructured text | |
CN105550206B (zh) | 结构化查询语句的版本控制方法及装置 | |
WO2021047169A1 (zh) | 信息查询方法及装置、存储介质、智能终端 | |
CN111125145A (zh) | 一种通过自然语言获取数据库信息的自动化系统 | |
CN114065765A (zh) | 结合ai和rpa的武器装备文本处理方法、装置及电子设备 | |
CN117743371A (zh) | 基于大语言模型的sql语句生成方法、装置、设备及介质 | |
CN116414961A (zh) | 基于军事领域知识图谱的问答方法和系统 | |
WO2019160152A1 (ja) | 対話管理サーバ、対話管理方法、及びプログラム | |
CN114253990A (zh) | 数据库查询方法、装置、计算机设备和存储介质 | |
CN117725078A (zh) | 一种基于自然语言的多表格数据查询和预测方法 | |
Annervaz et al. | Natural language requirements quality analysis based on business domain models | |
CN117971861A (zh) | 一种特征解耦可配置的nl2sql方法 | |
US20180293299A1 (en) | Query processing | |
CN109948164A (zh) | 统计需求信息的处理方法、装置、计算机设备和存储介质 | |
US12093265B2 (en) | Semantics based data and metadata mapping | |
US20220334808A1 (en) | Methods, systems, and computer readable media for creating and using minimum dictionary language (mdl) to access data in closed-domain data sets | |
Kasegn et al. | Spatial locality based identifier name recommendation | |
CN112905752A (zh) | 一种智能交互方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |