CN117828079A - 基于大语言模型的知识传承实现方法及装置、存储介质 - Google Patents
基于大语言模型的知识传承实现方法及装置、存储介质 Download PDFInfo
- Publication number
- CN117828079A CN117828079A CN202311869542.8A CN202311869542A CN117828079A CN 117828079 A CN117828079 A CN 117828079A CN 202311869542 A CN202311869542 A CN 202311869542A CN 117828079 A CN117828079 A CN 117828079A
- Authority
- CN
- China
- Prior art keywords
- case
- index
- type label
- language model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000010801 machine learning Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005065 mining Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于大语言模型的知识传承实现方法及装置、存储介质、计算机设备,该方法包括:获取多个类型的案例知识信息,任一类型的案例知识信息包括案例类型标签和对应的预设指标特征;针对任一案例类型标签,根据案例类型标签对应的预设指标特征,在案例数据样本库中获取与案例类型标签匹配的案例数据样本,通过机器学习方法对案例数据样本进行分析,确定案例类型标签对应的补充指标特征,建立案例类型标签对应的案例指标特征;根据案例指标特征和案例数据样本,建立每种案例类型标签对应的训练文本样本对大语言模型进行训练。本申请实现了通过大语言模型传承案例知识,提升知识传承效率和准确性,降低工作门槛和难度。
Description
技术领域
本申请涉及知识传承技术领域,尤其是涉及到一种基于大语言模型的知识传承实现方法及装置、存储介质、计算机设备。
背景技术
在现有的企业知识传承实现方式中,主要依赖于同事之间的口头或书面交流。这种方式虽然在一定程度上可以传递知识,但很难形成完备的体系。由于每个人的理解和表述方式不同,使得知识的传递容易造成信息的失真或遗漏,效率相对较低。即使有些企业引入了数据库或OA系统等现代化的信息管理工具,仍然难以解决知识传承的有机体系问题
因此,目前急需一种技术方案,能够克服或至少减轻现有技术中的这些缺陷,以提高知识传承效率和准确性,从而提高工作效率。
发明内容
有鉴于此,本申请实施例提供了一种基于大语言模型的知识传承实现方法及装置、存储介质、计算机设备,通过机器学习进行特征挖掘、并通过大语言模型实现案例知识传承,将经验知识进行模型化,提升知识传承效率和准确性,以便缺乏经验的用户通过传承了知识的大语言模型快速进行案例分类,降低工作门槛和难度
根据本申请的一个方面,提供了一种基于大语言模型的知识传承实现方法,所述方法包括:
获取案例知识库,其中,所述案例知识库包括多个类型的案例知识信息,任一类型的案例知识信息包括案例类型标签和对应的预设指标特征;
针对任一案例类型标签,根据所述案例类型标签对应的预设指标特征,在案例数据样本库中获取与所述案例类型标签匹配的案例数据样本,通过机器学习方法对所述案例数据样本进行分析,确定所述案例类型标签对应的补充指标特征,并基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,其中,所述案例数据样本包括全量指标数据,全量指标包括预设指标和补充指标;
根据每种案例类型标签对应的案例指标特征和案例数据样本,建立每种案例类型标签对应的训练文本样本,并基于所述训练文本样本对大语言模型进行训练,以利用所述大语言模型对目标全量指标数据进行案例分类。
可选地,所述基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,包括:
将所述案例类型标签对应的所述预设指标特征和所述补充指标特征作为待分析指标特征,对所述待分析指标特征进行关联关系分析,并将具有关联关系的待分析指标特征构建为融合指标特征;
基于所述融合指标特征和剩余的待分析指标特征,确定所述案例类型标签对应的案例指标特征。
可选地,所述利用所述大语言模型对目标全量指标数据进行案例分类,包括:
确定待分类的目标全量指标数据,并基于所述目标全量指标数据以及提示信息模板,构建目标案例分类提示信息;
将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息。
可选地,所述提示信息模板用于提示所述大语言模型推理案例分类标签和输出推理过程;所述案例分类信息包括案例分类结果和对应的推理过程信息,所述案例分类结果包括案例分类标签或案例分类失败结果;所述得到案例分类信息之后,所述方法还包括:
在所述案例分类结果为案例分类失败结果的情况下,将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中;
在所述案例分类结果为案例分类标签的情况下,依据所述推理过程信息对所述案例分类信息进行评分,并在所述评分低于第一阈值时将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中。
可选地,所述方法还包括:
利用专家系统确定所述待处理案例数据的目标类型标签;
若所述目标类型标签属于所述案例类型标签,则通过机器学习方法对所述案例数据样本库中属于所述目标类型标签的案例数据样本进行分析,更新所述目标类型标签对应的补充指标特征以及更新所述目标类型标签的案例指标特征,并建立所述目标类型标签对应的迭代文本样本,对所述大语言模型进行迭代训练;
若所述目标类型标签不属于所述案例类型标签,则将所述目标类型标签作为新的案例类型标签,获取所述专家系统提供的所述目标类型标签的预设指标特征,并构建所述目标类型标签的案例数据样本对所述大语言模型进行训练。
可选地,所述依据所述推理过程信息对所述案例分类信息进行评分之后,所述方法还包括:
在所述评分高于第二阈值时基于所述目标全量指标数据和所述案例分类标签对应的案例指标特征,建立微调文本样本,并基于所述微调文本样本对所述大语言模型进行微调。
可选地,所述案例知识信息还包括案例处理知识;所述基于所述训练文本样本对大语言模型进行训练之后,所述方法还包括:
将每种案例类型标签对应的案例处理知识注入所述大语言模型中;
相应地,所述将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息,包括:
将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息以及对应的案例处理知识。
可选地,所述全量指标数据包括所述全量指标中每个指标对应的指标值和产生所述指标值的行为数据;所述基于所述训练文本样本对大语言模型进行训练,包括:
基于每种案例类型标签对应的案例数据样本中的所述指标值和所述行为数据进行大语言模型的预训练,并基于每种案例类型标签对应的案例指标特征,对预训练后的大语言模型进行微调。
根据本申请的另一方面,提供了一种基于大语言模型的知识传承实现装置,所述装置包括:
案例库获取模块,用于获取案例知识库,其中,所述案例知识库包括多个类型的案例知识信息,任一类型的案例知识信息包括案例类型标签和对应的预设指标特征;
指标特征确定模块,用于针对任一案例类型标签,根据所述案例类型标签对应的预设指标特征,在案例数据样本库中获取与所述案例类型标签匹配的案例数据样本,通过机器学习方法对所述案例数据样本进行分析,确定所述案例类型标签对应的补充指标特征,并基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,其中,所述案例数据样本包括全量指标数据,全量指标包括预设指标和补充指标;
模型训练模块,用于根据每种案例类型标签对应的案例指标特征和案例数据样本,建立每种案例类型标签对应的训练文本样本,并基于所述训练文本样本对大语言模型进行训练,以利用所述大语言模型对目标全量指标数据进行案例分类。
可选地,所述指标特征确定模块,还用于:
将所述案例类型标签对应的所述预设指标特征和所述补充指标特征作为待分析指标特征,对所述待分析指标特征进行关联关系分析,并将具有关联关系的待分析指标特征构建为融合指标特征;
基于所述融合指标特征和剩余的待分析指标特征,确定所述案例类型标签对应的案例指标特征。
可选地,所述装置还包括:分类模块,用于:
确定待分类的目标全量指标数据,并基于所述目标全量指标数据以及提示信息模板,构建目标案例分类提示信息;
将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息。
可选地,所述提示信息模板用于提示所述大语言模型推理案例分类标签和输出推理过程;所述案例分类信息包括案例分类结果和对应的推理过程信息,所述案例分类结果包括案例分类标签或案例分类失败结果;所述分类模块,还用于:
在所述案例分类结果为案例分类失败结果的情况下,将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中;
在所述案例分类结果为案例分类标签的情况下,依据所述推理过程信息对所述案例分类信息进行评分,并在所述评分低于第一阈值时将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中。
可选地,所述指标特征确定模块,还用于:
利用专家系统确定所述待处理案例数据的目标类型标签;
若所述目标类型标签属于所述案例类型标签,则通过机器学习方法对所述案例数据样本库中属于所述目标类型标签的案例数据样本进行分析,更新所述目标类型标签对应的补充指标特征以及更新所述目标类型标签的案例指标特征,并建立所述目标类型标签对应的迭代文本样本,以对所述大语言模型进行迭代训练;
若所述目标类型标签不属于所述案例类型标签,则将所述目标类型标签作为新的案例类型标签,获取所述专家系统提供的所述目标类型标签的预设指标特征,并构建所述目标类型标签的案例数据样本,以对所述大语言模型进行训练。
可选地,所述模型训练模块,还用于:
在所述评分高于第二阈值时基于所述目标全量指标数据和所述案例分类标签对应的案例指标特征,建立微调文本样本,并基于所述微调文本样本对所述大语言模型进行微调。
可选地,所述案例知识信息还包括案例处理知识;所述模型训练模块,还用于:将每种案例类型标签对应的案例处理知识注入所述大语言模型中;
相应地,所述分类模块,还用于:将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息以及对应的案例处理知识。
可选地,所述全量指标数据包括所述全量指标中每个指标对应的指标值和产生所述指标值的行为数据;所述模型训练模块,还用于:基于每种案例类型标签对应的案例数据样本中的所述指标值和所述行为数据进行大语言模型的预训练,并基于每种案例类型标签对应的案例指标特征,对预训练后的大语言模型进行微调。
依据本申请又一个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述基于大语言模型的知识传承实现方法。
依据本申请再一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于大语言模型的知识传承实现方法。
借由上述技术方案,本申请实施例提供的一种基于大语言模型的知识传承实现方法及装置、存储介质、计算机设备,针对各类型案例对应的预设指标特征,在案例数据样本库中获取符合预设指标特征的案例数据样本,通过机器学习方法进一步分析潜在的指标特征,从而将预设指标特征和分析出的补充指标特征作为各类型案例的案例指标特征,进一步利用案例指标特征和案例数据样本构建每种案例类型的训练文本样本对大语言模型进行训练,以通过大语言模型实现案例知识传承,进而利用大语言模型实现案例分类。本申请实施例通过机器学习进行特征挖掘、并通过大语言模型实现案例知识传承,将经验知识进行模型化,提升知识传承效率和准确性,以便缺乏经验的用户通过传承了知识的大语言模型快速进行案例分类,降低工作门槛和难度,并且大语言模型的语言理解能力使得输入到模型中的数据不再受限于结构化数据,进一步降低上手难度,提升工作效率。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种基于大语言模型的知识传承实现方法的流程示意图;
图2示出了本申请实施例提供的另一种基于大语言模型的知识传承实现方法的流程示意图;
图3示出了本申请实施例提供的一种基于大语言模型的知识传承实现装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种基于大语言模型的知识传承实现方法,如图1所示,该方法包括:
步骤101,获取案例知识库,其中,所述案例知识库包括多个类型的案例知识信息,任一类型的案例知识信息包括案例类型标签和对应的预设指标特征。
本申请实施例中,获取预先构建的案例知识库,案例知识库中包括多种类型的案例知识信息,每种类型的案例知识信息包括用于区分案例类型的案例类型标签,以及预先为该类型案例构建的多种预设指标特征。以基于外卖平台的数据安全领域为例,一种类型的案例可以是骑手在手机上安装虚拟定位软件,通过虚拟定位将位置定位在配送位置,从而在外卖未配送时就提交已送达信息,对应的预设指标特征可以包括手机中安装虚拟定位软件、调用修改定位信息的函数等等。
步骤102,针对任一案例类型标签,根据所述案例类型标签对应的预设指标特征,在案例数据样本库中获取与所述案例类型标签匹配的案例数据样本,通过机器学习方法对所述案例数据样本进行分析,确定所述案例类型标签对应的补充指标特征,并基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,其中,所述案例数据样本包括全量指标数据,全量指标包括预设指标和补充指标。
本申请实施例中,确定案例知识信息后,可以基于案例知识信息构建每种类型案例对应的训练样本。针对各案例类型标签,具体地,可以先在案例数据样本库中找出符合预设指标特征的案例数据样本,其中,案例数据样本包含全量指标数据、且其中的预设指标数据符合预设指标特征。案例知识库中的预设指标特征主要是一些显性、易于总结的强特征,为了挖掘出各类型案例的隐性特征,还可以通过机器学习方法对符合预设指标特征的案例数据样本进行分析,利用及其虚席分析的优势提取其他潜在的特征因子作为补充指标特征。从而将预设指标特征和补充指标特征共同确定案例类型标签对应的案例指标特征,以形成更完备的案例指标特征。其中,全量指标可以是对于各案例能够采集到的全部指标,为了减少数据分析量全量指标也可以是对区分案例类型可能具有影响的指标,一般来说为了更深入的挖掘出案例类型的潜在特征,全量指标是能够采集到的全部指标,例如全量指标包括300维,对某个案例类型经过分析后根据其中40维数据确定案例指标特征。另外,对于指标、指标特征和指标数据之间的关系,需要说明的是,以案例指标为手机内存为例,案例指标特征可以是手机内存小于12G,案例指标数据是手机内存值。
可选地,所述基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,包括:将所述案例类型标签对应的所述预设指标特征和所述补充指标特征作为待分析指标特征,对所述待分析指标特征进行关联关系分析,并将具有关联关系的待分析指标特征构建为融合指标特征;基于所述融合指标特征和剩余的待分析指标特征,确定所述案例类型标签对应的案例指标特征。
其中,除了独立的基于各指标特征对案例类型进行分析之外,还可以进一步挖掘各指标特征之间的关系,比如使用FP-growth或apriori等机器学习算法,将具有关联关系的指标特征进行融合得到融合指标特征,从而将融合指标特征和剩余的各独立的指标特征共同确定为案例指标特征,以提升案例分类准确性。例如对于指标特征,手机为root设备、手机被修改过系统库、手机中安装了hook软件,可以将这三个指标特征融合为手机为调试设备的指标特征,后续针对手机为调试设备的指标特征进行判断时,可以设置为只要命中三个指标特征中的任意两个就认为手机为调试设备,以提高后续案例分类的容错性。
步骤103,根据每种案例类型标签对应的案例指标特征和案例数据样本,建立每种案例类型标签对应的训练文本样本,并基于所述训练文本样本对大语言模型进行训练,以利用所述大语言模型对目标全量指标数据进行案例分类。
本申请实施例中,构建出每种案例类型标签对应的案例指标特征后,可以利用案例指标特征和案例数据样本建立各案例类型对应的训练文本样本和测试文本样本,测试文本样本可以包括正样本和负样本,以便得到准确的测试效果。从而基于训练文本样本对大语言模型进行训练,并利用测试文本样本对训练后的大语言模型进行测试,通过测试后将大语言模型作为完成知识传承的模型,用于后续的案例分类。其中利用大语言模型进行案例分类时,获取需要进行分类的案例的全量指标数据作为目标全量指标数据,将目标全量指标数据构建为文本,以对话的形式输入到大语言模型中,让大语言模型对目标全量指标数据进行案例分类,确定对应的案例分类标签。
在本申请实施例中,所述全量指标数据包括所述全量指标中每个指标对应的指标值和产生所述指标值的行为数据;所述基于所述训练文本样本对大语言模型进行训练,包括:基于每种案例类型标签对应的案例数据样本中的所述指标值和所述行为数据进行大语言模型的预训练,并基于每种案例类型标签对应的案例指标特征,对预训练后的大语言模型进行微调。
在该实施例中,能够反应出案例特征的指标除了指标值外,还包含产生指标值的行为数据,指标值可以看做该指标最后的结果,行为数据可以看做产生指标值的过程数据。例如手机内存大小这一指标,指标值为12G,12G的手机内存不是手机本来的内存大小,而是对手机经过了一些修改操作使得最终呈现出的手机内存大小是12G,从而通过这样的修改可以把一个手机模拟成多个手机以实现某些违规操作,行为数据即为对手机进行的操作行为序列。进行大模型训练时,可以利用各案例类型标签对应的全量指标的指标值和对应的行为数据,进行大语言模型的预训练,再利用各案例类型标签的案例指标特征对预训练后的大语言模型进行微调,以使模型先经过数据层面的预训练,再经过知识层面的微调,进一步提升模型分类效果。
进一步,可选地,所述案例知识信息还包括案例处理知识;所述基于所述训练文本样本对大语言模型进行训练之后,所述方法还包括:将每种案例类型标签对应的案例处理知识注入所述大语言模型中;相应地,所述将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息,包括:将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息以及对应的案例处理知识。
其中,建立案例知识库时,还可以设置各类型案例对应的案例处理知识,以便没有经验的用户利用大语言模型进行案例分类后,还能够进一步获取对应的案例处理知识。例如一种案例类型为用户多次套取大额红包,对应的案例处理知识为将用户领取大额红包的条件之一设置为用户通过实名身份认证,如此一来,即使缺乏工作经验的人员也能快速的获得案例处理办法,以便快速解决问题。
通过应用本实施例的技术方案,针对各类型案例对应的预设指标特征,在案例数据样本库中获取符合预设指标特征的案例数据样本,通过机器学习方法进一步分析潜在的指标特征,从而将预设指标特征和分析出的补充指标特征作为各类型案例的案例指标特征,进一步利用案例指标特征和案例数据样本构建每种案例类型的训练文本样本对大语言模型进行训练,以通过大语言模型实现案例知识传承,进而利用大语言模型实现案例分类。本申请实施例通过机器学习进行特征挖掘、并通过大语言模型实现案例知识传承,将经验知识进行模型化,提升知识传承效率和准确性,以便缺乏经验的用户通过传承了知识的大语言模型快速进行案例分类,降低工作门槛和难度,并且大语言模型的语言理解能力使得输入到模型中的数据不再受限于结构化数据,进一步降低上手难度,提升工作效率。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例的具体实施过程,提供了另一种基于大语言模型的知识传承实现方法,如图2所示,该方法包括:
步骤201,确定待分类的目标全量指标数据,并基于所述目标全量指标数据以及提示信息模板,构建目标案例分类提示信息;将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息;其中,所述提示信息模板用于提示所述大语言模型推理案例分类标签和输出推理过程;所述案例分类信息包括案例分类结果和对应的推理过程信息,所述案例分类结果包括案例分类标签或案例分类失败结果。
本申请实施例中,在实际工作中遇到需要进行案例分类的情况时,可以采集待分类案例的全量指标的数据作为目标全量指标数据,并将目标全量指标数据与提示信息模板进行组合得到目标案例分类提示信息。将目标案例分类提示信息输入到训练好的大语言模型中,以提示大语言模型根据目标全量指标数据推理对应的案例分类结果、以及为了改善大语言模型的幻觉问题,还通过目标案例分类提示信息提示大语言模型在推理案例分类结果的同时输出推理过程信息。其中,案例分类结果可以是案例分类标签,也可以是分类失败结果,通过让大语言模型生成推理过程信息,可以使得大语言模型在难以准确确定案例分类时给出无法分类的分类失败结果,而尽量避免大语言模型产生幻觉。
步骤202,在所述案例分类结果为案例分类失败结果的情况下,将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中。
本申请实施例中,对于大语言模型的输出结果为案例分类失败结果的情况,还可以将这个分类失败的案例数据即目标全量指标数据记录下来,以便后续有经验的人员再进行分析,并依据分析结果形成更完备的案例指标特征。
步骤203,在所述案例分类结果为案例分类标签的情况下,依据所述推理过程信息对所述案例分类信息进行评分,并在所述评分低于第一阈值时将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中。
步骤204,在所述评分高于第二阈值时基于所述目标全量指标数据和所述案例分类标签对应的案例指标特征,建立微调文本样本,并基于所述微调文本样本对所述大语言模型进行微调。
本申请实施例中,如果大语言模型的输出结果包含案例分类标签,还可以进一步对答案语言模型输出的推理过程信息进行评分。如果评分过低,可以认为虽然大语言模型给出了案例分类结果,但是大语言模型本次的案例分类工作完成的并不是很好,也可以将目标全量指标数据记录下来进行重新分析;而如果评分很高,说明大语言模型对本次的案例分类工作完成效果较好,这条目标全量指标数据是相应类型案例的典型情况,还可以将目标全量指标数据作为相应类型案例的新的训练样本,对大语言模型进行微调训练,进一步提升大语言模型的案例分类效果。
步骤205,利用专家系统确定所述待处理案例数据的目标类型标签。
本申请实施例中,对于大语言模型无法分类或分类评分较低的情况,可以通过专家系统进行重新分类,确定目标全量指标数据的类型标签,也即待处理案例数据的目标类型标签。
步骤206,若所述目标类型标签属于所述案例类型标签,则通过机器学习方法对所述案例数据样本库中属于所述目标类型标签的案例数据样本进行分析,更新所述目标类型标签对应的补充指标特征以及更新所述目标类型标签的案例指标特征,并建立所述目标类型标签对应的迭代文本样本,对所述大语言模型进行迭代训练。
本申请实施例中,如果待处理案例数据的目标类型标签属于案例知识库中已有的案例类型标签,那么还可以根据专家系统进一步为该目标类型标签添加或修改的案例指标特征,重新在案例数据样本库中获取对应的案例数据样本,并通过机器学习方法进一步挖掘潜在指标特征,重新确定目标类型标签对应的案例指标特征。进一步根据新的案例指标特征构建目标类型标签对应的用于对大语言模型进行迭代训练的迭代文本样本,并对大语言模型进行迭代训练,以使大语言模型能够传承到目标类型标签的新的案例指标特征。
步骤207,若所述目标类型标签不属于所述案例类型标签,则将所述目标类型标签作为新的案例类型标签,获取所述专家系统提供的所述目标类型标签的预设指标特征,并构建所述目标类型标签的案例数据样本对所述大语言模型进行训练。
本申请实施例中,如果待处理案例数据的目标类型标签不属于案例知识库中已有的案例类型标签,那么建立新的案例类型标签,并根据专家系统对新的案例类型标签设置的预设指标特征,利用与上文相同的案例指标特征的确定方法,建立目标类型标签的案例指标特征并获取对应的案例数据样本,以便对大语言模型进行训练,让大语言模型传承到目标类型标签的案例知识,从而能够根据知识实现对目标类型标签案例的分类。
通过应用本实施例的技术方案,借助机器学习的特征提取技术,建立自学习的机制和方法,不直接使用特征提取后的特征作为操作对象,在特征之上封装了标签,在实际使用使结果更具备稳定性。特征作为中间结果,不仅可以降低学习门槛,更多的是提供了一种快速学习“经验”的方式和验证是否学会的方法(通过个人判断和大模型判断结果对比)。
进一步的,作为图1方法的具体实现,本申请实施例提供了一种基于大语言模型的知识传承实现装置,如图3所示,该装置包括:
案例库获取模块,用于获取案例知识库,其中,所述案例知识库包括多个类型的案例知识信息,任一类型的案例知识信息包括案例类型标签和对应的预设指标特征;
指标特征确定模块,用于针对任一案例类型标签,根据所述案例类型标签对应的预设指标特征,在案例数据样本库中获取与所述案例类型标签匹配的案例数据样本,通过机器学习方法对所述案例数据样本进行分析,确定所述案例类型标签对应的补充指标特征,并基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,其中,所述案例数据样本包括全量指标数据,全量指标包括预设指标和补充指标;
模型训练模块,用于根据每种案例类型标签对应的案例指标特征和案例数据样本,建立每种案例类型标签对应的训练文本样本,并基于所述训练文本样本对大语言模型进行训练,以利用所述大语言模型对目标全量指标数据进行案例分类。
可选地,所述指标特征确定模块,还用于:
将所述案例类型标签对应的所述预设指标特征和所述补充指标特征作为待分析指标特征,对所述待分析指标特征进行关联关系分析,并将具有关联关系的待分析指标特征构建为融合指标特征;
基于所述融合指标特征和剩余的待分析指标特征,确定所述案例类型标签对应的案例指标特征。
可选地,所述装置还包括:分类模块,用于:
确定待分类的目标全量指标数据,并基于所述目标全量指标数据以及提示信息模板,构建目标案例分类提示信息;
将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息。
可选地,所述提示信息模板用于提示所述大语言模型推理案例分类标签和输出推理过程;所述案例分类信息包括案例分类结果和对应的推理过程信息,所述案例分类结果包括案例分类标签或案例分类失败结果;所述分类模块,还用于:
在所述案例分类结果为案例分类失败结果的情况下,将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中;
在所述案例分类结果为案例分类标签的情况下,依据所述推理过程信息对所述案例分类信息进行评分,并在所述评分低于第一阈值时将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中。
可选地,所述指标特征确定模块,还用于:
利用专家系统确定所述待处理案例数据的目标类型标签;
若所述目标类型标签属于所述案例类型标签,则通过机器学习方法对所述案例数据样本库中属于所述目标类型标签的案例数据样本进行分析,更新所述目标类型标签对应的补充指标特征以及更新所述目标类型标签的案例指标特征,并建立所述目标类型标签对应的迭代文本样本,以对所述大语言模型进行迭代训练;
若所述目标类型标签不属于所述案例类型标签,则将所述目标类型标签作为新的案例类型标签,获取所述专家系统提供的所述目标类型标签的预设指标特征,并构建所述目标类型标签的案例数据样本,以对所述大语言模型进行训练。
可选地,所述模型训练模块,还用于:
在所述评分高于第二阈值时基于所述目标全量指标数据和所述案例分类标签对应的案例指标特征,建立微调文本样本,并基于所述微调文本样本对所述大语言模型进行微调。
可选地,所述案例知识信息还包括案例处理知识;所述模型训练模块,还用于:将每种案例类型标签对应的案例处理知识注入所述大语言模型中;
相应地,所述分类模块,还用于:将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息以及对应的案例处理知识。
可选地,所述全量指标数据包括所述全量指标中每个指标对应的指标值和产生所述指标值的行为数据;所述模型训练模块,还用于:基于每种案例类型标签对应的案例数据样本中的所述指标值和所述行为数据进行大语言模型的预训练,并基于每种案例类型标签对应的案例指标特征,对预训练后的大语言模型进行微调。
需要说明的是,本申请实施例提供的一种基于大语言模型的知识传承实现装置所涉及各功能单元的其他相应描述,可以参考图1至图2方法中的对应描述,在此不再赘述。
本申请实施例还提供了一种计算机设备,具体可以为个人计算机、服务器、网络设备等,该计算机设备包括总线、处理器、存储器和通信接口,还可以包括输入输出接口和显示设备。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储位置信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现各方法实施例中的步骤。
本领域技术人员可以理解,上述的计算机设备的结构,仅仅是与本申请方案相关的部分结构,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机可读存储介质,所述计算机可读存储介质可以是非易失性,也可以是易失性,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于大语言模型的知识传承实现方法,其特征在于,所述方法包括:
获取案例知识库,其中,所述案例知识库包括多个类型的案例知识信息,任一类型的案例知识信息包括案例类型标签和对应的预设指标特征;
针对任一案例类型标签,根据所述案例类型标签对应的预设指标特征,在案例数据样本库中获取与所述案例类型标签匹配的案例数据样本,通过机器学习方法对所述案例数据样本进行分析,确定所述案例类型标签对应的补充指标特征,并基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,其中,所述案例数据样本包括全量指标数据,全量指标包括预设指标和补充指标;
根据每种案例类型标签对应的案例指标特征和案例数据样本,建立每种案例类型标签对应的训练文本样本,并基于所述训练文本样本对大语言模型进行训练,以利用所述大语言模型对目标全量指标数据进行案例分类。
2.根据权利要求1所述的方法,其特征在于,所述基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,包括:
将所述案例类型标签对应的所述预设指标特征和所述补充指标特征作为待分析指标特征,对所述待分析指标特征进行关联关系分析,并将具有关联关系的待分析指标特征构建为融合指标特征;
基于所述融合指标特征和剩余的待分析指标特征,确定所述案例类型标签对应的案例指标特征。
3.根据权利要求1所述的方法,其特征在于,所述利用所述大语言模型对目标全量指标数据进行案例分类,包括:
确定待分类的目标全量指标数据,并基于所述目标全量指标数据以及提示信息模板,构建目标案例分类提示信息;
将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息。
4.根据权利要求3所述的方法,其特征在于,所述提示信息模板用于提示所述大语言模型推理案例分类标签和输出推理过程;所述案例分类信息包括案例分类结果和对应的推理过程信息,所述案例分类结果包括案例分类标签或案例分类失败结果;所述得到案例分类信息之后,所述方法还包括:
在所述案例分类结果为案例分类失败结果的情况下,将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中;
在所述案例分类结果为案例分类标签的情况下,依据所述推理过程信息对所述案例分类信息进行评分,并在所述评分低于第一阈值时将所述目标全量指标数据标记为待处理案例数据添加至所述案例数据样本库中。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
利用专家系统确定所述待处理案例数据的目标类型标签;
若所述目标类型标签属于所述案例类型标签,则通过机器学习方法对所述案例数据样本库中属于所述目标类型标签的案例数据样本进行分析,更新所述目标类型标签对应的补充指标特征以及更新所述目标类型标签的案例指标特征,并建立所述目标类型标签对应的迭代文本样本,对所述大语言模型进行迭代训练;
若所述目标类型标签不属于所述案例类型标签,则将所述目标类型标签作为新的案例类型标签,获取所述专家系统提供的所述目标类型标签的预设指标特征,并构建所述目标类型标签的案例数据样本对所述大语言模型进行训练。
6.根据权利要求4所述的方法,其特征在于,所述依据所述推理过程信息对所述案例分类信息进行评分之后,所述方法还包括:
在所述评分高于第二阈值时基于所述目标全量指标数据和所述案例分类标签对应的案例指标特征,建立微调文本样本,并基于所述微调文本样本对所述大语言模型进行微调。
7.根据权利要求3至6中任一项所述的方法,其特征在于,所述案例知识信息还包括案例处理知识;所述基于所述训练文本样本对大语言模型进行训练之后,所述方法还包括:
将每种案例类型标签对应的案例处理知识注入所述大语言模型中;
相应地,所述将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息,包括:
将所述目标案例分类提示信息输入至所述大语言模型中,得到案例分类信息以及对应的案例处理知识。
8.一种基于大语言模型的知识传承实现装置,其特征在于,所述装置包括:
案例库获取模块,用于获取案例知识库,其中,所述案例知识库包括多个类型的案例知识信息,任一类型的案例知识信息包括案例类型标签和对应的预设指标特征;
指标特征确定模块,用于针对任一案例类型标签,根据所述案例类型标签对应的预设指标特征,在案例数据样本库中获取与所述案例类型标签匹配的案例数据样本,通过机器学习方法对所述案例数据样本进行分析,确定所述案例类型标签对应的补充指标特征,并基于所述预设指标特征和所述补充指标特征确定所述案例类型标签对应的案例指标特征,其中,所述案例数据样本包括全量指标数据,全量指标包括预设指标和补充指标;
模型训练模块,用于根据每种案例类型标签对应的案例指标特征和案例数据样本,建立每种案例类型标签对应的训练文本样本,并基于所述训练文本样本对大语言模型进行训练,以利用所述大语言模型对目标全量指标数据进行案例分类。
9.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
10.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869542.8A CN117828079A (zh) | 2023-12-29 | 2023-12-29 | 基于大语言模型的知识传承实现方法及装置、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311869542.8A CN117828079A (zh) | 2023-12-29 | 2023-12-29 | 基于大语言模型的知识传承实现方法及装置、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117828079A true CN117828079A (zh) | 2024-04-05 |
Family
ID=90509464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311869542.8A Pending CN117828079A (zh) | 2023-12-29 | 2023-12-29 | 基于大语言模型的知识传承实现方法及装置、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117828079A (zh) |
-
2023
- 2023-12-29 CN CN202311869542.8A patent/CN117828079A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10785241B2 (en) | URL attack detection method and apparatus, and electronic device | |
CN109472033B (zh) | 文本中的实体关系抽取方法及系统、存储介质、电子设备 | |
CN107256428B (zh) | 数据处理方法、数据处理装置、存储设备及网络设备 | |
US10423410B1 (en) | Source code rules verification method and system | |
JP2022512065A (ja) | 画像分類モデルの訓練方法、画像処理方法及び装置 | |
CN111694937A (zh) | 基于人工智能的面试方法、装置、计算机设备及存储介质 | |
US11093195B2 (en) | Method, device and computer program product for updating user interface | |
CN110728182A (zh) | 基于ai面试系统的面试方法、装置和计算机设备 | |
CN111723870B (zh) | 基于人工智能的数据集获取方法、装置、设备和介质 | |
CN112100355A (zh) | 一种智能交互方法、装置及设备 | |
CN111859862A (zh) | 文本的数据标注方法和装置、存储介质及电子装置 | |
CN112131587A (zh) | 一种智能合约伪随机数安全检验方法、系统、介质和装置 | |
CN111597336A (zh) | 训练文本的处理方法、装置、电子设备及可读存储介质 | |
CN116974554A (zh) | 代码数据处理方法、装置、计算机设备和存储介质 | |
CN116308551A (zh) | 基于数字金融ai平台的内容推荐方法及系统 | |
CN117828079A (zh) | 基于大语言模型的知识传承实现方法及装置、存储介质 | |
CN115145928A (zh) | 模型训练方法及装置、结构化摘要获取方法及装置 | |
CN111737090B (zh) | 日志仿真方法、装置、计算机设备和存储介质 | |
CN117151247B (zh) | 机器学习任务建模的方法、装置、计算机设备和存储介质 | |
US11755570B2 (en) | Memory-based neural network for question answering | |
US20230394327A1 (en) | Generating datasets for scenario-based training and testing of machine learning systems | |
CN110427615B (zh) | 一种基于注意力机制的金融事件修饰时态的分析方法 | |
CN117764180A (zh) | 一种幻觉确定方法、装置及电子设备 | |
CN117743579A (zh) | 用于微调大语言模型的数据集构建方法、装置和设备 | |
CN117668627A (zh) | 信息处理方法、装置、设备、存储介质和产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |