CN117473093B - 一种基于llm模型获取目标事件的数据处理系统 - Google Patents

Abstract

本发明涉及一种基于LLM模型获取目标事件的数据处理系统，涉及大语言模型处理技术领域，系统包括第一数据库、第二数据库、处理器和存储有计算机程序的存储器，其中，所述第一数据库中存储有候选事件类型列表，所述第二数据库中存储有候选事件类型列表对应的候选规则集，当计算机程序被处理器执行时，实现以下步骤：获取目标文本和目标任务，获取目标指令信息，将目标文本和目标指令信息输入至第一LLM模型中，获取初始优先级集，获取目标任务对应的第一规则列表和第二规则列表，对初始优先级集进行处理以获取目标优先级集，获取目标事件文本以获取到目标事件，本发明通过设定规则对LLM模型中数据进行处理，提高了获取到目标事件的准确性。

Description

一种基于LLM模型获取目标事件的数据处理系统

技术领域

本发明涉及大语言模型处理技术领域，特别是涉及一种基于LLM模型获取目标事件的数据处理系统。

背景技术

随着互联网技术的不断发展，LLM模型成为当下的热门模型，LLM模型可以通过训练大规模文本数据来自动学习语言中的内容，使得它在各个领域和任务中具有广泛的适应性，当下，自动从文本中提取事件信息成为当下的热门研究方向，能够提供帮助用户更加准确且快速地获取有效信息，LLM模型相较于传统的深度学习模型在事件信息提取等方面占有优势，如何增强LLM模型在特定任务中的准确性成为了广泛研究的主题。

现有技术中，获取目标事件的方法为：获取大规模文本数据进行训练，通过文本数据上下文关系和语义结构信息进行统计分析，自动学习词与句子之间的关联性，获取文本数据的规律和模式，从而进行目标事件的抽取。

综上，获取目标事件的方法存在的问题：未设定规则对LLM模型中数据进行处理，使得LLM模型输出结果中每个位置的信息不够准确，从而降低了获取到目标事件的准确性，未基于事件类型以及事件类型对应的论元角色与LLM模型输出结果进行关联，使得目标事件包括的信息不够全面。

发明内容

针对上述技术问题，本发明采用的技术方案为：一种基于LLM模型获取目标事件的数据处理系统，系统包括：第一数据库、第二数据库、处理器和存储有计算机程序的存储器，其中，所述第一数据库中存储有候选事件类型列表A={A₁，……，A_i，……，A_n}，A_i为第i个候选事件类型，i=1……n，n为候选事件类型的数量，所述第二数据库中存储有A对应的候选规则集D={D₁，……，D_i，……，D_n}，D_i={D¹ _i，D² _i}，D¹ _i为A_i对应的第一候选规则列表，所述第一候选规则列表包括若干个第一候选规则，所述第一候选规则为与候选事件类型对应的、用于限定LLM模型输出结果中预设符号呈现形式的规则，D² _i为A_i对应的第二候选规则列表，所述第二候选规则列表包括若干个第二候选规则，所述第二候选规则与候选事件类型对应的、用于限定LLM模型输出结果中文本内容的规则，当计算机程序被处理器执行时，实现以下步骤：

S100，获取目标文本和目标任务，其中，所述目标文本为待获取目标事件的文本，所述目标任务包括目标事件类型。

S200，根据目标任务，获取目标指令信息。

S300，将目标文本和目标指令信息输入至第一LLM模型中，获取初始优先级集B={B₁，……，B_r，……，B_s}，B_r={B_r1，……，B_re，……，B_rf}，其中，B_re为第一LLM模型执行第r步骤获取到初始优先级列表中的第e个初始优先级，e=1……f，f为每个初始优先级列表中初始优先级的数量，r=1……s，s为第一LLM模型执行步骤的数量，所述初始优先级为基于目标文本对应的特征与目标词列表中的每个目标词进行映射获取到的每个目标词对应的概率。

S400，根据目标任务，获取目标任务对应的第一规则列表和第二规则列表，其中，当目标事件类型与A_i一致时，获取第一规则列表为D¹ _i，获取第二规则列表为D² _i。

S500，根据第一规则列表和第二规则列表，对B进行处理以获取B对应的目标优先级集E={E₁，……，E_r，……，E_s}，E_r={E_r1，……，E_re，……，E_rf}，E_re为对B_re进行处理获取到的目标优先级，所述目标优先级为基于第一规则列表中的第一规则和第二规则列表中的第二规则对初始优先级进行调整获取到的优先级。

S600，根据E，获取目标事件文本以获取到目标事件，其中，当E_re为E_r中最大的目标优先级时，获取E_re对应的目标词以构成目标事件文本。

本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的一种基于LLM模型获取目标事件的数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：

本发明为一种基于LLM模型获取目标事件的数据处理系统，系统包括第一数据库、第二数据库、处理器和存储有计算机程序的存储器，其中，所述第一数据库中存储有候选事件类型列表，所述第二数据库中存储有候选事件类型列表对应的候选规则集，当计算机程序被处理器执行时，实现以下步骤：获取目标文本和目标任务，根据目标任务，获取目标指令信息，将目标文本和目标指令信息输入至第一LLM模型中，获取初始优先级集，根据目标任务，获取目标任务对应的第一规则列表和第二规则列表，根据第一规则列表和第二规则列表，对初始优先级集进行处理以获取初始优先级集对应的目标优先级集，根据目标优先级集，获取目标事件文本以获取到目标事件，本发明设定规则对LLM模型中数据进行处理，提高了LLM模型输出结果中每个位置的信息的准确性，从而提高了获取到目标事件的准确性，基于事件类型以及事件类型对应的论元角色与LLM模型输出结果进行关联，使得目标事件包括的信息较全面。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的一种基于LLM模型获取目标事件的数据处理系统的处理器执行计算机程序时实现的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例

本实施例提供了一种基于LLM模型获取目标事件的数据处理系统，所述系统包括：第一数据库、第二数据库、处理器和存储有计算机程序的存储器，其中，所述第一数据库中存储有候选事件类型列表A={A₁，……，A_i，……，A_n}，A_i为第i个候选事件类型，i=1……n，n为候选事件类型的数量，所述第二数据库中存储有A对应的候选规则集D={D₁，……，D_i，……，D_n}，D_i={D¹ _i，D² _i}，D¹ _i为A_i对应的第一候选规则列表，所述第一候选规则列表包括若干个第一候选规则，D² _i为A_i对应的第二候选规则列表，所述第二候选规则列表包括若干个第二候选规则，当所述计算机程序被处理器执行时，实现以下步骤，如图1所示：

S100，获取目标文本和目标任务，其中，所述目标文本为待获取目标事件的文本，所述目标任务包括目标事件类型。

具体的，所述候选事件类型为事件对应的类型，例如袭击冲突类型、交通事故类型等候选事件类型。

具体的，所述第一候选规则为与候选事件类型对应的、用于限定LLM模型输出结果中预设符号呈现形式的规则，所述第一候选规则可以理解为：在LLM模型执行任务时，输出的文本格式例如标点符号和形式等需要符合一定的规则，例如引号、括号等需要成对出现，相邻两个字符不能都为标点符号等第一候选规则。

具体的，所述第二候选规则为与候选事件类型对应的、用于限定LLM模型输出结果中文本内容的规则，所述第二候选规则可以理解为：根据LLM模型执行任务的不同，LLM模型输出结果的文本内容需要基于任务满足一定的规则，例如当LLM模型执行从一段文本中抽取出袭击冲突类事件时，LLM模型输出的结果中不应该包含离婚等词、LLM模型输出的结果应该来自于文本中等第二候选规则。

具体的，所述目标文本为从数据平台获取到的文本，其中，本领域技术人员知晓，可根据实际需求进行数据平台的选取，均落入本发明的保护范围，在此不再赘述，例如百度百科、新闻网等数据平台。

具体的，所述目标事件类型为用户所要获取的事件对应的事件类型。

S200，根据目标任务，获取目标指令信息。

具体的，所述目标指令信息为基于目标任务获取到的指令信息，可以理解为：当目标任务为获取袭击冲突类型的事件，则目标指令信息为从目标文本中获取袭击冲突类型的事件。

S300，将目标文本和目标指令信息输入至第一LLM模型中，获取初始优先级集B={B₁，……，B_r，……，B_s}，B_r={B_r1，……，B_re，……，B_rf}，其中，B_re为第一LLM模型执行第r步骤获取到初始优先级列表中的第e个初始优先级，e=1……f，f为每个初始优先级列表中初始优先级的数量，r=1……s，s为第一LLM模型执行步骤的数量。

具体的，所述初始优先级为基于目标文本对应的特征与目标词列表中的每个目标词进行映射获取到的每个目标词对应的概率，其中，本领域技术人员知晓，现有技术中基于LLM模型与词表中的词进行映射获取概率分布的方法，均落入本发明的保护范围，在此不再赘述。

进一步的，本领域技术人员知晓，现有技术中任意获取文本的特征的方法，均落入本发明的保护范围，在此不再赘述，例如通过bert模型获取文本特征的方法。

进一步的，所述目标词列表包括若干个目标词，本领域技术人员知晓，现有技术中任一基于目标任务获取LLM模型对应的目标词的方法，均落入本发明的保护范围，在此不再赘述；例如：“[”、“；”、“{”、“id”、“trigger”等目标词。

进一步的，所述第一LLM模型执行步骤的数量与第一LLM模型输出结果中词的数量一致。可以理解为：对目标文本进行表征后与目标词表进行映射形成全连接网络，获取到每个目标词对应的概率分布，第一LLM模型逐步进行计算，获取到每个步骤对应的初始优先级列表，第一LLM模型每执行一步骤就会基于获取到的初始优先级列表中初始优先级的大小获取到一个目标词，执行步骤为s时，第一LLM模型执行目标任务输出结果文本中对应的词数量也为s。

S400，根据目标任务，获取目标任务对应的第一规则列表和第二规则列表，其中，当目标事件类型与A_i一致时，获取第一规则列表为D¹ _i，获取第二规则列表为D² _i。

S500，根据第一规则列表和第二规则列表，对B进行处理以获取B对应的目标优先级集E={E₁，……，E_r，……，E_s}，E_r={E_r1，……，E_re，……，E_rf}，E_re为对B_re进行处理获取到的目标优先级。

具体的，所述目标优先级为基于第一规则列表中的第一规则和第二规则列表中的第二规则对初始优先级进行调整获取到的优先级。

进一步的，本领域技术人员知晓，可根据实际需求进行利用LLM模型基于规则进行概率调整的方法的选择，均落入本发明的保护范围，在此不再赘述。例如：当第一规则为第一LLM模型输出结果的第一个词为“[”时，则第一LLM模型执行第1步骤获取到初始优先级列表B₁={B₁₁，……，B_1e，……，B_1f}，当B_1e对应的目标词为“[”时，将B_1e调整为正无穷，同时将B₁中除B_1e之外的任一初始优先级调整为0，其中，B_1e为第一LLM模型执行第1步骤获取到第e个初始优先级。

上述，基于目标任务，获取目标任务对应的第一规则列表和第二规则列表，基于第一规则列表和第二规则列表对初始优先级进行处理，通过调整LLM模型输出结果每个位置对应的优先级列表，对每个位置对应每个词的优先级进行比较，通过设定规则对LLM模型中数据进行处理，提高了LLM模型输出结果中每个位置的信息的准确性，从而提高了获取到目标事件的准确性，

S600，根据E，获取目标事件文本以获取到目标事件，其中，当E_re为E_r中最大的目标优先级时，获取E_re对应的目标词以构成目标事件文本。

具体的，所述目标事件文本为基于目标任务通过第一LLM模型获取到的包括若干个目标事件的文本，所述目标事件为目标事件类型对应的事件。

进一步的，所述目标事件文本对应的数据格式为JSON格式。

具体的，所述第一数据库中还包括A对应的候选事件论元角色列表集A⁰={A⁰ ₁，……，A⁰ _i，……，A⁰ _n}，A⁰ _i={A⁰ _i1，……，A⁰ _ij，……，A⁰ _im（i）}，A⁰ _ij为A_i对应的候选事件论元角色列表A⁰ _i中的第j个候选事件论元角色，j=1……m（i），m（i）为A_i对应的候选事件论元角色列表A⁰ _i中候选事件论元角色的数量。

进一步的，所述候选事件论元角色为候选事件类型对应的事件中包括的论元角色。

进一步的，所述论元角色为事件对应的论元在事件中扮演的角色，其中，所述论元为参与事件发生的要素，由实体构成；例如：当候选事件类型为袭击冲突类型时，候选事件类型对应的候选事件论元角色包括：攻击者、袭击目标、袭击手段、袭击时间和袭击地点等。

具体的，当目标事件类型与A_i一致时，获取到的目标事件文本为:[{“id”:“…”，“trigger”：“…”，“A⁰ _i1”：“…”，……，“A⁰ _ij”：“…”，……，“A⁰ _im（i）”：“…”}，{“id”:“…”，“trigger”：“…”，“A⁰ _i1”：“…”，……，“A⁰ _ij”：“…”，……，“A⁰ _im（i）”：“…”}，……]

其中，[]以及[]内的内容构成目标事件文本，每个{}内的内容代表一个目标事件包括的内容，每个目标事件包括若干个数组，每个数组包括键名称和键名称对应的键值，“…”为每个键名对应的键值，id为目标事件对应的id，trigger为目标事件对应的触发词。

上述，将第一LLM模型输出结果与候选事件论元角色进行关联，基于事件类型以及事件类型对应的论元角色与LLM模型输出结果进行关联，使得目标事件包括的信息较全面。

具体的，在S600之后还包括如下步骤：

S1，将目标事件文本输入至第二LLM模型中，获取候选文本列表Q={Q₁，……，Q_v，……，Q_b}，Q_v为目标事件文本中的第v个目标事件对应的候选文本，v=1……b，b为候选文本的数量。

具体的，所述候选文本为将目标事件文本输入至第二LLM模型中将每个目标事件包括的内容转换成自然语言而获取到的文本，其中，本领域技术人员知晓，现有技术中任一通过LLM模型将文本转换成自然语言的方法，均落入本发明的保护范围，在此不再赘述。

S2，根据目标文本，获取Q对应的中间文本列表P={P₁，……，P_v，……，P_b}，P_v为Q_v对应的中间文本。

具体的，所述中间文本为从目标文本中获取到的包括候选文本对应的目标事件的语句。

S3，根据目标文本，获取Q对应的中间文本列表P={P₁，……，P_v，……，P_b}，P_v为Q_v对应的中间文本。

具体的，所述中间文本为从目标文本中获取到的包括候选文本对应的目标事件的语句。

S4，根据Q和P，获取关键文本列表W={W₁，……，W_v，……，W_b}，W_v=（Q_v，Z，P_v），其中，W_v为第v个关键文本，Z为预设字符串。

具体的，所述预设字符串为将目标文本与待选文本进行分割的字符串，其中，本领域技术人员知晓，可根据实际需求进行预设字符串的选取，均落入本发明的保护范围，在此不再赘述，例如[SEP]等预设字符串。

S5，根据W，获取Q对应的目标标签列表Q⁰={Q⁰ ₁，……，Q⁰ _v，……，Q⁰ _b}，Q⁰ _v为Q_v对应的目标标签。

具体的，在S5中通过如下步骤获取Q⁰ _v：

S51，根据W，获取W对应的关键文本向量列表，其中，所述关键文本向量列表包括每个关键文本对应的关键文本向量。

具体的，所述关键文本向量为所述关键文本向量为将关键文本输入至自然语言处理模型中获取到的向量，其中，本领域技术人员知晓，可根据实际需求进行自然语言处理模型的选取，均落入本发明的保护范围，在此不再赘述，例如：Bert等自然语言处理模型。

S53，将关键文本向量列表输入至判别模型中，获取目标标签列表Q⁰。

具体的，本领域技术人员知晓，现有技术中任一利用判别模型进行判断获取标签的方法均落入本发明的保护范围，在此不再赘述，例如：神经网络模型等判别模型。

在一个具体的实施例中，在S53中通过如下步骤获取Q⁰ _v：

S531，获取关键文本向量列表G={G₁，……，G_v，……，G_b}，G_v=（G¹ _v，Z⁰，G² _v），G¹ _v为Q_v对应的向量，Z⁰为Z对应的向量，G² _v为P_v对应的向量。

S533，根据G，获取G对应的目标相似度列表H={H₁，……，H_v，……，H_b}，H_v为G_v对应的目标相似度，其中，G_v对应的目标相似度为G¹ _v与G² _v之间的相似度。

具体的，本领域技术人员知晓，现有技术中任一获取两个向量相似度的方法，均落入本发明的保护范围，在此不再赘述，例如，余弦相似度算法等获取相似度的方法。

S535，当H_v≥H⁰时，获取Q⁰ _v=1，其中，H⁰为预设的相似度阈值。

具体的，H⁰的取值范围为0.85～0.9，其中，本领域技术人员知晓，可根据实际需求进行H⁰的选取，均落入本发明的保护范围，在此不再赘述。

S537，当H_v＜H⁰时，获取Q⁰ _v=0。

S6，当Q⁰ _v为0时，将Q_v对应的目标事件对应的内容从目标事件文本中进行删除以获取最终事件文本。

上述，将第一LLM模型获取到的目标事件文本利用第二LLM模型进行转换，使得目标事件文本与目标文本的数据格式一致，保证获取到的文本的特征空间是一致的，在获取目标标签时，使得输入至判别模型的数据格式一致，提高了判别的准确性，通过对第一LLM模型输出结果进行判别筛选，保证了获取到最终事件文本的准确性。

本实施例提供的一种基于LLM模型获取目标事件的数据处理系统，系统包括第一数据库、第二数据库、处理器和存储有计算机程序的存储器，其中，所述第一数据库中存储有候选事件类型列表，所述第二数据库中存储有候选事件类型列表对应的候选规则集，当计算机程序被处理器执行时，实现以下步骤：获取目标文本和目标任务，根据目标任务，获取目标指令信息，将目标文本和目标指令信息输入至第一LLM模型中，获取初始优先级集，根据目标任务，获取目标任务对应的第一规则列表和第二规则列表，根据第一规则列表和第二规则列表，对初始优先级集进行处理以获取初始优先级集对应的目标优先级集，根据目标优先级集，获取目标事件文本以获取到目标事件，本发明设定规则对LLM模型中数据进行处理，提高了LLM模型输出结果中每个位置的信息的准确性，从而提高了获取到目标事件的准确性，基于事件类型以及事件类型对应的论元角色与LLM模型输出结果进行关联，使得目标事件包括的信息较全面。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (7)

1.一种基于LLM模型获取目标事件的数据处理系统，其特征在于，所述系统包括：第一数据库、第二数据库、处理器和存储有计算机程序的存储器，其中，所述第一数据库中存储有候选事件类型列表A={A₁，……，A_i，……，A_n}，A_i为第i个候选事件类型，i=1……n，n为候选事件类型的数量，所述第二数据库中存储有A对应的候选规则集D={D₁，……，D_i，……，D_n}，D_i={D¹ _i，D² _i}，D¹ _i为A_i对应的第一候选规则列表，所述第一候选规则列表包括若干个第一候选规则，所述第一候选规则为与候选事件类型对应的、用于限定LLM模型输出结果中预设符号呈现形式的规则，D² _i为A_i对应的第二候选规则列表，所述第二候选规则列表包括若干个第二候选规则，所述第二候选规则为与候选事件类型对应的、用于限定LLM模型输出结果中文本内容的规则，当所述计算机程序被处理器执行时，实现以下步骤：

S100，获取目标文本和目标任务，其中，所述目标文本为待获取目标事件的文本，所述目标任务包括目标事件类型；

S200，根据目标任务，获取目标指令信息；

S300，将目标文本和目标指令信息输入至第一LLM模型中，获取初始优先级集B={B₁，……，B_r，……，B_s}，B_r={B_r1，……，B_re，……，B_rf}，其中，B_re为第一LLM模型执行第r步骤获取到初始优先级列表中的第e个初始优先级，e=1……f，f为每个初始优先级列表中初始优先级的数量，r=1……s，s为第一LLM模型执行步骤的数量，所述初始优先级为基于目标文本对应的特征与目标词列表中的每个目标词进行映射获取到的每个目标词对应的概率；

S400，根据目标任务，获取目标任务对应的第一规则列表和第二规则列表，其中，当目标事件类型与A_i一致时，获取第一规则列表为D¹ _i，获取第二规则列表为D² _i；

S500，根据第一规则列表和第二规则列表，对B进行处理以获取B对应的目标优先级集E={E₁，……，E_r，……，E_s}，E_r={E_r1，……，E_re，……，E_rf}，E_re为对B_re进行处理获取到的目标优先级，所述目标优先级为基于第一规则列表中的第一规则和第二规则列表中的第二规则对初始优先级进行调整获取到的优先级；

S600，根据E，获取目标事件文本以获取到目标事件，其中，当E_re为E_r中最大的目标优先级时，获取E_re对应的目标词以构成目标事件文本。

2.根据权利要求1所述的基于LLM模型获取目标事件的数据处理系统，其特征在于，所述目标事件类型为用户所要获取的事件对应的事件类型。

3.根据权利要求1所述的基于LLM模型获取目标事件的数据处理系统，其特征在于，所述第一LLM模型执行步骤的数量与第一LLM模型输出结果中词的数量一致。

4.根据权利要求1所述的基于LLM模型获取目标事件的数据处理系统，其特征在于，所述目标事件文本对应的数据格式为JSON格式。

5.根据权利要求1所述的基于LLM模型获取目标事件的数据处理系统，其特征在于，所述第一数据库中还包括A对应的候选事件论元角色列表集A⁰={A⁰ ₁，……，A⁰ _i，……，A⁰ _n}，A⁰ _i={A⁰ _i1，……，A⁰ _ij，……，A⁰ _im（i）}，A⁰ _ij为A_i对应的候选事件论元角色列表A⁰ _i中的第j个候选事件论元角色，j=1……m（i），m（i）为A_i对应的候选事件论元角色列表A⁰ _i中候选事件论元角色的数量。

6.根据权利要求5所述的基于LLM模型获取目标事件的数据处理系统，其特征在于，所述候选事件论元角色为候选事件类型对应的事件中包括的论元角色。

7.根据权利要求5所述的基于LLM模型获取目标事件的数据处理系统，其特征在于，当目标事件类型与A_i一致时，获取到的目标事件文本为:[{“id”:“…”，“trigger”：“…”，“A⁰ _i1”：“…”，……，“A⁰ _ij”：“…”，……，“A⁰ _im（i）”：“…”}，{“id”:“…”，“trigger”：“…”，“A⁰ _i1”：“…”，……，“A⁰ _ij”：“…”，……，“A⁰ _im（i）”：“…”}，……]，其中，[]以及[]内的内容构成目标事件文本，每个{}内的内容代表一个目标事件包括的内容，每个目标事件包括若干个数组，每个数组包括键名称和键名称对应的键值，“…”为每个键名对应的键值，id为目标事件对应的id，trigger为目标事件对应的触发词。