CN117033552B - 情报评价方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种情报评价方法、装置、电子设备及存储介质，涉及计算机的技术领域。情报价值评价方法，包括：获取待评价文本情报；基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据；基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果。由于大语言模型能够理解文本情报的含义，且能够生成自然语言文本，因此，通过第一大语言模型可以实现对不同情报格式的待评价文本情报进行处理，并得到情报特征数据。进而可以根据得到的情报特征数据对待评价文本情报进行评价，从而可以实现对不同情报格式的待评价文本情报进行评价，达到自动对人读情报进行评价的效果。

Description

情报评价方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机的技术领域，具体而言，涉及一种情报评价方法、装置、电子设备及存储介质。

背景技术

威胁情报通常可以分为机读情报和人读情报。机读情报是指机器可读情报，机读可以收集足够的机读情报，确保机读情报中所有主要的威胁能够被机器识别，实现自动筛选无用或重复数据，无需耗费人力，即可提供当前及历史变量数据威胁。而人读情报是高度浓缩的，主要由安全项、网络实体以及新兴的黑客组织、攻击等组成，主要解决的是信息爆炸的问题，提供针对企业或者用户个性化的情报。人读情报格式广泛，安全公告、漏洞预警、病毒/APT(Advanced Persistent Threat，高级持续性威胁)分析等都属于该类别，由于不同情报格式的情报类型不同，使得目前难以实现自动对人读情报的价值进行评价。

发明内容

本申请提供一种情报评价方法、装置、电子设备及存储介质，以解决现有技术中由于不同情报格式的情报类型不同，使得难以实现自动对人读情报的价值进行评价的问题。

第一方面，本申请提供一种情报价值评价方法，包括：获取待评价文本情报；基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据；基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果。

本申请实施例中，由于大语言模型能够理解文本情报的含义，且能够生成自然语言文本，因此，通过第一大语言模型可以实现对不同情报格式的待评价文本情报进行处理，并得到情报特征数据。进而可以根据得到的情报特征数据对待评价文本情报进行评价，从而可以实现对不同情报格式的待评价文本情报进行评价，达到自动对人读情报进行评价的效果。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述评价指标体系包括独特性评价指标、客观性评价指标、相关性评价指标、情报类型丰富性评价指标、入侵指标类型丰富性评价指标、关系丰富性评价指标中的至少一种评价指标。

本申请实施例中，通过上述的评价指标体系包括的多种评价指标，可以实现对待评价文本情报的多角度的评价，使得最终得到的评价结果能更加准确地体现该待评价文本情报的价值。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述评价指标体系包括多种评价指标，所述基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果，包括：基于所述情报特征数据包括的数据类型，从所述预设的评价指标体系中确定出所有目标评价指标，其中，所述目标评价指标为能够基于所述情报特征数据包括的数据进行评价的评价指标；针对每一个所述目标评价指标，基于该目标评价指标对应的所述情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分；基于得到的每一个目标评价指标各自的得分，得到所述待评价文本情报的评价结果。

本申请实施例中，根据得到的情报特征数据包括的数据类型的不同，从评价指标体系中确定不同的目标评价指标。从而使得本方案能更加灵活地对待评价文本情报进行评价，提高本方案的适用范围。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述情报特征数据包括所述待评价文本情报的摘要、威胁内容相关数据、入侵指标信息中的至少一种类型的数据，其中，所述威胁内容相关数据为所述待评价文本情报中，除所述摘要、所述入侵指标信息外的其它特征数据。

本申请实施例中，待评价文本情报的摘要、威胁内容相关数据、入侵指标信息分别是从不同角度提取得到的待评价文本情报的内容，从而使得提取得到的情报特征数据能从不同角度体现待评价文本情报的特点，提高后续得到的评价结果的准确性。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，该目标评价指标为所述客观性评价指标，所述客观性评价指标包括预先训练好的第二大语言模型和输出结果与客观性得分的对应关系，所述指定类型数据为所述待评价文本情报的摘要，所述基于该目标评价指标对应的所述情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分，包括：将所述摘要和表征判断所述摘要是否客观的指令输入所述预先训练好的第二大语言模型，得到表征所述摘要是否客观的输出结果；基于所述输出结果和所述输出结果与客观性得分的对应关系，得到所述待评价文本情报的客观性得分。

本申请实施例中，由于大语言模型能够理解输入文本的含义，且待评价文本情报的摘要是对待评价文本情报的浓缩，能够体现待评价文本情报的论点、观点等内容。因此，通过第二大语言模型能够判断待评价文本情报的摘要是否客观，即可实现对待评价文本情报是否客观进行评价，从而可以使得到的待评价文本情报的客观性得分更加准确。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，该目标评价指标为所述情报类型丰富性评价指标，所述情报类型丰富性评价指标包括种类数量与情报类型丰富性得分之间的对应关系，所述指定类型数据为所述威胁内容相关数据，所述基于该目标评价指标对应的所述情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分，包括：统计所述威胁内容相关数据中包括的数据的种类，基于统计得到的种类数量和所述种类数量与所述情报类型丰富性得分之间的对应关系，得到所述待评价文本情报的情报类型丰富性得分。

本申请实施例中，威胁内容相关数据中包括的数据的种类越多，说明待评价文本情报的情报类型丰富性越好，从而可以基于威胁内容相关数据中包括的数据的种类和种类数量与情报类型丰富性得分之间的对应关系，得到待评价文本情报的情报类型丰富性得分。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述目标评价指标为所述入侵指标类型丰富性评价指标，所述入侵指标类型丰富性评价指标包括入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，所述指定类型数据为所述入侵指标信息，所述基于该目标评价指标对应的所述情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分，包括：统计所述入侵指标信息中包括的入侵指标类型，基于统计得到的入侵指标类型数量和所述入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，得到所述待评价文本情报的入侵指标类型丰富性得分。

本申请实施例中，待评价文本情报中，入侵指标类型丰富性越高，说明待评价文本对入侵指标的情报越全面。因此，通过统计所述入侵指标信息中包括的入侵指标类型，可以使得到待评价文本情报的入侵指标类型丰富性得分更加准确。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述目标评价指标为所述关系丰富性评价指标，所述指定类型数据包括所述入侵指标信息、威胁内容相关数据中的至少一种，所述基于该目标评价指标对应的所述情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分，包括：针对所述情报特征数据中的任意两条数据，确定该两条数据之间是否存在关联关系；基于所述情报特征数据中存在关联关系的数据对的数量，得到所述待评价文本情报的关系丰富性得分。

结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述评价指标体系还包括情报源可信度评价指标、情报源情报更新频率评价指标；所述方法还包括：获取所述待评价文本情报对应的目标数据源的身份信息及所述目标数据源的情报更新频率；相应的，基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果，包括：基于所述情报特征数据、所述目标数据源的身份信息、所述目标数据源的情报更新频率和所述评价指标体系，得到所述待评价文本情报的评价结果。

本申请实施例中，情报源可信度评价指标、情报源情报更新频率评价指标是从情报源对待评价文本情报进行评价的指标，从而可以更加全面地对待评价文本情报进行评价，进一步提高最终得到的评价结果的准确性。

第二方面，本申请提供一种模型训练方法，包括：获取训练数据集，所述训练数据集包括多个文本情报；基于所述训练数据集对初始大语言模型进行训练，得到训练好的第一大语言模型。

第三方方面，本申请提供一种情报价值评价装置，包括：获取模块、处理模块，获取模块用于获取待评价文本情报；处理模块用于基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据；所述处理模块，还用于基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果。

第四方面，本申请提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行上述第一方面和或结合上述第一方面任一可能的实施方式所述的方法，和/或，执行上述第二方面所述的方法。

第五方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行上述第一方面和或结合上述第一方面任一可能的实施方式所述的方法，和/或，执行上述第二方面所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例示出的一种情报价值评价方法的流程示意图；

图2为本申请实施例示出的一种模型训练方法的流程示意图；

图3为本申请实施例示出的一种S300的具体实现方式的流程示意图；

图4为本申请实施例示出的一种情报价值评价装置的结构框图；

图5为本申请实施例示出的一种模型训练装置的结构框图；

图6为本申请实施例示出的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面将结合附图对本申请的技术方案进行详细地描述。

请参阅图1，图1为本申请实施例示出的一种情报价值评价方法的流程示意图。下面将结合图1对其包含的步骤进行说明。

S100：获取待评价文本情报。

待评价文本情报可以是预先获取并存储在存储介质中，在需要使用时，直接调用即可；或者，待评价文本情报也可以是在需要使用时，实时获取得到的。

其中，待评价文本情报可以是任意类型的情报，包括但不限于机读情报、人读情报，此处不对待评价文本情报的具体类型进行限制。

S200：基于预先训练好的第一大语言模型，对待评价文本情报进行处理，得到情报特征数据。

大语言模型，也即LLM，Large Language Model。大语言模型的具体结果及实现方式已为本领域技术人员所熟知，为简要描述，此处不再赘述。

一种实施方式下，情报特征数据可以包括待评价文本情报的摘要、威胁内容相关数据、入侵指标信息中的至少一种类型的数据。

具体需要获取的数据类型可以根据实际需求进行设置。

其中，待评价文本情报的摘要为待评价文本情报的浓缩后的文本内容。

威胁内容相关数据为待评价文本情报中除摘要、入侵指标信息外的其它特征数据。

例如，可以威胁内容相关数据包括待评价文本情报中的攻击目标行业、目标国家、漏洞、TTP(Time Triggered Protocol，通信协议)等信息。

入侵指标(IOC，Indicator Of Compromise)信息即为用于检测和识别网络攻击的指标，可以帮助用户及时发现和应对网络安全威胁。例如可以包括IP(Internet Protocol，网际互连协议)、Domain(域)、URL(Uniform Resource Locator，统一资源定位符)、Hash(哈希值)等信息。

一种实施方式下，基于预先训练好的第一大语言模型，对待评价文本情报进行处理，得到情报特征数据的具体实现方式可以是：将待评价文本情报和操作指令作为第一大语言模型的输入，第一大语言模型输出的结果即为情报特征数据。

其中，操作指令为用户输入的文本内容，操作指令用于指示第一大语言模型执行不同的功能。

为了便于理解，以获取待评价文本情报的摘要为例进行说明。此时，可以将待评价文本情报和表征提取摘要的操作指令输入训练好的第一大语言模型中，第一大语言模型即可输出待评价文本情报的摘要。

其中，此处的操作指令可以是“生成摘要”、“生成输入文本的摘要”等文本数据，此处举例仅为便于理解，不应作为对本申请的限制。

同理，若要获取待评价文本情报的威胁内容相关数据，操作指令可以是“抽取待评价文本情报的特征内容”、“抽取待评价文本情报中与其它实体相关的内容”等文本数据，此处举例仅为便于理解，不应作为对本申请的限制。

若要获取待评价文本情报的入侵指标信息，操作指令可以是“抽取待评价文本情报的入侵指标信息”、“抽取待评价文本情报的IOC信息”等文本数据，此处举例仅为便于理解，不应作为对本申请的限制。

可选的，若想要获取得到的文本特征数据同时包括待评价文本情报的摘要、威胁内容相关数据、入侵指标信息中的多种类型的数据，可以使得输入第一大语言模型的操作指令能同时表征获取多种类型的数据。

例如，若想要获取得到的文本特征数据同时包括待评价文本情报的摘要、威胁内容相关数据、入侵指标信息这三种类型的数据，操作指令可以是“生成摘要，并抽取待评价文本情报的特征内容及IOC信息”。此处举例仅为便于理解，不应作为对本申请的限制。

一种实施方式下，在S200之前，该情报价值评价方法还包括S210-S220，如图2所示。

S210：获取训练数据集，训练数据集包括多个文本情报。

其中，上述的训练数据集中可以包括多种不同类型的情报，例如安全公告、漏洞预警、病毒/APT分析等情报，此处不对训练数据集中的文本情报的类型进行限制。

S220：基于训练数据集对初始大语言模型进行训练，得到训练好的第一大语言模型。

训练大语言模型的具体方式及原理已为本领域技术人员所熟知，为简要描述，此处不再赘述。

S300：基于情报特征数据和预设的评价指标体系，得到待评价文本情报的评价结果。

一种实施方式下，评价指标体系包括独特性评价指标、客观性评价指标、相关性评价指标、情报类型丰富性评价指标、入侵指标类型丰富性评价指标、关系丰富性评价指标中的至少一种评价指标。

一种实施方式下，若评价指标体系包括多种评价指标，基于情报特征数据和预设的评价指标体系，得到待评价文本情报的评价结果的具体方式可以包括S310、S320、S330，如图3所示。

S310：基于情报特征数据包括的数据类型，从预设的评价指标体系中确定出所有目标评价指标。

其中，目标评价指标为能够基于情报特征数据包括的数据进行评价的评价指标。

例如，当预设的评价指标体系包括独特性评价指标、客观性评价指标、相关性评价指标、情报类型丰富性评价指标、入侵指标类型丰富性评价指标、关系丰富性评价指标的情况下，若情报特征数据包括摘要，则目标评价指标可以包括独特性评价指标、客观性评价指标。若情报特征数据包括威胁内容相关数据，则目标评价指标可以包括相关性评价指标、情报类型丰富性评价指标、关系丰富性评价指标。若情报特征数据包括入侵指标信息，则目标评价指标可以包括入侵指标类型丰富性评价指标、关系丰富性评价指标。

S320：然针对每一个目标评价指标，基于该目标评价指标对应的情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分。

一种实施方式下，该目标评价指标为独特性评价指标，独特性评价指标包括相似度与独特性得分的对应关系，指定类型数据为待评价文本情报的摘要，基于该目标评价指标对应的情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分的具体过程可以是：获取其它文本情报的摘要，计算待评价文本情报的摘要与获取到的每一个其它情报的摘要之间的相似度；最后基于相似度和相似度与独特性得分的对应关系，得到待评价文本情报的独特性得分。

计算两个文本之间相似度的方式已为本领域技术人员所熟知，为简要描述，此处不再赘述。

相似度与独特性得分的对应关系可以是例如对应关系表等表现形式，此处不对输出结果与独特性得分的对应关系的具体类型进行限制。

输出结果与独特性得分的对应关系可以包括多个相似度区间分别对应的独特性得分。不同相似度区间各自对应的独特性得分的具体数值可以根据实际需求设置，此处不对其进行限制。

例如，可以设置相似度区间90％～100％对应的独特性得分为5；相似度区间80％～90％对应的独特性得分为4；相似度区间60％～80％对应的独特性得分为3；相似度区间40％～60％对应的独特性得分为2；相似度区间20％～40％对应的独特性得分为1；相似度区间0～20％对应的独特性得分为0。此处举例仅为便于理解，不应作为对本申请的限制。

一种实施方式下，该目标评价指标为客观性评价指标，客观性评价指标包括预先训练好的第二大语言模型和输出结果与客观性得分的对应关系，指定类型数据为待评价文本情报的摘要，基于该目标评价指标对应的情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分的具体过程可以是：将摘要和表征判断摘要是否客观的指令输入预先训练好的第二大语言模型，得到表征摘要是否客观的输出结果；基于输出结果和输出结果与客观性得分的对应关系，得到待评价文本情报的客观性得分。

其中，第二大语言模型可以和上述的第一大语言模型为同一个大语言模型，或者，第二大语言模型也可以是独立与上述的第一大语言模型的另一个大语言模型。

第二大语言模型的训练方式及训练数据集与第一大语言模型的训练方式及训练数据集相同，为简要描述，此处不再赘述。

上述的表征判断摘要是否客观的指令可以是例如“判断摘要是否客观”等文本内容，此处举例仅为便于理解，不应作为对本申请的限制。

输出结果与客观性得分的对应关系可以是例如对应关系表等表现形式，此处不对输出结果与客观性得分的对应关系的具体类型进行限制。

输出结果与客观性得分的对应关系可以包括表征摘要客观的输出结果对应的客观性得分，以及表征摘要不客观的输出结果对应的客观性得分。

表征摘要客观的输出结果对应的客观性得分的具体数值，以及表征摘要不客观的输出结果对应的客观性得分的具体数值均可以根据实际情况设置。例如，可以设置表征摘要客观的输出结果对应的客观性得分的具体数值为1，表征摘要不客观的输出结果对应的客观性得分的具体数值为0。此处举例仅为便于理解，不应作为对本申请的限制。

一种实施方式下，该目标评价指标为相关性评价指标，相关性评价指标包括评价对象自身的情报信息，指定类型数据为威胁内容相关数据，基于该目标评价指标对应的情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分的具体过程可以是：基于威胁内容相关数据和预设的评价对象自身的情报信息，得到表征待评价文本情报与评价对象相关性的相关性得分。

其中，评价对象自身的情报信息即为评价该待评价文本情报的对象。

例如，评价对象可以是公司、企业、行业、国家等对象。

根据评价对象的不同，评价对象自身的情报信息包括的内容也不同，但是，评价对象自身的情报信息越完善，最终得到的相关性得分越准确。

可选的，基于威胁内容相关数据和预设的评价对象自身的情报信息，得到表征待评价文本情报与评价对象相关性的相关性得分的具体过程可以是：提取威胁内容相关数据中的关键词，得到第一关键词集合；以及提取评价对象自身的情报信息中的关键词，得到第二关键词集合。统计第一关键词集合和第二关键词集合的交集中关键词的数量，根据该数量得到相关性得分。

第一关键词集合和第二关键词集合的交集中关键词的数量得到相关性得分的方式可以是：根据该数量和关键词数量与相关性得分的对应关系，得到待评价情报的相关性得分。其中，关键词数量与相关性得分的对应关系是预先设置在相关性评价指标中的。

关键词数量与相关性得分的对应关系可以是例如对应关系表等表现形式，此处不对关键词数量与相关性得分的对应关系的具体类型进行限制。

关键词数量与相关性得分的对应关系可以包括多个关键词数量区间(每个区间可以仅包括一个关键词)分别对应的相关性得分。不同关键词数量区间各自对应的相关性得分的具体数值可以根据实际需求设置，此处不对其进行限制。

例如，可以设置关键词数量小3对应的相关性得分为0，关键词数量区间3～5对应的相关性得分为1，关键词数量区间6～10对应的相关性得分为2，关键词数量大于10对应的相关性得分为3。此处举例仅为便于理解，不应作为对本申请的限制。

可选的，基于威胁内容相关数据和评价对象自身的情报信息，得到表征待评价文本情报与评价对象相关性的相关性得分的具体过程也可以是：提取威胁内容相关数据的关键词，得到第一关键词集合；统计第一关键词集合中的每个关键词在评价对象自身的情报信息中出现的频次，得到第一关键词集合中所有词语在评价对象自身的情报信息中出现的总频次。根据该总频次和总频次与相关性得分的对应关系，得到待评价文本情报的相关性得分。

其中，总频次与相关性得分的对应关系可以是例如对应关系表等表现形式，此处不对总频次与相关性得分的对应关系的具体类型进行限制。

总频次与相关性得分的对应关系可以包括多个总频次区间分别对应的相关性得分。不同总频次区间各自对应的相关性得分的具体数值可以根据实际需求设置，此处不对其进行限制。

例如，可以设置总频次小10对应的相关性得分为0，总频次区间11～20对应的相关性得分为1，总频次区间21～40对应的相关性得分为2，总频次数量大于40对应的相关性得分为3。此处举例仅为便于理解，不应作为对本申请的限制。

一种实施方式下，该目标评价指标为情报类型丰富性评价指标，情报类型丰富性评价指标包括种类数量与情报类型丰富性得分之间的对应关系，指定类型数据为威胁内容相关数据，基于该目标评价指标对应的情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分的具体实现方式可以是：统计威胁内容相关数据中包括的数据的种类，基于统计得到的种类数量和种类数量与情报类型丰富性得分之间的对应关系，得到待评价文本情报的情报类型丰富性得分。

威胁内容相关数据中包括的数据的种类也即数据类型，例如攻击行业、目标国家、漏洞、TTP、Malware、工具等。不同的待评价文本情报中包括的数据的种类不同，此处举例仅为便于理解，不应作为对本申请的限制。

种类数量与情报类型丰富性得分之间的对应关系可以是例如对应关系表等表现形式，此处不对种类数量与情报类型丰富性得分之间的对应关系的具体类型进行限制。

种类数量与情报类型丰富性得分之间的对应关系可以包括多个种类数量区间(一个区间中可以仅包括一个数量，也即一个数量对应一个情报类型丰富性得分一一对应)分别对应的情报类型丰富性得分。不同种类数量区间各自对应的情报类型丰富性得分的具体数值可以根据实际需求设置，此处不对其进行限制。

例如，可以设置种类数量小3对应的情报类型丰富性为0，种类数量区间3～5对应的情报类型丰富性为1，种类数量区间6～10对应的情报类型丰富性为2，种类数量大于10对应的情报类型丰富性为3。此处举例仅为便于理解，不应作为对本申请的限制。

一种实施方式下，目标评价指标为入侵指标类型丰富性评价指标，入侵指标类型丰富性评价指标包括入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，指定类型数据为入侵指标信息，基于该目标评价指标对应的情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分的具体方式可以是：统计入侵指标信息中包括的入侵指标类型，基于统计得到的入侵指标类型数量和入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，得到待评价文本情报的入侵指标类型丰富性得分。

入侵指标信息中包括的入侵指标类型即为用于检测和识别网络攻击的指标的类型，例如IP、Domain、URL、Hash等类型。入侵指标类型包括但不限于此处举例的类型。

入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系可以是例如对应关系表等表现形式，此处不对入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系的具体类型进行限制。

入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系可以包括多个入侵指标类型数量区间(一个区间中可以仅包括一个数量，也即一个数量对应一个入侵指标类型丰富性得分一一对应)分别对应的入侵指标类型丰富性得分。不同入侵指标类型数量区间各自对应的入侵指标类型丰富性得分的具体数值可以根据实际需求设置，此处不对其进行限制。

例如，可以设置入侵指标类型数量小3对应的入侵指标类型丰富性为0，入侵指标类型数量区间3～5对应的入侵指标类型丰富性为1，入侵指标类型数量区间6～10对应的入侵指标类型丰富性为2，入侵指标类型数量大于10对应的入侵指标类型丰富性为3。此处举例仅为便于理解，不应作为对本申请的限制。

一种实施方式下，目标评价指标为关系丰富性评价指标，指定类型数据包括入侵指标信息、威胁内容相关数据中的至少一种，基于该目标评价指标对应的情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分的具体实现方式可以是：针对情报特征数据中的任意两条数据，确定该两条数据之间是否存在关联关系；基于情报特征数据中存在关联关系的数据对的数量，得到待评价文本情报的关系丰富性得分。

可选的，针对情报特征数据中的任意两条数据，确定该两条数据之间是否存在关联关系的具体实现方式可以是：针对情报特征数据中的任意两条数据，分别提取该两条数据各自的关键词，得到第三关键词集合和第四关键词集合，然后基于第三关键词集合和第四关键词集合的交集中存在的关键词的数量确定待评价文本情报的关系丰富性得分。

其中，基于第三关键词集合和第四关键词集合的交集中存在的关键词的数量确定待评价文本情报的关系丰富性得分与前述的基于第一关键词集合和第二关键词集合的交集中存在的关键词的数量确定待评价文本情报的相关性得分的方式相同，为简要描述，此处不再赘述。

或者，针对情报特征数据中的任意两条数据，确定该两条数据之间是否存在关联关系的具体实现方式也可以是：将该两条数据以及表征检测输入数据是否存在关联关系的操作指令输入第一大语言模型中，得到表征输入数据是否存在关联关系的输出结果。

在得到情报特征数据中存在关联关系的数据对的数量后，基于情报特征数据中存在关联关系的数据对的数量，得到待评价文本情报的关系丰富性得分的实现方式可以是：将情报特征数据中存在关联关系的数据对的数量乘以关系丰富性参数，得到关系丰富性得分。

其中，关系丰富性评价指标包括该关系丰富性参数，且关系丰富性参数的具体数值可以根据实际情况设置，此处不对其具体数值进行限制。

或者，基于情报特征数据中存在关联关系的数据对的数量，得到待评价文本情报的关系丰富性得分的实现方式也可以是：基于情报特征数据中存在关联关系的数据对的数量和数据对与关系丰富性得分的对应关系，得到关系丰富性得分。

存在关联关系的数据对的数量与关系丰富性得分之间的对应关系可以是例如对应关系表等表现形式，此处不对存在关联关系的数据对的数量与关系丰富性得分之间的对应关系的具体类型进行限制。

存在关联关系的数据对的数量与关系丰富性得分之间的对应关系可以包括多个存在关联关系的数据对的数量区间(一个区间中可以仅包括一个数量，也即一个数量对应一个关系丰富性得分一一对应)分别对应的关系丰富性得分。不同存在关联关系的数据对的数量区间各自对应的关系丰富性得分的具体数值可以根据实际需求设置，此处不对其进行限制。

例如，可以设置存在关联关系的数据对的数量小3对应的关系丰富性为0，存在关联关系的数据对的数量区间3～5对应的关系丰富性为1，存在关联关系的数据对的数量区间6～10对应的关系丰富性为2，存在关联关系的数据对的数量大于10对应的关系丰富性为3。此处举例仅为便于理解，不应作为对本申请的限制。

可以理解的是，在利用第一大语言模型确定情报特征数据中的任意两条数据之间是否存在关联关系的实施方式下，操作指令还可以是表征输入数据之间的关联关系类型的操作指令，此时，第一大语言模型输出的结果表征输入的两条数据之间的关系类型。若两个数据之间不存在关联关系，则第一大语言模型的输出结果表征不存在关联关系。

因此，根据第一大语言模型输出的针对每一对数据的输出结果，可以得到情报特征数据中存在关联关系的数据对的数量，以及关联关系类型的数量。

相应的，基于情报特征数据中存在关联关系的数据对的数量，得到待评价文本情报的关系丰富性得分的实现方式为：基于情报特征数据中存在关联关系的数据对的数量以及关联关系类型的数量，得到待评价文本情报的关系丰富性得分。

此时，可以是将情报特征数据中存在关联关系的数据对的数量乘以第一关系丰富性参数的乘积与关联关系的数量乘以第二关系丰富性参数的乘积之和，作为关系丰富性得分。

其中，关系丰富性评价指标包括该第一关系丰富性参数和第而关系丰富性参数，且第一关系丰富性参数和第二关系丰富性参数的具体数值可以根据实际情况设置，此处不对其具体数值进行限制。

S330：基于得到的每一个目标评价指标各自的得分，得到待评价文本情报的评价结果。

一种实施方式下，在得到每一个目标评价指标各自的得分后，可以将所有目标评价指标的得分之和作为待评价文本情报的评价结果。或者，也可以是将所有目标评价指标的得分的平均值作为待评价文本情报的评价结果。

可选的，还可以针对评价指标体系中的每一个评价指标，预先设置有该评价指标对应的权重值，在得到每一个目标评价指标各自的得分后，计算每一个目标评价指标的得分与该目标评价指标对应的权重值的乘积，然后计算所有乘积的和或平均值作为待评价文本情报的评价结果。

其中，每个评价指标对应的权重值可以根据实际需求进行设置，此处不对每个评价指标对应的权重值进行限制。

一种实施方式下，评价指标体系还包括情报源可信度评价指标、情报源情报更新频率评价指标。则该情报评价方法还包括：获取待评价文本情报对应的目标数据源的身份信息及目标数据源的情报更新频率。

相应的，基于情报特征数据和预设的评价指标体系，得到待评价文本情报的评价结果的具体方式可以是：基于情报特征数据、目标数据源的身份信息、目标数据源的情报更新频率和评价指标体系，得到待评价文本情报的评价结果。

可选的，该目标评价指标为情报源可信度评价指标，情报源可信度评价指标包括情报源与情报源可信度得分之间的对应关系，指定类型数据为目标数据源的身份信息，基于该目标评价指标对应的情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分的具体实现方式可以是：基于目标数据源的身份信息和情报源与情报源可信度得分之间的对应关系，得到情报源可信度得分。

其中，目标数据源的身份信息可以是任意可以唯一标识该目标数据源的信息，例如ID、IP等信息。

情报源与情报源可信度得分的对应关系中可以包括：多个情报源的身份信息各自对应的情报源可信度得分。每个情报源的身份信息对应的情报源可信度得分可以根据实际需求进行设置，此处不对其进行限制。

可选的，该目标评价指标为情报源情报更新频率评价指标，情报源情报更新频率评价指标包括更新频率与情报源情报更新频率得分之间的对应关系，指定类型数据为目标数据源的情报更新频率，基于该目标评价指标对应的情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分的具体实现方式可以是：基于目标数据源的情报更新频率和更新频率与情报源情报更新频率得分之间的对应关系，得到情报源情报更新频率得分。

其中，更新频率与情报源更新频率得分的对应关系可以是例如对应关系表等表现形式，此处不对更新频率与情报源更新频率得分的对应关系的具体类型进行限制。

更新频率与情报源更新频率得分的对应关系可以包括多个更新频率区间分别对应的情报源更新频率得分。不同更新频率区间各自对应的情报源更新频率得分的具体数值可以根据实际需求设置，此处不对其进行限制。

例如，可以设置情报源更新频率小于每月1次的情报源更新频率得分为0；情报源更新频率区间大于等于每月1次，且小于等于每月3次对应的情报源更新频率得分为1；情报源更新频率区间大于等于每月4次，且小于等于每月10次对应的情报源更新频率得分为2；情报源更新频率区间大于等于每月10次的情报源更新频率得分为3。此处举例仅为便于理解，不应作为对本申请的限制。

基于同样的技术构思，本申请还提供一种情报价值评价装置，如图4所示，该情报价值评价装置100包括获取模块110和处理模块120。

获取模块110，用于获取待评价文本情报。

处理模块120，用于基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据。

处理模块120，还用于基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果。

一种实施方式下，所述评价指标体系包括独特性评价指标、客观性评价指标、相关性评价指标、情报类型丰富性评价指标、入侵指标类型丰富性评价指标、关系丰富性评价指标中的至少一种评价指标。

评价指标体系包括多种评价指标，处理模块120，具体用于基于所述情报特征数据包括的数据类型，从所述预设的评价指标体系中确定出所有目标评价指标，其中，所述目标评价指标为能够基于所述情报特征数据包括的数据进行评价的评价指标；针对每一个所述目标评价指标，基于该目标评价指标对应的所述情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分；基于得到的每一个目标评价指标各自的得分，得到所述待评价文本情报的评价结果。

一种实施方式下，所述情报特征数据包括所述待评价文本情报的摘要、威胁内容相关数据、入侵指标信息中的至少一种类型的数据。

该目标评价指标为所述客观性评价指标，所述客观性评价指标包括预先训练好的第二大语言模型和输出结果与客观性得分的对应关系，所述指定类型数据为所述待评价文本情报的摘要，处理模块120，具体用于将所述摘要和表征判断所述摘要是否客观的指令输入所述预先训练好的第二大语言模型，得到表征所述摘要是否客观的输出结果；基于所述输出结果和所述输出结果与客观性得分的对应关系，得到所述待评价文本情报的客观性得分。

该目标评价指标为所述情报类型丰富性评价指标，所述情报类型丰富性评价指标包括种类数量与情报类型丰富性得分之间的对应关系，所述指定类型数据为所述威胁内容相关数据，处理模块120，具体用于统计所述威胁内容相关数据中包括的数据的种类，基于统计得到的种类数量和所述种类数量与所述情报类型丰富性得分之间的对应关系，得到所述待评价文本情报的情报类型丰富性得分。

目标评价指标为所述入侵指标类型丰富性评价指标，所述入侵指标类型丰富性评价指标包括入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，所述指定类型数据为所述入侵指标信息，处理模块120，具体用于统计所述入侵指标信息中包括的入侵指标类型，基于统计得到的入侵指标类型数量和所述入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，得到所述待评价文本情报的入侵指标类型丰富性得分。

目标评价指标为所述关系丰富性评价指标，所述指定类型数据包括所述入侵指标信息、威胁内容相关数据中的至少一种，处理模块120，具体用于针对所述情报特征数据中的任意两条数据，确定该两条数据之间是否存在关联关系；基于所述情报特征数据中存在关联关系的数据对的数量，得到所述待评价文本情报的关系丰富性得分。

评价指标体系还包括情报源可信度评价指标、情报源情报更新频率评价指标；获取模块110，还用于获取所述待评价文本情报对应的目标数据源的身份信息及所述目标数据源的情报更新频率。相应的，处理模块120，具体用于基于所述情报特征数据、所述目标数据源的身份信息、所述目标数据源的情报更新频率和所述评价指标体系，得到所述待评价文本情报的评价结果。

本申请实施例所提供的情报价值评价装置100，其实现原理及产生的技术效果和前述情报价值评价方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述情报价值评价方法实施例中相应内容。

基于同样的技术构思，本申请还提供一种模型训练装置，如图5所示，该模型训练装置200包括获取模块210和训练模块2202。

获取模块210，用于获取训练数据集，所述训练数据集包括多个文本情报。

训练模块220，用于基于所述训练数据集对初始大语言模型进行训练，得到训练好的第一大语言模型。

本申请实施例所提供的模型训练装置200，其实现原理及产生的技术效果和前述情报价值评价方法的模型训练实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述情报价值评价方法实施例中相应内容。

请参阅图6，其为本申请实施例提供的一种电子设备300。所述电子设备300包括：处理器310、存储器320。

所述存储器320、处理器310各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。其中，存储器320用于存储计算机程序，如存储有图4或图5中所示的软件功能模块，即情报价值评价装置100或模型训练装置200。

其中，情报价值评价装置100中包括至少一个可以软件或固件(firmware)的形式存储于所述存储器320中或固化在所述电子设备300的操作系统(operating system，OS)中的软件功能模块。所述处理器310，用于执行存储器320中存储的可执行模块，例如情报价值评价装置100包括的软件功能模块或计算机程序。此时，处理器310，用于获取待评价文本情报；基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据；基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果。

其中，模型训练装置200中包括至少一个可以软件或固件(firmware)的形式存储于所述存储器320中或固化在所述电子设备300的操作系统(operating system，OS)中的软件功能模块。所述处理器310，用于执行存储器320中存储的可执行模块，例如模型训练装置200包括的软件功能模块或计算机程序。此时，处理器310，用于获取训练数据集，所述训练数据集包括多个文本情报；基于所述训练数据集对初始大语言模型进行训练，得到训练好的第一大语言模型。

其中，存储器320可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read～Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read～Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read～Only Memory，EEPROM)等。

处理器310可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器310也可以是任何常规的处理器等。

其中，上述的电子设备300，包括但不限于个人电脑、服务器等。

本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备300运行时，执行上述所示的情报价值评价方法和/或模型训练方法。该计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read～Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种情报价值评价方法，其特征在于，包括：

获取待评价文本情报；

基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据；

基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果；

其中，基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据，包括：

将所述待评价文本情报和操作指令输入所述第一大语言模型中进行处理，得到所述情报特征数据，所述操作指令用于指示所述第一大语言模型执行不同的功能，以获取不同类型的情报特征数据，其中，所述操作指令包括表征生成摘要、抽取待评价文本情报的特征内容、抽取入侵指标信息中的至少一种指令，相应地，所述情报特征数据包括所述待评价文本情报的摘要、威胁内容相关数据、入侵指标信息中的至少一种类型的数据，其中，所述威胁内容相关数据为所述待评价文本情报中，除所述摘要、所述入侵指标信息外的其它特征数据。

2.根据权利要求1所述的方法，其特征在于，所述评价指标体系包括独特性评价指标、客观性评价指标、相关性评价指标、情报类型丰富性评价指标、入侵指标类型丰富性评价指标、关系丰富性评价指标中的至少一种评价指标。

3.根据权利要求2所述的方法，其特征在于，所述评价指标体系包括多种评价指标，所述基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果，包括：

基于所述情报特征数据包括的数据类型，从所述预设的评价指标体系中确定出所有目标评价指标，其中，所述目标评价指标为能够基于所述情报特征数据包括的数据进行评价的评价指标；

针对每一个所述目标评价指标，基于该目标评价指标对应的所述情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分；

基于得到的每一个目标评价指标各自的得分，得到所述待评价文本情报的评价结果。

4.根据权利要求3所述的方法，其特征在于，该目标评价指标为所述客观性评价指标，所述客观性评价指标包括预先训练好的第二大语言模型和输出结果与客观性得分的对应关系，所述指定类型数据为所述待评价文本情报的摘要，所述基于该目标评价指标对应的所述情报特征数据中的指定类型数据和该目标评价指标，得到该目标评价指标的得分，包括：

将所述摘要和表征判断所述摘要是否客观的指令输入所述预先训练好的第二大语言模型，得到表征所述摘要是否客观的输出结果；

基于所述输出结果和所述输出结果与客观性得分的对应关系，得到所述待评价文本情报的客观性得分。

5.根据权利要求3所述的方法，其特征在于，该目标评价指标为所述情报类型丰富性评价指标，所述情报类型丰富性评价指标包括种类数量与情报类型丰富性得分之间的对应关系，所述指定类型数据为所述威胁内容相关数据，所述基于该目标评价指标对应的所述情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分，包括：

统计所述威胁内容相关数据中包括的数据的种类，基于统计得到的种类数量和所述种类数量与所述情报类型丰富性得分之间的对应关系，得到所述待评价文本情报的情报类型丰富性得分。

6.根据权利要求3所述的方法，其特征在于，所述目标评价指标为所述入侵指标类型丰富性评价指标，所述入侵指标类型丰富性评价指标包括入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，所述指定类型数据为所述入侵指标信息，所述基于该目标评价指标对应的所述情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分，包括：

统计所述入侵指标信息中包括的入侵指标类型，基于统计得到的入侵指标类型数量和所述入侵指标类型数量与入侵指标类型丰富性得分之间的对应关系，得到所述待评价文本情报的入侵指标类型丰富性得分。

7.根据权利要求3所述的方法，其特征在于，所述目标评价指标为所述关系丰富性评价指标，所述指定类型数据包括所述入侵指标信息、威胁内容相关数据中的至少一种，所述基于该目标评价指标对应的所述情报特征数据中的指定类型的数据和该目标评价指标，得到该目标评价指标的得分，包括：

针对所述情报特征数据中的任意两条数据，确定该两条数据之间是否存在关联关系；

基于所述情报特征数据中存在关联关系的数据对的数量，得到所述待评价文本情报的关系丰富性得分。

8.根据权利要求1~7任一项所述的方法，其特征在于，所述评价指标体系还包括情报源可信度评价指标、情报源情报更新频率评价指标；所述方法还包括：

获取所述待评价文本情报对应的目标数据源的身份信息及所述目标数据源的情报更新频率；

相应的，基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果，包括：

基于所述情报特征数据、所述目标数据源的身份信息、所述目标数据源的情报更新频率和所述评价指标体系，得到所述待评价文本情报的评价结果。

9.一种情报价值评价装置，其特征在于，包括：

获取模块，用于获取待评价文本情报；

处理模块，用于基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据；

所述处理模块，还用于基于所述情报特征数据和预设的评价指标体系，得到所述待评价文本情报的评价结果；

其中，基于预先训练好的第一大语言模型，对所述待评价文本情报进行处理，得到情报特征数据，包括：

将所述待评价文本情报和操作指令输入所述第一大语言模型中进行处理，得到所述情报特征数据，所述操作指令用于指示所述第一大语言模型执行不同的功能，以获取不同类型的情报特征数据，其中，所述操作指令包括表征生成摘要、抽取待评价文本情报的特征内容、抽取入侵指标信息中的至少一种指令，相应地，所述情报特征数据包括所述待评价文本情报的摘要、威胁内容相关数据、入侵指标信息中的至少一种类型的数据，其中，所述威胁内容相关数据为所述待评价文本情报中，除所述摘要、所述入侵指标信息外的其它特征数据。

10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器连接；

所述存储器，用于存储程序；

所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1~8中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1~8中任一项所述的方法。