CN115017336A - 一种基于任务认知的深度学习模型解释方法 - Google Patents

Abstract

本发明提供一种基于任务认知的深度学习模型解释方法，属于人工智能中的模型可解释领域，针对图像、文本、点位等多源情报数据，基于情报分析人员对各类情报分析任务的认知，抽取其中影响任务结果的关键要素内涵，并构建任务要素扰动数据集合；随后建立一致性损失及扰动相似性度量，对深度学习模型进行重新训练，得到数据和各类情报分析任务涉及到的深度学习模型决策结果的关联映射关系；最后基于图谱化组织方法，将关联映射关系直观表达展示。

Description

一种基于任务认知的深度学习模型解释方法

技术领域

本发明属于人工智能中的模型可解释领域，具体涉及一种基于任务认知的深度学习模型解释方法。

背景技术

随着侦察手段与资源的日益增多，各情报处理部门积累了海量异构的数据，大幅度增加了情报人员进行精准研判与深度剖析的难度。深度学习技术的应用可以通过数据完成重点目标识别、目标预测轨迹、情报文本的解析，辅助情报人员理解海量异构数据，提升洞察及处理能力。然而，深度学习技术在情报处理领域没有被广泛有效应用，其瓶颈在于现有深度学习模型多为建模复杂且不透明的黑盒模型，严重减弱情报人员对深度学习模型产生的深层情报结果的信任度，使其无法作为一种常规化手段应用于情报生产的日常业务中。

面向深度学习模型内部结构不透明、模型不可理解导致的情报分析领域中深度学习结果不可广泛应用的问题。为提升模型可解释性，针对多种情报分析任务，完成对模型决策/预测结果的理解，需要研究一种基于任务认知的深度学习模型解释方法，提升情报产出的深度与维度。

发明内容

本发明面向深度学习模型内部结构不透明、模型不可理解导致的情报分析领域中深度学习结果不可广泛应用的问题。本发明提供一种基于任务认知的深度学习模型解释方法。

为了实现上述目的，本发明采用的技术方案如下：

一种基于任务认知的深度学习模型解释方法，包含如下步骤：

（1）针对涉及重点目标识别、目标轨迹预测和情报文本理解的情报分析任务，基于情报分析人员对情报分析任务的理解和认知经验，对情报分析任务的要素内涵进行分解，其中要素内涵包括任务模式、时空属性、单元数量、单元类型、单元部件、单元主体和行为状态；

（2）根据情报分析任务的要素内涵对情报分析任务数据进行要素删减和修改，获取任务要素扰动数据集合；

（3）结合现有情报分析任务损失函数，以任务要素扰动数据集合中的数据为输入，对求解情报分析任务的深度学习模型重新进行训练，得到扰动数据下的任务结果；然后分析扰动前后任务结果相似性，得到数据与决策间的映射，获取深度学习模型输入中真正影响决策的变量；

（4）基于步骤（1）提取的要素内涵定义深度学习模型解释实体，基于步骤（3）分析出的数据与决策间的映射关系定义实体及实体间关系，并构建知识图谱，实现模型解释结果的直观展示。

其中，步骤（3）包括如下步骤：

（301）基于任务要素扰动数据集合，以现有求解情报分析任务的深度学习模型结果为标签，结合现有情报分析任务损失函数，以情报分析结果一致性为目标，并以扰动数据为输入重新训练深度学习模型，得到扰动数据下的任务结果；

（302）以扰动前得到的任务结果为标签，分析扰动前后模型任务结果相似性，若相似性小于阈值，则定义数据扰动对模型任务结果具有影响，扰动数据要素为真正影响决策的变量，得到模型输入与决策间的映射关系，获取深度学习模型输入中真正影响决策的变量。

本发明具有如下有益效果：

1、本发明提出的一种基于任务认知的深度学习模型解释方法结合情报分析人员的认知经验，从数据要素内涵角度对深度学习模型结果进行溯源，得到易于理解的深度学习模型的解释，适用于针对图像、文本和点位多源情报分析数据所涉及的深度学习模型。

2、本发明提出的一种基于任务认知的深度学习模型解释方法中的模型解释过程可辅助知识图谱构建，支持定义实体及实体间关系，完成图谱化的数据与决策关系的可视化表示。

附图说明

图1为本发明一种基于任务认知的深度学习模型解释方法流程示意图。

图2为本发明图谱化关联映射关系直观表达实例图。

具体实施方式

下面结合附图及具体实施方式对本发明做进一步详细的说明。

如图1所示，一种基于任务认知的深度学习模型解释方法，包括以下步骤：

（1）针对涉及重点目标识别、目标轨迹预测和文本情报理解的情报分析任务，基于情报分析人员对情报分析任务的理解和认知经验，对情报分析任务的要素内涵进行分解，其中要素内涵包括任务模式、时空属性、单元数量、单元类型、单元部件、单元主体和行为状态，情报分析任务的数据为图像、文本、点位等形式；

（2）根据情报分析任务的要素内涵对情报分析任务数据进行要素删减和修改，获取任务要素扰动数据集合；

（3）结合现有情报分析任务损失函数，以任务要素扰动数据集合中的数据为输入，对求解情报分析任务的深度学习模型重新进行训练，得到扰动数据下的任务结果；然后分析扰动前后任务结果相似性，得到数据与决策间的映射，获取深度学习模型输入中真正影响决策的变量；

其中，步骤（3）包括如下步骤：

（301）基于任务要素扰动数据集合，以现有求解情报分析任务的深度学习模型结果为标签，结合现有情报分析任务损失函数，以情报分析结果一致性为目标，并以扰动数据为输入重新训练深度学习模型，得到扰动数据下的任务结果；

（302）以扰动前得到的任务结果为标签，分析扰动前后模型任务结果相似性，若相似性小于阈值，则定义数据扰动对模型任务结果具有影响，扰动数据要素为真正影响决策的变量，得到模型输入与决策间的映射关系，获取模型输入中真正影响决策的变量。

（4）基于步骤（1）提取的要素内涵定义深度学习模型解释实体，基于步骤（3）分析出的数据与决策间的映射关系定义实体及实体间关系，并构建知识图谱，实现模型解释结果的直观展示。

下面以一个具体例子进行阐述：

以鸟类识别任务为例，基于情报分析人员对图像中目标识别的理解，针对鸟身体组件，环境要素等进行总结。对鸟头、鸟嘴、树枝、纹理、颜色、飞行等要素对识别任务的影响进行判别，给出鸟头大小、鸟嘴长短，鸟周围是否有树枝、鸟的纹理、鸟的颜色、鸟是否在飞行等扰动要素对识别任务的影响。

针对要素对情报分析数据进行重组织，改变鸟头大小、修改鸟嘴长短、去除鸟周围的树枝、修改鸟的纹理、改变鸟的颜色、去除飞行的鸟，获取进行要素删减、修改等操作后的任务要素扰动数据集合。

结合现有鸟类识别任务损失函数，以扰动数据为输入，重新进行目标识别任务训练，得到扰动数据下新模型，并得到新的鸟类识别任务结果。

分析扰动前后鸟类识别结果相似性，若相似性小于阈值，则证明扰动要素对鸟类识别具有重要影响，目标识别模型正确识别出鸟所依据的要素为该扰动要素，获取模型输入中真正影响决策的变量，完成数据对模型结果的解释。

将数据扰动要素定义为鸟类识别任务模型的实体，基于扰动要素数据与决策间的映射关系定义实体及实体间关系，完成实体及关系定义。基于此构建知识图谱，实现模型解释结果的直观展示，结果如图2所示。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (3)

1.一种基于任务认知的深度学习模型解释方法，其特征在于，包含如下步骤：

（1）针对涉及重点目标识别、目标轨迹预测和情报文本理解的情报分析任务，基于情报分析人员对情报分析任务的理解和认知经验，对情报分析任务的要素内涵进行分解；其中要素内涵包括任务模式、时空属性、单元数量、单元类型、单元部件、单元主体和行为状态；

（2）根据情报分析任务的要素内涵对情报分析任务数据进行要素删减和修改，获取任务要素扰动数据集合；

（3）结合现有情报分析任务损失函数，以任务要素扰动数据集合中的数据为输入，对求解情报分析任务的深度学习模型重新进行训练，得到扰动数据下的任务结果；然后分析扰动前后任务结果相似性，得到数据与决策间的映射，获取深度学习模型输入中真正影响决策的变量；

至此完成基于任务认知的深度学习模型解释。

2.根据权利要求1所述的一种基于任务认知的深度学习模型解释方法，其特征在于，还包括以下步骤：

（4）基于步骤（1）提取的要素内涵定义深度学习模型解释实体，基于步骤（3）分析出的数据与决策间的映射关系定义实体及实体间关系，并构建知识图谱，实现模型解释结果的直观展示。

3.根据权利要求1所述的一种基于任务认知的深度学习模型解释方法，其特征在于，步骤（3）包括如下步骤：

（301）基于任务要素扰动数据集合，以现有求解情报分析任务的深度学习模型结果为标签，结合现有情报分析任务损失函数，以情报分析结果一致性为目标，并以扰动数据为输入重新训练深度学习模型，得到扰动数据下的任务结果；

（302）以扰动前得到的任务结果为标签，分析扰动前后模型任务结果相似性，若相似性小于阈值，则定义数据扰动对模型任务结果具有影响，扰动数据要素为真正影响决策的变量，得到模型输入与决策间的映射关系，获取深度学习模型输入中真正影响决策的变量。

Images