CN113516638A - 一种神经网络内部特征重要性可视化分析及特征迁移方法 - Google Patents

Abstract

本发明公开了一种神经网络内部特征重要性可视化分析及特征迁移方法，通过基于先验知识对数据集进行采样，划分代表性数据子集，对数据子集平均化、正则化，得到数据子集标准平均图，根据导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像，基于特征可视化图像与标准平均图的余弦相似度作为对应神经元的价值，根据层相似值判断网络层拟合情况和层内神经元相似值评估网络神经元拟合情况，使用神经网络剪枝算法提取高价值网络模块并进行迁移测试。本发明实现以量化与可视化结合的方式衡量卷积神经网络特征重要性，完成对原模型重要特征的提取重用，提高神经网络模型可解释性，帮助分析理解模型拟合情况。

Description

一种神经网络内部特征重要性可视化分析及特征迁移方法

技术领域

本发明属于迁移学习、神经网络深度学习技术领域，具体地说，涉及一种神经网络内部特征重要性可视化分析及特征迁移方法。

背景技术

深度学习模型不依赖手工制作特征，能够自动地从标注的图像数据中学习目标特性，可有效区分真实目标与复杂背景物，表现出很强的泛化能力。但深度学习模型结构复杂，特征丰富，通常有数百层和数以万计的自学习特征，具有不可解释特性，人工无法有效获取和理解其学习到的目标特性，使得这些潜在的重要目标特性不能被量化评估和高效利用。由于神经网络的复杂性产生的黑盒属性，许多可视化方法被用于解释其内部神经元特征，如导向反向传播等。

尽管对神经网络特征进行可视化有利于人眼直观感受，却不能指导计算机评估神经网络的特征好坏。而在迁移学习领域中，人们通常通过L2正则化值等方法来判断某个神经元的价值，以此来指导神经元剪枝，便于重要模块与高价值神经元的保留与重用，但是这些指标存在评估方式单一，评估不准确，指标客观性难以衡量的问题。

发明内容

本发明的目的在于解决现有技术中存在的问题，提供一种神经网络内部特征重要性可视化分析及特征迁移方法。该方法通过基于先验知识对数据集进行采样，划分代表性数据子集，对数据子集平均化、正则化，得到数据子集标准平均图，根据导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像，最后基于特征可视化图像与标准平均图的余弦相似度作为对应神经元的价值，根据层相似值判断网络层拟合情况，根据层内神经元相似值评估网络神经元拟合情况，使用神经网络剪枝算法提取高价值网络模块并进行迁移测试。本发明针对深度神经网络解释性不足的问题，实现了以量化与可视化结合的方式衡量卷积神经网络特征重要性，并完成了对原模型重要特征的提取重用，可以提高神经网络模型可解释性、帮助研究人员分析理解模型拟合情况、辅助模型优化。

其具体技术方案为：

一种神经网络内部特征重要性可视化分析及特征迁移方法，包括以下步骤：

步骤1：获取已训练的神经网络模型的特征提取部分，识别其卷积层位置；

步骤2：基于先验知识对数据集进行采样，划分代表性数据子集：

对于共有K类的数据，C_K＝{Ci|i＝0,1,...,K}表示所有类的数据，根据先验知识，如目标大小、方向、类别等目标特性将原数据划分为数据子集C_N＝{Ci|i＝0,1,...,K；K≥N}；

步骤3：数据子集平均化和正则化，获取数据子集标准平均图：

对于数据子集C_N，每个数据子集包含n个数据实例，计算每个数据子集的标准平均图

σ为min-max正则化；

步骤4：使用导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像Ω＝{ω_ilf|i＝0,1,...,N,l＝0,1,...,L,f＝0,1,...,F}；

步骤5：计算特征可视化图像与标准平均图的余弦相似度

获取每个神经元的平均指标相似值；

步骤6：对网络相似值进行层间分析与层内分析：

基于步骤5获取的网络神经元相似度指标，进行神经元、层、网络模块多层次的信息提取能力分析，基于层内与层间相似值波动性、稳定性、梯度变化，对网络进行多角度分析，了解网络拟合程度、泛化程度、过拟合问题等信息；

步骤7：根据层及神经元相似值排序，获取神经元价值排序序列；

步骤8：使用神经网络剪枝算法提取高价值网络模块并进行迁移测试。

进一步地，所述步骤2与步骤3中，基于先验知识对数据集进行采样，划分代表性数据子集，并求取标准平均图包括以下步骤：

步骤2.1：基于目标物体类别、目标大小、目标方向、主体语义内容对数据集进行采样，数据子集采样数量为每个子集20～30张图像，数据子集数量为每个原数据类别划分4个数据子集；

步骤3.1：将数据子集中图像归一化至0-1区间后，计算每个数据子集图像的平均图像，得到平均图；

步骤3.2：计算原数据子集的图像的最大最小值，对平均图进行min-max正则化，获取标准平均图。

进一步地，所述步骤4与步骤5中，使用导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像及其价值指标相似值，包括以下步骤：

步骤4.1：加载网络模型，修改网络反向传播终止位置，使网络可以获取输入层的梯度信息，修改ReLU层的梯度反向传播过程；

步骤4.2：加载网络卷积层信息，包含卷积层位置，卷积层神经元数量，网络层次信息；

步骤4.3：加载标准平均图，转换为GPU张量形式；

步骤4.4：从浅层至深层遍历网络，基于导向反向传播计算每层每个神经元的特征可视化图像；

步骤5.1：计算特征可视化图像与对应输入的标准平均图的余弦相似值，存储为该神经元的价值指标。

进一步地，所述步骤6中，对网络相似值进行层间分析与层内分析包括以下步骤：

步骤6.1：显示网络单层内神经元可视化图像与对应相似值，观察相似值分布情况，观察特征可视化图像对应相似值。

步骤6.2：可视化图像列表基于神经元相似值进行排序，观察高相似值及低相似值特征可视化图像中目标语义信息，目标纹理信息。

步骤6.3：绘制单层神经元相似值折线图，分析每层神经元对应曲线的波动情况，高波动层泛化能力更强，低波动层泛化能力更弱，层相似值中线对应网络层拟合情况，高相似值拟合更优；

步骤6.4：根据步骤6.3中的相似值曲线，观察网络由浅至深的曲线变化情况，判断网络相似值是否逐步上升并稳定；

步骤6.5：计算每层网络相似值的平均值，绘制层平均相似值曲线；

步骤6.6：根据步骤6.5的层平均相似值曲线，观察曲线突变点对应网络层，该层为高价值层；

步骤6.7：根据步骤6.5的层平均相似值曲线，观察网络深层折线变化情况，折线平缓代表网络发生过拟合问题，可以通过减少网络层、增大数据集、冻结浅层网络重复训练提升网络深层性能；

步骤6.7：根据步骤6.5的层平均相似值曲线，对比不同数据类别或不同子集曲线，判断网络对对应数据的拟合情况。

进一步地，所述步骤7与步骤8中，使用神经网络剪枝算法基于神经元相似值排序提取高价值网络模块并进行迁移测试包括以下步骤：

步骤7.1：根据层及神经元相似值排序，获取神经元价值排序序列；

步骤7.2：根据原数据类别对数据子集相似值进行平均，选取测试准确率最高的类别的相似值作为价值排序基准；

步骤8.1：加载网络测试模块与网络层信息，在测试集上测试每类数据准确率，绘制准确率混淆矩阵作为基准；

步骤8.2：选取单层网络，设置神经元提取数量，根据价值排序将BatchNorm层低价值神经元对应激活置零；

步骤8.3：将该层网络嵌回原网络，在测试集上测试每类数据准确率，绘制准确率混淆矩阵，与基准矩阵做差进行比较，判断对应类别准确率变化及整体准确率变化情况；

步骤8.4：重复执行步骤8.1至步骤8.4，每隔5层进行神经元提取重用测试，提取数量为10％或30％。

步骤8.5：加载网络测试模块与网络层信息，在测试集上测试每类数据准确率，绘制准确率混淆矩阵作为基准；

步骤8.6：选取更高层次的网络模块，每个模块包含多个卷积层，设置神经元提取数量，根据价值排序将模块内每层对应的BatchNorm层低价值神经元对应激活置零；

步骤8.7：将该网络模块嵌回原网络，在测试集上测试每类数据准确率，绘制准确率混淆矩阵，与基准矩阵做差进行比较，判断对应类别准确率变化及整体准确率变化情况；

步骤8.8：重复执行步骤8.5至步骤8.8，由浅层至深层对网络的每个模块进行提取重用测试；

步骤8.9：根据层提取重用测试及模块提取重用测试得到的准确率变化结果，判断网络各结构的重要性。

与现有技术相比，本发明的有益效果：

本发明的方法能够基于平均图原理对红外舰船目标识别模型内部特征进行重要性可视化分析及重要特征迁移，帮助找到对舰船目标识别起关键作用的重要目标特性与可解释特征，实现重要特征迁移重用与域不变特征提取，达到更好的军事舰船分类检测效果和泛化能力。

附图说明

图1是本发明神经网络内部特征重要性可视化分析及特征迁移方法的流程图；

图2是本发明实施例中将平均图进行min-max正则化的结果示意图；

图3是本发明实施例中的模块2子模块1层4的第64号神经元与类0的姿态1的相似值；

图4是本发明实施例中的层内分析结果示意图；

图5是本发明实施例中的层间分析结果示意图。

具体实施方式

下面结合附图和具体实施方案对本发明的技术方案作进一步详细地说明。

参照图1，本发明提供了一种神经网络内部特征重要性可视化分析及特征迁移方法，

包括以下步骤：

步骤1：获取已训练的神经网络模型的特征提取部分，识别其卷积层位置；

步骤2：基于先验知识对数据集进行采样，划分代表性数据子集：

对于共有K类的数据，C_K＝{Ci|i＝0,1,...,K}表示所有类的数据，根据先验知识，如目标大小、方向、类别等目标特性将原数据划分为数据子集C_N＝{Ci|i＝0,1,...,K；K≥N}；

步骤3：数据子集平均化和正则化，获取数据子集标准平均图：

对于数据子集C_N，每个数据子集包含n个数据实例，计算每个数据子集的标准平均图

σ为min-max正则化；

步骤4：使用导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像Ω＝{ω_ilf|i＝0,1,...,N,l＝0,1,...,L,f＝0,1,...,F}；

步骤5：计算特征可视化图像与标准平均图的余弦相似度

获取每个神经元的平均指标相似值；

步骤6：对网络相似值进行层间分析与层内分析：

基于步骤5获取的网络神经元相似度指标，进行神经元、层、网络模块多层次的信息提取能力分析，基于层内与层间相似值波动性、稳定性、梯度变化，对网络进行多角度分析，了解网络拟合程度、泛化程度、过拟合问题等信息；

步骤7：根据层及神经元相似值排序，获取神经元价值排序序列；

步骤8：使用神经网络剪枝算法提取高价值网络模块并进行迁移测试。

所述步骤1中，深度神经网络模型为卷积神经网络模型或神经网络的卷积网络模块。

所述步骤2中，对数据集的采样方式为基于目标物体类别、目标大小、目标方向、主体语义内容。

所述步骤3中，对于数据子集进行平均化后，对平均图像使用正则化方法，正则化方法为min-max正则化，正则化后的平均图像的最大最小值与原数据集的最大最小值相同。

所述步骤4中，使用导向反向传播特征可视化算法对网络卷积层的所有神经元求取所有标准平均图的特征可视化图像，导向反向传播程序输入标准平均图及网络卷积层信息，反向传播算法部分针对输入模型结构进行设计。

所述步骤5中，导向反向传播算法获取特征可视化图像的同时，计算特征可视化图像与对应数据子集类别的标准平均图的相似度，该相似度包括余弦相似度、欧式距离。

所述步骤6中，对网络神经元相似值进行层内分析，层内分析策略包括：网络层神经元可视化图像与对应相似值耦合显示，基于神经元相似值排序的可视化图像列表分析，单层神经元相似值折线图波动分析，单层神经元相似值折线图变化分析。

所述步骤6中，对网络神经元相似值进行层间分析，层间分析策略为层平均相似值曲线分析，分析角度包括：层相似值突变位置分析，层相似值梯度变化分析，深层网络拟合分析，多类数据曲线对比分析。

所述步骤7中，基于神经元相似值，逐层计算层内神经元价值排序，存储为神经元下标索引。

所述步骤8中，使用基于网络BatchNorm层的剪枝算法，神经元提取剪枝策略为基于神经元相似值排序，提取高相似值神经元，第相似值神经元激活置零。

所述步骤8中，对高价值网络模块迁移的测试方法为单层迁移与模块迁移：单层迁移为从网络浅层至深层，每间隔五层进行神经元重用测试，提取当前层多种比例的神经元数量，如10％，30％等，然后将重用网络在测试集测试其准确率变化，观察其准确率混淆矩阵与标准网络的混淆矩阵的变化，判断提取性能；多层迁移与单层迁移策略一致，迁移目标变更为由多层网络组成的网络高层次模块。

本发明的方法通过对舰船热图数据集基于先验知识的平均图获取，包括舰船姿态数据子集选取，对每个数据子集平均化得到平均图，将平均图进行min-max正则化得到标准平均图；再通过将平均图输入网络，利用导向反向传播获取网络中每个神经元对于每张标准平均图的可视化图像，再计算每张平均图与可视化图像的余弦距离得到网络中每个神经元的相似性重要性价值指标；最后基于神经元相似度值指标可以进行神经元、层、网络模块多层次的信息提取能力分析，对网络模型进行神经元、层、模块中重要结构的提取，并进一步重用至原模型或新模型中，完成特征迁移的任务。本发明提供了一种基于平均图原理对红外舰船目标识别模型内部特征进行重要性可视化分析及重要特征迁移的方法，帮助找到对舰船目标识别起关键作用的重要目标特性与可解释特征，实现重要特征迁移重用与域不变特征提取，达到更好的军事舰船分类检测效果和泛化能力。

本发明方法具体实施方式如下：

步骤1：基于先验知识的平均图获取。通过已有先验知识对舰船数据集进行采样，获取具有代表性的舰船姿态数据子集。每类舰船数据中选取四种舰船姿态(低仰角，高仰角旋转1，高仰角旋转2，小目标)，每种姿态20～30张图片，最终得到4类*4姿态的16组数据子集；对每个数据子集进行平均化操作得到16张平均图；将平均图进行min-max正则化，由此得到如图2所示的结果。

步骤2：可视化特征图与标准平均图相似性度量。使用导向反向传播在孪生网络跨域模型的所有神经元上计算平均图的特征可视化图像，使用余弦相似度评估标准平均图与特征可视化图像的相似性，由此得到每个神经元对于该类数据子集的相似值，此相似值即为衡量神经元信息提取能力的量化指标。图3为模块2子模块1层4的第64号神经元与类0的姿态1的相似值：

步骤3：多尺度特征重要性分析与网络模块的提取、剪枝、重用。

步骤3.1：基于神经元相似度重要性指标，可从层内与层间两个角度对神经元特征进行重要性分析。具体分析结果如图4、图5所示。

A.层内分析结果(针对类别0姿态0)如图4所示。

B.层间分析结果如图5所示。

步骤3.2：基于批归一化层BatchNorm的神经网络剪枝策略，通过将BatchNorm层指定位置的权重置0可以实现对特定神经元的修剪。分别将VGG模型的前6,7,8卷积层及其权重保存下来，拼接上新的分类器，冻结特征提取器，使用原数据只训练分类器，经过一个epoch与之前相同的训练，分别在训练集上得到了87％，97％，96％的准确率。该可结果证明sim值可以代表层信息量。

VGG_S_6：

Avg.loss：0.0186，Accuracy：13969/16000(87％)

VGG_S_7：

Avg.loss：0.0071，Accuracy：15462/16000(97％)

VGG_S_8：

Avg.loss：0.0083，Accuracy：15316/16000(96％)

本发明的方法能够基于平均图原理对红外舰船目标识别模型内部特征进行重要性可视化分析及重要特征迁移，帮助找到对舰船目标识别起关键作用的重要目标特性与可解释特征，实现重要特征迁移重用与域不变特征提取，达到更好的军事舰船分类检测效果和泛化能力。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (5)

1.一种神经网络内部特征重要性可视化分析及特征迁移方法，其特征在于，包括以下步骤：

步骤1：获取已训练的神经网络模型的特征提取部分，识别其卷积层位置；

步骤2：基于先验知识对数据集进行采样，划分代表性数据子集：

对于共有K类的数据，C_K＝{Ci|i＝0,1,...,K}表示所有类的数据，根据先验知识，目标大小、方向、类别的目标特性将原数据划分为数据子集C_N＝{Ci|i＝0,1,...,K；K≥N}；

步骤3：数据子集平均化和正则化，获取数据子集标准平均图：

对于数据子集C_N，每个数据子集包含n个数据实例，计算每个数据子集的标准平均图

σ为min-max正则化；

步骤4：使用导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像Ω＝{ω_ilf|i＝0,1,...,N,l＝0,1,...,L,f＝0,1,...,F}；

步骤5：计算特征可视化图像与标准平均图的余弦相似度

获取每个神经元的平均指标相似值；

步骤6：对网络相似值进行层间分析与层内分析：

基于步骤5获取的网络神经元相似度指标，进行神经元、层、网络模块多层次的信息提取能力分析，基于层内与层间相似值波动性、稳定性、梯度变化，对网络进行多角度分析，了解网络拟合程度、泛化程度、过拟合问题；

步骤7：根据层及神经元相似值排序，获取神经元价值排序序列；

步骤8：使用神经网络剪枝算法提取高价值网络模块并进行迁移测试。

2.根据权利要求1所述的神经网络内部特征重要性可视化分析及特征迁移方法，其特征在于，所述步骤2与步骤3中，基于先验知识对数据集进行采样，划分代表性数据子集，并求取标准平均图包括以下步骤：

步骤2.1：基于目标物体类别、目标大小、目标方向、主体语义内容对数据集进行采样，数据子集采样数量为每个子集20～30张图像，数据子集数量为每个原数据类别划分4个数据子集；

步骤3.1：将数据子集中图像归一化至0-1区间后，计算每个数据子集图像的平均图像，得到平均图；

步骤3.2：计算原数据子集的图像的最大最小值，对平均图进行min-max正则化，获取标准平均图。

3.根据权利要求1所述的神经网络内部特征重要性可视化分析及特征迁移方法，其特征在于，所述步骤4与步骤5中，使用导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像及其价值指标相似值，包括以下步骤：

步骤4.1：加载网络模型，修改网络反向传播终止位置，使网络获取输入层的梯度信息，修改ReLU层的梯度反向传播过程；

步骤4.2：加载网络卷积层信息，包含卷积层位置，卷积层神经元数量，网络层次信息；

步骤4.3：加载标准平均图，转换为GPU张量形式；

步骤4.4：从浅层至深层遍历网络，基于导向反向传播计算每层每个神经元的特征可视化图像；

步骤5.1：计算特征可视化图像与对应输入的标准平均图的余弦相似值，存储为该神经元的价值指标。

4.根据权利要求1所述的神经网络内部特征重要性可视化分析及特征迁移方法，其特征在于，所述步骤6中，对网络相似值进行层间分析与层内分析包括以下步骤：

步骤6.1：显示网络单层内神经元可视化图像与对应相似值，观察相似值分布情况，观察特征可视化图像对应相似值；

步骤6.2：可视化图像列表基于神经元相似值进行排序，观察高相似值及低相似值特征可视化图像中目标语义信息，目标纹理信息；

步骤6.3：绘制单层神经元相似值折线图，分析每层神经元对应曲线的波动情况，高波动层泛化能力更强，低波动层泛化能力更弱，层相似值中线对应网络层拟合情况，高相似值拟合更优；

步骤6.4：根据步骤6.3中的相似值曲线，观察网络由浅至深的曲线变化情况，判断网络相似值是否逐步上升并稳定；

步骤6.5：计算每层网络相似值的平均值，绘制层平均相似值曲线；

步骤6.6：根据步骤6.5的层平均相似值曲线，观察曲线突变点对应网络层，该层为高价值层；

步骤6.7：根据步骤6.5的层平均相似值曲线，观察网络深层折线变化情况，折线平缓代表网络发生过拟合问题，通过减少网络层、增大数据集、冻结浅层网络重复训练提升网络深层性能；

步骤6.7：根据步骤6.5的层平均相似值曲线，对比不同数据类别或不同子集曲线，判断网络对对应数据的拟合情况。

5.根据权利要求1所述的神经网络内部特征重要性可视化分析及特征迁移方法，其特征在于，所述步骤7与步骤8中，使用神经网络剪枝算法基于神经元相似值排序提取高价值网络模块并进行迁移测试包括以下步骤：

步骤7.1：根据层及神经元相似值排序，获取神经元价值排序序列；

步骤7.2：根据原数据类别对数据子集相似值进行平均，选取测试准确率最高的类别的相似值作为价值排序基准；

步骤8.1：加载网络测试模块与网络层信息，在测试集上测试每类数据准确率，绘制准确率混淆矩阵作为基准；

步骤8.2：选取单层网络，设置神经元提取数量，根据价值排序将BatchNorm层低价值神经元对应激活置零；

步骤8.3：将该层网络嵌回原网络，在测试集上测试每类数据准确率，绘制准确率混淆矩阵，与基准矩阵做差进行比较，判断对应类别准确率变化及整体准确率变化情况；

步骤8.4：重复执行步骤8.1至步骤8.4，每隔5层进行神经元提取重用测试，提取数量为10％或30％；

步骤8.5：加载网络测试模块与网络层信息，在测试集上测试每类数据准确率，绘制准确率混淆矩阵作为基准；

步骤8.6：选取更高层次的网络模块，每个模块包含多个卷积层，设置神经元提取数量，根据价值排序将模块内每层对应的BatchNorm层低价值神经元对应激活置零；

步骤8.7：将该网络模块嵌回原网络，在测试集上测试每类数据准确率，绘制准确率混淆矩阵，与基准矩阵做差进行比较，判断对应类别准确率变化及整体准确率变化情况；

步骤8.8：重复执行步骤8.5至步骤8.8，由浅层至深层对网络的每个模块进行提取重用测试；

步骤8.9：根据层提取重用测试及模块提取重用测试得到的准确率变化结果，判断网络各结构的重要性。

Images