CN109859204A - 卷积神经网络模型检验方法及装置 - Google Patents

Abstract

本申请提供一种卷积神经网络模型检验方法及装置，在卷积神经网络模型处理图片时，生成卷积神经网络模型每个网络层或每个通道对应的可视化检验图片，将卷积神经网络模型的抽象处理过程转换为可视化的结果，以对每个网络层或每个通道的有效性进行检验，从而可以准确定位出卷积神经网络模型中出现问题的地方。

Description

卷积神经网络模型检验方法及装置

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种卷积神经网络模型检验方法及装置。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)是一种被广泛应用的深度学习网络结构，卷积神经网络由多个卷积层、池化层和全连接层构成，可以有效地利用输入数据的二维结构进行识别或分类处理。例如在图像处理中，卷积神经网络可以通过逐层抽象及多次非线性变换，将低层的视觉信息转换为高层的图像语义。但是，由于卷积神经网络模型中每个网络层的处理原理较为抽象不易被理解，通常通过验证卷积神经网络模型最后一层的输出判断模型的有效性。这种仅对输出结果进行检验的方式，在模型内部参数出现问题时无法准确地定位问题症结。

发明内容

为了克服现有技术中的上述不足，本申请的目的之一在于提供一种卷积神经网络模型检验方法，所述方法包括：

获取测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

获取所述卷积神经网络模型在处理所述测试图片的过程中，各网络层中每个通道输出的特征图，其中，所述特征图为多个特征值组成的矩阵；

针对每个所述特征图中的多个特征值进行正则化处理，并分别将正则化处理后的多个特征值转化至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

可选地，在上述方法中，所述针对每个所述特征图中的多个特征值进行正则化处理的步骤，包括：

针对该特征图中的每个特征值，将该特征值减去该特征图的特征值均值，再除以该特征图的特征值方差，得到正则化处理后的特征值。

可选地，在上述方法中，所述预设可视化像素区间为0～255的数值区间；所述分别将正则化处理后的多个特征值转化至预设可视化像素值区间的步骤，包括：

分别将每个所述正则化处理后的特征值乘以64后加上128，得到相应的中间特征值；

将所述中间特征值中大于255的中间特征值替换为255，将所述中间特征值中小于0的中间特征值替换为0。

可选地，在上述方法中，所述将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道的步骤，包括：

提供一显示界面，在所述显示界面为用户显示多个所述可视化检验图片；

将用户选中的纯色图片或噪声图片对应的通道确定为出现问题的通道。

本申请的另一目的在于提供一种卷积神经网络模型检验方法，所述方法包括：

随机生成像素值在预设范围内的测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

针对所述卷积神经网络模型中每个网络层的每个通道，获得所述卷积神经网络模型在处理所述测试图片时该通道输出的特征图，所述特征图为多个特征值组成的矩阵；

针对每个特征图的特征值均值作为损失值，将该损失值的函数在所述卷积神经网络模型中进行反向传播求导，得到与该特征图对应的导数矩阵，并对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵，其中，所述梯度矩阵的尺寸与所述测试图片的尺寸相同；

将每个通道的梯度矩阵的每个值与所述测试图片对应的像素值相加后得到的累加图像再次输入所述卷积神经网络模型并重复进行迭代处理；

获得预设次数迭代处理后每个所述通道得到的累加图像，并分别将各通道的累加图像中的值转换至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

可选地，在上述方法中，所述对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵的步骤，包括：

将所述导数矩阵中的值分别除以该导数矩阵L2范式的值，得到所述梯度矩阵。

可选地，在上述方法中，所述分别将各通道的累加图像中的值转换至预设可视化像素值区间的步骤，包括：

针对每个所述通道对应的累加图像，将该累加图像中的每个像素值进行正则化处理；

将正则化处理后的累加图像的每个像素转换至预设可视化像素值区间。

可选地，在上述方法中，所述将正则化处理后的累加图像的每个像素转换至预设可视化像素值区间的步骤，包括：

将正则化处理后的累加图像的每个像素进行归一化处理，转化至0～1的数值区间；

将归一化处理后的每个像素乘以255，转化至0～255的可视化像素值区间。

本申请的另一目的在于提供一种卷积神经网络模型检验装置，所述装置包括：

测试图片获取模块，用于获取测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

特征图获取模块，用于获取所述卷积神经网络模型在处理所述测试图片的过程中，各网络层中每个通道输出的特征图，其中，所述特征图为多个特征值组成的矩阵；

可视化模块，用于针对每个所述特征图中的多个特征值进行正则化处理，并分别将正则化处理后的多个特征值转化至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

通道检验模块，用于将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

本申请的另一目的在于提供一种卷积神经网络模型检验装置，所述装置包括：

测试图片生成模块，用于随机生成像素值在预设范围内的测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

特征图获取模块，用于针对所述卷积神经网络模型中每个网络层的每个通道，获得所述卷积神经网络模型在处理所述测试图片时该通道输出的特征图，所述特征图为多个特征值组成的矩阵；

梯度矩阵计算模块，用于针对每个特征图的特征值均值作为损失值，将该损失值的函数在所述卷积神经网络模型中进行反向传播求导，得到与该特征图对应的导数矩阵，并对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵，其中，所述梯度矩阵的尺寸与所述测试图片的尺寸相同；

迭代处理模块，用于将每个通道的梯度矩阵的每个值与所述测试图片对应的像素值相加后得到的累加图像再次输入所述卷积神经网络模型并重复进行迭代处理；

可视化模块，用于获得预设次数迭代处理后每个所述通道得到的累加图像，并分别将各通道的累加图像中的值转换至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

通道检验模块，用于将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

相对于现有技术而言，本申请具有以下有益效果：

本申请提供的卷积神经网络模型检验方法及装置，在卷积神经网络模型处理图片时，生成卷积神经网络模型每个网络层或每个通道对应的可视化检验图片，将卷积神经网络模型的抽象处理过程转换为可视化的结果，以对每个网络层或每个通道的有效性进行检验，从而可以准确定位出卷积神经网络模型中出现问题的地方。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据处理设备的示意图；

图2为本申请实施例提供的卷积神经网络模型检验方法的流程示意图之一；

图3为本申请实施例提供的卷积神经网络模型的网络层示意图之一；

图4为本申请实施例提供的可视化检验图片的示意图之一；

图5为本申请实施例提供的卷积神经网络模型检验方法的流程示意图之二；

图6为本申请实施例提供的卷积神经网络模型的网络层示意图之二；

图7为本申请实施例提供的可视化检验图片的示意图之二；

图8为本申请实施例提供的卷积神经网络模型检验装置的功能模块示意图之一；

图9为本申请实施例提供的卷积神经网络模型检验装置的功能模块示意图之二。

图标：100-数据处理设备；110(210)-卷积神经网络模型检验装置；111-测试图片获取模块；112-特征图获取模块；113-可视化模块；114-通道检验模块；211-测试图片生成模块；212-特征图获取模块；213-梯度矩阵计算模块；214-迭代处理模块；215-可视化模块；216-通道检验模块；120-机器可读存储介质；130-处理器。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参照图1，图1是本实施例提供的数据处理设备100的示意图，所述数据处理设备100可以是，但不限于，服务器、个人电脑(personal computer，PC)或其他任何可以进行数据处理的电子设备。所述数据处理设备100包括机器可读存储介质120及处理器130。

所述机器可读存储介质120和处理器130相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述处理器130用于执行所述机器可读存储介质120中存储的可执行机器可执行指令，以实现相应的功能。

其中，所述机器可读存储介质120可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。其中，机器可读存储介质120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。

请参照图2，图2为应用于图1所示的数据处理设备100的一种卷积神经网络模型检验方法的流程图，以下将对所述方法包括各个步骤进行详细阐述。

步骤S110，获取测试图片，并将所述测试图片输入训练完成的卷积神经网络模型。

步骤S120，获取所述卷积神经网络模型在处理所述测试图片的过程中，各网络层中每个通道输出的特征图，其中，所述特征图为多个特征值组成的矩阵。

通常，训练好的卷积神经网络模型可以接收一张待处理图片，然后通过其多个网络层对该待处理图片进行处理，并输出该待处理图片属于某个分类的概率。在本实施例中，可以向训练完成的卷积神经网络模型输入一张测试图片，使卷积神经网络模型对该测试图片进行处理，然后获取处理过程中该卷积神经网络模型每个网络层中每个通道输出的特征图。

请参照图3，以图3所示结构的卷积神经网络模型为例，该卷积神经网络模型包括多个卷积层(即图3中标识有“conv2d”的网络层)和最大池化层(即图3中标识有“max_pooling”的网络层)及两个全连接层(即图3中标识有“dense”的网络层)。其中，图3中Output Shape项表示各网络层输出的特征图的大小及通道数量。例如，第1个卷积层(即图3所示conv2d_6)的输出为32个通道、每个通道的148*148的特征值矩阵。

在本实施例中，针对每个卷积层和每个池化层，获得这些网络层每个通道输出的特征值矩阵作为该通道的特征图。

步骤S130，针对每个所述特征图中的多个特征值进行正则化处理，并分别将正则化处理后的多个特征值转化至预设可视化像素值区间，得到与该特征图对应的可视化检验图片。

可选地，在本实施例中可以针对该特征图中的每个特征值，将该特征值减去该特征图的特征值均值，再除以该特征图的特征值方差，得到正则化处理后的特征值。

然后，可以针对每个正则化处理后的所述特征值，将该特征值乘以64后加上128，得到相应的中间特征值。再将所述中间特征值中，大于255的中间特征值替换为255，小于0的中间特征值替换为0，从而将正则化处理后的特征值都转化至0～255的数值区间。

步骤S140，将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

对于一张测试图片，如果卷积神经网络模型每个网络层中每个通道对应的可视化检验图片均可显示测试图片的一些特性，则表示该通道的是正常的。例如，请参照图4，图4示出了图3的卷积神经网络模型中第1层和第2层所有通道的可视化检验图片，这些图片分别可以表示测试某种图像特性。

如果显示出无意义的图像，如纯色或噪声图像，则表示卷积神经网络模型可能出现错误，并且首次出现无意义的图像的网络层就是错误的所在。

可选地，在本实施例中，可以提供一显示界面，在所述显示界面为用户显示多个所述可视化检验图片。然后所述数据处理设备100可以响应用户的选取操作，将用户选中的纯色图片或噪声图片对应的通道确定为出现问题的通道。

请参照图5，图5为应用于图1所示的数据处理设备100的另一种卷积神经网络模型检验方法的流程图，以下将对所述方法包括各个步骤进行详细阐述。

步骤S210，随机生成像素值在预设范围内的测试图片，并将所述测试图片输入训练完成的卷积神经网络模型。

可选地，在本实施例中，为了方便观察和处理，可以随机生成一张像素值在预设范围内的作为测试图片，例如随机生成范围是0～20的多个值，再将这些值分别加上128，得到范围在128～148的多个值作为测试图片的像素值。

步骤S220，针对所述卷积神经网络模型中每个层的每个通道，获得所述卷积神经网络模型在处理所述测试图片时该通道输出的特征图，所述特征图为多个特征值组成的矩阵。

步骤S230，针对每个所述特征图，以该特征图的特征值均值作为损失值，将该损失值的函数在所述卷积神经网络模型中进行反向传播求导，得到与该特征图对应的导数矩阵，并对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵，其中，所述梯度矩阵的尺寸与所述测试图片的尺寸相同。

针对每个特征图，可以先计算该特征图的特征值均值，并以该均值作为损失值，将该损失值的函数在所述卷积神经网络模型中进行反向传播求导，即将该损失值的函数在所述卷积神经网络模型在各个网络层中连续求导。然后对所述但函数举证进行梯度化处理。

可选地，在本实施例中所述梯度化处理可以为将所述导数矩阵中的值分别除以该导数矩阵L2范式的值，得到所述梯度矩阵。

其中，L2范式的公式如下：

即计算导函数矩阵X中各个值x的平方，n为导函数矩阵中元素的数量；然后求矩阵平方和的均值，再开平方。

步骤S240，将每个通道的梯度矩阵的每个值与所述测试图片对应的像素值相加后得到的累加图像再次输入所述卷积神经网络模型并重复进行迭代处理。

在本实施例中，将步骤S230得到的梯度矩阵的每个值与所述测试图片对应像素的像素值相加后再次输入所述卷积神经网络模型，并重复步骤S220和步骤S230进行迭代处理。

步骤S250，获得预设次数迭代处理后每个所述通道得到的累加图像，并分别将各通道的累加图像中的值转换至预设可视化像素值区间，得到与该特征图对应的可视化检验图片。

在本实施例中，针对每个所述通道对应的累加图像，将该累加图像中的每个像素值进行正则化处理。例如，可以将所述累加图片中的各像素值分别减去该累加图片像素值均值，除以方差，从而将各像素值转换至1左右。

接着将正则化处理后的累加图像的每个像素转换至预设可视化像素值区间。具体地，可以将正则化处理后的累加图像的每个像素进行归一化处理，再转化至0～1的数值区间。

例如，将正则化处理后的像素值乘以0.25，并加上0.5，然后再截断到0～1区间，即小于0的值替换为0，大于1的值替换为1。然后，将归一化处理后的每个像素乘以255，转化至0～255的可视化像素值区间。

以经典VGG-16(Visual Geometry Group-16)卷积神经网络模型为例，请参照图6，图6为VGG-16模型的网络结构，其中，Layer项为各网络层，Output Shape项为各网络层输出特征图的大小及通道数量。请参照图7，图7依次在为中采用图5所示方法进行处理后block2_conv、block3_conv、block4_conv的前64个通道的可视化检验图片。

对于一张测试图片，如果卷积神经网络模型每个网络层中每个通道对应的可视化检验图片都有纹理意义，并且复杂性递增，则表示该卷积神经网络模型是正常的。

如果显示出无意义的图像，如纯色或噪声图像，则表示模型可能出现错误，且首次出现错误的层，就是错误的所在。

步骤S260，将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

可选地，在本实施例中，可以提供一显示界面，在所述显示界面为用户显示多个所述可视化检验图片。然后所述数据处理设备100可以响应用户的选取操作，将用户选中的纯色图片或噪声图片对应的通道确定为出现问题的通道。

请参照图8，本实施例还提供一种卷积神经网络模型检验装置110，卷积神经网络模型检验装置110包括至少一个可以软件形式存储于机器可读存储介质120中的功能模块，这些功能模块在所述处理器130的控制下执行时可以实现上述图2所述的卷积神经网络模型检验方法。从功能上划分，卷积神经网络模型检验装置110可以包括测试图片获取模块111、特征图获取模块112、可视化模块113及通道检验模块114。

测试图片获取模块111用于获取测试图片，并将所述测试图片输入训练完成的卷积神经网络模型。

本实施例中，所述测试图片获取模块111可用于执行图2所示的步骤S110，关于所述测试图片获取模块111的具体描述可参对所述步骤S110的描述。

特征图获取模块112用于获取所述卷积神经网络模型在处理所述测试图片的过程中，各网络层中每个通道输出的特征图，其中，所述特征图为多个特征值组成的矩阵。

本实施例中，所述特征图获取模块112可用于执行图2所示的步骤S120，关于所述特征图获取模块112的具体描述可参对所述步骤S120的描述。

可视化模块113用于针对每个所述特征图中的多个特征值进行正则化处理，并分别将正则化处理后的多个特征值转化至预设可视化像素值区间，得到与该特征图对应的可视化检验图片。

本实施例中，所述可视化模块113可用于执行图2所示的步骤S130，关于所述可视化模块113的具体描述可参对所述步骤S130的描述。

通道检验模块114用于将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

本实施例中，所述通道检验模块114可用于执行图2所示的步骤S140，关于所述通道检验模块114的具体描述可参对所述步骤S140的描述。

请参照图9，本实施例还提供另一种卷积神经网络模型检验装置210，卷积神经网络模型检验装置210包括至少一个可以软件形式存储于机器可读存储介质120中的功能模块，这些功能模块在所述处理器130的控制下执行时可以实现上述图5所述的另一种卷积神经网络模型检验方法。从功能上划分，卷积神经网络模型检验装置210可以包括测试图片生成模块211、特征图获取模块212、梯度矩阵计算模块213、迭代处理模块214、可视化模块215及通道检验模块216。

测试图片生成模块211用于随机生成像素值在预设范围内的测试图片，并将所述测试图片输入训练完成的卷积神经网络模型。

本实施例中，所述测试图片生成模块211可用于执行图5所示的步骤S210，关于所述测试图片生成模块211的具体描述可参对所述步骤S210的描述。

特征图获取模块212用于针对所述卷积神经网络模型中每个网络层的每个通道，获得所述卷积神经网络模型在处理所述测试图片时该通道输出的特征图，所述特征图为多个特征值组成的矩阵。

本实施例中，所述特征图获取模块212可用于执行图5所示的步骤S220，关于所述特征图获取模块212的具体描述可参对所述步骤S220的描述。

梯度矩阵计算模块213用于针对每个特征图的特征值均值作为损失值，将该损失值的函数在所述卷积神经网络模型中进行反向传播求导，得到与该特征图对应的导数矩阵，并对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵，其中，所述梯度矩阵的尺寸与所述测试图片的尺寸相同。

本实施例中，所述梯度矩阵计算模块213可用于执行图5所示的步骤S230，关于所述梯度矩阵计算模块213的具体描述可参对所述步骤S230的描述。

迭代处理模块214用于将每个通道的梯度矩阵的每个值与所述测试图片对应的像素值相加后得到的累加图像再次输入所述卷积神经网络模型并重复进行迭代处理。

本实施例中，所述迭代处理模块214可用于执行图5所示的步骤S240，关于所述迭代处理模块214的具体描述可参对所述步骤S240的描述。

可视化模块215用于获得预设次数迭代处理后每个所述通道得到的累加图像，并分别将各通道的累加图像中的值转换至预设可视化像素值区间，得到与该特征图对应的可视化检验图片。

本实施例中，所述可视化模块215可用于执行图5所示的步骤S250，关于所述可视化模块215的具体描述可参对所述步骤S250的描述。

通道检验模块216用于将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

本实施例中，所述通道检验模块216可用于执行图5所示的步骤S260，关于所述通道检验模块216的具体描述可参对所述步骤S260的描述。

综上所述，本申请提供的卷积神经网络模型检验方法及装置，在卷积神经网络模型处理图片时，生成卷积神经网络模型每个网络层或每个通道对应的可视化检验图片，将卷积神经网络模型的抽象处理过程转换为可视化的结果，以可以对每个网络层或每个通道的有效性进行检验，从而可以准确定位出卷积神经网络模型中出现问题的地方。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种卷积神经网络模型检验方法，其特征在于，所述方法包括：

获取测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

获取所述卷积神经网络模型在处理所述测试图片的过程中，各网络层中每个通道输出的特征图，其中，所述特征图为多个特征值组成的矩阵；

针对每个所述特征图中的多个特征值进行正则化处理，并分别将正则化处理后的多个特征值转化至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

2.根据权利要求1所述的方法，其特征在于，所述针对每个所述特征图中的多个特征值进行正则化处理的步骤，包括：

针对该特征图中的每个特征值，将该特征值减去该特征图的特征值均值，再除以该特征图的特征值方差，得到正则化处理后的特征值。

3.根据权利要求2所述的方法，其特征在于，所述预设可视化像素区间为0～255的数值区间；所述分别将正则化处理后的多个特征值转化至预设可视化像素值区间的步骤，包括：

分别将每个所述正则化处理后的特征值乘以64后加上128，得到相应的中间特征值；

将所述中间特征值中大于255的中间特征值替换为255，将所述中间特征值中小于0的中间特征值替换为0。

4.根据权利要求1所述的方法，其特征在于，所述将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道的步骤，包括：

提供一显示界面，在所述显示界面为用户显示多个所述可视化检验图片；

将用户选中的纯色图片或噪声图片对应的通道确定为出现问题的通道。

5.一种卷积神经网络模型检验方法，其特征在于，所述方法包括：

随机生成像素值在预设范围内的测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

针对所述卷积神经网络模型中每个网络层的每个通道，获得所述卷积神经网络模型在处理所述测试图片时该通道输出的特征图，所述特征图为多个特征值组成的矩阵；

针对每个特征图，以该特征图的特征值均值作为损失值，将该损失值的函数在所述卷积神经网络模型中进行反向传播求导，得到与该特征图对应的导数矩阵，并对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵，其中，所述梯度矩阵的尺寸与所述测试图片的尺寸相同；

将每个通道的梯度矩阵的每个值与所述测试图片对应的像素值相加后得到的累加图像再次输入所述卷积神经网络模型并重复进行迭代处理；

获得预设次数迭代处理后每个所述通道得到的累加图像，并分别将各通道的累加图像中的值转换至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

6.根据权利要求5所述的方法，其特征在于，所述对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵的步骤，包括：

将所述导数矩阵中的值分别除以该导数矩阵L2范式的值，得到所述梯度矩阵。

7.根据权利要求5所述的方法，其特征在于，所述分别将各通道的累加图像中的值转换至预设可视化像素值区间的步骤，包括：

针对每个所述通道对应的累加图像，将该累加图像中的每个像素值进行正则化处理；

将正则化处理后的累加图像的每个像素转换至预设可视化像素值区间。

8.根据权利要求7所述的方法，其特征在于，所述将正则化处理后的累加图像的每个像素转换至预设可视化像素值区间的步骤，包括：

将正则化处理后的累加图像的每个像素进行归一化处理，转化至0～1的数值区间；

将归一化处理后的每个像素乘以255，转化至0～255的可视化像素值区间。

9.一种卷积神经网络模型检验装置，其特征在于，所述装置包括：

测试图片获取模块，用于获取测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

特征图获取模块，用于获取所述卷积神经网络模型在处理所述测试图片的过程中，各网络层中每个通道输出的特征图，其中，所述特征图为多个特征值组成的矩阵；

可视化模块，用于针对每个所述特征图中的多个特征值进行正则化处理，并分别将正则化处理后的多个特征值转化至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

通道检验模块，用于将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。

10.一种卷积神经网络模型检验装置，其特征在于，所述装置包括：

测试图片生成模块，用于随机生成像素值在预设范围内的测试图片，并将所述测试图片输入训练完成的卷积神经网络模型；

特征图获取模块，用于针对所述卷积神经网络模型中每个网络层的每个通道，获得所述卷积神经网络模型在处理所述测试图片时该通道输出的特征图，所述特征图为多个特征值组成的矩阵；

梯度矩阵计算模块，用于针对每个特征图的特征值均值作为损失值，将该损失值的函数在所述卷积神经网络模型中进行反向传播求导，得到与该特征图对应的导数矩阵，并对所述导数矩阵进行梯度化处理，得到各特征图对应的梯度矩阵，其中，所述梯度矩阵的尺寸与所述测试图片的尺寸相同；

迭代处理模块，用于将每个通道的梯度矩阵的每个值与所述测试图片对应的像素值相加后得到的累加图像再次输入所述卷积神经网络模型并重复进行迭代处理；

可视化模块，用于获得预设次数迭代处理后每个所述通道得到的累加图像，并分别将各通道的累加图像中的值转换至预设可视化像素值区间，得到与该特征图对应的可视化检验图片；

通道检验模块，用于将所述可视化检验图片中纯色图片或噪声图片对应的通道确定为出现问题的通道。