CN108596203B - 并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法 - Google Patents

Abstract

本发明公开一种并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法，包括以下步骤：1)采集受电弓滑板表面缺陷图像，并进行图像预处理，得到数据集；其中，所述数据集包含训练数据与测试数据，训练数据包含有标签数据与无标签数据两类；2)在CAFFE框架下搭建半监督卷积神经网络，并利用无标签数据对模型进行训练；3)基于随机池化原理，将原始的池化层换用为并联池化层，对有标签数据与无标签数据差异化采样，完成对基于半监督卷积神经网络受电弓碳滑板表面磨耗检测模型的优化。本发明采用并联池化层对不同属性数据差异化取样，增强了半监督卷积神经网络对无标签数据的利用效率，提升了受电弓碳滑板表面磨耗检测模型的优化效果。

Description

并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法

技术领域

本发明涉及轨道交通车辆设备故障诊断领域。更具体地，涉及一种并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法。

背景技术

随着计算机运算能力与相关技术的快速发展，深度学习理论正在得到越来越广泛的应用。其在图像识别领域的自动化与智能化，使得可以将之应用于基于图像识别的受电弓滑板表面磨耗类型判断。相较之传统的图像检测方法，深度学习仅需搭建适当的网络模型，并对原始图像进行简单的预处理，便可利用网络对其进行自主学习与特征提取，实现全自动的图像识别；模型一旦完成训练，即可直接用于图像识别。训练与使用过程均无需依赖人工对图像与模型进行复杂操作。网络对低级特征的非线性融合使得模型对病害高级特征的识别能够不受光照、位移、尺度等变化的影响，具有更好的鲁棒性，以及更高的自动化与智能化程度。

传统的深度学习算法通常为有监督学习模型，需要借助大量高质量有标签数据对其进行训练，因此对有标签数据的数据量较为敏感。当有标签数据不足时，模型无法得到充分的学习，导致其对滑板表面磨耗的检测准确率较低。因此，有学者通过卷积神经网络对图像的变换稳定性，与不同类别数据分布的互斥性规律，借助半监督学习理论，实现了半监督卷积神经网络模型，实现了对无标签图像数据的利用，使得仅利用少量有标签数据训练的有监督模型效果得到了一定的提升。然而对于传统的卷积神经网络结构，该半监督方法对其效果的提升较为有限。因此，需要提供对不同属性的图像数据进行差异化随机下采样的方法，使得无标签数据具有更为随机的非线性变化，从而增强了该半监督方法对无标签数据的利用效率，进一步提升该半监督算法对标准卷积神经网络的优化效果。

发明内容

本发明的目的在于提供一种利用并联池化层对基于半监督卷积神经网络的受电弓碳滑板表面磨耗检测模型的优化方法，该方法利用并联池化层对不同属性的图像数据进行差异化随机采样，使得无标签数据具有更为随机的非线性变化，从而增强了半监督方法对无标签数据的利用效率，进一步提升了半监督算法对标准卷积神经网络的优化效果。

为达到上述目的，本发明采用下述技术方案：

本发明提供了一种并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法，包括以下步骤：

1)采集受电弓滑板表面缺陷图像，并进行图像预处理，得到数据集；其中，所述数据集包含训练数据与测试数据，训练数据包含有标签数据与无标签数据两类；

2)在CAFFE框架下搭建半监督卷积神经网络，并利用无标签数据对模型进行训练；

3)基于随机池化原理，将原始的池化层换用为并联池化层，对有标签数据与无标签数据差异化采样，完成对基于半监督卷积神经网络受电弓碳滑板表面磨耗检测模型的优化，以提高检测效果。

进一步，所述图像预处理包括图像的归一化和数据库的编制；其中，所述图像的归一化包括尺寸归一化、色彩模式归一化、全局特征标准化和图像去均值；所述数据库的编制是将预处理的图像转换为数据集。

进一步，所述半监督卷积神经网络是通过构建变换稳定性损失函数与互斥损失函数定义无标签数据的损失函数，借助无标签数据的损失函数对无标签数据的误差进行计算，以实现模型对无标签数据的有效利用。

进一步，对于一个样本xi∈X，设置其重复通过网络的次数为n，每次通过网络均对其进行随机线性或非线性变换T_j，那么，对于一个样本量为N的数据集，所述变换稳定性损失函数为

其中，f^j(xi)为对第i个样本xi第j次通过模型时的预测输出值，T^j(xi)为样本x_i第j次输入网络前所采取随机变换之后的样本，其随机性体现在CNN网络中的dropout层与随机池化层对网络连接与数据的不确定采样。

对于训练样本x_i，所述互斥损失函数为：

其中，C为categories，代表数据的类别数；

为样本xi的预测结果向量中的第k个元素；

为样本xi经过分类器f后的理想输出向量，k为样本的预测类别，且k∈K。

所述无标签数据的损失函数为

其中λ₁和λ₂分别为变换稳定性损失函数与互斥损失函数在无标签数据损失函数l_u中所占的权值。

进一步，所述差异化采样为采用随机池化层对无标签数据进行采样，采用最大池化层对有标签数据进行采样。

进一步，所述并联池化层的配置数量与部署位置为使用一层并联池化层，且将其布置在卷积神经网络的浅层，可以达到较理想的优化效果。

本发明的有益效果如下：

本发明针对半监督数据集特征与半监督卷积神经网络算法，本发明提出了采用并联池化层对不同属性数据差异化随机取样，完成对基于半监督卷积神经网络受电弓碳滑板表面磨耗检测模型的优化。实验证明，该方法对基于半监督卷积神经网络受电弓碳滑板表面磨耗检测模型优化的效果有着显著的提高。通过对并联池化层的部署数量与具体设置位置的进一步研究，最终发现，在卷积神经网络的浅层布置较少量的并联池化层，对原有网络的提高最为显著，可在原半监督卷积神经网络的基础上，将识别准确率进一步提高9.5％，具有较明显的优化效果。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出受电弓三维坐标示意图。

图2示出图像数据全局特征标准化示意图。

图3示出数据去均值原理与效果示意图。

图4示出CAFFE框架下半监督卷积神经网络与传统神经网络结构的对比示意图，其中图a为半监督卷积神经网络的结构图，图b为传统有监督卷积神经网络结构示意图。

图5示出不同nt取值下半监督卷积神经网络的训练效果对比。

图6示出并联池化层与常规最大池化结构对比，其中图a为并联池化层，图b为传统最大池化层。

图7示出不同数量并联池化层对模型效果的影响。

图8示出单一并联池化层不同部署位置对模型效果的影响。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

一种并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法，包括以下步骤：

1、采集受电弓滑板表面缺陷图像，并进行图像预处理，得到数据集；其中，所述数据集包含训练数据与测试数据，训练数据包含有标签数据与无标签数据两类；

1)受电弓滑板表面缺陷图像的采集

图像的采集由安装在隧道内的工业相机与面阵相机完成，采集方向为受电弓上方30-60度角斜向拍摄，通过对来车的感应，对车辆受电弓进行高速抓拍。

此外，利用手持DSLR相机与无反相机，采集车辆段换下的故障受电弓图片，对训练数据进行补充。

2)图像预处理

由于采集设备差异，使得所获得的图像具有不同的尺寸、色彩模式等参数差异。为便于卷积神经网络利用图像进行学习，需要对原始图像数据进行简单的预处理操作。图像预处理主要包括图像的归一化和数据库的编制。

A、图像的归一化

图像的归一化主要包括尺寸归一化、色彩模式归一化、全局特征标准化与图像去均值。

a、尺寸归一化

为方便网络运算，将原始的长方形图像进行resize，转换为尺寸相同的正方形图像，即对图像的长度方向进行一定的压缩。如图1所示，定义列车行驶方向为受电弓的x轴，垂直于受电弓滑板条安装平面为z轴，与x-z平面垂直向右方向为y轴。通过图像可以看出，滑板表面磨耗痕迹表现为位置沿y轴呈一维分布，而深度沿z轴分布，同一弓条内x方向无明显区别。对图像高宽比进行拉伸的操作时，主要影响y方向的信息，而对z方向上的磨耗深度无明显影响。磨耗的显著程度可以由Z'(y)反映，且有：

可以看出，拉伸操作会使得图像中的增大，使得缺陷更容易被识别。同时，由于没有改变磨耗深度占滑板厚度的比例，也没有改变缺陷沿y轴的位置分布，因此resize操作不会对病害的识别分类造成太大负面影响，反而使得原先的病害表现得更为明显，更有助于系统的识别。

b、色彩模式归一化

所用的图像采集设备中，除隧道内工业光学相机与面阵相机所采集为灰度图像，其余均为RGB彩色图像。由于滑板表面缺陷仅存在几何尺度上的形变特征，对色彩数据不敏感，且经过试验可以看出，不同的色彩通道下的受电弓图像，对于滑板缺陷的识别不存在明显的区别，故均利用matlab将图像均转化为灰度图像。

c、全局特征标准化

本发明方法所用的卷积神经网络在计算过程中，数据均分布于[0，1]的范围内，而标准灰度图像中数据分布于[0,255]范围内，因此需对灰度图像进行全局特征标准化，使其各个像素的数值范围均缩放至网络运算可用。其过程可由如图2所示。

d、图像去均值

进行网络训练之前，对训练数据减去均值后，再进行其他操作，一方面可以降低未剔除的相似背景对特征识别的影响，另一方面可以突出不同类型病害的特征，便于特征的分类。如图3所示，数据去均值的过程即为一个将数据分布中心移至坐标原点的过程，从而降低了网络在权值初始化后漫长的迭代过程，使得网络可以在更短时间内达到收敛，完成对数据的分类。本发明方法中通过调用$CAFFE_ROOT/tools下的compute_image_mean工具，并在网络描述文件*.prototxt的数据层标注均值文件路径，从而使得数据经数据层输入网络的过程中，完成去均值操作。

B、数据库的编制

本发明方法中所用的深度学习在CAFFE框架下实现，该框架下对网络进行的训练需借助数据库文件*.lmdb进行，因此在上述对图像进行归一化之后，将原始的图像编制为lmdb数据库文件，实现从原始图像到数据集的转换。

数据集包含训练数据与测试数据，训练数据包含有标签数据与无标签数据两类，其中无标签数据量为有标签数据量的3倍。且经过相关实验研究，无标签数据量越大，半监督学习的最终效果越好。

2、在CAFFE框架下搭建半监督卷积神经网络，并利用无标签数据对模型进行训练；

作为典型的有监督深度学习模型，卷积神经网络对样本特征的学习需通过样本标签的引导与指导，对于无标签数据由于无法计算出最终得到的特征向量与标准标签的误差，故无法通过反向传播对网络的训练与权值更新进行指导。本发明方法采用半监督卷积神经网络即构造了特定的损失函数，能够计算出无标签数据在特征提取后可能的误差，并将这一误差按照常规的反向传播流程进行运算，从而实现了对无标签数据的利用。该方法中构建的两部分的损失函数，使无标签数据经历了“同类别数据聚集，不同类数据相排斥”的过程。一是基于卷积神经网络对图像的变换稳定性(transformation stability，TS)，借助聚类的思想，将每个无标签输入样本进行多次随机线性或非线性形变，由于多次变换后的数据均出自同一原始样本，故这一组数据自然也属于同一类别，因此通过反向传播，降低同一数据不同变化体的最终输出向量的误差，将其聚为一类，如此类推，并将这一损失函数命名为Loss_TS；二是基于不同类别数据的互斥性(Mutual-exclusive，MX)，借助半监督学习中低密度区域分割的思想，构造误差函数，寻找先前已聚集的各类别的稀疏边界，从而划分出不同类别的数据，将这个损失函数命名为Loss_MX。通过这两个损失函数对网络学习与权值更新的指导，使得网络能够利用无标签数据，提高其泛化能力与增强识别效果。

1)变换稳定性损失函数(Loss_TS)

对于Loss_TS损失函数的思路，最早由Alexey Dosovitskiy提出，通过对无标签的图像进行旋转，平移等增强操作后，借助卷积神经网络的变换稳定性，单一图像变换后所组成的数据集合应当具有最小间距，即通过卷积神经网络的特征提取后，最终的输出向量误差应当最小，据此构造函数：

其中，T_xi为样本xi经过变换之后的数据集，i为原始样本的序号，此处可看做T_xi的替代标签；T属于不同的变换形式集合Г_i。式(1)所计算的误差即为不同样本在经过不同变换之后，各自与其替代标签的误差值的和，因此利用带有softmax分类器的CNN对T_xi进行分类，并确定优化的目标即为使误差L.tx(X)最小，故有：

l(i，Tx_i)＝E(e_i，f(Tx_i)) (2)

其中，e_i为第i个标准基向量，f代表CNN对输入数据进行计算的过程；E(y,f)为多项式的负对数似然值，其具体表达为：

通过softmax分类器与对该对数似然值的优化，实现利用无标签数据对网络的优化。

借助上述思路，可以构建出Loss_TS损失函数，对于一个样本xi∈X，设置其重复通过网络的次数为n，每次通过网络均对其进行随机线性或非线性变换T_j，那么，对于一个样本量为N的数据集，有：

其中，f^j(xi)为对第i个样本xi第j次通过模型时的预测输出值，T^j(xi)为样本x_i第j次输入网络前所采取随机变换之后的样本，其随机性体现在CNN网络中的dropout层与随机池化层对网络连接与数据的不确定采样。此处与Alexey Dosovitskiy所不同的是，所求误差为同一样本相邻两次进行随机变换并通过网络计算后，其输出值之差的二范数，对各组数据每次通过网络时该误差进行求和，即为变换稳定误差。该误差可通过CNN网络的梯度下降进行最小化，实现对目标函数的最优化求解。

变换稳定性误差求解同样可以适用于其他基于反向传播的优化算法对无标签数据的运算，同样的，亦可以将这一损失函数与常规监督学习损失函数进行结合，从而实现模型对有标签数据与无标签数据的利用。

2)互斥损失函数(Loss_MX)

除对同类别数据的聚集，还需对不同类的数据进行排斥，以区分数据的不同类别。为此，Sajjadi提出了一种互斥损失函数，这一函数“迫使”分类器最后的预测结果向量中只存在一个非零元素，而在监督学习中，最终分类结果向量的相应元素是在对应标签的引导下被推向0或者1的，可将其表示为：

其中，f_k(x_i)为样本xi经过分类器f后的理想输出向量，k为样本的预测类别，且k∈K。

该损失函数能够利用无标签数据，将分类器的决策边界推到决策空间的稀疏区。Loss_TS损失函数虽然使同一样本不同变化后的差异二范数最小化，但是对于独立元素的单次预测缺乏限制，使得对于每一次的预测向量，最终会因缺乏标签的指导仅给出平凡解，而无法给出有效的正确分类。互斥损失函数则会在loss_TS的基础上，将最终的结果向量推向有效预测并避免平凡解的出现。对于训练样本x_i，利用正则化项的形式，构造互斥损失函数如式(6)：

其中，C为categories，代表数据的类别数；

为样本xi的预测结果向量中的第k个元素，代表互斥损失函数，该误差同样可通过CNN网络的梯度下降求最小值实现优化。

结合上述两种损失函数的功能，综合其两者对无标签数据的误差计算与优化引导，定义网络对无标签数据的损失函数l_u有如式(7)表示：

其中λ₁和λ₂分别为两个损失函数在无标签数据损失函数l_u中所占的权值，其设置可根据具体应用与实验确定。

借助损失函数l_u对无标签数据的误差计算，相当于对无标签的数据添加了监督项，使得其在卷积神经网络中，可以同有标签数据一样，通过梯度下降法反向传播误差值，实现对网络权值的调整与训练，从而提高网络训练效果与泛化能力。

具体的，本发明方法中采用的方式为利用网络的连接(concatenate)-切片(slicer)功能，在数据输入时将有标签数据与无标签数据连接，共同参与特征层的运算过程；而在计算输出时则将数据从连接点切分，分别计算二者的误差值。

本发明中所述CAFFE框架仅包含传统有监督卷积神经网络所需要的网络层结构，缺少对无标签数据的处理结构，故为了实现所需功能，需要在CAFFE框架下搭建半监督卷积神经网络，即在CAFFE框架中补充半监督卷积神经网络相关的层结构，由于新添加层中包含新参数，因此还需修改配置文件中的层参数信息。

对于本发明所用的功能需添加的网络层包括：无标签数据层(data_unlabeled_layer)，变换稳定性损失函数(loss_ts_layer)，互斥损失函数(loss_mx_layer)，根据式(4)(6)(7)可知，前两层中包括数据重复次数nt这一参数；后两个层中存在参数λ1和λ2。因此本次对框架的修改，需添加三个网络层，注册三个参数。

其中需要注意的是，loss_nt中的参数nt需要与无标签数据层所规定的一致，具体的数值通过实验确定以达到最好的效果。此处通过实验，对比不同的nt取值下网络的效果。其中各组对比所用数据集与网络结构参数均相同。其对比结果如图5所示。综合网络的准确率与误差，本方法取nt＝5，即各组无标签数据在网络中进行五次变换，以实现最好的网络识别准确率与误差。

由于网络训练中，无标签数据仅参与网络训练阶段运算，测试阶段均采用有标签数据以得出分类误差，因此网络仅保持测试链路，无监督数据传播的相关结构均不采用，因此，对于诸如无标签数据层，误差层以及连接-切片层等结构，均通过设置网络层的phase实现阶段隔离。

借助上述新增的网络结构，依照图4中a的模式构建网络的输入与输出部分，即可在CAFFE框架下实现基于变换稳定性与稀疏互斥的半监督卷积神经网络。

3、基于随机池化原理，将原始的池化层换用为并联池化层，对有标签数据与无标签数据差异化采样，完成对基于半监督卷积神经网络受电弓碳滑板表面磨耗检测模型的优化。

由于上述半监督卷积神经网络的主体结构除无标签数据层与损失函数层之外，基本沿用了原有监督网络的结构与搭建思路，因此，虽然其对有监督学习有着较为有效的提升，但最终识别效果仍然略为有限。鉴于此，针对该网络训练所采取的数据结构与所用半监督核心算法的特点，本发明方法提出并联池化层(Parallel Pooling layer)这一模型搭建理念，实现对不同性质数据的差异化采样，从而进一步提高网络的识别效果。

并联池化层的提出基于上述半监督学习中的变换稳定性思想，其通过对无标签数据的随机线性/非线性变化所有识别结果的收敛，实现对同类别数据的聚集，并同时提高网络的泛化能力。其对无标签数据的随机变化主要依靠网络中池化层每次采样的随机性，与drop-out层的随机链接丢弃实现。经研究，在网络中部署最大池化层，对数据特征的提取与保留较充分，网络也可以达到更好的识别效果。然而，最大池化层的下采样机制是选取池化层感受野中的最大值，作为该区域的输出，其采样随机性较为有限，因此对于相类似的数据，其最终下采样得到的特征图也较为类似，这对于有标签数据保留样本特征较为有利，而对于无标签数据所期望的尽可能随机的样本变换，缺乏较充分的随机性。故而，对图像的随机变换基本全部依赖数据传播过程中特征图的随机组合与末端的随机drop-out实现。而由drop-out层的原理可以知道，其随机性是随机关闭网络中指定比例的链接数，因此对数据而言，相当于对其进行的一组多项式变换后，在结果输出前将部分项的权值置为0，实现其随机非线性变换。综上分析，相当于仅对原始样本较为相似的采样图进行了随机组合，缺少采样环节的随机性。

因此，在池化层下采样环节，本发明提出换用随机池化层(stochastic poolinglayer)，对无标签数据进行单独下采样，以提高样本变换过程中的随机性，增强网络对变换稳定性特征的学习。

随机池化层采样机制并非随意采集感受野中的任意值，而是对感受野中的各元素值的大小按照其概率值随机选择，即若元素值较大，则其被选择的概率也较大，而并非最大池化层那样只选取感受野中的最大值。

由于采用随机池化层对无标签数据进行采样，对于有标签数据依旧采用最大池化层，保证了有监督学习部分的特征提取效果。因此，鉴于该网络所用数据组成的特殊性，本发明方法在此处采用并联池化层，对有标签数据与无标签数据采用差异化采样。

图6给出了并联池化层与常规最大池化层的对比。该结构通过slicer与concat层，将拼接的有标签数据与无标签数据进行切分，分别对其采用最大池化采样与随机池化采样，在保证有标签数据特征提取有效性的同时，实现对无标签数据更为随机的采样。由于网络的测试阶段不使用无标签数据，因此对该结构的使用阶段通过在网络定义中设置include{phase：train}进行限制，使其仅对训练阶段的两种不同属性的数据进行差异化采样；而对于测试阶段的池化，此处设置单独的池化路径，进行最大池化采样。由于池化过程中基本无可训练权值，因此单独设置未经训练的池化层用于测试过程，不会对网络的效果产生明显影响。也正因为同一原因，并联池化层的设置对网络参数数量的影响很小，故不会导致网络的进一步复杂化。

进一步，为了确定并联池化层的最优配置数量与部署位置，本发明方法设计相关实验进行了对比分析，发现在卷积神经网络的浅层布置较少量的并联池化层，对原有网络的提高最为显著。具体的，对于使用不同数量并联池化层的网络进行横向对比测试，本发明中分别将网络第一层、前两层、前三层以及所有的池化层设置为并联池化层，并对比其最终的准确率与误差表现。其最终效果对比如图7所示。实验显示，并联随机池化的大量使用却会对网络的效果产生影响。分析认为，对数据的过度随机采样，尤其是在较深的网络层进行这一过程，造成了样本中特征数据的损失，从而对网络的训练造成了影响。

对于在网络的不同深度设置该结构会对最终的效果产生怎样的影响，本发明方法同样通过实验对其进行探究。通过设置一系列的实验，测试了分别在第1、2、3、4层后设置并联池化层，对模型的最终效果的影响。对比结果如图8所示，其中0表示不使用并联池化层。从整体趋势上看，最终准确率随着设置位置的加深而降低，而误差值也基本有相同的走向。从二者的误差线可以看出，较深网络层设置并联池化层的网络，在学习后期依然存在明显的波动，证明对高级卷积层进行随机采样会对最终的特征提取存在影响。

综合上述分析与实验验证，本发明方法提出的针对不同性质数据并行处理时，利用并联池化层进行差异化采样的优化思路，对网络的效果有着明显的提升。且由实验可知，当并联池化层中包含随机采样时，应当控制该结构在网络中的使用次数与位置，对于本发明方法的所检测的受电弓碳滑板表面病害图像识别而言，最合理的布置为仅使用一层并联池化层，且将其布置在最浅层卷积层之后，以达到最优的效果。

本发明在原有半监督卷积神经网络的基础上，通过仅在第一卷积单元后布置一个并联池化层的方式，将半监督网络的测试准确率在原有的基础上实现了9.5％的提高，具有较理想的优化效果。从而可以实现在有标签数据量不足的情况下，借助经并联池化层优化的半监督卷积神经网络，实现对受电弓碳滑板表面病害的自动识别，为车辆维修部门提供更为有效的运维保障决策支持。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (7)

1.一种并联池化层对受电弓碳滑板表面磨耗检测模型的优化方法，其特征在于，包括以下步骤：

1)采集受电弓滑板表面缺陷图像，并进行图像预处理，得到数据集；其中，所述数据集包含训练数据与测试数据，训练数据包含有标签数据与无标签数据两类；

2)在CAFFE框架下搭建半监督卷积神经网络，并利用无标签数据对模型进行训练；

3)基于随机池化原理，将原始的池化层换用为并联池化层，对有标签数据与无标签数据差异化采样，完成对受电弓碳滑板表面磨耗检测模型的优化；

所述并联池化层结构为通过slicer与concat层，将拼接的有标签数据与无标签数据进行切分，对所述有标签数据采用最大池化采样，对所述无标签数据采用随机池化采样；

所述并联池化层结构还包括设置单独的池化路径对测试阶段的池化进行最大池化采样；

所述差异化采样为采用随机池化层对无标签数据进行采样，采用最大池化层对有标签数据进行采样。

2.根据权利要求1所述的优化方法，其特征在于，所述图像预处理包括图像的归一化和数据库的编制；其中，所述图像的归一化包括尺寸归一化、色彩模式归一化、全局特征标准化和图像去均值；所述数据库的编制是将预处理的图像转换为数据集。

3.根据权利要求1所述的优化方法，其特征在于，所述半监督卷积神经网络是通过构建变换稳定性损失函数与互斥损失函数定义无标签数据的损失函数，借助无标签数据的损失函数对无标签数据的误差进行计算。

4.根据权利要求3所述的优化方法，其特征在于，对于一个样本xi∈X，设置其重复通过网络的次数为n，每次通过网络均对其进行随机线性或非线性变换T_j，那么，对于一个样本量为N的数据集，所述变换稳定性损失函数为

其中，

为对第i个样本xi第j次通过模型时的预测输出值，T^j(xi)为样本x_i第j次输入网络前所采取随机变换之后的样本。

5.根据权利要求3所述的优化方法，其特征在于，对于训练样本x_i，所述互斥损失函数为：

其中，C为categories，代表数据的类别数；

为样本xi的预测结果向量中的第k个元素；

为样本xi经过分类器f后的理想输出向量，k为样本的预测类别，且k∈K。

6.根据权利要求3所述的优化方法，其特征在于，所述无标签数据的损失函数为

其中λ₁和λ₂分别为变换稳定性损失函数与互斥损失函数在无标签数据损失函数l_u中所占的权值。

7.根据权利要求1所述的优化方法，其特征在于，所述并联池化层的配置数量与部署位置为使用一层并联池化层，且将其布置在卷积神经网络的浅层。

Images