CN109840538A - 一种基于集成交叉对比神经网络的图像分类技术 - Google Patents

Abstract

本发明公布了一种基于集成交叉对比神经网络的图像分类技术。本发明从卷积神经网络卷积层的物理意义出发，与能够对两个对象特征频次进行统计分析并衡量其相似性的IBS模型相结合，提出了交叉对比神经网络的概念。此网络模型经过数据的训练，可以自动提取图像中的特征，并根据这些特征的统计信息判断是否为同一类，解决了神经网络在小样本数据上表现较差的问题。同时，提出了集成多个交叉对比神经网络模型的方法，通过训练多个交叉神经网络模型，将模型输出通过次级神经网络调整权重，输出最终分类结果，提升了交叉对比神经网络的分类精确度。

Description

一种基于集成交叉对比神经网络的图像分类技术

技术领域

本发明涉及深度学习、卷积神经网络和统计分析模型IBS模型在图像分类方向的应用，以及分类器集成的应用。

背景技术

2012年，卷积神经网络AlexNet在ILSVRC比赛分类项目中以top-5错误率超过第二名10个百分点的成绩夺得了冠军，展示了深度学习和卷积神经网络在图像识别领域的重大应用价值。随后，通过对网络结构的改进和网络层数的加深而形成的卷积网络VGGNet、InceptionNet、ResNet都在该比赛项目中取得了进一步的突破。

目前，深度学习往往在大数据集上才能训练出较好的网络模型，而对于小数据集，由于参数过多而样本过少，训练往往会陷入过拟合的窘境，而不能达到理想的效果。现有的一些网络模型处理分类任务，通常是基于该图像的内容对其进行分类的。而本技术基于两幅图像纹理统计信息的比较对其进行判断是否同类。纹理特征的提取是通过卷积神经网络优化损失函数自动获得。同时引入一种具有普适性的热力学统计模型——IBS模型，来对提取的特征进行统计，根据统计信息对比可对输入图像进行分类。而后通过集成一组这样的交叉对比神经网络，来对未知数据进行类别判别。于一对图片就可以构成一个数据样本，因此即使对小数据集，也可以通过两两组合得到大量的数据样本来对网络进行训练。

发明内容

本发明的目的在于克服常规卷积神经网络需要大量的数据进行训练的缺点，提出了一种基于集成交叉对比神经网络模型进行分类的方法，能够在小数据集上达到优秀的分类结果，并且对任何有纹理特征的图片都具有一定的普适性。

本发明解决问题所采用的方案分三个部分：首先，提取输入图像数据的纹理特征，此部分通过卷积神经网络模型完成，此模型由9个卷积层和3个池化层构成，卷积层即通过卷积核与图像的卷积提取特征，由于多层卷积可提取出高维特征。其次，对卷积神经网络输出的提取过纹理特征后的特征图统计其特征概率信息，将大于一定阈值即满足某一特征一定程度的区域个数的占所有区域的比率计算出来，引入IBS模型，基于两幅图像的不同特征所出现的概率计算相似性，根据相似性判断是否属于同一类别，从而实现二分类。最后，构建一个次级神经网络，将一组二分类器对未知类别数据进行预测的结果作为这个次级网络的输入，经网络调整各分类器权重后输出最终分类结果。

此发明解决问题需要经过两个主要步骤，第一个为训练步骤。而在训练步骤中需要训练两个网络模型，一个网络模型是取特征部分，即卷积神经网络模型，模型的参数是根据IBS模型定义损失函数，采用梯度下降方法不断迭代更新模型权值参数而得来的。采取这种方法，可以跟据数据自动寻找区分的特征，解决了人工选取特征的效率低、准确度低、专业知识门槛高的问题。另一个是次级神经网络的训练，我们将多个已经训练完毕的对比交叉神经网络模型输出的预测结果作为网络输入，通过网络并输出类别，计算损失函数，然后同样采用梯度下降方法迭代更新次级网络的权值参数。

第二个步骤为预测分类步骤。通过二分类器来解决多分类问题的策略是，根据未知类别数据与已知类别数据的比较，统计出与已知类别数据相似性高的一类，即可对其进行类别预测。对于每一个交叉对比神经网络模型，分别进行类别预测，再通过次级网络对这些结果集中处理并输出最终预测结果。

本发明的有益效果是：基于图像纹理进行比较而进行分类而非基于图像内容本身进行分类，不需要大量的数据进行训练，针对小数据集同样有优秀的分类效果。同时基于纹理的分类能够将一些基于内容无法分类的情况进行分类。

附图说明

图1是卷积神经网络模型图

图2是分类器集成图

图3是次级神经网络模型图

图4是模型训练流程图

图5是模型预测流程图

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实例对本发明进行详细的描述。

先描述本发明的各个模块功能及具体实现，再结合实例具体描述训练和验证步骤分别如何使用这些模块。

第一，卷积神经网络模块。在图像分类任务中，首先需要提取图像的纹理特征，考虑不同图像具有不同的纹理特征，来对图像作进一步的分类。而提取特征这一步骤就依靠卷积神经网络来完成。如图1所示为采用的卷积神经网络结构，由9个卷积层和3个池化层所构成。卷积层通过用一个3x3大小的滤波器与图像作卷积，可以将符合此滤波器特征的区域按符合程度输出出来为特征图。而池化层通过一个2x2大小的取最大值操作，可以将相邻区域中最明显的特征提取出来，而将其余较为不明显的特征去除。不同卷积层使用的滤波器个数不同，如第一批为64，第二批为128，第三批为256，第四批为512。使用这么多层的卷积层是因为，多层次的卷积可以提取出更加高维度的纹理信息。最后神经网络模型输出的卷积4_1层即是经过多层滤波器的卷积后输出的特征图。

卷积神经网络输出的每一张特征图中包含了符合对应滤波器特征的程度的信息，特征图的像素值大小及代表了对应位置符合滤波器特征的程度。我们通过一个softsign函数(为了求梯度的方便)来将特征图中像素值为负的归为0，而将正的归为1，再通过统计1像素值占全部像素值的比率，计算出该图像符合这一滤波器特征的概率。由于卷积4_1层有512个滤波器，因此有512个概率值，输出一个512项的概率列表。

第二，计算IBS模块。通过对卷积神经网络输出的特征图的一些数学处理，可以得到某一滤波器对应特征在某幅图像上的出现频率。下面，引进IBS模型处理这一频率。

IBS模型是根据两个对象中某些特征的出现频率来衡量这两个对象的相似程度的。下面是IBS的计算公式。

F_i＝[-p1_i log(p1_i)-p2_i log(p2_i)]/Z

其中p1_i，p2_i分别为两幅图像的第i个滤波器的概率值，R1_i，R2_i分别为两幅图像第i个滤波器的概率值在全部概率值中的降序排序值，N为滤波器的个数，在此网络结构中为512。根据公式可知，当两幅图像同一特征概率值在所有概率值中的位置相近时，IBS将趋于0，而IBS的上限不可估计，出于训练网络稳定性的考虑，对IBS公式进行修改为ModifiedIBS，公式如下：

RevIBS＝IBS(random(p1_i)，random(p2_i))

引入一种参考IBS参考上限RevIBS，其通过将两幅图像的概率列表都随机打乱，再对打乱后的概率列表计算IBS值得到。随后根据RevIBS和IBS可以计算出ModifiedIBS。

第三，分类器集成模块。如图2所示，为了提升分类的效果，我们通过训练一组分类器(由卷积神经网络和IBS模型共同组成)，然后对其输出通过一个次级神经网络，该神经网络用于调整不同分类器间结合的策略，并输出最终分类结果。次级神经网络模型如图3所示，其中两层全连接层的神经元数目都是1024个。

训练步骤，用于提取特征的卷积神经网络和用于集成的次级神经网络的参数需要训练得到。在卷积神经网络中，我们通过设置优化目标，以数据驱动该网络不断迭代更新，最终能够得到我们需要的滤波器。具体如图4所示，首先，对网络参数进行初始化。随后，每输入两幅图像通过网络提取特征，计算ModifiedIBS，根据两幅图像是否同类设置label为0和1，随后计算损失函数如下：

loss＝-label*log(MIBS)-(1-label)*log(1-MIBS)

其次，求出损失函数对网络参数及每个滤波器的各个权值的梯度，往负梯度方向，即降低损失函数的方向，进行权值更新。在训练集中不断提取图像迭代上述过程，直到损失函数收敛集训练完毕。此时网络参数即是我们需要的参数。

同样，次级神经网络也需要训练。设置损失函数如下：

其中，m代表了类别数，p_i为最终输出的各类别的概率，label_i为该图像本身所属类别，如果是则label_i为1，否则为0。随后，同样往负梯度方向更新权值直至收敛，得到网络的参数。

测试步骤，我们训练了一些能够对输入的两幅图像进行分类是否为同类的分类器，而将其应用在多分类任务中，可以将未知类别图像与已知某一类别图像进行比较，判为同类的个数为n_i，该类图像的总个数为N_i，根据下式计算判为这类的概率pi：

其中i代表了类别，m代表了总类别数。由此可以由一个分类器得到该分类器的预测结果，由一个各类别的概率值向量[p1，p2，p3，...，pm]_j所表示，j代表了第j个分类器。如图5所示。对于每个分类器，都可以得到一个概率向量，将其输入到次级神经网络，会输出一个最终的概率向量，次级神经网络的作用相当于给输入的一组概率向量乘了权值，公式如下，其中N代表了分类器总数：

取此概率向量中的最大值，即为预测的最终类别。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (4)

1.本发明公开了一种基于集成交叉对比神经网络进行图像分类的技术，其特征在于对于交叉对比神经网络进行集成，训练和测试。

2.根据权利要求1所述的一种基于集成交叉对比神经网络进行图像分类的技术，其特征在于将多个交叉对比神经网络输出，通过次级神经网络进行集成，从而调整权重并进行分类。

3.根据权利要求1所述的一种基于集成交叉对比神经网络进行图像分类的技术，其特征在于利用图像训练的交叉对比神经网络模型，包括9个卷积层和3个池化层，采用ReLu作为激活函数，使用IBS模型进行统计分析，比较图像纹理特征而非内容特征。

4.根据权利要求1所述的一种基于集成交叉对比神经网络进行图像分类的技术，其特征在于通过一张已知类别图像与各类别图像进行对比计算各类别概率值来进行预测。