CN109919232B - 基于卷积神经网络和非局部连接网络的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络和非局部连接网络的图像分类方法，解决了卷积神经网络分类图像精度较低的问题。实现步骤：下载N个图像分类数据集并分割；使用卷积神经网络在数据集上训练并测试得到分类结果；构建图像分类网络；利用构建好的最优图像分类网络在图像分类数据集上训练并测试得到分类结果；在给定的M组网络参数和N个数据集条件下，对比M×N组实验结果。本发明将非局部连接网络首次应用到了图片分类领域，将卷积神经网络和非局部连接网络结合，利用非局部连接网络的去噪特性提高了卷积神经网络分类图像的精度，并给出了如何将非局部网络应用到卷积神经网络中的方法。用于深度学习图像分类技术领域。

Description

基于卷积神经网络和非局部连接网络的图像分类方法

技术领域

本发明属于深度学习技术领域，涉及图像分类，具体是一种基于卷积神经网络和非局部连接网络的图像分类方法，用于深度学习中常见的图像分类。

背景技术

图像分类主要解决的问题是判断图片中是否包含某类物体，所以研究物体的特征是图像分类的重要研究内容。目前有多种人工提取图像特征的方法，比如：SIFT、HOG以及SURF等等，但是这些方法并不能真正意义上把图像的语义信息提取出来。而采用深度学习网络，是通过采用大批量的图片来训练神经网络，让神经网络从中学习图像的层级结构特征，从而使得提取的特征更加接近图像的语义特征，所以分类的精度也自然而然比人工提取特征从而分类的精度高很多。

随着深度学习的发展，图像分类技术日趋成熟，由最初的全连接网络到卷积神经网络再到残差神经网络，图像分类的精度日趋增加。从卷积神经网络说起，卷积神经网络在特征表示上有很大的优势，随着网络深度增加，网络提取的特征越来越抽象，语义体现程度增加，因此识别能力也增加。但是由于网络深度的增加会使得深度学习中的梯度消失的现象越来越明显，以至于最后无法训练，因此在2015年提出的深度残差神经网络(ResNet)通过其特有的残差结构解决了该问题，从而使得网络的深度大大增加，图像分类的精度也增加不少。

2018年Xiaolong等人提出了非局部连接网络(non-local Neural Networks)，并且将其用在视频分类中取得了显著效果。非局部连接网络核心是计算目标特征点的同时会结合周围特征点的信息，这里所结合的周围的特征信息既可以是时间维度，也可以是空间维度，目前在视频分类中利用的便是非局部连接网络的时间维度，更好的利用视频里面的时序上的信息。非局部连接网络还具有可以参考并计算空间维度的特征信息的优势从而应用到图像分类方向，但是目前还没有人将非局部连接网络应用到图像分类领域。

非局部连接网络目前应用的还不是很普遍，主要原因是目前在tensorflow官网还没有该网络对应的API，另外目前深度学习方面的研究者把主要精力都放到了视频、目标识别等领域，这些领域目前的分类识别精度还有很大的提升空间。然而深度学习领域利用ResNet应用到图像分类精度目前已经很高，再加深网络或者利用其余的一些网络已经无法较大程度提升其分类性能。另外非局部连接网络在应用方面Xiaolong等人还没有给出一种详细的使用方法。

发明内容

本发明的目的是针对现有技术的不足，提出一种分类精度更高的基于卷积神经网络和非局部连接网络的图像分类方法。

本发明是一种基于卷积神经网络和非局部连接网络的图像分类方法。其特征在于：包含有如下步骤：

步骤1：下载N个图像分类数据集并分割：下载N个图像分类数据集，将下载的每个图像数据集图片分为训练集、验证集及测试集三部分；

步骤2：使用卷积神经网络在数据集上训练并测试得到分类结果：引用卷积神经网络作为基础网络，并利用该卷积神经网络在训练集和验证集上训练该网络，得到训练好的卷积神经网络，接着利用训练好的卷积神经网络在测试集上测试得到图像分类的结果，并记录分类结果的分类精度，完成一次完整的训练和测试，在一次完整的训练和测试中要使用相同的网络参数；在下载N个数据集的基础上，设置M组网络参数按照上述方法进行图像分类。具体是在每组网络参数条件下，分别在每个数据集上都训练并测试卷积神经网络，并记录分类结果。最终得到M组网络参数分别在N个数据集上的分类结果，其中训练在数据集的训练集和验证集上，测试是在数据集的测试集上；

步骤3：构建图像分类网络：在卷积神经网络中加入非局部连接网络的连接模块(non-local block)，构建基于卷积神经网络和非局部连接网络的图像分类网络；在图像分类数据集上训练图像分类网络并测试找出使得分类精度最高的在卷积神经网络中加入non-local block的位置和个数并记录，此时在卷积神经网络中按照记录的位置和个数加入non-local block后的网络则为构建好的最优图像分类网络；

步骤4：利用构建好的最优图像分类网络在图像分类数据集上训练并测试得到分类结果：利用构建好的最优图像分类网络在训练集和验证集上训练该网络，得到训练好的最优图像分类网络，接着利用训练好的最优图像分类网络在测试集上测试得到图像分类的结果，并记录分类结果的分类精度，完成一次完整的训练和测试，在一次完整的训练和测试中要使用相同的网络参数；利用下载的N个数据集和设置的M组网络参数进行图像分类。具体是在每组网络参数条件下，分别在每个数据集上都训练并测试最优图像分类网络，并记录分类结果。最终得到M组网络参数分别在N个数据集上的分类结果，其中训练在数据集的训练集和验证集上，测试是在数据集的测试集上；

步骤5：在给定的M组网络参数和N个数据集条件下，对比M×N组实验结果：在选择数据集和设置网络参数对应相同的情况下，比较卷积神经网络和图像分类网络分别得到的图像分类精度结果，依次比较两个网络的M×N组实验结果。与现有技术相比本发明的技术优势：

提供一种新的图像分类技术方案：本发明给出一种新的基于卷积神经网络和非局部连接网络的图像分类技术方案，该方案利用非局部连接网络具有去噪的特性首次将该网络用到图像分类领域。

分类精度提高：本发明结合卷积神经网络和非局部连接网络两者的优势构建图像分类网络，一方面利用卷积神经网络更好地提取图片的语义特征，另一方面利用非局部连接网络来更好地分析空间中各特征点与目标特征点间关系，在卷积层的中间添加非局部连接网络的连接模块，相当于在卷积操作前先进行降噪操作，消除对于局部特征图卷积时碰到的噪声，从而使图像分类网络分类图像的精度更高。

提供一种快速实现以最优的位置和个数插入非局部连接模块的方法：本发明首次给出了一种将非局部连接模块快速以最优位置和个数加入到卷积神经网络中的方法，使网络分类精度最高，从而使后续构建最优图像分类网络的速度更快。

附图说明

图1是本发明的流程示意图；

图2是本发明利用非局部连接网络的连接模块non-local block对于输入的运算过程示意图；

图3是利用图像分类网络和浅层ResNet在同样参数(-sf 10、-nb 10、-b 64、-n200)下得到的分类精度比较折线图；

图4是图3在110个epoch后的截选折线图；

图5是利用图像分类网络和浅层ResNet在相同参数(-sf 5、-nb 10、-b 64、-n200)下的到的分类精度比较折线图；

图6是图5在140个epoch后的截选折线图。

具体实施方式

下面结合附图和具体实施方式对本发明基于卷积神经网络和非局部连接网络的图像分类方法作详细说明：

实施例1

目前公开的图像分类方法有很多，深度学习领域分类图像的神经网络有VGG、inception以及ResNet，但是现有的神经网络均是基于卷积操作，而卷积操作仅仅是逐层提取目标特征直到提取的特征具有语义信息，然后根据提取的语义信息得出图像的分类结果。最近Xiaolong等人提出了非局部连接网络，并将其应用到了视频分类和图像识别领域，目前只用在视频分类及图像识别等，但并未在图像分类领域使用过。本发明将卷积神经网络与非局部连接网络结合，提出一种新的图像分类构想、思路和技术方案。

本发明是一种基于卷积神经网络和非局部连接网络的图像分类方法，参见图1，包含有如下步骤：

步骤1：下载N个图像分类数据集并分割：下载N个图像分类数据集，将下载的每个数据集的图像数据集图片分为训练集、验证集及测试集三部分。本发明对于下载的图像分类数据集的类别没有特殊要求，任何类别均可。下载数据集的个数N是大于等于1的正整数即可。将下载的图像分类数据集分为训练集、验证集和测试集，其比例也不受固定，针对不同数据集或者不同深度的卷积神经网络分配的比例也不尽相同，根据卷积神经网络的深度来决定所需的训练集、验证集与测试集的分配比例，本例中数据集划分为训练集、验证集及测试集采用常用比例6:2:2来分配。

步骤2：使用卷积神经网络在数据集上训练并测试得到分类结果：引用卷积神经网络作为基础网络，并利用该卷积神经网络在训练集和验证集上训练该网络，得到训练好的卷积神经网络，接着利用训练好的卷积神经网络在测试集上测试得到图像分类的结果，并记录分类结果的分类精度，完成一次完整的训练和测试，在一次完整的训练和测试中要使用相同的网络参数。网络参数主要根据神经网络的结构深度以及数据集的大小等因素来设置。设置M组网络参数，M是大于0的正整数，按照上述方法进行图像分类。具体是在每组网络参数条件下，分别在下载的每个图像分类数据集上都训练并测试卷积神经网络，并记录各自的分类结果。最终得到M组网络参数分别在N个数据集上的分类结果，其中训练是在数据集的训练集和验证集上进行，测试是在数据集的测试集上进行。

本发明中提到的卷积神经网络，一般可选取分类效果较好的卷积神经网络，或者选取分类效果较好的卷积神经网络的几种变体，本例中使用了分类性能较好结构也更为清晰的ResNet，该网络具有明显的层级，提取特征图的个数逐层递进，能够充分保证输出特征的表达能力。并且ResNet与后续步骤中用到的非局部连接网络结构更为相似，使得ResNet的输入维度大小经过非局部连接网络输出后也不会发生改变，从而节省了重新归一化输入或者输出的过程。还可以选取其余的图像分类网络，如VGG、inception等。

步骤3：构建图像分类网络：在卷积神经网络中加入非局部连接网络的连接模块(non-local block)，构建基于卷积神经网络和非局部连接网络的图像分类网络。图像分类网络构建后，还需要在图像分类数据集上训练新构建的图像分类网络，然后测试找出使分类精度最高时在卷积神经网络中加入non-local block的位置和个数，并记录non-localblock在卷积神经网络中的位置和个数，在卷积神经网络中按照记录的位置和个数加入non-local block后的网络则为构建好的最优图像分类网络。具体是需要经过位置的多点测试，随机在卷积神经网络中的相邻两个卷积层中间位置加入1个non-local block，然后测试在该位置加入non-local block后网络的分类精度，经过多次多点测试后，找出使得分类精度最高的加入non-local block的网络作为较优网络，即已确定了加入第一个non-local block的位置，还需确定加入non-local block的个数，继续在较优网络的基础上再进行多点测试，在不同的位置加入下一个non-local block，继续找出使得分类精度最高的下一个加入non-local block的位置，重复上述多点测试依次加入更多个non-localblock，直到加入下一个non-local block后使分类精度下降或不变，此时记录之前所有加入non-local block的位置和个数，然后按照记录的位置和个数的组合将non-local block加入到卷积神经网络，该网络则为构建好的最优图像分类网络。

本发明提供了一种新的图像分类技术方案：在卷积神经网络中加入非局部连接网络的连接模块即non-local block，构建形成基于卷积神经网络和非局部连接网络的图像分类网络，该图像分类技术方案充分利用了非局部连接网络的去噪特性，并首次将非局部连接网络用到图像分类领域。由于非局部连接网络在tensorflow官网中并没有对应的API，而且该网络较新导致很少有人使用该网络。因而本发明使用的non-local block代码是基于Xiaolong构建的非局部连接网络代码，将其加以修改并封装成函数模块，在卷积神经网络代码中直接调用该函数模块。

本发明还给出了一种在卷积神经网络中以最优的位置和个数加入non-localblock的方式，经过优化加入non-local block的位置和个数，构建使得分类效果最好的图像分类网络，将其称为最优图像分类网络。

步骤4：利用构建好的最优图像分类网络在图像分类数据集上训练并测试得到分类结果：利用构建好的最优图像分类网络在训练集和验证集上训练该网络，得到训练好的最优图像分类网络，接着利用训练好的最优图像分类网络在测试集上测试得到图像分类的结果，并记录分类结果的分类精度，完成一次完整的训练和测试，在一次完整的训练和测试中要使用相同的网络参数。使用步骤1中下载的N个数据集和步骤2设置的M组网络参数进行图像分类。具体是在每组网络参数条件下，分别在每个数据集上都训练并测试最优图像分类网络，并记录分类结果。最终得到M组网络参数分别在N个数据集上的分类结果，其中训练在数据集的训练集和验证集上进行，测试是在数据集的测试集上进行。

给出了用最优图像分类网络在图像分类数据集上测试得到的分类结果，该结果也作为后续与卷积神经网络性能比较的依据。

步骤5：在给定的M组网络参数和N个数据集条件下，对比M×N组实验结果：在选择数据集和设置网络参数对应相同的情况下，比较步骤2卷积神经网络和步骤4图像分类网络分别得到的图像分类精度结果，依次比较两个网络的M×N组实验结果，实验结果证明本发明构建的图像分类网络的分类精度要比卷积神经网络的分类精度高。

目前图像分类精度已经进入瓶颈期，VGG、inception以及ResNet等网络在图像分类上精度已经很高，很难通过修改网络本身来大幅提高分类精度，很少有研究者去研究图像分类或者再去提高其分类性能。本发明根据非局部连接网络能够给出周围特征点与目标点的关系系数，降低卷积操作引入的噪声干扰，这一特性将非局部连接网络应用到图像分类中，形成一种新的图像分类网络。使得对于目标点特征的提取更为准确。但是非局部连接网络太新，tensorflow官网还有没有对应的API，因此在使用非局部连接网络时需要经过多次分析非局部连接网络的特性以及如何与卷积神经网络结合。

本发明将卷积神经网络与非局部连接网络结合，成功的将非局部连接网络应用到图像分类领域，给出了一种新的图像分类方法，并且通过实验得出本发明构建的图像分类网络相对于卷积神经网络的图像分类性能有所提高。

实施例2

基于卷积神经网络和非局部连接网络的图像分类方法同实施例1，本发明步骤2中所述的设置M组网络参数，其中设置的网络参数包括初始滤波器大小sf(start filter)、滤波器数量nb(num blocks)、批尺寸大小b(batch size)以及迭代次数n(num epochs)，对选取的网络参数设置具体数值，然后将设置的M组网络参数分别在图像分类数据集上训练卷积神经网络并测试对应的分类效果。设置网络参数主要考虑神经网络的结构深度以及数据集的大小等因素。

本例中设置的多组网络参数为两组，两组网络参数分别为：第一组：-sf 5、-nb10、-b 64、-n 200，第二组：-sf 10、-nb 10、-b 64、-n 200。当输入图像尺寸较大时为了快速获取图片的特征信息，可以将sf设置的较大一点，反之则较小一点；滤波器数量一般设置2的倍数；批尺寸大小是每次载入图片的个数，一般设置为32、64或者128；训练网络设置的迭代次数n可以是任意数字，但是得看网络经过多少次迭代以后才能够趋于平稳，最后测量的精度是以平稳后的精度为准。

本发明在设置卷积神经网络的网络参数时充分考虑了图像分类数据集的大小、卷积神经网络的深度以及后续需要结合非局部连接网络的需求，将网络参数设置的尽量小一些，使网络训练速度更快，也方便后续快速构建最优图像分类网络。

实施例3

基于卷积神经网络和非局部连接网络的图像分类方法同实施例1-2，本发明步骤3中所述的构建图像分类网络，具体包括如下步骤：

3.a找出所有的卷积层的输入输出：在卷积神经网络中找出卷积层的输入和输出。

3.b在卷积神经网络中插入非局部连接网络里的连接模块non-local block的方法：对卷积层的输入或者输出做non-local计算，也就是把卷积层A的输出链接到non-localblock的输入，然后将经过non-local block计算得到的输出链接到下一个卷积层B的输入，这样即在两个卷积层A和B之间插入了一个non-local block。

在卷积神经网络中加入non-local block的具体方法为：在卷积神经网络中找出任意相邻的两个卷积层A和B，然后找出卷积层A的输出和卷积层B的输入(I)，然后对卷积层A的输出做non-local项计算，参见图2所示，对应公式如下：

其中：g(x_j)＝W_gx_j，

以及/>

最终non-localblock的输出为z_i＝W_zy_i+x_i。

上述公式和图2中的x_i是指卷积层A的输出，也作为non-local block的输入。y_i是分析输入特征图中周围特征点与目标特征点的相关程度，其维数与x_i相同。g(x_j)用来计算输入信号在j点处的特征值。f(x_i,x_j)用来计算目标特征点和任意j点的关系系数；将关系系数与每个周围特征点的信息相乘是获取所有周围点作用到目标特征点的所有信息，然后除以C(x)，也就是对获取的所有信息做softmax归一化处理。z_i是non-local block的输出，也是卷积层B的输入。遵循上述理论方法，即可在卷积层A和卷积层B之间插入一个non-localblock。

3.c选择在卷积神经网络中加入non-local block的位置和个数：按照最优的选定的插入位置和个数在卷积神经网络中加入non-local block。

本发明结合卷积神经网络和非局部连接网络两者的优势构建图像分类网络，一方面利用卷积神经网络更好地提取图片的语义特征，另一方面利用非局部连接网络来更好地分析空间中各特征点与目标特征点间关系，在卷积层的中间添加非局部连接网络的连接模块，相当于在卷积操作前先进行降噪操作，消除对于局部特征图卷积时碰到的噪声，从而使图像分类网络分类图像的精度更高。

实施例4

基于卷积神经网络和非局部连接网络的图像分类方法同实施例1-3，本发明步骤3.c所述的选择在卷积神经网络中加入non-local block的位置和个数的具体方法为：

3.c.a确定卷积神经网络共有几个阶段，依次在每个阶段后添加non-localblock，并分别记录测试分类结果，然后查看哪个阶段添加non-local block后分类精度更高，则锁定该阶段，将其称为较优阶段。

3.c.b在较优阶段里面的若干个卷积层，依次在相邻的两个卷积层中间添加non-local block并记录测试分类结果，选择加入non-local block后使得图像分类精度最高的网络留用，将其称为较优网络。

3.c.c在较优网络的前提下按照3.c.a和3.c.b步骤继续在较优网络上添加non-local block，直到添加non-local block后精度不变或者反而下降时，停止添加。

3.c.d记录此时添加到卷积神经网络中non-local block的位置和个数，然后按照记录的non-local block的位置和个数在卷积神经网络中添加non-local block，这样构建的网络即为后续的最优图像分类网络。

本发明在图像分类数据集上训练卷积神经网络，并测试找出最优的加入non-local block的位置和个数，得到新的图像分类网络，使得图像分类网络分类精度最高，为构建的最优的图像分类网络。最优图像分类网络充分利用了非局部连接网络和卷积神经网络的优势，在卷积操作前添加non-local block，相当于在卷积操作前先进行降噪操作，消除对于局部特征图卷积时碰到的噪声，从而使网络分类图像的精度更高。

由于非局部连接网络较新颖，没有该网络的使用说明，本发明通过分析卷积神经网络的卷积层和非局部连接网络的连接模块的连接方式，提出了一种在卷积神经网络中以最快的速度按照最优的位置和个数加入non-local block的方法，利用该方法可以快速构建最优图像分类网络。

现有的加入non-local block的方法一般为随机测试，盲目的选择加入的个数和加入的位置。

本发明在卷积神经网络中加入non-local block采用一次加入一个的方式，首次加入一个non-local block，然后找到在某个位置加入一个non-local block后相对于其他位置加入non-local block后的分类精度高，然后将该位置作为加入第一个non-localblock的位置，并按照该位置将non-local block加入卷积神经网络构成较优网络。在较优网络中加入第二个non-local block，同样找到在较优网络的某个位置加入第二个non-local block后相对于其他位置加入后的分类精度高，则记录该位置作为第二个加入non-local block的位置，按照记录的两个位置在卷积连接网络中加入non-local block构成的网络作为下次使用的较优网络。重复在较优网络上添加下一个non-local block，直到添加non-local block后使得网络性能降低或不变，则停止增加non-local block。在卷积神经网络中按照记录的位置和个数加入non-local block后构建的新网络即为最优图像分类网络。

相对于现有的方法本发明提出的加入non-local block的方法更具有目的性。

实施例5

基于卷积神经网络和非局部连接网络的图像分类方法同实施例1-4，本发明步骤5中所述的在选择数据集和设置网络参数对应相同的情况下，比较卷积神经网络和图像分类网络分别得到的图像分类精度结果，其比较标准为在相同网络参数情况下，比较分类的精度大小，然后将对比数据绘制折线图。其中具体网络参数包括：初始滤波器大小、滤波器数量、批尺寸大小以及训练次数等。

为了保证更精确的比较卷积神经网络和图像分类网络的性能，本例中将步骤2和步骤4中分别记录的M×N组数据结果分别进行比较，证明在不同参数和不同数据集条件下，图像分类网络的分类性能都要比卷积神经网络好。

下面给出一个详细的例子对本发明作进一步说明。

实施例6

基于卷积神经网络和非局部连接网络的图像分类方法同实施例1-5。参见图1，包含如下步骤：

步骤1：下载cifar-10和cifar-100图像分类数据集，并且将其数量以6:2:2的比例分为训练集、验证集和测试集。本例中N等于2，即下载两个数据集。

下载图像分类数据集，在数据集上训练并测试卷积神经网络，为了在卷积神经网络中更快速的寻找到最优的加入非局部连接网络的连接模块(non-local block)的位置及个数，本例中选择并下载两个较为简单的图像分类数据集cifar-10和cifar-100，并将其数量以6:2:2的比例分为训练集、验证集和测试集，其中训练集和验证集用在卷积神经网络训练过程中，测试集用于测试卷积神经网络分类性能。

步骤2：设定网络参数，本例中M等于2，即网络参数为两组，分别在每组网络参数情况下，在cifar-10和cifar-100的训练集和验证集上训练卷积神经网络，然后利用训练好的卷积神经网络在测试集上进行测试分类的精度，最后记录两组网络参数分别在两个数据集上的分类图像的精度，共记录了M×N即4组卷积神经网络的分类结果数据。

在cifar-10和cifar-100数据集上训练卷积神经并测试分类的具体方法为：为了方便后续快速构建图像分类网络，本发明选择了一个浅层的ResNet作为本发明的卷积神经网络，并修改其网络的代码，更改到实数域运行，然后设置训练和测试的网络参数，具体包括初始滤波器大小(start filter)、滤波器数量(num blocks)、批尺寸大小(batch size)以及迭代次数(num epochs)，在cifar-10或cifar-100数据集上训练并测试。本例中设置的两组网络参数分别为：第一组：-sf 10、-nb 10、-b 64、-n 200；第二组：-sf 5、-nb 10、-b64、-n 200。

步骤3：在卷积神经网络中加入non-local block构建图像分类网络，并且测试找出最优的加入non-local block的位置和个数，令网络测试精度最高，使构建的图像分类网络即为最优图像分类网络。

本例中选择的卷积神经网络为浅层ResNet，该浅层ResNet网络总共有4个阶段，属于较浅层网络。对于在该浅层ResNet中加入non-local block的个数，经过多次测试，对于较浅层神经网络最多是添加2个non-local block。

在ResNet中添加non-local block的方法：

3.a该ResNet网络共有4个阶段，依次在每个阶段后添加non-local block，并分别记录测试分类结果，然后查看哪个阶段添加non-local block后分类精度更高，则锁定该阶段，将其称为较优阶段。

3.b在较优阶段里面的若干个残差模块即ResNet block，前面依次添加non-localblock并记录测试分类结果，选择加入non-local block后使得图像分类精度最高的网络留用，将其称为较优网络，并记录在ResNet中加入第一个non-local block的位置。

3.c在较优网络的前提下按照3.a和3.b继续添加下一个non-local block，选择使得分类精度最高的网络留用，并记录在ResNet中加入第二个non-local block的位置。

3.d记录此时添加到卷积神经网络中non-local block的两个位置，然后按照记录在卷积神经网络中添加non-local block，这样构建的网络即为后续使用的最优图像分类网络。

步骤4：根据步骤2设置的两组网络参数，分别在cifar-10和cifar-100的训练集和验证集上训练最优图像分类网络，然后利用训练好的网络在测试集上进行测试分类的精度，最后记录两组网络参数分别在两个数据集上的分类图像的精度，同样，共记录了M×N即4组图像分类网络的分类结果数据。实验和理论都证明本发明图像分类网络的分类图像的结果。

步骤5：在选择数据集和设置网络参数对应相同的情况下，绘制折线图比较步骤2卷积神经网络和步骤4图像分类网络分别得到的图像分类精度结果，最终证明本发明构建的图像分类网络的分类性能要比卷积神经网络好。

实验时在设定相同网络参数情况下对比卷积神经网络和最优图像分类网络在相同数据集上的分类性能，但是由于一组网络参数对应的结果具有偶然性，所以在选择数据集和设置网络参数对应相同的情况下将步骤2和步骤4中记录的基于2个数据集和2组网络参数的4组数据结果都分别进行对比，充分证明该图像分类网络比卷积神经网络的分类性能好。

下面通过实验及实验结果对本发明的技术效果作验证说明。

实施例7

基于卷积神经网络和非局部连接网络的图像分类方法同实施例1-6。

实验条件：

数据集：cifar-10

GPU：NVIDIA TITAN

卷积神经网络：具有4个阶段的ResNet

网络参数：-sf 10、-nb 10、-b 64、-n 200

实验过程：

a构建最优的图像分类网络：在图像分类网络上依次修改non-local block在ResNet中的位置，然后分别在cifar-10数据集上进行训练并测试，找出使得图像分类精度最高的加入non-local block的位置和个数，并将该位置对应的图像分类网络作为接下来使用的图像分类网络。

b训练和测试：将ResNet和图像分类网络分别按照上面的网络参数在cifar-10数据集上训练并测试。

c精度对比：将200个迭代次数的精度对比绘制成折线图，参见图3，由于最终的精度对比以稳定后的精度为准，因此将网络性能稳定后的110个迭代周期的精度对比结果绘制参见图4。

实验结果：

参照图3和图4，图3是利用图像分类网络和浅层ResNet在同样参数(-sf 10、-nb10、-b 64、-n 200)下得到的分类精度比较折线图，图4是图3在110个epoch后的截选折线图。

图3是按照本例中设置的网络参数，图像分类网络与浅层ResNet在cifar-10数据集上图像分类的精度比较，图中old对应的实线代表浅层ResNet网络在cifar-10数据集上的分类结果，new对应的虚线代表图像分类网络在cifar-10数据集上的分类结果。图中横轴代表网络的迭代次数epoch，纵轴代表分类图像的精度。通过对比old和new对应的两条折线，可以很清楚看到图像分类网络的分类效果明显高于ResNet。

图4是图3在110个epoch后的截选图，只显示110个epoch以后的数据精度比较，对比图3和图4可以更清楚的看出本发明的图像分类网络的分类精度比ResNet高出至少0.4个百分点。

实施例8

基于卷积神经网络和非局部连接网络的图像分类方法同实施例1-6。

实验条件：

数据集：cifar-100

GPU：NVIDIA TITAN

卷积神经网络：具有4个阶段的ResNet

网络参数：-sf 5、-nb 10、-b 64、-n 200

实验过程：

a构建最优的图像分类网络：在图像分类网络上依次修改non-local block在ResNet中的位置，然后分别在cifar-100数据集上进行训练并测试，找出使得图像分类精度最高的加入non-local block的位置和个数，并将该位置对应的图像分类网络作为接下来使用的图像分类网络。

b训练和测试：将ResNet和图像分类网络分别按照上面的网络参数在cifar-100数据集上训练并测试。

c精度对比：将200个迭代周期的精度对比绘制成折线图，参见图5，由于最终的精度对比以稳定后的精度为准，因此将网络性能稳定后的140个迭代周期的精度对比结果绘制参见图6。

实验结果：

参照图5和图6，图5是利用图像分类网络和浅层ResNet在相同参数(-sf 5、-nb10、-b 64、-n 200)下的到的分类精度比较折线图，图6是图5在140个epoch后的截选折线图。

图5是按照本例中设置的网络参数，图像分类网络与浅层ResNet在cifar-100数据集上图像分类的精度比较，图中old对应的实线代表浅层ResNet网络在cifar-100数据集上的分类结果，new对应的虚线代表图像分类网络在cifar-100数据集上的分类结果。图中横轴代表网络的迭代次数epoch，纵轴代表分类图像的精度。通过对比old和new对应的两条折线，可以看到图像分类网络的分类效果略优于ResNet。

图6是图5在140个epoch后的截选图，只显示140个epoch以后的数据精度比较，可以看出图像分类网络的平均分类精度明显高于ResNet的分类精度，平均高出0.17个百分点。

实验数据证明，在不同参数、不同数据集情况下，本发明的图像分类网络的分类精度始终比卷积神经网络的分类精度高。

综上所述，本发明公开的一种基于卷积神经网络和非局部连接网络的图像分类方法，解决了卷积神经网络分类图像精度较低的问题。实现步骤：1.下载N个图像分类数据集并分割；2.使用卷积神经网络在数据集上训练并测试得到分类结果；3.构建图像分类网络；4.利用构建好的最优图像分类网络在图像分类数据集上训练并测试得到分类结果；5.在给定的M组网络参数和N个数据集条件下，对比M×N组实验结果。本发明将非局部连接网络首次应用到了图片分类领域，将卷积神经网络和非局部连接网络结合，利用非局部连接网络的去噪特性提高了卷积神经网络分类图像的精度，并给出了如何将非局部网络应用到卷积神经网络中的方法。用于深度学习图像分类技术领域。

Claims (5)

1.一种基于卷积神经网络和非局部连接网络的图像分类方法，其特征在于：包含有如下步骤：

步骤1：下载N个图像分类数据集并分割：下载N个图像分类数据集，将下载的图像数据集图片分为训练集、验证集及测试集三部分；

步骤2：使用卷积神经网络在数据集上训练并测试得到分类结果：引用卷积神经网络作为基础网络，并利用该卷积神经网络在训练集和验证集上训练该网络，得到训练好的卷积神经网络，接着利用训练好的卷积神经网络在测试集上测试得到图像分类的结果，并记录分类结果的分类精度，完成一次完整的训练和测试，在一次完整的训练和测试中要使用相同的网络参数；在下载N个数据集的基础上，设置M组网络参数按照上述方法进行图像分类；具体是在每组网络参数条件下，分别在每个数据集上都训练并测试卷积神经网络，并记录分类结果；最终得到M组网络参数分别在N个数据集上的分类结果，其中训练在数据集的训练集和验证集上，测试是在数据集的测试集上；

步骤3：构建图像分类网络：在卷积神经网络中加入非局部连接网络的连接模块，构建基于卷积神经网络和非局部连接网络的图像分类网络；在图像分类数据集上训练图像分类网络并测试找出使得分类精度最高的在卷积神经网络中加入non-local block的位置和个数并记录，此时在卷积神经网络中按照记录的位置和个数加入non-local block后的网络则为构建好的最优图像分类网络；

步骤4：利用构建好的最优图像分类网络在图像分类数据集上训练并测试得到分类结果：利用构建好的最优图像分类网络在训练集和验证集上训练该网络，得到训练好的最优图像分类网络，接着利用训练好的最优图像分类网络在测试集上测试得到图像分类的结果，并记录分类结果的分类精度，完成一次完整的训练和测试，在一次完整的训练和测试中要使用相同的网络参数；利用下载的N个数据集和设置的M组网络参数进行图像分类，具体是在每组网络参数条件下，分别在每个数据集上都训练并测试最优图像分类网络，并记录分类结果；最终得到M组网络参数分别在N个数据集上的分类结果，其中训练在数据集的训练集和验证集上，测试是在数据集的测试集上；

步骤5：在给定的M组网络参数和N个数据集条件下，对比M×N组实验结果：在选择数据集和设置网络参数对应相同的情况下，比较卷积神经网络和图像分类网络分别得到的图像分类精度结果，依次比较两个网络的M×N组实验结果。

2.根据权利要求1所述的基于卷积神经网络和非局部连接网络的图像分类方法，其特征在于：步骤2中所述的设置M组网络参数，其中设置的网络参数包括初始滤波器大小sf(start filter)、滤波器数量nb(num blocks)、批尺寸大小b(batch size)以及迭代次数n(num epochs)，对每个网络参数设置具体数值，然后将设置的M组网络参数分别在图像分类数据集上训练卷积神经网络并测试对应的分类效果。

3.根据权利要求1所述的基于卷积神经网络和非局部连接网络的图像分类方法，其特征在于：步骤3中所述的构建图像分类网络，具体包括如下步骤：

3.a找出所有的卷积层的输入输出：在卷积神经网络中找出卷积层的输入和输出；

3.b在卷积神经网络中插入非局部连接网络里的连接模块插入non-local block的方法：对卷积层的输入或者输出做non-local计算，也就是把卷积层A的输出链接到non-localblock的输入，然后将经过non-local block计算得到的输出链接到下一个卷积层B的输入，这样即在两个卷积层A和B之间插入了一个non-local block；

3.c选择在卷积神经网络中加入non-local block的位置和个数：按照最优的选定的插入位置和个数在卷积神经网络中加入non-local block。

4.根据权利要求3所述的基于卷积神经网络和非局部连接网络的图像分类方法，其特征在于：步骤3.c所述的选择在卷积神经网络中加入non-local block的位置和个数的具体方法为：

3.c.a确定卷积神经网络共有几个阶段，依次在每个阶段后添加non-local block，并分别记录测试分类结果，然后查看哪个阶段添加non-local block后分类精度更高，则锁定该阶段，将其称为较优阶段；

3.c.b在较优阶段里面的若干个卷积层，依次在相邻的两个卷积层中间添加non-localblock并记录测试分类结果，选择加入non-local block后使得图像分类精度最高的网络留用，将其称为较优网络；

3.c.c在较优网络的前提下按照3.c.a和3.c.b步骤继续在较优网络上添加non-localblock，直到添加non-local block后精度不变或者反而下降时，停止添加；

3.c.d记录此时添加到卷积神经网络中non-local block的位置和个数，然后按照记录的non-local block的位置和个数在卷积神经网络中添加non-local block，这样构建的网络即为我们后续的最优图像分类网络。

5.根据权利要求1所述的基于卷积神经网络和非局部连接网络的图像分类方法，其特征在于：步骤5中所述的在选择数据集和设置网络参数对应相同的情况下，比较卷积神经网络和图像分类网络分别得到的图像分类精度结果，其比较标准为在相同网络参数情况下，比较分类的精度大小。

Images