CN107239785A - 一种在智能设备中对图片进行分类的方法和系统 - Google Patents

Abstract

本申请公开了一种在智能设备中对图片进行分类的方法和系统，其中所述方法包括：将待分类的图片输入训练好的卷积神经网络，得到所述图片属于预设的各图片类别的各概率值；根据所述各概率值，确定所述图片所属的至少一图片类别；其中，所述卷积神经网络包括多个卷积层、至少一下采样层和一分类器层，所述多个卷积层包括至少一多尺度窗口卷积层；所述至少一多尺度窗口卷积层中的每一个用两个以上尺度的卷积核对上一层输出的特征图分别进行卷积操作，并将卷积出来的两个以上特征图叠在一起作为输出特征图。本发明在移动设备上可实现95％以上的分类准确率并可实现实时分类。

Description

一种在智能设备中对图片进行分类的方法和系统

技术领域

本申请涉及图片处理领域，尤其涉及一种在智能设备中对图片进行分类的方法和系统。

背景技术

随着手机摄像头性能的提升，手机也成为人们日常生活的拍摄工具，随之产生的大量手机相片的管理变得非常困难。目前市场上的各种手机相册也都带有相册自动管理功能，按照时间和地点进行分类展示，方便了用户进行相册的浏览和查找。

然而，现有的手机智能相册大多仅仅依靠时间和地点信息进行管理，也有少量的应用做了相片内容的分类，但是都只有非常抽象的几个类别。如“动物”、“植物”、“食物”、“建筑”、“室内”等。随着手机相册拍摄的内容日益增多并涉及各种物体和场景，仅仅依靠时间、地点和少量类别来进行分类管理是远远不够的。

随着硬件性能的提升带来计算能力的大幅提升，深度学习在计算机视觉领域取得了大幅的进展，尤其是利用卷积神经网络进行图像分类，性能远远超越了传统算法。

然而，针对划分精细、有层级、类别范围覆盖率高的分类体系，能够达到分类性能要求的卷积神经网络的复杂度一般较高，模型也比较大，而且移动平台(Android和ios)的硬件性能远低于电脑，现有模型很难在移动平台上实时处理。

发明内容

本申请的目标在于提供一种在智能设备中对图片进行分类的方法和系统，其在保证分类准确率的同时减少模型的计算量并减小模型的大小，并能够在所有的移动平台上实现实时分类。

本申请的目标由一种在智能设备中对图片进行分类的方法实现，该方法包括：

将待分类的图片输入训练好的卷积神经网络，得到所述图片属于预设的各图片类别的各概率值；

根据所述各概率值，确定所述图片所属的至少一图片类别；

其中，所述卷积神经网络包括多个卷积层、至少一下采样层和一分类器层，所述多个卷积层包括至少一多尺度窗口卷积层；

所述至少一多尺度窗口卷积层中的每一个用两个以上尺度的卷积核对上一层输出的特征图分别进行卷积操作，并将卷积出来的两个以上特征图叠在一起作为输出特征图；

所述分类器层，用于基于在所述图片经过所述多个卷积层和所述至少一下采样层的操作后得到的特征确定所述各概率值。

本申请的目标还由一种在智能设备中对图片进行分类的系统实现，该系统包括：

图片输入及概率值确定模块，用于将待分类的图片输入训练好的卷积神经网络，得到所述图片属于预设的各图片类别的各概率值；

分类模块，用于根据所述各概率值，确定所述图片所属的至少一图片类别；

其中，所述卷积神经网络包括多个卷积层、至少一下采样层和一分类器层，所述多个卷积层包括至少一多尺度窗口卷积层；

所述至少一多尺度窗口卷积层中的每一个用两个以上尺度的卷积核对上一层输出的特征图分别进行卷积操作，并将卷积出来的两个以上特征图叠在一起作为输出特征图；

所述分类器层，用于基于在所述图片经过所述多个卷积层和所述至少一下采样层的操作后得到的特征确定所述各概率值。

使用本发明方法，可针对划分精细、有层级、类别范围覆盖率高的图片类别对图片进行分类，在移动设备上可实现95％以上的分类准确率并可实现实时如1秒24张图片的快速分类；而且，与现有技术的两步完成分类不同，本发明方法可实现“一步”完成图片分类。

附图说明

本发明将在下面参考附图并结合优选实施例进行更完全地说明。

图1为根据本发明方法的一实施例的流程图。

图2为根据本发明系统的一实施例的结构示意图。

为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。

具体实施方式

通过下面给出的详细描述，本发明的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。

图1示出了本发明方法的一实施例，其用于在智能设备如手机中对图片进行分类。该实施例的方法开始于步骤S10，将待分类的图片缩放成训练卷积神经网络时采用的尺寸如224×224然后输入训练好的卷积神经网络，该卷积神经网络包括：

第一层：卷积层，卷积核(也称为卷积窗口)大小为7×7，卷积核移动步长为2；对图片进行卷积操作并对卷积后生成的特征图进行Batch Normalization(归一化)处理，再对归一化的特征图采取ReLU激活函数对神经元进行激活。在其它实施例中，可选择其它大小的卷积核和步长，卷积核越大，计算量越大。

Batch Normalization：

假设输入为X＝(X₁,X₂,…,X_d)，X_i(i＝1,2,…,d)表示输入特征图，一共输入有d层特征图。

X_k＝(X_k-E[X_k]/std[X_k]),k＝1,2,…,d

Y_k＝W_k*X_k+B_k,k＝1,2,…,d

E[X_k]为输入卷积神经网络的样本所对应的特征图的均值，std[X_k]为其标准差。对原始特征图的每个值做这样的减均值除标准差归一化操作，对数据做归一化一方面使得模型训练的收敛过程变得快速平稳，另一方面能使得层数较深的网络也能够收敛，并能提升网络的分类性能。W_k和B_k为可学习的权重参数和偏差参数，对归一化后的特征图做线性操作，使得数据分布更好地拟合网络。

ReLU：

传统的神经网络的神经元激活函数选取Sigmoid函数，其最大缺点在于当神经元处于极度激活(远大于0)或者极度抑制(远小于0)情况下，其梯度也接近于0，模型训练过程均采取梯度下降方式，在固定学习率下参数每次调整的幅度也会非常小，使得网络的收敛变得及其缓慢。而ReLU操作：X＝max(0,X)，当神经元激活(>0)时，梯度值为1，梯度下降过程中参数调整幅度较大，能够使得整体网络快速收敛。

在实施例中，下面的所有卷积层后面均有Batch Normalization和ReLU操作。

第二层：下采样层，采用3×3的滑动窗口，步长为2，按取窗口内最大值的方式进行下采样。

第三层：卷积层，卷积核大小3×3，步长为1，对上一层获得的特征图进行卷积操作。

第四层：下采样层，采用3×3的滑动窗口，步长为2，按取窗口内最大值的方式进行下采样。

第五层：多尺度窗口卷积层，分别用1×1、3×3、5×5的3类卷积核对上一层生成的特征图进行卷积操作，并将卷积出来的特征图叠在一起作为输出。例如，1×1的卷积核有64个、3×3的卷积核有128个等。

1×1的卷积核用来组合不同特征图之间相同位置上的特征，用3×3和5×5在不同尺度的感受野上进行特征提取，把通过这三种尺寸的卷积核出来的特征图叠在一起，比用单一尺寸的卷积核得到的特征表达更加丰富，有利于最终的分类性能。卷积核尺寸必须为奇数，为了能够通过边缘填充的方式保证通过卷积核后的特征图与原图大小一致。

在其它实施例中，卷积核尺度还可包括7×7、9×9等。但考虑到移动设备的硬件水平，7×7、9×9的卷积核计算量较大。例如，如果将7×7的卷积核也纳入计算，整体网络的计算时间将变为2.5倍。

为了将三种尺寸出来的特征图叠在一起，需要保证三种卷积核出来的特征图大小一致。当卷积核大于1×1时，需要对输入的特征图的四周边缘做填充值为0的操作，如果卷积核为f×f，那么需要在输入特征图的上下左右边缘各填充宽度为(f-1)/2的0行值或者列值。

第六层、第七层，同第五层。对于第六层的3类卷积核，例如，1×1的卷积核有128个、3×3的卷积核也可以有128个等。第七层大于或等于第六层的3类卷积核的数目。

第八层:下采样层，采用3×3的滑动窗口，步长为2，按取窗口内最大值的方式进行下采样。

第九层至第十三层，操作同第五层，并逐渐增大卷积核的数量。因为经过下采样后特征图的长和宽都变为原来的一半，分辨率为原来的1/4，特征表达在此过程中会有一定的损失，为了最小化此损失带来最终的分类性能的影响，需要增大卷积核数量，在低分辨率的特征图上生成更多的特征图来进行特征传递和表达。

第十四层，下采样层，采用3×3的滑动窗口，步长为2，按取窗口内最大值的方式进行下采样。

第十五层、第十六层，操作同第五层，但继续增大卷积核数量。

第十七层，下采样层，采用全局平均采样方式，即对每个特征图取平均值，每个特征图变为一个值，该值作为整个网络最终提取的特征。例如，假设第十六层的输出为1024个大小为7×7的特征图，经过全局平均采样后变为1024的值，这个1024维的向量即为图像经过网络提取到的特征。

第十八层，分类器层，利用上一层得到的最终特征，训练分类器。由于样本的类别是多标签的，不能用Softmax作为分类器，因为经过Softmax出来的所有类别的概率和为1，即类别之间必须是互斥的关系。我们针对每个预设类别分别训练Sigmoid二元分类器，即对每个类别都需要判断是不是属于该类别，并使用交叉熵(Sigmoid Cross Entropy Loss)作为损失函数，损失函数的输出即为属于某一类别的概率值。在其它实施例中，也可采用支持向量机(SVM)作为分类器，损失函数为铰链损失函数(Hinge Loss)。

在其它实施方式中，也可根据需要增加或减少下采样层和多尺度窗口卷积层的使用。

在其他实施方式中，第一层也可以是例如下采样层或多尺度窗口卷积层。

在步骤S10之后，处理进行到步骤S20，根据损失函数的输出即为属于某一类别的概率值，在概率值大于训练卷积神经网络得到的相应类别的参数值时将图片分类到相应类别。

卷积神经网络的训练利用训练图片集进行。具体地，将训练图片集的图片采用双线性差值的方式缩放到例如256×256，每次随机选取256张训练集图片，并从每张图片里面随机位置裁剪出大小例如为224×224的图片块作为网络的输入，利用传统的前向传播和反向传播算法送进卷积神经网络中训练，整个训练过程中采用Mini-batch的随机梯度下降(SGD)的优化方法，将卷积神经网络中随机初始化的所有参数进行迭代调整，直到整个网络分类性能达到最优。

双线性差值：由相邻的四像素(2×2)计算得出。假设目的图像中坐标点的坐标为(x',y')，原始图像高度、宽度为srcWidth、srcHeight，缩放后的图像高度、宽度为dstWidth、dstHeight。原始图像中对应坐标点可以通过公式(X,Y)＝(x'*(srcWidth/dstWidth),y'*(srcWidth/dstWidth))找到。令(x+u,y+v)＝(X,Y)，x、y分别表示X、Y的整数部分，u、v分别表示X、Y的小数部分。那么目的坐标对应的插值：

f(x+u,y+v)＝f(x,y)(1-u)(1-v)+f(x+1,y)u(1-v)+f(x,y+1)(1-u)v+f(x+1,y+1)uv，f(x,y)为原始图像坐标点对应的像素值。

现有技术做图片分类多数分为两步，先用局部特征描述子提取图片特征，然后再对这些特征训练分类器。提特征和分类是完全独立的两个步骤，不进行交互，某一步做的不好都会对整体性能造成很大的损失。而本发明采用的卷积神经网络是端到端的，即特征提取和分类器训练是连接在一起的，相互提升，通过随机梯度下降的策略，使得整体性能达到全局最优。

图2示出了根据本发明的一种在智能设备如手机中对图片进行分类的系统的结构示意图，该系统包括：图片输入及概率值确定模块10，用于将待分类的图片输入训练好的卷积神经网络，得到所述图片属于预设的各图片类别的各概率值；其中，所述卷积神经网络包括多个卷积层、至少一下采样层和一分类器层，所述多个卷积层包括至少一多尺度窗口卷积层；所述至少一多尺度窗口卷积层中的每一个用两个以上尺度的卷积核对上一层输出的特征图分别进行卷积操作，并将卷积出来的两个以上特征图叠在一起作为输出特征图；所述分类器层，用于基于在所述图片经过所述多个卷积层和所述至少一下采样层的操作后得到的特征确定所述各概率值；分类模块20，用于根据所述各概率值，确定所述图片所属的至少一图片类别。

除非明确指出，在此所用的单数形式“一”、“该”均包括复数含义(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、步骤、操作、元件、部件和/或其组合。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必精确按照所公开的顺序执行。

一些优选实施例已经在前面进行了说明，但是应当强调的是，本发明不局限于这些实施例，而是可以本发明主题范围内的其它方式实现。

Claims (10)

1.一种在智能设备中对图片进行分类的方法，其特征在于，所述方法包括：

将待分类的图片输入训练好的卷积神经网络，得到所述图片属于预设的各图片类别的各概率值；

根据所述各概率值，确定所述图片所属的至少一图片类别；

其中，所述卷积神经网络包括多个卷积层、至少一下采样层和一分类器层，所述多个卷积层包括至少一多尺度窗口卷积层；

所述至少一多尺度窗口卷积层中的每一个用两个以上尺度的卷积核对上一层输出的特征图分别进行卷积操作，并将卷积出来的两个以上特征图叠在一起作为输出特征图；

所述分类器层，用于基于在所述图片经过所述多个卷积层和所述至少一下采样层的操作后得到的特征确定所述各概率值。

2.根据权利要求1所述的方法，其特征在于，所述多个卷积层还包括至少一单一尺度窗口卷积层；

其中所述至少一单一尺度窗口卷积层包括第一卷积层，位于所述卷积神经网络的第一层，用于对所述图片进行卷积操作并输出特征图。

3.根据权利要求1所述的方法，其特征在于，所述至少一下采样层包括至少一中间采样层，其中，所述至少一中间采样层中的每一个位于所述多个卷积层中的两层卷积层之间。

4.根据权利要求3所述的方法，其特征在于，所述至少一下采样层还包括位于所述多个卷积层之后的最后下采样层，用于对上一层输出的每个特征图取平均值作为整个卷积神经网络最终提取的特征。

5.根据权利要求1所述的方法，其特征在于，所述两个以上尺度的卷积核的尺度包括以下的至少两个：

1×1、3×3、5×5、7×7和9×9。

6.根据权利要求5所述的方法，其特征在于，在所述两个以上尺度的卷积核中，根据最小尺度的卷积核所对应的特征图的尺寸，对所述最小尺度的卷积核以外的其它卷积核所对应的特征图的四周边缘做填充值为0的填充操作，使得所述两个以上特征图的大小一致。

7.根据权利要求1所述的方法，其特征在于，所述分类器层包括Sigmoid分类器并使用交叉熵作为损失函数。

8.根据权利要求1所述的方法，其特征在于，在每一卷积层卷积操作之后均包括：

对卷积层输出的特征图进行Batch归一化处理；及

对归一化的特征图用ReLu激活函数对神经元进行激活。

9.一种在智能设备中对图片进行分类的系统，其特征在于，所述系统包括：

图片输入及概率值确定模块，用于将待分类的图片输入训练好的卷积神经网络，得到所述图片属于预设的各图片类别的各概率值；

分类模块，用于根据所述各概率值，确定所述图片所属的至少一图片类别；

其中，所述卷积神经网络包括多个卷积层、至少一下采样层和一分类器层，所述多个卷积层包括至少一多尺度窗口卷积层；

所述至少一多尺度窗口卷积层中的每一个用两个以上尺度的卷积核对上一层输出的特征图分别进行卷积操作，并将卷积出来的两个以上特征图叠在一起作为输出特征图；

所述分类器层，用于基于在所述图片经过所述多个卷积层和所述至少一下采样层的操作后得到的特征确定所述各概率值。

10.根据权利要求9所述的系统，其特征在于，所述多个卷积层还包括至少一单一尺度窗口卷积层；

其中所述至少一单一尺度窗口卷积层包括第一卷积层，位于所述卷积神经网络的第一层，用于对所述图片进行卷积操作并输出特征图。