CN105631466A - 图像分类的方法及装置 - Google Patents

Abstract

本发明适用于计算机视觉技术领域，提供了一种图像分类的方法及装置。该方法包括：通过深度卷积神经网络提取输入图像的中间卷积层的特征以及全连接层的特征；对提取的所述中间卷积层的特征进行预处理，并对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征，对提取的全连接层的特征进行归一化处理后作为图像表示的高层语义特征；将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合；基于融合后的特征进行图像分类。通过本发明，可有效提高图像内容识别的准确率，进而提高图像分类的准确率。

Description

图像分类的方法及装置

技术领域

本发明属于计算机视觉技术领域，尤其涉及图像分类的方法及装置。

背景技术

图像分类技术是指通过计算机算法判断图像内容如物体、场景等所属的类别。而图像分类技术中图像的特征表示将直接影响最终的判断结果。随着深度学习的发展，使用大量数据训练的卷积神经网络模型成为主要的图像分类技术，该技术利用卷积神经网络中的全连接层作为图像的特征表示，然后利用SoftMax等分类器进行分类，在实际应用中取得了较好的效果。

然而，全连接层的图像特征表示的是图像的高层语义特征，主要描述图像的整体布局。但在许多图像中，例如：卧室和客厅，整体布局相同，但是客厅一般只放沙发，卧室只放床。而这些物体上的差异信息高层语义特征往往无法表述，影响了图像分类的准确率。

发明内容

鉴于此，本发明实施例提供一种图像分类的方法及装置，以提高图像分类的准确率。

第一方面，本发明实施例提供了一种图像分类的方法，所述方法包括：

通过卷积神经网络提取输入图像的中间卷积层的特征以及全连接层的特征；

对提取的所述中间卷积层的特征进行预处理，并对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征，对提取后的全连接层的特征进行归一化处理后作为图像表示的高层语义特征；

将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合；

基于融合后的特征进行图像分类。

第二方面，一种图像分类的装置，所述装置包括：

特征提取单元，用于通过卷积神经网络提取输入图像的中间卷积层的特征以及全连接层的特征；

处理单元，用于对提取的所述中间卷积层的特征进行预处理，并对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征，对提取后的全连接层的特征进行归一化处理后作为图像表示的高层语义特征；

融合单元，用于将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合；

分类单元，用于基于融合后的特征进行图像分类。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过卷积神经网络提取输入图像的中间卷积层的特征，对提取的所述中间卷积层的特征进行预处理后编码成图像表示的中层语义特征，并将所述图像表示的中层语义特征和图像表示的高层语义特征进行融合，通过融合后的混合特征来表示图像信息，由于融合后的混合特征不仅能够体现图像的高层全局语义特征而且也能很好的体现图像的细节和局部信息，因此效果相比单一的全连接层特征有明显提高，可有效提高图像内容识别的准确率，进而提高图像分类的准确率，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像分类的方法的实现流程示意图；

图2是本发明实施例提供的图像分类的装置的组成结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

请参阅图1，图1示出了本发明实施例提供的图像分类的方法的实现流程，该方法可适用于各类终端设备，如个人计算机、平板电脑、手机等。该方法过程详述如下：

步骤S101，通过卷积神经网络提取输入图像的中间卷积层的特征以及全连接层的特征。

需要说明的是，所述卷积神经网络包含多个卷积层，不同的卷积层所包含的信息不同。本实施例所述中间卷积层可以看做是一个三维矩阵，因此提取的所述中间卷积层的特征为F＝m×n×k，其中m×n为每个卷积特征图的大小，k为卷积特征图(卷积滤波器)的个数。

在步骤S102中，对提取的所述中间卷积层的特征进行预处理，并对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征，对提取后的全连接层的特征进行归一化处理后作为图像表示的高层语义特征。

在本实施例中，所述对提取的所述中间卷积层的特征进行预处理包括：

将每个特征图处理成一列mn，得到一个二维数组(大小为mn×k)，对所述二维数组进行归一化和降维处理，得到最后的特征X＝[x₁；x₂；...；x_k]，其中x_t表示一个k维的行特征，t＝1,2,...,k,X可以作为所有行特征的集合。

本实施例还包括对X中的行特征进行编码，以形成图像表示的中层语义特征，具体如下：

令X＝{x_t}，X服从概率密度函数μ_λ，λ表示所有的参数λ＝{w_i,μ_i,∑_i,i＝1...K}，则X可以表示为梯度向量所述梯度向量与λ中参数的个数相关，常用的核函数为：则形成图像表示的中层语义特征为其中表示对logμ_λ(X)求关于λ的偏导,E_x～μλ表示求期望。

在步骤S103中，将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合。

在本实施例中，通过融合后的混合特征来表示图像信息，由于融合后的混合特征不仅能够体现图像的高层语义特征而且也能很好的体现图像的细节和局部信息，因此效果相比单一的全连接层特征有明显提高。其中，所述融合包括将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行特征拼接的操作，当然还可以采用其他融合方式，在此不做限定。

在步骤S104中，基于融合后的特征进行图像分类。

在本实施例中，可以通过支持向量机(SupportVectorMachine,SVM)等分类器对融合后的特征进行分析，进而实现图像的分类。具体还可以是，在训练阶段，通过融合后的特征训练分类器，通过训练后的分类器对测试图像进行分类，从而可有效提高图像分类的准确率。

本发明经过大量实验，在多个测试数据集上使用本发明所述方法均获得较好的图像分类效果，如表1所示：

表1

从表1可以看出，本发明所述方法相比现有的图像分类方法，准确率有了明显的提高，说明中间卷积层的特征与全连接层的特征有很强的互补性。

图2为本发明实施例提供的图像分类的装置的组成结构示意图。为了便于说明，仅示出了与本发明实施例相关的部分。

所述图像分类的装置可应用于各种终端设备，例如口袋计算机(PocketPersonalComputer，PPC)、掌上电脑、计算机、笔记本电脑、个人数字助理(PersonalDigitalAssistant，PDA)等，可以是运行于这些终端内的软件单元、硬件单元或者软硬件相结合的单元，也可以作为独立的挂件集成到这些终端中或者运行于这些终端的应用系统中。

所述图像分类的装置包括：

特征提取单元21，用于通过卷积神经网络提取输入图像的中间卷积层的特征以及全连接层的特征；

处理单元22，用于对提取的所述中间卷积层的特征进行预处理，并对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征，对提取的全连接层的特征进行归一化处理后作为图像表示的高层语义特征；

融合单元23，用于将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合；

分类单元24，用于基于融合后的特征进行图像分类。

其中，提取的所述中间卷积层的特征为F＝m×n×k，其中m×n为每个卷积特征图的大小，k为卷积特征图的个数。

进一步的，所述处理单元22具体用于：

将每个特征图处理成一列，得到一个二维数组，对所述二维数组进行归一化和降维处理，得到最后的特征X＝[x₁；x₂；...；x_k]，其中x_t表示一个k维的行特征，t＝1,2,...,k。

进一步的，所述处理单元22具体用于：

令X＝{x_t}，X服从概率密度函数μ_λ，λ表示所有的参数，则X表示为形成图像表示的中层语义特征为 $F_{\mathrm{\λ}}=E_{x~\mathrm{\μ}\mathrm{\λ}}\[{\▿}_{\mathrm{\λ}}{\mathrm{log\μ}}_{\mathrm{\λ}}\left(x\right){\left({\▿}_{\mathrm{\λ}}{\mathrm{log\μ}}_{\mathrm{\λ}}\left(x\right)\right)}^T\].$

综上所述，本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过卷积神经网络提取输入图像的中间卷积层的特征，对提取的所述中间卷积层的特征进行预处理后编码成图像表示的中层语义特征，并将所述图像表示的中层语义特征和图像表示的高层语义特征进行融合，通过融合后的混合特征来表示图像信息，由于融合后的混合特征不仅能够体现图像的高层全局语义特征而且也能很好的体现图像的细节和局部信息，因此效果相比单一的全连接层特征有明显提高，可有效提高图像内容识别的准确率，进而提高图像分类的准确率。另外，本发明实施例在实现上述过程中，不需要增加额外的硬件，可有效降低成本，具有较强的易用性和实用性。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述装置中各单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

Claims (8)

1.一种图像分类的方法，其特征在于，所述方法包括：

通过卷积神经网络提取输入图像的中间卷积层的特征以及全连接层的特征；

对提取的所述中间卷积层的特征以及全连接层的特征进行预处理，并对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征，对提取的全连接层的特征进行归一化处理后作为图像表示的高层语义特征；

将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合；

基于融合后的特征进行图像分类。

2.如权利要求1所述的图像分类的方法，其特征在于，提取的所述中间卷积层的特征为F＝m×n×k，其中m×n为每个卷积特征图的空间大小，k为卷积特征图的个数。

3.如权利要求2所述的图像分类的方法，其特征在于，所述对提取的所述中间卷积层的特征进行预处理包括：

将每个特征图处理成一列，得到一个二维数组，对所述二维数组进行归一化和降维处理，得到最后的特征X＝[x₁；x₂；...；x_k]，其中x_t表示一个k维的行特征，t＝1,2,...,k。

4.如权利要求3所述的图像分类的方法，其特征在于，所述对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征包括：

令X＝{x_t}，X服从概率密度函数μ_λ，λ表示所有的参数，则X表示为形成图像表示的中层语义特征为 $F_{\mathrm{\λ}}=E_{x~\mathrm{\μ}\mathrm{\λ}}\[{\▿}_{\mathrm{\λ}}{\mathrm{log\μ}}_{\mathrm{\λ}}\left(x\right){\left({\▿}_{\mathrm{\λ}}{\mathrm{log\μ}}_{\mathrm{\λ}}\left(x\right)\right)}^T\].$

5.一种图像分类的装置，其特征在于，所述装置包括：

特征提取单元，用于通过卷积神经网络提取输入图像的中间卷积层的特征以及全连接层的特征；

处理单元，用于对提取的所述中间卷积层的特征进行预处理，并对预处理后的中间卷积层的特征进行编码，以形成图像表示的中层语义特征，对提取的全连接层的特征进行归一化处理后作为图像表示的高层语义特征；

融合单元，用于将所述图像表示的中层语义特征和所述图像表示的高层语义特征进行融合；

分类单元，用于基于融合后的特征进行图像分类。

6.如权利要求5所述的图像分类的装置，其特征在于，提取的所述中间卷积层的特征为F＝m×n×k，其中m×n为每个卷积特征图的大小，k为卷积特征图的个数。

7.如权利要求6所述的图像分类的装置，其特征在于，所述处理单元具体用于：

将每个特征图处理成一列，得到一个二维数组，对所述二维数组进行归一化和降维处理，得到最后的特征X＝[x₁；x₂；...；x_k]，其中x_t表示一个k维的行特征，t＝1,2,...,k。

8.如权利要求7所述的图像分类的装置，其特征在于，所述处理单元具体用于：

令X＝{x_t}，X服从概率密度函数μ_λ，λ表示所有的参数，则X表示为形成图像表示的中层语义特征为 $F_{\mathrm{\λ}}=E_{x~\mathrm{\μ}\mathrm{\λ}}\[{\▿}_{\mathrm{\λ}}{\mathrm{log\μ}}_{\mathrm{\λ}}\left(x\right){\left({\▿}_{\mathrm{\λ}}{\mathrm{log\μ}}_{\mathrm{\λ}}\left(x\right)\right)}^T\].$