CN105809182A - 一种图像分类的方法及装置 - Google Patents

Abstract

本发明适用于计算机信息技术领域，提供了一种图像分类的方法及装置，包括：将图像分解成多个通道的子图像，将每个所述子图像分割成大小相同的n个图像块，所述n为大于1的整数；基于所述图像块计算所述的图像的相对特征，所述相对特征用于描述所述图像的局部相对性，所述局部相对性包括颜色的相对性；对所述相对特征进行编码和池化，构建所述图像的全局表示；将所述图像的全局表示送入预设的分类器，以对所述图像进行分类。在本发明中，通过图像的相对特征来对图像进行分类，能够在分类过程中很好地保留了图像的相对性颜色信息，提高了对图像描述的完整性，从而提高了图像分类的准确性。

Description

一种图像分类的方法及装置

技术领域

本发明属于计算机信息技术领域，尤其涉及一种图像分类的方法及装置。

背景技术

图像分类技术旨在通过计算机处理来实现对图片所属类别的判定，因此，图像的表示方法直接影响到最终的判定准确率。目前常用的是利用局部特征来实现图像表示，该方法在图像识别、图像检索、物体分类、场景分析等技术领域都有广泛的应用。

传统局部特征通常只描述了图像密集采样之后块的边缘信息，这种边缘信息对应神经视觉里的形状信息，然而，人的视觉信息是由形状和相对性颜色两部分组成的，而传统局部特征缺少了对相对性颜色信息的描述，对图像的描述不完整，这会直接导致后续对图像进行编码时丢失更多的信息，使得图像分类的准确性降低。

在发明本实施例中，通过图像的相对特征来对图像进行分类，能够在分类过程中很好地保留了图像的相对性颜色信息，提高了对图像描述的完整性，从而提高了图像分类的准确性。

发明内容

本发明实施例的目的在于提供一种图像分类的方法及装置，旨在解决现有技术中缺少对图像相对性颜色信息的描述，导致对图像进行分类的准确性降低的问题。

本发明实施例是这样实现的，一种图像分类的方法，包括：

将图像分解成多个通道的子图像，将每个所述子图像分割成大小相同的n个图像块，所述n为大于1的整数；

基于所述图像块计算所述的图像的相对特征，所述相对特征用于描述所述图像的局部相对性，所述局部相对性包括颜色的相对性；

对所述相对特征进行编码和池化，构建所述图像的全局表示；

将所述图像的全局表示送入预设的分类器，以对所述图像进行分类。

本发明实施例的另一目的在于提供一种图像分类的装置，包括：

分解单元，用于将图像分解成多个通道的子图像，将每个所述子图像分割成大小相同的n个图像块，所述n为大于1的整数；

计算单元，用于基于所述图像块计算所述的图像的相对特征，所述相对特征用于描述所述图像的局部相对性，所述局部相对性包括颜色的相对性；

构建单元，用于对所述相对特征进行编码和池化，构建所述图像的全局表示；

分类单元，用于将所述图像的全局表示送入预设的分类器，以对所述图像进行分类。

附图说明

图1是本发明实施例提供的图像分类的方法的实现流程图；

图2是本发明实施例提供的图像分类的方法S102的具体实现流程图；

图3是本发明实施例提供的图像分类的方法空间相对特征提取流程示意图；

图4是本发明另一实施例提供的图像分类的方法S102的具体实现流程图；

图5是本发明实施例提供的相对特征与SIFT特征提取对比示意图；

图6是本发明另一实施例提供的图像分类的方法的实现流程；

图7是本发明实施例提供的图像分类的装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的图像分类的方法的实现流程，详述如下：

在S101中，将图像分解成多个通道的子图像，将每个所述子图像分割成大小相同的n个图像块，所述n为大于1的整数。

在本实施例中，对于给定的图像，为了提取该图像的颜色信息，首先将该图像分解为多个不同通道的子图像，例如，分解为R、G、B三个颜色通道的子图像，并将每个通道的子图像分割成大小相同的n个图像块。

在S102中，基于所述图像块计算所述的图像的相对特征，所述相对特征用于描述所述图像的局部相对性，所述局部相对性包括颜色的相对性。

在本实施例中，执行S102之前，对于分解得到的每个通道的子图像，可以先用一个由m×m个所述图像块大小组成的滑动窗口以滑动步长1滑过整张子图像，以计算出每个图像块中的特征值的概率密度分布，所述特征值，可以为图像块的像素值。

接下来，对图像进行相对特征计算，与传统的局部特征描述图像密集采样之后块的边缘信息相比，在本实施例中，所述相对特征用于描述图像的相对性颜色信息。以下提出两种相对特征的计算方法：

(一)空间相对特征：

如图2所示，S102具体为：

在S201中，用一个由m×m个所述图像块大小的块组成的滑动窗口滑过整张所述子图像，所述滑动窗口的滑动步长为1，所述m大于1且所述m×m小于n。

在S202中，在所述滑动窗口滑过的所述子图像的每个覆盖区域，计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q＝(Q¹，Q²，……，Q^m-1)的f-divergence特征值。

在统计和信息理论中，f-divergence是作为一种描述概率分布间差异的度量。通常有：

$D_f(p_i,p_j)={\∫}_R{p}_i\left(x\right)f\left(\frac{p_j\left(x\right)}{p_i\left(x\right)}\right)\mathrm{dx}$

其中p_i(x)和p_j(x)是空间R上的两个概率分布的密度函数。F-divergence有很多例子，例如：KL距离、Bhattacharyya距离、Hellinger距离，选取不同的例子来计算f-divergence会产生不同的性能。在本实施例中，选取Hellinger距离作为例子来说明。则有

$f(P,Q)=\underset{I}{\mathrm{\Σ}}\frac{1}{2}{(\sqrt{\frac{P\left(i\right)}{Q\left(i\right)}}-1)}^2$

其中P,Q为两个概率分布。

基于Hellinger距离的例子，可以得到子图像中滑动窗口滑过的每个覆盖区域的f-divergence特征值：

其中，所述P为所述中心块覆盖区域P的特征值的概率密度函数，所述Q为剩余(m×m-1)个块覆盖区域Q的特征值的概率密度函数。

在S203中，将每个所述通道的所述子图像的f-divergence特征值进行合并，生成所述图像的所述空间相对特征。

首先串联每个子图像中不同覆盖区域的f-divergence特征值，得到：

LCD＝[f(P,Q¹),f(P,Q²),…f(P,Q^m-1)]，

接着将每个所述通道的子图像的f-divergence特征值进行合并，以R、G、B三个通道为例，得到：

SLCD＝[LCD_R；LCD_G；LCD_B]。

图3示出了本发明实施例提供的空间相对特征的提取流程示意图。

需要说明的是，在本实施例中，除了计算f-divergence特征值，也可以计算其他特征值。

(二)通道间相对特征：

如图4所示，S102具体为：

在S401中，计算每两个通道所述子图像之间同一位置的相对特征：

$f(P_A\left(i\right),P_B\left(i\right))={\∫}_R{P}_A\left(i\right)f\left(\frac{P_A\left(x\right)}{P_B\left(x\right)}\right)\mathrm{dx},$

其中，所述为A通道上每个所述图像块的特征值的概率密度函数，所述为B通道上每个所述图像块的特征值的概率密度函数，，所述(A，B)为(R，B)、(R、G)或者(G，B)。

在S402中，分别将计算得到的每两个通道所述子图像的所有相对特征串联起来，生成所述图像的每两个通道之间的通道间相对特征：

CLCD＝[f(P_A(1),P_B(1))；f(P_A(2),P_B(2))；…f(P_A(n),P_B(n))]。

在本实施例中，两两通道间的通道间相对特征也可以通过f-divergence特征值来表示。

在S103中，对所述相对特征进行编码和池化，构建所述图像的全局表示。

通过S102计算得到的相对特征可用于对图像进行分类，以增加图像分类的准确率。在本实施例中，可以对S102计算得到的相对特征进行编码和池化：

令X＝{x_t,t＝1,…,T}为T个局部的相对特征(提取自一张图)，假设X服从概率密度函数μ_λ，μ代表了所有的参数，则X可以表示为以下梯度向量：

$G_{\mathrm{\λ}}^X=\frac{1}{T}{\▿}_{\mathrm{\λ}}\log {\mathrm{\μ}}_{\mathrm{\λ}}\left(X\right)$

此向量的维度只与μ中参数个数有关，与T的个数无关，常用的核函数为：

$K(X,Y)=G_{\mathrm{\λ}}^{X^{\′}}{F}_{\mathrm{\λ}}^{-1}{G}_{\mathrm{\λ}}^Y$

从而通过 $F_{\mathrm{\λ}}=E_{x~{\mathrm{\μ}}_{\mathrm{\λ}}}\left[{\▿}_{\mathrm{\λ}}\log {\mathrm{\μ}}_{\mathrm{\λ}}\left(x\right){\▿}_{\mathrm{\λ}}\log {\mathrm{\μ}}_{\mathrm{\λ}}{\left(x\right)}^{\′}\right]$ 形成图像的最终表示。

在S104中，将所述图像的全局表示送入预设的分类器，以对所述图像进行分类。

在本实施例中，用S103最终形成的表示训练分类器，如支持向量机(SupportVectorMachine，SVM)等，进而实现图像分类。

在本实施例中，通过图像的相对特征来对图像进行分类，能够在分类过程中很好地保留了图像的相对性颜色信息，提高了对图像描述的完整性，从而提高了图像分类的准确性。

图5示出了图像的相对特征提取与传统的尺度不变特征转换(ScaleInvariantFeatureTransform，SIFT)特征提取的对比示意图，可以看出，在最终提取出的图像特征中，相对特征的向量维度要高于SIFT特征的向量维度，可以表明，与SIFT特征相比，相对特征保留了更多的图像信息。

作为本发明的一个实施例，如图6所示，在S104之前，所述方法还包括：

S601，将通过尺度不变特征转换SIFT算法提取的SIFT特征进行编码和池化。

S601，将编码和池化后的所述SIFT特征和所述相对特征进行串联。

S601，利用串联生成的特征训练所述预设的分类器。

并与传统的尺度不变特征转换(ScaleInvariantFeatureTransform，SIFT)算法形成有效的互补，即，将传统的SIFT特征与本发明实施例提出的相对特征进行结合，将SIFT特征进行相同方法的编码和池化，在训练分类器之前与编码和池化后的相对特征进行串联，再去训练分类器，进而实现分类，以利用相对特征与SIFT特征的强互补性来提高图像分类的准确率。

基于上文所述的图像分类的方法，图7示出了本发明实施例提供的图像分类的装置，为了便于说明，仅示出了与本实施例相关的部分。

参照图7，该装置包括：

分解单元71，将图像分解成多个通道的子图像，将每个所述子图像分割成大小相同的n个图像块，所述n为大于1的整数。

计算单元72，基于所述图像块计算所述的图像的相对特征，所述相对特征用于描述所述图像的局部相对性，所述局部相对性包括颜色的相对性。

构建单元73，对所述相对特征进行编码和池化，构建所述图像的全局表示。

分类单元74，将所述图像的全局表示送入预设的分类器，以对所述图像进行分类。

可选地，所述相对特征包括空间相对特征，所述计算单元72包括：

滑动子单元，用一个由m×m个所述图像块大小的块组成的滑动窗口滑过整张所述子图像，所述滑动窗口的滑动步长为1，所述m大于1且所述m×m小于n。

第一计算子单元，在所述滑动窗口滑过的所述子图像的每个覆盖区域，计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q的f-divergence特征值。

第一生成子单元，将每个所述通道的所述子图像的f-divergence特征值进行合并，生成所述图像的所述空间相对特征。

可选地，所述计算子单元具体用于：

通过计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q的f-divergence特征值，所述Q＝(Q¹，Q²，……，Q^m-1),所述P为所述中心块覆盖区域P的特征值的概率密度函数，所述Q为剩余(m×m-1)个块覆盖区域Q的特征值的概率密度函数。

可选地，所述相对特征包括通道间相对特征，所述计算单元72包括：

第二计算子单元，根据 $f(P_A\left(i\right),P_B\left(i\right))={\∫}_R{P}_A\left(i\right)f\left(\frac{P_A\left(x\right)}{P_B\left(x\right)}\right)\mathrm{dx}$ 计算每两个通道所述子图像之间同一位置的相对特征，其中，所述为A通道上每个所述图像块的特征值的概率密度函数，所述为B通道上每个所述图像块的特征值的概率密度函数，所述(A，B)为(R，B)、(R、G)或者(G，B)。

第二生成子单元，分别将计算得到的每两个通道所述子图像的所有相对特征串联起来，生成所述图像的每两个通道之间的通道间相对特征。

可选地，所述装置还包括：

SIFT特征提取单元，将通过尺度不变特征转换SIFT算法提取的SIFT特征进行编码和池化；

串联单元，将编码和池化后的所述SIFT特征和所述相对特征进行串联；

训练单元，利用串联生成的特征训练所述预设的分类器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像分类的方法，其特征在于，包括：

将图像分解成多个通道的子图像，将每个所述子图像分割成大小相同的n个图像块，所述n为大于1的整数；

基于所述图像块计算所述的图像的相对特征，所述相对特征用于描述所述图像的局部相对性，所述局部相对性包括颜色的相对性；

对所述相对特征进行编码和池化，构建所述图像的全局表示；

将所述图像的全局表示送入预设的分类器，以对所述图像进行分类。

2.如权利要求1所述的方法，其特征在于，所述相对特征包括空间相对特征，所述基于所述图像块计算所述的图像的相对特征包括：

用一个由m×m个所述图像块大小的块组成的滑动窗口滑过整张所述子图像，所述滑动窗口的滑动步长为1，所述m大于1且所述m×m小于n；

在所述滑动窗口滑过的所述子图像的每个覆盖区域，计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q的f-divergence特征值；

将每个所述通道的所述子图像的f-divergence特征值进行合并，生成所述图像的所述空间相对特征。

3.如权利要求2所述的方法，其特征在于，所述计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q的f-divergence特征值包括：

通过计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q的f-divergence特征值，所述Q＝(Q¹，Q²，……，Q^m-1),所述P为所述中心块覆盖区域P的特征值的概率密度函数，所述Q为剩余(m×m-1)个块覆盖区域Q的特征值的概率密度函数。

4.如权利要求1所述的方法，其特征在于，所述相对特征包括通道间相对特征，所述基于所述图像块计算所述的图像的相对特征包括：

根据 $f(P_A\left(i\right),P_B\left(i\right))={\∫}_R{P}_A\left(i\right)f\left(\frac{P_A\left(x\right)}{P_B\left(x\right)}\right)\mathrm{dx}$ 计算每两个通道所述子图像之间同一位置的相对特征，其中，所述为A通道上每个所述图像块的特征值的概率密度函数，所述为B通道上每个所述图像块的特征值的概率密度函数，所述(A，B)为(R，B)、(R、G)或者(G，B)；

分别将计算得到的每两个通道所述子图像的所有相对特征串联起来，生成所述图像的每两个通道之间的通道间相对特征。

5.如权利要求1所述的方法，其特征在于，在所述将所述图像的全局表示送入预设的分类器之前，所述方法还包括：

将通过尺度不变特征转换SIFT算法提取的SIFT特征进行编码和池化；

将编码和池化后的所述SIFT特征和所述相对特征进行串联；

利用串联生成的特征训练所述预设的分类器。

6.一种图像分类的装置，其特征在于，包括：

分解单元，用于将图像分解成多个通道的子图像，将每个所述子图像分割成大小相同的n个图像块，所述n为大于1的整数；

计算单元，用于基于所述图像块计算所述的图像的相对特征，所述相对特征用于描述所述图像的局部相对性，所述局部相对性包括颜色的相对性；

构建单元，用于对所述相对特征进行编码和池化，构建所述图像的全局表示；

分类单元，用于将所述图像的全局表示送入预设的分类器，以对所述图像进行分类。

7.如权利要求6所述的装置，其特征在于，所述相对特征包括空间相对特征，所述计算单元包括：

滑动子单元，用于用一个由m×m个所述图像块大小的块组成的滑动窗口滑过整张所述子图像，所述滑动窗口的滑动步长为1，所述m大于1且所述m×m小于n；

第一计算子单元，用于在所述滑动窗口滑过的所述子图像的每个覆盖区域，计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q的f-divergence特征值；

第一生成子单元，用于将每个所述通道的所述子图像的f-divergence特征值进行合并，生成所述图像的所述空间相对特征。

8.如权利要求7所述的装置，其特征在于，所述计算子单元具体用于：

通过计算所述滑动窗口的每个中心块覆盖区域P与剩余(m×m-1)个块覆盖区域Q的f-divergence特征值，所述Q＝(Q¹，Q²，……，Q^m-1),所述P为所述中心块覆盖区域P的特征值的概率密度函数，所述Q为剩余(m×m-1)个块覆盖区域Q的特征值的概率密度函数。

9.如权利要求6所述的装置，其特征在于，所述相对特征包括通道间相对特征，所述计算单元包括：

第二计算子单元，用于根据 $f(P_A\left(i\right),P_B\left(i\right))={\∫}_R{P}_A\left(i\right)f\left(\frac{P_A\left(x\right)}{P_B\left(x\right)}\right)\mathrm{dx}$ 计算每两个通道所述子图像之间同一位置的相对特征，其中，所述为A通道上每个所述图像块的特征值的概率密度函数，所述为B通道上每个所述图像块的特征值的概率密度函数，所述(A，B)为(R，B)、(R、G)或者(G，B)；

第二生成子单元，用于分别将计算得到的每两个通道所述子图像的所有相对特征串联起来，生成所述图像的每两个通道之间的通道间相对特征。

10.如权利要求6所述的装置，其特征在于，所述装置还包括：

SIFT特征提取单元，用于将通过尺度不变特征转换SIFT算法提取的SIFT特征进行编码和池化；

串联单元，用于将编码和池化后的所述SIFT特征和所述相对特征进行串联；

训练单元，用于利用串联生成的特征训练所述预设的分类器。