CN104766096A - 一种基于多尺度全局特征和局部特征的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于多尺度全局特征和局部特征的图像分类方法，该方法利用图像中的文本信息，提取有效显著区域并计算显著区域中的颜色特征和空间分布特征，利用小波图像金字塔得到多尺度全局特征，利用四分树算法得到局部特征；最终结合多尺度全局特征和局部特征对图像进行分类，该方法的分类正确率可以到达88％。通过分别对分类前后的图像进行文本检测和识别的对比实验发现，图像分类能够有效提高图像中文本信息的检测与识别。

Description

一种基于多尺度全局特征和局部特征的图像分类方法

技术领域

本发明涉及计算机图像分类方法，特别是一种基于多尺度全局特征和局部特征的图像分类方法。

背景技术

图像分类一直是计算机图像领域的一个基本问题，特别是随着互联网的急速发展，大量的无分类的图像出现在网络中，给图像的快速检索及建立在分类之上的应用带来了极大挑战。

目前为止，常见的图像分类技术包括基于色彩特征的分类技术，基于纹理特征的分类技术，基于形状特征的分类技术和基于空间关系的分类技术。基于色彩特征的分类技术假设每种物体都有其特有的色彩特征，由于颜色直方图具有简单且对旋转和缩放不敏感等特征，得到了广泛的关注；基于纹理的图像分类技术，经历了从灰度共生矩阵到小波变换的过程，达到了一定分类效果；基于形状分析的图像分类技术大多围绕着形状的轮廓特征和形状的区域特征，更常用的办法是采用区域特征和边界特征相结合的形式进行形状相似性分析；基于空间关系的图像分类技术，由于利用图像中对象间的位置空间关系区别图像，符合人们识别图像的习惯，所以近些年许多研究人员从图像中对象空间位置关系出发着手分析，虽然起到过一定作用，但由于它们都是采用对象的最小外接矩形来表示一个对象空间位置，这对于矩形对象来说是比较合适的，但是当两个对象是不规则形状，且它们在空间关系上是分离时，它们的外接矩形却存在着某种包含和交叠，结果出现对这些对象空间关系的错误表示。

虽然目前图像分类的方法很多，但大多没有考虑图像中的文本特征对分类起到的作用。同时，对整个图像提取特征不但不是必须的而且需要花费大量计算时间。

发明内容

发明目的：本发明所要解决的问题是针对目前图像分类技术的不足，提供一种基于多尺度全局特征和局部特征的图像分类方法，特别是利用图像中的文本信息提取有效显著区域并计算显著区域中的颜色特征和空间分布特征，利用小波图像金字塔得到多尺度全局特征，利用四分树算法得到局部特征，最后结合多尺度全局特征和局部特征对图像进行分类。

为了解决上述问题，本发明公开了一种基于多尺度全局特征和局部特征的图像分类方法，包括以下步骤：

将待分类图像数据库中的每张原始图像I作为输入，执行步骤1～步骤11：

步骤1：利用MATLAB软件提供的小波图像金字塔算法输入原始图像I，输出五种不同尺度的图像，每种尺度的图像作为下一步的输入图像，执行步骤2～步骤9；五种不同尺度的图像处理完毕后执行步骤10；

步骤2：计算输入图像的灰度图像。其中输入图像属于RGB颜色空间，每个像素由红，绿，蓝三个颜色值决定，每种颜色取值范围0～255。计算后的灰度图像每个像素由一个灰度值决定，灰度值取值范围0～255；

步骤3：利用MATLAB软件提供的Canny边缘和Sobel边缘计算方法，计算灰度图像的Canny边缘图像和Sobel边缘图像。其中，Canny边缘图像和Sobel边缘图像都属于二值图像，每个像素取值0或1；

步骤4：分别计算Canny边缘图像的特征向量场和Sobel边缘图像的特征向量场。计算得到的特征向量场在每个像素处，其值为一个向量，表示该像素处场值的大小和方向；

步骤5：分别计算Canny特征向量场的显著区域和Sobel特征向量场的显著区域。其中，显著区域表现为二值图像，像素值为0表示该像素不属于显著区域，像素值为1表示该像素属于显著区域；

步骤6：计算Canny显著区域和Sobel显著区域的交集，得到这两种显著区域的重合区域，过滤后作为最终显著区域；

步骤7：提取最终显著区域的空间分布特征；

步骤8：根据最终显著区域，保留其对应位置处输入图像的像素值，提取这些像素值的颜色特征。颜色特征包括RGB颜色特征，HSV颜色特征和灰度颜色特征；

步骤9：合并步骤7得到的空间分布特征和步骤8得到的颜色特征，得到原始图像的全局特征。

步骤10：将原始图像I用四分树算法四等分为四个区域，每一个区域作为输入图像，执行步骤2～步骤8，得到输入图像的空间分布特征和颜色特征，合并空间分布特征和颜色特征，得到原始图像的局部特征；

步骤11：整合步骤9和步骤10得到的原始图像的全局特征和局部特征，作为图像的分类特征；

步骤12：选择逻辑回归分类器，对数据库中的图像进行分类。

本发明步骤4中，计算Canny边缘图像的特征向量场和Sobel边缘图像的特征向量场包括以下步骤，定义能量函数ε，通过最小化能量函数ε计算Canny边缘图像的特征向量场g_Canny：

$\mathrm{\ϵ}=\∫\∫\mathrm{\α}\·({u_x}^2+{u_y}^2+{v_x}^2+{v_y}^2)+(1-\mathrm{\α}){|\▿F_{\mathrm{Canny}}|}^2{|g_{\mathrm{Canny}}-{\▿f}_{\mathrm{Canny}}|}^2\mathrm{dxdy},$

其中，ε表示能量函数的值，(x，y)表示像素坐标，f_Canny(x，y)表示Canny边缘图像，表示Canny边缘图像的梯度，g_Canny＝(u(x，y)，v(x，y))，表示待计算的Canny边缘图像特征向量场，u(x，y)和v(x，y)分别是像素坐标(x，y)处特征向量场第一分量和第二分量的值，u_x表示第一分量u(x，y)对像素坐标x的偏导数，u_y表示第一分量u(x，y)对像素坐标y的偏导数，v_x表示第二分量v(x，y)对像素坐标x的偏导数，v_y表示第二分量v(x，y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值可根据图像中的噪声数量设置，本发明专利中，设置α＝0.4。

定义能量函数ξ，通过最小化能量函数ξ计算Sobel边缘图像的特征向量场g_Sobel：

$\mathrm{\ξ}=\∫\∫\mathrm{\α}\·({u_x}^2+{u_y}^2+{v_x}^2+{v_y}^2)+(1-\mathrm{\α}){|\▿f_{\mathrm{Sobel}}|}^2{|g_{\mathrm{Sobel}}-{\▿f}_{\mathrm{Sobel}}|}^2\mathrm{dxdy},$

其中，ξ表示能量函数的值，(x，y)表示像素坐标，f_Sobel(x，y)表示Sobel边缘图像，表示边缘图像的梯度，g_Sobel＝(u(x，y)，v(x，y))，表示待计算的Sobel边缘图像特征向量场，u(x，y)和v(x，y)分别是像素坐标(x，y)处特征向量场第一分量和第二分量值，u_x表示第一分量u(x，y)对像素坐标x的偏导数，u_y表示第一分量u(x，y)对像素坐标y的偏导数，v_x表示第二分量v(x，y)对像素坐标x的偏导数，v_y表示第二分量v(x，y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值根据图像中的噪声数量设置，本发明专利中，设置α＝0.4。

本发明步骤5中，在特征向量场中，显著区域的计算可以通过计算显著像素点得到。如果像素P属于显著区域，其坐标为(x，y)，当且仅当以下四个不等式至少有一个成立，则判定像素P属于显著区域：

g(x，y)·g(x+1，y)＜θ，

g(x，y)·g(x-1，y)＜θ，

g(x，y)·g(x，y+1)＜θ，

g(x，y)·g(x，y-1)＜θ，

其中，g(x，y)表示像素坐标(x，y)处的特征向量，g(x-1，y)表示像素坐标(x-1，y)处的特征向量，g(x，y+1)表示像素坐标(x，y+1)处的特征向量，g(x，y-1)表示像素坐标(x，y-1)处的特征向量。g(x，y)·g(x+1，y)表示特征向量g(x，y)与特征向量g(x+1，y)的点积，θ＝π/4，表示一个阈值。

本发明步骤6中，为了得到最终的显著区域，需要对Canny显著区域和Sobel显著区域求交集然后过滤掉包含像素小于一定值得显著区域，得到最终显著区域。C＝{c_m}表示计算得到的Canny显著区域，每个元素c_m表示一个连通分量，1≤m≤N_C，N_C表示Canny显著区域中连通分量的个数；S＝{s_n}表示Sobel显著区域，每个元素s_n表示一个连通分量，1≤n≤N_S，N_S表示Sobel显著区域中连通分量的个数；

首先，对两种连通分量过滤，保留每个连通分量中包含像素点个数大于ρ的连通分量，其中ρ＝10。即所保留的连通分量必须满足以下条件：

|c_m|≥ρ，

|s_n|≥ρ，

其中，|c_m|表示连通分量c_m包含像素点个数，|s_n|表示连通分量s_n包含像素点个数。

过滤后，求两种显著区域的交集，表示为C∩S。像素P∈C∩S，当且仅当P∈C且p∈S。最后，对交集C∩S再做一次同上的过滤，作为最终的显著区域。

本发明步骤7中，显著区域空间分布特征的计算包括以下步骤：

首先计算最终显著区域中的四种顶点，这四种顶点分别是单支顶点，普通顶点，三路交叉点和十字交叉点。CON_P表示像素P所在的连通区域，ADJ_P表示像素P的邻接像素，CON_P与ADJ_P求交后，所包含像素点的数目为1表示单支顶点，所包含的像素点数目为2表示普通顶点，所包含的像素点数目为3表示三路交叉点，所包含的像素点数目为4表示十字交叉点，如下所示：

利用动态规划算法计算单支顶点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个单支顶点，则像素点和之间的测地距离ED_k，h可表示为：

${\mathrm{ED}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{End}}_k},P_{{\mathrm{End}}_h}),$

其中，表示单支顶点和之间的测地距离，1≤End_k，End_h≤N_end，N_end表示单支顶点的个数；

计算单支顶点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{ED}}=\frac{1}{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_k=1}^{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_h=1}^{{\mathrm{End}}_k}{\mathrm{ED}}_{k,h},$

${\mathrm{Var}}_{\mathrm{ED}}=\frac{1}{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_k=1}^{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_h=1}^{{\mathrm{End}}_k}{({\mathrm{ED}}_{k,h}-{\mathrm{Mean}}_{\mathrm{ED}})}^2,$

其中，Mean_ED表示单支顶点之间测地距离的均值，Var_ED表示单支顶点之间测地距离的方差。

利用动态规划算法计算普通顶点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个普通顶点，则像素点和之间的测地距离PD_k，n可表示为：

${\mathrm{PD}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{Pixel}}_k},P_{{\mathrm{Pixel}}_h}),$

其中，表示普通顶点和之间的测地距离，1≤Pixel_k，Pixel_n≤N_Pixel，N_Pixel表示普通顶点的个数；

计算普通顶点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{PD}}=\frac{1}{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_k=1}^{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_h=1}^{{\mathrm{Pixel}}_k}{\mathrm{PD}}_{k,h},$

${\mathrm{Var}}_{\mathrm{PD}}=\frac{1}{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_k=1}^{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_h=1}^{{\mathrm{Pixel}}_k}{({\mathrm{PD}}_{k,h}-{\mathrm{Mean}}_{\mathrm{PD}})}^2,$

其中，Mean_PD表示普通顶点之间测地距离的均值，Var_PD表示普通顶点之间测地距离的方差。

利用动态规划算法计算三路交叉点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个三路交叉点，则像素点和之间的测地距离JD_k，h可表示为：

${\mathrm{JD}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{Junc}}_k},P_{{\mathrm{Junc}}_h}),$

其中，表示三路交叉点和之间的测地距离，1≤Jumc_k，Junc_h≤N_Junc，N_Junc表示三路交叉点的个数；

计算三路交叉点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{JD}}=\frac{1}{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_k=1}^{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_h=1}^{{\mathrm{Junc}}_k}{\mathrm{JD}}_{k,h},$

${\mathrm{Var}}_{\mathrm{JD}}=\frac{1}{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_k=1}^{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_h=1}^{{\mathrm{Junc}}_k}{({\mathrm{JD}}_{k,h}-{\mathrm{Mean}}_{\mathrm{JD}})}^2,$

其中，Mean_JD表示三路交叉点之间测地距离的均值，Var_JD表示三路交叉点之间测地距离的方差。

利用动态规划算法计算十字交叉点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个十字交叉点，则像素点和之间的测地距离ID_k，h可表示为：

${\mathrm{ID}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{Inter}}_k},P_{{\mathrm{Inter}}_h}),$

其中，表示十字交叉点和之间的测地距离，1≤Inter_k，Inter_h≤N_Inter，N_Inter表示十字交叉点的个数；

计算十字交叉点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{ID}}=\frac{1}{N_{\mathrm{Inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_k=1}^{N_{\mathrm{Inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_h=1}^{{\mathrm{Inter}}_k}{\mathrm{ID}}_{k,h},$

${\mathrm{Var}}_{\mathrm{ID}}=\frac{1}{N_{\mathrm{Inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_k=1}^{N_{\mathrm{inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_h=1}^{{\mathrm{Inter}}_k}{({\mathrm{ID}}_{k,h}-{\mathrm{Mean}}_{\mathrm{ID}})}^2,$

其中，Mean_ID表示十字交叉点之间测地距离的均值，Var_ID表示十字交叉点之间测地距离的方差。

最终得到8个特征作为最终显著区域的空间分布特征，分别是单支顶点之间测地距离的均值和方差，普通顶点单支顶点之间测地距离的均值和方差，三路交叉点之间测地距离的均值和方差，十字交叉点之间测地距离的均值和方差；

本发明步骤8中，显著区域颜色特征的计算包括以下步骤：

首先，根据最终显著区域对应的输入图像位置，可以得到对应位置处的RGB颜色值，统计RGB每个颜色通道值的分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，可以得到30维的RGB特征；

然后，将RGB颜色空间转换为HSV颜色空间，得到对应位置处的HSV颜色值，统计HSV每个通道值得分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到30维的HSV特征；

最后，将RGB颜色空间转换为灰度空间，得到对应位置处的灰度颜色值，将灰度值的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到10维灰度特征，最终得到90维颜色特征。

有益效果：本发明是一种基于多尺度全局特征和局部特征的图像分类方法，特别是利用图像中的文本信息提取有效显著区域并计算显著区域中的颜色特征和空间分布特征，利用小波图像金字塔得到多尺度全局特征，利用四分树算法得到局部特征，最后结合多尺度全局特征和局部特征对图像进行分类。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为本发明提出的颜色特征和空间分布特征的计算流程。

图3表示输入的原始图像。

图4表示输入图像的边缘图像。

图5表示输入图像的特征向量场。

图6表示输入图像的显著区域。

图7表示得到的最终显著区域。

图8表示最终显著区域对应的原始图像。

具体实施方式：

本发明所述的基于多尺度全局特征和局部特征的图像分类方法的基本出发点是提取图像显著区域的颜色特征和空间分布特征，进而利用小波图像金字塔和四叉树算法得到全局特征和局部特征进行图像分类。

实施例

下面结合图1和图2对本发明做更加详细的解释：

如图3所示(由于本发明的特殊性，不可避免的采用灰度照片展示处理效果)，表示输入的原始图像。将待分类图像数据库中的每张原始图像I作为输入，执行步骤1～步骤11：

步骤1：利用MATLAB软件提供的小波图像金字塔算法，输入原始图像I_w×h，输出五种不同尺度的图像I⁰ _w×h，I¹ _w/2×h/1，I² _w/4×h/4，I³ _w/8×h/8，I⁴ _w/16×h/16，每种尺度的图像作为下一步的输入图像，执行步骤2～步骤9，其中，w表示原始图像的宽度，h表示原始图像的高度，输入图像I′是五种不同尺度图像中的任意一种；

步骤2：计算输入图像的灰度图像。其中输入图像属于RGB颜色空间，每个像素由红，绿，蓝三个颜色值决定，每种颜色取值范围0～255。计算后的灰度图像每个像素由一个灰度值决定，灰度值取值范围0～255；

步骤3：利用MATLAB软件提供的Canny边缘和Sobel边缘计算方法，计算灰度图像的Canny边缘图像和Sobel边缘图像。如图4所示，图4中(a)表示输入图像的Canny边缘图像，图4中(b)表示输入图像的Sobel边缘图像。

其中，Canny边缘图像和Sobel边缘图像都属于二值图像，每个像素取值0或1；

步骤4：分别计算Canny边缘图像的梯度向量场和Sobel边缘图像的梯度向量场。如图5所示(由于本发明的特殊性，不可避免的采用灰度照片展示处理效果)，图5中(a)表示输入图像的Canny特征向量场，图5中(b)表示输入图像的Sobel特征向量场。

计算得到的梯度向量场在每个像素处，其值为一个向量，表示该像素处场值的大小和方向。定义能量函数ε，通过最小化能量函数ε计算Canny边缘图像的特征向量场g_Canny：

$\mathrm{\ϵ}=\∫\∫\mathrm{\α}\·({u_x}^2+{u_y}^2+{v_x}^2+{v_y}^2)+(1-\mathrm{\α}){|\▿F_{\mathrm{Canny}}|}^2{|g_{\mathrm{Canny}}-{\▿f}_{\mathrm{Canny}}|}^2\mathrm{dxdy},$

其中，ε表示能量函数的值，(x，y)表示像素坐标，f_Canny(x，y)表示Canny边缘图像，表示Canny边缘图像的梯度，g_Canny＝(u(x，y)，v(x，y))，表示待计算的Canny边缘图像特征向量场，u(x，y)和v(x，y)分别是像素坐标(x，y)处特征向量场第一分量和第二分量的值，u_x表示第一分量u(x，y)对像素坐标x的偏导数，u_y表示第一分量u(x，y)对像素坐标y的偏导数，v_x表示第二分量v(x，y)对像素坐标x的偏导数，u_y表示第二分量v(x，y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值可根据图像中的噪声数量设置，本发明专利中，设置α＝0.4。

定义能量函数ξ，通过最小化能量函数ξ计算Sobel边缘图像的特征向量场g_Sobel：

$\mathrm{\ξ}=\∫\∫\mathrm{\α}\·({u_x}^2+{u_y}^2+{v_x}^2+{v_y}^2)+(1-\mathrm{\α}){|\▿f_{\mathrm{Sobel}}|}^2{|g_{\mathrm{Sobel}}-{\▿f}_{\mathrm{Sobel}}|}^2\mathrm{dxdy},$

其中，ξ表示能量函数的值，(x，y)表示像素坐标，f_Sobel(x，y)表示Sobel边缘图像，表示边缘图像的梯度，g_Sobel＝(u(x，y)，v(x，y))，表示待计算的Sobel边缘图像特征向量场，u(x，y)和v(x，y)分别是像素坐标(x，y)处特征向量场第一分量和第二分量值，u_x表示第一分量u(x，y)对像素坐标x的偏导数，u_y表示第一分量u(x，y)对像素坐标y的偏导数，v_x表示第二分量v(x，y)对像素坐标x的偏导数，v_y表示第二分量v(x，y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值根据图像中的噪声数量设置，本发明专利中，设置α＝0.4。

步骤5：分别计算Canny特征向量场的显著区域和Sobel特征向量场的显著区域。其中，显著区域表现为二值图像，像素值为0表示该像素不属于显著区域，像素值为1表示该像素属于显著区域。如果像素P属于显著区域，其坐标为(x，y)，当且仅当以下四个不等式至少有一个成立，则判定像素P属于显著区域：

g(x，y)·g(x+1，y)＜θ，

g(x，y)·g(x-1，y)＜θ，

g(x，y)·g(x，y+1)＜θ，

g(x，y)·g(x，y-1)＜θ，

其中，g(x，y)表示像素坐标(x，y)处的特征向量，g(x-1，y)表示像素坐标(x-1，y)处的特征向量，g(x，y+1)表示像素坐标(x，y+1)处的特征向量，g(x，y-1)表示像素坐标(x，y-1)处的特征向量。g(x，y)·g(x+1，y)表示特征向量g(x，y)与特征向量g(x+1，y)的点积，θ＝π/4，表示一个阈值。如图6所示，图6中(a)表示输入图像的Canny显著区域，图6中(b)表示输入图像的Sobel显著区域。

步骤6：计算Canny显著区域和Sobel显著区域的交集，得到这两种显著区域的重合区域，过滤后作为最终显著区域。C＝{c_m}表示计算得到的Canny显著区域，每个元素c_m表示一个连通分量，1≤m≤N_C，N_C表示Canny显著区域中连通分量的个数；S＝{s_n}表示Sobel显著区域，每个元素s_n表示一个连通分量，1≤n≤N_S，N_S表示Sobel显著区域中连通分量的个数；

首先，对两种连通分量过滤，保留每个连通分量中包含像素点个数大于ρ的连通分量，其中ρ＝10。即所保留的连通分量必须满足以下条件：

|c_m|≥ρ，

|s_n|≥ρ，

其中，|c_m|表示连通分量c_m包含像素点个数，|s_n|表示连通分量s_n包含像素点个数。

过滤后，求两种显著区域的交集，表示为C∩S。像素P∈C∩S，当且仅当P∈C且P∈S。最后，对交集C∩S再做一次同上的过滤，作为最终的显著区域。如图7所示，表示经步骤6得到的最终显著区域。

步骤7：提取最终显著区域的空间分布特征。包括以下步骤：

首先计算最终显著区域中的四种顶点，这四种顶点分别是单支顶点，普通顶点，三路交叉点和十字交叉点。CON_P表示像素P所在的连通区域，ADJ_P表示像素P的邻接像素，CON_P与ADJ_P求交后，所包含像素点的数目为1表示单支顶点，所包含的像素点数目为2表示普通顶点，所包含的像素点数目为3表示三路交叉点，所包含的像素点数目为4表示十字交叉点，如下所示：

利用动态规划算法计算单支顶点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个单支顶点，则像素点和之间的测地距离ED_k，h可表示为：

${\mathrm{ED}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{End}}_k},P_{{\mathrm{End}}_h}),$

其中，表示单支顶点和之间的测地距离，1≤End_k，End_h≤N_end，N_end表示单支顶点的个数；

计算单支顶点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{ED}}=\frac{1}{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_k=1}^{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_h=1}^{{\mathrm{End}}_k}{\mathrm{ED}}_{k,h},$

${\mathrm{Var}}_{\mathrm{ED}}=\frac{1}{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_k=1}^{N_{\mathrm{end}}}{\mathrm{\Σ}}_{{\mathrm{End}}_h=1}^{{\mathrm{End}}_k}{({\mathrm{ED}}_{k,h}-{\mathrm{Mean}}_{\mathrm{ED}})}^2,$

其中，Mean_ED表示单支顶点之间测地距离的均值，Var_ED表示单支顶点之间测地距离的方差。

利用动态规划算法计算普通顶点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个普通顶点，则像素点和之间的测地距离PD_k，h可表示为：

${\mathrm{PD}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{Pixel}}_k},P_{{\mathrm{Pixel}}_h}),$

其中，表示普通顶点和之间的测地距离，1≤Pixel_k，Pixel_h≤N_Pixel，N_Pixel表示普通顶点的个数；

计算普通顶点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{PD}}=\frac{1}{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_k=1}^{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_h=1}^{{\mathrm{Pixel}}_k}{\mathrm{PD}}_{k,h},$

${\mathrm{Var}}_{\mathrm{PD}}=\frac{1}{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_k=1}^{N_{\mathrm{Pixel}}}{\mathrm{\Σ}}_{{\mathrm{Pixel}}_h=1}^{{\mathrm{Pixel}}_k}{({\mathrm{PD}}_{k,h}-{\mathrm{Mean}}_{\mathrm{PD}})}^2,$

其中，Mean_PD表示普通顶点之间测地距离的均值，Var_PD表示普通顶点之间测地距离的方差。

利用动态规划算法计算三路交叉点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个三路交叉点，则像素点和之间的测地距离JD_k，h可表示为：

${\mathrm{JD}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{Junc}}_k},P_{{\mathrm{Junc}}_h}),$

其中，表示三路交叉点和之间的测地距离，1≤Junc_k，Junc_h≤N_Junc，N_Junc表示三路交叉点的个数；

计算三路交叉点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{JD}}=\frac{1}{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_k=1}^{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_h=1}^{{\mathrm{Junc}}_k}{\mathrm{JD}}_{k,h},$

${\mathrm{Var}}_{\mathrm{JD}}=\frac{1}{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_k=1}^{N_{\mathrm{Junc}}}{\mathrm{\Σ}}_{{\mathrm{Junc}}_h=1}^{{\mathrm{Junc}}_k}{({\mathrm{JD}}_{k,h}-{\mathrm{Mean}}_{\mathrm{JD}})}^2,$

其中，Mean_JD表示三路交叉点之间测地距离的均值，Var_JD表示三路交叉点之间测地距离的方差。

利用动态规划算法计算十字交叉点间的测地距离，本发明中利用MATLAB提供的动态规划之最短路径算法求解。像素点和是两个十字交叉点，则像素点和之间的测地距离ID_k，h可表示为：

${\mathrm{ID}}_{k,h}=\mathrm{NGD}(P_{{\mathrm{Inter}}_k},P_{{\mathrm{Inter}}_h}),$

其中，表示十字交叉点和之间的测地距离，1≤Inter_k，Inter_h≤N_Inter，N_Inter表示十字交叉点的个数；

计算十字交叉点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{ID}}=\frac{1}{N_{\mathrm{Inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_k=1}^{N_{\mathrm{Inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_h=1}^{{\mathrm{Inter}}_k}{\mathrm{ID}}_{k,h},$

${\mathrm{Var}}_{\mathrm{ID}}=\frac{1}{N_{\mathrm{Inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_k=1}^{N_{\mathrm{inter}}}{\mathrm{\Σ}}_{{\mathrm{Inter}}_h=1}^{{\mathrm{Inter}}_k}{({\mathrm{ID}}_{k,h}-{\mathrm{Mean}}_{\mathrm{ID}})}^2,$

其中，Mean_ID表示十字交叉点之间测地距离的均值，Var_ID表示十字交叉点之间测地距离的方差。

最终得到8个特征作为最终显著区域的空间分布特征，分别是单支顶点之间测地距离的均值和方差，普通顶点单支顶点之间测地距离的均值和方差，三路交叉点之间测地距离的均值和方差，十字交叉点之间测地距离的均值和方差；

步骤8：根据最终显著区域，保留其对应位置处输入图像的像素值，提取这些像素值的颜色特征。颜色特征包括RGB颜色特征，HSV颜色特征和灰度颜色特征。具体步骤包括：

首先，根据最终显著区域对应的输入图像位置，可以得到对应位置处的RGB颜色值，统计RGB每个颜色通道值的分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，可以得到30维的RGB特征；

然后，将RGB颜色空间转换为HSV颜色空间，得到对应位置处的HSV颜色值，统计HSV每个通道值得分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到30维的HSV特征；

最后，将RGB颜色空间转换为灰度空间，得到对应位置处的灰度颜色值，将灰度值的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到10维灰度特征，最终得到90维颜色特征。如图8所示(由于本发明的特殊性，不可避免的采用灰度照片展示处理效果)，表示最终显著区域对应的原始图像。

步骤9：合并步骤7得到的空间分布特征和步骤8得到的颜色特征，得到原始图像的全局特征。

步骤10：将原始图像I四等分，四等分具体指将原始图像I平均分成四部分，四部分分别是原始图像的左上部分，右上部分，左下部分，右下部分。每一个部分作为输入图像，执行步骤2～步骤8，得到输入图像的空间分布特征和颜色特征，合并输入图像的空间分布特征和颜色特征，得到原始图像的局部特征。

步骤11：整合全局特征和局部特征。由五种尺度的图像得到的特征视为全局特征，由四等分后的图像得到的特征视为局部特征。将局部特征追加到全局特征末尾，形成原始输入图像特征；

步骤12：选择逻辑回归分类器，对数据库中的图像进行分类。

本发明提供了一种基于多尺度全局特征和局部特征的图像分类方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于多尺度全局特征和局部特征的图像分类方法，其特征在于，包括以下步骤：

将待分类图像数据库中的每张原始图像I作为输入，执行步骤1～步骤11：

步骤1：利用小波图像金字塔算法输入原始图像I，输出五种不同尺度的图像，每种尺度的图像作为下一步的输入图像，执行步骤2～步骤9，五种不同尺度的图像处理完毕后执行步骤10；

步骤2：计算输入图像的灰度图像，其中输入图像属于RGB颜色空间，每个像素由红，绿，蓝三个颜色值决定，每种颜色取值范围0～255，计算后的灰度图像每个像素由一个灰度值决定，灰度值取值范围0～255；

步骤3：计算灰度图像的Canny边缘图像和Sobel边缘图像，其中，Canny边缘图像和Sobel边缘图像都属于二值图像，每个像素取值0或1；

步骤4：分别计算Canny边缘图像的特征向量场和Sobel边缘图像的特征向量场，计算得到的特征向量场在每个像素处，其值为一个向量，表示该像素处场值的大小和方向；

步骤5：分别计算Canny特征向量场的显著区域和Sobel特征向量场的显著区域，其中，显著区域表现为二值图像，像素值为0表示该像素不属于显著区域，像素值为1表示该像素属于显著区域；

步骤6：计算Canny显著区域和Sobel显著区域的交集，得到这两种显著区域的重合区域，过滤后作为最终显著区域；

步骤7：提取最终显著区域的空间分布特征；

步骤8：根据最终显著区域，保留其对应位置处输入图像的像素值，提取这些像素值的颜色特征，颜色特征包括RGB颜色特征，HSV颜色特征和灰度颜色特征，RGB颜色指红色Red，绿色Green和蓝色Blue首字母缩写，HSV颜色指色调Hue，饱和度Saturation和亮度Value首字母缩写；

步骤9：合并步骤7得到的空间分布特征和步骤8得到的颜色特征，得到原始图像的全局特征；

步骤10：将原始图像I用四分树算法四等分为四个区域，每一个区域作为输入图像，执行步骤2～步骤8，得到输入图像的空间分布特征和颜色特征，合并空间分布特征和颜色特征，得到原始图像的局部特征；

步骤11：整合步骤9和步骤10得到的原始图像的全局特征和局部特征，作为图像的分类特征；

步骤12：选择逻辑回归分类器，对待分类图像数据库中的图像进行分类。

2.根据权利要求1所述的一种基于多尺度全局特征和局部特征的图像分类方法，其特征在于，步骤4中，

定义能量函数ε，通过最小化能量函数ε计算Canny边缘图像的特征向量场g_Canny：

$\mathrm{\ϵ}=\∫\∫\mathrm{\α}\·({u_x}^2+{u_y}^2+{v_x}^2+{v_y}^2)+(1-\mathrm{\α}){|\▿f_{\mathrm{Canny}}|}^2{|g_{\mathrm{Canny}}-\▿f_{\mathrm{Canny}}|}^2\mathrm{dxdy},$

其中，ε表示能量函数的值，(x,y)表示像素坐标，f_Canny(x,y)表示Canny边缘图像，表示Canny边缘图像的梯度，g_Canny＝(u(x,y),v(x,y))，u(x,y)和v(x,y)分别是像素坐标(x,y)处特征向量场第一分量和第二分量的值，u_x表示第一分量u(x,y)对像素坐标x的偏导数，u_y表示第一分量u(x,y)对像素坐标y的偏导数，v_x表示第二分量v(x,y)对像素坐标x的偏导数，v_y表示第二分量v(x,y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值根据图像中的噪声数量设置；

定义能量函数ξ，通过最小化能量函数ξ计算Sobel边缘图像的特征向量场g_Sobel：

$\mathrm{\ξ}=\∫\∫\mathrm{\α}\·({u_x}^2+{u_y}^2+{v_x}^2+{v_y}^2)+(1-\mathrm{\α}){|\▿f_{\mathrm{Sobel}}|}^2{|g_{\mathrm{Sobel}}-\▿f_{\mathrm{Sboel}}|}^2\mathrm{dxdy},$

其中，ξ表示能量函数的值，(x,y)表示像素坐标，f_Sobel(x,y)表示Sobel边缘图像，表示边缘图像的梯度，g_Sobel＝(u(x,y),v(x,y))，表示待计算的Sobel边缘图像特征向量场，u(x,y)和v(x,y)分别是像素坐标(x,y)处特征向量场第一分量和第二分量值，u_x表示第一分量u(x,y)对像素坐标x的偏导数，u_y表示第一分量u(x,y)对像素坐标y的偏导数，v_x表示第二分量v(x,y)对像素坐标x的偏导数，v_y表示第二分量v(x,y)对像素坐标y的偏导数，α表示归一化参数，取值范围0～1，其值根据图像中的噪声数量设置。

3.根据权利要求2所述的一种基于多尺度全局特征和局部特征的图像分类方法，其特征在于，步骤5中，

如果像素P属于显著区域，其坐标为(x,y)，当且仅当以下四个不等式至少有一个成立，则判定像素P属于显著区域：

g(x,y)·g(x+1,y)＜θ，

g(x,y)·g(x-1,y)＜θ，

g(x,y)·g(x,y+1)＜θ，

g(x,y)·g(x,y-1)＜θ，

其中，g(x,y)表示像素坐标(x,y)处的特征向量，g(x-1,y)表示像素坐标(x-1,y)处的特征向量，g(x,y+1)表示像素坐标(x,y+1)处的特征向量，g(x,y-1)表示像素坐标(x,y-1)处的特征向量，g(x,y)·g(x+1,y)表示特征向量g(x,y)与特征向量g(x+1,y)的点积，θ＝π/4，表示一个阈值。

4.根据权利要求3所述的一种基于多尺度全局特征和局部特征的图像分类方法，其特征在于，步骤6中，

使用C＝{c_m}表示计算得到的Canny显著区域，每个元素c_m表示一个连通分量，1≤m≤N_C，N_C表示Canny显著区域中连通分量的总数；S＝{s_n}表示Sobel显著区域，每个元素s_n表示一个连通分量，1≤n≤N_s，N_s表示Sobel显著区域中连通分量的总数；

对两种连通分量过滤，保留每个连通分量中包含像素点个数大于阈值ρ的连通分量，其中ρ＝10，即所保留的连通分量必须满足以下条件：

|c_m|≥ρ，

|s_n|≥ρ，

其中，|c_m|表示连通分量c_m包含像素点个数，|s_n|表示连通分量s_n包含像素点个数；

经过首次过滤，得到Canny显著区域C′和Sobel显著区域S′，计算这两种显著区域的交集，表示为C′∩S′，像素PCC′∩S′，当且仅当P∈C′且P∈S′，然后对交集C′∩S′中的连通分量再次过滤，保留交集中连通分量包含的像素点个数大于ρ的连通分量作为最终显著区域，其中ρ＝10。

5.根据权利要求4所述的一种基于多尺度全局特征和局部特征的图像分类方法，其特征在于，步骤7中，

计算最终显著区域中的四种顶点，这四种顶点分别是单支顶点，普通顶点、三路交叉点和十字交叉点，CON_P表示像素P所在的连通区域，ADJ_P表示像素P的邻接像素，根据连通区域CON_P与邻接像素ADJ_P求交后所包含像素点的数目判定像素P的类型：

利用动态规划算法计算单支顶点间的测地距离，像素点P_k和P_h是两个单支顶点，则像素点P_k和P_h之间的测地距离EP_f,h可表示为：

EP_k,h＝NGD(P_k,_h)，

其中，NGD(P_k,_h)表示单支顶点P_k与P_h之间的测地距离，1≤k,h≤N_end，N_end表示单支顶点的个数；

计算单支顶点之间测地距离均值和方差：

${\mathrm{Mean}}_{\mathrm{EP}}=\frac{1}{N_{\mathrm{end}}}{\mathrm{\Σ}}_{k=1}^{N_{\mathrm{end}}}{\mathrm{\Σ}}_{h=1}^k{\mathrm{EP}}_{k,h},$

${\mathrm{Var}}_{\mathrm{EP}}=\frac{1}{N_{\mathrm{end}}}{\mathrm{\Σ}}_{k=1}^{N_{\mathrm{end}}}{\mathrm{\Σ}}_{h=1}^k{({\mathrm{EP}}_{k,h}-{\mathrm{Mean}}_{\mathrm{EP}})}^2,$

其中，Mean_EP表示单支顶点之间测地距离的均值，Var_EP表示单支顶点之间测地距离的方差；

利用动态规划算法首先计算普通顶点之间的测地距离，然后计算普通顶点之间测地距离的均值和方差；

利用动态规划算法首先计算三路交叉点之间的测地距离，然后计算三路交叉点之间测地距离的均值和方差；

利用动态规划算法首先计算十字交叉点之间的测地距离，然后计算十字交叉点之间测地距离的均值和方差；

最终得到8个特征作为最终显著区域的空间分布特征，分别是单支顶点之间测地距离的均值和方差，普通顶点之间测地距离的均值和方差，三路交叉点之间测地距离的均值和方差，十字交叉点之间测地距离的均值和方差。

6.根据权利要求5所述的一种基于多尺度全局特征和局部特征的图像分类方法，其特征在于，步骤8中，

根据最终显著区域对应的输入图像位置，得到对应位置处的RGB颜色值，统计RGB每个颜色通道值的分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到30维的RGB特征；

将RGB颜色空间转换为HSV颜色空间，得到对应位置处的HSV颜色值，统计HSV每个通道值得分布，将每个通道的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到30维的HSV特征；

将RGB颜色空间转换为灰度空间，得到对应位置处的灰度颜色值，将灰度值的取值范围0～255平均划分为10个区间，统计每个区间内像素点的个数占总像素个数的比例，得到10维灰度特征，最终得到90维颜色特征。