CN103902965A - 空域共生图像表示方法及其在图像分类、识别中的应用 - Google Patents

Abstract

本发明公开了一种图像空域共生特征的提取方法和基于空域共生特征的图像表示方法，包括：对输入图像提取采样点，抽取采样点局部特征；对采样点的局部特征进行量化索引，获得索引值；根据索引值统计获得图像空域共生特征，计算空域共生特征的直方图作为图像表示。本发明还公开了基于上述图像表示方法的图像识别方法和分类方法。本发明利用空域共生特征表示图像，能够更好的捕捉空域相关和局部上下文信息；利用空域共生特征进行图像分类和识别，加快了计算速度，提高了分类精度和识别率。

Description

空域共生图像表示方法及其在图像分类、识别中的应用

【技术领域】

本发明涉及图像处理技术领域，尤其涉及一种空域共生图像表示方法，以及用所述图像表示进行图像分类和识别的方法。。

【背景技术】

对图像的信息进行快速准确的描述一直都是图像分类和图像识别技术中研究的重难点。现有技术中图像特征的提取方法大多为围绕图像的颜色、纹理、形状和空间关系展开的，这些方法虽可描述图像的局部特征，但是忽视了图像中局部相邻区域的相关性。在一个自然图像中，空间上相邻区域总是存在着很大的相关性，而这种相关性又在一定程度上反映了更复杂的图像结构，所以如何有效地捕捉这种相关性是非常重要的。现有技术“Textural Features for ImageClassification”（R.Haralick,K.Shanmugam and I.Dinstein,IEEE Trans of Systems,Man and Cybernetics,1973）提出描述空域的灰度像素值共生，将一定范围空间内像素的相关性因素即灰度共生作为图像的重要信息，但是由于自然图像存在光照，旋转，尺度等变换，该现有技术中提出的空域的灰度共生是容易受到光照变化的影响，空域的灰度共生特征由于对光照的敏感而无法作为图像信息对图像进行准确描述。

【发明内容】

本发明旨在解决上述现有技术中存在的问题，提出一种空域共生的图像表示方法，包括：

对输入图像提取采样点，提取采样点局部特征；

对采样点的局部特征进行量化索引，获得索引值；

根据索引值统计获得图像空域共生特征。

进一步地，所述提取采样点的方法为密集采样或兴趣点检测。

进一步地，所述兴趣点为DoG兴趣点或Harris角点。

进一步地，所述采样点的局部特征为像素块值，SIFT（尺度不变的特征变换）特征、LBP（局部二值模式）特征或HOG（梯度方向直方图）特征。

进一步地，所述根据索引值统计获得图像空域共生特征的具体步骤为根据两个或多个索引在空域中同时存在的频度或强度的统计结果获得图像空域共生特征。

本发明还提供了一种利用上述的图像表示进行图像识别的方法，包括：

对输入图像提取采样点，提取采样点局部特征；

对采样点的局部特征进行量化索引，获得索引值；

根据两个或多个索引值在局部图像区域内的共生统计量获得图像空域共生特征；

以图像空域共生特征表示作为分类器输入，根据样本的类别属性，用分类识别算法对不同类型样本进行分类器训练，得到不同类型图像的分类器；

用不同类型图像的分类器对待测图像进行判别，对比不同类型图像的分类器的判别结果，选取分类器输出分数最大的类别作为图像识别结果。

进一步地，所述分类器为SVM（支持向量机）分类器、KNN（最邻近）分类器、Random Forest（随机森林）分类器或Bayesian（贝叶斯）分类器。

进一步地，进行不同类型样本的分类器训练时所用分类器为SVM分类器，所述SVM分类器为线性支持向量机，将图像空域共生特征进行直接特征映射，用映射后所得特征进行不同样本的关系描述和计算。

进一步地，所述识别方法在对图像提取采样点前进一步包括以下步骤：根据不同分辨率对图像进行分块,并将各分块图像的区域共存特征进行集成。

本发明另外提供了一种利用上述的图像表示进行图像分类的方法，包括：

对输入图像提取采样点，提取采样点局部特征；

对采样点的局部特征进行量化索引，获得索引值；

根据索引值统计获得图像空域共生特征；

根据图像空域共生特征将图像分类到预定义内容的类别。

本发明最后提供了一种图像识别系统，包括：

采样模块，用以对输入图像提取采样点；

特征提取模块，用以获得图像采样点的局部特征；

索引模块，用以根据图像采样点的局部特征进行量化索引；

空域共生特征模块，用以根据两个或多个索引在空域中同时存在的频度或强度的统计结果获得图像空域共生特征；

训练模块，用以根据样本的类别属性，用分类识别算法对不同类型样本进行分类器训练，得到不同类型图像的分类器；

识别模块，用以对待测图像进行判别，对比不同类型图像的分类器的判别结果，选取分类器输出分数最大的类别作为图像识别结果。

进一步地，所述识别系统还包括图像分块模块，用于在提取采样点前根据不同分辨率对输入图像进行分块。

本发明的有益效果在于，利用空域共生特征表示图像，能够更好地捕捉空域相关和局部上下文信息；利用空域共生特征进行图像分类和识别，加快了计算速度，提高了识别性能。

【附图说明】

图1是根据本发明的图像表示方法的流程图。

图2是根据本发明的图像识别方法的流程图。

图3表示根据本发明的图像识别系统的结构框图。

图4是根据本发明的图像分类方法的流程图。

图5表示根据本发明的图像分类系统的结构框图。

图6是本发明实施例1的图像识别方法流程图。

图7是本发明实施例2的图像识别方法流程图。

图8是Labelme数据集分类混淆矩阵图。

图9是UIUC-sports数据集分类混淆矩阵图。

图10是Scene-15数据集分类混淆矩阵图。

图11是SUN数据集识别率与训练样本变化图。

【具体实施方式】

为了使本领域的技术人员更好地理解本申请的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

本发明将局部特征索引的共生矩阵引入到采样点的局部特征索引中，形成空域共生特征，用来进行图像表示。输入图像首先被提取采样点，然后从采样点的周边图像块中提取一组特征向量作为局部特征，依据字典对局部特征进行索引，最后在上述特征向量中寻找共生特征，最终形成空域共生特征，用空域共生特征作为图像信息表征。针对空域共生特征选用合适的统计学习方法对其进行训练分类和识别，就可以进一步完成图像的分类或识别。

图1为根据本发明的图像表示方法的流程图。

在步骤S1，对输入图像提取采样点，提取采样点局部特征。提取采样点的方法优选为密集采样或兴趣点检测。所述密集采样为在x和y方向上等间隔的选取采样点；所述兴趣点检测优选DoG兴趣点或Harris角点作为描述对象，即选择DoG兴趣点或Harris角点作为采样点。还可选用其他兴趣点作为采样点。

在步骤S2，对采样点的局部特征进行量化索引，获得索引值。首先对步骤1中所得采样点提取特征，优选提取采样点的像素块值，SIFT特征、LBP特征或HOG特征；然后，对提取的采样点的特征进行索引，针对提取的特征不同，采用不同的索引方式。第一，对于具有连续的特征分布空间的特征，首选要对提取的特征进行聚类，形成词典，再将每个特征量化，将所述特征归类于最接近的单词，建立所述特征的索引，例如SIFT特征；第二，对于具有离散的特征分布空间的特征，无需进行聚类，直接对特征进行量化，索引，例如LBP特征和HOG特征，以LBP特征为例，LBP特征共有256个模式，所述256个模式为一部天然的词典。

此步骤中优选提取LBP特征或HOG特征进行索引，简化步骤，加快完成速度。

在步骤S3，根据索引值统计获得图像空域共生特征。根据步骤S2所得局部特征索引，统计两个索引或多个索引的空域共生特征。本实施例以统计局部空域内两点的共生为例说明统计方法。

选择共生模式进行统计，优选为以下几种：

第一，按照设定的位置模版统计共生，例如，图像大小为N×M的图像I，图像I上的采样点（x，y）的特征索引值为f（x，y），对于位置模版（u，v），选择共生矩阵C进行统计，其中，（i，j）表示特定局部特征索引。

共生矩阵C反映了局部特征索引在所述模式的直方图。通常情况下，（u，v）被设置成很小的值。如果特征被量化为包含n个单词的词典，位置模版的数量为k，则共生矩阵C的维度是k×n×n。

第二，按照区域统计共生，例如，设定距离为K，对于点A和点B，如果点A和点B的距离小于K（即D（A，B）＜K），点A和点B的共生将被统计到一个模版中。

第三，共生模式进行加权，按照加权后的模版统计共生。每一个共生模式产生的空域共生特征在后续的分类和识别中具有不同的鉴别力，如纹理，梯度变化较大的区域包含了图像更多的纹理和形状信息。因此有效地加权共生模式能够很好的强调某些鉴别性的区域。加权方法有基于梯度的加权和基于显著性的加权等。

上述所描述的统计方法是基于两个点的共生，也可延伸至三个点的共生或多个点的共生，即统计局部空域内三个点或多个点的共生。选择合理的编码方法控制图像表示的维度。多个点的共生拥有更好的描述能力，但是鲁棒性会下降。

本发明还提供了利用上述图像表示进行图像识别的方法，图2为所述图像识别方法的流程图，图3表示一个根据本发明的图像识别系统。

在步骤S21，用采样模块102将由输入模块101输入的输入图像提取采样点。具体步骤与步骤S1相同。

在步骤S22，用特征提取模块103提取采样点的局部特征，用索引模块104将上述提取的局部特征进行量化索引，获得索引值。具体步骤与步骤S2相同。

在步骤S23，用空域共生特征获得模块105对步骤S22中得到的索引进行统计，得到空域共生特征。根据步骤S22所得局部特征索引，统计两个索引或多个索引的空域共生特征。具体步骤与步骤S3相同。

在步骤S24中，训练模块106以图像空域共生特征表示作为分类器输入，根据样本的类别属性，用分类识别算法对不同类型样本进行分类器训练，得到不同类型图像的分类器。进行不同类型样本的分类器训练时所用分类器优选SVM分类器、KNN分类器、Random Forest分类器或Bayesian分类器，更优选SVM分类器。本发明还可选用其他分类器对不同类型样本进行训练。核SVM分类器相比线性SVM分类器性能较好，但是线性SVM分类器具有训练简单，测试速度快等优点，在本发明的一个优选实施例中，采用如下方案：将图像空域共生特征进行直接特征映射，用映射后所得特征用线性SVM分类器进行不同样本的关系描述和计算。上述方案达到了核SVM分类器的性能，且大大提升了训练和测试的速度。

在步骤S25中，用识别模块107对待测图像空域共生特征进行判别，对比不同类型图像的分类器的判别结果，选取分类器输出分数最大的类别作为图像识别结果。实际中，例如，所述空域共生特征可以加权方法进行运用以获得输出分数，也就是，每个空域共生特征对于识别的作用可以得到调节。

在实际应用中，许多自然图像和场景图像存在很强的整体的空域布局先验信息，为了进一步增加图像的表达能力，有必要捕捉空域布局先验信息，在本发明的一个优选实施例中，在步骤S21前进一步包括根据不同分辨率对图像进行分块的步骤。在步骤S23中，不同图像的分块形成空域金字塔，对不同空域金字塔层分别进行空域共生特征点提取，进一步增强图像的表达能力，加快识别速度，提升识别效果。

本发明还提供了利用上述图像表示进行图像分类的方法，图4为所述图像识别方法的流程图，图5表示一个根据本发明的图像识别系统。

在步骤S31，用采样模块202将由输入模块201输入的输入图像提取采样点。具体步骤与步骤S1相同。

在步骤S32，用特征提取模块203提取采样点的局部特征，用索引模块204将上述提取的局部特征进行量化索引，获得索引值。具体步骤与步骤S2相同。

在步骤S33，用空域共生特征获得模块205对步骤S32中得到的索引进行统计，得到空域共生特征。具体步骤与步骤S3相同。

在步骤S34中，由图像分类模块206依据来自空域共生特征获得模块205的图像特征对图像进行分类。根据上述图像特征，图像分类模块206获得一个分类值以描述该图像可能包含预定义内容所达到的程度。如果图像分类模块206判断出该分类值不小于一预定的阈值，则图像分类模块206将该输入图像分类到具有预定义内容的类别中。否则，该输入图像不被分类到具有预定义内容的类别中。

实施例1

图像识别方法，如图6所示，步骤如下：

S1-1对输入图像通过密集采样的方式提取采样点，提取采样点的LBP特征；

S1-2对LBP特征进行量化索引；

S1-3将步骤S1-2中所得索引按照设定的位置模版（u，v）统计共生，设图像大小为N×M的图像I，图像I上的采样点（x，y）的特征索引值为f（x，y），对于位置模版（u，v），选择共生矩阵C进行统计，其中，（i，j）表示特定局部特征索引。

共生矩阵C反映了局部特征索引在所述模式的直方图。通常情况下，（u，v）被设置成很小的值。如果特征被量化为包含n个单词的词典，位置模版的数量为k，则共生矩阵C的维度是k×n×n；

S1-4用SVM分类器对不同类型的图像样本训练分类器：

样本创建；

将样本中所有的图片按照步骤S1-1到步骤S1-3的方法提取空域共生特征；

将上述所得空域共生特征进行直接特征映射，得到映射空域共生特征；

选择线性函数进行不同样本的关系描述；

根据选定的线性函数对样本的所有映射空域共生特征进行计算，构造一个使样本可分的特征空间；

S1-5对待测图像空域共生特征进行检测，对比步骤S1-4所得不同类型图像的分类器的检测结果，选取分类器输出分数最大的类别作为图像识别结果。

应用例1

用实施例1的图像识别方法对Labelme数据集中的图像进行识别，Labelme数据集中共有8个类别，每个类别约有200张图片，每个类别抽取其中100张按照步骤S1-4的方法训练8个类别的分类器，其余的图片进行测试实验，结果如图8所示。

应用例2

用实施例1的图像识别方法对UIUC-sports数据集中的图像进行识别，UIUC-sports数据集中共有8个类别，每个类别抽取其中70张图片按照步骤S1-4的方法训练8个类别的分类器，其余的图片进行测试实验，结果如图9所示。

应用例3

用实施例1的图像识别方法对Scene-15数据集中的图像进行识别，Scene-15数据集中共有15个类别，每个类别约有200张图片，每个类别抽取其中100张按照步骤S1-4的方法训练15个类别的分类器，其余的图片进行测试实验，结果如图10所示。

实施例2

图像识别方法，如图7所示，步骤如下：

S2-0根据不同分辨率对图像进行分块；

S2-1对输入图像提取DoG兴趣点作为采样点，提取采样点的LBP特征；

S2-2对LBP特征进行量化索引；

S2-3根据步骤S2-0中的分块结果形成空域金字塔；

对不同空域金字塔层分别进行空域共生特征点提取，将步骤S1-2中所得索引按照设定的位置模版（u，v）统计共生，设图像大小为N×M的图像I，图像I上的采样点（x，y）的特征索引值为f（x，y），对于位置模版（u，v），选择共生矩阵C进行统计，其中，（i，j）表示特定局部特征索引。

共生矩阵C反映了局部特征索引在所述模式的直方图。通常情况下，（u，v）被设置成很小的值。如果特征被量化为包含n个单词的词典，位置模版的数量为k，则共生矩阵C的维度是k×n×n；

S2-4用SVM分类器对不同类型的图像样本训练分类器：

样本创建；

将样本中所有的图片按照步骤S2-1到步骤S2-3的方法提取空域共生特征；

将上述所得空域共生特征进行直接特征映射，得到映射空域共生特征；

选择线性函数进行不同样本的关系描述；

根据选定的线性函数对样本的所有映射空域共生特征进行计算，构造一个使样本可分的特征空间；

S2-5对待测图像空域共生特征进行检测，对比步骤S2-4所得不同类型图像的分类器的检测结果，选取分类器输出分数最大的类别作为图像识别结果。

应用例4

用实施例2的图像识别方法对SUN数据集中的图像进行识别，SUN数据集中共有397个类别，每个类别分别抽取其中1，5，10，20，50张图片按照步骤S2-4的方法训练分类器，其余的图片进行测试实验。

应用例5

用实施例1的图像识别方法对SUN数据集中的图像进行识别，SUN数据集中共有397个类别，每个类别分别抽取其中1，5，10，20，50张图片按照步骤S1-4的方法训练分类器，其余的图片进行测试实验。

对比例1

用传统SIFT特征识别方法对SUN数据集中的图像进行识别。

对比例2

用颜色直方图对SUN数据集中的图像进行识别。

对比例3

用边缘直线段（Straight line）对SUN数据集中的图像进行识别。

对比例4

用微型图像（Tiny image）对SUN数据集中的图像进行识别。,

对比例5

用纹理基元（texton）对SUN数据集中的图像进行识别。

应用例4和5及对比例1-5的结果如图11所示，在不同类型分类器训练过程中所用样本越大，识别率越高，本发明的图像识别方法对图像的识别率显著高于其他方法，说明本发明的图像识别方法具有较好的效果。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (12)

1.一种空域共生的图像表示方法，包括：

对输入图像提取采样点，提取采样点局部特征；

对采样点的局部特征进行量化索引，获得索引值；

根据索引值统计获得图像空域共生特征。

2.根据权利要求1所述的图像表示方法，其特征在于，所述提取采样点的方法为密集采样或兴趣点检测。

3.根据权利要求2所述的图像表示方法，其特征在于，所述兴趣点为DoG兴趣点或Harris角点。

4.根据权利要求1所述的图像表示方法，其特征在于，所述采样点的局部特征为像素块值、SIFT特征、LBP特征或HOG特征。

5.根据权利要求1所述的图像表示方法，其特征在于，所述根据索引值统计获得图像空域共生特征的具体步骤为根据两个或多个索引在空域中同时存在的频度或强度的统计结果获得图像空域共生特征。

6.一种利用权利要求1的图像表示进行图像识别的方法，包括：

对输入图像提取采样点，并提取采样点局部特征；

对采样点的局部特征进行量化索引，获得索引值；

根据索引值统计获得图像空域共生特征；

以图像空域共生特征表示作为分类器输入，根据样本的类别属性，用分类识别算法对不同类型样本进行分类器训练，得到不同类型图像的分类器；

用不同类型图像的分类器对待测图像进行判别，对比不同类型图像的分类器的判别结果，选取分类器输出分数最大的类别作为图像识别结果。

7.根据权利要求6所述的图像识别方法，其特征在于，所述分类器为SVM分类器、KNN分类器、Random Forest分类器或Bayesian分类器。

8.根据权利要求7所述的图像识别方法，其特征在于，进行不同类型样本的分类器训练时所用分类器为SVM分类器，所述SVM分类器为线性支持向量机，将图像空域共生特征进行直接特征映射，用映射后所得特征进行不同样本的关系描述和计算。

9.根据权利要求6所述的图像识别方法，其特征在于，在对图像提取采样点前进一步包括以下步骤：根据不同分辨率对图像进行分块,并将各分块图像的区域共存特征进行集成。

10.一种利用权利要求1的图像表示进行图像分类的方法，包括：

对输入图像提取采样点，并提取采样点局部特征；

对采样点的局部特征进行量化索引，获得索引值；

根据索引值统计获得图像空域共生特征；

根据图像空域共生特征将图像分类到预定义内容的类别。

11.一种图像识别系统，包括：

采样模块，用以对输入图像提取采样点；

特征提取模块，用以获得图像采样点的局部特征；

索引模块，用以根据图像采样点的局部特征进行量化索引；

空域共生特征模块，用以根据两个或多个索引在空域中同时存在的频度或强度的统计结果获得图像空域共生特征；

训练模块，用以根据样本的类别属性，用分类识别算法对不同类型样本进行分类器训练，得到不同类型图像的分类器；

识别模块，用以对待测图像进行判别，对比不同类型图像的分类器的判别结果，选取分类器输出分数最大的类别作为图像识别结果。

12.根据权利要求11所述的图像识别系统，其特征在于，还包括图像分块模块，用于在提取采样点前根据不同分辨率对输入图像进行分块，并将各分块图像的区域共存特征进行集成。

Images