CN101398846A - 基于局部颜色空间特征的图像语义概念检测的方法 - Google Patents

Abstract

一种多媒体信息检测技术领域的基于局部颜色空间特征的图像语义概念检测的方法，本发明中，结合图像处理技术和模式识别技术实现对图像的语义概念检测，采用栅格法提取图像的颜色矩特征，解决了颜色特征缺乏空间信息的问题，利用语义概念层的先验知识修正低层颜色特征，更好地利用与语义密切相关的局部颜色和空间分布信息，去除了特征中的噪声信息，具有特征描述准确、容易提取、计算复杂度低、区分性强的优点，简单而有效地进行了特征降维。将本发明的基于局部颜色－空间特征的图像语义概念检测方法用于基于语义的图像检索时，其性能明显优于其他基于全局颜色、纹理、形状等特征的概念检测方法，能够大大提高图像的检索性能。

Description

基于局部颜色空间特征的图像语义概念检测的方法

技术领域

本发明涉及的是一种多媒体信息检测技术领域的方法，具体是一种基于局部颜色空间特征的图像语义概念检测的方法。

背景技术

随着多媒体技术和计算机网络的飞速发展以及人们生活质量的不断提高，每天都有海量的数字图像产生和传播。对于图像信息的有效检索方法则是解决这个问题的关键技术之一。上世纪末，基于内容的图像检索(Content-basedImage Retrieval，CBIR)技术逐渐被人们所重视。基于内容的图像检索技术是指利用图像的颜色、形状、纹理和区域等低层特征信息对图像进行描述，试图在表述图像内容的基础上，检索出与用户所给样例相类似的图像。基于语义的图像检索系统的基本框图，包括用户接口层、语义概念层和图像特征层三个模块。其中，语义概念层的性能对整个检索系统的性能起决定作用，其概念检测技术则是最为关键的部分。

概念检测技术是一个典型的模式识别问题。特征提取是模式识别中极为重要的环节，特征集的好坏直接影响了分类器的训练过程，进而将影响整个模式识别过程的性能。最希望提取的是那些具有明显区分意义、容易提取且对噪声不敏感的特征集。对于图像来说，从原始的像素值中可以提取许多关于颜色、纹理、形状和区域的特征，但这些特征对于不同语义的区分能力参差不齐，因此，如何提取出图像中的有效特征来提高概念检测的准确率成为近年来概念检测的研究热点。由于颜色对平移、旋转和尺度等变化不敏感，且具有计算复杂度较低的特点，所以，颜色特征是各种低层特征中应用最为广泛的一种。

经对现有技术的文献检索发现，Arnon Amir等在TREC Video RetrievalEvaluation Onl ine Proceedings(国际视频检索评测在线学报)2005年上发表的文章“IBM Research TRECVID-2005 Video Retrieval System”(2005年国际视频检索评测中IBM研究中心的视频检索系统)，该文中提出了将分块颜色矩特征作为图像的特征描述，并基于该特征进行概念检测的方法，其不足在于该方法提取的特征信息是一种全局信息，并没有突出与语义概念相关的局部信息。

发明内容

本发明的目的在于克服上述现有技术的不足，提出了一种基于局部颜色空间特征的图像语义概念检测的方法，利用了与语义密切相关的局部颜色和空间分布信息，去除了特征中的噪声信息，具有特征描述准确、容易提取、区分性强的优点。本发明用于基于语义的图像检索时，其性能明显优于其他基于全局颜色、纹理、形状等特征的概念检测方法。

本发明是通过以下技术方案实现的，本发明包括如下步骤：

步骤一，通过概念检测接口将待检测的某一语义概念C输入语义概念存储层，获得与该语义概念C相关的语义概念先验知识Φ(C)，语义概念存储层中存储的信息包括：基本语义概念以及其对应的先验知识，先验知识包括定性描述以及用修正因子表示的定量描述；

步骤二，根据步骤一获得的语义概念先验知识Φ(C)，对待检测图像集以及训练图像库中的所有图像提取局部颜色-空间特征，采用颜色矩作为基本低层颜色特征描述子，利用栅格法提取颜色-空间特征，再利用语义概念先验知识Φ(C)添加修正因子，最终提取局部颜色-空间特征；

步骤三，根据语义概念C，对训练图像库中的所有样本图像进行正确的人工语义标注，即对于训练图像库中的每一幅图像，添加其关于语义概念C的标注信息，“1”表示该图像存在语义概念C，“0”表示该图像不存在语义概念C；

步骤四，采用机器学习与模式识别的技术，在训练图像库上训练出概念检测分类器，选择二元支持向量机为基本分类器，二元支持向量机是一种在决策超平面上，最佳化训练集中样本间边界的算法，将训练图像库分为训练集和校验集两部分，每一部分中的图像都包含标注信息和局部颜色-空间特征信息，在训练集上训练二元支持向量机分类器，并在校验集上进行测试，调整二元支持向量机分类器的参数至测试性能最佳，即平均准确率最高，最终得到的概念检测分类器即为语义概念C的检测分类器；

步骤五，将待检测图像集的局部颜色-空间特征信息输入概念检测分类器，概念检测分类器输出关于语义概念C的所有待检测图像的检测结果。

所述提取每一幅图像的局部颜色-空间特征，具体如下：

首先，选择颜色矩作为表征图像的基本低层特征描述子；

其次，采用栅格法提取图像的颜色-空间特征，即将图像栅格划分为k块无重叠的子图像，对每块子图像提取基本低层特征——颜色矩，用向量形式表示，再将k个向量连接为一个大向量，即为整幅图像的颜色-空间特征；

最后，利用步骤一获得的语义概念先验知识Φ(C)增加修正因子{α₁，α₂，α₃，…α_k}，对应于每块子图像均有一个修正因子α_i，将每块子图像的颜色-空间特征向量与对应的修正因子相乘，则得到最终的局部颜色-空间特征，即将图像的信息集中在局部颜色-空间特征上。

所述概念检测分类器检测出的判决结果，包括两种：一种为硬判决，即输出0或1，分别表示“存在”概念C或者“不存在”概念C；另一种为软判决，即输出一个0～1之间的实数，表示“存在”概念C的置信度。

本发明的工作原理如下：

当一幅图像包含某种高层语义概念时，事实上其中只有一部分图像内容可真正体现该语义的内涵，其余的图像内容则只是一些无序的背景信息。因此，当用某种全局低层特征来描述一幅图像时，其中包含了许多无用甚至会产生干扰的信息内容。在利用图像语义知识库进行概念检测模型训练时，对计算机来说，图像的语义信息在特征矢量中是无偏差的，即输入到计算机中的各个信息项都在同等程度上表征了图像的语义内涵。因此，图像全局特征中存在的冗余信息不仅浪费大量的存储空间、增加机器的计算复杂度，还将严重影响概念检测模型的训练。分析图像的高层语义概念可以发现，许多语义概念在图像中表现出明显的空间局部性。例如，对应语义概念“天空”的图像信息，大部分都处于图像的上半部分，而“道路”则更有可能出现在图像的下半部分。因此，将这种语义层的先验知识用于修正原始的低层特征，是一种简单而有效的特征降维方法。

本发明中利用语义概念层的先验知识去除图像中偏离语义概念的干扰特征项，对图像的特征矢量进行降维，排除特征描述中的干扰信息项，提高图像特征表述的准确性和精简性，从而提高语义概念检测的准确率，并同时降低计算量，进而提高基于语义的图像检索系统的总体性能。

与现有技术相比，本发明具有如下有益效果：

本发明为更好地利用颜色和空间分布信息，采用栅格法来提取基于颜色矩的颜色-空间特征，并利用高层语义层的先验知识增加修正因子，突出与语义相关的局部性特征，并起到特征选择的作用，最后获得图像的局部颜色-空间特征，很大程度上去除了噪声信息，并具有容易提取、区分性强的优点。

将本发明用于基于语义的图像检索时，其性能明显优于其它基于全局颜色、纹理、形状等特征的方法。特别地，与基于全局颜色矩的方法相比，本发明用于检索的平均准确率提高了36.4％。

附图说明

图1为本发明的整个流程图。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例包括如下具体步骤：

步骤一，初始基于语义概念的检测：通过概念检测接口将待检测的某一语义概念C输入语义概念存储层，获得与该特定概念相关的先验知识Φ(C)；

例如，对于语义概念“天空”，图像中对应该语义概念的信息大部分都处于图像的上半部分，故将其先验知识Φ(C)定为图像的上三分之二部分为有用信息，用修正因子{α₁，α₂，α₃，…α_k}来表示，则有 ${\mathrm{\α}}_i=\left\{\begin{array}{cc}1& 1\≤i\≤\frac{2}{3}k\\ 0& \frac{2}{3}k+1\≤i\≤k\end{array}\right.$ ，其中，α_i表示对应图像第i子块的信息权重。所有的语义概念以及其经人工分析后添加的对应先验知识都存储在语义概念存储层中，其中，先验知识包括定性描述和用修正因子表示的定量描述；

步骤二，根据步骤一获得的语义概念先验知识Φ(C)，对待检测图像集以及训练图像库中的所有图像提取局部颜色-空间特征，具体如下：

第一步，提取图像的基本低层特征描述子——颜色矩：由于图像中任何的颜色分布均可用它的矩来表示，且颜色分布信息主要集中在低阶矩上，因此，仅采用颜色的一、二、三阶矩就可以表达图像的颜色分布，其中，一阶矩表示图像的平均颜色，二阶矩表示图像颜色分布的标准方差，三阶矩表示三次根非对称性，因此，一幅图像可以用如下的颜色矩向量来表示：

$\mathrm{CV}=[{\mathrm{cv}}_1,{\mathrm{cv}}_2,{\mathrm{cv}}_3,\·\·\·,{\mathrm{cv}}_9]=[M_1^1,M_1^2,M_1^3,M_2^1,M_2^2,M_2^3,M_3^1,M_3^2,M_3^3]$

表示图像第ⁱ颜色通道上分布信息的^j阶矩。

第二步，采用栅格法将空间信息加入图像的基本颜色信息中，具体如下：

首先，将图像划分为k块无重叠的子图像，然后对每个子图B_i用上式中的向量形式来表示B_i的颜色矩信息：

${\mathrm{CB}}_i=[M_{i,1}^1,M_{i,1}^2,M_{i,1}^3,M_{i,2}^1,M_{i,2}^2,M_{i,2}^3,M_{i,3}^1,M_{i,3}^2,M_{i,3}^3]$

然后，将所有子图的颜色矩信息连接起来组成整幅图像的颜色-空间特征描述，如下式所示：

CV＝[CB₁，CB₂，CB₃，…，CB_k]

第三步，利用语义层的先验知识对栅格颜色矩向量进行修正，突出更符合语义内涵的图像局部信息，如下式所示：

CV＝[α₁·CB₁，α₂·CB₂，α₃·CB₃，…，α_k·CB_k](α_i＝0，1)

上式对各个图像子块的原始特征向量CB_i增加了修正因子α_i，若α_i＝1说明第ⁱ块子图像起到了诠释语义作用；反之，若α_i＝0则说明第ⁱ块子图像只提供干扰信息。修正的过程实质上就起了特征降维的作用，但与其他特征降维方法相比，它更为直接有效，最重要的是操作简单。整个修正因子集{α₁，α₂，α₃，…α_k}由分析特定高层语义所得的先验知识Φ(C)决定。

步骤三，根据语义概念C，对训练图像库中的所有样本图像进行正确的人工语义标注。对于训练图像库中的每一幅图像，人工添加其关于语义概念C的标注信息，标注信息为二元信息，“1”表示该图像存在语义概念C，“0”表示该图像不存在语义概念C。

步骤四，采用机器学习与模式识别的技术，在训练图像库上训练出概念检测分类器。选择二元支持向量机为基本分类器，它是一种在决策超平面上，最佳化训练集中样本间边界的算法。将训练图像库分为训练集和校验集两部分，每一部分中的图像都包含标注信息和局部颜色-空间特征信息。通常情况下，训练集中的图像占整个训练图像库的70％，校验集则占30％，这样既能保证分类器训练时的训练样本信息足够，也确保用于调整分类器参数的校验样本的信息足够反映分类器性能。在训练集上训练二元支持向量机分类器，并在校验集上进行测试，调整分类器的参数至最佳状态，最终得到的分类器即为语义概念C的检测分类器。

步骤五，将待检测图像集的局部颜色-空间特征信息输入概念检测分类器，输出关于语义概念C的所有待检测图像的检测结果。概念检测分类器检测出的判决结果可以显示为两种，一种为硬判决，即输出0或1，分别表示“存在”概念C或者“不存在”概念C；另一种为软判决，即输出一个0～1之间的实数，表示“存在”概念C的置信度。

本实施例采用的图像数据库是TRECVID2005的所有视频关键帧。TRECVID是美国国家标准局(NIST)举办的视频检索领域的权威比赛。选取语义概念“天空”进行检测。整个图像数据库共有60422幅图像，分为两部分：训练图像库和待检测图像集，其中，训练图像库中共有42226幅图像，包括5039幅正样本和37187幅负样本。待检测图像集共有18196幅图像，包括2055幅正样本和16141幅负样本。采用平均准确率(Average Precision)来评估将本发明的基于局部颜色-空间特征的图像语义概念检测方法用于图像检索的总体性能。平均准确率是一种能准确反映检索性能的评价指标，它被广泛用于信息检索领域。

采用6*6栅格法，先将所有图像划分为36块。经语义概念存储层可得关于语义“天空”的先验知识，即位于图像上方的子块决定了图像是否包含“天空”。因此，设定的修正因子，如下式所示：

${\mathrm{\α}}_i=\left\{\begin{array}{cc}1& 1\≤i\≤24\\ 0& 25\≤i\≤26\end{array}\right.$

对每一块图像提取Lab空间的颜色矩特征，可以用一个36＊3＊3＝324维的向量表示，加入修正因子后则降低为216维向量。采用支持向量机(Support VectorMachine)作为基本分类器训练语义概念检测模型。表1显示了在待检测图像集上，

本实施例方法与其它几种基于不同概念检测方法用于图像检索的性能结果比较。从表1可以看出，将本实施例的基于局部颜色-空间特征的概念检测方法用于图像检索时，其性能明显优于其它基于全局颜色、纹理、形状等特征的概念检测方法。特别地，与基于全局颜色矩的概念检测方法相比，检索的平均准确率提高了36.4％。

表1  6种不同概念检测方法的性能比较

Claims (3)

1、一种基于局部颜色空间特征的图像语义概念检测的方法，其特征在于，包括如下步骤：

步骤一，通过概念检测接口将待检测的某一语义概念C输入语义概念存储层，获得与该语义概念C相关的语义概念先验知识，语义概念存储层中存储的信息包括：基本语义概念以及其对应的先验知识，先验知识包括定性描述以及用修正因子表示的定量描述；

步骤二，根据步骤一获得的语义概念先验知识，对待检测图像集以及训练图像库中的所有图像提取局部颜色-空间特征，采用颜色矩作为基本低层颜色特征描述子，利用栅格法提取颜色-空间特征，再利用语义概念先验知识添加修正因子，最终提取局部颜色-空间特征；

步骤三，根据语义概念C，对训练图像库中的所有样本图像进行正确的人工语义标注，即对于训练图像库中的每一幅图像，添加其关于语义概念C的标注信息，“1”表示该图像存在语义概念C，“0”表示该图像不存在语义概念C；

步骤四，采用机器学习与模式识别的技术，在训练图像库上训练出概念检测分类器，选择二元支持向量机为基本分类器，将训练图像库分为训练集和校验集两部分，每一部分中的图像都包含标注信息和局部颜色-空间特征信息，在训练集上训练二元支持向量机分类器，并在校验集上进行测试，调整二元支持向量机分类器的参数至测试性能最佳，即平均准确率最高，最终得到的概念检测分类器；

步骤五，将待检测图像集的局部颜色-空间特征信息输入概念检测分类器，概念检测分类器输出关于语义概念C的所有待检测图像的检测结果。

2、根据权利要求1所述的基于局部颜色空间特征的图像语义概念检测的方法，其特征是，所述提取每一幅图像的局部颜色-空间特征，具体如下：

首先，选择颜色矩作为表征图像的基本低层特征描述子；

其次，采用栅格法提取图像的颜色-空间特征，即将图像栅格划分为k块无重叠的子图像，对每块子图像提取基本低层特征——颜色矩，用向量形式表示，再将k个向量连接为一个大向量，即为整幅图像的颜色-空间特征；

最后，利用步骤一获得的语义概念先验知识增加修正因子{α₁，α₂，α₃，…α_k}，对应于每块子图像均有一个修正因子α_i，将每块子图像的颜色-空间特征向量与对应的修正因子相乘，则得到最终的局部颜色-空间特征，即将图像的信息集中在局部颜色-空间特征上。

3、根据权利要求1所述的基于局部颜色空间特征的图像语义概念检测的方法，其特征是，所述概念检测分类器检测出的判决结果，包括两种，一种为硬判决，即输出0或1，分别表示“存在”概念C或者“不存在”概念C，另一种为软判决，即输出一个0～1之间的实数，表示“存在”概念C的置信度。

Images