CN103136536A - 对象检测系统和方法、图像的特征提取方法 - Google Patents

Abstract

本发明提供一种对象检测系统和方法、图像的特征提取方法。所述对象检测系统包括：图像接收单元，用于接收待检测图像；特征提取单元，用于从待检测图像提取图像特征；检测单元，利用提取的图像特征检测对象，所述预定类型的图像特征包括对称颜色部件二元模式(SC-LBP)特征，SC-LBP特征体现了图像中位置对称的像素之间的颜色关系。

Description

对象检测系统和方法、图像的特征提取方法

技术领域

本发明涉及视觉和模式识别领域。更具体地讲，涉及一种检测对象的系统和方法以及特征提取方法。

背景技术

对象检测是视觉技术中的一个重要技术，其在智能视频监视、基于内容的图像/视频检索、图像/视频注释、辅助的人机交互中有非常重要的应用。由于不同类别的对象在外形上有很大不同，因此对象检测非常困难。

一种常用的对象检测方法是多滑动窗检测方法。在该方法中，定义多个特征通道和空间金字塔级别。使用空间直方图的金字塔来计算每个特征通道。为了加快检测速度，建立多级检测。然而，在检测过程中，大多数滑窗以较低的成本在较靠前的级被拒绝。然而，即使这样，其进行检测所需的计算成本也是非常高的。

因此，需要一种能够更有效地从图像中识别出对象的对象检测方法和系统。

发明内容

本发明的一个目的在于提供一种对象检测系统和方法。该检测系统和方法可利用对称颜色部件二元模式(SC-LBP)特征进行对象检测。

本发明的另一目的在于提供一种特征提取装置和方法，其能够有效地降低信息的提取量，同时能够获得更多的有效信息。

本发明的另一目的在于提供一种可变形部件模型(DPM)的检测结果的抑制装置和方法，其能够有效地降低现有DPM的检测结果的冗余。

本发明的另一目的在于提供一种对象检测系统和方法。该检测系统和方法可有效地抑制可变形部件模型(DPM)的检测结果中的冗余。

本发明的一方面提供一种对象检测系统，包括：图像接收单元，接收待检测图像；特征提取单元，从待检测图像提取预定类型的图像特征，所述预定类型的图像特征包括对称颜色部件二元模式(SC-LBP)特征，SC-LBP特征体现了图像中位置对称的像素之间的颜色特性关系；检测单元，通过将提取的图像特征输入分类器来从待检测图像中检测对象，其中，通过从训练样本中提取所述预定类型的图像特征来训练所述分类器。

可选地，特征提取单元将待检测图像划分为多个像素块，确定每个像素块中的每对对称的像素之间的颜色特性关系，并根据确定的颜色特性关系来确定与每个像素块中的每对对称像素相应的二元值作为SC-LBP特征码。

可选地，所述每对对称的像素关于像素块的中心点对称。

可选地，每个像素块的SC-LBP特征为该像素块中的每对对称像素的二元值之和。

可选地，所述颜色特性关系为对称像素之间的颜色分量和/或亮度的大小关系。

可选地，当像素块的大小为(2a+1)×(2b+1)时，像素块的SC-LBP特征被表示为：

$\underset{p=0}{\overset{a-1}{\mathrm{\Σ}}}\mathrm{\η}(i_p,i_{\mathrm{pm}})2^p+\underset{l=a}{\overset{2\mathrm{ab}+a+b-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为(2a+1)×2b，像素块的SC-LBP特征被表示为：

$\underset{l=0}{\overset{2\mathrm{ab}+b-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为2a×(2b+1)，像素块的SC-LBP特征被表示为：

$\underset{p=0}{\overset{a-1}{\mathrm{\Σ}}}\mathrm{\η}(i_p,i_{\mathrm{pm}})2^p+\underset{l=a}{\overset{2\mathrm{ab}+a-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为2a×2b，像素块的SC-LBP特征被表示为：

$\underset{l=0}{\overset{2\mathrm{ab}-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

其中，a、b为大于零的整数，i_l表示像素块中的第l个像素，i_p表示像素块中的第p个像素，i_c表示像素块的中心位置，i_lm表示i_l关于i_c的中心对称的像素，i_pm是i_p关于i_c的中心对称的像素，η(i_p，i_pm)表示i_p和i_pm之间的亮度关系，δ(i_l，i_lm)表示i_l和i_lm之间的颜色分量关系。

可选地，

其中，I()表示像素的亮度，R()表示像素的红色分量，G()表示像素的绿色分量，B()表示像素的蓝色分量，T表示预定阈值。

可选地，预定阈值T的大小决定了对颜色噪声的抑制程度，其中，T越小，则对噪声的敏感程度越强。

可选地，所述预定类型的图像特征还包括梯度方向直方图特征。

可选地，使用可变形部件模型(DPM)方法来训练所述分类器。

可选地，所述分类器是混合可变形部件模型，检测单元通过将提取的图像特征输入所述混合可变形部件模型来从待检测图像中检测出被认为包括对象的多个窗口区域。

可选地，所述对象检测系统还包括：冗余抑制单元，根据所述多个窗口区域之间的交互关系从所述多个窗口区域中去除伪窗口区域。

可选地，冗余抑制单元包括：特征信息提取单元，从检测单元检测的每个窗口区域提取特征信息；冗余去除单元，利用提取的特征信息确定所述交互关系，以从所述多个窗口区域中去除伪窗口区域。

可选地，所述特征信息包括窗口区域的总得分、根部的位置信息和/或尺度信息、部件的位置信息和/或尺度信息、根部的得分、部件的得分中的至少一个。

可选地，冗余去除单元通过最大化下面的等式来判定并去除伪窗口区域：

其中，M为表示所述多个窗口区域的数量；

φ(x_i，y_i)＝y_i·x_i；

x_i＝(v_i(s)，Z)，v_i(s)表示第i个窗口区域的总得分，Z表示K维的向量，K表示所述混合可变形部件模型所包括的可变形部件模型的数量，Z的第v_i(c)个元素为1，Z的其他元素为零，v_i(c)表示检测出第i个窗口区域所使用的可变形部件模型的索引；y_i表示第i个窗口区域的用于标识是否是伪窗口区域的二元得分；y_j表示用于第j个窗口区域的用于标识是否是伪窗口区域的二元得分；

表示模型参数，d_ij表示第i个窗口区域和第j个窗口区域之间的交互关系。

可选地，当所述等式最大化时，具有标识伪窗口区域的二元得分的窗口区域被判定为伪窗口区域。

可选地，使用预知的φ(x_i，y_i)、SS，通过预定结构化分类方法进行训练来获得

可选地，窗口区域之间的交互关系包括根部-根部交互、根部-部件交互、部件-部件交互中的至少一个。

可选地，根部-根部交互体现了不同窗口区域的根部之间的重叠特性。

可选地，根部-部件交互体现了不同窗口区域的根部与部件之间的重叠特性。

可选地，部件-部件交互体现了不同窗口区域的部件之间的重叠特性。

可选地，根部-根部交互被表示为是K×K的矩阵，该矩阵中的任意元素

表示为下面的等式：

其中，v_j(s)表示第j个窗口区域的总得分，ol(v_i(l₀)，v_j(l₀))表示第i个窗口区域的根部与第j个窗口区域的根部之间的重叠率，v_j(c)表示检测出第j个窗口区域所使用的可变形部件模型的索引，m、n表示所述任意元素的索引。

可选地，根部-部件交互被表示为是K×(K×D)的矩阵，该矩阵中的任意元素

可表示为下面的等式：

其中，v_j(s)表示第j个窗口区域的总得分，g∈[1，D]，D表示部件的数量，ol(v_i(l₀)，v_j(l_g))表示第i个窗口区域的根部与第j个窗口区域的第g个部件之间的重叠率，v_j(c)表示检测出第j个窗口区域所使用的可变形部件模型的索引，m、n表示所述任意元素的索引。

可选地，部件-部件交互被表示为

是(K×D)×(K×D)的矩阵，该矩阵中的任意元素

可表示为下面的等式：

其中，v_i(s_e)表示第i个窗口区域的第e个部件的得分，v_j(s_g)表示第j个窗口区域的第g个部件的得分，e∈[1，D]，g∈[1，D]，D表示部件的数量，ol(v_i(l_e)，v_j(l_g))表示第i窗口区域的第e个部件与第j窗口区域的第g个部件之间的重叠率，v_j(c)表示检测出第j个窗口区域所使用的可变形部件模型的索引，m、n表示所述任意元素的索引。

可选地，y_i∈{0，1}，y_j∈{0，1}。

可选地，使用贪婪算法使得SS最大化。

可选地，所述预定结构化分类方法是结构化支持向量机。

本发明的另一发明提供一种对象检测方法，包括：接收待检测图像；从待检测图像提取预定类型的图像特征，所述预定类型的图像特征包括对称颜色部件二元模式(SC-LBP)特征，SC-LBP特征体现了图像中位置对称的像素之间的颜色特性关系；通过将提取的图像特征输入分类器来从待检测图像中检测对象，其中，通过从训练样本中提取所述预定类型的图像特征来训练所述分类器。

可选地，将待检测图像划分为多个像素块，确定每个像素块中的每对对称的像素之间的颜色特性关系，并根据确定的颜色特性关系来确定与每个像素块中的每对对称像素相应的二元值作为SC-LBP特征码。

可选地，所述每对对称的像素关于像素块的中心点对称。

可选地，每个像素块的SC-LBP特征为该像素块中的每对对称像素的二元值之和。

可选地，所述颜色特性关系为对称像素之间的颜色分量和/或亮度的大小关系。

可选地，预定阈值T的大小决定了对颜色噪声的抑制程度，其中，T越小，则对噪声的敏感程度越强。

可选地，所述预定类型的图像特征还包括梯度方向直方图特征。

可选地，使用可变形部件模型(DPM)方法来训练所述分类器。

可选地，其中，所述分类器是混合可变形部件模型，通过将提取的图像特征输入所述混合可变形部件模型来从待检测图像中检测出被认为包括对象的多个窗口区域。

可选地，所述对象检测方法还包括：根据所述多个窗口区域之间的交互关系从所述多个窗口区域中去除伪窗口区域。

可选地，去除伪窗口区域的步骤包括：从检测单元检测的每个窗口区域提取特征信息；利用提取的特征信息确定所述交互关系，以从所述多个窗口区域中去除伪窗口区域。

可选地，所述特征信息包括窗口区域的总得分、根部的位置信息和/或尺度信息、部件的位置信息和/或尺度信息、根部的得分、部件的得分中的至少一个。

可选地，通过最大化下面的等式来判定并去除伪窗口区域：

其中，M为表示所述多个窗口区域的数量；

φ(x_i，y_i)＝y_i·x_i；

x_i＝(v_i(s)，Z)，v_i(s)表示第i个窗口区域的总得分，Z表示K维的向量，K表示所述混合可变形部件模型所包括的可变形部件模型的数量，Z的第v_i(c)个元素为1，Z的其他元素为零，v_i(c)表示检测出第i个窗口区域所使用的可变形部件模型的索引；y_i表示第i个窗口区域的用于标识是否是伪窗口区域的二元得分；y_j表示用于第j个窗口区域的用于标识是否是伪窗口区域的二元得分；表示模型参数，d_ij表示第i个窗口区域和第j个窗口区域之间的交互关系。

可选地，当所述等式最大化时，具有标识伪窗口区域的二元得分的窗口区域被判定为伪窗口区域。

可选地，使用预知的φ(x_i，y_i)、

SS通过预定结构化分类方法进行训练来获得

可选地，窗口区域之间的交互关系包括根部-根部交互、根部-部件交互、部件-部件交互中的至少一个。

可选地，所述预定结构化分类方法结构化支持向量机。

本发明的另一方面提供一种图像的特征提取方法，包括：将图像划分为多个像素块；获取每个像素块中的每个像素的颜色特性；确定每个像素块中的每对对称像素之间的颜色特性关系；根据确定的颜色特性关系来确定与每个像素块中的每对对称像素相应的二元值作为SC-LBP特征码。

可选地，所述每对对称的像素关于像素块的中心点对称。

可选地，每个像素块的SC-LBP特征为该像素块中的每对对称像素的二元值之和。

可选地，所述颜色特性关系为对称像素之间的颜色分量和/或亮度的大小关系。

可选地，当像素块的大小为(2a+1)×(2b+1)时，像素块的SC-LBP特征被表示为： $\underset{p=0}{\overset{a-1}{\mathrm{\Σ}}}\mathrm{\η}(i_p,i_{\mathrm{pm}})2^p+\underset{l=a}{\overset{2\mathrm{ab}+a+b-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为(2a+1)×2b，像素块的SC-LBP特征被表示为：

$\underset{l=0}{\overset{2\mathrm{ab}+b-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为2a×(2b+1)，像素块的SC-LBP特征被表示为：

$\underset{p=0}{\overset{a-1}{\mathrm{\Σ}}}\mathrm{\η}(i_p,i_{\mathrm{pm}})2^p+\underset{l=a}{\overset{2\mathrm{ab}+a-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为2a×2b，像素块的SC-LBP特征被表示为：

$\underset{l=0}{\overset{2\mathrm{ab}-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

其中，a、b为大于零的整数，i_l表示像素块中的第l个像素，i_p表示像素块中的第p个像素，i_c表示像素块的中心位置，i_lm表示i_l关于i_c的中心对称的像素，i_pm是i_p关于i_c的中心对称的像素，η(i_p，i_pm)表示i_p和i_pm之间的亮度关系，δ(i_l，i_lm)表示i_l和i_lm之间的颜色分量关系。

可选地，预定阈值T的大小决定了对颜色噪声的抑制程度，其中，T越小，则对噪声的敏感程度越强。

本发明的另一发明提供一种对象检测系统，包括：图像接收单元，接收待检测图像；特征提取单元，从待检测图像提取预定类型的图像特征；检测单元，通过将提取的图像特征输入混合可变形部件模型，从而利用混合可变形部件模型从待检测图像中检测出被认为包括对象的多个窗口区域，冗余抑制单元，根据所述多个窗口区域之间的交互关系从所述多个窗口区域中去除伪窗口区域。

可选地，冗余抑制单元包括：特征信息提取单元，从检测单元检测的每个窗口区域提取特征信息；冗余去除单元，利用提取的特征信息确定所述交互关系，以从所述多个窗口区域中去除伪窗口区域。

可选地，所述特征信息包括窗口区域的总得分、根部的位置信息和/或尺度信息、部件的位置信息和/或尺度信息、根部的得分、部件的得分中的至少一个。

可选地，冗余去除单元通过最大化下面的等式来判定并去除伪窗口区域：

其中，M为表示所述多个窗口区域的数量；

φ(x_i，y_i)＝y_i·x_i；

x_i＝(v_i(s)，Z)，v_i(s)表示第i个窗口区域的总得分，Z表示K维的向量，K表示所述混合可变形部件模型所包括的可变形部件模型的数量，Z的第v_i(c)个元素为1，Z的其他元素为零，v_i(c)表示检测出第i个窗口区域所使用的可变形部件模型的索引；y_i表示第i个窗口区域的用于标识是否是伪窗口区域的二元得分；y_j表示用于第j个窗口区域的用于标识是否是伪窗口区域的二元得分；

表示模型参数，d_ij表示第i个窗口区域和第j个窗口区域之间的交互关系。

可选地，当所述等式最大化时，具有标识伪窗口区域的二元得分的窗口区域被判定为伪窗口区域。

可选地，使用预知的φ(x_i，y_i)、

SS，通过预定结构化分类方法进行训练来获得

可选地，窗口区域之间的交互关系包括根部-根部交互、根部-部件交互、部件-部件交互中的至少一个。

可选地，根部-根部交互体现了不同窗口区域的根部之间的重叠特性。

可选地，根部-部件交互体现了不同窗口区域的根部与部件之间的重叠特性。

可选地，部件-部件交互体现了不同窗口区域的部件之间的重叠特性。

可选地，根部-根部交互被表示为

是K×K的矩阵，该矩阵中的任意元素

表示为下面的等式：

其中，v_j(s)表示第j个窗口区域的总得分，ol(v_i(l₀)，v_j(l₀))表示第i个窗口区域的根部与第j个窗口区域的根部之间的重叠率，v_j(c)表示检测出第j个窗口区域所使用的可变形部件模型的索引，m、n表示所述任意元素的索引。

可选地，根部-部件交互被表示为

是K×(K×D)的矩阵，该矩阵中的任意元素可表示为下面的等式：

其中，v_j(s)表示第j个窗口区域的总得分，g∈[1，D]，D表示部件的数量，ol(v_i(l₀)，v_j(l_g))表示第i个窗口区域的根部与第j个窗口区域的第g个部件之间的重叠率，v_j(c)表示检测出第j个窗口区域所使用的可变形部件模型的索引，m、n表示所述任意元素的索引。

可选地，部件-部件交互被表示为

是(K×D)×(K×D)的矩阵，该矩阵中的任意元素

可表示为下面的等式：

其中，v_i(s_e)表示第i个窗口区域的第e个部件的得分，v_j(s_g)表示第j个窗口区域的第g个部件的得分，e∈[1，D]，g∈[1，D]，D表示部件的数量，ol(v_i(l_e)，v_j(l_g))表示第i窗口区域的第e个部件与第j窗口区域的第g个部件之间的重叠率，v_j(c)表示检测出第j个窗口区域所使用的可变形部件模型的索引，m、n表示所述任意元素的索引。

可选地，y_i∈{0，1}，y_j∈{0，1}。

可选地，使用贪婪算法使得SS最大化。

可选地，所述预定结构化分类方法是结构化支持向量机。

可选地，所述预定类型的图像特征包括对称颜色部件二元模式(SC-LBP)特征，SC-LBP特征体现了图像中位置对称的像素之间的颜色特性关系。

本发明的另一方面提供一种对象检测方法，包括：接收待检测图像；

从待检测图像提取预定类型的图像特征；通过将提取的图像特征输入混合可变形部件模型，从而利用混合可变形部件模型从待检测图像中检测出被认为包括对象的多个窗口区域，根据所述多个窗口区域之间的交互关系从所述多个窗口区域中去除伪窗口区域。

可选地，去除伪窗口区域的步骤包括：从检测单元检测的每个窗口区域提取特征信息；利用提取的特征信息确定所述交互关系，以从所述多个窗口区域中去除伪窗口区域。

根据本发明的对象检测方法和系统，在提取特征时通过有效使用颜色信息可以降低提取的信息量并同时获得更多的有效信息，从而能够在检测时降低计算量，提高检测精度并加快检测速度。此外，根据本发明的对象检测方法和系统能够有效地降低检测结果的冗余。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中：

图1示出根据本发明实施例的检测图像中的对象的对象检测系统的框图；

图2示出了具有不同尺寸奇偶性的预定大小的块的示图；

图3示出根据本发明实施例的冗余抑制单元的框图；

图4示出根据本发明的实施例的检测图像中的对象的对象检测方法的流程图；

图5示出根据本发明的实施例的抑制DPM分类器的冗余的方法的流程图。

具体实施方式

以下，将参照附图更充分地描述本发明的示例性实施例，示例性实施例在附图中示出。贯穿对附图的描述，相同的标号表示相同的元件。

图1示出根据本发明实施例的检测图像中的对象的对象检测系统100的框图。

检测系统100包括图像接收单元110、特征提取单元120、检测单元130。

图像接收单元110用于接收待检测图像。

特征提取单元120用于从待检测图像提取图像特征。

提取的图像特征可以是例如梯度方向直方图(HOG)特征、部件二元模式(LBP)特征、网格深度特征(GDF)、和/或尺度不变特征转换(SIFT)特征等各种常用的图像特征。

优选地，提取的图像特征至少包括将在下面描述的本发明提出的对称颜色LBP(SC-LBP)特征。

现有的LBP特征具有较高的区分性，并且对于单色灰度级改变很稳定。然而，LBP特征具有很高的维数并且不能使用颜色信息。而根据本发明的SC-LBP特征可以表现颜色信息，并且能够直接获取像素块及其镜像之间的特征一致性。SC-LBP特征通过二元模式体现了图像中的像素与该像素的对称像素(或镜像)之间的颜色特性关系。具体地说，在提取SC-LBP特征时，将图像划分为多个像素块，根据设置的颜色特性关系条件(例如，颜色分量之间的大小关系、亮度之间的大小关系等)来确定与每个像素块中的每对对称像素相应的二元值作为SC-LBP特征码。

具体地说，为了获得每个像素块的SC-LBP特征，可将与该像素块中的每对对称像素相应的二元值相加。

在一个示例中，在提取SC-LBP特征时，将图像划分为预定大小的像素块，对于每个像素块，根据下面的等式(1)来计算SC-LBP特征c：

                                                    .....(1)

其中，a、b为正整数，i_l表示像素块中的第l个像素，i_p表示像素块中的第p个像素，i_c表示像素块的中心位置，i_lm表示i_l关于i_c的中心对称的像素，i_pm是i_p关于i_c的中心对称的像素。

η()表示对称的两个像素之间的亮度关系(例如，η(i_p，i_pm)表示i_p和i_pm之间的亮度的大小关系)，δ()表示对称的两个像素之间的颜色分量关系(例如，δ(i_l，i_lm)表示i_l和i_lm之间的颜色分量的大小关系)。

在下面一个示例中，利用二元值来表示上述大小关系。

其中，I()表示像素的亮度(例如，I(i_p)表示像素i_p的亮度，I(i_pm)表示像素i_pm的亮度)，R()表示像素的红色分量(例如，R(i_p)表示像素i_p的红色分量，R(i_pm)表示像素i_pm的红色分量)，G()表示像素的绿色分量(例如，G(i_p)表示像素i_p的绿色分量，G(i_pm)表示像素i_pm的绿色分量)，B()表示像素的蓝色分量(例如，B(i_p)表示像素i_p的蓝色分量，B(i_pm)表示像素i_pm的蓝色分量)，T表示用于抑制噪声的阈值。T的大小决定了对颜色噪声的抑制程度。T越小，则对噪声的敏感程度越强。

应该理解，上面计算η(i_p，i_pm)、δ(i_l，i_lm)的示例仅是示例性的，可以使用其他表示方法来表现像素之间的亮度和/或颜色分量的大小关系。例如，1、0的取值条件互换等。此外，也可不使用阈值T。

根据本发明的SC-LBP特征码的计算与划分的预定大小的块在不同方向的大小(或长度)的奇偶性有关，因此等式(1)示出了针对不同尺寸奇偶性的预定大小的块计算SC-LBP特征c的方法。

图2示出了具有不同尺寸奇偶性的预定大小的块的示图。

此外，应该理解，可以以任意次序来对像素块中的像素进行编号。

由上面的公式可知，对于一个(2a+1)×(2b+1)大小的像素块，其特征码是一个二进制长度为(2×a×b+a+b)的数值；对于一个(2a+1)×2b大小的像素块，其特征码是一个二进制长度为(2×a×b+b)的数值；对于一个2a×(2b+1)大小的像素块，其特征码是一个二进制长度为(2×a×b+a)的数值；对于一个2a×2b大小的像素块，其特征码是一个二进制长度为(2×a×b)的数值。

例如，当划分的像素块为3×3像素块时，SC-LBP特征c可被表示如下：

c＝η(i₀，i₄)2⁰+δ(i₁，i₅)2¹+δ(i₂，i₆)2²+δ(i₃，i₇)2³。

上面示出了SC-LBP特征码的优选计算方法，其中，η(i_p，i_pm)和δ(i_l，i_lm)用于表示SC-LBP特征码的二元值的颜色特性关系条件。然而，本发明不限于此，也可以设置其他不同的颜色特性关系条件来计算每对对称像素的二元值来得到SC-LBP特征，例如，可以不使用亮度信息或颜色分量信息，可以在颜色特性信息一致时设置为1，其他情况设置为零等。此外，应该理解，本发明的二元值不限于1和0，也可以是其他的两个值。

此外，尽管在上面示出的示例中采用了中心点对称，然而每对对称像素之间的对称关系也可以是线对称等其他位置对称形式。然而，优选地采用中心点对称，这样可以获得更多的信息量。

根据本发明的SC-LBP特征利用了图像的颜色和对称性信息，并且具有如下特性：一个像素块的特征码和其镜像对称的像素块的特征码之间具有固定的映射关系，而这种镜像对称性有利于对象的检测和识别。

在本发明的一个优选实施例中，同时提取SC-LBP特征和HOG特征。

检测单元130利用提取的图像特征检测对象。检测单元130可使用预先训练的分类器来检测对象。可从训练样本图像中提取所述图像特征(例如，HOG特征和SC-LBP特征、LBP特征等)产生正样本和负样本来训练分类器。

例如，正样本对应于与训练样本中的标注的对象相应的图像特征，负样本对应于与训练样本中背景相应的图像特征。

可采用现有的各种分类器训练方法来训练分类器，例如，可使用支持向量机(SVM)、Boost算法、可变形部件模型(DPM)等训练方法来训练分类器。

在提取的图像特征包括提取SC-LBP特征的情况下，可降低提取的图像特征维数，从而不管在训练分类器时还是在从待检测图像中检测对象时，都可以降低计算量并且提高速度。

由于在提取特征之后利用各种公知的训练方法进行训练的技术是公知的，在此将不再详细描述。

在本发明的一个实施例中，使用基于可变形部件模型(DPM)的分类器。DPM通常包括：图像的对象根部(root)/部件(part)的数据项；从每个部件的锚定位置测量该部件的变形代价的变形项。对象实例在基于DPM的分类器中的得分可被表示如下：

$f(p_0,...p_n)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{F}_i\·\mathrm{\φ}(H,p_i)-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i\·{\mathrm{\φ}}_d(d{x}_i,d{y}_i)+b,---\left(2\right)$

其中，

是在对象的根部和对象的部件定义的数据项， $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i\·{\mathrm{\φ}}_d({\mathrm{dx}}_i,{\mathrm{dy}}_i)$ 是变形项。

这里，p₀表示对象的根部，p₁，p₂，...p_n表示对象的n个部件，n表示对象的部件的数量，F_i是与根部特征向量和部件特征向量对应的卷积滤波器(i等于0时表示与根部特征向量对应的卷积滤波器，i不等于0时表示与部件特征向量对应的卷积滤波器)，H是输入图像的图像特征金字塔，φ(H，p_i)表示通过图像特征金字塔在p_i提取的特征(例如，SC-LBP特征、HOG特征)，φ_j(dx_i，dy_i)＝(dx_i，dy_i，(dx_i)²，(dy_i)²)，dx_i、dy_i表示第i个部件在水平方向和竖直方向上的偏移，d_i是变形项的参数，b是作为得分函数的等式(2)的偏移，其取决于使用的具体的DPM模型。

使得z＝(p₀，...p_n)，则等式2可被写为：

f(z)＝β·Ψ(H，z)，                            (3)

其中，β＝(F₀，...F_n，d₁，...d_n，b)

Ψ(H，z)＝(φ(H，p₀)，...φ(H，p_n)，-φd(dx₁，dy₁)，...-φd(dx_n，dy_n)，1)。

在上述模型中，通过利用正负样本对该模型进行训练而得到参数F_i，d_i和b。

通过图像特征金字塔在p_i提取特征时，需要首先针对被提取特征的图像(例如，待检测图像、训练样本图像)建立图像金字塔。金字塔的最底层是原始分辨率的图像，随着从金字塔的最低层到达金字塔的顶层，图像逐渐被缩小到一个给定尺寸的图像。利用多个(例如，K个)预定大小的窗口来扫描图像金字塔，每一个预定大小的窗口对应一个具体的DPM模型，这样存在K个DPM模型，这K个DPM模型构成一个混合DPM模型，每个DPM模型作为混合DPM模型一个分量。在每一个窗口里(例如，大小为8×8的预定倍数的窗口)，针对其中预定大小的块(例如，8×8的块)计算特征(例如，HOG特征、SC-LBP特征)。

在训练过程中提取特征时，通常存在两种特征提取方式。一种方式是在正负样本中标注对象的根部以及部件的位置，从而按照上述提取方式利用图像金字塔直接在标注的根部和部件提取到相应的特征，而不需要扫描整个图像金字塔。另一种方式是在正负样本中仅标注对象的根部的位置，而不标注对象的部件的位置。这样需要按照上述提取方式在训练过程中扫描整个图像金字塔从而动态搜寻使得分最大的部件位置，以在该位置提取特征。这可通过多实例训练算法或含有隐变量的支持向量机算法来实现。由于这些算法是DPM中常用的算法将不再详述。

检测单元130在检测过程中，按照上述提取方式提取特征作为DPM模型的输入。当DPM模型的得分大于预定阈值时，则认为该窗口区域中存在对象；否则，认为该窗口区域中不存在对象。

如上所述，在利用训练好的分类器进行检测时，使用预定窗口以不同尺度在所有位置对待检测图像进行扫描，从而得到多个窗口区域。当窗口区域的分类得分小于预定阈值时，该窗口区域为负窗口区域，表示该窗口中不存在对象；当窗口区域的分类得分大于等于预定阈值时，该窗口区域为正窗口区域，表示在该窗口中存在对象。因此，利用分类器进行检测时可能会得到多个重叠的正窗口区域，从而得到多个检测结果。为了降低冗余，减少重叠的检测结果的数量，通常使用非最大抑制(Non-maximum suppression)技术。然而，在一些特定场合，对象被遮挡/与其他对象结合在一起以及对象空间布局和重叠的复杂性，因此该技术会导致产生很多伪正窗口区域，极大降低了检测精度。

为了解决该问题，本发明提出一种冗余抑制技术。根据本发明的另一实施例，对象检测系统100还包括冗余抑制单元(未示出)。冗余抑制单元可以从检测单元130输出的窗口区域中去除伪窗口区域。

图3示出根据本发明实施例的冗余抑制单元的框图。

冗余抑制单元包括特征信息提取单元141、冗余去除单元142。

特征信息提取单元141从检测单元130输出的每个窗口区域提取特征信息。具体地说，所述特征信息可包括对象的部件的变形代价、窗口区域的总得分、使用的模型导致的偏移、窗口区域中的对象的根部和部件的位置信息、根部和部件的尺度信息、根部和部件的得分信息中的至少一个。

例如，从第i个窗口区域的特征信息可被表示为v_i，

v_i＝(b，s，s₀，s₁，...s_D，dd_l，..dd_D，l₀，l_l...l_D，c)，        (4)

其中，l₀是对象的根部的位置和尺度，l_l...l₀是对象的部件的位置和尺度，D表示对象的部件的数量，s₀是根部的得分，s₁，...s_D是部件的得分，dd_l，..dd_D是部件的变形代价，b是使用的混合DPM模型中的DPM模型导致的偏移，s是窗口区域的总得分，c是对象的分量索引(即，表示第i个窗口区域由混合DPM模型中的第c个DPM模型检测得到)，1≤c≤K，K表示混合DPM的分量的数量。

应该理解，尽管上面v_i中包括了多种信息，但应该理解，可根据需要仅提取其中的部分信息。

冗余去除单元142利用提取的特征信息确定从检测单元130输出的窗口区域之间的交互关系，以从检测单元130输出的窗口区域中去除伪窗口区域。该交互关系体现了窗口区域之间的重叠特性。

具体地说，假设x_i是从窗口区域i提取的特征信息，则整个图像可被表示为提取的特征信息X＝{x_i：i＝1...M}，M表示窗口区域的数量。如果对每个窗口区域进行二元标注以确定其是否为正确的实例，则第i个窗口区域的标注：y_i∈{0，1}(应该理解，本发明的二元值不限于0和1，也可以使用其他的值作为二元值)。使得Y＝{y_i：i＝1...M}，使用向量Y标注图像X的得分为：

其中，φ(x_i，y_i)＝y_i·x_i，

表示模型参数，x_i＝(v_i(s)，Z)，Z表示K维的向量，Z的第v_i(c)个元素为1，其他元素为零，d_ij表示第i窗口区域和第j窗口区域之间的交互关系(即，重叠关系)。

可使用预知的φ(x_i，y_i)、

SS通过现有的结构化分类方法(例如，结构化SVM算法、Boost算法等)进行训练来获得

优选地，使用结构化SVM算法。由于使用结构化分类方法来获得

是现有的技术，将不再详述。

根据本发明的实施例，不同窗口区域之间的交互关系包括根部-根部交互、根部-部件交互、部件-部件交互中的至少一个。

根部-根部交互体现了不同窗口区域的根部之间的重叠特性(例如，一个窗口区域的根部与另一窗口区域的根部之间的重叠特性)。

根部-部件交互体现了不同窗口区域的根部与部件之间的重叠特性(例如，一个窗口区域的根部与另一窗口区域的部件之间的重叠特性)。

部件-部件交互体现了不同窗口区域的部件之间的重叠特性(例如，一个窗口区域的部件与另一窗口区域的部件之间的重叠特性)。

根部-根部交互、根部-部件交互、部件-部件交互可分别被表示为

和

例如，当应用全部上述三种交互时，

表示第i窗口区域和第j窗口区域之间的根部之间的交互关系。可以理解，

是K×K的矩阵。在一个示例中，该矩阵中的任意元素

(m、n表示该矩阵中的元素的索引，例如，第m行第n列)可表示为下面的等式(6)：

这里，ol(v_i(l₀)，v_i(l₀))表示第i窗口区域的根部与第j窗口区域的根部之间的重叠率。

表示第i窗口区域和第j窗口区域之间的根部与部件之间的交互关系(即，第i窗口区域的根部与第j窗口区域的部件之间的交互关系)。可以理解，

是K×(K×D)的矩阵，该矩阵中的任意元素

可表示为下面的等式(7)：

这里，g∈[1，D]，ol(v_i(l₀)，v_j(l_g))表示第i窗口区域的根部与第j窗口区域的第g个部件之间的重叠率。

表示第i窗口区域和第j窗口区域之间的部件与部件之间的交互关系。可以理解，

是(K×D)×(K×D)的矩阵。在一个示例中，该矩阵中的任意元素

可表示为下面的等式(9)：

                                                        ....(9)

这里，e∈[1，D]，g∈[1，D]，ol(v_i(l_e)，v_j(l_g))表示第i窗口区域的第e个部件与第j窗口区域的第g个部件之间的重叠率。

计算使得等式5为最大的Y，该计算可被表示为argmax _Y S(X，Y)。此时，被标注为1的窗口区域被认为是最终检测的示例，被标注为0的窗口区域被认为是伪窗口区域。

可以使用各种方式来计算使得等式5为最大的Y，例如，可以使用枚举的方式。

在本发明的另一个实施例中，使用贪婪算法来计算使得等式5为最大的Y。

图4示出根据本发明的实施例的检测图像中的对象的对象检测方法的流程图。

在步骤401，接收待检测的图像。

在步骤402，从待检测图像提取预定类型的图像特征。提取的图像特征可以是例如梯度方向直方图(HOG)特征、部件二元模式(LBP)特征、网格深度特征(GDF)、和/或尺度不变特征转换(SIFT)特征等各种常用的图像特征。优选地，提取的图像特征至少包括上面描述的根据本发明的对称颜色LBP(SC-LBP)特征。

在步骤403，通过将提取的图像特征输入预先训练的分类器来从待检测图像中检测对象。可通过从训练样本中提取所述预定类型的图像特征来训练所述分类器。

可使用支持向量机(SVM)、Boost算法、可变形部件模型(DPM)等训练方法来训练分类器。优选地，使用DPM来训练分类器得到混合可变形部件模型。

由于在使用DPM训练的分类器进行检测时得到的结果中存在伪结果，因此需要进行冗余抑制。

图5示出根据本发明的实施例的抑制DPM分类器的冗余的方法的流程图。

在步骤501，从在步骤403检测的被认为包括对象的每个窗口区域提取特征信息。所述特征信息可包括窗口区域的总得分、根部的位置信息和/或尺度信息、部件的位置信息和/或尺度信息、根部的得分、部件的得分中的至少一个。

在步骤502，利用提取的特征信息从所述多个窗口区域中去除伪窗口区域。具体地说，最大化公式(5)的结果，从而具有标识伪窗口区域的二元得分的窗口区域被判定为伪窗口区域。

根据本发明的对象检测方法和系统，在提取特征时通过有效使用颜色信息可以降低提取的信息量并同时获得更多的有效信息，从而能够在检测时降低计算量，提高检测精度并加快检测速度。此外，根据本发明的对象检测方法和系统能够有效地降低检测结果的冗余。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (10)

1.一种对象检测系统，包括：

图像接收单元，接收待检测图像；

特征提取单元，从待检测图像提取预定类型的图像特征，所述预定类型的图像特征包括对称颜色部件二元模式(SC-LBP)特征，SC-LBP特征体现了图像中位置对称的像素之间的颜色特性关系；

检测单元，通过将提取的图像特征输入分类器来从待检测图像中检测对象，

其中，通过从训练样本中提取所述预定类型的图像特征来训练所述分类器。

2.根据权利要求1所述的对象检测系统，其中，特征提取单元将待检测图像划分为多个像素块，确定每个像素块中的每对对称的像素之间的颜色特性关系，并根据确定的颜色特性关系来确定与每个像素块中的每对对称像素相应的二元值作为SC-LBP特征码。

3.根据权利要求2所述的对象检测系统，其中，所述每对对称的像素关于像素块的中心点对称。

4.根据权利要求2所述的对象检测系统，其中，每个像素块的SC-LBP特征为该像素块中的每对对称像素的二元值之和。

5.根据权利要求2所述的对象检测系统，其中，所述颜色特性关系为对称像素之间的颜色分量和/或亮度的大小关系。

6.根据权利要求2所述的对象检测系统，其中，

当像素块的大小为(2a+1)×(2b+1)时，像素块的SC-LBP特征被表示为：

$\underset{p=0}{\overset{a-1}{\mathrm{\Σ}}}\mathrm{\η}(i_p,i_{\mathrm{pm}})2^p+\underset{l=a}{\overset{2\mathrm{ab}+a+b-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为(2a+1)×2b，像素块的SC-LBP特征被表示为：

$\underset{l=0}{\overset{2\mathrm{ab}+b-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为2a×(2b+1)，像素块的SC-LBP特征被表示为：

$\underset{p=0}{\overset{a-1}{\mathrm{\Σ}}}\mathrm{\η}(i_p,i_{\mathrm{pm}})2^p+\underset{l=a}{\overset{2\mathrm{ab}+a-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

当像素块的大小为2a×2b，像素块的SC-LBP特征被表示为：

$\underset{l=0}{\overset{2\mathrm{ab}-1}{\mathrm{\Σ}}}\mathrm{\δ}(i_l,i_{\mathrm{lm}})2^l,$

其中，a、b为大于零的整数，i_l表示像素块中的第l个像素，i_p表示像素块中的第p个像素，i_c表示像素块的中心位置，i_lm表示i_l关于i_c的中心对称的像素，i_pm是i_p关于i_c的中心对称的像素，η(i_p，i_pm)表示i_p和i_pm之间的亮度关系，δ(i_l，i_lm)表示i_l和i_lm之间的颜色分量关系。

7.根据权利要求1所述的对象检测系统，其中，所述分类器是混合可变形部件模型，检测单元通过将提取的图像特征输入所述混合可变形部件模型来从待检测图像中检测出被认为包括对象的多个窗口区域。

8.根据权利要求7所述的对象检测系统，还包括：

冗余抑制单元，根据所述多个窗口区域之间的交互关系从所述多个窗口区域中去除伪窗口区域。

9.一种对象检测方法，包括：

接收待检测图像；

从待检测图像提取预定类型的图像特征，所述预定类型的图像特征包括对称颜色部件二元模式(SC-LBP)特征，SC-LBP特征体现了图像中位置对称的像素之间的颜色特性关系；

通过将提取的图像特征输入分类器来从待检测图像中检测对象，

其中，通过从训练样本中提取所述预定类型的图像特征来训练所述分类器。

10.一种图像的特征提取方法，包括：

将图像划分为多个像素块；

获取每个像素块中的每个像素的颜色特性；

确定每个像素块中的每对对称像素之间的颜色特性关系；

根据确定的颜色特性关系来确定与每个像素块中的每对对称像素相应的二元值作为SC-LBP特征码。

Images