CN103295243A - 图像处理方法和设备以及物体检测方法和系统 - Google Patents

Abstract

本发明涉及图像处理方法和装置以及物体检测方法和系统。根据本发明的图像处理方法包括颜色分类步骤，用于将图像区域中的多个像素分类到至少一个主颜色类中；掩模生成步骤，用于为每个主颜色类生成一个色差掩模，色差掩模反映多个像素和相应主颜色类之间的关系；和特征提取步骤，用于从每个相应色差掩模中提取一个特征向量。

Description

图像处理方法和设备以及物体检测方法和系统

技术领域

本发明涉及图像处理、计算机视觉及模式识别。更具体地说，本发明涉及基于彩色图像的区域描述。

背景技术

在图像处理以及物体检测时，经常需要执行区域描述方法以用于对图像区域进行描述。此处的术语“物体”包括有生命物体，例如人、动物等，以及无生命物体。目前的大多数区域描述方法都是基于灰度图像的，而不是彩色图像。主要原因在于，彩色图像对光照变化以及色差非常敏感，因此如果使用颜色信息描述图像区域，将存在较大风险。因此传统的区域描述方法往往将彩色图像先变换为灰度图像，然后用基于灰度的特征描述它。基于灰度图像的区域描述方法例如可包括：用于人像检测的方向梯度直方图(Histograms of OrientedGradients，HOG)方法(参见Navneet Dalal和Bill Triggs的“Histograms of Oriented Gradients for Human Detection”)、尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)方法(参见Lowe，David G.(1999).“Object recognition from local scale-invariant features”，Proceedings of the International Conference onComputer Vision.2.pp.1150-1157)、加速鲁棒特征(Speeded UpRobust Features，SURF)方法(参见Herbert Bay，Andreas Ess，Tinne Tuytelaars和Luc Van Gool的“SURF：Speeded Up RobustFeatures”，Computer Vision and Image Understanding(CVIU)，Vol.110，No.3，pp.346--359，2008)、局部二值模式(Local BinaryPatterns，LBP)方法(参见Ojala，M.

和D.Harwood(1994)，“Performance evaluation of texture measures withclassification based on Kullback discrimination of distributions”，Proceedings of the 12th IAPR International Conference on PatternRecognition(ICPR 1994)，vol.1，pp.582-585.)等等。

基于灰度的特征不使用颜色信息，即消除了色差，并且主要针对光照变化进行处理，因为颜色信息对于物体描述来说不是最重要的。这就是为什么基于灰度的特征使用比较广泛的原因。

随着硬件计算能力和对计算机视觉应用的要求越来越高，希望添加颜色信息以进一步提高区域描述方法的辨别力。已提出了多种方法来对不同颜色空间中的每个颜色分量提取基于灰度的特征，但是这些方法工作得并不理想。原因在于，第一，许多颜色空间，比如RGB、LUV、YUV空间，未将光照和颜色分离开，而基于灰度的特征对于光照比较鲁棒，但是对于色差比较敏感；第二，一些颜色空间，比如HSL或HSV空间，可以将光照和颜色分离开，但是基于灰度的特征不能很好地描述颜色分量中的色差。例如，HSL或HSV颜色空间可以将光照和颜色划分为亮度、色调和饱和度三个分量。但是基于灰度的特征无法很好地描述色调分量中的色差，因为色调分量中的值代表的是颜色的不同种类，而不是某颜色的幅度。

发明内容

因此，需要一种新的图像区域描述方法，其能够有效地利用图像区域中的颜色信息来提高区域描述的辨别度。

为了解决以上技术问题，本发明提供一种图像处理方法。该图像处理方法包括：颜色分类步骤，用于将图像区域中的多个像素分类到至少一个主颜色类中；掩模生成步骤，用于为每个主颜色类生成一个色差掩模，该色差掩模反映该多个像素和相应主颜色类之间的关系；和特征提取步骤，用于从每个相应色差掩模中提取一个特征向量。

此外，本发明提供一种物体检测方法。该物体检测方法包括：使用如上所述的图像处理方法处理图像或视频，以获得至少一个特征向量；以用于待检测物体的至少一个分类器对该至少一个特征向量进行分类；和基于分类的结果确定该待检测物体在图像或视频中的位置。

此外，为了解决以上技术问题，本发明提供一种图像处理装置。该图像处理装置包括：颜色分类单元，用于将图像区域中的多个像素分类到至少一个主颜色类中；掩模生成单元，用于为每个主颜色类生成一个色差掩模，该色差掩模反映该多个像素和相应主颜色类之间的关系；和特征提取单元，用于从每个相应色差掩模中提取一个特征向量。

此外，本发明提供一种物体检测系统。该物体检测系统包括：处理设备，用于使用如上所述的图像处理装置处理图像或视频，以获得至少一个特征向量；分类设备，用于以用于待检测物体的至少一个分类器对该至少一个特征向量进行分类；和确定设备，用于基于分类的结果确定待检测物体在图像或视频中的位置。

得益于根据本发明的图像处理方法和装置及物体检测方法和系统，可有效地采用图像区域中的颜色信息来描述图像。

从参照附图的以下描述中，本发明的其它方面、特征和优点将变得清晰。

附图说明

并入说明书并且构成说明书的一部分的附图图示了本发明的实施例，并且与描述一起用于说明本发明的原理。

图1a是示出根据本发明的图像处理方法的示例性流程图。

图1b是示出根据本发明的图像处理装置的示例性功能框图。

图2a是示出根据本发明的图像处理方法中的颜色分类步骤所执行的处理的示例性流程图。

图2b是示出根据本发明的图像处理装置中的颜色分类单元的示例性功能框图。

图3a是示出HSV颜色空间的示意图。

图3b是示出HSL颜色空间的示意图。

图4a是示出根据本发明的示例性实施例的主颜色类的示意图。

图4b示出根据本发明的示例性实施例的主颜色类寻找步骤中各个阶段得到的结果。

图5a是示出根据本发明的图像处理方法中的掩模生成步骤所执行的处理的示例性流程图。

图5b是示出根据本发明的图像处理装置中的掩模生成单元的示例性功能框图。

图6示意性地示出HSL空间中的参考点和像素点的距离。

图7a示出根据本发明的示例性实施例的原始图像的说明性例子。

图7b示出根据本发明的示例性实施例，对图7a中的原始图像生成的消色主颜色类所对应的掩模的说明性例子。

图7c-图7d示出根据本发明的示例性实施例，对图7a中的原始图像生成的非消色主颜色类所对应的掩模的说明性例子。

图8a是示出根据本发明的示例性实施例的物体检测方法的流程图。

图8b是示出根据本发明的示例性实施例的物体检测系统的示意性功能框图。

图9a是示出根据本发明的示例性实施例的获得分类器的方法的流程图。

图9b是示出根据本发明的示例性实施例的用于获得分类器的设备的示意性功能框图。

图10是示出根据本发明的物体检测方法与现有技术中的物体检测方法的效果比较的图。

图11是示出能够实施本发明的实施例的计算机系统的硬件配置的示意性框图。

具体实施方式

以下将参照附图详细描述本发明的实施例。

请注意，类似的参考数字和字母指的是图中的类似的项目，因而一旦在一幅图中定义了一个项目，就不需要在之后的图中讨论了。

图1a是示出根据本发明的图像处理方法的示例性流程图。

如图1a所示，根据本发明的示例性实施例的图像处理方法包括：颜色分类步骤S100、掩模生成步骤S200、特征提取步骤S300以及可选的特征合成步骤S400。

具体地，在颜色分类步骤S100中，将需要处理的图像区域中的多个像素分类到主颜色类中。可以对该图像区域中的全部像素进行该处理，也可以只对部分像素进行该处理。优选地，对图像区域中80％以上的像素进行颜色分类处理。主颜色类的数量可根据图像性质和处理要求而由经验值或先验信息确定。一般来说，存在至少一个主颜色类。

在掩模生成步骤S200中，为每个主颜色类生成一个色差掩模。色差掩模反映的是要处理的图像区域中的该多个像素和相应主颜色类之间的关系。作为示例，色差掩模可以是和上述多个像素对应排列的二维矩阵，矩阵中的每个元素反映对应像素和一个主颜色类之间的关系。优选地，该关系可以是该对应像素和主颜色类的色差，即该对应像素和主颜色类在颜色空间中的距离。

在特征提取步骤S300中，从每个相应色差掩模中提取特征向量。可以使用任何现有的以及今后有可能开发出的区域描述方法来提取特征向量。作为示例，可以使用在背景技术部分中描述的基于灰度图像的描述方法，例如，但不限于：用于人像检测的方向梯度直方图(HOG)方法、尺度不变特征变换(SIFT)方法、加速鲁棒特征(SURF)方法、局部二值模式(LBP)方法，等等。

至此，已得到了用于描述待处理的图像区域的特征的特征向量。另外，可选地，根据本实施例的图像处理方法还可包括特征合成步骤S400。

在特征合成步骤S400中，将特征提取步骤S300中得到的所有特征向量合成为一个唯一特征向量。作为示例，如果在特征提取步骤S300中得到N个1×M维的特征向量，则该唯一特征向量可以是该N个特征向量的串接，即1×MN维，其中M和N均为正整数。另外，优选地，在合成唯一特征向量时，也可以用预定的权重来加权各个要被合成的特征向量。权重可根据经验值或关于待处理的图像区域的先验信息来确定。作为示例，如果事先已知待处理的图像区域为灰度图像，则可将针对消色主颜色类获得的特征向量的对应权重设为0，从而不考虑色差信息。此时，根据本实施例的图像处理方法不仅可处理彩色图像，也可很好地适用于灰度图像，从而保持了良好兼容性。

图1b是示出根据本发明的图像处理装置1的示例性功能框图。该图像处理装置1可用于实施如图1a中所示的图像处理方法。

如图1b所示，根据本发明的图像处理装置1包括：颜色分类单元100、掩模生成单元200、特征提取单元300以及可选的特征合成单元400。

具体地，颜色分类单元100被配置为将需要处理的图像区域中的多个像素分类到主颜色类中。可以对该图像区域中的全部像素进行该处理，也可以只对部分像素进行该处理。优选地，对图像区域中80％以上的像素进行颜色分类处理。主颜色类的数量可根据图像性质和处理要求而由经验值或先验信息确定。一般来说，存在至少一个主颜色类。

掩模生成单元200被配置成为每个主颜色类生成一个色差掩模。色差掩模反映的是要处理的图像区域中的该多个像素和相应主颜色类之间的关系。作为示例，色差掩模可以是和上述多个像素对应排列的二维矩阵，矩阵中的每个元素反映对应像素和一个主颜色类之间的关系。优选地，该关系可以是该对应像素和主颜色类的色差，即该对应像素和主颜色类在颜色空间中的距离。

特征提取单元300被配置成从每个相应色差掩模中提取特征向量。可以使用任何现有的以及今后有可能开发出的区域描述设备和方法来提取特征向量。作为示例，可以使用在背景技术部分中描述的基于灰度图像的描述方法，例如，但不限于：用于人像检测的方向梯度直方图(HOG)方法、尺度不变特征变换(SIFT)方法、加速鲁棒特征(SURF)方法、局部二值模式(LBP)方法，等等。

至此，已得到了用于描述待处理的图像区域的特征的特征向量。另外，可选地，根据本实施例的图像处理装置还可包括特征合成单元400。

特征合成单元400被配置成将特征提取单元300中得到的所有特征向量合成为一个唯一特征向量。作为示例，如果在特征提取单元300中得到N个1×M维的特征向量，则该唯一特征向量可以是该N个特征向量的串接，即1×MN维，其中M和N均为正整数。另外，优选地，在合成唯一特征向量时，也可以用预定的权重来加权各个要被合成的特征向量。权重可根据经验值或关于待处理的图像区域的先验信息来确定。作为示例，如果事先已知待处理的图像区域为灰度图像，则可将针对消色主颜色类获得的特征向量的对应权重设为0，从而不考虑色差信息。此时，根据本实施例的图像处理装置不仅可处理彩色图像，也可很好地适用于灰度图像，从而保持了良好兼容性。

图2a是示出根据本发明的图像处理方法中的颜色分类步骤S100所执行的具体处理的示例性流程图。

如图2a所示，颜色分类步骤S100包括：颜色空间转换步骤S1100、消色主颜色类设置步骤S1200、统计步骤S1300以及主颜色类寻找步骤S1400。

在颜色空间转换步骤S1100中，将前面提及的多个像素从上述图像区域的颜色空间转换到HSV或HSL颜色空间。

图3a和图3b是分别示出HSV和HSL颜色空间的示意图。

HSV和HSL颜色空间是RGB颜色模型中的点的两种相关的表示方式，它们比起RGB空间来说，更精确地描述感知颜色关系，同时保持计算的简单。HSL是色调、饱和度、亮度的缩写，而HSV是色调、饱和度、值的缩写。

HSL和HSV都将颜色描述为圆柱体(色立体)中的点。该圆柱体的中心轴从底部的黑色(0)延伸到顶部的白色(1)，之间是中间色。围绕中心轴的角度对应于“色调”，距中心轴的距离对应于“饱和度”，并且沿中心轴延伸的距离对应于“亮度”或“值”。

HSL和HSV两种表达方式相类似，但是略有不同。虽然在数学上都算作圆柱体，但如图3a所示，HSV可认为是个倒圆锥，黑色在底部，白色在顶部，完全饱和的颜色在顶部的圆周上；如图3b所示，HSL可认为是双锥或者球体，黑色在底部，白色在顶部，完全饱和的颜色在中心处代表中灰的水平截面的边缘上。HSL和HSV空间中的“色调”分量代表相同的属性，但是它们的“饱和度”定义差异很大。

HSL或HSV颜色空间中的点可由(h，s，l)或(h，s，v)三元组表达。因为HSL和HSV是RGB模型的简单变型，由(h，s，l)或(h，s，v)三元组表达的物理颜色取决于设备或特定RGB空间的红、绿、蓝三元色，以及取决于用于表达该三元色的量的伽马压缩(gammacompression)。因此(h，s，l)或(h，s，v)三元组在关联到特定RGB颜色空间后则可被确定下来。

HSL和HSV模型最初是由Alvy Ray Smith在1978年正式提出的，具体可参见Alvy Ray Smith(1978年8月)的“Color GamutTransform Pairs”，Computer Graphics 12(3)：12，doi：10.1145/965139.807361，以及Kuehni，Rolf G.(2002年2月)的“The early development of the Munsell system”，Color Researchand Application 27(1)：20-27，doi：10.1002/col.10002。

以下具体描述从RGB空间到HSL和HSV空间的转换的示例性实施例。

令r，g，b∈[0，1]分别代表RGB空间中的颜色的红、绿、蓝坐标，令max和min分别代表r，g，b中的最大值和最小值。

在一个实施例中，令h ∈[0，360°]代表HSL或HSV空间中的色调，则：

令s ∈[0，1]代表HSL空间中的饱和度，l∈[0，1]代表HSL空间中的亮度，则：

$l=\frac{1}{2}(\max +\min )$

$s=\left\{\begin{array}{cc}0& \mathrm{if\; l}=0\mathrm{or}\max =\min \\ \frac{\max -\min }{\max +\min }=\frac{\max -\min }{2l},& \mathrm{if}0<l\&le;\frac{1}{2}\\ \frac{\max -\min }{2-(\max +\min )}=\frac{\max -\min }{2-2l},& \mathrm{if\; l}>\frac{1}{2}\end{array}\right.$

h的值通常被归一化在0到360°之间，并且当max＝min(即灰色)时h＝0，尽管h＝0时没有几何含义。另外，当l等于0或1时，令s＝0也是人为规定的。

HSL和HSV的色调采用相同的定义，但是另外两个分量则不同。在一个实施例中，令s ∈[0，1]代表HSV空间中的饱和度，v∈[0，1]代表HSV空间中的值，则：

$s=\left\{\begin{array}{cc}0,& \mathrm{if}\max =0\\ \frac{\max -\min }{\max }=1-\frac{\min }{\max },& \mathrm{otherwise}\end{array}\right.$

v＝max

以上示出了将像素从RGB颜色空间转换为HSL或HSV颜色空间的示例性实施例。本领域技术人员应了解，上述实施例只是说明性的，不旨在限制本发明的范围。例如，可以采用其他方法将像素从RGB颜色空间转换为HSL或HSV颜色空间。又例如，待处理的图像数据并不一定是在RGB颜色空间中表达的，RGB颜色空间只作为示例而非限制。

现在返回参考图2a，在消色主颜色类设置步骤S1200中，将消色像素的颜色设置为一个主颜色类。

优选地，该消色像素的颜色对应于HSV或HSL颜色空间中包括纯黑色(intensive black)、纯白色(intensive white)和灰色的部分。

作为一个示例性实施例，在消色主颜色类设置步骤S1200中，包括从HSV或HSL颜色空间中提取消色部分。消色部分隐藏在待处理的彩色图像的普通颜色中。参见图3a和图3b，在HSV或HSL颜色空间中消色部分是由虚线表示的部分空间。

在HSV颜色空间中，如果物理颜色由(h，s，v)定义，则消色部分的空间AchromaticColor_HSV的范围为：

其中：

bt代表黑色阈值，作为示例，可以选择15％V，其中V代表值分量的最大值；

gwt代表灰色和白色阈值，作为示例，可以选择15％S，其中S代表饱和度分量的最大值。

值得注意的是，上述bt和gwt的取值只是示例性的而非限制性的，可以根据经验和需要对bt和gwt取不同的值。例如，可以使用5％、10％、20％、25％等代替上述百分比15％。

在HSL颜色空间中，如果物理颜色由(h，s，l)定义，则消色部分的空间AchromaticColor_HSL的范围为：

其中：

bt代表黑色阈值，作为示例，可以选择15％L，其中L代表亮度分量的最大值；

gt代表灰色阈值，作为示例，可以选择15％S，其中S代表饱和度分量的最大值；

wt代表白色阈值，作为示例，可以选择85％L，其中L代表亮度分量的最大值。

值得注意的是，上述bt、gt和wt的取值只是示例性的而非限制性的，可以根据经验和需要对bt、gt和wt取不同的值。例如，可以使用5％、10％、20％、25％等代替上述百分比15％，相应地以95％、90％、80％、75％等代替上述百分比85％。

在消色主颜色类设置步骤S1200中，将提取出来的消色部分中的像素归类为一个主颜色类，即消色主颜色类。

流程进行到统计步骤S1300。在统计步骤S1300中，根据HSV或HSL颜色空间中的非消色像素的色调值，将它们统计为直方图。

图4a是示出根据本发明的示例性实施例的主颜色类的示意图。在图4a中，横轴x是色调的值，纵轴H(x)是像素数目。图中的曲线示意出统计步骤S1300中统计出来的直方图。

图2a中的流程进行到主颜色类寻找步骤S1400。在主颜色类寻找步骤S1400中，找到直方图的至少一个峰以作为主颜色类。要寻找的峰的个数可由经验值确定。例如，可以人为规定，一旦找到三个峰，就不再继续寻找。

优选地，主颜色类，即直方图中的峰，满足以下两点要求：

峰与峰之间的距离足够大；

峰对应的像素数足够多。

例如，在图4a中存在三个明显的峰，即主颜色类。

本领域技术人员知道，存在多种方式在直方图中寻找满足上述要求的峰。以下将介绍一种寻找峰(即主颜色类)的优选方法——1D灰度形态学方法。该方法只是说明性的，并不旨在限制本发明的范围。

作为示例，在主颜色类寻找步骤S1400中，可采用以下流程寻找主颜色类：

1、平滑统计步骤S1300中得到的直方图。例如，使用开运算和闭运算平滑该直方图。开运算和闭运算的具体算法可参见以下文献：Mathematical Morphology：40 Years On，Christian Ronse，LaurentNajman，and Etienne Decencière(Eds.)，ISBN 1-4020-3442-3(2005)。

2、确定被平滑的直方图中的每个峰的范围。本领域技术人员可以使用任何适当的方法来确定每个峰的范围。

3、在每个所确定的范围中计算峰的位置。作为示例，可以按照下式计算峰的位置p：

其中，x是色调的值，H(x)是像素数目。值得注意的是，平滑直方图以及计算峰的位置的方法都只是说明性的而非对本发明的限制。本领域技术人员可以想到使用任何其它适当的方法来平滑直方图并计算峰的位置。

图4b示出根据本发明的示例性实施例的主颜色类寻找步骤S1400中各个阶段得到的结果。在图4b中，作为示例，最终得到2个峰，一个位于C1处，另一个位于C2处，它们对应于两个主颜色类。

图2a所示的流程在步骤S1400完成之后结束。

图2b是示出根据本发明的图像处理装置中的颜色分类单元100的示例性功能框图。该颜色分类单元100可用于实施如图2a中所示的颜色分类方法。

如图2b所示，颜色分类单元100包括：颜色空间转换子单元1100、消色主颜色类设置子单元1200、统计子单元1300以及主颜色类寻找子单元1400。

颜色空间转换子单元1100被配置为将前面提及的多个像素从上述图像区域的颜色空间转换到HSV或HSL颜色空间。消色主颜色类设置子单元1200被配置为将消色像素的颜色设置为一个主颜色类。统计子单元1300被配置为根据HSV或HSL颜色空间中的非消色像素的色调值，将它们统计为直方图。主颜色类寻找子单元1400被配置为找到该直方图的至少一个峰以作为主颜色类。

优选地，主颜色类寻找子单元1400进一步包括：

1、平滑子单元，被配置成平滑统计子单元1300输出的直方图。例如，使用开运算和闭运算平滑该直方图。

2、确定子单元，被配置为确定被平滑的直方图中的每个峰的范围。本领域技术人员可以使用任何适当的方法来确定每个峰的范围。

3、计算子单元，被配置为计算每个所确定的范围中的峰的位置。作为示例，可以按照下式计算峰的位置p：

其中，x是色调的值，H(x)是像素数目。值得注意的是，平滑子单元以及计算子单元的操作都只是说明性的而非对本发明的限制。本领域技术人员可以想到使用任何其它适当的操作方法来平滑直方图并计算峰的位置。

图5a是示出根据本发明的图像处理方法中的掩模生成步骤S200所执行的具体处理的示例性流程图。

如图5a所示，掩模生成步骤S200进一步包括：参考点设置步骤S2100，用于为每个主颜色类设置参考点；和关系确定步骤S2200，用于确定每个主颜色类的参考点和选取的多个像素中每个像素之间的关系。

在参考点设置步骤S2100中，在HSV或HSL颜色空间中，对包括消色主颜色类和对非消色像素进行归类而得到的非消色主颜色类在内的每个主颜色类设置参考点。参考点采用三元组(h，s，v)或(h，s，l)的形式并且能够反映所找到的主颜色类。例如，对于消色主颜色类，可将参考点设置在HSV或HSL颜色空间中的消色部分中；对于非消色主颜色类，可将参考点的h值设置为主颜色类的色调，即色调直方图的峰值。

优选地，可按以下方式设置参考点：

●对于消色主颜色类，将参考点设置为(0，0，m)，其中m是HSL颜色空间中亮度(L)分量或HSV颜色空间中值(V)分量的最大值的一半。按照这样的设置，消色主颜色类的参考点设置在颜色空间的中心轴与代表中灰的平面的交点处。例如在HSL空间中，消色主颜色类的参考点设置在平面L＝0.5的中心处。

●对于其它主颜色类(即非消色主颜色类)，将参考点设置为(H，S，m)，其中m的含义同上，H是HSL颜色空间或HSV颜色空间中色调(H)的峰值，即在主颜色类寻找步骤中找到的直方图的峰所处的色调值，而S是HSL颜色空间或HSV颜色空间中饱和度(S)分量的最大值。按照这样的设置，非消色主颜色类的参考点设置在代表中灰的平面的边缘上。例如在HSL空间中，非消色主颜色类的参考点设置在平面L＝0.5的边缘上。

图6示例性地示出了根据上述优选实施例在HSL空间中设置的参考点。其中，点d和d₂是非消色主颜色类的参考点，而点d₁是消色主颜色类的参考点。值得注意的是，按照上述方式设置参考点能够使得计算复杂度降低。但参考点的设置方式不限于此，也可以将参考点设置在其它适当的位置。

在关系确定步骤S2200中，确定每个主颜色类的参考点和选取的多个像素中每个像素之间的关系。对于每个主颜色类都进行这样的确定。因此色差掩模的数量可以与参考点的数目相等。一旦确定了每个像素和一个主颜色类的参考点之间的关系，就可得到该主颜色类所对应的色差掩模，该色差掩模中的每个元素即代表相应像素与参考点之间的关系。

作为一个示例性例子，每个色差掩模是与待处理图像等大的图像，或者说是一个二维矩阵，矩阵中的每个元素与待处理图像中的像素对应，并且是记录该相应像素在主颜色空间中与参考点之间的距离的值。

在图6中示意性地示出了在HSL颜色空间中任一点r和参考点d之间的距离。以该HSL颜色空间为例，点r和d之间的距离Distance_HSL可计算为：

${\mathrm{Dis}\tan \mathrm{ce}}_{\mathrm{HSL}}=\sqrt{{(S_d\cos H_d-S_r\cos H_r)}^2+{(S_d\sin H_d-S_r\sin H_r)}^2+{(L_d-L_r)}^2}$

其中，S_d和S_r、H_d和H_r、L_d和L_r分别为HSL颜色空间中点d和r的饱和度、色调、亮度的数值。

类似地，HSV颜色空间(未示出)中点r和d之间的距离Distance_HSV可以计算为：

${\mathrm{Dis}\tan \mathrm{ce}}_{\mathrm{HSV}}=\sqrt{{(S_d\cos H_d-S_r\cos H_r)}^2+{(S_d\sin H_d-S_r\sin H_r)}^2+{(V_d-V_r)}^2}$

其中，S_d和S_r、V_d和V_r、H_d和H_r分别为HSV颜色空间中点d和r的饱和度、值、色调的数值。

虽然以上描述了计算像素和参考点之间的距离作为色差掩模，但本领域技术人员应认识到本发明不限于此，还可以适当地根据像素和参考点之间的其他关联生成色差掩模。

图5b是示出根据本发明的图像处理装置中的掩模生成单元200的示例性功能框图。该掩模生成单元200可用于实施如图5a中所示的掩模生成步骤S200。

如图5b中所示，掩模生成单元200可包括参考点设置子单元2100和关系确定子单元2200。参考点设置子单元2100被配置成为每个主颜色类设置参考点，而关系确定子单元2200被配置成确定每个主颜色类的参考点和选取的多个像素中每个像素之间的关系。

参考点设置子单元2100进一步可包括：

●第一设置子单元(未示出)，被配置成对于消色主颜色类，将参考点设置为(0，0，m)，其中m是HSL颜色空间中亮度(L)分量或HSV颜色空间中值(V)分量的最大值的一半。按照这样的设置，消色主颜色类的参考点设置在颜色空间的中心轴与代表中灰的平面的交点处。例如在HSL空间中，消色主颜色类的参考点设置在平面L＝0.5的中心处。

●第二设置子单元(未示出)，被配置成对于其它主颜色类(即非消色主颜色类)，将参考点设置为(H，S，m)，其中m的含义同上，H是HSL颜色空间或HSV颜色空间中色调(H)的峰值，即在主颜色类寻找步骤中找到的直方图的峰所处的色调值，而S是HSL颜色空间或HSV颜色空间中饱和度(S)分量的最大值。按照这样的设置，非消色主颜色类的参考点设置在代表中灰的平面的边缘上。例如在HSL空间中，非消色主颜色类的参考点设置在平面L＝0.5的边缘上。

图7a示出根据本发明的示例性实施例的原始图像的说明性例子。图7b示出根据本发明的上述示例性实施例对图7a中的原始图像生成的消色主颜色类所对应的掩模的说明性例子。图7c-图7d示出根据本发明的上述示例性实施例对图7a中的原始图像生成的非消色主颜色类所对应的掩模的说明性例子。

图8a是示出根据本发明的示例性实施例的物体检测方法的流程图。

如图8a所示，在步骤S10，使用如上所述的图像处理方法处理图像或视频，以按照本发明的方法获得至少一个特征向量。在步骤S20，用待检测物体的分类器对在步骤S10中得到的特征向量进行分类。即，以在步骤S10中得到的特征向量作为分类器的输入，经过分类器的运算得到判别结果作为输出。术语“分类器”在本领域中是指一种使得待分类物体被划归某一类而使用的分类装置、计算机程序或数学模型，通常通过对样本数据集的学习而获得。在步骤S30，基于步骤S20中的分类结果确定待检测物体在图像或视频中的位置。例如，如果从图像中某个图像区域提取的特征向量被分类器分类为符合样本图像的特征，则可确定图像中的该图像区域中出现了待检测物体。

图8b是示出根据本发明的示例性实施例的物体检测系统2的示意性功能框图。该物体检测系统2可用于实施图8a中示出的物体检测方法。

如图8b中所示，物体检测系统2可包括处理设备10、分类设备20和确定设备30。

处理设备10可被配置为使用如上所述的图像处理装置处理图像或视频，以获得至少一个特征向量。

分类设备20可被配置为用待检测物体的分类器对通过处理设备10得到的特征向量进行分类。

确定设备30可被配置为基于通过分类设备20得到的分类结果确定待检测物体在图像或视频中的位置。例如，如果从图像中某个图像区域提取的特征向量被分类器分类为符合样本图像的特征，则可确定图像中的该图像区域中出现了待检测物体。

图9a是示出根据本发明的示例性实施例的获得分类器的方法的流程图。

如图9a中所示，在步骤S910，接收待检测物体的样本图像。该样本图像可以由用户输入，也可以由系统通过其他方式自动获取。该样本图像可以是静止图像，也可以是视频中的一帧构成的图像。另外，该样本图像可以是一幅完整图像中的一个图像区域。

在步骤S920，使用根据本发明的图像处理方法获得该样本图像的至少一个特征向量。特征向量的数量可以根据经验值或其他适当方式确定。

在步骤S930，对样本图像的特征向量进行机器学习，以形成至少一个分类器。本领域技术人员将能够根据实际需要确定进行机器学习以形成分类器的具体方式。分类器的数量可以根据经验值或其他适当方式确定。

图9b是示出根据本发明的示例性实施例的用于获得分类器的设备的示意性功能框图。该用于获得分类器的设备可用于实施如图9a中所示的获得分类器的方法。该设备可被包括在如图8b中所示的物体检测系统2中，也可独立于物体检测系统2。

如图9b中所示，该用于获得分类器的设备可包括：接收设备910、获取设备920和机器学习设备930。

接收设备910可被配置为接收待检测物体的样本图像。该样本图像可以由用户输入，也可以由系统通过其他方式自动获取。该样本图像可以是静止图像，也可以是视频中的一帧构成的图像。另外，该样本图像可以是一幅完整图像中的一个图像区域。

获取设备920可以被配置为使用根据本发明的图像处理装置获得该样本图像的至少一个特征向量。特征向量的数量可以根据经验值或其他适当方式确定。

机器学习设备930可以被配置为对样本图像的特征向量进行机器学习，以形成至少一个分类器。分类器的数量可以根据经验值或其他适当方式确定。

以上描述的单元和以下要描述的单元是用于实施本公开中描述的处理的示例性和/或优选的模块。这些模块可以是硬件单元(诸如场可编程门阵列、数字信号处理器或专用集成电路等)和/或软件模块(诸如计算机可读程序)。以上并未详尽地描述用于实施各个步骤的模块。然而，只要有执行某个处理的步骤，就可以有用于实施同一处理的对应的功能模块或单元(由硬件和/或软件实施)。通过所描述的步骤以及与这些步骤对应的单元的所有组合限定的技术方案都被包括在本申请的公开内容中，只要它们构成的这些技术方案是完整并且可应用的。

此外，由各种单元构成的上述设备可以作为功能模块被并入到诸如计算机之类的硬件装置中。除了这些功能模块之外，计算机当然可以具有其他硬件或者软件部件。

以上描述了根据本发明的各实施例的图像处理、物体检测方法和系统。

在根据本发明的方法中，不仅采用了图像中的灰度信息生成描述特征，还有效地利用了图像中的颜色信息来描述图像，因此，比起现有技术中只利用灰度信息的处理方法来说，更充分地利用了图像中的信息，从而提高了准确率。

为了评估根据本发明的方法和设备，在用户登记物体检测(UROD)系统中应用了根据本发明的图像处理方法来描述图像或图像区域。由用户登记物体的图像(目标图像)的单个样本，创建级联的分类器来自适应地检测用户登记的物体。使用所述根据本发明的物体检测装置和所创建的级联的分类器从输入视频帧中定位用户登记的物体。

采用PASCAL(“Pattern Analysis，Statistical Modelling andComputational Learning”，即“模式分析、统计建模和计算学习”的缩写)评估准则作为这里的评估准则。当(标记区域∩检测区域)/(标记区域∪检测区域)＞阈值T时，检测区域被认为是正确的检测区域。符号“∩”意味着交集运算且符号“∪”表示并集运算。

用于该评估的召回率(recall rate)与虚警率FPPI(FPPI：False Positive Per Image，每帧正误识)定义如下。

召回率：正确肯定数/所有真样本的数量；其中“正确肯定(truepositive)”表示分类器将真样本判定为真(positive)。

虚警率FPPI：正误识数/所有假样本的数量；其中“正误识”表示分类器将假样本判定为真。

在召回率基本相同的情况下，虚警率低的系统性能更好；而在虚警率基本相同的情况下，召回率高的系统性能更好。

用于性能评估的软件和硬件配置示于以下的表1中。

表1

评估1：在UROD系统中分别使用两种图像描述方法来创建分类器，即基于灰度图像的特征的LTP方法和使用本发明的基于彩色图像的特征的LTP方法。

对于这两种方法的评估结果示于以下的表2中。

表2

从表2所示的评估结果可看出，在召回率相差不大的情况下，基于灰度图像的LTP方法虚警率为30.34％，而使用本发明的基于彩色图像的LTP方法虚警率只有9.37％。因此，与现有方法相比，根据本发明的方法能够极大降低虚警率。

评估2：图10是示出根据本发明的物体检测方法与现有技术中的物体检测方法的效果比较的图。在图10中，比较了根据本发明的物体检测方法(在图10中示出为CD_LTP)和三种现有技术中的已知方法的召回率与虚警率。这三种已知方法为：采用具有线性核的一类支持向量机(Support Vector Machine，SVM)以用于训练的HOG方法HOG+SVM、LARK方法(参见Hae Jong Seo，Peyman Milanfar，Training-Free，Generic Object Detection Using Locally AdaptiveRegression Kernels，IEEE Trans.PAMI，vol.32，no.9，pp.1688-1704，2010)、SURF方法。

从图10中可见根据本发明的方法与其它三种方法相比，在相同的虚警率下具有较高的召回率，而在相同的召回率下具有较低的虚警率。也就是说，根据本发明的方法进行物体检测时具有较好的性能。

图11是示出能够实施本发明的实施例的计算机系统1000的硬件配置的框图。

如图11中所示，计算机系统1000包括计算机1110。计算机1110包括经由系统总线1121连接的处理单元1120、系统存储器1130、固定非易失性存储器接1140、可移动非易失性存储器接1150、用户输入接1160、网络接1170、视频接1190和输出外围接口1195。

系统存储器1130包括ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出系统)1133驻留在ROM1131中。操作系统1134、应用程序1135、其它程序模块1136和某些程序数据1137驻留在RAM 1132中。

诸如硬盘之类的固定非易失性存储器1141连接到固定非易失性存储器接口1140。固定非易失性存储器1141例如可以存储操作系统1144、应用程序1145、其它程序模块1146和某些程序数据1147。

诸如软盘驱动器1151和CD-ROM驱动器1155之类的可移动非易失性存储器连接到可移动非易失性存储器接口1150。例如，软盘1152可以被插入到软盘驱动器1151中，以及CD(光盘)1156可以被插入到CD-ROM驱动器1155中。

诸如鼠标1161和键盘1162之类的输入设备被连接到用户输入接口1160。

计算机1110可以通过网络接口1170连接到远程计算机1180。例如，网络接口1170可以经由局域网1171连接到远程计算机1180。或者，网络接口1170可以连接到调制解调器(调制器-解调器)1172，以及调制解调器1172经由广域网1173连接到远程计算机1180。

远程计算机1180可以包括诸如硬盘之类的存储器1181，其存储远程应用程序1185。

视频接口1190连接到监视器1191。

输出外围接口1195连接到打印机1196和扬声器1197。

图11所示的计算机系统仅仅是说明性的并且决不意图对本发明、其应用或用途进行任何限制。

图11所示的计算机系统可以被实施于任何实施例，可作为独立计算机，或者也可作为设备中的处理系统，可以移除一个或更多个不必要的组件，也可以向其添加一个或更多个附加的组件。

可以通过许多方式来实施本发明的方法和设备。例如，可以通过软件、硬件、固件、或其任何组合来实施本发明的方法和设备。上述的方法步骤的次序仅是说明性的，本发明的方法步骤不限于以上具体描述的次序，除非以其他方式明确说明。此外，在一些实施例中，本发明还可以被实施为记录在记录介质中的程序，其包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。

虽然已通过示例详细展示了本发明的一些具体实施例，但是本领域技术人员应当理解，上述示例仅意图是说明性的而不限制本发明的范围。本领域技术人员应该理解，上述实施例可以被修改而不脱离本发明的范围和实质。本发明的范围是通过所附的权利要求限定的。

Claims (22)

1.一种图像处理方法，包括：

颜色分类步骤，用于将图像区域中的多个像素分类到至少一个主颜色类中；

掩模生成步骤，用于为每个主颜色类生成一个色差掩模，所述色差掩模反映所述多个像素和相应主颜色类之间的关系；和

特征提取步骤，用于从每个相应色差掩模中提取一个特征向量。

2.根据权利要求1所述的图像处理方法，其中，所述颜色分类步骤包括：

颜色空间转换步骤，用于将所述多个像素从所述图像区域的颜色空间转换到HSV或HSL颜色空间；

消色主颜色类设置步骤，用于将消色像素的颜色设置为所述主颜色类中的一个；

统计步骤，用于根据所述HSV或HSL颜色空间中的非消色像素的色调值，将所述非消色像素统计为直方图；和

主颜色类寻找步骤，用于找到所述直方图的至少一个峰作为所述至少一个主颜色类。

3.根据权利要求2所述的图像处理方法，其中，所述消色像素的颜色对应于所述HSV或HSL颜色空间中包括纯黑色、灰色和纯白色的部分。

4.根据权利要求2所述的图像处理方法，其中，所述主颜色类寻找步骤包括：

平滑所述直方图；

确定被平滑的直方图中的所述至少一个峰中的每个峰的范围；和

在每个所确定的范围中计算峰的位置。

5.根据权利要求1所述的图像处理方法，其中，所述掩模生成步骤包括：

参考点设置步骤，用于为每个主颜色类设置参考点；和

关系确定步骤，用于确定每个主颜色类的所述参考点和所述多个像素中的每个像素之间的关系。

6.根据权利要求5所述的图像处理方法，其中，所述参考点设置步骤包括：

对于消色主颜色类，设置(0，0，m)作为所述参考点；和

对于其它主颜色类，设置(H，S，m)作为所述参考点，

其中，m是所述HSL颜色空间中亮度分量或所述HSV颜色空间中值分量的最大值的一半，H是所述HSL颜色空间或所述HSV颜色空间中色调的峰值，S是所述HSL颜色空间或所述HSV颜色空间中饱和度分量的最大值。

7.根据权利要求1-6中任何一项所述的图像处理方法，进一步包括：

特征合成步骤，用于将所有特征向量合成为唯一特征向量。

8.根据权利要求7所述的图像处理方法，其中，所述所有特征向量是按照预定的权重被合成为所述唯一特征向量的。

9.根据权利要求1-6中任何一项所述的图像处理方法，其中，在所述特征提取步骤中，使用基于灰度图像的区域描述方法。

10.一种物体检测方法，包括：

使用根据权利要求1-9中任意一项所述的图像处理方法处理图像或视频，以获得至少一个特征向量；

以用于待检测物体的至少一个分类器对所述至少一个特征向量进行分类；和

基于分类的结果确定所述待检测物体在所述图像或视频中的位置。

11.根据权利要求10所述的物体检测方法，其中，所述至少一个分类器是通过以下步骤获得的：

接收所述待检测物体的样本图像；

使用根据权利要求1-9中任意一项所述的图像处理方法获得所述样本图像的至少一个特征向量；和

对所述样本图像的所述至少一个特征向量进行机器学习，以形成所述至少一个分类器。

12.一种图像处理装置，包括：

颜色分类单元，用于将图像区域中的多个像素分类到至少一个主颜色类中；

掩模生成单元，用于为每个主颜色类生成一个色差掩模，所述色差掩模反映所述多个像素和相应主颜色类之间的关系；和

特征提取单元，用于从每个相应色差掩模中提取一个特征向量。

13.根据权利要求12所述的图像处理装置，其中，所述颜色分类单元包括：

颜色空间转换子单元，用于将所述多个像素从所述图像区域的颜色空间转换到HSV或HSL颜色空间；

消色主颜色类设置子单元，用于将消色像素的颜色设置为所述主颜色类中的一个；

统计子单元，用于根据所述HSV或HSL颜色空间中的非消色像素的色调值，将所述非消色像素统计为直方图；和

主颜色类寻找子单元，用于找到所述直方图的至少一个峰作为所述至少一个主颜色类。

14.根据权利要求13所述的图像处理装置，其中，所述消色像素的颜色对应于所述HSV或HSL颜色空间中包括纯黑色、灰色和纯白色的部分。

15.根据权利要求13所述的图像处理装置，其中，所述主颜色类寻找子单元包括：

平滑子单元，用于平滑所述直方图；

确定子单元，用于确定被平滑的直方图中的所述至少一个峰中的每个峰的范围；和

计算子单元，用于在每个所确定的范围中计算峰的位置。

16.根据权利要求12所述的图像处理装置，其中，所述掩模生成单元包括：

参考点设置子单元，用于为每个主颜色类设置参考点；和

关系确定子单元，用于确定每个主颜色类的所述参考点和所述多个像素中的每个像素之间的关系。

17.根据权利要求16所述的图像处理装置，其中，所述参考点设置子单元包括：

第一设置子单元，用于对于消色主颜色类设置(0，0，m)作为所述参考点；和

第二设置子单元，用于对于其它主颜色类设置(H，S，m)作为所述参考点，

其中，m是所述HSL颜色空间中亮度分量或所述HSV颜色空间中值分量的最大值的一半，H是所述HSL颜色空间或所述HSV颜色空间中色调的峰值，S是所述HSL颜色空间或所述HSV颜色空间中饱和度分量的最大值。

18.根据权利要求12-17中任何一项所述的图像处理装置，进一步包括：

特征合成单元，用于将所有特征向量合成为唯一特征向量。

19.根据权利要求18所述的图像处理装置，其中，所述所有特征向量是按照预定的权重被合成为所述唯一特征向量的。

20.根据权利要求12-17中任何一项所述的图像处理装置，其中，在所述特征提取单元中，使用基于灰度图像的区域描述方法。

21.一种物体检测系统，包括：

处理设备，用于使用根据权利要求12-20中任意一项所述的图像处理装置处理图像或视频，以获得至少一个特征向量；

分类设备，用于以用于待检测物体的至少一个分类器对所述至少一个特征向量进行分类；和

确定设备，用于基于分类的结果确定所述待检测物体在所述图像或视频中的位置。

22.根据权利要求21所述的物体检测系统，进一步包括：

接收设备，用于接收所述待检测物体的样本图像；

获取设备，用于使用根据权利要求12-20中任意一项所述的图像处理装置获得所述样本图像的至少一个特征向量；和

机器学习设备，用于对所述样本图像的所述至少一个特征向量进行机器学习，以形成所述至少一个分类器。

Images