CN101271515B - 能识别多角度目标的图像检测装置 - Google Patents

Abstract

本发明提供一种能识别多角度目标的图像检测装置及方法，所述图像检测装置包括：角度辨识器，用于判断输入图像的角度；检测装置，其根据角度辨识器所判断出的图像角度在输入图像中检测目标图像。本发明还提供一种角度辨识器以及一种识别多角度目标的方法。本发明通过一个角度辨识器确定目标图像的角度，然后再用同一个目标分类器进行识别。在候选角度有限且已知的情况下，可以通过结构很简单的分类器区别出不同角度的人脸，因此拥有比传统技术更好的效率。并且，本发明只需要存储一个目标分类器结构，在检测时通过调整一个参考目标分类器的参数来实现多角度方向的人脸检测，节省了装置的存储空间。

Description

能识别多角度目标的图像检测装置

技术领域

本发明涉及图像处理领域，具体来说提供了一种图像检测装置，其能够自动检测输入图像中的位于不同角度的特定目标，并输出该目标的位置、大小、角度等信息。

背景技术

人工智能的发展使得一些智能的目标检测装置在工业中得到了越来越多的应用。例如人脸的自动检测，已被广泛地应用在智能监控、数码相机等领域。本发明针对多角度情况下的目标检测，尤其是人脸检测，提出了一种新的实现方式。人脸检测的目的是从图像信号中检测出人脸的位置、尺寸等信息，在数码相机中，此技术可以用于改善人脸对焦、自动曝光以及白平衡性能。

人脸检测的研究已经有了较长的历史。P.Viola等提出了一种基于级联AdaBoost分类器的人脸检测方法(见：P.Viola，M.J.Jones，“Robust Real-TimeFace Detection”，International Journal of Computer Vision，vol.57，pp.137-154，May2004.)，该方法基于矩形的Haar小波特征，对于图像噪声具有很好的适应性，同时具有较快的检测速度。但该方法只能针对特定姿态的人脸检测，其检测性能随着人脸的角度范围增大将急剧下降。

在一些特定的应用中需要检测不同方向的人脸。例如对于数码相机，使用者可能以多个不同的角度拍照，举例来说，常用的三种拍照方式包括正向手持相机、逆时针90度旋转相机以及顺时针90度旋转相机，分别如图1A-1C所示。而在图像处理过程中，坐标的参照点是图像中的某个固定点(如左上角)的位置，因此相机上的人脸检测系统通常会接收到具有不同角度的人脸图像，例如，图2A-2C分别示出了通过图1A-1C所示的拍照方式得到的人脸角度。

美国专利申请11/299,504提出了一种实时的多视角人脸检测方法。该方法使用了一种金字塔的由粗到细、由简到难的检测器结构。该结构中的每个子层节点以相对于父层节点更为精细的尺寸检测特定视角的人脸。

美国专利申请11/285,172同样提出了一种多角度的人脸检测方法。该方法同样基于一种分层的角度分辨率逐级递增的金字塔结构。其与专利申请11/299,504的区别在于检测金字塔的内部结构不同。

上述两种多角度的人脸检测方法，其问题在于由于金字塔结构中每层节点的角度分辨率是逐层递减的，因此开始的若干层人脸分类器需要能够检测出一个较大的角度范围内的人脸。例如，对于第一层的节点，需要能检测所有可能角度的人脸。这使得位于金字塔顶部的节点的分类器结构较为复杂，而这几层对于总体检测速度的影响是很大的。这两种方法的另外一个缺点是每个父节点都有若干子节点，父节点涵盖的角度范围为子节点角度的并集，因此在检测时，在选择具体的子节点时需要比较同一父亲的所有子节点的输出值，需要的计算量较大。

参考文献

专利文献1：美国专利申请文件11/299,504，System and method formulti-view face detection，2005年12月，ZiQing Li

专利文献2：美国专利申请文件11/285，172，Method and apparatus fordetecting multi-view faces，2006年7月，Jung Bae Kim

非专利文献1：P.Viola，M.J.Jones，“Robust Real-Time Face Detection”，International Journal of Computer Vision，vol.57，pp.137-154，May2004.

发明内容

本发明提出了一种新的多角度目标识别的实现方式。

根据本发明的一个方面，一种多角度目标识别装置包括如下几个方面：

a)能识别特定角度目标的参考目标分类器，其分类器参数包括两个部分：对方向敏感的参数以及对方向不敏感的参数；b)角度辨识器，其功能在于从若干可能出现的目标角度中检测出目标图像的实际角度。从n个候选角度中选择一个参考角度，构建n-1个关于角度的分类器，通过融合所述n-1个角度分类器的输出结果来得到最终的角度判决；c)角度相关的目标分类器生成装置，其根据角度辨识器所检测到的目标角度来调整参考目标分类器中方向敏感的参数，从而得到针对所检出角度的目标分类器；d)目标检测器，其将调整后的目标分类器应用到输入图像上，检测是否为目标图像。其中，所述目标图像包括人脸图像。

根据本发明的另一方面，一种识别多角度目标的方法包括步骤：a)输入图像信号；b)由角度辨识器根据接收到的图像信号判断输入图像的角度θ，并输出该角度θ；c)利用所述角度θ从输入图像信号中检测特定目标。其中，步骤c)包括：c1)由角度相关的目标分类器生成装置接收所述角度辨识器输出的角度θ；c2)由角度相关的目标分类器生成装置根据所述角度θ调整参考目标分类器的分类器参数，以生成针对所述角度θ的目标分类器；c3)由目标检测器应用针对所述角度θ的目标分类器从图像信号中检测特定目标。

根据本发明的再一个方面，一种角度辨识器用于在输入图像为目标图像的假设下从n(n为正整数)个候选角度中判断输入图像的角度，其中，所述角度辨识器包括n-1个角度分类器。

根据本发明的再一个方面，一种识别多角度目标的方法包括：在输入图像为目标图像的假设下利用n-1个角度分类器从n(n为正整数)个候选角度中判断输入图像的角度。

本发明通过一个角度辨识器确定目标图像，例如人脸图像的角度，然后再用同一个目标分类器进行识别。在候选角度有限且已知的情况下，可以通过结构很简单的分类器区别出不同角度的人脸，因此从效率上来讲本发明拥有比背景技术部分所提到的金字塔结构更好的效率。另外，本发明只需要存储一个目标分类器结构，在检测时通过调整一个参考目标分类器的参数来实现多角度方向的人脸检测，节省了装置的存储空间。

本发明的应用领域为图像处理和图像识别。

附图说明

图1A-1C示出了常用的相机拍照方式的例子；

图2A-2C分别示出了与图1A-1C所示的相机拍照方式相对应的人脸角度；

图3示出了根据本发明的多角度目标识别装置的结构框图；

图4示出了根据本发明的多角度目标识别方法的流程图；

图5示出了待检测的人脸图像及其中的检测窗口；

图6示出了根据本发明的角度辨识器的结构图；

图7示出了根据本发明的角度辨识器的角度检测流程图；

图8示出了级联的目标分类器结构；

图9示出了根据本发明一个实施例的目标分类器所使用的Haar检测特征；

图10描述了Haar矩形特征的旋转；

图11示出了目标检测器的结构。

具体实施方式

在目标检测的具体工业应用中，目标检测系统可能缺乏关于检测目标的角度信息。如图1A-1C所示，数码相机的使用者可能以正向手持相机、逆时针90度旋转以及顺时针90度旋转这三种角度之一的方式持相机拍照，因此对数码相机上的人脸检测系统来说，输入图像信号中的人脸的方向可能是图2A-2C中的任意一种。而数码相机等便携式数字设备并不具备很强的计算能力，表现为其处理器的时钟频率较低、计算内存较小等等。因此需要一种快速同时内存占用量较小的目标检测装置。

参考图3，本发明提出的多角度目标检测装置1包含角度辨识器110，参考目标分类器120，角度相关的目标分类器生成装置130，目标检测器140以及检测结果输出装置150。角度辨识器110根据输入的图像信号判断图像的实际角度θ。参考目标分类器120为针对某一参考角度r的目标分类器，具体而言，选择所述n个候选角度之一作为第一参考角度并针对该第一参考角度建立所述参考目标分类器，其包含若干参数，包括检测特征参数、特征的权重参数以及阈值参数，并且，这些参数被分成两个子集，一个是对角度敏感的子集，另一个是对角度不敏感的子集。参考目标分类器120的功能在于：在已知目标角度为r的情况下能正确判断出输入图像信号101中是否包含该类目标。角度相关的目标分类器生成装置130读入参考目标分类器120中的分类器参数，并根据角度辨识器110输出的图像角度θ调整该分类器参数，从而得到针对角度θ的目标分类器。目标检测器140应用调整后的分类器参数检测图像信号中是否存在特定目标以及目标的特征属性(如位置、尺寸等)，并将检测结果输出到结果输出装置150。

参考图4，本发明所提出的多角度目标识别方法流程如下：首先将图像信号101输入到角度辨识器110(S01)，根据接收到的输入图像信号101判断输入图像的实际角度θ，并将该实际角度θ送入到角度相关的目标分类器生成装置130(S02)。角度相关的目标分类器生成装置130读入参考目标分类器120中的分类器参数，并根据角度辨识器110给出的图像角度θ调整该分类器参数，从而得到针对角度θ的目标分类器(S03)。目标检测器140应用调整后的分类器参数检测图像信号中是否存在特定目标以及目标的特征属性(如位置、尺寸等)，并将检测结果输出到结果输出装置150(S04)。

下文中将详细介绍根据本发明的多角度目标检测装置1的各个单元的具体结构和工作方式。

参考图5，相机或其他图像获取装置得到的人脸图像101并不总是具有相同的尺寸和位置，因此一个可行的解决办法是设定一个固定尺寸的窗口，该窗口在图像上滑动，每挪动一次将窗口覆盖下的具有固定尺寸的子图像102送入目标检测装置1中进行检测，如此可以检测具有不同位置的人脸目标。另一方面，可以将图像101进行不同尺寸的放缩，以检测具有不同尺寸的人脸目标。

输入目标检测装置1中的图像中包含的目标可能具有不同的角度。例如在数码相机的应用中，其拍摄的人脸可能具有图2A-2C示出的三种可能角度；再例如，拍摄时头部的上下俯仰以及头部的左右旋转也会造成图像中的人脸具有不同的角度。在本发明中，假定所有这些可能的目标角度已知。

角度辨识器110需要从n个候选的可能角度中给出一个目标的方向判决。这是一个n分类的问题。在n＝2的情况下可以通过模式分类的方法构建一个分类器。在n＞2的情况下，现有技术一般需要构建n(n-1)/2个两两的分类器，这在检测时需要较大的计算量和存储空间。

本发明提出了一种利用n-1个角度分类器实现n个候选角度判决的装置和方法。根据本发明的角度辨识器110的结构如图6所示。假设已知目标具有n个候选的可能角度，选定其中之一作为固定的参考角度r，可以构建n-1个角度分类器，组成一个角度分类器组111，该角度分类器组111中的每个角度分类器区别该参考角度r和余下的候选角度之一，给出一个判决以及判决的置信度。所有n-1个判决以及n-1个置信度被送入到分类器融合装置112中进行融合，最终得到一个统一的角度判决113。

关于角度分类器111的构建可以有多种实现方式。在本发明的一个具体实施例中，Boosting分类器和Haar小波特征被用于构建人脸的角度分类器。P.Viola等将Haar特征和Boosting分类器用于人脸检测(见：P.Viola，M.J.Jones，“Robust Real-Time Face Detection”，International Journal of ComputerVision，vol.57，pp.137-154，May2004.)，关于Haar特征的具体描述可见该参考文献。每个Haar特征对应于图像上的一个矩形窗口。每个角度分类器由一组选定的Haar特征构成。假定参考角度为r，第i(i＝1，2，......，n-1)个角度分类器用于辨别参考角度r和候选角度θ_i，该角度分类器中每个Haar特征对应于一个如公式(1)所表示的弱分类器h_ij(x)：

$h_{\mathrm{ij}}\left(x\right)=\left\{\begin{array}{cc}1& f_{\mathrm{ij}}\left(x\right)<{\mathrm{\&mu;}}_{\mathrm{ij}}\\ 0& f_{\mathrm{ij}}\left(x\right)\&GreaterEqual;{\mathrm{\&mu;}}_{\mathrm{ij}}\end{array}\right.---\left(1\right)$

其中f_ij(x)对应于第j(j＝1，......，m，m为所选定的Haar特征的数目)个Haar特征的输出值，μ_ij为弱分类器h_ij(x)的阈值。根据公式(2)计算所有弱分类器的线性加权：

S_i＝∑α_ijh_ij    (2)

其中，S_i为第i个角度分类器中的所有弱分类器的线性加权，α_ij为弱分类器h_ij(x)的权重。

若S_i大于或等于对应的阈值T_i，则第i个角度分类器认为待检目标的角度位于参考角度r上，否则认为目标角度为θ_i。因此，该角度分类器的输出角度ang_i如公式(3)所示：

${\mathrm{ang}}_i=\left\{\begin{array}{cc}r& S_i\&GreaterEqual;T_i\\ i& S_i<T_i\end{array}\right.---\left(3\right)$

S_i与T_i之间差的绝对值被定义为第i个角度分类器输出的置信度B_i，如下式(4)所示：

B_i＝|S_i-T_i|    (4)

B_i越大则置信度越高。

由公式(1)～(3)可知，确定一个角度分类器h_i(x)需要确定如下参数：(a)该角度分类器所使用的Harr特征f_ij；(2)每个Haar特征所对应的弱分类器的阈值μ_ij；(3)弱分类器之间的权重α_ij；(4)该角度分类器的阈值T_i。在Boosting方法中，采用样本训练的方式得到上述所需的参数。

该角度分类器的训练流程如下：

1、给定输入样本(x₁，y₁)，...，(x_n，y_n)，其中x_i代表样本图像，y_i＝0，1为样本的类别属性，分别代表该样本为反例或是正例；

2、设定一个在训练样本上期望的错误率err以及虚警率fa；

3、根据y_i＝0，1，分别初始化权重

其中m和l分别为反例和正例的样本数；

4、令t＝1，重复下列步骤：

4.1、归一化权重，

$w_{t,i}\&LeftArrow;\frac{w_{t,i}}{{\mathrm{\&Sigma;}}_{k=1}^n{w}_{t,k}}$

4.2、对于每个Haar特征j，训练一个弱分类器h_j。该弱分类器的错误率ε_j为：ε_j＝∑_iw_i|h_j(x_i)-y_i|；

4.3、选择一个弱分类器h_t，具有最低的错误率ε_t；

4.4、更新权重

$w_{t+1,i}=w_{t,i}{\mathrm{\&beta;}}_t^{1-e_i}$

其中样本x_i被正确分类，e_i＝0，否则e_i＝1。

4.5、得到当前步骤的强分类器为：

其中 ${\mathrm{\&alpha;}}_t=\log \frac{1}{{\mathrm{\&beta;}}_t}$

4.6、计算当前的强分类器h(x)的训练样本上的错误率和虚警率，若同时小于err以及fa，则转第5步；否则t←t+1；

4.7、若t大于最大的循环次数T，转第5步；否则转4.1步；

5、输出强分类器h(x)。

这里将角度位于r上的目标图像称为正例，将角度位于θ_i上的目标图像称为反例。通过搜集一定数量的正例和反例构成训练样本集，通过上述步骤1～5得到最终的Boosting分类器h_i(x)。这里h_i(x)的分类阈值T_i对应于上述步骤4.5中为：

$T_i=\frac{1}{2}{\mathrm{\&Sigma;}}_{l=1}^t{\mathrm{\&alpha;}}_l---\left(5\right)$

类似地构建出所有n-1个角度分类器。

由于不同的角度分类器之间可能给出相互冲突的判决，因此采用一个分类器融合装置112消除冲突。在本发明的一个具体实例中，我们采用置信度最大的角度分类器输出作为最终的角度判决θ。

图7给出了角度辨识器110的工作流程图：在接收到图像信号101(S21)后，分别计算n-1个角度分类器的输出S_i(S22)，然后根据公式(3)计算每个角度分类器的角度判决ang_i并根据公式(4)计算该判决的置信度B_i。最后选择B_i(i=1，......，n-1)中的最大值B_M所对应的角度θ作为角度辨识器110的输出。

在本发明中，需要对指定的一个参考角度的目标建立一个参考目标分类器120，同时将该目标分类器中的参数分为两个子集，一个是对角度敏感的子集，另一个是对角度不敏感的子集。在得知当前目标的可能角度后(通过角度辨识器110)，角度相关的目标分类器生成装置130调整角度敏感的参数子集以适应当前的目标角度，并使对角度不敏感的参数子集保持不变，从而得到针对当前目标的可能角度的目标分类器。通过这样的方式，无需保存针对不同角度的多个目标分类器，从而减少了内存的使用量和计算量。

在本发明的一个具体实例中，可以采用P.Viola的方法构建参考目标分类器(关于该方法见：P.Viola，M.J.Jones，“Robust Real-Time Face Detection”，International Journal of Computer Vision，vol.57，pp.137-154，May2004)。该方法的特点是采用级联的Boosting分类器结构(参考图8)，同时使用Haar小波作为目标(例如，人脸)辨识的特征(参考图9)。其中每一级的Boosting分类器涉及到如下参数：每个Haar特征的位置f，每个Haar特征对应的弱分类器的阈值μ，弱分类器输出的权重α以及Boosting分类器的阈值T。其中只有f是与方向相关的。参考图10，在数码相机等应用中，通常需要区别三种目标角度：0度(正向)，90度(右向旋转)以及-90度(左向旋转)。假设以0度为参考方向建立了参考目标分类器，那么对于90度和-90度旋转的目标，只需要将参考分类器中的所有Haar特征的位置分别旋转90度和-90度即可得到针对所述两种角度的目标分类器。该方法可以很容易地推广到其他角度目标的检测应用。

若以P.Viola的方法建立目标分类器，则目标检测器140的结构如图11所示。假设目标分类器共有N级，每一级是一个Boosting分类器。对于一个输入的待检测图像窗口，若该级的Boosting分类器的输出小于相应的阈值T，则该图像窗口内不包含目标，停止处理；否则送入下一级Boosting分类器以同样的方式处理，直至该图像窗口通过了所有Boosting分类器的判决。

需要说明的是，参考目标分类器的建立并不局限于上述方法。任何分类器结构，只要是针对某一特定方向目标的分类器，并且可以通过参数的调整从而适应其他方向的目标的检测，都可以用于构建本发明中的参考目标分类器。

需要说明的是，本发明可以用于对人脸的识别，也可以无需改动地用于对人脸以外其他的具有一致的特征表达的图像目标的识别。

本发明的优点包括：a)通过一个结构简单的角度辨识器确定目标图像的角度，然后再用单个目标分类器进行识别，因此具有更高的计算效率；b)本发明只需要存储一个目标分类器结构，在检测时通过调整一个参考目标分类器的参数来实现多角度方向的目标检测，节省了装置的存储空间。

Claims (18)

1.一种能识别多角度目标的图像检测装置，包括：

角度辨识器，用于判断输入图像的角度，其中，所述角度辨识器在输入图像为目标图像的假设下从n个候选角度中判断输入图像的角度，其中，n为正整数；

检测装置，其根据角度辨识器所判断出的图像角度在输入图像中检测目标图像，其中，所述检测装置包括：

针对第一参考角度而建立的参考目标分类器，所述第一参考角度是所述n个候选角度之一；

角度相关的目标分类器生成装置，其根据角度辨识器所判断出的图像角度调整参考目标分类器的参数，以得到针对该角度的目标分类器；

目标检测器，使用所述针对所述角度的目标分类器在输入图像中检测目标图像，

其中，所述角度辨识器包括n-1个角度分类器和分类器融合装置，所述n-1个角度分类器分别是通过以作为第二参考角度的候选角度之一为正例、另一个候选角度为反例而建立的两类分类器，其输出为两个候选角度之间的判决和判决的置信度，其中，所述n-1个角度分类器的反例互不相同；所述分类器融合装置接收所述n-1个角度分类器所输出的n-1个角度判决以及判决的置信度，并选择置信度最大的判决所对应的角度作为输出角度。

2.根据权利要求1所述的图像检测装置，其中，所述参考目标分类器的参数包括对方向敏感的参数和对方向不敏感的参数。

3.根据权利要求1所述的图像检测装置，其中，所述角度包括目标在所在平面内的旋转、或者目标的上下俯仰、或者目标的左右旋转而产生的角度。

4.根据权利要求1所述的图像检测装置，其中，所述第二参考角度可以与所述第一参考角度相同或不同。

5.根据权利要求1所述的图像检测装置，其中，所述参考目标分类器是通过如下步骤建立的：

建立两个样本集，其中一个样本集中仅包含所述参考角度的目标图像作为正例，另一个样本集中仅包含非目标图像作为反例；

在上述正例和反例样本集上选择能有效区别目标的分类特征，确定特征的位置；

确定每个特征输出值之间的权重，并取特征的加权和作为分类器的输出；

确定分类器的输出阈值，当分类器输出大于等于该阈值时判决为目标，小于该阈值时判决为非目标。

6.根据权利要求5所述的图像检测装置，其中，所述分类特征对应于具有唯一的位置和尺寸的矩形滤波器。

7.根据权利要求1所述的图像检测装置，其中，所述角度相关的目标分类器生成装置根据角度辨识器所判断出的图像角度调整参考目标分类器的对方向敏感的参数，并使对方向不敏感的参数保持不变。

8.根据权利要求7所述的图像检测装置，其中，所述对方向敏感的参数包括目标分类器中矩形滤波器的位置。

9.根据权利要求8所述的图像检测装置，其中，所述调整对方向敏感的参数包括将参考目标分类器中的矩形滤波器的坐标沿角度分类器输出的角度进行旋转。

10.根据权利要求1所述的图像检测装置，其中，所述目标检测器检测输入图像中是否存在目标图像，以及目标图像的特征属性。

11.根据权利要求10所述的图像检测装置，其中，所述目标检测器计算输入图像在调整后的目标分类器的输出，并将目标分类器的输出与目标分类器的输出阈值进行比较，若大于或等于输出阈值则判断输入图像包括目标图像，若小于输出阈值则判断输入图像不包括目标图像。

12.一种识别多角度目标的方法，包括步骤：

a)输入图像信号；

b)由角度辨识器根据接收到的图像信号判断输入图像的角度θ，并输出该角度θ，所述步骤b)包括：所述角度辨识器在输入图像为目标图像的假设下从n个候选角度中判断输入图像的角度，n为正整数；以及

c)利用所述角度θ从输入图像信号中检测特定目标，所述步骤c)包括：

c1)由角度相关的目标分类器生成装置接收所述角度辨识器输出的角度θ；

c2)选择所述n个候选角度之一作为第一参考角度并针对该第一参考角度建立参考目标分类器，由角度相关的目标分类器生成装置根据所述角度θ调整参考目标分类器的分类器参数，以生成针对所述角度θ的目标分类器；

c3)由目标检测器应用针对所述角度θ的目标分类器从图像信号中检测特定目标

所述步骤b)还包括：所述角度辨识器利用n-1个角度分类器来判断输入图像的角度，其中

所述n-1个角度分类器分别是通过如下步骤建立的：

选择所述n个候选角度之一作为第二参考角度；

以该第二参考角度为正例、另一个候选角度为反例建立两类分类器以作为角度分类器；

其中，所述n-1个角度分类器的反例互不相同，

并且其中，所述n-1个角度分类器的输出分别为所述第二参考角度与所述另一个候选角度之间的判决以及判决的置信度，

所述步骤b)还包括：由包括在所述角度辨识器中的分类器融合装置接收所述n-1个角度分类器所输出的n-1个角度判决以及判决的置信度，并选择置信度最大的判决所对应的角度作为输出角度θ。

13.根据权利要求12所述的方法，其中，所述参考目标分类器的参数包括对方向敏感的参数和对方向不敏感的参数。

14.根据权利要求12所述的方法，其中，步骤c2)包括：由所述角度相关的目标分类器生成装置根据所述角度θ调整参考目标分类器的对方向敏感的参数，并使对参考目标分类器的对方向不敏感的参数保持不变。

15.根据权利要求12所述的方法，其中，所述角度包括目标在所在平面内的旋转、或者目标的上下俯仰、或者目标的左右旋转而产生的角度。

16.根据权利要求12所述的方法，其中，所述第二参考角度可以与所述第一参考角度相同或不同。

17.根据权利要求12所述的方法，其中，步骤c3)包括：所述目标检测器检测输入图像中是否存在目标图像，以及目标图像的特征属性。

18.根据权利要求l7所述的方法，其中，步骤c3)包括：所述目标检测器计算输入图像在调整后的目标分类器的输出，并将目标分类器的输出与目标分类器的输出阈值进行比较，若大于或等于输出阈值则判断输入图像包括目标图像，若小于输出阈值则判断输入图像不包括目标图像。

Images