CN101271514B - 一种快速目标检测和目标输出的图像检测方法及装置 - Google Patents

Abstract

本发明提供了一种能够快速检测并输出图像中的目标区域的图像检测方法和装置。所述图像检测方法首先基于输入图像信号建立图像金字塔序列，然后基于所述图像金字塔序列的每层图像来获得多个图像块，并检测其中是否存在目标区域，如果存在目标区域，则立即输出并显示所检测到的目标区域。而且，在进行目标区域检测之前，通过预先去除与上一层图像中的目标区域发生重合的图像块，可以减少检测运算量，提高检测速度，从而便利于用户更快地得到检测结果。

Description

一种快速目标检测和目标输出的图像检测方法及装置

技术领域

本专利涉及图像处理领域，具体来说，涉及一种图像检测方法，能够自动快速检测输入图像中的特定目标，并在图像显示设备上输出目标的位置、大小等信息，以及使用该方法的图像检测装置。

背景技术

近来，目标检测技术越来越广泛地应用在各个领域，如人机交互、智能监控、安全检查、数字娱乐、数码相机等领域。所谓目标检测技术，就是在一幅图像(照片、静态图片、视频图像等)中检测感兴趣物体(例如，人脸、汽车等)的方法和设备。本发明针对快速目标检测，提出了一种新的实现方案。

人脸检测的研究已经有了较长的历史。很多的研究者也提出了各种人脸检测的算法，如基于神经网络的人脸检测算法(见：Rowley et al.，“Neuralnetwork-based face detection”，IEEE Trans.Pattern Analysis and MachineIntelligence，Vol.20，pages22-38，1998)，基于贝叶斯统计的检测算法(见：Schneiderman et al.，“A statistical method for 3D object detection applied to facesand cars，Proc.IEEE.Conference on Computer Vision and Pattern Recognition，pages746-751，2000)。这些算法都取得了不错的检测性能，但由于在实际应用中需要较快的检测速度，这些算法都没能得到广泛的应用。

美国专利US7,099,510提出了一种基于级联AdaBoost分类器的目标检测方法。该方法基于矩形的Haar小波特征，对于图像噪声具有很好的适应性，同时具有较快的检测速度。发明人在美国专利US7,020,337中对此检测方法作了进一步的分析，并就此检测方法中的不足之处进行了改进，进一步提高了算法的性能。这也使目标检测在各个领域得到了实际的应用。但是这些应用一般都是基于PC机，机器的处理性能也相对较高。

当应用到诸如数码相机这类便携的数字设备时，由于这类设备并不具备很强的计算能力，表现为其处理器的时钟频率较低、计算内存较小等，因此还需要进一步改进算法的性能。同时，在上面所述的基于级联AdaBoost分类器的目标检测方法中，发明人更加侧重的是在把图像分为每个图像块后如何判断单个图像块是否是目标物体，然后对所有可能的图像块进行后处理来输出目标区域，而没有对如何处理各个图像块的检测顺序，以及如何更快地得到检测结果并快速输出检测结果作进一步的工作。通常，当用户使用具有这种目标检测功能的相机时，希望在相机的显示屏上尽可能快地看到检测结果。如果能尽可能快地把检测到的每个目标图像输出到显示屏上，而不是等把所有可能的目标图像都检测到然后再输出到显示屏上，客户对该功能的满意程度以及该功能的有效性将可大大提高。

发明内容

本发明提供了一种图像检测方法，用于快速地检测图像中的目标区域并快速输出到显示设备上。

根据本发明的一个方面，提供了一种图像检测方法，用于快速检测和输出图像中的目标区域，该方法包含如下步骤：a)基于输入图像信号建立图像金字塔序列；以及b)基于所述图像金字塔序列的每层图像获得多个图像块，检测其中是否存在目标区域，如果存在目标区域，则立即输出并显示所检测到的目标区域。这种图像检测方法还包括在检测每层图像中是否存在目标区域之前，去除与在上一层图像中所检测到目标区域发生重合的图像块，并且在本层检测时不再处理此类图像块。

根据本发明的另一个方面，提供了一种图像检测装置，用于检测和输出图像中的目标区域，该装置包括：图像金字塔生成器，基于输入图像信号建立图像金字塔序列；以及图像处理部分，基于所述图像金字塔序列的每层图像获得多个图像块，检测其中是否存在目标区域，如果存在目标区域，则输出并显示所检测到的目标区域。并且所述图像处理部分还包括图像块校验器，该图像块校验器用于在检测每层图像中是否存在目标区域之前，去除与在上一层图像中所检测到目标区域发生重合的图像块。

通过本发明的图像检测方法及装置，可以快速地检测和输出图像中的目标区域，减少用于检测目标区域的运算量，提高了检测速度，并便利于用户更快地得到检测结果。

附图说明

图1示出了根据本发明实施例的图像检测装置的框图；

图2示出了待检测人脸图像的示意图；

图3示出了生成的金字塔图像序列的示意图；

图4示出了目标检测器的框图；

图5示出了人脸检测分类器所使用的Haar检测特征；

图6示出了根据本发明实施例的分层图像的目标检测算法的流程图；

图7示出了分层检测时每层图像的检测区域的示意图；

图8示出了分层检测时每层的检测输出结果的示意图；以及

图9示出了图像块和目标区域重合的示意图。

具体实施方式

当把目标检测技术应用到诸如数码相机这类便携的数字设备时，由于这类设备并不具备很强的计算能力，因而提出了一种改进的能够快速检测以及输出并显示目标区域的图像检测装置，其系统结构框图如图1所示。此处，本实施例把人脸作为检测目标给出示例描述。当然，本发明也可用于其它目标的检测，如汽车、道路等。

参考图1，根据本发明中的图像检测装置从输入图像信号101开始，包括图像金字塔生成器120和图像处理部分1，其中图像处理部分1包括图像块生成器130、图像块校验器140、目标检测器150、检测结果后处理器160、以及图像输出装置170。首先，利用图像采集设备等得到原始的输入图像信号101。然后用图像金字塔生成器120来得到一个图像金字塔序列，如图3所示。在得到图像金字塔序列后，分别处理每层图像并得到检测结果。首先，用图像块生成器130得到该层的所有图像块。然后，图像块校验器140处理这些图像块，并除去与上层图像中的目标区域发生重合的图像块以获得本层图像有效的图像块，再用目标检测器150来处理所述的有效的图像块。然后经由检测结果后处理器160的处理就可以把检测结果输出到图像输出设备170上来显示检测的结果。下文中将详细介绍各个单元的具体结构和工作方式。

参考图3，图像金字塔生成器120可以把原始图像进行不同尺寸的放缩来得到一个每层图像都具有不同大小的图像金字塔序列。图像金字塔生成器120可以用多种方法来实现，诸如Voila的积分图像方法，高斯金字塔方法或拉普拉斯金字塔方法等。所述图像金字塔生成器还可以使用固定下采样参数对所述输入图像信号进行下采样来得到所述图像金字塔序列，也可以使用不同层的图像之间的变换参数来计算所述图像金字塔序列。当然也可以使用其它方法来生成图像金字塔序列。用该生成器得到的图像序列如图3所示，假定从原始图像生成的图像金字塔序列共有n层。第一层为尺寸最小的图像121，第j层图像为122，第j+1层图像为123，尺寸最大的图像为原始图像101。

参考图2，在相机等图像获取装置得到的原始的输入图像信号101中，人脸的位置和尺寸并不是固定不变的，例如在参考图2中，给出了两个人脸图像区域102和103。因此，一个可行的生成图像块的方法是设定一个固定尺寸的窗口，让该窗口在每层图像上移动，同时每移动一个预定步长就将窗口覆盖下的图像块送入图像块校验器140进行处理，如此不断移动窗口可以检测整个图像中不同位置的人脸图像。同时由于利用图像金字塔生成器对图像进行了不同尺寸的放缩，所以不同大小的人脸图像也可以检测得到。在本实施例描述中，设定原始图像的尺寸为320*240，而图像块的大小为20*20。

参考图7，在从图像快生成器130得到一层图像的图像块之后，图像块校验器140对这些图像块进行处理。图像块校验器140首先去除在本层图像的图像块中与在上一层图像中所检测到的目标区域(如果存在的话)发生重合的那些图像块，而剩下的图像块作为本层图像的有效图像块再发送到后续的目标检测器150和检测结果后处理器160等进行处理。图像块校验器140的具体处理过程将在以下参考附图进行详细描述。

在得到一层图像的有效图像块后，可以开始检测过程。首先，需要构造目标检测器。在本实施例中，采用Viola的方法构造目标检测器(见：P Viola，M.J.Jones，“Robust Real-Time Face Detection”，International Journal ofComputer Vision，vol.57，pp.137-154，May2004)。该方法使用Haar小波作为人脸检测的特征，参考图5。同时采用级联的Boosting分类器结构，参考图4。假设目标分类器有N级，每一级是一个Boosting分类器。对于一个输入的待检测图像块，若该级的Boosting分类器的输出小于相应的阈值T，则该窗口不包含人脸，停止处理；否则送入下一级Boosting分类器以同样的方式处理，直至该窗口通过了所有的Boosting分类器的判决。能够通过全部分类器的图像块被认定为可能的人脸图像。需要说明的是，参考目标分类器的构建并不局限于上述方法。任何分类器结构，只要可以依靠图像块本身的信息来判断该图像是否为人脸图像，即目标区域，就可以用来构建分类器，如使用基于模板匹配的人脸检测算法或基于肤色的人脸检测算法的分类器等。

图6给出了分层图像的目标检测算法的流程图。在本实施例中，首先对图像金字塔序列的第一层图像进行处理，也就是尺寸最小的图像121。在图像121中，图像块生成器130从图像的左上角开始提取大小为20*20的图像块，水平和垂直步长为3个像素。在遍历图像之后，得到一个由所有大小为20*20的图像块组成的图像组I₁。把该图像组中的所有图像块送入目标检测器去检测目标区域，即人脸图像，通过检测得到可能的人脸图像块集合S₁。用检测结果后处理器160处理S₁中的所有图像块，得到在图像121中可能的人脸区域及区域个数。在本实施例中，得到的人脸区域为102，人脸区域个数R₁＝1。在处理完此层图像后，由于存在人脸区域，在图像输出设备170上显示作为检测结果的目标区域，如图8中121所示，人脸图像用方框标示出来。如果该层中人脸区域个数R₁＝0，该检测算法直接跳转到对下一层图像的处理。

在前j-1层图像检测完毕以后，开始处理第j层图像122。首先，用图像块生成器130得到一个由大小为20*20的图像块组成的图像组I_j。然后，图像块校验器140判断所有的图像块，如果在对第j-1层图像的检测结果中存在目标区域，图像块校验器140把图像组I_j中所有与该目标区域发生重合的图像块去除掉，以生成新的图像组I_jv，如图7所示。如何判断图像块是否与目标区域发生重合，可以依据以下给出的判断条件：

参考图9，图9中106为目标区域，107为图像块。图像块107的左上角的坐标为X₁，Y₁，右下角坐标为X₂，Y₂；目标区域106的左上角坐标为X_s，Y_s，右下角坐标为X_e，Y_e。如果以上坐标满足以下等式1，

则该图像块与目标区域重合。当然，判断图像块与目标区域重合的条件，也可以根据用户对目标检测的精度以及速度的要求而适应性地定制，比如可以依据以下判断条件中的一种或多种：a)图像块完全在目标区域内；b)图像块和目标区域互有交叠，且交叠面积满足一定重合比例；或者c)图像块和目标区域互有交叠，且至少有一个像素重合。图像块校验器140从图像组I_j中去除掉所有满足预定重合条件的图像块则可得到新的有效图像组I_jv。把I_jv中的所有图像块送入目标检测器150检测人脸图像，通过检测得到可能的人脸图像块集合S_j。用检测结果后处理器160处理从第一层图像的检测结果S₁开始到当前层图像的检测结果S_j的所有层图像的检测结果的集合，得到在第j层图像122中人脸区域102和103，人脸区域个数R_j＝2。同时在图像输出设备170上显示目标区域102和103，如图8中122所示。所述目标区域还可以被存储以用于其它操作，例如，对象识别、图像制作、目标跟踪等。

用与第j层相同的方法处理接下来的图像层直至金字塔的最底层图像，也就是原始图像101，则检测过程结束。本发明的图像检测方法相对于过去的目标检测算法，能以最快的速度输出检测结果。而且在检测某一层图像时，待检测的图像块不包含与以上各层图像中已检测到的目标区域发生重合的图像块，这样可以减少检测运算量，也提高了检测的速度，并便利于用户更快地得到检测结果。

Claims (22)

1.一种图像检测方法，用于检测和输出图像中的目标区域，该方法包含如下步骤：

a)基于输入图像信号建立图像金字塔序列；以及

b)基于所述图像金字塔序列的每层图像获得多个图像块，并检测其中是否存在目标区域，如果存在目标区域，则立即输出并显示所检测到的目标区域；

其中，所述图像金字塔序列是从具有最小的大小的图像层到具有原始大小的图像层，且从具有最小的大小的图像层开始进行检测。

2.如权利要求1所述的图像检测方法，其中步骤a)中所述图像金字塔序列是通过高斯金字塔方法、拉普拉斯金字塔方法、或积分图方法建立的。

3.如权利要求1所述的图像检测方法，其中步骤a)中所述图像金字塔序列可以通过使用固定下采样参数对所述输入图像信号进行下采样来得到，也可以通过使用不同层的图像之间的变换参数来计算得到。

4.如权利要求1所述的图像检测方法，其中步骤b)中所述图像块是由当前层图像的起始点开始，按照一定的水平和垂直步长移动固定尺寸的窗口来遍历整层图像，并提取位于窗口中的图像部分而得到的。

5.如权利要求1所述的图像检测方法，其中步骤b)还包括在检测每层图像中是否存在目标区域之前，去除与在上一层图像中所检测到目标区域发生重合的图像块，在本层检测时不再处理此类图像块。

6.如权利要求1所述的图像检测方法，其中步骤b)中所述检测目标区域使用所述图像块的信息来判断该图像块是否为目标区域。

7.如权利要求1所述的图像检测方法，其中步骤b)中所述检测目标区域包括处理多个图像块以生成一个或多个目标区域。

8.如权利要求1所述的图像检测方法，其中步骤b)中所述检测目标区域包括由目标检测器处理图像块并由检测结果后处理器处理目标检测器的检测结果，其中所述检测结果是指从第一层开始直到当前层的检测结果集合。

9.如权利要求1所述的图像检测方法，其中步骤b)中所述检测到的目标区域被存储以用于进一步的操作。

10.如权利要求5所述的图像检测方法，其中所述上一层图像的目标区域可以是一个或多个。

11.如权利要求5所述的图像检测方法，其中判断图像块是否与目标区域重合采用以下基准中的一个或多个：

a)图像块完全在目标区域内；

b)图像块和目标区域互有交叠，且交叠面积满足一定重合比例；

c)图像块和目标区域互有交叠，且至少有一个像素重合。

12.一种图像检测装置，用于检测和输出图像中的目标区域，该装置包括：

图像金字塔生成器，基于输入图像信号建立图像金字塔序列；以及

图像处理部分，基于所述图像金字塔序列的每层图像获得多个图像块，并检测其中是否存在目标区域，如果存在目标区域，则输出并显示所检测到的目标区域；

其中，所述图像金字塔序列是从具有最小的大小的图像层到具有原始大小的图像层，且所述图像处理部分从具有最小的大小的图像层开始进行检测。

13.如权利要求12所述的图像检测装置，其中所述图像金字塔生成器是通过高斯金字塔、拉普拉斯金字塔、或积分图方法来建立所述图像金字塔序列。

14.如权利要求12所述的图像检测装置，其中所述图像金字塔生成器可以使用固定下采样参数对所述输入图像信号进行下采样来得到所述图像金字塔序列，也可以使用不同层的图像之间的变换参数来计算得到所述图像金字塔序列。

15.如权利要求12所述的图像检测装置，其中所述图像块是由当前层图像的起始点开始，按照一定的水平和垂直步长移动固定尺寸的窗口来遍历整层图像，并提取位于窗口中的图像部分而得到的。

16.如权利要求12所述的图像检测装置，其中所述图像处理部分还包括图像块校验器，用于在检测每层图像中是否存在目标区域之前，去除与在上一层图像中所检测到目标区域发生重合的图像块。

17.如权利要求12所述的图像检测装置，其中所述图像处理部分使用所述图像块的信息来判断该图像块是否为目标区域。

18.如权利要求12所述的图像检测装置，其中所述图像处理部分还包括处理多个图像块以生成一个或多个目标区域。

19.如权利要求12所述的图像检测装置，其中所述检测目标区域包括由目标检测器处理图像块并由检测结果后处理器处理目标检测器的检测结果，其中所述检测结果是指从第一层开始直到当前层的检测结果集合。

20.如权利要求12所述的图像检测装置，其中所述检测到的目标区域被存储以用于进一步的操作。

21.如权利要求16所述的图像检测装置，其中所述上一层图像的目标区域可以是一个或多个。

22.如权利要求16所述的图像检测装置，其中判断图像块是否与目标区域重合采用以下基准中的一个或多个：

a)图像块完全在目标区域内；

b)图像块和目标区域互有交叠，且交叠面积满足一定重合比例；

c)图像块和目标区域互有交叠，且至少有一个像素重合。

Images