CN102842128B - 对象检测方法及其装置 - Google Patents

Abstract

本案揭露一种对象检测方法及其装置。该对象检测方法包括以下步骤：撷取一图像，其中该图像包括多个采样窗口。利用阶段子分类器检测采样窗口中是否包括对象。以预设旋转角度旋转分类器至少一次，并且在每一次旋转分类器时，检测采样窗口中是否包括对象，其中当检测到采样窗口包括对象时，继续利用旋转成同角度的分类器的一第二阶段子分类器至一第N阶段子分类器检测采样窗口中是否包括对象，其中N为大于1的正整数。以一预设图像角度旋转图像至少一次，并在每一次旋转图像时，执行上述检测对象的动作。输出包括对象的采样窗口。

Description

对象检测方法及其装置

技术领域

本发明涉及一种图像处理方法及其装置，且尤其涉及一种图像中的对象检测方法及其装置。

背景技术

在2001年时，由Viola-Jones所提出的渐进阶梯对象检测算法（BoostedCascadeObjectDetectionAlgorithm，以下VJ算法），具有检测速度快及准确性高等优点，于是被广泛的使用于图像中的实时对象检测（Real-TimeObjectDetection），例如人脸检测上。VJ算法搜集多个同一对象的数据，通过渐进阶梯训练（boostedcascadetraining）的方式产生对应的特征数据库（Haar-FeatureDatabase,HFDB），当需要于图像中检测该物体时，利用此数据库在输入图像中大小不同的窗口（window）中寻找符合对象特征的区域，即可完成对象检测。

发明内容

本案揭露一种对象检测方法及其装置，可快速检测于各种旋转角度的同一对象。

本案揭露一种对象检测方法，包括以下步骤：首先，撷取一图像，其中该图像包括多个采样窗口。接着，利用阶段子分类器检测采样窗口中是否包括一对象。然后，以一预设旋转角度旋转分类器至少一次，并且在每一次旋转分类器时，检测采样窗口中是否包括对象，其中当检测到采样窗口包括对象时，继续利用旋转成同角度的分类器的一第二阶段子分类器至一第N阶段子分类器检测采样窗口中是否包括对象，其中N为大于1的正整数。再者，以一预设图像角度旋转图像至少一次，并在每一次旋转图像时，执行上述检测对象的动作。最后，输出包括对象的采样窗口。

本案揭露一种对象检测装置，适用一对象检测方法，包括：一摄像单元及一分类器。摄像单元撷取一图像，其中图像包括多个采样窗口。分类器包括第一阶段子分类器至第N阶段子分类器，其中N为大于1的正整数。其中，分类器接收图像，以第一阶段子分类器检测采样窗口是否包括对象，其中当检测得到采样窗口包括对象时，继续利用旋转成同角度的分类器的一第二阶段子分类器至第N阶段子分类器检测采样窗口中是否包括对象，其中N为大于1的正整数。

本案揭露一种对象检测方法及其装置，利用全角度检测的预分类器先检测图像中多个采样窗口内是否包括欲检测的对象，接着利用旋转分类器并配合旋转图像的方式检测图像中多个角度的对象，当位于角度的第一阶段子分类器检测到欲检测的对象，则依序利用分类器中剩余的第二阶段至第N阶段子分类器检测该物体。

如上所述，本案所描述的对象检测方法其装置，只需要训练单一角度的特征数据库（Haar-FeatureDatabase,HFDB）便能检测所有角度的物体，且仅需目前已知技术中检测单一角度对象的算法一倍的时间。

附图说明

图1为根据本发明一实施例所示的对象检测方法的步骤流程图。

图2A、图2B及图2C所示为图像中对象与采样窗口的关系示意图。

图3所示为根据本发明一实施例所示的对象检测方法的数据处理流程图。

图4为根据本发明一实施例所示的对象检测装置的装置方块图。

具体实施方式

以下将参照相关图式，说明依本案较佳实施例的一种事件产生的处理方法及处理系统，其中相同的元件将以相同的参照符号加以说明。

图1为根据本发明一实施例所示的对象检测方法的步骤流程图。请参照图1，首先，在步骤S101时，撷取一图像，其中图像包括多个采样窗口。然后在步骤S102时，利用一分类器中的第一阶段子分类器检测采样窗口中是否包括对象。

在步骤S103时，以一预设旋转角度旋转分类器至少一次，并且在每一次旋转分类器时，检测采样窗口中是否包括对象，其中当检测到采样窗口包括对象时，继续利用旋转成同角度的分类器的一第二阶段子分类器至一第N阶段子分类器检测采样窗口中是否包括对象，其中N为大于1的正整数。然后在步骤S104时，以一预设图像角度旋转该图像至少一次，并在每一次旋转图像时，执行上述检测对象（步骤S102、S103）的动作。在步骤S105时，检测完成，输出包括对象的采样窗口。

在一实施例中，本案的对象检测方法还包含下述步骤:

利用一预分类器检测该些采样窗口中是否包括该对象，其中该预分类器为一全角度对象检测分类器，其中此步骤可在步骤S102之前。

为了更详细地说明采样窗口与对象的关系以下将配合图式解释于采样窗口中检测对象的关系。图2A、图2B及图2C所示为图像中对象与采样窗口的关系示意图，其中所欲检测的对象为人脸。请参照图2A，图像310中包括多个采样窗口（例如采样窗口320），其中该些采样窗口可能互相重迭亦可能不重迭，视实施时的实际情况而进行设置调整。当采样窗口320中包括对象320时，分类器便能通过训练特征数据库（Haar-FeatureDatabase,HFDB）的各个阶段所包括的特征（HaarFeature）来判断得到目前的窗口（例如采样窗口320）中是否包括欲检测的对象320。由于欲检测的对象，例如人脸，在图像中大小不一，HFDB中的采样窗口（例如采样窗口320）亦同样的包括不同大小的采样窗口以便于辨识在图像中远近大小不一的对象。

请继续参照图2B及图2C，其中图2C中的图像312为图2B中的图像311逆时针旋转45度的结果。其中，欲检测的对象同为人脸，而图像311中的人脸331的角度并非垂直于图像311及312的底边，例如在图像311及312中的对象320与图像311及312底边有顺时钟45度的差距。欲利用现有的HFDB（例如检测图2A中对象320所使用的HFDB）时，则可以有两种作法。

第一种作法如图2B所示，将采样窗口320旋转成采样窗口321的角度并利用对应于采样窗口321角度的HFDB进行检测。另外第二种作法则为如同图2C所示，将图像311旋转成为图像312，而由与检测图2A对象相同的HFDB以及采样窗口320检测对象331。而本发明即是在图2A、图2B及图2C中所示的对象为人脸，但检测的对象并不限定于此，在训练HFDB时则亦对应于欲检测的对象搜集该对象的图像数据。本发明则是同时搭配上述的两种作法进行同一对象多个角度的检测，以下将配合实施例及图式更详细地说明本发明的内容。

图3所示为根据本发明一实施例所示的对象检测方法的数据处理流程图，其中值得说明的是在本实施例中的输入为一图像，但在本实施例中的分类器皆是以一个采样窗口为单位，对图像中的所有采样窗口进行检测。以及，在本实施例中亦以人脸作为被检测的对象。

请参照图3，首先被撷取的图像IMG以一采样窗口为单元进行肤色检测程序410。由于所欲检测的对象为人脸，在肤色检测程序410的程序中只有被判断具有符合肤色的颜色范围的图像内容的该些采样窗口才会接着进行之后检测对象的流程。而被判定为不含肤色范围的采样窗口则在肤色检测程序410时被标记为非对象采样窗口（non-objectsamplingwindow），至此之后不再对该些非对象采样窗口进行对象的检测动作。标记非对象采样窗口的作法随实施时的实际情况而有不同，例如使用一记录信息记录非对象采样窗口的代表坐标等，但本发明不并限定上述实施方式。

值得注意的是，肤色检测程序410实际辨识对象的能力较弱，但其功用在于快速地滤去不包括对象的采样窗口。因此，在其它实施例中，肤色检测程序410亦可以由其它预先滤波（pre-filter）程序取代或是组合使用，例如可滤去仅包括平坦无细节边缘图像内容的采样窗口的（edge）滤波器等，但本发明并不限定于上述设置。

请继续参照图3，将图像IMG输入计算积分图像（integralimage）程序411后得到积分图像II。积分图像II可用以简化后方程序的计算复杂度，例如程序430～440中，采样窗口与特征间的特征积分值的计算复杂度。由于积分图像II的计算方式实为本领域技术人员可轻易完成的技术，在此则不多赘述。

于程序420中，预分类器420接收图像IMG及积分图像II，针对未被标示为非对象采样窗口的采样窗口进行对象检测。在本实施例中，预分类器以包括了各种角度的人脸的图像数据训练出一小型的HFDB，在此的功用与程序410相似，主要用以滤除非对象采样窗口。由于仅为滤除非对象采样窗口而非真正作为对象的检测，预分类器的HFDB级数较少，误检率也可以较一般的HFDB高，但其优点在于可以在短时间内训练完成，并且大幅缩短检测时间，更由此设置大幅地减少总体运算时间。

接着，在程序430中，分类器接收图像IMG及积分图像II，以分类器的第一阶段子分类器检测图像中各个采样窗口是否包括人脸，以及以预设的分类器旋转角度多次旋转分类器的第一阶段子分类器，并在第一阶段子分类器位于各个角度时，检测各个采样窗口是否包括人脸。由于一般用于子分类器中的特征皆为矩形方块或是矩形方块的组合，在本实施例中设定预设旋转角度为九十度，因此在本实施例的程序430中，分类器则以旋转0度、90度、180度及270度的第一阶段子分类器检测采样窗口中是否包括上述四个角度的人脸。

一般而言，第一阶段子分类器检测人脸的实施方式为根据第一阶段子分类器中的特征与该采样窗口对应的积分图像内容计算一特征积分值，当此特征积分值大于第一阶段子分类器预设的一阀值（threshold）时，则代表通过第一阶段子分类器的检测可传送至下一阶段进行检测。在本实施例中，分类器比较上述四个方向（0度、90度、180度及270度）的第一阶段子分类器所计算得到的特征积分值，其中具有最高特征积分值者将作为预测方向。

如图3所示，在本实施例中当前的采样窗口，0度的第一阶段子分类器计算得到最高的特征积分值，于是在程序440时分类器便继续利用0度的第二阶段至第N阶段子分类器进行检测。其中，N为一大于1的正整数，对应于分类器的HFDB的阶段数。若上述第二阶段至第N阶段子分类器皆通过检测，则于程序450分类器判断该采样窗口包括对象，也就是人脸。

除了检测正向图像中是否包括对象外，本发明还以一预设图像角度旋转图像至少一次，并在每次旋转图像时，执行如上述程序430至程序450的检测对象动作。请继续参照图3，在本实施例中设定预设图像角度为45度，在程序460时，分类器将图像IMG旋转45度，并重新对旋转后图像IMG2计算旋转后图像的积分图像II2。接着在程序470时，以相同于程序430的检测动作，分类器利用0度、90度、180度及270度的第一阶段子分类器计算与旋转后图像IMG2的采样窗口之间的特征积分值。于本实施例中当前的采样窗口，90度的第一阶段子分类器具有最高的特征积分值，因此于程序480时分类器利用90度的第二阶段至第N阶段子分类器检测人脸。当上述的第二阶段至第N阶段的子分类器皆通过检测，则分类器于程序490判断在该采样窗口中包括人脸。

如此一来，结合程序430～450以及程序460～程序490的检测动作，分类器可检测到图像中相对于原始图像0度、45度、90度、135度、180度、225度、270度及315度，8个角度的对象。本发明亦可通过预设图像角度以及预设旋转角度的设定调整可检测的对象角度，进而调整检测对象的精准度以及运算复杂度。例如，维持预设旋转角度与上述实施例相同，但调整预设图像角度为30度，则分类器便可检测到12个角度的对象，较上述8个角度的检测可获得一较为精确的结果，然而本发明不限定于上述设定。

本发明亦提供一种对象检测装置，适用上述对象检测方法。图4为根据本发明一实施例所示的对象检测装置的装置方块图。请参照图4，对象检测装置50包括摄像单元510及分类器530。一摄像单元，撷取一图像IMG，其中图像包括多个采样窗口。分类器530耦接摄像单元510，包括第一阶段子分类器至第N阶段子分类器，其中N为大于1的正整数。

分类器530接收图像IMG，以第一阶段子分类器检测采样窗口中是否包括对象，其中当第一阶段子分类器旋转预设旋转角度的一倍数时检测得到采样窗口中包括对象时，继续利用旋转成同角度的分类器530的第二阶段子分类器至第N阶段子分类器检测采样窗口中是否包括对象，其中N为大于1的正整数。

分类器530以一预设图像角度旋转该图像IMG至少一次，并在每一次旋转图像IMG时，以第一阶段子分类器检测采样窗口是否包括对象，其中当检测得到采样窗口中包括对象时，利用旋转成同角度的分类器530的第二阶段子分类器至第N阶段子分类器检测采样窗口中是否包括对象，并以预设旋转角度旋转分类器530至少一次，在每一次旋转分类器时，皆以第一阶段子分类器检测采样窗口是否包括对象。在完成所述检测动作后，分类器530输出包括对象的采样窗口。

在一实施例中，本案的对象检测装置还包含一预分类器(图中未显示)，设置于该摄像单元510与该分类器530之间，从摄像单元510接收图像并检测采样窗口是否包括对象，其中预分类器为一全角度对象检测分类器。

对象检测装置50的详细实施方式可参考上述实施例的说明，在此则不另赘述。另外，当对象检测装置50包括如图3所示实施例中，肤色检测、预分类器及积分图像的计算步骤时，对象检测装置50则还包括耦接摄像单元510的肤色检测单元（未绘示），耦接摄像单元510及肤色检测单元的预分类器（未绘示），以及摄像单元510的计算单元（未绘示），详细实施方式亦可参考图3所示的实施例。

值得一提的是，对象检测装置50中的预分类器520及分类器530，以及上述肤色检测单元及计算单元，可分别由实体电路的方式实现，或是利用一处理器运作一应用程序，配合所需的存储器的方式实现，而本发明并不限定于上述实施方式。

综上所述，本发明提供了一种对象检测方法及其装置，利用肤色检测等预先滤波器以及少阶段数的全角度对象检测的预分类器预先滤除图像中不包括欲检测对象的采样窗口，接着，旋转分类器并对其中之一预测方向进行完整的对象检测动作。然后旋转图像实行相同的检测动作而达到检测图像中是否包括于多个角度欲检测对象。

藉此，本发明可大幅缩短整体的对象检测时间，并且不需要为了检测多角度的对象而多加耗费训练特征数据库的时间。再者，更不会因为额外训练的特征数据库而造成于各角度的对象检测结果参差不齐的情况。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求书所界定者为准。

Claims (15)

1.一种对象检测方法，其特征是，包括：

a.撷取图像，其中上述图像包括多个采样窗口；

b.利用分类器中的第一阶段子分类器检测上述这些采样窗口中是否包括对象；

c.以预设旋转角度旋转上述分类器至少一次，并且在每一次旋转上述分类器时，执行步骤b的动作，其中当检测到上述这些采样窗口包括上述对象时，继续利用旋转成同角度的上述分类器的第二阶段子分类器至第N阶段子分类器检测上述这些采样窗口中是否包括上述对象，其中N为大于1的正整数；

d.以预设图像角度旋转上述图像至少一次，并在每一次旋转上述图像时，执行上述步骤b及步骤c的动作；以及

e.执行上述步骤d后，输出上述这些包括上述对象的采样窗口。

2.根据权利要求1所述的方法，其特征是，其中于所述步骤b之前，所述方法还包括：

对上述图像执行肤色检测程序。

3.根据权利要求1所述的方法，其特征是，其中于所述步骤b之前，所述方法还包括：

利用预分类器检测上述这些采样窗口中是否包括上述对象，其中上述预分类器为全角度对象检测分类器。

4.根据权利要求2所述的方法，其特征是，其中，

若上述这些采样窗口中不包括上述对象，则利用上述肤色检测程序标记上述这些采样窗口为非对象采样窗口。

5.根据权利要求4所述的方法，其特征是，其中：

若上述这些采样窗口为上述非对象采样窗口，则不对上述这些采样窗口执行所述步骤b至步骤c。

6.根据权利要求1所述的方法，其特征是，其中：

于执行步骤a后，计算得到上述图像的积分图像，并且根据上述图像的积分图像执行所述步骤b及步骤c。

7.根据权利要求6所述的方法，其特征是，其中于执行步骤d时，每一次旋转上述图像时，重新计算得到上述图像的积分图像。

8.根据权利要求1所述的方法，其特征是，其中：

上述分类器中包括至少一矩形方块或者矩形方块的组合。

9.一种对象检测装置，适用对象检测方法，其特征是，所述装置包括：

摄像单元，撷取图像，其中上述图像包括多个采样窗口；以及

分类器，耦接上述摄像单元，包括第一阶段子分类器至第N阶段子分类器，其中N为大于1的正整数；

其中，上述分类器接收上述图像，以上述第一阶段子分类器检测上述这些采样窗口是否包括上述对象，并且以预设旋转角度旋转上述分类器至少一次，并检测上述这些采样窗口是否包括上述对象，其中当检测得到上述这些采样窗口包括上述对象时，继续利用旋转成同角度的上述分类器的第二阶段子分类器至第N阶段子分类器检测上述这些采样窗口中是否包括对象，

上述分类器还以预设图像角度旋转上述图像至少一次，并在每一次旋转上述图像时，检测上述这些采样窗口是否包括上述对象。

10.根据权利要求9所述的装置，其特征是，其中所述装置还包括：

肤色检测单元，耦接上述摄像单元与上述分类器之间，接收上述图像并对上述图像进行肤色检测。

11.根据权利要求9所述的装置，其特征是，其中所述装置还包括：

预分类器，设置于上述摄像单元与上述分类器之间，从上述摄像单元接收上述图像并检测上述这些采样窗口是否包括上述对象，其中上述预分类器为全角度对象检测分类器。

12.根据权利要求10所述的装置，其特征是，其中：

若上述这些采样窗口中不包括上述对象，则利用上述肤色检测单元标记上述这些采样窗口为非对象采样窗口。

13.根据权利要求12所述的装置，其特征是，其中：

上述分类器不检测上述这些非对象采样窗口。

14.根据权利要求9所述的装置，其特征是，其中所述装置还包括：

计算单元，耦接上述分类器，计算得到上述图像的积分图像并传送至上述分类器。

15.根据权利要求9所述的装置，其特征是，其中：

上述分类器中包括至少一矩形方块或者矩形方块的组合。