CN102131049B - 图像撷取装置的人脸对焦方法 - Google Patents

Abstract

本发明公开了一种人脸对焦方法适于一图像撷取装置。此方法先在预定对焦焦段中的多个焦距位置分别撷取对焦图像。再分别于对焦图像中检测并定位出人脸区块。接着，分割每一人脸区块为多个子区块。再以趋近线方式求取每个子区块的最佳对焦焦距(亦称子区块焦距)。接着，对子区块焦距进行分群，以得到近群。最后，依据近群的子区块焦距而决定目标焦距。以此方式得到的目标焦距将能更准确地对人脸进行测距，并排除在人脸区块中非人脸(如背景)图像的影响。

Description

图像撷取装置的人脸对焦方法

技术领域

本发明有关一种图像撷取装置的对焦方法，特别是一种依据图像中的人脸进行自动对焦的方法。

背景技术

数字相机为了能够取得良好的图像，通常配置有自动对焦机构(Auto-focusing)。此自动对焦机构是针对被摄物体所在位置进行对焦程序。

在近几年的技术中，在被摄景象中有人像时，通常会采用人脸来做为对焦的物体。也就是说，数字相机会先以人脸检测技术，找出被摄景物中的人脸、定出人脸区块后，再以人脸区块作为对焦的物体并进行测距。

人脸检测技术有采用肤色辨识方式或采用人脸特征辨识方式。前者从撷取到的图像中寻找肤色信息，符合肤色信息的区块即认定为人脸区块。此种方式，容易因环境光线较暗或较亮而导致无法找到人脸肤色，或所框选的人脸区块并不适当，例如框选到较大或较小的人脸区块。

前述后者则是以脸部的口、鼻、眼的特征做为人脸区块的判断，此种方式在判别程序上较为复杂，且判别后所得到的人脸区块的大小亦可能因为判别手段的些微差异而不同。

在前述人脸区块决定后，数字相机即以该人脸区块为对焦标的进行测距。如此一来，被摄图像中的人脸将能有较为清晰效果。

然而，在选取人脸区块时，会因为人脸检测程序的检测能力有限，造成人脸位置圈选不够精确，例如当选取范围过大时，就会造成选取范围除了包含人脸图像外，亦会包含人脸旁边的背景图像。接着，再以此人脸区块进行对焦时，自动对焦程序将会一并考虑人脸图像及背景图像，使得人脸对焦精确度降低。尤其是，大部分的被摄景象中的背景图像的清晰值(例如对比值)通常比人脸图像的清晰值来得高，使得人脸对焦结果不佳。

发明内容

基于上述问题，本发明提出一种图像撷取装置的人脸对焦方法，其能分别对人脸区块中的各个子区块进行对焦，并辨别出近群的子区块，再依据近群的子区块的子区块焦距决定目标焦距，如此一来，即可解决前述问题。

依据一实施例，图像撷取装置的人脸对焦方法适于图像撷取装置，此人脸对焦方法包含：在多个焦距位置，撷取多个对焦图像，每一对焦图像对应多个焦距位置之一，每一对焦图像具有一人脸；检测每一对焦图像的人脸，以得到对应对焦图像的多个人脸区块；分割每一人脸区块为多个子区块；依据子区块及焦距位置，决定对应子区块的多个子区块焦距(即每个子区块的较佳对焦位置)；对子区块焦距执行近群判断程序，以得到一近群，近群包含部分子区块焦距；以及依据近群的该些子区块焦距，决定目标焦距。

前述依据子区块及焦距位置，决定对应子区块的子区块焦距的步骤为依据子区块及焦距位置，以二次多项式逼近法决定对应子区块的子区块焦距。

依据一实施例，前述近群判断程序包含依据子区块焦距，执行分群算法，以得到多个群组，每一群组包含部分子区块焦距；分别计算群组的该些子区块焦距的一平均焦距；以及以最小的平均焦距所对应的群组为近群。

藉由上述方法，图像撷取装置得以先在预定焦段中撷取多张对焦图像，其次，将对焦图像中的人脸区块分割为子区块，分别依据对应的子区块进行最佳焦距位置计算，以获得对应每个子区块的子区块焦距，接着，再将该些子区块焦距进行分群，以得到代表人脸的一近群(近群即代表纯人脸图像的子区块的群组)，最后再依据近群中的子区块焦距，决定目标焦距。如此一来，即可排除在人脸区块中非人脸图像的子区块，并保留人脸区块中纯人脸的子区块，而能够更精确地使图像撷取装置对焦在人脸上。

有关本发明的特征与实作，兹配合附图及实施例说明如下。

附图说明

图1为依据本发明人脸对焦方法所适用的图像撷取装置的功能方块示意图；

图2为依据本发明人脸对焦方法一实施例的流程示意图；

图3为依据本发明人脸对焦方法步骤S22所撷取的对焦图像的示意图；

图4为图3的对焦图像中的人脸区块示意图；

图5为依据本发明人脸对焦方法步骤S26的二次多项式逼近法的示意图；

图6为依据本发明人脸对焦方法步骤S26的二次多项式逼近法的流程示意图；

图7为依据本发明人脸对焦方法的近群判断程序的流程示意图；

图8为依据本发明人脸对焦方法的步骤S282的流程示意图。

其中，附图标记：

10镜头

11图像传感器

12图像前置处理单元

13自动白平衡单元

14图像信号处理器

15自动曝光单元

16自动对焦单元

17马达驱动器

18显示单元

19储存单元

30对焦图像

32人脸区块

321，322，323，324，325，326子区块

327，328，329子区块

34趋近线

36最高清晰值

具体实施方式

首先，依据本发明的一实施例，图像撷取装置的人脸对焦方法适于一图像撷取装置。此图像撷取装置可以但不限于一数字相机、或数字摄影机。以下以数字相机做为图像撷取装置的实施例，请参阅图1。其为图像撷取装置的功能方块示意图。

从图1中可以见悉，图像撷取装置包含镜头10、图像传感器11、图像前置处理单元12、自动白平衡单元13、图像信号处理器14、自动曝光单元15、自动对焦单元16、马达驱动器17、显示单元18及储存单元19。

图像撷取装置在拍摄模式时，可分几种模式，例如但不限于预览阶段(Liveview，又称S0阶段)、自动对焦阶段(即使用者对准待摄物后半按快门，又称S1阶段)、及拍摄阶段(即使用者全按快门，又称S2阶段)。

图像撷取装置在被启动时，景象的光线经过镜头10后即由图像传感器11所接收并转换成一图像。此图像经过图像前置处理单元12及自动白平衡单元13后，分别由图像信号处理器14、自动曝光单元15及自动对焦单元16所接收。图像信号处理器14处理该图像后，可将之显示于显示单元18。自动曝光单元15则判断所接收到的图像是否需要进行曝光补偿，而对图像传感器11进行控制。

图像撷取装置在被启动时，通常会进入预览阶段。此时自动对焦单元16以快速对焦的参数对景象进行快速对焦。自动对焦单元16即依据快速对焦参数控制马达驱动器17以移动镜头10于不同焦距位置。自动对焦单元16即撷取对应不同焦距位置下的图像并进行焦距计算，以得到目标焦距。自动对焦单元16在得到目标焦距时，即将镜头10移到该目标焦距处，以能让显示在显示单元18的图像能较为清晰。

在使用者半按快门时，图像撷取装置即进入S1阶段，此时，自动对焦单元16即以细部对焦参数对景象进行对焦。自动对焦单元16得到细部对焦的目标焦距后，即将镜头10移至该目标焦距。接着，使用者全按快门时，图像传感器11即撷取图像，被撷取的图像经过图像前置处理单元12及自动白平衡单元13的处理后，由图像信号处理器14将被处理的图像显示于显示单元18或储存于储存单元19。

本发明的图像撷取装置的人脸对焦方法可应用于自动对焦单元16。意即可应用于快速对焦或细部对焦。请续参阅图2，其为依据本发明人脸对焦方法一实施例的流程示意图。图中可以看见，人脸对焦方法包含下述步骤：

步骤S20：在多个焦距位置，撷取多个对焦图像，每一该对焦图像对应该些焦距位置之一，每一该对焦图像具有一人脸；

步骤S22：检测每一该对焦图像的该人脸，以得到对应该些对焦图像的多个人脸区块；

步骤S24：分割每一该人脸区块为多个子区块；

步骤S26：依据该些子区块及该些焦距位置，决定对应该些子区块的多个子区块焦距；

步骤S28：对该些子区块焦距执行一近群判断程序，以得到一近群，该近群包含部分该些子区块焦距；以及

步骤S29：依据该近群的该些子区块焦距，决定一目标焦距。

前述步骤S20指由自动对焦单元16依据对焦参数依序取得多张对焦图像。前述对焦参数可以包含对焦焦段及图像取样点数。对焦焦段可以是全对焦范围，亦可以是一个在全对焦范围中的一段对焦区间。此处的全对焦范围指的是马达驱动器17所驱动的步进马达(Step Motor)能被控制的移动范围，此移动范围通常以移动的步级数来表示，例如但不限于114步、262步。此步进马达每次被推进一个步级约能推动镜头10移动数个微米(um，10^-6m)。而前述一段对焦区间则是在该全对焦范围中的一个区段，例如但不限于201步到236步的区间。前述图像取样点数是指在前述对焦范围内所要撷取的对焦图像的张数。以上述201步到236步的对焦焦段为例，若撷取6张对焦图像，则约每间隔7步级距离即取一张对焦图像，也就是说，在焦距位置为201，208，215，222，229，236步级位置时，分别撷取一张对焦图像。意即每一张对焦图像对应一个焦距位置。前述对焦焦段、对焦范围及焦距位置的单位虽实务上多以步进马达(被马达驱动器17所驱动)的步数来代表焦距位置、对焦范围、或对焦焦段，但并不限于此种表示方式，亦可以微米等单位。

前述对焦图像中具有至少一个人脸，以下先以每一对焦图像中仅具有一个人脸为例进行说明，但本发明的适用并不以一张人脸为限。对焦图像中的人脸可以是正面或侧面。

接着，请搭配图3阅览。图3为依据本发明人脸对焦方法步骤S22所撷取的对焦图像30的示意图。步骤S22藉由一人脸检测程序检测每一对焦图像的人脸，以得到人脸区块。以图中的对焦图像30为例，在执行完步骤S22后，即可得到人脸区块32。每一人脸区块32对应一对焦图像30。而由于每一对焦图像30对应一焦距位置，因此，每一人脸区块32亦对应一焦距位置。

前述人脸检测程序可以是肤色检测法、特征检测法或其它人脸检测的方法。从图中可以看出，检测所得的人脸区块32包含了人脸及非人脸的图像(如图中方框的四个角落中的图像)。但本发明的方法并不限于人脸区块32包含了人脸及非人脸的图像，亦可用于仅有人脸的图像的人脸区块。

接着，请同时参照图4，其为图3的对焦图像30中的人脸区块32放大示意图。在步骤S24执行后，将人脸区块32分割为多个子区块321，322，323，324，325，326，327，328，329。图4中可以看出，本实施例将人脸区块32分割成9个子区块321～329，但其分割数并不以此为限。亦可将之分割成较多或较少的小区块数，视经验值及所需的精确度而定。然而，为了能较为准确地进行后续步骤，在同一次的对焦程序时所撷取到的所有对焦图像30的人脸区块32，建议均分割成相同数目的子区块。也就是说，步骤S24将前述步骤S22所检测到的所有人脸区块32均分割为相同数目的子区块。以图4为例，则所有检测到人脸区块32均分割成9个子区块321～329。且其分割的条件相同。意即其分割的尺寸相同。

其次，执行步骤S26。依据子区块321～329及焦距位置，决定对应子区块321～329的子区块焦距。步骤S26以二次多项式逼近法决定对应每一子区块321～329的子区块焦距。请同时参阅图5及图6。图5为依据本发明人脸对焦方法步骤S26的二次多项式逼近法的示意图。图6为依据本发明人脸对焦方法步骤S26的二次多项式逼近法的流程示意图。

在图5中水平轴为焦距位置，单位是步进马达的步数(或称步级数)，垂直轴为清晰值，在此例中以对比值来代表清晰值，但并不以此为限。从图中可以看出此实例中于步级数在75到112步之间的对焦焦段中撷取8个对焦图像30(图中每一个点即代表撷取一次对焦图像30)。而图中的每一个点的水平高度所对应的清晰值即为在该次撷取到的对焦图像30中的人脸区块32的一个子区块的清晰值。

请参考图6，步骤S26包含：

步骤S260：分别计算每一子区块的一清晰值，每一子区块的清晰值对应该些焦距位置之一；以及

步骤S262：分别以该些对焦图像30的同一该子区块的该清晰值，以该二次多项式逼近法决定该些子区块焦距。

在步骤S260中，先计算第一个焦距位置(约75步级位置)的对焦图像30中的人脸区块32的第一个子区块321(先以左上角的子区块为例)的清晰值。图中可以看出，其清晰值约为1.7×10⁵。接着，计算第二个焦距位置(约82步级位置)的对焦图像30中的人脸区块32的第一个子区块321的清晰值，图中可以看出，其清晰值约为1.6×10⁵。其余依此类推，即可得到第一子区块321在8个焦距位置的清晰值。同样地，其余子区块322～329亦各可得到8个焦距位置的清晰值，并绘制如图5所示分布图。在将其余子区块完成步骤S260的动作后，再进行步骤S262。

步骤S262即是分别以该些对焦图像30的同一子区块的清晰值，以该二次多项式逼近法决定子区块焦距。也就是说，依二次多项式逼近法，求取(或绘制)图5中的二次多项式趋近线34，并求取该趋近线34中最高清晰值36所对应的步级位置(步级数或称对焦位置)，也就是该子区块焦距。以图5为例，第一子区块321的子区块焦距约在98步级数位置。同样地，其余子区块322～329均可依步骤S262得到各自的子区块焦距。

完成步骤S26之后，即进行步骤S28，对该些子区块焦距执行一近群判断程序，以得到一近群，该近群包含部分该些子区块焦距。其中，请参阅图7，其为依据本发明人脸对焦方法的近群判断程序的流程示意图。图中可以见悉近群判断程序包含：

步骤S280：依据该些子区块焦距，执行一分群算法，以得到多个群组，每一群组包含部分该些子区块焦距；以及

步骤S282：依据该些群组的该些子区块焦距，决定该近群。

接续步骤S260，兹举一实例说明步骤S280及S282的内容。首先，假设在步骤S260执行后，得到的9个子区块321～329的子区块焦距分别为219，220，225，219，220，225，219，220，225步级数。步骤S280将此9个子区块焦距执行分群算法。此分群算法可以为K平均算法(K-means Clustering)、类神经网络算法(Artificial Neural Network Clustering，ANN)、模糊分群(Fuzzy Clustering)、或支持向量机算法(SVM，Support vector machine Clustering)。以下以K平均算法为例，兹设预设分群数为二群，将上述9个子区块焦距进行分群，得到二个群组。此二群组分别包含了部分的子区块焦距。此二群组分别是群组一的219，219，219，220，220，220，以及群组二的225，225，225。从此二群组中即可依据步骤S282判断近群及远群。此处的近群的定义系表示焦点距离图像撷取装置较近的群，也就是说焦距较近(或称较短)的群。远群表示焦点距离图像撷取装置较远的群，也就是说焦距较远(或称较长)的群。以前述例子而言，由于此步进马达的步级数愈小表示焦距愈长，因此，从上述群组一及群组二的子区块焦距即可得知，群组二属于近群。群组一为远群。

虽然此举例中，步级数较小者表示焦距较长，但并非限制条件。部分图像撷取装置的步进马达的步级数较小者表示焦距较短(近)，则近群则是子区块焦距较小的群组。

为了能够更清楚地说明近群的判断方法，请参阅图8。其为依据本发明人脸对焦方法的步骤S282的流程示意图。步骤S282包含：

步骤S284：分别计算该些群组的该些子区块焦距的一平均焦距；以及

步骤S286：以最小的该平均焦距所对应的该群组为该近群。

将上述二群组各自的子区块焦距的数据套入步骤S284及286后，群组一的平均值为219.5步级数，而群组二的平均值为225步数。而219.5步级数及225步级数所代表的焦距，以本举例而言，225步级数具有较短(近)的焦距，因此，决定群组二为近群。

最后，执行步骤S29，依据该近群的该些子区块焦距，决定一目标焦距。此决定目标焦距的步骤有下述几种方式，但并不以此为限。第一种方式为以近群的该些子区块焦距的中位数为目标焦距。第二种方式为以近群的该些子区块焦距的众数为目标焦距。第三种方式为以近群的该些子区块焦距的平均数为目标焦距。以前述举例的子区块焦距为例，由于近群中的子区块焦距均为225，故无论采用上述那一种方式，所得到的目标焦距均为225。此三种方式各有其利弊，但均能达到本发明的目的。

图像撷取装置在得到目标焦距后，自动对焦单元16即可驱动马达驱动器17将镜头10移至该目标焦距，以进行后续拍摄的动作。

在步骤S28中的所以使用近群而非远群来作为步骤S29中决定目标焦距的依据，其考虑原因如下：在人脸区块32大部分区域为人脸图像，部分区域则可能为背景图像，人脸图像及背景图像在进行测距(即经过判断最佳清晰值所对应的焦距位置)后，背景的焦距位置将比人脸图像的焦距位置还远，故使用近群的子区块焦距做为目标焦距判断的依据。

从上述说明中即可以得知，即便分割后的子区块321～329中仅有3个子区块322，325，328的大部分像素是人脸图像，而其余的6个图像中背景图像占大部分像素，经过本方法判别后，亦能够将非人脸图像(即背景图像)的子区块排除掉，而仅以人脸图像做为对焦标的，由此可知，本发明能在不受人脸检测程序的优劣的影响，而仍能准确地得到人脸对焦结果。

此外，当所撷取到的每一张对焦图像30中具有多张人脸时，可以于检测到人脸区块32后，在每一张对焦图像30中取尺寸最大的人脸区块32进行步骤S24、S26、S28及S29的动作。当然除了采用最大的人脸区块32进行本发明外，亦可采用其它方式决定欲进行分割的人脸区块32。

虽然上述举例均以图像撷取装置在拍摄静态照片为例，但并不以此为限，也可以应用在动态摄影模式。

Claims (10)

1.一种图像撷取装置的人脸对焦方法，适于一图像撷取装置，其特征在于，包含：

在多个焦距位置，撷取多个对焦图像，每一该对焦图像对应该些焦距位置之一，每一该对焦图像具有一人脸；

检测每一该对焦图像的该人脸，以得到对应该些对焦图像的多个人脸区块；

分割每一该人脸区块为多个子区块；

依据该些子区块及该些焦距位置，决定对应该些子区块的多个子区块焦距；

对该些子区块焦距执行一近群判断程序，以得到一近群，该近群包含部分该些子区块焦距，其中该近群表示该些子区块焦距距离该图像撷取装置较近的群组；以及

依据该近群的该些子区块焦距，决定一目标焦距。

2.如权利要求1所述的人脸对焦方法，其特征在于，每一该人脸区块被分割的该些子区块的数量相同。

3.如权利要求1所述的人脸对焦方法，其特征在于，该依据该些子区块及该些焦距位置，决定对应该些子区块的该些子区块焦距的步骤为依据该些子区块及该些焦距位置，以一二次多项式逼近法决定对应该些子区块的该些子区块焦距。

4.如权利要求3所述的人脸对焦方法，其特征在于，该依据该些子区块及该些焦距位置，以该二次多项式逼近法决定对应该些子区块的该些子区块焦距的步骤包括：

分别计算每一子区块的一清晰值，每一子区块的该清晰值对应该些焦距位置之一；以及

分别以该些对焦图像的同一该子区块的该清晰值，以该二次多项式逼近法决定该些子区块焦距。

5.如权利要求1所述的人脸对焦方法，其特征在于，该近群判断程序包含：

依据该些子区块焦距，执行一分群算法，以得到多个群组，每一群组包含部分该些子区块焦距；以及

依据该些群组的该些子区块焦距，决定该近群。

6.如权利要求5所述的人脸对焦方法，其特征在于，该依据该些群组的该些子区块焦距，决定该近群的步骤包含：

分别计算该些群组的该些子区块焦距的一平均焦距；以及

以最小的该平均焦距所对应的该群组为该近群。

7.如权利要求5所述的人脸对焦方法，其特征在于，该分群算法为K平均算法、类神经网络算法、模糊分群或支持向量机算法。

8.如权利要求1所述的人脸对焦方法，其特征在于，该依据该近群的该些子区块焦距，决定该目标焦距的步骤为以该近群的该些子区块焦距的中位数为该目标焦距。

9.如权利要求1所述的人脸对焦方法，其特征在于，该依据该近群的该些子区块焦距，决定该目标焦距的步骤为以该近群的该些子区块焦距的众数为该目标焦距。

10.如权利要求1所述的人脸对焦方法，其特征在于，该依据该近群的该些子区块焦距，决定该目标焦距的步骤为以该近群的该些子区块焦距的平均数为该目标焦距。

Images