CN101477616A - 人脸检测与追踪方法 - Google Patents

Abstract

本发明公开了一种人脸检测与追踪方法，通过计算机或具计算能力的微处理器执行此人脸检测与追踪方法，以识别图像画面(frame)中的人脸及其所在位置，首先，进行人脸检测，以检测出画面中的人脸，之后，在每帧画面进行人脸追踪，以追踪找到的人脸，并记录这些人脸位置，在间隔数帧画面后，在略过已发现的人脸所在位置的条件下，再次对图像画面进行一次人脸检测，以便能快速地寻找到其它可能新加入的人脸。

Description

人脸检测与追踪方法

技术领域

本发明涉及一种图像检测方法，特别是涉及一种可以在一影片中快速地寻找到可能新加入的人脸的方法。

背景技术

日常生活中，我们使用数字摄影装置拍摄人像景物，或以网络摄影机或移动电话的摄影模块来进行实时视频会议，如网络摄影机(Web CAM)、数字摄影机(Digital Video，DV)、监视摄影机或是移动电话/相机上的摄影模块皆为目前常见的数字摄影设备。在所采集的图像当中，人物图像为采集图像的核心。举例来说，当以数字摄影机拍摄宴会活动时，参与活动的人穿梭于会场中，此时拍摄者需时常调整拍摄焦距以让画面中的多数人脸孔维持清晰。部分的数字摄影设备具备自动对焦功能，以帮助拍摄清晰的图像。另外，部分的数字摄影设备还具备人脸判断及人脸追踪技术，可辅助自动对拍摄区域进行多重对焦。人脸追踪技术已发展多年，举例来说，公元2002年台湾公告第00505892号发明专利公开了一种“快速追踪多人脸的系统及方法”，其依据区块颜色与轮廓特征找出人脸可能区域而加以追踪。另外，公元2005年台湾发明专利第I245205号公开一种“类神经网络为主的金融卡柜员机防止冒领与预警监控系统”将脸部辨识技术应用于金融卡柜员机的技术。

目前人脸检测与追踪技术通常有以下做法：其一为先启动人脸检测，当找到画面中人脸特征后，再持续进行人脸追踪，直到人脸追踪失败时，才重新启动人脸检测，此法的缺点在于新加入的人脸特征，通常需耗时许久才得以被找到；及当进行人脸检测同时，若有新的人脸加入，并无法对这些新加入的人脸进行追踪。其二为每隔固定数帧画面执行一次人脸检测，其余帧数画面都会对画面的全部范围重新进行人脸追踪，此法的缺点在于执行人脸检测程序相当费时，且耗费计算资源。

发明内容

本发明的目的在于提供一种人脸检测与追踪方法，借助定期进行人脸检测以及追踪检测到的人脸所在位置，并在进行人脸检测时，忽略已存在的人脸所属区块而不进行检测，以达到缩短进行人脸检测与追踪所需时间、让新加入的人脸更快地被搜寻到，来解决上述公知技术进行人脸检测与追踪的程序相当耗费计算资源，且常发生新加入的人脸需一段时间才可以被寻找到的问题。

为了实现上述目的，本发明提供了一种人脸检测与追踪方法，通过计算机执行此方法来识别拍摄画面中的人脸位置。人脸检测与追踪方法包括以下步骤：首先，进行人脸检测，以检测出画面中的人脸；然后，在每一帧画面进行人脸追踪，以追踪找到的人脸，并记录这些人脸所在位置；最后，每隔数帧画面，再次进行一次人脸检测，并略过已记录的人脸所在位置，而不进行人脸检测，以加速寻找新加入的人脸。

依照本发明的较佳实施例所述的人脸检测与追踪方法，人脸检测包括：步骤(a)将画面进行边缘检测，以取得边缘图像；步骤(b)依据人脸特征的尺寸，划分边缘图像为具有等大区块的结构；以及步骤(c)对比边缘图像中的每一区块是否存在与人脸特征吻合的人脸图像。另外，还可依据数个不同大小的相异人脸特征，建立人脸特征数据库，并依据这些不等大的数个人脸特征的尺寸，逐次划分边缘图像为具有等大区块的结构；以及逐次依据这些人脸特征，执行前述人脸检测手段的步骤(a)、(b)、(c)，以找出吻合这些人脸特征的人脸图像等步骤。

依照本发明的较佳实施例所述的人脸检测与追踪方法，其中实现人脸追踪所采用例如图像相减法(Image Differencing)、移动边缘检测法(Moving EdgeDetection)及信赖区域法(Trust-region Method)。图像相减法是对比目前画面与前一帧画面的像素差异，以找出人脸移动后的位置。移动边缘检测法是取得目前画面与前一画面(及前两画面之间)的像素差异，并通过边缘化处理等程序取得移动后的人脸位置。信赖区域法是依据前一画面中人脸的位置，搜寻周围一预设范围是否存在与人脸特征相吻合的人脸图像，以找出人脸移动后的位置。

由上所述，本发明先检测出新/旧人脸，并对找到的人脸加以追踪，当进行人脸检测时，避开存在/找到的人脸所在位置，以达缩短人脸检测/追踪所需时间、让新加入人脸快速被搜寻。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为人脸检测与追踪方法流程图；

图2A为人脸检测与追踪方法的执行序的示意图；

图2B为人脸检测与追踪方法的执行序的再一示意图；

图2C为人脸检测与追踪方法的执行序的又一示意图；

图3A为要进行人脸检测的图像；

图3B为执行人脸检测的示意图；

图3C为人脸追踪示意图；

图3D为执行人脸检测与追踪法的示意图。

其中，附图标记：

步骤S110 进行人脸检测，以检测出画面中的人脸位置；

步骤S120 于每一帧画面进行人脸追踪，以追踪找到的人脸，并记录这些人脸位置；以及

步骤S130 每隔数帧画面，再次进行一次人脸检测，并略过已记录的人脸所在位置，而不进行人脸检测，以加速寻找新加入的人脸位置。

310              第一人脸特征

320              第二人脸特征

330、332         人脸区块

340              略过区块

具体实施方式

图1为人脸检测与追踪方法流程图。请参考图1，在本发明较佳实施例，例如以数字摄影机拍摄图像，再通过数字相机中的数字处理芯片或微处理器执行该人脸检测与追踪方法，以识别出拍摄画面中的人脸位置。人脸检测与追踪方法包括以下步骤：首先，进行人脸检测，以检测出画面中的人脸(步骤S110)；然后，在每一帧画面进行人脸追踪，以追踪找到的人脸，并记录这些人脸的位罝(步骤S120)；最后，每隔数帧画面，再次进行一次人脸检测，并略过已记录的人脸所在位置，而不进行人脸检测(步骤S130)，以加速寻找可能为新加入的人脸位置。

在本实施例中，所述人脸检测包括以下步骤：步骤(a)将画面进行边缘检测，以取得边缘图像。目前常用以进行边缘检测的方式，例如：自由梯度量值(Gradient Magnitude)法、拉普拉斯(Laplacian)法、最大梯度(Tengengrad)法、及一维水平滤波(1D Horizontal Filter)，本实施例例如将图像通过二维梯度转换(例如，将图像像素乘上一个二维梯度矩阵)，运算求得边缘图像。步骤(b)依据人脸特征的尺寸，划分边缘图像为具有等大区块的结构。用以执行本实施例所述的人脸检测与追踪方法的系统建立了一个人脸特征数据库，所述的系统例如已内装三种不同尺寸的相异人脸特征。当进行划分边缘图像时，依据这些人脸特征所占尺寸，划分出三种等级的区块，之后再逐次依据这些不同等级的区块划分边缘图像，使边缘图像具有数个等大的区块。举例来说，三种人脸特征所占区块分别为30*30像素、60*60像素、120*120像素，则将边缘图像划分为具有数个30*30像素的区块之结构、具有数个60*60像素的区块的结构、具有数个120*120像素的区块的结构。步骤(c)对比边缘图像中的每一区块是否存在与前述人脸特征吻合的图像。举例来说，前述内装有三种不同尺寸的相异人脸特征的数据库，则需依据数据库中所储存的三种人脸特征来进行三次全图像的对比。先以30*30像素的人脸特征，逐一对比边缘图像中，每一个30*30像素的区块，判断是否有吻合30*30像素的人脸图像。然后再以60*60像素的人脸特征，逐一对比边缘图像中每一个60*60像素的区块，判断是否有吻合60*60像素的人脸图像。最后，以120*120像素的人脸特征，逐一对比边缘图像中每一个120*120像素的区块，判断是否有吻合120*120像素的人脸图像。

当检测出画面中所有存在的人脸后，针对检测出的人脸进行追踪，并记录人脸的位置。接着叙述判断人脸动向的原理，对于拍摄的同一区域的图像，若前后两帧画面的像素无差异，则可断定该区的物体并无异动；反之，则判断物体有异动，并可得知物体移动后的所在位置。借助此原理，可快速判断并记录所追踪的人脸图像的位置。在本实施例中，实现人脸追踪的方法例如为图像相减法(Image Differencing)、移动边缘检测法(Moving Edge Detection)、及信赖区域法(Trust-region Method)。图像相减法即对比目前画面与前一帧画面的像素差异，以找出追踪的人脸图像移动后的位置。移动边缘检测法则为比较目前画面与前一帧画面的像素差异，以取得第一差异画面(以及比较前两帧画面的像素差异，以取得第二差异画面)；并将第一、二差异画面进行边缘化处理，以及将经过边缘化处理的第一、第二相异画面相乘，即求得人脸图像移动后的所在位置。而信赖区域法，则为根据前一帧画面中的人脸图像所在位置，搜寻目前画面中相应该人脸图像所在位置的周围一预设范围内，是否有与人脸特征吻合的人脸图像，以取得人脸图像移动后的位置。

另外，人脸检测手段需个别依据多种不同的人脸特征，逐次对画面中的图像进行对比，以检测出所有吻合人脸特征的图像，此举相当耗费计算资源，且在同一帧画面处理人脸检测，容易造成图像处理延迟的现象(使用者会感觉图像动作不流畅)。为分散人脸检测手段的计算负载量，人脸检测与追踪方法还包括以执行绪(Thread)同时进行人脸检测及人脸追踪，并将人脸检测所需进行对比的数个人脸特征，分散于数帧画面中进行。在单一帧画面仅依据单一种人脸特征进行人脸检测的步骤(a)、(b)、(c)，以找出吻合该种人脸特征的人脸图像，如此便可分散计算量负载，避免图像处理延迟的现象。

为更清楚描述人脸检测与追踪方法，本段以另一较佳实施例说明，图2A为人脸检测与追踪方法的执行序的示意图。请参考图2A，左侧纵向轴线代表为图像的时间轴，单位为一帧画面(即处理一帧画面所耗时间)。在首帧画面(第1帧)进行人脸检测，并于其后每隔数帧画面进行一次人脸检测(在本实施例为间隔3帧画面进行一次人脸检测，但不以此为限)，以检测出新加入的人脸，并记录这些人脸的所在位置。同时，在每一帧画面都进行人脸追踪，以持续追踪找到的人脸。人脸检测及人脸追踪的实现方式已详述于前，在此不在赘述。

在一些实施例中，鉴于人脸检测进行时需耗费相当运算资源，故在进行人脸检测时，并未同时进行人脸追踪。图2B为人脸检测与追踪方法的执行序的又一示意图。请参考图2B，在第1帧、第5帧、及第9帧进行人脸检测，而其余各帧，则进行人脸追踪。

在另一些实施例中，为分散执行人脸检测的计算量负载，在单一帧画面仅依据一种人脸特征进行检测。图2C为人脸检测与追踪方法的执行序的又一示意图。请参考图2C，在本实施例中，当进行人脸检测与追踪时，开启一执行绪同时进行人脸检测与人脸追踪，当执行人脸检测时，在同一帧画面仅检测吻合一种人脸特征的人脸图像。例如本实施例可检测第一人脸特征与第二人脸特征，在第1帧、第5帧、及第9帧依据第一人脸特征执行前述的人脸检测手段，以找出画面中吻合第一人脸特征的人脸图像；而在第2帧、第6帧、及第10帧，则依据第二人脸特征执行前述的人脸检测，以找出画面中吻合第二人脸特征的人脸图像。本实施例所举例如为处理单一帧画面时，对单一人脸特征进行检测。但是，视执行人脸检测与追踪方法的计算机或微处理器的运算能力，同帧画面也可进行两种以上的人脸特征的检测对比程序，在此并不限制单一帧画面处理的人脸特征的个数。

在又一较佳实施例中，将以图式说明人脸检测与追踪方法是如何加速人脸检测的执行速度。图3A为要进行人脸检测的图像、图3B为执行人脸检测的示意图。请同时参考图3A及图3B。在又一较佳实施例中，先将要进行检测的图像(图3A)进行边缘化处理，以取得边缘图像。接着依据第一人脸特征的尺寸，将边缘图像划分为具有数个等大区块的结构(如图3B所示)，并逐一对比这些区块，而在第2行第2列的区块找到吻合于第一人脸特征的图像。当对比所有区块后，进一步依据第二人脸特征的尺寸，将此边缘图像划分为具有数个等大区块的结构(未显示)，并依据第二人脸特征对比这些区块，而在图3B所示的第4行第3列区块中找到吻合第二人脸特征的人脸图像。当找到图像中所有人脸特征所在位置后，即进行人脸追踪，以追踪人脸图像的移动动向。如图3C所示，人脸追踪可利用如为图像相减法(Image Differencing)、移动边缘检测法(Moving Edge Detection)、及信赖区域法(Trust-region Method)实作，其原理及运作方式已详述于前述段落，在此不再赘述。

图3D为执行人脸检测与追踪法的示意图。请参考图3D，首先，在第一帧画面检测到人脸并将该区域设为人脸区块330。之后，在第2、3、4帧画面进行人脸追踪，以追踪人脸区块330移动动向，并加以记录人脸区块330移动后的位置。执行时序进入第5帧画面，再次进行人脸检测，首先将第4帧画面中所追踪到的人脸区块330设为不再进行人脸检测的略过区块340；当进行人脸检测时，即不须再次对此略过区块340检测有无新加入的人脸图像，仅需检测画面中非略过区块340的区域，依据预设的数个人脸特征检测画面中使否有相符的人脸图像，如第5帧画面所示，并将此人脸图像设为人脸区块332。最后，在第6帧画面执行人脸追踪手段，以持续追踪人脸区块330、332的移动动向。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1、一种人脸检测与追踪方法，通过计算机或具有运算能力的微处理器执行，其特征在于，该人脸检测与追踪方法包括下列步骤：

进行人脸检测，以检测画面中的人脸；

在每一帧画面进行人脸追踪，以追踪找到的人脸，并记录该人脸位置；以及

每隔数帧画面，再次进行人脸检测，并略过已记录的该人脸所在位置，而不进行人脸检测。

2、根据权利要求1所述的人脸检测与追踪方法，其特征在于，人脸检测包括以下步骤：

(a)将画面进行边缘检测，以取得边缘图像；

(b)依据人脸特征的尺寸，划分该边缘图像为具有等大区块的结构；以及

(c)对比该边缘图像中的每一该区块是否存在与人脸特征吻合的图像。

3、根据权利要求2所述的人脸检测与追踪方法，其特征在于，人脸检测还包括以下步骤：

依据不等大的数个人脸特征的尺寸，逐次划分该边缘图像为具有等大区块的结构；以及

逐次依据该人脸特征，执行检测该人脸的步骤(a)、(b)、(c)，以找出吻合该人脸特征的图像。

4、根据权利要求3所述的人脸检测与追踪方法，其特征在于，还包括通过一执行绪，以同时进行人脸检测及人脸追踪，该人脸检测依据该人脸特征对比画面中的吻合该人脸特征的图像，并且单一帧画面仅依据单一人脸特征进行该人脸检测的步骤(a)、(b)、(c)。

5、根据权利要求1所述的人脸检测与追踪方法，其特征在于，实现该人脸追踪的方法选自于由图像相减法、移动边缘检测法、及信赖区域法所组成的集合。

6、根据权利要求5所述的人脸检测与追踪方法，其特征在于，该图像相减法对比目前画面与前一帧画面的像素差异，以找出该人脸移动后的位置。

7、根据权利要求5所述的人脸检测与追踪方法，其特征在于，该移动边缘检测法包括：

取得目前画面与前一帧画面的像素差异为第一差异画面，并将该第一差异画面进行边缘化处理；

取得前两帧画面的像素差异为第二差异画面，并将该第二差异画面进行边缘化处理；以及

将经过边缘化处理的第一、第二相异画面相乘，求得移动后的人脸位置。

8、根据权利要求5所述的人脸检测与追踪方法，其特征在于，该信赖区域法根据前一帧画面中的该人脸所在位置，搜寻目前画面中相应位置周围一预设范围，以确定是否有吻合该人脸特征的人脸图像，并记录该人脸图像的位置。

Images