CN102136069A - 用于辨识的对象影像校正装置与其方法 - Google Patents

Abstract

一种用于辨识的对象影像校正装置与其方法，是应用于进行辨识之前的步骤，特别使用对象侦测的方法先校正面孔或是特定对象的正确位置，针对旋转、转向、大小等的偏差进行校正，以节省人脸辨识的时间。该方法的较佳实施例包括先撷取一影像，并侦测其中一个或多个对象的位置，接着侦测对象中特征的位置，计算各特征上多个特征点的位置，之后依据特征点位置判断对象的偏差程度，再相对执行平移校正、旋转校正、缩放校正与转向校正等校正程序，最后计算出校正后多个特征点的位置。

Description

用于辨识的对象影像校正装置与其方法

技术领域

本发明涉及一种用于辨识的对象影像校正方法，特别是于执行辨识之前，先针对影像中特定对象进行位移、旋转、缩放或/和转向的校正。

背景技术

人脸辨识在安全管理的应用愈来愈发达，公知的辨识过程中，通常需要先建立经数字化的使用者的面孔特征数据库，在使用中，透过镜头拍摄使用者面孔，撷取脸上的特征，如眼睛、鼻子、嘴巴等，经比对数据库中所注册的特征来判断使用者使用特定资源的权限。

在基本的比对过程中，常常因为输入影像和注册在特定服务器数据库的影像脸框大小不一，或是脸框偏左或偏右而产生辨识的困难，为解决这类问题，需要在辨识的当下对人脸影像作缩放和平移的校正处理。经过逐一比对数据库内容后，能够得出正确的比对结果。

但是，待测影像若未经缩放和平移的校正，则辨识的过程中需要反复比对，花费大量的时间，例如，一次比对所需要的时间为t，经过缩放和平移的调整后，所花的时间变为t的数十倍或数百倍。

在公知技术所提出的人脸辨识的技术中，可参阅公元2004年1月1日公告的中国台湾专利第569148号，该案揭露一种在影像中将人脸特征定位的方法，如图1所示的流程，主要技术是先对一输入影像进行背景消除，以及人脸方位导正的预处理，之后再将导正的输入影像与一标示有人脸特征的参考影像比较，分别计算参考影像与导正的输入影像的像素列与像素点间的变化，找出两者间的对应关系，以取得一标示人脸特征的影像。

步骤开始，先撷取一输入影像(步骤S101)，由于输入影像所涵盖的画面，除了包括有人脸之外，还可能会有其它背景颜色来干扰辨识人脸的影像处理，故接着计算颜色差异，如透过颜色的边缘特征找出人脸应有的特征分布，比如利用肤色差异，找到输入影像的人脸区域(步骤S103)。在此例中，是使用平均-移转(mean-shif)算法，并根据一肤色模型来对输入影像执行色彩分割(color segment)，经分析比对之后，过滤掉背景杂色，用以找出在输入影像中与肤色相近的人脸区域。

接着在此人脸区域中要辨识出人脸特征所在的位置，如眼睛、鼻子、嘴巴等五官位置，即根据计算得出与肤色相异的特征区块(步骤S105)。

由于人脸区域可能是倾斜的，所以在比对之前，先对输入影像作对齐(alignment)的动作，以先导正人脸区域。如步骤S107，是根据特征区块的水平倾斜夹角旋转人脸区域。之后，将导正的输入影像与一标示有人脸特征的参考影像比对，找出两者间的对应关系(步骤S109)。

将经过调整的影像与数据库中注册影像比对，可以提高辨识度与节省辨识时间。

发明内容

在执行人脸或特定对象辨识程序时，人脸辨识会因为脸框过大或过小、上下左右平移、以及人脸旋转的问题影响到辨识的效率与成功率。因此在比对的过程中，需要上下左右位移，并调整缩放人脸影像的大小，再经过旋转的处理，一一比对，得到较佳的比对影像。

除了公知技术提出校正人脸的方法外，特别在需要实时进行人脸或特定对象的影像辨识的过程中，人脸或定对象并非能准确地对准影像撷取装置，本发明更揭露一种用于辨识的对象影像校正装置与其方法。

在实时拍摄到的影像中，相对于预设的脸框位置，面孔多数处于位移、大小不一、旋转、或是方向不正确的偏差状态，故如果将待测的人脸影像先经过位移、缩放、旋转、转向的校正后，再进行比对的程序，则比对的过程避免反复比对花费太多不必要的时间。

本发明的一目的是，提供一种用于辨识的对象影像校正装置与其方法，能以一校正方法在执行特定对象辨识前，能够根据各种偏差执行校正，以产生节省时间的好处，与较好的辨识效能。根据本发明用于辨识的对象影像校正方法的较佳实施例，透过一个校正装置中的影像撷取单元撷取一影像，接着再以对象位置辨识单元侦测影像中一或多个对象的位置，其中，于侦测影像中多个对象位置时，将仿真出一对象框，再将对象位移调整至一适当位置。

再由对象特征辨识单元依据对象位置辨识当中的特征，之后，由装置内特征点位置计算单元侦测对象中的多个对象特征的位置，主要是计算各对象特征上多个特征点的位置，如各特征点间的相对位置、坐标。

位置偏差判断单元能依据多个特征点位置判断对象的偏差程度，经比对 无偏差的默认值，执行一平移校正程序、一旋转校正程序、一缩放校正程序与一转向校正程序中的一或是二者以上程序的结合。最后计算校正后多个特征点的位置。经此校正程序的对象影像将有利后续辨识的效能。

而本发明所揭露的用于辨识的对象影像校正方法的较佳实施例则是应用于人脸辨识上，同样透过影像撷取单元撷取一影像，接着侦测影像中一或多个面孔的位置，并再侦测面孔中的多个五官特征的位置，尤其是针对眼睛与嘴巴等特征。再计算各五官特征上多个特征点的位置，如以眼睛为例，则是计算出两眼的坐标位置，如以嘴巴为例，则可计算两嘴角位置。

接着，依据多个特征点位置判断对象的偏差程度，包括透过各特征点位置判断对象(面孔)的平移偏差，而执行一平移校正程序；判断面孔的旋转偏差，并执行相对的旋转校正程序；根据特征点位置能判断面孔的缩放偏差校正程序；根据特征点位置，再计算各点连线形成的多边形的宽长比，以此判断面孔的转向偏差，则能执行相对的转向校正程序，最后计算校正后多个特征点的位置。

附图说明

图1显示公知技术在影像中将人脸特征定位的方法流程图；

图2所示为应用本发明校正方法的侧脸校正示意图；

图3所示为应用本发明校正方法的位移、缩放与旋转校正示意图；

图4A所示为本发明找寻面孔中心点的示意图；

图4B所示为本发明利用梯形校正的示意图；

图4C所示为本发明利用宽长比的示意图；

图5所示为本发明执行旋转、缩放等步骤的示意图；

图6所示为本发明用于辨识的对象影像校正装置示意图；

图7所示为本发明用于辨识的对象影像校正方法实施例流程图之一；

图8所示为本发明用于辨识的对象影像校正方法实施例流程图之二。

符号说明

影像撷取单元601              内存603

对象位置辨识单元605          对象特征辨识单元607

特征点位置计算单元609        位置偏差判断单元611

校正单元613                  旋转校正单元621

转向校正单元622              缩放校正单元623

平移校正单元625              眼睛e1，e2

嘴角m1，m2                   两眼中点a

嘴角中点b                    旋转中心c

第一距离r1                   第二距离r2

具体实施方式

人脸辨识的技术已经实际应用在特定的产品上，比如部份数字相机已能透过人脸辨识判断拍摄的角度，或是对判断有人脸的位置进行测光或是聚焦；若应用在安全(security)的领域上，更有技术是透过人脸辨识管理数据、门户的存取权限，或是进行影像追踪。

在执行人脸或特定对象辨识程序时，特定对象可以是手或者是其他需要进行辨识的物体，本发明以人脸举例说明。辨识程序首先会需要定位该人脸或是特定对象，通常先定义出一个对象框，在此框的范围中执行辨识，但可能会因为框过大或过小、上下左右平移、以及人脸(或对象)旋转的问题影响到辨识的效率与成功率。因此本发明提出用于辨识的对象影像校正装置与其方法，在执行辨识之前，先针对各种对象位置的偏差进行校正，在校正的过程中，特别针对对象上下左右位移、旋转、大小与转向(方向不正)进行校正，以得到较佳的比对影像，且能避免在辨识程序中花费太多不必要反复比对的时间。

举例来说，以未经事先校正的情况来说，在执行实时(real-time)辨识时，若一次比对所需的时间为t，因为影像偏差而需反复比对的次数为k1，则一张脸在比对的过程所花费的总时间为T＝k1*t，其中，若t＝30ms(毫秒)、k1＝125次，在未校正的情况比对一张人脸的时间为30*125＝3750ms，约3.7秒左右。但以透过本发明先行校正的情况来说，若一次比对所需的时间为t，反复比对的次数为k2，而事前校正的时间为s，则辨识的过程所花费的总时间T＝k2*t+s，其中，若t＝30ms、k2＝27次、s＝20ms，则一次辨识经过先校正所花费的时间(包括校正与比对)需要30*27+20＝830ms，约0.8秒。可由此例明显比较出处理所需时间的差异。

图2显示一种侧脸校正示意图，其中显示需要校正的侧脸状态，当撷取一影像且辨识出当中的对象(此例为面孔)，尤其是在实时辨识的领域中，普遍有侧脸的状况，为增进辨识的准确度与判断时间，需如图中所示，将201 标示的面孔侧脸的情形，校正为203显示的修正结果。

图3所示为应用本发明校正方法的位移、缩放与旋转校正示意图。当撷取影像后，经辨识得出对象(此例为面孔)位置，此时用一软件仿真出一对象框，提供之后辨识用的参考位置，图中显示在辨识之前执行校正的各种过程，其中301标示撷取到的面孔与对象框(或说脸框)有大小的差异，需要经过缩放校正得到正确位置的面孔，如30标示面孔与对象框的关系；302标示撷取到的面孔与对象框除了有大小差异外，更有位移的偏差，需经过缩放校正与位移校正得到正确的位置(30)；303标示撷取到的面孔相对于对象框呈现一旋转偏差与位移偏差，故需要进行旋转校正与位移校正，以得到正确的位置(30)；而304则标示出在对象框中的面孔呈现有旋转偏差，同样需要旋转校正至正确的位置(30)。

在撷取到特定对象或是面孔的位置之后，透过特征辨识找出对象或面孔上的特征点，再透过特征点的位置来判断各种偏差，而图4A显示面孔上各特征点的示意图，尤其是针对旋转校正时需要的面孔中心点。

图中显示面孔上的特征至少包括有眼睛与嘴巴，而特征点则可设定为两个眼睛，分别标示为e1与e2，与嘴巴的两个嘴角，标示为m1与m2，在执行校正之初，可透过这些特征点与对象框大小相较的下判断出偏差，包括利用两眼e1，e2连线与水平的夹角判断旋转偏差、利用两眼e1，e2、嘴角m1，m2(或仅使用嘴巴位置，或是两嘴角中点)来判断转向(侧脸)的偏差、利用两眼e1，e2距离或是其它特征点的距离判断缩放的偏差。

此例显示利用两眼中点a与嘴角中点b的连线中点c作为整个面孔的中心点，以此为旋转中心c，执行旋转校正，将偏差校正，以便之后的辨识。

而图4B则显示针对侧脸的转向偏差执行转向校正的示意图，其中利用上述两眼e1，e2、嘴角m1，m2(或两嘴角中点)所连线所围成的多边形(包括三角形)来判断转向偏差程度。也就是预设一个无转向偏差的正脸各特征点围成的多边形应该接近一个正梯形(或等边三角形)，透过比对，利用面积或是其它几何的计算方式(如计算面积的改变)判断转向偏差的程度，再根据偏差程度校正整个对象的画素位置。

而图4C则是显示利用各特征点位置辨识转转向偏差的另一方案示意图。其中两眼e1，e2连线中点为a，而此连线距离显示为第一距离r1，两嘴角m1， m2连线中点为b，而两眼中点a与嘴角中点b的连线形成第二距离r2，第一距离r1与第二距离r2的比例定义一宽长比，此宽长比在不同的角度有不同的值。经计算后，与一正脸的状况的宽长比相较之下，可以得出侧脸的偏差程度。

图5另外显示本发明执行旋转、缩放等步骤的示意图，标号501显示撷取到的面孔与一脸框间有大小的偏差，并且与水平线呈现一个角度的旋转偏差。之后，经过旋转校正，可将面孔调整接近至水平方向(如503所标示的图)，之后在调整缩放比例，以致于可落于对象框中，如505所显示的样子。

为达成上述各种校正的实施态样，本发明提出如图6所示用于辨识的对象影像校正装置的示意图，藉此装置执行撷取、辨识、校正等程序产生用于快速辨识的影像。

输入影像将先由一影像撷取单元601撷取，并接收、储存至内存603中，实际实施可透过一镜头(如装载CCD、CMOS等影像感测组件的镜头)撷取影像，影像经数字化则先暂存于内存603中。

接着由一对象位置辨识单元605读取暂存于内存603中的影像信号，再透过一影像处理程序辨识出对象位置，如一或多个面孔的位置，其中之一实施例是先透过影像中画素颜色的边缘特征，找出人脸应有的特征分布，根据改变判断出何者为前景与何者为背景，经前景与背景的比对得出对象位置。得出对象位置后，可透过软件仿真出一对象框，用于辨识范围的依据，必要时，需执行位移调整至影像中的对象位置。

接着，对象特征辨识单元607接收对象位置辨识单元605中的对象位置，并辨识对象框中的对象的对象特征，如面孔上的眼睛、鼻子、嘴巴等五官特征，五官的辨识已为一般常用技术，并不在此赘述。

经过辨识出对象特征后，由特征点位置计算单元609计算特定特征点的位置，较佳实施例包括两眼的参考位置(以眼睛瞳孔为主，可以坐标值标记)与嘴角两点的参考位置，并以此多个特征点位置作为之后校正的基础。然本发明并不排除引用其它五官特征的位置作为校正的基础。

之后，位置偏差判断单元611根据计算出的各特征点参考位置判断对象或面孔的偏差程度。比如：

针对平移偏差：根据对象的特征，如面孔的眼睛或嘴巴位置，可判断平 移的偏差程度，藉平移偏差校正，将对象移至适当位置，能方便之后的其它校正程序。

针对转向偏差：两眼的参考位置与嘴角两点的参考位置连线形成一多边形，计算各边之间的比例，如宽长比，与一标准的比例相比，可以判断该对象是否有转向偏差，并判断偏差程度；另一实施例，各参考点连线形成一梯形，一般面孔所形成的梯形应该接近一正梯形，而非歪斜的梯形，故可透过与正梯形比对以判断转向偏差的程度。

针对缩放偏差：由于对象应落于对象框中，以便辨识之用，故对象大小亦为需要校正的项目，较佳实施例中，可透过两眼距离判断是否过大或过小，以此判断缩放偏差。

针对旋转偏差：透过对象中各参考点的连线可判断是否有旋转偏差，在较佳实施例中，可透过两眼的连线与一水平线的夹角(可设一偏差范围)判断是否有旋转偏差。

经判断各种偏差态样与偏差程度后，能透过一校正单元613针对各种偏差执行校正，如图中旋转校正单元621、转向校正单元622、缩放校正单元623与平移校正单元625等。一个对象可能有上述全部的偏差态样，亦可能仅有一或两种。

针对平移偏差：即利用平移校正单元625将对象调整至一适当位置，以一较佳实施例为例，此步骤需要可在找出眼睛位置之后执行，而其它可以判断出对象位置的器官亦可，主要是执行一平移校正程序，能让对象调整至一对象框中，方便其它校正程序。

针对转向偏差：参考上述得出的转向偏差程度，透过转向校正单元调整该对象中的画素位置，依据一预设宽长比，使之趋近该有的宽长比，或是根据各参考点连线形成的梯形，执行梯形校正，比如校正两眼与两嘴角连线形成的四边形，使之趋近正梯形。

针对缩放偏差：得出缩放偏差的程度后，透过缩放校正单元623进行演算，将对象中各画素依比例缩放，较佳实施例中，依据眼睛与嘴巴的参考位置的间距，比对一预设间距，藉缩放校正单元623执行缩放校正程序。

针对旋转偏差：于得到旋转偏差的角度后，透过旋转校正单元621修正对象中各画素位置，使之趋近该有的角度，如两眼的连线应趋近水平角度， 透过眼睛与嘴巴的参考位置找寻一旋转中心，依此，藉该旋转校正单元执行一旋转校正程序。应用上述用于辨识的对象影像校正装置，本发明提出用于辨识的对象影像校正方法，如图7所示用于辨识的对象影像校正方法实施例流程图之一。

步骤开始之初，如步骤S701，透过影像撷取单元与一镜头撷取影像，接着侦测当中有兴趣的对象位置，可为一或多个对象(步骤S703)。

之后，根据特定对象的特征特性，侦测对象中特征位置(步骤S705)，并接着计算特征点相对位置(步骤S707)，即由对象特征中找出特定的特征点。透过演算，根据各特征点位置判断对象的偏差程度(步骤S709)，包括：

利用特征点间的距离可判断出一平移的偏差程度，比如可藉眼睛、嘴巴，或其它可辨识的器官的位置判断平移偏差程度；

再按照特征点间距的比例判断转向的偏差程度，比如计算多个特征点间的多个连线的宽长比，以此判断对象的转向偏差程度；

利用多个特征点中的任两点间距与预设间距的差异，判断缩放的偏差；

利用特征点间连线的角度判断旋转的偏差，在较佳实施例中，计算多个特征点中的任两点连线的角度，依据此角度判断对象的旋转偏差。

之后执行校正(步骤S711)，即根据上述各种存在的偏差与偏差程度执行校正，包括：

必要时，先将执行位移校正程序，调整对象位置至适当位置，如调整至一设定的对象框中；

透过一转向校正程序校正该转向偏差，较佳实施例是比对宽长比与一预设宽长比，再修正经计算的宽长比，使之趋近该预设宽长比，达到该转向校正的目的；

透过一缩放校正程序校正缩放偏差，较佳实施例是比对多个特征点中的任两点间距与一预设间距值，再依照两点间距与预设间距值的比例执行缩放校正，使之落于对象框中；

透过一旋转校正程序校正上述的旋转偏差，较佳实施例是由多个特征点的位置计算得出对象的一中心点，再以该中心点为一旋转中心，根据旋转偏差角度，执行旋转校正。

最后，计算校正后特征点的位置(步骤S713)，经上述各校正步骤，将经 过校正后的对象特征与已注册的对象特征比对，执行辨识，以此能够增进对象辨识的准确度与其效率。

图8则显示本发明用于辨识的对象影像校正方法实施例流程图之二，此例乃以面孔辨识为例。

同样于步骤S801开始，先撷取影像，接着如步骤S803，侦测面孔位置，比如透过前景与背景的颜色差异判断得出面孔位置，并产生一虚拟的脸框(即如对象框)，以此框作为辨识的参考范围，面孔位置决定后，接着侦测面孔特征位置(步骤S805)，比如，找出面孔上的眼睛、嘴巴等具有特定特征的部位。

接着计算眼睛与嘴角等特征点位置(步骤S807)，特征点可以为两个眼睛代表的两个参考位置，与两嘴角代表的参考位置，再透过各特征点位置判断旋转偏差程度(步骤S809)，如计算两眼连线与水平线的角度，并以此判断对象的旋转偏差。

透过任两个特征点间距判断缩放偏差程度(步骤S811)，比如计算两眼间距，与一预设间距比对，判断面孔的缩放偏差程度。

或是透过特征点连线计算的宽长比判断转向偏差程度(步骤S813)，如透过两眼与两嘴角围成的多边形的面积、或特定长度的宽长比判断侧脸的偏差程度。

之后，根据各偏差的态样执行校正，如步骤S815的旋转校正，即依据步骤S809判断的旋转偏差执行相对的校正，可先利用两眼、两嘴角等特征点的位置计算面孔的中心点，为旋转中心，以执行旋转校正；

如步骤S817，依据步骤S811判断的缩放偏差，执行相对的缩放校正，比如，可先根据两眼连线的长度，与预设长度(较佳是落于脸框内的大小)比对，据以执行缩放校正；

如步骤S819，依据步骤S813判断出的转向偏差，执行转向校正，校正方式包括针对两眼与两嘴角连线形成的四边形执行梯形校正、或宽长比调整等，将侧脸的情形调整为正脸。

最后计算校正后特征点的位置(步骤S821)。

综上所述，根据本发明所揭露的用于辨识的对象影像校正装置与其方法，特别是应用于进行人脸辨识之前的校正程序，用对象侦测的方法校正五官的正确位置，以节省人脸辨识的时间。

以上所述仅为本发明的较佳可行实施例，非因此即局限本发明的保护范围，凡运用本发明说明书及附图内容所为的等效结构变化，均同理包含于本发明的保护范围内，合予陈明。

Claims (10)

1.一种用于辨识的对象影像校正方法，其特征在于，包括：

撷取一影像；

侦测该影像中一个或多个对象的位置；

侦测该对象中的多个对象特征的位置；

计算该多个对象特征上多个特征点的位置；

依据该多个特征点位置判断该对象的偏差程度；

将该对象的偏差程度值与一无偏差的预设值进行对比，以执行一平移校正程序或/和一旋转校正程序或/和一缩放校正程序或/和一转向校正程序；以及

计算校正后该多个特征点的位置。

2.根据权利要求1所述的用于辨识的对象影像校正方法，其特征在于，该对象为一面孔。

3.根据权利要求1所述的用于辨识的对象影像校正方法，其特征在于，所述依据该多个特征点位置所判断所述对象偏差的步骤，还包括：

计算该多个特征点中的任两点连线的角度；以及

依据该角度判断该对象的旋转偏差，其中再透过一旋转校正程序校正该旋转偏差，该旋转校正程序包括：

由该多个特征点的位置计算得出该对象的一中心点；以及

以该中心点为一旋转中心，根据由该旋转偏差判断的角度，执行旋转校正。

4.根据权利要求1所述的用于辨识的对象影像校正方法，其特征在于，所述依据该多个特征点位置所判断所述对象偏差的步骤，包括有：

计算该多个特征点中的任两点间距；以及

依据该间距判断该对象的缩放偏差程度，其中透过一缩放校正程序校正该缩放偏差，该缩放校正程序包括：

比较该多个特征点中的任两点间距与一预设间距值；以及

依照该两点间距与该预设间距值的比例执行缩放校正。

5.根据权利要求1所述的用于辨识的对象影像校正方法，其特征在于，所述依据该多个特征点位置所判断所述对象偏差步骤，包括有：

计算该多个特征点间的多个连线的宽长比；以及

依据该宽长比判断该对象的转向偏差程度，其中透过一转向校正程序校正该转向偏差，该转向校正程序包括：

比较该宽长比与一预设宽长比；以及

修正该计算的宽长比趋近该预设宽长比。

6.根据权利要求1所述的用于辨识的对象影像校正方法，其特征在于，所述的对象为面孔。

7.一种用于辨识的对象影像校正装置，执行撷取、辨识、校正等程序产生用于快速辨识的影像，其特征在于，所述的装置包括有：

一影像撷取单元，撷取一影像，并暂存于一内存中；

一对象位置辨识单元，读取该影像撷取单元暂存于该内存中的影像信号，透过一影像处理程序辨识该影像中一个或多个对象的所在位置；

一对象特征辨识单元，接收该对象位置辨识单元中的该对象位置，再辨识该对象的特征；

一特征点位置计算单元，计算该对象特征辨识单元的对象特征与该对象位置辨识单元的对象位置；

一位置偏差判断单元，由该特征点位置计算单元中计算的对象特征位置结果判断该对象是否与有位置偏差；以及

一校正单元，根据该位置偏差判断单元判断对象位置的偏差结果进行校正，其中：

所述校正单元包括一旋转校正单元、一转向校正单元、一缩放校正单元与一平移校正单元连线。

8.根据权利要求7所述的用于辨识的对象影像校正装置，其特征在于，所述的对象为面孔。

9.根据权利要求8所述的用于辨识的对象影像校正装置，其特征在于，所述的影像处理程序为透过该影像中像素颜色的边缘特征，找出面孔应有的特征分布，得出该对象位置。

10.根据权利要求9所述的用于辨识的对象影像校正装置，其特征在于，所述的面孔应有的特征包括眼睛与嘴巴。

Images