CN103294989B - 生物数据采集过程中区别真实脸部和二维脸部图像的方法 - Google Patents

生物数据采集过程中区别真实脸部和二维脸部图像的方法 Download PDF

Info

Publication number
CN103294989B
CN103294989B CN201210570230.2A CN201210570230A CN103294989B CN 103294989 B CN103294989 B CN 103294989B CN 201210570230 A CN201210570230 A CN 201210570230A CN 103294989 B CN103294989 B CN 103294989B
Authority
CN
China
Prior art keywords
face
record
image
elementary area
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210570230.2A
Other languages
English (en)
Other versions
CN103294989A (zh
Inventor
R·弗里希霍尔兹
P·斯特罗姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BIOID AG
Original Assignee
BIOID AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BIOID AG filed Critical BIOID AG
Publication of CN103294989A publication Critical patent/CN103294989A/zh
Application granted granted Critical
Publication of CN103294989B publication Critical patent/CN103294989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种在生物数据采集过程中区别真实脸部和二维脸部图像的方法，其中，(a)按时间顺序依次拍摄脸部或者其图像的至少两个数字记录；(b)将每一个记录分解成若干图像单元，每个图像单元均包括若干像素；(c)通过相关算法确定第一记录与第二记录之间各个图像单元的位移，并且据此生成位移矢量场；以及(d)分析位移矢量场，从而判断是否拍摄了真实脸部或者其图像。此外本发明还涉及一种对分布式IT基础架构尤其是云环境中的某个人进行身份识别的方法，其中，在远离此人的计算机上接收此人脸部的至少两个数字拍摄记录，然后在一台或者多台远离此人的计算机上分布式地执行上述权利要求中任一项所述的方法，其中，此人的脸部拍摄记录也用来识别身份。

Description

生物数据采集过程中区别真实脸部和二维脸部图像的方法
技术领域
本发明涉及一种在生物数据采集过程中区别真实脸部和二维脸部图像的方法，以及一种对使用所述区别方法的人进行身份识别的方法。
背景技术
基于脸部识别的生物身份识别早已为人所知。例如可以将脸部的数字记录与例如根据ICAO(Internationale Zivilluftfahrt-Organisation，国际民航组织)规定按照生物识别标准ICAO 9303(Photograph Guideline，照片指南)拍摄的脸部参考照片进行比较。比较数字记录和照片是许多边境检查站的例行工作。也可以将某个人的数字记录与保存在数据库中此人的记录进行比较，以便允许此人访问设备、计算机、互联网应用等等。例如德国专利DE 19847261就描述了一种生物身份识别方法。
生物身份识别方法特别可靠，因为这些方法均使用人特有的特征。然而生物身份识别并不能完全防止造假，例如当识别脸部时，如果在检查过程中没有监管的检查人员在场，就存在某人并非示以自己的真实脸部、而是利用他人照片验证身份的危险。例如某人可能会在诸如云计算环境或者经过脸部识别才能使用互联网应用的分布式IT基础架构中验证身份，以便获得访问特定的系统或者应用的权限。此人通常可以从任意地点、也可以从家中执行该操作。对于此类情况必须能够杜绝某人以照片代替其真实脸部进行身份验证。
通过分析几何特征来区别照片的二维平面和脸部的三维结构，从而可以区别真实脸部和其图像。按照现有技术，已知利用体视技术根据至少两个记录得出这些几何特征，其中借助经过校准的摄像头来确定三维结构。体视技术的原理类似于人眼，可同时从两个视角观察/记录某个物体。然后在两个图像中确定默认的典型脸部特征(例如嘴角，鼻尖等等)的位置，并且根据差别确定深度信息。这样就能区别三维脸部和二维照片。然而该方法要求使用特殊摄像头，因此对于许多应用而言并不实用。
在脸部识别领域已知也可以例如对某个人进行多次拍照，然后以比较这些拍照记录的方式确定是否在脸部范围内存在内在的运动，从而防止使用照片。US 2009/0135188A1描述了一种用于生物识别和验证人体特征、并且通过在线检测脸部生理运动来区别真实人脸与脸部照片的系统。定位眼睛和嘴之类的特征区域，并且计算脸部中心与例如眼睛和嘴的坐标之间的距离，即可确定脸部运动。如果没有检测到脸部运动，则认为是一张照片。此外还确定脸部区域之外的周围环境是否也在运动，如果是，则认为是脸部的一张照片。该方法要求定位诸如眼睛和嘴之类的脸部特征区域，总体看来并不十分可靠。
EP 1434163B1描述了利用同样也基于脸部特征定位的生物识别法来检测和验证脸部的一种方法。根据若干检测数据计算不同脸部姿态的形态，以便创建每一个人的字典“Dictionary”，该字典包含例如眼睛之间或者眼睛与鼻尖之间随不同脸部姿态变化的距离差异。该方法看起来非常耗费运算资源和内存，并且适用于封闭的系统，但是并不适用于分布式IT架构，如限制用户可传输的数据量和可利用的运算性能的云计算环境。
对于此类环境而言，理想的情况是能够根据很少的数据记录，例如根据两个到五个或者根据最多十个图像实现身份识别。应当能够以很少的计算开销并且尽可能只根据一个比较图像进行识别和验证，以便经济合理地利用系统的内存和运算资源。
Chia-Ming Wang等人于2009年在IEEE International Symposium on Circuits(国际电路与系统研讨会)上发表的“Distinguishing Falsification of Human Facesfrom True Faces based on Optical Flow Information”(根据光流信息识别伪造的人脸与真实的脸部)一文中描述了一种根据运动模型区别真实脸部与二维脸部图像(即照片)的系统。利用光流法根据至少五个顺序图像创建运动模型，其中，真实脸部和照片图像的运动模型有差异，并且能够分析这些差异，从而区别真实脸部和照片。使用基于LDA(LineareDiskriminanzanalyse，线形判别分析)的学习方法和贝叶斯分类器来区别真实脸部的运动场和照片的运动场。该方法能获得良好的结果，但是如果要在分布式IT环境中使用，仍然需要很多的运算和内存资源以及很高的数据传输性能。此外在准备使用之前还需要根据不同的测试面孔进行高成本的训练过程。
Tanzeem Choudhury等人于1999年在MIT Media Lab AV BPA(麻省理工学院音频和视频身份认证研讨会)上发表的“Multimodal Person Recognition usingUnconstrained Audio and Video”(“使用无约束的音频和视频实现多模态身份识别”)一文中描述了原则上可以在区别真实脸部和照片的脸部识别过程中进行运动分析，并且据此估算每个特征的深度。假设其特征均具有相同深度的对象是照片，而其它对象是真实脸部。没有说明如何执行该方法的任何细节。
Chao-Kuei Hsieh等人于2010年在IEEE Transactions on Image Processing上发表的“An Optical Flow-Based Approach to Robust Face Recognition UnderExpression Variations”(“表情变化情况下基于光流法稳健性识别脸部的方法”)一文中描述了一种使用光流法识别脸部的方法，其中，计算脸部之内的光流，以便平衡各种脸部表情中的差异。
Bruce D.Lucas等人于1981年在Proceedings of Imaging UnderstandingWorkshop上发表的“An Iterative Image Registration Technique with anApplication to Stereo Vision”(“应用在立体视觉中的迭代图像配准技术”)一文中描述了一种使用L1标准和L2标准在图像F(x)之内定位模板G(x)的方法，并且解释了不同的相关技术，包括序列相似性检测算法(Sequential Similarity Detection-Algorithmus，SSDA)。
Shaker出版社1998年出版的发明人R.Frischholz的论文“zurAutomatischen Dreidimensionalen Bewegungsanalyse”(ISBN3-8265-3733-5)中也解释了本发明所采用的光学相关法。明确地参考了这些文献，尤其是在此关于光流法和相关法的说明。
根据现有技术公知了，使用光流法可以在生物识别脸部时区别真实脸部和照片图像。在图像处理和光学测量技术领域，将表示图像序列中每个像素运动方向和速度的矢量场称作光流。光流可以构成用来识别三维结构、估算空间运动以及识别各个运动对象的基础。经典的光流法均以微分为基础，也就是以逐个像素构成的灰度信号的导数和梯度为基础。利用微分法计算光流源自于麻省理工学院Berthold Horn和Brian Schunk于1981年开发的一种方法(Berthold K.P.Horn等人在Artificial Intelligence，Band 17，Nr.1-3，SS.185-203，1981上发表的“Determing Optical Flow”)。
尽管光流法在理论上适合于区别真实人体的拍照记录与照片图像，但是实际上面临一系列问题：逐个像素计算光流需要很多的运算资源，这使得难以在合理的时间之内进行检查。由于数字记录的像素中噪声成分很高，需要通过若干图像对所生成的流矢量进行平滑，因此又会提高数据量和计算开支。光流法同样容易出错。
发明内容
本发明要解决的技术问题在于，提供一种在生物数据采集过程中区别真实脸部和二维脸部图像的方法，该方法是稳健的并且可以根据少量的拍摄记录以尽可能少的计算开支实现该方法。
在按照本发明所述区别真实脸部和二维脸部图像的方法中，(a)按时间顺序依次拍摄脸部或者其图像的至少两个数字记录；(b)将每一个记录分解成若干图像单元，每个图像单元均包括若干像素；(c)通过相关算法确定第一记录与第二记录之间各个图像单元的位移，并且据此生成位移矢量场；(d)分析位移矢量场，从而判断是否拍摄了真实脸部或者其图像。本发明能够根据脸部的两个二维数字记录确定脸部是否为真实的三维脸部或者是脸部的二维照片。本发明利用不同的几何特征来区别真实的三维脸部和照片。
为此本发明运用了运动分析领域的知识，并且利用了粒子图像测速技术(Particle Image Velocimetry，PIV)领域广为人知的方法。
PIV就其本身而言是一种确定流动介质中的速度场的光学方法。以很短的时间间隔对流体中的颗粒进行拍照，并且根据图像上的颗粒位置近似确定运动方向和速度。最难检测的情况是无法在流动介质中识别出显著的特征，例如在流水、雾或者空气流情况下。这种情况下通常将若干微球掺入到流体之中，然后在PIV中检测和跟踪这些微球。将准备研究的区域划分成若干个场，然后利用相关法确定场中的颗粒随时间的位移矢量。然后从若干位移矢量或者流矢量中获得可以据此得出流速的流矢量场。
本发明使用一种类似于粒子图像测速(PIV)的方法，并非用来确定流动速度，而是用来区别真实的三维脸部与其二维图像。可以不必像PIV那样加入颗粒，因为所涉及的对象(即脸部)具有自身的肌理，因此仅仅采用PIV方法中的分解图像和相关计算。与上述光流法的不同之处在于，本发明所述的方法并非基于像素级的分析，而是基于在图像单元级或区域级对拍摄记录所进行的分析，所述图像单元或区域是对拍摄记录划分的。从图像的第二数字记录起就可以利用本发明所述的方法得出每个图像单元的位移矢量或者流矢量，然后据此得出位移矢量场或者流矢量场。位移矢量场现在具有完全不同的特征，具体要看是否涉及平面照片或者真实三维脸部的记录。本发明对这些不同的特征进行分析，从而将照片与真实脸部区别开来。与上述现有技术的不同之处在于，并非利用训练好的分类器进行分析，而是通过将流矢量场解析分离为对应于二维图像或真实三维脸部的两类来进行分析。以下将对此详细说明。
与现有技术的各种方法相比，按照本发明所述使用的算法所需运算量比较少，而且可以根据较少的数字记录提供可靠的结果。上述光流法计算随时间变化的强度值的导数，因此很容易出错，并且需要多个顺序图像来消除偏差。
本发明所述的方法通常针对每个图像单元根据第一记录和第二记录中相同图像单元的位置生成位移矢量。可想而知，也可以不生成各个图像单元的位移矢量，以下还将对此进行解释。
按照本发明所述的方法，作为第一个处理步骤优选在每个拍摄记录中定位脸部，然后为了继续处理而将拍摄记录的范围限制到某个所定义的面孔剪裁。现有技术已公开了一些脸部定位方法，例如在本发明人的欧洲专利EP 1119822B1中就描述了一种适用的方法。通过该步骤保证了在两个顺序的图像中对相同的面孔剪裁进行比较，并且保证待相互比较的记录尽可能全幅反映待研究的脸部。
优选将拍摄记录划分为由NxM个区域所构成的规则网格，所述区域形成成图像单元。这些区域的数量优选在64～256之间的数量级内，应使用至少20个图像单元，以便提供可用的结果。在优选实施方式中，适用N＝M，其中特别地将图像划分成8x8或者16x16个区域。
如前所述确定位移矢量，所述位移矢量表示某一拍摄记录与下一个拍摄记录之间各个图像单元或者区域的位移。可以采用不同的相关法确定这些位移矢量，最为著名的方法是互相关。按照本发明所述，在图像单元相关时，将第一拍摄记录的图像单元和第二拍摄记录的图像单元之间的图像强度相互关联。在本发明的优选实施方式中，该方法基于图像的灰度，并且不考虑色值。
在现有技术中也将比较两个顺序拍摄记录中的各个图像单元来确定位移矢量的方式称作模板匹配(Template Matching)。在文献中经常将互相关称作MCC(Maximum CrossCorrelation，最大互相关)，其表达式为：
式中i(u，v)是互相关系数(CCC Cross Correlation Coefficient)。决定最大系数i(u，v)的坐标对(u，v)是拍摄记录f与图像单元或模板g之间最一致的位置，因此得出位移矢量，式中x表示模板的宽度，y表示模板的高度，f(u，v)决定位置(u，v)处的图像剪裁。
互相关主要有以下特性：通过归一化保证相关值始终在零(最差一致性)和一(最佳一致性)之间。当照明不均匀时，通过总强度归一化来产生照明无关性。然而，由于必须以浮点表示法实现的乘法很多，计算互相关是相对运算密集的。
本发明因此优先选用一种替代互相关的方法，即使用L1距离，也就是图像单元或模板与拍摄记录的绝对强度差(SAVD-Sum of Absolute Value of Differences，绝对差值之和)：
SAVD主要有以下特性：SAVD是拍摄记录与图像单元(模板)之间的距离尺度；较小的值表示较小的距离，因此表示较好的一致性。如果拍摄记录f和图像单元g完全一致，则SAVD的值为零。与互相关相比，可以达到的最大值并不是固定的，而是随模板的大小变化。不进行强度归一化；因此SAVD对光强波动很敏感。求算SAVD的运算步骤所需的运算量远远少于互相关；此外还以整数表示法进行计算。
计算SAVD距离的特殊优点在于，与互相关相比可以在使用SAVD距离进行模板匹配时提前取消寻找过程。由于使用SAVD可分别寻找所有SAVD计算值的最小值，因此当最新的和超过上一个已知的最小值时，就可以结束累加所有差值。而互相关则相反，必须始终累加直至结束，因为这里要寻找最大值。Barnea和Silvermann已认识到这种特殊的方法，并且于1972年公布了SSD序列相似性检测算法(D.I.Barnea和H.F.Silverman于1972年2月在IEEETransactions on Computers，C-21第179～186页发表的文章“A Class of Algorithmsfor Fast Digital Image Registration”(“用于快速数字图像配准的一类算法”))，可以将该算法应用于本发明，并且可以将其原理过程描述如下：
在图像f中模板g的所有位置计算g和f之间的距离。最小距离决定最佳一致性。
将每个位置的距离与之前的最小距离进行比较。
如果较小：当前距离变为最小距离。
如果较大：取消并且继续处理下一个位置。
应用于本发明这就意味着：在该方法的优选实施方式中，针对第二拍摄记录中一系列图像单元的位置计算第一拍摄记录的图像单元与第二拍摄记录的图像单元之间的图像强度差，针对一系列位置中的每个位置将当前位置中的图像强度差与前一个位置处的图像强度差进行比较；如果当前位置处的图像强度差小于前一个位置处的图像强度差，则将当前的差值作为最小差值；如果当前位置处的图像强度差大于前一个位置处的图像强度差，则将前一个差值作为最终有效的最小差值并且取消比较，然后比较下一个位置；第二拍摄记录中的图像单元位置对应于确定了最终有效最小差值时的位置。因此原则上检查所有位置；但必要时可以提前取消比较。
如果尽可能提前找到绝对最小值，就能实现一种特别有效的方法，因为之后所有的累加均变成了多余，并且可以中止执行该方法。因此适宜使用排序算法，也就是通过一定的索引排列使得平均相加次数更少的算法。因此本发明优选设置，将相关算法限制到拍摄记录的局部区域，可根据对基本图像结构的了解和/或者分析之前的拍摄记录来确定这些局部区域。这种局部区域不应当大于图像单元以其边长在任意方向的位移所定义的面积。因此如果图像单元例如处在拍摄图像的角部之中，则局部区域最多有四个图像单元的大小。如果图像单元处在拍摄记录的中部，则局部区域不大于待检图像单元周围3x3个图像单元的面积。在利用模板匹配进行运动分析的过程中，如果从寻找区域的中心开始表示为圆形，就特别有利于利用SSD算法的所述特性。也可以考虑之前找到的位移矢量来确定寻找方向。
按照本发明所述，不同的矢量是X、Y矢量，从而可以从每一个拍摄记录的图像单元展开一个空间，该空间反映这些图像单元在X和/或Y方向的位移。
为了优化本发明所述的方法，在执行相关算法之前优选检查图像单元之内的像素是否分别具有大于第一阈值的方差。仅在相关算法中继续处理那些其方差超过阈值的图像单元。通过这种预先检查可以“剔出”那些预期不包含用于形成位移矢量的可用信息的图像单元，如强度基本上均匀的表面，例如面颊部分或者脸部的前额。这样就能够滤出脸部的不显著区域，而无需预先定位诸如眼睛、鼻子、嘴之类的脸部特征。纯粹以解析方式进行这种检查(也称作质量标准)，并且不要求了解或者寻找脸部结构。
可以采用第二质量标准，即在执行相关算法之后比较图像单元及其-之后找到的-位移的图像单元。如果某个图像单元及其位移图像单元的强度差高于第二阈值，则舍弃该图像单元的位移矢量。如果两个图像单元的强度相差非常大，则可以据此推断该算法尽管已找到了一个局部最小值，但是并不涉及一致的图像单元。通常根据经验确定阈值，且该阈值在任何情况下应当明显大于拍摄记录的预期噪声。
从上述光流法可知，在形成流矢量之后要通过滤波和平滑来“改善”结果，而本发明则已经在相关算法之前或之后使用质量标准来生成位移矢量场，该位移矢量场仅仅包含针对这些图像单元的位移矢量，所述位移矢量以很高可靠性正确反映图像单元的位移。这样即可获得一种运算量较少的稳健方法。
在本发明的一种优选实施方式中，在拍摄照片时并且在拍摄空间对象时，根据对矢量场的预期特性的认识来分析位移矢量场，从而最终能够合格判断是否拍摄了真实的三维脸部点。在拍摄二维照片时，位移矢量的分量均处在同一个平面之中。若为近似于等距的图像单元，则矢量场之内某一矢量与下一个矢量之间的位移矢量分量变化保持不变。然而在拍摄具有空间深度的真实对象时，位移矢量不仅与该对象与记录设备的相对运动有关，而且也与对象单元与该对象的运动轴之间不同的距离有关。可以根据接近矢量场的X或Y分量的平面对这些差异进行分析。因此在本发明的优选实施方式中，至少计算一个平面或者另一个可以解析描述的平的表面(所述表面接近矢量场的X和/或Y分量)，并且确定矢量场的矢量分量与计算平面之间的距离。优选针对矢量场的X分量计算一个平面，并且针对矢量场的Y分量计算一个平面。假设在摄像头前面不仅可能有平的二维平面形式的一张照片，而且也可能例如有一张弯曲的照片，则也可以使得矢量场接近另一个可以解析描述的平的表面，如一个多边形或者贝塞尔曲线。
优选使用近似法、例如根据最小二乘拟合来计算平面，以便通过位移矢量场的X和Y分量计算尽可能最佳的平面。位移矢量场的坐标可作为独立的变量，而位移分量x以及y则作为“高度值”z。一般平面方程为：
F(x，y)＝z＝a0+a1x+a2y
使用给定的z值(位移矢量场的X或者Y分量)和最小二乘拟合法计算a0、a1和a2的最优值：
∑(F(xi，yi)-zi)2＝min
根据a0、a1、a2求解方程，就可以分别针对位移矢量场的X和Y分量来近似最佳拟合平面。在下一个步骤中计算各个位移矢量与这些平面的偏差。如果位移矢量场总体上呈线性特征，也就是通过二维照片产生的，则预期该平面与该矢量场非常符合，因此偏差很小。反之如果在矢量场的分量中有许多非线性变化，则计算平面与该区域的近似度很差，平均偏差非常高。
矢量场分量与近似平面的这种(平均)误差即为矢量场是从二维照片的两个图像还是从真实空间对象的两个图像生成的判断标准。
因此在优选方式中可以将矢量分量与计算平面的(平均)距离与第三阈值进行比较，然后根据比较结果做出判断，如果该距离超过阈值，那么就是真实脸部的拍摄记录，否则就是图像的拍摄记录。
本发明提供一种区别真实脸部与其二维图像的稳健方法，该方法基于置于图像上方的固定网格，不必定位脸部的各个特征，如嘴、耳、鼻。使用本发明所述方法进行的一系列试验表明，该方法能够使用20个以下的拍摄记录作出可靠区别。在优选实施方式中使用不多于10个、优选使用不多于5个的脸部或者其图像的数字拍摄记录。在本发明的一种特别优选的实施方式中，该方法仅仅使用脸部或者其图像的两个数字拍摄记录。在此优选针对脸部的拍摄记录设定至少两个不同的脸部位置，以便能够形成一个有说服力的位移矢量场。
本发明也提供一种对分布式IT基础架构尤其是云环境中的某个人进行身份识别的方法，其中在远离此人的计算机上接收此人脸部的至少两个数字拍摄记录，然后在一台或者多台远离此人的计算机上执行以上所述的区别方法。也可以将此人脸部的一个或者多个拍摄记录用来识别此人同时验证其身份
附图说明
以下将参考附图详细解释本发明的优选实施方式。其中：
图1示出了在不同位置对真实对象及其照片进行不同拍摄的场景，用于解释本发明的基本原理；
图2示出了用于解释旋转二维图像以及据此推导的位移矢量场的示意图；
图3示出了用于解释旋转真实对象以及据此推导的位移矢量场的示意图；
图4和5示出了二维图像和三维对象以及旋转该图像或该对象产生的位移矢量场的示意图；
图6示出了用于说明平面近似度计算的二维图；
图7示出了叠加了位移矢量场的真实脸部的图像；
图8示出了叠加了位移矢量场的二维照片的图像；以及
图9示出了按照本发明用于区别真实脸部与脸部二维图像的方法的流程图。
具体实施方式
图1所示的示意场景用于解释例如使用数字摄像头拍摄真实三维对象及其二维图像时产生的差异。图1所示为对象的二维图像(照片)以及该对象本身的两个拍摄记录的序列，在两个拍摄记录之间照片和对象围绕其中轴旋转。可以看出，在第二拍摄记录中照片的旋转与对象的旋转相比产生了对象的不同的透视扭曲。本发明就利用了这种现象。
如本发明所述，当(三维)脸部或者其(二维)图像在摄像头前方运动时，根据拍摄记录之内各个图像单元的位移推导出位移矢量。图2示例性地示出了在照片上成像的立方体的角部在照片围绕其纵轴线旋转时的位移矢量场。图3所示为立方体的对应位移矢量场，这里涉及的是围绕中轴旋转的真实三维立方体。在拍摄例如倾斜或者旋转的二维照片时(图2)，位移矢量的分量均处在同一个平面之中。若为近似于等距的图像单元，则矢量场之内某一矢量与下一个矢量之间的位移矢量分量变化保持不变。然而在拍摄具有空间深度的真实三维对象时(图3)，位移矢量不仅与该对象与记录设备的相对运动有关，而且也与对象单元(例如立方体的角部)与该对象的运动轴之间不同的距离有关。因此矢量场之内某一矢量与下一个矢量之间的位移矢量分量变化既非恒定不变也非线性。
认识到根据真实脸部或者其二维图像推导出的矢量场的预期特性，本发明推荐了区别拍摄记录的两种情况或者类别的分析方法。可以利用合适的近似法，例如最小二乘拟合，分别计算接近矢量场的X分量以及Y分量的平面。然后将位移矢量场的X和Y分量与接近相应分量的平面进行比较。如果矢量分量与计算平面的平均距离很小，则可以认为这些均近似处在一个平面之中，因此所涉及的是照片的拍摄记录。反之如果位移矢量场的X和Y分量处在非线性的空间结构之中，与这些平面的平均距离就会变大；所涉及的就是摄像头前方的真实三维对象，按照本发明所述就是涉及真实的脸部。
因此可以利用位移矢量分量与计算平面之间平均距离的阈值估算这些分量是否全部(近似)处在该平面之中，以及拍摄记录由此是否为真实的对象(脸部)或者其图像。
也可以在仅仅计算一个相应平面的情况下仅仅根据位移矢量场的X分量或者Y分量对其进行分析。但是分析两个平面可以提高本发明所述方法的稳健性。也不一定需要以数学手段分开观察X和Y分量；也可以在高维空间中一起分析这些分量。
图4和5表示针对围绕其垂直轴旋转的二维图像(图4)以及针对围绕其垂直轴旋转的空间对象(在此是立方体)(图5)产生位移矢量场。按照本发明所述的方法，将每个拍摄记录分解成若干图像单元，这些图像单元各自包括若干像素。在图4和5的实施例中将每个拍摄记录划分成3x3个区域，实际上应选择更加精细的网格，例如8x8个区域或者16x16个区域。图4和5所示为两次拍摄之间将照片(图4)或者三维对象(图5)进行旋转时第一和第二拍摄记录之间的位移矢量场。参考图4可以看出，旋转轴附近的照片图像单元没有水平位移；因此相应矢量的X分量为零。然而从记录设备的视角来看，远离旋转轴的图像单元则向右或向左运动。对于向右以及向左的运动，位移矢量的X分量的相应值变化在图4中简化地使用“1”以及“-1”表示。两个拍摄记录之间从左向右的这种变化是线性的。为了简单起见，在该简化示例中忽略了Y分量的可能变化。
将其与图5相比即可看出，当真实对象旋转或者进行其他类型的位移时，位移矢量分量的变化与对象的深度有关。矢量分量从左向右的变化是非线性的。
因此分析位移矢量场即可判断是否拍摄了真实对象或者其图像。
在本发明的优选实施方式中，对位移矢量场的差异进行分析，方法是根据最小二乘拟合(least Square fit)通过矢量场的X分量计算最佳平面，以及通过矢量场的Y分量计算最佳平面。矢量场的坐标可作为独立的变量，而位移分量X以及Y则作为“高度”z。一般平面方程为：
F(x，y)＝z＝a0+a1x+a2y
使用给定的z值(位移矢量场的X或者Y分量)和最小二乘拟合法计算a0、a1和a2的最优值：
为此首先将所有矢量场分量与未知平面的偏差表示为方程。在计算数学中，这里讨论的是余值(Residuen)，如图6所示：
r1＝F(x1，y1)-z1
r2＝F(x2，y2)-z2
r3＝F(x3，y3)-z3
rn＝F(xn，yn)-zn
计算目的是找到所有余值之和(＝偏差)最小时的那个平面(包含a0、a1和a2)。为了不必考虑正、负偏差，可以求余值的平方：
为了使最小，条件是对三个变量a0、a1和a2的导数必须等于0。
得出包含三个未知量a0、a1和a2的三个方程，可以例如用高斯消去法计算这些方程。理论上虽然不存在或者存在方程组的多个模糊解(uneindeutige)，但在本发明的应用情况下没有这个情况，因为x和y在预先设定的网格中。
在图4和5的示例中很容易解读平面方程：
如果存在照片的拍摄记录(图4)，则平面为F1(x，y)＝0-1x+0y。
如果存在三维立方体的拍摄记录(图5)，则平面是一个常数F2(x，y)＝3/9+0x+0y。
照片的平面F1恰好穿过所确定的位移分量；而旋转立方体所确定的平面F2的所有位移分量均具有3/9或6/9的偏差。平面F2不可能穿过所有位移矢量分量。
也可以根据所确定的接近位移矢量分量的平面计算各个位移矢量与这些平面的偏差。如果位移矢量场总体上呈线性特征，也就是从二维照片的拍摄记录得出的，则预期该平面与该矢量场非常符合，因此偏差很小。反之如果在矢量场的分量中有许多非线性变化，则计算平面与该位移矢量场的近似度很差，平均偏差非常高。按照本发明所述，该平均误差、也就是位移矢量场分量与计算平面的偏差平均值可以构成用以确定是从二维照片的两个图像还是从脸部的两个图像中生成位移矢量场的判断标准。可以直接了当地根据一个适当设定的阈值对其进行检查，其中应这样适当选择阈值，使得拍摄记录的噪声引起的偏差不会影响判断。
图7和8示例性地示出了根据真实脸部的拍摄记录生成的位移矢量场(图7)以及脸部照片的位移矢量场(图8)。从这两个附图的比较结果可以看出，脸部照片的位移矢量场基本上呈线性，而真实脸部的位移矢量则可能具有随相应图像单元位置变化的不同量值和方向。
从图7和8也可以看出，本发明不会产生某些图像单元的位移矢量。就这些图像单元而言，第一或者第二质量标准得出的结果是它们不会产生有说服力的位移矢量场量值。其原因在于这些图像单元具有很小的图像强度方差，不考虑将具有很小方差的图像单元(如脸颊和额头)用来形成位移矢量场。另一方面也可能涉及在其中出现了测量误差的图像单元。如果图像单元及其位移图像单元表现出很大的强度差，从而使得相关性有可能错误表现出一致性，就会识别出测量误差。此类图像单元同样也不参与形成位移矢量场。
图9所示为本发明所述方法的流程图。该方法在步骤10中开始拍摄脸部或者其图像的至少两个数字图像。本发明所述的方法优选基于不多于20个、尤其优选基于不多于10个甚至不多于5个的脸部数字拍摄记录。在本发明的一种特别有益的实施方式中，使用脸部或者其图像的两个数字拍摄记录。
在下一个(可选)步骤12中在每个拍摄记录中定位脸部，并且将脸部限制到某个定义的面孔剪裁，这时使用已知的脸部定位方法。
接着在步骤14中将每个拍摄记录分解成多个图像单元，这时优选通过所选的图像剪裁创建nxm个区域构成的规则网格，例如8x8或者16x16个区域的网格。实际试验结果表明，即使在使用所述的质量标准之后，也要有至少20个位移矢量才能成功分析位移矢量场。
在下一个步骤16中确定第一拍摄记录与第二拍摄记录之间、必要时第二拍摄记录与第三拍摄记录之间等各个图像单元的位移。这时使用已知的相关法，其中按照本发明所述优先使用序列相似性检测算法(SSD)。该算法的优点在于，例如与互相关相比运算量较少，并且可在当前总和超过最后一个找到的最小值时提前中止计算。
在步骤18中根据图像单元的各个位移生成位移矢量场。按照本发明所述采用分析法对该位移矢量场进行分析，以便判断是否拍摄了真实脸部或者其图像。本发明在拍摄照片或者拍摄空间对象时利用对矢量场的预期特性的认识，从而能够作出合格判断。不需要寻找特定的脸部结构。
在优选实施方式中，在步骤20中计算接近矢量场的X分量和/或Y分量的平面来分析位移矢量场，接着在步骤22中如前所述计算矢量场的矢量分量与该平面的平均距离。
最后在步骤24中检查位移分量的平均距离是否大于设定的阈值。如果是，则在步骤26中识别真实的脸部；如果不是，则在步骤28中识别脸部的图像(照片)。
如前所述，还可以在生成位移矢量场之前和之后使用质量标准，以便最终仅仅让那些提供具有说服力结果的图像单元参与形成位移矢量场。
在本发明的优选实施方式中，还在步骤10中给摄像头前方的人设定至少两个不同的脸部位置，以便能够形成尽可能有说服力的位移矢量。例如可在拍照过程中通过屏幕显示出，首先将脸转向左边然后在转向右边。除此之外，也可以将拍摄记录用来利用已知的生物数据采集法来验证某个人的身份。
优选将本发明应用于诸如云计算环境之类的分布式IT基础架构之中，其中，在某个人的工作站上拍摄人脸的数字记录。接着可以通过互联网或者其它网络将拍摄记录发送给远程计算机、服务器、云计算网络等等。在远离此人的计算机上或者在分布式计算架构中使用本发明所述的方法处理这些拍摄记录，以便最终判断这些拍摄记录是否源自于此人的真实脸部或者脸部照片。可以根据判断结果执行识别和验证身份的其它步骤，但本发明并不涉及这些方面。
可以在所有常见的计算机上、在任何合适基础架构中优选以计算机程序形式实现本发明。

Claims (21)

1.在生物数据采集过程中区别真实脸部和二维脸部图像的方法，其中，
(a)按时间顺序依次拍摄脸部或者其图像的至少两个数字记录，
(b)将每个拍摄记录分解成多个图像单元，其中每个图像单元均包括多个像素，
(c)通过相关算法确定第一拍摄记录与第二拍摄记录之间各个图像单元的位移，并且据此生成位移矢量场，并且
(d)对该位移矢量场进行分析，以便判断是否拍摄了真实脸部或者其图像，
其中，在步骤(c)中执行相关算法之前检查所述图像单元，是否图像单元之内的像素均具有大于第一阈值的方差，并且在步骤(c)中仅仅对其方差超过阈值的这些图像单元进行继续处理。
2.根据权利要求1所述的方法，根据第一记录和第二记录中每个图像单元的位置生成该图像单元的位移矢量。
3.根据权利要求1或2所述的方法，其中，在步骤(a)和(b)之间在每个拍摄记录中定位脸部，将拍摄记录限制到定义的面孔剪裁以便继续处理。
4.根据上述权利要求1或2所述的方法，其中，在步骤(b)中将每个拍摄记录划分成NxM个区域构成的规则网格，所述区域形成图像单元，其中所述区域的数量优选在64和576之间。
5.根据权利要求4所述的方法，其中N＝M，尤其是N＝M＝8或者N＝M＝16。
6.根据上述权利要求1或2所述的方法，其中，在步骤(c)中根据图像单元灰度的图像强度执行相关算法。
7.根据上述权利要求1或2所述的方法，其中，在步骤(c)中通过序列相似性检测SSD算法实现相关算法。
8.根据权利要求7所述的方法，其中，针对第二拍摄记录中一系列图像单元位置计算第一拍摄记录和第二拍摄记录的图像单元之间的图像强度差，
针对该位置系列中的每个位置将当前位置处的图像强度差与前一个位置处的图像强度差进行比较，
如果当前位置处的图像强度差小于前一个位置处的图像强度差，则将当前的差值作为最小差值；如果当前位置处的图像强度差大于前一个位置处的图像强度差，则将前一个差值作为最终有效的最小差值并且停止比较，
第二拍摄记录中的图像单元位置对应于确定了最终的最小差值的位置。
9.根据上述权利要求1或2所述的方法，其中，在步骤(c)中将相关算法限制到拍摄记录的局部区域，根据对基本图像结构的认识和/或对在先拍摄记录的分析来确定这些局部区域。
10.根据权利要求9所述的方法，其中，所述局部区域不大于所述图像单元在任意方向上移动其边长大小的距离所定义的面积。
11.根据上述权利要求1或2所述的方法，其中，所述位移矢量是x、y矢量。
12.根据上述权利要求1或2所述的方法，其中，在步骤(c)中执行相关算法之后比较图像单元及其位移图像单元，如果图像单元及其位移图像单元的强度差高于第二阈值，则舍弃该图像单元的位移矢量。
13.根据上述权利要求1所述的方法，其中，计算至少一个平面或者另一个能够解析描述的平的表面以便对矢量场进行分析，所述表面接近矢量场的x和/或y分量，并且确定矢量场的矢量分量与计算平面之间的距离。
14.根据权利要求13所述的方法，其中，利用近似法尤其根据最小二乘拟合法来计算所述平面。
15.根据权利要求13或14所述的方法，其中，确定所述矢量分量与所述计算平面的平均距离。
16.根据权利要求13或14所述的方法，其中，将所确定的矢量分量与计算平面之间的距离与第三阈值进行比较并且做出判断，如果该距离超过阈值，那么就是真实脸部的拍摄记录，否则就是图像的拍摄记录。
17.根据上述权利要求1或2所述的方法，其中，通过设定的网格确定图像单元，且这些图像单元不必包含脸部特征。
18.根据上述权利要求1或2所述的方法，其中，拍摄脸部或者其图像的不多于二十个、优选不多于十个、更优选不多于五个的数字拍摄记录。
19.根据上述权利要求1或2所述的方法，其中，使用脸部或者其图像的恰好两个数字拍摄记录。
20.根据上述权利要求1或2所述的方法，其中，当拍摄照片时在步骤(a)中设定至少两个不同的脸部位置。
21.一种对分布式IT基础架构尤其是云环境中的某个人进行身份验证的方法，其中，在远离此人的计算机上接收此人脸部的至少两个数字拍摄记录，然后在一台或者多台远离此人的计算机上执行上述权利要求中任一项所述的方法，也可以将此人的脸部拍摄记录用来识别身份。
CN201210570230.2A 2011-10-20 2012-10-22 生物数据采集过程中区别真实脸部和二维脸部图像的方法 Active CN103294989B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011054658.8 2011-10-20
DE102011054658A DE102011054658A1 (de) 2011-10-20 2011-10-20 Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess

Publications (2)

Publication Number Publication Date
CN103294989A CN103294989A (zh) 2013-09-11
CN103294989B true CN103294989B (zh) 2017-07-11

Family

ID=47143535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210570230.2A Active CN103294989B (zh) 2011-10-20 2012-10-22 生物数据采集过程中区别真实脸部和二维脸部图像的方法

Country Status (4)

Country Link
US (1) US8977010B2 (zh)
EP (1) EP2584493B1 (zh)
CN (1) CN103294989B (zh)
DE (1) DE102011054658A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2672426A3 (en) * 2012-06-04 2014-06-04 Sony Mobile Communications AB Security by z-face detection
AT514861A3 (de) 2013-09-20 2015-05-15 Asmag Holding Gmbh Authentifizierungssystem für ein mobiles Datenendgerät
CA3186147A1 (en) * 2014-08-28 2016-02-28 Kevin Alan Tussy Facial recognition authentication system including path parameters
US9412169B2 (en) 2014-11-21 2016-08-09 iProov Real-time visual feedback for user positioning with respect to a camera and a display
US9852543B2 (en) * 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
US9934443B2 (en) * 2015-03-31 2018-04-03 Daon Holdings Limited Methods and systems for detecting head motion during an authentication transaction
US10242441B2 (en) * 2015-05-21 2019-03-26 Koninklijke Philips N.V. Identifying living skin tissue in a video sequence using color and spatial similarities
US9619723B1 (en) * 2016-02-17 2017-04-11 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system of identification and authentication using facial expression
CN107135348A (zh) 2016-02-26 2017-09-05 阿里巴巴集团控股有限公司 拍摄对象的识别方法、装置、移动终端和照相机
JP7257631B2 (ja) * 2016-05-17 2023-04-14 ケルクエスト 材料被写体の拡張認証の方法
CN106127666B (zh) * 2016-06-12 2019-02-19 北京电子科技学院 一种基于随机子图表示的云环境中物体图像隐秘检测方法
DE102016122649B3 (de) * 2016-11-24 2018-03-01 Bioid Ag Biometrisches Verfahren
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
EP3651057B1 (fr) * 2018-11-09 2023-06-14 Tissot S.A. Procede d'authentification faciale d'un porteur d'une montre
US20220270360A1 (en) * 2019-08-20 2022-08-25 Technology Innovation Momentum Fund (Israel) Limited Partnership Method and apparatus for authentication of a three-dimensional object
CN111881844B (zh) * 2020-07-30 2021-05-07 北京嘀嘀无限科技发展有限公司 一种判断图像真实性的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434163A2 (en) * 2002-12-26 2004-06-30 Kabushiki Kaisha Toshiba Apparatus and method for acquisition, validation and verification of biometric features
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
CN101639895A (zh) * 2009-08-14 2010-02-03 浙江工业大学 基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法
WO2010151029A2 (ko) * 2009-06-22 2010-12-29 주식회사 에스원 얼굴의 돌출부 인식 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19847261A1 (de) 1998-10-05 2000-04-06 Dcs Dialog Communication Syste Verfahren und System zur Personenerkennung mit modellbasierter Gesichtsfindung
JP3888676B2 (ja) * 2002-02-25 2007-03-07 株式会社東芝 ３次元物体認識装置及びその方法
KR100580630B1 (ko) * 2003-11-19 2006-05-16 삼성전자주식회사 적외선을 이용한 사람 식별 장치 및 방법
US8131029B2 (en) * 2005-09-20 2012-03-06 Brightex Bio-Photonics Llc Systems and methods for automatic skin-based identification of people using digital images
GB2435360B (en) * 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
CN100514353C (zh) 2007-11-26 2009-07-15 清华大学 一种基于人脸生理性运动的活体检测方法及系统
KR20100073191A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 거리 정보를 이용한 위조 얼굴 검출 방법 및 장치
JP5106459B2 (ja) * 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
US20110265110A1 (en) * 2010-04-23 2011-10-27 Weinblatt Lee S Audience Monitoring System Using Facial Recognition
US9082235B2 (en) * 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1434163A2 (en) * 2002-12-26 2004-06-30 Kabushiki Kaisha Toshiba Apparatus and method for acquisition, validation and verification of biometric features
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
WO2010151029A2 (ko) * 2009-06-22 2010-12-29 주식회사 에스원 얼굴의 돌출부 인식 방법 및 장치
CN101639895A (zh) * 2009-08-14 2010-02-03 浙江工业大学 基于Similarity-Pictorial结构模型的计算机视觉图像特征提取和匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Anti-spoofing system for RFID access control combining with face recognition;BING-ZHONG JING;《Proceedings of Ninth International Conference on Machine Learning and Cybernetics》;20100920;第699-700页 *

Also Published As

Publication number Publication date
EP2584493A3 (de) 2013-08-21
CN103294989A (zh) 2013-09-11
EP2584493A2 (de) 2013-04-24
DE102011054658A1 (de) 2013-04-25
EP2584493B1 (de) 2019-06-19
US20130101182A1 (en) 2013-04-25
US8977010B2 (en) 2015-03-10

Similar Documents

Publication Publication Date Title
CN103294989B (zh) 生物数据采集过程中区别真实脸部和二维脸部图像的方法
Sheikh et al. Exploring the space of a human action
Chingovska et al. The 2nd competition on counter measures to 2D face spoofing attacks
Holte et al. A local 3-D motion descriptor for multi-view human action recognition from 4-D spatio-temporal interest points
Komulainen et al. Face spoofing detection using dynamic texture
US20180034852A1 (en) Anti-spoofing system and methods useful in conjunction therewith
Malassiotis et al. Personal authentication using 3-D finger geometry
Kähm et al. 2d face liveness detection: An overview
US11625464B2 (en) Biometric user authentication
Romero et al. FlowCap: 2D human pose from optical flow
Wildenauer et al. Vanishing point detection in complex man-made worlds
Wang et al. A modular approach to the analysis and evaluation of particle filters for figure tracking
Zhang et al. Personal authentication using hand vein and knuckle shape point cloud matching
Lim et al. Estimation of the epipole using optical flow at antipodal points
Erdogmus et al. Spoofing attacks to 2D face recognition systems with 3D masks
CN113632137A (zh) 用于基于二维面部图像的两个或更多个输入自适应地构建三维面部模型的系统和方法
US20220277579A1 (en) Clustered dynamic graph convolutional neural network (cnn) for biometric three-dimensional (3d) hand recognition
Kim et al. Directional pedestrian counting with a hybrid map-based model
Alassafi et al. A novel deep learning architecture with image diffusion for robust face presentation attack detection
Raja et al. Robust face presentation attack detection on smartphones: An approach based on variable focus
Şenol et al. Signature verification using conic section function neural network
Perera et al. A simple and practical solution to the rigid body motion segmentation problem using a RGB-D camera
Grinchuk et al. Training a multimodal neural network to determine the authenticity of images
Betta et al. Metrological characterization of 3D biometric face recognition systems in actual operating conditions
Araujo et al. Integration of eye detection and tracking in videoconference sequences using temporal consistency and geometrical constraints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant