CN102906786A - 脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序 - Google Patents

脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序 Download PDF

Info

Publication number
CN102906786A
CN102906786A CN2011800254939A CN201180025493A CN102906786A CN 102906786 A CN102906786 A CN 102906786A CN 2011800254939 A CN2011800254939 A CN 2011800254939A CN 201180025493 A CN201180025493 A CN 201180025493A CN 102906786 A CN102906786 A CN 102906786A
Authority
CN
China
Prior art keywords
feature points
facial feature
face
point
offing normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800254939A
Other languages
English (en)
Other versions
CN102906786B (zh
Inventor
森下雄介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102906786A publication Critical patent/CN102906786A/zh
Application granted granted Critical
Publication of CN102906786B publication Critical patent/CN102906786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

脸部特征点可靠性产生装置根据脸部图像产生每个脸部特征点的可靠性图。初始脸部特征点位置计算装置基于可靠性图计算脸部图像中每个脸部特征点的位置。离位脸部特征点判断装置判断每个脸部特征点是否是不满足规定条件的离位脸部特征点。脸部特征点差计算装置计算除了被判断为离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置和脸部特征点的对应点的位置之间的差。脸部特征点位置校正装置基于离位脸部特征点判断装置的判断结果以及脸部特征点差计算装置的计算结果，来校正确定的脸部特征点位置。

Description

脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序
技术领域
本发明涉及一种脸部特征点位置校正设备、一种脸部特征点位置校正方法以及一种脸部特征点位置校正程序，用于校正从图像检测到的脸部器官(眼睛、鼻子等)的特征点的位置。
背景技术
对于以高精度执行脸部定向估计、脸部认证、脸部表情等而言，用于从拍摄了脸部的图像检测诸如眼睛和鼻子等脸部器官的特征点(脸部特征点)的位置(脸部特征点位置)并且输出检测到的脸部特征点位置的技术是重要的。关于对脸部特征点位置的检测，已经提出了各种方法。
例如，描述了一种用于检测脸部特征点并输出脸部特征点位置的技术的非专利文献1公开了一种用于基于统计脸部形状模型来校正检测到的脸部特征点位置的方法。在该方法中，首先通过对脸部区域应用脸部特征点检测器(已经针对每个脸部特征点构造了每个检测器)来检测脸部特征点，并且针对每个检测到的脸部特征点产生对脸部特征点的适合性加以指示的可靠性图。
随后，对于每个脸部特征点，基于规定的评价函数搜索具有高可靠性并且最小化与统计脸部形状模型所指示的位置的差的脸部特征点位置。在该过程中，对脸部特征点位置分配惩罚(具体地，不分配权重)，这些脸部特征点远离统计脸部形状模型所指示的对应位置。因此，即使当部分或所有脸部特征点被脸部图像中的某东西(遮挡)隐藏(阻挡)时，可以获取看似可信的脸部特征点位置。
描述了一种用于检测脸部特征点并且输出脸部特征点位置的技术的专利文献1公开了一种用于基于几何布置(位置关系)来校正检测到的脸部特征点位置的方法。在该方法中，首先基于输入的可靠性图在预设搜索区域内搜索脸部图像中的脸部特征点，作为搜索的结果，通过输入的可靠性图来获取初始脸部特征点位置。
通过执行采用本征空间的统计几何约束过程，基于初始脸部特征点的位置关系来校正通过搜索而获取的初始脸部特征点位置。随后，基于校正的初始脸部特征点位置预设搜索区域，并且在预设的搜索区域内再次执行针对脸部特征点位置的搜索。最后，通过判断初始脸部特征点位置的位置可可靠性以及作为第二次搜索结果的脸部特征点位置的位置可靠性来获取看似可信的脸部特征点位置。
现有技术文献
专利文献
专利文献1：JP-A-2009-211177
非专利文献1：D.Cristinacce和T.F.Cootes，″A Comparison ofShape Constrained Facial Feature Detectors″，in 6th InternationalConference on Automatic Face and Gesture Recognition 2004，Korea，pp.357-380。
发明内容
技术问题
在非专利文献1中描述的方法中，当由于拍摄脸部图像时的一些因素(照明条件的变化、遮挡等)针对一个或一些脸部特征点产生了错误的可靠性图时，通过规定的评价函数对这样的脸部特征点的位置分配惩罚，并且将这样的脸部特征点位置校正到与根据脸部形状模型计算的平均位置接近的位置。然而，由于执行利用规定的评价函数的计算(还包括这种脸部特征点的可靠性)。因此，存在移动其他脸部特征点的位置受错误可靠性图影响的问题。
同时，在专利文献1中描述的方法中，当关于一个或多个脸部特征点输入具有低可靠性的信息时，基于几何布置(位置关系)适当地校正这样的脸部特征点的位置，只要已经正确地确定了其他脸部特征点位置。然而，如果由于脸部检测等错误在对脸部区域的位置、尺寸和屏幕上旋转的归一化中出现另一失败，则脸部特征点位置整体上偏离本征空间所表示的标准脸部形状。在这种情况下，不能判断哪些脸部特征点位置偏离标准脸部形状。因此，不能适当地计算几何布置(位置关系)，并且不能正确地确定脸部特征点位置。
因此，本发明的主要目的是提供一种脸部特征点位置校正设备、一种脸部特征点位置校正方法以及一种脸部特征点位置校正程序，使得能够即使在关于一个或多个脸部特征点输入具有低可靠性的信息时也能够输出高精度的脸部特征点位置。
解决问题的手段
根据本发明的脸部特征点位置校正设备包括：脸部特征点可靠性产生装置，针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；初始脸部特征点位置计算装置，基于所述脸部特征点可靠性产生装置所产生的所述可靠性图，计算脸部被拍摄的图像中脸部特征点的位置；离位脸部特征点判断装置，判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于所述初始脸部特征点位置计算装置所计算的脸部特征点的位置以及基于统计脸部形状模型中与脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；脸部特征点差计算装置，根据规定的评价函数，计算除了被所述离位脸部特征点判断装置判断为所述离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差；以及脸部特征点位置校正装置，基于所述离位脸部特征点判断装置的判断结果以及所述脸部特征点差计算装置的计算结果，来校正确定的脸部特征点位置。
根据本发明的脸部特征点位置校正方法包括：针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；
基于产生的所述可靠性图，计算所述脸部被拍摄的图像中所述脸部特征点的位置；判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于计算的所述脸部特征点的位置以及统计脸部形状模型中与脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；根据规定的评价函数，计算除了被判断为所述离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差；并且基于所述每个脸部特征点是否是所述离位脸部特征点的判断结果以及所述每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差的计算结果，来校正确定的脸部特征点位置。
根据本发明的脸部特征点位置校正程序使计算机执行以下操作：脸部特征点可靠性产生过程，针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；初始脸部特征点位置计算过程，基于所述脸部特征点可靠性产生过程所产生的所述可靠性图，计算脸部被拍摄的图像中所述脸部特征点的位置；离位脸部特征点判断过程，判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于所述初始脸部特征点位置计算过程所计算的脸部特征点的位置以及统计脸部形状模型中与脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；脸部特征点差计算过程，根据规定的评价函数，计算除了被所述离位脸部特征点判断过程判断为离位脸部特征点的每个脸部特征点的位置和所述与脸部特征点相对应的对应点的位置之间的差；并且脸部特征点位置校正过程，基于所述离位脸部特征点判断过程的判断结果以及所述脸部特征点差计算过程的计算结果，来校正确定的脸部特征点位置。
本发明的有利效果
根据本发明，即使当关于一个或多个脸部特征点输入具有低可靠性的信息时，可以通过校正脸部特征点的位置来输出高精度脸部特征点位置。
附图说明
[图1]示出了根据本发明示例性实施例的脸部特征点位置校正设备的配置示例的框图。
[图2]是示出了示例性实施例的脸部特征点位置校正设备的操作的流程图。
[图3]是示出了脸部图像输入装置输入的脸部图像(拍摄了脸部的图像)的示例的说明图。
[图4]是示出了期望在脸部图像中检测到脸部特征点的说明图。
[图5]是示出了针对右眼瞳孔中心的可靠性图的示例的说明图。
[图6]是指示了最大可靠性位置(使可靠性最大化的位置)的说明图，其中可靠性图中的X标记围绕右眼的瞳孔中心。
[图7]是示出了初始脸部特征点位置计算装置所计算的初始脸部特征点的位置的说明图。
[图8]是示出了随机选择的两个脸部特征点的示例的说明图。
[图9]是示出了离位脸部特征点判断装置的判断结果的示例的说明图。
[图10]是示出了脸部特征点位置校正装置执行的对偏离脸部形状模型的脸部特征点的位置校正结果的示例的说明图。
[图11]是示出了本发明的概要的框图。
具体实施方式
现在参照附图，详细给出对根据本发明的脸部特征点位置校正设备的示例性实施例的描述。图1示出了根据本发明示例性实施例的脸部特征点位置校正设备的配置示例的框图。
如图1所示，根据本发明的脸部特征点位置校正设备1包括数据处理设备100和存储设备200。数据处理设备100包括脸部图像输入装置110、脸部特征点可靠性产生装置120、初始脸部特征点位置计算装置130、离位脸部特征点判断装置140、脸部特征点差计算装置150和脸部特征点位置校正装置160。存储设备200包括脸部形状模型存储装置210。
脸部图像输入装置110输入脸部被拍摄的图像(脸部图像)。根据脸部图像输入装置110输入的脸部图像，脸部特征点可靠性产生装置120针对每个脸部特征点产生对脸部特征点(眼睛、鼻子等)的特征点的适合性加以指示的可靠性图。初始脸部特征点位置计算装置130基于脸部特征点可靠性产生装置120产生的可靠性图，来计算脸部特征点位置(脸部特征点的位置)。下文中，初始脸部特征点位置计算装置130所计算的脸部特征点位置被称作“初始脸部特征点位置”。
基于初始脸部特征点位置计算装置130所计算的初始脸部特征点位置，离位脸部特征点判断装置140判断每个初始脸部特征点位置处的每个脸部特征点是否是位于偏离(离开)脸部形状模型存储装置210中存储的统计脸部形状模型的位置的离位脸部特征点。脸部特征点差计算装置150根据规定的评价函数，计算除了被离位脸部特征点判断装置140判断为离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置与统计脸部形状模型中对应的脸部特征点(对应点)的位置之间的差。基于离位脸部特征点判断装置140的判断结果和脸部特征点差计算装置150的计算结果，脸部特征点位置校正装置160校正与(脸部形状模型存储装置210中存储的统计脸部形状模型中)对应的脸部特征点的位置的位置误差较大的脸部特征点的位置。
接着，以下参照附图描述脸部特征点位置校正设备1的操作。图2是示出了示例性实施例的脸部特征点位置校正设备的操作的流程图。
首先，脸部图像输入装置110输入脸部被拍摄的图像(脸部图像)(步骤S111)。随后，根据步骤S111中输入的脸部图像，脸部特征点可靠性产生装置120对脸部特征点(眼睛、鼻子等)的特征点的适合性加以指示的可靠性图(步骤S112)。初始脸部特征点位置计算装置130基于步骤S112中产生的可靠性图，来计算初始脸部特征点位置(步骤S113)。
随后，基于步骤S113中计算的初始脸部特征点位置，离位脸部特征点判断装置140判断每个初始脸部特征点位置处的每个脸部特征点是否是离位脸部特征点(位于偏离(离开)脸部形状模型存储装置210中存储的统计脸部形状模型的位置)(步骤S114)。脸部特征点差计算装置150根据规定的评价函数，计算除了被离位脸部特征点判断装置140判断为离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置与统计脸部形状模型中对应的脸部特征点(对应点)的位置之间的差(步骤S115)。随后，基于步骤S114中的判断结果步骤S115中的计算结果，脸部特征点位置校正装置160校正与(脸部形状模型存储装置210中存储的统计脸部形状模型中)对应的脸部特征点的位置的位置误差较大的脸部特征点的位置(步骤S116)。
根据该示例性实施例，根据规定的评价函数，通过以下操作来校正脸部特征点的位置：从自脸部图像中检测到的脸部特征点中排除位于偏离(离开)统计脸部形状模型中对应脸部特征点位置的位置处的脸部特征点；并且根据规定的评价函数，来计算每个(其余)脸部特征点与统计脸部形状模型中每个对应脸部特征点之间的位置差(误差)。因此，可以输出高精度的脸部特征点位置。
<示例>
接着，使用一些特定示例详细描述根据本发明的示例性实施例的配置和操作。在图1的根据本发明的脸部特征点位置校正设备1中，存储设备200例如由半导体存储器或硬盘驱动器来实现。脸部图像输入装置110例如由数字摄像机来实现。脸部图像输入装置110、脸部特征点可靠性产生装置120、初始脸部特征点位置计算装置130、离位脸部特征点判断装置140、脸部特征点差计算装置150和脸部特征点位置校正装置160例如由根据程序控制执行过程的CPU(中央处理单元)来实现。脸部形状模型存储装置210例如由半导体存储器或硬盘驱动器来实现。
脸部图像输入装置110输入脸部被拍摄的图像。图3是示出了脸部图像输入装置110输入的脸部图像(拍摄了脸部的图像)的示例的说明图。脸部图像输入装置110输入的图像不仅可以包括脸部而且还包括背景。脸部图像输入装置110还可以被配置为预先执行脸部检测，从脸部图像中提取脸部区域(脸部占据的区域)，并且向脸部特征点位置校正设备1输入提取的脸部区域。
根据脸部图像输入装置110输入的脸部图像，脸部特征点可靠性产生装置120针对每个脸部特征点产生可靠性图(指示脸部特征点(眼睛、鼻子等)的特征点的适合性)。图4是示出了期望在脸部图像中检测到脸部特征点的说明图。在图4的示例中，期望被检测到的脸部特征点由X标记指示。在该示例中，如图4所示总共输出了14个X标记(每个(左、右)眼眉两端，每只(左、右)眼睛的中心和两端、鼻子的下部、嘴的中心和两端)。在这种情况下，脸部特征点可靠性产生装置120产生与这些点相对应的14个可靠性图。迄今为止所提出的各种技术可以用于产生对脸部特征点的特征点的适合性加以指示的可靠性图。例如，类似于非专利文献1的技术，可以通过对数据处理设备100输入的整个图像区域应用针对每个脸部特征点的检测器来产生可靠性图，每个脸部特征点通过采用基于Viola和Jones提出的Haar类似特征的AdaBoost来构造。
图5是示出了针对右眼瞳孔中心的可靠性图的示例的说明图。在图5中示出的示例中，利用可靠性越大则越暗来指示每个点(位置)，可靠性表示脸部特征点的适合性。图5的示例指示，不仅围绕右眼瞳孔中心的可靠性较高，而且围绕左眼瞳孔中心、右眼眉以及鼻子下区域的可靠性较高。
初始脸部特征点位置计算装置130基于脸部特征点可靠性产生装置120产生的可靠性图，来计算脸部特征点的位置(脸部特征点的位置)。在期望检测图4中所示的14个脸部特征点的位置的情况下，计算14个初始脸部特征点的位置。例如，初始脸部特征点位置计算装置130确定使脸部特征点可靠性产生装置120产生的每个可靠性图中的可靠性最大化的位置(可靠性最高的位置)作为每个初始特征点的位置。除了该使用可靠性图中的最大可靠性位置的方法作为初始脸部特征点的位置以外，初始脸部特征点位置计算装置130还可以使用使脸部特征点可靠性与脸部特征点位置的先验分布的乘积最大化的位置作为初始脸部特征点的位置。
图6是指示了最大可靠性位置(使可靠性最大化的位置)的说明图，其中可靠性图中的X标记围绕右眼的瞳孔中心。图6指示，不仅围绕右眼瞳孔中心的可靠性较高，而且围绕左眼瞳孔中心、右眼眉以及鼻子下区域的可靠性较高。然而，图6还指示，已经将右眼瞳孔中心(用X标记指示的位置)选作初始脸部特征点的位置，这是由于可靠性在右眼瞳孔中心处最高。
基于初始脸部特征点位置计算装置130所计算的初始脸部特征点位置，离位脸部特征点判断装置140判断每个初始脸部特征点位置处的每个脸部特征点是否是位于偏离(离开)脸部形状模型存储装置210中存储的统计脸部形状模型的位置的离位脸部特征点。在脸部形状模型存储装置210中，已经将图4中示出的14个脸部特征点的坐标值预存储为统计脸部形状模型。
附带地，还可以将14个脸部特征点的坐标值确定为大量脸部图像(包括个体差异以及脸部表情和脸部方向的变化)中的脸部特征点坐标值的平均。脸部形状模型存储装置210还可以预存储通过对大量脸部图像(包括各种变化)中的脸部特征点坐标值应用k-means方法而获取坐标值集合作为脸部形状模型。例如可以使用鲁棒的估计技术来进行对每个脸部特征点是否是离位脸部特征点(位于偏离(离开)与统计脸部形状模型的位置)的判断。
这里参照附图描述采用LMedS(最小中值平方)的离位脸特征点判断的方法(一种类型的鲁棒的估计技术)。图7是示出了初始脸部特征点位置计算装置130所计算的初始脸部特征点的位置的说明图。如图7所示，这里假定初始脸部特征点位置计算装置130使计算的右眼瞳孔中心、右眼内角以及嘴右端的初始脸部特征点位置作为由于拍摄脸部图像时的一些因素(例如，照明条件的变化)极大地偏离(离开)脸部图像(脸部被拍摄的图像)中对应位置的位置。
离位脸部特征点判断装置140首先从图4中示出的14个脸部特征点中随机选择两个脸部特征点。图8是示出了随机选择的两个脸部特征点的示例的说明图。图8(a)的示例指示选择了右眼外角的脸部特征点以及嘴左端的脸部特征点。
通过对离位脸部特征点判断装置140选择的每个脸部特征点分配字符“a”或“b”来给出以下详细描述。在输入图像中，将与两个随机选择的脸部特征点相对应的初始脸部特征点的坐标值集合定义为(ta，tb)。每个符号ta，tb表示对输入图像中的坐标值加以表示的二维向量。此外，在脸部形状模型存储装置210中存储的统计脸部形状模型中，将与离位脸部特征点判断装置140选择的脸部特征点相对应的两个脸部特征点(在该示例中，在右眼外角的点以及在嘴左端的点)的坐标值集合(即，在右眼外角的点以及在嘴左端的点的坐标值集合)定义为(ka，kb)，如图8(b)所示。每个符号ka，kb表示对脸部形状模型中坐标值加以表示的二维向量。
由于针对脸部形状模型中脸部特征点的坐标系以及针对初始脸部特征点的坐标系彼此不同，因此有必要将前者坐标系中的坐标值与后者坐标系中的坐标值彼此相关联。因此，离位脸部特征点判断装置140确定从初始脸部特征点的坐标值集合(ta，tb)到脸部形状模型中坐标值集合(ka，kb)的坐标变换p。坐标变换p是四维向量，包括沿着x轴方向的平移分量、沿着y轴方向的平移分量、沿着屏幕上方向的旋转分量以及缩放分量。随后，离位脸部特征点判断装置140计算使用坐标变换p变换之后的其余12个初始脸部特征点的坐标值和脸部形状模型中与12个初始脸部特征点相对应的12个脸部特征点之间的平方误差，并然后根据以下表达式(1)来确定12个平方误差的中值：
med j &NotEqual; a , b | | p ( t j ) - k j | | …式(1)
以上表达式(1)中的符号“med”表示用于计算中值的函数。离位脸部特征点判断装置140多次执行以上序列(随机选择两个脸部特征点、确定坐标变换p、以及计算坐标值的平方误差)。然后，离位脸部特征点判断装置140保持使平方误差的中值最小化的坐标变换p作为坐标变换p’。最后，离位脸部特征点判断装置140判断每个脸部特征点是否是否离位脸部特征点。具体地，如果通过坐标p’变换之后的初始脸部特征点的坐标值与脸部形状模型中的坐标值之间的平方误差大于规定阈值，则判断脸部特征点是离位脸部特征点。
图9是示出了离位脸部特征点判断装置140的判断结果的示例的说明图。在图9中，被离位脸部特征点判断装置140判断为离位脸部特征点的每个脸部特征点用被圆圈包围的X标记来指示。图9指示，已经将针对右眼瞳孔中心、右眼内角以及嘴右端的初始脸部特征点判断为离位脸部特征点。
附带地，离位脸部特征点判断装置140随机选择用于确定坐标变换p的脸部特征点的数目也可以是三个或更多个。例如，这里通过向离位脸部特征点判断装置140选定的每个脸部特征点分配字符“a”、“b”或“c”来简要说明图4中示出的离位脸部特征点判断装置140从14个脸部特征点中随机选择3个脸部特征点的情况。在输入图像中，将与3个随机选定的脸部特征点相对应的3个初始脸部特征点的坐标值集合定义为(ta，tb，tc)。此外，在脸部形状模型存储装置210中存储的统计脸部形状模型中，将与离位脸部特征点判断装置140选定的脸部特征点相对应的3个脸部特征点的坐标值集合定义为(ka，kb，kc)。
离位脸部特征点判断装置140确定坐标变换p，该坐标变换p最小化与从初始脸部特征点的坐标值集合(ta，tb，tc)到脸部形状模型中的坐标值集合(ka，kb，kc)的坐标变换中的在前坐标值相对应的初始脸部特征点的坐标值与脸部形状模型中的其他坐标值(其余脸部特征点的坐标值)之间的平方误差。其后，类似于随机选定的脸部特征点的数目是2的情况，离位脸部特征点判断装置140判定每个脸部特征点是否是离位脸部特征点。
脸部特征点差计算装置150根据规定的评价函数，计算除了被离位脸部特征点判断装置140判断为离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置与统计脸部形状模型中对应的脸部特征点的位置之间的差。
例如，脸部特征点差计算装置150通过最小平方方法来确定除了被离位脸部特征点判断装置140判断为离位脸部特征点的那些初始脸部特征点以外的初始脸部特征点的坐标值到脸部形状模型中与初始脸部特征点相对应的脸部特征点的坐标值的坐标变换p。其后，脸部特征点差计算装置150可以使用坐标变换p变换之后的每个初始脸部特征点的坐标值与脸部形状模型中坐标值之间的平方误差作为每个脸部特征点(除了被判定为离位脸部特征点的那些脸部特征点以外)的位置与统计脸部形状模型中脸部特征点的位置之间的差。脸部特征点差计算装置150还可以用坐标变换p’(由离位脸部特征点判断装置140来确定)来代替以上坐标变换p。除了每个初始脸部特征点的变换后坐标值与脸部形状模型中的坐标值之间的平方误差以外，脸部特征点差计算装置150例如还可以在每个初始脸部特征点的坐标处的脸部特征点可靠性。
在使用脸部特征点可靠性的情况下，例如，脸部特征点差计算装置150可以计算脸部特征点可靠性的倒数(reciprocal number)和初始脸部特征点的变换后坐标值与脸部形状模型中的坐标值之间的平方误差的乘积，并且输出该乘积作为初始脸部特征点的变换后坐标值与脸部形状模型中的坐标值之间的误差。
基于离位脸部特征点判断装置140的判断结果以及脸部特征点差计算装置150的计算结果，脸部特征点位置校正装置160校正与统计脸部形状模型的误差较大的脸部特征点的位置。经过脸部特征点位置校正装置160位置校正的脸部特征点是那些被离位脸部特征点判断装置140判断为离位脸部特征点的脸部特征点，以及脸部特征点差计算装置150所计算位置误差(与脸部形状模型中的位置的误差)是规定阈值或者更大的那些脸部特征点。
例如，脸部特征点位置校正装置160可以使用脸部形状模型存储装置210中存储的用于校正脸部特征点的脸部形状模型。具体地，脸部特征点位置校正装置160可以通过使用脸部特征点差计算装置150确定的坐标变换p的逆变换p～来变换脸部模型中对应的脸部特征点(对应于校正目标脸部特征点)的坐标值，从而确定偏离脸部形状模型的脸部特征点(作为校正目标的脸部特征点)的校正后坐标值。
图10是示出了脸部特征点位置校正装置160执行的对偏离脸部形状模型的脸部特征点的位置校正结果的示例的说明图。图10指示，已经将右眼瞳孔中心、右眼的内角以及嘴右端的脸部特征点(已经被判断为图9中的离位脸部特征点)的位置校正到适当位置。
根据该示例性实施例，可以通过对被判断为位于与统计脸部形状模型中对应的脸部特征点的位置偏离的位置的脸部特征点的位置校正，将高精度的脸部特征点位置输出到适当位置。
接着，说明本发明的概要。图11是示出了本发明的概要的框图。如图11所示，根据本发明的脸部特征点位置校正设备300包括脸部特征点可靠性产生装置301、初始脸部特征点位置计算装置302、离位脸部特征点判断装置303、脸部特征点差计算装置304以及脸部特征点位置校正装置305。
脸部特征点可靠性产生装置301针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对脸部特征点的特征点的适合性加以指示的可靠性图，该脸部特征点指示脸上器官的特征点。初始脸部特征点位置计算装置302基于脸部特征点可靠性产生装置301所产生的可靠性图，计算脸部被拍摄的图像中脸部特征点的位置。离位脸部特征点判断装置303判断每个脸部特征点是否是离位脸部特征点，作为不满足基于初始脸部特征点位置计算装置302所计算的脸部特征点的位置以及统计脸部形状模型中与脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点。
脸部特征点差计算装置304根据规定的评价函数，计算除了被离位脸部特征点判断装置303判断为离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置和与脸部特征点相对应的对应点的位置之间的差。脸部特征点位置校正装置305基于离位脸部特征点判断装置303的判断结果以及脸部特征点差计算装置304的计算结果，来校正确定的脸部特征点位置。
这样的配置使得能够即使由于拍摄脸部图像是的一些因素(照明条件变化、遮挡等)输入了一个或多个脸部特征点的可靠性较低的图像(例如，不清楚的图像)时，也能够输出高精度的脸部特征点位置。
在以上示例性实施例中还公开了以下脸部特征点位置校正设备(1)至(4)：
(1)脸部特征点位置校正设备，其中，离位脸部特征点判断装置303使用鲁棒的估计技术来判断每个脸部特征点是否是离位脸部特征点。
(2)脸部特征点位置校正设备，其中，离位脸部特征点判断装置303重复以下操作：
从脸部特征点中随机选择一些脸部特征点；
将对选择操作基于向量没有选择的脸部特征的位置加以表示的坐标值变换成对脸部特征点的对应点的位置加以表示的坐标值，所述向量用于变换对选定的脸部特征点的位置加以表示的坐标值；并且
计算变换后坐标值与对脸部特征点的对应点的位置加以表示的坐标值之间的平方差的中值，并且
如果对脸部特征点的对应点的位置加以表示的坐标值与基于特定向量变换的脸部特征点的坐标值之间的平方误差大于规定阈值，则判断脸部特征点是离位脸部特征点，所述特定向量是用于重复操作中坐标值变换的向量中使中值最小化的向量。
(3)脸部特征点位置校正设备包括：脸部形状模型存储装置，存储与统计脸部形状模型有关的信息。
(4)脸部特征点位置校正设备，其中，脸部特征点位置校正装置305对被离位脸部特征点判断装置303判断为离位脸部特征点的脸部特征点的位置以及作为脸部特征点差计算装置304的计算结果差是预设阈值或更大的脸部特征点的位置执行校正。
尽管以上参照示例性实施例和示例描述了本发明，本发明不限于特定示意性示例性实施例和示例。在本发明范围内可以对本发明的配置和细节进行本领域技术人员可理解的各种修改。
本申请要求2010年5月26日递交的日本专利申请No.2010-121017的优先权，其全部内容通过引用合并于此。
工业适用性
本发明广泛适用于脸部方向估计和脸部认证系统、脸部表情识别等精度改进。
附图标记列表
1，300 脸部特征点位置校正设备
100 数据处理设备
110 脸部图像输入装置
120，301 脸部特征点可靠性产生装置
130，302 初始脸部特征点位置计算装置
140，303 离位脸部特征点判断装置
150，304 脸部特征点差计算装置
160，305 脸部特征点位置校正装置
200 存储设备
210 脸部形状模型存储装置

Claims (7)

1.一种脸部特征点位置校正设备，包括：
脸部特征点可靠性产生装置，针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；
初始脸部特征点位置计算装置，基于所述脸部特征点可靠性产生装置所产生的所述可靠性图，计算所述脸部被拍摄的图像中所述脸部特征点的位置；
离位脸部特征点判断装置，判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于所述初始脸部特征点位置计算装置所计算的脸部特征点的位置以及基于统计脸部形状模型中与所述脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；
脸部特征点差计算装置，根据规定的评价函数，计算除了被所述离位脸部特征点判断装置判断为所述离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置和与所述脸部特征点相对应的对应点的位置之间的差；以及
脸部特征点位置校正装置，基于所述离位脸部特征点判断装置的判断结果以及所述脸部特征点差计算装置的计算结果，来校正确定的脸部特征点位置。
2.根据权利要求1所述的脸部特征点位置校正设备，
其中，所述离位脸部特征点判断装置使用鲁棒的估计技术来判断每个脸部特征点是否是所述离位脸部特征点。
3.根据权利要求2所述的脸部特征点位置校正设备，
其中，所述离位脸部特征点判断装置重复以下操作：
从所述脸部特征点中随机选择一些脸部特征点的选择操作；
基于向量来变换对所述选择操作没有选择的脸部特征的位置加以表示的坐标值的变换操作，所述向量用于将对选定的脸部特征点的位置加以表示的坐标值变换成对脸部特征点的对应点的位置加以表示的坐标值；以及
计算变换后坐标值与对脸部特征点的对应点的位置加以表示的坐标值之间的平方差的中值的计算操作，并且
如果所述对脸部特征点的对应点的位置加以表示的坐标值与基于特定向量来变换的脸部特征点的坐标值之间的误差大于规定阈值，则判断所述脸部特征点是所述离位脸部特征点，所述特定向量在所述重复操作中用于坐标值变换的所述向量中使所述中值最小化的向量。
4.根据权利要求1至3中任一项所述的脸部特征点位置校正设备，包括：
脸部形状模型存储装置，存储与所述统计脸部形状模型有关的信息。
5.根据权利要求1至4中任一项所述的脸部特征点位置校正设备，
其中，所述脸部特征点位置校正装置对被所述离位脸部特征点判断装置判断为所述离位脸部特征点的脸部特征点的位置以及作为所述脸部特征点差计算装置的计算结果差等于或大于预设阈值的脸部特征点的位置执行校正。
6.一种脸部特征点位置校正方法，包括：
针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；
基于产生的所述可靠性图，计算所述脸部被拍摄的图像中所述脸部特征点的位置；
判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于计算的所述脸部特征点的位置以及基于统计脸部形状模型中与所述脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；
根据规定的评价函数，计算除了被判断为所述离位脸部特征点的那些脸部特征点以外的每个脸部特征点的位置和与所述脸部特征点相对应的对应点的位置之间的差；并且
基于所述每个脸部特征点是否是所述离位脸部特征点的判断结果以及所述每个脸部特征点的位置和与所述脸部特征点相对应的对应点的位置之间的差的计算结果，来校正确定的脸部特征点位置。
7.一种脸部特征点位置校正程序，使计算机执行以下操作：
脸部特征点可靠性产生过程，针对来自脸部被拍摄的输入图像的每个脸部特征点，产生对所述脸部特征点的特征点的适合性加以指示的可靠性图，所述脸部特征点指示脸上器官的特征点；
初始脸部特征点位置计算过程，基于所述脸部特征点可靠性产生过程所产生的所述可靠性图，计算脸部被拍摄的图像中所述脸部特征点的位置；
离位脸部特征点判断过程，判断所述每个脸部特征点是否是离位脸部特征点，作为不满足基于所述初始脸部特征点位置计算过程所计算的脸部特征点的位置以及基于统计脸部形状模型中与所述脸部特征点相对应的对应点的位置指定的规定条件的脸部特征点；
脸部特征点差计算过程，根据规定的评价函数，计算除了被所述离位脸部特征点判断过程判断为离位脸部特征点的每个脸部特征点的位置和与所述脸部特征点相对应的对应点的位置之间的差；并且
脸部特征点位置校正过程，基于所述离位脸部特征点判断过程的判断结果以及所述脸部特征点差计算过程的计算结果，来校正确定的脸部特征点位置。
CN201180025493.9A 2010-05-26 2011-05-18 脸部特征点位置校正设备和脸部特征点位置校正方法 Active CN102906786B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010121017 2010-05-26
JP2010-121017 2010-05-26
PCT/JP2011/002766 WO2011148596A1 (ja) 2010-05-26 2011-05-18 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム

Publications (2)

Publication Number Publication Date
CN102906786A true CN102906786A (zh) 2013-01-30
CN102906786B CN102906786B (zh) 2015-02-18

Family

ID=45003597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180025493.9A Active CN102906786B (zh) 2010-05-26 2011-05-18 脸部特征点位置校正设备和脸部特征点位置校正方法

Country Status (6)

Country Link
US (1) US8737697B2 (zh)
EP (1) EP2579210A4 (zh)
JP (1) JP5772821B2 (zh)
KR (1) KR101365789B1 (zh)
CN (1) CN102906786B (zh)
WO (1) WO2011148596A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116403A (zh) * 2013-02-16 2013-05-22 广东欧珀移动通信有限公司 一种屏幕切换方法及移动智能终端
CN105868767A (zh) * 2015-01-19 2016-08-17 阿里巴巴集团控股有限公司 人脸特征点定位方法和装置
CN109558784A (zh) * 2017-09-27 2019-04-02 卡西欧计算机株式会社 指甲轮廓检测装置、指甲轮廓检测方法以及记录介质
CN109872379A (zh) * 2017-12-05 2019-06-11 富士通株式会社 数据处理装置和方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001144A1 (en) * 2011-06-30 2013-01-03 Nokia Corporation Method and apparatus for face tracking utilizing integral gradient projections
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US8983203B2 (en) * 2011-10-14 2015-03-17 Ulsee Inc. Face-tracking method with high accuracy
JP6071002B2 (ja) * 2012-02-16 2017-02-01 日本電気株式会社 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP6026119B2 (ja) * 2012-03-19 2016-11-16 株式会社東芝 生体情報処理装置
WO2013145496A1 (ja) * 2012-03-27 2013-10-03 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP5895703B2 (ja) * 2012-05-22 2016-03-30 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
JP6261187B2 (ja) * 2013-05-21 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105893920B (zh) 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
EP3136289A1 (en) 2015-08-28 2017-03-01 Thomson Licensing Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
US9898674B2 (en) 2015-12-10 2018-02-20 International Business Machines Corporation Spoof detection for facial recognition
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6822482B2 (ja) 2016-10-31 2021-01-27 日本電気株式会社 視線推定装置、視線推定方法及びプログラム記録媒体
JP6894725B2 (ja) * 2017-03-09 2021-06-30 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
WO2019003973A1 (ja) 2017-06-26 2019-01-03 日本電気株式会社 顔認証装置、顔認証方法およびプログラム記録媒体
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US20220036581A1 (en) 2018-09-26 2022-02-03 Nec Corporation Estimation device, estimation method, and storage medium
CN110889373B (zh) * 2019-11-27 2022-04-08 中国农业银行股份有限公司 基于区块链的身份识别方法、信息保存方法及相关装置
US11587288B2 (en) * 2021-03-15 2023-02-21 Tencent America LLC Methods and systems for constructing facial position map

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1786980A (zh) * 2005-12-08 2006-06-14 上海交通大学 用二维轮廓进行人脸特征点新位置搜索的方法
US20070071289A1 (en) * 2005-09-29 2007-03-29 Kabushiki Kaisha Toshiba Feature point detection apparatus and method
CN101057257A (zh) * 2004-11-12 2007-10-17 欧姆龙株式会社 人脸特征点检测装置、特征点检测装置
JP2007299051A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 画像処理装置、方法およびプログラム
US20090116749A1 (en) * 2006-04-08 2009-05-07 The University Of Manchester Method of locating features of an object
JP2009211177A (ja) * 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
KR100816016B1 (ko) 2006-09-12 2008-03-21 인하대학교 산학협력단 이기종 지문 입력기 간 인식의 호환을 위한 테일러시리즈를 이용한 특징점 변환 방법
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
JP2010121017A (ja) 2008-11-19 2010-06-03 Dainippon Printing Co Ltd 粘着フィルム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101057257A (zh) * 2004-11-12 2007-10-17 欧姆龙株式会社 人脸特征点检测装置、特征点检测装置
US20070071289A1 (en) * 2005-09-29 2007-03-29 Kabushiki Kaisha Toshiba Feature point detection apparatus and method
CN1786980A (zh) * 2005-12-08 2006-06-14 上海交通大学 用二维轮廓进行人脸特征点新位置搜索的方法
US20090116749A1 (en) * 2006-04-08 2009-05-07 The University Of Manchester Method of locating features of an object
JP2007299051A (ja) * 2006-04-27 2007-11-15 Toshiba Corp 画像処理装置、方法およびプログラム
JP2009211177A (ja) * 2008-02-29 2009-09-17 Canon Inc 特徴点位置決定方法及び装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116403A (zh) * 2013-02-16 2013-05-22 广东欧珀移动通信有限公司 一种屏幕切换方法及移动智能终端
CN105868767A (zh) * 2015-01-19 2016-08-17 阿里巴巴集团控股有限公司 人脸特征点定位方法和装置
CN105868767B (zh) * 2015-01-19 2020-02-18 阿里巴巴集团控股有限公司 人脸特征点定位方法和装置
CN109558784A (zh) * 2017-09-27 2019-04-02 卡西欧计算机株式会社 指甲轮廓检测装置、指甲轮廓检测方法以及记录介质
CN109872379A (zh) * 2017-12-05 2019-06-11 富士通株式会社 数据处理装置和方法
CN109872379B (zh) * 2017-12-05 2022-12-02 富士通株式会社 数据处理装置和方法

Also Published As

Publication number Publication date
EP2579210A1 (en) 2013-04-10
US8737697B2 (en) 2014-05-27
US20130022277A1 (en) 2013-01-24
CN102906786B (zh) 2015-02-18
KR101365789B1 (ko) 2014-02-20
WO2011148596A1 (ja) 2011-12-01
JP5772821B2 (ja) 2015-09-02
KR20130025906A (ko) 2013-03-12
JPWO2011148596A1 (ja) 2013-07-25
EP2579210A4 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
CN102906786B (zh) 脸部特征点位置校正设备和脸部特征点位置校正方法
CN110411441B (zh) 用于多模态映射和定位的系统和方法
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
US11017210B2 (en) Image processing apparatus and method
CN102087703B (zh) 确定正面的脸部姿态的方法
US10430650B2 (en) Image processing system
US20190066333A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN102473301B (zh) 动作解析装置及动作解析方法
US9600893B2 (en) Image processing device, method, and medium for discriminating a type of input image using non-common regions
US20190370982A1 (en) Movement learning device, skill discriminating device, and skill discriminating system
JP2017036970A (ja) 情報処理装置、情報処理方法、プログラム
US10600202B2 (en) Information processing device and method, and program
CN104919492A (zh) 特征点位置检测设备、特征点位置检测方法以及特征点位置检测程序
JPWO2019229979A1 (ja) 情報処理装置、制御方法、及びプログラム
US9398208B2 (en) Imaging apparatus and imaging condition setting method and program
CN112329510A (zh) 跨域度量学习系统和方法
JP2022509564A (ja) ニューラルネットワークのアクティブトレーニングを行うシステム及び画像処理システム
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
US9773164B2 (en) Apparatus and method for recognizing human body in hybrid manner
KR20150050224A (ko) 비정상 배회 탐지 장치 및 방법
US9349106B2 (en) Boundary graph machine learning algorithm for regression and classification
Gurovich et al. Quality scores for deep regression systems
CN113016007B (zh) 估计相机相对于地面的方位的装置和方法
US20240192489A1 (en) Eye tracking system and a corresponding method
US20230011093A1 (en) Adjustment support system and adjustment support method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant