CN101533472A - 信息处理设备、方法和程序 - Google Patents

信息处理设备、方法和程序 Download PDF

Info

Publication number
CN101533472A
CN101533472A CN200910128531A CN200910128531A CN101533472A CN 101533472 A CN101533472 A CN 101533472A CN 200910128531 A CN200910128531 A CN 200910128531A CN 200910128531 A CN200910128531 A CN 200910128531A CN 101533472 A CN101533472 A CN 101533472A
Authority
CN
China
Prior art keywords
facial
face
image
parts
facial parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200910128531A
Other languages
English (en)
Inventor
大桥武史
佐部浩太郎
日台健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101533472A publication Critical patent/CN101533472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供信息处理设备、信息处理方法和相应的程序。信息处理设备包括：用于检测面部图像中面部方向的面部检测装置；用于根据面部方向生成基于面部图像中面部的预定特征的位置的统计分布的权重分布的权重分布生成装置；用于计算用于评价面部图像的每个预定区域以确定该区域是否是面部的预定特征的第一评价值的第一计算装置；和用于基于第一评价值和权重分布将预定区域识别为面部的预定特征的面部特征识别装置。

Description

信息处理设备、方法和程序
相关申请的交叉引用
本发明包括关于2008年3月14日在日本专利局提交的日本专利申请JP2008-065229的主题，将其全部内容完全包括于此并作为参考。
技术领域
本发明涉及信息处理设备、信息处理方法和信息处理程序。更具体地说，本发明涉及不论面部方向如何地允许从面部图像精确地检测面部的特征的信息处理设备、信息处理方法和信息处理程序。
背景技术
现有技术中提出了将面部的特征检测为特性点(characteristic point)的多种方法。
例如，提出的方法包括其中检测面部的四个或更多基准特性点(例如，瞳孔、鼻孔和嘴部边缘)的方法。将该检测的结果应用于表示面部的三维形状以确定待检测嘴部中点的范围(参看JP-A-2007-241579)。
提出的另一方法如下。使用具有大公差的特性点检测器试验性地确定面部的特性点。从特性点之间的位置关系确定特性点搜索范围以使用具有较小公差的另一特性点检测器确定最终特性点(参看JP-A-2008-3749)。
发明内容
根据在JP-A-2007-241579中公开的方法，当基准特性点的检测失败时，可能不合适地确定嘴部中点检测范围，且可能不精确地检测到嘴部中点。根据在JP-A-2008-3749中公开的方法，当特性点的第一确定失败时，可能未合适地确定特性点搜索范围，且可能不精确地检测到特性点。
在该情况下，需要使得可以从面部图像精确地检测面部的特征而无论面部方向如何。
根据本发明实施例的信息处理设备包括用于检测面部图像中面部方向的面部检测装置，用于根据面部方向，生成基于面部图像中面部的预定特征的位置的统计分布的权重分布的权重分布生成装置。
用于计算用于评价面部图像的每个预定区域以确定该区域是否是面部的预定特征的第一评价值的第一计算装置，和用于基于第一评价值和权重分布将该预定区域识别为面部的预定特征的面部特征识别装置。
根据本发明的另一实施例，信息处理设备可进一步包括用于通过基于权重分布对第一评价值进行加权而计算第二评价值的第二计算装置，该面部特征识别装置可基于第二评价值将该预定区域识别为面部的预定特征。
根据本发明的另一实施例，信息处理设备可进一步包括用于与面部方向相关联地存储已经预先生成的权重分布的存储装置。该权重分布生成装置可基于面部方向选择在存储装置中存储的权重分布。
根据本发明的另一实施例，信息处理设备可进一步包括用于基于权重分布设置权重值等于或大于预定值的位置的范围的范围设置装置。第一计算装置可为该范围内的面部图像的每个预定区域计算第一评价值。面部特征识别装置可基于该范围内的第一评价值将该预定区域识别为面部的预定特征。
根据本发明的另一实施例，信息处理设备可进一步包括用于与面部方向相关联地存储已经预先设置的表示该范围的范围信息的存储装置。该范围设置装置可根据面部方向选择在存储装置中存储的范围信息。
根据本发明的另一实施例，预定区域可以是以像素表示的区域。
根据本发明的另一实施例，权重分布可以是确定面部方向的面部角度的函数。
根据本发明的另一实施例，提供了一种信息处理方法，其包括步骤：检测面部图像中面部方向；根据面部方向生成基于面部图像中面部的预定特征的位置的统计分布的权重分布；计算用于评价面部图像的每个预定区域以确定该区域是否是面部的预定特征的第一评价值；和基于第一评价值和权重分布将该预定区域识别为面部的预定特征。
根据本发明的另一实施例，提供了一种用于使得计算机执行包括下面步骤的处理的程序：检测面部图像中面部方向；根据面部方向生成基于面部图像中面部的预定特征的位置的统计分布的权重分布；计算用于评价面部图像的每个预定区域以确定该区域是否是面部的预定特征的第一评价值；和基于第一评价值和权重分布将该预定区域识别为面部的预定特征。
根据本发明的实施例，检测面部图像中面部方向。生成基于面部图像中面部的预定特征的位置的统计分布的权重分布。为面部图像的每个预定区域计算评价该区域是否是面部的预定特征的第一评价值。基于第一评价值和权重分布将预定区域识别为面部的预定特征。
根据本发明的实施例，能够从面部的图像更精确地检测面部的特征而无论面部方向如何。
附图说明
图1是示出根据本发明实施例的面部部分检测设备的实施例的示例性配置的框图；
图2是解释确定面部方向的角度的图示；
图3是用于解释由如图1所示的面部部分检测设备执行的面部部分检测处理的流程图；
图4是用于解释由面部检测部件和面部图像旋转修正部件执行的处理的图示；
图5是用于解释面部部分权重映像的图示；
图6是用于解释面部部分权重映像的图示；
图7是用于解释面部部分权重映像的示例的图示；
图8是用于解释根据俯仰角和偏转角的面部部分权重映像的图示；
图9是用于解释面部部分权重映像的另一示例的图示；
图10是示出面部部分检测设备的另一示例性配置的框图；
图11是示出由如图10所示的面部部分检测设备执行的面部部分检测处理的流程图；
图12是示出面部部分检测设备的再一示例性配置的框图；
图13是示出由如图12所示的面部部分检测设备执行的面部部分检测处理的流程图；
图14是用于解释面部部分检测范围的图示；
图15是用于解释面部部分检测范围的图示；
图16是示出面部部分检测设备的又一示例性配置的框图；
图17是示出由如图16所示的面部部分检测设备执行的面部部分检测处理的流程图；
图18是示出面部部分检测设备的又一示例性配置的框图；
图19是示出由如图18所示的面部部分检测设备执行的基本部分检测处理的流程图；以及
图20是示出用作根据本发明实施例的面部部分检测设备的计算机的硬件配置的示例的框图。
具体实施方式
现在将参考附图描述本发明的实施例。
图1是示出根据本发明的面部部分检测设备11的实施例的示例性配置的框图。
如图1所示的面部部分检测设备11检测在输入图像中包括的面部并从面部的图像检测作为面部的预定特征(feature)的面部部分。虽然面部部分检测设备11主要检测人类的面部，但该设备可类似地检测人类以外的动物的面部和以人类的形状做出的玩偶的面部。虽然术语“面部部分”(或“面部的部分”)是指面部本身的特征，比如眼睛、鼻子或嘴部，但该术语可指面部的特征的中心点、边缘点或轮廓。
如图1所示的面部部分检测设备11包括图像输入部件(section)41、面部检测部件42、面部图像旋转修正部件43、面部部分权重映像生成部件44、面部部分检测部件45、加权部件46和面部部分识别部件47。面部部分权重映像生成部件44包括存储组件(portion)51和计算组件52。
图像输入部件41获取由视频照相机等成像的图像或预先记录在比如可移去介质(没有示出)之类的记录介质中的图像作为输入图像，并将该图像提供给面部检测部件42。
面部检测部件42从图像输入部件41提供的输入图像检测面部和面部方向。该部件42基于作为其中待检测面部的区域的面部检测区域的位置和尺寸提取面部图像，并将该面部图像和表示面部方向的信息一起提供到面部图像旋转修正部件43和面部部分权重映像生成部件44。
特别地，面部检测部件42基于预先学习的、以多种方向定向的面部的面部图像检测面部和面部方向，如JP-A-2005-284487，JP-A-2007-249852和Kotaro Sabe和Kenichi Hidai，“Learning of a Real-time Arbitrary Pasture FaceDetector Using Pixel Difference Features”，Lectures at the 10th Symposium onSensing via Image Information，pp.547-552，2004中提出的。
如图2所示，面部方向由俯仰角(pitch angle)、偏转角(yaw angle)和滚转角(roll angle)表示。如图2的左侧所示，俯仰角是关于轴61的向上或向下的角，该轴61平行于连接人的眼睛的中心的线，并基本上延伸通过人的头的中心。例如，当人面朝上时俯仰角具有正值，且当人面朝下时具有负值。如图2的左侧所示，偏转角是关于轴62的角，该轴62垂直于轴61，且基本上垂直地延伸通过人的头的中心。例如，当人面朝前、朝右和朝左时，偏转角可被分别定义为具有0度的值、负值和正值的角。如图2的右侧所示，滚转角是关于轴63的旋转角，轴63垂直于轴61和62，且当轴61水平时该角是0度。
面部检测部件42学习从具有预定尺寸的面部检测区域提取的具有预定偏转角和预定俯仰角的人的面部的面部图像。该部件将从图像输入部件41提供的输入图像的区域与已学习的面部图像比较，其中该输入图像的区域具有与面部图像检测区域相同尺寸的输入图像的区域相比较。由此，评价输入图像以确定其是否表示面部。由此，检测面部和面部方向。
将由面部检测部件42学习的面部图像中的面部方向分类为每个角度范围。面部检测部件42将面部方向检测为大致范围内(例如，从-45度到-15度的范围、从-15度到+15度的范围、或从+15度到+45度的范围内)的偏转角，面部的超前的姿态作为角度范围的基准。将这种检测的结果与在面部检测区域周围的区域中类似地获得的多个检测结果进行平均，由此可以获得更精确的角度。本发明不限于上述方法，且面部检测部件42可使用其它方法检测面部和面部方向。
面部图像旋转修正部件43以滚转角旋转从面部检测部件42提供的面部图像(或修正面部图像的旋转)，该滚转角是表示面部方向的信息段之一，且该部件将生成的面部图像提供给面部部分检测部件45。
根据作为表示从面部检测部件42提供的面部方向的信息段的俯仰角和偏转角，面部部分权重映像(map)生成部件44生成面部部分权重映像，用于给予在其中可能存在面部图像的预定面部部分的位置中的像素较高的加权，且部件44将该映像提供给加权部件46。后面将描述面部部分权重映像的细节。
在面部部分权重映像生成部件44的存储组件51中，与从面部检测部件42提供的面部图像的每个尺寸相关联地并与面部图像的面部部分的每个类型相关联地存储面部部分权重映像，这里面部部分类型是基于面部的超前的姿态定义的(其中面部的滚转角、俯仰角和偏转角都是0度)。就是说，即使当将面部部分权重映像与具有相同尺寸的面部图像相关联时，用于右眼的面部部分权重映像也不同于用于左眼的面部部分权重映像。在存储部件51中存储的面部部分权重映像将在下文中被称为“基本面部部分权重映像“。
面部部分权重映像生成部件44的计算组件52基于存储组件51中的基本面部部分权重映像，通过根据从面部检测部件42提供的俯仰角和偏转角执行计算来获得面部部分权重映像。
面部部分检测部件45计算从面部图像旋转修正部件43提供的面部图像的每个像素的检测分数(score)，并将该分数提供给加权部件46，该检测分数用作用于评价像素是否表示面部部分的评价值。
特别地，例如，面部部分检测部件45以与在面部检测部件42中进行的相同的方式学习在具有预定尺寸的区域中提取的面部部分。部件45比较输入面部图像的区域和已学习的面部部分的图像，该区域具有与已学习的面部部分的预定尺寸相同的尺寸。由此，该部件45计算具有预定尺寸的区域中的像素的检测分数。当具有预定尺寸的区域中的像素具有高检测分数时，区域中的图像被认为是用于待检测的面部部分的候选。
加权部件46基于从面部部分权重映像生成部件44提供的面部部分权重映像，对从面部部分检测部件45提供的每个像素的检测分数进行加权，并将每个像素的已加权的检测分数提供给面部部分识别部件47。
面部部分识别部件47从自加权部件46提供的面部图像的所有像素的检测分数识别具有等于或大于预定阈值的检测分数的像素作为形成想要的面部部分的像素。
现在将参考图3所示的流程图描述面部部分检测设备11执行的面部部分检测处理。
当面部部分检测设备11的图像输入部件41获得输入图像并将图像提供给面部检测部件42和面部图像旋转修正部件43时，面部部分检测处理开始。
在步骤S11，面部检测部件42从自图像输入部件41提供的输入图像检测面部和确定面部方向的滚转角、俯仰角和偏转角。面部检测部件42基于面部检测区域的位置和尺寸提取面部图像，并将面部图像与滚转角一起提供给面部图像旋转修正部件43。面部检测部件42还将提取的面部图像的尺寸与俯仰角及偏转角一起提供给面部部分权重映像生成部件44。
在步骤S12，面部图像选择修正部件43以与从面部检测部件42提供的滚转角相等的量旋转面部图像(或修正面部图像的旋转)，并将生成的面部图像提供给面部部分检测部件45。
例如，面部检测部件42从示为图4中的图像A的输入图像检测面部和面部的滚转角(＝30度)、俯仰角(＝0度)和偏转角(＝-20度)，以提取面部图像71。
面部图像旋转修正部件43将由图4中的图B表示的面部图像71的旋转修正30度，使得连接面部的眼睛的中心的假想线变为水平的(就是说，滚转角变为0度)，如图4中的图像C表示的。
因此，从输入图像获得具有处于水平位置关系的眼睛(具有0度的滚转角)的面部图像71。
在步骤S13，面部部分权重映像生成部件44根据从面部检测部件42提供的面部图像71的尺寸、俯仰角和偏转角生成面部部分权重映像，并提供该映像到加权部件46。
现在将参考图5到8描述由面部部分权重映像生成部件44生成的面部部分权重映像。关于待检测的面部部分是右眼的假定进行描述。
总的来说，当作为面部检测的结果获得的具有相同尺寸的多个面部图像彼此重叠时，由于其上执行面部检测的面部的位置、形状和方位之间的差异，以及由于右眼的位置的个人差异，右眼的位置随着面部而变化。
换句话说，当在具有相同尺寸的重叠的面部图像上绘出(plotted)右眼的位置(右眼的中心的位置)时，在该区域中的斑点(plot)的密度越高，区域可被以高似然性认为包括具有相同尺寸的面部图像的右眼(右眼的中心)，基于这种分布小块做出面部部分权重映像。
例如，基于通过重叠具有与面部图像71相同尺寸的几百个面部图像绘出的右眼位置(中心位置)的分布来获得图5所示的面部部分权重映像72。就是说，获得基于面部图像的右眼的位置的统计分布的面部部分权重映像72。
在图5所示的面部部分权重映像72中，以越高密度绘出区域，区域显得越暗。因此，右眼以高似然性存在于该区域中。因此，给予与暗区域相关联的面部图像的像素以高权重。
使用面部部分权重映像72给予的权重由预定范围内的值表示。例如，图5所示的面部部分权重映像72的权重具有在从0.0到1.0范围内的值，其中在具有小块的最大密度的位置中的权重具有1.0的值，且其中在具有0的小块密度的位置中的权重具有0.0的值。
因为由绘出的位置表示的右眼的位置根据面部方向而改变，必须根据面部方向生成面部部分权重映像72。
例如，如图6中的图像A表示的，当将仅基于前视面部的面部图像生成的面部部分权重映像72应用于前视面部的面部图像71时，给予的权重以面部的右眼为中心。
但是，当将用于图6的图像A的面部部分权重映像72应用于左视面部(俯仰角＝0度，偏转角＝+20度)的面部图像71时，将权重给予不同于右眼的位置，这里必须如图6中的图像B表示的那样进行加权。由此，面部部分检测的精确性降低。
在该情况下，面部部分权重映像生成部件44基于0度的俯仰角和+20度的偏转角生成如图6中的图像C表示的面部部分权重映像72。
更具体地说，计算组件52基于根据在存储组件51中存储的面部图像71的尺寸的基本面部部分权重映像(基本映像与图6中的图像A的面部部分权重映像72相同)，将面部部分权重映像72定义为作为变量的俯仰角和偏转角的函数。计算组件替换在面部部分权重映像72中的0度的俯仰角和+20度的偏转角以获得由图6中的图像C表示的另一面部部分权重映像72。
例如，计算组件52以复合分布来近似面部部分权重映像72(基本面部部分权重映像)，该复合分布是通过合成如图7所示的彼此正交的各个轴a和b的法线分布(normal distribution)获得的。由比如表示轴a和b的交叉点的中心坐标(x，y)、轴a关于面部图像71的水平方向定义的角度α，以及关于轴a和b的法线分布的各个变量σa和σb这样的参数确定映像。另外，计算组件52将每个参数计算为俯仰角和偏转角的函数以获得根据连续的俯仰角值和偏转角值而具有连续的权重值的面部部分权重映像72。
因此，即使在由图B表示的左视面部的面部图像71的情况下，以如图6中的图像C表示的以右眼为中心的分布来给予权重。
如这样所述的，面部部分权重映像生成部件44根据如图8所示的预定俯仰角和偏转角生成面部部分权重映像72。
图8示出每个根据预定角度范围内包括的俯仰角和偏转角的面部部分权重映像72。在图8中，符号“[”和“]”分别表示角度范围的包含性的下限和上限，且符号“(”和“)”分别表示角度范围的非包含性的下限和上限。
例如，从大于等于-45度且小于-15度的俯仰角以及大于等于-45度且小于-15度的偏转角生成在图8的左上部分所示的面部部分权重映像72-1。
从大于等于-45度且小于-15度的俯仰角以及大于等于-15度且小于等于+15度的偏转角生成在图8的中上部分所示的面部部分权重映像72-2。
从大于等于-45度且小于-15度的俯仰角以及大于+15度且小于等于+45度的偏转角生成在图8的右上部分所示的面部部分权重映像72-3。
从大于等于-15度且小于等于+15度的俯仰角以及大于等于-45度且小于-15度的偏转角生成在图8的左中部分所示的面部部分权重映像72-4。
从大于等于-15度且小于等于+15度的俯仰角以及大于等于-15度且小于等于+15度的偏转角生成在图8的中间所示的面部部分权重映像72-5。该面部部分权重映像72-5与在存储组件51中存储的基本面部部分权重映像相同。
从大于等于-15度且小于等于+15度的俯仰角以及大于+15度且小于等于+45度的偏转角生成在图8的右中部分所示的面部部分权重映像72-6。
从大于+15度且小于等于+45度的俯仰角以及大于等于-45度且小于-15度的偏转角生成在图8的左下部分中所示的面部部分权重映像72-7。
从大于+15度且小于等于+45度的俯仰角以及大于等于-15度且小于等于+15度的偏转角生成在图8的中下部分中所示的面部部分权重映像72-8。
从大于+15度且小于等于+45度的俯仰角以及大于+15度且小于等于+45度的偏转角生成在图8的右下部分所示的面部部分权重映像72-9。
如这样所述的，面部部分权重映像生成部件44可以根据俯仰角和偏转角生成面部部分权重映像72。
再次参考图3中的流程图，在步骤S14，面部部分检测部件45计算在从面部图像旋转修正部件43提供的已修正旋转的面部图像的每个像素处的检测分数，以检测作为面部部分的右眼。该部件45将该分数提供给加权部件46，且处理前进到步骤S15.
在步骤S15，加权部件46基于从面部部分权重映像生成部件44提供的面部部分权重映像72，对从面部部分检测部件45提供的每个像素的检测分数进行加权。该部件46将每个像素的已加权的检测分数提供给面部部分识别部件47，且处理前进到步骤S16。
更具体地说，加权部件46根据下面所示的表达式1将每个像素的检测分数乘以在面部部分权重映像72中的用于该像素的权重值。
就是说，关于图像的水平向右方向构成“x方向”；图像的垂直向下方向构成“y方向”；且图像在左上端构成原点(x，y)＝(0，0)的假定来使面部图像71规范化(normalize)。让我们进一步假定在坐标(x，y)的像素的检测分数由“ScorePD(x，y)”表示，且在与坐标(x，y)相关联的面部部分权重映像72中的权重值由“Weight(x，y)”表示。那么，在给予权重之后，在坐标(x，y)处的像素具有如表达式1给出的检测分数Scroe(x，y)。
Score(x，y)＝ScorePD(x，y)×Weight(x，y)      表达式1
在步骤S16，加权部件46确定是否对于面部图像71的所有像素执行相乘。
当在步骤S16确定没有对面部图像71的所有像素执行相乘时，重复在步骤S15和S16的处理直到已对面部图像71的所有像素执行相乘。
当在步骤S16确定已经对面部图像71的所有像素执行相乘时，处理前进到步骤S17。
在步骤S17，面部部分识别部件47检测从加权部件46提供的面部图像71的所有像素的检测分数以识别具有大于等于预定阈值的检测分数的像素为形成面部部分的像素。
通过上述处理，面部部分检测设备11能够使用面部部分权重映像72从自输入图像提取的面部图像71检测作为面部部分的右眼。
因为使用了根据面部方向生成的面部部分权重映像72，以能够根据面部方向对面部的一部分的检测范围进行精确地加权。结果，能够从面部图像精确地检测面部的特征，而不论面部方向如何。
参考图8描述了基于在三个范围内，即，大于等于-45度且小于-15度的范围、大于等于-15度且小于等于+15度的范围、和大于+15度且小于等于+45度的范围内的俯仰角和偏转角生成面部部分权重映像72。但是，可从其它范围的角度生成映像。
面部部分权重映像72中的权重值不限于如参考图7所述的连续值的分布。作为选择地，可与在面部图像71中规范化的坐标值相关联地离散地给出权重值，如图9中的面部部分权重映像73所表示的。
现在将参考图10描述面部部分检测设备的另一示例性配置。
由类似的附图标记指示在图1和图10之间彼此相对应的组件，且在合适的地方将省略这种组件的描述。特别地，图10所示的面部部分检测设备111的配置基本上类似于图1所示的面部部分检测设备11的配置，除了图10所示的面部部分检测设备111另外具有面部部分权重映像表141。
在面部部分权重映像表141中，与面部图像71的尺寸、俯仰角和偏转角相关联地存储由面部部分权重映像生成部件44生成的面部部分权重映像72。
更具体地说，在面部部分权重映像表141中存储的是与如图8图示的每个尺寸的面部图像的俯仰角和偏转角的预定范围相关联的面部部分权重映像72。
面部部分权重映像生成部件44基于从面部检测部件42提供的面部图像的尺寸、俯仰角和偏转角，从面部部分权重映像表141选择面部部分权重映像72。
特别地，面部部分权重映像生成部件44基于面部图像71的尺寸、俯仰角和偏转角，从面部部分权重映像表141选择过去生成的面部部分权重映像72。
在面部部分权重映像表141中存储的面部部分权重映像72不限于那些由面部部分权重映像生成部件44在过去生成的，从其它设备提供的映像可被存储在表中。
现在将参考图11中的流程图描述如图10所示的面部部分检测设备111执行的面部部分检测处理。
将不描述在图11中的流程图的步骤S111和S112以及步骤S114到S117执行的处理，因为它们与图3中的流程图的步骤S11和S12以及步骤S14到S17的处理类似。
在步骤S113，面部部分权重映像生成部件44基于面部图像71的尺寸、俯仰角和偏转角，从面部部分权重映像表141选择面部部分权重映像72，这里该面部图像71是从面部检测部件42提供的，且已经修正了滚转角，并且该部件44将该映像提供给加权部件46。
通过上述处理，面部部分检测设备111可以使用在面部部分权重映像表141中存储的面部部分权重映像72，检测作为从输入图像提取的面部图像71的面部部分的右眼。
因为如这样所述地使用预先生成和存储的面部部分权重映像72，所以不需要根据俯仰角和偏转角新生成面部部分权重映像72。能够根据面部方向对面部部分的检测分数进行精确地加权。结果，能够以小的计算量从面部图像更精确地检测面部的特征，而不论面部方向如何。
现在将参考图12描述面部部分检测设备的又一示例性配置。
由类似的附图标记指示在图1和图12之间彼此相对应的组件，且在合适的地方将省略这种组件的描述。图12所示的面部部分检测设备211的配置基本上类似于图1所示的面部部分检测设备11的配置，除了图12所示的面部部分检测设备211不具有图1的面部部分检测设备11具有的加权部件46且其具有面部部分检测范围设置部件241。
基于由面部部分权重映像生成部件44生成的面部部分权重映像72，面部部分检测范围设置部件241设置作为等于或大于预定值的权重的范围的面部部分检测范围。该部件241向面部部分检测部件45提供指示面部部分检测范围的范围信息。
面部部分检测部件45在由来自面部部分检测范围设置部件241的范围信息指示的面部部分检测范围内，从面部图像旋转修正部件43提供的面部图像71的每个像素上计算检测分数。该部件45将检测分数提供给面部部分识别部件47。
面部部分识别部件47从自面部部分检测部件45提供的面部部分检测范围内所有像素的检测分数识别具有等于或大于预定阈值的检测分数的像素为形成面部部分的像素。
现在将参考图13中的流程图描述如图12所示的面部部分检测设备211执行的面部部分检测处理。
将不描述在图13中的流程图的步骤S211到S213的处理，因为它们类似于在图3中的流程图的步骤S11到S13的处理。
在步骤S214，面部部分检测范围设置部件241在从面部部分权重映像生成部件44提供的面部部分权重映像72中设置面部部分检测范围，其是等于或大于预定值的权重值的范围。
特别地，例如，面部部分检测分数设置部件241将如参考图7描述的面部部分权重映像72中的椭圆271的内部设置为如图14所示的面部部分检测范围，该椭圆表示关于轴a和b的权重值的法线分布的各自的范围3σa和3σb，在该范围中权重值等于或大于预定值。
为了以较小的计算量来计算检测分数，可作为选择地将限制椭圆271的矩形272的内部设置为面部部分检测范围。
面部部分检测范围设置部件241将指示这样设置的面部部分检测范围的范围信息提供给面部部分检测部件45。
在步骤S215，面部部分检测部件45在从面部图像旋转修正部件43提供的面部图像中由来自面部部分检测范围设置部件241的范围信息指示的面部部分检测范围内计算的每个像素的检测分数。该部件45将检测分数提供给面部部分识别部件47。
在步骤S216，面部部分识别部件47从自面部部分检测部件45提供的面部部分检测范围内的所有像素的检测分数识别具有等于或大于预定阈值的检测分数的像素为形成面部部分的像素。
通过上述处理，面部部分检测设备211可在基于面部部分权重映像72设置的面部部分检测范围内检测作为从输入图像提取的面部图像71的面部部分的右眼。
因为根据如这样描述的想要的面部方向，因此基于面部部分权重映像72设置面部部分检测范围，不需要计算面部图像71的所有像素的检测分数，结果，能够以更小的计算量从面部图像更精确地检测面部的特征，而不论面部方向如何。
上面已经描述如参考图7所述的基于面部部分权重映像72设置面部部分检测范围。作为选择，如图15所示，面部部分检测范围可以是在面部部分权重映像73中指示具有预定值的权重的区域(具有等于或大于预定值的权重的区域)的边界273的内部，该面部部分权重映像73示出了与在面部图像71中规范化的坐标值相关联地离散地给出的权重值。为了允许进一步减少计算量，面部部分检测范围可作为选择地是限制边界273的矩形边界274的内部。
可配置面部部分检测设备211以允许以与在图10中所示的面部部分检测设备111采用的相同的方式，与俯仰角及偏转角相关联地存储由面部部分检测范围设置部件241设置的面部部分检测范围，以允许与俯仰角及偏转角相关联地存储从面部部分权重映像表141生成的面部部分权重映像72。
现在将参考图16进行描述，图16关于其中能够存储面部部分检测范围的面部部分检测设备。
由相似的附图标记指示在图12和16之间彼此相对应的组件，且在合适的地方将省略这种组件的描述。图16中所示的面部部分检测设备311的配置基本上类似于面部部分检测设备211的配置，除了图16中所示的面部部分检测设备311具有面部部分检测范围表341。
参考图16，面部检测部件42将面部图像71和面部图像71的滚转角提供给面部图像旋转修正部件43，并将面部图像71的尺寸、俯仰角和偏转角的信息提供给面部部分权重映像生成部件44和面部部分检测范围设置部件241。
在面部部分检测范围表341中，与面部图像71的尺寸、俯仰角和偏转角相关联地存储指示由面部部分检测范围设置部件241设置的面部部分检测范围的范围信息。
更具体地说，与俯仰角和偏转角的预定范围相关联地，对于面部图像71的每个尺寸在面部部分检测范围表341中存储范围信息。
面部部分检测范围设置部件241从面部部分检测范围表341中选择与从面部检测部件42提供的面部图像71的尺寸、俯仰角和偏转角相关联的范围信息。
特别地，面部部分检测范围设置部件241从面部部分检测范围表341选择示出基于面部图像71的尺寸、俯仰角和偏转角在过去设置的面部部分检测范围的范围信息。
在面部部分检测范围表341中存储的范围信息不限于由面部部分检测范围设置部件241设置的信息段，且可以从其它设备提供信息。
现在将参考图17所示的流程图描述图16中所示的面部部分检测设备311执行的面部部分检测处理。
将不描述在图17中的流程图的步骤S311、S312、S314和S315的处理，因为它们类似于在图13中的流程图的步骤S211、S212、S214和S215的处理。
在步骤S313，面部部分检测范围设置部件241从面部部分检测范围表341选择与从面部检测部件42提供的面部图像71的尺寸、俯仰角和偏转角相关联的范围信息，并将该范围信息提供给面部部分检测部件45。
通过上述处理，面部部分检测设备311能够在由存储在面部部分检测范围表341中的范围信息指示的面部部分检测范围内检测作为从输入图像提取的面部图像71的面部部分的右眼。
因为如这样所述地使用预先设置和存储的范围信息，因此不需要根据俯仰角和偏转角来新设置面部部分检测范围。另外，仅需要在面部部分检测范围中计算检测分数。结果，能够以更小的计算量从面部图像更精确地检测面部的特征，而不论面部方向如何。
上述描述提出用于基于面部部分权重映像72对检测分数进行加权的配置和用于在基于面部部分权重映像72的面部部分检测范围内计算检测分数的配置，可结合地使用这些配置。
现在将参考图18进行描述，图18关于其中基于面部部分权重映像72对在面部部分检测范围内计算的检测分数进行加权的面部部分检测设备的示例性配置。
由相似的附图标记指示在图1和18之间彼此相对应的组件，且在合适的地方将省略这种组件的描述。图18中所示的面部部分检测设备411的配置基本上类似于图1中所示的面部部分检测设备11的配置，除了图18中所示的面部部分检测设备411包括如图12所示的面部部分检测范围设置部件241。
现在将参考图19中的流程图描述图18中所示的面部部分检测设备411执行的面部部分检测处理。
将不描述在图19中的流程图的步骤S411和S412的处理，因为它们类似于在图3中的流程图的步骤S11和S12的处理。
在步骤S413，面部部分权重映像生成部件44根据从面部检测部件42提供的俯仰角和偏转角的信息来生成面部部分权重映像72，并将该映像提供给加权部件46和面部部分检测范围设置部件241。
在步骤S414，面部部分检测范围设置部件241设置面部部分检测范围，该面部部分检测范围是其中在从面部部分权重映像生成部件44提供的面部部分权重映像72中，权重具有等于或大于预定值的范围。该部件241将指示面部部分检测范围的范围信息提供给面部部分检测部件45。
在步骤S415，面部部分检测部件45在由来自面部部分检测范围设置部件241的范围信息指示的面部部分检测范围内，计算在从面部图像旋转修正部件43提供的面部图像71的每个像素的检测分数。该部件45将检测分数提供给加权部件46。
在步骤S416，加权部件46基于从面部部分权重映像生成部件44提供的面部部分权重映像72，在从面部部分检测部件45提供的面部部分检测范围内对每个像素的检测分数进行加权。该部件46将每个像素的权重的检测分数提供给面部部分识别部件47。
在步骤S417，加权部件46确定面部部分检测范围内的所有像素是否已经乘以权重。
当在步骤S417确定已经对于面部部分检测范围内的所有像素执行相乘时，重复在步骤S416和S417的处理直到对于在面部部分检测范围中的所有像素执行了相乘。
当在步骤S417确定已经对于面部部分检测范围内的所有像素执行了相乘时，处理前进到步骤S418。
在步骤S418，面部部分识别部件47从由加权部件46提供的面部部分检测范围中的所有像素的检测范围当中，将具有等于或大于预定阈值的检测分数的像素识别为形成面部部分的像素。
通过上述步骤，面部部分检测设备411可以使用面部部分权重映像72在从输入图像提取的面部图像71的面部部分检测范围内检测作为面部部分的右眼。
如这样所述的，根据想要的面部方向基于面部部分权重映像72设置面部部分检测范围，且面部部分权重映像72用于在面部部分检测范围内计算的检测分数。因此，能够关于在有限范围内的检测分数精确地执行加权。结果，能够以更小的工作量从面部图像更精确地检测面部的特征，而不论想要的面部方向如何。
对在面部部分检测范围内计算的检测分数进行加权的面部部分检测设备不限于上述面部部分检测设备411的配置。这种设备可具有包括如参考图10所述的面部部分权重映像表141和如参考图16所述的面部部分检测范围表341的配置。
在上述描述中，对于每个像素(或在以像素表示的每个区域)计算检测分数。但是，本发明不限于在每个像素进行计算，且可对于每个预定区域，比如4×4像素的块计算检测分数。
根据本发明实施例由面部部分检测设备检测的对象不限于面部部分，且可以关于某种程度上相互绑定位置关系且被设置在具有确定的方位的物体上的任意项目执行检测，例如，这种物品包括车辆的前灯。
如上所述，根据本发明实施例的面部部分检测设备从面部图像检测面部方向，生成基于面部图像中面部的预定部分的位置的统计分布的面部部分权重映像，在面部图像的每个像素计算检测分数以确定所述像素是否形成预定面部部分，和基于检测分数和面部部分权重映像72将预定像素识别为形成面部部分。因此，能够对面部部分的检测分数进行精确地加权。结果，能够从面部图像更精确地检测面部的特征而不论的面部方向如何。
可以基于硬件执行上述面部部分检测处理的一系列步骤，也可以作为选择地可基于软件地执行这些步骤。当基于软件地执行该一系列步骤时，将形成软件的程序从程序记录介质安装到专用硬件中集成到的计算机中，或安装到诸如通用计算机之类的当在其中安装多种程序时能够执行多种功能的另一类型的计算机中。
图20是示出其上运行程序以执行上述的一系列步骤的计算机的硬件配置的示例的框图。
在计算机中，CPU(中央处理单元)601、ROM(只读存储器)602、和RAM(随机存取存储器)603通过总线604互连。
输入/输出接口605也连接到总线604。输入/输出接口605与包括键盘、鼠标和麦克风的输入单元606连接，与包括显示器和扬声器的输出单元607连接，与包括硬盘和非易失性存储器的存储单元608连接，与包括网络接口的通信单元609连接，并与用于诸如磁盘、光盘、磁光盘或半导体存储器这样的可移去介质611的驱动610连接。
在具有上述配置的计算机中，例如，CPU 601通过经由输入/输出接口605和总线604将在存储单元608中存储的程序加载到RAM 603而执行该程序，以执行上述的一系列步骤。
例如，通过将程序记录在可移去介质611中，而提供由计算机(CPU601)执行的程序，该可移去介质611是封装的介质，比如磁盘(其可以是软盘)、光盘(CD-ROM(致密盘-只读存储器)、DVD(数字多用途盘)等)、磁光盘或半导体存储器。作为选择，可通过比如局域网、因特网、或数字卫星广播的有线或无线传输介质提供所述程序。
能够通过在驱动610中安装可移去介质611，而经由输入/输出接口605在存储单元608中安装所述程序。替代地，可通过经由有线或无线传输介质在通信单元609处接收程序，而在存储单元608中安装所述程序。另外，可替代地将程序预先安装在ROM 602或存储单元608中。
由计算机执行的程序可以是根据在本说明书中描述的次序按时间顺序处理的。可替代地可以并行处理所述程序，或以例如，当调用所述程序时需要的时序来处理所述程序。
本领域技术人员应该理解，根据设计需要和其它因素，可存在多种改变、组合、子组合和替代，只要上述改变、组合、子组合和替代在所附权利要求或其等效物的范围当中。

Claims (10)

1.一种信息处理设备，包括：
面部检测装置，用于检测面部图像中面部方向；
权重分布生成装置，用于根据面部方向，生成基于面部图像中面部的预定特征的位置的统计分布的权重分布；
第一计算装置，用于计算用于评价面部图像的每个预定区域以确定该区域是否是面部的预定特征的第一评价值；和
面部特征识别装置，用于基于第一评价值和权重分布将该预定区域识别为面部的预定特征。
2.根据权利要求1所述的信息处理设备，进一步包括：
第二计算装置，用于通过基于权重分布对第一评价值进行加权而计算第二评价值，其中
所述面部特征识别装置基于第二评价值将预定区域识别为面部的预定特征。
3.根据权利要求2所述的信息处理设备，进一步包括：
存储装置，用于与面部方向相关联地存储已经预先生成的权重分布，其中
所述权重分布生成装置根据面部方向选择在存储装置中存储的权重分布。
4.根据权利要求1所述的信息处理设备，进一步包括：
范围设置装置，用于基于权重分布设置权重值等于或大于预定值的位置的范围，其中
所述第一计算装置为该范围内的面部图像的每个预定区域计算第一评价值，且
所述面部特征识别装置基于该范围内的第一评价值将该预定区域识别为面部的预定特征。
5.根据权利要求4所述的信息处理设备，进一步包括：
存储装置，用于与面部方向相关联地存储已经预先设置的表示该范围的范围信息，其中
所述范围设置装置根据面部方向选择在存储装置中存储的范围信息。
6.根据权利要求1所述的信息处理设备，其中，所述预定区域是以像素表示的区域。
7.根据权利要求1所述的信息处理设备，其中，所述权重分布是确定面部方向的面部的角度的函数。
8.一种信息处理方法，包括步骤：
检测面部图像中面部方向；
根据面部方向生成基于面部图像中面部的预定特征的位置的统计分布的权重分布；
计算用于评价面部图像的每个预定区域以确定该区域是否是面部的预定特征的第一评价值；和
基于第一评价值和权重分布将该预定区域识别为面部的预定特征。
9.一种用于使得计算机执行包括下面步骤的处理的程序：
检测面部图像中面部方向；
根据面部方向生成基于面部图像中面部的预定特征的位置的统计分布的权重分布；
计算用于评价面部图像的每个预定区域以确定该区域是否是面部的预定特征的第一评价值；和
基于第一评价值和权重分布将该预定区域识别为面部的预定特征。
10.一种信息处理设备，包括：
面部检测部件，配置以检测面部图像中面部方向；
权重分布生成部件，配置以根据面部方向，生成基于面部图像中预定面部部分的位置的统计分布的权重分布；
第一计算部件，配置以计算用于评价面部图像的每个预定区域以确定该区域是否是预定面部部分的第一评价值；和
面部部分识别部件，配置以基于第一评价值和权重分布将该预定区域识别为预定面部部分。
CN200910128531A 2008-03-14 2009-03-16 信息处理设备、方法和程序 Pending CN101533472A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008065229A JP4655235B2 (ja) 2008-03-14 2008-03-14 情報処理装置および方法、並びにプログラム
JP065229/08 2008-03-14

Publications (1)

Publication Number Publication Date
CN101533472A true CN101533472A (zh) 2009-09-16

Family

ID=40792899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910128531A Pending CN101533472A (zh) 2008-03-14 2009-03-16 信息处理设备、方法和程序

Country Status (4)

Country Link
US (1) US20090232363A1 (zh)
EP (1) EP2101283A2 (zh)
JP (1) JP4655235B2 (zh)
CN (1) CN101533472A (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702418B2 (ja) * 2008-09-09 2011-06-15 カシオ計算機株式会社 撮影装置、画像領域の存否判定方法及びプログラム
JP2012068948A (ja) * 2010-09-24 2012-04-05 Renesas Electronics Corp 顔属性推定装置およびその方法
JP5768533B2 (ja) * 2011-01-26 2015-08-26 カシオ計算機株式会社 電子機器及びプログラム
JP5555193B2 (ja) * 2011-03-01 2014-07-23 株式会社メガチップス データ処理装置、データ処理システム、及びプログラム
JP5716479B2 (ja) 2011-03-25 2015-05-13 カシオ計算機株式会社 電子機器及びプログラム
CN103562934B (zh) * 2011-04-28 2017-05-10 皇家飞利浦有限公司 脸部位置检测
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
US8542879B1 (en) 2012-06-26 2013-09-24 Google Inc. Facial recognition
US8856541B1 (en) 2013-01-10 2014-10-07 Google Inc. Liveness detection
JP6430102B2 (ja) * 2013-05-21 2018-11-28 沖電気工業株式会社 人物属性推定装置、人物属性推定方法及びプログラム
US9177194B2 (en) * 2014-01-29 2015-11-03 Sony Corporation System and method for visually distinguishing faces in a digital image
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
JP6624794B2 (ja) * 2015-03-11 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6462787B2 (ja) * 2016-10-22 2019-01-30 俊之 坂本 画像処理装置及びプログラム
CN111507304B (zh) * 2020-04-29 2023-06-27 广州市百果园信息技术有限公司 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP2004062565A (ja) * 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法並びにプログラム記憶媒体
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
JP5025893B2 (ja) 2004-03-29 2012-09-12 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
CN101120379B (zh) * 2005-02-17 2010-12-08 富士通株式会社 图像处理方法和图像处理系统
JP4532419B2 (ja) * 2006-02-22 2010-08-25 富士フイルム株式会社 特徴点検出方法および装置並びにプログラム
JP4585471B2 (ja) 2006-03-07 2010-11-24 株式会社東芝 特徴点検出装置及びその方法
JP4556891B2 (ja) 2006-03-17 2010-10-06 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP4957922B2 (ja) * 2006-06-07 2012-06-20 日本電気株式会社 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム
JP4795864B2 (ja) * 2006-06-21 2011-10-19 富士フイルム株式会社 特徴点検出装置および方法並びにプログラム
JP4338047B2 (ja) * 2006-07-25 2009-09-30 富士フイルム株式会社 撮像装置
JP2008065229A (ja) 2006-09-11 2008-03-21 Fuji Xerox Co Ltd トナー格納部品および画像形成装置
JP4789825B2 (ja) * 2007-02-20 2011-10-12 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JP2009223459A (ja) 2009-10-01
JP4655235B2 (ja) 2011-03-23
US20090232363A1 (en) 2009-09-17
EP2101283A2 (en) 2009-09-16

Similar Documents

Publication Publication Date Title
CN101533472A (zh) 信息处理设备、方法和程序
CN1892702B (zh) 追踪装置
EP1677250B1 (en) Image collation system and image collation method
US7801337B2 (en) Face detection method, device and program
CN105740780B (zh) 人脸活体检测的方法和装置
US7599549B2 (en) Image processing method, image processing apparatus, and computer readable medium, in which an image processing program is recorded
US8086027B2 (en) Image processing apparatus and method
CN105740779B (zh) 人脸活体检测的方法和装置
CN110546644B (zh) 识别装置、识别方法以及记录介质
US8254644B2 (en) Method, apparatus, and program for detecting facial characteristic points
CN111480183B (zh) 用于产生透视效果的光场图像渲染方法和系统
CN109271870A (zh) 行人重识别方法、装置、计算机设备及存储介质
US7697752B2 (en) Method and apparatus for performing object detection
CN103778406B (zh) 对象检测方法及设备
CN105608441B (zh) 一种车型识别方法及系统
JP2004348674A (ja) 領域検出方法及びその装置
US9262672B2 (en) Pattern recognition apparatus and pattern recognition method that reduce effects on recognition accuracy, and storage medium
CA2546440A1 (en) System and method for detecting and matching anatomical structures using appearance and shape
US7646915B2 (en) Image recognition apparatus, image extraction apparatus, image extraction method, and program
US11335027B2 (en) Generating spatial gradient maps for a person in an image
JP4690190B2 (ja) 画像処理方法および装置並びにプログラム
CN112686173B (zh) 一种客流计数方法、装置、电子设备及存储介质
EP3076370B1 (en) Method and system for selecting optimum values for parameter set for disparity calculation
Ni et al. An online three-stage method for facial point localization
JP6814374B2 (ja) 検出方法、検出プログラム及び検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20090916