CN101952853A - 脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序 - Google Patents

脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序 Download PDF

Info

Publication number
CN101952853A
CN101952853A CN2009801026557A CN200980102655A CN101952853A CN 101952853 A CN101952853 A CN 101952853A CN 2009801026557 A CN2009801026557 A CN 2009801026557A CN 200980102655 A CN200980102655 A CN 200980102655A CN 101952853 A CN101952853 A CN 101952853A
Authority
CN
China
Prior art keywords
face
face posture
likelihood score
similarity
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801026557A
Other languages
English (en)
Other versions
CN101952853B (zh
Inventor
笹原英明
野口祥宏
岛田敬士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asahi Kasei Corp
Original Assignee
Asahi Kasei Kogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Kogyo KK filed Critical Asahi Kasei Kogyo KK
Publication of CN101952853A publication Critical patent/CN101952853A/zh
Application granted granted Critical
Publication of CN101952853B publication Critical patent/CN101952853B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种脸姿势推定装置、脸姿势推定方法、以及脸姿势推定程序，能够高精度地且即便在从图像中无法检测出脸器官的情况下，也可以进行脸姿势的推定。脸姿势推定装置(10)的脸器官检测部(11)从图像画面对脸器官进行检测。脸姿势候选组生成部(16)生成脸姿势候选组。第1相似度计算部(12)对3D模型基础相似度进行计算。第2相似部计算部(13)对外观基础相似度进行计算。第1似然度计算部(141)对与3D模型基础相似度相对应的第1似然度进行计算。第2似然度计算部(142)对与外观基础相似度相对应的第2似然度进行计算。统一似然度计算部(143)利用第1似然度和第2似然度来计算统一似然度。脸姿势推定部(15)利用统一似然度对脸姿势进行推定。

Description

脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序
技术领域
本发明涉及一种脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序，使用对脸进行摄影而得到的图像来进行脸姿势的推定。
背景技术
推定脸朝向和脸姿势的技术能够在各种领域中应用。其中，“脸朝向”通过表示左右转动、前后俯仰和左右倾斜这3个方向的信息来表现。
另外，“脸姿势”至少表示脸朝向。而且，除了脸朝向以外，“脸姿势”也有包含3维空间的位置概念的情况。因此，“脸姿势”可以用左右转动、前后俯仰、左右倾斜、x坐标、y坐标、z坐标最多6维的信息来表示。推定脸朝向和脸姿势的技术在车辆驾驶员的安全驾驶支持的领域中尤其有用。
作为在计算机进行的脸朝向推定和脸姿势推定中使用的代表方法，已知的方法有(例如，佐藤洋一：“计算机进行的脸追踪”，影像信息媒体学会杂志Vol.60、NO.4、pp.516-519(2006))：3维脸形状模型基础(以下称为“3D模型基础”)的方法、外观基础的方法和脸特征基础的方法。下面，对各方式进行说明。
为了进行脸姿势的推定，对3D模型基础的方法所适用的情况进行说明。这里，以使用时序过滤器中的一种的粒子过滤器的方法作为例子。粒子过滤器是贝兹过滤器的近似计算法，通过有限的粒子来表现概率密度函数。在粒子过滤器中，通过使用多个具有状态量和似然度的假設，而将追踪对象作为离散的概率密度函数来表达，将此概率密度函数通过状态变迁模型传播。脸姿势的“状态”是指与脸位置、脸朝向等脸姿势信息相关的状态。脸姿势的推定过程，生成多个脸姿势的状态的假设，计算这些各个假设与输入的脸图像的相似度，基于此相似度更新假设集合。而且，将与相似度最高的假设的状态量相对应的脸姿势作为推定结果进行输出。
在外观基础的方法中，预先准备朝向各个方向的脸图像，当新输入脸图像时，推定其与哪个脸图像最相似。在图像之间的相似度的计算中，经常使用对应的像素之间的像素值差的2次方。
在脸特征基础的方法中，基于输入图像中的眼睛和嘴等的相对的位置关系，求出脸特征，进行脸朝向的推定。作为脸特征基础的方法，例如，在日本特开2005-196567号公报(以下称为“文献1”)和特开平11-281661号公报(以下称为“文献2”)中，对驾驶员的脸摄像所得到的图像进行分析，对脸朝向进行推定。
发明内容
发明要解决的课题
然而，在文献1和文献2所记载的技术中，利用眼睛、鼻子、嘴这些既定的脸器官对脸朝向进行推定，一旦脸朝向变化或者通过带着眼镜、太阳镜等将这些部位隐去，就不能对脸姿势进行推定。为此，将可推定的角度范围限定在大约左右60度以内。但一旦限定了可推定的角度范围，就会出现不能充分进行驾驶员的安全驾驶支持的问题。
另外，在通过3D模型基础的方法进行脸朝向推定和脸姿势推定的情况下，由于使用输入摄像机图像中的眼睛、鼻子、嘴这些既定脸器官的位置，因此例如在脸较大地朝向横向的情况，脸器官的一部分从图像隐去，则会产生不能对脸姿势进行推定的问题。进一步，一般在3D模型基础的方法中所使用的3维脸形状模型为刚性体，因此当因表情变化和脸姿势的位置移动等而使皮肤拉张等、产生脸器官位置的变化时，输入的脸部图像和3维形状模型的区别变大，产生不能进行高精度的脸姿势推定的问题。
本发明鉴于以上的问题而做成，其目的在于，提供一种脸姿势推定装置、脸姿势推定方法以及脸姿势推定程序，能够高精度地且即便在从图像中无法检测出脸器官的情况下，进行脸姿势的推定。
而且，本发明的目的在于，不拘束使用者，在使用者没有穿戴器具的情况下，能够进行眼睛、鼻子、嘴被隐去的范围内的脸姿势的推定。另外，其目的还在于，即便在因眼镜的配戴、发型的变化等而将既定的脸器官隐去的情况下，也可以进行脸姿势的推定。
用于解决课题的手段
本发明提供一种脸姿势推定装置，该脸姿势推定装置根据对脸按时序进行摄影所得到的脸图像来对脸姿势进行推定，该脸姿势至少表示所述脸的朝向，该脸姿势推定装置的特征在于，具有：脸器官检测单元，其根据所述脸图像对脸器官进行检测；脸姿势候选组生成单元，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；第1相似度计算单元，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成单元所生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；第2相似度计算单元，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成单元所生成的脸姿势候选组的各个脸图像以及由于所述脸器官检测单元而成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；第1似然度计算单元，计算与所述第1相似度计算单元所算出的第1相似度对应的第1似然度；第2似然度计算单元，计算与所述第2相似度计算单元所算出的第2相似度对应的第2似然度；统一似然度计算单元，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；脸姿势推定单元，使用由所述统一似然度计算单元算出的统一似然度对脸姿势进行推定；所述统一似然度反映到所述脸姿势候选生成单元所生成的脸姿势候选组的新的更新生成。
采用本发明，脸姿势推定装置，利用与第1参数的第1相似度相对应的第1似然度和与第2参数的第2相似度相对应的第2似然度来计算统一似然度，用所算出的统一似然度对脸姿势进行推定，因此，与单独地使用第1似然度和第2似然度来对脸姿势进行推定相比，可以进行高精度的脸姿势推定。
在最佳形态中，所述统一似然度计算单元，当所述第1似然度或所述第2似然度中的任一个无法计算时，只使用所算出的一方的似然度来计算所述统一似然度。
采用本发明，统一似然度计算单元，当第1似然度或第2似然度中的任一个无法计算时，只使用所算出的一方的似然度来计算所述统一似然度，因此，当无法进行脸器官检测时也能够对脸姿势进行推定。
在最佳形态中，所述第1相似度计算单元和所述第2相似度计算单元具有对各性能特性进行补充的补充关系。
采用本发明，第1相似度计算单元和第2相似度计算单元具有补充关系，能干互相补充，因此可以进行高精度的脸姿势推定。
在最佳形态中，所述统一似然度计算单元，将所述第1似然度和所述第2似然度相乘。
采用本发明，将第1似然度和第2似然度相乘来计算统一似然度，因此，可以算出用于脸姿势推定的高精度的统一似然度。
在最佳形态中，所述第1相似度计算单元是采用3维脸形状模型基础的相似度计算单元，所述第1参数是位置的误差，所述第2相似度计算单元是采用投影变换外观基础的相似度计算单元，所述第2参数是像素值的误差。
在最佳形态中，所述脸姿势推动单元，基于所述统一似然度计算单元所算出的统一似然度为最高的脸姿势候选来对脸姿势进行推定。
采用本发明，由于所述脸姿势推动单元基于所述统一似然度计算单元所算出的统一似然度为最高的脸姿势候选来对脸姿势进行推定，因此，能够高精度地对脸姿势进行推定。
在最佳形态中，所述脸姿势推定单元，基于数值的平均值、中间值以及施行了采用所述统一似然度的加权的平均值即重心中的任一个来对脸姿势进行推定，该数值基于所述脸姿势候选组生成单元所生成的脸姿势候选组的至少一部分。
采用本发明，所述脸姿势推定单元基于数值的平均值、中间值以及重心中的任一个来对脸姿势进行推定，该数值基于脸姿势候选组的至少一部分，因此，与将统一似然度为最高的脸姿势候选作为脸姿势的情况相比，虽然推定精度变低，但却不会使推定精度非常明显地变低。
在最佳形态中，当所述统一似然度计算单元所算出的最高统一似然度超过规定阈值时，所述脸姿势推定单元基于与所述最高统一似然度对应的脸姿势候选来对脸姿势进行推定，当所述最高统一似然度在规定阈值以下时，所述脸姿势推定单元基于数值的平均值、中间值以及施行了采用所述统一似然度的加权的平均值即重心中的任一个来对脸姿势进行推定，该数值基于所述脸姿势候选组生成单元所生成的脸姿势候选组的至少一部分。
采用本发明，当由于脸器官的检测误差等而最高似然度在规定阈值以下时，也能使用平均值、中间值等来推定脸姿势，因此，可以进行高精度的脸姿势的推定。
在最佳形态中，所述脸姿势候选组生成单元，基于与所述统一似然度计算单元所算出的统一似然度中的较高统一似然度对应的脸姿势候选组，生成在下次的所述第1相似度和所述第2相似度的计算中使用的脸姿势候选组。
采用本发明，能够生成与实际的脸姿势比较近似的脸姿势候选组。
在最佳形态中，所述脸图像是对车辆驾驶员的脸进行摄影所得到的图像。
采用本发明，脸姿势推定装置可以对驾驶员的脸姿势进行推定，可以将脸姿势推定装置用于支持驾驶员的安全驾驶。
另外，本发明提供一种具有所述的脸姿势推定装置的车辆
采用本发明，在车辆内可以进行驾驶员的脸姿势推定，可以将脸姿势推定装置用于支持车辆内的安全驾驶。
另外，本发明提供一种脸姿势推定方法，该脸姿势推定方法根据对脸按时序进行摄影所得到的脸图像来对脸姿势进行推定，该脸姿势至少表示所述脸的朝向，该脸姿势推定方法的特征在于，具有：脸器官检测步骤，其根据所述脸图像对脸器官进行检测；脸姿势候选组生成步骤，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；第1相似度计算步骤，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成步骤中生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；第2相似度计算步骤，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成步骤中生成的脸姿势候选组的各个脸图像以及在所述脸器官检测步骤中成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；第1似然度计算步骤，计算与所述第1相似度计算步骤中算出的第1相似度对应的第1似然度；第2似然度计算步骤，计算与所述第2相似度计算步骤中算出的第2相似度对应的第2似然度；统一似然度计算步骤，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；脸姿势推定步骤，使用所述统一似然度计算步骤中算出的统一似然度对脸姿势进行推定。
另外，本发明提供一种脸姿势推定程序，该脸姿势推定程序用于使计算机执行以下步骤：脸器官检测步骤，其根据对脸按时序进行摄影所得到的脸图像对脸器官进行检测；脸姿势候选组生成步骤，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；第1相似度计算步骤，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成步骤中生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；第2相似度计算步骤，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成步骤中生成的脸姿势候选组的各个脸图像以及在所述脸器官检测步骤中成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；第1似然度计算步骤，计算与所述第1相似度计算步骤中算出的第1相似度对应的第1似然度；第2似然度计算步骤，计算与所述第2相似度计算步骤中算出的第2相似度对应的第2似然度；统一似然度计算步骤，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；脸姿势推定步骤，使用所述统一似然度计算步骤中算出的统一似然度对脸姿势进行推定。
(发明的效果)
采用本发明，脸姿势推定装置，使用与采用第1参数的第1相似度对应的第1似然度和与采用第2参数的第2相似度对应的第2似然度来计算统一似然度，用算出的该统一似然度对脸姿势进行推定，因此与单独地使用第1似然度和第2似然度对脸姿势进行推定相比，可以进行高精度的脸姿势推定。
附图说明
图1是表示本发明的实施形态的脸姿势推定装置的功能构成的框图。
图2是相同实施形态的脸姿势推定处理的整体流程图。
图3是表示相同实施形态的特征点探索区域设定的一个例子的图。
图4是表示相同实施形态的特征点探索区域内的亮度图像的边缘抽出的一个例子的图。
图5是表示相同实施形态所选择的特征点的一个例子的图。
图6是表示相同实施形态的脸姿势追踪处理的流程的流程图。
图7是表示相同实施形态的3维脸形状模型的脸姿势分布生成的一个例子的图。
图8是表示在相同实施形态的Step602中所算出的脸器官的二维坐标分布的一个例子的图。
图9是表示相同实施形态的投影变换图像的一个例子的图。
图10是表示相同实施形态的脸姿势推定处理流程的流程图。
图11是相同实施形态的脸姿势推定处理流程的概略图。
图12是表示采用本发明方式的脸姿势的位移左右转动角推定结果的图表。
图13是表示采用本发明方式的脸姿势的左右转动角推定结果的图表。
图14是表示当改变3D模型基础的似然度特性时采用本发明方式的脸姿势左右转动角推定结果的图表。
图15是表示只通过3D模型基础进行脸姿势的左右转动角推定的结果的图表。
图16是表示从图15对3D模型基础的似然度特性进行改变，且只通过3D模型基础进行脸姿势的左右转动角推定的结果的图表。
图17是表示只通过外观基础进行脸姿势的左右转动角推定的结果的图表。
符号说明
10脸姿势推定装置
11脸器官检测器
12第1相似度计算部
13第2相似度计算部
14似然度计算部
141第1似然度计算部
142第2似然度计算部
143统一似然度计算部
15脸姿势推定部
16脸姿势候选组生成部
具体实施方式
以下，参考附图对本发明的实施形态进行说明。另外，在以下的说明中，所参照的各图与其它图相同的部分用相同的符号来表示。
(脸姿势推定装置的结构)
图1是表示本发明的实施形态的脸姿势推定装置10的功能构成的框图。如该图所示，脸姿势推定装置10具有：脸器官检测部11、第1相似度计算部12、第2相似度计算部13、似然度计算部14以及脸姿势推定部15。另外，通过执行未图示的脸姿势推定装置10的CPU(Central Processing Unit)运行在ROM(Read Only Memory)、硬盘等存储装置中所存储的程序，在脸姿势推定装置10中实现这些功能构成。另外，脸姿势推定装置10具有未图示的输入接口，该输入接口用于输入摄像机所摄影的图像画面。
脸器官检测部11，从对脸进行摄影所得到的图象画面检测脸器官。
第1相似度计算部12，使用3D模型基础的推定方法来计算相似度。在冈兼司、佐藤洋一、中西泰人、小池英树：“使用伴随适当扩散控制的粒子过滤器的头部姿势推定系统”、信学论杂志D-II、J88-D-II、8、pp.1601-1613(2005)中，对该方法的内容进行了叙述。具体来说，第1相似度计算部12生成集合了多个(N个：N为自然数)离散性假设(以下称为脸姿势候选)的假设群(以下称为脸姿势候选组)，该假设表达了与脸姿势信息有关的状态量的概率密度函数。接着，基于构成脸姿势候选组的脸姿势候选，使3维脸形状模型3维地移动和旋转，从而将3维脸形状模型上的脸器官的各特征点向图像画面的平面上投影(以下将投影在图像画面的平面上的各特征点称为“脸器官坐标候选”)。然后，对脸器官检测部11所检测的脸器官和相对应的脸器官的所述特征点投影的位置之间的误差(与“第1相似度”相对应，以下称为“3D模型基础的相似度”)进行计算。对构成脸姿势候选组的全部脸姿势候选进行对每个脸姿势候选计算此误差的处理，求出这些N个相似度。
第2相似度计算部13，使用利用脸图像的投影变换外观的外观基础(投影变换外观基础)的推定方法来计算相似度。具体来说，第2相似度计算部13，首先参考与构成脸姿势候选组的N个脸姿势候选分别对应的脸位置、脸朝向等脸姿势信息。接着，求出此脸姿势信息相对于规定基准位置的位移。所谓的规定基准位置是指对图像进行推定所得到的脸姿势信息，该图像是相比脸器官检测对象的图像更靠前按时序进行摄影所得到的。然后，基于所求得的N个位移，对此图像进行投影变换。投影变换所得到的N个图像(以下称为“投影变换图像”)是相对于成为基准位置的过去的图像而反映了各脸姿势候选的脸姿势信息的图像。第2相似度计算部13，对这些N个投影变换图像分别与输入图像的所对应的特征点之间的亮度误差(与第2相似度相对应，以下称为“外观基础的相似度”)进行计算。另外，不限于亮度的误差，也可以是包含亮度概念的像素值的误差。另外，作为投影变换的方法，可以使用例如具有视点变换功能的仿射变换。
似然度计算部14具有第1似然度计算部141、第2似然度计算部142和统一似然度计算部143。
第1似然度计算部141，基于第1相似度计算部12所算出的3D模型基础的相似度，计算与该3D模型基础相似度相对应的似然度(与“第1似然度”相对应)。此似然度是3D模型基础的方法中的表示脸姿势候选的准确率的值。具体的计算公式的例子如后所述。
第2似然度计算部142，基于第2相似度计算部13所算出的外观基础的相似度，计算与外观基础的相似度相对应的似然度(与“第2似然度”相对应)。此似然度是外观基础的方法中的表示脸姿势候选的准确率的值。具体的计算公式的例子如后所述。
统一似然度计算部143，使用第1似然度计算部141所算出的似然度和第2似然度计算部142所算出的似然度这两方，对表示构成脸姿势候选组的各脸姿势候选的准确率的统一似然度进行计算。另外，在脸器官被隐去等无法进行脸器官检测的情况下，由于无法计算3D模型基础的相似度，统一似然度计算部143只使用外观基础的相似度来计算统一似然度，从而可进行脸姿势的推定。另外，在由于某些理由不能计算外观基础的相似度的情况下，只使用3D模型基础的相似度来计算统一似然度，从而可进行脸姿势的推定。
作为使用两方似然度的具体的统一似然度的计算方法的例子，统一似然度计算部143，对于相同的脸姿势候选，通过使第1似然度计算部141所算出的似然度和第2似然度计算部142所算出的似然度相乘，来计算相对于所述脸姿势候选的统一似然度。这样通过使似然度之间相乘，可以将相互独立的3D模型基础的似然度和外观基础的似然度作为同时产生的似然度来定位。可以考虑通过采用这样同时产生的似然度，实现将3D模型基础与外观基础分别所具有的各个性能特性(后述)完善后的性能特性。另外，作为统一似然度的计算方法，并不仅限于乘法计算。
脸姿势推定部15，利用统一似然度计算部143所算出的统一似然度来对脸姿势进行推定。具体来说，脸姿势推定部15基于对应于统一似然度最高的脸姿势候选的脸姿势信息对脸姿势进行推定。或者，对于与脸姿势候选组的全部或一部分对应的脸姿势信息中所含有的各种数值，利用平均值、中间值以及根据统一似然度施行权重的平均值(重心)中的任一种来对脸姿势进行推定。例如，也可以对应所算出的最高统一似然度值来改变这些脸姿势推定方法。
脸姿势候选组生成部16，生成作为假设的脸姿势候选的集合即脸姿势候选组。具体来说，脸姿势候选组生成部16预先生成作为初始值的任意脸姿势候选组。在通过统一似然度计算部143计算出统一似然度后，为了对通过摄影依次输入的图像画面继续进行脸姿势推定的处理，而使用统一似然度较大的脸姿势候选组来生成下一个图像画面的脸姿势推定用的脸姿势候选组。
(实施例1：在可检测规定脸器官的范围内的脸姿势推定)
接着，参照图2至图10对脸姿势推定装置10所进行的脸姿势检测处理进行说明。在本实施例中，对于在可检测规定脸器官的范围内的脸姿势推定，以对驾驶车辆的驾驶员的脸姿势进行推定的情况作为例子来进行说明。其前提是利用在车辆内设置的摄影机对驾驶员的脸依次按时序进行摄影，将所摄影到的脸映像作为图像画面输入到脸姿势推定装置10。
在图2的Step100中，脸姿势推定装置10取得从输入接口依次输入的图像画面的1个画面图像。
在Step101中，脸器官检测部11从此画面图像来进行整体脸部的检测。画面图像的脸部检测可以使用例如辅助向量器等现存的脸检测技术来进行。
在Step102中，判断整体脸部检测是否成功，当判断为成功后进入Step103和Step107。当判断为失败时，再次回到Step100，取得下一个画面图像，重复进行Step101中的整体脸检测处理。
在Step102中，当判断整体脸部检测成功后，同时实施第1相似度计算部12进行的利用3D模型基础的相似度计算处理(Step103～105)和第2相似度计算部13进行的利用外观基础的相似度计算处理(Step107～109)。
首先，对第1相似度计算部12进行的利用3D模型基础的相似度计算处理的处理流程进行说明。在Step103中，利用Step101的整体脸部检测结果来设定各自的规定脸器官探索区域，进行脸器官检测。在脸器官探索区域内的脸器官检测可以使用例如辅助向量器等现存的检测技术来进行。
一旦在Step103中的脸器官检测处理结束，就会在Step105中取得下次的1个画面图像，再次重复Step103的脸器官检测处理。
当Step105和Step103的处理循环进行时，在Step103中，进行在Step106所设定的脸器官探索区域内的脸器官检测。另外，对Step106的处理在以后进行叙述。
在Step104中，将每次在Step103中进行脸器官检测所检测的脸器官的图像画面中的位置和在Step106中生成的脸器官坐标候选的位置的误差作为3D模型基础的相似度来计算。
接着，对第2相似度计算部13所进行的利用外观基础的相似度计算处理的流程进行说明。在Step107中设定脸图像的特征点。脸图像的特征点是指在给与时序的图像画面时，容易追踪其图像的特定位置的点。作为特征点设定方法的一个例子，利用Step101的整体脸部检测结果、或利用在Step106中所设定的特征点探索区域来决定图像画面内的脸面部上的特征点探索区域，在此区域中抽出亮度图像的边缘，从跨越该边缘的点对之中，选出多对两点间亮度误差较大的点，将这些点作为特征点。图3表示图面上的特征点探索区域设定的一个例子。如此例这样，选择图面上亮度变化大的脸器官区域、头发和脸面部的边缘区域、或者颚部区域等作为特征点探索区域。然后，如图4所示，将特征点探索区域内的亮度图像的边缘抽出，如图5所示，从跨越该边缘的点对中，选出两点间亮度误差较大的多对点，将这些点作为特征点。
在Step108中，取得下一个画面图像。
在Step109中，将Step106中生成的投影变换图像群分别和Step108中取得的画面图像的相对应特征点之间的亮度值的误差作为外观基础相似度来计算。
在Step106中，进行脸姿势追踪处理。
图6是表示Step106的脸姿势追踪处理的流程的图。主要参照图6，对Step106的脸姿势追踪处理进行详细地说明。
首先，预先准备好3维的脸形状模型。此3维脸形状模型是与实际对应的脸形状、例如日本成人男性的平均脸形状、或者是日本成人女性的平均脸形状等。另外，也可以是已测定的作为脸姿势推定对象的特定个人的脸形状。
在Step601中，脸姿势候选组生成部16，使用所述3维脸形状模型，对进行推定的6个变量的脸姿势、即、以正对摄影机的脸朝向为基准的摇头(左右转动)、点头(前后俯仰)、倾斜(左右倾斜)的3维和脸形状模型的中心位置(X坐标、Y坐标、Z坐标)的3维的共计6个变量，生成各自采用独立的随机数的脸姿势的分布(概率密度函数)。在本实施例中，将该脸姿势的分布生成为共计500(＝N)个，将脸姿势候选的集合作为脸姿势候选组，该脸姿势候选是表现各个这些分布的假设。
图7表示具有两眼内眼角和外眼角、两唇角等配置的3维脸形状模型的一个例子。在此3维脸形状模型的中，对于左右转动、前后俯仰、左右倾斜的脸朝向以及3维脸形状模型的中心坐标的位置，通过利用随机数来生成分布，从而生成500个脸姿势。此脸姿势的分布分别具有内眼角和外眼角、两嘴角等的3维配置。
在Step602中，通过将Step601中生成的500个3维的各脸姿势候选向图像画面上进行投影，来计算对应于各脸姿势候选的在图像画面内的脸器官的2维坐标。将对500个脸姿势候选所算出的该2维坐标作为脸器官坐标候选组。此脸器官坐标候选组，在图2所示的Step104中，用于将该脸器官坐标候选组分别与实际的脸器官的坐标之间的误差作为3D模型基础的相似度来计算。
图8表示在Step602中所算出的脸器官的2维坐标的分布的例子。此例是利用投影变换，将在Step601中生成的3维脸形状模型的内眼角和外眼角、唇角、鼻孔的3维配置的组合分布变换成图像画面内的2维坐标的分布，分布用白点来表示。
在Step605中，第1似然度计算部141，将在图2的Step104中所算出的500个3D模型基础的相似度分别用(1)式变换成似然度Pp。这里，(xm、ym)是从摄影所得的画面图像检测的脸器官的坐标，(xd、yd)是由500个脸器官坐标候选构成的脸器官坐标候选组。另外，σ表示由500个脸器官坐标候选构成的脸器官坐标候选组的标准偏差，e表示自然对数底。
(数1)
E p = 1 500 Σ 1 500 { ( x d - x m ) 2 + ( y d - y m ) 2 }
P p = e E p σ m 2 . . . ( 1 )
在Step603中，参照构成在Step601中生成的3维脸姿势候选组的各脸姿势候选的脸姿势信息。接着，求出相对于规定基准位置的此脸姿势信息的位移。通过基于求得的500个的各位移，将脸器官的检测对象的图像进行投影变换，将与此基准位置对应的脸画像生成为投影变换图像群。另外，基准位置可以使用每次处理图像画面更新的位置，也可以使用固定的基准位置。在图2的Step109中，该投影变换图像用于将该投影变换图像群分别和图像画面的相对应的特征点之间的亮度值误差作为外观基础相似度来计算。图9表示投影变换图像的一个例子。
在Step606中，第2似然度计算部142，将在Step609中算出的500个外观基础的相似度分别用(2)式变换成似然度Pi。其中，Id是从摄影所得的画面图像检测的脸面部特征点的亮度。Im是500个各投影变换图像的相对应特征点的亮度。另外，σ是表示由500个投影变换图像构成的投影变换图像群的标准偏差，e表示自然对数的底。
(数2)
E i = 1 500 Σ 1 500 ( I d - I m ) 2
P i = e E i σ a 2 . . . ( 2 )
在Step604中，统一似然度计算部143，对于在Step605中所算出的似然度和在Step606所算出的似然度，通过使对应于共同的脸姿势候选的似然度相乘，计算与在Step601中所生成的500个脸姿势候选分别对应的统一似然度。
如此，在Step605和Step606中，通过将3D模型基础的相似度(次元是距离)和外观基础的相似度(次元是亮度)变换成相同次元的似然度，从而能够在Step604中相乘而计算统一似然度。另外，当算出的统一似然度明显过低等而判断脸姿势的追踪不准确时，返回到Step100，从取得图像画面开始重新处理。
然后，在Step607中，从在Step604中与统一似然度对应的500个脸姿势候选中，根据对应的统一似然度的偏差，从高的开始，依次选出更少数的脸姿势候选组。
之后，再次返回到Step601的脸姿势候选组生成处理，脸姿势候选组生成部16，对于在Step607中选出的少数的脸姿势候选组，根据对应的统一似然度的权重，使脸姿势的6个变量上产生独立的随机数，再次生成由共计500个脸姿势候选构成的脸姿势候选组，进行下一个图像画面的处理，之后重复相同的处理。
在Step608中，从与Step604中所算出的统一似然度对应的500个脸姿势候选中，输出基于脸姿势信息所含有的各种数值的脸姿势，该脸姿势信息与该值最大的统一似然度对应。或者，将与脸姿势候选组对应的脸姿势信息中所含有的各种数值的重心、平均值、或中间值等作为所推定的脸姿势输出。
另外，在Step609中，对于与Step604中所算出的统一似然度对应的500个脸姿势候选，考虑采用统一似然度的加权，通过生成将各个脸姿势候选(3维脸器官坐标)投影到图像画面上的2维坐标的分布区域，对在图2的Step103中使用的脸器官探索区域和在Step107中使用的脸面部特征点探索区域进行设定。
(脸姿势推定处理)
接着，参照图10所示的处理流程，对在Step608中脸姿势推定部15进行的脸姿势推定处理进行说明。
从Step604输入500个脸姿势候选以及与脸姿势候选分别对应的统一似然度。
在Step801中，选出与此500个统一似然度中的最高似然度(以下称为“最高统一似然度”)对应的脸姿势候选。
另外，在Step802中，对于作为脸姿势候选的脸姿势信息的脸朝向3个变量和脸位置3个变量、共计6个变量，分别进行与500个脸姿势候选对应的统一似然度的加权的平均值即重心的计算，进而计算脸姿势。作为加权的方法，例如是相对于各变量将统一似然度相乘。另外，脸姿势并不只限重心，也可以为平均值、中间值。
然后，在Step803中，选择Step801的脸姿势推定结果或者Step802的脸姿势推定结果的其中一个结果，将所选择的推定结果作为脸姿势来输出。
当在所输入的脸图像的照明条件等良好、不发生手举到摄影机前面等图像一部分被隐去的状况下进行高精度脸姿势推定时，Step801的脸姿势推定结果是非常有效的，但是另一方面，在照明条件差且发生图像的一部分被隐去等状况下，直接受到例如脸器官的错误检测等影响，因此也会发生所推定的脸姿势在每1个画面中产生较大变化的情况。
另外，由于Step802的脸姿势推定结果是采用考虑了统一似然度的脸姿势候选组全体的运算结果的结果，对于急剧的脸姿势变化的对应响应会多少有些迟钝，但能够减少例如脸器官的错误检测等的影响，可以抑制推定的脸姿势在每一个画面中较大变化的现象。
在Step803中进行如下的选择，当例如在Step801中所选择出的最高统一似然度超过规定阈值、与最高统一似然度对应的脸姿势的推定能信赖的情况下，选择Step801的脸姿势推定结果，在没有超过规定阈值的情况下，选择从Step802的脸姿势候选组的分布重心所算出的脸姿势推定结果。能够通过将脸姿势候选组的分布重心作为脸姿势推定结果的一种选择而进行准备，由此构筑针对于脸器官的检测误差等的可靠的系统。
(实施例1的概括)
图11表示实施例1的脸姿势推定处理的流程概要。
在Step601中，生成在3D模型基础和外观基础双方中使用的共同的脸姿势候选组。
在Step602、104、605中，对于共同的脸姿势候选，计算3D模型基础的相似度和似然度。在Step603、109、606中，对于共同的脸姿势候选，计算外观基础的相似度和似然度。
然后，在Step604中，对3D模型基础的似然度和外观基础的似然度进行统一，计算对于共同的脸姿势候选的统一似然度。
在Step608中，将与最高统一似然度对应的脸姿势、或者似然度高的脸姿势候选组的中间值、平均值等作为推定结果来输出。
另外，在Step601中，在Step604中所算出的例如500个脸姿势候选中，只选择例如统一似然度高的50个，基于所选择的50个脸姿势候选，另外生成新的500个脸姿势候选。
如此，在Step604中，通过计算3D模型基础和外观基础的统一似然度，提高了脸姿势的推定精度，另外，利用此推定结果，在Step601中，可以生成在3D模型基础和外观基础双方中使用的共同的脸姿势候选组，从而能够初始脸姿势候选组的共同化。另外，在以往，对于各个脸姿势候选组用3D模型基础和外观基础各种方法进行脸姿势推定，因此脸姿势推定的精度不够，但利用性能特性(后述)具有补充关系的两个方法来对脸姿势进行推定，从而能够高精度地对脸姿势进行推定。
(实施例2：含有规定脸器官隐去的范围的脸姿势推定)
接着，对含有规定的脸器官隐去的范围的脸姿势推定的实施例进行说明。
作为一个例子，将用于对驾驶员的脸映像进行摄影的摄影机设置在仪表外壳上等的驾驶员的正面时，，将正面方向作为0度，当驾驶员横向的脸朝向(左右转动角)侧向左右大约60度以上时，在3维脸形状模型基础的脸姿势推定中一般使用的内眼角和外眼角、鼻孔和唇角会从摄影图像中隐去，无法进行3D模型基础的脸姿势推定。在本实施例中，对驾驶员的水平方向(左右转动方向)的脸朝向从正面方向开始朝向横向、超过60度而侧向时的脸姿势推定进行说明。
当驾驶员的脸朝向从正面方向到横向60度以内时，可以在摄影机所摄影的画面图像内的脸图像中对规定脸器官进行检测，因此如实施例中所说明的，在如图2所示的全体处理流程中，Step103、Step104、Step105、Step106的循环与Step107、Step108、Step109、Step106的循环共同动作。
然后，在Step106中，使用在Step104中所算出的3D模型基础的相似度与在Step109中所算出的外观基础的相似度双方而计算统一似然度，例如实施利用粒子过滤器等的脸姿势追踪处理，将脸姿势推定值作为此脸姿势追踪处理的结果来输出。
接着，对脸进一步朝向横向、超过60度的情况进行说明。
当向左右横向的脸朝向超过大约60度时，在摄影机所摄影的画面图像内的脸图像中，一半的脸器官开始被隐去，因此无法进行规定脸器官的检测。
一旦成为这样的状况，就无法进行Step103和Step104的处理，因此在Step106中，只将在Step109中所算出的外观基础的相似度作为用于脸姿势推定的似然度，来实施脸姿势追踪处理，作为其结果，输出脸姿势推定值。
(实施例3：规定脸器官始终隐去时的脸姿势推定)
接着，对规定脸器官始终隐去时的脸姿势推定的实施例进行说明，规定脸器官始终隐去时是指，例如驾驶员的太阳镜等穿戴而使内眼角和外眼角隐去或者口罩等穿戴而使唇角隐去等情况
在这种状况下，由于规定脸器官始终被隐去，因此在图2所示的全体处理流程中，Step100、Step101、Step102的整体脸检测和Step107、Step108、Step109、Step106的循环进行动作，但Step103、Step104、Step105、Step106的循环则一次也不会动作。
在Step107、Step108、Step109、Step106的循环中，只推定来自Step106中所设定的特征点的脸姿势位移量。为此，为了计算作为绝对值的脸姿势，基准位置变得必需。在通常的情况下，只要通过Step103、Step104、Step105、Step106的循环来实施一次3D模型基础的脸姿势推定处理，就可以得到此基准位置。
在此实施例情况中，由于驾驶员穿戴有太阳镜、口罩，因此，Step103、Step104、Step105、Step106的循环一次也无法实施，也无法得到基准位置。
为了解决该问题，由于作为驾驶员的驾驶中的脸朝向，可以推定频率最高的是正面方向，因此在Step106中求出过去某个区间的脸姿势位移的历史，将在其位移直方图中频率最高的脸朝向作为正面方向(左右转动角)0度来设定基准位置。然后，添加来自与此基准位置对应的画面图像的脸姿势位移量，从而实施脸姿势推定处理。
(推定数据)
图12表示使用本发明方法在从脸的正面方向向横向转动超过60度的范围内对脸姿势进行推定的结果。图表的横轴表示图像画面编号(时间)、纵轴表示将从脸的正面方向横向(左右转动方向)转动60度的位置作为基准(0度)、脸从该基准在横向位移的角度。实线表示实际的脸姿势，点的分布表示由脸姿势推定装置10输出的脸姿势推定结果。如从图中所判断那样，即使在无法对脸器官进行检测的、从脸的正面方向向横向转动超过60度的范围内，也能够以10度以内的误差对脸姿势进行推定。
图13表示使用本发明的方法进行脸姿势的左右转动角推定的结果。其中，将(1)式表示的3D模型基础的似然度Pp的系数值σm设为16(σm 2＝256)来进行推定。图像的纵轴表示脸姿势的左右转动角，将脸的正面方向作为0°，+方向表示右方，-方向表示左方。图像的横轴表示所经过的时间。实线表示实际的脸姿势，点的分布表示由脸姿势推定装置10输出的脸姿势推定结果。在这种情况下，脸姿势从脸正面方向(0°)开始，之后，经过约10秒开始朝向左，直到经过约23秒后向左方约90°时开始向正面方向返回，经过约42秒后返回正面方向，就这样开始朝向右方，直到约50秒后向右方约90°。如此图所示，对于左右方向约90度的全部方向，都能够以10度以内的误差对脸姿势进行推定。
图14表示在对图13的3D模型基础的似然度特性改变时的脸姿势的左右转动角推定结果。在图14中，将(1)式所示的3D模型基础的似然度Pp的系数值σm设为1(σm 2＝1)来进行推定。另外，使用与图13相同的外观基础的似然度特性。
在图14中，与图13一样，对于共同的脸姿势候选组使用采用有3D模型基础和外观基础的统一似然度，由此使脸姿势推定的性能实现飞跃地提高。但是，可以确认与图13相比时其推定精度较低。
在3D模型基础中，对于脸姿势候选组的似然度分布特性是由(1)式表示的3D模型基础的似然度Pp的系数值σm 2决定，其结果，例如做成只考虑通过使σm 2的值变小而使位置误差小的似然度，从而对于推定脸姿势，强调灵敏但追踪鲁棒性弱的特性，或者与之相反，做成考虑通过使σm 2的值变大而使位置误差大的似然度，从而对于推定脸姿势，具有迟钝但追踪鲁棒性强的特性倾向等，可以使精度灵敏性和推定鲁棒性的特性变化。
另外，在外观基础中，对于脸姿势候选组的似然度分布特性由(2)式所示的外观基础的似然度Pi的系数值σa 2定，其结果，例如做成只考虑通过使σa 2的值变小而使位置误差小的似然度，从而对于推定脸姿势，具有灵敏但追踪鲁棒性弱的特性，或者与之相反，做成考虑通过使σa 2的值变大而使位置距离大的似然度，由此，对于推定脸姿势，强调迟钝但追踪鲁棒性强的特性倾向等，可以使精度灵敏性和推定鲁棒性的特性变化。
而且，通过对3D模型基础的脸姿势推定的似然度特性和外观基础的脸姿势推定的似然度特性进行分别调整，可以得到最有效的统一似然度。对于3D模型基础和外观基础各自的最佳的似然度特性可以这样求得，尝试几种特性的组合，在这些组合中找出最佳的组合。
另外，在上述中，虽然用图13和图14来表示只改变3D模型基础的似然度特性而产生的影响，但也可以改变外观基础的似然度特性，或者改变3D模型基础和外观基础双方的似然度特性，而求出最有效的统一似然度。
与图13所示的本发明方式相比，在图15中表示只通过3D模型基础对脸姿势的左右转动角进行推定的结果。这里，与图13相同，将(1)式所示的3D模型基础的似然度Pp的系数值σm设为16(σm 2＝256)进行推定。如图15所示，在较多的脸器官从图面中隐去即超过60°、约21秒之后无法进行脸姿势推定。另外，即使在60°以内，仅采用3D模型基础会使推定精度差，可以确认使用与本发明的外观基础一起的统一似然度的效果。
与图14所示的本发明方式相比，在图16中表示只通过3D模型基础对脸姿势的左右转动角进行推定的结果。在图16中，与图14一样，将(1)式所示的3D模型基础的似然度Pp的σm设为1(σm 2＝1)进行推定。在图16中，与将图15所示的系数值σm设为16时的3D模型基础的脸姿势左右转动角推定结果相比，从开始直到约10秒后和从38秒后直到约45秒后的推定结果中，较大值没有变动，且精度提高。与这相反，追踪鲁棒性变弱，在图15中一直到约21秒后都可以进行推定，但在图16中，约18秒后就无法进行推定。即，通过改变似然度特性，与图15所示的推定结果相比，对于推定脸姿势，强调灵敏但追踪鲁棒性弱的特性。
与图13以及图14所示的本发明方式相比，在图17中表示只通过外观基础对脸姿势的左右转动角进行推定的推定结果。在图17中，使用与图13和图14相同的外观基础的似然度特性。可知，由于外观基础的脸姿势推定没有使用特定的脸器官坐标，因此，即使在左右转动角超过约60°时，脸姿势的推定也可以进行。然而，由于在外观基础的脸姿势推定中，仅使用2维图像式样的投影变换信息，因此推定精度不高，可以确认使用与本发明的3D模型基础一起的统一似然度的效果。。
从图15～图17所示的单独方法的推定结果可知，一般来讲，3D模型基础的脸姿势推定具有对于精度灵敏地反应但对于推定的鲁棒性弱的特性。另一方面，外观基础的脸姿势推定具有对于精度迟钝但对于推定的鲁棒性强的特性。
对此，如图13和图14所示，本发明方式的脸姿势推定，与采用3D模型基础和外观基础的各自的推定结果相比，具有非常高的精度。
作为其理由，对于共同脸姿势候选组用似然度级别统一3D模型基础和外观基础，由此能组合以下两者的较好特性：3D模型基础所具有的对推定精度灵敏但鲁棒性弱的特性和外观基础所具有的对推定精度迟钝但鲁棒性强的特性，其结果，可以实现对推定精度灵敏且鲁棒性强的特性。
另外，即使在只利用3D模型基础的脸姿势推定中不能进行推定的约21秒后直到35秒后的脸姿势推定中，对于脸姿势推定没有足够的脸器官数，将使用在图面上可以检测到的一部分脸器官坐标的似然度与外观基础的似然度统一，使用共同的脸姿势候选组，由此与只使用外观基础的脸姿势推定相比，也可以实现高精度的推定。
在上面的例子中能够表示，一般来说，3D模型基础的脸姿势推定具有对于精度灵敏地反应但对于推定的鲁棒性弱的特性，另一方面，外观基础的脸姿势推定具有对于精度迟钝但对于推定的鲁棒性强的特性。而且，通过对于共同的脸姿势候选组用似然度级别来统一该两者，能够将各自优良的特性进行组合，从而可以实现对推定精度灵敏且鲁棒性强的特性。
如以上说明那样，脸姿势推定装置10，使用与3D模型基础相似度对应的似然度和与外观基础相似度对应的似然度，来计算统一似然度，用算出的统一似然度对脸姿势进行推定，因此，相比于分别使用与3D模型基础相似度对应的似然度和与外观基础相似度对应的似然度来对脸姿势进行推定，可以进行高精度的脸姿势推定。在以往，采用各种方法对于各个脸姿势候选组推定脸姿势，因此脸姿势推定的精度不够，但通过采用性能特性具有补充关系的两种方法来对脸姿势进行推定，能够高精度地对脸姿势进行推定。即，3D模型基础和外观基础具有以下的补充关系：在可以精度良好地检测规定脸器官的条件中，3D模型基础可以进行高精度的脸姿势推定，但当规定的脸器官的检测误差较大时，脸姿势推定的性能急剧地变差，另外在不能进行规定的脸器官检测的脸朝向范围内无法对应。另一方面，在外观基础中由于仅将2维的脸图像作为对象，因此与3D模型基础相比，脸姿势推定精度差，但不使用规定的脸器官检测坐标，因此不会对脸器官检测误差有直接的影响，另外也没有在脸朝向范围的限制。
另外，在所述的实施例中，作为具有补充关系的方法，对外观基础和3D模型基础进行了说明，但与这些方法一样具有补充关系的其他名称的方法也当然可以在本发明中适用。
另外，在一方的似然度没有计算时，可以只使用算出的那一方的似然度来计算所述统一似然度，因此在无法进行脸器官检测的情况下，也能够对脸姿势进行推定。本发明并不限于驾驶员等使用者，也可以在使用者未穿戴器具而眼睛、鼻子、嘴隐去的范围进行脸姿势的推定。另外，即使在带着眼镜、发型变化等使既定的脸器官隐去的情况下，也可以进行脸姿势的推定。
产业上的利用可能性
本发明在从图像无法检测脸器官的情况下也能够对脸姿势进行检测，可以用来支持车辆驾驶员的安全驾驶。
权利要求书(按照条约第19条的修改)
1.一种脸姿势推定装置，根据对脸按时序进行摄影所得到的脸图像来对脸姿势进行推定，该脸姿势至少表示所述脸的朝向，该脸姿势推定装置的特征在于，具有：
脸器官检测单元，其根据所述脸图像对脸器官进行检测；
脸姿势候选组生成单元，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；
第1相似度计算单元，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成单元所生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；
第2相似度计算单元，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成单元所生成的脸姿势候选组的各个脸图像以及由于所述脸器官检测单元而成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；
第1似然度计算单元，计算与所述第1相似度计算单元所算出的第1相似度对应的第1似然度；
第2似然度计算单元，计算与所述第2相似度计算单元所算出的第2相似度对应的第2似然度；
统一似然度计算单元，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；
脸姿势推定单元，基于由所述统一似然度计算单元算出的统一似然度为最高的脸姿势候选，对脸姿势进行推定；
所述统一似然度反映到所述脸姿势候选生成单元所生成的脸姿势候选组的新的更新生成。
2.如权利要求1所述的脸姿势推定装置，其特征在于，所述统一似然度计算单元，当所述第1似然度或所述第2似然度中的任一个无法计算时，只使用所算出的一方的似然度来计算所述统一似然度。
3.如权利要求1或2所述的脸姿势推定装置，其特征在于，所述第1相似度计算单元和所述第2相似度计算单元具有对各性能特性进行补充的补充关系。
4.如权利要求1至3中的任一项所述的脸姿势推定装置，其特征在于，所述统一似然度计算单元，将所述第1似然度和所述第2似然度相乘。
5.如权利要求1至4中的任一项所述的脸姿势推定装置，其特征在于，所述第1相似度计算单元是采用3维脸形状模型基础的相似度计算单元，所述第1参数是位置的误差，所述第2相似度计算单元是采用投影变换外观基础的相似度计算单元，所述第2参数是像素值的误差。
6.(删除)
7.如权利要求1至5中的任一项所述的脸姿势推定装置，其特征在于，所述脸姿势推定单元，替代基于所述统一似然度计算单元所算出的统一似然度为最高的脸姿势候选来对脸姿势进行推定，而基于数值的平均值、中间值以及施行了采用所述统一似然度的加权的平均值即重心中的任一个来对脸姿势进行推定，该数值基于所述脸姿势候选组生成单元所生成的脸姿势候选组的至少一部分。
8.如权利要求1至5中的任一项所述的脸姿势推定装置，其特征在于，当所述统一似然度计算单元所算出的最高统一似然度超过规定阈值时，所述脸姿势推定单元基于与所述最高统一似然度对应的脸姿势候选来对脸姿势进行推定，
当所述最高统一似然度在规定阈值以下时，所述脸姿势推定单元基于数值的平均值、中间值以及施行了采用所述统一似然度的加权的平均值即重心中的任一个来对脸姿势进行推定，该数值基于所述脸姿势候选组生成单元所生成的脸姿势候选组的至少一部分。
9.如权利要求1至5、7、8中的任一项所述的脸姿势推定装置，其特征在于，所述脸姿势候选组生成单元，基于与所述统一似然度计算单元所算出的统一似然度中的较高统一似然度对应的脸姿势候选组，生成在下次的所述第1相似度和所述第2相似度的计算中使用的脸姿势候选组。
10.如权利要求1至5、7至9中的任一项所述的脸姿势推定装置，其特征在于，所述脸图像是对车辆驾驶员的脸进行摄影所得到的图像。
11.一种车辆，具有如权利要求1至5、7至10中的任一项所述的脸姿势推定装置。
12.一种脸姿势推定方法，根据对脸按时序进行摄影所得到的脸图像来对脸姿势进行推定，该脸姿势至少表示所述脸的朝向，该脸姿势推定方法的特征在于，具有：
脸器官检测步骤，其根据所述脸图像对脸器官进行检测；
脸姿势候选组生成步骤，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；
第1相似度计算步骤，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成步骤中生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；
第2相似度计算步骤，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成步骤中生成的脸姿势候选组的各个脸图像以及在所述脸器官检测步骤中成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；
第1似然度计算步骤，计算与所述第1相似度计算步骤中算出的第1相似度对应的第1似然度；
第2似然度计算步骤，计算与所述第2相似度计算步骤中算出的第2相似度对应的第2似然度；
统一似然度计算步骤，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；
脸姿势推定步骤，基于所述统一似然度计算步骤中算出的统一似然度为最高的脸姿势候选，对脸姿势进行推定。
13.一种脸姿势推定程序，其特征在于，用于使计算机执行以下步骤：
脸器官检测步骤，其根据对脸按时序进行摄影所得到的脸图像对脸器官进行检测；
脸姿势候选组生成步骤，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；
第1相似度计算步骤，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成步骤中生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；
第2相似度计算步骤，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成步骤中生成的脸姿势候选组的各个脸图像以及在所述脸器官检测步骤中成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；
第1似然度计算步骤，计算与所述第1相似度计算步骤中算出的第1相似度对应的第1似然度；
第2似然度计算步骤，计算与所述第2相似度计算步骤中算出的第2相似度对应的第2似然度；
统一似然度计算步骤，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；
脸姿势推定步骤，基于所述统一似然度计算步骤中算出的统一似然度为最高的脸姿势候选，对脸姿势进行推定。

Claims (13)

1.一种脸姿势推定装置，根据对脸按时序进行摄影所得到的脸图像来对脸姿势进行推定，该脸姿势至少表示所述脸的朝向，该脸姿势推定装置的特征在于，具有：
脸器官检测单元，其根据所述脸图像对脸器官进行检测；
脸姿势候选组生成单元，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；
第1相似度计算单元，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成单元所生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；
第2相似度计算单元，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成单元所生成的脸姿势候选组的各个脸图像以及由于所述脸器官检测单元而成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；
第1似然度计算单元，计算与所述第1相似度计算单元所算出的第1相似度对应的第1似然度；
第2似然度计算单元，计算与所述第2相似度计算单元所算出的第2相似度对应的第2似然度；
统一似然度计算单元，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；
脸姿势推定单元，使用由所述统一似然度计算单元算出的统一似然度对脸姿势进行推定；
所述统一似然度反映到所述脸姿势候选生成单元所生成的脸姿势候选组的新的更新生成。
2.如权利要求1所述的脸姿势推定装置，其特征在于，所述统一似然度计算单元，当所述第1似然度或所述第2似然度中的任一个无法计算时，只使用所算出的一方的似然度来计算所述统一似然度。
3.如权利要求1或2所述的脸姿势推定装置，其特征在于，所述第1相似度计算单元和所述第2相似度计算单元具有对各性能特性进行补充的补充关系。
4.如权利要求1至3中的任一项所述的脸姿势推定装置，其特征在于，所述统一似然度计算单元，将所述第1似然度和所述第2似然度相乘。
5.如权利要求1至4中的任一项所述的脸姿势推定装置，其特征在于，所述第1相似度计算单元是采用3维脸形状模型基础的相似度计算单元，所述第1参数是位置的误差，所述第2相似度计算单元是采用投影变换外观基础的相似度计算单元，所述第2参数是像素值的误差。
6.如权利要求1至5中的任一项所述的脸姿势推定装置，其特征在于，所述脸姿势推动单元，基于所述统一似然度计算单元所算出的统一似然度为最高的脸姿势候选来对脸姿势进行推定。
7.如权利要求1至5中的任一项所述的脸姿势推定装置，其特征在于，所述脸姿势推定单元，基于数值的平均值、中间值以及施行了采用所述统一似然度的加权的平均值即重心中的任一个来对脸姿势进行推定，该数值基于所述脸姿势候选组生成单元所生成的脸姿势候选组的至少一部分。
8.如权利要求1至5中的任一项所述的脸姿势推定装置，其特征在于，当所述统一似然度计算单元所算出的最高统一似然度超过规定阈值时，所述脸姿势推定单元基于与所述最高统一似然度对应的脸姿势候选来对脸姿势进行推定，
当所述最高统一似然度在规定阈值以下时，所述脸姿势推定单元基于数值的平均值、中间值以及施行了采用所述统一似然度的加权的平均值即重心中的任一个来对脸姿势进行推定，该数值基于所述脸姿势候选组生成单元所生成的脸姿势候选组的至少一部分。
9.如权利要求1至8中的任一项所述的脸姿势推定装置，其特征在于，所述脸姿势候选组生成单元，基于与所述统一似然度计算单元所算出的统一似然度中的较高统一似然度对应的脸姿势候选组，生成在下次的所述第1相似度和所述第2相似度的计算中使用的脸姿势候选组。
10.如权利要求1至9中的任一项所述的脸姿势推定装置，其特征在于，所述脸图像是对车辆驾驶员的脸进行摄影所得到的图像。
11.一种车辆，具有如权利要求1至10中的任一项所述的脸姿势推定装置。
12.一种脸姿势推定方法，根据对脸按时序进行摄影所得到的脸图像来对脸姿势进行推定，该脸姿势至少表示所述脸的朝向，该脸姿势推定方法的特征在于，具有：
脸器官检测步骤，其根据所述脸图像对脸器官进行检测；
脸姿势候选组生成步骤，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；
第1相似度计算步骤，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成步骤中生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；
第2相似度计算步骤，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成步骤中生成的脸姿势候选组的各个脸图像以及在所述脸器官检测步骤中成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；
第1似然度计算步骤，计算与所述第1相似度计算步骤中算出的第1相似度对应的第1似然度；
第2似然度计算步骤，计算与所述第2相似度计算步骤中算出的第2相似度对应的第2似然度；
统一似然度计算步骤，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；
脸姿势推定步骤，使用所述统一似然度计算步骤中算出的统一似然度对脸姿势进行推定。
13.一种脸姿势推定程序，其特征在于，用于使计算机执行以下步骤：
脸器官检测步骤，其根据对脸按时序进行摄影所得到的脸图像对脸器官进行检测；
脸姿势候选组生成步骤，其生成作为脸姿势候选的集合的脸姿势候选组，该脸姿势候选是所推定的脸姿势的候选；
第1相似度计算步骤，计算根据第1参数的第1相似度，所述第1参数与所述脸姿势候选组生成步骤中生成的脸姿势候选组的各个脸器官的各个位置以及所述脸器官检测单元所检测到的实际脸器官的各个位置对应；
第2相似度计算步骤，计算根据与像素值对应的第2参数的第2相似度，所述像素值对应于所述脸姿势候选生成步骤中生成的脸姿势候选组的各个脸图像以及在所述脸器官检测步骤中成为检测对象的实际的脸图像的、与各个规定的基准姿势之间的位移；
第1似然度计算步骤，计算与所述第1相似度计算步骤中算出的第1相似度对应的第1似然度；
第2似然度计算步骤，计算与所述第2相似度计算步骤中算出的第2相似度对应的第2似然度；
统一似然度计算步骤，使用所述第1似然度和所述第2似然度，计算表示所述脸姿势候选组各个准确率的统一似然度；
脸姿势推定步骤，使用所述统一似然度计算步骤中算出的统一似然度对脸姿势进行推定。
CN2009801026557A 2008-01-16 2009-01-16 脸姿势推定装置以及脸姿势推定方法 Expired - Fee Related CN101952853B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008007270 2008-01-16
JP2008-007270 2008-01-16
PCT/JP2009/050543 WO2009091029A1 (ja) 2008-01-16 2009-01-16 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム

Publications (2)

Publication Number Publication Date
CN101952853A true CN101952853A (zh) 2011-01-19
CN101952853B CN101952853B (zh) 2013-05-15

Family

ID=40885411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801026557A Expired - Fee Related CN101952853B (zh) 2008-01-16 2009-01-16 脸姿势推定装置以及脸姿势推定方法

Country Status (6)

Country Link
US (1) US8401251B2 (zh)
EP (1) EP2234062A4 (zh)
JP (1) JP4728432B2 (zh)
KR (1) KR101169533B1 (zh)
CN (1) CN101952853B (zh)
WO (1) WO2009091029A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020952A (zh) * 2011-07-08 2013-04-03 佳能株式会社 信息处理设备和信息处理方法
CN107408290A (zh) * 2015-07-09 2017-11-28 瑞穗情报综研株式会社 增龄化预测系统、增龄化预测方法以及增龄化预测程序
CN107831904A (zh) * 2012-05-02 2018-03-23 三星电子株式会社 电子设备及其操作方法
CN109740659A (zh) * 2018-12-28 2019-05-10 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备、存储介质
CN110537207A (zh) * 2017-03-10 2019-12-03 三菱电机株式会社 脸部朝向推定装置及脸部朝向推定方法
CN113879321A (zh) * 2020-07-02 2022-01-04 丰田自动车株式会社 驾驶员监视装置及驾驶员监视方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
CN101952853B (zh) * 2008-01-16 2013-05-15 旭化成株式会社 脸姿势推定装置以及脸姿势推定方法
US8401239B2 (en) * 2009-03-30 2013-03-19 Mitsubishi Electric Research Laboratories, Inc. Object tracking with regressing particles
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
JP5340228B2 (ja) * 2010-06-21 2013-11-13 日本電信電話株式会社 状態推定装置、状態推定方法、およびプログラム
WO2012175785A1 (en) 2011-06-20 2012-12-27 Nokia Corporation Methods, apparatuses and computer program products for performing accurate pose estimation of objects
US9607008B2 (en) 2011-06-30 2017-03-28 Nec Corporation Analysis engine control device
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
CN103177269B (zh) 2011-12-23 2017-12-15 北京三星通信技术研究有限公司 用于估计对象姿态的设备和方法
KR101791604B1 (ko) 2012-09-11 2017-10-30 삼성전자주식회사 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체
JP2014116716A (ja) * 2012-12-07 2014-06-26 Samsung Display Co Ltd 追尾装置
TWI492193B (zh) * 2013-06-14 2015-07-11 Utechzone Co Ltd 觸發訊號的方法及車用電子裝置
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
JP6304999B2 (ja) * 2013-10-09 2018-04-04 アイシン精機株式会社 顔検出装置、方法およびプログラム
US9558396B2 (en) 2013-10-22 2017-01-31 Samsung Electronics Co., Ltd. Apparatuses and methods for face tracking based on calculated occlusion probabilities
EP3134847A1 (en) 2014-04-23 2017-03-01 Google, Inc. User interface control using gaze tracking
US9727776B2 (en) * 2014-05-27 2017-08-08 Microsoft Technology Licensing, Llc Object orientation estimation
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
JP6350145B2 (ja) * 2014-09-09 2018-07-04 株式会社デンソーアイティーラボラトリ 顔向き検出装置及び車両用警告システム
JP6444283B2 (ja) * 2015-08-31 2018-12-26 セコム株式会社 姿勢判定装置
CN106778453B (zh) 2015-11-25 2020-05-12 腾讯科技（深圳）有限公司 人脸图像中检测眼镜佩戴的方法及装置
WO2017130407A1 (ja) * 2016-01-29 2017-08-03 パイオニア株式会社 情報生成装置、情報生成方法、情報生成プログラム及び記録媒体
TWI625687B (zh) * 2016-11-01 2018-06-01 緯創資通股份有限公司 互動式服飾試穿方法及其顯示系統與電腦可讀取記錄媒體
JP2018092273A (ja) 2016-11-30 2018-06-14 富士通株式会社 姿勢推定方法、姿勢推定プログラム及び姿勢推定装置
JP6971582B2 (ja) * 2017-02-16 2021-11-24 アルパイン株式会社 状態検出装置、状態検出方法、及びプログラム
CN110892452A (zh) * 2017-05-04 2020-03-17 Mim软件有限公司 用于预测性融合的系统和方法
CN109151540B (zh) * 2017-06-28 2021-11-09 武汉斗鱼网络科技有限公司 视频图像的交互处理方法及装置
JP2019046141A (ja) 2017-09-01 2019-03-22 アルパイン株式会社 運転者監視装置、運転者監視方法、及びプログラム
KR102301599B1 (ko) 2017-09-09 2021-09-10 애플 인크. 생체측정 인증의 구현
JP6927495B2 (ja) * 2017-12-12 2021-09-01 株式会社テイクアンドシー 人物評価装置、プログラム、及び、方法
US10964056B1 (en) * 2018-05-18 2021-03-30 Apple Inc. Dense-based object tracking using multiple reference images
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
US10976989B2 (en) 2018-09-26 2021-04-13 Apple Inc. Spatial management of audio
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11100349B2 (en) * 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
JP7354693B2 (ja) * 2019-08-29 2023-10-03 オムロン株式会社 顔向き推定装置及び方法
KR102533777B1 (ko) * 2021-04-07 2023-05-17 중앙대학교 산학협력단 단일 영상을 이용한 업샘플링 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
WO2002007095A1 (fr) 2000-07-17 2002-01-24 Mitsubishi Denki Kabushiki Kaisha Dispositif de representation en 3d du visage et dispositif de reconnaissance peripherique comprenant ce dernier
JP2006227739A (ja) 2005-02-15 2006-08-31 Toyota Motor Corp 画像処理装置及び画像処理方法
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
KR100714724B1 (ko) * 2005-08-17 2007-05-07 삼성전자주식회사 얼굴 포즈 추정 장치와 추정 방법 그리고 상기 방법에 의한얼굴 인식 시스템
US7755619B2 (en) * 2005-10-13 2010-07-13 Microsoft Corporation Automatic 3D face-modeling from video
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
CN101952853B (zh) * 2008-01-16 2013-05-15 旭化成株式会社 脸姿势推定装置以及脸姿势推定方法
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020952A (zh) * 2011-07-08 2013-04-03 佳能株式会社 信息处理设备和信息处理方法
CN103020952B (zh) * 2011-07-08 2015-11-18 佳能株式会社 信息处理设备和信息处理方法
US9279661B2 (en) 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN107831904A (zh) * 2012-05-02 2018-03-23 三星电子株式会社 电子设备及其操作方法
CN107408290A (zh) * 2015-07-09 2017-11-28 瑞穗情报综研株式会社 增龄化预测系统、增龄化预测方法以及增龄化预测程序
CN110537207A (zh) * 2017-03-10 2019-12-03 三菱电机株式会社 脸部朝向推定装置及脸部朝向推定方法
CN110537207B (zh) * 2017-03-10 2023-04-21 三菱电机株式会社 脸部朝向推定装置及脸部朝向推定方法
CN109740659A (zh) * 2018-12-28 2019-05-10 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备、存储介质
CN109740659B (zh) * 2018-12-28 2021-07-27 浙江商汤科技开发有限公司 一种图像匹配方法及装置、电子设备、存储介质
CN113879321A (zh) * 2020-07-02 2022-01-04 丰田自动车株式会社 驾驶员监视装置及驾驶员监视方法
CN113879321B (zh) * 2020-07-02 2024-06-04 丰田自动车株式会社 驾驶员监视装置及驾驶员监视方法

Also Published As

Publication number Publication date
JP4728432B2 (ja) 2011-07-20
KR101169533B1 (ko) 2012-07-30
CN101952853B (zh) 2013-05-15
KR20100094560A (ko) 2010-08-26
EP2234062A1 (en) 2010-09-29
WO2009091029A1 (ja) 2009-07-23
US8401251B2 (en) 2013-03-19
US20110052013A1 (en) 2011-03-03
JPWO2009091029A1 (ja) 2011-05-26
EP2234062A4 (en) 2011-06-01

Similar Documents

Publication Publication Date Title
CN101952853B (zh) 脸姿势推定装置以及脸姿势推定方法
EP3477254B1 (en) Apparatus for producing 3d a point-cloud model of a physical object and producing method thereof
US11631213B2 (en) Method and system for real-time 3D capture and live feedback with monocular cameras
Decarlo et al. Optical flow constraints on deformable models with applications to face tracking
US7486808B2 (en) Image processing device, image processing method and image processing program
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
CN104850773B (zh) 用于智能移动终端的用户身份认证方法
US10467793B2 (en) Computer implemented method and device
CN108229284A (zh) 视线追踪及训练方法和装置、系统、电子设备和存储介质
US10650564B1 (en) Method of generating 3D facial model for an avatar and related device
US7027618B2 (en) Head motion estimation from four feature points
WO2014093706A1 (en) Generation of a three-dimensional representation of a user
CN107103309A (zh) 一种基于图像识别的学生坐姿检测与纠正系统
US20200327726A1 (en) Method of Generating 3D Facial Model for an Avatar and Related Device
CN109840019A (zh) 虚拟人物的控制方法、装置及存储介质
CN111696140A (zh) 基于单目的三维手势追踪方法
CN106570747A (zh) 结合手势识别的眼镜在线适配方法及系统
CN113673494B (zh) 人体姿态标准运动行为匹配方法及系统
CN111836072B (zh) 视频处理方法、装置、设备和存储介质
Marinescu et al. A versatile 3d face reconstruction from multiple images for face shape classification
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、系统和处理器
CN112991152A (zh) 一种图像处理方法、装置、电子设备和存储介质
US11954943B2 (en) Method for generating synthetic data
CN117649283B (zh) 一种虚拟试衣系统和虚拟试衣方法
CN112258280B (zh) 一种提取多角度头像生成展示视频的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130515

Termination date: 20200116