CN103793680B - 用于估计头部姿势的设备和方法 - Google Patents

用于估计头部姿势的设备和方法 Download PDF

Info

Publication number
CN103793680B
CN103793680B CN201210420900.2A CN201210420900A CN103793680B CN 103793680 B CN103793680 B CN 103793680B CN 201210420900 A CN201210420900 A CN 201210420900A CN 103793680 B CN103793680 B CN 103793680B
Authority
CN
China
Prior art keywords
head
deflection
zone
line
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210420900.2A
Other languages
English (en)
Other versions
CN103793680A (zh
Inventor
刘荣
陈茂林
张帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201210420900.2A priority Critical patent/CN103793680B/zh
Priority to KR1020130057562A priority patent/KR20140055935A/ko
Priority to US14/065,833 priority patent/US9406135B2/en
Publication of CN103793680A publication Critical patent/CN103793680A/zh
Application granted granted Critical
Publication of CN103793680B publication Critical patent/CN103793680B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供一种用于估计头部姿势的设备和方法，所述设备包括：头部区域提取单元，用于从输入的深度图像提取头部区域；头部俯仰角估计单元，用于在头部区域中估计头部俯仰角；头部偏转角估计单元，用于在头部区域中估计头部偏转角；头部姿势合成单元，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势。根据所述设备和方法，可不受光照变化影响而取得良好的头部姿势识别效果。

Description

用于估计头部姿势的设备和方法
技术领域
本申请涉及对人体的头部姿势的估计，尤其涉及一种基于深度图像来估计头部姿势的设备和方法。
背景技术
随着计算机视觉技术以及模式识别技术的发展，人体姿势识别在许多领域得以广泛地应用。例如，人体姿势识别技术可应用于人机交互，从而更为直观地操控设备。具体说来，基于头部姿势识别技术的人机交互方式可在游戏的虚拟场景中增加玩家的乐趣，也可在安全驾驶支持系统中很好地反映出用户的关注点。此外，头部的姿势识别结果可被用于头部驱动的动画中，也可被用于实现自然的三维(3D)交互操作。在很多情况下，对于视线的检测是进行人机交互的关键，而头部的姿势识别又是视线检测的基础，其中，头部的姿势识别结果可作为视线检测的重要参考。
在现有的头部姿势识别技术中，很大一部分是从彩色图像或红外图像中识别出头部姿势。当从彩色图像识别头部姿势时，姿势识别结果受光照变化的影响很大，而且在背景内容比较复杂时，姿势识别效果也会明显受到影响。而当从红外图像识别头部姿势时，虽然姿势识别结果完全不受光照影响，但复杂的背景内容却会严重影响姿势识别结果。
实际中，不论从何种类型的图像数据来识别头部姿势，主要采用以下三种方式来实现头部姿势识别：
第一、基于机器学习的头部姿势识别方式，该方式主要包括获取各种头部姿势的大量头部图像以构建头部姿势数据库，并基于该数据库训练出多样化空间以表示不同的头部姿势。在完成训练过程之后，输入的头部图像则可被映射到所述多样化空间以得出与其相应的头部姿势，作为识别的结果。然而，根据这种方式，为了描述数据库中的不同头部姿势，需要提取局部特征，因此，输入的头部图像的分辨率必须足够高，以满足局部特征提取的要求。此外，在基于机器学习的头部姿势识别方式中，由于需要基于头部姿势数据库训练出多样化空间来表示不同的头部姿势，所以头部姿势识别结果的准确性取决于构建的头部姿势数据库所包括的样本情况。综上所述，基于机器学习的头部姿势识别的性能在很大程度上受限于输入图像的分辨率是否够高以及构建数据库的样本是否充足。
第二、基于特征点匹配的头部姿势识别方式，该方式主要包括检测并匹配相邻头部图像的二维特征点，随后通过将所述特征点从二维头部图像映射到三维头部图像来计算各个相邻头部图像之间的头部姿势偏离，并通过对初始头部姿势与先前头部姿势偏离进行累加来获取最终头部姿势，作为识别的结果。由于需要提取头部图像的局部特征点来描述头部图像的各个代表性细节，因此，头部图像的分辨率必须足够高，以满足特征点检测和匹配的要求。此外，在基于特征点匹配的头部姿势识别方式中，由于需要从初始头部姿势开始，不断对先前头部姿势偏离进行累加来估计最终头部姿势，因此，必须进行头部姿势初始化，并且所述累加运算依赖于头部图像帧的连续输入。
第三、基于全局几何特征的头部姿势识别方式，该方式主要为提取头部图像的全局特征，并随后基于全局特征的几何关系来估计头部姿势，作为识别的结果。然而，现有的基于全局几何特征的头部姿势识别方案在光照变化较大或图像分辨率较低时往往难以取得良好的识别效果。
因此，需要一种能够不受光照变化影响而取得良好识别效果的头部姿势识别方案。
发明内容
本发明的目的在于提供一种能够在不受光照变化影响的情况下，有效地识别头部姿势的方法和设备。
根据本发明的一方面，提供一种用于估计头部姿势的设备，所述设备包括：头部区域提取单元，用于从输入的深度图像提取头部区域；头部俯仰角估计单元，用于在头部区域中估计头部俯仰角；头部偏转角估计单元，用于在头部区域中估计头部偏转角；头部姿势合成单元，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势。
头部区域提取单元可包括：头部检测器，用于基于头部的深度特征从输入的深度图像检测出头部区域；背景去除器，用于从检测出的头部区域去除背景部分；头部区域精化器，用于基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
头部俯仰角估计单元可包括：俯仰线提取器，用于在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；拟合器，用于将提取的头部俯仰线拟合为直线；俯仰角计算器，用于计算所述直线偏离垂直方向的角度，作为头部俯仰角。
拟合器可将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
头部偏转角估计单元可包括：偏转线提取器，用于在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；偏转角计算器，用于基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
头部姿势合成单元可基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
根据本发明的另一方面，提供一种用于估计头部姿势的方法，包括：从输入的深度图像提取头部区域；在头部区域中估计头部俯仰角；在头部区域中估计头部偏转角；基于估计的头部俯仰角和头部偏转角来合成头部姿势。
提取头部区域的步骤可包括：基于头部的深度特征从输入的深度图像检测出头部区域；从检测出的头部区域去除背景部分；基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
估计头部俯仰角的步骤可包括：在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；将提取的头部俯仰线拟合为直线；计算所述直线偏离垂直方向的角度，作为头部俯仰角。
将提取的头部俯仰线拟合为直线的步骤可包括：将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
估计头部偏转角的步骤可包括：在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
基于估计的头部俯仰角和头部偏转角来合成头部姿势的步骤可包括：基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
根据所述设备和方法，可基于深度图像来估计头部姿势，从而可不受光照变化影响，此外，可通过估计头部俯仰角和偏转角来驱动3D模型，从而取得良好的识别效果，即使在距离较远或分辨率较低的情况下，也能获取比较强健的识别姿势。此外，本发明运算比较简单，能够很好地满足实时性的要求。
附图说明
通过下面结合示例性地示出一例的附图进行的描述，本发明的上述和其它目的和特点将会变得更加清楚，其中：
图1示出根据本发明示例性实施例的头部姿势估计设备的框图；
图2示出根据本发明示例性实施例的头部姿势估计方法的流程图；
图3示出根据本发明示例性实施例的头部区域提取单元的框图；
图4示出根据本发明示例性实施例所提取的头部区域的示例；
图5示出根据本发明示例性实施例的头部俯仰角估计单元的框图；
图6示出根据本发明示例性实施例所提取的头部俯仰线的示例；
图7示出根据本发明示例性实施例来计算头部俯仰角的示例；
图8示出根据本发明示例性实施例的头部偏转角估计单元的框图；
图9示出根据本发明示例性实施例所提取的头部偏转线的示例；
图10示出根据本发明示例性实施例来计算头部偏转角的示例；
图11示出根据本发明示例性实施例来合成头部姿势的示例；以及
图12示出根据本发明示例性实施例输出的合成的头部姿势。
具体实施方式
现将详细描述本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。
图1示出根据本发明示例性实施例的头部姿势估计设备的框图。如图1所示，根据本发明示例性实施例的头部姿势估计设备包括：头部区域提取单元10，用于从输入的深度图像提取头部区域；头部俯仰角估计单元20，用于在头部区域中估计头部俯仰角；头部偏转角估计单元30，用于在头部区域中估计头部偏转角；头部姿势合成单元40，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势。这里，输入的深度图像可产生于诸如TOF(time-of-flight，飞行时间)相机或基于结构光的Prime Sense相机的拍摄装置。此外，在根据本发明的示例性实施例中，在拍摄深度图像时，被拍摄的人并不需要做出特别的姿势或呈现特别的面貌，也不需要位于拍摄装置前的预定距离，此外，也不要求用户必须在特定的背景屏幕前进行拍摄。
作为优选方式，所述头部姿势估计设备可还包括头部姿势输出单元50，用于输出合成的头部姿势。
根据本发明的示例性实施例，头部的姿势主要由头部俯仰和头部偏转两者来体现，相应地，可在深度图像中的头部区域分别估计头部的俯仰角和偏转角，从而基于所述俯仰角和偏转角来合成相应的头部姿势。以下，将结合图2来描述根据本发明示例性实施例由头部姿势估计设备进行头部姿势估计的示例。
图2示出根据本发明示例性实施例的头部姿势估计方法的流程图。
如图2所示，在步骤S100，由头部区域提取单元10从输入的深度图像提取头部区域。
作为示例，图3示出根据本发明示例性实施例的头部区域提取单元10的框图。如图3所示，头部区域提取单元10包括：头部检测器110，用于基于头部的深度特征从输入的深度图像检测出头部区域。作为示例，头部检测器110可基于头部特征的训练样本来执行头部区域的检测。所述头部区域提取单元10还包括：背景去除器120，用于从检测出的头部区域去除背景部分。具体说来，在深度图像中，背景部分与前景部分在深度值上具有明显的差异，因此，背景去除器120可基于头部与背景部分之间的深度差异从头部区域中去除背景部分，以获取位于前景的头部区域。作为优选方式，为了进一步提高头部区域检测的精确性，所述头部区域提取单元10可额外包括：头部区域精化器130，用于基于头部的轮廓特性对去除背景的头部区域进行精细化处理。具体说来，人体头部的两侧与顶部构成的轮廓通常具有较为统一的形状特性，并且，头部底部(即，下颌部位)与周围的身体部位在深度值上具有明确的差异，因此，头部区域精化器130可基于头部两侧与顶部构成的轮廓特性来确认头部区域中的头部两侧与项部的位置，并在此基础上进一步基于从头部到身体的深度差异来确认头部底部的位置。
以上结合图3描述了头部区域提取单元10如何从输入的深度图像提取头部区域的方法流程，相应地，图4示出根据本发明示例性实施例所提取的头部区域的示例。然而，应理解，本发明的头部区域提取单元10并不受限于上述细化的结构及其相应的操作，任何能够从输入的深度图像提取头部区域的方式均可应用于本发明以解决其技术问题。
继续参照图2，在步骤S200，由头部俯仰角估计单元20在头部区域中估计头部俯仰角。
作为示例，图5示出根据本发明示例性实施例的头部俯仰角估计单元20的框图。如图5所示，头部俯仰角估计单元20包括：俯仰线提取器210，用于在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；拟合器220，用于将提取的头部俯仰线拟合为直线；俯仰角计算器230，用于计算所述直线偏离垂直方向的角度，作为头部俯仰角。
根据本发明的示例性实施例，头部的姿势被主要划分为头部的俯仰和偏转两部分。这里，头部的俯仰是指诸如抬头和低头等动作，而头部的偏转是指诸如转头等动作。在拍摄深度图像时，人体面向拍摄装置，因此，俯仰动作将导致深度值沿垂直方向(即，Y轴方向)的变化，而偏转动作将导致深度值沿水平方向(即，X轴方向)的变化，其中，Z轴表示纵深方向。
具体说来，俯仰线提取器210在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值。作为示例，当提取头部俯仰线时，俯仰线提取器210可从三维空间中的头部区域仅提取头部沿垂直方向的深度值，从而忽略头部在偏转方向的深度值变化。也就是说，俯仰线提取器210将三维头部区域映射到Y-Z平面，其中，Y轴指示头部的垂直方向，Z轴指示头部的纵深方向。具体说来，对于头部俯仰线上的任一点(y，z)，俯仰线提取器210可将三维头部区域中与y值对应的水平方向上的最大深度值确定为深度值z；或者，作为优选方式，俯仰线提取器210可将三维头部区域中与y值对应的水平方向上的深度平均值确定为深度值z，以获取更为平滑的头部俯仰线。图6示出根据本发明示例性实施例所提取的头部俯仰线的示例。如图6所示，第一行示出在抬头情况下提取的头部俯仰线，可以看出，深度值沿Y轴上升(即，额头相对于下颌更加远离拍摄装置)；第二行示出在平视情况下提取的头部俯仰线，可以看出，深度值沿Y轴变化不大(即，额头与下颌基本处于同一深度平面上)；第三行示出在低头情况下提取的头部俯仰线，可以看出，深度值沿Y轴变小(即，额头相对于下颌更加靠近拍摄装置)。
在提取了头部俯仰线之后，拟合器220将提取的头部俯仰线拟合为直线。具体说来，头部俯仰角可表示为面部平面与身体平面之间的夹角，而拟合器220则用于将面部平面拟合为Y-Z平面中的直线，该直线与Y轴之间的夹角即代表面部平面与身体平面之间的夹角，即，头部俯仰角。
拟合器220可采用任何适当的方法(例如，最小平方方法)将提取的头部俯仰线拟合为直线。这里，作为优选方式，考虑到下颌部位与额头部位的弯曲情况，本发明提出由拟合器220使用RANSAC(随机抽样一致性)算法来执行拟合操作的优选方式，以获得更为理想的拟合效果。
以下将详细描述拟合器220采用RANSAC算法将提取的头部俯仰线拟合为直线的处理。具体说来，就整个面部区域而言，下颌部位与额头部位的弯曲相对次要，因此，RANSAC算法可良好地适用于这一情况。
首先，拟合器220在头部俯仰线上抽取N个拟合线样点，其中，N为正整数。然后，假设拟合线可表示为ay+bz+c＝0，则计算每一样点(yn，zn)(其中，n为样点的序号，1≤n≤N)与假设的拟合线ay+bz+c＝0之间的距离，当两者之间的距离小于预定的阈值Tdis(其中，Tdis的值根据经验或实验来确定)时，相应的样点(yn，zn)被认为是有效样点，当两者之间的距离大于或等于所述预定的阈值Tdis时，相应的样点(yn，zn)被认为是无效样点。相应地，拟合器220按照如下等式来确定样点(yn，zn)与假设的拟合线之间的距离DSn：
在如上所述确定各个样点与假设的拟合线之间的距离DSn之后，拟合器220按照如下等式来计算所述假设的拟合线的拟合概率P；
通过上述方式，拟合器220将具有最大拟合概率P的假设拟合线ay+bz+c＝0确定为表示头部俯仰线的拟合直线。
此外，对于不同的头部姿势而言，俯仰线上的不同分段具有不同的作用。如图6所示，对于抬头的姿势，俯仰线上处于头部顶部的一段具有更好的计算效果，而对于低头的姿势，俯仰线上处于头部底部的一段具有更好的计算效果。因此，作为优选方式，拟合器220可采用分段拟合的方式将提取的头部俯仰线拟合为直线。具体说来，拟合器220可首先将头部俯仰线划分为若干段，然后通过选取拟合概率最高的一段来作为表示头部俯仰线的拟合直线。
在拟合器220将提取的头部俯仰线拟合为直线之后，俯仰角计算器230计算所述直线偏离垂直方向的角度，作为头部俯仰角。以下将参照图7来描述俯仰角计算器230计算头部俯仰角的处理，其中，图7示出根据本发明示例性实施例来计算头部俯仰角的示例。
在图7所示的示例中，头部俯仰角θ可表示为面部平面(即，拟合线)与身体平面(即，Y轴)之间的夹角。在此情况下，俯仰角计算器230可按照如下等式来计算头部俯仰角θ：
其中，l1表示面部顶端与底端之间的深度值差，即，拟合线上的最大深度值与最小深度值之间的差异；l2表示面部顶端与底端之间的距离，即，面部的长度。这里，应注意，在获取拍摄对象的深度值时，深度值通常表示为物理深度，而图像中面部顶端与底端之间的距离则由像素距离来体现，也就是说，在这种情况下，深度值与面部长度具有不同尺度的测量单位。为此，可采用比例因子r来消除深度值与面部长度之间在测量单位上的差异。然而，如果能够从深度相机直接获取由物理距离表示面部长度的图像时，则不需要所述比例因子r或将所述比例因子r的值设置为1。
作为优选方式，俯仰角计算器230可对以上计算出的头部俯仰角进行进一步的修正。具体说来，面部由于鼻子等部位本身的弯曲而导致即使在平视的情况下也很难得到完全垂直的拟合线，而是具有一定的偏差。为此，俯仰角计算器230通过将计算出的头部俯仰角θ与补偿角θcomp相加来修正头部俯仰角，其中，θcomp为用于修正面部弯曲的补偿角，其可被设定为根据经验或实验而确定的特定值。
应理解，本发明的头部俯仰角估计单元20并不受限于上述细化的结构及其相应的操作，任何能够在头部区域中估计头部俯仰角的方式均可应用于本发明以解决其技术问题。
继续参照图2，在步骤S300，由头部偏转角估计单元30在头部区域中估计头部偏转角。
作为示例，图8示出根据本发明示例性实施例的头部偏转角估计单元30的框图。如图8所示，头部偏转角估计单元30包括：偏转线提取器310，用于在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；偏转角计算器320，用于基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
应注意，由于头部与拍摄装置之间的空间位置关系，难以按照与头部俯仰角类似的方式来估计头部偏转角。为此，本发明示例性实施例提出在确定头部偏转线(其中，所述头部偏转线指示头部沿水平方向的深度值)之后，基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得到头部偏转角，这是因为，在头部偏转时，深度重心偏离头部中心的程度取决于头部偏转角的大小。
具体说来，偏转线提取器310在头部区域中提取头部偏转线。作为示例，当提取头部偏转线时，偏转线提取器310可从三维空间中的头部区域仅提取头部沿水平方向的深度值，从而忽略头部在垂直方向的深度值变化。也就是说，偏转线提取器310将三维头部区域映射到X-Z平面，其中，X轴指示头部的水平方向，Z轴指示头部的纵深方向。具体说来，对于头部偏转线上的任一点(x，z)，偏转线提取器310可将三维头部区域中与x值对应的垂直方向上的最大深度值确定为深度值z；或者，作为优选方式，偏转线提取器310可将三维头部区域中与x值对应的垂直方向上的深度平均值确定为深度值z，以获取更为平滑的头部偏转线。图9示出根据本发明示例性实施例所提取的头部偏转线的示例。如图9所示，第一列示出在头部向右手边偏转的情况下提取的头部偏转线，可从中看出深度值沿X轴的变化(即，左边脸颊相对于右边脸颊更加靠近拍摄装置)；第二列示出在平视情况下提取的头部偏转线，可从中看出深度值呈现出以Y轴为中心轴的对称特性(即，左边脸颊与右边脸颊在深度上呈现对称性)；第三列示出在头部向左手边偏转的情况下提取的头部偏转线，可从中看出深度值沿X轴的变化(即，右边脸颊相对于左边脸颊更加靠近拍摄装置)。
作为优选方式，偏转线提取器310可仅提取下半边脸的偏转线作为头部偏转线，而不考虑上半边脸的偏转情况。这是因为，在头部作出偏转动作时，下半边脸能够更好地体现出偏转程度。
此外，当偏转线提取器310在头部区域中提取头部偏转线时，偏转线提取器310可首先确定位于脸颊边缘的头部图像点数量。如果确定的头部图像点数量低于预先设置的门限值时，可从头部区域中去除相应的头部图像点。通过这种方式，可有效地去除脸颊边缘的噪声点，提高了所提取的头部偏转线的有效性。
在偏转线提取器310提取出头部偏转线之后，偏转角计算器320基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
具体说来，深度重心是指头部区域中的各图像点在深度值上的重心点，而头部中心是指头部的几何中心。作为优选方式，在根据本发明的示例性实施例确定头部偏转角时，仅考虑深度重心和头部中心在水平方向的坐标。
相应地，偏转角计算器320可按照如下等式来确定头部的深度重心Cg和头部中心(即，头部的几何中心)Cl：
其中，Cg(x)是指深度重心在水平方向(即，X轴)的坐标值，Cl(x)是指头部中心在水平方向(即，X轴)的坐标值，M是指组成头部偏转线的M个点，D(m)是指所述M个点中的第m个点的深度值，xm是指所述第m个点在水平方向的位置，r为比例因子，用于消除所述第m个点的深度值和水平位置两者在测量单位上的差异。这是因为：在获取拍摄对象的深度值时，深度值通常表示为物理深度，而图像中各个点的位置则由像素距离来体现，也就是说，在这种情况下，深度值与水平位置具有不同尺度的测量单位。在特定情况下，如果能够从深度相机直接获取面部图像上各点的物理位置时，则不需要所述比例因子r或将所述比例因子r的值设置为1。
在偏转角计算器320确定头部的深度重心Cg和头部的头部中心Cl之后，偏转角计算器320根据所述深度重心Cg偏离头部中心Cl的程度，从而得出头部偏转角。以下将参照图10来描述偏转角计算器320计算头部偏转角的处理，其中，图10示出根据本发明示例性实施例来计算头部偏转角的示例。
在图10所示的示例中，头部偏转角φ可指示深度重心Cg偏离头部中心Cl的程度，根据该示例性实施例，可仅考虑两者在水平方向的偏离。相应地，偏转角计算器320按照以下等式来计算头部偏转角φ：
其中，h为与头部偏转角φ相应的偏转距离，其中，h＝Cg(x)-Cl(x)，φ0为预先获知的头部偏转角，h0为预先获知的与所述头部偏转角φ0相应的偏转距离。这里，可根据经验或实验来获取φ0和h0的具体数值。
应理解，本发明的头部偏转角估计单元30并不受限于上述细化的结构及其相应的操作，任何能够在头部区域中估计头部偏转角的方式均可应用于本发明以解决其技术问题。
在偏转角计算器320计算出头部偏转角φ之后，继续参照图2，在步骤S400，由头部姿势合成单元40基于估计的头部俯仰角和头部偏转角来合成头部姿势。
作为示例，头部姿势合成单元40可基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
图11示出根据本发明示例性实施例来合成头部姿势的示例。如图11所示，根据本发明示例性实施例的头部姿势估计设备可在从人体的深度图像确定出头部区域之后，进一步利用估计出的头部俯仰角和头部偏转角来驱动3D模型，从而得到相应的3D头部姿势。
作为优选方式，图2所述的方法还可包括附加的步骤S500，在步骤S500，头部姿势输出单元50可输出合成的头部姿势。作为优选方式，头部姿势输出单元50可按照图12所示的形式来输出合成的头部姿势。如图12所示，头部姿势输出单元50可在输出合成的头部姿势的同时，还输出拍摄的彩色图像、深度图像和相应的头部偏转角与头部俯仰角的曲线图。
以上描述了根据本发明示例性实施例的用于估计头部姿势的设备和方法，根据所述设备和方法，可基于深度图像来估计头部姿势，从而可不受光照变化影响，此外，可通过估计头部俯仰角和偏转角来驱动3D模型，从而取得良好的识别效果，即使在距离较远或分辨率较低的情况下，也能获取比较强健的识别姿势。此外，本发明运算比较简单，能够很好地满足实时性的要求。
根据本发明示例性实施例来估计头部姿势的设备和方法可应用于各种不同的设计方案。作为示例，可将其应用于人机交互的装置，该装置可以是完整的电子装置(例如，机顶盒、智能电视、游戏机、立体电视、移动终端)，还可以是专门集成的人机交互控制芯片，从而嵌入相应的装置。
尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (12)

1.一种用于估计头部姿势的设备，包括：
头部区域提取单元，用于从输入的深度图像提取头部区域；
头部俯仰角估计单元，用于在头部区域中估计头部俯仰角；
头部偏转角估计单元，用于在头部区域中估计头部偏转角；
头部姿势合成单元，用于基于估计的头部俯仰角和头部偏转角来合成头部姿势，
其中，头部区域提取单元包括：头部检测器，用于基于头部的深度特征从输入的深度图像检测出头部区域；背景去除器，用于从检测出的头部区域去除背景部分。
2.如权利要求1所述的设备，其中，头部区域提取还单元包括：
头部区域精化器，用于基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
3.如权利要求1所述的设备，其中，头部俯仰角估计单元包括：俯仰线提取器，用于在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；拟合器，用于将提取的头部俯仰线拟合为直线；俯仰角计算器，用于计算所述直线偏离垂直方向的角度，作为头部俯仰角。
4.如权利要求3所述的设备，其中，拟合器将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
5.如权利要求1所述的设备，其中，头部偏转角估计单元包括：偏转线提取器，用于在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；偏转角计算器，用于基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
6.如权利要求1所述的设备，其中，头部姿势合成单元基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
7.一种用于估计头部姿势的方法，包括：
从输入的深度图像提取头部区域；
在头部区域中估计头部俯仰角；
在头部区域中估计头部偏转角；
基于估计的头部俯仰角和头部偏转角来合成头部姿势，
其中，提取头部区域的步骤包括：
基于头部的深度特征从输入的深度图像检测出头部区域；
从检测出的头部区域去除背景部分。
8.如权利要求7所述的方法，其中，提取头部区域的步骤还包括：
基于头部的轮廓特性对去除背景的头部区域进行精细化处理。
9.如权利要求7所述的方法，其中，估计头部俯仰角的步骤包括：在头部区域中提取头部俯仰线，其中，所述头部俯仰线指示头部沿垂直方向的深度值；将提取的头部俯仰线拟合为直线；计算所述直线偏离垂直方向的角度，作为头部俯仰角。
10.如权利要求9所述的方法，其中，将提取的头部俯仰线拟合为直线的步骤包括：将头部俯仰线划分为若干分段，基于RANSAC算法从拟合概率最高的一段来获取所述直线。
11.如权利要求7所述的方法，其中，估计头部偏转角的步骤包括：在头部区域中提取头部偏转线，其中，所述头部偏转线指示头部沿水平方向的深度值；基于所述头部偏转线来确定深度重心偏离头部中心的程度，从而得出头部偏转角。
12.如权利要求7所述的方法，其中，基于估计的头部俯仰角和头部偏转角来合成头部姿势的步骤包括：基于头部俯仰角和头部偏转角来在俯仰方向和偏转方向驱动3D模型，以得到相应的3D头部姿势。
CN201210420900.2A 2012-10-29 2012-10-29 用于估计头部姿势的设备和方法 Expired - Fee Related CN103793680B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210420900.2A CN103793680B (zh) 2012-10-29 2012-10-29 用于估计头部姿势的设备和方法
KR1020130057562A KR20140055935A (ko) 2012-10-29 2013-05-22 헤드 포즈 추정을 위한 장치 및 방법
US14/065,833 US9406135B2 (en) 2012-10-29 2013-10-29 Device and method for estimating head pose

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210420900.2A CN103793680B (zh) 2012-10-29 2012-10-29 用于估计头部姿势的设备和方法

Publications (2)

Publication Number Publication Date
CN103793680A CN103793680A (zh) 2014-05-14
CN103793680B true CN103793680B (zh) 2018-10-23

Family

ID=50669328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210420900.2A Expired - Fee Related CN103793680B (zh) 2012-10-29 2012-10-29 用于估计头部姿势的设备和方法

Country Status (2)

Country Link
KR (1) KR20140055935A (zh)
CN (1) CN103793680B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置
US10528802B2 (en) * 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
CN110047101A (zh) * 2018-01-15 2019-07-23 北京三星通信技术研究有限公司 物体姿态估计方法、获得稠密深度图像的方法、相应装置
KR102075686B1 (ko) * 2018-06-11 2020-02-11 세메스 주식회사 카메라 자세 추정 방법 및 기판 처리 장치
CN114612939B (zh) * 2022-03-25 2023-01-10 珠海视熙科技有限公司 一种基于tof相机的坐姿识别方法、装置及智能台灯

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573660A (zh) * 2003-05-30 2005-02-02 微软公司 头部姿势估算方法和系统
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1573660A (zh) * 2003-05-30 2005-02-02 微软公司 头部姿势估算方法和系统
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D Face pose estimation and tracking from a monocular camera;Qiang Ji 等;《Image and Vision Computer》;20020501;第20卷(第7期);499-511 *
REAL TIME 3D HEAD POSE ESTIMATION:RECENT ACHIEVEMENTS AND FUTURE CHALLENGES;Gabriele Fanelli 等;《Proceedings of the 5th International Symposium on Communications, Control and Signal Processing,ISCCSP 2012》;20120621;1-4 *

Also Published As

Publication number Publication date
KR20140055935A (ko) 2014-05-09
CN103793680A (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
US8787656B2 (en) Method and apparatus for feature-based stereo matching
Ye et al. Accurate 3d pose estimation from a single depth image
CN102262725B (zh) 三维场景的分析
US9058661B2 (en) Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
JP5728009B2 (ja) 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路
US8831337B2 (en) Method, system and computer program product for identifying locations of detected objects
CN103793680B (zh) 用于估计头部姿势的设备和方法
US9723295B2 (en) Image processing device, image processing method, image processing computer program, and information recording medium whereupon image processing computer program is stored
US9406135B2 (en) Device and method for estimating head pose
US20180225837A1 (en) Scenario extraction method, object locating method and system thereof
US20150235367A1 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
US20150206003A1 (en) Method for the Real-Time-Capable, Computer-Assisted Analysis of an Image Sequence Containing a Variable Pose
CN104034269B (zh) 一种单目视觉测量方法与装置
CN104317391A (zh) 一种基于立体视觉的三维手掌姿态识别交互方法和系统
JP5438601B2 (ja) 人物動作判定装置およびそのプログラム
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
EP2851868A1 (en) 3D Reconstruction
CN104134235A (zh) 真实空间和虚拟空间的融合方法和融合系统
CN110175584A (zh) 一种面部特征提取重构方法
WO2012044308A1 (en) Projection matrix
JP5555193B2 (ja) データ処理装置、データ処理システム、及びプログラム
CN105488802A (zh) 一种指尖深度检测方法及系统
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
CN102799378B (zh) 一种立体碰撞检测物体拾取方法及装置
KR101085435B1 (ko) 다중 카메라를 이용한 얼굴 인식 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181023

CF01 Termination of patent right due to non-payment of annual fee