CN102156537B - 一种头部姿态检测设备及方法 - Google Patents

一种头部姿态检测设备及方法 Download PDF

Info

Publication number
CN102156537B
CN102156537B CN201010115146.2A CN201010115146A CN102156537B CN 102156537 B CN102156537 B CN 102156537B CN 201010115146 A CN201010115146 A CN 201010115146A CN 102156537 B CN102156537 B CN 102156537B
Authority
CN
China
Prior art keywords
human face
view image
head pose
characteristic point
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010115146.2A
Other languages
English (en)
Other versions
CN102156537A (zh
Inventor
任海兵
王西颖
金智渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN201010115146.2A priority Critical patent/CN102156537B/zh
Publication of CN102156537A publication Critical patent/CN102156537A/zh
Application granted granted Critical
Publication of CN102156537B publication Critical patent/CN102156537B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供一种头部姿态检测设备和方法。所述头部姿态检测设备包括:多视角图像获取单元,获取从不同角度同时拍摄的对象的视角图像;正面人脸图像估计单元,从获取的视角图像中检测具有偏航角最小的人脸的视角图像;头部姿态估计单元,从一个人脸三维模型获得预定人脸特征点的三维坐标,从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的预定人脸特征点的二维坐标和三维坐标计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态;坐标转换单元,根据所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态。

Description

一种头部姿态检测设备及方法
技术领域
本发明涉及头部姿态检测,更具体地讲,涉及一种利用三维模型的头部姿态检测设备和方法。
背景技术
头部姿态及运动检测是常用于人机交互领域中的一种技术,可以通过检测头部姿态来实现各种控制。例如,通过检测人的头部姿态来检测人的视线,从而根据视线或者直接根据人的头部姿态来进行各种控制应用(例如,通过检测人的视线或头部姿态来控制光标在屏幕上移动);通过检测驾驶员的头部姿态来提醒驾驶员注意驾驶安全等;通过检测观众的头部姿态来自动调整显示装置的屏幕角度等等。
当前,主要存在两种检测头部姿态的技术。一种是利用传统的运动传感器(例如,角度、位移传感器等)检测头部的运动来获得头部姿态。另一种是图像技术,通过拍摄头部的头像并根据拍摄的头部图像的特征来确定头部的姿态。
第11/078144号美国专利申请公开了一种用于视线检测的头部跟踪传感器来获取头部的运动。该方案属于上面提到的利用运动传感器来获得头部姿态的技术。在该方案中,传感器布置在人的头部,来检测头部的姿态。由于每个被检测对象需要携带上述传感器,否则无法实现头部姿态的检测,因此使用起来很不方便,有很大的局限性。当前研究地较多的利用图像技术来检测头部姿态。
用于检测头部姿态的图像技术主要是基于统计理论和基于人脸的特征点的几何信息。基于统计理论的头部姿态检测技术首先获得不同姿态的人脸样本,然后基于这些样本训练出一个分类器,通过分类器的分类结果来确定一个人脸的头部姿态信息。基于统计的方法原理相对容易,但训练工作量巨大,获得的姿态信息的精确度也不高,通常获得的结果仅是一个区间,很难获得精确的姿态信息。基于人脸特征点几何信息的头部姿态检测技术一般首先检测出人脸的特征信息,然后利用不同角度几何信息的变化来确定姿态。
第200910103884.2号中国专利申请公开了一种估计人的头部姿态的方法,即,经摄像头得到人脸图图像后,提取两个眼角、两个嘴角和鼻尖5个特征点,以一幅正面图像为参考,根据5个特征点的位置及对应关系通过对极几何计算来估计任意图像中人脸的3个偏转角度。上述方法属于上面提到的基于人脸特征点几何信息的头部姿态检测技术。由于该方法利用了对极几何方法,需要预先获得正面图像并且对人脸与摄像头的位置关系存在约束,因此难以在任意人脸以及任意相对位置获得准确的姿态信息。
由于现有技术的头部姿态检测技术准确度较差,并且不能对任意对象检测头部姿态信息,因此需要一种方便、准确地检测头部姿态的方法和设备。
发明内容
本发明的目的在于提供一种头部姿态检测设备及方法。
本发明的一方面提供一种头部姿态检测设备,其包括:多视角图像获取单元,获取从不同角度同时拍摄的对象的视角图像;正面人脸图像估计单元,从获取的视角图像中检测具有偏航角最小的人脸的视角图像;头部姿态估计单元,从一个人脸三维模型获得预定人脸特征点的三维坐标,从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的预定人脸特征点的二维坐标和三维坐标计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态;坐标转换单元,根据所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态。
头部姿态估计单元可包括:三维坐标获取单元,根据预定人脸特征点在一人脸三维模型上的位置,获得预定人脸特征点的三维坐标;特征点检测单元,从所述检测的视角图像中检测预定人脸特征点,并获得检测的预定人脸特征点的二维坐标;姿态估计单元,利用获得的预定人脸特征点的二维坐标和三维坐标来计算对象的第一头部姿态。
头部姿态估计单元可从一个姿态正的人脸三维模型获得预定人脸特征点的三维坐标。
计算的第一头部姿态可以为俯仰角、偏航角、滚转角,其中,
偏航角 q = - arg sin ( a 5 a 3 2 + a 4 2 + a 5 2 )
俯仰角 p = arg sin ( a 2 cos q a 0 2 + a 1 2 + a 2 2 )
滚转角 v = arg sin ( a 3 cos q a 3 2 + a 4 2 + a 5 2 )
其中,
a 0 a 3 a 1 a 4 a 2 a 5 = ( A T A ) - 1 A T B
这里,A为人脸特征点的三维坐标,B为人脸特征点的二维坐标。
正面人脸图像估计单元可包括:N个并联的分类器,用于检测获取的视角图像中的人脸,其中,每个分类器用于检测N个连续的偏航角区间中的对应于该分类器的偏航角区间的人脸,其中,N为大于1的自然数;偏航角计算单元,基于所述N个分类器输出的候选结果的置信度来计算输入的视角图像中的人脸的偏航角;正面人脸图像输出单元,对计算的偏航角最接近零的视角图像的所有候选结果进行融合或者组合,以输出具有偏航角最小的人脸的视角图像中的人脸图像。
人脸的偏航角YR=∑wi*YCi
其中,wi是所述N个分类器输出的候选结果的置信度,YCi是与输出wi的分类器对应的偏航角区间的中值,i是候选结果的索引。
所述N个偏航角区间的并集可为[-90,+90]度。
所述人脸三维模型可以为标准的人脸三维模型。
所述头部姿态检测设备还可包括:人脸三维模型建模单元,利用获取的视角图像来产生所述人脸三维模型。
本发明的另一方面提供一种头部姿态检测方法,包括:获取从不同角度同时拍摄的对象的视角图像;从获取的视角图像中检测具有偏航角最小的人脸的视角图像;将检测的视角图像中的人脸特征点映射到一个人脸三维模型,以获得所述特征点的三维坐标,根据所述特征点的二维坐标和获得的三维坐标获得相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态;根据所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态。
获得第一头部姿态的步骤可包括:获取从不同角度同时拍摄的对象的视角图像;从获取的视角图像中检测具有偏航角最小的人脸的视角图像;从一个人脸三维模型获得所述预定人脸特征点的三维坐标,从检测的视角图像中检测预定人脸特征点以及预定人脸特征点的二维坐标,根据获得的预定人脸特征点的二维坐标和三维坐标计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态;根据所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态。
其中,可从一个姿态正的人脸三维模型获得预定人脸特征点的三维坐标。
检测具有偏航角最小的人脸的视角图像的步骤可包括:利用N个并联的分类器来检测获取的视角图像中的人脸,其中,每个分类器用于检测N个连续的偏航角区间中的对应于该分类器的偏航角区间的人脸,其中,N为大于1的自然数;基于所述N个分类器输出的候选结果的置信度来计算输入的视角图像中的人脸的偏航角;对计算的偏航角最接近零的视角图像的所有候选结果进行融合或者组合,以输出具有偏航角最小的人脸的视角图像中的人脸图像。
偏航角YR=∑wi*YCi
其中,wi是所述N个分类器输出的候选结果的置信度,YCi是与输出wi的分类器对应的偏航角区间的中值,i是候选结果的索引。
所述头部姿态检测方法还包括:利用获取的视角图像来产生所述人脸三维模型。
本发明的另一方面提供一种头部姿态检测方法,包括:获取从不同角度同时拍摄的对象的视角图像;从获取的视角图像中检测具有偏航角最小的人脸的视角图像;从一个人脸三维模型获得所述预定人脸特征点的三维坐标,从检测的视角图像中检测预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的所述预定人脸特征点的二维坐标和三维坐标计算相对于人脸三维模型的第一头部姿态;根据人脸三维模型的姿态和所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态,其中,所述预定人脸特征点的二维坐标和三维坐标计各自的坐标系的原点被设置在所述预定人脸特征点在各个坐标轴上的坐标的算术平均值处。
本发明的另一方面提供一种头部姿态检测方法,包括:获取从不同角度同时拍摄的对象的视角图像;从获取的视角图像中检测具有偏航角最小的人脸的视角图像;从一个人脸三维模型获得预定人脸特征点的三维坐标,从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的所述预定人脸特征点的二维坐标和三维坐标计算相对于人脸三维模型的头部姿态,并根据人脸三维模型的姿态和所述相对于人脸三维模型的头部姿态来计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态;根据所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态,其中,所述预定人脸特征点的二维坐标和三维坐标计各自的坐标系的原点被设置在所述预定人脸特征点在各个坐标轴上的坐标的算术平均值处。
根据本发明的利用三维模型的头部姿态检测设备和方法相对于现有技术的头部姿态检测设备和方法能够更精确地检测对象的头部姿态,并且无需预先存储对象的信息,因此可以适应的范围更广。此外,由于使用多个图像捕捉设备来获取从不同角度同时拍摄的对象的视角图像,从而不需要在被检测的对象身上安装传感器,从而使用更为方便。
附图说明
通过下面结合附图进行的详细描述,本发明的上述和其它目的、特点和优点将会变得更加清楚,其中:
图1示出根据本发明示例性实施例的头部姿态检测设备的框图;
图2示出根据本发明示例性实施例的头部姿态检测设备的正面人脸图像估计单元的框图;
图3示出根据本发明示例性实施例的头部姿态检测方法的流程图;
图4示出图3中的步骤303的详细流程图。
具体实施方式
现在,将参照附图更充分地描述不同的示例实施例。
图1示出根据本发明示例性实施例的头部姿态检测设备10的框图。如图1所示,根据本发明头部姿态检测设备10的包括:多视角图像获取单元11、正面人脸图像估计单元12以及头部姿态估计单元13。
多视角图像获取单元11获取从不同角度同时拍摄的对象(即,用户)的图像(以下称为视角图像),并将拍摄的视角图像发送给正面人脸图像估计单元12。例如,多视角图像获取单元11可以从以适当位置和姿态布置在检测环境中的多个图像捕捉设备(例如,摄像头)来获取视角图像。
正面人脸图像估计单元12从接收的视角图像中检测具有偏航角最小(即,最接近零)的人脸的视角图像(即,对象的脸最正的视角图像)。本领域的技术人员可以理解,这里的偏航角最小是通常意义上的,即,相对于该视角图像这个平面来说的(例如,人们拿到一张照片时会评价照片中人的头是否摆得正,即,偏航角是否为零)。换句话说,从不同角度拍摄的视角图像中检测的具有偏航角最小的人脸的视角图像实际上是由目标对象的脸最正对的图像捕捉设备所拍摄的视角图像。通过上述检测,可以找到此时目标对象的脸最正对的图像捕捉设备。
正面人脸图像估计单元12将该视角图像中的人脸图像发送到头部姿态估计单元13,以作为用于更精确地估计头部姿态的对象人脸图像。头部姿态估计单元13在从正面人脸图像估计单元12接收的对象人脸图像中检测预定的人脸特征点(例如,眼角、鼻尖、鼻翼、嘴角、脸部轮廓点等)以得到预定的特征点的二维坐标,并从一个人脸三维模型获取所述预定的人脸特征点的三维坐标,然后根据上述检测的人脸特征点的二维坐标和三维坐计算对象的相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的头部姿态(即,偏航角、俯仰角和滚转角)。具体地说,头部姿态估计单元13可包括:特征点检测单元13-1、三维坐标获取单元13-2、姿态估计单元13-3和坐标转换单元13-4。
特征点检测单元13-1用于从具有偏航角最小的人脸的视角图像中检测预定的人脸特征点,并获得其二维坐标,检测的预定的人脸特征点的二维坐标可被表示为:
B = x 1 y 1 M M x n y n - - - ( 1 )
这里,n表示检测的人脸特征点的数量。
可通过使用主动形状模型(ASM)来检测对象人脸图像中检测预定的人脸特征点以获得其二维坐标。由于利用ASM来检测人脸特征点是公知的,将不再进行详细描述。此外,这里也可以利用其他的人脸特征点检测方法,本发明不限于仅使用ASM。
由于正面人脸的特征点最为丰富、易于定位、并且对人脸姿态比较敏感,所以选择偏航角最小的人脸的视角图像能够更精确的进行头部姿态的估计。
三维坐标获取单元13-2从一人脸三维模型获得所述预定的人脸特征点的三维坐标A,其可以被表示为:
A = X 1 Y 1 Z 1 M M M X n Y n Z n - - - ( 2 )
在本发明中,由于三维坐标A和二维坐标B从不同的对象获得,为了计算两者的旋转关系,三维坐标A和二维坐标B是被归一化的。在本发明的一个实施例中,所述归一化是仅对三维坐标A和二维坐标B各自的坐标系的坐标原点的归一化。即,将坐标原点设置在所述预定的人脸特征点在各个坐标轴上的坐标的算数平均值处。此时,对于三维坐标A, 对于二维坐标B,
本发明不限于上述归一化,还可进一步对三维坐标A和二维坐标B的尺度进行归一化。但是,在本发明中,也可不对尺度进行归一化。
这里的人脸三维模型优选地为标准的人脸三维模型。此时,三维坐标A可以被预先存储。
在本发明的另一实施例中,根据本发明头部姿态检测设备10还可包括人脸三维模型建模单元(未示出),该人脸三维模型建模单元可利用多视角图像获取单元11获取的视角图像来产生对象的人脸三维模型。三维坐标获取单元13-2可使用由三维模型建模单元创建的对象的人脸三维模型来获取预定的人脸特征点的三维坐标A。
姿态估计单元13-3利用从特征点检测单元13-1接收的预定的人脸特征点的二维坐标B和从三维坐标获取单元13-2接收的三维坐标A来得到对象相对于人脸三维模型的头部姿态(即,偏航角、俯仰角和滚转角)。具体地说,A、B以及头部姿态信息X之间的关系可表示为:
A=BX,则:
X = ( A T A ) - 1 A T B = a 0 a 3 a 1 a 4 a 2 a 5 - - - ( 3 )
其中,
q = - arg sin ( a 5 a 3 2 + a 4 2 + a 5 2 )
p = arg sin ( a 2 cos q a 0 2 + a 1 2 + a 2 2 ) - - - ( 4 )
v = arg sin ( a 3 cos q a 3 2 + a 4 2 + a 5 2 )
这里,p为俯仰角,q为偏航角,v为滚转角。
此时获得的头部姿态是基于正面人脸图像估计单元12检测的具有偏航角最小的人脸的视角图像获得的,是相对于摄该具有偏航角最小的人脸的视角图像的图像捕捉设备的头部姿态。因此,为了获得以世界坐标系表示的头部姿态,坐标转换单元13-4根据拍摄该具有偏航角最小的人脸的视角图像的图像捕捉设备的世界坐标系坐标,将通过姿态估计单元13-3获得的以基于所述图像捕捉设备的本地坐标系表示的头部姿态转换为以世界坐标系表示的头部姿态。由于进行坐标系转换是公知的技术,将不再进行详细描述。例如,可通过摄像机标定(cameracalibration)技术来进行上述坐标系转换。
此外,在获得三维坐标A时,优选使用人脸三维模型姿态正时(即,俯仰角、偏航角和滚转角都为零)获得的三维坐标A。本领域的技术人员可以理解,与前面提到的视角图像类似,这里的人脸三维模型姿态正也是一般意义上的,即根据现有技术通过三维坐标A计算的人脸三维模型的俯仰角、偏航角和滚转角为零。也即,三维坐标A和二维坐标B都是使用视角图像和人脸三维模型各自的绝对坐标系。此时,获取所述三维坐标时人脸三维模型相当于正对着捕捉具有偏航角最小的人脸的视角图像的图像捕捉设备。
此外,三维坐标A可以不必是人脸三维模型姿态正时获得的三维坐标。由于利用式(4)计算的头部姿态是相对于人脸三维模型的姿态,因此很容易理解,当三维坐标A在人脸三维模型姿态不正的情况下被获得时,可以利用人脸三维模型的姿态来补偿利用式(4)计算的头部姿态,以得到与人脸三维模型姿态正时相同的结果。
图2示出根据本发明示例性实施例的头部姿态检测设备10的正面人脸图像估计单元12的框图。正面人脸图像估计单元12可检测从多视角图像获取单元11接收的视角图像中的人脸,并基于检测的人脸来初步估计每个视角图像中的头部的偏航角,以检测头部的偏航角最小(即,最接近零)的视角图像。图2示出的示例性正面人脸图像估计单元12可包括:N(N为大于1的自然数)个并联的分类器12-1-1至12-1-n、偏航角计算单元12-2以及正面人脸图像输出单元12-3。
每个分类器用于检测一个偏航角区间的人脸,即,可通过利用其偏航角位于一个偏航角区间的人脸样本来训练用于检测该偏航角区间的人脸的分类器。例如,可通过利用偏航角位于Z1区间的人脸样本来训练用于检测位于Z1区域的人脸的分类器12-1-1。N个分类器检测N个偏航角区间Z1,Z2,...Zn的人脸。由于人脸检测的偏航角范围一般为[-90,+90]度,因此,所述N个连续的偏航角区间Z1,Z2,...Zn的并集的区间为[-90,+90]度。
例如,在一个实施例中,N=5,Z1=[-90,-60],Z2=[-60,-30],Z3=[-30,30],Z4=[30,60],Z5=[60,90]。
当将一个视角图像被输入到分类器12-1-1至12-1-n时,每个分类器根据图像中人脸的偏航角可输出至少一个候选结果(即,检测到的人脸)或不输出候选结果。此外,如果一个分类器检测到的多个候选结果,该分类器对该多个候选结果进行融合,以获得一个最终人脸图像。
偏航角计算单元12-2基于分类器12-1-1至12-1-n输出的候选结果的置信度来初步计算输入的视角图像中的人脸的偏航角。
具体地说,偏航角计算单元12-2通过下面的等式来计算输入的视角图像中的人脸的偏航角YR:
YR=∑wi*YCi(5)
其中,wi是分类器12-1-1至12-1-n输出的候选结果的置信度,YCi是与输出wi的分类器对应的偏航角区间的中值,i是候选结果的索引。
正面人脸图像输出单元12-3对偏航角YR最接近零的视角图像的所有候选结果进行融合或者组合,以输出最终的人脸图像,来作为前面提到的用于更精确地估计头部姿态的对象人脸图像。
此外,本发明也可以利用现有的其他的模式识别技术来实现本发明的正面人脸图像估计单元12。然而,由于本发明的上述示例性正面人脸图像估计单元12考虑了得到的所有候选结果的置信度,而非像现有技术中那样利用置信度与判断阈值进行比较而仅输出真或假的结果,因此相对于现有的其他技术能够更准确地检测到偏航角最小的视角图像。同时,不用为了获得更精确的结果而划分更精细的偏航角区间来训练用于检测划分的偏航角区间的人脸的分类器,从而减少了训练时间和所需的样本量。
图3示出根据本发明示例性实施例的头部姿态检测方法的流程图。
如图3所示,在步骤301,获取从不同角度同时拍摄的对象的视角图像。
在步骤302,从在步骤301获取的视角图像中检测人脸图像,并基于检测的人脸图像检测头部的偏航角最小(即,最接近零)的视角图像。
在步骤303,从在步骤302检测到的具有偏航角最小的人脸的视角图像中的人脸图像(即,对象人脸图像)中检测预定的人脸特征点以及所述预定的特征点的二维坐标,从一个人脸三维模型获取所述预定的人脸特征点的三维坐标,然后根据上述检测的特定的人脸特征点的二维坐标和三维坐标获得对象的头部姿态(即,偏航角、俯仰角和滚转角)。在步骤304,根据拍摄该具有偏航角最小的人脸的视角图像的图像捕捉设备的世界坐标系坐标,将在步骤303获得的以本地坐标系表示的头部姿态转换为以世界坐标系表示的头部姿态。
下面更详细地描述步骤303。图4示出步骤303的详细流程图。如图4所示,在步骤401,从一人脸三维模型获得所述预定的人脸特征点的三维坐标A(如等式2所示)。在步骤402,从具有偏航角最小的人脸的视角图像中的人脸图像中检测预定的人脸特征点及其二维坐标B,检测的预定的人脸特征点的二维坐标可被表示前面的等式(1)。在步骤403,利用上述检测的人脸特征点的三维坐标A和二维坐标B来得到对象的头部姿态(即,偏航角、俯仰角和滚转角),可通过前面的等式(3)和等式(4)来计算所述对象的以本地坐标系表示的头部姿态(即,相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的头部姿态)。
应该理解,步骤401和步骤402的执行顺序也可以是同时进行或者先执行步骤402再执行步骤401。当使用预定的人脸三维模型(例如,标准的人脸三维模型)时,三维坐标A可以被预先存储。
在获得三维坐标A时,优选使用人脸三维模型姿态正时获得的三维坐标A。此外,三维坐标A也可以不必是人脸三维模型姿态正时获得的三维坐标。当三维坐标A在人脸三维模型姿态不正的情况下被获得时,可以利用人脸三维模型的姿态来补偿从式(4)计算的姿态,以得到与人脸三维模型姿态正时相同的结果。即,先根据获得的预定人脸特征点的三维坐标A和二维坐标B利用式(4)计算相对于人脸三维模型的头部姿态,然后根据人脸三维模型的姿态计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的头部姿态。
此外,也可在步骤303利用式(4)计算相对于人脸三维模型的头部姿态,然后在步骤304利用在步骤303计算的头部姿态和所述图像捕捉设备的世界坐标系坐标,将在步骤303计算的头部姿态转换为以世界坐标系表示的头部姿态。即,当三维坐标A在人脸三维模型姿态不正的情况下被获得时,利用人脸三维模型的姿态来补偿从式(4)计算的姿态以得到与人脸三维模型姿态正时相同的结果(即,相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的头部姿态)的步骤也可以在步骤304执行,从而在步骤304利用所述图像捕捉设备的世界坐标系坐标将在该步骤获得的上述头部姿态转换为以世界坐标系表示的头部姿态。
根据本发明的利用三维模型的头部姿态检测设备和方法相对于现有技术的头部姿态检测设备和方法能够更精确地检测对象的头部姿态,并且无需预先存储对象的信息,因此可以适应的范围更广。

Claims (18)

1.一种头部姿态检测设备,包括:
多视角图像获取单元,获取从不同角度同时拍摄的对象的视角图像;
正面人脸图像估计单元,检测获取的视角图像中的人脸,并基于检测的人脸来初步估计每个视角图像中的人脸的偏航角,以检测具有偏航角最小的人脸的视角图像,其中,所述具有偏航角最小的人脸的视角图像是由对象的脸最正对的图像捕捉设备所拍摄的视角图像;
头部姿态估计单元,从一个姿态正的人脸三维模型获得预定人脸特征点的三维坐标,从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的所述预定人脸特征点的二维坐标和三维坐标计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态;
坐标转换单元,根据所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态,
其中,所述预定人脸特征点的二维坐标和三维坐标各自的坐标系的原点被设置在所述预定人脸特征点在各个坐标轴上的坐标的算术平均值处。
2.根据权利要求1所述的头部姿态检测设备,其中,头部姿态估计单元包括:
三维坐标获取单元,根据预定人脸特征点在所述人脸三维模型上的位置,获得预定人脸特征点的三维坐标;
特征点检测单元,从所述检测的视角图像中检测预定人脸特征点,并获得检测的预定人脸特征点的二维坐标;
姿态估计单元,利用获得的预定人脸特征点的二维坐标和三维坐标来计算第一头部姿态。
3.根据权利要求1所述的头部姿态检测设备,其中,计算的第一头部姿态被表示为俯仰角、偏航角、滚转角,其中,
偏航角 q = - arg s i n ( a 5 a 3 2 + a 4 2 + a 5 2 )
俯仰角 p = arg s i n ( a 2 cos q a 0 2 + a 1 2 + a 2 2 )
滚转角 v = arg s i n ( a 3 cos q a 3 2 + a 4 2 + a 5 2 )
其中,
头部姿态信息 a 0 a 3 a 1 a 4 a 2 a 5 = ( A T A ) - 1 A T B
其中,A为预定人脸特征点的三维坐标,B为预定人脸特征点的二维坐标。
4.根据权利要求1所述的头部姿态检测设备,其中,正面人脸图像估计单元包括:
N个并联的分类器,用于检测获取的视角图像中的人脸,其中,每个分类器用于检测N个连续的偏航角区间中的对应于该分类器的偏航角区间的人脸,其中,N为大于1的自然数;
偏航角计算单元,基于所述N个分类器输出的候选结果的置信度来计算输入的视角图像中的人脸的偏航角;
正面人脸图像输出单元,对计算的偏航角最接近零的视角图像的所有候选结果进行融合或者组合,以输出具有偏航角最小的人脸的视角图像中的人脸图像。
5.根据权利要求4所述的头部姿态检测设备,其中,
所述人脸的偏航角YR=∑wi*YCi
其中,wi是所述N个分类器输出的候选结果的置信度,YCi是与输出wi的分类器对应的偏航角区间的中值,i是候选结果的索引。
6.根据权利要求4所述的头部姿态检测设备,其中,所述N个偏航角区间的并集为[-90,+90]度。
7.根据权利要求1所述的头部姿态检测设备,其中,所述人脸三维模型为标准的人脸三维模型。
8.根据权利要求1所述的头部姿态检测设备,还包括:人脸三维模型建模单元,利用获取的视角图像来产生所述人脸三维模型。
9.一种头部姿态检测方法,包括:
获取从不同角度同时拍摄的对象的视角图像;
检测获取的视角图像中的人脸,并基于检测的人脸来初步估计每个视角图像中的人脸的偏航角,以检测具有偏航角最小的人脸的视角图像,其中,所述具有偏航角最小的人脸的视角图像是由对象的脸最正对的图像捕捉设备所拍摄的视角图像;
从一个姿态正的人脸三维模型获得预定人脸特征点的三维坐标,从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的所述预定人脸特征点的二维坐标和三维坐标计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第一头部姿态;
根据所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态,
其中,所述预定人脸特征点的二维坐标和三维坐标各自的坐标系的原点被设置在所述预定人脸特征点在各个坐标轴上的坐标的算术平均值处。
10.根据权利要求9所述的头部姿态检测方法,其中,获得第一头部姿态的步骤包括:
根据预定人脸特征点在所述人脸三维模型上的位置,获得预定人脸特征点的三维坐标;
从所述检测的视角图像中检测预定人脸特征点,并获得检测的预定人脸特征点的二维坐标;
利用获得的预定人脸特征点的二维坐标和三维坐标来计算对象的第一头部姿态。
11.根据权利要求9所述的头部姿态检测方法,其中,计算的第一头部姿态被表示为俯仰角、偏航角、滚转角,其中,
偏航角 q = - arg s i n ( a 5 a 3 2 + a 4 2 + a 5 2 )
俯仰角 p = arg s i n ( a 2 cos q a 0 2 + a 1 2 + a 2 2 )
滚转角 v = arg s i n ( a 3 cos q a 3 2 + a 4 2 + a 5 2 )
其中,
头部姿态信息 a 0 a 3 a 1 a 4 a 2 a 5 = ( A T A ) - 1 A T B
这里,A为预定人脸特征点的三维坐标,B为预定人脸特征点的二维坐标。
12.根据权利要求9所述的头部姿态检测方法,其中,检测具有偏航角最小的人脸的视角图像的步骤包括:
利用N个并联的分类器来检测获取的视角图像中的人脸,其中,每个分类器用于检测N个连续的偏航角区间中的对应于该分类器的偏航角区间的人脸,其中,N为大于1的自然数;
基于所述N个分类器输出的候选结果的置信度来计算输入的视角图像中的人脸的偏航角;
对计算的偏航角最接近零的视角图像的所有候选结果进行融合或者组合,以输出具有偏航角最小的人脸的视角图像中的人脸图像。
13.根据权利要求12所述的头部姿态检测方法,其中,
所述人脸的偏航角YR=∑wi*YCi
其中,wi是所述N个分类器输出的候选结果的置信度,YCi是与输出wi的分类器对应的偏航角区间的中值,i是候选结果的索引。
14.根据权利要求12所述的头部姿态检测方法,其中,所述N个偏航角区间的并集为[-90,+90]度。
15.根据权利要求9所述的头部姿态检测方法,其中,所述人脸三维模型为标准的人脸三维模型。
16.根据权利要求9所述的头部姿态检测方法,还包括:利用获取的视角图像来产生所述人脸三维模型。
17.一种头部姿态检测方法,包括:
获取从不同角度同时拍摄的对象的视角图像;
检测获取的视角图像中的人脸,并基于检测的人脸来初步估计每个视角图像中的人脸的偏航角,以检测具有偏航角最小的人脸的视角图像,其中,所述具有偏航角最小的人脸的视角图像是由对象的脸最正对的图像捕捉设备所拍摄的视角图像;
从一个人脸三维模型获得预定人脸特征点的三维坐标,从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的所述预定人脸特征点的二维坐标和三维坐标计算相对于人脸三维模型的第一头部姿态;
根据人脸三维模型的姿态和所述图像捕捉设备的世界坐标系坐标,将第一头部姿态转换为以世界坐标系表示的第二头部姿态,
其中,所述预定人脸特征点的二维坐标和三维坐标各自的坐标系的原点被设置在所述预定人脸特征点在各个坐标轴上的坐标的算术平均值处。
18.一种头部姿态检测方法,包括:
获取从不同角度同时拍摄的对象的视角图像;
检测获取的视角图像中的人脸,并基于检测的人脸来初步估计每个视角图像中的人脸的偏航角,以检测具有偏航角最小的人脸的视角图像,其中,所述具有偏航角最小的人脸的视角图像是由对象的脸最正对的图像捕捉设备所拍摄的视角图像;
从一个人脸三维模型获得预定人脸特征点的三维坐标,从检测的视角图像中检测所述预定人脸特征点以及所述预定人脸特征点的二维坐标,根据获得的所述预定人脸特征点的二维坐标和三维坐标计算相对于人脸三维模型的第一头部姿态,并根据人脸三维模型的姿态和第一头部姿态来计算相对于拍摄所述具有偏航角最小的人脸的视角图像的图像捕捉设备的第二头部姿态;
根据所述图像捕捉设备的世界坐标系坐标,将第二头部姿态转换为以世界坐标系表示的第三头部姿态,
其中,所述预定人脸特征点的二维坐标和三维坐标各自的坐标系的原点被设置在所述预定人脸特征点在各个坐标轴上的坐标的算术平均值处。
CN201010115146.2A 2010-02-11 2010-02-11 一种头部姿态检测设备及方法 Expired - Fee Related CN102156537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010115146.2A CN102156537B (zh) 2010-02-11 2010-02-11 一种头部姿态检测设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010115146.2A CN102156537B (zh) 2010-02-11 2010-02-11 一种头部姿态检测设备及方法

Publications (2)

Publication Number Publication Date
CN102156537A CN102156537A (zh) 2011-08-17
CN102156537B true CN102156537B (zh) 2016-01-13

Family

ID=44438060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010115146.2A Expired - Fee Related CN102156537B (zh) 2010-02-11 2010-02-11 一种头部姿态检测设备及方法

Country Status (1)

Country Link
CN (1) CN102156537B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103076045B (zh) * 2011-10-25 2016-04-13 上海新世纪机器人有限公司 头部姿态感应装置和方法
TWI510082B (zh) * 2012-06-06 2015-11-21 Etron Technology Inc 用於影像辨識之影像擷取方法及其系統
CN103869958B (zh) * 2012-12-18 2017-07-04 原相科技股份有限公司 电子装置控制方法以及电子装置
CN103402054B (zh) * 2013-07-26 2016-10-05 江苏建筑职业技术学院 头部感应井下摄像头控制方法
KR102357340B1 (ko) * 2014-09-05 2022-02-03 삼성전자주식회사 얼굴 인식 방법 및 장치
CN104794439A (zh) * 2015-04-10 2015-07-22 上海交通大学 基于多相机的准正面人脸图像实时优选方法及系统
CN105159452B (zh) * 2015-08-28 2018-01-12 成都通甲优博科技有限责任公司 一种基于人脸姿态估计的控制方法与系统
CN105260706B (zh) * 2015-09-15 2016-11-16 山东大学 一种基于图像比对和航向姿态系统的头部姿态检测方法
CN106909213A (zh) * 2015-12-23 2017-06-30 掌赢信息科技(上海)有限公司 一种基于人脸识别的控制指令生成方法及电子设备
CN106991367B (zh) * 2016-01-21 2019-03-19 腾讯科技(深圳)有限公司 确定人脸转动角度的方法和装置
CN105807915A (zh) 2016-02-24 2016-07-27 北京小鸟看看科技有限公司 虚拟鼠标的控制方法、控制装置以及头戴显示设备
CN106598221B (zh) * 2016-11-17 2019-03-15 电子科技大学 基于眼部关键点检测的3d视线方向估计方法
CN108447090B (zh) * 2016-12-09 2021-12-21 株式会社理光 对象姿态估计的方法、装置及电子设备
CN106767757A (zh) * 2016-12-09 2017-05-31 深圳市虚拟现实技术有限公司 基于数据库的近眼显示装置姿态识别方法及系统
CN109118233B (zh) * 2017-06-23 2022-04-19 百度在线网络技术(北京)有限公司 基于人脸识别的认证方法和装置
JP6711346B2 (ja) * 2017-12-13 2020-06-17 オムロン株式会社 状態推定装置とその方法およびプログラム
CN108225281A (zh) * 2017-12-25 2018-06-29 中国航空工业集团公司洛阳电光设备研究所 一种基于摄像机的飞行员头部姿态检测方法
CN108573218A (zh) * 2018-03-21 2018-09-25 漳州立达信光电子科技有限公司 人脸数据采集方法及终端设备
CN108509890B (zh) * 2018-03-27 2022-08-16 百度在线网络技术(北京)有限公司 用于提取信息的方法和装置
CN112153545B (zh) * 2018-06-11 2022-03-11 厦门新声科技有限公司 双耳助听器平衡调节的方法、装置及计算机可读存储介质
CN108985220B (zh) * 2018-07-11 2022-11-04 腾讯科技(深圳)有限公司 一种人脸图像处理方法、装置及存储介质
CN110866864A (zh) 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN109034137B (zh) * 2018-09-07 2019-11-19 百度在线网络技术(北京)有限公司 头部姿态标记更新方法、装置、存储介质和终端设备
CN109271923A (zh) * 2018-09-14 2019-01-25 曜科智能科技(上海)有限公司 人脸姿态检测方法、系统、电子终端及存储介质
CN109840486B (zh) * 2019-01-23 2023-07-21 深圳市中科晟达互联智能科技有限公司 专注度的检测方法、计算机存储介质和计算机设备
CN109934168B (zh) * 2019-03-13 2020-12-11 北京达佳互联信息技术有限公司 人脸图像映射方法及装置
CN111860074B (zh) * 2019-04-30 2024-04-12 北京市商汤科技开发有限公司 目标对象检测方法及装置、驾驶控制方法及装置
CN111695432A (zh) * 2020-05-19 2020-09-22 中国电子科技网络信息安全有限公司 一种视频监控场景下的人工智能人脸异常检测系统及方法
CN111898552B (zh) * 2020-07-31 2022-12-27 成都新潮传媒集团有限公司 一种判别人员关注目标物的方法、装置及计算机设备
CN112347974A (zh) * 2020-11-22 2021-02-09 上海祐云信息技术有限公司 人体头部姿态估计算法及操作员工作状态识别系统
CN113627267A (zh) * 2021-07-15 2021-11-09 中汽创智科技有限公司 一种视线检测方法、装置、设备及介质
CN114201054A (zh) * 2022-02-18 2022-03-18 深圳佑驾创新科技有限公司 一种基于头部姿态实现非接触式人机交互的方法
CN116524572B (zh) * 2023-05-16 2024-01-26 北京工业大学 基于自适应Hope-Net的人脸精准实时定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN101303772A (zh) * 2008-06-20 2008-11-12 浙江大学 一种基于单幅图像的非线性三维人脸建模方法
CN101561710A (zh) * 2009-05-19 2009-10-21 重庆大学 一种基于人脸姿态估计的人机交互方法

Also Published As

Publication number Publication date
CN102156537A (zh) 2011-08-17

Similar Documents

Publication Publication Date Title
CN102156537B (zh) 一种头部姿态检测设备及方法
CN107545302B (zh) 一种人眼左右眼图像联合的视线方向计算方法
CN106055091B (zh) 一种基于深度信息和校正方式的手部姿态估计方法
Papazov et al. Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
EP1870856B1 (en) Information-processing method and apparatus for calculating information regarding measurement target on the basis of captured images
CN108682027A (zh) 基于点、线特征融合的vSLAM实现方法及系统
CN108303994B (zh) 面向无人机的群控交互方法
CN103994765B (zh) 一种惯性传感器的定位方法
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
CN109446892A (zh) 基于深度神经网络的人眼注意力定位方法及系统
WO2018189795A1 (ja) 認識装置、認識方法および認識プログラム
TWI704530B (zh) 注視度判斷裝置及方法
CN104200453B (zh) 基于图像分割和可信度的视差图像校正方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN105957107A (zh) 行人检测与跟踪方法及装置
Argyros et al. Binocular hand tracking and reconstruction based on 2D shape matching
CN104331907B (zh) 一种基于orb特征检测测量载体速度的方法
CN109359537A (zh) 基于神经网络的人脸姿态角度检测方法及系统
CN101539989A (zh) 基于人脸检测的错误阅读姿势检测方法
CN106599873A (zh) 基于三维姿态信息的人物身份识别方法
CN104182747A (zh) 基于多个立体相机的对象检测跟踪方法及装置
CN104331412A (zh) 一种在规格化三维人脸库中进行人脸检索的方法
CN108648203A (zh) 一种基于单目摄像头的人体三维姿态估计的方法
Luber et al. Learning to detect and track people in rgbd data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160113

Termination date: 20220211