CN105760809B - 用于头部姿态估计的方法和设备 - Google Patents
用于头部姿态估计的方法和设备 Download PDFInfo
- Publication number
- CN105760809B CN105760809B CN201410799964.7A CN201410799964A CN105760809B CN 105760809 B CN105760809 B CN 105760809B CN 201410799964 A CN201410799964 A CN 201410799964A CN 105760809 B CN105760809 B CN 105760809B
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- head model
- frame
- standard head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
公开了一种用于头部姿态估计的方法和设备。所述方法包括:采集一帧三维图像;检测该帧三维图像是否满足预定条件;当确定满足所述预定条件时,使得作为基准的标准头部模型的点云经历特定空间变换,并确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数;以及根据所述空间变换参数确定头部姿态。
Description
技术领域
本发明涉及电子设备的领域,更具体地说,涉及用于头部姿态估计的方法和设备。
背景技术
头部姿态估计是指通过图像采集装置(如,摄像头)采集到的图像信息来估计用户头部相对于图像采集装置坐标系的位置(包括三个坐标轴上旋转和平移,共六个自由度)。头部姿态估计是很多计算机视觉任务中最初的一个步骤(如人脸识别)。此外,头部姿态估计有很多延伸的应用,例如自然人机交互,用户通过转动头部来控制计算机进行相应任务,例如多视角显示,根据用户视角的不同显示不同角度的内容等。
例如,作为一种可能的应用场景,在多人会议室的场合,比如会议室里需要统计每个人的头部位置以及视线交汇的地方,进而来识别会议场景关注的地方,以及每个人的反应,这就需要快速对每个人的头部来进行方位检测定位和跟踪,因此现有的检测方式在精度效率上都有不足,迫切需要高效的检测方式。
或者,作为另一种可能的应用场景,在视频会议中,如果要看到每个人的脸部动作,需要很大的带宽,但如果系统能快速检测每个人的头部运动,把检测送到另外一方去动画显示,会节省带宽,又可以让对方看到己方人员的反应。
现有的头部姿态估计的一种可能的方式为对于单一摄像头采集的图像,通过多角度人脸检测的方式来估计人脸姿态。然而,这种方案的缺点在于,需要大量人脸样本来训练人脸分类器,并且输出人脸姿态是离散的几个角度,并不是连续的变化;而且当用户头部姿态变化角度过大时,这种检测的方式极易失效;此外,该方案的运行效率较低。
现有的头部姿态估计的另一种可能的方式为单一摄像头采集的图像,通过特征点检测得到人脸显著特征点的位置,并根据帧间对应特征点位置的变化来计算头部姿态的变化。然而,这种方案的缺点在于,当有遮挡时,特征点检测不准确或检测不到,从而该方案失效。另外,当用户有表情变化时,由于人脸进行了非刚性的形变,因此通过对应点估算方法的精确度会明显下降。
发明内容
因此,期望提供能够更精确地且更快速地进行头部姿态估计的方法和设备。
根据本发明的一个方面,提供了一种用于头部姿态估计的方法,包括:采集一帧三维图像;检测该帧三维图像是否满足预定条件;当确定满足所述预定条件时,使得作为基准的标准头部模型的点云经历特定空间变换,并确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数;根据所述空间变换参数确定头部姿态。
优选地,在根据本发明实施例的方法中,所述预定条件为在该帧三维图像中检测到人脸,并且其中基于检测到的人脸,从预先存储的一数据库中选择合适的标准头部模型的点云作为基准的标准头部模型的点云。
优选地,根据本发明实施例的方法可以进一步包括:连续地采集预定数量的多帧深度图像;通过对所述多帧深度图像进行加权平均来获得当前用户的头部模型作为所述标准头部模型。
优选地,在根据本发明实施例的方法中,通过迭代最近点法ICP来获得当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。
优选地,根据本发明实施例的方法可以进一步包括:基于该帧三维图像,确定图像中的特征点的三维坐标;基于特征点的三维坐标,初步对齐作为基准的标准头部模型的点云和作为目标的该帧三维图像的点云,并获得初始的空间变换参数。
根据本发明的另一方面,提供了一种用于头部姿态估计的设备,包括:图像采集单元,用于获取一帧三维图像;检测单元,用于检测该帧三维图像是否满足预定条件;变换单元,用于当确定满足所述预定条件时,使得作为基准的标准头部模型的点云经历特定空间变换,并确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数;头部姿态确定单元,用于根据所述空间变换参数确定头部姿态。
优选地,在根据本发明实施例的设备中,其中所述预定条件为在该帧三维图像中检测到人脸,并且所述设备进一步包括:存储单元,用于预先存储一数据库,其中存储了多个标准头部模型的点云;以及选择单元,用于基于所述检测单元检测到的人脸,从所述存储单元中预先存储的所述数据库中选择合适的标准头部模型的点云作为基准的标准头部模型的点云。
优选地,在根据本发明实施例的方法中,所述图像采集单元连续地采集预定数量的多帧深度图像;并且所述设备进一步包括:标准头部模型获取单元,用于通过对所述多帧深度图像进行加权平均来获得当前用户的头部模型作为所述标准头部模型。
优选地,在根据本发明实施例的方法中,所述变换单元通过迭代最近点法ICP来获得当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。
优选地,在根据本发明实施例的方法中,所述变换单元进一步包括:初始化单元,用于基于该帧三维图像,确定图像中的特征点的三维坐标,基于特征点的三维坐标,初步对齐作为基准的标准头部模型的点云和作为目标的该帧三维图像的点云,并获得初始的空间变换参数。
通过根据本发明的方法和设备,与采用普通摄像头获取的二维图像来估计头部姿态的方法和设备相比,根据本发明的方法和设备可以估计六个自由度(三个旋转、三个平移)的头部姿态。并且,由于基于与标准头部模型的拟合来估计头部姿态,因此对于大角度的姿态变化以及用户面部被部分遮挡的情况,本发明同样适用。此外,由于采用双目摄像头的深度信息,因此本发明的方法和设备对环境光照的变化具有一定的鲁棒性。最后,当采用ICP算法进行拟合时,具有良好的并行性。例如,当使用GPU做并行运算时,本发明的设备可以以100fps的帧速率运行。
附图说明
图1是示出了根据本发明实施例的用于头部姿态估计的方法的总的构思的流程图;
图2是示出了根据本发明另一实施例的用于头部姿态估计的方法的过程的流程图;
图3是示出了根据本发明实施例的用于头部姿态估计的设备的总的构思的功能框图;
图4是示出了根据本发明另一实施例的用于头部姿态估计的设备的功能框图;以及
图5是示出了根据本发明又一实施例的用于头部姿态估计的设备的功能框图。
具体实施方式
下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述,以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节,但它们只能被看作是示例性的。因此,本领域技术人员将认识到,可对这里描述的实施方式进行各种改变和修改,而不脱离本发明的范围和精神。而且,为了使说明书更加清楚简洁,将省略对本领域熟知功能和构造的详细描述。
首先,将参照图1描述根据本发明实施例的用于头部姿态估计的方法。如图1所示,所述方法包括如下步骤:
首先,在步骤S101,采集一帧三维图像。
然后,在步骤S102检测该帧三维图像是否满足预定条件。通过所述预定条件对将要进行后续的头部姿态估计处理的三维图像进行初步的筛选。例如,如下文中所述,所述预定条件可以为在该帧三维图像中检测到人脸。或者,例如,所述预定条件也可以是该帧三维图像的亮度低于预定阈值。当然,本发明并不限于以上所列的几种示例。
当在步骤S102确定满足所述预定条件时,处理进行到步骤S103。在步骤S103,使得作为基准的标准头部模型的点云经历特定空间变换。一般而言,作为基准的标准头部模型的头部姿态应该是头部保持直立同时不倾斜且不俯仰的姿态。点云(point cloud)是指通过双目摄像头获取的海量点数据。获取数据以点的形式记录,每一个点包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。关于作为基准的标准头部模型的点云的获取方式将稍后描述。
接下来,处理进行到步骤S104。在步骤S104,确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。这里的空间变换参数可以包括六个自由度,即xyz轴的位移(即,下文中所述的位移向量t)以及相对于xyz轴的旋转(即,下文中所述的旋转矩阵R)。例如,作为基准的标准姿态的标准头部模型(如,位移旋转均为0)经过(x,y,z,α,β,γ)变换之后与目标点云(即,拍摄所得的图像)拟合,则可以认为头部姿态为(x,y,z,α,β,γ)。具体来讲,假设实时通过双目摄像头采集到的用户头部的点云为目标点云PC_dst,且作为基准的标准头部模型的点云为源点云PC_src,那么,拟合的含义是通过求解旋转矩阵R和位移向量t来变换得到PC_trans=R*PC_src+t,使得变换之后的点云PC_trans与目标点云PC_dst的距离最小。
最后,在步骤S105,根据所述空间变换参数确定头部姿态。
另一方面,当在步骤S102确定不满足所述预定条件时,处理返回到步骤S101。并且在重新获得一帧三维图像之后重复其后的处理。
在本发明中,通过将实时获取的用户头部模型与标准头部模型进行比较来获得六自由度(三个旋转,三个位移)的头部姿态估计。通过这种六自由度的头部姿态估计,估计结果更加精确。并且,由于不依赖于面部特征点,因此当用户头部姿态变化角度过大、用户面部被部分遮挡或者用户有表情变化时,不会导致检测失效或检测精度下降且同样适用。
关于作为基准的标准头部模型的点云的获取列举如下两种方式。
作为第一种可能的获取方式,可以以预先存储的标准头部模型作为基准的标准头部模型。例如,为了不增大处理负荷,可以预先仅存储一种标准头部模型。当需要对不同用户进行头部姿态估计时,均将其与这一种标准头部模型进行比较。
然而,为了估计结果更加准确,作为更优选的实施方式,例如,也可以预先存储多种标准头部模型。例如,可以存储男性标准头部模型和女性标准头部模型。或者,也可以进行更细致的分类。例如,可以存储白种人男性标准头部模型、白种人女性标准头部模型、黑种人男性标准头部模型、黑种人女性标准头部模型、黄种人男性标准头部模型、黄种人女性标准头部模型。如上文中所述,所述预定条件为在该帧三维图像中检测到人脸。
在这种情况下,可以基于检测到的人脸,从预先存储的一数据库中选择合适的标准头部模型的点云作为基准的标准头部模型的点云。具体来讲,可以基于检测到的人脸来判断该用户为男性还是女性以及人种的类型。假设判断出该用户为黄种人男性,则从预先储存的数据库中选择黄种人男性标准头部模型作为基准的标准头部模型。
作为第二种可能的获取方式,与使用预先存储的非用户本人的标准头部模型的第一种获取方式不同,可以使用用户本人的标准头部模型。具体来讲,在进行头部姿态估计处理之前,需要首先进行获取标准头部模型的预处理。所述预处理包括如下步骤:首先,连续地采集预定数量的多帧深度图像。然后,作为一种最直接的方法,通过对所述多帧深度图像进行加权平均来获得当前用户的头部模型作为所述标准头部模型。当然,也可以使用更加复杂的融合方法来基于采集到的多帧深度图像而获得当前用户的头部模型作为所述标准头部模型。
本领域的技术人员可以理解,本发明并不仅限于以上列举的获取标准头部模型的方式。任何其他可能的方式都应该包含在本发明的范围内。
接下来,将进一步描述关于如何确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数的细节。
作为一种可能的实施方式,可以通过迭代最近点法(Iterative Closest Point,ICP)来进行上文中所述的拟合,进而获得当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。ICP算法是由Besl和Mckay在1992年提出的,它是基于纯粹几何模型的三维物体对准算法。由于它的强大功能以及高精确度,很快就成为了曲面配准中的主流算法。ICP算法的实质是基于最小二乘法的最优匹配算法。它重复进行“确定对应关系点集—计算最有刚体变换”的过程,直到某个表示正确匹配的收敛准则得到满足。ICP算法的目的是找到目标点集与参考点之间的旋转矩阵R和位移向量t,使得两匹配数据中间满足某种程度度量准则下的最优匹配。
在ICP算法中,在开始迭代处理之前,需要进行初始化处理。所述初始化处理包括如下步骤:首先,基于该帧三维图像,确定图像中的特征点的三维坐标。然后,基于特征点的三维坐标,初步对齐作为基准的标准头部模型的点云和作为目标的该帧三维图像的点云,并获得初始的空间变换参数。
这里的特征点可以是人脸特征点(例如,双眼中心、眉尖、鼻尖、嘴角等)。具体来讲,根据在彩色图像上检测到的人脸特征点的二维坐标,并结合双目摄像头感测到的深度图,计算出人脸特征点的三维坐标。例如,可以根据鼻尖的三维坐标,初步对齐目标点云和模型点云,计算出初始化的t_0。并且可以进一步根据双眼中心的三维坐标,进一步对齐目标点云和模型点云,计算出初始化的R_0。
并且,检测只是为了初始化ICP来初步的对齐目标点云和模型点云,所以当面部被部分遮挡时,一般人脸特征点检测方法得到的特征点位置会不是很准确,但用于ICP初始化完全足够了。
此外,当人脸特征点检测失败时,可计算目标点云的重心,以此来初步对齐目标点云和模型点云。
然而,这里需要指出的是,ICP算法是一种迭代算法。当用户有非常快速的剧烈运动时,会使ICP算法在预设的迭代次数后还是求解不出最优的R和t,这样会导致跟踪失败,需要重新初始化。
并且,在上文中所述的方法流程中,以一帧待处理图像并且假设跟踪成功进行说明。事实上,可以对于双目摄像头获取的数据流中包括的多帧图像连续地进行估计头部姿态的处理。图2示出了通过ICP算法对多帧图像连续地进行头部姿态估计的处理的流程图。
如图2所示,首先,在步骤S201,通过双目摄像头获取数据流。然后,在步骤S202,判断是否为第一帧或跟踪失败。
如果在步骤S202判断出为第一帧或者跟踪失败,则处理进行到步骤S203。在步骤S203,判断是否满足预定条件。如上文中所述,这里的预定条件例如为是否存在人脸。如果在步骤S203判断出满足预定条件,则处理进行到步骤S204。在步骤S204,执行ICP初始化。然后,在步骤S205,进行ICP拟合。接下来,在步骤S206,判断ICP拟合是否成功,即判断跟踪是否成功。如果在步骤S206判断出成功,则处理处理进行到步骤S207。在步骤S207,确定头部姿态。然后处理返回到步骤S201,并对下一帧重复相同的处理。另一方面,如果在步骤S206判断出失败,则处理进行到步骤S208。在步骤S208,忽略该帧。
另一方面,如果在步骤S203判断出不满足预定条件,则处理进行到步骤S208以忽略该帧。
另一方面,如果在步骤S202判断出不是第一帧或跟踪成功,则处理跳过步骤S203、S204而直接进行到步骤S205。
以上参照图1和图2,详细描述了根据本发明实施例的用于头部姿态估计的方法。通过这样的方法,与采用普通摄像头获取的二维图像来估计头部姿态的方法相比,根据本发明的方法可以估计六个自由度(三个旋转、三个平移)的头部姿态。并且,由于基于与标准头部模型的拟合来估计头部姿态,因此对于大角度的姿态变化以及用户面部被部分遮挡的情况,本发明同样适用。此外,由于采用双目摄像头的深度信息,因此本发明的方法对环境光照的变化具有一定的鲁棒性。最后,当采用ICP算法进行拟合时,具有良好的并行性。例如,当使用GPU做并行运算时,本发明的方法可以以100fps的帧速率运行。
接下来,将参照图3描述根据本发明实施例的用于头部姿态估计的设备。如图3所示,用于头部姿态估计的设备300包括图像采集单元301、检测单元302、变换单元303和头部姿态确定单元304。
图像采集单元301用于获取一帧三维图像。例如,所述图像采集单元301为一双目摄像头。
检测单元302用于检测该帧三维图像是否满足预定条件。通过所述预定条件对将要进行后续的头部姿态估计处理的三维图像进行初步的筛选。例如,如下文中所述,所述预定条件可以为在该帧三维图像中检测到人脸。或者,例如,所述预定条件也可以是该帧三维图像的亮度低于预定阈值。当然,本发明并不限于以上所列的几种示例。
变换单元303用于当确定满足所述预定条件时,使得作为基准的标准头部模型的点云经历特定空间变换,并确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。
头部姿态确定单元304用于根据所述空间变换参数确定头部姿态。
这里的空间变换参数可以包括六个自由度,即xyz轴的位移以及相对于xyz轴的旋转。例如,作为基准的标准姿态的标准头部模型(如,位移旋转均为0)经过(x,y,z,α,β,γ)变换之后与目标点云(即,拍摄所得的图像)拟合,则可以认为头部姿态为(x,y,z,α,β,γ)。这样,头部姿态估计更加精确。由于不依赖于面部特征点,因此当用户头部姿态变化角度过大、用户面部被部分遮挡或者用户有表情变化时,不会导致检测失效或检测精度下降且同样适用。
关于作为基准的标准头部模型的点云的获取列举如下两种方式。
作为第一种可能的获取方式,可以以预先存储的标准头部模型作为基准的标准头部模型。例如,为了不增大处理负荷,可以预先仅存储一种标准头部模型。当需要对不同用户进行头部姿态估计时,均将其与这一种标准头部模型进行比较。
然而,为了估计结果更加准确,作为更优选的实施方式,例如,也可以预先存储多种标准头部模型。例如,可以存储男性标准头部模型和女性标准头部模型。或者,也可以进行更细致的分类。例如,可以存储白种人男性标准头部模型、白种人女性标准头部模型、黑种人男性标准头部模型、黑种人女性标准头部模型、黄种人男性标准头部模型、黄种人女性标准头部模型。如上文中所述,所述预定条件为在该帧三维图像中检测到人脸。
图4示出了这种情况下的设备的配置。如图4所示,所述设备可以进一步包括:存储单元305,用于预先存储一数据库,其中存储了多个标准头部模型的点云;以及选择单元306,用于基于所述检测单元检测到的人脸,从所述存储单元中预先存储的所述数据库中选择合适的标准头部模型的点云作为基准的标准头部模型的点云。具体来讲,可以基于检测到的人脸来判断该用户为男性还是女性以及人种的类型。假设判断出该用户为黄种人男性,则选择单元从预先储存的数据库中选择黄种人男性标准头部模型作为基准的标准头部模型。然后,变换单元303以选择单元306选择出的标准头部模型作为基准,以获取的该帧三维图像作为目标进行空间变换。
作为第二种可能的获取方式,与使用预先存储的非用户本人的标准头部模型的第一种获取方式不同,可以使用用户本人的标准头部模型。具体来讲,在进行头部姿态估计处理之前,需要首先进行获取标准头部模型的预处理。所述图像采集单元301连续地采集预定数量的多帧深度图像。然后,图5示出了这种情况下的设备的配置。如图5所示,所述设备进一步包括:标准头部模型获取单元307,用于通过对所述多帧深度图像进行加权平均来获得当前用户的头部模型作为所述标准头部模型。这里,标准头部模型获取单元采用一种最直接的方式,即:通过对所述多帧深度图像进行加权平均来获得当前用户的头部模型作为所述标准头部模型。当然,标准头部模型获取单元也可以使用更加复杂的融合方法来基于采集到的多帧深度图像而获得当前用户的头部模型作为所述标准头部模型。
例如,所述变换单元303可以通过迭代最近点法ICP来获得当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。
如上文中所述,在ICP算法中,在开始迭代处理之前,需要进行初始化处理。因此,所述变换单元303进一步包括:初始化单元,用于基于该帧三维图像,确定图像中的特征点的三维坐标;基于特征点的三维坐标,初步对齐作为基准的标准头部模型的点云和作为目标的该帧三维图像的点云,并获得初始的空间变换参数。
这里的特征点可以是人脸特征点(例如,双眼中心、眉尖、鼻尖、嘴角等)。具体来讲,根据在彩色图像上检测到的人脸特征点的二维坐标,并结合双目摄像头感测到的深度图,计算出人脸特征点的三维坐标。例如,可以根据鼻尖的三维坐标,初步对齐目标点云和模型点云,计算出初始化的t_0。并且可以进一步根据双眼中心的三维坐标,进一步对齐目标点云和模型点云,计算出初始化的R_0。
并且,检测只是为了初始化ICP来初步的对齐目标点云和模型点云,所以当面部被部分遮挡时,一般人脸特征点检测方法得到的特征点位置会不是很准确,但用于ICP初始化完全足够了。
此外,当人脸特征点检测失败时,可计算目标点云的重心,以此来初步对齐目标点云和模型点云。
然而,这里需要指出的是,ICP算法是一种迭代算法。当用户有非常快速的剧烈运动时,会使ICP算法在预设的迭代次数后还是求解不出最优的R和t,这样会导致跟踪失败,需要重新初始化。
以上参照图3到图5,详细描述了根据本发明实施例的用于头部姿态估计的设备。通过这样的设备,与采用普通摄像头获取的二维图像来估计头部姿态的设备相比,根据本发明的设备可以估计六个自由度(三个旋转、三个平移)的头部姿态。并且,由于基于与标准头部模型的拟合来估计头部姿态,因此对于大角度的姿态变化以及用户面部被部分遮挡的情况,本发明同样适用。此外,由于采用双目摄像头的深度信息,因此本发明的设备对环境光照的变化具有一定的鲁棒性。最后,当采用ICP算法进行拟合时,具有良好的并行性。例如,当使用GPU做并行运算时,本发明的设备可以以100fps的帧速率运行。
需要说明的是,在本说明书中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后,还需要说明的是,上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理,而且包括并行或分别地、而不是按时间顺序执行的处理。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现,当然也可以全部通过软件来实施。基于这样的理解,本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种用于头部姿态估计的方法,包括:
采集一帧三维图像;
检测该帧三维图像是否满足预定条件;
当确定满足所述预定条件时,使得作为基准的标准头部模型的点云经历特定空间变换,并确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数;以及
根据所述空间变换参数确定头部姿态,
其中所述预定条件为在该帧三维图像中检测到人脸,并且
其中基于检测到的人脸,从预先存储的一数据库中选择合适的标准头部模型的点云作为基准的标准头部模型的点云,或者连续地采集预定数量的多帧深度图像,并通过对所述多帧深度图像进行加权平均来获得当前用户的头部模型作为所述标准头部模型。
2.根据权利要求1所述的方法,其中通过迭代最近点法ICP来获得当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。
3.根据权利要求2所述的方法,进一步包括:
基于该帧三维图像,确定图像中的特征点的三维坐标;
基于特征点的三维坐标,初步对齐作为基准的标准头部模型的点云和作为目标的该帧三维图像的点云,并获得初始的空间变换参数。
4.一种用于头部姿态估计的设备,包括:
图像采集单元,用于获取一帧三维图像;
检测单元,用于检测该帧三维图像是否满足预定条件;
变换单元,用于当确定满足所述预定条件时,使得作为基准的标准头部模型的点云经历特定空间变换,并确定当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数;以及
头部姿态确定单元,用于根据所述空间变换参数确定头部姿态,
其中所述预定条件为在该帧三维图像中检测到人脸,并且
所述设备进一步包括:
存储单元,用于预先存储一数据库,其中存储了多个标准头部模型的点云;以及
选择单元,用于基于所述检测单元检测到的人脸,从所述存储单元中预先存储的所述数据库中选择合适的标准头部模型的点云作为基准的标准头部模型的点云,或者
所述图像采集单元连续地采集预定数量的多帧深度图像;并且
所述设备进一步包括:
标准头部模型获取单元,用于通过对所述多帧深度图像进行加权平均来获得当前用户的头部模型作为所述标准头部模型。
5.根据权利要求4所述的设备,其中所述变换单元通过迭代最近点法ICP来获得当所述标准头部模型的点云与作为目标的该帧三维图像的点云之间的距离最小时的空间变换参数。
6.根据权利要求5所述的设备,其中所述变换单元进一步包括:初始化单元,用于基于该帧三维图像,确定图像中的特征点的三维坐标,基于特征点的三维坐标,初步对齐作为基准的标准头部模型的点云和作为目标的该帧三维图像的点云,并获得初始的空间变换参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410799964.7A CN105760809B (zh) | 2014-12-19 | 2014-12-19 | 用于头部姿态估计的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410799964.7A CN105760809B (zh) | 2014-12-19 | 2014-12-19 | 用于头部姿态估计的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105760809A CN105760809A (zh) | 2016-07-13 |
CN105760809B true CN105760809B (zh) | 2019-05-31 |
Family
ID=56340002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410799964.7A Active CN105760809B (zh) | 2014-12-19 | 2014-12-19 | 用于头部姿态估计的方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105760809B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599810B (zh) * | 2016-12-05 | 2019-05-14 | 电子科技大学 | 一种基于栈式自编码的头部姿态估计方法 |
CN106919916A (zh) * | 2017-02-23 | 2017-07-04 | 上海蔚来汽车有限公司 | 用于驾驶员状态检测的人脸正前方姿态参数估计方法及装置 |
CN107358172B (zh) * | 2017-06-22 | 2022-05-24 | 华南理工大学 | 一种基于人脸朝向分类的人脸特征点初始化方法 |
CN109034137B (zh) * | 2018-09-07 | 2019-11-19 | 百度在线网络技术(北京)有限公司 | 头部姿态标记更新方法、装置、存储介质和终端设备 |
CN110909571B (zh) * | 2018-09-17 | 2022-05-03 | 武汉资联虹康科技股份有限公司 | 一种高精度面部识别空间定位方法 |
CN109410319B (zh) * | 2018-09-30 | 2021-02-02 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
KR20210091571A (ko) * | 2020-01-14 | 2021-07-22 | 엘지전자 주식회사 | 헤드 포즈를 추정하는 인공 지능 장치 및 그 방법 |
WO2022252118A1 (zh) * | 2021-06-01 | 2022-12-08 | 华为技术有限公司 | 一种头部姿态测量方法及装置 |
CN113705440B (zh) * | 2021-08-27 | 2023-09-01 | 华中师范大学 | 一种面向教育机器人视觉理解的头部姿态估计方法及系统 |
CN116152853A (zh) * | 2022-11-30 | 2023-05-23 | 珠海视熙科技有限公司 | 一种坐姿检测方法、装置、智能台灯及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198330A (zh) * | 2013-03-19 | 2013-07-10 | 东南大学 | 基于深度视频流的实时人脸姿态估计方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1090141C (zh) * | 1996-03-29 | 2002-09-04 | 东丽株式会社 | 输送机链 |
CA2678156C (en) * | 2007-02-16 | 2013-10-08 | Mitsubishi Electric Corporation | Measurement apparatus, measurement method, and feature identification apparatus |
-
2014
- 2014-12-19 CN CN201410799964.7A patent/CN105760809B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103198330A (zh) * | 2013-03-19 | 2013-07-10 | 东南大学 | 基于深度视频流的实时人脸姿态估计方法 |
Non-Patent Citations (1)
Title |
---|
利用Kinect估计人体头部姿态;杨景旭;《万方数据知识服务平台》;20120630;论文第4-5,17-23页 |
Also Published As
Publication number | Publication date |
---|---|
CN105760809A (zh) | 2016-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105760809B (zh) | 用于头部姿态估计的方法和设备 | |
KR102267553B1 (ko) | 큐보이드 검출을 위한 딥 러닝 시스템 | |
CN107004275B (zh) | 确定实物至少一部分的3d重构件空间坐标的方法和系统 | |
Whelan et al. | Deformation-based loop closure for large scale dense RGB-D SLAM | |
CN104808795B (zh) | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 | |
EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
CN109791608A (zh) | 映射摘要和本地化 | |
KR20150117553A (ko) | 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체 | |
CN112666714A (zh) | 注视方向映射 | |
WO2013112749A1 (en) | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion | |
WO2020225562A1 (en) | Processing captured images | |
CN104899563A (zh) | 一种二维人脸关键特征点定位方法及系统 | |
JP5828167B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
CN106484098B (zh) | 用户界面的实时交互操作系统和方法 | |
CN105841675B (zh) | 一种用于智能机器人的测距方法及系统 | |
US20190073796A1 (en) | Method and Image Processing System for Determining Parameters of a Camera | |
JP2008102902A (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
CN105165004A (zh) | 摄影系统 | |
JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Rocca et al. | Head pose estimation by perspective-n-point solution based on 2d markerless face tracking | |
WO2020032254A1 (ja) | 注意対象推定装置及び注意対象推定方法 | |
US11250592B2 (en) | Information processing apparatus | |
de Farias Macedo et al. | A robust real-time face tracking using head pose estimation for a markerless ar system | |
López-Méndez et al. | Real-time upper body tracking with online initialization using a range sensor | |
Li et al. | Visual interpretation of natural pointing gestures in 3D space for human-robot interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |