CN103136744B

CN103136744B - 用于计算特征点的三维位置的装置和方法

Info

Publication number: CN103136744B
Application number: CN201210468779.0A
Authority: CN
Inventors: 南东暻; 朴柱容
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-11-25
Filing date: 2012-11-19
Publication date: 2018-02-27
Anticipated expiration: 2032-11-19
Also published as: US20130136302A1; KR20130058424A; CN103136744A; EP2597597A2; EP2597597A3; US9600714B2; EP2597597B1; KR101874494B1

Abstract

本发明提供了一种用于计算特征点的三维位置的装置和方法。一种用于计算空间坐标的设备科从输入图像中提取多个特征点，计算与所述多个特征点相关的方向矢量，并基于所述多个特征点之间的距离和所述方向矢量来计算所述多个特征点的空间坐标。

Description

用于计算特征点的三维位置的装置和方法

本申请要求于2011年11月25日在韩国知识产权局提交的第10-2011-0124422号韩国专利申请的优先权权益，该申请的公开通过引用包含于此。

技术领域

示例实施例涉及一种用于计算特征点的三维（3D）位置的装置和方法，并且更具体地讲，涉及一种用于检测空间中的特征点并计算每个特征点的3D坐标的装置和方法。

背景技术

目前，除了图像拍摄装置拍摄邻近的风景或人物的简单功能之外，可使用照相机来容易地输入与照相机的周围环境相关的各种信息。

例如，智能电话的照相机可被用于识别条形码或快速响应（QR）码。与视频游戏交互的照相机可感测人的动作。

在三维（3D）显示器、安全照相机等中可识别追踪对象的位置或动作的功能。因此，这些领域可利用使用照相机识别并追踪对象或特征点（例如，人眼的位置）的功能。

例如，可提出自动立体3D显示器和多视点显示器作为当前广泛商业化和经售的立体3D显示器的后续技术。在自动立体3D显示器和多视点显示器中，重点可能在于产生适于人的左眼和右眼的位置的左眼图像和右眼图像。因此，期望一种准确且快速计算人眼的位置的方法。

发明内容

可通过提供一种用于计算空间坐标的装置来实现前述和/或其它方面，所述装置可包括：特征点提取器，从输入图像中提取多个特征点；方向矢量计算器，计算与所述多个特征点相关的方向矢量；和空间坐标计算器，基于所述输入图像内的所述多个特征点之间的距离和所述方向矢量来计算所述多个特征点中的每个特征点的空间坐标。

所述用于计算空间坐标的装置还可以包括图像产生器，所述图像产生器是通过拍摄对象来产生所述输入图像的单个照相机模块。

所述特征点提取器可从所述输入图像中提取与人的眼睛对应的多个特征点。

所述方向矢量计算器可通过将人脸掩模应用于所述输入图像来计算与包括在所述输入图像中的人脸的正面方向对应的方向矢量。

所述多个特征点之间的距离可为基于用户设置校正后的值。

可通过提供一种用于计算空间坐标的装置来实现前述和/或其它方面，所述装置包括：图像产生装置，通过拍摄人的脸来产生输入图像；特征点提取器，从所述输入图像中提取与人的左眼对应的第一特征点和与人的右眼对应的第二特征点；和空间坐标计算器，利用与所述人的左眼和所述人的右眼之间的距离相关的距离信息来计算所述第一特征点和所述第二特征点中的每个的3D空间坐标。

所述图像产生装置可为通过拍摄人的脸来产生输入图像的单个照相机模块。

所述用于计算空间坐标的装置还可以包括方向矢量计算器，所述方向矢量计算器通过分析所述输入图像来计算与所述人的脸的正面方向对应的方向矢量。所述空间坐标计算器可利用所述距离信息和所述方向矢量来计算所述第一特征点和所述第二特征点的3D空间坐标。

所述方向矢量计算器可通过将人脸掩模模型应用于所述输入图像来计算所述方向矢量。

所述空间坐标计算器可基于所述输入图像内的所述第一特征点和所述第二特征点中的每个的像素索引来计算从所述图像产生装置到所述第一特征点和所述第二特征点中的每个的方向，并可使用计算的方向来计算所述第一特征点和所述第二特征点中的每个的3D空间坐标。

可通过提供一种计算空间坐标的方法来实现上述和/或其它方面，所述方法可包括：从输入图像提取多个特征点；计算与所述多个特征点相关的方向矢量；和基于所述输入图像内的所述多个特征点之间的距离和所述方向矢量来计算所述多个特征点中的每个特征点的空间坐标。

可通过提供一种计算空间坐标的方法来实现上述和/或其它方面，所述方法可包括：通过单个照相机模块拍摄人的脸来产生输入图像；从所述输入图像中提取与人的左眼对应的第一特征点和与人的右眼对应的第二特征点；和利用与所述人的左眼和所述人的右眼之间的距离相关的距离信息来计算所述第一特征点和所述第二特征点中的每个的3D空间坐标。

根据示例实施例，可仅使用单个照相机来计算具有变化的空间坐标的特征点的3D位置，因此能够节省用于追踪眼睛的位置等的照相机装置资源。

根据示例实施例，在原料价格或设计方面，能能够追踪人的眼睛以应用于3D显示器等，并且校正可对每个用户有所反映。因此，示例实施例可适于用户专用的3D显示器或游戏播放器等。

本发明的另外方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本发明的实施可以被理解。

附图说明

从下面结合附图对实施例进行的描述中，这些和/或其它方面将变得清楚并更易于被理解，在附图中：

图1示出了根据实施例的可在显示设备中设置用于计算空间坐标的装置的应用示例；

图2示出了根据实施例的用于计算空间坐标的装置的构造；

图3示出了根据实施例的图像产生装置和眼睛的空间布置；

图4是描述根据实施例的在产生的输入图像中计算眼睛的方向的处理的示图；

图5是描述根据实施例的计算两只眼睛的位置矢量和脸的方向矢量的处理的示图；和

图6示出了根据实施例的计算特征点的位置的方法。

具体实施方式

现在将详细说明实施例，在附图中示出了实施例的示例，其中，相同的标号始终表示相同的元件。下面通过参照附图来描述实施例以解释本公开。

图1示出了根据实施例的应用示例100，在应用示例100中，可在显示设备101中设置用于计算空间坐标200的装置。

参照图1，用于计算空间坐标200的装置可用于显示设备101，以计算人102的左眼110和右眼120的空间坐标。

然而，上述应用示例100仅为示例，因此，在不脱离实施例的精神的情况下可应用各种应用和变型。因此，即使将基于显示设备101计算人102的左眼110和右眼120的空间坐标的示例进行描述，实施例也不限于此。

在用于计算空间坐标200的装置中可包括单个照相机模块，将参照图2再描述用于计算空间坐标200的装置。

当拍摄位于单个照相模块的视野（FoV）内的人102的脸时，用于计算空间坐标200的装置可从拍摄的图像中追踪双眼（例如，左眼110和右眼120）的位置，并可以根据下面的方法快速计算左眼110和右眼120的空间位置。

在传统的技术中，难以从使用单个照相机拍摄的图像来准确地计算双眼的空间坐标。通常，可通过将3D空间投射到二维（2D）平面上来表现照相机图像。因此，对于使用照相机拍摄的对象，仅可从照相机视图（camera view）知道方向，而不可能核实3D位置。

因此，在传统的技术中，可使用在3D空间中位于不同位置的至少两个照相机中的每个来获取图像，并且可使用获取的图像根据三角测量方案来确定人的双眼的空间坐标。由于照相机数量的增加导致的成本增大、多个照相机之间的空间匹配的必要性以及多个照相机之间的时间同步等，所以传统的方法可能不能应用于实际的产品。

例如，当在智能电话等中设置至少两个照相机以拍摄用户的脸并在智能电话中核实3D图像表达或视频电话的空间位置时，智能手机的成本和尺寸会增大。

根据实施例，更有效和适合的方法可使用单个照相机来计算3D位置，即，期望的特征点的空间坐标。

将参照图2至图6进一步描述实施例。

图2示出了根据实施例的用于计算空间坐标200的装置的构造。

图像产生器210可包括单个照相机，以通过拍摄作为对象的人的脸等来产生输入图像。例如，输入图像可被理解为数字彩色图像。

特征点提取器220可从输入图像中提取期望计算其空间坐标的特征点，例如，图1中的人102的左眼110和右眼120。在现有技术中广泛地介绍了从图像中提取眼睛的位置的算法，因此这里将省略进一步的描述。

除了从输入图像中提取的特征点之外，可使用特征点之间的距离作为预定值或实时输入值。

特征点之间的距离可为人的平均瞳孔间距（IPD）。即使IPD会根据性别、年龄和种族而略有不同，但是差异可为大约6cm。

IPD值可被用于计算每个特征点（例如，左眼和右眼）的空间位置。即使IPD值是输入值，IPD值也不是固定不变的，并且可为能够基于作为对象的人而校正的值。

方向矢量计算器230可通过将人脸掩模模型（human face mask model）应用于输入图像来计算被拍摄的脸部正面的方向矢量。此外，在另一示例性实施例中，方向矢量计算器230可通过将3维变形模型（Morph Model）与人脸相匹配来计算方向矢量。向矢量计算器230通过比较输入图像与人脸掩模模型来计算与人脸的正面方向对应的方向矢量。方向矢量的计算可对应于2000年3月17日提交的第6,556,196号美国专利（“Method andapparatus for theprocessing of images”，Blanz等）中的计算人脸法向矢量，该美国专利通过引用完整地包含于此。

空间坐标计算器240可使用方向矢量、与来自包括在图像产生器210中的照相机视图的每个特征点的方向相关的信息以及IPD来计算每个特征点的坐标。

将参照图3至图5来进一步描述计算处理。

图3示出了根据实施例的图像产生装置和眼睛的空间布置。

照相机310可对应于包括在图2的图像产生器210中的集成照相机模块。在下文中，为了便于描述，坐标系统可被设置为使照相机310的投影中心点位于原点O处。从原点O到人的左眼321的位置矢量可表示为从原点O到右眼331的位置矢量可表示为

另外，从原点O到左眼321的方向矢量可表示为方向矢量的分量可表示为（l_x,l_y,l_z）。从原点O到右眼331的方向矢量可表示为方向矢量的分量可表示为（r_x,r_y,r_z）。

这里，方向矢量和方向矢量可为分别具有诸如位置矢量和位置矢量的方向分量且具有大小“1”的单位矢量。

d_L表示对应于z轴313的方向的从原点O到左眼321的距离，并且可被理解为的z轴方向分量值。

类似地，d_R表示对应于z轴313的方向的从原点O到右眼331的距离。

关于照相机310，hFoV表示水平视野，vFoV表示垂直视野。另外，hRes表示使用照相机310拍摄的图像的水平像素分辨率，vRes表示图像的垂直像素分辨率。

如上所述，IPD表示瞳孔间距，即，左眼321和右眼331之间的距离。矢量可为表示脸面向的方向的方向矢量，并且可表示垂直于连接左眼321和右眼331的直线的且人脸正面面向的方向。左眼平面320可为包括左眼321并且与包括坐标系的x轴311和y轴312的xy平面平行的虚平面（virtualplane）。右眼平面330可为包括右眼331并与xy平面平行的虚平面。

在下文中，将参照图4来描述根据实施例的方向矢量计算器230计算方向矢量和的方法。

图4是描述根据实施例的在产生的输入图像中计算眼睛的方向的处理的示图。

如图4所示，可假设单个眼睛（例如，拍摄的输入图像中的左眼）在水平方向上位于第x像素处。当x'表示使水平方向像素值标准化为(-1/2,1/2)而获得的值时，x'可用下面的等式1表示：

等式1

关于下面的等式2和等式3所给出的θ_x，可表示x'在原点O处的角度：

等式2

d tanθ_x＝x′

等式3

这里，d表示标准化的z轴方向距离。下面的等式4可由等式2和等式3导出：

等式4

因此，可根据等式5计算θ_x：

等式5

可根据等式6计算θ_y：

等式6

在这个示例中，可根据等式7计算方向矢量

等式7

因此，可分别根据等式8和等式9来计算左眼321的方向矢量和右眼331的方向矢量

等式8

等式9

另外，可进行下面的计算：

等式10

等式11

等式12

等式13

在上述等式中，x_L和y_L分别表示基于拍摄的图像的左眼321的水平方向像素位置和垂直方向像素位置。x_R和y_R分别表示基于拍摄的图像的右眼331的水平方向像素位置和垂直方向像素位置。

当计算左眼321的方向矢量和右眼331的方向矢量时，可计算左眼321和右眼331的位置矢量，这将参照图5进行描述。

图5是描述根据实施例的计算两只眼睛的位置矢量和脸的方向矢量的处理的示图。

当计算左眼321的位置矢量时，可得到下面的等式14：

等式14

类似地，当计算右眼331的位置矢量时，可得到下面的等式15：

等式15

在等式14和等式15中，当d_L和d_R被确定时，可得知眼睛的位置。为了确定d_L和d_R，可采用下面的等式16和17：

等式16

等式17

使用等式14和等式15，可将等式16整理成下面的等式18：

等式18

因此，可根据等式19计算左眼321的z轴方向距离d_L：

等式19

等式20

使用等式14、等式15和等式19，可将等式17整理成下面的等式21：

等式21

可根据等式22计算右眼331的z轴方向距离：

等式22

通过将计算的值代入等式19，还可以根据等式23计算左眼321的z轴方向距离：

等式23

可分别根据等式24和等式25来计算左眼321和右眼331的3D空间坐标值，即，位置矢量和

等式24

等式25

这里，α可为等式20中定义的值。根据上述方法，空间坐标计算器240可利用单个照相机拍摄的图像、IPD值和脸方向矢量准确地计算双眼的3D坐标值。

图6示出了根据实施例的计算特征点的位置的方法。

由于对于每个个人IPD值会不同，所以在计算结果中会出现误差。在操作610，为了减少误差，可输入校正后适合用户的IPD值。可选择地执行操作610。当省略用户IPD输入时，缺省值（例如，大约6cm的值）可被设置为IPD值并可用于计算。

在操作620，可设置照相机参数（例如，hFoV、vFoV、hRes、vRes）以及照相机模式等。操作620也可被选择地执行。

在操作630，图像产生器210可通过拍摄对象来产生图像。

当给出产生的图像时，特征点提取器220可检测特征点，所述特征点指示在拍摄的图像内哪些像素对应于人的双眼的位置。关于特征点的像素索引，左眼位置可被表示为(x_L,y_L)，右眼位置可表示为(x_R,y_R)。

在操作650，方向矢量计算器230可通过分析与当前帧图像对应的对象的脸来确定脸方向矢量可利用学习脸的3D特征点模型并将学习的3D特征点模型与拍摄的图像匹配的方法从拍摄的图像来计算脸方向矢量

在操作660，可根据上述等式计算每个特征点的方向矢量。

利用等式8至等式13，可基于输入的照相机参数和眼睛的像素位置信息来计算作为特征点的眼睛的方向矢量。

在操作670，利用等式24和等式25，空间坐标计算器240可基于计算的眼睛的方向矢量、输入的IPD值和脸方向矢量信息来计算眼睛的位置矢量和在操作680，计算的左眼和右眼的位置矢量分量可被转换或输出为3D空间信息。

当连续输入下一帧并且需要基于照相机模式连续更新位置坐标时，可根据操作690的确定重复操作630之后的处理。

上面涉及的实施例已经描述了脸方向矢量垂直于穿过两只眼睛的直线的情况。如果不垂直于双眼之间的直线，则可仅使用下面的等式26来代替等式16。

等式26

在等式26中，θ表示脸方向矢量和穿过两只眼睛的直线之间的角度。由于脸方向矢量不垂直于穿过两只眼睛的直线，所以cosineθ的值不是0。因此，可使用等式26来代替等式16以通过等式18至等式25计算眼睛的位置矢量和

已经参照图3至图5描述了上述处理，因此这里将省略进一步的描述。

根据实施例，可从仅使用单个照相机拍摄的图像快速且准确地计算与对象的特征点（例如，左眼和右眼）相关的3D空间位置信息。

根据实施例，与现有的立体照相机方案相比，可简化装置结构并且可降低相应的成本。因此，所述实施例可适于生产。在3D显示设备、运动感测领域、机器人系统等中，可非常有效地计算特征点的位置。

根据上述示例实施例的方法可记录在包括程序指令的非瞬时计算机可读介质中以由计算机实施过各种操作。所述介质还可以包括单独的程序指令、数据文件、数据结构等，或者包括它们的组合。记录在介质上的程序指令可以是为示例实施例的目的而专门设计和构建的，或者可以是计算机软件领域的技术人员公知的可用类型。非瞬时计算机可读介质的示例包括磁介质（例如，硬盘、软盘、磁带）、光介质（例如，CD ROM盘和DVD）、磁光介质（例如，光盘）、专门配置为存储和执行程序指令的硬件装置（诸如只读存储器（ROM）、随机存取存储器（RAM）、闪存等）。

程序指令的示例包括诸如由编译器产生的机器代码以及包含可由计算机使用解释器执行的高级代码的文件。所描述的硬件装置可被构造为作为一个或多个软件模块以执行上述示例实施例的操作，反之亦然。这里描述的软件模块的任何一个或多个可由该单元唯一的专用处理器执行，或者可由一个或多个模块共用的处理器执行。所描述的方法可在通用计算机或处理器上执行，或者可以在诸如这里描述的图像处理装置的特定机器上执行。

尽管已经示出并描述了实施例，但是本领域的技术人员将理解的是，在不脱离本公开的原理和精神的情况下，可对这些实施例做出改变，本公开的范围由权利要求及其等同物限定。

Claims

1.一种用于计算空间坐标的装置，所述装置包括：

特征点提取器，从对象的输入图像中提取多个特征点；

图像产生器，所述图像产生器是被配置为通过拍摄对象来产生所述输入图像的单个照相机模块；

对象方向矢量计算器，计算与所述多个特征点相关的对象方向矢量，对象方向矢量对应于对象的正面方向；和

空间坐标计算器，基于所述输入图像内的所述多个特征点之间的距离和所述对象方向矢量来计算所述多个特征点中的每个特征点的空间坐标，

其中，空间坐标计算器还被配置为将空间坐标输出到自动立体显示器，

其中，提取的特征点包括用户的眼睛，

其中，特征方向矢量是单个照相机模块的中心点与各个特征点之间的矢量，

其中，还基于输入的照相机参数与各个特征点的像素位置信息来计算特征方向矢量，

其中，输入的照相机参数包括输入图像的水平视场、输入图像的垂直视场、输入图像的水平像素分辨率和输入图像的垂直像素分辨率，

其中，各个特征点的像素位置信息包括水平像素位置和垂直像素位置。

2.根据权利要求1所述的装置，其中，所述对象方向矢量计算器通过将人脸掩模应用于所述输入图像来计算与包括在所述输入图像中的人脸的正面方向对应的对象方向矢量。

3.一种用于计算空间坐标的装置，所述装置包括：

图像产生装置，通过拍摄人的脸来产生输入图像，其中，所述图像产生设备是被配置为通过拍摄人脸来产生所述输入图像的单个照相机模块；

特征点提取器，从所述输入图像中提取与人的左眼的位置对应的第一特征点和与人的右眼的位置对应的第二特征点；

方向矢量计算器，被配置为通过处理器基于人脸的模型和单个输入图像来计算脸部方向矢量；和

空间坐标计算器，利用与所述人的左眼和所述人的右眼之间的距离相关的距离信息来计算所述第一特征点和所述第二特征点中的每个的三维空间坐标，

其中，方向矢量计算器还被配置为计算从单个照相机模块的中心点至相应特征点的特征方向矢量，

4.根据权利要求3所述的装置，所述装置还包括：

对象方向矢量计算器，通过将人脸掩模模型应用于所述输入图像来计算所述对象方向矢量。

5.根据权利要求3所述的装置，其中，所述空间坐标计算器基于所述输入图像内的所述第一特征点和所述第二特征点中的每个的像素索引来计算从所述图像产生装置到所述第一特征点和所述第二特征点中的每个的方向，并使用计算的方向来计算所述第一特征点和所述第二特征点中的每个的三维空间坐标。

6.一种计算空间坐标的方法，所述方法包括以下步骤：

由通过拍摄对象来产生输入图像的单个照相机模块来获取输入图像；

从对象的所述输入图像提取多个特征点；

计算与所述多个特征点相关的对象方向矢量，对象方向矢量对应于对象的正面方向；

根据所述输入图像内的所述多个特征点之间的距离和所述对象方向矢量来计算所述多个特征点中的每个特征点的空间坐标；和

由一个或更多个处理器将空间坐标输出到自动立体显示器，

其中，提取的特征点包括用户的眼睛，

其中，从单个照相机模块的中心点至相应特征点计算特征方向矢量，

7.根据权利要求6所述的方法，其中，计算所述对象方向矢量的步骤包括：通过将人脸掩模应用于所述输入图像来计算与包括在所述输入图像中的人脸的正面方向对应的所述对象方向矢量。

8.一种计算空间坐标的方法，所述方法包括以下步骤：

由单个照相机模块通过拍摄人的脸来产生输入图像；

从所述输入图像中提取与人的左眼的位置对应的第一特征点和与人的右眼的位置对应的第二特征点；

利用与所述人的左眼和所述人的右眼之间的距离相关的距离信息来计算所述第一特征点和所述第二特征点中的每个的三维空间坐标；和

由一个或更多个处理器将空间坐标输出到自动立体显示器，

其中，提取的特征点包括用户的眼睛，

9.根据权利要求8所述的方法，其中，所述计算步骤包括：基于所述输入图像内的所述第一特征点和所述第二特征点中的每个的像素索引来计算从图像产生装置到所述第一特征点和所述第二特征点中的每个的方向，并利用计算的方向来计算所述第一特征点和所述第二特征点中的每个的三维空间坐标。

10.一种计算空间坐标的方法，所述方法包括：

通过单个照相机模块拍摄对象来获取输入图像；

从输入图像提取与人的眼睛对应的多个特征点；

根据所述输入图像内的所述多个特征点之间的距离和所述对象方向矢量来计算所述多个特征点中的每个的空间坐标；和

由一个或更多个处理器将空间坐标输出到自动立体显示器，

其中，提取的特征点包括用户的眼睛，

其中，输入照相机参数包括输入图像的水平视场、输入图像的垂直视场、输入图像的水平像素分辨率和输入图像的垂直像素分辨率，

11.根据权利要求10所述的方法，其中，计算所述对象方向矢量的步骤包括：通过将人脸掩模应用于所述输入图像来计算与包括在所述输入图像内的人脸的正面方向对应的对象方向矢量。