CN101419672A - 一种同步采集人脸图像和注视视角的装置及方法 - Google Patents

Abstract

本发明涉及一种同步采集人脸图像和注视视角的装置和方法，方法包括：图像采集设备采集被采集者的面部图像，步骤1，将位置跟踪器的接收器分别置于所述被采集者的头部、注视设备、和所述图像采集设备；步骤2，所述位置跟踪器的发射器发射信号，所述接收器接收所述信号，并生成所述接收器相对于所述发射器的位置数据和方向数据；步骤3，计算设备处理所述位置数据和方向数据，获得所述被采集者的注视视角；步骤4，所述计算设备存储所述面部图像和所述注视视角。本发明能够在采集图像的同时确定各部分空间位置，进一步获取图像采集设备的笛卡尔坐标系中，以欧拉角表示的视线注视方向。

Description

一种同步采集人脸图像和注视视角的装置及方法

技术领域

本发明涉及图像采集领域，尤其涉及一种同步采集人脸图像和注视视角的装置及方法。

背景技术

在公共数据库上，为人脸识别研究领域提供的图像数据包括光照、姿态、表情、年龄和装饰等的变化，但是不包括人眼的注视方向数据，因此不能被视觉跟踪研究领域所用。视线跟踪与识别研究领域关心视线注视方向相对于参考系的相对关系。不同的研究者，采取的技术方法不同。个别研究员把世界坐标系作为参考系，但是，以图像法向量作为参考系是目前的主流。为了明确参考系与视角的关系，常将880nm的LED置于采集设备的光轴上或者平行放置，用来照射人眼。人眼反射LED光的点叫做普尔钦斑点(glint点，第一Purkinje图像)。人眼模型是一个近似的球型，球心与普尔钦斑点间的向量方向就是图像法向量的方向。而人眼的注视方向(LOG)近似的表示成球心指向瞳孔中心的点的向量。由此，两个向量之间的夹角变化就是注视方向的变化，即视角变化，这就是绝大数研究人员所用理论几何模型。主流算法都是基于该模型，或者由该模型产生的衍生模型和衍生算法。虽然用LED光源可以提高瞳孔和虹膜之间的对比，不可见的LED光源不会对测试产生干扰，但是，要求限制人的头动作，或者采用头戴式实现，而且计算几何模型所产生的误差和不稳定性，都是视线跟踪研究领域的瓶颈。

发明内容

为解决上述问题，本发明提供了一种同步采集人脸图像和注视视角的装置及方法，能够在采集图像的同时确定各部分空间位置，进一步获取图像采集设备的笛卡尔坐标系中，以欧拉角表示的视线注视方向。

本发明公开了一种同步采集人脸图像和注视视角的方法，图像采集设备采集被采集者的面部图像，所述方法包括：

步骤1，将位置跟踪器的接收器分别置于所述被采集者的头部、注视设备、和所述图像采集设备；

步骤2，所述位置跟踪器的发射器发射信号，所述接收器接收所述信号，并生成所述接收器相对于所述发射器的位置数据和方向数据；

步骤3，计算设备处理所述位置数据和方向数据，获得所述被采集者的注视视角；

步骤4，所述计算设备存储所述面部图像和所述注视视角。

所述步骤2和所述步骤3之间还包括：

步骤21，计算设备选取所述发射器的笛卡尔坐标系为世界坐标系，选取所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。

所述步骤3进一步为：

步骤31，根据所述位置数据和方向数据计算所述接收器相对于所述发射器的旋转矩阵；

步骤32，根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系的原点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中的位置；

步骤33，计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹角，用所述夹角表示所述注视视角。

所述步骤33进一步为：

步骤41，计算所述图像采集设备的笛卡尔坐标系的坐标轴在所述世界坐标系下的向量和所述注视方向在所述世界坐标系下的向量；

步骤42，计算两个所述向量间的夹角。

所述步骤1中将位置跟踪器的接收器置于所述图像采集设备进一步为：

步骤51，将所述接收器固定于所述图像采集设备上，使所述接收器的二维坐标平面平行于所述图像采集设备的感光平面。

所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平面的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系的一个坐标轴和所述感光平面法向量重合。

所述步骤1中将位置跟踪器的接收器置于注视设备进一步为：

步骤71，将位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所述接收器的二维坐标轴同所述屏幕的方向平行。

本发明还公开了一种同步采集人脸图像和注视视角的装置，所述装置包括用于采集被采集者的面部图像的图像采集设备，所述装置还包括位置跟踪器、注视设备和计算设备，所述位置跟踪器包括用于发射信号的发射器和用于接收所述信号的接收器，所述接收器分别置于所述被采集者的头部、注视设备、和所述图像采集设备；

所述接收器还用于在接收到所述发射器发送的信号后，生成所述接收器相对于所述发射器的位置数据和方向数据；

所述计算设备用于处理所述位置数据和方向数据，获得所述被采集者的注视视角，并存储所述面部图像和所述注视视角。

所述计算设备还用于选取所述发射器的笛卡尔坐标系为世界坐标系，选取所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。

所述计算设备在处理所述位置数据和方向数据，获得所述被采集者的注视视角时进一步用于根据所述位置数据和方向数据计算所述接收器相对于所述发射器的旋转矩阵；根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系的原点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中的位置；计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹角，用所述夹角表示所述注视视角。

所述计算设备在计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹角时进一步用于计算所述图像采集设备的笛卡尔坐标系的坐标轴在所述世界坐标系下的向量和所述注视方向在所述世界坐标系下的向量；计算两个所述向量间的夹角。

所述接收器固定于所述图像采集设备上，使所述接收器的二维坐标平面平行于所述图像采集设备的感光平面。

所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平面的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系的一个坐标轴和所述感光平面法向量重合。

所述位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所述接收器的二维坐标轴同所述屏幕的方向平行。

本发明的有益效果在于利用接收器相对于发射器的位置数据，以及接收器的运动可视为一个三维的刚体运动这一特征，提供了一种眼睛注视角度获取的装置和方法，在同步采集人脸图像的同时，确定各个部分间的位置关系，能够确定视线相对于图像采集设备坐标系的位置和朝向，不需要借助LED光源，所以取消了对头的动作限制，实现采集时候头部的自由运动；并且本发明装置布置简单。

附图说明

图1是本发明中发射器与接收器的位置关系示意图；

图2是本发明同步采集人脸图像和注视视角的装置的结构图；

图3是本发明获取注视视角的示意图；

图4为本发明实施例中计算设备操作流程图；

图5是本发明同步采集人脸图像和注视视角的方法流程图。

具体实施方式

下面结合附图，对本发明做进一步的详细描述。

位置跟踪器的一个发射器211和一个接收器212的坐标系关系如图1所示。发射器211向外发射电磁波信号，接收器212接收该电磁波信号，根据接收到的电磁波信号获得接收器212相对于发射器211的位移和旋转角度，分别作为该接收器212的位置数据和方向数据。

本发明的装置的结构如图2所示。装置包括位置跟踪器201、图像采集设备202，注视设备203和计算设备204。位置跟踪器201包括用于发射信号的发射器211和用于接收所述信号的接收器212。接收器212分别置于被采集者的头部、注视设备203、和图像采集设备202。

图像采集设备202用于采集被采集者的面部图像。

接收器212还用于在接收到发射器211发送的信号后，生成接收器212相对于发射器211的位置数据和方向数据。

计算设备204用于处理位置数据和方向数据，获得被采集者的注视视角，并存储被采集者的面部图像和所述注视视角。

在具体实施例中，图像采集设备202为摄像机，计算设备204为计算机，注视设备203为计算机的屏幕。

位置跟踪器201具有一个发射器211和三个接收器212，接收器212分别位于被采集者的头部、注视设备203、和图像采集设备202。或者，位置跟踪器201具有一个发射器211和一个接收器212，接收器212按先位于图像采集设备202，获得位置数据和方向数据后，在按先后顺序置于注视设备203和被采集者的头部，最后实时采集时在头部固定不动。

因为采集到的接收器212的位置数据和方向数据是相对于发射器211的数据。因此，该数据就与人所在的具体位置和注视方向有关。通过获得数据，就可以计算出眼睛、注视点和图像采集设备202坐标原点的位置。

接收器212的运动可视为一个三维的刚体运动。一个刚体在笛卡尔坐标系下的运动可以利用下述的公式1：

RX＇+S＝X

其中R是一个3×3的旋转矩阵，其表达公式为：

$R=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos {\mathrm{\α}}_2\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right)$

$=\left(\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\γ}& \cos \mathrm{\β}\sin \mathrm{\γ}& -\sin \mathrm{\β}\\ \sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}-\cos \mathrm{\α}\sin \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}+\cos \mathrm{\α}\cos \mathrm{\γ}& \sin \mathrm{\α}\cos \mathrm{\β}\\ \cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}-\sin \mathrm{\α}\cos \mathrm{\γ}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)$

X＝(x₁，x₂，x₃)^t为发射器211的坐标；

X＇＝(x＇₁，x＇₂，x＇₃)^t为接收器212的坐标；

S是接收器212相对发射器211的位置坐标；

α，β，γ，为接收器212输出的欧拉角，它们分别表示相对于X₁，X₂和X₃坐标轴的旋转角。

如图3所示为本发明获取注视视角的示意图。

分别将位置跟踪器201的接收器212固定于图像采集设备202、注视设备203和被采集者头部。每个接收器212都有自己的坐标系。将一个接收器212固定在图像采集设备202上，并使接收器212的二维坐标平面平行于图像采集设备202的感光平面。设定图像采集设备202的笛卡尔坐标系为计算注视视角的参考坐标系。并且，定义图像采集设备202的坐标系的原点在感光平面的几何中心，光轴、坐标轴和图像感光面法向量重合。图像采集设备202坐标系坐标轴与其上面固定的接收器212的坐标轴平行，即两个坐标之间无旋转，只有平移。通过测量获得平移距离，利用公式1计算图像采集设备202的坐标系原点在世界坐标系下的位置，以及三个坐标轴的方向向量，建立了一个完整的笛卡尔坐标系。该笛卡尔坐标系为计算注视视角的参考坐标系。

此外，固定在注视设备203和被采集者头部的接收器212，利用公式1计算注视点和眼睛在世界坐标系的位置。将接收器212固定在注视设备203的屏幕坐标原点，并且接收器212的二维坐标轴于屏幕方向平行，两个平面只有平移没有旋转。屏幕原点和接收器原点的位移通过测量获得。这样，就可以通过公式1将任意的屏幕坐标转换为世界坐标系下的坐标值。固定于被采集者头部的接收器212，测量的得到眼睛相对于接收器212的位置坐标，通过公式1计算出眼睛在世界坐标系下的位置。

在实时采集时，注视设备203和图像采集设备202是位置固定，所以其对应的笛卡尔坐标系为不变量特征；被采集头部没有动作限制，头部接收器212位置及其对应的笛卡尔坐标系为实时可移动特征量。

本发明实施例中计算设备204的操作流程如图4所示。

步骤S401，选择位置跟踪器201的发射器211作为世界坐标系；图像采集设备202的笛卡尔坐标系为计算注视视角的参考坐标系。

被检测者的头部、注视设备203、图像采集设备202的接收器212为测量接收器，因此本实施例中发射器211和接收器212构成一个坐标系组。

步骤S402，计算所有接收器212相对于发射器211的旋转矩阵。

步骤S403，应用公式1计算眼睛、注视点、图像采集设备202的笛卡尔坐标系原点在世界坐标系中的位置；

步骤S404，计算图像采集设备202的笛卡尔坐标系的坐标轴在世界坐标系下的向量和注视方向在世界坐标系下的向量。

图像采集设备202的笛卡尔坐标系的坐标轴在世界坐标系下的向量为图3中的向量

，注视方向在世界坐标系下的向量为图3中的向量

。

步骤S405，计算注视方向向量同图像采集设备202的笛卡尔坐标系的坐标轴向量间的夹角。

计算夹角的方法如下：

$\mathrm{\α}=\arccos \left(\frac{\stackrel{\→}{\mathrm{OP}}\·\stackrel{\→}{\mathrm{ON}}}{\left|\stackrel{\→}{\mathrm{QP}}\right|\left|\stackrel{\→}{\mathrm{ON}}\right|}\right).$

步骤S406，将获得的注视视角和采集的图像同步；输出图像、注视视角值和其他原始位置和方向信息，存贮构成数据库。

本发明的方法如图5所示。

图像采集设备采集被采集者的面部图像。

步骤S501，将位置跟踪器的接收器分别置于被采集者的头部、注视设备、和图像采集设备。

将位置跟踪器的接收器置于图像采集设备进一步为，将接收器固定于图像采集设备上，使所述接收器的二维坐标平面平行于所述图像采集设备的感光平面。图像采集设备的笛卡尔坐标系的原点在图像采集设备的感光平面的几何中心，图像采集设备的光轴、图像采集设备的笛卡尔坐标系的一个坐标轴和感光平面法向量重合。

将位置跟踪器的接收器置于注视设备进一步为，将位置跟踪器的接收器置于注视设备的屏幕坐标原点，接收器的二维坐标轴同屏幕的方向平行。

步骤S502，位置跟踪器的发射器发射信号，接收器接收信号，并生成接收器相对于发射器的位置数据和方向数据。

步骤S503，计算设备选取发射器的笛卡尔坐标系为世界坐标系，选取图像采集设备的笛卡尔坐标系为计算注视视角的参考坐标系。

步骤S504，计算设备处理位置数据和方向数据，获得被采集者的注视视角。

步骤S504进一步为：

步骤541，根据位置数据和方向数据计算接收器相对于发射器的旋转矩阵。

步骤542，根据旋转矩阵计算图像采集设备的笛卡尔坐标系的原点、被采集者的眼睛、注视设备上的注视点在世界坐标系中的位置。

步骤543，计算图像采集设备的笛卡尔坐标系的坐标轴在世界坐标系下的向量和注视方向在世界坐标系下的向量。

步骤544，计算两个向量间的夹角。

步骤S505，计算设备存储面部图像和注视视角。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims (14)

1.一种同步采集人脸图像和注视视角的方法，图像采集设备采集被采集者的面部图像，其特征在于，所述方法包括：

步骤1，将位置跟踪器的接收器分别置于所述被采集者的头部、注视设备、和所述图像采集设备；

步骤2，所述位置跟踪器的发射器发射信号，所述接收器接收所述信号，并生成所述接收器相对于所述发射器的位置数据和方向数据；

步骤3，计算设备处理所述位置数据和方向数据，获得所述被采集者的注视视角；

步骤4，所述计算设备存储所述面部图像和所述注视视角。

2.如权利要求1所述的同步采集人脸图像和注视视角的方法，其特征在于，所述步骤2和所述步骤3之间还包括：

步骤21，计算设备选取所述发射器的笛卡尔坐标系为世界坐标系，选取所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。

3.如权利要求2所述的同步采集人脸图像和注视视角的方法，其特征在于，所述步骤3进一步为：

步骤31，根据所述位置数据和方向数据计算所述接收器相对于所述发射器的旋转矩阵；

步骤32，根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系的原点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中的位置；

步骤33，计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹角，用所述夹角表示所述注视视角。

4.如权利要求3所述的同步采集人脸图像和注视视角的方法，其特征在于，所述步骤33进一步为：

步骤41，计算所述图像采集设备的笛卡尔坐标系的坐标轴在所述世界坐标系下的向量和所述注视方向在所述世界坐标系下的向量；

步骤42，计算两个所述向量间的夹角。

5.如权利要求2所述的同步采集人脸图像和注视视角的方法，其特征在于，所述步骤1中将位置跟踪器的接收器置于所述图像采集设备进一步为：

步骤51，将所述接收器固定于所述图像采集设备上，使所述接收器的二维坐标平面平行于所述图像采集设备的感光平面。

6.如权利要求5所述的同步采集人脸图像和注视视角的方法，其特征在于，所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平面的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系的一个坐标轴和所述感光平面法向量重合。

7.如权利要求2所述的同步采集人脸图像和注视视角的方法，其特征在于，所述步骤1中将位置跟踪器的接收器置于注视设备进一步为：

步骤71，将位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所述接收器的二维坐标轴同所述屏幕的方向平行。

8.一种同步采集人脸图像和注视视角的装置，所述装置包括用于采集被采集者的面部图像的图像采集设备，其特征在于，所述装置还包括位置跟踪器、注视设备和计算设备，所述位置跟踪器包括用于发射信号的发射器和用于接收所述信号的接收器，所述接收器分别置于所述被采集者的头部、注视设备、和所述图像采集设备；

所述接收器还用于在接收到所述发射器发送的信号后，生成所述接收器相对于所述发射器的位置数据和方向数据；

所述计算设备用于处理所述位置数据和方向数据，获得所述被采集者的注视视角，并存储所述面部图像和所述注视视角。

9.如权利要求8所述的同步采集人脸图像和注视视角的装置，其特征在于，所述计算设备还用于选取所述发射器的笛卡尔坐标系为世界坐标系，选取所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。

10.如权利要求9所述的同步采集人脸图像和注视视角的装置，其特征在于，所述计算设备在处理所述位置数据和方向数据，获得所述被采集者的注视视角时进一步用于根据所述位置数据和方向数据计算所述接收器相对于所述发射器的旋转矩阵；根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系的原点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中的位置；计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹角，用所述夹角表示所述注视视角。

11.如权利要求10所述的同步采集人脸图像和注视视角的装置，其特征在于，所述计算设备在计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹角时进一步用于计算所述图像采集设备的笛卡尔坐标系的坐标轴在所述世界坐标系下的向量和所述注视方向在所述世界坐标系下的向量；计算两个所述向量间的夹角。

12.如权利要求9所述的同步采集人脸图像和注视视角的装置，其特征在于，所述接收器固定于所述图像采集设备上，使所述接收器的二维坐标平面平行于所述图像采集设备的感光平面。

13.如权利要求12所述的同步采集人脸图像和注视视角的装置，其特征在于，所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平面的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系的一个坐标轴和所述感光平面法向量重合。

14.如权利要求9所述的同步采集人脸图像和注视视角的装置，其特征在于，所述位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所述接收器的二维坐标轴同所述屏幕的方向平行。

Images