CN107861625A - 基于3d空间模型的视线跟踪系统及方法 - Google Patents

Abstract

本发明提供一种基于3D空间模型的视线跟踪系统，包括：3D空间模型获取装置，获得3D空间模型；图像采集器，图像采集器与3D空间之间具有确定已知位置和确定已知朝向，对3D空间及其内部的人员进行图像采集，获得包含人员头部图像的3D空间人员图像；图像处理装置，对3D空间人员图像进行处理，获得图像人员位置，以及在图像采集器坐标系中的头部姿态；视线确定装置，根据图像采集器的成像原理、确定已知位置和确定已知朝向，将图像人员位置和头部姿态转换到3D空间模型坐标系中，确定3D空间模型坐标系中的人员视线。本发明还提供一种基于3D空间模型的视线跟踪方法。本发明所提供的系统及方法保证在不佩戴设备的情况下，实现3D空间内远距离人员视线跟踪。

Description

基于3D空间模型的视线跟踪系统及方法

技术领域

本发明涉及视线跟踪领域，尤其涉及一种基于3D空间模型的视线跟踪系统及方法。

背景技术

视线跟踪通常是指利用不同的设备追踪眼睛视线方向、并将视线移动进行记录的技术，通过对相应人员的视线跟踪可以发现其感兴趣的内容，从而帮助设计者发现网页、广告或者产品中的缺陷；或者了解被追踪者的专注度，比如驾驶的司机、上课的学生。

现有的视觉追踪装置包含一个红外线摄像机，利用人眼看不到的红外线跟踪眼球运动，有些红外线在瞳孔里消失，有些在虹膜、眼角膜、眼睑或者眼球周围的皮肤上反射回去，这些不同的区域反射了不同数量的红外线，并被摄像机接收。目前，视线追踪器主要有两种，一种是在用户使用电脑屏幕、ipad或者看电视的时候，利用摄像头跟踪用户视线，并将其图形化；另外一种是利用眼动仪，需要被记录者佩戴眼动仪。

其中，第一种视线追踪的有效范围一般在两米内，仅能实现近距离的二维平面内的视线追踪，无法捕捉3D环境下的视线；而另外一种视线追踪，需要佩戴额外的设备，有些场景(比如：学生上课时)不太适合，同时所需要佩戴的眼动仪价格昂贵，无法大量普及。

因此，就需要研究如何在被捕捉者不佩戴相应设备的情况下，实现3D空间内对远距离的被捕捉者的视线跟踪。

发明内容

本发明解决的问题是提供一种基于3D空间建模的视线实时跟踪系统及方法，保证在被捕捉者不佩戴设备的情况下，实现3D空间内对远距离的被捕捉者的视线跟踪。

为解决上述问题，本发明提供

一种基于3D空间模型的视线跟踪系统，包括：

3D空间模型获取装置，适于获得所述3D空间模型；

图像采集器，所述图像采集器与3D空间之间具有确定已知位置和确定已知朝向，适于对所述3D空间及其内部的人员进行图像采集，获得3D空间人员图像，所述3D空间人员图像包含人员头部图像；

图像处理装置，适于对所述3D空间人员图像进行处理，获得所述3D空间人员图像中的图像人员位置，以及在图像采集器坐标系中的头部姿态；

视线确定装置，适于根据所述图像采集器的成像原理、所述确定已知位置和所述确定已知朝向，将所述图像人员位置和所述头部姿态转换到3D空间模型坐标系中，确定所述3D空间模型坐标系中的人员视线，所述人员视线包括视线位置和视线方向。

优选地，所述3D空间模型获取装置包括：

3D空间图像采集装置，适于对所述3D空间进行全覆盖的图像采集，获得图像；

3D空间重建装置，适于对所述图像进行处理以获得所述3D空间模型。

优选地，所述3D空间图像采集装置为摄像头，所述摄像头的数量为至少2个，各所述摄像头分别拍摄所述3D空间，实现对所述3D空间的全覆盖。

优选地，所述图像采集器为所述摄像头中的一个。

优选地，所述图像采集器安装于所述3D空间的正面中心位置，所述正面中心位置为所述人员面对的一面的中心位置。

优选地，还包括视线跟踪输出装置，适于输出所述人员视线。

优选地，所述图像采集器按照频率采集所述3D空间人员图像。

优选地，所述图像处理装置包括：

预处理单元，适于对所述3D空间人员图像进行预处理，所述预处理包括大小调整处理和/或归一化处理；

检测单元，适于用识别算法对预处理后的3D空间人员图像进行预选框提取和分类检测，得到人员的身体外界矩形和图像人员位置。；

人员位置获取单元，适于根据所述图像人员位置和所述图像采集器的成像原理获得所述图像采集器坐标系中的所述人员位置。

优选地，所述检测单元还适于得到头部外界矩形；所述图像处理装置还包括：

头部图像剪裁单元，适于根据所述头部外界矩形剪裁出头部图像；

头部图像预处理单元，适于将所述头部图像进行大小调整处理、灰度处理和归一化处理三种方式中的至少一种头部图像预处理；

头部姿态获取单元，对头部图像预处理后的图像进行算法识别，得到所述图像采集器坐标系中的所述头部姿态。

优选地，所述视线确定装置包括：

3D空间坐标转换单元，适于根据所述确定已知位置和所述确定已知朝向得到所述图像采集器坐标系向所述3D空间模型坐标系的转换矩阵；

3D空间人员位置转换单元，适于利用所述图像采集器的成像原理和所述转换矩阵，将所述图像人员位置转换为3D空间模型人员位置；

3D空间头部姿态转换单元，适于利用所述转换矩阵，将所述头部姿态转换为3D空间模型头部姿态；

视线方向确定单元，适于根据所述3D空间模型人员位置和所述3D空间头部姿态，确定所述人员视线。

为解决上述问题，本发明还提供一种基于3D空间模型的视线跟踪方法，包括：

获得3D空间模型；

利用与3D空间之间具有确定已知位置和确定已知朝向的图像采集器，采集3D空间人员图像，所述3D空间人员图像包含人员头部图像；

处理所述3D空间人员图像，获得所述3D空间人员图像中的图像人员位置及在图像采集器坐标系中的头部姿态；

基于所述图像采集器的成像原理、所述确定已知位置和所述确定已知朝向，将所述人员位置和所述头部姿态转换到3D空间模型坐标系中，确定所述3D空间模型坐标系中的人员视线，所述人员视线包括视线位置和视线方向。

优选地，获得3D空间模型步骤包括：

对所述3D空间进行全覆盖的图像采集，获得图像；

对所述图像进行处理以获得所述3D空间模型。

优选地，对所述3D空间进行全覆盖的图像采集步骤包括：提供至少2个摄像头；各所述摄像头分别拍摄所述3D空间，实现对所述3D空间的全覆盖。

优选地，所述图像采集器为所述摄像头中的一个。

优选地，所述图像采集器安装于3D空间的正面中心位置，所述正面中心位置为所述人员面对的一面的中心位置。

优选地，还包括，输出所述人员视线。

优选地，所述图像采集器按照设定频率采集所述3D空间人员图像。

优选地，所述处理所述3D空间人员图像的步骤包括：

将所述3D空间人员图像进行预处理，所述预处理包括大小调整处理和/或归一化处理；

利用识别算法对预处理后的3D空间人员图像进行预选框提取和分类检测，得到人员的身体外界矩形和图像人员位置；

根据所述图像人员位置和所述图像采集器的成像原理获得所述图像采集器坐标系中的所述人员位置。

优选地，得到人员的身体外界矩形的步骤中，还得到头部外界矩形；所述处理所述3D空间人员图像的步骤还包括：

根据所述头部外界矩形在所述3D空间人员图像的头部坐标，剪裁出头部图像；

将所述头部图像进行大小调整处理、灰度处理和归一化处理三种方式中的至少一种头部预处理；

对头部图像预处理后的图像进行算法识别，得到所述图像采集器坐标系中的所述头部姿态。。

优选地，确定人员视线的步骤包括：

根据所述确定已知位置和所述确定已知朝向得到所述图像采集器坐标系向所述3D空间模型坐标系的转换矩阵；

利用所述图像采集器的成像原理和所述转换矩阵，将所述图像人员位置转换为3D空间模型人员位置；

利用所述转换矩阵，将所述头部姿态转换为3D空间模型头部姿态；

根据所述3D空间模型人员位置和所述3D空间模型头部姿态，确定所述人员视线。

与现有技术相比，本发明技术方案具有以下优点：

本发明所提供的一种基于3D空间模型的视线跟踪系统，包括：3D空间模型获取装置、图像采集器、图像处理装置和视线确定装置，3D空间模型获取装置用于获得3D空间模型，图像采集器对3D空间以及位于其内部的人员进行图像采集，获得包含人员头部图像的3D空间人员图像，并且图像采集器的安装位置与3D空间之间具有确定已知位置和确定已知朝向；图像处理装置对图像采集器采集到的3D空间人员图像进行处理，得到3D空间人员图像的图像人员位置及其在图像采集器坐标系中的头部姿态；然后视线确定装置根据3D空间模型和图像采集器的成像原理、确定已知位置和确定已知朝向，将图像人员位置和头部姿态转换到3D空间模型中，进而就可以确定被捕捉人员的视线，即视线位置和视线方向。可以看出，本发明所提供的基于3D空间模型的视线跟踪系统，利用了图像采集器，可以远距离进行人员状态的采集，并通过对人员位置和头部姿态的确定，实现对于人员视线的确定，进而实现了对于人员的视线跟踪，无需佩戴任何设备。

本发明所提供的基于3D空间模型的视线跟踪方法，其效果与基于3D空间模型的视线跟踪相同，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明第一种具体实施方式所提供的基于3D空间模型的视线跟踪系统结构示意图；

图2是对图1中的3D空间模型获取装置的示意图；

图3是对图1中的图像处理装置的示意图；

图4是对图1中的视线确定装置的示意图；

图5是对图4中的视线确定装置的具体实现的示意图；

图6是本发明另一种具体实施方式所提供的基于3D空间模型视线跟踪系统的示意图；

图7是本发明另一种具体实施方式所提供的基于3D空间模型的视线跟踪方法示意图；

图8是对图7的获得3D空间模型步骤的示意图；

图9是对图7的处理所述3D空间人员图像步骤的示意图；

图10是对图7的确定人员视线步骤的示意图；

图11为本发明一种具体方式中坐标转换的示意图；

图12是本发明另一种具体实施方式所提供的基于3D空间模型的视线跟踪方法示意图。

具体实施方式

现有技术中的视线跟踪，不佩戴设备仅能实现近距离的视线捕捉，对于远距离的捕捉则需要对于被捕捉人员(需要进行视线跟踪的人员)佩戴相应设备，但上述技术不能满足所有视线跟踪的要求。

为了能够对远距离的被捕捉者进行视线跟踪，且无需其佩戴相应设备，本发明提供了一种基于3D空间模型的视线跟踪系统和方法，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文所述的3D空间模型是指对三维空间建立的适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，3D空间模型是指根据单视图或者多视图的图像建立的三维空间信息。头部姿态是指头部位置参数和方向度参数，描述头部方向参数的有三个：水平转动的偏航角、垂直转动仰俯角以及左右转动的旋转角。

请参考图1，图1是本发明第一种具体实施方式所提供的基于3D空间模型的视线跟踪系统结构示意图。

如图1所示，本发明所提供的基于3D空间模型的视线跟踪系统，包括图像采集器1、图像处理装置2、视线确定装置3和3D空间模型获取装置5，其中，图像采集器1安装于确定已知位置，且具有确定已知朝向，用于采集3D空间(与3D空间模型对应)及其内部的人员的图像，且采集的图像需包含人员头部图像，并将采集的3D空间人员图像传输给图像处理装置2，图像处理装置2接收到3D空间人员图像后，对其进行处理，从而获得在图像采集器坐标系下的人员位置和头部状态，视线确定装置3接收人员位置信息、头部姿态信息以及3D空间模型获取装置5获得的3D空间模型，并根据已有的确定已知位置和确定已知朝向，将人员位置和头部姿态转换到3D空间模型坐标系中进而确定3D空间模型坐标系中的人员视线，从而就可以获得3D空间模型中的人员视线，即在3D空间模型中的视线位置和视线方向。

本文所述的确定已知位置和确定已知朝向均是相对于3D空间的位置和朝向；本文所述的视线位置是指视线的发出位置。

可以看出，本发明所提供的基于3D空间模型的视线跟踪系统，利用图像采集器1采集图像，通过对图像的处理获得人员位置和头部姿态，进而获得人员视线，从而实现了对于远距离的人员的视线跟踪，并且无需被跟踪人员佩带设备，扩大了不佩戴设备情况下的应用范围。具体，该系统可以广泛应用于教室内，对学生的视线进行跟踪，从而了解学生在上课时的专注度。

具体地，请参考图2，图2是对图1中的3D空间模型获取装置的示意图。

如图中所示，3D空间模型获取装置具体可以包括3D空间图像采集装置51，用于对3D空间进行全覆盖的图像采集，以获得图像；3D空间重建装置52，用于对图像进行处理以获得3D空间模型，从而可以通过该系统实现3D空间模型的获得。当然，3D空间模型的获得的方式可以有很多种，比如：将已有的模型输入，只要能够保证该系统可以获得所需要跟踪的3D空间模型都是可以的。

上述3D空间图像采集装置51具体可以为摄像头51’，摄像头51’的数量为至少2个，各所述摄像头51’分别拍摄3D空间，实现对3D空间的全覆盖。两个摄像头51’可以较容易的实现对于3D空间全覆盖的拍摄，满足对于3D空间进行全覆盖的图像采集的要求。

具体设置时，可以将至少2个摄像头设置的距离相对远一点，同时摄像头51’可以是安装于3D空间固定位置的，也可以是活动的，拍摄完成以后就可以拿走，再应用于其他3D空间的拍摄。另外3D空间图像采集最好是在内部没有人员的情况下进行。

为节省成本，提高摄像头51’的利用率，图像采集器1为前述摄像头51’中的一个。

图像采集器1可以安装于能够拍摄到3D空间及其内部人员的头部图像的位置即可，在一种具体实施方式中，图像采集器1安装于3D空间的正面中心位置，正面中心位置为人员面对的一面的中心位置，具体如果3D空间为教室，则该正面则为黑板或者投影所在的一面，中心位置，则为该面的中心，但要保证能够拍摄到人员头部，从而可以简化图像处理的难度，降低计算的复杂度。

为了保证对于视线跟踪的实时性，图像采集器1可以持续地进行3D空间人员图像的采集，从而，得到的人员视线是持续变化的，可以了解一段时间内人员视线情况，当然具体采集可以按照一定的频率进行，整个系统的运行更规律，当然，不按照频率也是可以的。如果按照频率采集，可以将频率定位为1次/秒到30次/秒中的一个，这样，不仅满足视线跟踪的需要，而且系统的负荷较小，运算较快。

请参考图3，图3是对图1中的图像处理装置的示意图。

如图中所示，本发明所提供的基于3D空间模型的视线跟踪系统，其图像处理装置2具体包括预处理单元21和检测单元22，预处理单元21对3D空间人员图像进行预处理，具体预处理包括大小调整处理和/或归一化处理，根据需要选择具体处理的方式，然后将预处理后的3D空间人员图像传输至检测单元22，检测单元22用识别算法对预处理后的3D空间人员图像进行预选框提取和分类检测，得到人员的身体外界矩形，具体可以用坐标表示为左上角(x_b_1,y_b_1)以及右下角(x_b_2,y_b_2)，并可以选择身体外界矩形的中心位置为图像人员位置(x,y)，该点的获得比较简单，当然也可以选择其他位置作为图像人员位置(x,y)，比如左右中心且距离身体外界矩形上边缘1/3的位置。

上述方法具体说明了一种图像人员位置的获得方式，并具体以坐标的方式输出，但参考坐标系为图像坐标系。

此实施方式中，检测单元22除了获得身体外界矩形，还获取头部外界矩形，具体可以表示为矩形框长、宽；图像处理装置2还包括头部图像裁剪单元23、头部图像预处理单元24和头部姿态获取单元25，头部图像剪裁单元23，根据头部外界矩形剪裁出头部图像，该图像具体可以以RGB三通道表示；头部图像预处理单元24，将头部图像进行大小调整处理、灰度处理和归一化处理三种方式中的至少一种头部预处理，基于图像的具体情况，选择处理的方式；头部姿态获取单元25，利用识别算法处理头部预处理后的头部图像，得到图像采集器坐标系下头部姿态，表示为p,w,r，其中p为垂直转动仰俯角(Pitch)，w为水平转动的偏航角(Yaw)，r为左右转动的旋转角(Roll)。具体的识别算法可以选择卷积神经网络。通过识别算法可以直接得到图像采集器坐标下的头部姿态，即3维的头部姿态。

请参考图4和图5，图4是对图1中的视线确定装置的示意图；图5是对图4中的视线确定装置的具体实现的示意图。

如图4所示，本发明所提供基于3D空间模型的视线跟踪系统的视线确定装置3具体包括：3D空间坐标转换单元31、3D空间人员位置转换单元32、3D空间头部姿态转换单元33和视线方向确定单元34。

3D空间坐标转换单元31根据图像采集器1的确定已知位置、确定已知朝向得到由图像采集器坐标系向3D空间模型坐标系转换的转换矩阵，因为确定已知位置和确定已知朝向都是图像采集器相对于3D空间的，因此，通过上述两个信息就可以得到图像采集器坐标系向3D空间模型坐标系转换的转换矩阵，得到该转换矩阵就可以进行图像人员位置和头部姿态的转换。

3D空间人员位置转换单元32，首先利用图像采集器1的成像原理，将图像人员位置(x,y)转换为图像采集器坐标系中的一条直线，即图像人员位置(x,y)这个点实际采集的是图像采集器坐标系这个3D空间内的一条直线，然后利用转换矩阵，将这条直线转换到3D空间模型坐标系中，由转换矩阵的特点可知，两条直线重合，最后将改直线与距离3D空间模型坐标系中的地面高度为h(高度h为人眼距离地面的高度，为降低计算难度可以选择该高度为身高的平均值)的平面相交，可以理解，该交点即为3D空间模型人员位置，从而，3D空间人员位置转换单元32利用图像采集器1的成像原理和转换矩阵，实现了将图像人员位置转化为3D空间模型人员位置。

当然，在另一种具体方式中，可以利用转换矩阵，将与距离3D空间模型坐标系中的地面高度为h的平面转换到图像采集器坐标系中，得到转换平面，然后将利用图像采集器1的成像原理得到的代表图像采集器坐标系中的人员位置的直线与该转换平面相交，得到图像采集器坐标系中的人员位置，再进一步利用转换矩阵将图像采集器坐标系中的人员位置转换为3D空间模型人员位置。

3D空间头部姿态转换单元33，利用转换矩阵，将图像采集器坐标系中的头部姿态p、w、r转换为3D空间模型头部姿态，首先将头部姿态p、w、r转化为方向向量，然后利用转换矩阵，转换为3D空间模型坐标系下的方向向量，即3D空间模型头部姿态；视线方向确定单元34，根据3D空间模型人员位置和3D空间模型头部姿态，确定人员视线，人员视线具体包括了视线位置和视线方向，视线位置即3D空间模型人员位置，视线方向即3D空间模型头部姿态，最终获得了人员在3D空间的视线。

如图5所示，以教室和学生为例，假设图像采集器坐标系为w₁，而最终对学生视线跟踪所用的3D教室模型坐标系为w₂。图像人员位置(x,y)是在指在图像二维坐标系中的位置，我们可以根据摄像头的成像原理，将坐标(x,y)映射成为w₁坐标系中的射线(图中虚线处)l_1。另一方面，我们已知摄像头在3D教室重建模型中的3维坐标位置，以及摄像头在教室中的朝向，从而我们可以得到从w₁坐标系到w₂坐标系的转换矩阵M₁₂，因此w₁坐标系中的射线l₁可以通过矩阵乘法转换到w₂坐标系中：

l₂＝l₁·M₁₂

那么l₂(在图中与l₁重合)与3D教室模型的地面的交点(如果考虑人的身高h，则与地面以上h的平面交点)则是该学生在教室中的3维位置点P₂。

然后，将w₁坐标系中的学生头部姿态估计p、w、r换算为w₁坐标系中的方向向量，再与M₁₂相乘，则可以求得该学生头部角度在3D重建教室模型中的视线方向v₂。

在3D教室模型对应的坐标系中，位置点P₂与视线方向v₂一起决定了对应学生在教室中的视线。

请参考图6，图6是本发明另一种具体实施方式所提供的基于3D空间模型视线跟踪系统的示意图。

在该实施方式中，本发明所提供的基于3D空间模型的视线跟踪系统还包括视线跟踪输出装置4，以接收视线确定装置3所确定的人员视线，并以相应的方式输出，满足相应需要实现跟踪结果的人员的需要。

当然，该视线跟踪输出装置4可以为显示器，具体输出方式可以为通过显示器将以2维或者3维的方式显示的视线方向输出，或者通过打印的方式进行输出，可以根据具体需要选择，只要能够能较为直观的方式显示即可。

同时，在具体应用时，输出方式还可以为别的类型，比如，通过声音的方式输出，对于在对学生进行视线跟踪时，如果某个学生注意力不集中，以声音的方式输出给老师或者需要的人员。

当然，为了解决本发明所提到的问题，还提供了一种基于3D空间模型的视线跟踪方法，参考图7，图7是本发明第一种具体实施方式所提供的基于3D空间模型的视线跟踪方法示意图，所述方法包括以下步骤：

步骤S1：获得3D空间模型；

步骤S2：利用与3D空间之间具有确定已知位置和确定已知朝向的图像采集器，采集3D空间人员图像，所述3D空间人员图像包含人员头部图像；

步骤S3：处理所述3D空间人员图像，获得所述3D空间人员图像中的图像人员位置以及图像采集器坐标系中的头部姿态；

步骤S4：基于所述确定已知位置和所述确定已知朝向，将所述图像人员位置和所述头部姿态转换到所述3D空间模型中，确定所述3D空间模型中的人员视线，人员视线包括视线位置和视线方向。

下面对各个步骤进行详细描述：

执行步骤S1：获得3D空间模型。

获得3D空间模型，为后续步骤的执行做好准备，具体3D空间的获取既可以通过将已有的对应于3D空间的模型输入的方式，也可以通过进行图像的采集和图像处理的方式。

在一种具体的实施方式中，请参考图8，图8是对图7的获得3D空间模型步骤的示意图。步骤S11：对3D空间进行全覆盖的图像采集，获得图像。

需要注意的是，在进行图像采集时，一定要对所要进行采集的3D空间实现全覆盖的采集，这样才能够保证后续所获得的图像以及3D空间模型是全面的。

具体可以使用普通的摄像头51’，完成图像采集的工作，一般可以设置2个摄像头，两个摄像头51’之间的距离相对远一点，且二者所拍摄的图像具有部分重叠区域，从而可以将两个图像结合起来共同构建3D空间模型。

当然，摄像头51’的数量也可以多一些，从而更易保证拍摄的全面性，摄像头51’的具体设置位置可以是固定的，比如3D空间内的较高的位置，也可以是活动的，从而可以重复利用，在完成一个3D空间的拍摄后再移动到其他区域进行同一3D空间其他方位的拍摄或者3D空间的拍摄，而多个摄像头51’的拍摄可以是同时，也可以是不同时。

另一方面，在对3D空间进行拍摄时，最好是在其内部没有人的情况下，这样能够降低图像处理的难度，提高3D空间模型构建的准确性。

步骤S12：对图像进行处理以获得3D空间模型。

对于经过步骤S11获得的图像，进行图像的处理，得到3D空间模型。具体可以应用多视角的3D重建技术，进行3D空间模型的建立。

另外，对于步骤S1获得3D空间模型的具体顺序，在此实施方式中作为第一个步骤完成的，但实际，只要在步骤S4基于确定已知位置和确定已知朝向，将图像人员位置和头部姿态转换到3D空间模型中，确定3D空间模型中的人员视线前能够获得3D空间模型即可。

执行步骤S2：利用与3D空间之间具有确定已知位置和确定已知朝向的图像采集器，采集3D空间人员图像，3D空间人员图像包含人员头部图像。

利用图像采集器1进行3D空间人员图像的采集，该图像采集器1与3D空间之间具有确定已知位置和确定已知朝向，根据确定已知位置和确定已知朝向，可以确定图像采集器1相对于3D空间的位置和朝向，图像采集器1所采集到的3D空间人员图像需包含人员头部图像，以实现后续的图像处理。

图像采集器1也可以是摄像头51’，为节约成本，可以使用获取3D空间模型时所用的摄像头。

通常情况下，图像采集器1的安装位置无需限制，只要能够拍摄到3D空间以内的包含头部图像的人员图像就可以。但为了降低简化图像处理的难度，降低计算的复杂度，可以将图像采集器1安装于3D空间的正面中心位置，正面中心位置为人员面对的一面的中心位置，具体如果3D空间为教室，则该正面则为黑板或者投影所在的一面，中心位置则为该面的中心。

为了保证对于视线跟踪的实时性，图像采集器1可以持续地进行3D空间人员图像的采集，从而，得到的人员视线是持续变化的，可以了解一段时间内人员视线情况，当然具体采集可以按照一定的频率进行，整个系统的运行更规律，当然，不按照频率也是可以的。如果按照频率采集，可以将频率定位为1次/秒到30次/秒中的一个，这样，不仅满足视线跟踪的需要，而且系统的负荷较小，运算较快。

执行步骤S3：处理3D空间人员图像，获得3D空间人员图像中的图像人员位置及在图像采集器坐标系中的头部姿态。

在得到3D空间人员图像后，需要对3D空间人员图像进行处理，从而获得图像人员位置(即人员在图像中的坐标位置，具体可以表示为(x,y))和在图像采集器坐标系中的头部姿态。人员的视线是以人员位置和头部姿态共同确定的，因此，通过图像处理得到图像人员位置和头部姿态就为取得3D空间的人员视线做好了准备。

请参考图9，图9是对图7的处理所述3D空间人员图像步骤的示意图。

如图中所示，具体处理3D空间人员图像的方法包括以下步骤：

步骤S31：将3D空间人员图像进行预处理，预处理包括大小调整处理和/或归一化处理，具体的处理方式，可以根据需要进行选择，并对预处理后的图像进行后续的处理。

步骤S32：利用识别算法对预处理后的3D空间人员图像进行预选框提取和分类检测，得到人员的身体外界矩形即人员在3D空间人员图像中的身体外界矩形和图像人员位置。

具体3D空间人员图像的身体外界矩形可以表示为左上角(x_b_1,y_b_1)以及右下角(x_b_2,y_b_2)，图像人员位置可以表示为(x,y)，从而，通过上述方法进行处理获得了图像人员位置。

具体地，得到人员的身体外界矩形的步骤中，还得到头部外界矩形；前述处理所述3D空间人员图像的步骤还包括：

步骤S33：根据头部外界矩形在3D空间人员图像的头部坐标，剪裁出头部图像即对经过前一步骤得到的头部外界矩形进行处理，剪裁出头部图像

步骤S34：将头部图像进行大小调整处理、灰度处理和归一化处理三种方式中的至少一种头部预处理，具体头部预处理的方式可以根据图像的具体情况进行选择，但基本为大小调整处理、灰度处理和归一化处理中的一种或几种。

步骤S35：利用识别算法处理头部预处理后的头部图像，得到头部姿态。

将所得到的头部图像输入识别算法进行处理，得到图像坐标系中的头部姿态，表示为p,w,r，其中p为垂直转动仰俯角(Pitch)，w为水平转动的偏航角(Yaw)，r为左右转动的旋转角(Roll)，具体的识别算法可以选择卷积神经网络。

经过上述步骤，最终实现了对于头部姿态的获取，但头部姿态是图像采集器坐标系中的，并非3D空间模型坐标系的。

执行步骤S4：基于确定已知位置和确定已知朝向，将图像人员位置和头部姿态转换到3D空间模型中，确定3D空间模型中的人员视线。

利用摄像头和3D空间模型之间的确定已知位置和确定已知朝向，将图像人员位置和头部姿态转换到3D空间模型中，获得3D空间模型的人员位置点和视线方向，最终确定3D空间模型中的人员视线。

请参考图10，图10是对图7的确定人员视线步骤的示意图。

如图所示，确定人员视线具体包括：

步骤S41：根据确定已知位置、确定已知朝向得到图像采集器坐标系到3D空间模型坐标系的转换矩阵；

步骤S42：利用转换矩阵，将图像人员位置转换为3D空间模型人员位置；

步骤S43：利用转换矩阵，将头部姿态转换为3D空间模型头部姿态；

步骤S44：根据3D空间模型人员位置和3D空间模型头部姿态，确定人员视线。

因为确定已知位置、确定已知朝向均是图像采集器1相对于3D空间模型的，因此，根据确定已知位置、确定已知朝向就可以得到转换矩阵，实现图像采集器坐标系向3D空间模型坐标系的转换。

在将图像人员位置转换为3D空间模型人员位置时，一种方法中，首先利用图像采集器1的成像原理，将图像人员位置(x,y)转换为图像采集器坐标系中的一条直线，即图像人员位置(x,y)这个点实际采集的是图像采集器坐标系这个3D空间内的一条直线，然后利用转换矩阵，将这条直线转换到3D空间模型坐标系中，由转换矩阵的特点可知，两条直线重合，最后将改直线与距离3D空间模型坐标系中的地面高度为h(高度h为人眼距离地面的高度，为降低计算难度可以选择该高度为身高的平均值)的平面相交，可以理解，该交点即为3D空间模型人员位置，从而，利用图像采集器1的成像原理和转换矩阵，实现了将图像人员位置转化为3D空间模型人员位置。

当然，在另一种具体方式中，可以利用转换矩阵，将与距离3D空间模型坐标系中的地面高度为h的平面转换到图像采集器坐标系中，得到转换平面，然后将利用图像采集器1的成像原理得到的代表图像采集器坐标系中的人员位置的直线与该转换平面相交，得到图像采集器坐标系中的人员位置，再进一步利用转换矩阵将图像采集器坐标系中的人员位置转换为3D空间模型人员位置。

在将图像采集器坐标系中的头部姿态转换为3D空间模型头部姿态时，利用转换矩阵，首先将头部姿态p、w、r转化为方向向量，然后利用转换矩阵，转换为3D空间模型坐标系下的方向向量，即3D空间模型头部姿态；最后，根据3D空间模型人员位置和3D空间模型头部姿态，确定人员视线，人员视线具体包括了视线位置和视线方向，视线位置即3D空间模型人员位置，视线方向即3D空间模型头部姿态，最终获得了人员在3D空间的视线。

可见，通过上述方法，进行视线的跟踪，利用图像采集器1采集图像，通过对图像的处理获得人员视线，从而实现了对于远距离的人员的视线跟踪，并且无需被跟踪人员佩带设备，扩大了不佩戴设备情况下的应用范围。具体，该系统可以广泛应用于教室内，对学生的视线进行跟踪，从而了解学生在上课时的关注度。

为方便理解，在此通过一个具体的案例进行介绍，具体请结合图5参考图11，图11为本发明一种具体方式中坐标转换的示意图。

图11中，图像采集器1镜头中心为原点建立坐标系w₁，即图像采集器坐标系，各轴的方向如图11中所示。那么根据成像原理，通过图像采集器1投射到底片(或者数字传感器)上的图像如图11中黄色矩形所示，并且满足坐标轴的z轴通过图像中心。

通过图像采集器1可以确定如下参数：1.焦距；按照当前市场上流行的图像采集器参数，我们假设示例中图像采集器的焦距为50mm。2.像素点密度(PPI，每英寸像素点个数)；按照当前流行的图像采集器参数，我们假设示例中图像采集器的PPI为100PPI。并假设图像采集器输出图像的尺寸为1080*1920像素，那么通过如下的公式可以分别算得图示中黄色矩形部分的长宽：

l_word＝l_pixel/PPI (1)

其中l_pixel为像素长度，l_word为坐标系中的长度。因此可以通过式(1)算得图片的实际尺寸为：10.8英寸*19.2英寸，合274.32mm*487.68mm。

由图11中所示，假设有图像中的一个点(图中蓝色点)在图像坐标系(图中x′y′坐标系)中的坐标位置为(x′，y′)；那么在w₁坐标系中其对应的坐标(x，y，z)计算式为：

x＝x′-487.68/2

y＝274.32/2-y′ (2)

z＝50

从图11中我们可以发现，图像上的点(x′，y′)对应着w₁空间中穿过坐标系w₁原点的一条线l₁。通过上述计算，我们可以求得l₁的直线方程为：

其中

t＞0

注：在3D空间中，本应该是3维向量。但是考虑到后续矩阵变换计算方便，这里采用齐次坐标系，因此点和向量都用4维坐标描述；只是向量的第四维为取恒定值0，而点的第四维取恒定值1。

现在假设在图像上检测到一个人脸，其位置为(800，500)像素单位，那么通过式(1)可转换为图像平面坐标系中的长度(203.2,127)，单位为mm。通过式(2)和式(3)可以求得其在w₁坐标系中的直线方程为：

P₁＝t*(-0.6230，0.1558，0.7665，0)

t＞0

我们再假设通过深度神经网络识别的该人脸相对于w₁坐标系的3D旋转角度(p，W，r)为(10°，0°，0°)，即人的头部向上看着正前方。将旋转角度转换成单位向量可得：

现在考虑从w₁坐标系到w₂的转换矩阵。假设w₂坐标系以教室最前方地面中心为原点(如图5所示)，并且假设摄像头放置于教室前方中心点离地面高度为4000mm地方(确定已知位置)，且摄像头呈向下45°角度(确定已知角度)。如图5所示，相对于w₂坐标系摄像头的位置信息可以描述为(0，4000，0，1)，旋转角度为(-45°，180°，0)。可以得坐标系w₁到坐标系w₂的变换矩阵为：

因此坐标系w₁中的直线l₁方向向量变换至坐标系w₂得到对应的方向向量为：

(-0.6230，0.1558，0.7665，0)*M₁₂＝(0.6230，-0.4318，-0.6522，0)

同理，直线l₁通过w₁的原点，变换至w₂可得：

(0，0，0，1)*M₁₂＝(0，4000，0，1)

因此直线l₁在坐标系w₂中对应的直线l₂的方程为：

P₂＝t*(0.6230，-0.4318，-0.6522，0)+(0，4000，0，1)

在坐标系w₂中，假设学生坐下之后头的高度为h＝1000，那么P₂与平面y＝1000的交点即是上述图像上检测到的人脸置(800，500)在3D空间w₂中的坐标点，该点满足：

(P₂-(0，1000，0，1))·(0，1，0，0)＝0

可得t＝6947.6610，因此该学生位于坐标系w₂的点为(4328.3928，1000，-4531.2645，1)。

同理，可将转换至坐标系w₂中：

经过上述转换，最终得到相应人员在3D空间中的视线位置和方向。

如图12所示，图12是本发明另一种具体实施方式所提供的基于3D空间模型的视线跟踪方法示意图。另一种实施方式中，本发明所提供的基于3D空间模型视线跟踪方法，还包括步骤S5，输出所述人员视线，对前述步骤得到的人员视线输出，满足相应需要实现跟踪结果的人员的需要。

具体的输出方式有多种，比如利用显示器进行输出，通过显示器将以2维或者3维的方式显示的视线方向输出，或者通过打印的方式进行输出，可以根据具体需要选择，只要能够能较为直观的方式显示即可。

同时，在具体应用时，输出方式还可以为别的类型，比如，通过声音的方式输出，对于在对学生进行视线跟踪时，如果某个学生注意力不集中，以声音的方式输出给老师或者需要的人员。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (20)

1.一种基于3D空间模型的视线跟踪系统，其特征在于，包括：

3D空间模型获取装置，适于获得所述3D空间模型；

图像采集器，所述图像采集器与3D空间之间具有确定已知位置和确定已知朝向，适于对所述3D空间及其内部的人员进行图像采集，获得3D空间人员图像，所述3D空间人员图像包含人员头部图像；

图像处理装置，适于对所述3D空间人员图像进行处理，获得所述3D空间人员图像中的图像人员位置，以及在图像采集器坐标系中的头部姿态；

视线确定装置，适于根据所述图像采集器的成像原理、所述确定已知位置和所述确定已知朝向，将所述图像人员位置和所述头部姿态转换到3D空间模型坐标系中，确定所述3D空间模型坐标系中的人员视线，所述人员视线包括视线位置和视线方向。

2.根据权利要求1所述的基于3D空间模型的视线跟踪系统，其特征在于，所述3D空间模型获取装置包括：

3D空间图像采集装置，适于对所述3D空间进行全覆盖的图像采集，获得图像；

3D空间重建装置，适于对所述图像进行处理以获得所述3D空间模型。

3.根据权利要求2所述的基于3D空间模型的视线跟踪系统，其特征在于，所述3D空间图像采集装置为摄像头，所述摄像头的数量为至少2个，各所述摄像头分别拍摄所述3D空间，实现对所述3D空间的全覆盖。

4.根据权利要求3所述的基于3D空间模型的视线跟踪系统，其特征在于，所述图像采集器为所述摄像头中的一个。

5.根据权利要求1所述的基于3D空间模型的视线跟踪系统，其特征在于，所述图像采集器安装于所述3D空间的正面中心位置，所述正面中心位置为所述人员面对的一面的中心位置。

6.根据权利要求1-5任一项所述的基于3D空间模型的视线跟踪系统，其特征在于，还包括视线跟踪输出装置，适于输出所述人员视线。

7.根据权利要求1-5任一项所述的基于3D空间模型的视线跟踪系统，其特征在于，所述图像采集器按照频率采集所述3D空间人员图像。

8.根据权利要求1-5任一项所述的基于3D空间模型的视线跟踪系统，其特征在于，所述图像处理装置包括：

预处理单元，适于对所述3D空间人员图像进行预处理，所述预处理包括大小调整处理和/或归一化处理；

检测单元，适于用识别算法对预处理后的3D空间人员图像进行预选框提取和分类检测，得到人员的身体外界矩形和图像人员位置。；

人员位置获取单元，适于根据所述图像人员位置和所述图像采集器的成像原理获得所述图像采集器坐标系中的所述人员位置。

9.根据权利要求8所述的基于3D空间模型的视线跟踪系统，其特征在于，所述检测单元还适于得到头部外界矩形；所述图像处理装置还包括：

头部图像剪裁单元，适于根据所述头部外界矩形剪裁出头部图像；

头部图像预处理单元，适于将所述头部图像进行大小调整处理、灰度处理和归一化处理三种方式中的至少一种头部图像预处理；

头部姿态获取单元，对头部图像预处理后的图像进行算法识别，得到所述图像采集器坐标系中的所述头部姿态。

10.根据权利要求1-5任一项所述的基于3D空间模型的视线跟踪系统，其特征在于，所述视线确定装置包括：

3D空间坐标转换单元，适于根据所述确定已知位置和所述确定已知朝向得到所述图像采集器坐标系向所述3D空间模型坐标系的转换矩阵；

3D空间人员位置转换单元，适于利用所述图像采集器的成像原理和所述转换矩阵，将所述图像人员位置转换为3D空间模型人员位置；

3D空间头部姿态转换单元，适于利用所述转换矩阵，将所述头部姿态转换为3D空间模型头部姿态；

视线方向确定单元，适于根据所述3D空间模型人员位置和所述3D空间头部姿态，确定所述人员视线。

11.一种基于3D空间模型的视线跟踪方法，其特征在于，包括：

获得3D空间模型；

利用与3D空间之间具有确定已知位置和确定已知朝向的图像采集器，采集3D空间人员图像，所述3D空间人员图像包含人员头部图像；

处理所述3D空间人员图像，获得所述3D空间人员图像中的图像人员位置及在图像采集器坐标系中的头部姿态；

基于所述图像采集器的成像原理、所述确定已知位置和所述确定已知朝向，将所述人员位置和所述头部姿态转换到3D空间模型坐标系中，确定所述3D空间模型坐标系中的人员视线，所述人员视线包括视线位置和视线方向。

12.根据权利要求11所述的基于3D空间模型的视线跟踪方法，其特征在于，获得3D空间模型步骤包括：

对所述3D空间进行全覆盖的图像采集，获得图像；

对所述图像进行处理以获得所述3D空间模型。

13.根据权利要求12所述的基于3D空间模型的视线跟踪方法，其特征在于，对所述3D空间进行全覆盖的图像采集步骤包括：提供至少2个摄像头；各所述摄像头分别拍摄所述3D空间，实现对所述3D空间的全覆盖。

14.根据权利要求13所述的基于3D空间模型的视线跟踪方法，其特征在于，所述图像采集器为所述摄像头中的一个。

15.根据权利要求11所述的基于3D空间模型的视线跟踪方法，其特征在于，所述图像采集器安装于3D空间的正面中心位置，所述正面中心位置为所述人员面对的一面的中心位置。

16.根据权利要求11-15任一项所述的基于3D空间模型的视线跟踪方法，其特征在于，还包括，输出所述人员视线。

17.根据权利要求11-15任一项所述的基于3D空间模型的视线跟踪方法，其特征在于，所述图像采集器按照设定频率采集所述3D空间人员图像。

18.根据权利要求11-15任一项所述的基于3D空间模型的视线跟踪方法，其特征在于，所述处理所述3D空间人员图像的步骤包括：

将所述3D空间人员图像进行预处理，所述预处理包括大小调整处理和/或归一化处理；

利用识别算法对预处理后的3D空间人员图像进行预选框提取和分类检测，得到人员的身体外界矩形和图像人员位置；

根据所述图像人员位置和所述图像采集器的成像原理获得所述图像采集器坐标系中的所述人员位置。

19.根据权利要求18所述的基于3D空间模型的视线跟踪方法，其特征在于，得到人员的身体外界矩形的步骤中，还得到头部外界矩形；所述处理所述3D空间人员图像的步骤还包括：

根据所述头部外界矩形在所述3D空间人员图像的头部坐标，剪裁出头部图像；

将所述头部图像进行大小调整处理、灰度处理和归一化处理三种方式中的至少一种头部预处理；

对头部图像预处理后的图像进行算法识别，得到所述图像采集器坐标系中的所述头部姿态。

20.根据权利要求11-15任一项所述的基于3D空间模型的视线跟踪方法，其特征在于，确定人员视线的步骤包括：

根据所述确定已知位置和所述确定已知朝向得到所述图像采集器坐标系向所述3D空间模型坐标系的转换矩阵；

利用所述图像采集器的成像原理和所述转换矩阵，将所述图像人员位置转换为3D空间模型人员位置；

利用所述转换矩阵，将所述头部姿态转换为3D空间模型头部姿态；

根据所述3D空间模型人员位置和所述3D空间模型头部姿态，确定所述人员视线。