CN112509007B - 真实注视点定位方法以及头戴式视线跟踪系统 - Google Patents

Abstract

本发明公开了一种真实注视点定位方法以及头戴式视线跟踪系统。针对传统视线跟踪方案需要增加额外专用的头部姿态定位辅助设备才能正确估算视线真实注视点这一问题，本发明的构思在于通过头部随动摄像装置实时拍摄的真实世界的场景图像与预先设置的标记物相结合，将用户在场景图像中的注视点位置与真实世界建立对应关联，这样便可以在节省成本、简化设置以及规避额外噪声引入的前提下，有效消除头部姿态变化带来的误差，进而在获得准确的真实注视点位置的同时，改善用户对于视线跟踪的操作体验。

Description

真实注视点定位方法以及头戴式视线跟踪系统

技术领域

本发明涉及视线跟踪技术领域，尤其涉及一种真实注视点定位方法以及头戴式视线跟踪系统。

背景技术

视线跟踪主要是利用眼动测量设备测量眼睛的运动情况，并计算出眼睛的视线方向，从而得到眼睛的注视点，以此达到视线跟踪的目的。由于视线具有直接性、自然性和双向性等特点，从而使得视线跟踪技术可以在许多领域得到应用，如：心理行为分析、高级人机交互、科技军事国防等众多领域。而人眼的真实注视点是由眼睛的状态以及头部的姿态联合决定的，也就是说视线跟踪技术需由眼动测量、系统标定以及头部偏转误差消除三个主要的技术环节构成。

视线跟踪如果期望达到很高的定位精度，就有必要消除头部转动带来的误差。现有的视线跟踪方案中多是采用附加的头部姿态定位仪来纠正头部偏转误差的，但是采用这类特定用于头部姿态校正的设备会额外增加系统的复杂度与成本，也在一定程度上会降低用户的舒适度，同时，会将头部姿态定位装置的误差引入跟踪系统中，使得注视跟踪效果反而并不理想。

发明内容

鉴于上述，本发明旨在提供一种真实注视点定位方法以及头戴式视线跟踪系统，以此实现在精准定位真实注视点的同时，既可以有效消除头部转动误差，又无需配置额外的用于头部姿态校正的附件。

本发明采用的技术方案如下：

第一方面，本发明提供了一种头戴式视线跟踪方法，包括：

从采集到的场景图像中检测出第一注视点以及预设于真实世界中的多个外观近似的参照标记物，其中：所述场景图像由头部随动摄像装置拍摄，所述第一注视点是指用户视线映射于所述场景图像中的位置；

根据所述参照标记物在所述场景图像中的第一位置信息以及在真实世界中已标定的第二位置信息，实时计算出场景图像坐标系与世界坐标系的第一映射关系；

根据第一映射关系以及第一注视点，得到用户视线在真实世界中的第二注视点。

在其中至少一种可能的实现方式中，从场景图像中检测参照标记物的方式包括：

从所述场景图像中识别出若干物体框；

提取所述物体框中物体的图像特征；

根据所述图像特征以及预先训练的第一参照物检测器进行非目标物体滤除操作，确定出若干个待定物体框；

利用具有并行处理架构的第二参照物检测器对所述待定物体框进行二次滤除操作，确定出若干个目标物体框并将所述目标物体框内的物体判定为参照标记物。

在其中至少一种可能的实现方式中，所述第一参照物检测器的训练方式包括：

利用提取出的所述参照标记物的外观共性特征，预先训练基于分类器结构的第一参照物检测器。

在其中至少一种可能的实现方式中，所述第二参照物检测器采用并行Cascade结构的多目标检测算法。

在其中至少一种可能的实现方式中，从场景图像中检测第一注视点的方式包括：

在定位初始阶段采集用户的初始眼部图像；

利用所述初始眼部图像以及标定的预设映射关系，建立所述初始眼部图像与所述场景图像的第二映射关系；

在实时定位阶段采集用户的当前眼部图像；

根据所述当前眼部图像以及所述第二映射关系，实时求取出所述场景图像中的第一注视点的位置信息。

在其中至少一种可能的实现方式中，所述利用所述初始眼部图像以及标定的预设映射关系，建立所述初始眼部图像与所述场景图像的第二映射关系包括：

计算当前用户所述初始眼部图像与预先标定并保存的该用户眼部图像之间的坐标偏差；

根据所述坐标偏差以及预先建立的眼部图像与场景图像的预设映射关系，建立所述第二映射关系。

在其中至少一种可能的实现方式中，所述根据所述当前眼部图像以及所述第二映射关系，实时求取出所述场景图像中的第一注视点的位置信息包括：

定位所述当前眼部图像中的瞳孔中心坐标；

根据所述瞳孔中心坐标以及所述第二映射关系，实时计算出所述场景图像中的第一注视点的坐标。

在其中至少一种可能的实现方式中，第一映射关系计算方式包括：

根据所述参照标记物在所述场景图像中的坐标以及在真实世界中已标定的坐标，利用直接线性变换算法求取出所述第一映射关系。

在其中至少一种可能的实现方式中，所述方法还包括：

基于所述第一映射关系，将所述场景图像中任一角点映射到真实世界得到所述角点的映射位置信息；

通过比较所述映射位置信息与所述角点的真实位置信息的误差距离，对所述第一映射关系进行验证分析。

第二方面，本发明提供了一种头戴式视线跟踪系统，其中包括：

运算处理装置和头戴装置，以及安装于所述头戴装置上的用于拍摄用户眼部图像的第一摄像头和用于拍摄场景图像的第二摄像头；

所述第一摄像头、所述第二摄像头分别与所述运算处理装置电信号连接，所述运算处理装置用于执行上述真实注视点定位方法。

第三方面，本发明提供了一种真实注视点定位装置，其中包括：

场景图像分析模块，用于从采集到的场景图像中检测出第一注视点以及预设于真实世界中的多个外观近似的参照标记物，其中：所述场景图像由头部随动摄像装置拍摄，所述第一注视点是指用户视线映射于所述场景图像中的位置；

第一映射关系建立模块，用于根据所述参照标记物在所述场景图像中的第一位置信息以及在真实世界中已标定的第二位置信息，实时计算出场景图像坐标系与世界坐标系的第一映射关系；

真实视线跟踪模块，用于根据第一映射关系以及第一注视点，得到用户视线在真实世界中的第二注视点。

在其中至少一种可能的实现方式中，所述场景图像分析模块包括：

多物体识别单元，用于从所述场景图像中识别出若干物体框；

特征提取单元，用于提取所述物体框中物体的图像特征；

第一筛选单元，用于根据所述图像特征以及预先训练的第一参照物检测器进行非目标物体滤除操作，确定出若干个待定物体框；

第二筛选单元，用于利用具有并行处理架构的第二参照物检测器对所述待定物体框进行二次滤除操作，确定出若干个目标物体框并将所述目标物体框内的物体判定为参照标记物。

在其中至少一种可能的实现方式中，所述第一筛选单元包括第一参照物检测器训练组件，所述第一参照物检测器训练组件用于利用提取出的所述参照标记物的外观共性特征，预先训练基于分类器结构的第一参照物检测器。

在其中至少一种可能的实现方式中，所述第二参照物检测器采用并行Cascade结构的多目标检测算法。

在其中至少一种可能的实现方式中，所述场景图像分析模块还包括：

初始眼部图像获取单元，用于在定位初始阶段采集用户的初始眼部图像；

第二映射关系建立单元，用于利用所述初始眼部图像以及标定的预设映射关系，建立所述初始眼部图像与所述场景图像的第二映射关系；

实时眼部图像获取单元，用于在实时定位阶段采集用户的当前眼部图像；

第一注视点定位单元，用于根据所述当前眼部图像以及所述第二映射关系，实时求取出所述场景图像中的第一注视点的位置信息。

在其中至少一种可能的实现方式中，所述第二映射关系建立单元包括：

眼部位置比对组件，用于计算当前用户所述初始眼部图像与预先标定并保存的该用户眼部图像之间的坐标偏差；

第二映射关系建立组件，用于根据所述坐标偏差以及预先建立的眼部图像与场景图像的预设映射关系，建立所述第二映射关系。

在其中至少一种可能的实现方式中，所述第一注视点定位单元包括：

瞳孔定位组件，用于定位所述当前眼部图像中的瞳孔中心坐标；

第一注视点计算组件，用于根据所述瞳孔中心坐标以及所述第二映射关系，实时计算出所述场景图像中的第一注视点的坐标。

在其中至少一种可能的实现方式中，所述第一映射关系建立模块具体用于：

根据所述参照标记物在所述场景图像中的坐标以及在真实世界中已标定的坐标，利用直接线性变换算法求取出所述第一映射关系。

在其中至少一种可能的实现方式中，所述装置还包括第一映射关系校验模块，所述第一映射关系校验模块包括：

角点映射单元，用于基于所述第一映射关系，将所述场景图像中任一角点映射到真实世界得到所述角点的映射位置信息；

校验单元，用于通过比较所述映射位置信息与所述角点的真实位置信息的误差距离，对所述第一映射关系进行验证分析。

针对传统视线跟踪方案需要增加额外专用的头部姿态定位辅助设备才能正确估算视线真实注视点这一问题，本发明的构思在于通过头部随动摄像装置实时拍摄的真实世界的场景图像与预先设置的标记物相结合，将用户在场景图像中的注视点位置与真实世界建立对应关联，这样便可以在节省成本、简化设置以及规避额外噪声引入的前提下，有效消除头部姿态变化带来的误差，进而在获得准确的真实注视点位置的同时，改善了用户对于视线跟踪的操作体验。

附图说明

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：

图1为本发明提供的真实注视点定位方法的流程图；

图2为本发明提供的应用于电子设备的多路供电装置实施例的方框图；

图3为本发明提供的参照标记物检测方法的实施例的流程图；

图4为本发明提供的第一注视点检测方法的实施例的流程图；

图5为本发明提供的真实注视点定位装置的实施例的示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在对本发明各实施例进行具体展开前，这里再对本发明关注的主要对象，头部姿态校正的现有方案进行说明。如前文所述，视线方向以及真实的注视位置是由头部姿态和眼睛状态联合决定的，而现有的视线跟踪方案针对其中之一头部姿态均是采用添加额外的定位头部转动角度或位置的装置，例如，在用户头顶固定安装一个磁感应器来检测头部位置，这也是目前本领域中常用的头部姿态矫正方法。但是，采用附加装置的思路，必然会增加系统的复杂度和成本，而且采用磁感应器来检测头部偏转的方法存在精度相对较低，且对手机、磁铁等具有磁场的物品非常敏感，容易导致校准准确率下降甚至导致头部位置感应装置失效。

有鉴于此，本发明针对视线跟踪过程中要求消除头部活动带来的误差该需求，同时分析了现有附带专用头部活动感应设备的弊端，提出了如图1所示的一种真实注视点定位方法的实施例，通过该实施例可以无需配置专用的头部姿态校准设备，也同样可以有效、精准且不会引入其他噪声地实现消除头部姿态影响，从而更为可靠且低成本地获得视线跟踪处理效果，即获得用户视线在真实世界的注视点，具体可以包括如下步骤：

步骤S1、从采集到的场景图像中检测出第一注视点以及预设于真实世界中的多个参照标记物。

这里的所述场景图像是指由头部随动摄像装置拍摄的用户面前真实世界的图像，所述第一注视点则是指用户视线体现在所述场景图像中的位置。其中，关于头部随动摄像装置，也即是能够跟随用户的头部转动同步发生转动的影像采集装置，例如某些视线跟踪系统中已有的前景摄像头，这里，结合本发明的初衷，可以进一步提供一种头戴式视线跟踪系统的硬件实施例，其中可以包括运算处理装置和头戴装置，以及安装于所述头戴装置上的用于拍摄用户眼部图像的第一摄像头和用于拍摄场景图像的第二摄像头，同时，所述第一摄像头、所述第二摄像头分别与所述运算处理装置电信号连接，而所述运算处理装置便可以用来执行本发明该实施例以及后文的优选实施例中提及的真实注视点定位方法。

对于该头戴式视线跟踪系统，可以借鉴本领域相关的已有视线跟踪方式，这里仅以一种具体的硬件实现方式予以举例说明。该头戴式视线跟踪系统的硬件构成可以包括场景CMOS摄像头与眼部CCD摄像头，二者可以分别固定于头带式、头盔式、帽式、支架式等多种样式的头戴装置的前方，其中CMOS摄像头的作用是采集用户视线前方的真实世界的图像，CCD摄像头的作用是采集用户的眼睛图像；运算处理装置可以配置在头戴装置中或者配置在近端的计算平台，或者还可以配置为远程的后台服务端，也即是该头戴式视线跟踪系统可以通过无线通信等常规的信号传送方式将采集的场景图像和眼部图像发至云端进行相应的运算处理。当然，在实际操作中该头戴式视线跟踪系统中还可以利用半透半反镜，既可以让用户直接看到眼部前方的真实世界，又保证CCD摄像头可以通过反射原理实时采集到用户的眼部图像，更佳地，为了采集到高质量的眼部图像还可以在该视觉跟踪系统中配置近红外光源，以上仅为硬件实施例的一种参考，本发明对硬件构成本身不作特别限定，只是强调出CMOS摄像头能够随着用户头部同步进行转动。

接续前文，关于本步骤涉及的从场景图像中检测参照标记物，此属于实现本发明提出的无需添加额外专用的头部误差消除设备的主要实现构思之一，即本实施例提出预先在真实世界中设置多个特定参照标记物，通常而言在本领域中多使用外观近似的参照标记物，这里可以参考图2给出的本领域常用的所述参照标记物的若干示例。其特点是具有大同小异的外观结构，即所有参照标记物整体相同，例如可以具有相同的形状、纹理等，而每个参照标记物之间又存在一定的差异，例如以数字或字母进行区分。接着，在真实世界设置这些参照标记物时可以根据实际应用环境所需，在需要用户观察的对象上均匀布置多个参照标记物，例如在某个被观测的屏幕的四角或四周配置四个及以上的所述参照标记物。

本发明对参照标记物的具体样式以及布置方式可以不作限定，但需要指出的是，如何从前述场景图像中检测出这些参照标记物则对本发明后文涉及的注视点定位处理起到关键影响。因而，本发明在某些具体的实现方式中提出了一种基于多物体识别的参照标记物检测方法。在对该检测方法进行展开介绍前，还需对本发明的设计思路和推导过程说明如下：

为了检测到场景图像中的多个外观近似的参照标记物，本发明初步考虑采用诸如Boost算法进行检测，该算法已被成功被广泛应用于人脸检测、等目标检测方案当中，且取得了不错的检测效果。但经过发明人的实践发现，检测参照标记物与多姿态的人脸检测不同，因为本技术场景中所用到的参照标记物具有近似的形状外观，例如图2示出的唯一区别仅在于标记物中心部分的数字符号，这便很难借鉴针对存在明显差异的人脸检测的BOOST算法，对参照标记物进行相应的检测处理。由此分析，本发明提供了如图3所示的参照标记物检测方式，具体来说可以包括如下步骤：

步骤S11、从所述场景图像中识别出若干物体框；

步骤S12、提取所述物体框中物体的图像特征；

步骤S13、根据所述图像特征以及预先训练的第一参照物检测器进行非目标物体滤除操作，确定出若干个待定物体框；

步骤S14、利用具有并行处理架构的第二参照物检测器对所述待定物体框进行二次滤除操作，确定出若干个目标物体框并将所述目标物体框内的物体判定为参照标记物。

在实际操作中，对该较佳实施例可以优选采用已相对成熟的多目标检测方法从所述场景图像中捕获到若干个物体的外接矩形框，接着基于多个所述参照标记物具有较高相似性的特点，根据物体框中的图像特征以及预先训练的用于区分并排除无关物体的第一参照物检测器，从前述物体框中迅速剔除无关项，仅保留若干最为可能的物体框。这里需要进一步指出三点：其一、在本发明的某些实施例中，可以截止于第一参照物检测器的处理结果，便可以直接识别出所述场景图像中的参照标记物，而无需后续二次检测处理，也即是通过训练出的第一参照物检测器可以尽最大可能地将大量无关的非目标物体排除在外；其二、对于针对所述第一参照物检测器的训练，可以参考基于本发明涉及的所述参照标记物的外观共性特征，预先训练基于分类器结构的第一参照物检测器，分类器的框架可以借鉴多种现有技术，本发明对此不作赘述，例如可以训练得到包含18层的第一参照物检测器，当然这仅是示意性的，而非对本发明的限定；其三、这里提及的图像特征，通过分析发现本发明涉及的参照标记物具有明显的边缘特征，因此在一些较佳的实施例中可以但不限于利用边缘方向直方图特征EOH(Edge Orientation Histograms Features)作为基本特征，该EOH特征对于线性边缘具有很好的描述效果，并且该EOH特征对于光照不敏感，具有较佳的光照鲁棒性，因而在该优选示例中可以将EOH特征用于表征所述物体框中所有像素边缘方向的统计分布，当然，本领域技术人员可以的是，针对不同设计样式的参照标记物可以选择其他图像特征，对此本发明不作限定。

当然，在该较佳实施例中本发明提出不仅仅依靠第一参照物检测器进行非目标滤除，为了确保参照标记物检测无误，也即是为后续消除头部偏差进行注视点定位提供可靠的数据处理基础，本实施例还提供在由第一参照物检测器对大部分非目标物体排除后，再经过具有并行处理结构的第二参照物检测器作进一步遴选。在实际操作中，第二参照物检测器可以但不限于采用并行Cascade结构的多目标检测算法，对此需要指出的是：并行Cascade结构的检测算法由于其结构简单，有很强的通用性，在理论上可以用于参照标记物的检测，但是经发明人实践发现，该算法仅仅是对多个单一检测器的简单联合，并没有考虑到不同物体间具有的特征相似性，所以在检测过程中基于并行Cascade结构的每个检测器都要对所有的物体框进行遍历，而一般情况下从场景图像中识别出的绝大多数物体框属于非目标的无关物体，这样会耗费大量时间，从而降低运算速度。

据此，本发明在较佳实施例中设计了先由基于相似特征训练出的第一参照物检测器将大量非目标物体框予以排除，接着再接入并行Cascade结构的第二参照物检测器对第一参照物检测器检测到待定物体框进行二次检测，从而在目标检测速度上会有显著的提升。实现时，假设参照标记物共有9个，因而可以设置15层的9个Cascade检测器相互并行，当然这仅是参考示例，并非对本发明的限定。

接续前文，关于本步骤涉及的从场景图像中检测第一注视点，此属于实现本发明提出的无需添加额外专用的头部误差消除设备的另一个主要实现构思，在实际操作中可以参考图4所示，具体采用如下步骤：

步骤S111、在定位初始阶段采集用户的初始眼部图像；

步骤S112、利用所述初始眼部图像以及标定的预设映射关系，建立所述初始眼部图像与所述场景图像的第二映射关系。

本实施例的作用是消除用户在每次初始进行视线跟踪时，由于硬件设置偏差所引起的误差，也即是只在每次视线跟踪的初始阶段进行一次标定，而无需进行反复标定。

具体而言，可以计算出当前用户的所述初始眼部图像与预先标定并保存的该用户眼部图像之间的坐标偏差，再根据所述坐标偏差以及预先建立的眼部图像与场景图像的预设映射关系，建立此时的所述第二映射关系(这里的第二映射关系，仅是区别于下文的第一映射关系，第一、第二不存在先后意义)。

结合一些具体实现方式进一步说明，可以在每次视线跟踪开始之前，利用CCD摄像头采集一幅清晰的用户眼部图像，再经过常规的图像预处理，例如但不限于消除光斑、睫毛、眼睑等干扰后，对该初始的眼部图像中的虹膜进行特征提取和识别，检测出用户身份。接着，计算出当前采集得到的眼部图像与该用户本人在最初标定时保存在数据库中的原始眼部图像之间的坐标偏差，最后根据该坐标偏差以及保存在数据库中的标定时所建立的原始眼部图像与场景图像的坐标映射关系，建立现在的眼部图像与场景图像的映射关系，即第二映射关系。

步骤S113、在实时定位阶段采集用户的当前眼部图像；

步骤S114、根据所述当前眼部图像以及所述第二映射关系，实时求取出所述场景图像中的第一注视点的位置信息。

这样，在获得了定位过程中实时采集的用户的当前眼部图像后，由于已有相应于本次跟踪过程的第二映射关系，因此便可以实时计算出用户的的注视点在所述场景图像中的位置。

在实际操作中可以利用CCD摄像头实时采集用户的眼部图像，再经过前述图像预处理后，便可以基于已有的虹膜定位技术(例如椭圆瞳孔定位算法等)，定位出所述当前眼部图像中的瞳孔中心坐标，然后根据所述瞳孔中心坐标以及前步获得的第二映射关系，实时计算出所述场景图像中的第一注视点的坐标。

回到图1，步骤S2、根据所述参照标记物在所述场景图像中的第一位置信息以及在真实世界中已标定的第二位置信息，实时计算出场景图像坐标系与世界坐标系的第一映射关系。

具体地，可以确定出所述参照标记物在所述场景图像中的坐标(x,y)以及其在真实世界中已标定好的坐标(x',y')间的点对应关系其中x＝(x,y,1)^T，x'＝(x',y',1)^T；然后，根据这些点对应关系，利用映射变换技术(例如但不限于直接线性变换算法)实时求取出场景图像与真实世界之间的第一映射关系H，也即是x'＝Hx。

步骤S3、根据第一映射关系以及第一注视点，得到用户视线在真实世界中的第二注视点。

最后可以通过该映射关系H，将用户视线在当前场景图像帧中的第一注视点坐标转化成真实世界中的第二注视点坐标，也即是定位出真实的注视点。

最后还可以说明的是，由于前述第一映射关系在本发明中起到了关键作用，因此在本发明的一些较佳实施例中还提出可以对第一映射关系进行验证分析，当然，这里的验证分析可以发生于视线跟踪的各个阶段，对此本发明不作限定。

具体的验证分析方式可以是基于所述第一映射关系，将所述场景图像中任一角点映射到真实世界得到所述角点的映射位置信息，这里的角点即图像中具有显著特征的测试点，接着通过比较所述映射位置信息与所述角点的真实位置信息的误差距离，判断所述第一映射关系的可靠性。具体地，场景图像中的角点与真实世界中该角点之间的误差距离为：

其中(x',y')表示所述映射位置信息，(x,y)表示所述真实位置信息。

综上所述，针对传统视线跟踪方案需要增加额外专用的头部姿态定位辅助设备才能正确估算视线真实注视点这一问题，本发明的构思在于通过头部随动摄像装置实时拍摄的真实世界的场景图像与预先设置的标记物相结合，将用户在场景图像中的注视点位置与真实世界建立对应关联，这样便可以在节省成本、简化设置以及规避额外噪声引入的前提下，有效消除头部姿态变化带来的误差，进而在获得准确的真实注视点位置的同时，改善了用户对于视线跟踪的操作体验。

相应于上述各实施例及优选方案，本发明还提供了一种真实注视点定位装置的实施例，如图5所示，具体可以包括如下部件：

场景图像分析模块1，用于从采集到的场景图像中检测出第一注视点以及预设于真实世界中的多个外观近似的参照标记物，其中：所述场景图像由头部随动摄像装置拍摄，所述第一注视点是指用户视线映射于所述场景图像中的位置；

第一映射关系建立模块2，用于根据所述参照标记物在所述场景图像中的第一位置信息以及在真实世界中已标定的第二位置信息，实时计算出场景图像坐标系与世界坐标系的第一映射关系；

真实视线跟踪模块3，用于根据第一映射关系以及第一注视点，得到用户视线在真实世界中的第二注视点。

在其中至少一种可能的实现方式中，所述场景图像分析模块包括：

多物体识别单元，用于从所述场景图像中识别出若干物体框；

特征提取单元，用于提取所述物体框中物体的图像特征；

第一筛选单元，用于根据所述图像特征以及预先训练的第一参照物检测器进行非目标物体滤除操作，确定出若干个待定物体框；

第二筛选单元，用于利用具有并行处理架构的第二参照物检测器对所述待定物体框进行二次滤除操作，确定出若干个目标物体框并将所述目标物体框内的物体判定为参照标记物。

在其中至少一种可能的实现方式中，所述第一筛选单元包括第一参照物检测器训练组件，所述第一参照物检测器训练组件用于利用提取出的所述参照标记物的外观共性特征，预先训练基于分类器结构的第一参照物检测器。

在其中至少一种可能的实现方式中，所述第二参照物检测器采用并行Cascade结构的多目标检测算法。

在其中至少一种可能的实现方式中，所述场景图像分析模块还包括：

初始眼部图像获取单元，用于在定位初始阶段采集用户的初始眼部图像；

第二映射关系建立单元，用于利用所述初始眼部图像以及标定的预设映射关系，建立所述初始眼部图像与所述场景图像的第二映射关系；

实时眼部图像获取单元，用于在实时定位阶段采集用户的当前眼部图像；

第一注视点定位单元，用于根据所述当前眼部图像以及所述第二映射关系，实时求取出所述场景图像中的第一注视点的位置信息。

在其中至少一种可能的实现方式中，所述第二映射关系建立单元包括：

眼部位置比对组件，用于计算当前用户所述初始眼部图像与预先标定并保存的该用户眼部图像之间的坐标偏差；

第二映射关系建立组件，用于根据所述坐标偏差以及预先建立的眼部图像与场景图像的预设映射关系，建立所述第二映射关系。

在其中至少一种可能的实现方式中，所述第一注视点定位单元包括：

瞳孔定位组件，用于定位所述当前眼部图像中的瞳孔中心坐标；

第一注视点计算组件，用于根据所述瞳孔中心坐标以及所述第二映射关系，实时计算出所述场景图像中的第一注视点的坐标。

在其中至少一种可能的实现方式中，所述第一映射关系建立模块具体用于：

根据所述参照标记物在所述场景图像中的坐标以及在真实世界中已标定的坐标，利用直接线性变换算法求取出所述第一映射关系。

在其中至少一种可能的实现方式中，所述装置还包括第一映射关系校验模块，所述第一映射关系校验模块包括：

角点映射单元，用于基于所述第一映射关系，将所述场景图像中任一角点映射到真实世界得到所述角点的映射位置信息；

校验单元，用于通过比较所述映射位置信息与所述角点的真实位置信息的误差距离，对所述第一映射关系进行验证分析。

应理解以上图5所示的共用车辆驾驶员安全驾驶评估装置可中各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。

本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。

以及，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可。尤其，对于装置、设备等实施例而言，由于其基本相似于方法实施例，所以相关之处可参见方法实施例的部分说明即可。

以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (10)

1.一种真实注视点定位方法，其特征在于，包括：

从采集到的场景图像中检测出第一注视点以及预设于真实世界中的多个外观近似的参照标记物，其中：所述场景图像由头部随动摄像装置拍摄，所述第一注视点是指用户视线映射于所述场景图像中的位置；

检测参照标记物的方式包括：从场景图像中识别出若干物体框；根据物体框中的图像特征以及预先训练的用于区分并排除无关物体的第一参照物检测器，直接识别出场景图像中的参照标记物；

根据所述参照标记物在所述场景图像中的第一位置信息以及在真实世界中已标定的第二位置信息，实时计算出场景图像坐标系与世界坐标系的第一映射关系；

根据第一映射关系以及第一注视点，得到用户视线在真实世界中的第二注视点。

2.根据权利要求1所述的真实注视点定位方法，其特征在于，从场景图像中检测参照标记物的方式还包括：

根据所述图像特征以及预先训练的第一参照物检测器进行非目标物体滤除操作，确定出若干个待定物体框；

利用具有并行处理架构的第二参照物检测器对所述待定物体框进行二次滤除操作，确定出若干个目标物体框并将所述目标物体框内的物体判定为参照标记物。

3.根据权利要求1所述的真实注视点定位方法，其特征在于，所述第一参照物检测器的训练方式包括：

利用提取出的所述参照标记物的外观共性特征，预先训练基于分类器结构的第一参照物检测器。

4.根据权利要求2所述的真实注视点定位方法，其特征在于，所述第二参照物检测器采用并行结构的多目标检测算法。

5.根据权利要求1所述的真实注视点定位方法，其特征在于，从场景图像中检测第一注视点的方式包括：

在定位初始阶段采集用户的初始眼部图像；

利用所述初始眼部图像以及标定的预设映射关系，建立所述初始眼部图像与所述场景图像的第二映射关系；

在实时定位阶段采集用户的当前眼部图像；

根据所述当前眼部图像以及所述第二映射关系，实时求取出所述场景图像中的第一注视点的位置信息。

6.根据权利要求5所述的真实注视点定位方法，其特征在于，所述利用所述初始眼部图像以及标定的预设映射关系，建立所述初始眼部图像与所述场景图像的第二映射关系包括：

计算当前用户所述初始眼部图像与预先标定并保存的该用户眼部图像之间的坐标偏差；

根据所述坐标偏差以及预先建立的眼部图像与场景图像的预设映射关系，建立所述第二映射关系。

7.根据权利要求5所述的真实注视点定位方法，其特征在于，所述根据所述当前眼部图像以及所述第二映射关系，实时求取出所述场景图像中的第一注视点的位置信息包括：

定位所述当前眼部图像中的瞳孔中心坐标；

根据所述瞳孔中心坐标以及所述第二映射关系，实时计算出所述场景图像中的第一注视点的坐标。

8.根据权利要求1所述的真实注视点定位方法，其特征在于，第一映射关系计算方式包括：

根据所述参照标记物在所述场景图像中的坐标以及在真实世界中已标定的坐标，利用直接线性变换算法求取出所述第一映射关系。

9.根据权利要求1～8任一项所述的真实注视点定位方法，其特征在于，所述方法还包括：

基于所述第一映射关系，将所述场景图像中任一角点映射到真实世界得到所述角点的映射位置信息；

通过比较所述映射位置信息与所述角点的真实位置信息的误差距离，对所述第一映射关系进行验证分析。

10.一种头戴式视线跟踪系统，其特征在于，包括：

运算处理装置和头戴装置，以及安装于所述头戴装置上的用于拍摄用户眼部图像的第一摄像头和用于拍摄场景图像的第二摄像头；

所述第一摄像头、所述第二摄像头分别与所述运算处理装置电信号连接，所述运算处理装置用于执行权利要求1～9任一项所述的真实注视点定位方法。