CN112597972A - 一种视线追踪装置及系统及方法 - Google Patents

Abstract

本发明提供了一种视线追踪装置及系统及方法，采用的方案是：包括机架、外置随动摄像头、内置摄像头以及显示屏，机架上设置有两个眼睛对应位分别用于对应人的两个眼睛位置，每个眼睛对应位上均安装有至少一个内置摄像头，使用时内置摄像头朝向眼睛位置，所述外置随动摄像头安装在机架的外侧或者独立于该机架分开设置，所述显示屏安装在机架中。通过采集测量双眼虹膜的方向位置信息和双眼虹膜方向之间形成的夹角信息这样一种采集原理，并利用该信息控制外置随动摄像头的关注方向和角度，跟随虹膜和眼球移动，外置随动摄像头与眼球所关注的外部世界相同，实现视线的追踪随动跟踪同步。

Description

一种视线追踪装置及系统及方法

技术领域

本发明涉及成像设备技术领域，尤其涉及一种视线追踪装置、系统和方法。

背景技术

现有的虹膜图像采集设备主要是单目虹膜采集，也就是采集一只眼的虹膜图像，但由于人眼观察东西时两只眼看到的方向和角度不同，仅采集单目虹膜图像不能准确的判断人眼的关注点，难以实现准确的对人眼视线进行追踪的效果。另外，现有技术中如申请号为201420170428.6、201480046371.1和201410032487.1给出的技术方案，都是采集虹膜中的图像来进行视线追踪，这对采集设备具有很高的要求，尤其是周围环境和设备精度，造成设备成本很高，难以普及。这便是现有技术存在的现状。

因此，针对上述现有技术存在的现状，研发一种利用不同采集原理实现人眼视线追踪和图像采集的视线追踪装置是急需解决的问题。

发明内容

为了克服上述现有技术中的不足，本发明提供了一种视线追踪装置及系统及方法，通过采集测量双眼虹膜的方向位置信息和双眼虹膜方向之间形成的夹角信息这样一种采集原理，并利用该信息控制外置随动摄像头的关注方向和角度，跟随虹膜和眼球移动，外置随动摄像头与眼球所关注的外部世界相同，实现视线的追踪随动跟踪同步。

本发明为解决上述技术问题所采用的技术方案是：一种视线追踪装置，包括机架、外置随动摄像头、内置摄像头以及显示屏，机架上设置有两个眼睛对应位分别用于对应人的两个眼睛位置，每个眼睛对应位上均安装有至少一个内置摄像头，使用时内置摄像头朝向眼睛位置，所述外置随动摄像头安装在机架的外侧或者独立于该机架分开设置，分开设置时外置随动摄像头可远离内置摄像头和机架，与机架中的控制装置远程电连接，人在一个地方，外置随动摄像头在另一个地方，就可实现对另一个地方的关注即外置随动摄像头所关注的景象，所述显示屏安装在机架中。通过在两个眼睛位置分别设置至少一个内置摄像头，优选为至少两个成不同角度设置的内置摄像头，用于采集虹膜和眼球的方向位置信息和双眼方向之间形成的夹角信息，并利用该信息控制外置随动摄像头的关注方向和角度，跟随虹膜和眼球移动，外置随动摄像头与眼球所关注的外部世界相同，实现视线的追踪随动跟踪同步，并将所看到的同步到显示屏中，通过显示屏显示看到的外部世界，呈现出更加真实的三维场景，无论是距离还是实物大小均与现实相对应，不会像现有三维虚拟一样与实物距离不相符使人产生错误认知的现象，本方案能够更加精确地采集两眼的虹膜（即视线关注点）位置信息，实现视线追踪功能，远程看到人眼不能及的地方，并可利用计算机实现人眼视线运动轨迹的计算分析。

进一步的，所述眼睛对应位上设置有三个内置摄像头，三个内置摄像头成不同角度环绕眼睛对应位布置。使得采集虹膜和眼球的方向和角度信息更加精确。

进一步的，所述外置随动摄像头设置有两个且在使用时分别对应两个眼睛，所述机架上安装有远程摄像机伺服机构，所述外置随动摄像头与远程摄像机伺服机构连接。通过远程摄像机伺服机构控制外置随动摄像头进行跟随转动，实现两个外置随动摄像头与两个眼睛虹膜的跟随，保证视线追踪的准确性。

另外，本发明还提供了一种视线追踪系统，包括中央处理模块、图像处理模块、随动控制模块、外随动追踪模块、光学模块、显示模块、关注点测量模块和关注点计算模块；

所述关注点测量模块被配置为测定瞳孔距、两个眼睛各自关注的方向以及两个眼睛关注方向间的夹角角度，所述关注点测量模块与关注点计算模块之间电连接，并将测量信息传输到关注点计算模块；

所述关注点计算模块被配置为计算出两眼关注点的方向角度和夹角角度确定关注点的空间位置，所述关注点计算模块与中央处理模块点连接，并将关注点的空间位置和角度实时输入到中央处理模块；

所述中央处理模块与随动处理模块电连接，并用于将控制执行信息传输到控制随动处理模块；

所述控制随动处理模块与外随动追踪模块电连接，用于执行外随动追踪模块进行动作；

所述外随动追踪模块被配置为跟随虹膜、眼球移动，与眼睛与虹膜所关注的外部世界相同；实现视线的追踪随动功能。并可通过计算单元可利用双目观测原理，对空间物体形成关注点，产生物体相对于摄像头的空间位置和数字关系，使计算机能识别物体或空间的形状和位置，并能对移动物体智能跟踪形成物体的空间数字移动轨迹。

所述显示模块与中央处理模块电连接，所述显示模块被配置为显示外随动追踪模块拍摄到的外部世界，并且显示模块可利用得到的双目关注点，使计算机能得到人眼真正关注的空间位置或屏幕上的二维位置，使虚拟的物体和空间相对于人眼有真实的空间位置和精度尺寸；

所述光学模块用于修正关注点计算模块和外随动追踪模块所呈现物象的大小；使之能与眼睛视角和焦距、视物大小相同。

所述图像处理模块用于进行图像处理。

进一步的，所述关注点测量模块包括内置摄像头，每个眼位上配置至少一个成不同角度的内置摄像头。

进一步的，所述外随动追踪模块包括外置随动摄像头，所述外置随动摄像头能够跟随眼球和虹膜转动进行视线追踪。

进一步的，还包括计算机，所述计算机被配置为将外置随动摄像头得到的景象进行数字建模呈现在显示模块上，或加入虚拟场景、物体共同呈现在显示模块上。

另外，本方案还提供了一种视线追踪方法，包括以下步骤：

A1：定位虹膜基准。利用屏幕中显示点、监控装置（或内置摄像头）和光学器件寻找定位虹膜和眼球中心以此作为基准，用来测定瞳孔距和实现判断后期眼睛的注视方向角度；用此修正外置摄像头的瞳孔距和光学器件，使之能与眼睛视角和焦距、视物大小相同。并以此修正屏幕中虚拟场景与人眼匹配。

A2：利用内置摄像头采集两个眼睛虹膜和眼球各自的关注方向特征，并利用关注方向特征计算出两个眼睛关注点的方向角度和夹角角度确定关注点的空间位置信息。能够测算眼睛所关注屏幕中的空间位置，知道眼睛是关注屏幕中的哪个空间位置或物体，使虹膜信息采集更加准确。

A3：控制外置随动摄像头跟随虹膜、眼球移动并对外部世界进行拍摄。使得外置随动摄像头与眼睛与虹膜所关注的外部世界相同，实现视线的追踪。

A4：在屏幕上呈现外置随动摄像头拍摄到的外部世界。其中，外部世界包含实际的空间景象、计算机虚拟的空间和实体。实现更加真实清晰准确的反映所要观看物体或空间的三维尺寸和空间位置，对空间移动物体的快速追踪和定位。

进一步的，在上述步骤中，内置摄像头可通过计算单元可利用双目观测原理，对空间物体形成关注点，产生物体相对于内置摄像头的空间位置和数字关系，使计算机能识别物体或空间的形状和位置，并能对移动物体智能跟踪形成物体的空间数字移动轨迹。

进一步的，利用得到的双目关注点，使计算机得到双眼真正关注的空间位置或屏幕上的二维位置，使虚拟的物体和空间相对于人眼有真实的空间位置和精度尺寸。

从以上技术方案可以看出，本发明具有以下优点：

通过在两个眼睛位置分别设置至少一个内置摄像头，用于采集虹膜和眼球的方向位置信息和双眼方向之间形成的夹角信息，并利用该信息控制外置随动摄像头的关注方向和角度，跟随虹膜和眼球移动，外置随动摄像头与眼球所关注的外部世界相同，实现视线的追踪随动跟踪同步，并将所看到的同步到显示屏中，通过显示屏显示看到的外部世界，呈现出更加真实的三维场景，无论是距离还是实物大小均与现实相对应，不会像现有三维虚拟一样与实物距离不相符使人产生错误认知的现象，本方案能够更加精确地采集两眼的虹膜位置信息，实现视线追踪功能，看到人眼不能及的地方，并可利用计算机实现人眼视线运动轨迹的计算分析。

附图说明

为了更清楚地说明本发明的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施方式显示内置摄像头部分的结构示意图。

图2为本发明具体实施方式显示内置摄像头部分不同角度的结构示意图

图3为本发明具体实施方式显示外置随动摄像头部分的结构示意图。

图4为本发明具体实施方式视线追踪系统的示意图。

图中，1、机架，2、内置摄像头，3、眼睛对应位，4、外置随动摄像头，5、远程摄像机伺服机构，100、眼睛。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本具体实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。

具体实施方式1

如图1-图3所示，本发明提供了一种视线追踪装置，包括机架1、外置随动摄像头4、内置摄像头2以及显示屏，机架1上设置有两个眼睛对应位3分别用于对应人的两个眼睛位置，每个眼睛对应位3上均安装有至少一个内置摄像头2，使用时内置摄像头2朝向眼睛位置，所述外置随动摄像头4安装在机架1的外侧或者独立于该机架1分开设置，分开设置时外置随动摄像头4可远离内置摄像头2和机架1，与机架1中的控制装置远程电连接，人在一个地方，外置随动摄像头4在另一个地方，就可实现对另一个地方的关注即外置随动摄像头4所关注的景象，显示屏安装在机架1中；其中，外置随动摄像头4设置有两个且在使用时分别对应两个眼睛，机架1上安装有远程摄像机伺服机构5，外置随动摄像头4与远程摄像机伺服机构5连接。优选的，眼睛对应位3上设置有三个内置摄像头2，三个内置摄像头2成不同角度环绕眼睛对应位3布置。

通过在两个眼睛位置分别设置至少一个内置摄像头2，优选为至少两个成不同角度设置的内置摄像头2，用于采集虹膜和眼球的方向位置信息和双眼方向之间形成的夹角信息，并利用该信息控制外置随动摄像头4的关注方向和角度，跟随虹膜和眼球移动，外置随动摄像头4与虹膜所关注的外部世界相同，实现视线的追踪随动跟踪同步，并将所看到的同步到显示屏中，通过显示屏显示看到的外部世界，本方案能够更加精确地采集两眼的虹膜（即视线关注点）位置信息，实现视线追踪功能，远程看到人眼不能及的地方，并可利用计算机实现人眼视线运动轨迹的计算分析。

具体实施方式2

如图1-4所示，本具体实施方式在具体实施方式1的基础上，提供了一种视线追踪系统，包括中央处理模块、图像处理模块、随动控制模块、外随动追踪模块、光学模块、显示模块、关注点测量模块和关注点计算模块；

关注点测量模块被配置为测定瞳孔距、两个眼睛各自关注的方向以及两个眼睛关注方向间的夹角角度，关注点测量模块与关注点计算模块之间电连接，并将测量信息传输到关注点计算模块；

关注点计算模块被配置为计算出两眼关注点的方向角度和夹角角度确定关注点的空间位置，关注点计算模块与中央处理模块点连接，并将关注点的空间位置和角度实时输入到中央处理模块；

中央处理模块与随动处理模块电连接，并用于将控制执行信息传输到控制随动处理模块；

控制随动处理模块与外随动追踪模块电连接，用于执行外随动追踪模块进行动作；

外随动追踪模块被配置为跟随虹膜、眼球移动，与眼睛与虹膜所关注的外部世界相同；实现视线的追踪随动功能。并可通过计算单元可利用双目观测原理，对空间物体形成关注点，产生物体相对于摄像头的空间位置和数字关系，使计算机能识别物体或空间的形状和位置，并能对移动物体智能跟踪形成物体的空间数字移动轨迹。

显示模块与中央处理模块电连接，显示模块被配置为显示外随动追踪模块拍摄到的外部世界，并且显示模块可利用得到的双目关注点，使计算机能得到人眼真正关注的空间位置或屏幕上的二维位置，使虚拟的物体和空间相对于人眼有真实的空间位置和精度尺寸；

光学模块用于修正关注点计算模块和外随动追踪模块所呈现物象的大小；使之能与眼睛视角和焦距、视物大小相同。

图像处理模块用于进行图像处理。

其中，关注点测量模块包括内置摄像头2，每个眼位上配置至少两个个成不同角度的内置摄像头2。外随动追踪模块包括外置随动摄像头4，外置随动摄像头4能够跟随眼球和虹膜转动进行视线追踪。进一步的，该系统还包括计算机，计算机被配置为将外置随动摄像头4得到的景象进行数字建模呈现在显示模块上，或加入虚拟场景、物体共同呈现在显示模块上。

具体实施方式3

如图1-4所示，本具体实施方式在上述两个具体实施方式的基础上，提供了一种视线追踪方法，主要包括以下步骤：

A1：定位虹膜基准。利用屏幕中显示点、监控装置（或内置摄像头2）和光学器件寻找定位虹膜和眼球中心以此作为基准，用来测定瞳孔距和实现判断后期眼睛的注视方向角度；用此修正外置摄像头的瞳孔距和光学器件，使之能与眼睛视角和焦距、视物大小相同。并以此修正屏幕中虚拟场景与人眼匹配。

A2：利用内置摄像头2采集两个眼睛虹膜和眼球各自的关注方向特征，并利用关注方向特征计算出两个眼睛关注点的方向角度和夹角角度确定关注点的空间位置信息。能够测算眼睛所关注屏幕中的空间位置，知道眼睛是关注屏幕中的哪个空间位置或物体，使虹膜信息采集更加准确。

A3：控制外置随动摄像头4跟随虹膜、眼球移动并对外部世界进行拍摄。使得外置随动摄像头4与眼睛与虹膜所关注的外部世界相同，实现视线的追踪。

A4：在屏幕上呈现外置随动摄像头4拍摄到的外部世界。其中，外部世界包含实际的空间景象、计算机虚拟的空间和实体。实现更加真实清晰准确的反映所要观看物体或空间的三维尺寸和空间位置，对空间移动物体的快速追踪和定位。

其中，在上述步骤中，内置摄像头2可通过计算单元可利用双目观测原理，对空间物体形成关注点，产生物体相对于内置摄像头2的空间位置和数字关系，使计算机能识别物体或空间的形状和位置，并能对移动物体智能跟踪形成物体的空间数字移动轨迹。利用得到的双目关注点，使计算机得到双眼真正关注的空间位置或屏幕上的二维位置，使虚拟的物体和空间相对于人眼有真实的空间位置和精度尺寸。

本发明的说明书和权利要求书及上述附图中的术语“上”、“下”、“外侧”、“内侧”等（如果存在）是用于区别位置上的相对关系，而不必给予定性。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视线追踪装置，其特征在于，包括机架（1）、外置随动摄像头（4）、内置摄像头（2）以及显示屏，机架（1）上设置有两个眼睛对应位（3）分别用于对应人的两个眼睛位置，每个眼睛对应位（3）上均安装有至少一个内置摄像头（2），使用时内置摄像头（2）朝向眼睛位置，所述外置随动摄像头（4）安装在机架（1）的外侧或者独立于该机架（1）分开设置，所述显示屏安装在机架（1）中。

2.如权利要求1所述的视线追踪装置，其特征在于，所述眼睛对应位（3）上设置有三个内置摄像头（2），三个内置摄像头（2）成不同角度环绕眼睛对应位布置。

3.如权利要求1所述的视线追踪装置，其特征在于，所述外置随动摄像头（4）设置有两个且在使用时分别对应两个眼睛，所述外置随动摄像头（4）上连接有远程摄像机伺服机构（5）并由远程摄像机伺服机构（5）驱动。

4.一种视线追踪系统，其特征在于，包括中央处理模块、图像处理模块、随动控制模块、外随动追踪模块、光学模块、显示模块、关注点测量模块和关注点计算模块；

所述关注点测量模块被配置为测定瞳孔距、两个眼睛各自关注的方向以及两个眼睛关注方向间的夹角角度，所述关注点测量模块与关注点计算模块之间电连接，并将测量信息传输到关注点计算模块；

所述关注点计算模块被配置为计算出两眼关注点的方向角度和夹角角度确定关注点的空间位置，所述关注点计算模块与中央处理模块点连接，并将关注点的空间位置和角度实时输入到中央处理模块；

所述中央处理模块与随动处理模块电连接，并用于将控制执行信息传输到控制随动处理模块；

所述控制随动处理模块与外随动追踪模块电连接，用于执行外随动追踪模块进行动作；

所述外随动追踪模块被配置为跟随虹膜、眼球移动，与眼睛与虹膜所关注的外部世界相同；

所述显示模块与中央处理模块电连接，所述显示模块被配置为显示外随动追踪模块拍摄到的外部世界，并且显示模块可利用得到的双目关注点，使计算机能得到人眼真正关注的空间位置或屏幕上的二维位置，使虚拟的物体和空间相对于人眼有真实的空间位置和精度尺寸；

所述光学模块用于修正关注点计算模块和外随动追踪模块所呈现物象的大小；

所述图像处理模块用于进行图像处理。

5.如权利要求4所述的视线追踪系统，其特征在于，所述关注点测量模块包括内置摄像头（2），每个眼位上配置至少一个内置摄像头（2）。

6.如权利要求4所述的视线追踪系统，其特征在于，所述外随动追踪模块包括外置随动摄像头（4），所述外置随动摄像头（4）能够跟随眼球和虹膜转动进行视线追踪。

7.如权利要求6所述的视线追踪系统，其特征在于，还包括计算机，所述计算机被配置为将外置随动摄像头得到的景象进行数字建模呈现在显示模块上，或加入虚拟场景、物体共同呈现在显示模块上。

8.一种视线追踪方法，其特征在于，包括以下步骤：

A1：定位虹膜基准；

A2：利用内置摄像头（2）采集两个眼睛虹膜和眼球各自的关注方向特征，并利用关注方向特征计算出两个眼睛关注点的方向角度和夹角角度确定关注点的空间位置信息；

A3：控制外置随动摄像头（4）跟随虹膜、眼球移动并对外部世界进行拍摄；

A4：在屏幕上呈现外置随动摄像头（4）拍摄到的外部世界。

9.如权利要求8所述的视线追踪方法，其特征在于，在上述步骤中，内置摄像头（2）可通过计算单元可利用双目观测原理，对空间物体形成关注点，产生物体相对于内置摄像头（2）的空间位置和数字关系，使计算机能识别物体或空间的形状和位置，并能对移动物体智能跟踪形成物体的空间数字移动轨迹。

10.如权利要求8所述的视线追踪方法，其特征在于，在上述步骤中，利用得到的双目关注点，使计算机得到双眼真正关注的空间位置或屏幕上的二维位置，使虚拟的物体和空间相对于人眼有真实的空间位置和精度尺寸。

Images