CN106484124B - 一种目光操控方法 - Google Patents

Abstract

本发明提供了一种主要应用于VR设备的依靠目光锁定以及眼部动作所进行的操控技术。目光锁定技术通过VR设备对人眼焦点捕捉，精确计算出体验者目光锁定的位置，并通过对体验者眼部活动判断出体验者所要进行的操作，并进行执行。通过此技术，一方面解放了体验者的双手，提供更加优质的体验感受；同时能够快速响应体验者的操作，提供快捷准确的操作服务。

Description

一种目光操控方法

技术领域

本发明涉及电子设备领域，具体涉及一种主要依靠目光锁定以及眼部动作所进行的操控方法。

背景技术

VR技术方兴未艾，但目前VR设备主流操作方式有以下几种：

手柄操作：利用无线蓝牙技术，以及各类操作手柄进行操作；较为典型的产品如：HTC Vive、索尼PS VR等；

头控操作：在VR设备中设定中心准星，依靠人体头部转动进行准星锁定，并依靠保持准星位置进行选定操作。典型产品如：暴风魔镜；

手势操作：利用VR设备前置摄像头进行手势捕捉，进行相关操作。代表厂商：美国移动技术公司Eyesight。

手柄操作更适用于有针对性的游戏操作，对于沉浸式漫游在使用上多有不便；头控操作存在头部动作过大、移动缓慢、准星漂移等问题，进行沉浸式漫游的体验不佳；手势操作更适合AR应用，无法应对沉浸式漫游。

沉浸式漫游需要一个更加自由和便捷的操作方式，同时又不能影响漫游体验。因此通过目光进行准星锁定，以及眼部活动进行确认及取消操作的操控技术更加适合在沉浸式漫游中使用。

发明内容

为了解决以上技术问题，本发明提供了一种主要应用于VR设备的依靠目光锁定以及眼部动作所进行的操控技术。目光锁定技术通过VR设备对人眼焦点捕捉，精确计算出体验者目光锁定的位置，并通过对体验者眼部活动(如：快速眨眼等)判断出体验者所要进行的操作，并进行执行。通过此技术，一方面解放了体验者的双手，提供更加优质的体验感受；同时能够快速响应体验者的操作，提供快捷准确的操作服务。

本发明所提供的目光操控方法包括信息采集、逻辑算法、映射三个步骤，

所述信息采集为通过影像捕捉设备，对操控者眼部活动进行采集；

所述逻辑算法为通过所述信息采集得到的数据对操控者的瞳孔焦距、目标视角以及目标视距进行计算，得出操控者目光锁定位置与操控者人脸朝向正前方的相对角度以及与操控者之间的相对距离，再通过操控者所使用的应用程序或硬件提供的操控者基本方位信息(例如HTC Vive的Lighthouse定位系统、索尼PlayStation摄像头+PS VR头盔+Move控制器等采集的操控者定位信息及基本视角信息)，以及计算得出的所述相对角度和相对距离，计算出操控者的目光锁定点；

所述映射为通过所述逻辑算法计算得出的所述目光锁定点，应用程序匹配出最佳模型或区域并进行特殊显示，以完成目光锁定工作，操控者以特定眼部动作输入命令完成操控。

因不同的人眼部构造存在些许差异，以及近视、远视等眼部疾病，将会导致计算误差，因此需要制定校准机制：通过特定场景固定点锁定依次锁定，找出最佳修正值，并依靠修正值进行修正计算。

所述目光操控方法可以于VR设备中，所述VR设备内置影像捕捉设备，所述信息采集通过所述VR设备的内置影像捕捉设备，对操控者眼部活动进行采集。所述影像捕捉设备可以是摄像头、红外影像捕捉设备等。

所述瞳孔焦距计算可以是，在固定视距处自一侧向另外一侧移动标靶物体，并记录操控者瞳孔移动信息，再利用公式进行计算，通过校准机制，计算出操控者双眼焦距；

所述目标视角计算可以是，当操控者目光锁定某一物品时，通过所述影像捕捉设备捕捉瞳孔位置位移，反算出目标视角；

所述目标视距计算可以是，通过左右眼视角，以及瞳距信息，计算出目标视距。

公式为

基于此公式可得出目标所在大体位置，再与VR数据信息结合，即可实现目标锁定。

由于目光操控技术只是一种基于VR设备的操控技术，具体使用需要配合相应的应用软件。

所述眼部活动采集为通过所述影像捕捉设备监控瞳孔遮挡情况，用以判断操控者所进行的操作动作。例如：快速连续遮挡(两次以上)，激活锁定模型属性信息；长闭(2秒以上)取消激活。

本发明所提供的目光操控方法可以发电企业数字化移交平台为基础，为三维数字化电厂的沉浸式漫游提供一种上佳的漫游体验。本发明所提供的目光操控方法还可以适用于全景漫游。与其他操控技术相比，本发明所提供的目光操控方法具有以下优势：

快速锁定：系统锁定目标的速度，取决于系统计算人体目光焦点的计算速度。相较通过手柄移动准星的速度，以及头部旋转准星的移动速度，目光锁定要更加快捷；

体验更佳：无需动用手指，无需频繁转动头部，仅需转动眼珠并进行目光锁定。

附图说明

图1瞳孔焦距计算示意图；

图2瞳孔视距计算示意图；

图3目光锁定区域框示意图；

图4远距目光锁定模型示意图；

图5近距目光锁定模型示意图。

具体实施方式

以下结合附图和具体实施方式，对本发明进一步说明。

实施例1

以发电企业数字化移交平台为基础，应用于三维数字化电厂的沉浸式漫游的目光操控方法，具体包括信息采集、逻辑算法、映射三个步骤。

通过VR设备内置的两个摄像头，对操控者瞳孔活动进行信息采集；

1)瞳距测量：漫游者在佩戴VR眼镜后，手工调整左右目镜之间的距离，以匹配瞳距。此时系统可通过测量左右目镜距离得出佩戴者瞳距数值d。

2)视力校准：通过调节左右目镜焦距的方式进行物理校准，不影响计算。

3)焦距测量：

a.近场测试：距离测试者前方1M，间隔0.5M的三个球体(直径10cm)，由测试者保持头部不转动的情况下，依次凝视左、中、右三个间球体，并通过快速眨眼进行确认。由摄像头记录三次确认时瞳孔的位置，并计算出位置偏差。然后利用公式其中L＝100(mm)，d1＝d2＝50mm,D1、D2由瞳孔监测摄像头捕捉计算得出，可计算出近场焦距f1。示意图如图1所示。

b.中场测试：同近场测试类似，采用距离测试者前方5M，间隔2M的三个球体(直径30cm)。进而可测得中场焦距f2。

c.远场测试：同近场测试类似，采用距离测试者前方15M，间隔5M的三个球体(直径50cm)。进而可测得中场焦距f3。

依照人眼使用习惯，中场为最常用视距，由此可计算出焦距近似值：

通过以上操作计算得出操控者的焦距信息，作为在进行全景漫游时目光锁定时的计算修正值。为确保三角模型近似计算的准确性，需要将眼部活动范围限制在一个较小的角度之内(小角度扇形近似为三角形)。因此可在目镜中设置一个虚线构成的矩形框(如图3所示)，以提示体验者通过目光锁定框内物体，同时这样也比较符合人眼使用习惯。

在进行目光锁定时需要区分以下几种情况：示意图如图4所示。

1)远距模型：即距离观测者10米以上整体结构的大型模型。

由于人体瞳距一般只有几厘米，对于距离较远的物体双目对焦计算误差较大，因此对于远方大型模型，可考虑依靠目光锁定区域框和瞳孔视角进行计算。具体又分为以下几种情况：

a.区域框中单独物体模型：由于区域框中仅有一个模型，因此可以直接对此模型进行锁定；

b.区域中多模型：当区域框中有多个模型存在时，则需要对瞳孔偏离中心角度进行计算，以取得锁定对象。虽然多模型也存在两种排列情况(上下分布、左右分布)，但是考虑到人眼使用习惯和计算精度，对于上下分布的模型，可考虑通过头部活动来捕捉。以下考虑左右分布情况

通过三角形模型，以及已知的焦距f、瞳孔偏离中心的位置d，可由计算出视角θ，从而得出所关注模型的一系列位置信息(例如：据观测者的距离LA，物体距离观测主路径垂直距离DA等)，在通过各三维模型之间的位置关系，找出目光锁定点。

2)近距模型：在近距离(小于5米)观察并锁定模型细节。

近距离观察物体细节时，人眼活动最为频繁，活动范围也更大。例如，观察设备仪表、观察物体结构与组成等。此时由于距离较近，而物体之间距离差异也较小，三角形模型误差造成的锁定物体偏移可能会造成锁定失误。但同样是因为距离较近，左右双眼之间的差异则变得更为明显。此时采用双目对焦的方法进行物体锁定，可大大提高目光锁定的准确性。

双目锁定时，先通过单目视角计算，得出左右双眼的视角θ1、θ2，然后再根据校准期取得的佩戴者瞳距d，即可根据公式算出目光锁定点距观察者的精确距离。再根据三维模型与观察者之间的距离、角度等信息进行匹配，即可找到锁定点。

对于中远距离，原则上以远距离观察计算结果为主，并辅助以近距离观测计算进行修正。具体情况，依照观测区域内模型数量而定。一般来说，可视范围内存在3个以上的物体时采用近距模型，否则以远距模型进行计算。

通过以上计算，可得出在不同情形下操控者目光锁定位置的相对角度和相对距离，再结合操控者所使用的应用程序与设备所提供的操控者基本方位，可计算出操控者目光锁定的点；

所述映射为通过所述逻辑算法计算得出的目光锁定点，应用程序匹配出最佳模型或区域进行特殊显示。通过摄像头监控瞳孔遮挡情况，用以判断操控者所进行的操作动作。快速连续遮挡(两次以上)，激活锁定模型属性信息；长闭(2秒以上)取消激活。

本实施例所提供的目光操控方法能够实现快速锁定，相较通过手柄移动准星的速度，以及头部旋转准星的移动速度，目光锁定要更加快捷，并且具有更好的体验效果，无需动用手指，无需频繁转动头部，仅需转动眼珠并进行目光锁定。

实施例2

适用于全景漫游的目光操控方法。

由于计算采用的是三角形模型，因此为确保计算准确性，需要将眼部活动范围限制在一个较小的角度之内(小角度扇形近似为三角形)。因此可在目镜中设置一个虚线构成的矩形框，以提示体验者通过目光锁定框内物体，同时这样也比较符合人眼使用习惯。

在全景漫游时，可能会出现以下几种情况，而发生锁定：

1)远距模型：即距离观测者10米以上整体结构的大型模型。

由于人体瞳距一般只有几厘米，对于距离较远的物体双目对焦计算误差较大，因此对于远方大型模型，可考虑依靠目光锁定区域框和瞳孔视角进行计算。具体又分为以下几种情况：

a.区域框中单独物体模型：由于区域框中仅有一个模型，因此可以直接对此模型进行锁定；

b.区域中多模型：当区域框中有多个模型存在时，则需要对瞳孔偏离中心角度进行计算，以取得锁定对象。虽然多模型也存在两种排列情况(上下分布、左右分布)，但是考虑到人眼使用习惯和计算精度，对于上下分布的模型，可考虑通过头部活动来捕捉。以下考虑左右分布情况：

通过三角形模型，以及已知的焦距f、瞳孔偏离中心的位置d，可由计算出视角θ，从而得出所关注模型的一系列位置信息(例如：据观测者的距离LA，物体距离观测主路径垂直距离DA等)，在通过各三维模型之间的位置关系，找出目光锁定点。

2)近距模型：在近距离(小于5米)观察并锁定模型细节。

近距离观察物体细节时，人眼活动最为频繁，活动范围也更大。例如，观察设备仪表、观察物体结构与组成等。此时由于距离较近，而物体之间距离差异也较小，三角形模型误差造成的锁定物体偏移可能会造成锁定失误。但同样是因为距离较近，左右双眼之间的差异则变得更为明显。此时采用双目对焦的方法进行物体锁定，可大大提高目光锁定的准确性。

双目锁定时，先通过单目视角计算，得出左右双眼的视角θ1、θ2，然后再根据校准期取得的佩戴者瞳距d，即可根据公式算出目光锁定点距观察者的精确距离。再根据三维模型与观察者之间的距离、角度等信息进行匹配，即可找到锁定点。

对于中远距离，原则上以远距离观察计算结果为主，并辅助以近距离观测计算进行修正。具体情况，依照观测区域内模型数量而定。一般来说，可视范围内存在3个以上的物体时采用近距模型，否则以远距模型进行计算。

通过摄像头监控瞳孔遮挡情况，用以判断操控者所进行的操作动作。快速连续遮挡(三次以上)，激活锁定模型属性信息；长闭(1秒以上)取消激活。

与其他操控技术相比，本发明所提供的目光操控方法具有以下优势：

快速锁定：系统锁定目标的速度，取决于系统计算人体目光焦点的计算速度。相较通过手柄移动准星的速度，以及头部旋转准星的移动速度，目光锁定要更加快捷；

体验更佳：无需动用手指，无需频繁转动头部，仅需转动眼珠并进行目光锁定。

Claims (4)

1.一种目光操控方法，其特征在于，包括信息采集、逻辑算法、映射三个步骤，

所述信息采集为通过影像捕捉设备，对操控者眼部活动进行采集；

所述逻辑算法为通过所述信息采集得到的数据对操控者的瞳孔焦距、目标视角以及目标视距进行计算，得出操控者目光锁定位置与操控者人脸朝向正前方的相对角度以及与操控者之间的相对距离，再通过操控者所使用的应用程序或硬件提供的操控者基本方位信息，以及计算得出的所述相对角度和相对距离，计算出操控者的目光锁定点；

所述映射为通过所述逻辑算法计算得出的所述目光锁定点，应用程序匹配出最佳模型或区域并进行特殊显示，以完成目光锁定工作，操控者以特定眼部动作输入命令完成操控。

2.根据权利要求1所述的目光操控方法，其特征在于，所述目光操控方法应用于VR设备中，所述VR设备内置至少两个影像捕捉设备，所述信息采集通过所述VR设备的内置影像捕捉设备，对操控者眼部活动进行采集。

3.根据权利要求1或2所述的目光操控方法，其特征在于，

所述瞳孔焦距计算为，在固定视距处自一侧向另外一侧移动标靶物体，并记录操控者瞳孔移动信息，再利用公式进行计算，通过校准机制，计算出操控者双眼焦距；

所述目标视角计算为，当操控者目光锁定某一物品时，通过所述影像捕捉设备捕捉瞳孔位置位移，反算出目标视角；

所述目标视距计算为，通过左右眼视角，以及瞳距信息，计算出目标视距。

4.根据权利要求1或2所述的目光操控方法，其特征在于，所述眼部活动采集为通过所述影像捕捉设备监控瞳孔遮挡情况，用以判断操控者所进行的操作动作。