CN105843397A - 基于瞳孔追踪技术的虚拟现实互动系统 - Google Patents

Abstract

本发明公开了一种基于瞳孔追踪技术的虚拟现实互动系统，其包括光学系统等，光学系统与采集系统连接，采集系统、供能系统、传输接口都与控制系统连接，图像分辨模块、干扰分离模块、姿态校正模块、原始设定模块都与传输接口连接，采集系统、控制系统、传输接口构成一个信号处理组，完成整个信号转换过程中的数据处理工作；采集系统用来保证瞳孔运动捕捉装置以及瞳孔图像数据的传输；控制系统进行数据的处理以及反馈控制光学系统。本发明可对人眼瞳孔的变化及眼球的转动进行反馈，这比目前所有的确认及控制方法都更具有人性化和更具有使用效率。

Description

基于瞳孔追踪技术的虚拟现实互动系统

技术领域

本发明涉及一种虚拟现实互动系统，特别是涉及一种基于瞳孔追踪技术的虚拟现实互动系统。

背景技术

瞳孔追踪技术最早被美军飞行瞄准系统中采用，近两年随着多媒体技术的发展和图像处理等软件的进一步发展，逐步被用于民用行业。目前用途较广的基于瞳孔动作识别系统的民用科技是日本静冈大学工学系海老泽嘉伸教授最先发明的瞳孔鼠标系列产品，这类产品经过多年的发展，为残障人士提供了电脑交流的一个崭新渠道，但这类产品存在的问题就是设备巨大，操作时人体头部需要固定，并且设备成本较高。原来在2014年初三星计划发布Galaxy S4型手机时宣称附带具有眼球鼠标功能的eyeCan，原本作为主要功能亮点推出，但是最终由于其捕捉技术不理想，随机摄像头效果并不理想而没有被广泛使用。

近几年随着各种虚拟头盔的涌现，人们逐渐使用虚拟眼镜来代替显示屏幕，通过头部陀螺仪的转动来操控虚拟场景中的“鼠标”。但是由于需要不停的转动头部来选择菜单，对于目前采用OLED目镜的扫描频率无法超过75MHz的进口虚拟头盔(Oculus RIFT、Sansun Gear等)以及采用TFT目镜扫描频率甚至低于60MHz的国产诸多虚拟头盔来说，操控者不得不忍受无尽的晕眩感。

发明内容

本发明所要解决的技术问题是提供一种基于瞳孔追踪技术的虚拟现实互动系统，其在不改变头盔内部固有结构的情况下，头部的旋转依然可以保证用户浏览虚拟场景不受影响，同时，通过识别眼球的转动，来控制场景的“鼠标”，大大提高用户的使用舒适度，增强人机交互能力。

本发明是通过下述技术方案来解决上述技术问题的：一种基于瞳孔追踪技术的虚拟现实互动系统，其包括光学系统、采集系统、控制系统、供能系统、传输接口、图像分辨模块、干扰分离模块、姿态校正模块、原始设定模块，光学系统与采集系统连接，采集系统、供能系统、传输接口都与控制系统连接，图像分辨模块、干扰分离模块、姿态校正模块、原始设定模块都与传输接口连接，采集系统、控制系统、传输接口构成一个信号处理组，完成整个信号转换过程中的数据处理工作；采集系统用来保证瞳孔运动捕捉装置以及瞳孔图像数据的传输；控制系统进行数据的处理以及反馈控制光学系统；传输接口模块用来链接整个基于瞳孔追踪技术的虚拟现实互动系统与外部装置的通讯及数据交换，供能系统为整个信号处理组做好能源保障工作。

优选地，所述光学系统包括眼睛瞳孔运动捕捉装置、虚拟影像成像设备、高透单反光学装置、虚拟成像透镜组合，眼睛瞳孔运动捕捉装置位于高透单反光学装置的侧面，虚拟影像成像设备、虚拟成像透镜组合分别位于高透单反光学装置的前后方，虚拟影像透过光学系统上的高透单反光学装置在人眼成像，人眼在光反射的作用下通过高透单反光学装置折射到侧面的眼睛瞳孔运动捕捉装置上面。

优选地，所述采集系统包括图像处理模块，图像处理模块与眼睛瞳孔运动捕捉装置连接，采集系统通过其图像处理模块来控制眼睛瞳孔运动捕捉装置以及瞳孔图像数据的传输。

优选地，所述供能系统包括控制系统和捕捉系统，通过一个USB接口统一供电。

优选地，所述控制系统包括图像校对模块、瞳位比对模块、瞳孔运动方向输出模块，图像校对模块、瞳位比对模块、瞳孔运动方向输出模块依次连接，图像校对模块与图像处理模块连接，图像处理模块获取图像信号后到图像校对模块进行图像初步处理形成可进行叠加对比的图样，再通过瞳位比对模块对左右眼图像中的瞳位进行比对，若有误差则控制图像处理模块进行反馈补偿，对比的结果发送到瞳孔运动方向输出模块经过算法库的比对判断，最终模拟控制鼠标的运动行为。

优选地，所述供能系统包括供电模块、USB标准接口、滤波稳压模块，供电模块与滤波稳压模块之间通过USB标准接口连接，供电模块为基于瞳孔追踪技术的虚拟现实互动系统提供电力保障；供电模块存储电量，通过USB标准接口向滤波稳压模块供电，经过滤波稳压模块分配给控制系统和采集系统。

优选地，所述传输接口包括运动方向矢量转换模块、仿真鼠标输出模块、扩展接口，运动方向矢量转换模块、扩展接口都和仿真鼠标输出模块连接；控制系统计算出的结果需要通过传输接口进行模式转换，实现仿真鼠标信号的输出。

优选地，所述图像分辨模块通过瞳孔图样的对比度处理，经过加权算法，获得RGB值两极化的可分辨图像像素值，经过与前一帧的可辨识特征图像做对比，确认图像的可识别性，将可识别图像保留输出，将不可识别的图像放弃。

优选地，所述姿态校正模块采集左右两通道的图样，进行叠加比对，然后与堆栈中的时序图样进行位移比对，计算瞳孔的位移量，作出瞳孔运动趋势预判，然后输出给接口模块，进行矢量数据转换成设备可使用的鼠标运动数据。

优选地，所述原始设定模块是为了针对不同使用者的具体瞳孔表征进行图像数据收集并进行习惯动作设定的程序模块。

本发明的积极进步效果在于：本发明可通过节奏的眨眼及眼球运动作出反馈(预想方案中，确认的方式可以自由定义，其选择动作可以包括单次眨眼、连续眨眼、左右眼单眨、视线画圈等，可根据个人习惯进行自由设定)，这比目前所有的确认方法都更具有人性化和更具有使用效率。本发明在不改变头盔内部固有结构的情况下，头部的旋转依然可以保证用户浏览虚拟场景不受影响，同时，通过识别眼球的转动，来控制场景的“鼠标”，大大提高用户的使用舒适度，增强人机交互能力。

附图说明

图1为本发明基于瞳孔追踪技术的虚拟现实互动系统的原理框图。

图2为本发明基于瞳孔追踪技术的虚拟现实互动系统的光学系统图。

图3为本发明基于瞳孔追踪技术的虚拟现实互动系统的采集系统图。

图4为本发明基于瞳孔追踪技术的虚拟现实互动系统的控制系统图。

图5为本发明基于瞳孔追踪技术的虚拟现实互动系统的供能系统图。

图6为本发明基于瞳孔追踪技术的虚拟现实互动系统的传输接口图。

图7为本发明基于瞳孔追踪技术的虚拟现实互动系统的图像分辨模块图。

图8为本发明基于瞳孔追踪技术的虚拟现实互动系统的干扰分离模块图。

图9为本发明基于瞳孔追踪技术的虚拟现实互动系统的姿态校正模块图。

图10为本发明基于瞳孔追踪技术的虚拟现实互动系统的原始设定模块图。

图11为本发明基于瞳孔追踪技术的虚拟现实互动系统的互动状态对应图。

具体实施方式

下面结合附图及实施例来详细说明本发明较佳实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

如图1至图10所示，本发明基于瞳孔追踪技术的虚拟现实互动系统包括光学系统、采集系统、控制系统、供能系统、传输接口、图像分辨模块、干扰分离模块、姿态校正模块、原始设定模块，光学系统与采集系统连接，采集系统、供能系统、传输接口都与控制系统连接，图像分辨模块、干扰分离模块、姿态校正模块、原始设定模块都与传输接口连接，采集系统、控制系统、传输接口构成一个信号处理组，完成整个信号转换过程中的数据处理工作；采集系统用来保证瞳孔运动捕捉装置以及瞳孔图像数据的传输；控制系统进行数据的处理以及反馈控制光学系统；传输接口模块用来链接整个基于瞳孔追踪技术的虚拟现实互动系统与外部装置的通讯及数据交换，供能系统为整个信号处理组做好能源保障工作。

光学系统包括眼睛瞳孔运动捕捉装置1、虚拟影像成像设备2、高透单反光学装置3、虚拟成像透镜组合4，眼睛瞳孔运动捕捉装置1位于高透单反光学装置3的侧面，虚拟影像成像设备2、虚拟成像透镜组合4分别位于高透单反光学装置3的前后方，虚拟影像透过光学系统上的高透单反光学装置在人眼5成像，人眼在光反射的作用下通过高透单反光学装置折射到侧面的眼睛瞳孔运动捕捉装置上面，这样瞳孔的当前的状态就被顺利获取了。

采集系统包括图像处理模块6，图像处理模块6与眼睛瞳孔运动捕捉装置1连接，采集系统通过其图像处理模块来控制眼睛瞳孔运动捕捉装置以及瞳孔图像数据的传输。

控制系统包括图像校对模块、瞳位比对模块、瞳孔运动方向输出模块，图像校对模块、瞳位比对模块、瞳孔运动方向输出模块依次连接，图像校对模块与图像处理模块连接，图像处理模块获取图像信号后到图像校对模块进行图像初步处理形成可进行叠加对比的图样，再通过瞳位比对模块对左右眼图像中的瞳位进行比对，若有误差则控制图像处理模块进行反馈补偿，对比的结果发送到瞳孔运动方向输出模块经过算法库的比对判断，最终控制鼠标的运动行为。图像校对模块为了分辨图像是否可用，获取图像后进行对比处理，对瞳孔图像特征进行识别，若符合标准则将图像传输给瞳位比对模块。瞳位比对模块主要目的是干扰分离，首先将获取的图像进行灰度处理，分离出背景图像和瞳孔图像，然后将瞳孔的当前图与库中的行为图进行比对，以识别当前特征。瞳孔运动方向输出模块做姿态校正，将经过处理的左右眼两张瞳孔特征图进行比对，并进行堆栈对比，确认双眼操作的有效性，同时用时序对比算法确认时效性，最终输出运动趋势。计算出运动趋势后将结果通过瞳孔运动方向输出模块传输转换成鼠标的信号与电脑实现通讯。

供能系统包括供电模块7、USB标准接口8、滤波稳压模块9，供电模块7与滤波稳压模块9之间通过USB标准接口8连接，供电模块为基于瞳孔追踪技术的虚拟现实互动系统提供电力保障；供电模块存储电量，通过USB标准接口向滤波稳压模块供电，经过滤波稳压模块分配给控制系统和采集系统等，这样控制系统和采集系统就获取了电力保障。

传输接口包括运动方向矢量转换模块、仿真鼠标输出模块、扩展接口，运动方向矢量转换模块、扩展接口都和仿真鼠标输出模块连接。控制系统计算出了结果需要通过传输接口进行模式转换，实现仿真鼠标信号的输出。控制系统处理完的数据传输到运动方向矢量转换模块进行模式转换，在发送到仿真鼠标输出模块模拟鼠标的信号，扩展接口有蓝牙和USB标准接口用来和电脑的通讯。即整套基于瞳孔追踪技术的虚拟现实互动系统通过与电脑联机后，可以作为鼠标使用，只是其操作的方式是通过人眼的瞳孔运动，而不是手。

互动方式为操作者头戴虚拟交互设备，随着眼球转动，连接的屏幕上指针随动。如图11所示，在初始设定时按用户需求先设定好对应的行为，实际操作时当瞳孔达到初始时设定的瞳孔移动标准时，屏幕上的鼠标光标就随之移动，且此行为与虚拟眼镜自带的头部旋转控制场景中的画面随之旋转不发生冲突。

本发明可通过节奏的眨眼及眼球的运动进行反馈(预想方案中，确认的方式可以自由定义，其选择动作可以包括单次眨眼、连续眨眼、左(右)眼单眨、视线画圈等，可根据个人习惯进行自由设定)，这比目前所有的确认方法都更具有人性化和更具有使用效率。

图像分辨模块通过瞳孔图样的对比度处理，经过加权算法，获得RGB值两极化的可分辨图像像素值，经过与前一帧的可辨识特征图像做比对，确认图像的可识别性，将可识别图像保留输出，将不可识别的图像放弃，这样可以减少后续数据处理量，提升容差率。

经过图像分辨模块初步检索过的图像，在干扰分离模块内经过二次加权算法处理，获得256级灰度值，通过分离算法，扩大斑点消隐，完成后进行瞳孔特征比对，判定分离图样是否成功保留特征图样；如果没有，则更改权值进行重新处理，直至获得相匹配瞳孔特征值的图像输出。

经上述模块处理的瞳孔特征图样，传输到姿态校正模块。姿态校正模块采集左右两通道的图样(左右眼瞳孔特征图样)，进行叠加比对，然后与堆栈中的时序图样进行位移比对，计算瞳孔的位移量，形成瞳孔运动趋势预判，然后输出给接口模块，进行矢量数据转换成设备可使用的鼠标运动数据。

原始设定模块是为了针对不同使用者的具体瞳孔表征进行图像数据收集并进行习惯动作设定的程序模块。其在系统中存在于用户机上(也就意味着本模块软件有各种不同的版本以应对windows、IOS、Android等系统)。本模块功能是校正用户瞳孔运动极值图像，并将之储存作为标准对比图像素材进行与操控图像进行对比的功能。

Claims (10)

1.一种基于瞳孔追踪技术的虚拟现实互动系统，其包括光学系统、采集系统、控制系统、供能系统、传输接口、图像分辨模块、干扰分离模块、姿态校正模块、原始设定模块，光学系统与采集系统连接，采集系统、供能系统、传输接口都与控制系统连接，图像分辨模块、干扰分离模块、姿态校正模块、原始设定模块都与传输接口连接，采集系统、控制系统、传输接口构成一个信号处理组，完成整个信号转换过程中的数据处理工作；采集系统用来保证瞳孔运动捕捉装置以及瞳孔图像数据的传输；控制系统进行数据的处理以及反馈控制光学系统；传输接口模块用来链接整个基于瞳孔追踪技术的虚拟现实互动系统与外部装置的通讯及数据交换，供能系统为整个信号处理组做好能源保障工作。

2.如权利要求1所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述光学系统包括眼睛瞳孔运动捕捉装置、虚拟影像成像设备、高透单反光学装置、虚拟成像透镜组合，眼睛瞳孔运动捕捉装置位于高透单反光学装置的侧面，虚拟影像成像设备、虚拟成像透镜组合分别位于高透单反光学装置的前后方，虚拟影像透过光学系统上的高透单反光学装置在人眼成像，人眼的图像在光反射的作用下通过高透单反光学装置折射到侧面的眼睛瞳孔运动捕捉装置上面。

3.如权利要求2所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述采集系统包括图像处理模块，图像处理模块与眼睛瞳孔运动捕捉装置连接，采集系统通过其图像处理模块来控制眼睛瞳孔运动捕捉装置以及瞳孔图像数据的传输。

4.如权利要求3所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述供能系统包括控制系统和捕捉系统，通过一个USB接口统一供电。

5.如权利要求4所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述控制系统包括图像校对模块、瞳位比对模块、瞳孔运动方向输出模块，图像校对模块、瞳位比对模块、瞳孔运动方向输出模块依次连接，图像校对模块与图像处理模块连接，图像处理模块获取图像信号后到图像校对模块进行图像初步处理形成可进行叠加对比的图样，再通过瞳位比对模块对左右眼图像中的瞳位进行比对，若有误差则控制图像处理模块进行反馈补偿，对比的结果发送到瞳孔运动方向输出模块经过算法库的比对判断，最终模拟控制鼠标的运动行为。

6.如权利要求5所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述供能系统包括供电模块、USB标准接口、滤波稳压模块，供电模块与滤波稳压模块之间通过USB标准接口连接，供电模块为基于瞳孔追踪技术的虚拟现实互动系统提供电力保障；供电模块存储电量，通过USB标准接口向滤波稳压模块供电，经过滤波稳压模块分配给控制系统和采集系统。

7.如权利要求6所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述传输接口包括运动方向矢量转换模块、仿真鼠标输出模块、扩展接口，其中运动方向矢量转换模块、扩展接口都和仿真鼠标输出模块连接；控制系统计算出了结果需要通过传输接口进行模式转换，实现仿真鼠标信号的输出。

8.如权利要求1所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述图像分辨模块通过瞳孔图样的对比度处理，经过加权算法，获得RGB值两极化的可分辨图像像素值，经过与前一帧的可辨识特征图像做比对，确认图像的可识别性，将可识别图像保留输出，将不可识别的图像放弃。

9.如权利要求1所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述姿态校正模块采集左右两通道的图样，进行叠加比对，然后与堆栈中的时序图样进行位移比对，计算瞳孔的位移量，作出瞳孔运动趋势预判，然后输出给接口模块，进行矢量数据转换成设备可使用的鼠标运动数据。

10.如权利要求1所述的基于瞳孔追踪技术的虚拟现实互动系统，其特征在于，所述原始设定模块是为了针对不同使用者的具体瞳孔表征进行图像数据收集并进行习惯动作设定的程序模块。