CN107656613B - 一种基于眼动追踪的人机交互系统及其工作方法 - Google Patents
一种基于眼动追踪的人机交互系统及其工作方法 Download PDFInfo
- Publication number
- CN107656613B CN107656613B CN201710805395.6A CN201710805395A CN107656613B CN 107656613 B CN107656613 B CN 107656613B CN 201710805395 A CN201710805395 A CN 201710805395A CN 107656613 B CN107656613 B CN 107656613B
- Authority
- CN
- China
- Prior art keywords
- eye
- scene
- image
- eye movement
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Abstract
本发明公开了一种基于眼动追踪的人机交互系统及其工作方法，其中该系统包括处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器。本发明能提升AR/VR在各个工程应用领域的交互体验。
Description
技术领域
本发明属于人机交互领域，尤其涉及一种基于眼动追踪的人机交互系统及其工作方法。
背景技术
虚拟现实(Virtuai reaiity，VR)是一种综合计算机图形技术、多媒体技术、传感器技术、人机交互技术、网络技术、立体显示技术以及仿真技术等多种科学技术综合发展起来的计算机领域的最新技术，也是力学、数学、光学、机构运动学等各种学科的综合应用。目前，所涉及的研究应用领域包括：军事、医学、心理学、教育、科研、商业、影视、娱乐、制造业、工程训练等。虚拟现实已经被人们公认为是21世纪重要发展学科以及影响人们生活的重要技术之一。
AR是将计算机生成的虚拟世界套在现实世界上，即把数字想象世界加在真实世界之上。最典型的AR设备就是谷歌眼镜。这种智能眼镜将触控板、摄像头以及LED显示器结合起来，通过显示器，用户可以联网，并在视野内使用地图、电子邮件等服务。AR增强现实主要通过投影功能，将虚拟世界叠加在现实世界，起到补充现实世界信息的作用，因此AR设备的主要构成是狭义的VR+更强大的数据感知系统+微投影系统。
眼动追踪EyeTribe是当人类的眼球移动时，可以对其进行跟踪，了解它的移动轨迹，眼球追踪就是感知眼部细微变化的一种技术，根据我们观测的方向不同，眼部则会产生相应的特征，通过这些特征的比对，从而对眼睛变化形成一套可以考量的参考，进而实现针对眼睛变化的控制功能，这就是所谓的眼动追踪技术。眼动追踪能够隐秘地对用户行为进行测量，并将测量结果转换为客观的定量数据。
目前，比较主流的VR/AR人机交互方式，主要基于手势识别和跟踪，国内极少有针对眼动追踪技术与VR/AR的结合的产品，尤其在涉及的人机交互工程研究领域的应用更少。用户在与VR场景的模型进行互动时，往往需要通过控制器提供的指向UI来选定目标，再使用相应的按键来查看必要的信息。这种交互方式大大破坏了VR的沉浸感，它会让体验者清醒的察觉到触感的缺失。
发明内容
为了解决现有技术的不足，本发明提供了一种基于眼动追踪的人机交互系统，其能提升AR/VR在各个工程应用领域的交互体验。
本发明的一种基于眼动追踪的人机交互系统，包括：
处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器；
所述处理器被配置为：
根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；
根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；
对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；
利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。
进一步的，所述眼动参数包括眼跳次数、注视次数和注视时长。
其中，眼动参数除了眼跳次数、注视次数和注视时长，还可以包括眼球闭合时长。
进一步的，所述处理器还被配置为：利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型。
其中，当眼部位置(也就是眼睛正前方方向位置)、眼球位置和场景模组检测模型位置成为一条直线时，此时即完成了对目标模组的定位。
进一步的，所述处理器还被配置为：
确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；
提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；
构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。
其中，场景图像的归类方法如下：
(1)基于色彩特征：同一类物体有着相似的色彩特征,因此我们可以根据色彩特征来区分物体用色彩特征进行图像分类。
(2)基于图像纹理：根据其刻画象素的邻域灰度空间分布规律及小波变化来对图像分类。
(3)基于图像形状：采用区域特征和边界特征相结合来进行图像的相似分类。
依据归类完成的图像对其进行特征参数的提取，具体方法如下：
(1)基于图像色彩的特征参数提取：当人注视到某处时，眼部图像中眼球部位要大大高于其他区域的饱和度值。即先将眼睛图像转化到饱和度空间可得到有两个峰值的饱和度图,一个是饱和度较小的眼部区域,一个是较大的眼球区域。然后用最大类间方差法(Otsu)得到图像分割阈值,再根据阈值分割图像。即把图像中饱和度值高于此饱和度阈值的眼球区域分离掉提取出饱和度值较小的眼部区域。
(2)基于图像纹理的特征参数提取：通过对图像的对比，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数。
(3)基于眼部动作模型的特征参数提取：基于模型的方法通常利用物体的几何关系或者物体的特征点来估计。通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对眼球的外边界，而图像的区域特征则关系到整个眼部区域。边界特征法是通过对眼球边界特征的模型来获取图像的特征参数。
进一步的，所述处理器还被配置为：
对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；
利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；
利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；
利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和特征图，得到场景模组检测模型。
其中，可以利用双线性插值法将注视感兴趣区域内的图像进行采样缩小；然后对采样缩小后的所有图像利用ORB算法进行特征提取。
ORB特征采用了Oriented FAST特征点检测算子以及Rotated BRIEF特征描述子。ORB算法不仅具有SIFT特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比SIFT有了大大的减少。
本发明还提供了一种基于眼动追踪的人机交互系统的工作方法。
本发明的眼动追踪的人机交互系统的工作方法，包括：
眼动追踪传感器和角运动传感器分别实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置采集眼部视线范围内的场景图像并传送至处理器；
处理器根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；
处理器根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；
处理器对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；
处理器利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。
进一步的，所述眼动参数包括眼跳次数、注视次数和注视时长。
其中，眼动参数除了眼跳次数、注视次数和注视时长，还可以包括眼球闭合时长。
进一步的，利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型。
其中，当眼部位置(也就是眼睛正前方方向位置)、眼球位置和场景模组检测模型位置成为一条直线时，此时即完成了对目标模组的定位。
进一步的，对眼球进行定位的具体过程包括：
确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；
提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；
构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。
其中，场景图像的归类方法如下：
(1)基于色彩特征：同一类物体有着相似的色彩特征,因此我们可以根据色彩特征来区分物体用色彩特征进行图像分类。
(2)基于图像纹理：根据其刻画象素的邻域灰度空间分布规律及小波变化来对图像分类。
(3)基于图像形状：采用区域特征和边界特征相结合来进行图像的相似分类。
依据归类完成的图像对其进行特征参数的提取，具体方法如下：
(1)基于图像色彩的特征参数提取：当人注视到某处时，眼部图像中眼球部位要大大高于其他区域的饱和度值。即先将眼睛图像转化到饱和度空间可得到有两个峰值的饱和度图,一个是饱和度较小的眼部区域,一个是较大的眼球区域。然后用最大类间方差法(Otsu)得到图像分割阈值,再根据阈值分割图像。即把图像中饱和度值高于此饱和度阈值的眼球区域分离掉提取出饱和度值较小的眼部区域。
(2)基于图像纹理的特征参数提取：通过对图像的对比，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数。
(3)基于眼部动作模型的特征参数提取：基于模型的方法通常利用物体的几何关系或者物体的特征点来估计。通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对眼球的外边界，而图像的区域特征则关系到整个眼部区域。边界特征法是通过对眼球边界特征的模型来获取图像的特征参数。
进一步的，获取场景模组检测模型的具体过程包括：
对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；
利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；
利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；
利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和特征图，得到场景模组检测模型。
其中，可以利用双线性插值法将注视感兴趣区域内的图像进行采样缩小；然后对采样缩小后的所有图像利用ORB算法进行特征提取。
ORB特征采用了Oriented FAST特征点检测算子以及Rotated BRIEF特征描述子。ORB算法不仅具有SIFT特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比SIFT有了大大的减少。
与现有技术相比，本发明的有益效果是：
(1)本发明提高了用户在与VR/AR交互方式的沉浸感，用户能够使用眼球来定位场景中的某个模组，从而决定是否与它进行互动。
(2)本发明采用VR/AR眼动跟踪技术，改善了头显的舒适度和易用性。
(3)本发明提高了基于眼动追踪的人机交互系统的功能可见性，让用户能够很容易发现并使用，可见性通过这种方式自然而然的引导人们正确的完成任务。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本发明的一种基于眼动追踪的人机交互系统结构示意图。
图2是处理器内预存的眼部移动模型库。
图3是本发明的一种基于眼动追踪的人机交互系统的工作方法流程图。
图4是对眼球进行定位的具体过程图。
图5是获取场景模组检测模型的具体过程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
眼动追踪EyeTribe技术，是当人类的眼球移动时，我们可以对其进行跟踪，了解它的移动轨迹，眼球追踪就是感知眼部细微变化的一种技术，根据我们观测的方向不同，眼部则会产生相应的特征，通过这些特征的比对，从而对眼睛变化形成一套可以考量的参考，进而实现针对眼睛变化的控制功能，这就是所谓的眼动追踪技术。眼动追踪能够隐秘地对用户行为进行测量，并将测量结果转换为客观的定量数据。
AR/VR头显装置，是利用电脑模拟产生一个三维空间的虚拟世界或将虚拟的信息实时的定位叠加到真实的时间中，实现实时交互体验，给用户体验视觉、听觉、触觉等感官的模拟，让用户如同身临其境、感同身受的沉浸式体验设备。
三维空间，呈立体性，具有三向性，分别为X,Y,Z三向构成一空间立体，由三向无限延伸而确立。
交互体验：是运用计算机技术模拟一个三维空间的虚拟世界，提供使用者关于视觉、听觉等感官的模拟，通过键盘、鼠标、手柄、方向盘操控或眼部跟踪技术，结合AR/VR头盔让使用者如同身临其境一般，可以及时、没有限制的观察三维空间内的事物。
图1是本发明的一种基于眼动追踪的人机交互系统结构示意图。
如图1所示，本发明的一种基于眼动追踪的人机交互系统，包括：
处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器。
角运动传感器可采用陀螺仪，用于测量设备当前运动状态和角速度状态。运动状态包括向前、向后、向上、向下、向左、向右其中的一种或者多种，角速度状态包括加速或者减速。
其中，处理器被配置为：
根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；
根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；
对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；
利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。
其中，处理器内预存的眼部移动模型库，如图2所示。
眼部活动包括基本指标和合成指标，所述基本指标是指眼部的方向移动、注视点、注视次数、眼跳等活动信息，所述合成指标是指由基本指标合成计算的扫描路径、注视时长等信息。所述扫描路径是一个朝向目标的直线，扫描路径越长，表明目标结果越低。
互动性的操作包括是否显示、前行、倒退、左右移动、是否打开等一般性的动作。也包括收集、扫描、分析等智能性的操作。
具体地，所述眼动参数包括眼跳次数、注视次数和注视时长。
其中，眼动参数除了眼跳次数、注视次数和注视时长，还可以包括眼球闭合时长。
在具体实施中，所述处理器还被配置为：利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型。
其中，当眼部位置(也就是眼睛正前方方向位置)、眼球位置和场景模组检测模型位置成为一条直线时，此时即完成了对目标模组的定位。
在具体实施中，所述处理器还被配置为：
确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；
提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；
构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。
其中，场景图像的归类方法如下：
(1)基于色彩特征：同一类物体有着相似的色彩特征,因此我们可以根据色彩特征来区分物体用色彩特征进行图像分类。
(2)基于图像纹理：根据其刻画象素的邻域灰度空间分布规律及小波变化来对图像分类。
(3)基于图像形状：采用区域特征和边界特征相结合来进行图像的相似分类。
依据归类完成的图像对其进行特征参数的提取，具体方法如下：
(1)基于图像色彩的特征参数提取：当人注视到某处时，眼部图像中眼球部位要大大高于其他区域的饱和度值。即先将眼睛图像转化到饱和度空间可得到有两个峰值的饱和度图,一个是饱和度较小的眼部区域,一个是较大的眼球区域。然后用最大类间方差法(Otsu)得到图像分割阈值,再根据阈值分割图像。即把图像中饱和度值高于此饱和度阈值的眼球区域分离掉提取出饱和度值较小的眼部区域。
(2)基于图像纹理的特征参数提取：通过对图像的对比，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数。
(3)基于眼部动作模型的特征参数提取：基于模型的方法通常利用物体的几何关系或者物体的特征点来估计。通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对眼球的外边界，而图像的区域特征则关系到整个眼部区域。边界特征法是通过对眼球边界特征的模型来获取图像的特征参数。
其中，基本指标计算(注视点、注视次数、眼跳)包括：
注视点：当人眼相对稳定状态下的一段时间(通常为100-200毫秒)，眼球运动的角度小于2度，离散速度小于20-80度/秒，称为注视。通过对抽取的图像特征参数(停留时间、运动角度、离散速度)计算分析，确定眼部的注视点。
注视次数：图像算法分析模块会记录观察者对每个区域的注视点的次数。通过对注视次数的排序，当人对某区域注视次数越多，表明这个区域对观察者来说越重要。
眼跳：发生在两次注视之间的眼睛运动，通常时间为20-40毫秒，通过对抽取的图像特征参数(眼球闭合、时长)计算分析，确定眼跳行为。图像算法分析模块会记录观察者每次眼跳的过程。眼跳的次数越多，表明搜索的路径越长。
其中，合成指标计算(扫描路径、注视时长、回视)包括：
扫描路径：眼部扫描的路径是“注视-眼跳-注视-眼跳-注视”的过程，图像算法分析模块根据记录的基本指标计算合成一次的扫描路径并记录。理想的扫描路径是一直朝向目标的直线。
注视时长：在注视点注视的时间长度，通过对抽取的图像特征参数(停留时间)计算分析，确定眼部在该注视点的注视时长，图像算法分析模块会记录每个注视点的注视时长，当人对某区域注视时长越长，表明这个区域对观察者来说越重要。
回视：即回顾，回头看的意识，扫描路径的折点，图像算法分析模块会记录当前回视的注视点，并记录回视的次数。
在具体实施中，所述处理器还被配置为：
对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；
利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；
利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；
利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和特征图，得到场景模组检测模型。
其中，可以利用双线性插值法将注视感兴趣区域内的图像进行采样缩小；然后对采样缩小后的所有图像利用ORB算法进行特征提取。
ORB特征采用了Oriented FAST特征点检测算子以及Rotated BRIEF特征描述子。ORB算法不仅具有SIFT特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比SIFT有了大大的减少。
本发明提高了用户在与VR/AR交互方式的沉浸感，用户能够使用眼球来定位场景中的某个模组，从而决定是否与它进行互动。
本发明采用VR/AR眼动跟踪技术，改善了头显的舒适度和易用性。
本发明提高了基于眼动追踪的人机交互系统的功能可见性，让用户能够很容易发现并使用，可见性通过这种方式自然而然的引导人们正确的完成任务。
图3是本发明的眼动追踪的人机交互系统的工作方法流程图。
如图3所示，本发明的眼动追踪的人机交互系统的工作方法，包括：
步骤1：眼动追踪传感器和角运动传感器分别实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置采集眼部视线范围内的场景图像并传送至处理器；
步骤2：处理器根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；
步骤3：处理器根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；
步骤4：处理器对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；
步骤5：处理器利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。
具体地，所述眼动参数包括眼跳次数、注视次数和注视时长。
其中，眼动参数除了眼跳次数、注视次数和注视时长，还可以包括眼球闭合时长。
具体地，利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型。
其中，当眼部位置(也就是眼睛正前方方向位置)、眼球位置和场景模组检测模型位置成为一条直线时，此时即完成了对目标模组的定位。
在所述步骤3中，如图4所示，对眼球进行定位的具体过程包括：
步骤3.1：确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；
步骤3.2：提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；
步骤3.3：构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。
其中，场景图像的归类方法如下：
(1)基于色彩特征：同一类物体有着相似的色彩特征,因此我们可以根据色彩特征来区分物体用色彩特征进行图像分类。
(2)基于图像纹理：根据其刻画象素的邻域灰度空间分布规律及小波变化来对图像分类。
(3)基于图像形状：采用区域特征和边界特征相结合来进行图像的相似分类。
依据归类完成的图像对其进行特征参数的提取，具体方法如下：
(1)基于图像色彩的特征参数提取：当人注视到某处时，眼部图像中眼球部位要大大高于其他区域的饱和度值。即先将眼睛图像转化到饱和度空间可得到有两个峰值的饱和度图,一个是饱和度较小的眼部区域,一个是较大的眼球区域。然后用最大类间方差法(Otsu)得到图像分割阈值,再根据阈值分割图像。即把图像中饱和度值高于此饱和度阈值的眼球区域分离掉提取出饱和度值较小的眼部区域。
(2)基于图像纹理的特征参数提取：通过对图像的对比，得出灰度共生矩阵的四个关键特征：能量、惯量、熵和相关性。通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数。
(3)基于眼部动作模型的特征参数提取：基于模型的方法通常利用物体的几何关系或者物体的特征点来估计。通常情况下，形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征。图像的轮廓特征主要针对眼球的外边界，而图像的区域特征则关系到整个眼部区域。边界特征法是通过对眼球边界特征的模型来获取图像的特征参数。
在所述步骤4中，如图5所示，获取场景模组检测模型的具体过程包括：
步骤4.1：对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；
步骤4.2：利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；
步骤4.3：利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；
步骤4.4：利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和特征图，得到场景模组检测模型。
其中，可以利用双线性插值法将注视感兴趣区域内的图像进行采样缩小；然后对采样缩小后的所有图像利用ORB算法进行特征提取。
ORB特征采用了Oriented FAST特征点检测算子以及Rotated BRIEF特征描述子。ORB算法不仅具有SIFT特征的检测效果，而且还具有旋转、尺度缩放、亮度变化不变性等方面的特性，最重要的是其时间复杂度比SIFT有了大大的减少。
本发明提高了用户在与VR/AR交互方式的沉浸感，用户能够使用眼球来定位场景中的某个模组，从而决定是否与它进行互动。
本发明采用VR/AR眼动跟踪技术，改善了头显的舒适度和易用性。
本发明提高了基于眼动追踪的人机交互系统的功能可见性，让用户能够很容易发现并使用，可见性通过这种方式自然而然的引导人们正确的完成任务。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种基于眼动追踪的人机交互系统，其特征在于，包括：
处理器，其与AR/VR头显装置和视频采集装置分别相连；AR/VR头显装置上设置有眼动追踪传感器和角运动传感器，眼动追踪传感器和角运动传感器分别用于实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置用于采集眼部视线范围内的场景图像并传送至处理器；
所述处理器被配置为：
根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；
根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；
对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；
利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制；
基于眼动追踪的人机交互系统使用眼球来定位场景中的某个模组，从而决定是否与它进行互动，提高了用户在与VR/AR交互方式的沉浸感；
利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型；
所述处理器还被配置为：
确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；
提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；
构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。
2.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述眼动参数包括眼跳次数、注视次数和注视时长。
3.如权利要求1所述的一种基于眼动追踪的人机交互系统，其特征在于，所述处理器还被配置为：
对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；
利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；
利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；
利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和特征图，得到场景模组检测模型。
4.一种基于如权利要求1所述的眼动追踪的人机交互系统的工作方法，其特征在于，包括：
眼动追踪传感器和角运动传感器分别实时捕捉眼部活动信息和实时采集AR/VR头显装置的当前运动状态且均传送至处理器；视频采集装置采集眼部视线范围内的场景图像并传送至处理器；
处理器根据眼部活动信息和AR/VR头显装置的运动状态来构建当前眼部移动模型，并与其内预存的眼部移动模型相匹配，进而驱动AR/VR头显装置进行相应动作且定位视觉方向；
处理器根据定位的视觉方向确定眼部视线范围，接收且内的场景图像并对眼球进行定位，进而确定出注视感兴趣区域；
处理器对注视感兴趣区域内的图像进行识别，进而得到场景模组检测模型并对其进行定位；
处理器利用眼动参数及场景模组检测模型的位置分别与预设的相应交互参考范围比较，判定是否进行互动及发出相应互动操作控制。
5.如权利要求4所述的基于眼动追踪的人机交互系统的工作方法，其特征在于，所述眼动参数包括眼跳次数、注视次数和注视时长。
6.如权利要求4所述的基于眼动追踪的人机交互系统的工作方法，其特征在于，利用眼部、眼球以及场景的三维坐标，定位场景模组检测模型。
7.如权利要求4所述的基于眼动追踪的人机交互系统的工作方法，其特征在于，对眼球进行定位的具体过程包括：
确定眼部视线范围的场景图像的归类，并按时间序列对所述场景图像进行排序；
提取排序后的所述场景图像的特征参数，所述场景图像的特征参数包括停留时间、运动角度、离散速度和眼球闭合频率；
构建所述场景图像的特征参数的评价体系，进而得到最优的注视点即为眼部位置点。
8.如权利要求4所述的基于眼动追踪的人机交互系统的工作方法，其特征在于，获取场景模组检测模型的具体过程包括：
对注视感兴趣区域内的图像进行采样缩小，进而利用ORB算法进行特征提取；
利用提取的ORB特征进行最邻近匹配，通过RASANC算法对得到的匹配点对进行筛选，得到粗匹配点对；
利用提取的粗匹配点对坐标，计算出在注视感兴趣区域内的图像中的对应坐标，并在注视感兴趣区域内的图像的匹配点对所在的图像块中再次提取ORB特征，进行精确匹配；
利用渐入渐出法对相邻图像块进行融合，利用目标的位置特征、深层特征和特征图，得到场景模组检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710805395.6A CN107656613B (zh) | 2017-09-08 | 2017-09-08 | 一种基于眼动追踪的人机交互系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710805395.6A CN107656613B (zh) | 2017-09-08 | 2017-09-08 | 一种基于眼动追踪的人机交互系统及其工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107656613A CN107656613A (zh) | 2018-02-02 |
| CN107656613B true CN107656613B (zh) | 2020-12-18 |
Family
ID=61129384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710805395.6A Active CN107656613B (zh) | 2017-09-08 | 2017-09-08 | 一种基于眼动追踪的人机交互系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107656613B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108415955B (zh) * | 2018-02-06 | 2021-12-28 | 杭州电子科技大学 | 一种基于眼动注视点移动轨迹的感兴趣点数据库建立方法 |
| CN108595008B (zh) * | 2018-04-27 | 2022-02-08 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
| CN110464365B (zh) * | 2018-05-10 | 2022-08-12 | 深圳先进技术研究院 | 一种关注度确定方法、装置、设备和存储介质 |
| CN109240510B (zh) * | 2018-10-30 | 2023-12-26 | 东北大学 | 基于视线追踪的增强现实人机交互设备及控制方法 |
| TWI674518B (zh) * | 2018-11-28 | 2019-10-11 | 國立臺灣大學 | 眼球追蹤的校正方法和其裝置 |
| CN109613984B (zh) * | 2018-12-29 | 2022-06-10 | 歌尔光学科技有限公司 | Vr直播中视频图像的处理方法、设备及系统 |
| CN109645955B (zh) * | 2019-01-31 | 2023-11-21 | 北京大学第三医院（北京大学第三临床医学院） | 基于vr和眼动追踪的多功能视觉功能检测装置及方法 |
| CN109976528B (zh) * | 2019-03-22 | 2023-01-24 | 北京七鑫易维信息技术有限公司 | 一种基于头动调整注视区域的方法以及终端设备 |
| CN111752381A (zh) * | 2019-05-23 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 人机交互方法及装置 |
| CN110456904A (zh) * | 2019-06-18 | 2019-11-15 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无需标定的增强现实眼镜眼动交互方法及系统 |
| CN110399039A (zh) * | 2019-07-03 | 2019-11-01 | 武汉子序科技股份有限公司 | 一种基于眼动跟踪的虚实场景融合方法 |
| CN110338750B (zh) * | 2019-07-08 | 2022-04-05 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪设备 |
| CN110389352A (zh) * | 2019-08-16 | 2019-10-29 | 国网内蒙古东部电力有限公司电力科学研究院 | 光学三维动作捕捉方法及系统 |
| CN111526118B (zh) * | 2019-10-29 | 2023-06-30 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于混合现实的远程操作引导系统及方法 |
| CN112885435B (zh) * | 2019-11-29 | 2023-04-21 | 天津拓影科技有限公司 | 图像目标区域的确定方法、装置和系统 |
| CN111159678B (zh) * | 2019-12-26 | 2023-08-18 | 联想(北京)有限公司 | 一种身份识别方法、装置及存储介质 |
| CN111309144B (zh) * | 2020-01-20 | 2022-02-01 | 北京津发科技股份有限公司 | 三维空间内注视行为的识别方法、装置及存储介质 |
| CN112022642B (zh) * | 2020-09-16 | 2023-01-10 | 杭州集视智能科技有限公司 | 一种基于视野中心损伤的边缘视野训练设备及训练方法 |
| CN113262464A (zh) * | 2021-04-21 | 2021-08-17 | 青岛小鸟看看科技有限公司 | 一种虚拟现实场景的动态改变方法、装置及电子设备 |
| CN113655622A (zh) * | 2021-09-18 | 2021-11-16 | 物芯智能科技有限公司 | 一种应用在ar及vr折射屏眼动自动调焦系统 |
| CN114190146B (zh) * | 2021-12-09 | 2023-03-21 | 东莞市顺成园林绿化有限公司 | 一种园林景观组合式立体绿化智能系统 |
| CN114569056B (zh) * | 2022-01-28 | 2022-11-15 | 首都医科大学附属北京天坛医院 | 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法 |
| CN116228748B (zh) * | 2023-05-04 | 2023-07-14 | 天津志听医疗科技有限公司 | 一种基于眼动追踪的平衡功能分析方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102566756A (zh) * | 2010-12-16 | 2012-07-11 | 微软公司 | 用于扩展现实显示的基于理解力和意图的内容 |
| CN102855649A (zh) * | 2012-08-23 | 2013-01-02 | 山东电力集团公司电力科学研究院 | 基于orb特征点的高压杆塔高清图像全景拼接方法 |
| CN106406525A (zh) * | 2016-09-07 | 2017-02-15 | 讯飞幻境(北京)科技有限公司 | 虚拟现实交互方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9245388B2 (en) * | 2013-05-13 | 2016-01-26 | Microsoft Technology Licensing, Llc | Interactions of virtual objects with surfaces |
-
2017
- 2017-09-08 CN CN201710805395.6A patent/CN107656613B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102566756A (zh) * | 2010-12-16 | 2012-07-11 | 微软公司 | 用于扩展现实显示的基于理解力和意图的内容 |
| CN102855649A (zh) * | 2012-08-23 | 2013-01-02 | 山东电力集团公司电力科学研究院 | 基于orb特征点的高压杆塔高清图像全景拼接方法 |
| CN106406525A (zh) * | 2016-09-07 | 2017-02-15 | 讯飞幻境(北京)科技有限公司 | 虚拟现实交互方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107656613A (zh) | 2018-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107656613B (zh) | 一种基于眼动追踪的人机交互系统及其工作方法 | |
| CN110647237B (zh) | 在人工现实环境中基于手势的内容共享 | |
| Kar et al. | A review and analysis of eye-gaze estimation systems, algorithms and performance evaluation methods in consumer platforms | |
| Reale et al. | A multi-gesture interaction system using a 3-D iris disk model for gaze estimation and an active appearance model for 3-D hand pointing | |
| US10394334B2 (en) | Gesture-based control system | |
| US10092220B2 (en) | System and method for motion capture | |
| Al-Rahayfeh et al. | Eye tracking and head movement detection: A state-of-art survey | |
| Grauman et al. | Communication via eye blinks and eyebrow raises: Video-based human-computer interfaces | |
| CN102749991B (zh) | 一种适用于人机交互的非接触式自由空间视线跟踪方法 | |
| CN112970056A (zh) | 使用高速和精确的用户交互跟踪的人类-计算机接口 | |
| JP5225870B2 (ja) | 情動分析装置 | |
| CN109145802B (zh) | 基于Kinect的多人手势人机交互方法及装置 | |
| CN111898407B (zh) | 一种基于人脸动作识别的人机交互操作系统 | |
| KR20160096392A (ko) | 직관적인 상호작용 장치 및 방법 | |
| Oyekoya et al. | Eye tracking as a new interface for image retrieval | |
| KR20110070514A (ko) | 헤드 마운트 디스플레이 장치 및 3차원 그래픽 사용자 인터페이스 상에서 3차원 공간 터치를 제어하는 방법 | |
| Mania et al. | Gaze-aware displays and interaction | |
| Zhang et al. | Eye gaze estimation and its applications | |
| CN114967128B (zh) | 一种应用于vr眼镜的视线追踪系统及方法 | |
| Abdallah et al. | An overview of gesture recognition | |
| CN108108648A (zh) | 一种新型的手势识别系统装置及方法 | |
| KR101861096B1 (ko) | 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치 | |
| Jain et al. | Human computer interaction–Hand gesture recognition | |
| CN114779925A (zh) | 一种基于单目标的视线交互方法及装置 | |
| Lu et al. | Higs: Hand interaction guidance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Ji'nan City, Shandong Province Wang Yue Road 250003 No. 2000 Applicant after: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant after: National Network Intelligent Technology Co., Ltd. Applicant after: State Grid Corporation of China Address before: Ji'nan City, Shandong Province Wang Yue Road 250003 No. 2000 Applicant before: Electric Power Research Institute of State Grid Shandong Electric Power Company Applicant before: Shandong Luneng Intelligent Technology Co., Ltd. Applicant before: State Grid Corporation of China |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201030 Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park) Applicant after: National Network Intelligent Technology Co.,Ltd. Address before: Ji'nan City, Shandong Province Wang Yue Road 250003 No. 2000 Applicant before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co. Applicant before: National Network Intelligent Technology Co.,Ltd. Applicant before: STATE GRID CORPORATION OF CHINA |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |