CN110428470A - 一种基于脑电辅助的增强现实眼镜眼动交互自标定方法 - Google Patents

Abstract

本发明公开一种基于脑电辅助的增强现实眼镜眼动交互自标定方法。首先，收集大量眼动图片及相应的增强现实眼镜内三维注视点；其次，通过深度神经网络模型拟合眼动图片到注视区域的映射关系；最后，在人员使用眼动交互不准时，启动脑电辅助模块进行眼动辅助自标定，利用脑电辅助模块在眼动注视不准确区域内确定精确的注视点，进而进行眼动参数自标定。利用上述方法，不需要繁琐的标定步骤，可以鲁棒精确地预测人员眼动注视3D点信息，并且支持人员随时调整眼镜佩戴方式，使用方便快捷，能够为增强现实眼镜提供鲁棒的眼动交互自标定技术，为手脚不方便人员提供高效的眼动交互技术。

Description

一种基于脑电辅助的增强现实眼镜眼动交互自标定方法

技术领域

本发明涉及人机交互、眼动交互、脑机接口、机器学习等领域，尤其涉及到一种基于脑电辅助的增强现实眼镜眼动交互自标定技术。

背景技术

增强现实眼镜是下一代智能终端的代表，相对于个人计算机、智能手机等终端，增强现实眼镜展示的信息更丰富更立体更便捷。人机交互是智能终端的核心组成元素，相对于计算机的鼠标键盘、智能手机的触屏等交互方式，增强现实眼镜需要开发符合自身应用特性的交互方式。眼动作为人员最直接、最自然的行为交互模式，是增强现实眼镜交互中的核心指向交互方式；但当前眼动交互方式需要复杂的标定程序，指向精度较低，并且在人员调整眼镜后需要重新标定，使用效率低。其次，增强现实眼动交互能够为手脚不便患者提供高效的人机交互方式，能够为残障患者提供新的生活交互工具。

眼动的便捷高精度测量是眼动人机交互的核心问题，但当前眼动测量主要面临以下几个困难：需要繁琐的标定步骤，用户在使用眼动交互时，必须先进行眼动参数标定，以确定眼睛相机的外参数，以及视场相对于眼睛的参数；标定结束后，人员无法再进行眼镜佩戴方式调整，如调整需重新标定；以上繁琐标定过程非常繁琐，人员使用非常不便，特别是对于手脚不便患者难以使用。再者，眼动指向测量精度较低，这是因为当前眼动测量方法是通过二维黑白图像预测三维眼球的朝向，再结合标定获得的映射矩阵将三维眼球方向映射到视场空间，如此方式非常依赖映射矩阵的精确性，其次映射矩阵只是眼珠方向到视场的映射关系的理论近似，并不能完全描述精确的映射转换关系。

发明内容

本发明的目的是通过以下技术方案实现的。

鉴于增强现实眼镜眼动交互实际应用问题，本发明的目的在于提供一种基于脑电辅助的增强现实眼镜眼动交互自标定技术，能够在不标定的情况下，进行眼动交互；能够让人员在交互过程中，可以随时调整增强现实眼镜的佩戴方式；并且能够精确地预测人员注视点。

根据本发明的第一个方面，提供了一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，包括：采集眼动图片及相应的增强现实眼镜内三维注视点信息；通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系；利用脑电辅助模块在所述注视区域内进行注视点修正，进而进行眼动参数自标定。

优选的，所述采集眼动图片及相应的增强现实眼镜内三维注视点信息，包括：采集人员与增强现实眼镜交互时的眼动图片；在增强现实眼镜内，随机生成注视点，人员在确认注视生成点时，同步保存眼动图片和注视点信息；采集不同人员在不同佩戴方式下的批量样本。

优选的，所述采集眼动图片使用以下相机中的一种：灰度相机、彩色相机、红外相机，并结合图像增强拍摄技术。

优选的，所述深度神经网络模型采用双通道网络模型，双通道分别对左右眼睛图像进行特征处理，获得左右眼动图像的深度特征。

优选的，进一步包括：将采集的眼动图片作为输入，并将其对应的注视点信息作为输出，训练深度神经网络参数。

优选的，所述通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系，包括：左、右眼动图像分别通过各自神经网络通道进行特征提取；将左右眼图像特征进行融合，获得融合特征；根据所述融合特征，进行神经网络特征处理；利用全连接层，将所述融合特征映射到注视区域。

优选的，通过所述深度神经网络模型预测获得所述注视区域。

优选的，所述利用脑电辅助模块在眼动注视不准确区域内进行注视点修正，进而进行眼动参数自标定，包括：将所述注视区域进行分块，在每个分块内设置不同频率的SSVEP视觉刺激信号；所述脑电辅助模块根据所述SSVEP视觉刺激信号获得脑电信号；所述脑电辅助模块根据所述脑电信号预测每个分块的注视区域，反复迭代预测过程以获得精确注视点；对眼动参数进行自标定。

根据本发明的第二个方面，提供了一种基于脑电辅助的增强现实眼镜眼动交互自标定系统，包括：采集模块，用于采集眼动图片及相应的增强现实眼镜内三维注视点信息；拟合模块，用于通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系；脑电辅助模块，用于在所述注视区域内进行注视点修正，进而进行眼动参数自标定。

本发明的优点在于：(1)能够在不适用手脚辅助的情况下，使用脑电辅助模块进行辅助眼动参数自标定；(2)人员在使用过程中，可以随时调整增强现实眼镜的佩戴方式，使用方便；(3)结合脑电辅助模块细化注视区域，可以获得高精度的注视点信息。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1显示为本发明实施例中公开的整体脑电辅助眼动自标定处理流程图。

图2显示为本发明实施例中公开的眼动图像到注视区域的神经网络映射模型。

图3显示为本发明实施例中公开的脑电辅助模块辅助眼动交互自标定处理流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明从无需标定、或自标定的眼动交互方法入手，开发基于大数据的深度神经网络映射模型，在人员人机佩戴增强现实眼镜时，无需标定即可粗略获得人员的局部注视区域，其次再结合脑电辅助模块对人员注视点进行精确修正，进而进行眼动参数自标定，为无需标定的增项现实眼镜眼动交互问题提供鲁棒精确的解决方案，并且能够为手脚不便人员提供新的人机交互模式。

图1给出了本发明的总体流程图，其中包含3个关键步骤，分别是眼动图像及对应注视点大样本采集、眼动图像到注视区域的神经网络映射模型设计、脑电辅助模块辅助眼动参数自标定，本实施例将对上述3个关键步骤进行详细描述。

本发明提供一种基于脑电辅助的增强现实眼镜眼动交互自标定技术，处理流程如图1所示，关键步骤如下：

S1、采集大量人员眼动图片及相应的注视点信息；

拍摄眼睛的相机可以是灰度相机、彩色相机、红外相机，可以采用特定的补光技术进行补光，以及其他的图像增强拍摄技术，本实施例采用近红外相机进行眼睛拍摄，采用近红外光进行补光，使得人眼能够被清晰拍摄，同时又不会影响人员的视线；其次相机可根据特定的增强现实眼镜进行特定位置拍摄，本实施例选择Hololens眼镜作为增强现实交互的目标。

S2、通过深度神经网络模型拟合眼动图片到注视区域的映射关系；

图2给出了左右眼动图像映射到观测局部区域的神经网络模型，其中映射神经网络模型采用双通道网络模型进行设计，双通道分别对左右眼睛图像进行特征处理，获得左右眼动图像的深度特征；其次，将左右眼图像特征进行融合，获得融合特征；在融合特征的基础上，进一步进行神经网络特征处理，获得更丰富的融合特征；最后利用全连接层，将融合特征映射到3D注视区域。

其中，本发明在步骤S2中需要采集大量人员眼动图片及相应的注视点信息，关键步骤是设计同步的眼动图像采集和注视点采集程序，并且要请大量测试人员进行多次试验，获得大量注视样本信息，样本的复杂性、多样性是确保后续神经网络映射模型精确度和鲁棒性的关键。

进一步的，本发明在获得大量眼动图像和相应注视点信息的基础上，利用深度神经网络映射模型，将眼动图像映射到增强现实眼镜内的注视点，映射处理流程如图2所示，关键步骤如下：

2.1左、右眼动图像分别通过各自神经网络进行特征提取；

2.2将左右眼动图像特征进行融合；

2.3利用神经网络进一步对融合特征进行处理；

2.4进行注视点预测；

2.5在上述基于神经网络的图像映射模型中，以采集左右眼睛图片作为输入，以3D注视点作为输出，结合收集的大数据样本进神经网络模型参数训练；

S3、利用脑电辅助模块在眼动注视不准确区域内确定精确的注视点，进行眼动参数精确自标定。

图3给出了在脑电辅助眼动进行参数自标定的处理流程，人员每次调整Hololens眼镜配搭方式时，眼镜相对于眼睛的相对位置会发生一定变化，因此上一步只能预测获得人员的3D注视区域，无法获得人员精确的注视点信息；获得人员精确的3D注视点，需要结合一定的辅助信息进行参数微调，本发明设计基于脑电辅助模块辅助眼动参数进行自标定：在上一步中，神经网络模型根据眼动图像可以预测获得人员的局部注视区域，可将该注视区域进行分块，在每个分块内设计不同频率的SSVEP视觉刺激信号，脑电根据SSVEP获得脑电信号，可分析获得人员注视的具体分块，迭代可进一步在分块内细化人员注视点，获得精确的人员注视信息，继而对眼动参数进行自标定。

通过步骤1、2，即可获得眼动图像到增强现实眼镜内部的3D注视区域的映射函数。因为人员每次佩戴增强现实眼镜的位置会略有差异，因此通过前两步无法获得人员在增强现实眼镜内部的精确注视点，需要结合特定的操作进行注视方向微调，本发明设计基于脑电辅助模块的注视方向微调操作，主要是面向手脚不便者进行使用。基于脑电辅助模块的精确注视点处理流程如图3所示，关键步骤如下：

3.1注视区域预测，脑电修正眼动过程属于迭代处理，第一次迭代注视区域由深度神经网络模型预测获得，后续迭代的注视区域则由上一次迭代获取的细化注视区域获得；

3.2将当前注视区域进行分块放大处理，并进行闪屏处理，刺激脑电辅助模块进行响应；

3.3脑电辅助模块根据闪屏信号响应进行多模块注视区域预测，从而细化注视区域，反复迭代可获得精确的注视点；

3.4眼动参数自标定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，包括：

采集眼动图片及相应的增强现实眼镜内三维注视点信息；

通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系；

利用脑电辅助模块在所述注视区域内进行注视点修正，进而进行眼动参数自标定。

2.根据权利要求1所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述采集眼动图片及相应的增强现实眼镜内三维注视点信息，包括：

采集人员与增强现实眼镜交互时的眼动图片；

在增强现实眼镜内，随机生成注视点，人员在确认注视生成点时，同步保存眼动图片和注视点信息；

采集不同人员在不同佩戴方式下的批量样本。

3.根据权利要求1或2所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述采集眼动图片使用以下相机中的一种：灰度相机、彩色相机、红外相机，并结合图像增强拍摄技术。

4.根据权利要求1所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述深度神经网络模型采用双通道网络模型，双通道分别对左右眼睛图像进行特征处理，获得左右眼动图像的深度特征。

5.根据权利要求4所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，进一步包括：

将采集的眼动图片作为输入，并将其对应的注视点信息作为输出，训练深度神经网络参数。

6.根据权利要求4所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系，包括：

左、右眼动图像分别通过各自神经网络通道进行特征提取；

将左右眼图像特征进行融合，获得融合特征；

根据所述融合特征，进行神经网络特征处理；

利用全连接层，将所述融合特征映射到注视区域。

7.根据权利要求6所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

通过所述深度神经网络模型预测获得所述注视区域。

8.根据权利要求7所述的一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，其特征在于，

所述利用脑电辅助模块在眼动注视不准确区域内进行注视点修正，进而进行眼动参数自标定，包括：

将所述注视区域进行分块，在每个分块内设置不同频率的SSVEP视觉刺激信号；

所述脑电辅助模块根据所述SSVEP视觉刺激信号获得脑电信号；

所述脑电辅助模块根据所述脑电信号预测每个分块的注视区域，反复迭代预测过程以获得精确注视点；

对眼动参数进行自标定。

9.一种基于脑电辅助的增强现实眼镜眼动交互自标定系统，其特征在于，包括：

采集模块，用于采集眼动图片及相应的增强现实眼镜内三维注视点信息；

拟合模块，用于通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系；

脑电辅助模块，用于在所述注视区域内进行注视点修正，进而进行眼动参数自标定。