CN109815913B - 基于眼动信息的视觉增强感知系统及其方法 - Google Patents

Abstract

本发明公开了一种基于眼动信息的视觉增强感知系统，主要包括眼动信息采集模块、眼动信息检测模块、系统标定模块、球机驱动模块。系统实施主要包括以下步骤：1)在标定屏幕上人工标定n²个点，设定这n²个点的坐标；2)使用红外摄像头采集对象注视标定点的人眼视频并对视频帧进行预处理；3)将预处理后的视频通过质心法获得瞳孔中心；4)计算标定点的坐标和瞳孔中心坐标的映射关系；5)每一次注视的瞳孔坐标使用映射关系映射为观察平面坐标；6)将观察平面坐标相对于坐标原点的偏移角度传入球机，驱动球机转动。本发明方法简单、眼动跟踪精度高，实现对人类视觉感知的增强。

Description

基于眼动信息的视觉增强感知系统及其方法

技术领域

本发明涉及人体感知增强技术领域，特别是涉及一种基于眼动信息的视觉增强感知系统及其方法。

背景技术

近年来，随着电子科学、计算机技术、工程与自动化等领域的快速发展，有力地促进了人体感知增强技术的迅猛提升，国内外很多高校、研究机构均有相关领域的研究，如浙江大学吴朝晖团队、中国科学技术大学陈香团队、美国犹他大学Gregory Clark团队等。目前，人体感知增强技术已经在视频监控、智能交通、遥感测绘、智能家居、医疗等领域得到广泛的应用。

在感知增强技术中，视觉感知增强作为一种全新的人机交互方式，已经得到越来越多研究者的关注。所谓视觉感知增强是指通过分析视觉场景特征，将计算机生成的几何信息驱动外部设备，通过外部设备扩展人类视觉场景的广度与深度，加强人对世界的认知。由于视觉是一个涉及生理、心理的复杂过程，不仅仅和眼睛有关，还和大脑的推理、学习有关，判断的产生不仅需要观察结果，有时也依赖人的先验知识。在不确定的环境中快速锁定所要观察的目标对于人类来说常常是很简单的事情，然而对于计算机来说却存在一定困难。如何将人类目标快速搜索的能力与计算机有效结合，并在此基础上开发基于眼动信息的视觉增强感知系统具有很高的应用潜力与市场空间。

发明内容

本发明所要解决的技术问题是提供一种基于眼动信息的视觉增强感知系统及其方法，目标检测速度快，方法简单。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于眼动信息的视觉增强感知系统，主要包括：

眼动信息采集模块，用于采集观测者注视具有标定点的场景图片的人眼视频，并对视频帧进行预处理；

眼动信息检测模块，用于根据眼动信息采集模块发送的眼动信息计算瞳孔中心在视频帧中的像素坐标；

系统标定模块，用于获得标定点坐标和瞳孔中心坐标的映射关系；

球机驱动模块，用以根据求得的观测现实物体所对应的偏移角度，驱动球机转动相应的角度，进行目标放大。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于眼动信息的视觉增强感知方法，包括以下步骤：

S1：在标定屏幕上人工标定n*n个点，设定所述n²个点的坐标；

S2：采集观测者注视具有标定点的场景图片的人眼视频，并对视频帧进行预处理；

S3：将预处理后的视频通过质心法获得瞳孔中心；

S4：计算所述标定点的坐标和瞳孔中心坐标的映射关系；

S5：将每一次注视标定点的瞳孔中心坐标利用映射关系映射为观察平面坐标；

S6：获得瞳孔中心与观察平面坐标所在面与标定屏幕之间的夹角以及瞳孔中心与标定屏幕原点所在面与标定屏幕之间的夹角的偏移角度，驱动球机转动相应的角度，进行目标放大。

在本发明一个较佳实施例中，步骤S1中标定n²个点组成矩形状，长边点间距为短边点间距的1.5倍。

在本发明一个较佳实施例中，步骤S2中采集人眼视频的方法为采用红外摄像头。

在本发明一个较佳实施例中，在步骤S2中，对视频帧的预处理包括对瞳孔区域进行二值化、腐蚀与膨胀操作。

在本发明一个较佳实施例中，步骤S3的具体步骤包括：

S3.1：对图像通过灰度化和反色后阈值选择得到光斑特征区域；

S3.2：图像去噪，消除热噪声以及像素不均匀产生的噪声；

S3.3：再次进行阈值选择，得到更清晰的光斑区域；

S3.4：形态学处理，选择圆盘中合适的领域模板，对图像进行腐蚀和填充处理，以得到连通域的规则形状图形；

S3.5：利用边缘检测算法得到图像边缘；

S3.6：对边缘再进行形态学strel－imopen－imclose相关运算得到更连通的边缘曲线，调用regionprops(L，properties)函数，根据质心法计算质心。

进一步的，计算瞳孔中心坐标的计算公式为：

其中，X_ei为瞳孔中心横坐标，Y_ei为瞳孔中心纵坐标；图像有i，j两个方向，t，s分别为i，j方向像素的数量，g(i,j)为像素点(i,j)处的灰度值。

在本发明一个较佳实施例中，步骤S4的具体方法为：利用所述标定点的坐标和瞳孔中心坐标获得横坐标对应关系矩阵A和纵坐标对应关系矩阵B。

进一步的，获得横坐标对应关系矩阵A和纵坐标对应关系矩阵B的计算过程为：

假定X_si为标定点横坐标，Y_si为标定点纵坐标，i为0、1、2、3……n²-1；标定点坐标和瞳孔中心坐标满足n-1次映射：

横坐标关系矩阵A的定义为

A＝[a₀ a₁ a₂ a₃ a₄ … a_m-1]

纵坐标关系矩阵B的定义为

B＝[b₀ b₁ b₂ b₃ b₄ … b_m-1]

标定过程中，标定点坐标和瞳孔中心坐标已知；令

使用最小二乘法可求得横坐标系数和纵坐标系数矩阵

A^T＝(M^TM)^-1M^TX_s

B^T＝(M^TM)^-1M^TY_s。

本发明的有益效果是：本发明所述基于眼动信息的视觉增强感知系统及其方法，具有方法简单、眼动跟踪精度高、应用潜力大的优点：

(1)方法简单：

本发明进行一次标定之后就能使用，标定过程简单易懂，只需要观测之前设定标定点即可，可以十分方便快捷地完成标定任务，并且在使用过程中，无须进行修正；

(2)眼动跟踪精度高：

首先，本发明利用瞳孔部位像素值较大的特点，能够快速准确地确定瞳孔中心位置；其次，在瞳孔中心与标定平面注视点之间进行坐标映射时，本发明采用了自适应的二次多项式，误差修正更准确，映射准确度更高；

(3)应用潜力巨大：

本发明将人眼所获取信息与机器所获取信息有机结合，有效增强了人类的视觉感知能力，对一些视力障碍的人群来说，视觉增强感知系统能够有效帮助他们解决生活中因视力带来的不便；另一方面，对于特殊工作环境，如手表器件装配时、微雕时，该系统可有效提高使用者的工作效率；在基于眼动信息的视觉增强感知系统中，眼动的追踪高效尤为重要，高效实时的眼动追踪才更容易让使用者接受，而本发明的主要目的就是用以实现对眼动的高效追踪，因此本发明具有巨大的应用潜力。

附图说明

图1是本发明基于眼动信息的视觉增强感知系统及其方法的结构框图及流程图；

图2是所述标定点的分布示意图；

图3是标定过程示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种基于眼动信息的视觉增强感知系统，主要包括眼动信息采集模块、眼动信息检测模块、系统标定模块、球机驱动模块。所述眼动信息采集模块，用于采集观测者注视具有标定点的场景图片的人眼视频，并对视频帧进行预处理，优选的，可采用红外摄像头采集人眼视频；所述眼动信息检测模块，用于根据眼动信息采集模块发送的眼动信息计算瞳孔中心在视频帧中的像素坐标；所述系统标定模块，用于获得标定点坐标和瞳孔中心坐标的映射关系；所述球机驱动模块，用以根据求得的观测现实物体所对应的偏移角度，驱动球机转动相应的角度，进行目标放大。

利用所述基于眼动信息的视觉增强感知系统进行视觉增强感知的方法，包括以下步骤：

S1：在标定屏幕上人工标定n*n个点，设定所述n²个点的坐标；

如图2所示，标定n²个点组成矩形状，长边和短边标定点的数目均为n，其中圆圈的圆心表示标注点位置，长边点间距为短边点间距的1.5倍。出于对标定平面的大小以及长距离眼动迹象明显的考虑，优选取n为3，长边点间距为12cm。

本发明进行一次标定之后就能使用，标定过程简单易懂，只需要观测之前设定标定点即可，可以十分方便快捷地完成标定任务，并且在使用过程中，无须进行修正。

S2：采集观测者注视具有标定点的场景图片的人眼视频，并对视频帧进行预处理；

在具体实施过程中，如图3所示，观测者端坐桌前，佩戴设备，保持头部静止。标定屏幕距离观测者眼睛60cm。标定点按照图示序号每隔3s依次显示，当二号标定点显示的时候，一号标定点就自动消失。观测者凝视标定点，以获得凝视时的瞳孔坐标。

优选的，可采用红外摄像头采集人眼视频；对视频帧的预处理包括对瞳孔区域进行二值化、腐蚀与膨胀操作。本发明利用瞳孔部位像素值较大的特点，能够快速准确地确定瞳孔中心位置。

S3：将预处理后的视频通过质心法获得瞳孔中心，具体步骤包括：

S3.1：对图像通过灰度化和反色后阈值选择得到光斑特征区域；

S3.2：图像去噪，消除热噪声以及像素不均匀产生的噪声；

S3.3：再次进行阈值选择，得到更清晰的光斑区域；

S3.4：形态学处理，选择圆盘中合适的领域模板，对图像进行腐蚀和填充处理，以得到连通域的规则形状图形；

S3.5：利用边缘检测算法得到图像边缘，反复实验证明canny边缘检测算法最好；

S3.6：对边缘再进行形态学strel－imopen－imclose相关运算得到更连通的边缘曲线，调用regionprops(L，properties)函数，根据质心法计算质心。

进一步的，计算瞳孔中心坐标的计算公式为：

其中，X_ei为瞳孔中心横坐标，Y_ei为瞳孔中心纵坐标；图像有i，j两个方向，t，s分别为i，j方向像素的数量，g(i,j)为像素点(i,j)处的灰度值。

S4：计算所述标定点的坐标和瞳孔中心坐标的映射关系；由于人的眼睛是三维的，二维坐标表示瞳孔中心存在着误差，同时，标定时无法保证人的头部是静止的，也会存在着误差。为了解决这一问题，本发明采用自适应的高次多项式，标定点越多，多项式的高次项也就越多，对误差的修正就会越准确，映射的准确度也就越高。经反复试验证明，采用自适应的二次多项式的方案最优选，利用所述标定点的坐标和瞳孔中心坐标获得横坐标对应关系矩阵A和纵坐标对应关系矩阵B，具体计算过程为：

假定X_si为标定点横坐标，Y_si为标定点纵坐标，i为0、1、2、3……n²-1；标定点坐标和瞳孔中心坐标满足n-1次映射：

横坐标关系矩阵A的定义为

A＝[a₀ a₁ a₂ a₃ a₄ … a_m-1]

纵坐标关系矩阵B的定义为

B＝[b₀ b₁ b₂ b₃ b₄ … b_m-1]

标定过程中，标定点坐标和瞳孔中心坐标已知；令

使用最小二乘法可求得横坐标系数和纵坐标系数矩阵

A^T＝(M^TM)^-1M^TX_s

B^T＝(M^TM)^-1M^TY_s。

S5：将每一次注视标定点的瞳孔中心坐标利用映射关系映射为观察平面坐标；

获得A，B之后，即标定过程结束，可使用A、B对每一次检测的瞳孔中心坐标(X_ei,Y_ei)映射到屏幕坐标(X_si,Y_si)。

S6：获得瞳孔中心与观察平面坐标所在面与标定屏幕之间的夹角以及瞳孔中心与标定屏幕原点所在面与标定屏幕之间的夹角的偏移角度，传送至球机驱动模块，驱动球机转动相同的角度，进行目标放大。

所述基于眼动信息的视觉增强感知系统通过对眼动视频的处理获得瞳孔中心坐标，并根据映射关系将瞳孔中心坐标映射到观测平面，从而获得观测物体相对于观测平面坐标系原点的偏移角度，以实现对人类视觉感知增强。

本发明将人眼所获取信息与机器所获取信息有机结合，有效增强了人类的视觉感知能力，对一些视力障碍的人群来说，视觉增强感知系统能够有效帮助他们解决生活中因视力带来的不便；另一方面，对于特殊工作环境，如手表器件装配时、微雕时，该系统可有效提高使用者的工作效率；在基于眼动信息的视觉增强感知系统中，眼动的追踪高效尤为重要，高效实时的眼动追踪才更容易让使用者接受，而本发明的主要目的就是用以实现对眼动的高效追踪，因此本发明具有巨大的应用潜力。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于眼动信息的视觉增强感知方法，包括以下步骤：

S1：在标定屏幕上人工标定n*n个点，设定所述n²个点的坐标；

S2：采集观测者注视具有标定点的场景图片的人眼视频，并对视频帧进行预处理；

S3：将预处理后的视频通过质心法获得瞳孔中心；

S4：计算所述标定点的坐标和瞳孔中心坐标的映射关系；

S5：将每一次注视标定点的瞳孔中心坐标利用映射关系映射为观察平面坐标；

S6：获得瞳孔中心与观察平面坐标所在面与标定屏幕之间的夹角以及瞳孔中心与标定屏幕原点所在面与标定屏幕之间的夹角的偏移角度，驱动球机转动相应的角度，进行目标放大。

2.根据权利要求1所述的基于眼动信息的视觉增强感知方法，其特征在于，步骤S1中标定n²个点组成矩形状，长边点间距为短边点间距的1.5倍。

3.根据权利要求1所述的基于眼动信息的视觉增强感知方法，其特征在于，步骤S2中采集人眼视频的方法为采用红外摄像头。

4.根据权利要求1所述的基于眼动信息的视觉增强感知方法，其特征在于，在步骤S2中，对视频帧的预处理包括对瞳孔区域进行二值化、腐蚀与膨胀操作。

5.根据权利要求1所述的基于眼动信息的视觉增强感知方法，其特征在于，步骤S3的具体步骤包括：

S3.1：对图像通过灰度化和反色后阈值选择得到光斑特征区域；

S3.2：图像去噪，消除热噪声以及像素不均匀产生的噪声；

S3.3：再次进行阈值选择，得到更清晰的光斑区域；

S3.4：形态学处理，选择圆盘中合适的领域模板，对图像进行腐蚀和填充处理，以得到连通域的规则形状图形；

S3.5：利用边缘检测算法得到图像边缘；

S3.6：对边缘再进行形态学strel-imopen-imclose相关运算得到更连通的边缘曲线，调用regionprops(L，properties)函数，根据质心法计算质心。

6.根据权利要求5所述的基于眼动信息的视觉增强感知方法，其特征在于，计算瞳孔中心坐标的计算公式为：

其中，X_ei为瞳孔中心横坐标，Y_ei为瞳孔中心纵坐标；图像有i，j两个方向，t，s分别为i，j方向像素的数量，g(i，j)为像素点(i，j)处的灰度值。

7.根据权利要求1所述的基于眼动信息的视觉增强感知方法，其特征在于，步骤S4的具体方法为：利用所述标定点的坐标和瞳孔中心坐标获得横坐标对应关系矩阵A和纵坐标对应关系矩阵B。

8.根据权利要求7所述的基于眼动信息的视觉增强感知方法，其特征在于，获得横坐标对应关系矩阵A和纵坐标对应关系矩阵B的计算过程为：

假定X_si为标定点横坐标，Y_si为标定点纵坐标，i为0、1、2、3……n²-1；标定点坐标和瞳孔中心坐标满足n-1次映射：

横坐标关系矩阵A的定义为

A＝[a₀ a₁ a₂ a₃ a₄ L a_m-1]

纵坐标关系矩阵B的定义为

B＝[b₀ b₁ b₂ b₃ b₄ L b_m-1]

标定过程中，标定点坐标和瞳孔中心坐标已知；令

使用最小二乘法可求得横坐标系数和纵坐标系数矩阵

A^T＝(M^TM)^-1M^TX_s

B^T＝(M^TM)^-1M^TY_s。

9.一种基于眼动信息的视觉增强感知系统，执行如权利要求1至8任一项所述的基于眼动信息的视觉增强感知方法，其特征在于，主要包括：

眼动信息采集模块，用于采集观测者注视具有标定点的场景图片的人眼视频，并对视频帧进行预处理；

眼动信息检测模块，用于根据眼动信息采集模块发送的眼动信息计算瞳孔中心在视频帧中的像素坐标；

系统标定模块，用于获得标定点坐标和瞳孔中心坐标的映射关系；

球机驱动模块，用以根据求得的观测现实物体所对应的偏移角度，驱动球机转动相应的角度，进行目标放大。

Images