CN202563433U

CN202563433U - 基于红外发光管的快速视点跟踪装置

Info

Publication number: CN202563433U
Application number: CN2012201497639U
Authority: CN
Inventors: 张闯; 常建华; 孙冬娇; 葛益娴; 曹鸿霞; 李敏
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2012-04-10
Filing date: 2012-04-10
Publication date: 2012-11-28
Anticipated expiration: 2022-04-10

Abstract

本实用新型公开一种基于红外发光管的快速视点跟踪装置，包括LED显示屏、一对红外发光管、CCD、成像透镜、红外滤光片和视点跟踪电路，其中，LED显示屏设于被测者的正前方，成像透镜设于LED显示屏的上方，其正后方依次设置红外滤光片和CCD；第一红外发光管放置于面部中央位置，保持对被测者面部的长期持续照明；第二红外发光管设于成像透镜的正上方，由视点跟踪电路控制分时对被测者的眼睛进行照明；视点跟踪电路设于LED显示屏的后方。此装置可高效快速地确定视点，减小硬件开支，提高定位的准确性及实时性。

Description

基于红外发光管的快速视点跟踪装置

技术领域

本实用新型属于人机交互领域，特别涉及一种基于红外发光管的快速视点跟踪装置，用来捕捉观察者的注视点，并根据观察者的视点来进行后续的图像或操作处理，也可应用于研究特定条件下人类的观察习惯及其特点。

背景技术

视点跟踪技术是随着人机交互技术的发展而发展起来的，目前国内外采用的视点跟踪技术主要采取光电传感技术，有的偏重于硬件，有的偏重于软件，以硬件为主的技术，需要被跟踪的对象配戴特制的装置，给观察者的行动带来不便，而以软件为主的技术却因为算法的复杂度较高，响应时间较长，影响了其实用性。

目前采用红外发光管作为光源的视点检测装置，大多利用了人眼对红外光的不敏感的特点，而CCD的敏感波段可以延伸到1μm，进而得到观察者的眼睛的像，从中提取瞳孔的位置，根据该位置来映射观察者在画面的注视点，然后采取进一步的处理措施。日本佳能株式会社的小林崇史1995年申请的申请号为95168095.2的“视点检测器和视点检测方法及其应用”提出一种视点检测装置，用于在相机拍摄过程中，根据视点来调节拍摄状态，该视点检测器安装于取景器中，用一对红外发光二极管照射使用者的眼睛，并用透镜对照射眼睛的光进行发散，将眼睛的反射光经由成像透镜在CCD上成像，根据眼睛成像的关键点进行处理，来计算瞳孔的位置，并映射到取景器的图像上，以确定使用者的操作意图。但是这种方法只适用于取景器，当使用者全脸暴露在成像区域中时，如何从双眼的运动来确定视点的位置，专利中并未提及。结合人机交互的发展，北京科技大学的张鹏翼等人提出“使用立体视觉信息的视线追踪系统设计”（见北京邮电大学学报，2010，vol.33,No.1:47-51，张鹏翼，王志良，郑思仪，张琼），该设计的中心为利用相邻2帧“亮暗瞳”图像的双摄像机红外光源，使用图像做差和椭圆拟合的方式计算瞳孔中心，结合在“暗瞳”图像中得到普洱钦斑中心，确定局部视线的盯视方向。然后根据人类视线移动特点，提出使用神经网络结合卡尔曼滤波的方法进行瞳孔跟踪，用支持向量回归对人眼立体参数、局部视线盯视方向和盯视点之间的关系进行训练，得到视线映射模型。该种方法可以克服由于头部的移动造成的干扰，但是其实现方法硬件开销大，并且仍然依靠了大量的软件计算，处理速度最高只能达到20Hz，在需要快速反应的场合及便携式设备中仍需要提出一种新的方法，减小硬件开销，提高响应速度。

实用新型内容

本实用新型的目的，在于提供一种基于红外发光管的快速视点跟踪装置，其可高效快速地确定视点，减小硬件开支，提高定位的准确性及实时性，并且适用于各种仪器及设备的人机交互应用，解决目前视点跟踪技术的应用环境要求高及算法复杂度高的问题。

为了达成上述目的，本实用新型的解决方案是：

一种基于红外发光管的快速视点跟踪装置，包括LED显示屏、一对红外发光管、CCD、成像透镜、红外滤光片和视点跟踪电路；

LED显示屏设于被测者的正前方，成像透镜设于LED显示屏的上方，其正后方依次设置红外滤光片和CCD，所述成像透镜用于对被测者的面部进行成像，所成的面部的像经由红外滤光片正后方的CCD进行光电转换，转换后的电子图像经由视点跟踪电路进行运算，以寻找被测者眼睛的瞳孔中心位置；

第一红外发光管放置于面部中央位置，由电源直接供电，保持对被测者面部的长期持续照明；第二红外发光管设于成像透镜的正上方，由视点跟踪电路控制分时对被测者的眼睛进行照明；

视点跟踪电路设于LED显示屏的后方，包括发光管控制模块、图像处理模块、视点映射模块和输出控制信号模块，发光管控制模块控制第二红外发光管的开闭；图像处理模块在发光管控制模块的控制下从CCD进行图像的采集，并运算得到眼睛瞳孔的图像，发送到视点映射模块；所述视点映射模块对所述图像进行处理，并将得到的视野角度及成像系统焦距的变化量发送到输出控制信号模块。

采用上述方案后，本实用新型所提出的基于红外发光管的快速视点跟踪装置可以克服由于头部的移动造成的干扰，有效地解决实现方法硬件开销大的问题。虽然后续处理部分需要一定的软件计算，但并不影响系统的响应速度，如果算法选取得当，可以得到良好的视点跟踪显示效果。该装置在需要快速反应的场合及便携式设备中能有效提高响应速度，解决目前视点跟踪技术的应用环境要求高及算法复杂度高的问题。

附图说明

图1是本实用新型的原理架构图；

图2是本实用新型的结构正视图；

图3是本实用新型中LED显示屏的显示标记示意图；

图4是本实用新型的结构侧视图；

图5是本实用新型中视点跟踪电路的结构框图；

图6是本实用新型工作的流程图；

图7是本实用新型工作过程中分水岭算法的流程图；

图8是本实用新型工作过程中瞳孔中心的算法流程图。

具体实施方式

以下将结合附图，对本实用新型的技术方案进行详细说明。

配合图1至图4所示，本实用新型提供一种基于红外发光管的快速视点跟踪装置，包括LED显示屏1、一对红外发光管2、3、CCD 4、成像透镜5、红外滤光片6和视点跟踪电路7，下面分别介绍。

LED显示屏1设于被测者8的正前方，为了准确定位被测者8的视点，需要在LED显示屏1上显示标记，如图3中斜线部分所示。

成像透镜5设于LED显示屏1的上方，其正后方依次设置红外滤光片6和CCD 4，所述成像透镜5用于对被测者8的面部进行成像，所成的面部的像经由红外滤光片6正后方的CCD 4进行光电转换，转换后的电子图像经由视点跟踪电路7进行运算，以寻找被测者8眼睛的瞳孔中心位置，进而映射出被测者8的观察点。

红外发光管3放置于面部中央位置（若本实用新型应用于夜视头盔中，可将红外发光管3设于被测者8的鼻梁处），由电源直接供电，保持对被测者8面部的长期持续照明；红外发光管2设于成像透镜5的正上方，由视点跟踪电路7中的发光管控制模块控制，分时对被测者8的眼睛进行照明。两个红外发光管2、3的明暗只是使得场景的光线不同，即由CCD 4采集到的电子图像在红外发光管2的亮暗的不同时刻具有不同的亮度特点。

如图5所示，视点跟踪电路7设于LED显示屏1的后方，包括发光管控制模块、图像处理模块、视点映射模块和输出控制信号模块，发光管控制模块与图像处理模块交互连接，发光管控制模块内的定时器负责控制打开和关闭红外发光管2的时间，同时发光管控制模块也会查询图像处理模块的图像采集工作，在红外发光管2打开和关闭之前查询图像采集情况，并向图像处理模块发出可以开始图像采集的信号；图像处理模块接收发光管控制模块的信号并按照图像采集及处理情况对发光管控制模块给出应答信号，同时，图像处理模块从CCD 4采集图像，并进行图像相减及分水岭运算，采用灰度图像处理的方法得到眼睛瞳孔的图像；图像处理模块将得到的眼睛瞳孔的图像发送到视点映射模块，视点映射模块根据瞳孔位置的移动（相对于标记点的移动）来映射视点在屏幕上的移动情况，并将图像视点的移动映射为视野角度及成像系统焦距的变化量；视点映射模块将得到的视野角度及成像系统焦距的变化量发送到输出控制信号模块，输出控制信号模块将其转化为电信号并发送给控制装置。

视点跟踪装置开始正常工作时，红外发光管3直接正常发光，由于其位置不在观察者的视野之内，所以采集到的图像中不会出现红外发光管的亮点，并且观察者的眼睛也是相对较暗的。红外发光管2由发光管控制模块中的定时器控制间断发光，发光时采集到的眼睛图像要更加明亮，由CCD采集到的两幅图像（即由红外发光管2关闭和红外发光管2打开时得到）相减，对得到的差值图像进行灰度直方图统计，可以由直方图上的分水岭直接求出眼瞳所在位置，根据位置的移动，映射出屏幕上的移动距离，求出视点后，产生控制信号来控制夜视成像装置的焦距，其过程如图6所示。

需要说明的是，该装置可以用于夜视头盔中，其实施方式如图2所示，由于夜视头盔用于夜间侦察使用，多采用红外与微光的方式来工作，而跟踪观察者的视点，可以有效地帮助成像装置调整成像区域及焦距。

配合图6所示，是本实用新型的工作过程流程图，包括如下步骤：

（1）通过控制红外发光管2的明暗使得CCD 4的连续两帧得到局部明暗不同的两幅图像，将两幅图像进行灰度相减，相减后可以采用分水岭的方法进行灰度分割（可配合图7所示），得到关于瞳孔的边缘及其在面部的相对位置。采用分水岭灰度分割的方法，好处在于算法复杂度低，可以得到很好的实时效果；

（5）得到被测者8瞳孔的图像后，首先将瞳孔的边界位置拟合成连续的曲线，这样可以避免由于瞳孔图像取的不准确造成的后续拟合工作的错误；根据瞳孔的边界位置、边界的斜率可以计算出瞳孔的中心位置，可配合图8所示。该方法计算简单，并可以判断当瞳孔部分被眼睑遮住时的瞳孔中心位置。

为了很好地识别瞳孔中心的位置，并将其准确地映射到电子显示设备上，需要进行校准工作，即首先使被测者8注视某一标记点，并记录当被测者8注视该标记点时的瞳孔中心位置，然后进入正常工作后可以根据实际测得的瞳孔中心位置相对于注视标记点时的瞳孔中心位置的位移来映射被测者8在LED显示屏1上的注视点。

以上实施例仅为说明本实用新型的技术思想，不能以此限定本实用新型的保护范围，凡是按照本实用新型提出的技术思想，在技术方案基础上所做的任何改动，均落入本实用新型保护范围之内。

Claims

1.一种基于红外发光管的快速视点跟踪装置，其特征在于：包括LED显示屏、一对红外发光管、CCD、成像透镜、红外滤光片和视点跟踪电路；

视点跟踪电路设于LED显示屏的后方，包括发光管控制模块、图像处理模块、视点映射模块和输出控制信号模块，其中，发光管控制模块控制第二红外发光管的开闭；图像处理模块在发光管控制模块的控制下从CCD进行图像的采集，并运算得到眼睛瞳孔的图像，发送到视点映射模块；所述视点映射模块对所述图像进行处理，并将得到的视野角度及成像系统焦距的变化量发送到输出控制信号模块。