CN107071267A

CN107071267A - 一种用于视线跟踪系统的双路同步亮暗瞳图像采集方法

Info

Publication number: CN107071267A
Application number: CN201710037267.1A
Authority: CN
Inventors: 谭雅翔; 王军宁; 彭弘铭; 王松; 张嘉佳; 龚小满
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-01-19
Filing date: 2017-01-19
Publication date: 2017-08-18
Anticipated expiration: 2037-01-19
Also published as: CN107071267B

Abstract

本发明公开了一种用于视线跟踪系统的双路同步亮暗瞳图像采集方法，通过共享时钟、同时启动、硬件触发粗同步图像传感器；通过计数补偿算法对传感器的行场同步信号进行滤波，消除丢帧；使用FIFO同步模块对两路数据进行辅助同步；使用组帧算法实现亮暗瞳图像任一丢帧以及双路图像打包；采用硬件触发和软件FIFO两次同步。本发明通过共享时钟、同时启动、硬件触发等技术粗同步图像传感器；通过计数补偿算法对传感器的行场同步信号进行滤波，消除由于恶劣电气环境导致的丢帧；使用FIFO同步模块对两路数据进行辅助同步，解决低成本采集设备硬件同步不精确的问题；使用组帧算法解决亮暗瞳图像任一丢帧以及双路图像打包的问题。

Description

一种用于视线跟踪系统的双路同步亮暗瞳图像采集方法

技术领域

本发明属于视线跟踪技术领域，尤其涉及一种用于视线跟踪系统的双路同步亮暗瞳图像采集方法。

背景技术

视线跟踪技术是一种通过分析眼图来对眼睛实际注视点位置进行估计的技术，广泛运用于人机交互、心理学研究以及商业等领域。从19世纪开始，人们就开始对眼睛运动的测量和实现跟踪进行研究。20世纪60年代之后，随着微电子技术、摄像技术和红外技术的发展，人们得以利用更加先进的仪器进行眼动测量，推动了视线跟踪技术的发展。一般而言，视线跟踪技术可以分为眼图提取和视线估计两大部分，而眼图提取的速度则直接决定了视线跟踪技术的实时性、准确性与实用性。总体上，眼图提取方法分为基于形状的方法、基于特征的方法和基于外观的方法等，然而这些方法都有提取速度慢、精度不高的缺点。而基于近红外光的亮暗瞳孔检测技术克服了这些缺点，大大提高了视线跟踪技术的实时性。当利用靠近相机光轴的近红外光照射人的瞳孔，相机捕获的图像(亮瞳图像)中瞳孔会变亮，产生“红眼”现象；而使用远离光轴的近红外光照射人的瞳孔时，相机捕获的图像(暗瞳图像)中瞳孔不会变亮。如果两幅图像中人眼的位置不发生变化，那么就可以利用二值化后的亮暗瞳图像差分快速计算瞳孔的位置，这就是亮暗瞳瞳孔检测技术。然而，亮暗瞳瞳孔检测技术对图像采集设备提出了较高的要求：一、近红外光源的控制。亮暗瞳技术中，每路相机需要两种光源，亮瞳灯和暗瞳灯，随着相机的图像捕获过程交替变化。二、高帧率图像捕获。亮暗瞳技术需要高帧率的图像捕获设备来减少亮暗瞳两帧图像中人眼的位置变化，进而提高瞳孔提取的准确性。三、不能随意丢帧。亮暗瞳两帧图像任何一帧丢失，就意味着剩下的一帧也没有了作用，保留剩下的一帧反而会破坏后续运算。四、双路同步采集与高分辨率的图像。一方面亮暗瞳技术需要高分辨率的图像来提高提取精度，而高分辨率图像会减少相机视角，因此需要两路同步图像对视角进行补偿。另一方面，同步双路图像可以为视线跟踪系统提供立体视觉，降低标定难度，提高视线估计的准确性。而现有的多路图像视线跟踪系统，大致可分为三类：一、使用成品摄像头，不进行同步，依赖PC机的“同时捕获”获取图像。这种方法同步效果最差，且成品摄像头亮暗瞳光源完全依赖计数控制，调试难度大，容易串扰，存在大量亮暗瞳任一丢帧现象，因此实际有效帧少。二、使用低端图像传感器，通过FPGA软件同步。同步效果差，且不能很好的解决丢帧问题。三、使用高端传感器，通过硬件进行同步。价格高昂，便携性差。

综上所述，现有的多路图像视线跟踪系统存在调试难度大，容易串扰，实际有效帧少；同步效果差；价格高昂，便携性差。

发明内容

本发明的目的在于提供一种用于视线跟踪系统的双路同步亮暗瞳图像采集方法，旨在解决现有的多路图像视线跟踪系统存在调试难度大，容易串扰，实际有效帧少；同步效果差；价格高昂，便携性差的问题。

本发明是这样实现的，一种用于视线跟踪系统的双路同步亮暗瞳图像采集方法，所述用于视线跟踪系统的双路同步亮暗瞳图像采集方法通过共享时钟、同时启动、硬件触发粗同步图像传感器；通过计数补偿算法对传感器的行场同步信号进行滤波，消除丢帧；使用FIFO同步模块对两路数据进行辅助同步；使用组帧算法实现亮暗瞳图像任一丢帧以及双路图像打包；采用硬件触发和软件FIFO两次同步。

计数补偿算法通过对行场同步信号进行时钟计数，在观察到信号变换时通过与阈值的比较来判断当前信号的变化是否是信号抖动，并在线修改、补偿行场同步信号的算法。

进一步，所述计数补偿算法包括：

假设图像传感器传入的图像宽W像素，高H像素，水平消隐时间m个像素时钟，垂直消隐n行，σ为针对行同步信号LV或场同步信号FV的时钟计数，δ为预设的阈值。

理论场有效时间为：

F＝(W+m)×H；

理论场消隐时间为：

nF＝(W+m)×n；

理论行有效时间L和理论行消隐时间nL为：

L＝W；

nL＝m；

W、H、m和n保持稳定，即传感器的分辨率和帧率不发生变化，则F、nF、L和nL也会保持稳定；针对场同步信号FV，计数补偿模块输出FV’工作如下：

阈值为F和nF中较小的那个，同时设定F’为0；

用变量从每次FV翻转开始按像素时钟从0计数；FV’＝FV；

当FV发生反转时，判断如下条件是否成立：

σ≥δ；

如果不成立说明FV信号产生了毛刺，令FV’保持FV发生翻着之前的电平，并保持σ继续计数，不清零；如果条件成立，且此时FV翻转之前处于场消隐状态，nF状态，说明FV由消隐状态进入有效状态，FV’跟随FV变化输出，σ清零；否则进行下一步；

判断如下条件是否满足：

σ＝F；

如果不满足，说明FV信号产生了毛刺，保持FV’不变，并保持σ继续计数；如果满足条件，说明FV信号此时应该由有效状态进入消隐状态，因此翻转FV’，并将σ清零。

组帧算法分为两部分，一部分是时间上组帧，即通过变换连续两帧图像的帧同步信号FV，将在时间上连续的两帧图像“拼接”为一帧图像；另一部分是空间上组帧，即通过对两路图像的像素级拼接将两路图像合并为一路图像。

进一步，所述组帧算法包括：

假设两路图像数据流A和B，A先于B到达FPGA，而后A通过FIFO同步产生了A’，A’与B完全同步。a，b，c分别对应A’，B和组帧结果C的像素数据；W和H分别为两路图像的宽和高，单位为像素；p为图像数据流组帧前的帧率。

(1)时间上组帧：没相邻的两帧图像拼接为同一帧，生成C组的FV信号，LV信号保持不变；

(2)空间上组帧：A’和B的图像数据流分别为n位的串行数据流：

A′：a₁，a₂，a₃...a_2×W×H；

B：b₁，b₂，b₃...b_2×W×H；

按像素合并出的C组的2n位的串行数据流：

C：(a₁b₁)，(a₂b₂)，(a₃b₃)...(a_2×W×Hb_2×W×H)；

C组图像与控制信号就是最终FPGA的输出，如果将其看作n位每像素的视频图像数据，则其相关参数为：

图像宽W′＝2×W；

图像高H′＝2×H；

帧率p′＝p/2。

进一步，所述用于视线跟踪系统的双路同步亮暗瞳图像采集方法包括以下步骤：

步骤一，图像传感器并行连接到FPGA，共享同一组时钟、配置、触发信号；

步骤二，FPGA配置两个传感器，关闭自动曝光等一切导致变化曝光时间的功能，并提高传感器内部增益；

步骤三，FPGA使用触发信号触发两个传感器同步工作，接收并行的两路图像数据以及其行场；

步骤四，同步信号，对行场同步信号运行计数补偿算法，消除由恶劣电气条件造成的丢帧；

步骤五，利用补偿过的FV信号进行近红外光源控制信号的提取；

步骤六，补偿的FV和LV同两路数据进入辅助同步模块；

步骤七，补偿的行场同步信号和同步的两路图像数据送入组帧模块；

步骤八，将组帧后的数据送往眼图提取模块，并由眼图提取模块进行解帧。

进一步，所述步骤一具体包括：使用两颗带外同步功能的相同型号的低端图像传感器连接到FPGA，共享同一组时钟、配置、触发信号；图像传感器传入的图像宽W像素，高H像素，水平消隐时间m个像素时钟，垂直消隐n行，帧率为p，粗同步后两路图像数据相差d个像素时钟；可知：

d≤(W+m)×(H+n)。

进一步，所述传感器添加滤光片，过滤出近红外光源以提高亮暗瞳对比度。

进一步，所述步骤五具体包括：

生成一个fv_mask_reverse信号，在传感器的FV信号的上升沿进行如下变换：

fv_mask_reverse＝～fv_mask_reverse；

fv_mask_reverse实现相对每帧图像进行翻转；对FV信号有效时的像素时钟计数来获取一个light_mask信号，通过调节计数阈值来控制light_mask信号的持续时间；然后：

b_light＝light_mask&fv_mask_reverse；

相应的：

w_light＝light_mask&～fv_mask_reverse。

进一步，所述步骤六具体包括：

将两组图像数据的行场同步信号分为先到达A组和后到达B组；

用A组的行场同步信号作为写控制信号，将A组图像数据写入FIFO中缓存用B组的行场同步信号作为读控制信号，将FIFO中缓存的数据读出，作为A’组图像数据。

进一步，所述步骤八具体包括：抓取图像原始数据，并对图像分别进行Y通道与UV通道分离解帧和图像分割解帧，获取两路同步亮暗瞳图像。

本发明的另一目的在于提供一种利用所述用于视线跟踪系统的双路同步亮暗瞳图像采集方法的视线跟踪系统。

本发明提供的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，通过共享时钟、同时启动、硬件触发等技术粗同步图像传感器；通过计数补偿算法对传感器的行场同步信号进行滤波，消除由于恶劣电气环境导致的丢帧；使用FIFO同步模块对两路数据进行辅助同步，解决低成本采集设备硬件同步不精确的问题；使用组帧算法解决亮暗瞳图像任一丢帧以及双路图像打包的问题。

本发明具有成本低，便携性好，并提出了计数补偿算法和组帧算法解决低成本视线追踪设备的同步与丢帧问题；只需要两个低端图像传感器和一个FPGA，后端根据向PC端发生数据的方法不同可选一个协议控制芯片，不需要任何外部存储，整体成本低；采用了两次同步，两路图像的最终同步效果好；计数补偿算法和组帧算法分别解决丢帧和亮暗瞳任一丢帧问题，PC接收的有效帧数高。

附图说明

图1是本发明实施例提供的用于视线跟踪系统的双路同步亮暗瞳图像采集方法流程图。

图2是本发明实施例提供的用于视线跟踪系统的双路同步亮暗瞳图像采集方法具体实现流程图。

图3是本发明实施例提供的FV的计数补偿算法流程图。

图4是本发明实施例提供的亮暗瞳控制信号的生成流程图。

图5是本发明实施例提供的软件同步模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的用于视线跟踪系统的双路同步亮暗瞳图像采集方法包括以下步骤：

S101：图像传感器并行连接到FPGA，共享同一组时钟、配置、触发信号；

S102：FPGA配置两个传感器，关闭自动曝光等一切导致变化曝光时间的功能，并提高传感器内部增益；

S103：FPGA使用触发信号触发两个传感器同步工作，接收并行的两路图像数据以及其行场；

S104：同步信号，对行场同步信号运行计数补偿算法，消除由恶劣电气条件造成的丢帧；

S105：利用补偿过的FV信号进行近红外光源控制信号的提取；

S106：补偿的FV和LV同两路数据进入辅助同步模块；

S107：补偿的行场同步信号和同步的两路图像数据送入组帧模块；

S108：将组帧后的数据送往眼图提取模块，并由眼图提取模块进行解帧。

下面结合附图对本发明的应用原理作进一步的描述。

参照图2，本发明实施例的实现步骤如下。

步骤1:图像传感器并行连接到FPGA

本发明使用两颗带外同步功能的相同型号的低端图像传感器连接到FPGA，共享同一组时钟、配置、触发信号。为了采集双路同步图像，同时对近红外光源进行控制，本发明使用FPGA来接收并解析两路硬件粗同步的图像传感器。因此，在图像传感器的选型上，需要满足：

高帧率高分辨率。

硬件同步功能

黑白传感器，彩色传感器的滤光片过滤效果不好

raw格式数据输出

共享时钟以及配置信号，可以实现传感器的同时启动，进行粗同步，且目前大多数低端传感器都有外部触发功能，共享触发信号也可以提高粗同步的性能。假设图像传感器传入的图像宽W像素，高H像素，水平消隐时间m个像素时钟，垂直消隐n行，帧率为p，粗同步后两路图像数据相差d个像素时钟。可知：

d≤(W+m)×(H+n)；

步骤2：配置两个传感器

关闭自动曝光等一切导致变化曝光时间的功能，并提高传感器内部增益。由于本发明需要实现亮暗瞳效果，所以曝光时间一定要可控，否则会出现亮暗瞳相互串扰的现象。而由于传感器上添加了滤光片(过滤出近红外光源以提高亮暗瞳对比度)，会降低图像的平均亮度，需要提高增益。

步骤3：行场同步信号计数补偿

如图3所示，FPGA使用触发信号触发两个传感器同步工作，接收并行的两路图像数据以及其行场同步信号，对行场同步信号运行计数补偿算法。计数补偿算法主要用于消除由于恶劣电气环境和人为因素带来的行场同步信号抖动，进而消除从传感器到FPGA传输中的丢帧。算法描述如下：

理论场有效时间为：

F＝(W+m)×H；

理论场消隐时间为：

nF＝(W+m)×n；

理论行有效时间L和理论行消隐时间nL为：

L＝W；

nL＝m；

假设W、H、m和n保持稳定(即传感器的分辨率和帧率不发生变化)，则F、nF、L和nL也会保持稳定。针对场同步信号FV，计数补偿模块输出FV’工作如下：

设定阈值为F和nF中较小的那个(不失一般性，假设nF<F)，同时设定F’为0；

用变量从每次FV翻转开始按像素时钟从0计数。通常情况下FV’＝FV；

当FV发生反转时，判断如下条件是否成立：

σ≥δ；

如果不成立说明FV信号产生了毛刺，令FV’保持FV发生翻着之前的电平，并保持σ继续计数，不清零。如果条件成立，且此时FV翻转之前处于场消隐状态(nF状态)，说明FV由消隐状态进入有效状态，FV’跟随FV变化输出，σ清零。否则进行下一步。

判断如下条件是否满足：

σ＝F；

模块对LV的补偿同FV一致。本质上讲，计数补偿算法是一种在线滤波算法，但其保证了行场信号的有效期长度而允许消隐期的弹性变化，为后续图像软同步及拼接提供了稳定的控制信号，也消除了由恶劣电器条件导致的FPGA前端丢帧。

步骤4：提取近红外光源控制信号

如图4所示，利用步骤3补偿过的FV信号进行近红外光源控制信号的提取。本质上讲，亮暗瞳信号就是根据FV信号交替控制亮瞳灯(w_light)和暗瞳灯(b_light)的信号。首先本发明生成一个fv_mask_reverse信号，在传感器的FV信号的上升沿进行如下变换：

fv_mask_reverse＝～fv_mask_reverse；

这样fv_mask_reverse就实现了相对每帧图像进行翻转，然而灯光控制芯片以及近红外光源的开关都会有延时，因此这个信号需要提前关断。通过对FV信号有效时的像素时钟计数来获取一个light_mask信号，通过调节计数阈值来控制light_mask信号的持续时间。然后：

b_light＝light_mask&fv_mask_reverse；

相应的：

w_light＝light_mask&～fv_mask_reverse；

步骤5：两路数据的辅助同步

步骤3补偿过的FV和LV同两路数据进入辅助同步模块进行同步：大多数带硬件同步功能的低端传感器并不能完全同步，总会有几个到几百个像素时钟的时钟差，软件同步模块则：

将两组图像数据的行场同步信号分为先到达(A组)和后到达(B组)；

用A组的行场同步信号作为写控制信号，将A组图像数据写入FIFO中缓存用B组的行场同步信号作为读控制信号，将FIFO中缓存的数据读出，作为A’组图像数据；

此时，A’和B的图像数据已完全同步。FIFO的大小需要大于两个传感器的硬同步时钟差d，也可以简单的设置为一帧图像的大小，如图5所示。

步骤6：两路图像组帧

步骤5输出的B组行场同步信号和两路图像数据(A’和B)送入组帧模块。为了消除亮暗瞳中单独丢失亮瞳或暗瞳图像的情况(虽然计数补偿算法消除了FPGA前端的丢帧情况，但后端仍然有可能会丢帧，尤其是传输给PC的过程中)，也为了拼接两路图像，这里使用组帧算法：

一、时间上组帧：为了消除单独丢帧现象的发生，本发明对B组FV信号进行变换，使相邻两帧图像间的FV信号不会出现消隐状态，也就是说，没相邻的两帧图像拼接为同一帧，原来的场消隐过程变为了一个长行消隐过程。生成C组的FV信号，LV信号保持不变。

二、空间上组帧：假设A’和B的图像数据流分别为n位的串行数据流：

A′：a₁，a₂，a₃...a_2×W×H；

B：b₁，b₂，b₃...b_2×W×H；

按像素合并出的C组的2n位的串行数据流：

C：(a₁b₁)，(a₂b₂)，(a₃b₃)...(a_2×W×Hb_2×W×H)；

到目前为止，C组图像与控制信号就是最终FPGA的输出，如果将其看作n位每像素的视频图像数据，则其相关参数为：

图像宽W′＝2×W；

图像高H′＝2×H；

帧率p′＝p/2；

步骤7：组帧数据发往眼图提取模块，并由眼图提取模块进行解帧FPGA将步骤6输出的C组数据与控制信号传输给后端发送芯片，比如本发明采用USB3.0控制芯片，进行UVC格式数据打包，进而传输给PC上的眼图提取模块。这里选用UVC协议中的RAW DATA YUV 4:2:2格式，这样在刚才组帧过程中A’和B组的数据可以被分别映射到Y和UV通道。

眼图提取模块抓取图像原始数据，并对图像分别进行空间(Y通道与UV通道分离)解帧和时间(图像分割)解帧，获取两路同步亮暗瞳图像。

下面结合测试对本发明的应用效果作详细的描述。

1.硬件测试条件

传感器采用MT9M034黑白传感器，工作于1280x720@60fps模式，FPGA采用AlteraCyclone IV芯片，USB控制芯片采用CYUSB3014芯片，通过USB3.0传输图像，PC端测试软件使用directshow编写。

2.测试内容

测试1:将传感器与FPGA间的连接方式换为10cm长的交错杜邦线，模拟恶劣电气环境，分别开关计数补偿算法，观察5分钟内PC软件统计的帧率数据。结果如表1:

表1恶劣电气条件下开关计数补偿算法的帧率统计结果对比

从表1可以看出，在5分钟的统计中，计数补偿算法对帧率的保持效果明显。

测试2:在测试软件中加入随机时间函数模拟图像处理以及操作系统调度带来的采集空闲时间；在FPGA中修改图像数据的前4个像素，用单双号计数图像并区分亮暗瞳图像，分别开关组帧算法，观察5分钟内PC软件统计出的无效亮暗瞳数量。结果如表2:

表2开关组帧算法的无效亮暗瞳帧数统计结果对比

从表2可以看出，使用组帧算法后，在5分钟共18000帧图像中，只要PC获取的图像必然是相应的亮暗瞳对，而关闭了组帧算法，由于系统调度等原因，PC每次获取的图像不一定能和下一次获取的图像匹配成相应的亮暗瞳对。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述用于视线跟踪系统的双路同步亮暗瞳图像采集方法通过共享时钟、同时启动、硬件触发粗同步图像传感器；通过计数补偿算法对传感器的行场同步信号进行滤波，消除丢帧；使用FIFO同步模块对两路数据进行辅助同步；使用组帧算法实现亮暗瞳图像任一丢帧以及双路图像打包；采用硬件触发和软件FIFO两次同步；计数补偿算法通过对行场同步信号进行时钟计数，在观察到信号变换时通过与阈值的比较来判断当前信号的变化是否是信号抖动，并在线修改、补偿行场同步信号的算法。

2.如权利要求1所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述计数补偿算法包括：

理论场有效时间为：

F＝(W+m)×H；

理论场消隐时间为：

nF＝(W+m)×n；

理论行有效时间L和理论行消隐时间nL为：

L＝W；

nL＝m；

阈值为F和nF中较小的那个，同时设定F’为0；

用变量从每次FV翻转开始按像素时钟从0计数；FV’＝FV；

当FV发生反转时，判断如下条件是否成立：

σ≥δ；

判断如下条件是否满足：

σ＝F；

3.如权利要求1所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述组帧算法包括：

A′：a₁，a₂，a₃...a_2×W×H；

B：b₁，b₂，b₃...b_2×W×H；

按像素合并出的C组的2n位的串行数据流：

C：(a₁b₁)，(a₂b₂)，(a₃b₃)...(a_2×W×Hb_2×W×H)；

图像宽W′＝2×W；

图像高H′＝2×H；

帧率p′＝p/2。

4.如权利要求1所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述用于视线跟踪系统的双路同步亮暗瞳图像采集方法包括以下步骤：

步骤六，补偿的FV和LV同两路数据进入辅助同步模块；

5.如权利要求4所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述步骤一具体包括：使用两颗带外同步功能的相同型号的低端图像传感器连接到FPGA，共享同一组时钟、配置、触发信号；图像传感器传入的图像宽W像素，高H像素，水平消隐时间m个像素时钟，垂直消隐n行，帧率为p，粗同步后两路图像数据相差d个像素时钟；可知：

d≤(W+m)×(H+n)。

6.如权利要求4所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述传感器添加滤光片，过滤出近红外光源以提高亮暗瞳对比度。

7.如权利要求4所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述步骤五具体包括：

fv_mask_reverse＝～fv_mask_reverse；

b_light＝light_mask&fv_mask_reverse；

相应的：

w_light＝light_mask&～fv_mask_reverse。

8.如权利要求4所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述步骤六具体包括：

9.如权利要求4所述的用于视线跟踪系统的双路同步亮暗瞳图像采集方法，其特征在于，所述步骤八具体包括：抓取图像原始数据，并对图像分别进行Y通道与UV通道分离解帧和图像分割解帧，获取两路同步亮暗瞳图像。

10.一种利用权利要求1～9任意一项所述用于视线跟踪系统的双路同步亮暗瞳图像采集方法的视线跟踪系统。