CN103356163B

CN103356163B - 基于视频图像和人工神经网络的凝视点测量装置及其方法

Info

Publication number: CN103356163B
Application number: CN201310283618.9A
Authority: CN
Inventors: 陈杰春; 赵丽萍
Original assignee: Northeast Dianli University
Current assignee: Northeast Electric Power University
Priority date: 2013-07-08
Filing date: 2013-07-08
Publication date: 2016-03-30
Anticipated expiration: 2033-07-08
Also published as: CN103356163A

Abstract

本发明公开了一种基于视频图像和人工神经网络的凝视点测量装置及其方法，旨在提供一种测量精度较高的头部自由式凝视点测量装置及方法。测量装置，包括主机、主显示器和辅显示器，其特征是，它还包括一个立体视觉测量系统，立体视觉测量系统由光源、直流稳压电源和2个或2个以上的摄像机组成。测量方法，采用人工神经网络建立凝视点测量数学模型，人工神经网络的输入层包含12个输入节点，所述输入节点分别为左眼瞳孔的三维坐标分量、右眼瞳孔的三维坐标分量、左眼普尔钦亮斑的三维坐标分量和右眼普尔钦亮斑的三维坐标分量，人工神经网络的输出层包含2个输出节点，所述输出节点为凝视点的二维坐标分量。

Description

基于视频图像和人工神经网络的凝视点测量装置及其方法

技术领域

本发明涉及一种凝视点测量装置及其方法，尤其涉及一种基于视频图像和人工神经网络技术的凝视点测量装置及其方法，该装置和方法用于测量被测对象在计算机显示器表面上的凝视点位置。

背景技术

眼睛是反映人的心理活动的窗口，早在19世纪就有人通过考察人的眼球运动来研究人的心理活动，凝视点测量装置的问世为心理学家探索人在各种不同条件下的视觉信息加工机制提供了新的有效工具。比如，凝视点测量装置可用于研究人的阅读心理。阅读速度与阅读质量一直是学生比较关注的学习问题之一，怎样提高阅读速度和质量也就成了当今心理学工作者的主要研究方向。在阅读过程中，测量凝视点的装置可以将眼球的即时数据记录下来，这些数据能够反映出读者真实的阅读加工过程。通过分析注视次数、注视频率、注视点持续时间、眼跳距离和回视次数等参数，可以判断阅读者的阅读效果以及阅读中出现问题的症结所在，以达到有效反馈的目的。

目前已有的凝视点测量方法主要有三种：眼电图法、感应线圈法和视频图像法。眼电图法和感应线圈法都属于接触式测量方法，在使用这两种方法测量凝视点时，对被测对象会产生一定的干扰，因此其测量结果不能准确体现被测对象的真实心理活动。与前两种方法相比，视频图像法属于非接触式的测量方法，即用摄像机拍摄被测对象的面部图像，然后根据瞳孔和普尔钦亮斑在图像中的位置确定被测对象的凝视点坐标。

现有的基于视频图像的凝视点测量装置主要有两大类：头盔式凝视点测量装置和桌面式凝视点测量装置。头盔式凝视点测量装置适用于真实场景的应用，比如在超市购物、货架管理和产品包装测试等机动场合做眼动研究。在使用的过程中，被测对象可以戴着头盔式凝视点测量装置，一边走一边记录凝视点数据。而桌面式凝视点测量装置适用于虚拟场景的应用，通常使用计算机显示器展现眼动实验刺激物，然后一边让被测对象凝视这些刺激物，一边用凝视点测量装置记录被测对象在计算机显示器上的凝视点坐标。桌面式凝视点测量装置又可以分为两大类：头部受限式凝视点测量装置和头部自由式凝视点测量装置。相比较而言，头部受限式凝视点测量装置可获得较高的测量精度，但是在使用的过程中，要求被测对象保持头部不动。因此从某种程度上讲，使用头部受限式凝视点测量装置获取的凝视点数据，也不能完全体现被测对象的真实心理活动。头部自由式凝视点测量装置正好相反，允许被测对象在测量过程中移动头部。但是，现有的头部自由式凝视点测量装置的测量精度较低，其主要原因是很难用一组数学公式准确地描述凝视点坐标与被测对象的头部方位之间的关系，因此就无法准确补偿由头部运动所导致的凝视点测量误差。

发明内容

如前所述，在基于视频图像的凝视点测量装置中，头部自由式凝视点测量装置对被测对象的干扰最小，因此其测量结果更能体现被测对象的心理活动。但是，头部自由式凝视点测量装置的测量精度较低，主要是因为很难用一组数学公式准确地描述凝视点坐标与被测对象的头部方位之间的关系。本发明的目的是提供一种测量精度较高的头部自由式凝视点测量装置；并提供其方法。

为了达到上述目的之一是，一种基于视频图像和人工神经网络的凝视点测量装置，包括主机、主显示器和辅显示器，所述主显示器和辅显示器分别通过信号线与主机的视频端口相连接，它还包括一个立体视觉测量系统，所述立体视觉测量系统包括光源、直流稳压电源和2个或2个以上的摄像机，所述摄像机分别通过信号线与主机相连接，所述光源通过导线与直流稳压电源的输出端子相连接。

为了达到上述目的之一是，一种基于视频图像和人工神经网络的凝视点测量方法，采用人工神经网络建立凝视点测量数学模型，所述人工神经网络的输入层包含12个输入节点，所述输入节点分别为左眼瞳孔的三维坐标分量、右眼瞳孔的三维坐标分量、左眼普尔钦亮斑的三维坐标分量和右眼普尔钦亮斑的三维坐标分量，所述人工神经网络的输出层包含2个输出节点，所述输出节点为凝视点的二维坐标分量，包括下述步骤：

1)训练人工神经网络：

(a)在辅显示器上依次显示9个或9个以上的坐标已知的标定目标；

(b)一边让被测对象凝视这些标定目标，一边用立体视觉测量系统测量被测对象的左眼瞳孔三维坐标、右眼瞳孔三维坐标、左眼普尔钦亮斑三维坐标和右眼普尔钦亮斑三维坐标；

(c)使用所述步骤(a)和(b)中所获取的数据训练人工神经网络；

2)使用立体视觉测量系统测量被测对象的左眼瞳孔三维坐标、右眼瞳孔三维坐标、左眼普尔钦亮斑三维坐标和右眼普尔钦亮斑三维坐标，然后由经过所述步骤(1)训练的人工神经网络计算被测对象在辅显示器上的凝视点坐标。

本发明基于视频图像和人工神经网络的凝视点测量装置的有益效果是：采用人工神经网络建立凝视点测量数学模型，充分发挥了人工神经网络的优点，因此可以提高头部自由式凝视点测量装置的测量精度；其方法科学合理。

附图说明

图1是本发明的基于视频图像和人工神经网络的凝视点测量装置结构示意图；

图2是本发明的凝视点测量数学模型示意图；

图3是瞳孔识别方法流程图；

图4是普尔钦亮斑识别方法流程图；

图5是用摄像机拍摄的面部图像；

图6是瞳孔识别过程中的图像二值化的结果；

图7是瞳孔识别过程中的团块筛选的结果；

图8是瞳孔识别过程中的由团块外轮廓点拟合椭圆的结果；

图9是普尔钦亮斑识别过程中的图像二值化的结果；

图10是普尔钦亮斑识别过程中的团块筛选的结果；

图11是左眼瞳孔的三维坐标的测量方法示意图。

具体实施方式

以下结合附图，详细描述本发明的较佳实施例。

如图1所示，本发明的基于视频图像和人工神经网络的凝视点测量装置由主机101、主显示器102、辅显示器103和立体视觉测量系统组成。其中，立体视觉测量系统由左摄像机104、右摄像机105、光源106和直流稳压电源107组成，左摄像机104、右摄像机105和光源106固连在辅显示器103的下方。主机101在本发明的基于视频图像和人工神经网络的凝视点测量装置中发挥着重要的作用，比如采集图像、识别瞳孔和普尔钦亮斑、训练人工神经网络、计算凝视点坐标以及播放眼动实验使用的刺激物等。主机101支持多显示器连接模式并提供两个视频端口，主显示器102和辅显示器103分别通过信号线与主机的视频端口相连接。主显示器102和辅显示器103所显示的内容相同，但是它们的用途不同。主显示器102是为操作凝视点测量装置的人员提供的，而辅显示器103放在被测对象的正前方，用于展现眼动实验刺激物。光源106通过导线与直流稳压电源107的输出端子相连接并由直流稳压电源107供电，左摄像机104和右摄像机105分别通过信号线与主机101相连接。将光源106发出的光照射在被测对象的面部，然后用左摄像机104和右摄像机105同时拍摄被测对象的面部图像。由于光照射在被测对象眼睛的角膜上后会发生反射，因此在左、右摄像机所拍摄的面部图像中，每个瞳孔的附近都会生成一个高亮度的普尔钦亮斑。如图5所示，在左眼瞳孔501的附近生成了一个普尔钦亮斑，为左眼普尔钦亮斑503，在右眼瞳孔502的附近也生成了一个普尔钦亮斑，为右眼普尔钦亮斑504。为了避免光源106发出的光对被测对象产生干扰，采用大功率近红外发射管做光源。与CMOS摄像机相比，CCD摄像机对红外光的敏感度高，因此本实施例中的左摄像机104和右摄像机105均为CCD摄像机。同样为了避免自然光对成像质量产生不利的影响，在左摄像机104和右摄像机105内均安装与光源相匹配的窄带红外滤光片。比如，本实施例采用功率为3W、波长为850nm的近红外发射管做光源，同时在左摄像机104和右摄像机105内都安装了中心波长为850nm的窄带红外滤光片。

被测对象在辅显示器103上的凝视点位置由两种因素决定：头部方位和眼球转动角度。比如，若被测对象转动眼球，同时保持头部不动，则在摄像机所拍摄的面部图像中的普尔钦亮斑与瞳孔之间的相对位置会发生变化；同样，若被测对象转动头部，同时保持眼球不动，则在摄像机所拍摄的面部图像中的瞳孔和普尔钦亮斑之间的相对位置也会发生变化。由此可见，瞳孔和普尔钦亮斑的三维坐标与被测对象在辅显示器上的凝视点位置之间存在一一对应的关系，但是这种对应关系也很难用数学公式准确地描述。人工神经网络为解决复杂物理系统的建模问题提供了较简单的方法，与传统的建模方法相比，我们使用人工神经网络为物理系统建模时，不需要找出系统的输入和输出所遵守的物化规律，只需经过训练就可以将输入和输出之间建立起映射关系。

如图2所示，本发明的基于视频图像和人工神经网络的凝视点测量方法的实施例采用三层BP神经网络建立凝视点测量数学模型，其中输入层包含12个节点，隐含层包含9个节点，输出层包含2个节点，各节点的激活函数为S型函数。输入层的12个节点分别为左眼瞳孔501的三维坐标分量（、和）、右眼瞳孔502的三维坐标分量（、和）、左眼普尔钦亮斑503的三维坐标（、和）和右眼普尔钦亮斑504的三维坐标分量（、和），输出层的2个节点为被测对象在辅显示器103表面上的凝视点坐标分量（X和Y）。在测量被测对象的凝视点坐标之前，需要训练BP神经网络。在训练BP神经网络时，首先在辅显示器103上依次显示9个或9个以上的坐标（X _k,Y _k）（k=1,2,…,N，其中N为足够大的整数）已知的标定目标。在此过程中，一边让被测对象凝视这些标定目标，一边使用立体视觉测量系统测量左眼瞳孔501的三维坐标（,,）、右眼瞳孔502的三维坐标（,,）、左眼普尔钦亮斑503的三维坐标（,,）和右眼普尔钦亮斑504的三维坐标（,,）。通过上述过程，可获得N组BP神经网络的输入和输出数据。在此基础上，利用这N组数据训练BP人工神经网络，经过训练的BP人工神经网络将被测对象的左眼瞳孔501的三维坐标、右眼瞳孔502的三维坐标、左眼普尔钦亮斑503的三维坐标和右眼普尔钦亮斑504的三维坐标与被测对象在辅显示器上的凝视点坐标建立起一一对应的关系。在此基础上，一旦使用立体视觉测量系统测量出被测对象的左、右眼瞳孔和左、右眼普尔钦亮斑的三维坐标，就可以使用经过训练的BP神经网络计算出被测对象在辅显示器上的凝视点坐标。使用本发明提供的凝视点测量方法，需要解决两个关键问题：（1）在面部图像中准确识别出左、右眼瞳孔和左、右眼普尔钦亮斑；（2）准确测量出左、右眼瞳孔和左、右眼普尔钦亮斑的三维坐标。

本实施例所采用的瞳孔识别方法如图3所示。包括以下步骤：

步骤301，根据所设定的灰度阈值将原始的面部图像转换为二值图像。比如设定的灰度阈值为T ₁，则将原始的面部图像中的灰度值大于阈值T ₁的像素看作背景像素，并将其灰度值置为255；将原始的面部图像中灰度值小于等于阈值T ₁的像素看作目标像素，并将其灰度值置为0。图6是将原始的面部图像（图5）二值化的结果，其中采用的灰度阈值T ₁为73。

步骤302，标记二值图像中的团块，即用不同的符号标记二值图像中的互不相交的封闭区域中的像素。

步骤303，根据所设定的面积阈值筛选二值图像中的团块。比如设定两个面积阈值S _p1和S _p2，其中S _p1<S _p2，则从二值图像中选取那些面积大于等于S _p1且小于等于S _p2的团块。图7是根据面积阈值筛选二值图像（图6）中的团块后得到的结果，其中采用的面积阈值S _p1为21（像素数）;S _p2为344（像素数）。

步骤304，判断二值图像中满足面积阈值条件的团块数量是否大于1，如果二值图像中满足面积阈值条件的团块数量小于等于1则执行步骤305，否则执行步骤306。

步骤305，瞳孔识别失败，并结束瞳孔识别过程。

步骤306，判断二值图像中满足面积阈值条件的团块数量是否等于2。如果二值图像中满足面积阈值条件的团块数量等于2，则执行步骤307，否则执行步骤308。

步骤307，将这两个团块看作是由面部图像中的左、右眼瞳孔经二值化所生成的封闭区域，并结束瞳孔识别过程。

步骤308，由团块的外轮廓点拟合椭圆。比如，由图7中的团块701的外轮廓点所拟合的椭圆为图8中的椭圆801；由图7中的团块702的外轮廓点所拟合的椭圆为图8中的椭圆802；由图7中的团块703的外轮廓点所拟合的椭圆为图8中的椭圆803；由图7中的团块704的外轮廓点所拟合的椭圆为图8中的椭圆804；由图7中的团块705的外轮廓点所拟合的椭圆为图8中的椭圆805；由图7中的团块706的外轮廓点所拟合的椭圆为图8中的椭圆806。

步骤309，分别计算每个椭圆的长轴与短轴的长度比值，由此判断哪个团块的外轮廓形状最接近于圆，然后将外轮廓形状最接近于圆的那两个团块看作是由面部图像中的左、右眼瞳孔经二值化所生成的封闭区域。比如，椭圆801的长轴与短轴的长度比为8.60；椭圆802的长轴与短轴的长度比为1.28；椭圆803的长轴与短轴的长度比为9.01；椭圆804的长轴与短轴的长度比为2.31；椭圆805的长轴与短轴的长度比为0.35；椭圆806的长轴与短轴的长度比为0.83。由此可见，团块702和团块706的外轮廓形状最接近于圆，因此将这两个团块分别看作是由面部图像（图5）中的左眼瞳孔501和右眼瞳孔502经二值化所生成的封闭区域。

本实施例所采用的普尔钦亮斑识别方法如图4所示。包括以下步骤：

步骤401，根据所设定的灰度阈值，将原始的面部图像转换为二值图像。比如设定灰度阈值T ₂，将原始面部图像中灰度值大于等于阈值T ₂的像素看作目标像素，并将其灰度值置为0；将原始眼部图像中灰度值小于阈值T ₂的像素看作背景像素，并将其灰度值置为255。图9是将原始的面部图像（图5）二值化的结果，其中采用的灰度阈值T ₂为197。

步骤402，标记二值图像中的团块。

步骤403，根据所设定的面积阈值筛选二值图像中的团块。比如设定两个面积阈值S _g1和S _g2，其中S _g1<S _g2，从二值图像中选取那些面积大于等于S _g1且小于等于S _g2的团块。比如图10是根据面积阈值筛选二值图像（图9）中的团块后得到的结果，其中采用的面积阈值S _g1为5（像素数）;S _g2为26（像素数）。

步骤404，判断二值图像中满足面积阈值条件的团块数是否大于1，如果满足面积阈值条件的团块数小于等于1则执行步骤405，否则执行步骤406。

步骤405，普尔钦亮斑识别失败，并结束普尔钦亮斑识别过程。

步骤406，分别计算每个满足面积阈值条件的团块与左、右眼瞳孔之间的中心距（像素数）。

步骤407，将其中与左眼瞳孔501距离最近的团块看作是由左眼普尔钦亮斑503经二值化所生成的团块；将其中与右眼瞳孔502距离最近的团块看作是由右眼普尔钦亮斑504经二值化所生成的团块。如图10所示，十字刻线1001表示左眼瞳孔501的中心位置，十字刻线1002表示右眼瞳孔502的中心位置。由此可见：团块1003与左眼瞳孔501的距离最近，因此将团块1003看作是由左眼普尔钦亮斑503经二值化所生成的团块；团块1004与右眼瞳孔502的距离最近，因此将团块1004看作是由右眼普尔钦亮斑504经二值化所生成的团块。

为了能够准确测量出左、右眼瞳孔和左、右眼普尔钦亮斑的三维坐标，本实施例采用Tsai摄像机模型描述左摄像机104和右摄像机105的成像过程。Tsai摄像机模型是一种被广泛采用的非线性摄像机模型，因为它不但能满足多数应用的精度要求，而且表达形式也比较简单。假设点P是三维空间内的一个3D点，点p是点P在摄像机像平面内的对应成像点，则点P在世界坐标系内的坐标(x ^w,y ^w,z ^w)与点p在像平面坐标系内的坐标(x ⁱ,y ⁱ)可由以下关系式建立起联系：

式中(r _ij)_3×3表示世界坐标系至摄像机坐标系{c}的过渡矩阵；(t _i)_3×1表示世界坐标系至摄像机坐标系的转移向量；f表示镜头焦距；，，，(u ₀,v ₀)表示光轴与像平面的交点在像平面坐标系中的坐标，d _y表示图像传感器垂直方向相邻像元之间的中心距，d′_x=d _x N _cx /N _fx，d _x表示图像传感器水平方向相邻像元之间的中心距，N _fx表示图像传感器像元阵列的列数，N _cx表示摄像机实际采集图像的列数，s _x表示图像比例因子。其中参数N _fx、N _cx和s _x是针对CCD摄像机提出的，在实际应用中，如果选用的是CMOS摄像机，则N _cx /N _fx和s _x均应取1。

在测量左、右眼瞳孔和左、右眼普尔钦亮斑的三维坐标之前，需标定出Tsai摄像机模型中的未知参数。本实施例采用传统标定方法标定Tsai摄像机模型。假设：点P _k（k=1,2,…,N）是空间内的一个3D点，它在世界坐标系内的坐标（,,）已知，而且它在摄像机像平面内投影于点p _k。检测点p _k在像平面坐标系内的坐标（,），则由Tsai摄像机模型公式可建立一个由2N个方程组成的非线性方程组：

求解上述方程组可确定摄像机模型公式中的未知参数的数值。

以左眼瞳孔为例，说明左、右眼瞳孔和左、右眼普尔钦亮斑的三维坐标的测量方法。如图11所示，假设：点A表示左眼瞳孔，它在左摄像机104和右摄像机105的像平面内分别成像于点A ₁和A ₂，而且左、右摄像机已经做过标定。分别检测点A ₁在左摄像机的像平面坐标系中的坐标和点A ₂在右摄像机的像平面坐标系中的坐标，则由Tsai摄像机模型公式可以建立一个由4个方程（系数已知）组成的超定线性方程组：

应用线性最小二乘法，求得上述方程组的数值解（,,）就是点A（左眼瞳孔）在世界坐标系内的三维坐标。右眼瞳孔、左眼普尔钦亮斑和右眼普尔钦亮斑的三维坐标的测量方法与此相同，因此不再赘述。

Claims

1.一种凝视点测量方法，采用人工神经网络建立凝视点测量数学模型，所述人工神经网络的输出层包含2个输出节点，所述输出节点为凝视点的二维坐标分量，其特征是：所述人工神经网络的输入层包含12个输入节点，所述输入节点分别为左眼瞳孔的三维坐标分量、右眼瞳孔的三维坐标分量、左眼普尔钦亮斑的三维坐标分量和右眼普尔钦亮斑的三维坐标分量，包括下述步骤：

(1)训练人工神经网络：

(c)使用所述步骤(a)和(b)中所获取的数据训练人工神经网络；

(2)使用立体视觉测量系统测量被测对象的左眼瞳孔三维坐标、右眼瞳孔三维坐标、左眼普尔钦亮斑三维坐标和右眼普尔钦亮斑三维坐标，然后由经过所述步骤(1)训练的人工神经网络计算被测对象在辅显示器上的凝视点坐标，采用Tsai摄像机模型描述摄像机的成像过程，Tsai摄像机模型中的未知参数的数值由传统标定方法确定：

(d)在三维空间中人为设置或选取坐标已知的目标点P_k(k＝1,2,…,N)；

(e)用摄像机拍摄三维点目标P_k的图像，并检测其成像点的二维坐标

(f)由Tsai摄像机模型建立非线性方程组：

f \frac{r_{11} x_{k}^{w} + r_{12} y_{k}^{w} + r_{13} z_{k}^{w} + t_{1}}{r_{31} x_{k}^{w} + r_{32} y_{k}^{w} + r_{33} z_{k}^{w} + t_{3}} = {\hat{x}}_{k}^{i} + k_{1} {\hat{x}}_{k}^{i} {\hat{r}}^{2}

f \frac{r_{21} {x_{k}^{w}}^{w} + r_{22} y_{k}^{w} + r_{23} z_{k}^{w} + t_{2}}{r_{31} x_{k}^{w} + r_{32} y_{k}^{w} + r_{33} z_{k}^{w} + t_{3}} = {\hat{y}}_{k}^{i} + k_{1} {\hat{y}}_{k}^{i} {\hat{r}}^{2}

k＝1,2,...N

式中，(r_ij)_3×3表示世界坐标系至摄像机坐标系的过渡矩阵，(t_i)_3×1表示世界坐标系至摄像机坐标系的转移向量，f表示镜头焦距，

{\hat{r}}^{2} = {({\hat{x}}^{i})}^{2} + {({\hat{y}}^{i})}^{2}, {\hat{x}}^{i} = - s_{x}^{- 1} d_{x}^{'} (x^{i} - u_{0}),

(u₀,v₀)表示光轴与像平面的交点在像平面坐标系中的坐标，d_y表示图像传感器垂直方向相邻像元之间的中心距，d′_x＝d_xN_cx/N_fx，d_x表示图像传感器水平方向相邻像元之间的中心距，N_fx表示图像传感器像元阵列的列数，N_cx表示摄像机实际采集图像的列数，s_x表示图像比例因子，参数N_fx、N_cx和s_x是针对CCD摄像机提出的，在实际应用中，如果选用的是CMOS摄像机，则N_cx/N_fx和s_x的数值均应取1；

(g)求解上述非线性方程组，确定Tsai摄像机模型中的未知参数。

2.根据权利要求1所述的凝视点测量方法，其特征是：所述人工神经网络为三层BP神经网络，各节点的激活函数为S型函数。