CN103472915B - 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 - Google Patents
基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 Download PDFInfo
- Publication number
- CN103472915B CN103472915B CN201310390295.3A CN201310390295A CN103472915B CN 103472915 B CN103472915 B CN 103472915B CN 201310390295 A CN201310390295 A CN 201310390295A CN 103472915 B CN103472915 B CN 103472915B
- Authority
- CN
- China
- Prior art keywords
- image
- pupil
- sample
- coordinate
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于瞳孔跟踪的阅读控制方法，包括如下步骤：步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。本发明基于瞳孔跟踪的阅读控制方法，通过跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作，能够实现对显示内容的实时操作，能够使我们的生活更加智能化、更加便捷化及更具有人性化。本发明还提供一种基于瞳孔跟踪的阅读控制装置及显示设备。
Description
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备。
背景技术
传统在便携设备上进行阅读的操控方法一般有两种，按键/按钮式的操控和可触屏上手势的操控。当然，随着现在语音技术的成熟，语音操控或许也是一种不错的方式，在这些操控方式，按键和手势操控是需要同设备直接接触的，操作繁琐；而语音操控，一方面容易受环境干扰，另一方面也容易干扰到环境，也不是很适合用户的阅读。随着科技的发展，特别是人脸检测和定位技术的成熟为这种人机交互式阅读提供了更多的可能。
便携设备上的阅读内容是通过眼睛输入给人的，眼睛是阅读的直接行为者，能否直接通过眼睛对阅读进行操控，使眼睛既为输入者又为输出者（阅读的同时进行操控），这样的操控肯定是最便捷的。
发明内容
本发明的主要目的在于提供一种基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备，旨在通过跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作，以实现对显示内容的实时操作。
为了实现上述目的，本发明提供一种基于瞳孔跟踪的阅读控制方法，包括如下步骤：
步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；
步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；
步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；
步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。
优选地，在所述步骤A之前还包括：步骤A0、采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，并在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系。
优选地，所述步骤A0中，所述瞳孔动作样本图像集包括双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像及右眼闭左眼睁样本图像中的至少一种，所述阅读指令集包括正常阅读指令、向右翻页指令、向左翻页指令、向上移动页面指令、向下移动页面指令、确认指令、返回指令及调用菜单指令中的至少一种；
所述步骤B中，将所述当前眼部图像与瞳孔动作样本图像集进行匹配时，定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi（i≥1）的距离函数值为：
dni=|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)|
上式中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值；
定义dni中的最小值为阀值T，T=min(dn1,......,dni)，阀值T所对应的i代表的瞳孔动作样本图像即为所述当前眼部图像所属的瞳孔动作样本图像。
优选地，所述步骤A0中，每一个瞳孔动作样本图像的采集步骤包括：
当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；
对获取的脸部图像样本进行预处理；
对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。
优选地，所述步骤A具体包括：
A1、当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；
A2、对获取的图像进行预处理；
A3、对预处理后的图像进行人脸检测，如果检测到预处理后的图像中包含人脸图像，则对人脸图像进行定位并获取人脸图像中用户的当前眼部图像；否则，执行步骤A1。
本发明还提供一种基于瞳孔跟踪的阅读控制装置，包括：
图像采集和处理模块，用于当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；
瞳孔动作匹配模块，用于将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；
瞳孔动作映射模块，用于获取所述瞳孔动作样本图像所映射的阅读指令；
瞳孔动作执行模块，用于执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。
优选地，所述图像采集和处理模块包括：
图像采集单元，包括摄像头，用于当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；
图像预处理单元，用于对获取后的图像进行预处理；
人脸检测与定位单元，用于对预处理后的图像进行人脸检测与定位，以获取人脸图像中用户的当前眼部图像。
优选地，所述图像采集和处理模块还用于采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，所述瞳孔动作映射模块还用于在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系；
所述瞳孔动作匹配模块具体用于：
定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi（i≥1）的距离函数值为：
dni=|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)|
上式中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值；
定义dni中的最小值为阀值T，T=min(dn1,......,dni)，阀值T所对应的i代表的瞳孔动作样本图像即为所述当前眼部图像所属的瞳孔动作样本图像。
优选地，所述图像采集和处理模块还用于当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；所述图像采集单元还用于当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；所述图像预处理单元还用于对获取的脸部图像样本进行预处理；所述人脸检测与定位单元还用于对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。
本发明还提供一种显示设备，包括用于显示内容供用户阅读的显示屏，其特征在于，所述显示设备还包括前述的基于瞳孔跟踪的阅读控制装置，所述基于瞳孔跟踪的阅读控制装置用于跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作。
本发明基于瞳孔跟踪的阅读控制方法、控制装置及显示设备，通过跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作，能够实现对显示内容的实时操作，能够使我们的生活更加智能化、更加便捷化及更具有人性化。
附图说明
图1为本发明基于瞳孔跟踪的阅读控制方法第一实施例的流程图。
图2为图1所示基于瞳孔跟踪的阅读控制方法中步骤A的细化流程图。
图3为图1所示基于瞳孔跟踪的阅读控制方法中，当前眼部图像fn为双眼向左时的示意图。
图4为图1所示基于瞳孔跟踪的阅读控制方法中，所采用的瞳孔动作样本图像的示意图。
图5为本发明基于瞳孔跟踪的阅读控制方法第二实施例的流程图。
图6为本发明基于瞳孔跟踪的阅读控制装置的结构示意图。
图7为图6所示基于瞳孔跟踪的阅读控制装置中图像采集和处理模块的结构示意图。
图8为本发明显示设备一较佳实施例的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本发明提供的技术方案是：用户在阅读显示设备的显示屏上的显示内容时，显示设备获取用户的当前眼部图像，通过将当前眼部图像与瞳孔动作样本图像集进行匹配，根据匹配结果得到用户当前的瞳孔动作，并执行该瞳孔动作对应的阅读操作，实现通过对用户的瞳孔跟踪来进行阅读控制的目的。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明第一实施例提供的基于瞳孔跟踪的阅读控制方法，包括如下步骤：
步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；
显示设备可以是便携式设备，例如手机、平板电脑、PAD等。显示设备包括显示屏和图像采集和处理模块。所述显示屏用于显示内容供用户阅读。所述图像采集和处理模块包括用于获取显示设备的显示屏前方图像的图像采集单元、用于对获取后的图像进行预处理的图像预处理单元、以及用于对预处理后的图像进行人脸检测与定位的人脸检测与定位单元。
如图2所示，所述步骤A具体包括：
A1、当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；
A2、对获取的图像进行预处理；
A3、对预处理后的图像进行人脸检测，如果检测到预处理后的图像中包含人脸图像，则对人脸图像进行定位并获取人脸图像中用户的当前眼部图像；否则，执行步骤A1；
其中，当用户阅读显示设备的显示屏上的显示内容时，图像采集单元的摄像头被打开并获取显示屏前方的图像。
采用图像预处理单元对获取的图像进行预处理，以提高图像的信噪比和抑制背景噪声，以便最真实的还原原始图像信息，为后续处理提供基础。图像预处理采用的算法包括：图像光照校正和图像降噪两大部分。
图像光照校正主要是对原始特定信息图中夹杂的一些变化信息（如光照变化、角度变化等）的处理，可采用的方法有但不局限于：Camma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，能去除原始信息图中的一些无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是一种针对图像对比度调整的方法，能增强图像局部对比度。
图像降噪主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等，常用的方法有均值滤波、中值滤波和高斯滤波等。
采用人脸检测与定位单元对预处理后的图像进行人脸检测和定位，其中人脸检测与定位算法目前已经比较成熟，在此不细述，可采用的方法有AdaBoost算法和肤色检测算法，但并不局限于此。
当检测到预处理后的图像中包含人脸图像时，对人脸图像进行定位后，在图像中的目标仅保留眼睛和瞳孔，其它信息都去除（如采用黑色填充），以双眼的中点作为坐标原点（0，0），在图像中建立二维坐标，在完全包含眼睛和瞳孔的情况下截取图像宽度为w、高度为h，然后存储截取的图像，即获取到人脸图像中用户的当前眼部图像fn。对瞳孔位置进行定位时，可以采用将当前眼部图像fn与双眼正常的背景模板图对比即可得知瞳孔的具体坐标值，假设当前眼部图像fn与背景模板图对比时（即坐标对应的像素值相减），得到大部分像素点的相减结果为0，小部分像素点的相减结果为负数，去除该大部分像素点（该大部分像素点为背景模板的位置，用0填充），剩下的一部分像素点就是瞳孔的实际位置，即可获取当前眼部图像fn的左、右眼瞳孔位置。
在获取当前眼部图像fn的左、右眼瞳孔位置后，再以双眼的中点作为坐标原点（0，0），计算得到当前眼部图像fn中左、右眼瞳孔中心的坐标分别为（-n，m）、（n，m）或（-n，-m）、（n，-m），其中，n为左、右眼瞳孔中心距x轴的距离，m为左、右眼瞳孔中心距y轴的距离。
如图3所示，为当前眼部图像fn为双眼向左时的示意图，获取到左、右眼瞳孔中心的坐标分别为（-n，0）、（n，0），即左、右眼瞳孔中心距x轴的距离均为n，左、右眼瞳孔中心距离y轴的距离均为0。
步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；
瞳孔动作样本图像集在用户进行阅读之前已经制作好，通常是在用户进行首次阅读时制作。瞳孔动作样本图像集包括多个瞳孔动作样本图像，如图4中的（1）～（8）所示，F1～F8分别为双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像和右眼闭左眼睁样本图像的示意图。其中，每一个瞳孔动作样本图像均为一宽度为w、高度为h的二维图像，图像中仅保留眼睛和瞳孔，并以双眼的中点作为坐标原点（0，0），在图像中建立二维坐标，其中：
对于双眼正常直视样本图像，左、右眼瞳孔中心距离坐标原点（0，0）的距离定义为a，则左、右眼瞳孔中心的坐标分别为（-a，0）、（a，0）；
对于双眼向右样本图像和双眼向左样本图像；左、右眼瞳孔中心相对于双眼正常直视时分别向左和向右偏离的距离定义为b，则左眼瞳孔中心的坐标分别为（-a+b，0）、（-a-b，0），右眼瞳孔中心的坐标分别为（a+b，0）、（a-b，0）；
对于双眼向上样本图像和双眼向下样本图像，左、右眼瞳孔中心相对于双眼正常直视时分别向上和向下偏离的距离定义为c，则左眼瞳孔中心的坐标分别为（-a，c）、（-a，-c），右眼瞳孔中心的坐标分别为（a，c）、（a，-c）;
对于双眼闭眼样本图像，左、右眼瞳孔中心的与双眼正常直视时的坐标保持一致，为区别这两种情况，此时在双眼正常的坐标基础上增加一个固定的值p以示区别，将双眼闭眼样本图像中左、右眼瞳孔中心的坐标分别定义为（-a-p，0）、（a+p，0），其中p≠b；
对于左眼闭右眼睁样本图像，同双眼闭眼样本图像的处理，将左眼闭右眼睁样本图像中左、右眼瞳孔中心的坐标分别定义为（-a-p，0）、（a，0），其中p≠b；
对于右眼闭左眼睁样本图像，同双眼闭眼样本图像的处理，将右眼闭左眼睁样本图像中左、右眼瞳孔中心的坐标分别定义为（-a，0）、（a+p，0），其中p≠b。
当获取用户的当前眼部图像后，采用瞳孔动作匹配模块将所述当前眼部图像与瞳孔动作样本图像集进行匹配，本实施例中，瞳孔动作匹配模块定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi的距离函数值dni如下式（1）所示：
dni=|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)| （1）
上式（1）中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标。
以下以本实施例八个瞳孔动作样本图像为例进行具体说明，当前眼部图像fn与瞳孔动作样本图像集中各瞳孔动作样本图像Fi（i=1～8）的距离函数值dni分别为：
dn1=|fn(x1)-F1(x1)|+|fn(y1)-F1(y1)|+|fn(x2)-F1(x2)|+|fn(y2)-F1(y2)|
dn2=|fn(x1)-F2(x1)|+|fn(y1)-F2(y1)|+|fn(x2)-F2(x2)|+|fn(y2)-F2(y2)|
dn3=|fn(x1)-F3(x1)|+|fn(y1)-F3(y1)|+|fn(x2)-F3(x2)|+|fn(y2)-F3(y2)|
dn4=|fn(x1)-F4(x1)|+|fn(y1)-F4(y1)|+|fn(x2)-F4(x2)|+|fn(y2)-F4(y2)|
dn5=|fn(x1)-F5(x1)|+|fn(y1)-F5(y1)|+|fn(x2)-F5(x2)|+|fn(y2)-F5(y2)|
dn6=|fn(x1)-F6(x1)|+|fn(y1)-F6(y1)|+|fn(x2)-F6(x2)|+|fn(y2)-F6(y2)|
dn7=|fn(x1)-F7(x1)|+|fn(y1)-F7(y1)|+|fn(x2)-F7(x2)|+|fn(y2)-F7(y2)|
dn8=|fn(x1)-F8(x1)|+|fn(y1)-F8(y1)|+|fn(x2)-F8(x2)|+|fn(y2)-F8(y2)|
其中，
dn1表示fn与F1的距离函数值，即当前眼部图像fn与双眼正常直视样本图像之间的距离函数值，F1(x1)=-a，F1(y1)=0，F1(x2)=a、F1(y2)=0；
dn2表示fn与F2的距离函数值，即当前眼部图像fn与双眼向右样本图像之间的距离函数值，F2(x1)=-a+b，F2(y1)=0，F2(x2)=a+b、F2(y2)=0；
dn3表示fn与F3的距离函数值，即当前眼部图像fn与双眼向左样本图像之间的距离函数值，F3(x1)=-a-b，F3(y1)=0，F3(x2)=a-b、F3(y2)=0；
dn4表示fn与F4的距离函数值，即当前眼部图像fn与双眼向上样本图像之间的距离函数值，F4(x1)=-a，F4(y1)=c，F4(x2)=a、F4(y2)=c；
dn5表示fn与F5的距离函数值，即当前眼部图像fn与双眼向下样本图像之间的距离函数值，F5(x1)=-a，F5(y1)=-c，F5(x2)=a、F5(y2)=-c；
dn6表示fn与F6的距离函数值，即当前眼部图像fn与双眼闭眼样本图像之间的距离函数值，F6(x1)=-a-p，F6(y1)=0，F6(x2)=a+p、F6(y2)=0；
dn7表示fn与F7的距离函数值，即当前眼部图像fn与左眼闭右眼睁样本图像之间的距离函数值，F7(x1)=-a-p，F7(y1)=0，F7(x2)=a、F7(y2)=0；
dn8表示fn与F8的距离函数值，即当前眼部图像fn与右眼闭左眼睁样本图像之间的距离函数值，F8(x1)=-a，F8(y1)=0，F8(x2)=a+p、F8(y2)=0。
以图3所示的当前眼部图像fn为例，将其左、右眼瞳孔中心的坐标（-n，0）、（n，0）依次代入以上计算公式，即可求得dn1～dn8。
瞳孔动作匹配模块将dni中的最小值定义为阀值T，即相似度最大的i值，其中
T=min(dn1,dn2,dn3,dn4,dn5,dn6,dn7,dn8)
当T为最小的i即为识别结果，对图3所示的当前眼部图像fn，进行识别的结果为i=3，即当前眼部图像fn属于双眼向左样本图像。
由于闭眼时瞳孔中心的坐标与睁眼时保持一致，为了区别这两种情况，在计算获取当前眼部图像fn中瞳孔中心的坐标之前，先对瞳孔面积进行计算，当检测到瞳孔的面积大于预定值时，则认为该瞳孔已闭，不计算该瞳孔中心的坐标，而直接在双眼正常的坐标基础上增加一个固定的值p以示区别，其中，左眼闭时左眼瞳孔中心的坐标直接设置为（-a-p，0），右眼闭时右眼瞳孔中心的坐标直接设置为（a+p，0）。当检测到瞳孔的面积未超过预定值时，则认为该瞳孔未闭，正常计算获得该瞳孔中心的坐标。
在上式（1）中，通过采用对双眼瞳孔中心的坐标进行相关计算来对当前眼部图像fn进行识别，但对当前眼部图像fn进行识别的方式并不局限如此，还可以采用其它方式，例如采用对双眼瞳孔所有点的x坐标集合和y坐标集合进行相关计算或采用对双眼瞳孔所有点的x坐标平均值和y坐标平均值进行相关计算来对当前眼部图像fn进行识别。
当通过采用对双眼瞳孔所有点的x坐标集合和y坐标集合进行相关计算来对当前眼部图像fn进行识别时，则在上式（1）中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合。
在此种情况下，各瞳孔动作样本图像Fi中双眼瞳孔所有点的x坐标集合和y坐标集合可在制作瞳孔动作样本图像Fi时分别通过计算得到相应的值，然后在对当前眼部图像fn进行识别时分别将相应的值代入上述式（1）进行计算，得到对应的dni。
当通过采用双眼瞳孔所有点的x坐标平均值和y坐标平均值进行相关计算来对当前眼部图像fn进行识别时，则在上式（1）中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值。
在此种情况下，各瞳孔动作样本图像Fi中双眼瞳孔所有点的x坐标平均值和y坐标平均值可在制作瞳孔动作样本图像Fi时分别通过计算得到相应的值，然后在对当前眼部图像fn进行识别时分别将相应的值代入上述式（1）进行计算，得到对应的dni。
步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；
瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立有一对一映射关系，即每一瞳孔动作样本图像代表一个与之对应的阅读指令。在本实施例中，瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间的映射关系如表一所示，表一中的映射关系只是作为示例，并不局限如此，可以根据个人喜爱对映射关系进行变换。
表一瞳孔动作映射表
| 瞳孔动作样本图像 | 函数定义 | 命令定义 | 阅读操作 |
| 双眼正常直视 | F1 | null | 正常阅读 |
| 双眼向右 | F2 | Page_Right | 向右翻页 |
| 双眼向左 | F3 | Page_Left | 向左翻页 |
| 双眼向上 | F4 | Page_Up | 向上移动页面 |
| 双眼向下 | F5 | Page_Down | 向下移动页面 |
| 双眼闭眼 | F6 | Key_OK | 确定按钮 |
| 左眼闭右眼睁 | F7 | Key_Return | 返回按钮 |
| 右眼闭左眼睁 | F8 | Key_Menu | 菜单按钮 |
当得到所述当前眼部图像所属的瞳孔动作样本图像后，瞳孔动作映射模块通过查找瞳孔动作映射表，获取所述瞳孔动作样本图像所映射的阅读指令，并输出给瞳孔动作执行模块。
以图3所示的当前眼部图像fn为例，通过匹配得到其所属于双眼向左样本图像，则获取到该瞳孔动作样本图像所映射的阅读指令为向左翻页。
步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。
当获瞳孔动作执行模块接收到所述瞳孔动作样本图像所映射的阅读指令后，将执行所述阅读指令，以对显示设备的显示屏上的显示内容进行相应的阅读操作。
以图3所示的当前眼部图像fn为例，将对显示设备的显示屏上的显示内容进行向左翻页的阅读操作。
如图5所示，本发明第二实施例提供的基于瞳孔跟踪的阅读控制方法。在第一实施例的基础上，本实施例基于瞳孔跟踪的阅读控制方法，在所述步骤A之前还包括：步骤A0、采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，并在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系。
所述瞳孔动作样本图像集包括双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像及右眼闭左眼睁样本图像，所述阅读指令集包括正常阅读指令、向右翻页指令、向左翻页指令、向上移动页面指令、向下移动页面指令、确认指令、返回指令及调用菜单指令。所述阅读指令集所包括的阅读指令根据具体的阅读操作需求而定，可以是包括上述阅读指令中的一个或多个，所述瞳孔动作样本图像集所包括瞳孔动作样本图像的数量则根据要实现的阅读指令的个数而定。
所述步骤A0中，每一个瞳孔动作样本图像的采集步骤包括：
当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；
对获取的脸部图像样本进行预处理；
对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。
其中，当用户双眼处于所述瞳孔动作样本图像对应的状态时，在图像采集单元的控制下，打开摄像头并获取用户在所述状态下的脸部图像样本。
采用图像预处理单元对脸部图像样本进行预处理，以提高脸部图像样本的信噪比和抑制背景噪声，以便最真实的还原原始脸部图像样本信息，为后续处理提供基础。图像预处理采用的算法包括：图像光照校正和图像降噪两大部分。
图像光照校正主要是对原始特定信息图中夹杂的一些变化信息（如光照变化、角度变化等）的处理，可采用的方法有但不局限于：Camma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，能去除原始信息图中的一些无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是一种针对图像对比度调整的方法，能增强图像局部对比度。
图像降噪主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等，常用的方法有均值滤波、中值滤波和高斯滤波等。
采用人脸检测与定位单元对预处理后的脸部图像样本进行人脸检测和定位，其中人脸检测与定位算法目前已经比较成熟，在此不细述，可采用的方法有AdaBoost算法和肤色检测算法，但并不局限于此。
当检测到预处理后的脸部图像样本中包含人脸图像时，对人脸图像进行定位后，在图像中的目标仅保留眼睛和瞳孔，其它信息都去除（如采用黑色填充），以双眼的中点作为坐标原点（0，0），在图像中建立二维坐标，在完全包含眼睛和瞳孔的情况下截取图像宽度为w、高度为h，然后存储截取的图像，即得到该状态下的瞳孔动作样本图像。
如图4所示，为本实施例所采集的多个瞳孔动作样本图像的示意图。当采用完所述多个瞳孔动作样本图像，即得到瞳孔动作样本图像集，然后建立瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系。本实施例所建立的瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间所建立的一对一映射关系如上表一所示。
如图6所示，本发明实施例提供的基于瞳孔跟踪的阅读控制装置10包括：
图像采集和处理模块11，用于当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；
瞳孔动作匹配模块12，用于将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；
瞳孔动作映射模块13，用于获取所述瞳孔动作样本图像所映射的阅读指令；
瞳孔动作执行模块14，用于执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。
如图7所示，所述图像采集和处理模块11包括：
图像采集单元111，包括摄像头，用于当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；
图像预处理单元112，用于对获取后的图像进行预处理；
人脸检测与定位单元113，用于对预处理后的图像进行人脸检测与定位，以获取人脸图像中用户的当前眼部图像。
当用户阅读显示设备的显示屏上的显示内容时，图像采集单元111控制摄像头获取显示屏前方的图像；图像预处理单元112对获取的图像进行预处理；人脸检测与定位单元113对预处理后的图像进行人脸检测，如果检测到预处理后的图像中包含人脸图像，则对人脸图像进行定位并获取人脸图像中用户的当前眼部图像；否则，图像采集单元111控制摄像头再次获取显示设备的显示屏前方的图像。
采用图像预处理单元112对获取的图像进行预处理，以提高图像的信噪比和抑制背景噪声，以便最真实的还原原始图像信息，为后续处理提供基础。图像预处理采用的算法包括：图像光照校正和图像降噪两大部分。
图像光照校正主要是对原始特定信息图中夹杂的一些变化信息（如光照变化、角度变化等）的处理，可采用的方法有但不局限于：Camma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，能去除原始信息图中的一些无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是一种针对图像对比度调整的方法，能增强图像局部对比度。
图像降噪主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等，常用的方法有均值滤波、中值滤波和高斯滤波等。
采用人脸检测与定位单元113对预处理后的图像进行人脸检测和定位，其中人脸检测与定位算法目前已经比较成熟，在此不细述，可采用的方法有AdaBoost算法和肤色检测算法，但并不局限于此。
当检测到预处理后的图像中包含人脸图像时，对人脸图像进行定位后，在图像中的目标仅保留眼睛和瞳孔，其它信息都去除（如采用黑色填充），以双眼的中点作为坐标原点（0，0），在图像中建立二维坐标，在完全包含眼睛和瞳孔的情况下截取图像宽度为w、高度为h，然后存储截取的图像，即获取到人脸图像中用户的当前眼部图像fn。对瞳孔位置进行定位时，可以采用将当前眼部图像fn与双眼正常的背景模板图对比即可得知瞳孔的具体坐标值，假设当前眼部图像fn与背景模板图对比时（即坐标对应的像素值相减），得到大部分像素点的相减结果为0，小部分像素点的相减结果为负数，去除该大部分像素点（该大部分像素点为背景模板的位置，用0填充），剩下的一部分像素点就是瞳孔的实际位置，即可获取当前眼部图像fn的左、右眼瞳孔位置。
在获取当前眼部图像fn的左、右眼瞳孔位置后，再以双眼的中点作为坐标原点（0，0），计算得到当前眼部图像fn中左、右眼瞳孔中心的坐标分别为（-n，m）、（n，m）或（-n，-m）、（n，-m），其中，n为左、右眼瞳孔中心距x轴的距离，m为左、右眼瞳孔中心距y轴的距离。
如图3所示，为当前眼部图像fn为双眼向左时的示意图，获取到左、右眼瞳孔中心的坐标分别为（-n，0）、（n，0），即左、右眼瞳孔中心距x轴的距离均为n，左、右眼瞳孔中心距离y轴的距离均为0。
瞳孔动作样本图像集包括多个瞳孔动作样本图像，如图4中的（1）～（8）所示，F0～F7分别双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像和右眼闭左眼睁样本图像的示意图。其中，每一个瞳孔动作样本图像均为一宽度为w、高度为h的二维图像，图像中仅保留眼睛和瞳孔，并以双眼的中点作为坐标原点（0，0），在图像中建立二维坐标，其中：
对于双眼正常直视样本图像，左、右眼瞳孔中心距离坐标原点（0，0）的距离定义为a，则左、右眼瞳孔中心的坐标分别为（-a，0）、（a，0）；
对于双眼向右样本图像和双眼向左样本图像；左、右眼瞳孔中心相对于双眼正常直视时分别向左和向右偏离的距离定义为b，则左眼瞳孔中心的坐标分别为（-a+b，0）、（-a-b，0），右眼瞳孔中心的坐标分别为（a+b，0）、（a-b，0）；
对于双眼向上样本图像和双眼向下样本图像，左、右眼瞳孔中心相对于双眼正常直视时分别向上和向下偏离的距离定义为c，则左眼瞳孔中心的坐标分别为（-a，c）、（-a，-c），右眼瞳孔中心的坐标分别为（a，c）、（a，-c）;
对于双眼闭眼样本图像，左、右眼瞳孔中心的与双眼正常直视时的坐标保持一致，为区别这两种情况，此时在双眼正常的坐标基础上增加一个固定的值p以示区别，将双眼闭眼样本图像中左、右眼瞳孔中心的坐标分别定义为（-a-p，0）、（a+p，0），其中p≠b；
对于左眼闭右眼睁样本图像，同双眼闭眼样本图像的处理，将左眼闭右眼睁样本图像中左、右眼瞳孔中心的坐标分别定义为（-a-p，0）、（a，0），其中p≠b；
对于右眼闭左眼睁样本图像，同双眼闭眼样本图像的处理，将右眼闭左眼睁样本图像中左、右眼瞳孔中心的坐标分别定义为（-a，0）、（a+p，0），其中p≠b。
当获取用户的当前眼部图像后，采用瞳孔动作匹配模块12将所述当前眼部图像与瞳孔动作样本图像集进行匹配，本实施例中，瞳孔动作匹配模块定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi的距离函数值dni如下式（2）所示：
dni=|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)| （2）
上式（2）中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；
以下以本实施例八个瞳孔动作样本图像为例进行具体说明，当前眼部图像fn与瞳孔动作样本图像集中各瞳孔动作样本图像Fi（i=1～8）的距离函数值dni分别为：
dn1=|fn(x1)-F1(x1)|+|fn(y1)-F1(y1)|+|fn(x2)-F1(x2)|+|fn(y2)-F1(y2)|
dn2=|fn(x1)-F2(x1)|+|fn(y1)-F2(y1)|+|fn(x2)-F2(x2)|+|fn(y2)-F2(y2)|
dn3=|fn(x1)-F3(x1)|+|fn(y1)-F3(y1)|+|fn(x2)-F3(x2)|+|fn(y2)-F3(y2)|
dn4=|fn(x1)-F4(x1)|+|fn(y1)-F4(y1)|+|fn(x2)-F4(x2)|+|fn(y2)-F4(y2)|
dn5=|fn(x1)-F5(x1)|+|fn(y1)-F5(y1)|+|fn(x2)-F5(x2)|+|fn(y2)-F5(y2)|
dn6=|fn(x1)-F6(x1)|+|fn(y1)-F6(y1)|+|fn(x2)-F6(x2)|+|fn(y2)-F6(y2)|
dn7=|fn(x1)-F7(x1)|+|fn(y1)-F7(y1)|+|fn(x2)-F7(x2)|+|fn(y2)-F7(y2)|
dn8=|fn(x1)-F8(x1)|+|fn(y1)-F8(y1)|+|fn(x2)-F8(x2)|+|fn(y2)-F8(y2)|
其中，
dn1表示fn与F1的距离函数值，即当前眼部图像fn与双眼正常直视样本图像之间的距离函数值，F1(x1)=-a，F1(y1)=0，F1(x2)=a、F1(y2)=0；
dn2表示fn与F2的距离函数值，即当前眼部图像fn与双眼向右样本图像之间的距离函数值，F2(x1)=-a+b，F2(y1)=0，F2(x2)=a+b、F2(y2)=0；
dn3表示fn与F3的距离函数值，即当前眼部图像fn与双眼向左样本图像之间的距离函数值，F3(x1)=-a-b，F3(y1)=0，F3(x2)=a-b、F3(y2)=0；
dn4表示fn与F4的距离函数值，即当前眼部图像fn与双眼向上样本图像之间的距离函数值，F4(x1)=-a，F4(y1)=c，F4(x2)=a、F4(y2)=c；
dn5表示fn与F5的距离函数值，即当前眼部图像fn与双眼向下样本图像之间的距离函数值，F5(x1)=-a，F5(y1)=-c，F5(x2)=a、F5(y2)=-c；
dn6表示fn与F6的距离函数值，即当前眼部图像fn与双眼闭眼样本图像之间的距离函数值，F6(x1)=-a-p，F6(y1)=0，F6(x2)=a+p、F6(y2)=0；
dn7表示fn与F7的距离函数值，即当前眼部图像fn与左眼闭右眼睁样本图像之间的距离函数值，F7(x1)=-a-p，F7(y1)=0，F7(x2)=a、F7(y2)=0；
dn8表示fn与F8的距离函数值，即当前眼部图像fn与右眼闭左眼睁样本图像之间的距离函数值，F8(x1)=-a，F8(y1)=0，F8(x2)=a+p、F8(y2)=0。
以图3所示的当前眼部图像fn为例，将其左、右眼瞳孔中心的坐标（-n，0）、（n，0）依次代入以上计算公式，即可求得dn0～dn7。
瞳孔动作匹配模块12将dni中的最小值定义为阀值T，即相似度最大的i值，其中
T=min(dn1,dn2,dn3,dn4,dn5,dn6,dn7,dn8)
当T为最小的i即为识别结果，对图3所示的当前眼部图像fn，进行识别的结果为i=3，即当前眼部图像fn属于双眼向左样本图像。
由于闭眼时瞳孔中心的坐标与睁眼时保持一致，为了区别这两种情况，在计算获取当前眼部图像fn中瞳孔中心的坐标之前，先对瞳孔面进行计算，当检测到瞳孔的面积大于预定值时，则认为该瞳孔已闭，不计算该瞳孔中心的坐标，而直接在双眼正常的坐标基础上增加一个固定的值p以示区别，其中，左眼闭时左眼瞳孔中心的坐标直接设置为（-a-p，0），右眼闭时左眼瞳孔中心的坐标直接设置为（a+p，0）。当检测到瞳孔的面积未超过预定值时，则认为该瞳孔未闭，正常计算获得该瞳孔中心的坐标。
在上式（2）中，通过采用对双眼瞳孔中心的坐标进行相关计算来对当前眼部图像fn进行识别，但对当前眼部图像fn进行识别的方式并不局限如此，还可以采用其它方式，例如采用对双眼瞳孔所有点的x坐标集合和y坐标集合进行相关计算或采用对双眼瞳孔所有点的x坐标平均值和y坐标平均值进行相关计算来对当前眼部图像fn进行识别。
当通过采用对双眼瞳孔所有点的x坐标集合和y坐标集合进行相关计算来对当前眼部图像fn进行识别时，则在上式（2）中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合。
在此种情况下，各瞳孔动作样本图像Fi中双眼瞳孔所有点的x坐标集合和y坐标集合可在制作瞳孔动作样本图像Fi时分别通过计算得到相应的值，然后在对当前眼部图像fn进行识别时分别将相应的值代入上述式（2）进行计算，得到对应的dni。
当通过采用双眼瞳孔所有点的x坐标平均值和y坐标平均值进行相关计算来对当前眼部图像fn进行识别时，则在上式（2）中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值。
在此种情况下，各瞳孔动作样本图像Fi中双眼瞳孔所有点的x坐标平均值和y坐标平均值可在制作瞳孔动作样本图像Fi时分别通过计算得到相应的值，然后在对当前眼部图像fn进行识别时分别将相应的值代入上述式（2）进行计算，得到对应的dni。
瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立有一对一映射关系，即每一瞳孔动作样本图像代表一个与之对应的阅读指令。在本实施例中，瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间的映射关系如上表一所示，表一中的映射关系只是作为示例，并不局限如此，可以根据个人喜爱对映射关系进行变换。
当得到所述当前眼部图像所属的瞳孔动作样本图像后，瞳孔动作映射模块13通过查找瞳孔动作映射表，获取所述瞳孔动作样本图像所映射的阅读指令，并输出给瞳孔动作执行模块14。
以图3所示的当前眼部图像fn为例，通过匹配得到其所属于双眼向左样本图像，则获取到该瞳孔动作样本图像所映射的阅读指令为向左翻页。
当获瞳孔动作执行模块14接收到所述瞳孔动作样本图像所映射的阅读指令后，将执行所述阅读指令，以对显示设备的显示屏上的显示内容进行相应的阅读操作。
以图3所示的当前眼部图像fn为例，将对显示设备的显示屏上的显示内容进行向左翻页的阅读操作。
所述图像采集和处理模块11还用于采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，所述瞳孔动作映射模块13还用于在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系。
其中，所述瞳孔动作样本图像集包括双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像及右眼闭左眼睁样本图像，所述阅读指令集包括正常阅读指令、向右翻页指令、向左翻页指令、向上移动页面指令、向下移动页面指令、确认指令、返回指令及调用菜单指令。所述阅读指令集所包括的阅读指令根据具体的阅读操作需求而定，可以是包括上述阅读指令中的一个或多个，所述瞳孔动作样本图像集所包括瞳孔动作样本图像的数量则根据要实现的阅读指令的个数而定。
所述图像采集和处理模块，还用于当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；
所述图像采集单元111，还用于当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本。
所述图像预处理单元112，还用于对获取的脸部图像样本进行预处理。
所述人脸检测与定位单元113，还用于对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。
每一个瞳孔动作样本图像的采集过程为：
当用户双眼处于所述瞳孔动作样本图像对应的状态时，图像采集单元111控制摄像头获取用户在所述状态下的脸部图像样本；
图像预处理单元112对获取的脸部图像样本进行预处理；
人脸检测与定位单元113对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。
采用图像预处理单元112对脸部图像样本进行预处理，以提高脸部图像样本的信噪比和抑制背景噪声，以便最真实的还原原始脸部图像样本信息，为后续处理提供基础。图像预处理采用的算法包括：图像光照校正和图像降噪两大部分。
图像光照校正主要是对原始特定信息图中夹杂的一些变化信息（如光照变化、角度变化等）的处理，可采用的方法有但不局限于：Camma校正、图像亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性变换通过对图像像素点的非线性调整，能去除原始信息图中的一些无关的变化信息；直方图均衡化和最高亮度点光照补偿算法是一种针对图像对比度调整的方法，能增强图像局部对比度。
图像降噪主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等，常用的方法有均值滤波、中值滤波和高斯滤波等。
采用人脸检测与定位单元113对预处理后的脸部图像样本进行人脸检测和定位，其中人脸检测与定位算法目前已经比较成熟，在此不细述，可采用的方法有AdaBoost算法和肤色检测算法，但并不局限于此。
当检测到预处理后的脸部图像样本中包含人脸图像时，对人脸图像进行定位后，在图像中的目标仅保留眼睛和瞳孔，其它信息都去除（如采用黑色填充），以双眼的中点作为坐标原点（0，0），在图像中建立二维坐标，在完全包含眼睛和瞳孔的情况下截取图像宽度为w、高度为h，然后存储截取的图像，即得到该状态下的瞳孔动作样本图像。
如图4所示，为本实施例所采用的多个瞳孔动作样本图像的示意图。当采用完全部瞳孔动作样本图像，即得到瞳孔动作样本图像集，然后在瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系。本实施例瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间所建立的一对一映射关系如上表一所示。
如图8所示，本发明实施例提供的显示设备100包括：
显示屏20，用于显示内容供用户阅读；
上述的基于瞳孔跟踪的阅读控制装置10，用于跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作。
上述基于瞳孔跟踪的阅读控制方法、控制装置及显示设备，通过跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作，能够实现对显示内容的实时操作，能够使我们的生活更加智能化、更加便捷化及更具有人性化。
本发明并不局限于以上实施方式，在上述实施方式公开的技术内容下，还可以进行各种变化。凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种基于瞳孔跟踪的阅读控制方法，其特征在于，包括如下步骤：
步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；
步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；
步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；
步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作；
在所述步骤A之前还包括：步骤A0、采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，并在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系；
所述步骤A0中，所述瞳孔动作样本图像集包括双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像及右眼闭左眼睁样本图像中的至少一种，所述阅读指令集包括正常阅读指令、向右翻页指令、向左翻页指令、向上移动页面指令、向下移动页面指令、确认指令、返回指令及调用菜单指令中的至少一种；
所述步骤B中，将所述当前眼部图像与瞳孔动作样本图像集进行匹配时，
定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像Fi(i>1)的距离函数值为：
dni＝|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)|
上式中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值；
定义dni中的最小值为阀值T，T＝min(dn1,......,dni)，阀值T所对应的i代表的瞳孔动作样本图像即为所述当前眼部图像所属的瞳孔动作样本图像。
2.如权利要求1所述的基于瞳孔跟踪的阅读控制方法，其特征在于，
所述步骤A0中，每一个瞳孔动作样本图像的采集步骤包括：当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；对获取的脸部图像样本进行预处理；
对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。
3.如权利要求1所述的基于瞳孔跟踪的阅读控制方法，其特征在于，所述步骤A具体包括：
A1、当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；
A2、对获取的图像进行预处理；
A3、对预处理后的图像进行人脸检测，如果检测到预处理后的图像中包含人脸图像，则对人脸图像进行定位并获取人脸图像中用户的当前眼部图像；否则，执行步骤A1。
4.一种基于瞳孔跟踪的阅读控制装置，其特征在于，包括：
图像采集和处理模块，用于当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；
瞳孔动作匹配模块，用于将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；
瞳孔动作映射模块，用于获取所述瞳孔动作样本图像所映射的阅读指令；
瞳孔动作执行模块，用于执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作；
所述图像采集和处理模块包括：
图像采集单元，包括摄像头，用于当用户阅读显示设备的显示屏上的显示内容时，获取显示屏前方的图像；图像预处理单元，用于对获取后的图像
进行预处理；人脸检测与定位单元，用于对预处理后的图像进行人脸检
测与定位，以获取人脸图像中用户的当前眼部图像；
所述图像采集和处理模块还用于采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，所述瞳孔动作映射模块还用于在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系；
所述瞳孔动作匹配模块具体用于：
定义当前眼部图像fn与瞳孔动作样本图像集中瞳孔动作样本图像
Fi(i>1)的距离函数值为：
dni＝|fn(x1)-Fi(x1)|+|fn(y1)-Fi(y1)|+|fn(x2)-Fi(x2)|+|fn(y2)-Fi(y2)|
上式中：
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔中心的x坐标和y坐标；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔中心的x坐标和y坐标；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔中心的x坐标和y坐标；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔中心的x坐标和y坐标；或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标集合和y坐标集合；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标集合和y坐标集合；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者
fn(x1)、fn(y1)分别代表当前眼部图像fn中左眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x1)、Fi(y1)分别代表瞳孔动作样本图像Fi中左眼瞳孔所有点的x坐标平均值和y坐标平均值；fn(x2)、fn(y2)分别代表当前眼部图像fn中右眼瞳孔所有点的x坐标平均值和y坐标平均值；Fi(x2)、Fi(y2)分别代表瞳孔动作样本图像Fi中右眼瞳孔所有点的x坐标平均值和y坐标平均值；
定义dni中的最小值为阀值T，T＝min(dn1,......,dni)，阀值T所对应的i代表的瞳孔动作样本图像即为所述当前眼部图像所属的瞳孔动作样本图像。
5.如权利要求4所述的基于瞳孔跟踪的阅读控制装置，其特征在于，所述图像采集和处理模块还用于当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；所述图像采集单元还用于当用户双眼处于所述瞳孔动作样本图像对应的状态时，获取用户在所述状态下的脸部图像样本；所述图像预处理单元还用于对获取的脸部图像样本进行预处理；所述人脸检测与定位单元还用于对预处理后的脸部图像样本进行检测和定位，以获取脸部图像样本中用户的眼部图像样本，得到所述瞳孔动作样本图像。
6.一种显示设备，包括用于显示内容供用户阅读的显示屏，其特征在于，所述显示设备还包括如权利要求4至5中任意一项所述的基于瞳孔跟踪的阅读控制装置，所述基于瞳孔跟踪的阅读控制装置用于跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310390295.3A CN103472915B (zh) | 2013-08-30 | 2013-08-30 | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310390295.3A CN103472915B (zh) | 2013-08-30 | 2013-08-30 | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103472915A CN103472915A (zh) | 2013-12-25 |
| CN103472915B true CN103472915B (zh) | 2017-09-05 |
Family
ID=49797798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310390295.3A Active CN103472915B (zh) | 2013-08-30 | 2013-08-30 | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103472915B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866082B (zh) * | 2014-02-25 | 2019-03-26 | 北京三星通信技术研究有限公司 | 基于用户行为进行阅览的方法和装置 |
| CN104239875B (zh) * | 2014-09-30 | 2017-08-08 | 华勤通讯技术有限公司 | 字符串识别、翻译方法及设备 |
| CN107111928B (zh) * | 2014-11-17 | 2020-07-31 | 洋马动力科技有限公司 | 远程控制作业机用显示系统 |
| CN104571508A (zh) * | 2014-12-29 | 2015-04-29 | 北京元心科技有限公司 | 操作移动终端显示的数据的方法 |
| TWI571768B (zh) * | 2015-04-29 | 2017-02-21 | 由田新技股份有限公司 | 使用者介面同步系統、裝置、方法、電腦可讀取記錄媒體、及電腦程式產品 |
| CN110162185A (zh) * | 2019-06-10 | 2019-08-23 | 京东方科技集团股份有限公司 | 一种智能显示方法及装置 |
| CN110231871A (zh) * | 2019-06-14 | 2019-09-13 | 腾讯科技（深圳）有限公司 | 页面阅读方法、装置、存储介质及电子设备 |
| CN113126762B (zh) * | 2021-04-21 | 2022-08-16 | 惠东县人民医院 | 一种用于监测医疗行为的医疗数据核查装置及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
| CN102163377A (zh) * | 2010-02-24 | 2011-08-24 | 英特尔公司 | 面部追踪电子阅读器 |
| CN102253714A (zh) * | 2011-07-05 | 2011-11-23 | 北京工业大学 | 基于视觉决策的选择触发方法 |
| CN102436304A (zh) * | 2011-11-14 | 2012-05-02 | 华为技术有限公司 | 一种屏幕横竖显示模式切换的方法和终端 |
-
2013
- 2013-08-30 CN CN201310390295.3A patent/CN103472915B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
| CN102163377A (zh) * | 2010-02-24 | 2011-08-24 | 英特尔公司 | 面部追踪电子阅读器 |
| CN102253714A (zh) * | 2011-07-05 | 2011-11-23 | 北京工业大学 | 基于视觉决策的选择触发方法 |
| CN102436304A (zh) * | 2011-11-14 | 2012-05-02 | 华为技术有限公司 | 一种屏幕横竖显示模式切换的方法和终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103472915A (zh) | 2013-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103472915B (zh) | 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备 | |
| Gurav et al. | Real time finger tracking and contour detection for gesture recognition using OpenCV | |
| CN104318558B (zh) | 复杂场景下基于多信息融合的手势分割方法 | |
| CN106056064B (zh) | 一种人脸识别方法及人脸识别装置 | |
| CN105425964B (zh) | 一种手势识别方法和系统 | |
| KR20200130440A (ko) | 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스(method for identifying an object within an image and mobile device for executing the method) | |
| CN105739702A (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
| CN108197534A (zh) | 一种人头部姿态检测方法、电子设备及存储介质 | |
| CN103226388A (zh) | 一种基于Kinect的手写方法 | |
| CN110531853B (zh) | 一种基于人眼注视点检测的电子书阅读器控制方法及系统 | |
| CN105912126B (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
| CN110705454A (zh) | 一种具有活体检测功能的人脸识别方法 | |
| Vishwakarma et al. | Simple and intelligent system to recognize the expression of speech-disabled person | |
| CN106814853A (zh) | 一种基于机器学习的眼控跟踪方法 | |
| Vivek Veeriah et al. | Robust hand gesture recognition algorithm for simple mouse control | |
| JP2007163864A (ja) | 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体 | |
| CN106909895A (zh) | 一种基于随机投影多核学习的手势识别方法 | |
| Wu et al. | Appearance-based gaze block estimation via CNN classification | |
| Cristanti et al. | Eye gaze tracking to operate android-based communication helper application | |
| CN108268125A (zh) | 一种基于计算机视觉的运动手势检测及跟踪方法 | |
| CN109947243A (zh) | 基于触摸手检测的智能电子设备手势捕获与识别技术 | |
| CN108108648A (zh) | 一种新型的手势识别系统装置及方法 | |
| CN109960406A (zh) | 基于双手手指之间动作的智能电子设备手势捕获与识别技术 | |
| CN103400118B (zh) | 一种映射关系自适应调整的手势控制方法 | |
| CN114296543A (zh) | 一种指尖力检测及手势识别的智能交互系统及智能指环 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |