CN104125405B - 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法 - Google Patents

Abstract

本发明利用眼球追踪获得图像或视频帧的对焦点，在对焦点的基础上计算感兴趣区域，对感兴趣区域和非感兴趣区域采用不同的编码策略，使用更多的码率编码感兴趣区域，而非感兴趣区域则使用更少的码率编码，利于压缩，大大节省了存储空间，更有利于提升视频编码的主观体验。

Description

基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法

技术领域

本发明属于图像识别技术领域，具体涉及一种基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法。

背景技术

目前，高清晰度视频格式（High Definition，HD）越来越多的被用于各种视频录制与实时视频通信中。然而，存储和传输HD视频码流为存储设备和网络带宽带来了极大的挑战。尤其是对于便携式录像设备，例如智能手机和DV机，由于其存储空间受限，限制了HD视频的广泛使用。一种有效的解决方案是通过划分视频中感兴趣区域和非感兴趣区域，对不同区域使用不同编码策略，使用更多的码率编码感兴趣区域，反之亦然。

在传统的基于感兴趣区域的视频编码方法中，大多数采用人脸识别、运动识别或者通过数学模型预测图像中的感兴趣区域，然后对不同区域采用不同的量化参数进行编码。然而，图片和视频是拍摄者通过自己对场景的体会和理解，调整相机各个参数，尤其是调整对焦点，使得观看者能注意到拍摄者的关注点。而拍摄者的关注点，即对焦点所在的某一区域，会成为天然的感兴趣区域。这个感兴趣区域可以真正体现出拍摄者的拍摄意图，更有利于提升视频编码的主观体验。

然而，对于非专业拍摄者来说，无法快速准确的调整对焦点，从而使拍摄出的视频无法准确表达拍摄者的意图。

随着近年来智能可移动设备的迅速发展和广泛普及，所集成的摄像头的传感器像素越来越高。尤其是前置摄像头的引入，为视频应用提供了新的空间。在三星Galaxy S4手机上，率先推出了使用前置摄像头跟踪眼球运动，进行文本和网页翻页的功能。专利《一种采用眼球控制对焦的图像采集系统》（CN103338331A）中，提出使用智能手机前置摄像头获取拍摄者的关注点来进行自动对焦的方案。

专利《一种视频编解码方法、系统》（CN102905136A）中，提出一种通过观看者眼球聚焦点来划分感兴趣区域并编码的方案，但是，该专利提出的感兴趣区域划分方案比较粗糙，无法准确的判定感兴趣区域，提出的基于感兴趣区域的编码方式不合理，其中提到需要将原视频划分为若干独立视频然后独立编码，这将引入图像边缘的高频信息，不利于压缩。

发明内容

本发明目的是提供一种基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法。

为达到上述目的，本发明采用的技术方案是：一种基于眼球追踪与自动对焦系统的图像感兴趣区域的提取方法，通过在相机或摄像机中设置可判断眼球关注位置的眼球追踪传感器来获取图像感兴趣区域；具体步骤如下：

第一步、建立图像或视频帧矩阵

根据相机或摄像机的像素m×n，对应建立一m×n的图像或视频帧矩阵R；

第二步、获取对焦点

通过眼球追踪传感器获取眼球在相机或摄像机的取景屏幕的关注点，该关注点在矩阵R中的坐标为（x，y），即对焦点；

第三步、自动对焦

将对焦点作为自动对焦的期望位置，并通过相机或摄像机的自动对焦系统进行自动对焦；

第四步、获取感兴趣区域

自动对焦完成后，根据相机或者摄像机自动对焦系统的不同，采取不同的获取感兴趣区域的方案，其中：

（1）对于使用硬件自动对焦器的相机或摄像机，通过判断合焦点连通性获取感兴趣区域，步骤如下：

I. 定义矩阵Q来记录硬件自动对焦器对焦后的情况，并按照以下规则将情况记录在矩阵Q中：对焦点标注为第一状态，合焦点标注为第二状态，非合焦点标注为第三状态；

II. 找到矩阵Q中标注为第一状态的像素点，将其标记为第四状态，然后查找该像素点相邻的八个像素点中标注为第二状态的点，将其标记为第一状态；

III. 重复步骤II，直到不存在标注为第一状态的像素点；

IV. 所有标注为第四状态的点即为与合焦点连通的点；

V. 将所有与合焦点连通的点扩展为一个区域q，由于矩阵Q和矩阵R的尺寸不同，因此需要将矩阵Q中的区域q按照尺寸关系映射到矩阵R中，记录为r，即所述感兴趣区域；

（2）对于使用软件对焦算法实现自动对焦的相机或摄像机，则通过软件算法获取感兴趣区域，算法如下：

I. 获得原视频帧，将原视频帧R的全部或者合焦点附近的一部分表示为P，P为灰度图；

II.设计范围为f的高斯滤波器； 其中，；

III. 求原视频帧与高斯模糊后的新视频帧的差距，使用差的绝对值（）来判断原视频帧和新视频帧之间的差距；

IV. 差距最大的位置为合焦区域中的物体的边界和物体中的纹理细节；

V. 将步骤IV的边界围成一个闭合区域p，按照矩阵P和矩阵R的关系将p映射到矩阵R中，记录为r，即所述感兴趣区域。

上述技术方案中的有关内容解释如下：

1、上述方案中，所述对焦点的数量为至少一个。

2、上述方案中，对于支持自动对焦的智能手机和平板电脑等设备，眼球跟踪传感器可以为前置摄像头，但不限于前置摄像头；对于数码相机和数码摄像机等设备，如果使用取景屏幕来监视拍摄拍摄画面，则需要在屏幕附近加装用于跟踪眼球的摄像头；由于取景器较小，拍摄者的视线也非常有限，所以不推荐在使用取景器的场合跟踪眼球运动。

3、上述方案中，由于人眼会出现无法控制的抖动，因此需要对识别出的关注点位置坐标进行平滑滤波；由于拍摄者会眨眼，在眨眼期间，关注点位置将维持原位置。

4、上述方案中，由于各种拍摄设备大多通过专门的算法自动对焦，因此对焦速度会很快，尤其是对于高级数码相机以及单反相机，其中集成了多点自动对焦硬件系统，采用特殊的光学元件控制对焦系统，更加加快的对焦速度。因此，本发明不再对自动对焦系统进行改进。

5、上述方案中，所得到的感兴趣区域可以是不规则形状，但最大尺寸可以通过参数设定，以免将感兴趣区域范围识别的过大，失去其意义。

6、上述方案中，所述眼球追踪技术是一项科学应用技术，一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求；眼球追踪的相关内容可参考以下文献：

① Ruian Liu; Zhou Xin; Nailin Wang; Mimi Zhang, "Adaptive Regulationof CCD Camera in Eye Gaze Tracking System," Image and Signal Processing,2009. CISP '09. 2nd International Congress on , vol., no., pp.1,4, 17-19 Oct.2009

② Ruian Liu; Shijiu Jin; Xiaorong Wu, "Real time auto-focusalgorithm for eye gaze tracking system," Intelligent Signal Processing andCommunication Systems, 2007. ISPACS 2007. International Symposium on , vol.,no., pp.742,745, Nov. 28 2007-Dec. 1 2007

③ Chan Chao Ning; Shunichiro, O.; Chern-Sheng Lin, "Development ofan active gaze tracking system in unrestricted posture," Control, Automationand Systems, 2007. ICCAS '07. International Conference on , vol., no.,pp.1348,1353, 17-20 Oct. 2007

④ Ba Linh Nguyen, "Eye Gaze Tracking," Computing and CommunicationTechnologies, 2009. RIVF '09. International Conference on , vol., no., pp.1,4, 13-17 July 2009。

7、上述方案中，所述合焦点中合焦的意思是图像清晰，在硬件对焦器中，所有的合焦点可以直接被判断并显示在对焦器上。

8、上述方案中，所述连通性判断算法的步骤V中“将所有与合焦点连通的点扩展为一个区域”，由于硬件对焦器上的点可能不是均匀分布的，有些地方稀疏有些地方密集，所以需要根据各点之间的间隔来扩展成一个区域。

9、上述方案中，所述软件判断法步骤I“将原视频帧的全部或者合焦点附近的一部分表示为P”中的“附近”和“一部分”的含义在于：由于相机处理器可能速度不够快，不足以实时处理全部图像时，可以采取折中方案，具体尺寸大小可以根据处理器来决定，因为合焦点附近是最大可能的感兴趣区域，如果处理器足够快则对整个图像进行处理；其中P为灰度图，如果原视频帧为RGB三色图像，先通过RGB转换为YUV色彩空间，然后只使用Y分量作为灰度图。

本发明工作原理及优点：本发明利用眼球追踪获得图像或视频帧的对焦点，在对焦点的基础上计算感兴趣区域，对感兴趣区域和非感兴趣区域采用不同的编码策略，使用更多的码率编码感兴趣区域，而非感兴趣区域则使用更少的码率编码，利于压缩，大大节省了存储空间，更有利于提升视频编码的主观体验。

附图说明

附图1为本发明系统框图；

附图2为本发明中使用手机或平板电脑拍摄视频的示意图；

附图3为本发明实施例中硬件自动对焦器完成对焦后的情况示意图。

以上附图中：1、关注点（即对焦点）；2、合焦点；3、非合焦点；4、场景；5、拍摄设备；6、前置摄像头；7、拍摄者。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例：一种基于眼球追踪与自动对焦系统的图像感兴趣区域的提取方法

用于获取图像或视频帧的相机或摄像机中设置有可判断眼球关注位置的眼球追踪传感器；按照附图1中系统框图所示，具体步骤如下：

第一步、建立图像或视频帧矩阵

根据相机或摄像机的图像或视频帧尺寸，对应建立图像或视频帧矩阵R。

第二步、获取对焦点

通过眼球追踪传感器获取眼球在相机或摄像机的取景屏幕的关注点，该关注点在矩阵R中的坐标为（x，y），即对焦点。在附图2中描述了使用手机或者平板电脑等拍摄设备5拍摄视频的场景，拍摄者7持拍摄设备5拍摄场景4时，前置摄像头6用来获取眼球关注点，作为对焦点。

第三步、自动对焦

将对焦点作为自动对焦的期望位置，并通过相机或摄像机的自动对焦系统进行自动对焦。

第四步、获取感兴趣区域

自动对焦完成后，通过连通性判断算法或软件判断法判断以对焦点为中心的合焦区域，该合焦区域即该图像或视频帧的感兴趣区域，其中：

（1）对于如附图3所示的硬件自动对焦器的情况下，通过判断合焦点连通性来确定感兴趣区域，步骤如下：

I. 定义矩阵Q，将附图3所示的硬件自动对焦器对焦完成后的情况按照规则记录在矩阵Q中：

，

其中，如附图3所示，由于硬件自动对焦器上集成了51个对焦传感器，不便于在矩阵中表示，因此在矩阵中虚拟出对焦器四角缺少的对焦传感器，并表示为非合焦点。对焦点标注为“2”，合焦点标注为“1”，非合焦点标注为“0”，本实施例中，矩阵Q中“2”表示第一状态，“1”表示第二状态，“0”表示第三状态，“3”表示第四状态。

II. 找到矩阵Q中标注为“2”的像素点，将其标记为“3”，并查找该像素点相邻的八个像素点中标注为“1”的点，将其标记为“2”。

III. 重复步骤II，直到不存在标注为“2”的像素点，此时矩阵Q为

。

IV. 所有标注为“3”的点即为与合焦点连通的点。

V. 将所有与合焦点连通的点扩展为一个区域q，由于矩阵Q和矩阵R的尺寸不同，因此需要将矩阵Q中的区域q按照尺寸关系映射到矩阵R中，记录为r，即所述感兴趣区域；

（2）如附图2的场景中，使用手机或平板电脑作为拍摄设备，其一般不带有硬件对焦器，采用软件自动对焦算法实现自动对焦，对焦完成后，通过如下算法获取感兴趣区域：

I. 获得原视频帧，将原视频帧R的全部或者合焦点附近的一部分表示为P，因为合焦点附近是最大可能的感兴趣区域，P为灰度图，如果原视频帧为RGB三色图像，可以先通过RGB转换为YUV色彩空间，然后取Y分量作为灰度图。

II.设计范围为f的高斯滤波器 ； 其中，。

III. 求原视频帧与高斯模糊后的新视频帧的差距，使用差的绝对值（）来判断原视频帧和新视频帧之间的差距。

IV. 差距最大的位置为合焦区域中的物体的边界和物体中的纹理细节。

V. 将步骤IV中的边界围成一个闭合区域p，按照矩阵P和矩阵R的关系将p映射到矩阵R中，记录为r，即所述感兴趣区域。

上述实施例的对焦点只有一个，而在实际应用中，若对焦点为两个、三个甚至更多，本发明的方法也同样适用。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于眼球追踪与自动对焦系统的图像感兴趣区域的提取方法，其特征在于：用于获取图像或视频帧的相机或摄像机中设置有可判断眼球关注位置的眼球追踪传感器；具体步骤如下：

第一步、建立图像或视频帧矩阵

根据相机或摄像机的像素m×n，对应建立一m×n的图像或视频帧矩阵R；

第二步、获取对焦点

通过眼球追踪传感器获取眼球在相机或摄像机的取景屏幕的关注点，该关注点在矩阵R中的坐标为（x，y），即对焦点；

第三步、自动对焦

将对焦点作为自动对焦的期望位置，并通过相机或摄像机的自动对焦系统进行自动对焦；

第四步、获取感兴趣区域

自动对焦完成后，根据相机或者摄像机自动对焦系统的不同，采取不同的获取感兴趣区域的方案，其中：

（1）对于使用硬件自动对焦器的相机或摄像机，通过判断合焦点连通性获取感兴趣区域，步骤如下：

I. 定义矩阵Q来记录硬件自动对焦器对焦后的情况，并按照以下规则将情况记录在矩阵Q中：对焦点标注为第一状态，合焦点标注为第二状态，非合焦点标注为第三状态；

II. 找到矩阵Q中标注为第一状态的像素点，将其标记为第四状态，然后查找该像素点相邻的八个像素点中标注为第二状态的点，将其标记为第一状态；

III. 重复步骤II，直到不存在标注为第一状态的像素点；

IV. 所有标注为第四状态的点即为与合焦点连通的点；

V. 将所有与合焦点连通的点扩展为一个区域q，由于矩阵Q和矩阵R的尺寸不同，因此需要将矩阵Q中的区域q按照尺寸关系映射到矩阵R中，记录为r，即所述感兴趣区域；

（2）对于使用软件对焦算法实现自动对焦的相机或摄像机，则通过软件算法获取感兴趣区域，算法如下：

I. 获得原视频帧，将原视频帧R的全部或者合焦点附近的一部分表示为P，P为灰度图；

II.设计范围为f的高斯滤波器；其中，；

III. 求原视频帧与高斯模糊后的新视频帧的差距，使用差的绝对值()来判断原视频帧和新视频帧之间的差距；

IV. 差距最大的位置为合焦区域中的物体的边界和物体中纹理细节；

V. 将步骤IV中的边界围成一个闭合区域p，按照矩阵P和矩阵R的关系将p映射到矩阵R中，记录为r，即所述感兴趣区域。

2.根据权利要求1所述的图像感兴趣区域提取方法，其特征在于：所述对焦点的数量为至少一个。