CN103186233A

CN103186233A - 眼神定位全景互动控制方法

Info

Publication number: CN103186233A
Application number: CN2011104579128A
Authority: CN
Inventors: 杨青青; 飞苹果
Original assignee: SHANGHAI FEILAIFEIQU NEW MEDIA EXHIBITION DESIGN CO Ltd
Current assignee: Shanghai Feilai Exhibition Design Engineering Co.,Ltd.
Priority date: 2011-12-31
Filing date: 2011-12-31
Publication date: 2013-07-03
Anticipated expiration: 2031-12-31
Also published as: CN103186233B

Abstract

本发明涉及一种眼神定位全景互动控制方法，包括以下步骤：1)左右两侧的摄像头同时采集图像，并将其发送给控制器；2)控制器对接收的两幅图像进行图像校正和立体标定；3)处理器进行左图像人脸区域图像的选取；4)处理器在选取的人脸区域图像上进行面部区域的精确配准；5)筛选出面部区域内的角点信息；6)根据筛选出来的左图像的角点来寻找右图像中的对应点，并根据三角视差法来计算角点的空间坐标信息；7)将步骤6)得到所有角点的空间坐标信息进行最小二乘拟合，得到这些角点的中心坐标即空间中人脸的中心点，得到人脸的朝向。与现有技术相比，本发明具有简化了人眼定位技术，并可以实时获取到当前摄像头组前人脸的空间位置及朝向等优点。

Description

眼神定位全景互动控制方法

技术领域

本发明涉及一种人脸识别控制相关技术，尤其是涉及一种眼神定位全景互动控制方法。

背景技术

当前的多媒体行业已经不再是几年前摆放几个展柜播放几部电影就可以了，越来越多的展项需要与观众的互动。当前的多媒体行业中互动设备多为可触控式的，如触摸屏、按钮等，在过了新鲜期后也开始无法满足观众需求，越来越多的非接触式交互游戏开始显现。

目前市面上的非接触式的多半也只是以指令式为主：如在镜头前挥手，点头等，实时地对人的身体某个部分进行跟踪的很少，对于人脸的跟踪几乎没有发现。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种眼神定位全景互动控制方法。

本发明的目的可以通过以下技术方案来实现：

一种眼神定位全景互动控制方法，其特征在于，包括以下步骤：

1)左右两侧的摄像头同时采集图像，并将其发送给控制器；

2)控制器对接收的两幅图像进行图像校正和立体标定；

3)处理器进行左图像人脸区域图像的选取；

4)处理器在选取的人脸区域图像上进行面部区域的精确配准；

5)筛选出面部区域内的角点信息；

6)根据筛选出来的左图像的角点来寻找右图像中的对应点，并根据三角视差法来计算角点的空间坐标信息；

7)将步骤6)得到所有角点的空间坐标信息进行最小二乘拟合，得到这些角点的中心坐标即空间中人脸的中心点，得到人脸的朝向。

所述的步骤2)中的图像校正包括径向畸变校正和切向畸变校正。

所述的步骤2)中立体标定具体为：

畸变校正后的两幅图像进行行对应，使得两幅图像的对极线在同一水平线上，即一幅图像上任意一点与其在另一幅图像上的对应点具有相同的行号。

所述的步骤3)处理器进行左图像人脸区域图像的选取具体为：

31)通过输入已知的人脸样本图像及非人脸样本图像进行AdaBoost人脸训练，得到训练结果；

32)对摄像头采集的左图像分成多个矩形框，根据训练结果来判断每个矩形框内的图像是否为人脸，从而搜索出左图像中所有的人脸区域。

所述的步骤4)中的进行面部区域的精确配准为：

检测到的人脸区域中进行双向投影求取峰值点的方式确定眼睛、鼻子、嘴部三个特殊区域，具体为：

采用红外光源补光，人脸部分的皮肤为白色，眼睛、嘴部色彩偏暗，将图像分别在横向及纵向加合，即图像向X轴及Y轴投影：

a)向Y轴作投影积分，得到

{Value}_{y} = Σ_{x = 0.2 * width}^{0.8 * width} Lum (x, y)

其中Lum(x，y)为图像中x，y处的亮度值，Value_y为第y行的投影积分值，width为人脸区域图像宽度，获得三个极小值点，分别为眼睛、鼻子和嘴部的纵坐标点；

b)对图像下半部分向X轴作投影积分，得到

{Value}_{x} = Σ_{y = 0.45 * height}^{0.85 * height} Lum (x, y)

其中Lum(x，y)为图像中x，y处的亮度值，Value_x为第x列的投影积分值，height为人脸区域图像高度，获得一个极小值点，为嘴部中心点的横坐标点；

c)对图像上半部分向X轴作投影积分，得到

{Value}_{x} = Σ_{y = eyeH - 0.1 * height}^{eyeH + 0.18 * height} Lum (x, y)

其中Lum(x，y)为图像中x，y处的亮度值，Value_x为第x列的投影积分值，eyeH为步骤a中确定的人眼纵坐标值，height为人脸区域图像高度，获得两个极小值点，分别为两个眼睛中心点的横坐标点。

所述的角点信息包括嘴部中心点坐标和两个眼睛中心点坐标。

与现有技术相比，本发明具有简化了人眼定位技术，并可以实时获取到当前摄像头组前人脸的空间位置及朝向，为人脸实时非接触控制影像资料、机械等提供了可能方案，可以作为各种多媒体展示中亮点。

附图说明

图1为本发明的流程图；

图2为本发明的硬件结构示意图；

图3为本发明的三角视差法示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种眼神定位全景互动控制方法，包括以下步骤：

1)左右两侧的摄像头同时采集图像，并将其发送给控制器；

2)控制器对接收的两幅图像进行图像校正和立体标定；

3)处理器进行左图像人脸区域图像的选取；

5)筛选出面部区域内的角点信息；

1、左右两侧的摄像头同时采集图像

由于该系统使用到了立体标定系统，利用相同时刻两个摄像头采集到的图像具有视差从而实现立体空间检测，两幅图像必须是同一时刻采集到才可以。

为此开启独立的线程进行图像采集，间隔一定的时间同时采集两路摄像头的图像。

2、图像校正和立体标定

校正摄像机畸变。

摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1，k2，k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1，p2确定。单个摄像头的定标主要是计算出摄像头的内参(焦距f和成像原点cx，cy、五个畸变参数(由于没有使用鱼眼镜头，只需要计算出k1，k2，p1，p2)以及外参(标定物的世界坐标)。使用的求解焦距和成像原点的算法是基于张正友的方法，而求解畸变参数是基于Brown的方法。

立体校正

双目摄像头定标不仅要得出每个摄像头的内部参数，还需要通过标定来测量两个摄像头之间的相对位置(即右摄像头相对于左摄像头的三维平移t和旋转R参数)。

要计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的像点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配搜索范围，我们可以利用极线约束使得对应点的匹配由二维搜索降为一维搜索。而双目校正的作用就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

3.人脸区域图像的选取

此步骤中使用基于Haar特征的AdaBoost人脸检测训练算法，使用训练后的数据进行人脸区域的判定。

框图中人脸训练为得到训练参数，通过输入现场采集到的大量的正样本(人脸)及负样本(非人脸)进行AdaBoost人脸训练，得到训练结果后用于实时的计算中。

人脸区域选取：通过在图像中遍历不同大小的矩形框判断矩形框内的图像是否为人脸从而搜索出图像中所有的人脸区域，该区域为感兴趣区域。

由于该系统主要识别的就是人脸朝向，故只有是人脸的区域才是计算重点，对于其余区域没有必要进行立体空间计算。

通常使用的训练库都是使用普通照片进行训练，故很多时候并不适合在该系统中使用，我们新建了训练样本集，尽量使用现场光线情况下的人脸图像进行了人脸识别库的训练，提供给实时程序运行时使用。

4、精确配准面部区域

上步骤中识别出了人脸的区域，但由于人脸基本呈椭球型，故人脸朝向还与人眼位置相关。在该步骤中在检测到的人脸区域中进行双向投影求取峰值点的方式快速简单地确定人眼、嘴三个特殊区域。

由于该系统采用了红外光源补光，故人脸部分皮肤多为白色，而人眼睛及嘴部色彩偏暗。将图像分别在横向及纵向加合，及将图像向X轴及Y轴投影，得到两个一维数组：

a)向Y轴作投影积分，得到

{Value}_{y} = Σ_{x = 0.2 * width}^{0.8 * width} Lum (x, y)

其中Lum(x，y)为图像中x，y处的亮度值，Value_y为第y行的投影积分值，，获得三个极小值点，分别为眼睛、鼻子和嘴部的纵坐标点；

b)对图像下半部分向X轴作投影积分，得到

{Value}_{x} = Σ_{y = 0.45 * height}^{0.85 * height} Lum (x, y)

其中Lum(x，y)为图像中x，y处的亮度值，Value_x为第x列的投影积分值，，获得一个极小值点，为嘴部中心点的横坐标点；

c)对图像上半部分向X轴作投影积分，得到

{Value}_{x} = Σ_{y = eyeH - 0.1 * height}^{eyeH + 0.18 * height} Lum (x, y)

其中Lum(x，y)为图像中x，y处的亮度值，Value_x为第x列的投影积分值，获得两个极小值点，分别为两个眼睛中心点的横坐标点。

5、筛选区域内角点信息

角点，作为图像中的强信息点，包括嘴部中心点坐标和两个眼睛中心点坐标，可以使下步骤中的立体标定更加准确。

为计算简单本项目中使用Haaris角点检测，将检测到的角点送入下一步骤中进行匹配空间计算。

6、立体匹配、空间坐标计算

在5步骤中筛选的左图像的角点中寻找到在右图像中的对应点，则根据三角视差法可以计算出其在空间中的位置，即得到他在空间中的坐标。

三角视差法如图3所示，物体在无穷远处，则在经过标定和立体校正后的图像中出现在最中心，认为该点为中心(0，0)，则此时视为没有视差。物体距离摄像头组越近则视差越大，如图：有一物体分别在两个像平面上成像点：(u，v)，(u’，v’)。

定义：T为两个摄像头的间距，f为摄像头焦距即摄像头到成象平面的距离。易有：

\frac{T - (u - u^{,})}{D - f} = \frac{T}{D}

则：

D = \frac{fT}{u - u^{,}}

所有参数均在立体标定中得到。

经过此步骤可以得到所有第5步中点的三维空间坐标。

7、平面最小二乘拟合

将第6步中计算得到所有角点的空间坐标进行最小二乘拟合，可以得到一个拟合的平面，同时这些点的中心坐标也很容易可以计算出来。从而计算出了空间中人脸的中心点及朝向。

应用：

如图2所示，在一个环形的影厅安装了若干摄像头组1(19组)，在上方安装有投影机向环幕4投影影像，红外灯光2投向环幕，靠反射的光线照亮人3的脸部。当有人3靠近环幕4时会被摄像头组1采集到，同时发送人脸的位置及方向信息给显示程序，显示程序经过计算在相应环幕的位置显示一个环形光圈，从而实现了利用人眼视线控制显示程序完成互动。

Claims

1.一种眼神定位全景互动控制方法，其特征在于，包括以下步骤：

1)左右两侧的摄像头同时采集图像，并将其发送给控制器；

2)控制器对接收的两幅图像进行图像校正和立体标定；

3)处理器进行左图像人脸区域图像的选取；

5)筛选出面部区域内的角点信息；

2.根据权利要求1所述的一种眼神定位全景互动控制方法，其特征在于，所述的步骤2)中的图像校正包括径向畸变校正和切向畸变校正。

3.根据权利要求2所述的一种眼神定位全景互动控制方法，其特征在于，所述的步骤2)中立体标定具体为：

4.根据权利要求2所述的一种眼神定位全景互动控制方法，其特征在于，所述的步骤3)处理器进行左图像人脸区域图像的选取具体为：

5.根据权利要求2所述的一种眼神定位全景互动控制方法，其特征在于，所述的步骤4)中的进行面部区域的精确配准为：

a)向Y轴作投影积分，得到

{Value}_{y} = Σ_{x = 0.2 * width}^{0.8 * width} Lum (x, y)

b)对图像下半部分向X轴作投影积分，得到

{Value}_{x} = Σ_{y = 0.45 * height}^{0.85 * height} Lum (x, y)

c)对图像上半部分向X轴作投影积分，得到

{Value}_{x} = Σ_{y = eyeH - 0.1 * height}^{eyeH + 0.18 * height} Lum (x, y)

6.根据权利要求5所述的一种眼神定位全景互动控制方法，其特征在于，所述的角点信息包括嘴部中心点坐标和两个眼睛中心点坐标。