CN102194110B - 基于k-l变换和核相关系数的人脸图像中眼睛定位方法 - Google Patents

基于k-l变换和核相关系数的人脸图像中眼睛定位方法 Download PDF

Info

Publication number
CN102194110B
CN102194110B CN 201110155309 CN201110155309A CN102194110B CN 102194110 B CN102194110 B CN 102194110B CN 201110155309 CN201110155309 CN 201110155309 CN 201110155309 A CN201110155309 A CN 201110155309A CN 102194110 B CN102194110 B CN 102194110B
Authority
CN
China
Prior art keywords
eye
vector
template
eyes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201110155309
Other languages
English (en)
Other versions
CN102194110A (zh
Inventor
刘瑞明
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaihai Institute of Techology
Original Assignee
Huaihai Institute of Techology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaihai Institute of Techology filed Critical Huaihai Institute of Techology
Priority to CN 201110155309 priority Critical patent/CN102194110B/zh
Publication of CN102194110A publication Critical patent/CN102194110A/zh
Application granted granted Critical
Publication of CN102194110B publication Critical patent/CN102194110B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种人脸图像中眼睛定位的方法，它包括以下步骤：首先构建眼睛模板库，生成训练矩阵；对训练矩阵进行K-L变换，获取基向量和特征值，并选取主要基向量，将每个眼睛训练样本投影到主要基向量上，得到投影系数向量；以投影系数向量作为模板，以核相关系数进行匹配程度的度量，在人脸图像中进行左眼和右眼的模板匹配；最后，最大核相关系数的位置，确定为眼睛位置。本发明通过K-L变换，将眼睛训练样本在基向量上的投影系数作为匹配模板，具有更好的泛化能力。本发明通过核相关系数来度量被测对象和模板的匹配程度，其匹配的精度更高，且目标的显著度更高。

Description

基于K-L变换和核相关系数的人脸图像中眼睛定位方法
技术领域
 本发明涉及图像处理和模式识别技术，特别是一种能够对人脸图像中眼睛进行定位的基于K-L变换和核相关系数的人脸图像中眼睛定位方法。
背景技术
眼睛定位技术可以应用到疲劳驾驶检测、医学检查、视频会议和视觉制导等军民两用领域中。且该技术的应用所体现出的经济价值和社会价值越来显著，比如疲劳驾驶检测，可以大大降低恶性交通事故的发生率；视觉制导系统，可以提高武器系统的效能。目前，定位人眼的方法大致可以分为三种：基于图像分割技术、基于模式识别技术和基于模板匹配技术的人眼定位方法。基于图像分割的定位方法有Ostu法（最大类间方差法）和最大熵分割法等；基于模式识别技术的方法有人工神经网络定位法、特征眼法和SVM（支持向量机）定位法等；基于模板匹配技术的方法最常用的是相关系数法。模板匹配法是较为简单有效的一种定位方法，它需要解决两个问题，首先需要确定一个较为可靠的模板，其次要有一种度量匹配程度的方法。利用传统的模板匹配法定位人眼，直接使用人眼图像作为模板（灰度模板），将相关系数用作匹配程度的度量。这种检测方法会面临两个问题，模板的选择比较困难，一个人的眼睛模板（图像）只能与同一个人的眼睛进行匹配，检测其他人眼睛的效果差，泛化能力较弱，且对光照、噪声等影响因素较为敏感；此外，传统的相关系数是两个向量的线性相关，而图像具有较强的非线性和非高斯性，用线性相关系数度量匹配程度，效果不能令人满意。
发明内容
本发明所要解决的技术问题是针对现有技术中模板匹配在人眼定位中存在的不足，提供一种具有更高的准确性的基于K-L变换和核相关系数的眼睛定位方法。
为实现上述目的，本发明提出一种新的相关方法——核相关系数法，来度量匹配程度。核相关系数来自于核方法（Kernel method）的启发，在核方法中（K.-R. Muller, S. Mika, G. Ratsch, K. Tsuda, and B. Scholkopf, “An Introduction to Kernel-Based Learning Algorithms,” IEEE Transaction on Neural Networks, vol. 12, no. 2, pp. 181-201, 2001.），向量X、Y通过函数                                               
Figure 2011101553094100002DEST_PATH_IMAGE002
被映射到高维特征空间，成为高维特征向量
Figure 2011101553094100002DEST_PATH_IMAGE004
和
Figure 2011101553094100002DEST_PATH_IMAGE006
，而在高维特征空间中的内积
Figure 2011101553094100002DEST_PATH_IMAGE008
可以用核函数
Figure 2011101553094100002DEST_PATH_IMAGE010
来计算，其中最常用的核函数是高斯核函数
Figure 2011101553094100002DEST_PATH_IMAGE012
, 为可调参数。传统的相关系数法，计算向量
Figure 2011101553094100002DEST_PATH_IMAGE016
、Y的线性相关系数的公式为：
Figure 2011101553094100002DEST_PATH_IMAGE018
，将、Y通过映射函数
Figure 780296DEST_PATH_IMAGE002
映射到高维特征空间后，在高维特征空间中的向量
Figure 497716DEST_PATH_IMAGE004
和
Figure 578411DEST_PATH_IMAGE006
的相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE020
               （1）
当使用高斯核函数时，
Figure 2011101553094100002DEST_PATH_IMAGE022
，所以相关系数为
      
Figure 2011101553094100002DEST_PATH_IMAGE024
                      （2）
我们将
Figure 2011101553094100002DEST_PATH_IMAGE026
称为核相关系数。
本发明所要解决的技术问题是通过以下的技术方案为实现的。本发明是一种基于K-L变换和核相关系数的人脸图像中眼睛定位方法，其特点是：首先采集人脸正面图像，建立人脸图像库，从人脸图像中截取眼睛图像，建立人眼模板库，并将人眼模板转化为向量；然后，构建人眼训练矩阵，并进行K-L变换，获得主要基向量，将各人眼模板向量投影到主要基向量，得到每个人眼模板相应的投影系数向量；接着，在视场中获取人脸正面图像，并将人脸图像以中轴线为界分为左脸图像和右脸图像两部分，在右脸图像中进行右眼定位，在左脸图像中进行左眼定位；最后，给出右眼和左眼在图像中的位置坐标。
本发明所述的K-L变换可参见：边肇祺，张学工等. “模式识别（第二版）”清华大学出版社, 224-227, 2001。
本发明所述建立人脸图像库，是指对不同的人，在不同光照条件、不同面部细节和不同面部角度条件下获取n个人脸的正面图像，设图像的分辨率为
Figure 2011101553094100002DEST_PATH_IMAGE028
。
所述建立人眼模板库，即从人脸图像库中的图像，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并归一化为相同的分辨率（设分辨率为
Figure 2011101553094100002DEST_PATH_IMAGE030
），构建含有n个左眼图像和n个右眼图像的眼睛模板库。
所述将人眼模板转化为向量，是指把人眼模板图像，按列与列首尾相接，分别构成n个左、右眼
Figure 2011101553094100002DEST_PATH_IMAGE032
维训练模板向量，设第k个左、右眼训练模板向量分别为
Figure 2011101553094100002DEST_PATH_IMAGE034
和
Figure 2011101553094100002DEST_PATH_IMAGE036
（正整数）。
所述构建人脸训练矩阵，即将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵。
所述获得主要基向量，是指对生成的眼睛训练矩阵进行K-L变换，得到左、右眼训练矩阵的基向量和相应的特征值（按文献：边肇祺，张学工等. “模式识别（第二版）”清华大学出版社, 224-227, 2001），并将基向量按相应的特征值从大到小排列；从基向量中，取前
Figure 2011101553094100002DEST_PATH_IMAGE040
、
Figure 2011101553094100002DEST_PATH_IMAGE042
个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%，这些主要基向量包含了描述人眼的大部分信息。
所述得到每个人眼模板相应的投影系数向量，即将n个左、右眼训练模板向量分别投影到左、右眼的
Figure 205833DEST_PATH_IMAGE040
、
Figure 713781DEST_PATH_IMAGE042
个主要基向量上，得到每个眼睛模板的投影系数向量
Figure 2011101553094100002DEST_PATH_IMAGE044
和，
Figure 105448DEST_PATH_IMAGE044
和
Figure 304348DEST_PATH_IMAGE046
分别为
Figure 910910DEST_PATH_IMAGE040
维和
Figure 592690DEST_PATH_IMAGE042
维。
所述在视场中获取人脸正面图像，是指在图像中截取人脸图像，通过旋转和缩放得到与人脸模板图像相同分辨率（
Figure 347019DEST_PATH_IMAGE028
）的正面图像。
所述在右脸图像中进行右眼定位，是以高为h、宽为w的滑动窗口，在每一个像素位置上剪切子图像
Figure 2011101553094100002DEST_PATH_IMAGE048
，
Figure 2011101553094100002DEST_PATH_IMAGE050
为像素坐标；将子图像
Figure 208665DEST_PATH_IMAGE048
转换为
Figure 669733DEST_PATH_IMAGE032
维向量，并将其投影到右眼
Figure 99577DEST_PATH_IMAGE042
个主要基向量，得到维投影系数向量；由核相关系数法得到子图像
Figure 239495DEST_PATH_IMAGE048
与右眼模板的匹配程度，向量
Figure 69917DEST_PATH_IMAGE052
和
Figure 405083DEST_PATH_IMAGE046
的核相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE054
，取
Figure 2011101553094100002DEST_PATH_IMAGE056
为像素
Figure 2011101553094100002DEST_PATH_IMAGE058
处的匹配值；右眼的中心位置用下式确定：
Figure 2011101553094100002DEST_PATH_IMAGE060
。
所述在左脸图像中进行左眼定位。首先确定左眼的搜索区域，为减小计算量，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索左眼，该邻域确定为以（,
Figure 2011101553094100002DEST_PATH_IMAGE064
）和（
Figure 2011101553094100002DEST_PATH_IMAGE066
,W）为顶点的矩形区域（符号
Figure 2011101553094100002DEST_PATH_IMAGE068
，表示向上取整）；然后，在该区域内用与右眼定位相同的方法进行左眼定位：先求各左眼模板的核相关系数：
Figure 2011101553094100002DEST_PATH_IMAGE070
，取
Figure 2011101553094100002DEST_PATH_IMAGE072
为像素
Figure 2011101553094100002DEST_PATH_IMAGE074
处的匹配值；左眼的中心位置用下式确定：
Figure 2011101553094100002DEST_PATH_IMAGE076
。
本发明与已有技术相比具有如下优点：
1、   本发明通过K-L变换，将眼睛训练样本在基向量上的投影系数作为匹配模板，与直接将眼睛图像作为模板相比，具有更好的泛化能力。
2、   本发明通过核相关系数来度量被测对象和模板的匹配程度，与传统的相关系数相比，匹配的精度更高，目标的显著度更高。
附图说明
图1为本发明图像中的坐标约定。
图2为本发明训练阶段的流程框图。
图3为本发明定位阶段的流程框图。
图4-11为本发明的实际效果图。其中：图4、图8为实验人脸图像；图5、图9分别为图4、图8以核相关系数值为像素灰度值的图像；图6、图10为图5、图9的三维图像；图7、图11分别为图4、图8中人眼定位结果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细描述，以便于本领域的技术人员进一步地理解本发明。需要强调的是，以下实施例仅是本发明的一种优选实施方式而已，对于本技术领域的技术人员来说，在不脱离本发明的核心思想和基本原理的前提下，可以进行改进和修改，或者利用本发明的主要方法、核心思想和基本原理解决其它领域的技术问题，都应视为本发明的保护范围。
实施例1，一种基于K-L变换和核相关系数的人脸图像中眼睛定位方法，首先构建眼睛模板库，生成训练矩阵；对训练矩阵进行K-L变换，获取基向量和特征值，并选取主要基向量，将每个眼睛训练样本投影到主要基向量上，获得眼睛样本的投影系数向量；以投影系数向量作为模板，以核相关系数作为匹配程度的度量，在人脸图像中进行左眼和右眼的模板匹配；最后，最大核相关系数的位置，确定为眼睛位置。
实施例2，参照图2-3，实施例1所述的人脸图像中眼睛定位的方法中：
构建眼睛模板库的具体步骤如下：
（1）建立人脸图像库；创建人脸样本库，对不同的人，在不同光照条件、不同表情条件下获取n幅人脸图像，作为提取人眼的样本图像，并统一取人脸图像的分辨率为
Figure 655978DEST_PATH_IMAGE028
；
（2）建立眼睛模板库；从人脸样本图像中，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并统一为相同的分辨率
Figure 734792DEST_PATH_IMAGE032
，构建含有n个左眼图像和n个右眼图像的眼睛模板库。
生成训练矩阵的具体步骤如下：
（1）生成眼睛模板向量；将截取的眼睛模板图像，按列与列首尾相接，分别构成n个左眼和n个右眼维训练模板向量，设第k个左、右眼训练模板向量分别为
Figure 630515DEST_PATH_IMAGE034
和
Figure 518837DEST_PATH_IMAGE036
，
Figure 2011101553094100002DEST_PATH_IMAGE078
；
（2）构建训练矩阵；将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵
Figure 2011101553094100002DEST_PATH_IMAGE080
和。
对训练矩阵进行K-L变换，获取基向量和特征值，其具体步骤是：对生成的左眼、右眼训练矩阵，分别进行K-L变换，得到左、右眼训练矩阵的基向量和特征值，并将基向量按相应的特征值从大到小排列。
选取主要基向量的具体步骤是：将排列好的基向量，选择前
Figure 525976DEST_PATH_IMAGE040
、
Figure 563945DEST_PATH_IMAGE042
个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%。
获得眼睛样本的投影系数向量的具体步骤是：将n个左眼、n个右眼训练模板向量分别投影到左、右眼的
Figure 506494DEST_PATH_IMAGE040
、个主要基向量上，得到每个眼睛的投影系数向量
Figure 489679DEST_PATH_IMAGE044
和
Figure 962249DEST_PATH_IMAGE046
，
Figure 2011101553094100002DEST_PATH_IMAGE084
，和
Figure 627028DEST_PATH_IMAGE046
分别为
Figure 789019DEST_PATH_IMAGE040
维和
Figure 850516DEST_PATH_IMAGE042
维向量。
以投影系数向量作为模板的具体方法是：分别以左眼和右眼的投影系数向量
Figure 321817DEST_PATH_IMAGE044
和
Figure 734344DEST_PATH_IMAGE046
为模板向量，作为模板匹配的模板。
以核相关系数作为匹配程度的度量的具体方法为：计算向量X、Y的核相关系数公式为
Figure 2011101553094100002DEST_PATH_IMAGE086
。
在人脸图像中进行左眼和右眼的模板匹配，具体步骤为：
（1）获取人脸正面图像，将图像以中轴线为界，分为左脸图像和右脸图像两部分，左脸图像包含左眼，右脸图像包含右眼；
（2）以高为h、宽为w的滑动窗口，在右脸图像每一个像素位置上剪切子图像
Figure 385512DEST_PATH_IMAGE048
，为像素坐标，子图像的分辨率为h×w；
（3）将子图像
Figure 694450DEST_PATH_IMAGE048
转换为h×w维向量，并将其投影到右眼的
Figure 594273DEST_PATH_IMAGE042
个主要基向量，得到
Figure 347334DEST_PATH_IMAGE042
维投影系数向量
Figure 586686DEST_PATH_IMAGE052
；
（4）由核相关系数得到子图像
Figure 947260DEST_PATH_IMAGE048
与右眼模板的匹配程度，求向量
Figure 22795DEST_PATH_IMAGE052
和的核相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE088
，取
Figure 2011101553094100002DEST_PATH_IMAGE090
为像素处的匹配值；
（5）右眼的位置用下式确定：；
（6）确定左眼的搜索区域。为减小计算量，在确定右眼中心位置后，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索目标，该邻域为以（,
Figure 828049DEST_PATH_IMAGE064
）和（
Figure 2011101553094100002DEST_PATH_IMAGE096
,W）为顶点的矩形区域，该区域为左眼的搜索区域；
（7）以高为h、宽为w的滑动窗口，在左眼的搜索区域每一个像素位置上剪切子图像；
（8）将子图像
Figure 735011DEST_PATH_IMAGE048
转换为h×w维向量，并将其投影到左眼的
Figure 745692DEST_PATH_IMAGE040
个主要基向量，得到
Figure 651332DEST_PATH_IMAGE040
维投影系数向量
Figure 2011101553094100002DEST_PATH_IMAGE098
；
（9）由核相关系数法得到子图像
Figure 560513DEST_PATH_IMAGE048
与左眼模板的匹配程度，向量和
Figure 74988DEST_PATH_IMAGE044
的核相关系数为：，取
Figure 2011101553094100002DEST_PATH_IMAGE102
为像素
Figure 2011101553094100002DEST_PATH_IMAGE104
处的匹配值；
（10）左眼的中心位置用下式确定：
Figure 2011101553094100002DEST_PATH_IMAGE106
。
实施例3，参照图1-11，基于K-L变换和核相关系数的人脸图像中眼睛定位方法实验及其结果。
主要包括三个阶段：
第一阶段为训练阶段，通过眼睛训练样本，得到K-L变换的主要基向量和各训练样本的投影系数向量；
第二阶段为右眼定位阶段，利用眼睛模板投影系数向量和被测图像投影系数向量的核相关系数，对右眼进行定位；
第三阶段为左眼定位阶段，利用双眼的对称性缩小搜索区、减小计算量，然后用与右眼定位相同的方法进行左眼定位。
眼睛定位方法包括以下步骤：
训练阶段：
步骤S101，建立人脸图像库。创建人脸样本库，对不同的人，在不同光照条件、不同表情条件下获取n=150幅人脸图像，作为提取人眼的样本图像，并统一取人脸图像的分辨率为，并分别取H=100和W=100。
步骤S102，建立眼睛模板库。从步骤S101中建立的人脸样本库中，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并归一化为相同的分辨率（
Figure 607393DEST_PATH_IMAGE032
，本实施例中，取
Figure 2011101553094100002DEST_PATH_IMAGE108
和
Figure 2011101553094100002DEST_PATH_IMAGE110
），构建含有n个左眼图像和n个右眼图像的眼睛模板库。
步骤S103，生成眼睛模板向量。将步骤S102中构建的眼睛模板图像，按列与列首尾相接，分别构成n个左眼和n个右眼维训练模板向量，设第k个左、右眼训练模板向量分别为
Figure 406164DEST_PATH_IMAGE034
和
Figure 715922DEST_PATH_IMAGE036
（
Figure 973597DEST_PATH_IMAGE038
正整数）。
步骤S104，构建训练矩阵。将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵
Figure 964687DEST_PATH_IMAGE080
和。
步骤S105，获取训练矩阵的基向量和特征值。对步骤S104中生成的眼睛训练矩阵，分别进行K-L变换，得到左、右眼训练矩阵的基向量和特征值，并将基向量按相应的特征值从大到小排列。
步骤S106，主要基向量的选择。选择步骤S105中前
Figure 970613DEST_PATH_IMAGE040
、
Figure 263054DEST_PATH_IMAGE042
个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%，这些主要基向量包含了描述人眼的大部分信息。
步骤S107，获取左、右眼训练模板向量的投影系数。将n个左、右眼训练模板向量分别投影到左、右眼的
Figure 57835DEST_PATH_IMAGE040
、
Figure 939072DEST_PATH_IMAGE042
个主要基向量上，得到每个眼睛的投影系数向量
Figure 590633DEST_PATH_IMAGE044
和
Figure 573633DEST_PATH_IMAGE046
（
Figure 968842DEST_PATH_IMAGE038
正整数），
Figure 206050DEST_PATH_IMAGE044
和
Figure 231775DEST_PATH_IMAGE046
分别为
Figure 498808DEST_PATH_IMAGE040
维和维。
右眼定位阶段：
步骤S201，获取人脸正面图像，将图像以中轴线为界，分为左脸图像和右脸图像两部分，左脸图像包含左眼，右脸图像包含右眼。
步骤S202，以高为h、宽为w的滑动窗口，在左脸图像每一个像素位置上剪切子图像
Figure 287959DEST_PATH_IMAGE048
，
Figure 484585DEST_PATH_IMAGE050
为像素坐标，子图像的分辨率为h×w。图像中坐标的约定，如图1所示。
步骤S203，按步骤S103将子图像
Figure 924400DEST_PATH_IMAGE048
转换为h×w维向量，并按步骤S107将其投影到右眼的
Figure 661412DEST_PATH_IMAGE042
个主要基向量，得到
Figure 122480DEST_PATH_IMAGE042
维投影系数向量
Figure 552325DEST_PATH_IMAGE052
。
步骤S204，由核相关系数法得到子图像
Figure 715322DEST_PATH_IMAGE048
与右眼模板的匹配程度，向量
Figure 193707DEST_PATH_IMAGE052
和
Figure 525594DEST_PATH_IMAGE046
的核相关系数为：，取
Figure 2011101553094100002DEST_PATH_IMAGE114
为像素
Figure 985394DEST_PATH_IMAGE050
处的匹配值，取
Figure 2011101553094100002DEST_PATH_IMAGE116
。
步骤S205，得到所有像素位置上的匹配值后，右眼的中心位置用下式确定：。
左眼定位阶段：
步骤S301，确定左眼的搜索区域。为减小计算量，在确定右眼中心位置后，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索目标，该邻域为以（
Figure 2011101553094100002DEST_PATH_IMAGE120
,
Figure 337485DEST_PATH_IMAGE064
）和（
Figure 2011101553094100002DEST_PATH_IMAGE122
,W）为顶点的矩形区域。
步骤S302，以高为h、宽为w的滑动窗口，在矩形区域中的每一个像素位置上剪切子图像
Figure 2011101553094100002DEST_PATH_IMAGE124
。
步骤S303，按步骤S103将子图像转换为h×w维向量，并按步骤S107将其投影到左眼的
Figure 540933DEST_PATH_IMAGE040
个主要基向量，得到
Figure 976593DEST_PATH_IMAGE040
维投影系数向量
Figure 171077DEST_PATH_IMAGE098
。
步骤S304，由核相关系数法得到子图像
Figure 2011101553094100002DEST_PATH_IMAGE128
与左眼模板的匹配程度，向量
Figure 2011101553094100002DEST_PATH_IMAGE130
和
Figure 2011101553094100002DEST_PATH_IMAGE132
的核相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE134
，取
Figure 2011101553094100002DEST_PATH_IMAGE136
为像素处的匹配值，并取
Figure 2011101553094100002DEST_PATH_IMAGE140
。
步骤S305，得到所有像素位置上的匹配值后，左眼的中心位置用下式确定：
Figure 2011101553094100002DEST_PATH_IMAGE142
。
本实施例的人眼定位效果显示在图4-11中。

Claims (8)

1.一种基于K-L变换和核相关系数的人脸图像中眼睛定位方法，其特征在于：首先构建眼睛模板库，生成训练矩阵；对训练矩阵进行K-L变换，获取基向量和特征值，并选取主要基向量，将每个眼睛训练样本投影到主要基向量上，获得眼睛样本的投影系数向量；以投影系数向量作为模板，以核相关系数作为匹配程度的度量，在人脸图像中进行左眼和右眼的模板匹配；最后，最大核相关系数的位置，确定为眼睛位置；在人脸图像中进行左眼和右眼的模板匹配，具体步骤为：
（1）获取人脸正面图像，将图像以中轴线为界，分为左脸图像和右脸图像两部分，左脸图像包含左眼，右脸图像包含右眼；
（2）以高为h、宽为w的滑动窗口，在右脸图像每一个像素位置上剪切子图像                                               
Figure 2011101553094100001DEST_PATH_IMAGE002
，
Figure 2011101553094100001DEST_PATH_IMAGE004
为像素坐标，子图像的分辨率为h×w；
（3）将子图像
Figure 10388DEST_PATH_IMAGE002
转换为h×w维向量，并将其投影到右眼的
Figure 2011101553094100001DEST_PATH_IMAGE006
个主要基向量，得到
Figure 802894DEST_PATH_IMAGE006
维投影系数向量；
（4）由核相关系数得到子图像
Figure 457998DEST_PATH_IMAGE002
与右眼模板的匹配程度，求向量
Figure 790890DEST_PATH_IMAGE008
和
Figure 2011101553094100001DEST_PATH_IMAGE010
的核相关系数为：，取
Figure 2011101553094100001DEST_PATH_IMAGE014
为像素
Figure 418312DEST_PATH_IMAGE004
处的匹配值；
（5）右眼的位置用下式确定：
Figure 2011101553094100001DEST_PATH_IMAGE016
；
（6）确定左眼的搜索区域；
为减小计算量，在确定右眼中心位置后，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索目标，该邻域为以（
Figure 2011101553094100001DEST_PATH_IMAGE018
,
Figure 2011101553094100001DEST_PATH_IMAGE020
）和（,W）为顶点的矩形区域，该区域为左眼的搜索区域；
（7）以高为h、宽为w的滑动窗口，在左眼的搜索区域每一个像素位置上剪切子图像
Figure 991506DEST_PATH_IMAGE002
；
（8）将子图像
Figure 196223DEST_PATH_IMAGE002
转换为h×w维向量，并将其投影到左眼的个主要基向量，得到维投影系数向量
Figure 2011101553094100001DEST_PATH_IMAGE026
；
（9）由核相关系数法得到子图像
Figure 877051DEST_PATH_IMAGE002
与左眼模板的匹配程度，向量
Figure 870415DEST_PATH_IMAGE026
和
Figure 2011101553094100001DEST_PATH_IMAGE028
的核相关系数为：
Figure 2011101553094100001DEST_PATH_IMAGE030
，取
Figure 2011101553094100001DEST_PATH_IMAGE032
为像素
Figure 2011101553094100001DEST_PATH_IMAGE034
处的匹配值；
（10）左眼的中心位置用下式确定：
Figure 2011101553094100001DEST_PATH_IMAGE036
；
其中：
Figure 2011101553094100001DEST_PATH_IMAGE038
为右眼主要基向量的个数，
Figure 2011101553094100001DEST_PATH_IMAGE040
为第k个右眼的投影系数，为左眼主要基向量的个数，
Figure 2011101553094100001DEST_PATH_IMAGE044
为第k个左眼的投影系数，H 为人脸图像的行像素数、W为人脸图像的列像素数。
2.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，构建眼睛模板库的具体步骤如下：
（1）建立人脸图像库；创建人脸样本库，对不同的人，在不同光照条件、不同表情条件下获取n幅人脸图像，作为提取人眼的样本图像，并统一取人脸图像的分辨率为
Figure 2011101553094100001DEST_PATH_IMAGE046
：
（2）建立眼睛模板库；从人脸样本图像中，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并统一为相同的分辨率
Figure 2011101553094100001DEST_PATH_IMAGE048
，构建含有n个左眼图像和n个右眼图像的眼睛模板库。
3.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，生成训练矩阵的具体步骤如下：
（1）生成眼睛模板向量；将截取的眼睛模板图像，按列与列首尾相接，分别构成n个左眼和n个右眼维训练模板向量，设第k个左、右眼训练模板向量分别为
Figure 2011101553094100001DEST_PATH_IMAGE050
和
Figure 2011101553094100001DEST_PATH_IMAGE052
，
Figure 2011101553094100001DEST_PATH_IMAGE054
；
（2）构建训练矩阵；将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵
Figure 2011101553094100001DEST_PATH_IMAGE056
和
Figure 2011101553094100001DEST_PATH_IMAGE058
。
4.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，对训练矩阵进行K-L变换，获取基向量和特征值，其具体步骤是：对生成的左眼、右眼训练矩阵，分别进行K-L变换，得到左、右眼训练矩阵的基向量和特征值，并将基向量按相应的特征值从大到小排列。
5.根据权利要求4所述的人脸图像中眼睛定位的方法，其特征在于，选取主要基向量的具体步骤是：将排列好的基向量，选择前
Figure 2011101553094100001DEST_PATH_IMAGE059
、
Figure 2011101553094100001DEST_PATH_IMAGE060
个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%。
6.根据权利要求5所述的人脸图像中眼睛定位的方法，其特征在于，获得眼睛样本的投影系数向量的具体步骤是：将n个左眼、n个右眼训练模板向量分别投影到左、右眼的、
Figure 440134DEST_PATH_IMAGE060
个主要基向量上，得到每个眼睛的投影系数向量
Figure 2011101553094100001DEST_PATH_IMAGE061
和
Figure 2011101553094100001DEST_PATH_IMAGE062
，
Figure 745345DEST_PATH_IMAGE054
，
Figure 924653DEST_PATH_IMAGE061
和
Figure 137460DEST_PATH_IMAGE062
分别为
Figure 718614DEST_PATH_IMAGE059
维和维向量。
7.根据权利要求6所述的人脸图像中眼睛定位的方法，其特征在于，以投影系数向量作为模板的具体方法是：分别以左眼和右眼的投影系数向量
Figure 720385DEST_PATH_IMAGE061
和
Figure 736882DEST_PATH_IMAGE062
为模板向量，作为模板匹配的模板。
8.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，以核相关系数作为匹配程度的度量的具体方法为：计算向量X、Y的核相关系数公式为
Figure 2011101553094100001DEST_PATH_IMAGE064
，其中，
Figure 2011101553094100001DEST_PATH_IMAGE066
为高斯核函数的尺度参数。
CN 201110155309 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法 Expired - Fee Related CN102194110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110155309 CN102194110B (zh) 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110155309 CN102194110B (zh) 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法

Publications (2)

Publication Number Publication Date
CN102194110A CN102194110A (zh) 2011-09-21
CN102194110B true CN102194110B (zh) 2013-03-13

Family

ID=44602154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110155309 Expired - Fee Related CN102194110B (zh) 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法

Country Status (1)

Country Link
CN (1) CN102194110B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034051A (zh) * 2018-07-24 2018-12-18 哈尔滨理工大学 人眼定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336830B2 (en) * 2002-11-29 2008-02-26 Sony United Kingdom Limited Face detection
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336830B2 (en) * 2002-11-29 2008-02-26 Sony United Kingdom Limited Face detection
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
David Zhang，etc..A Novel Face Recognition System Using Hybrid Neuraland Dual Eigenspaces Methods.《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART A: SYSTEMS AND HUMANS》.2002,第32卷(第6期),第787-793页. *

Also Published As

Publication number Publication date
CN102194110A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
EP3091479B1 (en) Method and apparatus for fingerprint identification
CN108549873A (zh) 三维人脸识别方法和三维人脸识别系统
US10019624B2 (en) Face recognition system and face recognition method
CN103902992B (zh) 人脸识别方法
Chiang et al. A stereo vision-based self-localization system
CN105022999A (zh) 一种人码伴随实时采集系统
CN104700412A (zh) 一种视觉显著图的计算方法
CN103093226B (zh) 一种用于图像特征处理的ratmic描述子的构造方法
CN107563292B (zh) 一种基于lddmm曲线匹配的人脸情感识别方法
Zhang et al. Linearly augmented real-time 4D expressional face capture
CN102194110B (zh) 基于k-l变换和核相关系数的人脸图像中眼睛定位方法
Guo et al. Palmprint Recognition Based on Local Fisher Discriminant Analysis.
CN103136513B (zh) 一种改进的asm人脸特征点定位方法
KR20160042646A (ko) 얼굴 인식 방법
Wang et al. Handling occlusion and large displacement through improved RGB-D scene flow estimation
KR101001184B1 (ko) 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
WO2006061365A1 (en) Face recognition using features along iso-radius contours
Tang et al. Parametric distortion-adaptive neighborhood for omnidirectional camera
Xu et al. Improving the interest operator for face recognition
CN108241868B (zh) 图像客观相似度到主观相似度的映射方法及装置
Zhang et al. A single training sample face recognition algorithm based on sample extension
Li et al. Analysis of AdaBoost-based face detection algorithm
Hashim et al. Local and semi-global feature-correlative techniques for face recognition
Rama et al. Aligned texture map creation for pose invariant face recognition
Shoman et al. Illumination invariant camera localization using synthetic images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130313

Termination date: 20160610

CF01 Termination of patent right due to non-payment of annual fee