CN102194110A - 基于k-l变换和核相关系数的人脸图像中眼睛定位方法 - Google Patents

基于k-l变换和核相关系数的人脸图像中眼睛定位方法 Download PDF

Info

Publication number
CN102194110A
CN102194110A CN 201110155309 CN201110155309A CN102194110A CN 102194110 A CN102194110 A CN 102194110A CN 201110155309 CN201110155309 CN 201110155309 CN 201110155309 A CN201110155309 A CN 201110155309A CN 102194110 A CN102194110 A CN 102194110A
Authority
CN
China
Prior art keywords
eye
vector
template
eyes
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110155309
Other languages
English (en)
Other versions
CN102194110B (zh
Inventor
刘瑞明
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaihai Institute of Techology
Original Assignee
Huaihai Institute of Techology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaihai Institute of Techology filed Critical Huaihai Institute of Techology
Priority to CN 201110155309 priority Critical patent/CN102194110B/zh
Publication of CN102194110A publication Critical patent/CN102194110A/zh
Application granted granted Critical
Publication of CN102194110B publication Critical patent/CN102194110B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人脸图像中眼睛定位的方法，它包括以下步骤：首先构建眼睛模板库，生成训练矩阵；对训练矩阵进行K-L变换，获取基向量和特征值，并选取主要基向量，将每个眼睛训练样本投影到主要基向量上，得到投影系数向量；以投影系数向量作为模板，以核相关系数进行匹配程度的度量，在人脸图像中进行左眼和右眼的模板匹配；最后，最大核相关系数的位置，确定为眼睛位置。本发明通过K-L变换，将眼睛训练样本在基向量上的投影系数作为匹配模板，具有更好的泛化能力。本发明通过核相关系数来度量被测对象和模板的匹配程度，其匹配的精度更高，且目标的显著度更高。

Description

基于K-L变换和核相关系数的人脸图像中眼睛定位方法
技术领域
本发明涉及图像处理和模式识别技术，特别是一种能够对人脸图像中眼睛进行定位的基于K-L变换和核相关系数的人脸图像中眼睛定位方法。
背景技术
眼睛定位技术可以应用到疲劳驾驶检测、医学检查、视频会议和视觉制导等军民两用领域中。且该技术的应用所体现出的经济价值和社会价值越来显著，比如疲劳驾驶检测，可以大大降低恶性交通事故的发生率；视觉制导系统，可以提高武器系统的效能。目前，定位人眼的方法大致可以分为三种：基于图像分割技术、基于模式识别技术和基于模板匹配技术的人眼定位方法。基于图像分割的定位方法有Ostu法（最大类间方差法）和最大熵分割法等；基于模式识别技术的方法有人工神经网络定位法、特征眼法和SVM（支持向量机）定位法等；基于模板匹配技术的方法最常用的是相关系数法。模板匹配法是较为简单有效的一种定位方法，它需要解决两个问题，首先需要确定一个较为可靠的模板，其次要有一种度量匹配程度的方法。利用传统的模板匹配法定位人眼，直接使用人眼图像作为模板（灰度模板），将相关系数用作匹配程度的度量。这种检测方法会面临两个问题，模板的选择比较困难，一个人的眼睛模板（图像）只能与同一个人的眼睛进行匹配，检测其他人眼睛的效果差，泛化能力较弱，且对光照、噪声等影响因素较为敏感；此外，传统的相关系数是两个向量的线性相关，而图像具有较强的非线性和非高斯性，用线性相关系数度量匹配程度，效果不能令人满意。
发明内容
本发明所要解决的技术问题是针对现有技术中模板匹配在人眼定位中存在的不足，提供一种具有更高的准确性的基于K-L变换和核相关系数的眼睛定位方法。
为实现上述目的，本发明提出一种新的相关方法——核相关系数法，来度量匹配程度。核相关系数来自于核方法（Kernel method）的启发，在核方法中（K.-R. Muller, S. Mika, G. Ratsch, K. Tsuda, and B. Scholkopf, “An Introduction to Kernel-Based Learning Algorithms,” IEEE Transaction on Neural Networks, vol. 12, no. 2, pp. 181-201, 2001.），向量X、Y通过函数                                               
Figure 2011101553094100002DEST_PATH_IMAGE002
被映射到高维特征空间，成为高维特征向量
Figure 2011101553094100002DEST_PATH_IMAGE004
和
Figure 2011101553094100002DEST_PATH_IMAGE006
，而在高维特征空间中的内积
Figure 2011101553094100002DEST_PATH_IMAGE008
可以用核函数
Figure 2011101553094100002DEST_PATH_IMAGE010
来计算，其中最常用的核函数是高斯核函数
Figure 2011101553094100002DEST_PATH_IMAGE012
, 
Figure 2011101553094100002DEST_PATH_IMAGE014
为可调参数。传统的相关系数法，计算向量
Figure 2011101553094100002DEST_PATH_IMAGE016
、Y的线性相关系数的公式为：
Figure 2011101553094100002DEST_PATH_IMAGE018
，将
Figure 863156DEST_PATH_IMAGE016
、Y通过映射函数
Figure 780296DEST_PATH_IMAGE002
映射到高维特征空间后，在高维特征空间中的向量
Figure 497716DEST_PATH_IMAGE004
和
Figure 578411DEST_PATH_IMAGE006
的相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE020
               （1）
当使用高斯核函数时，
Figure 2011101553094100002DEST_PATH_IMAGE022
，所以相关系数为
Figure 2011101553094100002DEST_PATH_IMAGE024
                      （2）
我们将
Figure 2011101553094100002DEST_PATH_IMAGE026
称为核相关系数。
本发明所要解决的技术问题是通过以下的技术方案为实现的。本发明是一种基于K-L变换和核相关系数的人脸图像中眼睛定位方法，其特点是：首先采集人脸正面图像，建立人脸图像库，从人脸图像中截取眼睛图像，建立人眼模板库，并将人眼模板转化为向量；然后，构建人眼训练矩阵，并进行K-L变换，获得主要基向量，将各人眼模板向量投影到主要基向量，得到每个人眼模板相应的投影系数向量；接着，在视场中获取人脸正面图像，并将人脸图像以中轴线为界分为左脸图像和右脸图像两部分，在右脸图像中进行右眼定位，在左脸图像中进行左眼定位；最后，给出右眼和左眼在图像中的位置坐标。
本发明所述的K-L变换可参见：边肇祺，张学工等. “模式识别（第二版）”清华大学出版社, 224-227, 2001。
本发明所述建立人脸图像库，是指对不同的人，在不同光照条件、不同面部细节和不同面部角度条件下获取n个人脸的正面图像，设图像的分辨率为。
所述建立人眼模板库，即从人脸图像库中的图像，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并归一化为相同的分辨率（设分辨率为
Figure 2011101553094100002DEST_PATH_IMAGE030
），构建含有n个左眼图像和n个右眼图像的眼睛模板库。
所述将人眼模板转化为向量，是指把人眼模板图像，按列与列首尾相接，分别构成n个左、右眼维训练模板向量，设第k个左、右眼训练模板向量分别为和
Figure 2011101553094100002DEST_PATH_IMAGE036
（
Figure 2011101553094100002DEST_PATH_IMAGE038
正整数）。
所述构建人脸训练矩阵，即将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵。
所述获得主要基向量，是指对生成的眼睛训练矩阵进行K-L变换，得到左、右眼训练矩阵的基向量和相应的特征值（按文献：边肇祺，张学工等. “模式识别（第二版）”清华大学出版社, 224-227, 2001），并将基向量按相应的特征值从大到小排列；从基向量中，取前、个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%，这些主要基向量包含了描述人眼的大部分信息。
所述得到每个人眼模板相应的投影系数向量，即将n个左、右眼训练模板向量分别投影到左、右眼的、
Figure 713781DEST_PATH_IMAGE042
个主要基向量上，得到每个眼睛模板的投影系数向量
Figure 2011101553094100002DEST_PATH_IMAGE044
和，
Figure 105448DEST_PATH_IMAGE044
和
Figure 304348DEST_PATH_IMAGE046
分别为
Figure 910910DEST_PATH_IMAGE040
维和
Figure 592690DEST_PATH_IMAGE042
维。
所述在视场中获取人脸正面图像，是指在图像中截取人脸图像，通过旋转和缩放得到与人脸模板图像相同分辨率（）的正面图像。
所述在右脸图像中进行右眼定位，是以高为h、宽为w的滑动窗口，在每一个像素位置上剪切子图像
Figure 2011101553094100002DEST_PATH_IMAGE048
，为像素坐标；将子图像
Figure 208665DEST_PATH_IMAGE048
转换为
Figure 669733DEST_PATH_IMAGE032
维向量，并将其投影到右眼
Figure 99577DEST_PATH_IMAGE042
个主要基向量，得到
Figure 26689DEST_PATH_IMAGE042
维投影系数向量
Figure 2011101553094100002DEST_PATH_IMAGE052
；由核相关系数法得到子图像与右眼模板的匹配程度，向量和的核相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE054
，取
Figure 2011101553094100002DEST_PATH_IMAGE056
为像素处的匹配值；右眼的中心位置用下式确定：
Figure 2011101553094100002DEST_PATH_IMAGE060
。
所述在左脸图像中进行左眼定位。首先确定左眼的搜索区域，为减小计算量，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索左眼，该邻域确定为以（
Figure 2011101553094100002DEST_PATH_IMAGE062
,
Figure 2011101553094100002DEST_PATH_IMAGE064
）和（,W）为顶点的矩形区域（符号
Figure 2011101553094100002DEST_PATH_IMAGE068
，表示向上取整）；然后，在该区域内用与右眼定位相同的方法进行左眼定位：先求各左眼模板的核相关系数：
Figure 2011101553094100002DEST_PATH_IMAGE070
，取
Figure 2011101553094100002DEST_PATH_IMAGE072
为像素处的匹配值；左眼的中心位置用下式确定：。
本发明与已有技术相比具有如下优点：
1、   本发明通过K-L变换，将眼睛训练样本在基向量上的投影系数作为匹配模板，与直接将眼睛图像作为模板相比，具有更好的泛化能力。
2、   本发明通过核相关系数来度量被测对象和模板的匹配程度，与传统的相关系数相比，匹配的精度更高，目标的显著度更高。
附图说明
图1为本发明图像中的坐标约定。
图2为本发明训练阶段的流程框图。
图3为本发明定位阶段的流程框图。
图4-11为本发明的实际效果图。其中：图4、图8为实验人脸图像；图5、图9分别为图4、图8以核相关系数值为像素灰度值的图像；图6、图10为图5、图9的三维图像；图7、图11分别为图4、图8中人眼定位结果。
具体实施方式
下面结合附图和具体实施例对本发明进行详细描述，以便于本领域的技术人员进一步地理解本发明。需要强调的是，以下实施例仅是本发明的一种优选实施方式而已，对于本技术领域的技术人员来说，在不脱离本发明的核心思想和基本原理的前提下，可以进行改进和修改，或者利用本发明的主要方法、核心思想和基本原理解决其它领域的技术问题，都应视为本发明的保护范围。
实施例1，一种基于K-L变换和核相关系数的人脸图像中眼睛定位方法，首先构建眼睛模板库，生成训练矩阵；对训练矩阵进行K-L变换，获取基向量和特征值，并选取主要基向量，将每个眼睛训练样本投影到主要基向量上，获得眼睛样本的投影系数向量；以投影系数向量作为模板，以核相关系数作为匹配程度的度量，在人脸图像中进行左眼和右眼的模板匹配；最后，最大核相关系数的位置，确定为眼睛位置。
实施例2，参照图2-3，实施例1所述的人脸图像中眼睛定位的方法中：
构建眼睛模板库的具体步骤如下：
（1）建立人脸图像库；创建人脸样本库，对不同的人，在不同光照条件、不同表情条件下获取n幅人脸图像，作为提取人眼的样本图像，并统一取人脸图像的分辨率为
Figure 655978DEST_PATH_IMAGE028
；
（2）建立眼睛模板库；从人脸样本图像中，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并统一为相同的分辨率，构建含有n个左眼图像和n个右眼图像的眼睛模板库。
生成训练矩阵的具体步骤如下：
（1）生成眼睛模板向量；将截取的眼睛模板图像，按列与列首尾相接，分别构成n个左眼和n个右眼维训练模板向量，设第k个左、右眼训练模板向量分别为
Figure 630515DEST_PATH_IMAGE034
和
Figure 518837DEST_PATH_IMAGE036
，
Figure 2011101553094100002DEST_PATH_IMAGE078
；
（2）构建训练矩阵；将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵
Figure 2011101553094100002DEST_PATH_IMAGE080
和
Figure 2011101553094100002DEST_PATH_IMAGE082
。
对训练矩阵进行K-L变换，获取基向量和特征值，其具体步骤是：对生成的左眼、右眼训练矩阵，分别进行K-L变换，得到左、右眼训练矩阵的基向量和特征值，并将基向量按相应的特征值从大到小排列。
选取主要基向量的具体步骤是：将排列好的基向量，选择前
Figure 525976DEST_PATH_IMAGE040
、
Figure 563945DEST_PATH_IMAGE042
个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%。
获得眼睛样本的投影系数向量的具体步骤是：将n个左眼、n个右眼训练模板向量分别投影到左、右眼的
Figure 506494DEST_PATH_IMAGE040
、
Figure 882111DEST_PATH_IMAGE042
个主要基向量上，得到每个眼睛的投影系数向量
Figure 489679DEST_PATH_IMAGE044
和
Figure 962249DEST_PATH_IMAGE046
，
Figure 2011101553094100002DEST_PATH_IMAGE084
，
Figure 13381DEST_PATH_IMAGE044
和
Figure 627028DEST_PATH_IMAGE046
分别为
Figure 789019DEST_PATH_IMAGE040
维和
Figure 850516DEST_PATH_IMAGE042
维向量。
以投影系数向量作为模板的具体方法是：分别以左眼和右眼的投影系数向量
Figure 321817DEST_PATH_IMAGE044
和
Figure 734344DEST_PATH_IMAGE046
为模板向量，作为模板匹配的模板。
以核相关系数作为匹配程度的度量的具体方法为：计算向量X、Y的核相关系数公式为
Figure 2011101553094100002DEST_PATH_IMAGE086
。
在人脸图像中进行左眼和右眼的模板匹配，具体步骤为：
（1）获取人脸正面图像，将图像以中轴线为界，分为左脸图像和右脸图像两部分，左脸图像包含左眼，右脸图像包含右眼；
（2）以高为h、宽为w的滑动窗口，在右脸图像每一个像素位置上剪切子图像，
Figure 567094DEST_PATH_IMAGE050
为像素坐标，子图像的分辨率为h×w；
（3）将子图像
Figure 694450DEST_PATH_IMAGE048
转换为h×w维向量，并将其投影到右眼的
Figure 594273DEST_PATH_IMAGE042
个主要基向量，得到
Figure 347334DEST_PATH_IMAGE042
维投影系数向量
Figure 586686DEST_PATH_IMAGE052
；
（4）由核相关系数得到子图像
Figure 947260DEST_PATH_IMAGE048
与右眼模板的匹配程度，求向量
Figure 22795DEST_PATH_IMAGE052
和
Figure 392596DEST_PATH_IMAGE046
的核相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE088
，取为像素
Figure 407825DEST_PATH_IMAGE050
处的匹配值；
（5）右眼的位置用下式确定：
Figure 2011101553094100002DEST_PATH_IMAGE092
；
（6）确定左眼的搜索区域。为减小计算量，在确定右眼中心位置后，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索目标，该邻域为以（
Figure 2011101553094100002DEST_PATH_IMAGE094
,）和（,W）为顶点的矩形区域，该区域为左眼的搜索区域；
（7）以高为h、宽为w的滑动窗口，在左眼的搜索区域每一个像素位置上剪切子图像；
（8）将子图像
Figure 735011DEST_PATH_IMAGE048
转换为h×w维向量，并将其投影到左眼的
Figure 745692DEST_PATH_IMAGE040
个主要基向量，得到
Figure 651332DEST_PATH_IMAGE040
维投影系数向量
Figure 2011101553094100002DEST_PATH_IMAGE098
；
（9）由核相关系数法得到子图像
Figure 560513DEST_PATH_IMAGE048
与左眼模板的匹配程度，向量和的核相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE100
，取
Figure 2011101553094100002DEST_PATH_IMAGE102
为像素
Figure 2011101553094100002DEST_PATH_IMAGE104
处的匹配值；
（10）左眼的中心位置用下式确定：
Figure 2011101553094100002DEST_PATH_IMAGE106
。
实施例3，参照图1-11，基于K-L变换和核相关系数的人脸图像中眼睛定位方法实验及其结果。
主要包括三个阶段：
第一阶段为训练阶段，通过眼睛训练样本，得到K-L变换的主要基向量和各训练样本的投影系数向量；
第二阶段为右眼定位阶段，利用眼睛模板投影系数向量和被测图像投影系数向量的核相关系数，对右眼进行定位；
第三阶段为左眼定位阶段，利用双眼的对称性缩小搜索区、减小计算量，然后用与右眼定位相同的方法进行左眼定位。
眼睛定位方法包括以下步骤：
训练阶段：
步骤S101，建立人脸图像库。创建人脸样本库，对不同的人，在不同光照条件、不同表情条件下获取n=150幅人脸图像，作为提取人眼的样本图像，并统一取人脸图像的分辨率为
Figure 23965DEST_PATH_IMAGE028
，并分别取H=100和W=100。
步骤S102，建立眼睛模板库。从步骤S101中建立的人脸样本库中，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并归一化为相同的分辨率（，本实施例中，取
Figure 2011101553094100002DEST_PATH_IMAGE108
和
Figure 2011101553094100002DEST_PATH_IMAGE110
），构建含有n个左眼图像和n个右眼图像的眼睛模板库。
步骤S103，生成眼睛模板向量。将步骤S102中构建的眼睛模板图像，按列与列首尾相接，分别构成n个左眼和n个右眼
Figure 483207DEST_PATH_IMAGE032
维训练模板向量，设第k个左、右眼训练模板向量分别为
Figure 406164DEST_PATH_IMAGE034
和
Figure 715922DEST_PATH_IMAGE036
（
Figure 973597DEST_PATH_IMAGE038
正整数）。
步骤S104，构建训练矩阵。将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵
Figure 964687DEST_PATH_IMAGE080
和
Figure 804467DEST_PATH_IMAGE082
。
步骤S105，获取训练矩阵的基向量和特征值。对步骤S104中生成的眼睛训练矩阵，分别进行K-L变换，得到左、右眼训练矩阵的基向量和特征值，并将基向量按相应的特征值从大到小排列。
步骤S106，主要基向量的选择。选择步骤S105中前
Figure 970613DEST_PATH_IMAGE040
、个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%，这些主要基向量包含了描述人眼的大部分信息。
步骤S107，获取左、右眼训练模板向量的投影系数。将n个左、右眼训练模板向量分别投影到左、右眼的
Figure 57835DEST_PATH_IMAGE040
、个主要基向量上，得到每个眼睛的投影系数向量
Figure 590633DEST_PATH_IMAGE044
和
Figure 573633DEST_PATH_IMAGE046
（正整数），
Figure 206050DEST_PATH_IMAGE044
和分别为维和
Figure 884659DEST_PATH_IMAGE042
维。
右眼定位阶段：
步骤S201，获取人脸正面图像，将图像以中轴线为界，分为左脸图像和右脸图像两部分，左脸图像包含左眼，右脸图像包含右眼。
步骤S202，以高为h、宽为w的滑动窗口，在左脸图像每一个像素位置上剪切子图像，
Figure 484585DEST_PATH_IMAGE050
为像素坐标，子图像的分辨率为h×w。图像中坐标的约定，如图1所示。
步骤S203，按步骤S103将子图像
Figure 924400DEST_PATH_IMAGE048
转换为h×w维向量，并按步骤S107将其投影到右眼的
Figure 661412DEST_PATH_IMAGE042
个主要基向量，得到
Figure 122480DEST_PATH_IMAGE042
维投影系数向量
Figure 552325DEST_PATH_IMAGE052
。
步骤S204，由核相关系数法得到子图像
Figure 715322DEST_PATH_IMAGE048
与右眼模板的匹配程度，向量
Figure 193707DEST_PATH_IMAGE052
和
Figure 525594DEST_PATH_IMAGE046
的核相关系数为：
Figure 2011101553094100002DEST_PATH_IMAGE112
，取
Figure 2011101553094100002DEST_PATH_IMAGE114
为像素
Figure 985394DEST_PATH_IMAGE050
处的匹配值，取。
步骤S205，得到所有像素位置上的匹配值后，右眼的中心位置用下式确定：。
左眼定位阶段：
步骤S301，确定左眼的搜索区域。为减小计算量，在确定右眼中心位置后，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索目标，该邻域为以（
Figure 2011101553094100002DEST_PATH_IMAGE120
,
Figure 337485DEST_PATH_IMAGE064
）和（
Figure 2011101553094100002DEST_PATH_IMAGE122
,W）为顶点的矩形区域。
步骤S302，以高为h、宽为w的滑动窗口，在矩形区域中的每一个像素位置上剪切子图像
Figure 2011101553094100002DEST_PATH_IMAGE124
。
步骤S303，按步骤S103将子图像
Figure 2011101553094100002DEST_PATH_IMAGE126
转换为h×w维向量，并按步骤S107将其投影到左眼的
Figure 540933DEST_PATH_IMAGE040
个主要基向量，得到维投影系数向量
Figure 171077DEST_PATH_IMAGE098
。
步骤S304，由核相关系数法得到子图像
Figure 2011101553094100002DEST_PATH_IMAGE128
与左眼模板的匹配程度，向量和
Figure 2011101553094100002DEST_PATH_IMAGE132
的核相关系数为：
Figure DEST_PATH_IMAGE134
，取
Figure DEST_PATH_IMAGE136
为像素
Figure DEST_PATH_IMAGE138
处的匹配值，并取。
步骤S305，得到所有像素位置上的匹配值后，左眼的中心位置用下式确定：
Figure DEST_PATH_IMAGE142
。
本实施例的人眼定位效果显示在图4-11中。

Claims (10)

1.一种基于K-L变换和核相关系数的人脸图像中眼睛定位方法，其特征在于：首先构建眼睛模板库，生成训练矩阵；对训练矩阵进行K-L变换，获取基向量和特征值，并选取主要基向量，将每个眼睛训练样本投影到主要基向量上，获得眼睛样本的投影系数向量；以投影系数向量作为模板，以核相关系数作为匹配程度的度量，在人脸图像中进行左眼和右眼的模板匹配；最后，最大核相关系数的位置，确定为眼睛位置。
2.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，构建眼睛模板库的具体步骤如下：
（1）建立人脸图像库；创建人脸样本库，对不同的人，在不同光照条件、不同表情条件下获取n幅人脸图像，作为提取人眼的样本图像，并统一取人脸图像的分辨率为                                               ：
（2）建立眼睛模板库；从人脸样本图像中，截取眼睛图像，为了便于更多的保留眼睛的特征，截取的眼睛图像中应包括眉毛、上眼睑、下眼睑和眼角，按左、右眼归类，并统一为相同的分辨率
Figure 2011101553094100001DEST_PATH_IMAGE004
，构建含有n个左眼图像和n个右眼图像的眼睛模板库。
3.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，生成训练矩阵的具体步骤如下：
（1）生成眼睛模板向量；将截取的眼睛模板图像，按列与列首尾相接，分别构成n个左眼和n个右眼
Figure 237408DEST_PATH_IMAGE004
维训练模板向量，设第k个左、右眼训练模板向量分别为
Figure 2011101553094100001DEST_PATH_IMAGE006
和
Figure 2011101553094100001DEST_PATH_IMAGE008
，；
（2）构建训练矩阵；将左、右眼训练模板的向量作为行，分别构造左、右眼训练矩阵
Figure 2011101553094100001DEST_PATH_IMAGE012
和
Figure 2011101553094100001DEST_PATH_IMAGE014
。
4.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，对训练矩阵进行K-L变换，获取基向量和特征值，其具体步骤是：对生成的左眼、右眼训练矩阵，分别进行K-L变换，得到左、右眼训练矩阵的基向量和特征值，并将基向量按相应的特征值从大到小排列。
5.根据权利要求4所述的人脸图像中眼睛定位的方法，其特征在于，选取主要基向量的具体步骤是：将排列好的基向量，选择前、
Figure 2011101553094100001DEST_PATH_IMAGE018
个基向量分别作为左眼和右眼的主要基向量，其对应的特征值之和大于所有特征值之和的98%。
6.根据权利要求5所述的人脸图像中眼睛定位的方法，其特征在于，获得眼睛样本的投影系数向量的具体步骤是：将n个左眼、n个右眼训练模板向量分别投影到左、右眼的
Figure 590767DEST_PATH_IMAGE016
、
Figure 370504DEST_PATH_IMAGE018
个主要基向量上，得到每个眼睛的投影系数向量
Figure 2011101553094100001DEST_PATH_IMAGE020
和
Figure 2011101553094100001DEST_PATH_IMAGE022
，，
Figure 642402DEST_PATH_IMAGE020
和分别为
Figure 417384DEST_PATH_IMAGE016
维和维向量。
7.根据权利要求1或6所述的人脸图像中眼睛定位的方法，其特征在于，以投影系数向量作为模板的具体方法是：分别以左眼和右眼的投影系数向量
Figure 222846DEST_PATH_IMAGE020
和
Figure 403160DEST_PATH_IMAGE022
为模板向量，作为模板匹配的模板。
8.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，以核相关系数作为匹配程度的度量的具体方法为：计算向量X、Y的核相关系数公式为
Figure 2011101553094100001DEST_PATH_IMAGE024
。
9.根据权利要求1所述的人脸图像中眼睛定位的方法，其特征在于，在人脸图像中进行左眼和右眼的模板匹配，具体步骤为：
（1）获取人脸正面图像，将图像以中轴线为界，分为左脸图像和右脸图像两部分，左脸图像包含左眼，右脸图像包含右眼；
（2）以高为h、宽为w的滑动窗口，在右脸图像每一个像素位置上剪切子图像
Figure 2011101553094100001DEST_PATH_IMAGE026
，
Figure 2011101553094100001DEST_PATH_IMAGE028
为像素坐标，子图像的分辨率为h×w；
（3）将子图像
Figure 783588DEST_PATH_IMAGE026
转换为h×w维向量，并将其投影到右眼的个主要基向量，得到
Figure 168619DEST_PATH_IMAGE018
维投影系数向量
Figure 2011101553094100001DEST_PATH_IMAGE030
；
（4）由核相关系数得到子图像
Figure 536147DEST_PATH_IMAGE026
与右眼模板的匹配程度，求向量
Figure 777772DEST_PATH_IMAGE030
和
Figure 738381DEST_PATH_IMAGE022
的核相关系数为：
Figure 2011101553094100001DEST_PATH_IMAGE032
，取为像素
Figure 506486DEST_PATH_IMAGE028
处的匹配值；
（5）右眼的位置用下式确定：
Figure 2011101553094100001DEST_PATH_IMAGE036
；
（6）确定左眼的搜索区域。
10.为减小计算量，在确定右眼中心位置后，利用左、右眼的对称性缩小搜索范围，只在左脸图像的右眼对称位置的邻域内搜索目标，该邻域为以（
Figure 2011101553094100001DEST_PATH_IMAGE038
,
Figure 2011101553094100001DEST_PATH_IMAGE040
）和（
Figure 2011101553094100001DEST_PATH_IMAGE042
,W）为顶点的矩形区域，该区域为左眼的搜索区域；
（7）以高为h、宽为w的滑动窗口，在左眼的搜索区域每一个像素位置上剪切子图像
Figure 405434DEST_PATH_IMAGE026
；
（8）将子图像转换为h×w维向量，并将其投影到左眼的
Figure 400121DEST_PATH_IMAGE016
个主要基向量，得到
Figure 835782DEST_PATH_IMAGE016
维投影系数向量
Figure 2011101553094100001DEST_PATH_IMAGE044
；
（9）由核相关系数法得到子图像
Figure 292914DEST_PATH_IMAGE026
与左眼模板的匹配程度，向量
Figure 243553DEST_PATH_IMAGE044
和
Figure 63741DEST_PATH_IMAGE020
的核相关系数为：
Figure 2011101553094100001DEST_PATH_IMAGE046
，取
Figure 2011101553094100001DEST_PATH_IMAGE048
为像素
Figure 2011101553094100001DEST_PATH_IMAGE050
处的匹配值；
（10）左眼的中心位置用下式确定：
Figure 2011101553094100001DEST_PATH_IMAGE052
。
CN 201110155309 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法 Expired - Fee Related CN102194110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110155309 CN102194110B (zh) 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110155309 CN102194110B (zh) 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法

Publications (2)

Publication Number Publication Date
CN102194110A true CN102194110A (zh) 2011-09-21
CN102194110B CN102194110B (zh) 2013-03-13

Family

ID=44602154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110155309 Expired - Fee Related CN102194110B (zh) 2011-06-10 2011-06-10 基于k-l变换和核相关系数的人脸图像中眼睛定位方法

Country Status (1)

Country Link
CN (1) CN102194110B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034051A (zh) * 2018-07-24 2018-12-18 哈尔滨理工大学 人眼定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336830B2 (en) * 2002-11-29 2008-02-26 Sony United Kingdom Limited Face detection
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7336830B2 (en) * 2002-11-29 2008-02-26 Sony United Kingdom Limited Face detection
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS-PART A: SYSTEMS AND HUMANS》 20021130 David Zhang，etc. A Novel Face Recognition System Using Hybrid Neuraland Dual Eigenspaces Methods 第787-793页 1-10 第32卷, 第6期 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034051A (zh) * 2018-07-24 2018-12-18 哈尔滨理工大学 人眼定位方法

Also Published As

Publication number Publication date
CN102194110B (zh) 2013-03-13

Similar Documents

Publication Publication Date Title
Korn et al. Color supported generalized-ICP
EP3091479B1 (en) Method and apparatus for fingerprint identification
US9480417B2 (en) Posture estimation device, posture estimation system, and posture estimation method
WO2012101962A1 (ja) 姿勢状態推定装置および姿勢状態推定方法
CN103473564B (zh) 一种基于敏感区域的正面人脸检测方法
CN109034095A (zh) 一种人脸对齐检测方法、装置和存储介质
CN109241910A (zh) 一种基于深度多特征融合级联回归的人脸关键点定位方法
Tan et al. Dynamic hand gesture recognition using motion trajectories and key frames
CN103902992B (zh) 人脸识别方法
CN105760834A (zh) 一种人脸特征点定位方法
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
Olague et al. Evolving head tracking routines with brain programming
CN108960103A (zh) 一种人脸和唇语相融合的身份认证方法及系统
CN103093226B (zh) 一种用于图像特征处理的ratmic描述子的构造方法
CN107563292A (zh) 一种基于lddmm曲线匹配的人脸情感识别方法
Darujati et al. Facial motion capture with 3D active appearance models
CN104331412A (zh) 一种在规格化三维人脸库中进行人脸检索的方法
CN102831388B (zh) 基于扩展的活动形状模型的实时特征点检测方法与系统
Zhang et al. Linearly augmented real-time 4D expressional face capture
CN102194110B (zh) 基于k-l变换和核相关系数的人脸图像中眼睛定位方法
CN104156689B (zh) 一种对目标对象的特征信息进行定位的方法和设备
Tang et al. Parametric distortion-adaptive neighborhood for omnidirectional camera
CN103136513B (zh) 一种改进的asm人脸特征点定位方法
Asad et al. Smartphone based guidance system for visually impaired person
Xu et al. Improving the interest operator for face recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130313

Termination date: 20160610