CN103632136B - 人眼定位方法和装置 - Google Patents

人眼定位方法和装置 Download PDF

Info

Publication number
CN103632136B
CN103632136B CN201310557045.4A CN201310557045A CN103632136B CN 103632136 B CN103632136 B CN 103632136B CN 201310557045 A CN201310557045 A CN 201310557045A CN 103632136 B CN103632136 B CN 103632136B
Authority
CN
China
Prior art keywords
image
eye
facial
human
convolved
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310557045.4A
Other languages
English (en)
Other versions
CN103632136A (zh
Inventor
张芹芹
张祥德
张要罗
李倩颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Techshino Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Techshino Technology Co Ltd filed Critical Beijing Techshino Technology Co Ltd
Priority to CN201310557045.4A priority Critical patent/CN103632136B/zh
Publication of CN103632136A publication Critical patent/CN103632136A/zh
Priority to PCT/CN2014/084429 priority patent/WO2015067084A1/zh
Priority to US15/030,485 priority patent/US9842247B2/en
Application granted granted Critical
Publication of CN103632136B publication Critical patent/CN103632136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人眼定位方法和装置，其中，人眼定位方法包括：接收人脸图像；定位人脸图像中的鼻子位置和眼睛位置；根据鼻子位置确定人脸对称轴；以及利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。通过本发明，解决了现有技术中人眼定位准确性较差的问题，进而达到了提高了眼睛定位准确性的效果。

Description

人眼定位方法和装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种人眼定位方法和装置。
背景技术
一般情况下，一个完整的人脸识别系统是由人脸检测、眼睛定位、特征提取和人脸识别四部分组成。在识别过程中，不管是利用人脸的全局特征还是局部特征，采用图像的几何特征还是代数特征，人脸方位的变化对识别的结果都有显著的影响，所以在进行识别之前需要先对图像进行归一化处理。而图像归一化的条件则是双眼的位置，具体原因如下：
1）两眼中心距离受光照和表情变化影响最小，双眼中心连线的方向随人脸的偏转而偏转，可以作为图像旋转的依据；
2）以两眼之间的距离对提取的各个特征值进行归一化，则这些特征值具有平移、旋转和尺度上的不变性。
在人脸位置已经检测的前提下，眼睛定位的准确与否直接影响特征提取的效果，进而影响人脸识别的准确率，所以当前学者将眼睛的准确定位为人脸识别走向实用化的关键和瓶颈所在。
早期的人脸识别算法都是在假定眼睛坐标精确定位的前提下进行的。在过去的几十年，人眼定位方法的研究取得了较大进展，国内外的研究人员提出了一些关于人眼定位方法，大致可以分为以下五类：
（1）基于先验规则的方法：
基于先验规则的方法也称为基于知识的方法，主要是将人脸的特征总结成一些简单的规则，这些规则反映了人脸特有的属性和人脸各个面部特征之间的关系，例如人脸是关于中心对称的。可以根据这些关系大致确定眼睛的候选点或者区域，然后进行相应的处理。
基于先验规则的方法简单、快速，但是，仅仅对于背景较为简单、脸部特征规整的人脸图像有效。要准确定位眼睛位置，还要用其它的方法来去除干扰，如眉毛、眼镜、眉毛等。
（2）基于几何信息的方法：
由于人脸上的各个器官的位置以及距离是相对固定的，则可以根据人脸上的器官的分布规律建立面部的几何模型，然后在人脸图像中匹配各个面部特征点的位置。
基于几何信息的方法对模板的选择、模型的构建有较高的要求，而且利用了人脸大量的几何位置信息，这会导致在复杂的条件下定位的效果不好。因而，在现有的人脸识别系统中往往用基于几何信息的方法辅助其他方法实施定位。
（3）基于肤色信息的方法：
色彩信息已经越来越多被应用于计算机视觉研究领域。肤色是人脸的重要信息，它完全不依赖于面部的细节特征，并且对于旋转、表情、姿态等变化情况都能适用，具有相对的稳定性。肤色和大多数背景物体的颜色具有一定的差异，利用肤色可以减少眼睛搜索的时间，减少复杂背景对眼睛定位的干扰。
基于肤色信息的方法虽然简单、快速，但是容易受到外界光源、图像采集设备等的影响，会使图像出现人脸反光、图像颜色不正常等现象，导致系统不能够较好的区分出肤色和非肤色像素。并且肤色信息仅仅能够用于彩色图像，灰度图像则不能处理，不具有通用性。
（4）基于统计信息的方法：
基于统计的方法，一般是通过对大量的目标样本和非目标样本进行训练学习得到一组训练的分类器，然后根据这些分类器来进行目标检测。
基于统计信息的方法进行眼睛的定位，在准确度上有了很大的提高，但是需要提前制作大量的样本来进行训练，训练过程复杂，并且周期长。
（5）基于关联信息的方法：
基于关系信息的方法，利用人脸上的其他器官的相对位置数据，不断压缩眼睛候选点的范围，从而实现眼睛的定位。
基于关联信息的方法利用了人脸的特征点之间的制约关系，随着制约条件的增多，定位的准确率也随之提高，对于复杂的背景、人脸姿态和表情变化等具有很好的适应能力，但是在准确率提高的同时也增加了算法的运算量，定位速度变慢。
但是，上述相关技术中的人眼定位方法都具有相似的缺陷：1）睁眼睛和闭眼睛的时候，眼睛的状态是不一样的，睁眼睛图像中含有瞳孔，容易定位，而闭眼睛图像中仅仅呈现一条“黑色的线”，两种状态下的图片，眼睛位置具有不同的特征和灰度分布，如果采用相同方法进行定位，比如模板匹配，很难寻找共同的特征，如果都采用相同的方法进行定位，很容易产生误定位的情况。现有的眼睛定位方法很少对眼睛状态进行分类，对于不同的眼睛状态应该采用不同的方法进行定位；2）现有的眼睛定位方法多数只是在人脸上单纯的定位眼睛，实际上有时候眉毛以及眼角等也会对眼睛的定位产生干扰，即使是定位在眉毛上或者眼角上，这种很明显的错误也没有办法对其进行修正。
针对相关技术中人眼定位准确性较差的问题，目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种人眼定位方法和装置，以解决现有技术中人眼定位准确性较差的问题。
为了实现上述目的，根据本发明的一个方面，提供了一种人眼定位方法，包括：接收人脸图像；定位人脸图像中的鼻子位置和眼睛位置；根据鼻子位置确定人脸对称轴；以及利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。
进一步地，通过利用预设鼻子模板图像与人脸图像卷积计算，并利用支持向量机进行筛选，定位人脸图像中的鼻子位置。
进一步地，预设鼻子模板图像包括第一模板图像和第二模板图像，其中，第一模板图像中的鼻孔角度与第二模板图像中的鼻孔角度不同，利用预设鼻子模板图像与人脸图像卷积计算，定位人脸图像中的鼻子位置包括：分别对第一模板图像和第二模板图像与人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像；分别计算第一卷积图像和第二卷积图像的区域极大值；将第一卷积图像上的区域极大值处和第二卷积图像上的区域极大值处均标记为1，并将第一卷积图像上的非区域极大值处和第二卷积图像上的非区域极大值处均标记为0，得到第一卷积图像的二值图像和第二卷积图像的二值图像；合并第一二值图像和第二二值图像，得到第三二值图像，其中，第一二值图像为第一卷积图像的二值图像，第二二值图像为第二卷积图像的二值图像；以及确定第三二值图像的区域极大值处的区域重心为鼻子位置。
进一步地，通过以下方式确定区域重心：利用预设矩阵对第三二值图像进行膨胀处理，得到多个连通区域；查找多个连通区域中的最大连通区域；以及确定最大连通区域的重心为区域重心。
进一步地，在合并第一二值图像和第二二值图像，得到第三二值图像之后，并且在确定第三二值图像的区域极大值处的区域重心为鼻子位置之前，利用支持向量机进行筛选包括：利用支持向量机对目标点进行判断，其中，目标点为第三二值图像中为1的点；在利用支持向量机判断出目标点仍为1的情况下，保持目标点在第三二值图像上的标记为1不变；以及在利用支持向量机判断出目标点为0的情况下，在第三二值图像上将目标点重新标记为0，其中，确定重新标记后的第三二值图像的区域极大值处的区域重心为鼻子位置。
进一步地，定位人脸图像中的眼睛位置包括：利用AdaBoost算法检测人脸图像中眼睛位置所在的第一区域；对第一区域进行径向对称变换确定人眼的睁闭状态；在确定人眼处于睁开状态的情况下，利用Gabor滤波器定位眼睛位置；以及在确定人眼处于闭合状态的情况下，利用K-means聚类算法定位眼睛位置。
进一步地，Gabor滤波器的极坐标为其中，r0与θ0为确定Gabor滤波器中心的参数因子，α与β为Gabor滤波器中高斯窗的尺度因子，α和β根据人脸图像的大小确定，ω为Gabor滤波器的震荡频率。
进一步地，通过以下方式确定K-means聚类算法中的聚类中心：获取第一区域中的人眼灰度值和每个人眼灰度值的像素点个数；按照公式A=aminnmin+amin+1nmin+1+amin+2nmin+2+…amaxnmax计算灰度值累加值，其中，amin为人眼灰度值中的最小灰度值，nmin为最小灰度值的像素点个数，amax为人眼灰度值中的最大灰度值，nmax为最大灰度值的个数，amin+n为比最小灰度值大n的灰度值，nmin+n为灰度值amin+n的像素点个数，n∈[1，2，3，…，254]；以及确定分别为和的灰度值为K-means聚类算法中的3个聚类中心。
进一步地，利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置包括：以眼睛位置中的左眼位置p1、眼睛位置中的右眼位置p2和鼻子位置p3为顶点建立目标三角形；按照公式计算目标三角形的边长Dij；按照公式计算目标三角形的边长之间的比例rij；按照公式计算目标三角形的每个内角αij的余弦cos(αij)；判断Pfinal<T是否成立，其中， 为的高斯分布，为的高斯分布，为的高斯分布，T为预设值；在判断出Pfinal<T成立的情况下，确定左眼位置为右眼位置关于人脸对称轴的对称点，或确定右眼位置为左眼位置关于人脸对称轴的对称点；以及重新建立目标三角形，直至判断出Pfinal≥T。
为了实现上述目的，根据本发明的另一方面，提供了一种人眼定位装置，该人眼定位装置用于执行本发明上述内容所提供的任一种人眼定位方法。
为了实现上述目的，根据本发明的另一方面，提供了一种人眼定位装置，包括：接收单元，用于接收人脸图像；定位单元，用于定位人脸图像中的鼻子位置和眼睛位置；第一确定单元，用于根据鼻子位置确定人脸对称轴；以及调整单元，用于利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。
进一步地，定位单元通过利用预设鼻子模板图像与人脸图像卷积计算，并利用支持向量机进行筛选，定位人脸图像中的鼻子位置。
进一步地，预设鼻子模板图像包括第一模板图像和第二模板图像，其中，第一模板图像中的鼻孔角度与第二模板图像中的鼻孔角度不同，定位单元包括：第一计算子单元，用于分别对第一模板图像和第二模板图像与人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像；第二计算子单元，用于分别计算第一卷积图像和第二卷积图像的区域极大值；第一标记子单元，用于将第一卷积图像上的区域极大值处和第二卷积图像上的区域极大值处均标记为1，并将第一卷积图像上的非区域极大值处和第二卷积图像上的非区域极大值处均标记为0，得到第一卷积图像的二值图像和第二卷积图像的二值图像；合并子单元，用于合并第一二值图像和第二二值图像，得到第三二值图像，其中，第一二值图像为第一卷积图像的二值图像，第二二值图像为第二卷积图像的二值图像；以及第一确定子单元，用于确定第三二值图像的区域极大值处的区域重心为鼻子位置。
进一步地，人眼定位装置还包括：处理单元，用于利用预设矩阵对第三二值图像进行膨胀处理，得到多个连通区域；查找单元，用于查找多个连通区域中的最大连通区域；以及第二确定单元，用于确定最大连通区域的重心为区域重心。
进一步地，定位单元还包括：第一判断子单元，用于利用支持向量机对目标点进行判断，其中，目标点为第三二值图像中为1的点；保持子单元，用于在利用支持向量机判断出目标点仍为1的情况下，保持目标点在第三二值图像上的标记为1不变；以及第二标记子单元，用于在利用支持向量机判断出目标点为0的情况下，在第三二值图像上将目标点重新标记为0，其中，第一确定子单元用于确定重新标记后的第三二值图像的区域极大值处的区域重心为鼻子位置。
进一步地，定位单元还包括：检测子单元，用于利用AdaBoost算法检测人脸图像中眼睛位置所在的第一区域；变换子单元，用于对第一区域进行径向对称变换确定人眼的睁闭状态；第一定位子单元，用于在确定人眼处于睁开状态的情况下，利用Gabor滤波器定位眼睛位置；以及第二定位子单元，用于在确定人眼处于闭合状态的情况下，利用K-means聚类算法定位眼睛位置。
进一步地，Gabor滤波器的极坐标为其中，r0与θ0为确定Gabor滤波器中心的参数因子，α与β为Gabor滤波器中高斯窗的尺度因子，α和β根据人脸图像的大小确定，ω为Gabor滤波器的震荡频率。
进一步地，人眼定位装置还包括：获取单元，用于获取第一区域中的人眼灰度值和每个人眼灰度值的像素点个数；计算单元，用于按照公式A=aminnmin+amin+1nmin+1+amin+2nmin+2+…amaxnmax计算灰度值累加值，其中，amin为人眼灰度值中的最小灰度值，nmin为最小灰度值的像素点个数，amax为人眼灰度值中的最大灰度值，nmax为最大灰度值的个数，amin+n为比最小灰度值大n的灰度值，nmin+n为灰度值amin+n的像素点个数，n∈[1，2，3，…，254]；以及第三确定单元，用于确定分别为 和的灰度值为K-means聚类算法中的3个聚类中心。
进一步地，调整单元包括：建立子单元，用于以眼睛位置中的左眼位置p1、眼睛位置中的右眼位置p2和鼻子位置p3为顶点建立目标三角形；第三计算子单元，用于按照公式计算目标三角形的边长Dij；第四计算子单元，用于按照公式计算目标三角形的边长之间的比例rij；第五计算子单元，用于按照公式计算目标三角形的每个内角αij的余弦cos(αij)；第二判断子单元，用于判断Pfinal<T是否成立，其中， 为的高斯分布，为的高斯分布，为的高斯分布，T为预设值；以及第二确定子单元，用于在判断出Pfinal<T成立的情况下，确定左眼位置为右眼位置关于人脸对称轴的对称点，或确定右眼位置为左眼位置关于人脸对称轴的对称点，其中，建立子单元还用于重新建立目标三角形，直至判断子单元判断出Pfinal≥T。
本发明采用接收人脸图像；定位人脸图像中的鼻子位置和眼睛位置；根据鼻子位置确定人脸对称轴；以及利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。通过定位鼻子位置，并确定人脸对称轴，以及利用人脸对称轴调整眼睛位置来对人眼进行定位，解决了现有技术中人眼定位准确性较差的问题，进而达到了提高了眼睛定位准确性的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的人眼定位方法的流程图；
图2是根据本发明优选实施例的人眼定位方法的流程图；
图3a至图3c是利用图2中的人眼定位方法确定出的二值图像的示意图；
图4是根据本发明实施例的人眼定位方法进行径向对称变换的流程图；
图5是根据本发明实施例的人眼定位方法建立的目标三角形的示意图；以及
图6是根据本发明实施例的人眼定位装置的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明实施例提供了一种人眼定位方法，以下对本发明实施例所提供的人眼定位方法进行具体介绍：
图1是根据本发明实施例的人眼定位方法的流程图，如图1所示，该方法主要包括如下的步骤S102至步骤S108：
S102：接收人脸图像，该人脸图像可以是通过任何方式传输过来的平面图像。
S104：定位人脸图像中的鼻子位置和眼睛位置。
S106：根据鼻子位置确定人脸对称轴，根据人脸特征的分布，各个器官在人脸上均是对称分布的，所以人脸对称轴一定通过鼻子，因此，本发明实施例所提供的人眼定位方法以鼻子位置为依据，来确定人脸对称轴。
S108：利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。
本发明实施例的人眼定位方法，通过定位鼻子位置，并确定人脸对称轴，以及利用人脸对称轴调整眼睛位置来对人眼进行定位，解决了现有技术中人眼定位准确性较差的问题，进而达到了提高了眼睛定位准确性的效果。
以下结合图2中示出的本发明优选实施例的人眼定位方法，来具体说明上述步骤S104至S108，具体地，如图2所示：
在本发明实施例中，可以通过利用预设鼻子模板图像与人脸图像进行卷积计算，并利用支持向量机进行筛选，来定位人脸图像中的鼻子位置。以下具体说明：
具体地，由于人的抬头和低头，会造成在人脸图像中鼻子出现两种不同状态，所以，在本发明实施例中，示意性以预设鼻子模板图像包括第一模板图像和第二模板图像为例来具体说明定位鼻子位置的具体方式，其中，第一模板图像中的鼻孔角度与第二模板图像中的鼻孔角度不同，即，两个模板图像中，鼻孔沿线相对水平面的角度一个大一个小，利用预设鼻子模板图像与人脸图像卷积计算，定位人脸图像中的鼻子位置具体方式为：
首先，分别将两个模板图像与人脸图像进行卷积计算，得到对应的第一卷积图像和第二卷积图像，即，F_nose=F_img*nose，其中，第一卷积图像为第一模板图像与人脸图像进行卷积计算后的图像，第二卷积图像为第二模板图像与人脸图像进行卷积计算后的图像，F_img为人脸图像，nose为鼻子模板，F_nose为通过鼻子模板卷积以后的图像卷积图像。
其次，计算两个卷积图像的区域极大值，并在卷积图像上将区域极大值处标记为1，其它点处（即，非区域极大值处）标记为0，对应得到两个卷积图像的二值图像，分别称作第一二值图像和第二二值图像，假设第一模板图像中鼻孔沿线与竖直线夹角中的锐角，大于第二模板图像中鼻孔沿线与竖直线夹角中的锐角，即，第一模板图像表示人抬头时鼻子的状态，第二模板图像表示人低头时鼻子的状态，得到的第一卷积图像的二值图像如图3a所示，得到的第二卷积图像的二值图像如图3b所示。其中，所谓区域极大值是指图像中局部区域灰度值极大处。
然后，合并两个二值图像，得到第三二值图像，如图3c所示，其中，图3a、图3b和图3c中的白点均表示区域极大值处，所谓合并是指取两个二值图像的并集。
再然后，确定第三二值图像的区域极大值处的区域重心为鼻子位置。
现有技术中在进行鼻子位置定位时，通常是采用模板匹配方法，直接计算模板匹配系数的最大值点，作为鼻子位置，而本发明实施例中，先计算人脸图像与模板图像的卷积图像，得到匹配系数，再计算卷积图像中的区域极大值处，区域极大值处即为鼻子位置的候选点，进而确定区域极大值处的区域重心为鼻子位置，相对现有技术中的鼻子位置定位而言，能够准确的筛选出鼻子位置的候选点，提高鼻子位置定位的准确度。
需要说明的是，上述确定鼻子位置的方式并不限定是先进行第一模板图像与人脸图像之间的卷积计算，还是先进行第二模板图像与人脸图像之间的卷积计算，即上述确定方式可以按照以下方式一中示出的依次执行步骤S11至步骤S18的顺序进行，也可以按照以下方式二中示出的依次执行步骤S21至步骤S28的顺序进行：
方式一：
S11：对第一模板图像与人脸图像进行卷积计算，得到第一卷积图像；
S12：计算第一卷积图像的区域极大值；
S13：标记第一卷积图像上的区域极大值处为1，并标记第一卷积图像上的非区域极大值处为0，得到第一卷积图像的二值图像；
S14：对第二模板图像与人脸图像进行卷积计算，得到第二卷积图像；
S15：计算第二卷积图像的区域极大值；
S16：标记第二卷积图像上的区域极大值处为1，并标记第二卷积图像上的非区域极大值处为0，得到第二卷积图像的二值图像；
S17：合并第一二值图像和第二二值图像，得到第三二值图像，其中，第一二值图像为第一卷积图像的二值图像，第二二值图像为第二卷积图像的二值图像；以及
S18：确定第三二值图像的区域极大值处的区域重心为鼻子位置。
方式二：
S21：对第二模板图像与人脸图像进行卷积计算，得到第二卷积图像；
S22：计算第二卷积图像的区域极大值；
S23：标记第二卷积图像上的区域极大值处为1，并标记第二卷积图像上的非区域极大值处为0，得到第二卷积图像的二值图像；
S24：对第一模板图像与人脸图像进行卷积计算，得到第一卷积图像；
S25：计算第一卷积图像的区域极大值；
S26：标记第一卷积图像上的区域极大值处为1，并标记第一卷积图像上的非区域极大值处为0，得到第一卷积图像的二值图像；
S27：合并第一二值图像和第二二值图像，得到第三二值图像，其中，第一二值图像为第一卷积图像的二值图像，第二二值图像为第二卷积图像的二值图像；以及
S28：确定第三二值图像的区域极大值处的区域重心为鼻子位置。
进一步地，在本发明实施例中，可以具体采用以下方式确定区域重心：
首先，利用预设矩阵对第三二值图像进行形态学的膨胀处理，得到多个连通区域；
其次，查找多个连通区域中的最大连通区域；
然后，确定最大连通区域的重心为区域重心。
优选地，在合并第一二值图像和第二二值图像，得到第三二值图像之后，并且在确定第三二值图像的区域极大值处的区域重心为鼻子位置之前，采用如下方式利用支持向量机进行筛选：
利用支持向量机对目标点进行判断，其中，目标点为第三二值图像中为1的点；在利用支持向量机判断出目标点仍为1的情况下，保持目标点在第三二值图像上的标记为1不变；以及在利用支持向量机判断出目标点为0的情况下，在第三二值图像上将目标点重新标记为0，其中，确定重新标记后的第三二值图像的区域极大值处的区域重心为鼻子位置。
具体地，支持向量机的训练就是根据已知类别的样本，通过训练得到最优分类面的参数。对于二分类的问题，支持向量机在判断的时候，输出+1或-1的标签，+1表示训练时的正样本，-1表示训练时的负样本。在本发明实施例中，利用支持向量机对目标点进行判断的具体方法为：
首先，利用样本的灰度特征，放入支持向量机的训练函数中进行训练，得到分类器，得到分类器的具体方法，与现有技术中利用灰度特征放入训练函数中得到分类器的方式相同，此处不再赘述。其中，样本包括正样本和负样本，正样本为从标准的人脸图像中预先截取到的鼻子区域，负样本为从标准的人脸图像中预先截取到的非鼻子区域。
然后，以第三二值图像中值为1的点为中心，在人脸图像上按照比例截取图像，将该图像的灰度特征，放入上述步骤得到的支持向量机的分类器进行判断，如果判断为1，那么对应的第三图像中的点仍标记为1，如果判断为0，那么对应的第三图像中的点就标记为0。其中，所按照的比例与上述步骤中样本在标准的人脸图像中所占的比例相同。
在利用支持向量机判断以后，进一步排除了一部分的候选点，这样剩余的大部分的候选点都聚集在鼻子附近，以进一步提高鼻子位置定位的准确度。
进一步优选地，在进行鼻子位置定位之前，本发明实施例的人眼定位方法还包括将人脸图像归一化的第一预设大小（比如高×宽=90像素×75像素），然后，以归一化到第一预设大小的人脸图像为基础进行上述鼻子位置定位的方法。
由于鼻子在人脸上是按照一定比例分布的，所以在进行鼻子定位之前先将人脸归一化到一定的大小。这样，后续的处理就不需要考虑尺度的影响，加快了定位的速度。
以下具体说明本发明实施例中定位人脸图像中眼睛位置的具体方式：
第一、利用AdaBoost算法检测人脸图像中眼睛位置所在的第一区域，具体检测方式与现有技术中利用AdaBoost算法检测眼睛位置所在区域的算法相同，其中，Adaboost算法的具体训练过程如下：
（a）首先将所有训练样本（包括正样本和负样本）归一化到同样的大小，计算人脸图像对应于所有眼睛特征模板的特征值，从而得到特征集，其中，正样本指人眼样本，负样本指非人眼样本或者含有部分人眼的样本；
（b）根据计算得到的特征集以及弱分类器训练算法确定最佳阈值，获得弱分类器集；
（c）在满足给定的检测率和误检率的条件下，根据强分类器的训练算法从弱分类器集中选出最优的弱分类器来构成强分类器；
（d）将获得的强分类器组合到级联分类器中；
（e）用已经得到的级联分类器筛选出非眼睛样本集中被误判为眼睛的样本，再补充非眼睛样本以用于后续的训练。
通过以上过程，就能得到在人脸图像上检测眼睛区域的分类器，从而为后续的工作奠定了基础，以准确检测出人脸图像中眼睛位置所在的第一区域。
进一步地，在本发明实施例中，可以重复以上（a）到（e）步骤的训练，直到满足预定的检测率和误检率后，得到在人脸图像上检测眼睛区域的分类器。
优选地，在对第一区域进行检测的过程中，对于左眼睛的检测可以仅在人脸图像的左上部分脸上检测，对于右眼睛的检测可以仅在人脸图像的右上部分脸上检测。
因为双眼在人脸上的位置比较固定，所以在检测时左眼睛仅在左上部分脸上检测，同样，右眼睛仅在右上部分脸上检测，这样不仅可以去除鼻子、嘴巴的干扰，还能加快检测速度。
进一步优选地，在进行第一区域检测之前，本发明实施例的人眼定位方法还包括将人脸图像归一化的第二预设大小（比如高×宽=65像素×65像素），然后，以归一化到第二预设大小的人脸图像为基础进行上述第一区域检测的方法。
由于人脸检测得到了人脸的大小，而眼睛区域的大小与人脸大小有一定的比例关系，所以在检测之前将人脸归一化到第二预设大小，那么眼睛区域都在同一个尺度下（大约为高×宽=10像素×20像素），这样只需要在该大小下计算一次人脸的特征即可。
第二、对第一区域进行径向对称变换确定人眼的睁闭状态，其中，径向对称变换是在广义对称变换的基础上发展出来的一种简单、快速的基于梯度的目标检测算子。该变换主要利用径向对称特性来突出具有圆形对称性的区域，从而实现对圆形目标的检测，进而实现利用径向对称变换方法判断出眼睛的睁闭状态。
径向对称变换的算法在图4中示出，如图4所示：
4.1、先对第一区域图像I进行水平边缘提取，然后再对I进行垂直边缘提取来获得，得到梯度图像，对于梯度图像中的每个像素p，可以计算出梯度方g(p)上与其对应的两个映射点p+ve(p)和p-ve(p)：
其中，g(p)=[gx(p),gy(p)]为像素p的梯度向量，||g(p)||表示向量的幅值，n为检测半径。
4.2、计算第一区域图像I的梯度方向映射直方图On和梯度幅值映射直方图Mn，
当检测半径为2时，具体计算方式如下：
On(p+ve(p))=On(p+ve(p))+1 （4-3），
On(p-ve(p))=On(p-ve(p))-1 （4-4），
Mn(p+ve(p))=Mn(p+ve(p))+||g(p)|| （4-5），
Mn(p-ve(p))=Mn(p-ve(p))-||g(p)|| （4-6），
其中，在每次计算之前，需将On和Mn初始化为零，On在p+ve点的数值增加1，在p-ve点的数值减少1，Mn在p+ve点的数值增加||g(p)||，在p-ve点的数值减少||g(p)||，以梯度方向映射直方图On中的值反映了周围像素点沿着其梯度方向映射到该点上的像素个数，梯度幅值映射直方图Mn中的值反映了周围像素点的梯度幅值对该点的贡献。
当检测半径为n时，径向对称变换结果可以通过如下卷积计算得到：
Sn=Fn*An （4-7），
其中，An是一个二维高斯窗，α是控制参数，kn是一个尺度算子用来归一化不同半径下的On和Mn，并且，
4.3、最终的变换结果为所有检测半径下得到的径向对称变换结果Sn的累加求平均：
优选地，在对第一区域进行径向对称变换确定人眼的睁闭状态之前，本发明实施例的人眼定位方法还包括：判断第一区域的平均灰度值是否小于预先设定值，对于判断出第一区域的平均灰度值小于预先设定值的情况下，对第一区域所预先设定值表示眼睛图像的灰度值进行对数变换，具体可以采用公式I=c*log(1+I_eye)进行对数变换，其中，I_eye为表示眼睛图像的原始灰度值，I为对数变换后表示眼睛图像的灰度值，c为常数，本发明实施例中取c=1，在本发明实施例中，预先设定值的大小可以为115，也可以根据实际需要取115左右的数值。
通过对灰度值较小的眼睛图像进行对数变换，其作用是压缩动态范围，此种对图像灰度范围的调整，可以减轻图像上明暗不均匀的现象，增强暗区的图像细节，进而保证后续进行人眼定位的准确度。
第三、在确定人眼处于睁开状态的情况下，利用Gabor滤波器定位眼睛位置，即，基于自适应圆形Gabor的睁眼睛精确定位，其中，Gabor滤波器的极坐标为：
从上式可以看出，Gabor滤波器是实部偶对称的，Gabor滤波器是二维高斯函数与复指数的乘积，r0与θ0为确定Gabor滤波器中心的参数因子，α与β为Gabor滤波器中高斯窗的尺度因子，通过调整一系列参数可以得到不同尺度、频率、方向的滤波器。在本发明实施例中，α和β根据人脸图像的大小确定，ω为Gabor滤波器的震荡频率。式（5-1）给出高斯窗的表达式：
令式中：(r-r0)2/α2+(θ-θ0)2/β2=m2，则：
因为此高斯窗是指数窗，所以窗函数的值随着m的增大而迅速减小。
不等式(r-r0)2/α2+(θ-θ0)2/β2≤m2表示一个以mα、mβ为长短轴的(r,θ)平面上的椭圆区域，当α=β时该区域是圆，这个区域是Gabor滤波器的有效作用范围。可以看出，Gabor滤波器的有效作用范围与α、β成正比，α、β大则有效作用范围大，α、β小则有效作用范围小。
参数ω表示复正弦函数的频率，决定了Gabor滤波器的频率选择特性，滤波器根据ω的不同产生不同的震荡频率，从而对不同频率信号产生不同的响应。
图像的Gabor滤波实质是Gabor滤波器与图像做卷积，Gabor滤波结果可以反映图像不同尺度、不同方向上的灰度分布信息。一般来说，大尺度滤波可以反映全局性较强的信息，同时可以掩盖图像中噪声的影响；小尺度可以反映比较精细的局部结构，但容易受到噪声影响。
由于Gabor小波对图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感，能容忍一定程度的图像旋转和变形，所以能应用于眼睛定位。
根据虹膜的圆形特性，在本发明实施例中，设定Gabor滤波器的参数α=β，得到一个圆形Gabor小波。为了使此Gabor小波具有自适应性，在本发明实施例中，α、β是根据每张眼睛图像的大小而确定的，因此自适应性Gabor小波对第一区域图像I进行滤波后，就能很容易的得到眼睛的坐标位置。
鉴于很多睁眼睛的图像在瞳孔周围存在光斑，所以在使用圆形Gabor小波对图像I进行滤波之前，本发明实施例的人眼定位方法还包括：先对第一区域图像I进行闭运算操作，达到减轻光斑对眼睛定位的影响。闭运算是数字图像处理中常用的形态学运算，它不仅可以使物体轮廓线更为光滑的，而且还能消弭狭窄的间断和细长的鸿沟，消除小的孔洞，并填补轮廓线中的断裂。
记圆形Gabor小波滤波后的图像为I_Gabor，找到图像I_Gabor中灰度最小值所在的位置，此位置可能是眼睛坐标位置[eye_x,eye_y]。因为眼睛图像上往往存在很多噪声，而这些噪声经过圆形Gabor小波滤波后也会产生响应，即出现局部黑暗区域，这样就会严重干扰眼睛精确定位。但是，值得注意的是噪声产生的干扰一般位于眼睛图像的角落位置，所以为了避免噪声的干扰，提高眼睛定位的准确率，又鉴于眼球一般处于眼睛图像的中间位置，本发明实施例的人眼定位方法在图像I_Gabor的中间区域I_Gabor_local内寻找最小值，将此最小值所在的位置确定为眼睛坐标位置[eye_x,eye_y]。
第四、在确定人眼处于闭合状态的情况下，利用K-means聚类算法定位眼睛位置，具体定位方法与现有技术中利用K-means聚类算法定位眼睛位置的方法相同，此处不再赘述，所不同之处在于，通过以下方式确定K-means聚类算法中的聚类中心：
4.1、获取第一区域中的人眼灰度值和每个人眼灰度值的像素点个数，即，获取第一区域中表示闭眼睛图像的各个灰度值以及每个灰度值的像素点的个数。
4.2、按照公式A=aminnmin+amin+1nmin+1+amin+2nmin+2+…amaxnmax计算灰度值累加值，其中，amin为人眼灰度值中的最小灰度值，nmin为最小灰度值的像素点个数，amax为人眼灰度值中的最大灰度值，nmax为最大灰度值的个数，amin+n为比最小灰度值大n的灰度值，nmin+n为灰度值amin+n的像素点个数，n∈[1，2，3，…，254]。
4.3、确定分别为和的灰度值为K-means聚类算法中的3个聚类中心。
K-means聚类算法的核心是确定K个聚类，如果不提前确定分成多少类，就会出现分类过多或者过少的情况，但是，在对眼睛位置进行定位的K-means聚类算法中，现有技术中并没有给出任何一种根据第一区域图像的实际情况来确定聚类中心，而是随机选择K-means聚类算法的聚类中心，因此对初始值特别敏感，对不同的初始值可能导致不同的分割结果。在本发明实施例中，根据闭眼睛区域的灰度值特点，得到3个聚类中心，这样正好符合闭眼睛部分的灰度分布特点，进而保证利用K-means聚类算法定位眼睛位置的准确度。
以下具体说明本发明实施例中根据鼻子位置确定人脸对称轴的具体方式：
首先，对人脸图像进行二值化处理，具体地，可以先选择Sobel算子对人脸图像进行滤波，然后再对滤波后的人脸图像进行二值化处理，以得到人脸特征最多的边缘信息。
其次，遍历所有预设斜率值，并确定经过上述定位出的鼻子位置，并且斜率为预设斜率值中的斜率值的所有直线均为可选择的人脸对称轴。
然后，确认这些可选择的人脸对称轴中的某个对称轴为真正要确定的目标人脸对称轴，这个目标人脸对称轴需满足：人脸图像中关于目标人脸对称轴的对称点的个数最多。即，可以通过比较人脸图像中，关于可选择人脸对称轴的对称点个数的多少，来确定目标人脸对称轴。
以下具体说明本发明实施例中利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置的具体方式：
8.1、以眼睛位置中的左眼位置p1、眼睛位置中的右眼位置p2和鼻子位置p3为顶点建立目标三角形，目标三角形如图5所示。
因为三角形结构中，边长、边长之间的比例关系和内角的余弦值对旋转和平移具有不变性，同时边长之间的比例和内角的余弦值具有对尺度变化保持不变性，因此目标三角形够在一定程度上对尺度、旋转和平移上保持不变性，保证左眼位置p1、右眼位置p2和鼻子位置p3三个特征点之间的基本关系。
8.2、按照公式计算目标三角形的边长Dij，其中，D12表示左眼位置p1和右眼位置p2之间的边长，D13表示左眼位置p1和鼻子位置p3之间的边长，D23表示右眼位置p2和鼻子位置p3之间的边长。
8.3、按照公式计算目标三角形的边长之间的比例rij，即，计算三个边长中每两个边长之间的比例。
8.4、按照公式计算目标三角形的每个内角αij的余弦cos(αij)。
上述步骤中分别使用了边、边的比例和三角形内角的余弦值，分别代表了每两个特征点之间的相对位置分布、三个特征点之间的相对位置的约束关系。因为人脸尺度大小是不同的，对特征点之间的相对距离（即两两边长之间的比例）进行计算，能够获得对尺度的鲁棒性。对每个内角αij的余弦cos(αij)进行计算，能够获得对人脸图像平面内旋转的鲁棒性。
8.5、判断Pfinal<T是否成立，其中， 为的高斯分布，为的高斯分布，为的高斯分布，T为预设值，在本发明实施例中，T值的大小可以为90，也可以根据实际需要设置为其它具体数值。
考虑到不同人脸的大小形状不一，上述结构约束变量的变化也是不一样的。因此，本发明实施例的定位方法中还对上述三方面的结构信息进行加权。由于结构约束变量参数的方差大小在一定程度上反映了相对应的结构信息的稳定性，因此使用方差的倒数作为对应的结构约束变量参数的权值。同时，为了消除各个结构约束变量参数尺度上的差异性，对各个结构约束变量参数都进行了归一化，以三种类型的结构约束变量均服从高斯分布来确定Pfinal，这样即可建立判断定位准确性的模型。其中，Pfinal的公式中，高斯分布的均值和方差，都可以通过最大似然估计方法从训练样本上得到。
8.6、在判断出Pfinal<T成立的情况下，确定左眼位置为右眼位置关于人脸对称轴的对称点，或确定右眼位置为左眼位置关于人脸对称轴的对称点。
8.7、重新建立目标三角形，直至判断出Pfinal≥T，即，在以人脸对称轴为基础调整左眼位置或调整右眼位置后，重新执行上述步骤8.1至8.5，直至判断出Pfinal≥T，并以能够使得Pfinal≥T的左眼位置和右眼位置作为最终确定出的眼睛位置。
本发明实施例所提供的人眼定位方法，根据眼睛在人脸图像上的特点，利用AdaBoost快速定位出了眼睛；然后对于不同的眼睛状态，利用不同的方法进行定位，睁眼睛的图像采用自适应Gabor定位，闭眼睛的图像采用改进的K-means方法分割眼睛区域，再进行定位；最后定位鼻子和人脸对称轴，利用鼻子和双眼之间的关系，对眼睛定位的准确性进行判断，并利用人脸对称轴进行调整，大大提高了人眼定位的准确度。以人脸数据库中的5500张人脸图像进行的实验验证，定位准确性为96.51%。用matlab编程实验，每张图片的定位时间为0.2s左右。
本发明实施例还提供了一种人眼定位装置，该装置主要用于执行本发明实施例上述内容所提供的人眼定位方法，图6是根据本发明实施例的人眼定位装置的示意图，如图6所示，该人眼定位装置主要包括接收单元10、定位单元20、第一确定单元30和调整单元40，其中：
接收单元10用于接收人脸图像，该人脸图像可以是通过任何方式传输过来的平面图像。
定位单元20用于定位人脸图像中的鼻子位置和眼睛位置。
第一确定单元30用于根据鼻子位置确定人脸对称轴，根据人脸特征的分布，各个器官在人脸上均是对称分布的，所以人脸对称轴一定通过鼻子，因此，本发明实施例所提供的人眼定位方法以鼻子位置为依据，来确定人脸对称轴。
调整单元40用于利用人脸对称轴调整眼睛位置，得到人眼的目标定位位置。
本发明实施例的人眼定位装置，通过定位鼻子位置，并确定人脸对称轴，以及利用人脸对称轴调整眼睛位置来对人眼进行定位，解决了现有技术中人眼定位准确性较差的问题，进而达到了提高了眼睛定位准确性的效果。
在本发明实施例中，定位单元20通过利用预设鼻子模板图像与人脸图像卷积计算，并利用支持向量机进行筛选，来定位人脸图像中的鼻子位置。以下具体说明：
具体地，由于人的抬头和低头，会造成在人脸图像中鼻子出现两种不同状态，所以，在本发明实施例中，示意性以预设鼻子模板图像包括第一模板图像和第二模板图像为例来具体说明定位单元20定位鼻子位置的具体方式，其中，第一模板图像中的鼻孔角度与第二模板图像中的鼻孔角度不同，即，两个模板图像中，鼻孔沿线相对水平面的角度一个大一个小，定位单元20主要包括第一计算子单元、第二计算子单元、第一标记子单元、合并子单元和第一确定子单元，其中：
第一计算子单元用于分别对第一模板图像和第二模板图像与人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像，即，F_nose=F_img*nose，其中，第一卷积图像为第一模板图像与人脸图像进行卷积计算后的图像，第二卷积图像为第二模板图像与人脸图像进行卷积计算后的图像，F_img为人脸图像，nose为鼻子模板，F_nose为通过鼻子模板卷积以后的图像卷积图像。
第二计算子单元用于分别计算第一卷积图像和第二卷积图像的区域极大值。
第一标记子单元用于将第一卷积图像上的区域极大值处和第二卷积图像上的区域极大值处均标记为1，并将第一卷积图像上的其它点处（即，非区域极大值处）和第二卷积图像上的其它点处（即，非区域极大值处）均标记为0，得到第一卷积图像的二值图像和第二卷积图像的二值图像，分别称作第一二值图像和第二二值图像，假设第一模板图像中鼻孔沿线与竖直线夹角中的锐角，大于第二模板图像中鼻孔沿线与竖直线夹角中的锐角，即，第一模板图像表示人抬头时鼻子的状态，第二模板图像表示人低头时鼻子的状态，得到的第一二值图像如图3a所示，得到的第二二值图像如图3b所示。
合并子单元用于合并第一二值图像和第二二值图像，得到第三二值图像，如图3c所示，其中，图3a、图3b和图3c中的白点均表示区域极大值处，所谓合并是指取两个二值图像的并集。
第一确定子单元用于确定第三二值图像的区域极大值处的区域重心为鼻子位置。
现有技术中在进行鼻子位置定位时，通常是采用模板匹配方法，直接计算模板匹配系数的最大值点，作为鼻子位置，而本发明实施例中，先计算人脸图像与模板图像的卷积图像，得到匹配系数，再计算卷积图像中的区域极大值处，区域极大值处即为鼻子位置的候选点，进而确定区域极大值处的区域重心为鼻子位置，相对现有技术中的鼻子位置定位而言，能够准确的筛选出鼻子位置的候选点，提高鼻子位置定位的准确度。
进一步地，本发明实施例的人眼定位装置还包括处理单元、查找单元和第二确定单元，通过处理单元、查找单元和第二确定单元的共同作用，确定第三二值图像的区域极大值处的区域重心，其中：
处理单元用于利用预设矩阵对第三二值图像进行形态学的膨胀处理，得到多个连通区域；
查找单元用于查找多个连通区域中的最大连通区域；
第二确定单元用于确定最大连通区域的重心为区域重心。
优选地，在本发明实施例的人眼定位装置中，定位单元20还包括第一判断子单元、保持子单元和标记子单元，在合并第一二值图像和第二二值图像，得到第三二值图像之后，并且在确定第三二值图像的区域极大值处的区域重心为鼻子位置之前，其中，第一判断子单元用于利用支持向量机对目标点进行判断，其中，目标点为第三二值图像中为1的点；保持子单元用于在利用支持向量机判断出目标点仍为1的情况下，保持目标点在第三二值图像上的标记为1不变；第二标记子单元用于在利用支持向量机判断出目标点为0的情况下，在第三二值图像上将目标点重新标记为0，其中，第一确定子单元用于确定重新标记后的第三二值图像的区域极大值处的区域重心为鼻子位置。
具体地，支持向量机的训练就是根据已知类别的样本，通过训练得到最优分类面的参数。对于二分类的问题，支持向量机在判断的时候，输出+1或-1的标签，+1表示训练时的正样本，-1表示训练时的负样本。在本发明实施例中，判断单元利用支持向量机对目标点进行判断的具体方法为：
首先，利用样本的灰度特征，放入支持向量机的训练函数中进行训练，得到分类器，得到分类器的具体方法，与现有技术中利用灰度特征放入训练函数中得到分类器的方式相同，此处不再赘述。其中，样本包括正样本和负样本，正样本为从标准的人脸图像中预先截取到的鼻子区域，负样本为从标准的人脸图像中预先截取到的非鼻子区域。
然后，以第三二值图像中值为1的点为中心，在人脸图像上按照比例截取图像，将该图像的灰度特征，放入上述步骤得到的支持向量机的分类器进行判断，如果判断为1，那么对应的第三图像中的点仍标记为1，如果判断为0，那么对应的第三图像中的点就标记为0。其中，所按照的比例与上述步骤中样本在标准的人脸图像中所占的比例相同。
在利用支持向量机判断以后，进一步排除了一部分的候选点，这样剩余的大部分的候选点都聚集在鼻子附近，以进一步提高鼻子位置定位的准确度。
进一步优选地，本发明实施例的人眼定位装置还包括归一化单元，在进行鼻子位置定位之前，归一化单元将人脸图像归一化的第一预设大小（比如高×宽=90像素×75像素），然后，以归一化到第一预设大小的人脸图像为基础进行上述鼻子位置定位的方法。
由于鼻子在人脸上是按照一定比例分布的，所以在进行鼻子定位之前先将人脸归一化到一定的大小。这样，后续的处理就不需要考虑尺度的影响，加快了定位的速度。
定位单元20还包括检测子单元、变换子单元、第一定位子单元和第二定位子单元，其中：
检测子单元用于利用AdaBoost算法检测人脸图像中眼睛位置所在的第一区域，该检测子单元检测出第一区域的具体检测方式与现有技术中利用AdaBoost算法检测眼睛位置所在区域的算法相同，其中，Adaboost算法的具体训练过程如下：
（a）首先将所有训练样本（包括正样本和负样本）归一化到同样的大小，计算人脸图像对应于所有眼睛特征模板的特征值，从而得到特征集，其中，正样本指人眼样本，负样本指非人眼样本或者含有部分人眼的样本；
（b）根据计算得到的特征集以及弱分类器训练算法确定最佳阈值，获得弱分类器集；
（c）在满足给定的检测率和误检率的条件下，根据强分类器的训练算法从弱分类器集中选出最优的弱分类器来构成强分类器；
（d）将获得的强分类器组合到级联分类器中；
（e）用已经得到的级联分类器筛选出非眼睛样本集中被误判为眼睛的样本，再补充非眼睛样本以用于后续的训练。
通过以上过程，就能得到在人脸图像上检测眼睛区域的分类器，从而为后续的工作奠定了基础，以准确检测出人脸图像中眼睛位置所在的第一区域。
进一步地，在本发明实施例中，可以重复以上（a）到（e）步骤的训练，直到满足预定的检测率和误检率后，得到在人脸图像上检测眼睛区域的分类器。
优选地，在对第一区域进行检测的过程中，对于左眼睛的检测可以仅在人脸图像的左上部分脸上检测，对于右眼睛的检测可以仅在人脸图像的右上部分脸上检测。
因为双眼在人脸上的位置比较固定，所以在检测时左眼睛仅在左上部分脸上检测，同样，右眼睛仅在右上部分脸上检测，这样不仅可以去除鼻子、嘴巴的干扰，还能加快检测速度。
进一步优选地，在进行第一区域检测之前，本发明实施例的人眼定位方法还包括将人脸图像归一化的第二预设大小（比如高×宽=65像素×65像素），然后，以归一化到第二预设大小的人脸图像为基础进行上述第一区域检测的方法。
由于人脸检测得到了人脸的大小，而眼睛区域的大小与人脸大小有一定的比例关系，所以在检测之前将人脸归一化到第二预设大小，那么眼睛区域都在同一个尺度下（大约为高×宽=10像素×20像素），这样只需要在该大小下计算一次人脸的特征即可。
变换子单元用于对第一区域进行径向对称变换确定人眼的睁闭状态，其中，径向对称变换是在广义对称变换的基础上发展出来的一种简单、快速的基于梯度的目标检测算子。该变换主要利用径向对称特性来突出具有圆形对称性的区域，从而实现对圆形目标的检测，进而实现利用径向对称变换方法判断出眼睛的睁闭状态。径向对称变换的具体算法与上述内容相同，此处不再赘述。
优选地，本发明实施例的人眼定位装置还包括判断第一区域的平均灰度值是否小于预先设定值的单元，和对于判断出第一区域的平均灰度值小于预先设定值的情况下，对第一区域所表示眼睛图像的灰度值进行对数变换的单元，其中，在对第一区域进行径向对称变换确定人眼的睁闭状态之前，先判断第一区域的平均灰度值是否小于预先设定值，然后，判断出第一区域的平均灰度值小于预先设定值的情况下，对第一区域所表示眼睛图像的灰度值进行对数变换，具体可以采用公式I=c*log(1+I_eye)进行对数变换，其中，I_eye为表示眼睛图像的原始灰度值，I为对数变换后表示眼睛图像的灰度值，c为常数，本发明实施例中取c=1，在本发明实施例中，预先设定值的大小可以为115，也可以根据实际需要取115左右的数值。
通过对灰度值较小的眼睛图像进行对数变换，其作用是压缩动态范围，此种对图像灰度范围的调整，可以减轻图像上明暗不均匀的现象，增强暗区的图像细节，进而保证后续进行人眼定位的准确度。
第一定位子单元用于在确定人眼处于睁开状态的情况下，利用Gabor滤波器定位眼睛位置，即，基于自适应圆形Gabor的睁眼睛精确定位，其中，Gabor滤波器的极坐标为：
从上式可以看出，Gabor滤波器是实部偶对称的，Gabor滤波器是二维高斯函数与复指数的乘积，r0与θ0为确定Gabor滤波器中心的参数因子，α与β为Gabor滤波器中高斯窗的尺度因子，通过调整一系列参数可以得到不同尺度、频率、方向的滤波器。在本发明实施例中，α和β根据人脸图像的大小确定，ω为Gabor滤波器的震荡频率。式（5-1）给出高斯窗的表达式：
令式中：(r-r0)2/α2+(θ-θ0)2/β2=m2，则：
因为此高斯窗是指数窗，所以窗函数的值随着m的增大而迅速减小。
不等式(r-r0)2/α2+(θ-θ0)2/β2≤m2表示一个以mα、mβ为长短轴的(r,θ)平面上的椭圆区域，当α=β时该区域是圆，这个区域是Gabor滤波器的有效作用范围。可以看出，Gabor滤波器的有效作用范围与α、β成正比，α、β大则有效作用范围大，α、β小则有效作用范围小。
参数ω表示复正弦函数的频率，决定了Gabor滤波器的频率选择特性，滤波器根据ω的不同产生不同的震荡频率，从而对不同频率信号产生不同的响应。
图像的Gabor滤波实质是Gabor滤波器与图像做卷积，Gabor滤波结果可以反映图像不同尺度、不同方向上的灰度分布信息。一般来说，大尺度滤波可以反映全局性较强的信息，同时可以掩盖图像中噪声的影响；小尺度可以反映比较精细的局部结构，但容易受到噪声影响。
由于Gabor小波对图像的边缘敏感，能够提供良好的方向选择和尺度选择特性，而且对于光照变化不敏感，能容忍一定程度的图像旋转和变形，所以能应用于眼睛定位。
根据虹膜的圆形特性，在本发明实施例中，设定Gabor滤波器的参数α=β，得到一个圆形Gabor小波。为了使此Gabor小波具有自适应性，在本发明实施例中，α、β是根据每张眼睛图像的大小而确定的，因此自适应性Gabor小波对第一区域图像I进行滤波后，就能很容易的得到眼睛的坐标位置。
鉴于很多睁眼睛的图像在瞳孔周围存在光斑，所以在使用圆形Gabor小波对图像I进行滤波之前，本发明实施例的人眼定位方法还包括：先对第一区域图像I进行闭运算操作，达到减轻光斑对眼睛定位的影响。闭运算是数字图像处理中常用的形态学运算，它不仅可以使物体轮廓线更为光滑的，而且还能消弭狭窄的间断和细长的鸿沟，消除小的孔洞，并填补轮廓线中的断裂。
记圆形Gabor小波滤波后的图像为I_Gabor，找到图像IGabor中灰度最小值所在的位置，此位置可能是眼睛坐标位置[eye_x,eye_y]。因为眼睛图像上往往存在很多噪声，而这些噪声经过圆形Gabor小波滤波后也会产生响应，即出现局部黑暗区域，这样就会严重干扰眼睛精确定位。但是，值得注意的是噪声产生的干扰一般位于眼睛图像的角落位置，所以为了避免噪声的干扰，提高眼睛定位的准确率，又鉴于眼球一般处于眼睛图像的中间位置，本发明实施例的人眼定位方法在图像I_Gabor的中间区域I_Gabor_local内寻找最小值，将此最小值所在的位置确定为眼睛坐标位置[eye_x,eye_y]。
第二定位子单元用于在确定人眼处于闭合状态的情况下，利用K-means聚类算法定位眼睛位置，具体定位方法与现有技术中利用K-means聚类算法定位眼睛位置的方法相同，此处不再赘述，所不同之处在于，本发明实施例的人眼定位装置还获取单元、计算单元和第三确定单元，以通过以下方式确定K-means聚类算法中的聚类中心：
首先，获取单元获取第一区域中的人眼灰度值和每个人眼灰度值的像素点个数，即，获取第一区域中表示闭眼睛图像的各个灰度值以及每个灰度值的像素点的个数。
其次，计算单元按照公式A=aminnmin+amin+1nmin+1+amin+2nmin+2+…amaxnmax计算灰度值累加值，其中，amin为人眼灰度值中的最小灰度值，nmin为最小灰度值的像素点个数，amax为人眼灰度值中的最大灰度值，nmax为最大灰度值的个数，amin+n为比最小灰度值大n的灰度值，nmin+n为灰度值amin+n的像素点个数，n∈[1，2，3，…，254]。
然后，第三确定单元确定分别为和的灰度值为K-means聚类算法中的3个聚类中心。
K-means聚类算法的核心是确定K个聚类，如果不提前确定分成多少类，就会出现分类过多或者过少的情况，但是，在对眼睛位置进行定位的K-means聚类算法中，现有技术中并没有给出任何一种根据第一区域图像的实际情况来确定聚类中心，而是随机选择K-means聚类算法的聚类中心，因此对初始值特别敏感，对不同的初始值可能导致不同的分割结果。在本发明实施例中，根据闭眼睛区域的灰度值特点，得到3个聚类中心，这样正好符合闭眼睛部分的灰度分布特点，进而保证利用K-means聚类算法定位眼睛位置的准确度。
以下具体说明本发明实施例中第一确定单元30根据鼻子位置确定人脸对称轴的具体方式：
首先，对人脸图像进行二值化处理，具体地，可以先选择Sobel算子对人脸图像进行滤波，然后再对滤波后的人脸图像进行二值化处理，以得到人脸特征最多的边缘信息。
其次，遍历所有预设斜率值，并确定经过上述定位出的鼻子位置，并且斜率为预设斜率值中的斜率值的所有直线均为可选择的人脸对称轴。
然后，确认这些可选择的人脸对称轴中的某个对称轴为真正要确定的目标人脸对称轴，这个目标人脸对称轴需满足：人脸图像中关于目标人脸对称轴的对称点的个数最多。即，可以通过比较人脸图像中，关于可选择人脸对称轴的对称点个数的多少，来确定目标人脸对称轴。
调整单元40包括建立子单元、第三计算子单元、第四计算子单元、第五计算子单元、第二判断子单元和第二确定子单元，其中：
建立子单元用于以眼睛位置中的左眼位置p1、眼睛位置中的右眼位置p2和鼻子位置p3为顶点建立目标三角形。
因为三角形结构中，边长、边长之间的比例关系和内角的余弦值对旋转和平移具有不变性，同时边长之间的比例和内角的余弦值具有对尺度变化保持不变性，因此目标三角形够在一定程度上对尺度、旋转和平移上保持不变性，保证左眼位置p1、右眼位置p2和鼻子位置p3三个特征点之间的基本关系。
第三计算子单元用于按照公式计算目标三角形的边长Dij，其中，D12表示左眼位置p1和右眼位置p2之间的边长，D13表示左眼位置p1和鼻子位置p3之间的边长，D23表示右眼位置p2和鼻子位置p3之间的边长。
第四计算子单元用于按照公式计算目标三角形的边长之间的比例rij，即，计算三个边长中每两个边长之间的比例。
第五计算子单元用于按照公式计算目标三角形的每个内角αij的余弦cos(αij)。
上述第三计算子单元、第四计算子单元和第五计算子单元中分别使用了边、边的比例和三角形内角的余弦值，分别代表了每两个特征点之间的相对位置分布、三个特征点之间的相对位置的约束关系。因为人脸尺度大小是不同的，对特征点之间的相对距离（即两两边长之间的比例）进行计算，能够获得对尺度的鲁棒性。对每个内角αij的余弦cos(αij)进行计算，能够获得对人脸图像平面内旋转的鲁棒性。
第二判断子单元用于判断Pfinal<T是否成立，其中，
为的高斯分布，为的高斯分布，为的高斯分布，T为预设值，在本发明实施例中，T值的大小可以为90，也可以根据实际需要设置为其它具体数值。
考虑到不同人脸的大小形状不一，上述结构约束变量的变化也是不一样的。因此，本发明实施例的定位方法中还对上述三方面的结构信息进行加权。由于结构约束变量参数的方差大小在一定程度上反映了相对应的结构信息的稳定性，因此使用方差的倒数作为对应的结构约束变量参数的权值。同时，为了消除各个结构约束变量参数尺度上的差异性，对各个结构约束变量参数都进行了归一化，以三种类型的结构约束变量均服从高斯分布来确定Pfinal，这样即可建立判断定位准确性的模型。其中，Pfinal的公式中，高斯分布的均值和方差，都可以通过最大似然估计方法从训练样本上得到。
第二确定子单元用于在判断出Pfinal<T成立的情况下，确定左眼位置为右眼位置关于人脸对称轴的对称点，或确定右眼位置为左眼位置关于人脸对称轴的对称点。
其中，建立子单元还用于重新建立目标三角形，直至判断子单元判断出Pfinal≥T，即，在以人脸对称轴为基础调整左眼位置或调整右眼位置后，建立子单元、第三计算子单元、第四计算子单元、第五计算子单元、判断子单元重新执行各自对应的功能步骤，直至判断出Pfinal≥T，并以能够使得Pfinal≥T的左眼位置和右眼位置作为最终确定出的眼睛位置。
本发明实施例所提供的人眼定位装置，根据眼睛在人脸图像上的特点，利用AdaBoost快速定位出了眼睛；然后对于不同的眼睛状态，利用不同的方法进行定位，睁眼睛的图像采用自适应Gabor定位，闭眼睛的图像采用改进的K-means方法分割眼睛区域，再进行定位；最后定位鼻子和人脸对称轴，利用鼻子和双眼之间的关系，对眼睛定位的准确性进行判断，并利用人脸对称轴进行调整，大大提高了人眼定位的准确度。以人脸数据库中的5500张人脸图像进行的实验验证，定位准确性为96.51%。用matlab编程实验，每张图片的定位时间为0.2s左右。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种人眼定位方法，其特征在于，包括：
接收人脸图像；
定位所述人脸图像中的鼻子位置和两只眼睛位置；
根据所述鼻子位置确定人脸对称轴；以及
利用所述人脸对称轴调整所述两只眼睛位置，得到人眼的目标定位位置，
其中，定位所述人脸图像中的鼻子位置包括：
先计算人脸图像与模板图像的卷积图像，得到匹配系数，再计算卷积图像中的区域极大值处，区域极大值处即为鼻子位置的候选点，进而确定区域极大值处的区域重心为鼻子位置。
2.根据权利要求1所述的人眼定位方法，其特征在于，通过利用预设鼻子模板图像与所述人脸图像卷积计算，并利用支持向量机进行筛选，定位所述人脸图像中的鼻子位置。
3.根据权利要求2所述的人眼定位方法，其特征在于，所述预设鼻子模板图像包括第一模板图像和第二模板图像，其中，所述第一模板图像中的鼻孔角度与所述第二模板图像中的鼻孔角度不同，利用预设鼻子模板图像与所述人脸图像卷积计算，定位所述人脸图像中的鼻子位置包括：
分别对所述第一模板图像和所述第二模板图像与所述人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像；
分别计算所述第一卷积图像和所述第二卷积图像的区域极大值；
将所述第一卷积图像上的区域极大值处和所述第二卷积图像上的区域极大值处均标记为1，并将所述第一卷积图像上的非区域极大值处和所述第二卷积图像上的非区域极大值处均标记为0，得到所述第一卷积图像的二值图像和所述第二卷积图像的二值图像；
合并第一二值图像和第二二值图像，得到第三二值图像，其中，所述第一二值图像为所述第一卷积图像的二值图像，所述第二二值图像为所述第二卷积图像的二值图像；以及
确定所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
4.根据权利要求3所述的人眼定位方法，其特征在于，通过以下方式确定所述区域重心：
利用预设矩阵对所述第三二值图像进行膨胀处理，得到多个连通区域；
查找多个所述连通区域中的最大连通区域；以及
确定所述最大连通区域的重心为所述区域重心。
5.根据权利要求3所述的人眼定位方法，其特征在于，在合并第一二值图像和第二二值图像，得到第三二值图像之后，并且在确定所述第三二值图像的区域极大值处的区域重心为所述鼻子位置之前，利用支持向量机进行筛选包括：
利用所述支持向量机对目标点进行判断，其中，所述目标点为所述第三二值图像中为1的点；
在利用所述支持向量机判断出所述目标点仍为1的情况下，保持所述目标点在所述第三二值图像上的标记为1不变；以及
在利用所述支持向量机判断出所述目标点为0的情况下，在所述第三二值图像上将所述目标点重新标记为0，
其中，确定重新标记后的所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
6.根据权利要求1至5中任一项所述的人眼定位方法，其特征在于，定位所述人脸图像中的眼睛位置包括：
利用AdaBoost算法检测所述人脸图像中所述眼睛位置所在的第一区域；
对所述第一区域进行径向对称变换确定所述人眼的睁闭状态；
在确定所述人眼处于睁开状态的情况下，利用Gabor滤波器定位所述眼睛位置；以及
在确定所述人眼处于闭合状态的情况下，利用K-means聚类算法定位所述眼睛位置。
7.根据权利要求6所述的人眼定位方法，其特征在于，所述Gabor滤波器的极坐标为其中，r0与θ0为确定所述Gabor滤波器中心的参数因子，α与β为所述Gabor滤波器中高斯窗的尺度因子，α和β根据所述人脸图像的大小确定，ω为所述Gabor滤波器的震荡频率。
8.根据权利要求6所述的人眼定位方法，其特征在于，通过以下方式确定所述K-means聚类算法中的聚类中心：
获取所述第一区域中的人眼灰度值和每个所述人眼灰度值的像素点个数；
按照公式A＝aminnmin+amin+1nmin+1+amin+2nmin+2+…amaxnmax计算灰度值累加值，其中，amin为所述人眼灰度值中的最小灰度值，nmin为所述最小灰度值的像素点个数，amax为所述人眼灰度值中的最大灰度值，nmax为所述最大灰度值的个数，amin+n为比所述最小灰度值大n的灰度值，nmin+n为灰度值amin+n的像素点个数，n∈[1，2，3，…，254]；以及
确定分别为和的灰度值为所述K-means聚类算法中的3个聚类中心。
9.根据权利要求1所述的人眼定位方法，其特征在于，利用所述人脸对称轴调整所述眼睛位置，得到人眼的目标定位位置包括：
以所述眼睛位置中的左眼位置p1、所述眼睛位置中的右眼位置p2和所述鼻子位置p3为顶点建立目标三角形；
按照公式计算所述目标三角形的边长Dij；
按照公式计算所述目标三角形的边长之间的比例rij；
按照公式计算所述目标三角形的每个内角αij的余弦cos(αij)；
判断Pfinal<T是否成立，其中， 为的高斯分布，为的高斯分布，为的高斯分布，T为预设值；
在判断出Pfinal<T成立的情况下，确定所述左眼位置为所述右眼位置关于所述人脸对称轴的对称点，或确定所述右眼位置为所述左眼位置关于所述人脸对称轴的对称点；以及
重新建立所述目标三角形，直至判断出Pfinal≥T。
10.一种人眼定位装置，其特征在于，包括：
接收单元，用于接收人脸图像；
定位单元，用于定位所述人脸图像中的鼻子位置和两只眼睛位置；
第一确定单元，用于根据所述鼻子位置确定人脸对称轴；以及
调整单元，用于利用所述人脸对称轴调整所述两只眼睛位置，得到人眼的目标定位位置，
其中，所述定位单元先计算人脸图像与模板图像的卷积图像，得到匹配系数，再计算卷积图像中的区域极大值处，区域极大值处即为鼻子位置的候选点，进而确定区域极大值处的区域重心为鼻子位置。
11.根据权利要求10所述的人眼定位装置，其特征在于，所述定位单元通过利用预设鼻子模板图像与所述人脸图像卷积计算，并利用支持向量机进行筛选，定位所述人脸图像中的鼻子位置。
12.根据权利要求11所述的人眼定位装置，其特征在于，所述预设鼻子模板图像包括第一模板图像和第二模板图像，其中，所述第一模板图像中的鼻孔角度与所述第二模板图像中的鼻孔角度不同，所述定位单元包括：
第一计算子单元，用于分别对所述第一模板图像和所述第二模板图像与所述人脸图像进行卷积计算，得到第一卷积图像和第二卷积图像；
第二计算子单元，用于分别计算所述第一卷积图像和所述第二卷积图像的区域极大值；
第一标记子单元，用于将所述第一卷积图像上的区域极大值处和所述第二卷积图像上的区域极大值处均标记为1，并将所述第一卷积图像上的非区域极大值处和所述第二卷积图像上的非区域极大值处均标记为0，得到所述第一卷积图像的二值图像和所述第二卷积图像的二值图像；
合并子单元，用于合并第一二值图像和第二二值图像，得到第三二值图像，其中，所述第一二值图像为所述第一卷积图像的二值图像，所述第二二值图像为所述第二卷积图像的二值图像；以及
第一确定子单元，用于确定所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
13.根据权利要求12所述的人眼定位装置，其特征在于，所述人眼定位装置还包括：
处理单元，用于利用预设矩阵对所述第三二值图像进行膨胀处理，得到多个连通区域；
查找单元，用于查找多个所述连通区域中的最大连通区域；以及
第二确定单元，用于确定所述最大连通区域的重心为所述区域重心。
14.根据权利要求12所述的人眼定位装置，其特征在于，所述定位单元还包括：
第一判断子单元，用于利用所述支持向量机对目标点进行判断，其中，所述目标点为所述第三二值图像中为1的点；
保持子单元，用于在利用所述支持向量机判断出所述目标点仍为1的情况下，保持所述目标点在所述第三二值图像上的标记为1不变；以及
第二标记子单元，用于在利用所述支持向量机判断出所述目标点为0的情况下，在所述第三二值图像上将所述目标点重新标记为0，
其中，所述第一确定子单元用于确定重新标记后的所述第三二值图像的区域极大值处的区域重心为所述鼻子位置。
15.根据权利要求10至14中任一项所述的人眼定位装置，其特征在于，所述定位单元还包括：
检测子单元，用于利用AdaBoost算法检测所述人脸图像中所述眼睛位置所在的第一区域；
变换子单元，用于对所述第一区域进行径向对称变换确定所述人眼的睁闭状态；
第一定位子单元，用于在确定所述人眼处于睁开状态的情况下，利用Gabor滤波器定位所述眼睛位置；以及
第二定位子单元，用于在确定所述人眼处于闭合状态的情况下，利用K-means聚类算法定位所述眼睛位置。
16.根据权利要求15所述的人眼定位装置，其特征在于，所述Gabor滤波器的极坐标为其中，r0与θ0为确定所述Gabor滤波器中心的参数因子，α与β为所述Gabor滤波器中高斯窗的尺度因子，α和β根据所述人脸图像的大小确定，ω为所述Gabor滤波器的震荡频率。
17.根据权利要求15所述的人眼定位装置，其特征在于，所述人眼定位装置还包括：
获取单元，用于获取所述第一区域中的人眼灰度值和每个所述人眼灰度值的像素点个数；
计算单元，用于按照公式A＝aminnmin+amin+1nmin+1+amin+2nmin+2+…amaxnmax计算灰度值累加值，其中，amin为所述人眼灰度值中的最小灰度值，nmin为所述最小灰度值的像素点个数，amax为所述人眼灰度值中的最大灰度值，nmax为所述最大灰度值的个数，amin+n为比所述最小灰度值大n的灰度值，nmin+n为灰度值amin+n的像素点个数，n∈[1，2，3，…，254]；以及
第三确定单元，用于确定分别为和的灰度值为所述K-means聚类算法中的3个聚类中心。
18.根据权利要求10所述的人眼定位装置，其特征在于，所述调整单元包括：
建立子单元，用于以所述眼睛位置中的左眼位置p1、所述眼睛位置中的右眼位置p2和所述鼻子位置p3为顶点建立目标三角形；
第三计算子单元，用于按照公式计算所述目标三角形的边长Dij；
第四计算子单元，用于按照公式计算所述目标三角形的边长之间的比例rij；
第五计算子单元，用于按照公式计算所述目标三角形的每个内角αij的余弦cos(αij)；
第二判断子单元，用于判断Pfinal<T是否成立，其中，
为的高斯分布，为的高斯分布，为的高斯分布，T为预设值；以及
第二确定子单元，用于在判断出Pfinal<T成立的情况下，确定所述左眼位置为所述右眼位置关于所述人脸对称轴的对称点，或确定所述右眼位置为所述左眼位置关于所述人脸对称轴的对称点，
其中，所述建立子单元还用于重新建立所述目标三角形，直至所述判断子单元判断出Pfinal≥T。
CN201310557045.4A 2013-11-11 2013-11-11 人眼定位方法和装置 Active CN103632136B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310557045.4A CN103632136B (zh) 2013-11-11 2013-11-11 人眼定位方法和装置
PCT/CN2014/084429 WO2015067084A1 (zh) 2013-11-11 2014-08-14 人眼定位方法和装置
US15/030,485 US9842247B2 (en) 2013-11-11 2014-08-14 Eye location method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310557045.4A CN103632136B (zh) 2013-11-11 2013-11-11 人眼定位方法和装置

Publications (2)

Publication Number Publication Date
CN103632136A CN103632136A (zh) 2014-03-12
CN103632136B true CN103632136B (zh) 2017-03-29

Family

ID=50213165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310557045.4A Active CN103632136B (zh) 2013-11-11 2013-11-11 人眼定位方法和装置

Country Status (3)

Country Link
US (1) US9842247B2 (zh)
CN (1) CN103632136B (zh)
WO (1) WO2015067084A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103632136B (zh) * 2013-11-11 2017-03-29 北京天诚盛业科技有限公司 人眼定位方法和装置
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
CN104123543B (zh) * 2014-07-23 2018-11-27 泰亿格电子（上海）有限公司 一种基于人脸识别的眼球运动识别方法
CN105320919A (zh) * 2014-07-28 2016-02-10 中兴通讯股份有限公司 人眼定位方法及装置
CN105469018B (zh) * 2014-08-07 2020-03-13 中兴通讯股份有限公司 一种人眼定位的方法和设备
CN104766059B (zh) * 2015-04-01 2018-03-06 上海交通大学 快速精确的人眼定位方法及基于人眼定位的视线估计方法
CN104966046B (zh) * 2015-05-20 2017-07-21 腾讯科技（深圳）有限公司 一种人脸关键点位定位结果的评估方法，及评估装置
CN105046230B (zh) * 2015-07-27 2018-04-10 上海交通大学 基于图像的人眼角检测的方法及系统
CN106326828B (zh) * 2015-11-08 2019-07-19 北京巴塔科技有限公司 人脸识别中的眼睛定位方法
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
CN106778453B (zh) * 2015-11-25 2020-05-12 腾讯科技（深圳）有限公司 人脸图像中检测眼镜佩戴的方法及装置
CN105590103B (zh) * 2015-12-30 2019-10-01 中国银联股份有限公司 眼球识别方法及系统
CN105740848B (zh) * 2016-03-02 2019-05-17 武汉虹识技术有限公司 一种基于可信度的快速人眼定位方法
JP6815743B2 (ja) * 2016-04-15 2021-01-20 キヤノン株式会社 画像処理装置及びその方法、プログラム
CN107871105B (zh) * 2016-09-26 2021-10-19 北京眼神科技有限公司 一种人脸认证方法和装置
CN106503644B (zh) * 2016-10-19 2019-05-28 西安理工大学 基于边缘投影及颜色特征的眼镜属性检测方法
CN106504104A (zh) * 2016-10-27 2017-03-15 江西瓷肌电子商务有限公司 一种基于面部识别交友社交的方法
CN110168599B (zh) * 2017-10-13 2021-01-29 华为技术有限公司 一种数据处理方法及终端
CN107665343B (zh) * 2017-10-25 2020-11-06 宁夏华鑫融通科技有限公司 修正近视镜干扰的内眼角间距测量系统
CN107944393B (zh) * 2017-11-27 2021-03-30 电子科技大学 人脸鼻尖定位方法
CN109770845A (zh) * 2017-12-31 2019-05-21 深圳轻昵科技有限公司 测量瞳距的装置和方法
CN108416331B (zh) * 2018-03-30 2019-08-09 百度在线网络技术（北京）有限公司 脸部对称识别的方法、装置、存储介质及终端设备
CN108629769B (zh) * 2018-05-02 2020-09-29 山东师范大学 基于最佳兄弟相似度的眼底图像视盘定位方法及系统
JP7290930B2 (ja) * 2018-09-27 2023-06-14 株式会社アイシン 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
CN109993115B (zh) * 2019-03-29 2021-09-10 京东方科技集团股份有限公司 图像处理方法、装置及可穿戴设备
CN110956180B (zh) * 2019-07-04 2021-04-13 中联重科股份有限公司 配重重量的检测方法与系统、获取方法与系统及起重机
CN111862287A (zh) * 2020-07-20 2020-10-30 广州市百果园信息技术有限公司 眼部纹理图像生成方法、纹理贴图方法、装置和电子设备
CN112347860B (zh) * 2020-10-16 2023-04-28 福建天泉教育科技有限公司 基于梯度的眼部状态检测方法及计算机可读存储介质
CN112488032B (zh) * 2020-12-11 2022-05-20 重庆邮电大学 一种基于鼻眼结构约束的人眼定位方法
CN113554007B (zh) * 2021-09-18 2022-01-11 上海齐感电子信息科技有限公司 人脸框的计算方法及计算系统
CN115798019B (zh) * 2023-01-06 2023-04-28 山东星科智能科技股份有限公司 基于计算机视觉的实训驾驶平台智能预警方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
CN103093215A (zh) * 2013-02-01 2013-05-08 北京天诚盛业科技有限公司 人眼定位方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3279913B2 (ja) 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
US8031970B2 (en) * 2007-08-27 2011-10-04 Arcsoft, Inc. Method of restoring closed-eye portrait photo
US8662667B2 (en) * 2007-12-21 2014-03-04 Carl Zeiss Meditec Ag Ophthalmologic visualization system
CN101533466B (zh) * 2009-04-09 2012-09-19 南京壹进制信息技术有限公司 一种眼睛定位图像处理方法
CN101615292B (zh) * 2009-07-24 2011-11-16 云南大学 基于灰度信息的人眼精确定位方法
CN102129553A (zh) * 2011-03-16 2011-07-20 上海交通大学 基于单红外光源的人眼检测方法
KR101322168B1 (ko) * 2012-01-17 2013-10-28 성균관대학교산학협력단 실시간 얼굴 인식 장치
CN103632136B (zh) 2013-11-11 2017-03-29 北京天诚盛业科技有限公司 人眼定位方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
CN103093215A (zh) * 2013-02-01 2013-05-08 北京天诚盛业科技有限公司 人眼定位方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种新型的快速模板匹配算法;杨勇兵等;《电子工艺技术》;20100531;第31卷(第3期);第128-131页 *

Also Published As

Publication number Publication date
CN103632136A (zh) 2014-03-12
US9842247B2 (en) 2017-12-12
WO2015067084A1 (zh) 2015-05-14
US20160253550A1 (en) 2016-09-01

Similar Documents

Publication Publication Date Title
CN103632136B (zh) 人眼定位方法和装置
CN103093215B (zh) 人眼定位方法及装置
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
Li et al. Robust and accurate iris segmentation in very noisy iris images
CN102324025B (zh) 基于高斯肤色模型和特征分析的人脸检测与跟踪方法
CN100452081C (zh) 一种人眼定位及人眼状态识别方法
CN106980852B (zh) 基于角点检测与匹配的药品识别系统及其识别方法
CN106778468B (zh) 3d人脸识别方法及设备
CN109800648A (zh) 基于人脸关键点校正的人脸检测识别方法及装置
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN107871322A (zh) 虹膜图像分割方法和装置
CN111401145B (zh) 一种基于深度学习与ds证据理论的可见光虹膜识别方法
CN101923645A (zh) 适应复杂应用场景中低质量虹膜图像的虹膜分割方法
EP3680794A1 (en) Device and method for user authentication on basis of iris recognition
KR20050025927A (ko) 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
CN103440476A (zh) 一种人脸视频中瞳孔的定位方法
Hilal et al. Hough transform and active contour for enhanced iris segmentation
CN106203375A (zh) 一种基于人脸图像中人脸和人眼检测的瞳孔定位方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN106909879A (zh) 一种疲劳驾驶检测方法及系统
CN110232390B (zh) 一种变化光照下图像特征提取方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN110348289A (zh) 一种基于二值图的手指静脉识别方法
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
CN101533466A (zh) 一种眼睛定位图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100085, 1 floor 8, 1 Street, ten Street, Haidian District, Beijing.

Patentee after: Beijing Eyes Intelligent Technology Co.,Ltd.

Address before: 100085, 1 floor 8, 1 Street, ten Street, Haidian District, Beijing.

Patentee before: BEIJING TECHSHINO TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220322

Address after: 071800 Beijing Tianjin talent home (Xincheng community), West District, Xiongxian Economic Development Zone, Baoding City, Hebei Province

Patentee after: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Patentee after: Beijing Eyes Intelligent Technology Co.,Ltd.

Address before: 100085, 1 floor 8, 1 Street, ten Street, Haidian District, Beijing.

Patentee before: Beijing Eyes Intelligent Technology Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Human eye positioning method and device

Effective date of registration: 20220614

Granted publication date: 20170329

Pledgee: China Construction Bank Corporation Xiongxian sub branch

Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000332