CN107145820A - 基于hog特征和fast算法的双眼定位方法 - Google Patents

基于hog特征和fast算法的双眼定位方法 Download PDF

Info

Publication number
CN107145820A
CN107145820A CN201710155361.7A CN201710155361A CN107145820A CN 107145820 A CN107145820 A CN 107145820A CN 201710155361 A CN201710155361 A CN 201710155361A CN 107145820 A CN107145820 A CN 107145820A
Authority
CN
China
Prior art keywords
mrow
point
image
msub
pointsfnl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710155361.7A
Other languages
English (en)
Other versions
CN107145820B (zh
Inventor
张永良
陈骁
陈小柱
周涤心
钱笑笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dai Stone Technology Co Ltd
Original Assignee
Hangzhou Dai Stone Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dai Stone Technology Co Ltd filed Critical Hangzhou Dai Stone Technology Co Ltd
Priority to CN201710155361.7A priority Critical patent/CN107145820B/zh
Publication of CN107145820A publication Critical patent/CN107145820A/zh
Application granted granted Critical
Publication of CN107145820B publication Critical patent/CN107145820B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于HOG特征和FAST算法的双眼定位方法，载入训练好的SVM模型文件；获取待定位的第i张帧图像，并复制出图像midImage；对图像midImage进行预处理；使用FAST算法进行光斑检测，获取候选区域中心点坐标向量points；依次对候选区域是否为眼睛区域进行判断，获取眼睛区域中心点向量pointsTru；对于向量pointsTru中的点进行筛选，获取最终返回向量大小最多为2的眼睛区域中心点向量；若只检测到一只眼睛，则进行修复；返回眼睛区域中心点向量pointsFnl，并遍历向量pointsFnl，截取以pointsFnl为中心的矩形区域为眼睛区域。本发明稳定适应环境的变化、对环境的鲁棒性和准确率较高、误报率较低。

Description

基于HOG特征和FAST算法的双眼定位方法
技术领域
本发明涉及计算机视觉、图像处理、模式识别等技术领域，是一种针对红外光单摄像头设备采集的人脸图像中实现双眼快速定位的方法，该方法可用于学校、银行、监狱、工厂等公共场合，对于私人住宅的门禁和周围区域同样适用。
背景技术
生物特征识别技术是一种利用自动化技术检测个人生理特征或个人行为特征进行身份验证的技术，在商业领域、军事领域、刑侦领域等方面都得到了广泛应用。在众多的生物特征中，虹膜识别以其唯一性、稳定性、可采集性、非侵犯性等优点，具有重要的学术研究价值以及广阔的应用前景，在近几十年中得到了飞速的发展，在中国就已广泛的应用于公安、安全、海关、金融、军队、机场、边防口岸、安防等多个重要行业及领域，以及智能门禁、门锁、考勤、手机、数码相机、智能玩具等民用市场。然而，在实际应用中，虹膜识别依然面临着诸多的挑战，如何快速精确地定位由单摄像头设备采集的人脸图像中的双眼位置，是下一步虹膜定位、提取特征和识别的必要前提。
由于虹膜识别的应用范围广泛，摄像头设备可能处在任意位置，并且受到诸多环境因素影响，造成采集的图片具有复杂且不恒定的背景噪声；此外人们日常生活中佩戴眼镜的比例增大，由眼镜遮挡造成的问题也就越来越普遍。这些干扰因素都增加了双眼定位的精度与难度，影响了整个认证系统中接下来虹膜识别的准确率，成为了虹膜识别技术中亟待解决的关键问题。
随着实际生活场景虹膜识别研究的深入，研究对嘈杂背景的双眼定位方法有着重要的理论意义和应用价值。例如可以将其运用于疲劳驾驶检测中，可根据所定位的双眼进行分析快速判别驾驶员状态，从而减少安全事故发生的频次。
发明内容
为了克服现有的双眼定位方法无法稳定适应环境的变化、复杂背景对虹膜识别准确率的影响较大、误报率较高的不足，本发明提供一种稳定适应环境的变化、对环境的鲁棒性和准确率较高、误报率较低的基于HOG特征和FAST算法的双眼定位方法。
本发明解决其技术问题所采用的技术方案是：
一种基于HOG特征和FAST算法的双眼定位方法，包括如下步骤：
1)载入训练好的SVM模型文件；
2)获取待定位的第i张帧图像srcImage，并复制出图像midImage，i为正整数；
3)对图像midImage进行预处理；
4)对图像midImage使用FAST算法进行光斑检测，获取候选区域中心点坐标向量points；
5)依次对图像midImage上的候选区域是否为眼睛区域进行判断，获取眼睛区域中心点向量pointsTru；
6)对于向量pointsTru中的点进行筛选，获取最终返回向量大小最多为2的眼睛区域中心点向量pointsFnl；
7)若只检测到一只眼睛，即向量pointFnl的大小为1，则进行修复；
8)返回眼睛区域中心点向量pointsFnl，并遍历向量pointsFnl，截取以pointsFnl为中心的矩形区域为眼睛区域。
进一步，所述步骤3)中，预处理的过程如下：
3.1)对图像midImage进行灰度变换，将图像转化为灰度图；
3.2)对图像midImage进行高斯平滑处理，对嘈杂点进行过滤；
3.3)对图像midImage进行膨胀操作，将光斑点放大。
再进一步，所述步骤4)中，FAST算法的过程如下：
4.1)设置阈值t，用于比较周围像素点与中心像素点的灰度差值；
4.2)依次选取图像midImage中的像素点P，并设该点的灰度值为I(P)。在以P为圆心，半径为3像素的圆周上，取16个像素点。以点P正上方的像素点为1号，顺时针对16个像素进行编号，依次设为P'[1]、P'[2]、...、P'[16]；
4.3)选取P'[1]、P'[5]、P'[9]与P'[13]像素点，若这四个像素点中有至少3个像素点的灰度值同时大于I(P)+t或者同时小于I(P)-t时，则跳至步骤4.4，否则返回步骤4.2)；
4.4)此时初步判断点P为角点，遍历1至16号像素点P'[i](i＝1,2,...,16)，设P'[i]处的灰度值为I(P'[i])。若存在连续9个像素点上的灰度值I(P'[i])同时大于I(P)+t或者同时小于I(P)-t，则判断点P为角点，将点P加入temp_points向量，否则返回步骤4.2)；
4.5)重复步骤4.2)-4.4)，直至图像midImage中像素遍历完成，获得temp_points向量；
4.6)对向量temp_points中的角点进行非极大值抑制，重新得到temp_points向量；
4.7)选取temp_points向量中的第一个点，将其加入points向量中；
4.8)继续依次选取temp_points向量中的角点TP，并与points向量中的每个点CP[i]进行比较，i为正整数；
4.9)如果存在CP[i]，使得CP[i]在TP的20*20像素邻域中，则直接返回步骤4.7)，否则将点TP加入points向量中，返回步骤4.7)，直到遍历temp_points向量结束；
4.10)输出points向量。
更进一步，所述4.6)中，非极大值抑制过程如下：
4.6.1)依次取temp_points中的点TP；
4.6.2)取以角点TP为中心的3*3像素邻域，对邻域中的每一个角点P计算得分函数的值V，V的值为I(P)与I(P'[i])(i＝1,2...,16)的差值的绝对值的总和，公式如为：
4.6.3)取V值最大的角点P，作为该邻域中的极大值角点保留，在temp_points向量里删除邻域中的其他点。
所述步骤5)中，获取眼睛区域中心点向量pointsTru的过程如下：
5.1)获取第j个候选区域中心点坐标center，j为正整数；
5.2)截取以center为中心点，长为2*a，宽为2*b的矩形候选区域图像cndImage，若候选区域越界，则将其向图像中心平移相对量；
5.3)计算图像cndImage的HOG特征向量；
5.4)若是第一次对图像进行HOG特征向量计算，则计算HOG特征向量维数，并初始化图像的特征向量矩阵featureMat，行数为1，列数为HOG特征向量维数；
5.5)将计算好的图像cndImage的特征向量复制到特征向量矩阵featureMat；
5.6)用训练好的SVM分类器对于图像cndImage的特征向量进行分类；
5.7)若分类器返回的结果为真，则将中心点center放入到向量pointsTru。
所述步骤6)的过程如下：
6.1)将向量pointsTru中第0个点放入向量pointsFnl中，将其标记为点pointsTru[0]；
6.2)依次循环读入点pointsTru[k]；
6.3)若点pointsTru[k]的x坐标与点pointsTru[0]的x坐标相差足够大，且点pointsTru[k]的y坐标与点pointsTru[0]的y坐标相差足够小，则认为pointsTru[k]是区别于pointTru[0]的另一只眼睛，则将其放入向量pointsFnl，k为正整数；
6.4)若向量pointsFnl的大小等于2，则跳出循环。
所述步骤7)中，修复的过程如下：
7.1)获取眼睛区域中心点向量pointsFnl，根据先验的人脸五官比例知识与pointsFnl[0]的值，判定所得的单眼位置为左眼还是右眼并进行标记，称之为基准眼睛；
7.2)根据基准眼睛区域中心点的坐标，在对称区域(即如果标定为左眼则在图像右半部分区域)划定一个长为L，高为H且中心点纵坐标与基准眼睛区域中心点纵坐标值相同的矩形区域R，满足条件：
H＝8a tan10
其中imglen是指图像srcImage的长度；
7.3)定义长为2*a，宽为2*b的矩形r在矩形区域R中线性滑动，步长设置为d，截取修复样本，称之为配对眼睛，保存结果图像到集合T中；
7.4)以pointsFnl[0]的坐标(x,y)为中心，从原灰度图像中切割出大小为P*Q的小块灰度图像Ac，将图像Ac沿边缘反转180°得到Bc；
7.5)对于集合T中的每一个结果Ti，在中心切割出大小为P*Q的小块灰度图像记为Tic，i＝0,1,...,k.k为集合T的大小；
7.6)对于每一个Tic，计算与Bc的相似性：
取li值最大的图像，若li＞0.7，则将其中心点坐标放入向量pointsFnl，否则舍弃；
所述步骤8)中，截取以pointsFnl[i]为中心，长为2*a，宽为2*b的矩形区域为眼睛区域。
本发明针对红外单摄像头虹膜采集仪提出一种双眼定位算法，可以对任意复杂背景下采集到的图片进行快速而精确的双眼定位并在定位区域内收集虹膜信息以供身份认证。本发明提供了一种对环境变化、光照、噪声、图像质量等鲁棒性强、适应眼镜佩戴情况的检测方法，利用红外单摄像头设备采集到图像中眼睛瞳孔存在光斑这一特性，通过FAST算法提供候选区域，使用支持向量机进行分类筛选出真正的眼睛区域，有效降低系统的误报率，提高系统对环境的鲁棒性和准确率。
本发明的有益效果主要表现在：稳定适应环境的变化、对环境的鲁棒性和准确率较高、误报率较低。
附图说明
图1是基于HOG特征和FAST算法的双眼定位方法的基本流程图；
图2是基于HOG特征和FAST算法的双眼定位方法的详细流程图；
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2，一种基于HOG特征和FAST算法的双眼定位方法，包括如下步骤：
1)载入训练好的SVM模型文件；
2)获取待定位的第i张帧图像srcImage，并复制出图像midImage，i为正整数；
3)对图像midImage进行预处理，具体过程如下：
3.1)对图像midImage进行灰度变换，将图像转化为灰度图；
3.2)对图像midImage进行高斯平滑处理，对嘈杂点进行过滤；
3.3)对图像midImage进行膨胀操作，将光斑点放大。
4)对图像midImage使用FAST算法进行光斑检测，获取候选区域中心点坐标向量points，具体过程如下：
4.1)设置阈值t，用于比较周围像素点与中心像素点的灰度差值。在本专利中，阈值t设置大小为10；
4.2)依次选取图像midImage中的像素点P，并设该点的灰度值为I(P)。在以P为圆心，半径为3像素的圆周上，取16个像素点。不妨假设点P正上方的像素点为1号，顺时针对16个像素进行编号，依次设为P'[1]、P'[2]、...、P'[16]；
4.3)选取P'[1]、P'[5]、P'[9]与P'[13]像素点，若这四个像素点中有至少3个像素点的灰度值同时大于I(P)+t或者同时小于I(P)-t时，则跳至步骤4.4，否则返回步骤4.2；
4.4)此时初步判断点P为角点，遍历1至16号像素点P'[i](i＝1,2,...,16)，设P'[i]处的灰度值为I(P'[i])。若存在连续9个像素点上的灰度值I(P'[i])同时大于I(P)+t或者同时小于I(P)-t，则判断点P为角点，将点P加入temp_points向量，否则返回步骤4.2；
4.5)重复步骤4.2-4.4，直至图像midImage中像素遍历完成，获得temp_points向量；
4.6)对向量temp_points中的角点进行非极大值抑制，重新得到temp_points向量，非极大值抑制过程如下：
4.6.1)依次取temp_points中的点TP；
4.6.2)取以角点TP为中心的3*3像素邻域，对邻域中的每一个角点P计算得分函数的值V，V的值为I(P)与I(P'[i])(i＝1,2...,16)的差值的绝对值的总和，公式如为：
4.6.3)取V值最大的角点P，作为该邻域中的极大值角点保留，在temp_points向量里删除邻域中的其他点。
4.7)选取temp_points向量中的第一个点，将其加入points向量中；
4.8)继续依次选取temp_points向量中的角点TP，并与points向量中的每个点CP[i]进行比较；
4.9)如果存在CP[i]，使得CP[i]在TP的20*20像素邻域中，则直接返回步骤4.7，否则将点TP加入points向量中，返回步骤4.7。直到遍历temp_points向量结束；
4.10)输出points向量。
5)依次对图像midImage上的候选区域是否为眼睛区域进行判断，获取眼睛区域中心点向量pointsTru，具体过程如下：
5.1)获取第j个候选区域中心点坐标center，j为正整数；
5.2)截取以center为中心点，长为2*a，宽为2*b的矩形候选区域图像cndImage(若候选区域越界，则将其向图像中心平移相对量)；
5.3)计算图像cndImage的HOG特征向量；
5.4)若是第一次对图像进行HOG特征向量计算，则计算HOG特征向量维数，并初始化图像的特征向量矩阵featureMat(行数为1，列数为HOG特征向量维数)；
5.5)将计算好的图像cndImage的特征向量复制到特征向量矩阵featureMat；
5.6)用训练好的SVM分类器对于图像cndImage的特征向量进行分类；
5.7)若分类器返回的结果为真，则将中心点center放入到向量pointsTru。
6)对于向量pointsTru中的点进行筛选，获取最终返回向量大小最多为2的眼睛区域中心点向量pointsFnl，具体过程如下：
6.1)将向量pointsTru中第0个点放入向量pointsFnl中，将其标记为点pointsTru[0]；
6.2)依次循环读入点pointsTru[k]；
6.3)若点pointsTru[k]的x坐标与点pointsTru[0]的x坐标相差足够大，且点pointsTru[k]的y坐标与点pointsTru[0]的y坐标相差足够小，则认为pointsTru[k]是区别于pointTru[0]的另一只眼睛，则将其放入向量pointsFnl，k为正整数；
6.4)若向量pointsFnl的大小等于2，则跳出循环。
7)若只检测到一只眼睛，即向量pointFnl的大小为1，则对进行修复，具体过程如下：
7.1)获取眼睛区域中心点向量pointsFnl，根据先验的人脸五官比例知识与pointsFnl[0]的值，判定所得的单眼位置为左眼还是右眼并进行标记，称之为基准眼睛；
7.2)根据基准眼睛区域中心点的坐标，在对称区域(即如果标定为左眼则在图像右半部分区域)划定一个长为L，高为H且中心点纵坐标与基准眼睛区域中心点纵坐标值相同的矩形区域R，满足条件：
H＝8atan10
其中imglen是指图像srcImage的长度；
7.3)定义长为2*a，宽为2*b的矩形r在矩形区域R中线性滑动，步长设置为d，截取修复样本，称之为配对眼睛，保存结果图像到集合T中；
7.4)以pointsFnl[0]的坐标(x,y)为中心，从原灰度图像中切割出大小为P*Q的小块灰度图像Ac，将图像Ac沿边缘反转180°得到Bc；
7.5)对于集合T中的每一个结果Ti，在中心切割出大小为P*Q的小块灰度图像记为Tic(i＝0,1,...,k.k为集合T的大小)；
7.6)对于每一个Tic，计算与Bc的相似性：
取li值最大的图像，若li＞0.7，则将其中心点坐标放入向量pointsFnl，否则舍弃。
8)返回眼睛区域中心点向量pointsFnl，并遍历向量pointsFnl，截取以pointsFnl[i]为中心，长为2*a，宽为2*b的矩形区域为眼睛区域。
基于高斯平滑和膨胀的图像预处理：高斯平滑可以有效减少图像中存在的噪声，同时二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的，这样即使事前不知道待处理图像的边缘方向，也可以在后续边缘检测中不会偏向任一方向。二维高斯函数可以表达为：
其中I(x,y)是点(x,y)经过平滑处理后的像素值，σ代表标准差。
膨胀则是对图像中的高亮部分进行扩张，使得效果图比原图具有更大的高亮区域，即可以扩大人眼图像中的光斑部分，从而提升候选区域的覆盖度。膨胀操作公式如下：
dst(x,y)＝max{src(x+dx,y+dy)+B(dx,dy)|(dx,dy)∈DB}
其中dst(x,y)是膨胀后的灰度图像，src(x,y)是原灰度图像，B为结构元素，dx和dy分别表示图像x和y方向上的分量，并且取值范围落在结构元素区域DB内。膨胀运算是由结构元素确定的邻域块中选取图像值与结构元素值的和的最大值。
基于FAST特征检测算法的候选区域检测：FAST特征检测算法是一种基于灰度值比较的算法。算法通过比较候选特征点的灰度值与其周围一圈像素点的灰度值，从而确定该候选特征点是否为特征点。
其中p′是以p为圆心的圆周Cp上任意一点，I(p′)为p′的灰度值，I(p)为圆心p的灰度值，εd为灰度值差的阈值，如果V大于给定阈值则认为p是一个特征点。在此原理基础上为了提高运算速度，本专利采用四邻域加速方法，即选取点周围上下左右四个点，如果有3个和候选点的灰度值足够大才认为此候选点为特征点候选点。如果不满足此条件直接丢弃。本专利中采用半径长度为3，共有16个周围像素需要比较，能够在保证检测到特征点的同时减少运行时间。
本专利利用FAST算法检测红外虹膜采集器采集的人眼图像中因为反射而形成的光斑，这光斑通常会出现的瞳孔位置及附近区域。经测试虽然瞳孔区域能够比较准确的被选中在候选区域中，但是会出现很多特征点挤在一起的情况，所以需要通过一定的操作，将同一邻域中的特征点进行筛选。本专利对候选点进行归类，即根据图像的大小，选定在20*20像素的范围中只取一个特征点，这样既不会使特征点的检测结果出现较大的偏差，同时能够极大的减小候选点的数量。
基于HOG特征和SVM分类器的非人眼区域排除：对上一步获取到的候选区域统一缩放到标准大小，提取HOG特征，使用SVM分类器排除非人眼区域。其中HOG特征的提取方法如下：
步骤1标准化Gamma空间和颜色空间
为了减少光照因素的影响，采用Gamma校正法对输入图像进行颜色空间的标准化。在图像的纹理强度中，局部的表层曝光贡献的比重较大，Gamma校正可以调节图像的对比度，有效降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干扰。因为颜色信息作用不大，通常先转化为灰度图。Gamma校正公式为：I′(x,y)＝I(x,y)gamma。其中I(x,y)是样本图像在坐标为(x,y)处的像素值。当Gamma值小于1时，图像的整体亮度值得到提升，同时低灰度处的对比度得到增加，更利于分辩低灰度值时的图像细节。本专利中gamma的值为0.5。
步骤2计算图像梯度
计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值；求导操作不仅能够捕获轮廓、人影和一些纹理信息，还能进一步弱化光照的影响。图像中像素点(x,y)的梯度为：
Gx(x,y)＝I(x+1,y)-I(x-1,y)
Gy(x,y)＝I(x,y+1)-I(x,y-1)
式中Gx(x,y),Gy(x,y),I(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。像素点(x,y)处的梯度幅值和梯度方向分别为：
最常用的方法是：首先用[-1,0,1]梯度算子对原图像做卷积运算，得到x方向(水平方向，以向右为正方向)的梯度分量gradscalx，然后用[1,0,-1]T梯度算子对原图像做卷积运算，得到y方向(竖直方向，以向上为正方向)的梯度分量gradscaly。然后再用以上公式计算该像素点的梯度大小和方向。
步骤3构建细胞单元梯度方向直方图
目的是为局部图像区域提供一个编码，同时能够保持对图像中目标对象的姿势和外观的弱敏感性。将图像分成若干个连接区域cell，每个cell中包含n*n个像素。用N个直方图来统计这n*n个像素的梯度信息，也就是将cell的梯度方向360度分成N个方向块，对cell内每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，就可以得到这个cell的梯度方向直方图，即该cell对应的N维特征向量。
步骤4合细胞单元成块并归一化块内梯度直方图
对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。采取的办法是：把各个细胞单元组合成大的、空间上连通的区间(block)。每个block内所有cell的特征向量串联起来便得到该block的HOG特征。将归一化之后的块向量称之为HOG特征向量。
基于图像块匹配的单眼漏检检测：在实际的检测过程中会出现只检测出一只眼睛的情况，造成这种情况的原因可能有a)FAST检测算法没有给出正确的包含另外一只眼睛区域的候选区域；b)FAST检测算法已经给出了正确的包含另外一只眼睛区域的样本，但是训练出来的分类器分类错误。本专利中使用基于图像块匹配的单眼漏检检测来解决上述情况，具体步骤如下：
step1基准眼睛判定
根据已经检测出的那只眼睛，获取该眼区域中心点的坐标，根据先验的人脸五官比例知识判定所得的单眼位置为左眼还是右眼并进行标记，称之为基准眼睛；
step 2滑动窗口大小定义
根据基准眼睛区域中心点的坐标，在对称区域(即如果标定为左眼则在图像右半部分区域)划定一个长为L，高为H且中心点纵坐标与基准眼睛区域中心点纵坐标值相同的矩形区域R，满足条件：
H＝8a tan10
其中imglen表示图像长度。x代表基准眼睛区域中心点的横坐标值，a是之前定义好的眼睛区域矩形长度的一半。定义长为2*a，宽为2*b的矩形r在矩形区域R中线性滑动，步长设置为d，截取修复样本，称之为配对眼睛，保存结果图像到集合T中；
step 3计算配对眼睛与基准眼睛的相似度
首先从基准眼睛区域的中心切割出大小为P*Q的小块灰度图像Ac，将图像Ac沿边缘反转180°得到Bc；接着对于集合T中的每一只配对眼睛Ti，在其中心切割出大小为P*Q的小块灰度图像记为Tic(i＝0,1,...,k)，对于每一个Tic(i＝0,1,...,k.k为集合T的大小)，计算与Bc的相似性：
li值越大表示配对眼睛与基准眼睛的相似度越高。
取所有的li值中的最大值l所对应的配对眼睛T，若l大于阈值ε，则T便是所修复出来的另一只眼睛，若l不大于阈值ε，则舍弃该配对眼睛T，不进行修复。本专利中所取阈值ε为0.7。

Claims (7)

1.一种基于HOG特征和FAST算法的双眼定位方法，其特征在于：包括如下步骤：
1)载入训练好的SVM模型文件；
2)获取待定位的第i张帧图像srcImage，并复制出图像midImage，i为正整数；
3)对图像midImage进行预处理；
4)对图像midImage使用FAST算法进行光斑检测，获取候选区域中心点坐标向量points；
5)依次对图像midImage上的候选区域是否为眼睛区域进行判断，获取眼睛区域中心点向量pointsTru；
6)对于向量pointsTru中的点进行筛选，获取最终返回向量大小最多为2的眼睛区域中心点向量pointsFnl；
7)若只检测到一只眼睛，即向量pointFnl的大小为1，则进行修复；
8)返回眼睛区域中心点向量pointsFnl，并遍历向量pointsFnl，截取以pointsFnl为中心的矩形区域为眼睛区域。
2.如权利要求1所述的一种基于HOG特征和FAST算法的双眼定位方法，其特征在于：所述步骤3)中，预处理的过程如下：
3.1)对图像midImage进行灰度变换，将图像转化为灰度图；
3.2)对图像midImage进行高斯平滑处理，对嘈杂点进行过滤；
3.3)对图像midImage进行膨胀操作，将光斑点放大。
3.如权利要求1或2所述的一种基于HOG特征和FAST算法的双眼定位方法，其特征在于：所述步骤4)中，FAST算法的过程如下：
4.1)设置阈值t，用于比较周围像素点与中心像素点的灰度差值；
4.2)依次选取图像midImage中的像素点P，并设该点的灰度值为I(P)。在以P为圆心，半径为3像素的圆周上，取16个像素点。以点P正上方的像素点为1号，顺时针对16个像素进行编号，依次设为P'[1]、P'[2]、...、P'[16]；
4.3)选取P'[1]、P'[5]、P'[9]与P'[13]像素点，若这四个像素点中有至少3个像素点的灰度值同时大于I(P)+t或者同时小于I(P)-t时，则跳至步骤4.4，否则返回步骤4.2)；
4.4)此时初步判断点P为角点，遍历1至16号像素点P'[i](i＝1,2,...,16)，设P'[i]处的灰度值为I(P'[i])。若存在连续9个像素点上的灰度值I(P'[i])同时大于I(P)+t或者同时小于I(P)-t，则判断点P为角点，将点P加入temp_points向量，否则返回步骤4.2)；
4.5)重复步骤4.2)-4.4)，直至图像midImage中像素遍历完成，获得temp_points向量；
4.6)对向量temp_points中的角点进行非极大值抑制，重新得到temp_points向量；
4.7)选取temp_points向量中的第一个点，将其加入points向量中；
4.8)继续依次选取temp_points向量中的角点TP，并与points向量中的每个点CP[i]进行比较，i为正整数；
4.9)如果存在CP[i]，使得CP[i]在TP的20*20像素邻域中，则直接返回步骤4.7)，否则将点TP加入points向量中，返回步骤4.7)，直到遍历temp_points向量结束；
4.10)输出points向量。
4.如权利要求3所述的一种基于HOG特征和FAST算法的双眼定位方法，其特征在于：所述4..6)中，非极大值抑制过程如下：
4.6.1)依次取temp_points中的点TP；
4.6.2)取以角点TP为中心的3*3像素邻域，对邻域中的每一个角点P计算得分函数的值V，V的值为I(P)与I(P'[i])(i＝1,2...,16)的差值的绝对值的总和，公式如为：
<mrow> <mi>V</mi> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>16</mn> </munderover> <mo>|</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>P</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>I</mi> <mrow> <mo>(</mo> <msup> <mi>P</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;lsqb;</mo> <mi>i</mi> <mo>&amp;rsqb;</mo> <mo>)</mo> </mrow> <mo>|</mo> </mrow>
4.6.3)取V值最大的角点P，作为该邻域中的极大值角点保留，在temp_points向量里删除邻域中的其他点。
5.如权利要求1或2所述的一种基于HOG特征和FAST算法的双眼定位方法，其特征在于：所述步骤5)中，获取眼睛区域中心点向量pointsTru的过程如下：
5.1)获取第j个候选区域中心点坐标center，j为正整数；
5.2)截取以center为中心点，长为2*a，宽为2*b的矩形候选区域图像cndImage，若候选区域越界，则将其向图像中心平移相对量；
5.3)计算图像cndImage的HOG特征向量；
5.4)若是第一次对图像进行HOG特征向量计算，则计算HOG特征向量维数，并初始化图像的特征向量矩阵featureMat，行数为1，列数为HOG特征向量维数；
5.5)将计算好的图像cndImage的特征向量复制到特征向量矩阵featureMat；
5.6)用训练好的SVM分类器对于图像cndImage的特征向量进行分类；
5.7)若分类器返回的结果为真，则将中心点center放入到向量pointsTru。
6.如权利要求1或2所述的一种基于HOG特征和FAST算法的双眼定位方法，其特征在于：所述步骤6)的过程如下：
6.1)将向量pointsTru中第0个点放入向量pointsFnl中，将其标记为点pointsTru[0]；
6.2)依次循环读入点pointsTru[k]；
6.3)若点pointsTru[k]的x坐标与点pointsTru[0]的x坐标相差足够大，且点pointsTru[k]的y坐标与点pointsTru[0]的y坐标相差足够小，则认为pointsTru[k]是区别于pointTru[0]的另一只眼睛，则将其放入向量pointsFnl，k为正整数；
6.4)若向量pointsFnl的大小等于2，则跳出循环。
7.如权利要求1或2所述的一种基于HOG特征和FAST算法的双眼定位方法，其特征在于：所述步骤7)中，修复的过程如下：
7.1)获取眼睛区域中心点向量pointsFnl，根据先验的人脸五官比例知识与pointsFnl[0]的值，判定所得的单眼位置为左眼还是右眼并进行标记，称之为基准眼睛；
7.2)根据基准眼睛区域中心点的坐标，在对称区域(即如果标定为左眼则在图像右半部分区域)划定一个长为L，高为H且中心点纵坐标与基准眼睛区域中心点纵坐标值相同的矩形区域R，满足条件：
H＝8a tan 10
其中imglen是指图像srcImage的长度；
7.3)定义长为2*a，宽为2*b的矩形r在矩形区域R中线性滑动，步长设置为d，截取修复样本，称之为配对眼睛，保存结果图像到集合T中；
7.4)以pointsFnl[0]的坐标(x,y)为中心，从原灰度图像中切割出大小为P*Q的小块灰度图像Ac，将图像Ac沿边缘反转180°得到Bc；
7.5)对于集合T中的每一个结果Ti，在中心切割出大小为P*Q的小块灰度图像记为Tic，i＝0,1,...,k.k为集合T的大小；
7.6)对于每一个Tic，计算与Bc的相似性：
<mrow> <msub> <mi>l</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>P</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>Q</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mo>&amp;lsqb;</mo> <msub> <mi>T</mi> <mrow> <mi>i</mi> <mi>c</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <msub> <mi>T</mi> <mrow> <mi>i</mi> <mi>c</mi> </mrow> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;rsqb;</mo> <mo>&amp;lsqb;</mo> <msub> <mi>B</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <msub> <mi>B</mi> <mi>c</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;rsqb;</mo> </mrow> <msqrt> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>P</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>Q</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>T</mi> <mrow> <mi>i</mi> <mi>c</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <msub> <mi>T</mi> <mrow> <mi>i</mi> <mi>c</mi> </mrow> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>p</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>P</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>Q</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>B</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <msub> <mi>B</mi> <mi>c</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>k</mi> </mrow>
取li值最大的图像，若li＞0.7，则将其中心点坐标放入向量pointsFnl，否则舍弃；
所述步骤8)中，截取以pointsFnl[i]为中心，长为2*a，宽为2*b的矩形区域为眼睛区域。
CN201710155361.7A 2017-03-16 2017-03-16 基于hog特征和fast算法的双眼定位方法 Expired - Fee Related CN107145820B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710155361.7A CN107145820B (zh) 2017-03-16 2017-03-16 基于hog特征和fast算法的双眼定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710155361.7A CN107145820B (zh) 2017-03-16 2017-03-16 基于hog特征和fast算法的双眼定位方法

Publications (2)

Publication Number Publication Date
CN107145820A true CN107145820A (zh) 2017-09-08
CN107145820B CN107145820B (zh) 2020-11-17

Family

ID=59784141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710155361.7A Expired - Fee Related CN107145820B (zh) 2017-03-16 2017-03-16 基于hog特征和fast算法的双眼定位方法

Country Status (1)

Country Link
CN (1) CN107145820B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960040A (zh) * 2018-05-07 2018-12-07 国网浙江省电力有限公司信息通信分公司 人眼检测方法
CN109509345A (zh) * 2017-09-15 2019-03-22 富士通株式会社 车辆检测装置和方法
CN109961407A (zh) * 2019-02-12 2019-07-02 北京交通大学 基于人脸相似性的人脸图像修复方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140050370A1 (en) * 2012-08-15 2014-02-20 International Business Machines Corporation Ocular biometric authentication with system verification
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼（湖南）科技发展有限公司 用于人脸识别的眼镜检测方法及系统
CN104463080A (zh) * 2013-09-16 2015-03-25 展讯通信(天津)有限公司 人眼状态的检测方法
CN105512630A (zh) * 2015-12-07 2016-04-20 天津大学 近实时效应的人眼检测与定位方法
CN105868731A (zh) * 2016-04-15 2016-08-17 山西天地科技有限公司 双目虹膜特征获取方法及装置、身份验证方法及系统
CN105913487A (zh) * 2016-04-09 2016-08-31 北京航空航天大学 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
US20160360186A1 (en) * 2015-06-03 2016-12-08 University Of Connecticut Methods and systems for human action recognition using 3d integral imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140050370A1 (en) * 2012-08-15 2014-02-20 International Business Machines Corporation Ocular biometric authentication with system verification
CN104463080A (zh) * 2013-09-16 2015-03-25 展讯通信(天津)有限公司 人眼状态的检测方法
CN104463128A (zh) * 2014-12-17 2015-03-25 智慧眼（湖南）科技发展有限公司 用于人脸识别的眼镜检测方法及系统
US20160360186A1 (en) * 2015-06-03 2016-12-08 University Of Connecticut Methods and systems for human action recognition using 3d integral imaging
CN105512630A (zh) * 2015-12-07 2016-04-20 天津大学 近实时效应的人眼检测与定位方法
CN105913487A (zh) * 2016-04-09 2016-08-31 北京航空航天大学 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
CN105868731A (zh) * 2016-04-15 2016-08-17 山西天地科技有限公司 双目虹膜特征获取方法及装置、身份验证方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
BATOUL HASHEM等: "Pedestrian Detection by Using FAST- HOG Features", 《PROCEEDINGS OF THE 3RD INTERNATIONAL CONFERENCE ON HUMAN-AGENT INTERACTION》 *
C.-H. KUO等: "Face recognition based on a two-view projective transformation using one sample per subject", 《IET COMPUTER VISION》 *
DAVID MONZO等: "Precise eye localization using HOG descriptors", 《MACHINE VISION AND APPLICATIONS》 *
ELDHO ABRAHAM等: "HOG descriptor based Registration(A New Image Registration Technique)", 《2013 15TH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTING TECHNOLOGIES(ICACT)》 *
GOUTAM MAJUMDER等: "Automatic Eye Detection Using Fast Corner Detector of North East Indian (NEI) Face Images", 《PROCEDIA TECHNOLOGY》 *
TUMPA DEY等: "Facial Landmark Detection using FAST Corner Detector of UGC-DDMC Face Database of Tripura Tribes", 《PROCEEDINGS OF THE 2015 THIRD INTERNATIONAL CONFERENCE ON COMPUTER, COMMUNICATION, CONTROL AND INFORMATION TECHNOLOGY (C3IT)》 *
王先梅等: "基于2阶段区域匹配的驾驶员眼睛细定位算法", 《数据采集与处理》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509345A (zh) * 2017-09-15 2019-03-22 富士通株式会社 车辆检测装置和方法
CN108960040A (zh) * 2018-05-07 2018-12-07 国网浙江省电力有限公司信息通信分公司 人眼检测方法
CN108960040B (zh) * 2018-05-07 2021-09-28 国网浙江省电力有限公司信息通信分公司 人眼检测方法
CN109961407A (zh) * 2019-02-12 2019-07-02 北京交通大学 基于人脸相似性的人脸图像修复方法

Also Published As

Publication number Publication date
CN107145820B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN103632136B (zh) 人眼定位方法和装置
US8345921B1 (en) Object detection with false positive filtering
CN109101871A (zh) 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN100373397C (zh) 一种虹膜图像预处理方法
CN105957054B (zh) 一种图像变化检测方法
CN110070010A (zh) 一种基于行人重识别的人脸属性关联方法
CN103093215A (zh) 人眼定位方法及装置
CN105956578A (zh) 一种基于身份证件信息的人脸验证方法
CN101739546A (zh) 基于图像交叉重建的单样本注册图像人脸识别方法
CN101142584A (zh) 面部特征检测的方法
Rouhi et al. A review on feature extraction techniques in face recognition
CN109255319A (zh) 针对静态照片的人脸识别支付信息防伪方法
Narang et al. Face recognition in the SWIR band when using single sensor multi-wavelength imaging systems
CN105590109A (zh) 一种虹膜识别预处理方法和装置
CN103632137A (zh) 一种人眼虹膜图像分割方法
CN107145820A (zh) 基于hog特征和fast算法的双眼定位方法
CN110348289A (zh) 一种基于二值图的手指静脉识别方法
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
CN108446642A (zh) 一种快速人脸识别系统
CN107784263A (zh) 基于改进加速鲁棒特征的平面旋转人脸检测的方法
CN104217211B (zh) 基于最优判别耦合投影的多视角步态识别方法
Devadethan et al. Face detection and facial feature extraction based on a fusion of knowledge based method and morphological image processing
CN103020599A (zh) 基于人脸的身份认证方法
CN108520208A (zh) 局部化面部识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201117