CN112906596A - 基于低分辨率光学摄像头的虹膜中心定位方法 - Google Patents

基于低分辨率光学摄像头的虹膜中心定位方法 Download PDF

Info

Publication number
CN112906596A
CN112906596A CN202110235695.1A CN202110235695A CN112906596A CN 112906596 A CN112906596 A CN 112906596A CN 202110235695 A CN202110235695 A CN 202110235695A CN 112906596 A CN112906596 A CN 112906596A
Authority
CN
China
Prior art keywords
iteration
human eye
iris
iris center
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110235695.1A
Other languages
English (en)
Inventor
周后盘
吴弘杰
卜祥国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110235695.1A priority Critical patent/CN112906596A/zh
Publication of CN112906596A publication Critical patent/CN112906596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了基于低分辨率光学摄像头的虹膜中心定位方法。该方法通过改进Snakuscule能量模型的迭代部分，融合了跳跃迭代和单像素迭代的方法，实现虹膜中心的快速和准确检测，并且在迭代过程中加入了虹膜中心质检步骤来对迭代模式进行决策，以提高迭代效率，避免迭代步长过大造成的反复迭代以及迭代步过短造成的迭代时间过长的问题，且在单像素迭代中考虑十种可能的活动，包括8个方向和半径收缩与扩张的活动，以能提供最大能量值的活动作为迭代结果，解决了虹膜中心检测在非限定环境以及低分辨率设备条件下检测准确率低的问题，增加了虹膜中心的定位精度。

Description

基于低分辨率光学摄像头的虹膜中心定位方法
技术领域
本发明属于计算机视觉领域，具体是一种基于人脸关键点和主动轮廓模型的低分辨率人脸图像虹膜中心定位方法。
背景技术
虹膜中心的定位在许多计算机视觉应用中具有重要意义，是人机交互、人脸识别、人脸匹配、人脸情绪识别、用户注意力检测和视线估计等应用的重要前提。现有技术中虹膜中心定位的方法大致可以分为基于特征的方法、基于形状的方法、基于外观的方法以及混合方法这四类。
其中，基于特征的方法使用了人眼的一些典型特征完成虹膜中心的定位，例如眼角、虹膜、瞳孔、眼睑、角膜反射等。基于形状的方法一般是将眼睛的形状近似为简单的圆形或椭圆形，通过在人眼中寻找这些形状的中心来确定虹膜中心。基于外观的方法利用眼睛内部及眼睛轮廓周围的颜色特征来直接进行定位虹膜中心。混合方法则是通过混合使用多种上述方法，结合不同方法的优势从而提高识别的精度。
根据大量文献的记载，目前研究者们对于虹膜中心定位的实验结果已经可以达到很高的检测精度。然而实际生活场景中，由于检测环境几乎都比较复杂，且检测用的摄像头大多数也为低分辨率摄像头，很难达到论文中的理想实验状态，如何在这种非限定环境下准确而高效地定位虹膜中心是一项具有挑战的工作。
发明内容
针对现有技术的不足，本发明提出了基于低分辨率光学摄像头的虹膜中心定位方法，基于人脸关键点和主动轮廓模型的低分辨率人脸图像，通过改进snakuscule模型的迭代算法，实现在非限定环境与低分辨率设备下快速、准确定位虹膜中心。
基于低分辨率光学摄像头的虹膜中心定位方法，具体包括以下步骤：
步骤一：获取人脸图像，并基于SDM算法定位人脸图像上的特征点。
作为优选，定位人脸图像上的68个特征点。
步骤二：将步骤一定位得到的人眼特征点向外扩张几个像素实现分割，得到人眼ROI区域。通过人眼特征点得到眼睛的宽度和高度，进而得到人眼横纵比，通过横纵比判断人眼的开、闭状态。
步骤三：当步骤二判断的结果为人眼闭合状态，则通过人眼关键点求取人眼的中点，并将该中点作为人眼闭合状态下的虹膜中心点。
步骤四：当步骤二判断的结果为人眼睁开状态，对步骤二得到的人眼ROI区域进行二值化操作，然后进行降噪处理得到人眼ROI二值化图像，再对步骤二得到的人眼ROI区域通过灰度化函数得到对应的人眼ROI灰度图。
作为优选，通过全局阈值对人眼ROI区域进行二值化操作。
作为优选，全局阈值通过灰度直方图求得。
步骤五：遍历步骤四得到的人眼ROI二值化图像，获取其中值为255的像素点的位置，以及对应位置在人眼ROI灰度图上对应的像素值，将对应的灰度图中像素值最小的位置作为人眼虹膜的粗定位中心。
步骤六：根据步骤五得到的粗定位结果初始化snakuscule模型，向模型输入步骤二得到的人眼ROI区域。
步骤七：对步骤六得到的初始化后的snakuscule模型的内圆区域内作四区域跳跃迭代模型，通过比较四区域的归一化能量值，得到一个最优的跳跃迭代结果。
步骤八：对步骤七得到的snakuscule模型，进行虹膜中心质检，即计算虹膜在snakuscule内圆中的面积占比，若占比低于阈值，则重复执行步骤七进行跳跃迭代，否则执行单像素迭代以更加精确地逼近真实中心。在每次单像素迭代前，计算其在十种可能迭代运动后的外环和内圆的归一化能量差值，最后选择一种基于梯度下降后能提供最大能量减少的运动。当snakuscule模型迭代至内圆完全抓取虹膜，此时的圆心即为最终求得的人眼睁开状态下的虹膜中心。
所述单像素迭代是以每次一个像素的迭代距离进行迭代的方式。
本发明具有以下有益效果：
1、使用人脸关键点快速定位到人脸的各个器官，然后将人眼特征点向外扩张几个像素切割得到人眼ROI区域。与传统三庭五眼的人眼分割方式相比，能够缩小人眼分割区域，减少眉毛的干扰，同时在头部倾斜的情况下也能完整地分割出人眼。
2、使用改进的基于同心圆的主动轮廓模型snakuscule，提出了基于snakuscule的跳跃迭代方法。在snakuscule模型初始化之后，使用单像素迭代和跳跃迭代结合的方法进行迭代，快速定位一个较为准确的圆心，与仅使用单步迭代的方式相比，减少了迭代步，降低了计算量，提高了整体虹膜中心检测的准确性和实时性。
3、针对snakuscule模型整体流程中的迭代步骤进行了虹膜中心质量评估，通过计算每次迭代后snakuscule模型内圆中的虹膜中心面积占比来判断下次迭代所使用的迭代方式，避免了仅使用的单步迭代的迭代效率底下和仅使用跳跃迭代造成跳跃过度而引起的反复迭代。
附图说明
图1为定位方法的算法流程图；
图2为实施例中人脸定位得到的右眼关键点；
图3为实施例中人眼二值化图像；
图4为snakucule同心圆模型；
图5为内圆四区域跳跃迭代模型；
图6为实施例中snakuscule的迭代结果；
图7为实施例得到检测结果。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
本实施例使用低分辨率网络摄像头webcam进行拍摄。如图1所示，基于低分辨率光学摄像头的虹膜中心定位方法具体包括以下步骤：
步骤一：基于Haar特征和Adaboost算法对摄像头捕获到的视频帧进行人脸检测并定位。然后对定位后的人脸图像使用监督下降算法(Supervised Descent Method,SDM)提取68个特征点。
步骤二：选择步骤一定位得到的68个人脸特征点中分布在人眼周围的12个特征点，进行人眼分割，得到人眼ROI区域，具体步骤为：
s2.1、如图2所示，x36,x37,x38,x39,x40,x41为表示右眼的6个特征点，xl，yl，xr，yr分别表示分割框左上角顶点的横纵坐标和右下角顶点的横纵坐标：
Figure BDA0002959985280000031
其中α为根据眼睛高度计算得到的预设值。
s2.2、根据步骤2.1得到的顶点坐标xl，yl，xr，yr分割裁剪得到右眼ROI区域。左眼ROI区域获得的方法同理。
步骤三：由于眼睛处于闭合状态时，裁剪得到的人眼ROI区域图像中不存在虹膜，因此需要先对人眼的状态进行检测。通过眼睛和眼睑轮廓得到眼睛的纵横比EAR(EyeAspect Ratio)估计开闭状态，右眼EAR的计算公式为：
Figure BDA0002959985280000041
设置判断阈值为0.2，当计算得到ERA值小于0.2时，认为人眼处于闭合状态，此时计算人眼轮廓点的中心点，并将该中点作为人眼闭合状态下的虹膜中心点输出结果。
当计算得到ERA值小于0.2时，认为人眼处于睁开状态，继续进行步骤四。
步骤四：对步骤二得到的人眼ROI区域进行二值化操作，具体步骤为对人眼ROI区域执行灰度化操作，并统计得到眼睛区域灰度直方图，然后通过求和得到累加直方图，并进行归一化操作。根据归一化后的累加直方图并取阈值0.2，对眼睛区域进行二值化操作。然后进行降噪处理得到如图3所示的人眼ROI二值化图像。再对步骤二得到的人眼ROI区域通过灰度化函数得到对应的人眼ROI灰度图。
步骤五：迭代更新snakuscule模型需要较高的算力、花费较多的时间。为了满足快速检测的要求，虹膜中心粗定位的计算时间应该尽可能短，选择对灰度图像直方图的创建以及累加的方法来对虹膜中心进行粗定位，即对像素统计与遍历，这种方法在低分辨率图像上仅需很小的算力即可实现，满足快速检测的要求。
遍历步骤四得到的人眼ROI二值化图像，获取其中值为255的像素点的位置，与对应位置在人眼区域灰度图上对应的像素值，将对应的灰度图中像素值最小的位置作为人眼虹膜的粗定位中心。
粗定位的结果虽然在不同程度上都偏离了虹膜的实际中心，但都落在了虹膜区域中，因此可以满足使用snakuscule模型进行进一步精确定位的条件：同心圆模型与被抓取的图像有部分重叠。
步骤六：由于虹膜是眼睛区域中最突出的圆形区域，且虹膜的像素值远低于巩膜，因此初始化了一个特定形状的主动轮廓模型，使用该模型来捕获虹膜，从而得到人眼虹膜精确中心。
s6.1、snakuscule同心圆模型的形状如图4所示，初始化方法为：以
Figure BDA0002959985280000042
作为先验参数，将人眼宽度的一半作为snakuscule模型的初始半径、步骤5得到的虹膜粗定位中心作为初始snakuscule同心圆模型的中心，其中ρ为外圆半径和内圆半径的比值，人眼宽度由人眼特征点上下距离的平均值求得。
s6.2、当虹膜粗定位中心与虹膜实际中心偏离的距离较远时，仅使用单像素迭代的方式对模型进行迭代会造成计算量增大，实时性降低的问题。使用单步迭代和跳跃迭代的混合迭代形式对初始化后的snakuscule同心圆模型进行迭代，以达到快速接近虹膜中心和减少迭代次数的目的，如图5所示。具体步骤为：
s6.2.1、作内圆四区域模型：在内圆中作四个两两相切的小圆，且分别与内圆相切于上下左右四个点，小圆直径设为内圆的半径。
s6.2.2、分别对四个小圆区域计算能量值，能量值计算公式如下：
Figure BDA0002959985280000051
circletarget＝min(circleleft,circleright,circletop,circlebottom) (4)
找到其中能量值最小的小圆区域，将其圆心作为snakuscule模型的初始迭代结果。此步骤跨越了多个像素，同时也使snakuscule模型的中心跳跃式地逼近了圆心，提高了整体迭代的效率。
步骤七：经过步骤6.2后得到的中心已经进一步接近真实的虹膜中心了，此时对模型的中心进行质量检测，计算snakuscule模型的内圆中虹膜占比，如果虹膜占比超过给定阈值，则重复执行步骤6.2的跳跃迭代步骤；如果小于给定阈值，为了精确捕获虹膜，此时使用单像素的迭代方法，便于微调snakuscule模型，避免其中心跳跃过度导致的反复迭代。
计算snakuscule模型的外环和内圆的能量差。在十种可能迭代运动当中，snakuscule选择了一种基于梯度下降提供的最大能量减少的运动，最小化能量公式为：
Figure BDA0002959985280000052
接着对得到的外环与内圆能量差值进行归一化操作，公式如下：
Figure BDA0002959985280000061
这里的十种迭代运动方式分别为8个方向即上、下、左、右、左上、右上、左下、右下以及半径的扩张与收缩，尺度均为一个像素值。
当snakuscule模型通过归一化能量差值方程迭代运动至内圆完全捕获到虹膜时，此时的snakuscule同心圆模型的圆心即为最终要求的人眼虹膜精确中心，snakuscule的迭代结果和最终检测结果如图6和图7所示。

Claims (7)

1.基于低分辨率光学摄像头的虹膜中心定位方法，其特征在于：该方法具体包括以下步骤：
步骤一：获取人脸图像，并基于SDM算法定位人脸图像上的特征点；
步骤二：将步骤一定位得到的人眼特征点向外扩张几个像素实现分割，得到人眼ROI区域；通过人眼特征点得到眼睛的宽度和高度，进而得到人眼横纵比，通过横纵比判断人眼的开、闭状态；
步骤三：当步骤二判断的结果为人眼闭合状态，则通过人眼关键点求取人眼的中点，并将该中点作为人眼闭合状态下的虹膜中心点；
步骤四：当步骤二判断的结果为人眼睁开状态，对步骤二得到的人眼ROI区域进行二值化操作，然后进行降噪处理得到人眼ROI二值化图像；再对步骤二得到的人眼ROI区域通过灰度化函数得到对应的人眼ROI灰度图；
步骤五：遍历步骤四得到的人眼ROI二值化图像，获取其中值为255的像素点的位置，与对应位置在人眼区域灰度图上对应的像素值，将对应的灰度图中像素值最小的位置作为人眼虹膜的粗定位中心；
步骤六：根据步骤五得到的粗定位结果初始化snakuscule模型，向模型输入步骤二得到的人眼ROI区域；
步骤七：对步骤六得到的初始化后的snakuscule模型的内圆区域内作四区域跳跃迭代模型，通过比较四区域的归一化能量值，得到一个最优的跳跃迭代结果；
步骤八：对步骤七得到的snakuscule模型，进行虹膜中心质检，即计算虹膜在snakuscule内圆中的面积占比，若占比低于阈值，则重复执行步骤七进行跳跃迭代，否则执行单像素迭代以更加精确地逼近真实中心；在每次单像素迭代前，计算其在十种迭代运动后的外环和内圆的归一化能量差值，最后选择一种基于梯度下降后能提供最大能量减少的运动；当snakuscule模型迭代至内圆完全抓取虹膜，此时的圆心即为最终求得的人眼睁开状态下的虹膜中心。
2.如权利要求1所述基于低分辨率光学摄像头的虹膜中心定位方法，其特征在于：步骤一中通过SDM算法定位得到的特征点数量为68。
3.如权利要求1所述基于低分辨率光学摄像头的虹膜中心定位方法，其特征在于：步骤二中，当计算得到的人眼纵横比小于0.2时，判断人眼为闭合状态，否则为睁开状态。
4.如权利要求1所述基于低分辨率光学摄像头的虹膜中心定位方法，其特征在于：步骤四中通过全局阈值对人眼ROI区域进行二值化操作。
5.如权利要求4所述基于低分辨率光学摄像头的虹膜中心定位方法，其特征在于：所述全局阈值通过灰度直方图求得。
6.如权利要求1所述基于低分辨率光学摄像头的虹膜中心定位方法，其特征在于：所述单像素迭代是以每次一个像素的迭代距离进行迭代的方式。
7.如权利要求1所述基于低分辨率光学摄像头的虹膜中心定位方法，其特征在于：所述十种迭代运动为上、下、左、右、左上、右上、左下、右下8个方向与半径的扩张、收缩。
CN202110235695.1A 2021-03-03 2021-03-03 基于低分辨率光学摄像头的虹膜中心定位方法 Pending CN112906596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110235695.1A CN112906596A (zh) 2021-03-03 2021-03-03 基于低分辨率光学摄像头的虹膜中心定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110235695.1A CN112906596A (zh) 2021-03-03 2021-03-03 基于低分辨率光学摄像头的虹膜中心定位方法

Publications (1)

Publication Number Publication Date
CN112906596A true CN112906596A (zh) 2021-06-04

Family

ID=76108245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110235695.1A Pending CN112906596A (zh) 2021-03-03 2021-03-03 基于低分辨率光学摄像头的虹膜中心定位方法

Country Status (1)

Country Link
CN (1) CN112906596A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389574A (zh) * 2015-12-25 2016-03-09 成都品果科技有限公司 一种检测图片中人眼虹膜的方法及系统
TW201624200A (zh) * 2014-12-31 2016-07-01 中原大學 眼球定位方法及系統
CN110309814A (zh) * 2019-07-11 2019-10-08 中国工商银行股份有限公司 一种基于边缘检测的虹膜识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201624200A (zh) * 2014-12-31 2016-07-01 中原大學 眼球定位方法及系統
CN105389574A (zh) * 2015-12-25 2016-03-09 成都品果科技有限公司 一种检测图片中人眼虹膜的方法及系统
CN110309814A (zh) * 2019-07-11 2019-10-08 中国工商银行股份有限公司 一种基于边缘检测的虹膜识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周小龙等: "一种基于三维眼球模型和Snakuscule的虹膜中心定位算法", 计算机科学, vol. 46, no. 9, 15 September 2019 (2019-09-15), pages 284 - 290 *

Similar Documents

Publication Publication Date Title
KR101185525B1 (ko) 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
KR100724932B1 (ko) 얼굴 검출 장치 및 방법
Xu et al. Online dynamic gesture recognition for human robot interaction
Vatahska et al. Feature-based head pose estimation from images
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN107368778A (zh) 人脸表情的捕捉方法、装置及存储装置
CN105320917B (zh) 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法
CN102194108B (zh) 一种聚类线性鉴别分析特征选择的笑脸表情识别方法
US10521659B2 (en) Image processing device, image processing method, and image processing program
CN1794262A (zh) 快速有效的活体虹膜分割方法
Kalansuriya et al. Neural network based age and gender classification for facial images
CN110728185A (zh) 一种判别驾驶人存在手持手机通话行为的检测方法
Naido et al. Face detection using colour and Haar features for indoor surveillance
Sheela et al. Iris detection for gaze tracking using video frames
Sui et al. A restricted coulomb energy (rce) neural network system for hand image segmentation
Alkoot et al. A review on advances in iris recognition methods
Ananthakumar Efficient face and gesture recognition for time sensitive application
Rohani et al. Lip processing and modeling based on spatial fuzzy clustering in color images
Dahal et al. Incorporating skin color for improved face detection and tracking system
KR20110019969A (ko) 얼굴 검출 장치
CN111553217A (zh) 一种驾驶员打电话监测方法与系统
CN112906596A (zh) 基于低分辨率光学摄像头的虹膜中心定位方法
Kalansuriya et al. Facial image classification based on age and gender
KR20040042501A (ko) 형판 정합 기반 얼굴 검출방법
KR20060031834A (ko) 실시간 상황인지를 위한 얼굴특징 검출

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination