CN108256397A - 基于投影积分的虹膜区域定位方法 - Google Patents

基于投影积分的虹膜区域定位方法 Download PDF

Info

Publication number
CN108256397A
CN108256397A CN201611240541.7A CN201611240541A CN108256397A CN 108256397 A CN108256397 A CN 108256397A CN 201611240541 A CN201611240541 A CN 201611240541A CN 108256397 A CN108256397 A CN 108256397A
Authority
CN
China
Prior art keywords
image
localization
iris
projecting
integral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611240541.7A
Other languages
English (en)
Inventor
钟鸿飞
覃争鸣
杨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Original Assignee
Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou filed Critical Rich Intelligent Science And Technology Ltd Is Reflected In Guangzhou
Priority to CN201611240541.7A priority Critical patent/CN108256397A/zh
Publication of CN108256397A publication Critical patent/CN108256397A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于投影积分的虹膜区域定位方法,所述方法包括:S1面部图像获取,S2图像预处理,S3投影积分计算,S4人眼区域定位,S5虹膜区域定位;本发明方案使用灰度投影积分,将人脸结构特征结合灰度投影积分,在水平和垂直两个方向上计算人眼区域的灰度变化,从而得到人眼区域定位,在眼睛位置确定的眼睛区域图像内,使用虹膜的生理结构特性定位虹膜中心位置,克服眼睛图像在不同光照条件下的成像差异。

Description

基于投影积分的虹膜区域定位方法
技术领域
本发明属于视觉定位领域,涉及一种基于投影积分的虹膜区域定位方法。
背景技术
疲劳驾驶是指由于驾驶环境的单调性或者长时间、超强度的行车,驾驶人因精力消耗过多而产生生理、心理机能衰退,造成反应水平、操控效率下降,进而导致驾驶技能降低,并影响正常驾驶的现象。驾驶人在疲劳时,对交通环境的感知能力、危险的判断能力和对车辆的操控能力均有不同程度的下降,极易引发交通事故。
疲劳驾驶的主流检测方法是在驾驶人参与的情况下,对驾驶人的精神状态进行评定,最常用的是基于面部视频的疲劳检测法,该方法由经过训练的评分专家根据驾驶人的面部表情对其疲劳状态进行评估;该方法的准确率依赖于对眼睛区域的定位。受实际驾驶过程中的随机光照、驾驶人肢体动作、夜晚工况下成像模糊暗淡、墨镜工况下眼睛图像不可见等因素的影响,实现全天候、高鲁棒的眼睛区域定位依旧存在众多技术瓶颈。
夜晚工况下,驾驶室内的光照不足,弱化了面部图像中各器官之间的边界,极易受到环境光照的影响而出现偏光侧光等面部图像,由此产生非结构边缘(非人脸生理特性边缘),严重影响到驾驶人的眼睛区域定位。
为了减弱紫外线对于眼睛的伤害,以及环境中的眩光对于视觉观察的影响,驾驶人在白天光照强烈的情况下,倾向于佩戴墨镜,由此造成驾驶人眼睛区域图像的遮挡,无法捕捉到驾驶人的眼睛区域定位。
发明内容
本发明目的在于克服现有技术的不足,尤其解决现有的面部视频的疲劳检 测法中,受实际驾驶过程中的随机光照、驾驶人肢体动作、夜晚工况下成像模糊暗淡、墨镜工况下眼睛图像不可见影响,导致眼睛区域定位失败的问题。提供一种基于机器视觉的多场景虹膜区域定位方法,使用CCD摄像机获取驾驶人的面部图像后,利用红外照明和红外滤光分别对于不同光照情况下和墨镜情况下,定位驾驶人的眼睛区域位置;在眼睛位置确定的眼睛区域图像内,根据虹膜的生理结构特性定位虹膜中心位置,克服眼睛图像在不同光照条件下的成像差异。
为解决上述技术问题,本发明采用如下的技术方案:一种基于投影积分的虹膜区域定位方法,所述方法包括:
S1面部图像获取,采用红外照明和红外滤光的方式获取人脸面部图像;
S2图像预处理,对摄像头捕获的人脸图像进行预处理;
S3投影积分计算,使用积分投影方法计算人脸图像的灰度变化;
S4人眼区域定位,根据人眼比例和积分计算结果定位人眼区域;
S5虹膜区域定位,在眼睛位置确定的眼睛区域图像内,根据虹膜的生理结构特性定位虹膜中心位置。
进一步地,所述步骤S2图像预处理操作包括:图像灰度化、图像均衡化、图像二值化、图像负片操作;
进一步地,所述步骤S3投影积分计算操作包括:水平垂直积分操作和垂直积分投影操作;
进一步地,所述步骤S3投影积分计算操作中,将图像分成左右两部分,分别进行投影积分计算;
进一步地,所述步骤S4人眼区域定位操作中,根据人左右两眼间距的比例获取人眼区域。
本发明与现有技术相比具有以下的有益效果:
本发明方案使用灰度投影积分,将人脸结构特征结合灰度投影积分,在水平和垂直两个方向上计算人眼区域的灰度变化,从而得到人眼区域定位,在眼睛位置确定的眼睛区域图像内,使用虹膜的生理结构特性定位虹膜中心位置,克服眼睛图像在不同光照条件下的成像差异。
附图说明
图1是本发明实施例的基于投影积分的虹膜区域定位方法的流程图。
图2是本发明实施例的红外照明方式获取面部图像效果图。
图3是本发明实施例的红外滤光片获取面部图像效果图。
图4为本发明实施例的图像二值化结果示意图。
图5为本发明实施例的图像负片结果示意图。
图6为本发明实施例的积分投影计算结果曲线图。
图7为本发明实施例的人眼参数比例关系示意图。
图8是本发明实施例的虹膜定位效果图。
具体实施方式
下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。
参照图1,本发明实施例的一种基于投影积分的虹膜区域定位方法,所述方法包括:
S1面部图像获取。采用CCD摄像机采集驾驶人的面部图像,摄像机安装在车辆仪表盘附近。针对车辆的不同,摄像机焦距分别为8mm(乘用车)与12mm(商用车),本实施例中采用焦距为8mm的摄像机采集人脸图像。
参照图2,为了克服夜晚工况下的弱光与侧光问题,同时避免对驾驶人的正常驾驶产生干扰,采用红外照明(850nm)的方式获取面部图像;
参照图3,为了实现墨镜工况下的眼睛图像可见问题,采用红外滤光的方式获取红外光波段的面部图像。本实施例选用850nm红外滤光片获取面部图像,该滤光片可以获取波长大于800nm的面部反射光。
S2,图像预处理,具体过程包括:S21图像灰度化、S22图像均衡化、S23图像二值化、S24图像负片操作。
S11图像灰度化:相机获取的人眼图像是彩色图像,包含的信息量大,图像处理速度较慢。考虑到人机交互对实时性的要求高,对彩色图像进行灰度化处理是必须的。灰度化就是使彩色像素的R、G、B分量值相等的过程,灰度图像中的灰度值等于原彩色图像中的RGB平均值,即
Gray=(R+G+B)/3 (1)
S22图像均衡化:直方图均衡化使图像的灰度间距拉开或使灰度分布均匀,从而增大反差,使图像细节清晰,达到图像增强的目的。其具体方法是:
首先给出原始图像的所有灰度级Sk(k=0,1,......,L-1);然后统计原始图像各灰度级的像素数nk;利用式(2)计算原始图像的直方图后再用(3)式计算原始图像的积累直方图:
P(Sk)=nk/n,k=0,1,...,L-1 (2)
p(tk)=nk/n (4)
其中,n是图像像素总数。对灰度值tk取整,确定Sk→tk的映射关系后统计新直方图各灰度级的像素数nk;最后利用式(4)计算新的直方图。
S23图像二值化:用最大类间方差法进行图像二值化,过程为:
设图像共有L个灰度级,灰度值为i的像素点共有ni个,图像共有N个像素点,归一化灰度直方图,令
设定一个阈值t,根据灰度值将像素点分成c0和c1两类。c0的概率ω0、均值μ0
c1的概率ω1、均值μ1
其中,由此可知c0和c1的类间方差σ2(t)为:
σ2(t)=ω0(μ-μ0)211-μ)2 (9)
于是将t从0到i进行取值,当σ取最大值时t为最佳阈值,即可得到最佳的二值化图像,二值化结果参见图4。
S24图像负片:图像负片是指将二值化图像中,黑色部分映射为白色,白色部分映射为黑色,从而突出原本为黑色部分的眼部区域,负片结果参见图5。
S3,投影积分计算;对于人脸图像来说,由于可能存在一定角度的平面内旋转,人的双眼并非处于同一水平线上,若对整张人脸图像进行全局水平投影,则得到的眼睛纵坐标就不够准确。因此在本实施例中,首先将人脸图像居中分为大小完全相同的左右两部分,分别包含人的左、右眼睛,对这左、右两部分图像分别作水平积分投影计算:
I(x,y)是图像I在位置点(x,y)处的像素灰度值,则图像分别在区间[y1,y2]和[x1,x2]上的垂直积分投影IPFv(x)和水平积分投影IPFh(x)分别为:
本实施例中,对左、右两部分图像分别作水平积分投影计算,得到结果参见图6,横轴代表各个位置点,纵轴代表在这点位置上的像素和,图6(a)中最大峰值所对应的横轴上的位置点就是相应的右眼的纵坐标值yR,图6(b)中最大峰值所对应的横轴上的位置点就是相应的左眼的纵坐标值yL,图6(c)中两段波形中最大的波峰值所对应的横轴上的两个位置点是相应的左右眼的横坐标值,即xL和xR,且xR<xL
S4人眼区域定位。用灰度积分投影的方法计算出来的人眼中心坐标,就是人眼灰度积分的水平极大值和垂直极大值所在直线的交点坐标,即点(xL,yL)对应左眼睛中心点,点(xR,yR)对应右眼睛中心点。参见图7,根据图5所示的人眼参数比例关系划出矩形人眼窗口,矩形人眼窗口即人眼定位区域。
S5虹膜区域定位。参见图8,人眼虹膜具有径向对称的生理特性,因此利用径向对称变换,在人眼梯度图像中进行虹膜中心点的定位。设图像中任一像素点p(u,v)的梯度为Gp={Gpu,Gpv},定义像素点p(u,v)的映射像素点为:
式中,n为映射半径,round表示四舍五入取整。计算当前映射半径n下的梯度方向映射图像θn与梯度幅值映射图像An
融合梯度方向映射图像θn与梯度幅值映射图像An得:
其中,kn为尺度参数,α为径向参数。对Sn进行高斯滤波,在高斯滤波器尺度范围内各向同性地拓展映射像素点的影响范围Rn
Rn=Sn*Fn (14)
其中,Fn为各向同性高斯滤波器,变换映射半径n,得径向对称变换输出结果Rs
在Rs中定位最大值,其坐标即为眼睛图像中的虹膜中心位置。

Claims (5)

1.一种基于投影积分的虹膜区域定位方法,其特征在于,所述方法包括:
S1面部图像获取,采用红外照明和红外滤光的方式获取人脸面部图像;
S2图像预处理,对摄像头捕获的人脸图像进行预处理;
S3投影积分计算,使用积分投影方法计算人脸图像的灰度变化;
S4人眼区域定位,根据人眼比例和积分计算结果定位人眼区域;
S5虹膜区域定位,在眼睛位置确定的眼睛区域图像内,根据虹膜的生理结构特性定位虹膜中心位置。
2.根据权利要求1所述的一种基于投影积分的虹膜区域定位方法,其特征在于,所述步骤S2图像预处理操作包括:图像灰度化、图像均衡化、图像二值化、图像负片操作。
3.根据权利要求1所述的一种基于投影积分的虹膜区域定位方法,其特征在于,所述步骤S3投影积分计算操作包括:水平垂直积分操作和垂直积分投影操作。
4.根据权利要求1所述的一种基于投影积分的虹膜区域定位方法,其特征在于,所述步骤S3投影积分计算操作中,将图像分成左右两部分,分别进行投影积分计算。
5.根据权利要求1所述的一种基于投影积分的虹膜区域定位方法,其特征在于,所述步骤S4人眼区域定位操作中,根据人左右两眼间距的比例获取人眼区域。
CN201611240541.7A 2016-12-29 2016-12-29 基于投影积分的虹膜区域定位方法 Pending CN108256397A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611240541.7A CN108256397A (zh) 2016-12-29 2016-12-29 基于投影积分的虹膜区域定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611240541.7A CN108256397A (zh) 2016-12-29 2016-12-29 基于投影积分的虹膜区域定位方法

Publications (1)

Publication Number Publication Date
CN108256397A true CN108256397A (zh) 2018-07-06

Family

ID=62719518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611240541.7A Pending CN108256397A (zh) 2016-12-29 2016-12-29 基于投影积分的虹膜区域定位方法

Country Status (1)

Country Link
CN (1) CN108256397A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934143A (zh) * 2019-03-04 2019-06-25 深圳三人行在线科技有限公司 一种虹膜图像中美瞳的检测的方法和设备
CN109993090A (zh) * 2019-03-25 2019-07-09 浙江大学 基于级联回归森林和图像灰度特征的虹膜中心定位方法
CN113990448A (zh) * 2021-09-30 2022-01-28 浙江强脑科技有限公司 自闭症干预训练方法、装置、眼动记录仪及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934143A (zh) * 2019-03-04 2019-06-25 深圳三人行在线科技有限公司 一种虹膜图像中美瞳的检测的方法和设备
CN109993090A (zh) * 2019-03-25 2019-07-09 浙江大学 基于级联回归森林和图像灰度特征的虹膜中心定位方法
CN109993090B (zh) * 2019-03-25 2021-01-08 浙江大学 基于级联回归森林和图像灰度特征的虹膜中心定位方法
CN113990448A (zh) * 2021-09-30 2022-01-28 浙江强脑科技有限公司 自闭症干预训练方法、装置、眼动记录仪及可读存储介质

Similar Documents

Publication Publication Date Title
CN108256378A (zh) 基于眼球动作识别的驾驶员疲劳检测方法
CN104881955B (zh) 一种驾驶员疲劳驾驶检测方法及系统
WO2016038784A1 (ja) ドライバ状態判定装置
CN107153816A (zh) 一种用于鲁棒人脸识别的数据增强方法
CN111062292B (zh) 一种疲劳驾驶检测装置与方法
US20080101659A1 (en) Eye closure recognition system and method
CN104200192A (zh) 驾驶员注视检测系统
CN106934808A (zh) 一种视觉感知下汽车前灯尾灯识别跟踪方法
CN106023104A (zh) 人脸眼部区域的图像增强方法、系统及拍摄终端
JP2021501517A (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
CN108256397A (zh) 基于投影积分的虹膜区域定位方法
CN105117705B (zh) 一种虹膜图像质量级联式评价方法
CN110321877A (zh) 一种三目后视镜和三目视觉安全驾驶方法和系统
CN107895157B (zh) 一种低分辨率图像虹膜中心精确定位的方法
JP2018090170A (ja) ヘッドアップディスプレイシステム
CN111619324A (zh) 一种视线追踪汽车智能防炫目方法及系统
CN103218615B (zh) 人脸判定方法
CN103839245B (zh) 基于统计规律的Retinex夜间彩色图像增强方法
CN113140093A (zh) 一种基于AdaBoost算法的疲劳驾驶检测方法
CN108009495A (zh) 疲劳驾驶预警方法
CN109886086A (zh) 基于hog特征和线性svm级联分类器的行人检测方法
CN104992160B (zh) 一种重型卡车夜间前方车辆检测方法
CN108256390A (zh) 基于投影积分和虹膜识别的眼部动作捕捉方法
RU2413632C2 (ru) Способ предупреждения засыпания водителя транспортного средства
CN107480629A (zh) 一种基于深度信息的疲劳驾驶检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180706