CN112162629A - 基于外接矩形的实时瞳孔定位方法 - Google Patents

基于外接矩形的实时瞳孔定位方法 Download PDF

Info

Publication number
CN112162629A
CN112162629A CN202010950105.9A CN202010950105A CN112162629A CN 112162629 A CN112162629 A CN 112162629A CN 202010950105 A CN202010950105 A CN 202010950105A CN 112162629 A CN112162629 A CN 112162629A
Authority
CN
China
Prior art keywords
pupil
real
circumscribed rectangle
time
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010950105.9A
Other languages
English (en)
Inventor
林丽媛
陈静瑜
王颖
郭羽
吉书林
申川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN202010950105.9A priority Critical patent/CN112162629A/zh
Publication of CN112162629A publication Critical patent/CN112162629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于外接矩形的实时瞳孔定位方法，该方法利用瞳孔面积筛选结合两种不同的瞳孔外接矩形长宽比、角度差提取瞳孔特征，进一步精确定位瞳孔，最后通过瞳孔重心坐标与原图像拟合获得准确的瞳孔定位。实验结果表明该方法准确率能达到99.5％，有效解决了瞳孔定位中睫毛遮挡，眼部黑痣干扰和眼角部分阴影干扰等系列问题，具有实时性和良好的鲁棒性良。因此可以广泛应用于眼球追踪、视线分析等方面的研究，有助于人机交互和心理学研究的发展。

Description

基于外接矩形的实时瞳孔定位方法
技术领域
本发明属于图像处理与人机交互技术领域，尤其涉及一种基于外接矩形的实时瞳孔定位方法。
背景技术
随着5G时代的到来，人机交互技术发展速度越来越快，作为人机交互技术研究的重要内容，瞳孔定位广泛应用于科学研究的各个方面，例如：视线追踪、生物特征识别、疲劳驾驶监测等。在这些领域中，研究人员更加关注瞳孔定位的执行速度、准确性和鲁棒性。
对于瞳孔定位方法大致可以分为三种：基于灰度的阈值分割，基于Hough变换的椭圆检测，以及近些年火热的机器学习和深度学习的分割算法。但都受环境因素影响或者训练集样本数据的限制，使得正确率不那么令人满意。因此各种辅助瞳孔定位的外接设备逐渐发展，使得瞳孔定位准确率提高，但其适用场合有限且高昂的价格让不少研究者望而却步。
瞳孔定位对于采集环境要求较高，受光照、眼睑、睫毛遮挡和不均匀光照的影响较大，因此设一种简洁方便的实时瞳孔定位方法亟待被研发。
发明内容
本发明提供了一种基于外接矩形的实时瞳孔定位方法。
该方法主要包括四部分，图像预处理、瞳孔连通域面积筛选、外接矩形长宽比筛选和角度差筛选。
步骤一，将采集水平距离设定为20cm±2cm，垂直高度设定为35cm±2cm，保证采集位置和光照强度尽量不变，减少干扰。
步骤二，图像预处理部分由图像灰度化、双边滤波、阈值分割和形态学处理等部分组成，进行图像去噪和平滑处理。
步骤三，根据采集的瞳孔面积数据，得到数据的平均分布情况，因此选取瞳孔所在连通域的面积像素范围，进行连通域面积筛选部分。
步骤四，用四邻域法得到一种瞳孔外接矩形，通过此外接矩形长宽比Ratio，完成外接矩形长宽比的筛序。
步骤五，根据连通域的形状特点，得到其面积最小的外接矩形，结合步骤四中的外接矩形，两类定义的外接矩形形成的角度，完成最后的角度筛选，得到瞳孔的轮廓。
步骤六，最后获得瞳孔中心位置坐标，实现实时瞳孔定位。
附图说明
图1整体流程图
图2测试者瞳孔区域平均面积分布图
图3连通域外接矩形对比图
图4瞳孔外接矩形长宽比示意图
图5角度差定位图
图6瞳孔圆心拟合
图7第120帧-720帧轨迹图
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本文针对鬓角、眉毛和光照等普遍干扰情况提出了一种新的瞳孔定位方法，该方法利用瞳孔面积筛选结合两种不同的瞳孔外接矩形长宽比、角度差提取瞳孔特征，进一步精确定位瞳孔，最后通过瞳孔重心坐标与原图像拟合获得准确的实时瞳孔定位。
如图1所示，为实时瞳孔定位的整体流程图，具体各部分实施步骤如下：
步骤一，使用近红外摄像头采集，将采集水平距离设定为20cm±2cm，垂直高度设定为35cm±2cm，保证采集位置和光照强度尽量不变，减少干扰。
步骤二，图像预处理部分由图像灰度化、双边滤波、阈值分割和形态学处理等部分组成，进行图像去噪和平滑处理，获得最初步的瞳孔定位图。
双边滤波器输出的像素值受其邻域像素值的加权所影响，如下式：
Figure BSA0000217913890000021
而加权系数w(i，j，k，l)的大小则取决于空域核和值域核的乘积，(i，j)和(k，l)分别代指两个像素点的坐标。
空域核如下式所示：
Figure BSA0000217913890000022
值域核可通过下式表示为：
Figure BSA0000217913890000031
将空域核与值域核相乘后，就可得到双边滤波的权重函数w(i，j，k，l)，
Figure BSA0000217913890000032
双边滤波作为一种非线性滤波方法，结合图像的空间邻近度和像素值相似度的一种加权平均方法，同时考虑空域信息和灰度相似性达到保持边缘、降噪平滑的效果。
步骤三，根据采集的瞳孔面积数据，得到数据的平均分布情况，因此选取瞳孔所在连通域的面积像素范围，进行连通域面积筛选。
连通域面积筛选主要排除瞳孔预定位之后，剩余连通域中与瞳孔连通域面积相差较大的干扰部分连通域。例如，鬓角、较大范围的头发或者脸上较小的黑痣等。将实验室测试者拍摄图片分为85组，每组100张图片，计算每组图片中瞳孔的平均面积。如图2所示为测试者瞳孔区域平均面积分布图。从图上可以看出不同人瞳孔面积不同，但都分布在400-2000像素之间。因此将连通域面积在400-2000像素范围的区域筛选出来。
步骤四，用四邻域法得到一种瞳孔外接矩形，通过此外接矩形长宽比Ratio，完成外接矩形长宽比的筛序。
四连通域法又称四邻域法，是指对应像素位置的上下左右四个方向的近邻位置。定义公式为：
N4{x，y)＝{(x-1，y)，(x+1，y)，(x，y-1)，(x，y+1)}
其中(x，y)是像素点的坐标位置。
四邻域法得到的四个极值点坐标：极左点(xl，yl)、极右点(xr，yr)、极上点(xt，yt)和极下点(xd，yd)，计算得到以(xl，yt)、(xr，yt)、(xl，yd)和(xr，yd)四点为顶点而得到的外接矩形区域，如图3(a)所示，用这种方法得到外接矩形的长宽比Ratio的计算公式为：
Figure BSA0000217913890000033
瞳孔的形状是近似于圆形，根据采集角度、瞳孔位置的变化，通过实验与极限位置采集将外接矩形长宽比的筛选值Ratio设定为0.8-1.7。如图4是不同外接矩形长宽比的瞳孔示意图，图中标记了瞳孔区域外接矩形的长度、宽度以及长宽比Ratio，以及不同比值时的瞳孔定位效果。
步骤五，根据连通域的形状特点，得到其面积最小的外接矩形，如图3(b)所示。结合步骤四中的外接矩形，两类定义的外接矩形形成的角度，如图3(c)为两种外接矩形对比图，完成最后的角度筛选，得到瞳孔的轮廓。
瞳孔无论如何形变都无外乎圆形或者椭圆，其外接矩形的角度差为0°或者45°，因此本实验使用的筛选角度差为Angle＝0°或Angle＝45°。在图5中，瞳孔的连通域两个外接矩形的角度偏差为0°；瞳孔左边为眼角阴影的轮廓，有两个外接矩形，水平方向的为外接矩形，倾斜的为最小外接矩形，两外接矩形的角度差为9°，不在瞳孔最小外接矩形与外接矩形角度差筛选范围内，可实现瞳孔区域筛选功能。
步骤六，最后得到瞳孔中心位置坐标，实现实时瞳孔定位。
眼部图像经图像预处理和瞳孔区域筛选后实现瞳孔区域分割，分割结果如图6中(a)所示，图中红色区域为瞳孔区域，黄色位置为瞳孔中心。计算公式如下：
Figure BSA0000217913890000041
Figure BSA0000217913890000042
其中(x，y)是瞳孔中心坐标，(xl，yt)为步骤四所描述的外接矩形的左上角坐标，h与w分别为外接矩形的长和宽。将定位后的瞳孔中心位置坐标与原图进行拟合在原图中定位瞳孔位置，得到最终的瞳孔定位图像，如图6中(b)所示。
从图中可以看出虽然有灯光的轻微干扰，但定位结果完全不受影响，该定位中心与瞳孔的实际中心位置吻合。如图7所示为连续帧瞳孔移动轨迹图，其中(a)为第120帧瞳孔定位拟合图，(c)为第720帧瞳孔定位拟合图，在图(b)轨迹图中紫色为第120帧瞳孔位置，红色为第720帧瞳孔位置，验证了本发明方法具有良好的实时性。

Claims (6)

1.一种基于外接矩形的实时瞳孔定位方法，其特征在于，包括如下步骤：
S1、规定系统采集位置；
S2、对近红外摄像头实时采集的眼部图像进行图像预处理；
S3、对图像内容进行轮廓寻找，计算各个连通域面积，进行面积初步筛选；；
S4、通过连通域外接矩形的长宽比筛选和角度差筛选，获得瞳孔轮廓；
S5、通过瞳孔轮廓定位瞳孔中心坐标，与原图进行瞳孔位置拟合，获得瞳孔位置坐标；
S6、记录连续帧瞳孔位置坐标，获得瞳孔移动轨迹，实现实时瞳孔定位。
2.根据权利要求1所述的基于外接矩形的实时瞳孔定位方法，其特征在于，步骤S1中的规定系统采集位置，将采集水平距离设定为20cm±2cm，垂直高度设定为35cm±2cm，保证采集位置和光照强度尽量不变，减少干扰。
3.根据权利要求1所述的基于外接矩形的实时瞳孔定位方法，其特征在于，步骤S2中使用双边滤波、阈值分割和形态学处理进行图像预处理。
4.根据权利要求1所述的基于外接矩形的实时瞳孔定位方法，其特征在于，步骤S3中根据采集的瞳孔面积数据，得到数据的平均分布情况，因此选取瞳孔所在连通域的面积像素范围，进行初步筛选。
5.根据权利要求1所述的基于外接矩形的实时瞳孔定位方法，其特征在于，步骤S4中通过连通域最小外接矩形和采用四邻域法获得连通域外接矩形，进行长宽比筛选，以及两种外接矩形的角度差筛选。
6.根据权利要求1所述的基于外接矩形的实时瞳孔定位方法，其特征在于，步骤S5，S6，通过瞳孔轮廓定位瞳孔中心坐标，与原图进行瞳孔位置拟合，获得瞳孔位置坐标，实现实时瞳孔定位。
CN202010950105.9A 2020-09-11 2020-09-11 基于外接矩形的实时瞳孔定位方法 Pending CN112162629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010950105.9A CN112162629A (zh) 2020-09-11 2020-09-11 基于外接矩形的实时瞳孔定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010950105.9A CN112162629A (zh) 2020-09-11 2020-09-11 基于外接矩形的实时瞳孔定位方法

Publications (1)

Publication Number Publication Date
CN112162629A true CN112162629A (zh) 2021-01-01

Family

ID=73857827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010950105.9A Pending CN112162629A (zh) 2020-09-11 2020-09-11 基于外接矩形的实时瞳孔定位方法

Country Status (1)

Country Link
CN (1) CN112162629A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284160A (zh) * 2021-04-23 2021-08-20 北京天智航医疗科技股份有限公司 一种手术导航标记珠体识别的方法、装置和设备
CN115239801A (zh) * 2022-09-23 2022-10-25 南京博视医疗科技有限公司 一种对象定位方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
CN102456137A (zh) * 2010-10-20 2012-05-16 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
CN105678286A (zh) * 2016-02-29 2016-06-15 徐鹤菲 一种瞳孔定位方法及设备
CN109389033A (zh) * 2018-08-28 2019-02-26 江苏理工学院 一种新型的瞳孔快速定位方法
US20190121427A1 (en) * 2016-06-08 2019-04-25 South China University Of Technology Iris and pupil-based gaze estimation method for head-mounted device
CN109784248A (zh) * 2019-01-02 2019-05-21 京东方科技集团股份有限公司 瞳孔定位方法、瞳孔定位装置、电子设备、存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101059836A (zh) * 2007-06-01 2007-10-24 华南理工大学 一种人眼定位及人眼状态识别方法
CN102456137A (zh) * 2010-10-20 2012-05-16 上海青研信息技术有限公司 基于近红外反射点特性的视线跟踪预处理方法
CN105678286A (zh) * 2016-02-29 2016-06-15 徐鹤菲 一种瞳孔定位方法及设备
US20190121427A1 (en) * 2016-06-08 2019-04-25 South China University Of Technology Iris and pupil-based gaze estimation method for head-mounted device
CN109389033A (zh) * 2018-08-28 2019-02-26 江苏理工学院 一种新型的瞳孔快速定位方法
CN109784248A (zh) * 2019-01-02 2019-05-21 京东方科技集团股份有限公司 瞳孔定位方法、瞳孔定位装置、电子设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
倪福川等: "基于不变矩的人形"头肩像"识别技术", 《计算机工程》 *
王晶等: "瞳孔中心点自动定位与对准装置", 《光学精密工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284160A (zh) * 2021-04-23 2021-08-20 北京天智航医疗科技股份有限公司 一种手术导航标记珠体识别的方法、装置和设备
CN113284160B (zh) * 2021-04-23 2024-03-12 北京天智航医疗科技股份有限公司 一种手术导航标记珠体识别的方法、装置和设备
CN115239801A (zh) * 2022-09-23 2022-10-25 南京博视医疗科技有限公司 一种对象定位方法及装置

Similar Documents

Publication Publication Date Title
CN109815850B (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
JP4723834B2 (ja) 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN109800824A (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN104063700B (zh) 自然光照正面人脸图像中的眼睛中心点定位的方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN111524080A (zh) 脸部皮肤特征的识别方法、终端及计算机设备
CN107368778A (zh) 人脸表情的捕捉方法、装置及存储装置
CN111291701B (zh) 一种基于图像梯度和椭圆拟合算法的视线追踪方法
CN115482574B (zh) 基于深度学习的屏幕注视点估计方法、装置、介质及设备
CN112162629A (zh) 基于外接矩形的实时瞳孔定位方法
CN112069986A (zh) 高龄老人眼动机器视觉跟踪方法及装置
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN111209873A (zh) 一种基于深度学习的高精度人脸关键点定位方法及系统
CN114202795A (zh) 一种老年人瞳孔快速定位方法
CN115100719A (zh) 基于Gabor二值模式与三维梯度直方图特征融合的人脸识别方法
CN113052866B (zh) 基于局部二值拟合模型的超声图像舌轮廓提取方法
CN113947805A (zh) 一种基于视频图像的眼震类型分类方法
CN114020155A (zh) 一种基于眼动仪的高精度视线定位方法
CN109948570B (zh) 一种用于动态环境下的无人机实时检测方法
CN116645717A (zh) 一种基于PCANet+和LSTM的微表情识别方法及系统
Ma et al. Research on kinect-based gesture recognition
Zhao et al. Fast localization algorithm of eye centers based on improved hough transform
CN105760848B (zh) 一种基于环形模板卷积的瞳孔定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210101