CN109766818B - 瞳孔中心定位方法及系统、计算机设备及可读存储介质 - Google Patents

瞳孔中心定位方法及系统、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN109766818B
CN109766818B CN201910008663.0A CN201910008663A CN109766818B CN 109766818 B CN109766818 B CN 109766818B CN 201910008663 A CN201910008663 A CN 201910008663A CN 109766818 B CN109766818 B CN 109766818B
Authority
CN
China
Prior art keywords
base point
contour
pupil
taking
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910008663.0A
Other languages
English (en)
Other versions
CN109766818A (zh
Inventor
崔利阳
孙建康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910008663.0A priority Critical patent/CN109766818B/zh
Publication of CN109766818A publication Critical patent/CN109766818A/zh
Application granted granted Critical
Publication of CN109766818B publication Critical patent/CN109766818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开一种瞳孔中心定位方法及系统、计算机设备及可读存储介质。该方法的一具体实施方式包括:将瞳孔ROI中每个像素周围预设范围内的灰度均值中的最小值对应的像素作为第一基点;对瞳孔ROI域依次进行Canny边缘检测和轮廓提取,得到多个轮廓;将与第一基点距离最近的轮廓包含的像素的灰度值均值作为阈值;根据阈值对瞳孔ROI进行二值化,将二值化后黑色像素的最小包含圆的圆心作为第二基点;将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域;对矩形区域包含的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算;将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。该实施方式可精确定位瞳孔中心。

Description

瞳孔中心定位方法及系统、计算机设备及可读存储介质
技术领域
本发明涉及视线追踪技术领域。更具体地,涉及一种瞳孔中心定位方法及系统、计算机设备及可读存储介质。
背景技术
目前,在显示领域的很多场景下需要进行视线追踪。以VR(虚拟现实,VirtualReality)头戴显示设备为例,理想的VR头戴显示设备需要以临场感所需的极高分辨率呈现图像。这对渲染引擎和传输过程是一个巨大的挑战。受限于头戴显示设备体积、芯片运算能力以及成本多方面的限制,采用传统的显示技术不能达到很好的效果,无法提升用户体验。而注视点渲染技术可以较好的解决这一问题,但其也对视线追踪技术提出了要求。现有的视线追踪技术中,一个重要的中间环节是定位瞳孔中心,在此基础上才能够计算瞳孔中心与注视点之间的映射关系,所以瞳孔中心的定位可以说是至关重要。现有的瞳孔中心定位方法通常是利用红外摄像头获取人眼图像,然后在对人眼图像通过特征检测提取出瞳孔感兴趣区域(ROI),然后通过二值化分割出瞳孔,最后通过椭圆拟合而确定瞳孔中心。现有的瞳孔中心定位方法存在无法自动适应光强变化、定位精度较低等多种问题。
因此,需要提供一种新的瞳孔中心定位方法及系统、计算机设备及可读存储介质。
发明内容
本发明的目的在于提供一种新的瞳孔中心定位方法及系统、计算机设备及可读存储介质,以解决现有技术存在的问题中的至少一个。
为达到上述目的,本发明采用下述技术方案:
本发明第一方面提供了一种瞳孔中心定位方法,包括:
计算瞳孔感兴趣区域中每个像素周围预设范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点;
对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到多个轮廓;
计算各轮廓与第一基点的距离,将与第一基点距离最近的轮廓包含的像素的灰度值均值作为二值化阈值;
根据二值化阈值对瞳孔感兴趣区域进行二值化,将二值化后灰度值为0的像素的最小包含圆的圆心作为第二基点;
将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域;
对所述矩形区域包含的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心;
将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。
本发明第一方面提供的瞳孔中心定位方法,利用第一基点确定自适应的二值化阈值,对瞳孔ROI的二值化能够自动适应光强变化对图像二值化的影响。接着利用第二基点划定矩形区域,利用轮廓内包含的像素进行椭圆拟合运算以提取瞳孔中心。该瞳孔中心定位方法能够自动适应光强变化对图像二值化的影响,对瞳孔中心定位精度高。
优选地,所述对所述矩形区域包含的轮廓中的像素进行均匀抽样进一步包括:
对所述矩形区域包含的轮廓依次进行膨胀和腐蚀处理,对所述矩形区域包含的依次进行膨胀和腐蚀处理后的轮廓中的像素进行均匀抽样。
采用此优选方式,可剔除较小的轮廓,从而选择出形态更好的轮廓,保证对瞳孔中心定位的精确性。
优选地,所述矩形区域包含的轮廓为完整包含于所述矩形区域的轮廓。这样,可从另一方面剔除与瞳孔相关度不高的轮廓,保证对瞳孔中心定位的精确性。
优选地,所述预设范围为3*3范围。采用此优选方式可保证用于初步确定瞳孔的大致位置的第一基点的精确性。
优选地,所述计算各轮廓与第一基点的距离进一步包括:
对于各轮廓,计算该轮廓包含的各像素与第一基点的欧式距离,将该轮廓包含的各像素与第一基点的欧式距离中的最小值作为该轮廓与第一基点的距离。
优选地,所述根据各轮廓与第二基点之间的最大距离计算边长进一步包括:
对于各轮廓,计算该轮廓包含的各像素与第二基点的欧式距离,将该轮廓包含的各像素与第二基点的欧式距离中的最大值作为该轮廓与第二基点的距离;
将各轮廓与第二基点的距离中的最大值乘以预设系数后得到边长。
由于第二基点的位置大致在瞳孔中心,轮廓内包含的像素与第二基点的欧式距离中的最大值大约可以看作是瞳孔半径大小,因此选择各轮廓与第二基点的距离中的最大值乘以预设系数作为边长所划定的矩形范围基本能够覆盖瞳孔区域,其中,预设系数的优选取值约为2。
优选地,所述均匀抽样的规则为每次抽样分别对等个数的未被抽样过的像素进行随机抽样。
优选地,所述将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标进一步包括:
将每次抽样的拟合圆圆心的X轴坐标均值作为瞳孔中心的X轴坐标,将每次抽样的拟合圆圆心的Y轴坐标均值作为瞳孔中心的Y轴坐标,得到瞳孔中心的坐标。
优选地,该方法还包括:
将人眼图像转换为灰度图像,通过特征检测提取所述灰度图像中的瞳孔感兴趣区域。
本发明第二方面提供了一种执行本发明第一方面提供的方法的瞳孔中心定位系统,包括:
第一基点获取单元,用于计算瞳孔感兴趣区域中每个像素周围预设范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点;
轮廓获取单元,用于对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到多个轮廓;
阈值获取单元,用于计算各轮廓与第一基点的距离,将与第一基点距离最近的轮廓包含的像素的灰度值均值作为二值化阈值;
第二基点获取单元,用于根据二值化阈值对瞳孔感兴趣区域进行二值化,将二值化后灰度值为0的像素的最小包含圆的圆心作为第二基点;
矩形区域划定单元,用于将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域;
拟合圆圆心获取单元,用于对所述矩形区域包含的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心;
瞳孔中心定位单元,用于将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。
本发明第三方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明第一方面提供的方法。
本发明第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明第一方面提供的方法。
本发明的有益效果如下:
本发明所述技术方案能够自动适应光强变化对图像二值化的影响,可提取出与瞳孔更加相关的轮廓,对瞳孔中心定位精度高。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明;
图1示出本发明实施例提供的瞳孔中心定位方法的流程图。
图2示出本发明实施例提供的瞳孔中心定位系统的示意图。
图3示出适于用来实现本实施例提供的瞳孔中心定位系统的计算机系统的结构示意图。
具体实施方式
为了更清楚地说明本发明,下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解,下面所具体描述的内容是说明性的而非限制性的,不应以此限制本发明的保护范围。
如图1所示,本发明的一个实施例提供了一种瞳孔中心定位方法,包括:
S10、将人眼图像转换为灰度图像,通过特征检测提取灰度图像中的瞳孔感兴趣区域。其中,人眼图像可通过设置于VR头戴显示设备中的红外摄像头获取。
S20、计算瞳孔感兴趣区域中每个像素周围预设范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点。
例如,遍历瞳孔感兴趣区域中的像素,计算每个像素周围l*l范围内的灰度值均值
Figure BDA0001936403920000051
其中px,y表示坐标为(x,y)的像素周围l*l范围内的灰度值均值。遍历瞳孔感兴趣区域中的所有像素后得到的px,y最小的像素,记录px,y最小的像素的坐标(x0,y0),将px,y最小的像素作为第一基点,或者说将(x0,y0)位置作为第一基点位置;由于瞳孔感兴趣区域中灰度最小的像素块总是落在瞳孔真实位置内,因此通过第一基点可以初步确定瞳孔的大致位置。
在本实施例的一些可选的实现方式中,步骤S20中的预设范围为3*3范围。即,确定第一基点位置时,计算瞳孔感兴趣区域中每个像素周围3*3范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点,或者说,将瞳孔感兴趣区域中的3*3范围的灰度值均值最小值的中心作为第一基点。采用此实现方式可保证用于初步确定瞳孔的大致位置的第一基点的精确性。
S30、对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到多个轮廓。
例如,对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到一个轮廓序列
Figure BDA0001936403920000052
S40、计算各轮廓与第一基点的距离,将与第一基点距离最近的轮廓包含的像素的灰度值均值作为二值化阈值。
在本实施例的一些可选的实现方式中,步骤S40中的计算各轮廓与第一基点的距离进一步包括:
对于各轮廓,计算该轮廓包含的各像素与第一基点的欧式距离,将该轮廓包含的各像素与第一基点的欧式距离中的最小值作为该轮廓与第一基点的距离。
例如,对于第i`个轮廓,利用
Figure BDA0001936403920000053
计算第i`个轮廓包含的各像素与第一基点的欧式距离,其中{(xi`,j,yi,j)|i`=1,···h,j=1,···k}是第i`个轮廓内第j个像素的坐标。选择
Figure BDA0001936403920000054
作为第i`个轮廓与第一基点的距离。之后,比较得到各轮廓与将与第一基点的距离的最小值
Figure BDA0001936403920000055
Figure BDA0001936403920000056
对应的轮廓所包含的像素的灰度值均值作为二值化阈值T。
S50、根据二值化阈值对瞳孔感兴趣区域进行二值化,将二值化后灰度值为0的像素的最小包含圆的圆心作为第二基点。
例如,根据二值化阈值T对瞳孔感兴趣区域进行二值化变换:对于各像素,
Figure BDA0001936403920000061
即瞳孔感兴趣区域中,灰度值小于等于二值化阈值T的像素在二值化图像中的灰度值为0,灰度值大于二值化阈值T的像素在二值化图像中的灰度值为255。之后,对于二值化图像中灰度值为0的所有像素{p'x,y|p'x,y=0},寻找其最小包含圆,记录二值化后灰度值为0的像素的最小包含圆的圆心的坐标(x1,y1),将(x1,y1)作为第二基点位置。
S60、将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域。
在本实施例的一些可选的实现方式中,步骤S60中的根据各轮廓与第二基点之间的最大距离计算边长进一步包括:
对于各轮廓,计算该轮廓包含的各像素与第二基点的欧式距离,将该轮廓包含的各像素与第二基点的欧式距离中的最大值作为该轮廓与第二基点的距离;
将各轮廓与第二基点的距离中的最大值乘以预设系数后得到边长。
例如,对于第i`个轮廓,利用
Figure BDA0001936403920000062
计算第i`个轮廓包含的各像素与第二基点的欧式距离,其中{(xi`,j,yi,j)|i`=1,···h,j=1,···k}是第i`个轮廓内第j个像素的坐标。将
Figure BDA0001936403920000063
作为各轮廓与第二基点的距离中的最大值。由于第二基点的位置大致在瞳孔中心,轮廓内包含的像素与第二基点的欧式距离中的最大值大约可以看作是瞳孔半径大小,因此选择各轮廓与第二基点的距离中的最大值乘以预设系数α作为边长所划定的矩形范围基本能够覆盖瞳孔区域,因此矩形区域以(x1,y1)作为中心且以
Figure BDA0001936403920000064
作为边长划定。其中,预设系数α的优选取值约为2。
S70、对矩形区域包含的轮廓依次进行膨胀和腐蚀处理,对矩形区域包含的依次进行膨胀和腐蚀处理后的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心,椭圆拟合运算可根据椭圆拟合公式f(x,y)=(x-r)2/a2+(y-s)2/b2-1进行。
其中,“对矩形区域包含的轮廓依次进行膨胀和腐蚀处理”为可选步骤,即,步骤S70也可为“对矩形区域包含的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心”。“对矩形区域包含的轮廓依次进行膨胀和腐蚀处理”的效果为可剔除较小的轮廓,去除噪声影响,从而选择出形态更好的轮廓,保证对瞳孔中心定位的精确性。
在本实施例的一些可选的实现方式中,矩形区域包含的轮廓为完整包含于矩形区域的轮廓。即,如果某轮廓不是被完整地包含于矩形区域中,而是被部分包含,或者说与矩形区域部分重叠,则不属于矩形区域包含的轮廓。这样,可剔除与瞳孔相关度不高的轮廓,保证对瞳孔中心定位的精确性。
在本实施例的一些可选的实现方式中,均匀抽样的规则为每次抽样分别对等个数的未被抽样过的像素进行随机抽样。其中,优选每次抽样的像素个数m≥6,以m=6为例,假如矩形区域包含的依次进行膨胀和腐蚀处理后的轮廓为3个,则每次从这3个轮廓包含的所有像素中抽取6个还未被抽取过的像素。
S80、将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。
在本实施例的一些可选的实现方式中,步骤S80中的将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标进一步包括:
将每次抽样的拟合圆圆心的X轴坐标均值作为瞳孔中心的X轴坐标,将每次抽样的拟合圆圆心的Y轴坐标均值作为瞳孔中心的Y轴坐标,得到瞳孔中心的坐标。
例如,进行了N次抽样从而得到了N个拟合圆圆心的坐标{(xi``,yi``)|i``=1,···N},则瞳孔中心的坐标为(xpupil,ypupil),
Figure BDA0001936403920000071
Figure BDA0001936403920000072
本实施例提供的瞳孔中心定位方法,利用第一基点确定自适应的二值化阈值,对瞳孔感兴趣区域的二值化能够自动适应光强变化对图像二值化的影响。之后利用轮廓与第二基点的距离作为判据因素,通过划定矩形区域,提取出与瞳孔更加相关的轮廓,并选择出形态更好的轮廓,利用轮廓内包含的像素进行椭圆拟合运算,以确定瞳孔中心位置。综上,该瞳孔中心定位方法能够自动适应光强变化对图像二值化的影响,可提取出与瞳孔更加相关的轮廓,对瞳孔中心定位精度高,可广泛应用于视线追踪技术中。
如图2所示,本发明的另一个实施例提供了一种瞳孔中心定位系统,包括:
第一基点获取单元,用于计算瞳孔感兴趣区域中每个像素周围预设范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点;
轮廓获取单元,用于对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到多个轮廓;
阈值获取单元,用于计算各轮廓与第一基点的距离,将与第一基点距离最近的轮廓包含的像素的灰度值均值作为二值化阈值;
第二基点获取单元,用于根据二值化阈值对瞳孔感兴趣区域进行二值化,将二值化后灰度值为0的像素的最小包含圆的圆心作为第二基点;
矩形区域划定单元,用于将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域;
拟合圆圆心获取单元,用于对矩形区域包含的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心;
瞳孔中心定位单元,用于将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。
另外,还可包括用于将人眼图像转换为灰度图像,通过特征检测提取灰度图像中的瞳孔感兴趣区域的瞳孔感兴趣区域获取单元。
需要说明的是,本实施例提供的瞳孔中心定位系统的原理及工作流程与上述瞳孔中心定位方法相似,相关之处可以参照上述说明,在此不再赘述。
如图3所示,适于用来实现本实施例提供的瞳孔中心定位系统的计算机系统,包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分;包括硬盘等的存储部分;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器上,以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地,根据本实施例,上文流程图描述的过程可以被实现为计算机软件程序。例如,本实施例包括一种计算机程序产品,其包括有形地包含在计算机可读介质上的计算机程序,上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。
附图中的流程图和示意图,图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分,上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器,包括第一基点获取单元、轮廓获取单元、阈值获取单元等。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。例如,轮廓获取单元还可以被描述为“边缘检测及轮廓提取单元”。
作为另一方面,本实施例还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质,也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当上述一个或者多个程序被一个设备执行时,使得上述设备:
将人眼图像转换为灰度图像,通过特征检测提取灰度图像中的瞳孔感兴趣区域;
计算瞳孔感兴趣区域中每个像素周围预设范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点;
对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到多个轮廓;
计算各轮廓与第一基点的距离,将与第一基点距离最近的轮廓包含的像素的灰度值均值作为二值化阈值;
根据二值化阈值对瞳孔感兴趣区域进行二值化,将二值化后灰度值为0的像素的最小包含圆的圆心作为第二基点;
将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域;
对矩形区域包含的轮廓依次进行膨胀和腐蚀处理,对矩形区域包含的依次进行膨胀和腐蚀处理后的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心;
将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。
需要说明的是,在本发明的描述中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定,对于本领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (12)

1.一种瞳孔中心定位方法,其特征在于,包括:
计算瞳孔感兴趣区域中每个像素周围预设范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点;
对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到多个轮廓;
计算各轮廓与第一基点的距离,将与第一基点距离最近的轮廓包含的像素的灰度值均值作为二值化阈值,其中,所述轮廓包含的像素为组成轮廓的像素;
根据二值化阈值对瞳孔感兴趣区域进行二值化,将二值化后灰度值为0的像素的最小包含圆的圆心作为第二基点;
将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域;
对所述矩形区域包含的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心;
将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。
2.根据权利要求1所述的方法,其特征在于,所述对所述矩形区域包含的轮廓中的像素进行均匀抽样进一步包括:
对所述矩形区域包含的轮廓依次进行膨胀和腐蚀处理,对所述矩形区域包含的依次进行膨胀和腐蚀处理后的轮廓中的像素进行均匀抽样。
3.根据权利要求1所述的方法,其特征在于,所述矩形区域包含的轮廓为完整包含于所述矩形区域的轮廓。
4.根据权利要求1所述的方法,其特征在于,所述预设范围为3*3范围。
5.根据权利要求1所述的方法,其特征在于,所述计算各轮廓与第一基点的距离进一步包括:
对于各轮廓,计算该轮廓包含的各像素与第一基点的欧式距离,将该轮廓包含的各像素与第一基点的欧式距离中的最小值作为该轮廓与第一基点的距离。
6.根据权利要求1所述的方法,其特征在于,所述根据各轮廓与第二基点之间的最大距离计算边长进一步包括:
对于各轮廓,计算该轮廓包含的各像素与第二基点的欧式距离,将该轮廓包含的各像素与第二基点的欧式距离中的最大值作为该轮廓与第二基点的距离;
将各轮廓与第二基点的距离中的最大值乘以预设系数后得到边长。
7.根据权利要求1所述的方法,其特征在于,所述均匀抽样的规则为每次抽样分别对等个数的未被抽样过的像素进行随机抽样。
8.根据权利要求1所述的方法,其特征在于,所述将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标进一步包括:
将每次抽样的拟合圆圆心的X轴坐标均值作为瞳孔中心的X轴坐标,将每次抽样的拟合圆圆心的Y轴坐标均值作为瞳孔中心的Y轴坐标,得到瞳孔中心的坐标。
9.根据权利要求1所述的方法,其特征在于,该方法还包括:
将人眼图像转换为灰度图像,通过特征检测提取所述灰度图像中的瞳孔感兴趣区域。
10.一种执行如权利要求1-9中任一项所述方法的瞳孔中心定位系统,其特征在于,包括:
第一基点获取单元,用于计算瞳孔感兴趣区域中每个像素周围预设范围内的灰度值均值,将灰度值均值最小值对应的像素作为第一基点;
轮廓获取单元,用于对瞳孔感兴趣区域依次进行Canny边缘检测和轮廓提取,得到多个轮廓;
阈值获取单元,用于计算各轮廓与第一基点的距离,将与第一基点距离最近的轮廓包含的像素的灰度值均值作为二值化阈值,其中,所述轮廓包含的像素为组成轮廓的像素;
第二基点获取单元,用于根据二值化阈值对瞳孔感兴趣区域进行二值化,将二值化后灰度值为0的像素的最小包含圆的圆心作为第二基点;
矩形区域划定单元,用于将第二基点作为中心且根据各轮廓与第二基点之间的最大距离计算边长,划定矩形区域;
拟合圆圆心获取单元,用于对所述矩形区域包含的轮廓中的像素进行均匀抽样,对每次抽样出的像素进行椭圆拟合运算,得到每次抽样的拟合圆圆心;
瞳孔中心定位单元,用于将每次抽样的拟合圆圆心的坐标均值作为瞳孔中心的坐标。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
CN201910008663.0A 2019-01-04 2019-01-04 瞳孔中心定位方法及系统、计算机设备及可读存储介质 Active CN109766818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910008663.0A CN109766818B (zh) 2019-01-04 2019-01-04 瞳孔中心定位方法及系统、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910008663.0A CN109766818B (zh) 2019-01-04 2019-01-04 瞳孔中心定位方法及系统、计算机设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109766818A CN109766818A (zh) 2019-05-17
CN109766818B true CN109766818B (zh) 2021-01-26

Family

ID=66452592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910008663.0A Active CN109766818B (zh) 2019-01-04 2019-01-04 瞳孔中心定位方法及系统、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109766818B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555875A (zh) * 2019-07-25 2019-12-10 深圳壹账通智能科技有限公司 瞳孔半径的检测方法、装置、计算机设备和存储介质
CN110598635B (zh) * 2019-09-12 2022-05-27 北京大学第一医院 一种针对连续视频帧中的人脸检测与瞳孔定位方法及系统
CN112258569B (zh) * 2020-09-21 2024-04-09 无锡唐古半导体有限公司 瞳孔中心定位方法、装置、设备及计算机存储介质
CN112434675B (zh) * 2021-01-26 2021-04-09 西南石油大学 一种全局自适应优化参数的瞳孔定位方法
CN112954296B (zh) * 2021-02-05 2023-07-11 佛山科学技术学院 基于双目视觉的眼底对焦方法、系统以及存储介质
CN112989939B (zh) * 2021-02-08 2023-04-07 佛山青藤信息科技有限公司 一种基于视觉的斜视检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359365A (zh) * 2008-08-07 2009-02-04 电子科技大学中山学院 一种基于最大类间方差和灰度信息的虹膜定位方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN104182720A (zh) * 2013-05-22 2014-12-03 北京三星通信技术研究有限公司 瞳孔检测方法和装置
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN108229392A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 一种瞳孔定位方法、装置、设备和介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7963652B2 (en) * 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CN1299231C (zh) * 2004-06-11 2007-02-07 清华大学 活体虹膜图像采集方法及采集装置
CN100351851C (zh) * 2006-07-11 2007-11-28 电子科技大学 基于数学形态学和概率统计的虹膜定位方法
KR100826876B1 (ko) * 2006-09-18 2008-05-06 한국전자통신연구원 홍채 검출 방법 및 이를 위한 장치
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及系统
CN103530618A (zh) * 2013-10-23 2014-01-22 哈尔滨工业大学深圳研究生院 一种基于角膜反射的非接触式视线追踪方法
CN103761519B (zh) * 2013-12-20 2017-05-17 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models
CN106127145B (zh) * 2016-06-21 2019-05-14 重庆理工大学 瞳孔定位及跟踪方法
CN108595008B (zh) * 2018-04-27 2022-02-08 北京计算机技术及应用研究所 基于眼动控制的人机交互方法
CN108648201A (zh) * 2018-05-14 2018-10-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、存储介质、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359365A (zh) * 2008-08-07 2009-02-04 电子科技大学中山学院 一种基于最大类间方差和灰度信息的虹膜定位方法
CN102930252A (zh) * 2012-10-26 2013-02-13 广东百泰科技有限公司 一种基于神经网络头部运动补偿的视线跟踪方法
CN104182720A (zh) * 2013-05-22 2014-12-03 北京三星通信技术研究有限公司 瞳孔检测方法和装置
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN108229392A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 一种瞳孔定位方法、装置、设备和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Location of pupil contour by Hough transform of connectivity components;I. Matveev等;《Pattern Recognition and Image Analysis》;20160605;第26卷;第308-405页 *
upil and Glint Detection Using Wearable Camera Sensor and Near-Infrared LED Array;Jianzhong Wang等;《Sensors》;20151202;第15卷(第12期);第30126-30141页 *
基于改进型最大类间方差法的瞳孔定位方法;黄丽丽等;《计算机工程与应用》;20131231;第49卷(第23期);第137-140页 *

Also Published As

Publication number Publication date
CN109766818A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN109766818B (zh) 瞳孔中心定位方法及系统、计算机设备及可读存储介质
US10719954B2 (en) Method and electronic device for extracting a center position of an infrared spot
CN109857254B (zh) 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
CN109815865B (zh) 一种基于虚拟水尺的水位识别方法及系统
JP2007072814A (ja) 画像処理装置及びその方法
CN108734078B (zh) 图像处理方法、装置、电子设备、存储介质及程序
GB2435361A (en) Processing an image of an eye
CN110807427A (zh) 一种视线追踪方法、装置、计算机设备和存储介质
CN107301408B (zh) 人体掩膜提取方法及装置
Thalji et al. Iris Recognition using robust algorithm for eyelid, eyelash and shadow avoiding
CN112464829B (zh) 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN115861715B (zh) 基于知识表示增强的图像目标关系识别算法
CN112052842B (zh) 一种基于掌静脉的人员识别方法和装置
CN112037185A (zh) 染色体分裂相图像筛选方法、装置及终端设备
CN115423870A (zh) 一种瞳孔中心定位方法和装置
Morris et al. Facial feature tracking for cursor control
CN111353429A (zh) 基于眼球转向的感兴趣度方法与系统
WO2018027527A1 (zh) 一种光学系统成像质量的检测方法和装置
CN111488779A (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
CN112184723B (zh) 图像处理方法及装置、电子设备、存储介质
CN110557622B (zh) 基于结构光的深度信息获取方法及装置、设备及介质
CN113128373B (zh) 基于图像处理的色斑评分方法、色斑评分装置及终端设备
CN115083006A (zh) 虹膜识别模型训练方法、虹膜识别方法及装置
CN109214398B (zh) 一种从连续图像中量测杆体位置的方法和系统
CN109726741B (zh) 一种多目标物体的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant