CN109857254B - 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质 - Google Patents

瞳孔定位方法和装置、vr/ar设备以及计算机可读介质 Download PDF

Info

Publication number
CN109857254B
CN109857254B CN201910109960.4A CN201910109960A CN109857254B CN 109857254 B CN109857254 B CN 109857254B CN 201910109960 A CN201910109960 A CN 201910109960A CN 109857254 B CN109857254 B CN 109857254B
Authority
CN
China
Prior art keywords
pupil
point
edge
points
gradient change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910109960.4A
Other languages
English (en)
Other versions
CN109857254A (zh
Inventor
孙建康
张�浩
陈丽莉
薛鸿臻
马福强
楚明磊
李茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910109960.4A priority Critical patent/CN109857254B/zh
Publication of CN109857254A publication Critical patent/CN109857254A/zh
Priority to US16/956,747 priority patent/US11315281B2/en
Priority to PCT/CN2019/119422 priority patent/WO2020155792A1/en
Application granted granted Critical
Publication of CN109857254B publication Critical patent/CN109857254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开涉及一种瞳孔定位方法和装置、一种VR/AR设备以及一种计算机可读介质，所述瞳孔定位方法，包括：获取光源照射下的眼部图像；确定位于所述眼部图像的瞳孔内的第一内部点；计算从所述第一内部点出发向瞳孔外部的直线上的像素点的梯度变化；将所述梯度变化满足预设条件的像素点确定位于瞳孔边缘上的第一边缘点；搜索所述眼部图像中梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的多个像素点，将所述多个像素点确定为第二边缘点至第N边缘点，其中，N是大于4的正整数；以及对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心。根据本公开的技术方案，能够实现高精度且鲁棒性强的瞳孔定位。

Description

瞳孔定位方法和装置、VR/AR设备以及计算机可读介质
技术领域
本公开涉及人机交互领域，更具体地，涉及一种瞳孔定位方法和装置、一种VR/AR设备以及一种计算机可读介质。
背景技术
近年来，随着科学技术的发展，基于眼球追踪的人机交互方式由于其便捷性与高效性，在VR(虚拟现实)、AR(增强现实)交互得到了重要应用。眼球追踪技术通过分析人眼的瞳孔运动情况，利用标定过程得到瞳孔到注视点的映射矩阵，从而实现利用视线与计算机或VR进行交互的目的。但通常捕获人眼运动的相机分辨率较低，而用于实现交互的显示设备分辨率较高，瞳孔定位的较小误差便会造成注视点位置的较大误差，因此，实现高精度和高稳定的瞳孔定位是提高眼球追踪效果的重要一环。
在实现瞳孔定位的过程中，易受光照不均、红外LED灯在角膜形成的反光点、眉毛遮挡等因素的影响，并且现有的基于Hough变换、模板匹配、单椭圆拟合等方法，当眼球偏转角度较大时(瞳孔形变较大)，瞳孔定位精度较低，因此需要一种高精度且鲁棒性强的瞳孔定位方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
为了解决现有技术中的相关问题，本公开提供了一种瞳孔定位方法和装置、一种VR/AR设备以及一种计算机可读介质，从而能够进行高精度且鲁棒性强的瞳孔定位。
根据本公开的一方面，一种瞳孔定位方法包括：
获取光源照射下的眼部图像；
确定位于所述眼部图像的瞳孔内的第一内部点；
计算从所述第一点出发向瞳孔外部的直线上的像素点的梯度变化；
将所述梯度变化满足预设条件的像素点确定位于瞳孔边缘上的第一边缘点；
搜索所述眼部图像中梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的多个像素点，将所述多个像素点确定为第二边缘点至第N边缘点；以及
对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心，其中，N是大于4的正整数。
在一个实施方式中，所述确定位于所述眼部图像的瞳孔内的第一内部点包括：
确定光源在角膜上的成像点，并计算所有成像点在眼部图像中的平均质心位置；
根据该平均质心位置确定瞳孔扫描区域；
在所述瞳孔扫描区域内利用瞳孔扫描框对眼部图像进行扫描；以及
将平均灰度值最小的所述瞳孔扫描框的中心确定为所述第一内部点。
在一个实施方式中，所述瞳孔扫描框的边长小于所述瞳孔扫描区域的边长，并且所述瞳孔扫描框在所述瞳孔扫描区域内按照预定的步长进行扫描。
在一个实施方式中，所述梯度变化表示像素灰度值的变化情况，所述预设条件包括：
一个点的所述梯度变化不小于预设的边缘梯度。
在一个实施方式中，所述搜索所述眼部图像中梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的多个像素点包括：
以所述第一边缘点为起始点，沿预定方向在邻域像素点内搜索梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的点作为第二边缘点；
以第二边缘点为起始点，沿所述预定方向在邻域像素点内搜索梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的点作为第三边缘点；以及
重复上述步骤，直至获得第N边缘点。
在一个实施方式中，所述对所述第一边缘点至第N边缘点进行椭圆拟合包括：
将所述第一边缘点至第N边缘点划分为连续的多个组；
针对每个组内的边缘点分别进行椭圆拟合，以获得多个椭圆；
确定所述多个椭圆的交点；以及
利用交点确定瞳孔中心位置。
在一个实施方式中，所述多个组中的每个组包括的边缘点的数量相同。
在一个实施方式中，所述将所述第一边缘点至第N边缘点划分为连续的多个组包括：
沿水平和竖直方向将第一边缘点至第N边缘点划分为四组；或者
沿顺时针或逆时针方向将第一边缘点至第N边缘点划分为四组。
在一个实施方式中，所述利用交点确定瞳孔中心位置包括：
以所述多个交点的坐标的平均值作为瞳孔中心位置坐标。
根据本公开的另一方面，一种瞳孔定位装置包括：
图像获取单元，配置为获取光源照射下的眼部图像；
内部点确定单元，配置为确定位于所述眼部图像的瞳孔内的第一内部点；
计算单元，配置为计算从所述第一点出发向瞳孔外部的直线上的像素点的梯度变化；
第一边缘点确定单元，配置为将所述梯度变化满足预设条件的像素点确定位于瞳孔边缘上的第一边缘点；
搜索单元，配置为搜索所述眼部图像中梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的多个像素点，将所述多个像素点确定为第二边缘点至第N边缘点；以及
拟合单元，配置为对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心，其中，N是大于4的正整数。
在一个实施方式中，所述内部点确定单元包括：
质心确定子单元，配置为确定光源在角膜上的成像点，并计算所有成像点在眼部图像中的平均质心位置；
扫描子单元，配置为在根据该平均质心位置确定的瞳孔扫描区域内利用瞳孔扫描框对眼部图像进行扫描；以及
内部点确定子单元，配置为将平均灰度值最小的所述瞳孔扫描框的中心确定为所述第一内部点。
在一个实施方式中，所述拟合单元包括：
分组子单元，配置为将所述第一边缘点至第N边缘点划分为连续的多个组；
椭圆拟合子单元，配置为针对每个组内的边缘点分别进行椭圆拟合，以获得多个椭圆；以及
瞳孔定位子单元，配置为确定所述多个椭圆的交点，并利用交点确定瞳孔中心位置。
根据本公开的另一方面，一种瞳孔定位装置，包括：
处理器；以及
存储器，存储有计算机可读指令，其中，当所述计算机可读指令在所述处理器中执行时，使得所述瞳孔定位装置执行根据本公开前述方面的瞳孔定位方法。
根据本公开的另一方面，一种VR/AR设备，包括：
根据本公开前述方面的瞳孔定位装置。
根据本公开的另一方面，一种计算机可读介质存储有计算机可读代码，以用于使计算机执行根据本公开前述方面的瞳孔定位方法。
根据本公开的一种瞳孔定位方法和装置、一种VR/AR设备以及一种计算机可读介质，通过获取光源照射下的眼部图像；确定位于所述眼部图像的瞳孔内的第一内部点；计算从所述第一点出发向瞳孔外部的直线上的像素点的梯度变化；将所述梯度变化满足预设条件的像素点确定位于瞳孔边缘上的第一边缘点；搜索所述眼部图像中与所述第一边缘点的梯度变化具有相同或相似的梯度变化的多个像素点，将所述多个像素点确定为第二边缘点至第N边缘点；以及对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心，能够根据像素点梯度的变化情况确定瞳孔的边缘点，并根据基于边缘点的多椭圆拟合确定瞳孔的中心位置，瞳孔定位精度高且鲁棒性强，可用于VR、AR或其他基于视线交互的瞳孔定位或眼球追踪系统。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本公开的一个实施例提供的瞳孔定位方法的流程图；
图2示出了根据本公开一个实施例的确定光斑质心的过程的示意图；
图3示出了根据本公开一个实施例的确定第一内部点的过程的示意图；
图4示出了根据本公开一个实施例的确定第一边缘点的过程的示意图；
图5A和图5B示出了根据本公开一个实施例的确定瞳孔中心的过程的示意图；
图6示出了根据本公开一个实施例的瞳孔定位装置的示意性框图；
图7示出了根据本公开另一实施例的瞳孔定位装置的示意性框图；
图8示出了根据本公开一个实施例的VR/AR设备的示意图；以及
图9示出了根据本公开一个实施例的计算机可读介质的示意图。
具体实施方式
为了可以更清楚地理解本公开的上述目的、特征和优点，下面结合附图和具体实施方式对本公开进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但是，本公开还可以采用其他不同于在此描述的其他方式来实施，因此，本公开的保护范围并不受下面公开的具体实施例的限制。
根据本公开的实施例，提供了一种瞳孔定位方法，所述瞳孔定位方法包括：获取光源照射下的眼部图像；确定位于所述眼部图像的瞳孔内的第一内部点；计算从所述第一点出发向瞳孔外部的直线上的像素点的梯度变化；根据所述梯度变化确定位于瞳孔边缘上的第一边缘点(例如，将所述梯度变化满足预设条件的像素点确定位于瞳孔边缘上的第一边缘点)；搜索所述图像中与所述第一边缘点的梯度变化具有相同或相似的梯度变化的多个像素点，将所述多个像素点确定为第二边缘点至第N边缘点；以及对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心。应当理解的是，根据本实施例，“具有相同或相似的梯度变化”可以表示该像素点处的梯度变化与所述第一边缘点处的梯度变化之间的差小于预定的阈值。该预定的阈值可以根据具体的分辨率以及识别精度来进行确定。根据本公开的实施例，通过椭圆拟合来确定瞳孔的中心，在本领域常用的椭圆拟合算法中，通常需要至少5个点来进行拟合，因此在本实施例中，N可以是大于4的正整数。然而应当理解的是，本公开并不局限于此，针对不同的拟合算法，也可以选取其它数量的边缘点。
在一个实施方式中，所述确定位于所述眼部图像的瞳孔内的第一内部点包括：确定光源在角膜上的成像点，并计算所有成像点在图像中的平均质心位置；根据该平均质心位置确定瞳孔扫描区域；在瞳孔扫描区域内利用瞳孔扫描框对图像进行扫描；以及将平均灰度值最小的所述瞳孔扫描框的中心确定为所述第一内部点。
在一个实施方式中，所述瞳孔扫描框的边长为d/4，扫描步长为d/2，其中，d的取值包括以下值中的一个：所述眼部图像的宽度的1/16，或者根据上一帧计算出的瞳孔椭圆长轴在图像中的长度。应当理解的是，本公开的实施例不限于此，可以根据具体的精确度要求来适当地选择瞳孔扫描框的大小和扫描步长。还应当理解的是，由于需要在瞳孔扫描区域内进行扫描，因此瞳孔扫描框的边长应当小于瞳孔扫描区域的边长。
在一个实施方式中，所述梯度变化表示像素灰度值的变化情况，所述根据所述预设条件确定位于瞳孔边缘上的第一边缘点包括：当一个点的所述梯度变化不小于预设的边缘梯度时，确定该点为第一边缘点。即，所述预设条件可以是一个点的所述梯度变化不小于预设的边缘梯度。
在一个实施方式中，所述搜索所述图像中满足该梯度变化的像素点包括：以所述第一边缘点为起始点，沿预定方向在邻域像素点(例如4邻域像素点、8邻域像素点等)内搜索与所述第一边缘点的梯度变化具有相同或相似的梯度变化的点作为第二边缘点；以第二边缘点为起始点，沿所述预定方向在邻域像素点内搜索与所述第一边缘点的梯度变化具有相同或相似的梯度变化的点作为第三边缘点；以及重复上述步骤，直至获得第N边缘点。
在一个实施方式中，所述对所述第一边缘点至第N边缘点进行椭圆拟合包括：将所述第一边缘点至第N边缘点划分为连续的多个组；针对每个组内的边缘点分别进行椭圆拟合，以获得多个椭圆；确定所述多个椭圆的交点；以及利用交点确定瞳孔中心位置。
在一个实施方式中，所述多个组中的每个组包括的边缘点的数量相同。
在一个实施方式中，所述将所述第一边缘点至第N边缘点划分为连续的多个组包括：沿水平和竖直方向将第一边缘点至第N边缘点划分为四组；或者沿椭圆的旋转方向(例如顺时针方向或逆时针方向)将第一边缘点至第N边缘点划分为四组。
在一个实施方式中，所述利用交点确定瞳孔中心位置包括：确定所述多个交点的坐标的平均值，并以所述多个交点的坐标的平均值作为瞳孔中心位置坐标。
在下文中，将参照图1更详细地描述根据本发明的实施例的瞳孔定位方法。应当理解的是，图1中具体示出的方法步骤不应当被解释为对本公开的限制，并且在不脱离本公开的范围的情况下，可以增加或减少一个或多个步骤，或者一个步骤可以被拆分为若干个步骤，或者多个步骤可以被合并为一个步骤，或者一个或多个步骤可以以除了附图1中示出的顺序之外的顺序来执行。
参照图1，根据本公开实施例的瞳孔定位方法可以包括下述步骤。
步骤S1，获取用户使用设备时在近红外LED灯下的眼部图像，其中红外LED波长优选850nm。根据本实施例，眼部图像可以通过例如红外数字像机进行拍摄，并通过传输接口将拍摄的数字图像传输至处理装置(例如处理器)以进行瞳孔定位处理。应当理解的是，在红外LED灯(例如850nm的红外光)下获取眼部图像有利于使虹膜与瞳孔分离清晰，从而有利于降低瞳孔定位的计算量和提高定位精度，并且由于红外光对人眼不可见，所以有利于避免产生光污染。然而本公开不限于此，也可以在使用其他光源的情况下获取眼部图像。
步骤S2，对获取的眼部图像进行预处理，包括例如灰度转换、直方图均衡化、高斯滤波。对获取的眼部图像进行预处理有利于消除图像中的噪声，提高后续处理的效率。具体的图像预处理的方法及其作用对本领域技术人员而言是公知的，因此在这里将不进行赘述。应当理解的是，本公开的图像预处理不限于上述列出的预处理，本领域技术人员常用的其他图像预处理方法也应当被理解为包含在本公开的范围内。
步骤S3，进行光斑定位。根据本实施例，利用红外LED光源在人眼角膜反射形成的反射光斑来确定眼部图像中所有光斑的平均质心位置。
更具体地，如图2所示，由于红外光源在人眼角膜形成的反射光斑较亮，根据经验阈值对图像进行二值化，可顺利把光斑分离出来，然后进行边缘检测，检测到光斑的边缘点。若检测到的第i个光斑共有n个边缘点
Figure BDA0001967713350000081
其中j∈(0,n]，则求取光斑的质心当做光斑中心(xi,yi)，计算如下：
Figure BDA0001967713350000082
Figure BDA0001967713350000083
接下来，进一步求取所有光斑的平均质心位置(如图2中最后一幅图中标注的M所示)，计算如下：
Figure BDA0001967713350000084
Figure BDA0001967713350000085
其中，x、y表示横纵坐标值，i表示第i个光斑，j表示该光斑的第j个边缘点。
步骤S4，确定扫描框。根据本实施例，根据计算出的所有光斑的平均质心位置，确定瞳孔扫描区域。
具体地，参照图3，以计算出的所有光斑的平均质心位置为扫描框的中心，确定边长为4×d的正方形区域作为瞳孔扫描区域。在本实施例中，d的初始化值为当前图像宽的1/16，后续d的取值根据上一帧计算出的瞳孔椭圆长轴在图像中的长度进行更新。然而本公开不限于此，也可根据实际情况确定扫描框的大小。
步骤S5，根据确定出的瞳孔扫描区域，进行瞳孔内一点的定位。根据本实施例，在确定的瞳孔扫描区域中进行扫描，从而确定眼部图像中位于瞳孔内部的第一内部点。
具体地，参照图3的最后一幅图，以边长为d/4，步长为d/2的正方形滑动窗在确定的扫描框内进行扫描，并计算出每个滑动窗所覆盖的图像的灰度均值grayi，因图像中瞳孔区域的灰度值是最小的，因此找到平均灰度最小的滑动窗所在的位置会处于瞳孔内，进一步确定平均灰度值最小的滑动块的中心O(x,y)为瞳孔内一点，即第一内部点。
步骤S6，确定用于寻找第一瞳孔边缘点的射线。根据本公开，以确定的第一内部点为原点，在眼部图像中发射一条射线，并计算该射线上的梯度变化情况。
具体地，参照图4，以确定的瞳孔内一点O(x,y)为原点，在图像中水平向右发射一条射线(也可向其他任意方向进行射线的发射)，如图4所示，计算射线方向上每个像素点的梯度变化情况，梯度表示像素灰度值的变化情况，当图像中存在瞳孔边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，具体梯度计算如下：
G(x,y)＝dx(i,j)+dy(i,j)；
dx(i,j)＝I(i+1,j)-I(i,j)；
dy(i,j)＝I(i,j+1)-I(i,j)；
其中I是图像像素的灰度值，(i,j)、(i+1,j)、(i,j+1)为相邻像素的坐标，dx(i,j)为对应像素水平方向上的梯度变化，dy(i,j)为对应像素竖直方向上的梯度变化，G(x,y)为对应像素整体(竖直和水平)的梯度变化。
步骤S7，确定第一边缘点。在通过步骤S6确定射线上的点的梯度变化后，将射线方向上每个像素点梯度变化情况与预设的边缘梯度阈值Gthreshold比较，并根据比较结果确定第一边缘点的位置。当G(x,y)≥Gthreshold时，确定像素点I1(x,y)为瞳孔的初始边缘点(即第一边缘点)。
在本实施例中，阈值Gthreshold采用经验值，通过预先采集的图像中瞳孔边缘梯度变化情况得到，经验值的计算可以参考步骤S6，然而本公开不限于此，也可以根据本领域技术人员已知或未来开发的其他方法来确定边缘梯度阈值。
步骤S8，确认其它边缘点。根据本公开，以第一边缘点为起点，按照预定方向进行搜索，以确定眼部图像中的其它边缘点。
具体地，根据本公开，以得到的第一边缘点I1(x,y)为起始点，沿顺时针方向，在邻域像素点内按照从左到右、从上到下的顺序搜索满足梯度变化情况(例如，与所述第一边缘点的梯度变化具有相同或相似的梯度变化)的点I2(x,y)，然后以I2(x,y)为起点，在8邻域内搜索其他边缘点，经过不断迭代，得到所有的N个瞳孔边缘点Ii(x,y)，其中，N是大于4的正整数，i为瞳孔边缘点的个数且i不大于N。
步骤S9，将得到的所有瞳孔边缘点进行拟合，以获得多个拟合椭圆。
具体地，参照图5A和图5B，按照水平方向和竖直方向(也可以按照椭圆旋转方向)来将所有瞳孔边缘点平均分为连续的四组，并分别对各组边缘点进行椭圆拟合。例如，如图5A所示，选取
Figure BDA0001967713350000101
和
Figure BDA0001967713350000102
根据
Figure BDA0001967713350000103
和
Figure BDA0001967713350000104
上的边缘点进行拟合，得到椭圆A和B，通过求取椭圆A和B的交点得到e(xe,ye)和f(xf,yf)；如图5B所示选取
Figure BDA0001967713350000105
和
Figure BDA0001967713350000106
根据
Figure BDA0001967713350000107
和
Figure BDA0001967713350000108
上的边缘点进行拟合，得到椭圆C和D，通过求取椭圆C和D的交点得到g(xg,yg)和h(xh,yh)。
应当理解的是，在本实施例中将所有瞳孔边缘点平均分为连续的四组，因此能够获得四个包含相同数量的边缘点的分组。然而应当理解的是，分组不限于四组，根据具体的边缘点的数量以及计算的需要，可以分成其他数量的组。另外，由于所有边缘点的数量往往不一定是分组数量的整数倍，因此本公开涉及的“平均”分组以及数量“相同”可以表示基本平均地分配或者数量在一定误差范围内相同。例如，各组包含的边缘点的数量可以完全相同，或者彼此相差边缘点数量的1％-20％。
步骤S10，根据多个椭圆的交点确定瞳孔中心的位置(xpupil,ypupil)，具体计算如下：
Figure BDA0001967713350000109
Figure BDA00019677133500001010
其中，x、y表示坐标值，e、f、g、h分别表示椭圆的交点。
以上参照附图1至附图5B详细地描述了根据本公开示例性实施例的瞳孔定位方法，然而应当理解的是，上述附图以及详细描述中涉及的任何细节特征均不应当被解释为对本公开的限定，而仅仅是为了使本领域技术人员清楚地理解本公开的具体示例。
根据本公开的另一示例性实施例，提供了一种瞳孔定位装置。参照图6，瞳孔定位装置可以包括：图像获取单元610，配置为获取光源照射下的眼部图像；内部点确定单元620，配置为确定位于所述眼部图像的瞳孔内的第一内部点；计算单元630，配置为计算从所述第一点出发向瞳孔外部的直线上的像素点的梯度变化；第一边缘点确定单元640，配置为根据所述梯度变化确定位于瞳孔边缘上的第一边缘点；搜索单元650，配置为搜索所述图像中满足该梯度变化情况的像素点，将其确定为第二边缘点至第N边缘点；以及拟合单元660，配置为对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心，其中，N是大于4的正整数。
应当理解的是，根据本公开实施例的单元或子单元或者其组合可以由相应配置的硬件模块、软件模块和/或软件硬件模块的组合来实现。例如，以图像获取单元610为例，其可以包括硬件模块，例如数字摄像机和/或相应的数字处理电路，也可以包括软件模块，例如存储在计算机可读介质中并且当在处理器上运行时，被配置为用于获取来自外部的数字摄像机的数字图像信号并对其进行处理的软件算法。应当理解的是，上述仅仅是示例，例如图像获取单元610也可以包括接收模拟数字图像以及进行A/D或D/A转换的单元。本公开的其它单元和/或子单元均可以由类似的方式进行配置，为了简要起见，在这里将不再赘述。
另外，根据本公开的一个实施例，内部点确定单元620可以包括：质心确定子单元621，配置为确定光源在角膜上的成像点，并计算所有成像点在图像中的平均质心位置；扫描子单元622，配置为利用根据该平均质心位置确定的瞳孔扫描框对图像进行扫描；以及内部点确定子单元623，配置为将平均灰度值最小的所述瞳孔扫描框的中心确定为所述第一内部点。
根据本公开的一个实施例，拟合单元660可以包括：分组子单元661，配置为将所述第一边缘点至第N边缘点划分为连续的多个组；椭圆拟合子单元662，配置为针对每个组内的边缘点分别进行椭圆拟合，以获得多个椭圆；以及瞳孔定位子单元663，配置为确定所述多个椭圆的交点，并利用交点确定瞳孔中心位置。
应当注意的是，本实施例的瞳孔定位装置包括附图中示出的若干个单元/子单元，然而本公开不限于此，上述单元/子单元可以被进一步划分为多个单元模块，以便独立地或共同地执行相应地操作，此外，上述的多个单元/子单元可以被整合为一个单元模块和/或由IC(集成电路)构成，本公开对上述单元/子单元的构成没有具体限制。
根据本公开的另一个实施例，参照图7，一种瞳孔定位装置，包括：处理器710；以及存储器720，存储有计算机可读指令，其中，当所述计算机可读指令在所述处理器710中执行时，使得所述瞳孔定位装置执行根据本公开前述方面的瞳孔定位方法。
应理解，在本发明实施例中，该处理器710可以是中央处理单元(CentralProcessing Unit，简称为“CPU”)，该处理器710还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器720可以包括只读存储器和随机存取存储器，并向处理器710提供指令和数据。存储器720的一部分还可以包括非易失性随机存取存储器。例如，存储器720还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器710中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器720，处理器710读取存储器720中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
根据本公开的另一个实施例，参照图8，一种VR/AR设备，包括：根据本公开前述方面的瞳孔定位装置810；以及人机交互界面820，利用所述瞳孔定位装置810确定的瞳孔中心进行人机交互。
根据本公开，VR/AR设备可以是用于实现虚拟现实和/或增强现实的设备。虚拟现实(VR)是近年来出现的高新技术，也称灵境技术或人工环境。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。增强现实(AR)通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。VR/AR设备通常具有至少一个人机交互界面，以实现用户与设备之间的交互。在本实施例中，人机交互界面820利用瞳孔定位装置810确定的瞳孔中心进行人机交互，使得用户能够通过眼球的转动、凝视等操作来进行人机交互。
根据本公开的另一方面，一种计算机可读介质存储有计算机可读代码，以用于使计算机执行根据本公开前述方面的瞳孔定位方法。
根据本实施例，计算机可读代码可以以软件功能单元的形式实现并作为独立的产品销售或使用，并且可以存储在一个计算机可读取存储介质900中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，智能终端，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
根据本公开的一种瞳孔定位方法和装置、一种VR/AR设备以及一种计算机可读介质，通过获取光源照射下的眼部图像；确定位于所述眼部图像的瞳孔内的第一内部点；计算从所述第一点出发向瞳孔外部的直线上的像素点的梯度变化；根据所述梯度变化确定位于瞳孔边缘上的第一边缘点；搜索所述图像中满足该梯度变化情况的像素点，将其确定为第二边缘点至第N边缘点；以及对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心，能够根据像素点梯度的变化情况确定瞳孔的边缘点，并根据基于边缘点的多椭圆拟合确定瞳孔的中心位置，瞳孔定位精度高且鲁棒性强，可用于VR、AR或其他基于视线交互的瞳孔定位或眼球追踪系统。
在本公开中，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”表示两个或两个以上。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种瞳孔定位方法，其特征在于，包括：
获取光源照射下的眼部图像；
确定位于所述眼部图像的瞳孔内的第一内部点；所述确定位于所述眼部图像的瞳孔内的第一内部点包括：确定光源在角膜上的成像点，并计算所有成像点在眼部图像中的平均质心位置；根据该平均质心位置确定瞳孔扫描区域；在所述瞳孔扫描区域内利用具有预定边长的瞳孔扫描框按照预定的扫描步长对眼部图像进行扫描；以及将平均灰度值最小的所述瞳孔扫描框的中心确定为所述第一内部点；
计算从所述第一内部 点出发向瞳孔外部的直线上的像素点的梯度变化；
将所述梯度变化满足预设条件的像素点确定位于瞳孔边缘上的第一边缘点；
搜索所述眼部图像中梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的多个像素点，将所述多个像素点确定为第二边缘点至第N边缘点，其中，N是大于4的正整数；以及
对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心。
2.根据权利要求1所述的瞳孔定位方法，其中，所述梯度变化表示像素灰度值的变化情况，所述预设条件包括：
一个点的所述梯度变化不小于预设的边缘梯度。
3.根据权利要求1所述的瞳孔定位方法，其中，所述搜索所述眼部图像中梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的多个像素点包括：
以所述第一边缘点为起始点，沿预定方向在邻域像素点内搜索梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的点作为第二边缘点；
以第二边缘点为起始点，沿所述预定方向在邻域像素点内搜索梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的点作为第三边缘点；以及
重复上述步骤，直至获得第N边缘点。
4.根据权利要求1-3任一项所述的瞳孔定位方法，其中，所述对所述第一边缘点至第N边缘点进行椭圆拟合包括：
将所述第一边缘点至第N边缘点划分为连续的多个组；
针对每个组内的边缘点分别进行椭圆拟合，以获得多个椭圆；
确定所述多个椭圆的交点；以及
利用交点确定瞳孔中心位置。
5.根据权利要求4所述的瞳孔定位方法，其中，所述多个组中的每个组包括的边缘点的数量相同。
6.根据权利要求4所述的瞳孔定位方法，其中，所述将所述第一边缘点至第N边缘点划分为连续的多个组包括：
沿水平和竖直方向将第一边缘点至第N边缘点划分为四组；或者
沿顺时针或逆时针方向将第一边缘点至第N边缘点划分为四组。
7.根据权利要求4所述的瞳孔定位方法，其中，所述利用交点确定瞳孔中心位置包括：
以所述多个交点的坐标的平均值作为瞳孔中心位置坐标。
8.一种瞳孔定位装置，其特征在于，包括：
图像获取单元，配置为获取光源照射下的眼部图像；
内部点确定单元，配置为确定位于所述眼部图像的瞳孔内的第一内部点；
计算单元，配置为计算从所述第一内部 点出发向瞳孔外部的直线上的像素点的梯度变化；
第一边缘点确定单元，配置为将所述梯度变化满足预设条件的像素点确定位于瞳孔边缘上的第一边缘点；
搜索单元，配置为搜索所述眼部图像中梯度变化与所述第一边缘点的梯度变化之间的差小于预定阈值的多个像素点，将所述多个像素点确定为第二边缘点至第N边缘点，其中，N是大于4的正整数；以及
拟合单元，配置为对所述第一边缘点至第N边缘点进行椭圆拟合，以确定瞳孔的中心；
其中，所述内部点确定单元包括：
质心确定子单元，配置为确定光源在角膜上的成像点，并计算所有成像点在眼部图像中的平均质心位置；
扫描子单元，配置为在根据该平均质心位置确定的瞳孔扫描区域内利用瞳孔扫描框对眼部图像进行扫描；以及
内部点确定子单元，配置为将平均灰度值最小的所述瞳孔扫描框的中心确定为所述第一内部点。
9.根据权利要求8所述的瞳孔定位装置，其中，所述拟合单元包括：
分组子单元，配置为将所述第一边缘点至第N边缘点划分为连续的多个组；
椭圆拟合子单元，配置为针对每个组内的边缘点分别进行椭圆拟合，以获得多个椭圆；以及
瞳孔定位子单元，配置为确定所述多个椭圆的交点，并利用交点确定瞳孔中心位置。
10.一种虚拟现实/增强现实设备，其特征在于，包括：
根据权利要求8-9任一项所述的瞳孔定位装置。
11.一种计算机可读介质，其特征在于，所述计算机可读介质存储有计算机可读代码，以用于使计算机执行根据权利要求1-7任一项所述的瞳孔定位方法。
CN201910109960.4A 2019-01-31 2019-01-31 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质 Active CN109857254B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910109960.4A CN109857254B (zh) 2019-01-31 2019-01-31 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
US16/956,747 US11315281B2 (en) 2019-01-31 2019-11-19 Pupil positioning method and apparatus, VR/AR apparatus and computer readable medium
PCT/CN2019/119422 WO2020155792A1 (en) 2019-01-31 2019-11-19 Pupil positioning method and apparatus, vr/ar apparatus and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910109960.4A CN109857254B (zh) 2019-01-31 2019-01-31 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质

Publications (2)

Publication Number Publication Date
CN109857254A CN109857254A (zh) 2019-06-07
CN109857254B true CN109857254B (zh) 2020-06-05

Family

ID=66897718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910109960.4A Active CN109857254B (zh) 2019-01-31 2019-01-31 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质

Country Status (3)

Country Link
US (1) US11315281B2 (zh)
CN (1) CN109857254B (zh)
WO (1) WO2020155792A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857254B (zh) * 2019-01-31 2020-06-05 京东方科技集团股份有限公司 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
CN110929672B (zh) * 2019-11-28 2024-03-01 联想(北京)有限公司 瞳孔定位方法和电子设备
CN111339982A (zh) * 2020-03-05 2020-06-26 西北工业大学 一种基于特征的多级瞳孔中心定位技术实现方法
CN112926536B (zh) * 2021-04-06 2024-04-16 科大讯飞股份有限公司 变形瞳孔定位方法、装置以及设备
WO2022257120A1 (zh) * 2021-06-11 2022-12-15 华为技术有限公司 瞳孔位置的确定方法、装置及系统
CN113566721B (zh) * 2021-07-27 2024-01-23 凌云光技术股份有限公司 一种螺钉孔径测量方法和装置
CN114093018B (zh) * 2021-11-23 2023-07-07 河南省儿童医院郑州儿童医院 一种基于瞳孔定位的视力筛查设备及系统
CN114255185B (zh) * 2021-12-16 2022-11-25 武汉高德智感科技有限公司 一种图像处理的方法、装置、终端及存储介质
CN115965653B (zh) * 2022-12-14 2023-11-07 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质
CN116309584B (zh) * 2023-05-22 2023-07-28 泰安光明爱尔眼科医院有限公司 一种用于白内障区域识别的图像处理系统
CN116385446B (zh) * 2023-06-06 2023-08-15 山东德圣源新材料有限公司 一种用于勃姆石生产的晶体杂质检测方法
CN117373103A (zh) * 2023-10-18 2024-01-09 北京极溯光学科技有限公司 一种图像特征提取方法、装置、设备及存储介质
CN117523650B (zh) * 2024-01-04 2024-04-02 山东大学 基于旋转目标检测的眼球运动追踪方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058209B2 (en) 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
CN103067662A (zh) * 2013-01-21 2013-04-24 天津师范大学 一种自适应视线跟踪系统
CN103761519B (zh) * 2013-12-20 2017-05-17 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
US20170364732A1 (en) * 2014-12-05 2017-12-21 Texas State University Eye tracking via patterned contact lenses
CN104809458B (zh) 2014-12-29 2018-09-28 华为技术有限公司 一种瞳孔中心定位方法及装置
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
US10417495B1 (en) * 2016-08-08 2019-09-17 Google Llc Systems and methods for determining biometric information
CN107977622B (zh) * 2017-11-30 2021-10-26 西安科锐盛创新科技有限公司 基于瞳孔特征的眼睛状态检测方法
CN108229392A (zh) * 2018-01-02 2018-06-29 京东方科技集团股份有限公司 一种瞳孔定位方法、装置、设备和介质
CN108509873A (zh) * 2018-03-16 2018-09-07 新智认知数据服务有限公司 瞳孔图像边缘点提取方法及装置
CN108509908B (zh) * 2018-03-31 2022-05-17 天津大学 一种基于双目立体视觉的瞳孔直径实时测量方法
CN109857254B (zh) * 2019-01-31 2020-06-05 京东方科技集团股份有限公司 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质

Also Published As

Publication number Publication date
US11315281B2 (en) 2022-04-26
WO2020155792A1 (en) 2020-08-06
US20210241487A1 (en) 2021-08-05
CN109857254A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109857254B (zh) 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质
CN108354584B (zh) 眼球追踪模组及其追踪方法、虚拟现实设备
US8755607B2 (en) Method of normalizing a digital image of an iris of an eye
US10872227B2 (en) Automatic object recognition method and system thereof, shopping device and storage medium
US8639058B2 (en) Method of generating a normalized digital image of an iris of an eye
EP2339507B1 (en) Head detection and localisation method
US8854446B2 (en) Method of capturing image data for iris code based identification of vertebrates
CN108985210A (zh) 一种基于人眼几何特征的视线追踪方法及系统
US9070016B2 (en) Biometric authentication apparatus, biometric authentication method and recording medium
KR20090115739A (ko) 정보 추출 방법, 정보 추출 장치, 프로그램, 등록 장치 및 대조 장치
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US10909363B2 (en) Image acquisition system for off-axis eye images
JP2010170347A (ja) 画像処理装置、生体認証装置、画像処理方法及びプログラム
US11163994B2 (en) Method and device for determining iris recognition image, terminal apparatus, and storage medium
JP2010170348A (ja) 画像処理装置、生体認証装置、画像処理方法及びプログラム
EP3617993B1 (en) Collation device, collation method and collation program
KR20090115738A (ko) 정보 추출 방법, 등록 장치, 대조 장치 및 프로그램
CN107341799B (zh) 诊断数据获取方法及装置
CN110580451A (zh) 一种基于三维优化子曲面的人脸识别方法及系统
Matveev et al. Iris segmentation system based on approximate feature detection with subsequent refinements
JP2016045707A (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム
CN116434317A (zh) 眼部图像处理方法、装置、眼动跟踪系统和电子装置
CN117137427A (zh) 一种基于vr的视力检测方法及装置、智能眼镜
KR20210154731A (ko) 안저영상의 종단적 분석을 위한 안저 변화 검출 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant