CN117860189A - 瞳孔检测方法、装置、电子设备及计算机可读存储介质 - Google Patents
瞳孔检测方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117860189A CN117860189A CN202410057368.5A CN202410057368A CN117860189A CN 117860189 A CN117860189 A CN 117860189A CN 202410057368 A CN202410057368 A CN 202410057368A CN 117860189 A CN117860189 A CN 117860189A
- Authority
- CN
- China
- Prior art keywords
- boundary point
- boundary
- candidate
- pupil
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 136
- 238000001514 detection method Methods 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012216 screening Methods 0.000 claims abstract description 25
- 238000004590 computer program Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 210000000720 eyelash Anatomy 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 230000019771 cognition Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 210000001508 eye Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000004424 eye movement Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009901 attention process Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 208000010877 cognitive disease Diseases 0.000 description 2
- 230000036992 cognitive tasks Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004439 pupillary reactions Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种瞳孔检测方法、装置、电子设备及计算机可读存储介质，涉及图像处理技术领域，该方法包括：对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；基于预设的边界点限制条件，对各个候选边界点进行边界点筛选，得到多个目标边界点；通过对各个目标边界点进行椭圆拟合，得到瞳孔检测结果。这样通过预设的边界点限制条件从瞳孔边界的候选边界点中筛选出目标边界点，有效消除了由于普尔钦斑、睫毛和注视方向对瞳孔边界的遮挡所导致的瞳孔边界提取失真问题，实现了瞳孔中心及瞳孔大小的精确提取，因此提高了瞳孔检测结果的精确度。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种瞳孔检测方法、装置、电子设备及计算机可读存储介质。
背景技术
普尔钦斑是红外光源在角膜上反射的亮斑，如图1中的白色亮点所示。多级普尔钦斑是光束在入射眼球的过程中，在眼球各层膜的前后面上形成的影像。较明显的有4个，分别为在角膜外表面形成的第一普尔钦斑、在角膜内表面形成的第二普尔钦斑，在晶状体外表面及内表面分别形成的第三普尔钦斑、第四普尔钦斑(如图2所示)。其中，一般只有第一普尔钦斑能直接被观察到(如图1所示)。
如图3所示，传统的红外眼部图像的瞳孔检测步骤如下：
a)预处理
对原图像(红外眼部图像的灰度图像)进行去噪、滤波等预处理，得到眼部区域平滑的预处理后图像。
b)二值化
选取合适阈值，对预处理后图像进行二值化处理，提取出瞳孔区域的二值化图像。
c)边界提取
利用边界提取算子，提取二值化图像的瞳孔边界。
d)椭圆拟合
对提取出的瞳孔边界的边界点，进行椭圆的最小二乘拟合，得到瞳孔所在的椭圆以及瞳孔中心坐标。
在眼动追踪技术中，需要红外光源作为照明光源，但其产生的一级和多级普尔钦斑，若出现在瞳孔和虹膜的边界上，必然会影响瞳孔边界的提取，如图3的c)中，导致提取出的瞳孔边界不规则，进而导致传统瞳孔检测方法对图3的d)的椭圆拟合失准。除普尔钦斑的影响外，瞳孔边界的提取还会受到注视方向和睫毛的影响。
发明内容
本发明的目的在于提供一种瞳孔检测方法、装置、电子设备及计算机可读存储介质，以提高瞳孔检测结果的精确度。
第一方面，本发明实施例提供了一种瞳孔检测方法，包括：
对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；
基于预设的边界点限制条件，对各个所述候选边界点进行边界点筛选，得到多个目标边界点；
通过对各个所述目标边界点进行椭圆拟合，得到瞳孔检测结果。
进一步地，所述边界点限制条件包括边界点曲率方向条件，所述边界点曲率方向条件为边界点的切线方向与椭圆中心指向边界点的向量所成的角度，位于以90°为中心的预设角度范围内；所述基于预设的边界点限制条件，对各个所述候选边界点进行边界点筛选，得到多个目标边界点，包括：
对各个所述候选边界点进行椭圆拟合，得到拟合结果数据；其中，所述拟合结果数据包括椭圆中心点；
对于每个所述候选边界点，基于所述拟合结果数据，判断该候选边界点是否满足所述边界点曲率方向条件，得到第一判断结果；
根据所述第一判断结果，确定该候选边界点是否为目标边界点。
进一步地，所述基于所述拟合结果数据，判断该候选边界点是否满足所述边界点曲率方向条件，得到第一判断结果，包括：
确定该候选边界点对应的第一向量和第二向量；其中，所述第一向量为所述椭圆中心点指向该候选边界点的向量，所述第二向量为该候选边界点的前一候选边界点指向该候选边界点的下一候选边界点的向量；
判断所述第一向量和所述第二向量的点积的绝对值是否小于第一预设值；
如果是，确定所述第一判断结果为是。
进一步地，所述边界点限制条件还包括边界点凹凸性条件，所述边界点凹凸性条件为各个边界点所在位置的凹凸性保持一致；所述根据所述第一判断结果，确定该候选边界点是否为目标边界点，包括：
当所述第一判断结果为是时，基于所述拟合结果数据，判断该候选边界点是否满足所述边界点凹凸性条件，得到第二判断结果；
根据所述第二判断结果，确定该候选边界点是否为目标边界点。
进一步地，所述基于所述拟合结果数据，判断该候选边界点是否满足所述边界点凹凸性条件，得到第二判断结果，包括：
确定该候选边界点对应的第一向量和第三向量；其中，所述第一向量为所述椭圆中心点指向该候选边界点的向量，所述第三向量为该候选边界点指向其下一候选边界点的向量与该候选边界点的前一候选边界点指向该候选边界点的向量的差；
判断所述第一向量和所述第三向量的夹角的余弦值是否小于0；
如果是，确定所述第二判断结果为是。
进一步地，所述边界点限制条件还包括边界区域极值点条件，所述边界区域极值点条件包括边界点距椭圆中心的距离大于短轴长度，且小于长轴长度与第二预设值的和；所述拟合结果数据还包括长轴长度和短轴长度；所述根据所述第二判断结果，确定该候选边界点是否为目标边界点，包括：
当所述第二判断结果为是时，基于所述拟合结果数据，判断该候选边界点是否满足所述边界区域极值点条件，得到第三判断结果；
当所述第三判断结果为是时，确定该候选边界点为目标边界点。
进一步地，所述基于所述拟合结果数据，判断该候选边界点是否满足所述边界区域极值点条件，得到第三判断结果，包括：
计算得到所述椭圆中心点与该候选边界点之间的长度；
判断所述长度是否大于所述短轴长度，且小于所述长轴长度与所述第二预设值的和；
如果是，确定所述第三判断结果为是。
第二方面，本发明实施例还提供了一种瞳孔检测装置，包括：
提取模块，用于对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；
筛选模块，用于基于预设的边界点限制条件，对各个所述候选边界点进行边界点筛选，得到多个目标边界点；
确定模块，用于通过对各个所述目标边界点进行椭圆拟合，得到瞳孔检测结果。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面所述方法。
本发明实施例提供的瞳孔检测方法、装置、电子设备及计算机可读存储介质，能够对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；基于预设的边界点限制条件，对各个候选边界点进行边界点筛选，得到多个目标边界点；通过对各个目标边界点进行椭圆拟合，得到瞳孔检测结果。这样通过预设的边界点限制条件从瞳孔边界的候选边界点中筛选出目标边界点，有效消除了由于普尔钦斑、睫毛和注视方向对瞳孔边界的遮挡所导致的瞳孔边界提取失真问题，实现了瞳孔中心及瞳孔大小的精确提取，因此提高了瞳孔检测结果的精确度。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一种普尔钦斑的示意图；
图2为一种多级普尔钦斑的示意图；
图3为红外眼部图像的瞳孔检测过程示意图；
图4为本发明实施例提供的一种瞳孔检测方法的流程示意图；
图5为本发明实施例提供的一种椭圆边界点示意图；
图6为无边界点限制条件和有边界点限制条件下瞳孔椭圆提取的对比示意图；
图7为传统方法与本实施例方法的效果对比图；
图8为本发明实施例提供的一种瞳孔检测装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在眼动追踪技术中，瞳孔中心坐标的精确提取的重要性如下：
眼动追踪技术是一种用于研究眼睛运动的技术，它可以记录和分析眼睛在观看视觉刺激时的运动轨迹。在眼动追踪中，瞳孔中心坐标的精确提取非常重要，原因如下：
眼动数据准确性：瞳孔中心坐标是测量眼动数据的基础。准确提取瞳孔中心可以确保获得可靠和准确的眼动数据，从而得到对受试者视觉注意和注意焦点的真实理解。如果瞳孔中心坐标提取不准确，将导致分析结果错误，得到误导性结论。
视线轨迹重构：通过采集连续的瞳孔中心坐标，可以重构视线轨迹。视线轨迹是研究者分析视觉过程的关键指标，可以帮助了解人眼在观察视觉刺激时是如何移动的，对于理解视觉信息处理和认知过程非常有帮助。
精确定位注意区域：瞳孔中心坐标的准确提取可以帮助确定受试者在观看图像或屏幕时注意的区域。这对于用户界面设计、广告研究和人机交互等领域非常重要。如果精确提取了瞳孔中心，就可以知道哪些区域吸引了受试者的注意，进而改进设计和优化用户体验。
个体差异考虑：人的瞳孔大小和眼球运动范围会因个体差异而异。准确提取瞳孔中心坐标可以根据每个受试者的实际情况进行校正和标准化，确保数据分析的可靠性和可比性。
在眼动认知的评估中，瞳孔直径的精确提取的重要性如下：
在眼动认知评估中，除了瞳孔中心坐标的精确提取外，瞳孔直径的精确提取也非常重要。瞳孔直径是指瞳孔的大小，其重要性体现在以下几个方面：
视觉负荷评估：瞳孔直径变化可以反映视觉认知负荷的变化。在进行认知任务时，如果任务复杂或需求高，瞳孔直径往往会扩大。因此，通过准确提取瞳孔直径可以评估不同认知任务的难度和负荷程度，帮助我们了解认知过程中的认知资源分配和认知负荷变化。
注意与认知过程研究：瞳孔直径与注意力和认知过程密切相关。注意力集中时，瞳孔直径通常会缩小；而在认知负荷增加时，瞳孔直径可能会扩大。因此，准确测量瞳孔直径可以帮助研究人员深入了解注意力和认知过程的动态变化，以及这些过程如何受到不同因素的影响。
情绪与认知研究：瞳孔直径的变化与情绪体验和认知有关。在情绪激发下，瞳孔直径会有反应性的改变，例如在兴奋或紧张状态下，瞳孔会扩大。通过精确提取瞳孔直径，可以研究情绪对认知过程的影响，帮助了解情绪与认知之间的相互作用。
疾病诊断与认知障碍：瞳孔直径的变化也与某些疾病和认知障碍有关。例如，某些神经系统疾病可能会导致瞳孔反应异常，通过测量瞳孔直径变化可以辅助诊断和监测疾病的进展。
因此，瞳孔中心坐标和瞳孔直径的精确提取非常重要。然而现有的瞳孔检测方法容易受到普尔钦斑、注视方向和睫毛的影响，导致检测结果的精确度无法满足需求。基于此，本发明实施例提供的一种瞳孔检测方法、装置、电子设备及计算机可读存储介质，通过提出的边界点限制条件，筛选边界点，用筛选出的边界点做瞳孔椭圆的精提取；相比传统的瞳孔椭圆提取，可以有效的消除由于普尔钦斑、睫毛、和注视方向对瞳孔边界的遮挡所导致的瞳孔边界提取失真问题，实现瞳孔中心及半径的精确提取。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种瞳孔检测方法进行详细介绍。
本发明实施例提供了一种瞳孔检测方法，该方法可以由具有图像处理能力的电子设备执行。参见图4所示的一种瞳孔检测方法的流程示意图，该方法主要包括如下步骤S410至步骤S430：
步骤S410，对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点。
这里进行的是瞳孔边界点的粗提取，具体的粗提取方式可以采用相关现有技术。
在一些可能的实施例中，步骤S410可以通过如下方式实现：对瞳孔图像依次进行预处理和二值化处理，得到二值化图像；利用预设的边界提取算子对二值化图像进行边界点提取，得到多个候选边界的边界点；将圆度小于或等于预设的圆度阈值的候选边界确定为瞳孔图像的瞳孔边界，并将该瞳孔边界的边界点确定为候选边界点。
上述预处理可以包括去噪、滤波等处理。二值化处理时可以根据实际需求选择阈值，将图像中所有像素值小于或等于该阈值的像素点设置为一个像素值，如0，同时将图像中所有像素值大于该阈值的像素点设置为另一个像素值，如1。边界提取算子可以采用诸如Canny算子等。圆度＝(长轴-短轴)/短轴；圆度阈值可以根据实际需求设置，这里不做限定，例如，圆度阈值为0.3。
步骤S420，基于预设的边界点限制条件，对各个候选边界点进行边界点筛选，得到多个目标边界点。
在一些可能的实施例中，考虑到边界点的切线方向应该和椭圆中心指向边界点的向量接近垂直，上述边界点限制条件可以包括边界点曲率方向条件，该边界点曲率方向条件为边界点的切线方向与椭圆中心指向边界点的向量所成的角度，位于以90°为中心的预设角度范围内；其中，预设角度范围可以根据实际需求设置，这里不做限定。
基于此，步骤S420可以通过如下子步骤实现：
子步骤1，对各个候选边界点进行椭圆拟合，得到拟合结果数据；其中，拟合结果数据包括椭圆中心点。
椭圆拟合时可以但不限于采用最小二乘法的椭圆拟合，通过椭圆拟合得到的拟合结果数据可以包括椭圆中心点，还可以包括长轴长度和短轴长度。
子步骤2，对于每个候选边界点，基于拟合结果数据，判断该候选边界点是否满足边界点曲率方向条件，得到第一判断结果。
在一种可能的实现方式中，判断该候选边界点是否满足边界点曲率方向条件的过程可以如下：确定该候选边界点对应的第一向量和第二向量；其中，第一向量为椭圆中心点指向该候选边界点的向量，第二向量为该候选边界点的前一候选边界点指向该候选边界点的下一候选边界点的向量；判断第一向量和第二向量的点积的绝对值是否小于第一预设值；如果是，确定第一判断结果为是；如果否，确定第一判断结果为否。
子步骤3，根据第一判断结果，确定该候选边界点是否为目标边界点。
当第一判断结果为否时，确定该候选边界点不是目标边界点。
在一种可能的实现方式中，当第一判断结果为是时，确定该候选边界点为目标边界点。
在另一种可能的实现方式中，考虑到边界各点所在位置的凹凸性应该保持一致，上述边界点限制条件还包括边界点凹凸性条件，该边界点凹凸性条件为各个边界点所在位置的凹凸性保持一致，基于此，子步骤3可以包括：
子步骤3.1，当第一判断结果为是时，基于拟合结果数据，判断该候选边界点是否满足边界点凹凸性条件，得到第二判断结果。
在一种可能的实现方式中，判断该候选边界点是否满足边界点凹凸性条件的过程可以如下：确定该候选边界点对应的第一向量和第三向量；其中，第一向量为椭圆中心点指向该候选边界点的向量，第三向量为该候选边界点指向其下一候选边界点的向量与该候选边界点的前一候选边界点指向该候选边界点的向量的差；判断第一向量和第三向量的夹角的余弦值是否小于0；如果是，确定第二判断结果为是；如果否，确定第二判断结果为否。
子步骤3.2，根据第二判断结果，确定该候选边界点是否为目标边界点。
当第二判断结果为否时，确定该候选边界点不是目标边界点。
在一种可能的实现方式中，当第二判断结果为是时，确定该候选边界点为目标边界点。
在另一种可能的实现方式中，考虑到边界点距椭圆心的距离应大于短轴长度，且小于长轴长度，并且为避免删除过多点，可以在长轴限制条件下加一个较小值Δ(即第二预设值)，基于此，上述边界点限制条件还包括边界区域极值点条件，该边界区域极值点条件包括边界点距椭圆中心的距离大于短轴长度，且小于长轴长度与第二预设值的和，上述拟合结果数据还包括长轴长度和短轴长度，基于此，子步骤3.2可以包括：当第二判断结果为是时，基于拟合结果数据，判断该候选边界点是否满足边界区域极值点条件，得到第三判断结果；当第三判断结果为是时，确定该候选边界点为目标边界点；当第三判断结果为否时，确定该候选边界点不是目标边界点。
具体地，判断该候选边界点是否满足边界区域极值点条件的过程可以如下：计算得到椭圆中心点与该候选边界点之间的长度；判断该长度是否大于短轴长度，且小于长轴长度与第二预设值的和；如果是，确定第三判断结果为是；如果否，确定第三判断结果为否。其中，第二预设值可以根据实际需求设置，这里不做限定，例如第二预设值为3个像素。
综上，可以单独采用边界点曲率方向条件进行边界点筛选，也可以采用边界点曲率方向条件和边界点凹凸性条件进行边界点筛选，还可以采用边界点曲率方向条件、边界点凹凸性条件和边界区域极值点条件进行边界点筛选；这三个条件的判断顺序优选为边界点曲率方向条件、边界点凹凸性条件、边界区域极值点条件，这是考虑到边界点曲率方向条件可以筛选掉最多的异常点，且边界区域极值点条件位于边界点曲率方向条件、边界点凹凸性条件之后时，筛选的准确度更高，从而可以减少筛选时间和整体计算量，提高准确度。
步骤S430，通过对各个目标边界点进行椭圆拟合，得到瞳孔检测结果。
可以对各个目标边界点进行椭圆的最小二乘拟合，得到包括瞳孔中心坐标(即椭圆的中心坐标)、瞳孔直径(即椭圆的长轴长度和短轴长度)等瞳孔检测结果。
本发明实施例提供的瞳孔检测方法，能够对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；基于预设的边界点限制条件，对各个候选边界点进行边界点筛选，得到多个目标边界点；通过对各个目标边界点进行椭圆拟合，得到瞳孔检测结果。这样通过预设的边界点限制条件从瞳孔边界的候选边界点中筛选出目标边界点，有效消除了由于普尔钦斑、睫毛和注视方向对瞳孔边界的遮挡所导致的瞳孔边界提取失真问题，实现了瞳孔中心及瞳孔大小的精确提取，因此提高了瞳孔检测结果的精确度。
为了便于理解，下面对上述瞳孔检测方法进行示例性介绍。
本发明实施例的重点在于，在完成瞳孔图像预处理、二值化和边界提取后，提出三项限制条件，对提取出的边界点进行筛选，并将筛选后的边界点重新进行最小二乘椭圆拟合，求得椭圆的中心、长短轴及倾角等数据。
现需逐个判定各边界点是否满足条件，如图5所示，假设当前点(current)为点C(xc，yc)，上一个点(previous)为点P(xp，yp)，下一个点(next)为点N(xn，yn)，经过传统方法粗提取求得的椭圆中心为点O(xo，yo)。
限制条件如下：
1)边界点曲率方向
瞳孔边界可以近似视为一个圆度接近0的椭圆，所以当前点C的切线方向应该与OC连线成近似的垂直。以PN直线视为点C的切线，则向量与向量/>点积的绝对值应该很小，本发明实施例中设定为：
2)边界点凹凸性
椭圆上各点所在位置的凹凸性应该保持一致，所以向量与向量/>的差/>应该近似C指向椭圆圆心，即与向量/>成钝角，余弦值小于0，所以在本发明实施例中设定为：
3)边界区域极值点
最小二乘拟合的过程容易受到偏大或偏小值的影响，所以应剔除部分极值点。在完成椭圆的粗提取后，可以求得粗提取的长短轴的长度，则线段OC的长度应大于短轴长度b，小于长轴长度a(为避免删除过多点，可以在长轴限制条件下加一个较小值Δ，Δ可以设定为3个像素)，本发明实施例设定为：
将所有的边界点都带入上述三项限制条件，满足条件的保留，不满足的舍弃。随后将满足条件的边界点进行椭圆拟合，得到精提取的椭圆参数。
为了验证上述瞳孔检测方法的技术效果，本发明实施例还提供了图6和图7的对比图。
具体地，传统的瞳孔提取算法将边界提取得到的边界点(包括瞳孔边界和非瞳孔边界)都带入椭圆最小二乘拟合过程，其中的非瞳孔边界会放大拟合的误差，如图6的右上角图中的椭圆，很明显与真实的瞳孔边界有较大误差。本发明实施例提出的三项限制条件，针对的是受普尔钦斑或其他因素产生的异常边界点(非瞳孔边界)，通过筛除这些异常点(如图6的边界优化过程)，优化瞳孔椭圆拟合的精度，如图6的右下角图中的椭圆，基本实现了瞳孔椭圆的精提取。
利用本发明实施例的瞳孔检测方法，对多幅红外眼部图像进行处理，都取得了良好的效果，如图7所示，左侧的各个图中的椭圆为传统方法求得的瞳孔椭圆，右侧的各个图中的椭圆为本发明实施例方法求得瞳孔椭圆，可以明显看出，本发明实施例方法对瞳孔边界的提取精度较高。
对应于上述的瞳孔检测方法，本发明实施例还提供了一种瞳孔检测装置。参见图8所示的一种瞳孔检测装置的结构示意图，该装置包括：
提取模块801，用于对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；
筛选模块802，用于基于预设的边界点限制条件，对各个所述候选边界点进行边界点筛选，得到多个目标边界点；
确定模块803，用于通过对各个所述目标边界点进行椭圆拟合，得到瞳孔检测结果。
进一步地，所述边界点限制条件包括边界点曲率方向条件，所述边界点曲率方向条件为边界点的切线方向与椭圆中心指向边界点的向量所成的角度，位于以90°为中心的预设角度范围内；上述筛选模块802具体用于：
对各个所述候选边界点进行椭圆拟合，得到拟合结果数据；其中，所述拟合结果数据包括椭圆中心点；
对于每个所述候选边界点，基于所述拟合结果数据，判断该候选边界点是否满足所述边界点曲率方向条件，得到第一判断结果；
根据所述第一判断结果，确定该候选边界点是否为目标边界点。
进一步地，上述筛选模块802还用于：
确定该候选边界点对应的第一向量和第二向量；其中，所述第一向量为所述椭圆中心点指向该候选边界点的向量，所述第二向量为该候选边界点的前一候选边界点指向该候选边界点的下一候选边界点的向量；
判断所述第一向量和所述第二向量的点积的绝对值是否小于第一预设值；
如果是，确定所述第一判断结果为是。
进一步地，所述边界点限制条件还包括边界点凹凸性条件，所述边界点凹凸性条件为各个边界点所在位置的凹凸性保持一致；上述筛选模块802还用于：
当所述第一判断结果为是时，基于所述拟合结果数据，判断该候选边界点是否满足所述边界点凹凸性条件，得到第二判断结果；
根据所述第二判断结果，确定该候选边界点是否为目标边界点。
进一步地，上述筛选模块802还用于：
确定该候选边界点对应的第一向量和第三向量；其中，所述第一向量为所述椭圆中心点指向该候选边界点的向量，所述第三向量为该候选边界点指向其下一候选边界点的向量与该候选边界点的前一候选边界点指向该候选边界点的向量的差；
判断所述第一向量和所述第三向量的夹角的余弦值是否小于0；
如果是，确定所述第二判断结果为是。
进一步地，所述边界点限制条件还包括边界区域极值点条件，所述边界区域极值点条件包括边界点距椭圆中心的距离大于短轴长度，且小于长轴长度与第二预设值的和；所述拟合结果数据还包括长轴长度和短轴长度；上述筛选模块802还用于：
当所述第二判断结果为是时，基于所述拟合结果数据，判断该候选边界点是否满足所述边界区域极值点条件，得到第三判断结果；
当所述第三判断结果为是时，确定该候选边界点为目标边界点。
进一步地，上述筛选模块802还用于：
计算得到所述椭圆中心点与该候选边界点之间的长度；
判断所述长度是否大于所述短轴长度，且小于所述长轴长度与所述第二预设值的和；
如果是，确定所述第三判断结果为是。
本实施例所提供的瞳孔检测装置，其实现原理及产生的技术效果和前述瞳孔检测方法实施例相同，为简要描述，瞳孔检测装置实施例部分未提及之处，可参考前述瞳孔检测方法实施例中相应内容。
如图9所示，本发明实施例提供的一种电子设备900，包括：处理器901、存储器902和总线，存储器902存储有可在处理器901上运行的计算机程序，当电子设备900运行时，处理器901与存储器902之间通过总线通信，处理器901执行计算机程序，以实现上述瞳孔检测方法。
具体地，上述存储器902和处理器901能够为通用的存储器和处理器，这里不做具体限定。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的瞳孔检测方法。该计算机可读存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种瞳孔检测方法，其特征在于，包括：
对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；
基于预设的边界点限制条件，对各个所述候选边界点进行边界点筛选，得到多个目标边界点；
通过对各个所述目标边界点进行椭圆拟合，得到瞳孔检测结果。
2.根据权利要求1所述的方法，其特征在于，所述边界点限制条件包括边界点曲率方向条件，所述边界点曲率方向条件包括边界点的切线方向与椭圆中心指向边界点的向量所成的角度，位于以90°为中心的预设角度范围内；所述基于预设的边界点限制条件，对各个所述候选边界点进行边界点筛选，得到多个目标边界点，包括：
对各个所述候选边界点进行椭圆拟合，得到拟合结果数据；其中，所述拟合结果数据包括椭圆中心点；
对于每个所述候选边界点，基于所述拟合结果数据，判断该候选边界点是否满足所述边界点曲率方向条件，得到第一判断结果；
根据所述第一判断结果，确定该候选边界点是否为目标边界点。
3.根据权利要求2所述的方法，其特征在于，所述基于所述拟合结果数据，判断该候选边界点是否满足所述边界点曲率方向条件，得到第一判断结果，包括：
确定该候选边界点对应的第一向量和第二向量；其中，所述第一向量为所述椭圆中心点指向该候选边界点的向量，所述第二向量为该候选边界点的前一候选边界点指向该候选边界点的下一候选边界点的向量；
判断所述第一向量和所述第二向量的点积的绝对值是否小于第一预设值；
如果是，确定所述第一判断结果为是。
4.根据权利要求2所述的方法，其特征在于，所述边界点限制条件还包括边界点凹凸性条件，所述边界点凹凸性条件为各个边界点所在位置的凹凸性保持一致；所述根据所述第一判断结果，确定该候选边界点是否为目标边界点，包括：
当所述第一判断结果为是时，基于所述拟合结果数据，判断该候选边界点是否满足所述边界点凹凸性条件，得到第二判断结果；
根据所述第二判断结果，确定该候选边界点是否为目标边界点。
5.根据权利要求4所述的方法，其特征在于，所述基于所述拟合结果数据，判断该候选边界点是否满足所述边界点凹凸性条件，得到第二判断结果，包括：
确定该候选边界点对应的第一向量和第三向量；其中，所述第一向量为所述椭圆中心点指向该候选边界点的向量，所述第三向量为该候选边界点指向其下一候选边界点的向量与该候选边界点的前一候选边界点指向该候选边界点的向量的差；
判断所述第一向量和所述第三向量的夹角的余弦值是否小于0；
如果是，确定所述第二判断结果为是。
6.根据权利要求4所述的方法，其特征在于，所述边界点限制条件还包括边界区域极值点条件，所述边界区域极值点条件包括边界点距椭圆中心的距离大于短轴长度，且小于长轴长度与第二预设值的和；所述拟合结果数据还包括长轴长度和短轴长度；所述根据所述第二判断结果，确定该候选边界点是否为目标边界点，包括：
当所述第二判断结果为是时，基于所述拟合结果数据，判断该候选边界点是否满足所述边界区域极值点条件，得到第三判断结果；
当所述第三判断结果为是时，确定该候选边界点为目标边界点。
7.根据权利要求6所述的方法，其特征在于，所述基于所述拟合结果数据，判断该候选边界点是否满足所述边界区域极值点条件，得到第三判断结果，包括：
计算得到所述椭圆中心点与该候选边界点之间的长度；
判断所述长度是否大于所述短轴长度，且小于所述长轴长度与所述第二预设值的和；
如果是，确定所述第三判断结果为是。
8.一种瞳孔检测装置，其特征在于，包括：
提取模块，用于对待检测的瞳孔图像进行瞳孔边界点提取，得到多个候选边界点；
筛选模块，用于基于预设的边界点限制条件，对各个所述候选边界点进行边界点筛选，得到多个目标边界点；
确定模块，用于通过对各个所述目标边界点进行椭圆拟合，得到瞳孔检测结果。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410057368.5A CN117860189A (zh) | 2024-01-15 | 2024-01-15 | 瞳孔检测方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410057368.5A CN117860189A (zh) | 2024-01-15 | 2024-01-15 | 瞳孔检测方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117860189A true CN117860189A (zh) | 2024-04-12 |
Family
ID=90584368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410057368.5A Pending CN117860189A (zh) | 2024-01-15 | 2024-01-15 | 瞳孔检测方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117860189A (zh) |
-
2024
- 2024-01-15 CN CN202410057368.5A patent/CN117860189A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bajwa et al. | Two-stage framework for optic disc localization and glaucoma classification in retinal fundus images using deep learning | |
| Salam et al. | Automated detection of glaucoma using structural and non structural features | |
| Narasimha-Iyer et al. | Robust detection and classification of longitudinal changes in color retinal fundus images for monitoring diabetic retinopathy | |
| Odstrcilik et al. | Retinal vessel segmentation by improved matched filtering: evaluation on a new high‐resolution fundus image database | |
| Giachetti et al. | Accurate and reliable segmentation of the optic disc in digital fundus images | |
| Lu et al. | Automatic optic disc detection from retinal images by a line operator | |
| Khan et al. | A region growing and local adaptive thresholding-based optic disc detection | |
| KR20190087272A (ko) | 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치 | |
| Al-Fahdawi et al. | A fully automatic nerve segmentation and morphometric parameter quantification system for early diagnosis of diabetic neuropathy in corneal images | |
| Almazroa et al. | An automatic image processing system for glaucoma screening | |
| Krishnan et al. | Glaucoma detection from retinal fundus images | |
| Panda et al. | Deep convolutional neural network-based patch classification for retinal nerve fiber layer defect detection in early glaucoma | |
| CN111507932A (zh) | 高特异性的糖尿病性视网膜病变特征检测方法及存储设备 | |
| Herrera-Pereda et al. | A review on digital image processing techniques for in-vivo confocal images of the cornea | |
| WO2020236729A1 (en) | Deep learning-based segmentation of corneal nerve fiber images | |
| Sekhar et al. | Automated localization of retinal features | |
| CN115731203A (zh) | 白内障图像识别方法、装置、计算机设备和可读存储介质 | |
| WO2023036899A1 (en) | Method and system for retinal tomography image quality control | |
| Kauer-Bonin et al. | Modular deep neural networks for automatic quality control of retinal optical coherence tomography scans | |
| Jaafar et al. | Decision support system for the detection and grading of hard exudates from color fundus photographs | |
| Noah Akande et al. | Implementation of a framework for healthy and diabetic retinopathy retinal image recognition | |
| Toptaş et al. | Detection of optic disc localization from retinal fundus image using optimized color space | |
| CN117860189A (zh) | 瞳孔检测方法、装置、电子设备及计算机可读存储介质 | |
| Asem et al. | Blood vessel segmentation in modern wide-field retinal images in the presence of additive Gaussian noise | |
| Wang et al. | Study on correlation between subjective and objective metrics for multimodal retinal image registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |