CN111027502B - 眼部图像定位方法、装置、电子设备及计算机存储介质 - Google Patents

眼部图像定位方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN111027502B
CN111027502B CN201911304601.0A CN201911304601A CN111027502B CN 111027502 B CN111027502 B CN 111027502B CN 201911304601 A CN201911304601 A CN 201911304601A CN 111027502 B CN111027502 B CN 111027502B
Authority
CN
China
Prior art keywords
gray value
coordinate
eye image
determining
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911304601.0A
Other languages
English (en)
Other versions
CN111027502A (zh
Inventor
刘崇伟
陈岩
方攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911304601.0A priority Critical patent/CN111027502B/zh
Publication of CN111027502A publication Critical patent/CN111027502A/zh
Application granted granted Critical
Publication of CN111027502B publication Critical patent/CN111027502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Abstract

本申请实施例提供了一种眼部图像定位方法、装置、电子设备及计算机存储介质，可以通过获取目标用户的眼部图像；获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标；根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像；根据所述替换后的眼部图像确定瞳孔中心坐标。如此可以对眼部图像进行处理来确定瞳孔中心位置和亮斑中心位置，大大提升了眼部图像定位的精度。

Description

眼部图像定位方法、装置、电子设备及计算机存储介质
技术领域
本申请涉及图像定位技术领域，特别是一种眼部图像定位方法、装置、电子设备及计算机存储介质。
背景技术
随着技术的进步，通过视线对电子设备进行操控已经不再是天方夜谭，眼球追踪技术也日新月异，常用的眼球追踪技术包括瞳孔中心角膜反射技术(pupil centrecorneal reflection，PCCR)等，PCCR通过物理追踪设备的摄像头捕捉光源对瞳孔照射形成的高度可见反射光的图像，提取图像中的实现特征参数如瞳孔中心位置和亮斑中心位置，最后通过对角膜、瞳孔反射形成向量的方向以及其他几何特征的计算，得出眼球的注视焦点。
目前，在确定瞳孔中心位置和亮斑中心位置的时候，往往是根据眼部图像中的亮度最高的点来确定亮斑中心位置，根据眼部图像中亮度最低的点来确定瞳孔中心位置，若眼部图像中的亮斑在瞳孔外或者存在其他干扰时，无法得到准确的瞳孔之心位置和亮斑中心位置，定位精度大大降低。
发明内容
本申请提出了一种眼部图像定位方法、装置、电子设备及计算机存储介质，可以通过对眼部图像进行处理来确定瞳孔中心位置和亮斑中心位置，大大提升了眼部图像定位的精度。
本申请实施例第一方面提供了一种眼部图像定位方法，所述方法包括：
获取目标用户的眼部图像；
获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；
根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标；
根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像；
根据所述替换后的眼部图像确定瞳孔中心坐标。
本申请实施例第二方面提供了一种眼部图像定位装置，所述装置包括处理单元和通信单元，其中，
所述处理单元，用于获取目标用户的眼部图像；获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标；根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像；根据所述替换后的眼部图像确定瞳孔中心坐标。
本申请实施例第三方面提供了一种电子设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面任一项所描述的方法。
本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面任一项所描述的方法。
本申请实施例第五方面提供了一种计算机产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
通过实施所述申请实施例，可以得到以下有益效果：
上述眼部图像定位方法、装置、电子设备及计算机存储介质，可以通过获取目标用户的眼部图像；获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标；根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像；根据所述替换后的眼部图像确定瞳孔中心坐标。如此可以对眼部图像进行处理来确定瞳孔中心位置和亮斑中心位置，大大提升了眼部图像定位的精度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的眼部图像定位方法的应用场景图；
图2为本申请实施例提供的眼部图像定位方法的流程示意图；
图3为本申请实施例提供的步骤201的流程示意图；
图4为本申请实施例提供的一种眼部图像二值化前后对比图；
图5为本申请实施例提供的另一种眼部图像定位方法的流程示意图；
图6为本申请实施例提供的一种眼部图像处理过程示意图；
图7为本申请实施例提供的一种电子设备的结构示意图；
图8为本申请实施例中提供的一种眼部图像定位装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
下面结合图1对本申请实施例中眼部图像定位方法的系统架构作详细说明，图1为本申请实施例提供的医学图像配准方法的应用场景图，如图所示，O1为眼球中心，P1为瞳孔中心，G1为亮斑中心，可以通过相机获取到眼部图像，O可以为相机的摄像头位置，通过小孔成像原理生成眼部图像，上述P1、G1在该眼部图像上反映为g1、p1，随着视线注视点的移动，p1、g1会形成不同的视线向量，每个向量对应一个唯一的视线注视点，可以通过获取眼部图像，然后根据眼部图像中的瞳孔中心和亮斑中心来确定视线向量，并根据预设的算法来确定上述视线向量对应的在屏幕上的视线注视点S。
通过上述应用场景，可见瞳孔中心和亮斑中心的位置直接可以反映视线注视点，需要准确地定位瞳孔中心和亮斑中心的位置才能提升确定的视线注视点的精确度。
下面结合图2对本申请实施例中的眼部图像定位方法作详细说明，图2为本申请实施例提供的眼部图像定位方法的流程示意图，具体包括以下步骤：
步骤201，获取目标用户的N帧眼部图像。
其中，N为大于1的正整数，并且可以自由设定，如可以设定为获取1s内的60帧原始图像，需要说明的是，原始图像为包括目标用户面部的图像，可以通过基于自适应增强Adaboost算法的级联分类器获取上述目标用户的N帧面部图像，再根据上述N帧面部图像确定上述目标用户的上述N帧眼部图像，举例来说，具体的逐步处理流程可以参见图3，图3为本申请实施例提供的一种步骤201的流程示意图：
310为一帧原始图像，可以通过基于自适应增强Adaboost算法的级联分类器提取出目标用户的面部区域得到面部图像320，同理，继续通过该级联分类器提取出上述面部图像中的眼部区域得到眼部图像330，上述眼部图像330包括瞳孔区域。需要说明的是，有时由于眼镜的存在会对眼部图像的提取产生干扰，未避免上述干扰，上述级联分类器可以根据上述面部图像识别上述目标用户是否配戴眼镜，识别出上述目标用户佩戴眼镜时，具体可以加载第一分类器文件进行眼部图像获取；识别出上述目标用户上述未佩戴眼镜时，可以加载第二分类器文件进行眼部图像获取，上述两种分类器文件为预先训练好的xml文件，其作用如上所述。需要说明的是，图3中未示出配戴眼镜时的情况，图3中目标用户的面部角度等也不构成对本申请的具体限定。
通过获取目标用户的N帧眼部图像，可以根据开源计算机视觉库(Open SourceComputer Vision Library，OpenCV)提供的基于Adaboost算法的级联分类器先后从多帧原始图像中提取出多帧面部图像，然后在多帧面部图像上提取出多帧眼部图像，大大增加了眼部图像定位的精确性。
步骤202，获取所述N帧眼部图像对应的灰度值数据。
其中，上述灰度值数据包括最大灰度值坐标和最小灰度值坐标。
步骤203，根据最大灰度值坐标和最小灰度值坐标确定亮斑中心坐标。
其中，首先，可以确定上述每帧眼部图像中上述最大灰度值坐标和上述最小灰度值坐标的坐标距离，并筛选出上述坐标距离小于预设距离阈值的M帧眼部图像，上述M为小于或等于N的正整数；
具体的，上述坐标距离可以为上述最大灰度值坐标与上述最小灰度值坐标之间的最短直线距离，通过坐标计算可以很简单地确定该坐标距离，之后可以将上述坐标距离小于预设距离阈值的多帧眼部图像筛选出来，将上述坐标距离大于或等于预设阈值的眼部图像作为无效数据，上述预设距离阈值可以设定为该眼部图像的眼睛宽度的六分之一，不同的目标用户可以设定不同的预设距离阈值。
之后，可以判断上述M是否大于或等于预设帧数阈值，若M大于或等于预设帧数阈值，则可以确定上述最大灰度值坐标为上述亮斑中心坐标。
具体的，上述预设帧数阈值可以根据获取到的眼部图像的帧数进行变化，举例来说，若此时获取到了目标用户的100帧眼部图像，此时可以将预设帧数阈值设定为60帧，即只要存在60帧或60帧以上的坐标距离小于上述预设距离阈值的眼部图像，可以认为最大灰度值坐标即为亮斑中心坐标，需要说明的是，若M小于预设帧数阈值，则此时无法基于当前获取到的眼部图像来定位亮斑中心和瞳孔中心，需要重新获取上述目标用户的多帧眼部图像进行分析。
可见，根据预设距离阈值来筛选出相应的M帧眼部图像可以排除掉亮斑在瞳孔外或者有多个亮斑的无效的眼部图像干扰，并基于上述M帧眼部图像是否大于或等于预设帧数阈值的统计计算，来判断定位的亮斑中心位置是否准确，如此可以简洁高效地得到较准确的亮斑中心位置信息。
步骤204，根据所述亮斑中心坐标对所述N帧眼部图像进行灰度值替换处理，得到替换后的N帧眼部图像。
其中，首先可以根据上述最小灰度值坐标的灰度值确定覆盖灰度值，具体的，一般可以在最小灰度值的基础上增加一定数值来确定覆盖灰度值，如覆盖灰度值＝最小灰度值+10或覆盖灰度值＝最小灰度值+15等。
接着，可以将最大灰度值坐标的灰度值替换为上述覆盖灰度值，得到替换后的N帧眼部图像，可以以上述最大灰度值坐标为中心划出一定范围，将该范围内的灰度值都替换为上述覆盖灰度值，如此可以排除掉亮斑中心区域对瞳孔中心的影响，提高定位瞳孔中心坐标的效率和准确度。
步骤205，根据所述替换后的N帧眼部图像确定瞳孔中心坐标。
其中，首先可以根据预设灰度阈值对任意1帧替换后的眼部图像进行二值化处理，得到二值化眼部图像，上述预设灰度阈值可以根据当前眼部图像的灰度值进行变化，一般可以设定得比上述覆盖灰度值稍高，二值化处理之后，上述替换后的眼部图像中低于上述预设灰度阈值的区域的灰度值变为0，高于上述预设灰度阈值的区域的灰度值变为1，此处可以结合图4进行说明，图4为本申请实施例提供的一种眼部图像二值化前后对比图，左侧为二值化之前的眼部图像，右侧为二值化处理之后的眼部图像，可见，二值化处理后仅保留黑白两种颜色，瞳孔区域为黑色，未进行覆盖处理的亮斑区域和瞳孔区域之外的区域为白色。
通过二值化处理可以更加准确地定位瞳孔中心坐标，且将亮斑进行覆盖也可以降低定位瞳孔中心坐标时的干扰。
之后，可以将上述二值化眼部图像与预设瞳孔模板进行匹配，得到瞳孔匹配度，上述预设瞳孔模板可以为与目标用户的眼球大小对应的瞳孔模板，最后根据上述瞳孔匹配度确定上述瞳孔中心坐标。具体的，可以将该瞳孔模板在二值化眼部图像上滑动进行匹配，其滑动区域覆盖整个二值化眼部图像后可以得到最大的瞳孔匹配度位置，根据该位置即可确定瞳孔中心坐标。
通过上述步骤，可以对多帧眼部图像进行处理来确定瞳孔中心位置和亮斑中心位置，大大提升了眼部图像定位的精度。
下面结合图5对本申请实施例中另一种眼部图像定位方法作详细说明，图5为本申请实施例提供的另一种眼部图像定位方法的流程示意图，具体包括以下步骤：
步骤501，获取目标用户的N帧眼部图像。
步骤502，获取所述N帧眼部图像对应的灰度值数据。
步骤503，根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标。
可选的，可以通过将所述最大灰度值坐标和所述最小灰度值坐标输入眼球定位模型，根据所述眼球定位模型的输出确定所述亮斑中心坐标。上述眼球定位模型可以为预先训练好的深度神经网络模型，可以自动定位出亮斑中心坐标。
步骤504，根据所述亮斑中心坐标对所述N帧眼部图像进行灰度值替换处理，得到替换后的N帧眼部图像。
步骤505，根据所述替换后的N帧眼部图像确定瞳孔中心坐标。
步骤506，根据所述亮斑中心坐标和所述瞳孔中心坐标确定视线向量。
其中，可以根据瞳孔中心与亮斑中心之间的连线来确定上述视线向量，上述视线向量可以用于表示目标用户的注视方向。
步骤507，根据所述视线向量确定所述目标用户的注视点。
上述未详细说明的步骤可以参见图2中的方法步骤，在此不再赘述。
下面结合图6对本申请实施例的一种眼部图像定位方法进行举例说明，图6为本申请实施例提供的一种眼部图像处理过程示意图。图610为获取到的眼部图像，此时可以根据minMaxLoc()函数确定最大灰度值和最大灰度值坐标，以及最小灰度值和最小灰度值坐标，并根据getDistance()函数确定上述最大灰度值坐标与上述最小灰度值坐标的距离，之后就可以得到定位出亮斑中心坐标的图620，以上述亮斑中心坐标为中心选择一个圆形区域进行覆盖处理，覆盖灰度值可以为上述最小灰度值加10，经过覆盖处理之后可以得到图630，此时可以使用threshould()函数对图630二值化处理得到二值化眼部图像640，并根据matchtemplate()函数使用预设瞳孔模板631与图640进行匹配，根据匹配结果可以得到定位后的眼部图像650，完成眼部图像定位。
与上述图2、图5所示的实施例一致的，请参阅图7，图7是本申请实施例提供的一种电子设备700的结构示意图，如图所示，所述电子设备700包括处理器701、通信接口702和存储器703，所述处理器701、通信接口702和存储器703通过总线704相互连接，总线704可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。总线704可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行以下步骤的方法：
获取目标用户的眼部图像；
获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；
根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标；
根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像；
根据所述替换后的眼部图像确定瞳孔中心坐标。
在一个可能的示例中，在所述根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标方面，所述程序中的指令具体用于执行以下操作：确定所述眼部图像中所述最大灰度值坐标和所述最小灰度值坐标的坐标距离；
当所述坐标距离满足预设距离阈值，则确定所述最大灰度值坐标为所述亮斑中心坐标。
在一个可能的示例中，所述程序中的指令具体用于执行以下操作：获取目标用户的N帧眼部图像，当N帧眼部图像中的M帧眼部图像的所述坐标距离满足预设距离阈值，则确定所述最大灰度值坐标为所述亮斑中心坐标，其中所述M和N均为正整数，且M小于或等于N。
在一个可能的示例中，在所述根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标方面，所述程序中的指令具体用于执行以下操作：通过将所述最大灰度值坐标和所述最小灰度值坐标输入眼球定位模型，根据所述眼球定位模型的输出确定所述亮斑中心坐标。
在一个可能的示例中，在所述根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像方面，所述程序中的指令具体用于执行以下操作：根据所述最小灰度值坐标的灰度值确定覆盖灰度值；
将最大灰度值坐标的灰度值替换为所述覆盖灰度值，得到所述替换后的眼部图像。
在一个可能的示例中，在所述根据所述替换后的眼部图像确定瞳孔中心坐标方面，所述程序中的指令具体用于执行以下操作：根据预设灰度阈值对所述替换后的眼部图像进行二值化处理，得到二值化眼部图像；
将所述二值化眼部图像与预设瞳孔模板进行匹配，得到瞳孔匹配度；
根据所述瞳孔匹配度确定所述瞳孔中心坐标。
在一个可能的示例中，所述程序中的指令具体还用于执行以下操作：根据所述亮斑中心坐标和所述瞳孔中心坐标确定视线向量；
根据所述视线向量确定所述目标用户的注视点。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图8是本申请实施例中提供的一种眼部图像定位装置800的功能单元组成框图。该眼部图像定位装置800应用于电子设备，所述装置包括处理单元801、通信单元802和存储单元803，其中，所述处理单元801，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元802来完成相应操作。下面进行详细说明。
所述处理单元801，用于获取目标用户的眼部图像；
获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；
根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标；
根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像；
根据所述替换后的眼部图像确定瞳孔中心坐标。
在一个可能的示例中，在所述根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标方面，所述处理单元801具体用于：确定所述眼部图像中所述最大灰度值坐标和所述最小灰度值坐标的坐标距离；
当所述坐标距离满足预设距离阈值，则确定所述最大灰度值坐标为所述亮斑中心坐标。
在一个可能的示例中，所述处理单元801具体用于：获取目标用户的N帧眼部图像，当N帧眼部图像中的M帧眼部图像的所述坐标距离满足预设距离阈值，则确定所述最大灰度值坐标为所述亮斑中心坐标，其中所述M和N均为正整数，且M小于或等于N。
在一个可能的示例中，在所述根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标方面，所述处理单元801具体用于：通过将所述最大灰度值坐标和所述最小灰度值坐标输入眼球定位模型，根据所述眼球定位模型的输出确定所述亮斑中心坐标。
在一个可能的示例中，在所述根据所述亮斑中心坐标对所述眼部图像进行灰度值替换处理，得到替换后的眼部图像方面，所述处理单元801具体用于：根据所述最小灰度值坐标的灰度值确定覆盖灰度值；
将最大灰度值坐标的灰度值替换为所述覆盖灰度值，得到所述替换后的眼部图像。
在一个可能的示例中，在所述根据所述替换后的眼部图像确定瞳孔中心坐标方面，所述处理单元801具体用于：根据预设灰度阈值对所述替换后的眼部图像进行二值化处理，得到二值化眼部图像；
将所述二值化眼部图像与预设瞳孔模板进行匹配，得到瞳孔匹配度；
根据所述瞳孔匹配度确定所述瞳孔中心坐标。
在一个可能的示例中，所述处理单元801具体还用于：根据所述亮斑中心坐标和所述瞳孔中心坐标确定视线向量；
根据所述视线向量确定所述目标用户的注视点。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种眼部图像定位方法，其特征在于，所述方法包括：
获取目标用户的眼部图像；
获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；
确定所述眼部图像中所述最大灰度值坐标和所述最小灰度值坐标的坐标距离；
当所述坐标距离满足预设距离阈值，则确定所述最大灰度值坐标为亮斑中心坐标；
根据所述最小灰度值坐标的灰度值确定覆盖灰度值；
将所述最大灰度值坐标为中心的预设范围内的灰度值替换为所述覆盖灰度值，得到替换后的眼部图像；
根据预设灰度阈值对所述替换后的眼部图像进行二值化处理，得到二值化眼部图像；
将所述二值化眼部图像与预设瞳孔模板进行匹配，得到瞳孔匹配度，所述预设瞳孔模板为与所述目标用户的眼球大小对应的瞳孔模板；
根据所述瞳孔匹配度确定瞳孔中心坐标。
2.根据权利要求1所述的方法，其特征在于，包括：获取目标用户的N帧眼部图像，当N帧眼部图像中的M帧眼部图像的所述坐标距离满足预设距离阈值，则确定所述最大灰度值坐标为所述亮斑中心坐标，其中所述M和N均为正整数，且M小于或等于N。
3.根据权利要求1所述的方法，其特征在于，所述根据所述最大灰度值坐标和所述最小灰度值坐标确定亮斑中心坐标，包括：
通过将所述最大灰度值坐标和所述最小灰度值坐标输入眼球定位模型，根据所述眼球定位模型的输出确定所述亮斑中心坐标。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述方法还包括：
根据所述亮斑中心坐标和所述瞳孔中心坐标确定视线向量；
根据所述视线向量确定所述目标用户的注视点。
5.一种眼部图像定位装置，其特征在于，所述装置包括处理单元和通信单元，其中，
所述处理单元，用于获取目标用户的眼部图像；获取所述眼部图像对应的最大灰度值坐标和最小灰度值坐标；确定所述眼部图像中所述最大灰度值坐标和所述最小灰度值坐标的坐标距离；当所述坐标距离满足预设距离阈值，则确定所述最大灰度值坐标为亮斑中心坐标；根据所述最小灰度值坐标的灰度值确定覆盖灰度值；将所述最大灰度值坐标为中心的预设范围内的灰度值替换为所述覆盖灰度值，得到替换后的眼部图像；根据预设灰度阈值对所述替换后的眼部图像进行二值化处理，得到二值化眼部图像；将所述二值化眼部图像与预设瞳孔模板进行匹配，得到瞳孔匹配度；根据所述瞳孔匹配度确定所述瞳孔中心坐标。
6.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～4任一项所述的方法。
7.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～4任一项所述的方法。
CN201911304601.0A 2019-12-17 2019-12-17 眼部图像定位方法、装置、电子设备及计算机存储介质 Active CN111027502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911304601.0A CN111027502B (zh) 2019-12-17 2019-12-17 眼部图像定位方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911304601.0A CN111027502B (zh) 2019-12-17 2019-12-17 眼部图像定位方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111027502A CN111027502A (zh) 2020-04-17
CN111027502B true CN111027502B (zh) 2023-07-28

Family

ID=70209623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911304601.0A Active CN111027502B (zh) 2019-12-17 2019-12-17 眼部图像定位方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111027502B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100343223B1 (ko) * 1999-12-07 2002-07-10 윤종용 화자 위치 검출 장치 및 그 방법
CN103054548A (zh) * 2012-07-05 2013-04-24 东北电力大学 凝视点测量装置及瞳孔、普尔钦亮斑识别方法
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
CN103136512A (zh) * 2013-02-04 2013-06-05 重庆市科学技术研究院 一种瞳孔定位方法及系统
CN104113680B (zh) * 2013-04-19 2019-06-28 北京三星通信技术研究有限公司 视线跟踪系统及方法
CN103761519B (zh) * 2013-12-20 2017-05-17 哈尔滨工业大学深圳研究生院 一种基于自适应校准的非接触式视线追踪方法
CN104463127A (zh) * 2014-12-15 2015-03-25 三峡大学 瞳孔定位方法和装置
CN105955465A (zh) * 2016-04-25 2016-09-21 华南师范大学 一种桌面便携式视线跟踪方法及装置
CN107833251B (zh) * 2017-11-13 2020-12-04 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN108810423B (zh) * 2018-06-20 2020-07-31 北京优尔博特创新科技有限公司 一种基于图像亮度梯度的光照角度调节方法及系统

Also Published As

Publication number Publication date
CN111027502A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
JP6778247B2 (ja) 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および／またはサブ顔領域との融合
CN105917353B (zh) 用于生物认证的特征提取及匹配以及模板更新
US10580133B2 (en) Techniques for identifying blepharoptosis from an image
KR102393298B1 (ko) 홍채 인식 방법 및 장치
US11132544B2 (en) Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium
CN107527046B (zh) 解锁控制方法及相关产品
US20150294148A1 (en) Eye gaze detection apparatus, computer-readable recording medium storing eye gaze detection program and eye gaze detection method
US20210011550A1 (en) Machine learning based gaze estimation with confidence
EP3627383A1 (en) Anti-counterfeiting processing method, anti-counterfeiting processing apparatus and electronic device
JP6956986B1 (ja) 判定方法、判定装置、及び判定プログラム
CN113657195A (zh) 人脸图像识别方法、设备、电子装置和存储介质
CN111027502B (zh) 眼部图像定位方法、装置、电子设备及计算机存储介质
CN107316281B (zh) 图像处理方法、装置和终端设备
CN115116088A (zh) 近视预测方法、装置、存储介质和程序产品
CN112560553A (zh) 活体检测方法、装置以及存储介质
CN112883767A (zh) 眼跳图像的处理方法及相关产品
CN111914585A (zh) 一种虹膜识别的方法及系统
US20240144722A1 (en) Methods and systems for adaptive binarization thresholding for pupil segmentation
CN111160196A (zh) 一种用于移动终端的虹膜识别辅助定位方法及装置
CN115937959A (zh) 注视信息的确定方法、装置、眼动追踪设备
CN116643647A (zh) 瞳孔定位方法、装置、存储介质、电子设备及智能眼镜
CN116152139A (zh) 美瞳检测和虹膜识别方法、装置、可读存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant