CN115965653A - 一种光斑追踪方法、装置、电子设备及存储介质 - Google Patents

一种光斑追踪方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115965653A
CN115965653A CN202211608969.8A CN202211608969A CN115965653A CN 115965653 A CN115965653 A CN 115965653A CN 202211608969 A CN202211608969 A CN 202211608969A CN 115965653 A CN115965653 A CN 115965653A
Authority
CN
China
Prior art keywords
eye image
light spot
detection area
local detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211608969.8A
Other languages
English (en)
Other versions
CN115965653B (zh
Inventor
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202211608969.8A priority Critical patent/CN115965653B/zh
Publication of CN115965653A publication Critical patent/CN115965653A/zh
Application granted granted Critical
Publication of CN115965653B publication Critical patent/CN115965653B/zh
Priority to PCT/CN2023/132630 priority patent/WO2024125217A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种光斑追踪方法、装置、电子设备及存储介质，所述方法包括：从眼部图像序列提取目标帧眼部图像和待检测帧眼部图像，目标帧眼部图像含有光斑，目标帧眼部图像的采集时间先于待检测帧眼部图像的采集时间，基于光斑从待检测帧眼部图像获取局部检测区，响应于位于局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，第一目标位置为局部检测区内亮度最高的位置。本公开方法可以在保证光斑检测准确率的情况下，降低计算量和设备功耗，提高移动式设备的续航能力。

Description

一种光斑追踪方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种光斑追踪方法、装置、电子设备及存储介质。
背景技术
随着虚拟现实技术的发展，精确的瞳距是虚拟现实(Virtual Reality，VR)设备的重要参数，合适的瞳距不仅可以让用户体验到清晰的图像画面，还可以有身临其境的立体视觉深度感知的效果。
在进行瞳距测量时，需要精确检测虹膜上的光斑位置，然后利用光斑位置确定瞳距参数，以使得VR设备基于瞳距参数调节两个透镜的间距，从而保证用户具有良好的视觉体验。但是，在进行光斑检测时，需要采集用户眼部图像序列，并对眼部图像序列进行全局搜索，存在计算量大、功耗高的问题。
发明内容
根据本公开的一方面，提供了一种光斑追踪方法，所述方法包括：
从眼部图像序列提取目标帧眼部图像和待检测帧眼部图像，所述目标帧眼部图像含有光斑，所述目标帧眼部图像的采集时间先于所述待检测帧眼部图像的采集时间；
基于所述光斑从所述待检测帧眼部图像获取局部检测区；
响应于位于所述局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，所述第一目标位置为所述局部检测区内亮度最高的位置。
根据本公开的另一方面，提供了一种光斑追踪装置，所述装置包括：
提取模块，用于从眼部图像序列提取目标帧眼部图像和待检测帧眼部图像，所述目标帧眼部图像含有光斑，所述目标帧眼部图像的采集时间先于所述待检测帧眼部图像的采集时间；
获取模块，用于基于所述光斑从所述待检测帧眼部图像获取局部检测区；
识别模块，用于响应于位于所述局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，所述第一目标位置为所述局部检测区内亮度最高的位置。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及，
存储程序的存储器；
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本公开示例性实施例所述的方法。
根据本公开的另一方面，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储有计算机指令的所述计算机指令用于使所述计算机执行根据本公开是联系实施例所述的方法。
本公开实施例中提供的一个或多个技术方案，考虑到帧间光斑移动距离短的情况，基于目标帧眼部图像含有的光斑从待检测帧眼部图像获取局部检测区，从而缩小目标帧眼部图像的光斑检测范围。在此基础上，可以将局部检测区内亮度最高的位置设定为第一目标位置，然后基于第一目标位置的像素亮度判断结果确定出待检测帧眼部图像的光斑识别结果，从而确定是否在待检测帧眼部图像中追踪到光斑。可见，本公开示例性实施例的方法在进行光斑追踪时，结合光斑的帧间移动特性，在保证光斑检测准确率的情况下，对待检测帧眼部图像进行局部光斑检测，从而避免采用全局搜索方式对图像进行光斑检测。基于此，本公开示例性实施例的方法可以在保证光斑检测准确率的情况下，降低计算量和设备功耗，提高移动式设备的续航能力。
附图说明
在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
图1示出了根据本公开示例性实施例的光斑追踪方法的流程图；
图2A示出了本公开示例性实施例的一种光斑识别判断原理示意图；
图2B示出了本公开示例性实施例的另一种光斑识别原理示意图；
图3A示出了本公开示例性实施例的眼部视频序列的光斑追踪过程示意图一；
图3B示出了本公开示例性实施例的眼部视频序列的光斑追踪过程示意图二；
图4示出了本公开示例性实施例的局部检测区的坐标系示意图；
图5示出了根据本公开示例性实施例的光斑追踪装置的功能示意性框图；
图6示出了根据本公开示例性实施例的芯片的示意性框图；
图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
对于显示设备来说，例如虚拟现实(Virtual Reality，VR)眼镜，设备需要针对不同的用户对瞳距进行调整，合适的瞳距才能获得合适的物距和像距，而合适的物距和像距才能让用户看清显示设备屏幕上的成像。因此，为了获得精确的瞳距，需要精确地检测并定位虹膜上光斑的位置，光斑位置对于确定瞳距参数至关重要。
在相关技术中，可以通过像素亮度检索、整幅图梯度、图像热力图等任意方式在整幅眼部图像检测光斑的位置。可见，在进行光斑检测时，需要对眼部图像进行全局搜索，这种操作导致设备计算量大，且功耗高的问题，尤其对于移动式设备来说，功耗高意味着电池电量消耗快，不利于续航，并且导致移动式设备容易发热的问题。
针对上述问题，本公开示例性实施例提供一种光斑追踪方法，利用光斑的帧间移动特性，在保证光斑检测准确率的情况下，对待检测帧眼部图像进行局部光斑检测，从而避免在图像中进行光斑的全局搜索，进而降低计算量和设备功耗，提高移动式设备的续航能力。
本公开示例性实施例的方法可以由电子设备或电子设备的芯片执行，该电子设备具有相机、摄像机或者带有图像采集功能。该电子设备可以为智能手机(如Android手机、iOS手机)、可穿戴设备、AR(增强现实)\VR(虚拟现实)设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，MID)等使用闪存存储器件的设备等。该电子设备安装有摄像头，该摄像头可以为单目摄像头、双目摄像头等，其所采集的图像可以为灰度图、彩色图、热成像图等，但不仅限于此。
图1示出了根据本公开示例性实施例的光斑追踪方法的流程图。如图1所示，本公开示例性实施例的光斑追踪方法可以包括：
步骤101：从眼部图像序列提取目标帧眼部图像和待检测帧眼部图像，该目标帧眼部图像含有光斑，目标帧眼部图像的采集时间先于待检测帧眼部图像的采集时间。此处光斑的数量可以为一个，也可以为多个。
本公开示例性实施例的目标帧眼部图像可以是眼部图像序列的第一帧眼部图像，也可以为其它帧眼部图像。目标帧眼部图像和待检测帧眼部图像可以为相邻帧眼部图像，也可以为间隔帧眼部图像。
当目标帧眼部图像和待检测帧眼部图像为相邻帧眼部图像，目标帧眼部图像可以为第k帧眼部图像，相邻帧为第k+1帧眼部图像，k为大于或等于1的整数。当目标帧眼部图像和待检测帧眼部图像为间隔帧眼部图像，目标帧眼部图像可以为第k帧眼部图像，待检测帧眼部图像为第k+r眼部图像，k为大于或等于1的整数，r为大于或等于2的整数。例如：r＝2～4。此时，可以保证目标帧图像和待检测帧图像为眼球沿着单一方向运动时所采集到的眼部图像序列中的两帧，以方便按照帧间移动特点确定局部检测区在待检测帧眼部图像的区域，保证确定的局部检测区域准确，提高光斑识别成功率。
在实际应用中，本公开示例性实施例的眼部图像序列可以包括多帧眼部图像的图像序列，例如可以是通过图像采集设备采集的包括目标对象的眼部的视频文件。本公开示例性实施例的眼部图像可以是人类的眼部图像也可以为动物图像，并且眼部图像序列可以只含有眼睛、包含眼睛的面部图像或者包含眼睛的全身图像等。
示例性的，可以对目标帧眼部图像进行灰度化，然后对目标帧眼部图像进行光斑检测，光斑检测的方式可以为像素亮度检索、整幅图梯度、图像热力图等任意方式，本公开对此不作限定。
步骤102：基于光斑从待检测帧眼部图像获取局部检测区。此时，在目标帧眼部图像检测到多个光斑时，可以获取多个局部检测区，以使得每个光斑均可以在待检测帧眼部图像中获取到对应的局部检测区。可见，目标帧眼部图像的光斑与待检测帧眼部图像的局部检测区一一对应，即目标帧眼部图像的光斑数量与待检测帧眼部图像的局部检测区数量相同。
在本公开的一些示例性实施例中，局部检测区的几何中心可以与目标帧眼部图像对应的光斑中心重合。其中，光斑中心可以为光斑的几何中心，也可以为光斑中亮度最高的位置。
当局部检测区的几何中心与光斑的几何中心重合时，可以按照光斑的几何中心坐标在待检测帧眼部图像上确定局部检测区的几何中心，使得局部检测区的几何中心坐标与光斑的几何中心坐标重合，然后基于光斑的尺寸确定局部检测区的尺寸，以使得局部检测区的尺寸大于光斑的尺寸。换句话说，在进行光斑检测时，在目标帧眼部图像检测到光斑后，可以以光斑的几何中心为中心，基于光斑在帧间移动特点将光斑所覆盖的区域扩大，从而获得局部检测区的尺寸。需要说明的是，本公开实施例中局部检测区的尺寸大于光斑的尺寸可以为：由光斑的边缘限定的区域位于对应的局部检测区的边缘限定的区域内，并且由光斑的边缘限定的区域面积小于对应的局部检测区的边缘限定的区域面积。在一些示例中，光斑和局部检测区可以均为圆形，此时局部检测区的径向尺寸可以比光斑的径向尺寸大1个像素到3个像素。
当局部检测区的几何中心与光斑中亮度最高的位置重合时，示例性的，可以确定目标帧眼部图像包括的光斑中亮度最高的位置(定义为亮度中心)，然后将根据亮度中心的坐标在待检测帧眼部图像确定对应的局部检测区的几何中心，使得局部检测区的几何中心的坐标与亮度中心的坐标重合，然后基于光斑在帧间移动特点，设置局部检测区域的尺寸，从而确定局部检测区域在待检测帧眼部图像中占据的区域。
步骤103：响应于位于局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，第一目标位置为局部检测区内亮度最高的位置。
在实际应用中，本公开示例性实施例可以判断位于局部检测区中的第一目标位置的像素亮度是否满足光斑中心约束条件，从而获得像素亮度判断结果。若位于局部检测区中的第一目标位置的像素亮度满足光斑中心约束条件，可以确定光斑识别结果包括：局部检测区与待检测光斑具有交集，其中，待检测光斑为所述目标帧眼部图像的光斑在待检测帧眼部图像中被追踪到的光斑。若位于局部检测区中的第一目标位置的像素亮度不满足光斑中心约束条件，说明该局部检测区不包含真实的光斑，因此，可以确定光斑识别结果包括：目标帧眼部图像的光斑在待检测帧眼部图像消失。需要说明的是，第一目标位置可以对应局部检测区中的一个像素，也可以对应局部检测区中的多个像素，与实际采用的第一目标位置的确定方法相关。例如，在本公开一些实施例中，可以将局部检测区的灰度质心作为第一目标位置，此时第一目标位置对应局部检测区中位于灰度质心坐标位置的一个像素。
当目标帧眼部图像的光斑数量为多个时，此处的局部检测区与目标帧眼部图像的光斑对应，可以基于目标帧眼部图像中的多个光斑从待检测帧眼部图像中获取对应的多个局部检测区，其中，局部检测区表征了目标帧眼部图像的对应光斑在待检测帧眼部图像中可能的位置。
当目标帧眼部图像的光斑数量为多个时，本公开示例性实施例的方法还包括：将目标帧眼部图像的多个光斑中心坐标保存在光斑序列数组中，若位于所述局部检测区中的所述第一目标位置满足光斑中心约束条件，使用第一目标位置的坐标更新所述光斑序列数组中所述局部检测区对应的光斑中心坐标；若位于局部检测区中的所述第一目标位置不满足光斑中心约束条件，在光斑序列数组中与该局部检测区对应的位置使用空数组占位，以实现光斑序列数组的更新。
当采用上述方式更新目标帧眼部图像的光斑序列数组后，可以保证待检测帧眼部图像的光斑序列数组的光斑次序与目标帧眼部图像的光斑序列数组的光斑次序相同。也就是说，当目标帧眼部图像的光斑序列数组的各位置的光斑中心坐标确定后，如果基于该光斑中心坐标从待检测帧眼部图像获取的局部检测区包含真实的光斑，那么可以将光斑序列数组中该光斑中心坐标替换为局部检测区的第一目标位置的坐标，如果基于该光斑中心坐标从待检测帧眼部图像获取的局部检测区不包含真实的光斑，那么可以将目标帧眼部图像的光斑序列数组中该光斑中心坐标通过空数组替代。
可见，当待检测帧眼部图像的光斑序列数组的光斑次序与目标帧眼部图像的光斑序列数组的光斑次序相同，待检测帧眼部图像的光斑序列数组实质反映了目标帧眼部图像的光斑追踪结果，因此，可以根据待检测帧眼部图像对应的光斑序列数组中各个位置是否为空数组，确定是否在待检测帧眼部图像追踪到对应的光斑，从而达到对指定光斑进行追踪的目的。例如：如果待检测帧眼部图像的光斑序列数组中的某个位置的数组为空数组，则说明目标帧眼部图像的光斑序列数组相同位置对应的光斑在待检测帧眼部图像没有被追踪到。
在一种可选方式中，上述眼部图像序列由图像采集设备采集。本公开示例性实施例的基于光斑从待检测帧眼部图像获取局部检测区可以包括：基于图像采集设备的采集帧率确定局部检测区的尺寸参数，基于光斑中心和局部检测区的尺寸参数确定局部检测区。应理解，单位像素尺寸由图像采集设备的感光参数确定。
当基于图像采集设备的采集帧率确定局部检测区的尺寸参数时，可以采用统计的方式确定帧间光斑移动距离，然后基于帧间光斑移动距离和眼部图像序列中的眼部图像的单位像素尺寸确定局部检测区的尺寸参数。应理解，可以定义目标帧眼部图像和待检测帧眼部图像为帧间，而帧间光斑移动距离可以是指光斑从目标帧眼部图像开始到待检测帧眼部图像开始的移动距离。
示例性的，考虑到采集帧率越大时，相邻帧眼部图像的采集间隔时长越短，使得帧间光斑移动距离也就越小。相反，当采集帧率越小时，相邻帧眼部图像的采集间隔时长越长，使得帧间光斑移动距离也就越大。可见，局部检测区的尺寸与眼部图像序列的帧间光斑移动距离正相关。
示例性的，本公开示例性实施例的局部检测区的尺寸参数不仅可以基于图像采集设备的采集帧率确定帧间光斑移动距离，还可以同时结合局部检测区的几何形状和图像采集设备的采集帧率，确定局部检测区的尺寸参数或者说在待检测帧眼部图像的覆盖范围。举例来说，当局部检测区为近似圆形时，尺寸参数可以包括径向尺寸，如半径或者直径。当局部检测区为矩形时，尺寸参数包括对角线参数，例如对角线长度或者对角顶点坐标。
示例性的，在利用图像采集设备采集眼部图像序列时，可以每毫秒便采集一帧眼部图像，使得从目标帧眼部图像到待检测帧眼部图像的光斑中心移动距离比较短。可以将目标帧眼部图像的光斑中心设置为局部检测区的几何中心，在此基础上，基于局部检测区的几何形状和图像采集设备的采集帧率(或者帧间光斑移动距离)，可以准确定位局部检测区的位置和覆盖面积。这种情况下，该局部检测区属于待检测帧眼部图像的局部区域，从而在对待检测帧眼部图像进行光斑检测时不需要针对待检测帧眼部图像的所有像素进行检测，减少了光斑检测的计算量和设备功耗。
示例性的，以像素为单元时，可以采用帧间光斑移动距离和单位像素尺寸的比值确定局部检测区的几何中心到局部检测区的边缘的像素数量，若帧间光斑移动距离和单位像素尺寸的比值为小数时，可以对帧间光斑移动距离和单位像素尺寸的比值进行向上取整，使得局部检测区的范围比目标帧眼部图像中对应的光斑范围略大，从而避免在后续确认局部检测区是否包含真正光斑时出现误差。
当目标帧眼部图像和待检测帧眼部图像为相邻帧眼部图像时，局部检测区的尺寸参数大于或等于N，
Figure BDA0003998721480000071
N表示局部检测区的几何中心到局部检测区的边缘的最少像素数量，d0表示帧间光斑移动距离，dpix表示眼部图像序列的单位像素尺寸，
Figure BDA0003998721480000072
表示向上取整符号。可见，局部检测区的尺寸与眼部图像序列含有的每帧眼部图像的单位像素尺寸负相关，局部检测区的尺寸与帧间光斑移动距离正相关。
在一种可选方式中，本公开示例性实施例的光斑中心约束条件包括：第一目标位置的亮度与目标亮度的差值大于或等于亮度阈值，其中该目标亮度由至少一个第二目标位置的亮度确定，该第二目标位置位于局部检测区的边缘。也就是说，当第一目标位置为局部检测区内亮度最高的位置时，可以以亮度阈值作为依据，确定局部检测区的亮度是否明显高于局部检测区周边区域的亮度。应理解，亮度阈值可以根据实际情况设置。
示例性的，如果第一目标位置的像素亮度与目标亮度的差值大于或等于亮度阈值，说明局部检测区的亮度特别高，已经明显高于局部检测区周边区域的亮度，因此，该局部检测区对应的目标帧眼部图像的光斑在待检测帧眼部图像上被追踪到；如果第一目标位置与目标亮度的差值小于亮度阈值，说明局部检测区的亮度比较低，已经明显低于局部检测区周边区域的亮度，其不是真实的光斑，该局部检测区对应的目标帧眼部图像的光斑在待检测帧眼部图像上消失。
示例性的，上述第二目标位置与第一目标位置之间的距离可以满足：d≤d’≤dmax，d表示第一目标位置与局部检测区的轮廓位置之间的距离，d’表示第一目标位置与第二目标位置之间的距离，dmax表示第一目标位置与第二目标位置之间的最大距离。可见，第二目标位置实质为局部检测区的轮廓线上的某个位置或离局部检测区的轮廓线比较近的非局部检测区的某个位置。应理解，若第一目标位置与第二目标位置之间的最大距离大于d时，可以设定dmax-d＝Δd，Δd可以根据实际情况设计。
当第二目标位置可以为多个，可以基于多个第二目标位置的像素亮度确定目标亮度，例如：目标亮度可以为基于多个第二目标位置的像素亮度平均值。例如，可以将多个第二目标位置的像素亮度平均值设定为目标亮度，然后判断第一目标位置的亮度是否大于目标亮度，以确定第一目标位置的像素亮度是否满足光斑中心约束条件，从而避免非局部检测区的局部像素过亮所导致的检测误差。
在实际应用中，待检测帧眼部图像中的第二目标位置的像素可以位于第一目标位置的像素各个方向，例如：上方、下方、左侧及右侧，当然也可是其它方向。局部检测区的形状可以为圆形、椭圆形、矩形、不规则形状等。下面以圆形为例进行说明。
当第二目标位置的数量为一个时，图2A示出了本公开示例性实施例的一种光斑识别判断原理示意图。如图2A所示，局部检测区200为矩形的局部检测区，第一目标位置的像素用O表示，第二目标位置的像素用P1表示。
如图2A所示，假设第一目标位置的像素O与局部检测区的几何中心所在像素重合，第二目标位置的像素P1位于局部检测区300的边缘线所经过的像素(参考图3A)，也可以位于局部检测区300以外的非局部检测区(未示出)，且与局部检测区300的轮廓线所在像素相邻(未示出)或不相邻(未示出)。
如图2A所示，在第二目标位置的像素数量为一个的情况下，目标亮度为第一目标位置对应的像素O的亮度，可以计算像素O的亮度和像素P1的亮度差值是否大于或等于亮度阈值，如果大于或等于亮度阈值，则可以判断出第一目标位置的像素亮度满足光斑中心约束条件，否则不满足光斑中心约束条件。
当第二目标位置的数量为多个时，图2B示出了本公开示例性实施例的另一种光斑识别原理示意图。如2B所示，局部检测区200为矩形的局部检测区，第一目标位置的像素用O表示，第二目标位置的数量为四个，分别为位于第一目标位置的像素O上方的上部像素P1、位于第一目标位置的像素O下方的下部像素P2、位于第一目标位置的像素O左侧的左侧像素P3和位于第一目标位置的像素O右侧的右侧像素P4。应理解，上部像素P1、下部像素P2、左侧像素P3和右侧像素P4可以位于局部检测区200的边缘线所经过的像素，也可以位于局部检测区300以外的非局部检测区(未示出)，且与局部检测区300的轮廓线所在像素相邻(未示出)或不相邻(未示出)。
如图2B所示，在第二目标位置的像素数量为四个的情况下，可以计算上部像素P1的像素亮度、下部像素P2的像素亮度、左侧像素P3的像素亮度和右侧像素P4的像素亮度的平均值，将该平均值作为目标亮度，计算像素O的亮度和目标亮度的差值是否大于或等于亮度阈值，如果大于或等于亮度阈值，则可以判断出第一目标位置的像素亮度满足光斑中心约束条件，否则不满足光斑中心约束条件。
采用图2B所示的原理进行光斑识别时，如果上部像素P1、下部像素P2、左侧像素P3和右侧像素P4中的一个亮度异常高，可以通过对其它三个进行求平均，从而综合多个方向的像素亮度，进而准确判断局部检测区200是否为真实的光斑。
在一种可选方式中，本公开示例性实施例可以基于一种或多种光斑检测算法检测局部检测区，获得第一目标位置的像素亮度。光斑检测算法可以为像素亮度检索、整幅图梯度、图像热力图等任意方式。除此之外，还采用灰度质心法、霍夫圆检测法、圆拟合法等方法进行光斑检测，但不限于此。在光斑检测时，其所测得的亮度往往以灰阶值的形式表达，也可以采用其他表示方式，但无论如何，其都应当可以反映亮度。
在一些实施例中，可以是采用一种光斑检测算法对局部检测区，获得第一目标位置的像素亮度。此时，可以将第一目标位置的像素亮度与目标亮度进行求差，然后将求差结果与亮度阈值进行比较，从而进行光斑识别。
在另一种可选方式中，本公开示例性实施例第一目标位置的像素亮度可以为多个第一目标位置的像素亮度加权值。例如：可以采用多种光斑检测算法检测局部检测区，获得多个第一目标位置的像素亮度，然后将多个第一目标位置的像素亮度进行加权，获得第一目标位置的亮度加权值。此时，可以将第一目标位置的亮度加权值与目标亮度进行求差，然后将求差结果与亮度阈值进行比较，从而进行光斑识别。
另外，可以基于历史数据训练权值预测模型，用以预测各种光斑检测算法相应的权值，也可以根据实际经验设置各种光斑检测算法相应的权重，从而减少最终计算值的误差，以更准确判断追踪到的光斑是否为真实的光斑。其中，权值预测模型可以为一个也可以为多个，一个权值预测模型可以预测一种或多种光斑检测算法相应的权重。
为了方便理解本公开示例性实施例的方法，下面举例描述本公开实施例的实现过程，应理解，以下过程用于解释，并不作为限制。
利用分辨率为400*400，帧率为30帧/s的相机采集需要光斑检测的眼部图像序列，对眼部图像序列的第一帧眼部图像(也就是目标眼部图像)进行光斑检测，获得各个光斑中心坐标，这些光斑中心坐标可以认为是各个光斑在眼部图像序列的起始坐标，并将各个光斑中心的坐标保存为光斑序列数组。
图3A示出了本公开示例性实施例的眼部视频序列的光斑追踪过程示意图一。如图3A所示，在眼部视频序列300的第一帧眼部图像的眼球表面上存在第一光斑301、第二光斑302、第三光斑303，经过光斑检测之后，确定第一光斑301的光斑中心坐标为(x11,y11)、第二光斑302的光斑中心坐标为(x12,y12)、第三光斑303的斑中心坐标为(x13,y13)，将第一光斑301光斑中心坐标、第二光斑302光斑中心坐标、第三光斑303光斑中心坐标保存在光斑序列数组Array＝[(x11,y11)，(x12,y12)，(x13,y13)]。其中，x11为第一帧眼部图像的第一光斑横坐标，x12为第一帧眼部图像的第二光斑横坐标，x13为第一帧眼部图像的第三光斑横坐标，y11为第一帧眼部图像的第一光斑纵坐标，y12为第一帧眼部图像的第二光纵横坐标，y13为第一帧眼部图像的第三光斑纵坐标。
在实际应用中，可以按照在第一帧眼部图像检测到光斑中心坐标的顺序在第二帧眼部图像中追踪光斑中心。例如：统计发现，眼球表面形成的光斑面积一般在20个像素以内，在相机帧率为30帧/s的情况下，帧间光斑移动距离在3个像素以内，因此，可以以第一帧眼部图像检测到的三个光斑中心坐标为对应的局部检测区的几何中心，选择6×6像素范围的呈矩形的局部检测区，然后利用光斑检测算法确定第二帧眼部图像中每个局部检测区对应的第一目标位置的像素坐标。应理解，对于第二帧眼部图像之后的各帧眼部图像的光斑追踪，也可以参考第二帧眼部图像的光斑检测过程。下面以第二帧眼部图像为例进行描述。
图3B示出了本公开示例性实施例的眼部视频序列的光斑追踪过程示意图二。如图3B所示，基于第一光斑301的光斑中心坐标在第二帧眼部图像中查找对应的第一局部检测区G1，使得第一局部检测区G1的几何中心坐标为(x11,y11)，基于第二光斑302的光斑中心坐标在第二帧眼部图像中查找对应的第二局部检测区G2，使得第二局部检测区G2的几何中心坐标为(x12,y12)，基于第三光斑303的光斑中心坐标在第二帧眼部图像中查找对应的第三局部检测区G3，使得第三局部检测区G3的几何中心坐标为(x13,y13)。
对于眼部图像序列300的第二帧眼部图像，采用光斑检测算法检测第一局部检测区G1，获得位于第一局部检测区G1的第一目标位置的像素坐标((x21,y21)，采用光斑检测算法检测检测第二局部检测区G2，获得位于第二局部检测区G2的第二目标位置的像素坐标为(x22,y22)，采用光斑检测算法检测检测第三局部检测区G3，获得位于第三局部检测区G3的第一目标位置的像素坐标(x23,y23)。
本公开示例性实施例可以采用灰度质心法检测局部检测区的灰度质心坐标，将局部检测区的灰度质心定义为第一目标位置。在这个过程中，灰度质心可以按局部检测区光强分布求出灰度质心坐标，从而提高局部检测区中亮度最高位置的判断准确性，以进一步保证后续光斑识别的识别精度。
示例性的，本公开示例性实施例局部检测区的灰度质心坐标检测过程包括：
第一步，计算局部检测区内所有像素的灰度值之和Gall。图4示出了本公开示例性实施例的局部检测区的坐标系示意图。其中，以局部检测区的左下角像素C为原点，建立局部检测区坐标系，原点坐标为(0，0)。该局部检测区的右上角像素G的坐标为(m，n)，因此，该局部检测区包括n行m列像素。基于此，局部检测区内所有像素的灰度值之和Gall为：
Figure BDA0003998721480000111
其中，I(i,j)为局部检测区内第i行第j列像素亮度。
第二步，计算局部检测区内每个像素亮度与对应像素在局部检测区坐标系的X坐标平方的乘积之和Gx，每个像素亮度与对应像素在局部检测区坐标系的Y坐标平方的乘积之和Gy，
Figure BDA0003998721480000112
第三步，计算局部检测区的灰度质心坐标(x2,y2)。
Figure BDA0003998721480000113
为了保证所获得的局部检测区为追踪到的光斑，可以判断局部检测区的质心坐标是否为真正的光斑。例如：可以基于局部检测区的灰度质心坐标(x,y)确定第一目标位置的像素坐标，然后利用第一目标位置的像素坐标可以确定第一目标位置的灰度值，也就是局部检测区的质心灰度值，同时计算四个第二目标位置的灰度平均值，获得目标亮度。在此基础上，对第一目标位置的灰度值与目标亮度进行求差，将求差结果与亮度阈值进行比较，从而确定是否满足光斑中心约束条件。其中，当局部检测区为前述的6×6像素范围的矩形区域时，四个第二目标位置的像素坐标分别为(x-3,y)、点(x+3,y)、(x,y-3)和(x,y+3)。
如果求差结果大于或等于亮度阈值，可以认为第一帧眼部图像的光斑在第二帧眼部图像上的理论区域(可以称为理论光斑)与局部检测区具有交集，也就是至少部分重合，例如：局部检测区包含理论光斑，或者局部检测区域与理论光斑部分重叠。另外，在待检测帧眼部图像检测到的局部检测区与目标帧眼部图像中检测到的光斑一一对应，因此，当局部检测区与理论光斑具有交集时，该局部检测区部分重合的理论光斑与目标帧眼部图像中的光斑对应，可以使用位于该局部检测区内的第一目标位置的像素坐标更新对应光斑在光斑序列数组中的像素坐标。例如：对应于目标帧眼部图像中的第k个光斑，此时可将光斑序列数组中对应于第k个光斑的像素坐标更新为位于局部检测区的第一目标位置的像素坐标。如果求差结果小于亮度阈值，可以认为该局部检测区与理论光斑没有交集，该局部检测区不包含真正的光斑，那么在光斑序列数组中与该局部检测区对应的位置，利用空数组进行占位，从而将已经消失的光斑排除在后续帧眼部图像的光斑检测中。应理解，上述理论光斑可以认为是基于帧间光斑移动特点，第一帧眼部图像的光斑在第二帧眼部图像上被追踪到的区域。
以图3A和图3B为例，在图3A中，第一帧眼部图像的光斑序列数组Array＝[(x11,y11)，(x12,y12)，(x13,y13)]。假设第一局部检测区与第一光斑对应的理论光斑具有交集，此时可以将光斑序列数组Array中的(x11,y11)更新为(x21,y21)，假设第二局部检测区与第二光斑对应的理论光斑没有交集，此时可以使用空数组对光斑序列数组Array中的(x12,y12)进行占位，假设第三局部检测区与第三光斑对应的理论光斑具有交集，此时可以将光斑序列数组Array中的(x11,y11)更新为(x23,y23)。可见，本公开示例性实施例在完成第二帧眼部图像的光斑检测后，可以将Array＝[(x11,y11)，(x12,y12)，(x13,y13)]更新为Array＝[(x21,y21)，(0,0)，(x23,y23)]，从而获得第一光斑、第二光斑和第三光斑在第二帧眼部图像的跟踪结果。而由于最新的光斑序列数组继承了第一帧眼部图像的光斑在光斑序列数组中的位置，因此，本公开示例性实施例可以通过最新的光斑序列数组确定第一帧眼部图像中的光斑在第二帧眼部图像中是否消失，以及在第二帧眼部图像中消失的光斑的序号，以及被追踪到的光斑像素坐标。基于此，本公开示例性实施例在针对指定光斑进行追踪时，可以基于指定光斑在光斑序列数组的位置，查询最新的光斑序列数组，以确定其是否在最新的眼部图像中被追踪到。如果从眼部视频序列获取到光斑的运动轨迹，也可以通过记录光斑序列数组的历史信息，基于光斑序列数组的历史信息，从而得到眼部视频序列中光斑的运动轨迹。
本公开实施例中提供的一个或多个技术方案，考虑到帧间光斑移动距离短的情况，在已经检测到目标帧眼部图像含有光斑后，基于光斑从该待检测帧眼部图像获取局部检测区，从而缩小待检测帧眼部图像的光斑检测范围。在此基础上，可以将局部检测区内亮度最高的位置设定为第一目标位置，然后基于第一目标位置的像素亮度判断结果确定出待检测帧眼部图像的光斑识别结果，从而确定是否在待检测帧眼部图像中追踪到光斑，以提高光斑检测准确性。可见，本公开示例性实施例的方法在进行光斑追踪时，结合光斑的帧间移动特性，在保证光斑检测准确率的情况下，对待检测帧眼部图像进行局部光斑检测，从而避免采用全局搜索方式对图像进行光斑检测。
经过测试发现，本公开示例性实施例的方法相对于全局搜索方法可以将计算量缩小至10^3倍，可见，本公开示例性实施例的方法可以在保证光斑检测准确率的情况下，降低计算量和设备功耗，提高移动式设备的续航能力。
上述主要从电子设备的角度对本公开实施例提供的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
本公开实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，本公开示例性实施例提供一种光斑追踪装置，该光斑追踪装置可以为电子设备或应用于电子设备的芯片。图5示出了根据本公开示例性实施例的光斑追踪装置的功能示意性框图。如图5所示，该光斑追踪装置500包括：
提取模块501，用于从眼部图像序列提取目标帧眼部图像和待检测帧眼部图像，所述目标帧眼部图像含有光斑，所述目标帧眼部图像的采集时间先于所述待检测帧眼部图像的采集时间；
获取模块502，用于基于所述光斑从所述待检测帧眼部图像获取局部检测区；
识别模块503，用于响应于位于局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，所述第一目标位置为所述局部检测区内亮度最高的位置。
在一种可能的实现方式中，所述局部检测区的几何中心与光斑中心重合。
在一种可能的实现方式中，所述光斑中心为所述光斑中亮度最高的位置；或，
所述光斑中心为所述光斑的几何中心，所述局部检测区的尺寸大于所述光斑的尺寸。
在一种可能的实现方式中，如图5所示，所述获取模块502用于基于所述图像采集设备的采集帧率确定所述局部检测区的尺寸参数，基于所述目标帧眼部图像的光斑中心和所述局部检测区的尺寸参数确定所述局部检测区。
在一种可能的实现方式中，所述局部检测区的尺寸与所述帧间光斑移动距离正相关。
在一种可能的实现方式中，如图5所示，所述识别模块503还用于采用灰度质心算法检测所述局部检测区，获得所述第一目标位置的像素亮度。
在一种可能的实现方式中，如图5所示，所述第一目标位置的像素亮度为多个所述第一目标位置的亮度加权值，所述识别模块503还用于采用多种光斑检测算法检测检测所述局部检测区，获得多个所述第一目标位置的亮度，对多个所述第一目标位置的亮度进行加权，获得所述第一目标位置的亮度加权值。
在一种可能的实现方式中，如图5所示，所述识别模块503用于若位于所述局部检测区中的所述第一目标位置的像素亮度满足光斑中心约束条件，确定所述光斑识别结果包括：所述局部检测区与待检测光斑具有交集，所述待检测光斑为所述目标帧眼部图像的光斑在所述待检测帧眼部图像中被追踪到的光斑；若位于所述局部检测区中的所述第一目标位置的像素亮度不满足光斑中心约束条件，确定所述光斑识别结果包括：所述目标帧眼部图像的光斑在所述待检测帧眼部图像中消失。
在一种可能的实现方式中，如图5所示，所述目标帧眼部图像的光斑数量为多个，所述识别模块503还用于将所述目标帧眼部图像的多个光斑中心坐标保存在光斑序列数组中；若位于所述局部检测区中的所述第一目标位置满足光斑中心约束条件，使用所述第一目标位置的坐标更新所述光斑序列数组中所述局部检测区对应的光斑中心坐标；若位于所述局部检测区中的所述第一目标位置不满足光斑中心约束条件，在所述光斑序列数组中所述局部检测区对应的位置使用空数组占位。
在一种可能的实现方式中，所述光斑中心约束条件包括：所述第一目标位置的像素亮度与目标亮度的差值大于或等于亮度阈值，其中，所述目标亮度为至少一个第二目标位置的像素亮度确定的亮度，所述第二目标位置位于所述局部检测区的边缘。
在一种可能的实现方式中，所述第二目标位置与所述第一目标位置之间的距离满足：
d≤d’≤dmax，d表示所述第一目标位置与所述局部检测区的轮廓位置之间的距离，d’表示所述第一目标位置与所述第二目标位置之间的距离，dmax表示所述第一目标位置与所述第二目标位置之间的最大距离。
图6示出了根据本公开示例性实施例的芯片的示意性框图。如图6所示，该芯片600包括一个或两个以上(包括两个)处理器601和通信接口602。通信接口602可以支持电子设备执行上述方法中的数据收发步骤，处理器601可以支持电子设备执行上述方法中的数据处理步骤。
可选的，如图6所示，该芯片600还包括存储器603，存储器603可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。
在一些实施方式中，如图6所示，处理器601通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。处理器601控制终端设备中任一个的处理操作，处理器还可以称为中央处理单元(central processing unit，CPU)。存储器603可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器603的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图6中将各种总线都标为总线系统604。
上述本公开实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing，DSP)、ASIC、现成可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
如图7所示，电子设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向电子设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
如图7所示，计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理。例如，在一些实施例中，本公开示例性实施例的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。在一些实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD)，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、显示终端或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
尽管结合具体特征及其实施例对本公开进行了描述，显而易见的，在不脱离本公开的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本公开的示例性说明，且视为已覆盖本公开范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包括这些改动和变型在内。

Claims (14)

1.一种光斑追踪方法，其特征在于，所述方法包括：
从眼部图像序列提取目标帧眼部图像和待检测帧眼部图像，所述目标帧眼部图像含有光斑，所述目标帧眼部图像的采集时间先于所述待检测帧眼部图像的采集时间；
基于所述光斑从所述待检测帧眼部图像获取局部检测区；
响应于位于所述局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，所述第一目标位置为所述局部检测区内亮度最高的位置。
2.根据权利要求1所述的方法，其特征在于，所述局部检测区的几何中心与光斑中心重合。
3.根据权利要求2所述的方法，其特征在于，所述光斑中心为所述光斑中亮度最高的位置；或，
所述光斑中心为所述光斑的几何中心，所述局部检测区的尺寸大于所述光斑的尺寸。
4.根据权利要求1所述的方法，其特征在于，所述眼部图像序列由图像采集设备采集，所述基于光斑从所述待检测帧眼部图像获取局部检测区，包括：
基于所述图像采集设备的采集帧率确定所述局部检测区的尺寸参数；
基于所述目标帧眼部图像的光斑中心和所述局部检测区的尺寸参数确定所述局部检测区。
5.根据权利要求4所述的方法，其特征在于，所述局部检测区的尺寸与所述帧间光斑移动距离正相关。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采用灰度质心算法检测所述局部检测区，获得所述第一目标位置的像素亮度。
7.根据权利要求1所述的方法，其特征在于，所述第一目标位置的像素亮度为多个所述第一目标位置的亮度加权值，所述方法还包括：
采用多种光斑检测算法检测所述局部检测区，获得多个所述第一目标位置的亮度；
对多个所述第一目标位置的亮度进行加权，获得所述第一目标位置的亮度加权值。
8.根据权利要求1～7任一项所述的方法，其特征在于，所述响应于位于局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，包括：
若位于所述局部检测区中的所述第一目标位置的像素亮度满足光斑中心约束条件，确定所述光斑识别结果包括：所述局部检测区与待检测光斑具有交集，所述待检测光斑为所述目标帧眼部图像的光斑在所述待检测帧眼部图像中被追踪到的光斑；
若位于所述局部检测区中的所述第一目标位置的像素亮度不满足光斑中心约束条件，确定所述光斑识别结果包括：所述目标帧眼部图像的光斑在所述待检测帧眼部图像中消失。
9.根据权利要求1所述的方法，其特征在于，所述目标帧眼部图像的光斑数量为多个，所述方法还包括：
将所述目标帧眼部图像的多个光斑中心坐标保存在光斑序列数组中；
若位于所述局部检测区中的所述第一目标位置满足光斑中心约束条件，使用所述第一目标位置的坐标更新所述光斑序列数组中所述局部检测区对应的光斑中心坐标；
若位于所述局部检测区中的所述第一目标位置不满足光斑中心约束条件，在所述光斑序列数组中所述局部检测区对应的位置使用空数组占位。
10.根据权利要求8所述的方法，其特征在于，所述光斑中心约束条件包括：所述第一目标位置的像素亮度与目标亮度的差值大于或等于亮度阈值；其中，所述目标亮度为至少一个第二目标位置的像素亮度确定的亮度，所述第二目标位置位于所述局部检测区的边缘。
11.根据权利要求8所述的方法，其特征在于，所述第二目标位置与所述第一目标位置之间的距离满足：
d≤d’≤dmax，d表示所述第一目标位置与所述局部检测区的轮廓位置之间的距离，d’表示所述第一目标位置与所述第二目标位置之间的距离，dmax表示所述第一目标位置与所述第二目标位置之间的最大距离。
12.一种光斑追踪装置，其特征在于，所述装置包括：
提取模块，用于从眼部图像序列提取目标帧眼部图像和待检测帧眼部图像，所述目标帧眼部图像含有光斑，所述目标帧眼部图像的采集时间先于所述待检测帧眼部图像的采集时间；
获取模块，用于基于所述光斑从所述待检测帧眼部图像获取局部检测区；
识别模块，用于响应于位于所述局部检测区中第一目标位置的像素亮度判断结果，确定待检测帧眼部图像的光斑识别结果，所述第一目标位置为所述局部检测区内亮度最高的位置。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
存储程序的存储器；
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1～11中任一项所述的方法。
14.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储有计算机指令的所述计算机指令用于使所述计算机执行根据权利要求1～11中任一项所述的方法。
CN202211608969.8A 2022-12-14 2022-12-14 一种光斑追踪方法、装置、电子设备及存储介质 Active CN115965653B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211608969.8A CN115965653B (zh) 2022-12-14 2022-12-14 一种光斑追踪方法、装置、电子设备及存储介质
PCT/CN2023/132630 WO2024125217A1 (zh) 2022-12-14 2023-11-20 一种光斑追踪方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211608969.8A CN115965653B (zh) 2022-12-14 2022-12-14 一种光斑追踪方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115965653A true CN115965653A (zh) 2023-04-14
CN115965653B CN115965653B (zh) 2023-11-07

Family

ID=87362795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211608969.8A Active CN115965653B (zh) 2022-12-14 2022-12-14 一种光斑追踪方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN115965653B (zh)
WO (1) WO2024125217A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117053718A (zh) * 2023-10-11 2023-11-14 贵州黔程弘景工程咨询有限责任公司 基于梁底线形测量的梁底线形模型生成方法
WO2024125217A1 (zh) * 2022-12-14 2024-06-20 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN112287805A (zh) * 2020-10-29 2021-01-29 地平线(上海)人工智能技术有限公司 运动物体的检测方法、装置、可读存储介质及电子设备
CN112692453A (zh) * 2020-12-16 2021-04-23 西安中科微精光子制造科技有限公司 利用高速相机识别气膜孔穿透区域的方法、系统及介质
US20210241487A1 (en) * 2019-01-31 2021-08-05 Beijing Boe Optoelectronics Technology Co., Ltd. Pupil positioning method and apparatus, vr/ar apparatus and computer readable medium
CN113887547A (zh) * 2021-12-08 2022-01-04 北京世纪好未来教育科技有限公司 关键点检测方法、装置和电子设备
CN114429670A (zh) * 2020-10-29 2022-05-03 北京七鑫易维信息技术有限公司 瞳孔检测方法、装置、设备及存储介质
CN114862828A (zh) * 2022-05-30 2022-08-05 Oppo广东移动通信有限公司 光斑搜索方法装置、计算机可读介质和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193651B (zh) * 2010-03-11 2014-11-05 株式会社理光 用于识别激光点的设备、方法和系统
CN107506023B (zh) * 2017-07-20 2020-12-08 武汉秀宝软件有限公司 一种墙面图像红外线光斑的追踪方法及系统
CN110191287B (zh) * 2019-06-28 2021-05-11 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112991393A (zh) * 2021-04-15 2021-06-18 北京澎思科技有限公司 目标检测与跟踪方法、装置、电子设备及存储介质
CN115965653B (zh) * 2022-12-14 2023-11-07 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210241487A1 (en) * 2019-01-31 2021-08-05 Beijing Boe Optoelectronics Technology Co., Ltd. Pupil positioning method and apparatus, vr/ar apparatus and computer readable medium
CN110051319A (zh) * 2019-04-23 2019-07-26 七鑫易维(深圳)科技有限公司 眼球追踪传感器的调节方法、装置、设备及存储介质
CN112287805A (zh) * 2020-10-29 2021-01-29 地平线(上海)人工智能技术有限公司 运动物体的检测方法、装置、可读存储介质及电子设备
CN114429670A (zh) * 2020-10-29 2022-05-03 北京七鑫易维信息技术有限公司 瞳孔检测方法、装置、设备及存储介质
CN112692453A (zh) * 2020-12-16 2021-04-23 西安中科微精光子制造科技有限公司 利用高速相机识别气膜孔穿透区域的方法、系统及介质
CN113887547A (zh) * 2021-12-08 2022-01-04 北京世纪好未来教育科技有限公司 关键点检测方法、装置和电子设备
CN114862828A (zh) * 2022-05-30 2022-08-05 Oppo广东移动通信有限公司 光斑搜索方法装置、计算机可读介质和电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024125217A1 (zh) * 2022-12-14 2024-06-20 北京字跳网络技术有限公司 一种光斑追踪方法、装置、电子设备及存储介质
CN117053718A (zh) * 2023-10-11 2023-11-14 贵州黔程弘景工程咨询有限责任公司 基于梁底线形测量的梁底线形模型生成方法
CN117053718B (zh) * 2023-10-11 2023-12-12 贵州黔程弘景工程咨询有限责任公司 基于梁底线形测量的梁底线形模型生成方法

Also Published As

Publication number Publication date
CN115965653B (zh) 2023-11-07
WO2024125217A1 (zh) 2024-06-20

Similar Documents

Publication Publication Date Title
KR102307941B1 (ko) 눈 추적 시스템들을 위한 개선된 교정
CN115965653B (zh) 一种光斑追踪方法、装置、电子设备及存储介质
CN102859534B (zh) 基于皮肤颜色区域和面部区域的视点检测器
US20140368645A1 (en) Robust tracking using point and line features
CN106598221A (zh) 基于眼部关键点检测的3d视线方向估计方法
US20210133469A1 (en) Neural network training method and apparatus, gaze tracking method and apparatus, and electronic device
US20210165993A1 (en) Neural network training and line of sight detection methods and apparatus, and electronic device
CN111602139A (zh) 图像处理方法、装置、控制终端及可移动设备
EP3699808B1 (en) Facial image detection method and terminal device
CN112947419B (zh) 避障方法、装置及设备
CN110072078A (zh) 监控摄像机、监控摄像机的控制方法和存储介质
US11765457B2 (en) Dynamic adjustment of exposure and iso to limit motion blur
US20230300464A1 (en) Direct scale level selection for multilevel feature tracking under motion blur
CN112966654A (zh) 唇动检测方法、装置、终端设备及计算机可读存储介质
US20220375041A1 (en) Selective image pyramid computation for motion blur mitigation in visual-inertial tracking
EP4342170A1 (en) Selective image pyramid computation for motion blur mitigation
WO2022245648A1 (en) Dynamic adjustment of exposure and iso related application
CN113642425A (zh) 基于多模态的图像检测方法、装置、电子设备及存储介质
US11681371B2 (en) Eye tracking system
CN111178307A (zh) 注视方向识别方法、装置及电子设备和存储介质
CN115984950A (zh) 视线检测方法、装置、电子设备及存储介质
CN116051636A (zh) 位姿计算方法、装置和设备
US11683585B2 (en) Direct scale level selection for multilevel feature tracking under motion blur
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质
US20170109569A1 (en) Hybrid face recognition based on 3d data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant