CN111639017B - 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统 - Google Patents

测量眼球追踪设备延迟量的方法、设备、眼球追踪系统 Download PDF

Info

Publication number
CN111639017B
CN111639017B CN202010482068.3A CN202010482068A CN111639017B CN 111639017 B CN111639017 B CN 111639017B CN 202010482068 A CN202010482068 A CN 202010482068A CN 111639017 B CN111639017 B CN 111639017B
Authority
CN
China
Prior art keywords
eye
gaze point
point coordinates
mechanical
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010482068.3A
Other languages
English (en)
Other versions
CN111639017A (zh
Inventor
王龙辉
李文宇
苗京花
李茜
王雪丰
刘梓荷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010482068.3A priority Critical patent/CN111639017B/zh
Publication of CN111639017A publication Critical patent/CN111639017A/zh
Priority to PCT/CN2021/095978 priority patent/WO2021238966A1/zh
Priority to US17/765,708 priority patent/US20220350403A1/en
Application granted granted Critical
Publication of CN111639017B publication Critical patent/CN111639017B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明实施例提供一种测量眼球追踪设备延迟量的方法，所述方法包括：根据预设的注视点坐标与时间的映射关系，控制机械眼转动；获取机械眼在至少一个检测时间点的检测注视点坐标，所述检测注视点坐标为所述眼球追踪设备所确定的、所述机械眼的注视点坐标；根据注视点坐标与时间的映射关系，确定每个检测时间点对应的实际注视点坐标；至少根据每个检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定眼球追踪设备的延迟量。本发明实施例还提供一种测量眼球追踪设备延迟量的设备和眼球追踪系统。本发明能够确定出眼球追踪设备的延迟量，从而为优化眼球追踪设备提供数据依据。

Description

测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
技术领域
本发明涉及显示技术领域，具体涉及一种测量眼球追踪设备延迟量的方法、测量眼球追踪设备延迟量的设备、眼球追踪系统。
背景技术
在虚拟显示设备中，高分辨率和刷新率的需求较高，从而会给显卡造成很大的渲染压力。为了降低渲染压力，提高渲染效率，在一种技术中，基于眼球追踪技术对人眼的注视区渲染高分辨率图像，在其他区域进渲染低分辨率图像。但是，在进行眼球追踪时，会出现延迟，从而影响用户的体验效果。为了对眼球追踪的方案进行优化，则需要测量出眼球追踪的延迟。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一，提出了一种测量眼球追踪设备延迟量的方法、测量眼球追踪设备延迟量的设备、眼球追踪系统。
为了实现上述目的，本发明提供一种测量眼球追踪设备延迟量的方法，所述方法包括：
根据预设的注视点坐标与时间的映射关系，控制机械眼转动；
获取所述机械眼在至少一个检测时间点的检测注视点坐标，所述检测注视点坐标为所述眼球追踪设备所确定的、所述机械眼的注视点坐标；
根据所述预设的注视点坐标与时间的映射关系，确定每个所述检测时间点对应的实际注视点坐标；
至少根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定所述眼球追踪设备的延迟量。
在一些实施例中，所述眼球追踪设备被配置为根据以下步骤获取所述机械眼的注视点坐标：
向所述机械眼发射红外光；
采集所述机械眼的红外图像；
根据所述机械眼的红外图像，确定所述机械眼的注视点坐标；
所述眼球追踪设备还被配置为：
根据获取到的机械眼的注视点坐标，确定所述机械眼的视野区域；
对待显示图像中对应于视野区域的部分进行图像处理，得到所述视野区域的处理后图像，并将所述待显示图像对应于其他区域的部分和所述视野区域的处理后图像进行拼接，得到待输出图像；
将所述待输出图像输出至所述眼球追踪设备的显示模块进行显示。
在一些实施例中，至少根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定所述眼球追踪设备的延迟量，包括：
根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定所述眼球追踪设备的延迟量。
在一些实施例中，所述检测时间点的数量为多个，
根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定所述眼球追踪设备的延迟量，包括：
根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定每个所述检测时间点对应的延迟量；
确定多个所述检测时间点所对应的多个延迟量的平均值，并以该平均值作为所述眼球追踪设备的延迟量。
在一些实施例中，眼球追踪设备包括头戴显示设备，
根据预设的注视点坐标与时间的映射关系，控制机械眼运动，之前还包括：
将所述头戴显示设备佩戴在具有所述机械眼的头部模型上。
本发明实施例还提供一种测量眼球追踪设备延迟量的设备，所述测量眼球追踪设备延迟量的设备包括：
控制模块，被配置为根据预设的注视点坐标与时间的映射关系，控制机械眼转动；
检测坐标获取模块，被配置为获取所述机械眼在至少一个检测时间点的检测注视点坐标，所述检测注视点坐标为所述眼球追踪设备所确定的、所述机械眼的注视点坐标；
实际坐标获取模块，被配置为根据所述预设的注视点坐标与时间的映射关系，确定每个所述检测时间点对应的实际注视点坐标；
延迟量确定模块，被配置为至少根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定所述眼球追踪设备的延迟量。
在一些实施例中，所述眼球追踪设备包括：
发射模块，被配置为向所述机械眼发射红外光；
采集模块，被配置为采集所述机械眼的红外图像；
坐标确定模块，被配置为根据所述机械眼的红外图像，确定所述机械眼的注视点坐标；
视野确定模块，被配置为根据获取到的机械眼的注视点坐标，确定所述机械眼的视野区域；
图像处理模块，被配置为对待显示图像中对应于视野区域的部分进行图像处理，得到所述视野区域的处理后图像，并将所述待显示图像对应于其他区域的部分和所述视野区域的处理后图像进行拼接，得到待输出图像；
输出模块，被配置为将所述待输出图像输出至显示模块；
显示模块，被配置为根据接收到的待输出图像进行显示；
其中，所述检测坐标获取模块所获取的检测注视点坐标是由所述坐标确定模块所确定的。
在一些实施例中，所述延迟量确定模块具体被配置为根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定所述眼球追踪设备的延迟量。
在一些实施例中，所述检测时间点的数量为多个，所述延迟量确定模块包括：
第一确定子模块，被配置为，根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定每个所述检测时间点对应的延迟量；
第二确定子模块，被配置为确定多个所述检测时间点所对应的多个延迟量的平均值，并以该平均值作为所述眼球追踪设备的延迟量。
在一些实施例中，所述眼球追踪设备包括头戴显示设备，所述头戴显示设备用于佩戴在具有所述机械眼的头部模型上。
本发明实施例还提供一种眼球追踪系统，包括：
眼球追踪设备，所述眼球追踪设备被配置为确定机械眼或人眼的注视点坐标；
上述的测量眼球追踪设备延迟量的设备。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1为本发明的一些实施例中提供的测量眼球追踪设备延迟量的方法流程图。
图2为本发明的另一些实施例中提供的测量眼球追踪设备延迟量的方法流程图。
图3为本发明的一些实施例中提供的头戴显示设备佩戴在头部模型上的示意图。
图4为本发明的一些实施例中提供的眼球追踪设备进行图像输出的流程图。
图5为本发明的一些实施例中提供的测量眼球追踪设备延迟量的设备的结构框图。
图6为本发明的一些实施例中提供的眼球追踪设备的结构框图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明实施例提供一种测量眼球追踪设备延迟量的方法，图1为本发明的一些实施例中提供的测量眼球追踪设备延迟量的方法流程图，如图1所示，该方法包括以下步骤S1～S4：
S1、根据预设的注视点坐标与时间的映射关系，控制机械眼转动，从而使机械眼的实际(或真实)的注视点坐标与时间的映射关系满足所述预设的注视点坐标与时间的映射关系。机械眼为模仿人眼的机械结构，该机械眼可以由高精度制动器进行控制，从而模仿人眼进行转动。
S2、获取机械眼在至少一个检测时间点的检测注视点坐标，该检测注视点坐标为眼球追踪设备所确定的、机械眼的注视点坐标。
例如，眼球追踪设备包括显示模块(例如，显示屏等装置)和追踪装置，机械眼的注视点坐标可以由追踪装置所确定，需要说明的是，本发明实施例中的机械眼的注视点坐标是指，机械眼在眼球追踪设备的显示模块上的注视点的坐标。
例如，追踪装置向机械眼发射红外光，根据机械眼的红外图像，确定机械眼的朝向，从而确定机械眼在显示模块上的注视点坐标。
其中，追踪装置可以在显示模块显示每帧图像时，均进行一次眼球追踪。其中，检测时间点可以为一个，也可以为多个，当检测时间点为多个时，每一帧获取到的检测检测时间点可以为追踪装置每次进行眼球追踪的时间点，也可以为每隔N(N＞1)帧的时间点。
S3、根据预设的注视点坐标与时间的映射关系，确定每个检测时间点对应的实际注视点坐标。
S4、至少根据每个检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定眼球追踪设备的延迟量。
例如，实际注视点坐标和检测注视点坐标的差异为，实际注视点与检测注视点之间的距离。
本发明对步骤S4中确定延迟量的方式不作具体限定，例如，可以根据预设的距离与时间的对应关系，来确定眼球追踪设备的延迟量；又例如，根据预设的注视点坐标与时间的映射关系确定实际注视点所对应的理论时间点，并根据理论时间和检测时间点的差异，确定眼球追踪设备的延迟量。
由于眼球追踪设备在进行眼球追踪时，会出现一定的延迟，因此，当控制机械眼转动以使机械眼在某一个检测时间点(例如t1时间点)的实际注视点坐标达到(x1，y1)时，眼球追踪设备通过眼球追踪所得到的机械眼在t1时间点的注视点坐标可能与(x1，y1)出现差异，因此，根据该差异可以确定出产生该差异的时间，也就是眼球追踪设备的延迟量，进而可以根据该延迟量对眼球追踪设备进行优化。
图2为本发明的另一些实施例中提供的测量眼球追踪设备延迟量的方法流程图，下面结合图2对测量眼球追踪设备延迟量的方法进行具体介绍。其中，眼球追踪设备包括头戴显示设备，例如头戴式VR(虚拟现实)显示设备。该方法包括步骤S0～S4：
步骤S0、如图3所示，将头戴显示设备20佩戴在具有机械眼的头部模型10上。
步骤S1、根据预设的注视点坐标与时间的映射关系，控制机械眼转动。
为了提高测量精度，在一些实施例中，预设的注视点坐标与时间的映射关系可以采用简单的函数关系，例如，预设的注视点坐标与时间的映射关系为线性关系。即，随着时间的增加，注视点坐标的横坐标和纵坐标均增大。
步骤S2、获取机械眼在至少一个检测时间点的检测注视点坐标，该检测注视点坐标为眼球追踪设备所确定的、机械眼的注视点坐标。可选地，检测时间点的数量为多个。
图4为本发明的一些实施例中提供的眼球追踪设备进行图像输出的流程图，如图4所示，在一些实施例中，眼球追踪设备获取机械眼的注视点坐标的步骤包括：
S21、向机械眼发射红外光。例如，红外光可以由眼球追踪设备持续向机械眼发射。
S22、采集机械眼的红外图像。
S23、根据机械眼的红外图像，确定机械眼的注视点坐标。例如，根据机械眼的红外图像，提取机械眼的瞳孔(或虹膜)的特征，并根据提取到的特征，确定机械眼的朝向，进而根据机械眼的朝向，确定注视点坐标。
S24、根据获取到的机械眼的注视点坐标，确定机械眼的视野区域，该视野区域即为机械眼在眼球追踪设备的显示模块上的视野区域。
可选地，可以根据人眼的视觉特性，将大小满足预设要求、且中心位于所述注视点坐标处的区域作为视野区域。例如，以机械眼的注视点坐标为中心，半径为预设值的圆形区域作为视野区域。
S25、对待显示图像中对应于视野区域的部分进行图像处理，得到视野区域的处理后图像，并将待显示图像对应于其他区域的部分和视野区域的处理后图像进行拼接，得到待输出图像。
在一些示例中，对待显示图像中对应于视野区域的部分进行的图像处理可以为高分辨率处理，得到的视野区域的处理后图像即为视野区域的高分辨率图像。在将待显示图像对应于其他区域的部分与高分辨率图像进行拼接之前，还可以先对待显示图像对应于其他区域的部分和高分辨率图像进行反畸变处理，再将反畸变之后的图像进行拼接，从而减少用户经过光学元件观看显示图像时可能观察到的图像变形。
S26、将待输出图像输出至眼球追踪设备的显示模块进行显示。
在本发明实施例中，眼球追踪设备可以根据获取机械眼的注视点坐标，并根据该注视点坐标得到视野区域，并对待显示图像位于视野区域内的部分进行高分辨率处理，其他部分不作处理。而步骤S2所获得的检测注视点坐标则是眼球追踪设备在确定视野区域之前得到的。
在一些示例中，眼球追踪设备在每帧内均进行步骤S22～S26，其中，眼球追踪设备每进行一次步骤S23，均输出机械眼的注视点坐标和当前时间，从而得到一个三维向量，每个三维向量包括注视点坐标和对应的当前时间；而检测时间点可以为多个当前时间中按第一频率抽取到的多个当前时间，每个检测注视点坐标则为检测时间点所在的一组数据中的注视点坐标。
例如，眼球追踪设备输出的多个三维向量分别为：(10ms，0.1，0.1)，(20ms，0.2，0.2)，(30ms，0.3，0.3)，(40ms，0.4，0.4)，(50ms，0.5，0.5)，以此类推。多个检测时间点分别为：10ms，30ms，50ms，以此类推，则步骤S2中获取的检测注视点坐标分别为：(0.1，0.1)，(0.3，0.3)，(0.5，0.5)，以此类推。
当然，也可以将在眼球追踪设备得到多个三维向量后，生成一条关于注视点坐标和当前时间的检测曲线，从该检测曲线上选取多个检测时间点及各自对应的注视点坐标。
S3、根据预设的注视点坐标与时间的映射关系，确定每个检测时间点对应的实际注视点坐标。
S4、至少根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定所述眼球追踪设备的延迟量。
作为本发明的一种具体实施方式，步骤S4包括：S4a、根据每个检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及机械眼的转动角速度，确定眼球追踪设备的延迟量。
本发明实施例对步骤S4a的具体过程不作限定，例如，可以从每个检测时间点对应的实际注视点坐标和检测注视点坐标的坐标差中，选择最大的坐标差，并根据该最大的坐标差和机械眼的转动角速度来确定眼球追踪设备的延迟量。又例如，确定多个检测时间点对应的多个坐标差的方差(或均方差)，并根据该方差(或均方差)和机械眼的转动角速度，来确定眼球追踪设备的延迟量。
作为本发明的一种具体实施方式，步骤S4a具体包括：
S41、根据每个检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及机械眼的转动角速度，确定每个检测时间点对应的延迟量。
例如，以检测注视点和实际注视点之间的欧氏距离作为检测注视点坐标和实际注视点坐标的差异。例如，实际注视点坐标为(x1，y1)，检测注视点坐标为(x2，y2)，检测注视点坐标和实际注视点坐标的坐标差为
S42、确定多个检测时间点所对应的多个延迟量的平均值，并以该平均值作为眼球追踪设备的延迟量。
例如，利用以下公式(1)计算眼球追踪的延迟量d。
其中，n为检测时间点的数量，pi为第i个检测时间点的检测注视点坐标，为第i个检测时间点的实际注视点坐标，/>为第i个检测时间点的检测注视点坐标与实际注视点坐标的坐标差，v为机械眼的转动角速度，f(v)为机械眼的注视点在显示模块上的移动速度与v的函数关系。
本发明的实施例还提供一种测量眼球追踪设备延迟量的设备，图5为本发明的一些实施例中提供的测量眼球追踪设备延迟量的设备的结构框图，如图5所示，测量眼球追踪设备延迟量的设备包括：控制模块30、检测坐标获取模块40、实际坐标获取模块50、延迟量确定模块60。
其中，控制模块30被配置为根据预设的注视点坐标与时间的映射关系，控制机械眼转动。
检测坐标获取模块40，被配置为获取机械眼在至少一个检测时间点的检测注视点坐标，检测注视点坐标为眼球追踪设备所确定的、机械眼的注视点坐标。
实际坐标获取模块50，被配置为根据所述预设的注视点坐标与时间的映射关系，确定每个检测时间点对应的实际注视点坐标。
延迟量确定模块60，被配置为至少根据每个检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定眼球追踪设备的延迟量。
在一些实施例中，检测时间点的数量为多个。延迟量确定模块60具体被配置为，根据每个检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及机械眼的转动角速度，确定眼球追踪设备的延迟量。
例如，延迟量确定模块60具体包括：第一确定子模块61和第二确定子模块62，第一确定子模块61被配置为，根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及机械眼的转动角速度，确定每个检测时间点对应的延迟量。第二确定子模块62被配置为，确定多个检测时间点所对应的多个延迟量的平均值，并以该平均值作为眼球追踪设备的延迟量。
图6为本发明的一些实施例中提供的眼球追踪设备的结构框图，如图6所示，眼球追踪设备70包括：发射模块71、采集模块72、坐标确定模块73、视野确定模块74、图像处理模块75、输出模块76、显示模块77。
其中，发射模块71被配置为向机械眼发射红外光。采集模块72被配置为采集机械眼的红外图像。坐标确定模块73被配置为根据机械眼的红外图像，确定机械眼的注视点坐标。视野确定模块74被配置为根据获取到的机械眼的注视点坐标，确定所述机械眼在显示模块77的屏幕上的视野区域。图像处理模块75被配置为对待显示图像中对应于视野区域的部分进行图像处理(例如，该图像处理为高分辨率处理)，得到所述视野区域的处理后图像(例如，该处理后图像为视野区域的高分辨率图像)，并将待显示图像对应于其他区域的部分和视野区域的处理后图像进行拼接，得到待输出图像。输出模块76，被配置为将待输出图像输出至显示模块77进行显示。
其中，检测坐标获取模块40所获取的检测注视点坐标是由坐标确定模块73确定的。
在一具体示例中，发射模块71、采集模块72与显示模块77集成在同一个头戴壳体上。头戴壳体上连接有多个信号线，例如，连接电源的电源线、传输背光信息的传输线、传输图像信息的传输线、传输追踪数据(例如，注视点坐标)的传输线。
在一些实施例中，预设的注视点坐标与时间的映射关系为线性关系。
眼球追踪设备包括头戴显示设备，例如头戴式VR(虚拟现实)显示设备。该头戴显示设备用于佩戴在具有机械眼的头部模型上。
本发明的实施例还提供一种眼球追踪系统，包括眼球追踪设备和上述实施例中提供的测量眼球追踪设备延迟量的设备。该眼球追踪设备被配置为确定机械眼或人眼在显示模块的屏幕上的注视点坐标。
本发明实施例中提供的测量眼球追踪设备延迟量的方法和设备，能够通过控制机械眼运动，并根据机械眼的在每个检测时间点的实际注视点坐标和检测注视点坐标的差异，确定出眼球追踪设备的延迟量，从而为优化眼球追踪设备提供数据依据。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (11)

1.一种测量眼球追踪设备延迟量的方法，其特征在于，所述方法包括：
根据预设的注视点坐标与时间的映射关系，控制机械眼转动；
获取所述机械眼在至少一个检测时间点的检测注视点坐标，所述检测注视点坐标为所述眼球追踪设备所确定的、所述机械眼的注视点坐标；其中，所述眼球追踪设备包括显示模块和追踪装置，所述机械眼的注视点坐标为所述机械眼在所述显示模块上的注视点的坐标；
根据所述预设的注视点坐标与时间的映射关系，确定每个所述检测时间点对应的实际注视点坐标；
至少根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定所述眼球追踪设备的延迟量；
所述眼球追踪设备被配置为根据以下步骤获取所述机械眼的注视点坐标：向所述机械眼发射红外光；
根据所述机械眼的红外图像，提取所述机械眼的瞳孔或虹膜的特征，并根据提取到的所述特征，确定所述机械眼的朝向；
根据所述机械眼的朝向，确定所述注视点坐标。
2.根据权利要求1所述的方法，其特征在于，
所述眼球追踪设备还被配置为：
根据获取到的机械眼的注视点坐标，确定所述机械眼的视野区域；
对待显示图像中对应于视野区域的部分进行图像处理，得到所述视野区域的处理后图像，并将所述待显示图像对应于其他区域的部分和所述视野区域的处理后图像进行拼接，得到待输出图像；
将所述待输出图像输出至所述眼球追踪设备的显示模块进行显示。
3.根据权利要求1或2所述的方法，其特征在于，至少根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定所述眼球追踪设备的延迟量，包括：
根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定所述眼球追踪设备的延迟量。
4.根据权利要求3所述的方法，其特征在于，所述检测时间点的数量为多个，
根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定所述眼球追踪设备的延迟量，包括：
根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定每个所述检测时间点对应的延迟量；
确定多个所述检测时间点所对应的多个延迟量的平均值，并以该平均值作为所述眼球追踪设备的延迟量。
5.根据权利要求1或2所述的方法，其特征在于，所述眼球追踪设备包括头戴显示设备，
根据预设的注视点坐标与时间的映射关系，控制机械眼运动，之前还包括：
将所述头戴显示设备佩戴在具有所述机械眼的头部模型上。
6.一种测量眼球追踪设备延迟量的设备，其特征在于，所述测量眼球追踪设备延迟量的设备包括：
控制模块，被配置为根据预设的注视点坐标与时间的映射关系，控制机械眼转动；
检测坐标获取模块，被配置为获取所述机械眼在至少一个检测时间点的检测注视点坐标，所述检测注视点坐标为所述眼球追踪设备所确定的、所述机械眼的注视点坐标；
实际坐标获取模块，被配置为根据所述预设的注视点坐标与时间的映射关系，确定每个所述检测时间点对应的实际注视点坐标；
延迟量确定模块，被配置为至少根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异，确定所述眼球追踪设备的延迟量；
所述眼球追踪设备包括：
发射模块，被配置为向所述机械眼发射红外光；
采集模块，被配置为采集所述机械眼的红外图像；
坐标确定模块，被配置为根据所述机械眼的红外图像，提取所述机械眼的瞳孔或虹膜的特征，并根据提取到的所述特征，确定所述机械眼的朝向；根据所述机械眼的朝向，确定所述注视点坐标。
7.根据权利要求6所述的设备，其特征在于，所述眼球追踪设备还包括：
视野确定模块，被配置为根据获取到的机械眼的注视点坐标，确定所述机械眼的视野区域；
图像处理模块，被配置为对待显示图像中对应于视野区域的部分进行图像处理，得到所述视野区域的处理后图像，并将所述待显示图像对应于其他区域的部分和所述视野区域的处理后图像进行拼接，得到待输出图像；
输出模块，被配置为将所述待输出图像输出至显示模块；
显示模块，被配置为根据接收到的待输出图像进行显示；
其中，所述检测坐标获取模块所获取的检测注视点坐标是由所述坐标确定模块所确定的。
8.根据权利要求6或7所述的设备，其特征在于，所述延迟量确定模块具体被配置为根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定所述眼球追踪设备的延迟量。
9.根据权利要求8所述的设备，其特征在于，所述检测时间点的数量为多个，所述延迟量确定模块包括：
第一确定子模块，被配置为，根据每个所述检测时间点对应的实际注视点坐标和检测注视点坐标的差异、以及所述机械眼的转动角速度，确定每个所述检测时间点对应的延迟量；
第二确定子模块，被配置为确定多个所述检测时间点所对应的多个延迟量的平均值，并以该平均值作为所述眼球追踪设备的延迟量。
10.根据权利要求6或7所述的设备，其特征在于，所述眼球追踪设备包括头戴显示设备，所述头戴显示设备用于佩戴在具有所述机械眼的头部模型上。
11.一种眼球追踪系统，其特征在于，包括：
眼球追踪设备，所述眼球追踪设备被配置为确定机械眼或人眼的注视点坐标；
权利要求6至10中任意一项所述的测量眼球追踪设备延迟量的设备。
CN202010482068.3A 2020-05-29 2020-05-29 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统 Active CN111639017B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010482068.3A CN111639017B (zh) 2020-05-29 2020-05-29 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
PCT/CN2021/095978 WO2021238966A1 (zh) 2020-05-29 2021-05-26 测量眼球追踪设备延迟量的方法和设备、眼球追踪系统以及非暂时性计算机存储介质
US17/765,708 US20220350403A1 (en) 2020-05-29 2021-05-26 Method and apparatus for detecting delay amount of eyeball tracking apparatus, eyeball tracking system, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010482068.3A CN111639017B (zh) 2020-05-29 2020-05-29 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统

Publications (2)

Publication Number Publication Date
CN111639017A CN111639017A (zh) 2020-09-08
CN111639017B true CN111639017B (zh) 2024-05-07

Family

ID=72331439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482068.3A Active CN111639017B (zh) 2020-05-29 2020-05-29 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统

Country Status (3)

Country Link
US (1) US20220350403A1 (zh)
CN (1) CN111639017B (zh)
WO (1) WO2021238966A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331902A (zh) * 2014-10-11 2015-02-04 深圳超多维光电子有限公司 目标跟踪方法、跟踪装置和3d显示方法及显示装置
JP2017176302A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム
CN107430785A (zh) * 2014-12-31 2017-12-01 Alt有限责任公司 用于显示三维对象的方法和系统
CN107833251A (zh) * 2017-11-13 2018-03-23 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN108733204A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种眼球追踪操作的方法和装置
CN109104603A (zh) * 2018-09-25 2018-12-28 上海玮舟微电子科技有限公司 一种视点补偿方法、装置、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9730582B1 (en) * 2014-05-16 2017-08-15 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Comprehensive oculomotor behavioral response assessment (COBRA)
US9489739B2 (en) * 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
CN105824239B (zh) * 2016-03-25 2018-09-25 山东大学 带注视差异约束的平滑追踪眼动自适应跟踪控制器及方法
US10304209B2 (en) * 2017-04-19 2019-05-28 The Nielsen Company (Us), Llc Methods and systems to increase accuracy of eye tracking
CN108958473B (zh) * 2017-05-22 2020-08-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
ES2945789T3 (es) * 2018-11-15 2023-07-07 Tobii Ab Método y dispositivo para calibrar un oculómetro
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104331902A (zh) * 2014-10-11 2015-02-04 深圳超多维光电子有限公司 目标跟踪方法、跟踪装置和3d显示方法及显示装置
CN107430785A (zh) * 2014-12-31 2017-12-01 Alt有限责任公司 用于显示三维对象的方法和系统
JP2017176302A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム
CN108733204A (zh) * 2017-04-20 2018-11-02 上海耕岩智能科技有限公司 一种眼球追踪操作的方法和装置
CN107833251A (zh) * 2017-11-13 2018-03-23 京东方科技集团股份有限公司 瞳孔定位装置和方法、虚拟现实设备的显示驱动器
CN109104603A (zh) * 2018-09-25 2018-12-28 上海玮舟微电子科技有限公司 一种视点补偿方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2021238966A1 (zh) 2021-12-02
US20220350403A1 (en) 2022-11-03
CN111639017A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
WO2019216491A1 (en) A method of analyzing objects in images recorded by a camera of a head mounted device
US10304253B2 (en) Computer program, object tracking method, and display device
US11127380B2 (en) Content stabilization for head-mounted displays
US11269406B1 (en) Systems and methods for calibrating eye tracking
US10634918B2 (en) Internal edge verification
US20040233192A1 (en) Focally-controlled imaging system and method
EP3252566A1 (en) Face and eye tracking and facial animation using facial sensors within a head-mounted display
US10430988B2 (en) Facial animation using facial sensors within a head-mounted display
US11567568B2 (en) Display apparatuses and methods incorporating foveated rendering
US10819898B1 (en) Imaging device with field-of-view shift control
US11024040B2 (en) Dynamic object tracking
US10871823B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
CN109634431B (zh) 无介质浮空投影视觉追踪互动系统
CN111639017B (zh) 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
WO2020150188A1 (en) Counterrotation of display panels and/or virtual cameras in a hmd
US20200082626A1 (en) Methods and devices for user interaction in augmented reality
JPH06189906A (ja) 視線方向計測装置
CN113693549A (zh) 一种视力检测方法、装置及可穿戴设备
KR20040097477A (ko) 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및방법
US11675430B1 (en) Display apparatus and method incorporating adaptive gaze locking
US10623743B1 (en) Compression of captured images including light captured from locations on a device or object
KR20190042792A (ko) 헤드 마운트 디스플레이 장치 및 이의 동작 방법
CN116152883B (zh) 一种车载眼球识别和前玻璃智能局部显示的方法和系统
CN110933390B (zh) 基于图像投影的显示方法及装置
US20240013480A1 (en) Projection of an image in an extended reality device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant