CN111309144A - 三维空间内注视行为的识别方法、装置及存储介质 - Google Patents

三维空间内注视行为的识别方法、装置及存储介质 Download PDF

Info

Publication number
CN111309144A
CN111309144A CN202010065990.2A CN202010065990A CN111309144A CN 111309144 A CN111309144 A CN 111309144A CN 202010065990 A CN202010065990 A CN 202010065990A CN 111309144 A CN111309144 A CN 111309144A
Authority
CN
China
Prior art keywords
eye movement
eye
fixation
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010065990.2A
Other languages
English (en)
Other versions
CN111309144B (zh
Inventor
赵起超
杨苒
冉亚宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingfar International Inc
Original Assignee
Kingfar International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingfar International Inc filed Critical Kingfar International Inc
Priority to CN202010065990.2A priority Critical patent/CN111309144B/zh
Publication of CN111309144A publication Critical patent/CN111309144A/zh
Priority to EP21745193.9A priority patent/EP4016255B1/en
Priority to PCT/CN2021/072883 priority patent/WO2021147905A1/zh
Application granted granted Critical
Publication of CN111309144B publication Critical patent/CN111309144B/zh
Priority to US17/699,656 priority patent/US12099650B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种三维空间内注视行为的识别方法、装置及存储介质，通过采集用户两眼的眼动数据；从采集的眼动数据中选定用于注视行为识别的眼动数据；计算选定的眼动数据中多个采样时间点处的眼动角速度，并基于计算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据；将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标；基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。本发明通过获取三维空间内注视点坐标信息，并设立时间临近和空间临近的标准，能够有效结合视觉深度差异对注视行为进行判断，准确识别三维空间的注视行为。

Description

三维空间内注视行为的识别方法、装置及存储介质
技术领域
本发明属于注视方向识别技术领域，尤其涉及一种三维空间内注视行为的识别方法、装置及存储介质。
背景技术
注视是人类视觉的主要行为之一，也是最重要的行为。人类通过注视获取所关注事物的属性、运动等信息。
随着VR(Virtual Reality，虚拟现实)技术和AR(Augmented Reality，增强现实)技术的发展，无论对虚拟三维空间还是真实三维空间内的注视行为识别的需求日益增 长，急需解决。现有技术中通常使用眼动仪来记录人类的眼动行为，并根据所采集到 的眼动数据进行注视行为的识别。注视行为识别过程中，以人眼为起始点沿视觉方向 延伸看到的点为眼动点，受限于目前眼动仪的工作原理，眼动仪所采集的眼动数据仅 能表达视觉方向，而无法表达三维空间下的视觉深度的注视行为信息。
发明内容
本发明的目的是针对现有技术的不足，提供一种三维空间内注视行为的识别方法、装置及存储介质，克服现有技术无法判断视觉深度的缺陷，用于完成对三维空间 内注视行为的识别。
本发明解决技术问题的方案是：
一方面，本发明提供一种三维空间内注视行为的识别方法，包括：
采集用户两眼的眼动数据，该眼动数据包括：采样时间点、三维空间坐标系内采样时间点处两眼位置的3D坐标以及两眼眼动点位置的3D坐标；
从采集的眼动数据中选定用于注视行为识别的眼动数据；
计算选定的眼动数据中多个采样时间点处的眼动角速度，并基于计算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据；
将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标，其中，时间临近条件为采样时间点间隔小于第一设定 时长，空间临近条件为相邻注视点之间视线夹角小于设定角度以及相邻注视点之间距 离小于设定距离；
基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。
在一些实施例中，所述采集用户两眼的眼动数据的步骤包括：
建立三维空间坐标系；
采用眼动仪在指定的采样时间点检测并得到三维空间坐标系内的左眼3D坐标、右眼3D坐标、左眼视觉方向信息和右眼视觉方向信息；
以左眼3D坐标为起始点，沿左眼视觉方向与三维空间内事物的第一个交点的坐标为左眼眼动点的3D坐标；
以右眼3D坐标为起始点，沿右眼视觉方向与三维空间内事物的第一个交点的坐标为右眼眼动点的3D坐标。
在一些实施例中，从采集的眼动数据中选定用于注视行为识别的眼动数据的步骤包括：
主视眼已知时，将主视眼对应的眼动数据作为用于注视行为识别的眼动数据；
主视眼未知时，将左眼的眼动数据以及右眼的眼动数据的均值作为用于注视行为识别的眼动数据。
在一些实施例中，采集用户两眼的眼动数据之后，还包括：预处理采集的眼动数据，使单位时间内所包含的眼动数据的数量相同并消除采样噪声和异常点。
在一些实施例中，计算选定的眼动数据中多个采样时间点处眼动角速度的步骤包括：
当采样窗口样本数n为偶数时，分别将采样时间点前以及采样时间点后第n/2 组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动角速度；
当采样窗口样本数n为奇数时，分别将采样时间点前以及采样时间点后第 n-1)/2组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动 角速度。
在一些实施例中，所述眼动角速度的计算公式为：
Figure BDA0002375983170000031
其中，Δt表示采样间隔时间；
Figure BDA0002375983170000032
分别为由眼睛指向两个眼动点的方向向量；
Figure BDA0002375983170000033
表示两条视线之间的夹角；ω表示眼动角速度。
在一些实施例中，所述相邻注视点之间的视线夹角小于0.5deg；所述设定距离的计算公式为：
Figure BDA0002375983170000034
其中，L 表示设定距离，λ为放大系数，λ取值为1.0～1.3，D1、D2分别表示眼睛到两个时间临 近注视点的距离，θ表示相邻的注视点之间的视线夹角。
在一些实施例中，所述眼动角速度阈值为10°/s～30°/s；所述第一设定时长为75ms 以下；所述第二设定时长为100ms。
另一方面，本发明还提供一种三维空间内注视行为的识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述计算机程 序时实现如前所述方法的步骤。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该所述计算机程序被执行时实现如前所述方法的步骤。
本发明三维空间内注视行为的识别方法、装置及存储介质，利用眼动仪结合三维空间坐标系数据，准确得到了主视眼三维空间内的眼动数据，并获取视觉深度信息。 通过设定采样时间点间隔小于第一设定时长、注视点之间视线夹角小于设定角度以及 注视点之间距离小于设定距离三个标准，针对时间临近和空间临近两方面对三维空间 内结合视觉深度差异对注视行为进行判断，准确识别三维空间的注视行为。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提 下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明一实施例所述识别方法的流程示意图；
图2为本发明一实施例所述识别方法中采集用户两眼的眼动数据的流程示意图；
图3为本发一实施例明所述识别方法中判断空间临近条件的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明， 但并不作为对本发明的限定。
现有技术中，注视行为的识别被应用在很多领域，特别在人机交互时，在实现对用户的使用状态进行捕捉和判断的过程中，注视行为作为主要行为能用来表征用户一 系列动作的指向性，从而引导设备的准确反馈，提升用户使用的体验效果，或者实现 一些复杂的操作过程。
近几年VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实) 火热，其中VR技术是一种能够创建和体验虚拟世界的计算机仿真技术，它利用计算 机生成一种交互式的三维动态视景，其实体行为的仿真系统能够使用户沉浸到该环境 中；AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是 一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕 上把虚拟世界套在现实世界并进行互动。
VR技术中所产生的是虚拟三维空间，在越来越多的应用过程中，通过研究、开 发和实用，申请人以及相关技术人员逐渐发现在VR技术中，人眼注视行为的识别需 求度很高，不仅在于设备的操作需要，更表现为提升设备对用户的反馈效果的要求。 而AR技术更是需要实时对人眼的注视行为进行识别，需求度相比VR技术更高。
然而，现有技术中对于人眼注视行为的识别，大多是通过眼动仪监测人眼活动，并得到人眼的视线方向，再进一步判断视线停留的时间判断是否发生有效的注视行 为。这种识别方式，受限于目前应用于虚拟现实环境中的眼动仪的工作原理，眼动仪 所采集的眼动数据仅能表达视觉方向，而无法表达三维空间下的视觉深度的注视行为 信息。
随着VR技术的发展，如何利用眼动仪获取虚拟三维空间内的深度眼动数据成为一个有待解决的问题。本发明通过提供一种三维空间内注视行为的识别方法，来实现 针对三维空间内进行注视行为的识别，尤其实现VR场景下三维空间内的注视行为识 别。
如图1所示为本发明一实施例中三维空间内注视行为的识别方法，该方法包括如下步骤：
步骤S101：采集用户两眼的眼动数据。
该眼动数据可包括：采样时间点、三维空间坐标系内采样时间点处两眼位置的 3D坐标以及两眼眼动点位置的3D坐标。
针对三维空间内的注视行为识别，三维空间可以分为两类，一种是通过设备生成的虚拟三维空间，例如VR技术中产生的三维立体空间，针对这种虚拟三维空间，可 以直接采用生成虚拟三维空间时所用的坐标系作为本申请中用于眼动数据采集的三 维空间坐标系，也可以以主视眼或用于检测的眼动仪设备为中心建立三维空间坐标 系。另一种三维空间是现实三维空间，例如AR技术中作为基础的三维空间，针对这 种现实三维空间，可以以主视眼或用于检测的眼动仪设备为中心建立三维空间坐标 系，在一些特定的情况下，也可以以现实三维空间中设置的用于标注的点为中心建立 三维空间坐标系。具体的，对于现实三维空间，可以结合专用的测距仪器或者测距软 件进行相应的坐标采集。
在一些实施例中，如图2所示，以VR应用环境为例，采集用户两眼的眼动数据 的步骤可包括：
步骤S111：建立三维空间坐标系。该三维空间坐标系与VR场景中虚拟现实空 间数据相关联。
步骤S112：采用眼动仪在指定的采样时间点检测并得到三维空间坐标系内的左眼3D坐标、右眼3D坐标、左眼视觉方向(如视角)信息和右眼视觉方向(如视角) 信息。
针对VR技术生成的虚拟三维空间中，由于建有三维空间内物体完整的坐标数 据，能够直接通过眼动仪检测并转换得到的左眼3D坐标和/或右眼3D坐标以及左眼 的视觉方向，右眼的视觉方向。
进一步地可以直接沿视觉方向做延长线的方式得到与物体相交的点的坐标，即左眼眼动点的3D坐标和/或右眼眼动点的3D坐标。
步骤S113：以左眼3D坐标为起始点，沿左眼视觉方向做延长线，延长线与VR 场景中虚拟三维空间内事物的第一个交点的坐标为左眼眼动点的3D坐标。
步骤S114：以右眼3D坐标为起始点，沿右眼视觉方向做延长线，延长线与VR 场景中虚拟三维空间内事物的第一个交点的坐标为右眼眼动点的3D坐标。
此外，在针对AR技术生成的虚拟三维空间中，通过定义三维空间坐标系，并通 过眼动仪检测并转换可得到左眼3D坐标和/或右眼3D坐标以及左眼的视觉方向，右 眼的视觉方向。沿左眼的视觉方向，右眼的视觉方向做延长线，延长线与现实三维空 间中物体的焦点作为左眼眼动点或者右眼眼动点。进一步地，通过使用测距仪器或距 离测量软件能够得到左眼眼动点距离左眼的距离和/或右眼眼动点距离右眼的距离， 结合左眼的视觉方向向量和右眼的视觉方向向量，能够计算得到左眼眼动点的3D坐 标和/或右眼眼动点的3D坐标。
此外，在现实三维空间中，通过建立三维空间坐标系并结合测距仪器或者距离测量软件，可以获得环境中实物在三维空间坐标系中的坐标，然后基于眼动仪获得的三 维空间坐标系内采样时间点处两眼位置的3D坐标和视觉方向信息可获得两眼眼动点 的3D坐标。
步骤S102：从采集的眼动数据中选定用于注视行为识别的眼动数据，该步骤可 包括：
主视眼已知时，可将主视眼对应的眼动数据作为用于注视行为识别的眼动数据；
主视眼未知时，可将左眼的眼动数据以及右眼的眼动数据的均值作为用于注视行为识别的眼动数据。
在本实施例中，主视眼也称作注视眼、优势眼。生理角度上，主视眼所看到的东 西会被大脑优先接受，可能是左眼，也可能是右眼。由于大脑习惯性利用主视眼的成 像来分析和定位物体，因此采用主视眼的眼动数据作为用于识别注视点的主要数据能 更准确地反映实际，提升识别效果和准确度。
主视眼已知时，将主视眼对应的左眼或右眼的眼动数据作为用于注视行为识别的眼动数据。主视眼未知时，可将左眼的眼动数据以及右眼的眼动数据的均值作为用于 注视行为识别的眼动数据，其中，用于注视行为识别的眼动数据中，人眼的3D坐标 为左眼3D坐标和右眼3D坐标的均值，识别数据中人眼的眼动点的3D坐标为左眼 眼动点的3D坐标以及右眼眼动点的3D坐标的均值。
在本实施例中，为了能够准确反映实际视觉中产生的注视点，在已知主视眼的情况下优先采用主视眼的眼动数据进行识别，当主视眼未知时，通过求均值的方式，能 够减少非主视眼的眼动数据所产生的偏差。
示例性的，检测到t1采样时间点时，左眼3D坐标为(0,0,1)，左眼眼动点的3D 坐标为(20,30,26)，右眼3D坐标为(0,6,1)，右眼眼动点的3D坐标为(18,32,27)； 当已知左眼或者右眼为主视眼时，直接采用对应眼的数据作为主视眼的眼动数据；当 主视眼未知时，将左眼3D坐标和右眼3D坐标的平均值(0,3,1)作为识别数据中人 眼的3D坐标，将左眼眼动点的3D坐标与右眼眼动点的3D坐标的平均值(19,31,26.5) 作为用于注视行为识别的眼动数据的眼动点的3D坐标，同时记录在采样时间点t1下。
在一些实施例中，采集左眼和右眼的眼动数据之后，还包括：对左眼和右眼的眼动数据进行预处理，使单位时间内所包含的眼动数据的数量相同并消除采样噪声和异 常点。
在本实施例中，可采用插值、平滑操作和/或频率校正的方式对左眼和右眼的眼动数据进行预处理。由于这些处理手段为现有的数据处理手段，在此不再赘述。
步骤S103：计算选定的眼动数据中多个采样时间点处的眼动角速度，并基于计 算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据。
具体的，当眼动角速度小于眼动角速度阈值时，可将对应的眼动数据作为注视点数据。根据眼动角速度的定义，对于采样时间点处的眼动角速度的测量需要检测单位 时间内人眼转动的角度。示例性的，可以通过测量指定采样时间点前后一定时间范围 内眼球转动的距离并处以间隔时间，得到一段窗口时间内的眼动角速度的均值，并将 该均值定义为指定采样时间点处的眼动角速度。在另一些实施例中，也可以进一步采 用一段窗口时间内各采样时间点处眼动角速度的最大值、最小值或中位数等作为指定 采样时间点处的眼动角速度。
为了进一步提升准确度，需要根据采样时间点的间隔时间合理选择采样窗口的样本数；控制采样窗口的范围不能过小，要保证采样窗口内的样本数量或范围足够反应 出指定采样时间点处眼动角速度的特征；控制采样窗口的范围不能过大，要使采样窗 口内的数量或范围控制在一定范围内以保证具有代表性。
进一步地，当指定采样时间点处对应的眼动角速度小于眼动角速度阈值时，则将指定采样时间点对应的主视眼眼动点作为注视点保存。优选的，在一些实施例中，眼 动角速度阈值为10°/s～30°/s，例如针对一些应用场景，可以将眼动角速度阈值设置 为20°/s，当指定采样时间点处对应的眼动角速度小于20°/s时，则将该指定采样时 间点下的眼动点归类为注视点，同时将该指定采样时间点下的眼动点对应的眼动点的 3D坐标归类为注视点3D坐标，并记录对应的主视眼3D坐标以及采样时间点。
在一些实施例中，计算选定的眼动数据中多个采样时间点处眼动角速度的步骤包括：
当采样窗口样本数n为偶数时，分别将采样时间点前以及采样时间点后第n/2 组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动角速度；
当采样窗口样本数n为奇数时，分别将采样时间点前以及采样时间点后第 (n-1)/2组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动 角速度。
示例性的，当采样时间点之间间隔时间为20ms时，选择采样窗口的样本数为 10，则分别选取指定采样时间点之前和之后第5个采样时间点对应的注视点之间的视 线夹角为4°除以间隔时间200ms，则得到指定采样时间点处的眼动角速度为20°/s。
具体的，在一些实施例中，眼动角速度的计算公式为：
Figure BDA0002375983170000081
其中，Δt表示采样间隔时间；
Figure BDA0002375983170000082
分别为由眼睛指向眼动点的方向向量；
Figure BDA0002375983170000083
表示两条视线之间的夹角；ω表示眼动角速度。
步骤S104：将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标，其中，时间临近条件为采样时间点间隔 小于第一设定时长，空间临近条件为相邻注视点之间视线夹角小于设定角度以及相邻 注视点之间距离小于设定距离。
具体地，将同时满足时间临近和空间临近的注视点数据的间隔时间累加得到注视时长；可以将同时满足时间临近和空间临近的注视点数据中，各眼动点的3D坐标的 平均值或者中位数值作为注视点的3D坐标，在一些实施例中，也可以将采样时间点 居中的眼动点的3D坐标作为注视点的3D坐标。
注视行为的发生即是指注视点在一定范围内停留达到一定时间，则能够表示人眼的发生了注视。现有技术针对二维空间中，注视行为的检测仅仅以人眼视觉方向在一 定范围内停留达到设定的时间为标准，其仅能以视觉方向作为标准，不能满足三维空 间内的注视行为识别时所需的视觉深度的衡量要求，同时也不能进一步获得注视点在 三维空间内的具体位置信息。本申请发明人在基于AR技术和VR技术的基础上，针 对三维空间内的视觉识别做了进一步改进，目的在于获取三维空间内的有效注视时间 和位置信息。
在本实施例中，由于是针对三维空间内的注释行为的识别，为了获得有效的注视点和注视时间信息，就要对各采样时间点下的可关联的注视点信息进行合并。针对三 维空间内的注视点，可以设置时间临近条件和空间临近条件两个标准，具体如下：
对时间临近条件的判断可以包括：采样时间点间隔小于第一设定时长。
对空间临近条件的判断可以包括：
1)相邻注视点之间视线夹角小于设定角度；
2)相邻注视点之间距离小于设定距离。
为了保证所得到的注视点在时间上和三维空间位置上都是连续的，需要对三维空间中产生的各注视点同时判断是否符合时间临近和空间临近的标准。
本实施例中，在时间临近条件方面，将采样时间点的间隔小于第一设定时长的注视点进行合并，优选地，第一设定时长为75ms以下，例如，当采样时间点的间隔小 于75ms的注视点可以用于合并，在另一些实施例中，也可以将第一设定时长设置为 小于75ms的其他时间，例如60ms、50ms等；
在空间临近条件方面，本实施例限定了两个判断参数，一个是相邻注视点之间的视线夹角，另一个是相邻注视点之间的距离；由于在三维空间中，空间临近条件不仅 表现在具有较小的视线夹角，同时要求在视觉深度上保持近距离。
本实施例中，在空间临近条件上，设定相邻注视点之间视线夹角小于设定角度，同时注视点之间距离小于设定距离，优选地，设定角度例如为0.5deg，设定距离为L。
具体的，设定距离L的计算公式为：
Figure BDA0002375983170000091
其中，L表示设定距离，λ为放大系数，λ取值为1.0～1.3；D1、D2分别表示眼睛到两个时间临近注视点 的距离，θ表示相邻的注视点之间的视线夹角，单位为deg。
在本发明虚拟现实应用环境中，物体的距离与观察者眼睛的距离能计算。眼动仪所测得的数据为具有方向的数据，也就是说，能指示观察者的注视方向，从而能确定 观察者在虚拟现实场景中沿此注视方向所看到虚拟现实场景中的物体，进而能够确定 观察者眼睛与虚拟现实中物体的距离，即D1、D2。
示例性的，如图3所示，在三维空间内，主视眼在临近的两个采样时间点所对应 的注视点A点和B点，视线夹角为θ1，注视点A、B距离主视眼的距离分别为D1和D2(D1<D2)，A、B之间的距离为D3，则设定距离
Figure RE-GDA0002429248530000101
如果L小 于或等于D3，且θ1小于0.5°，即满足空间临近条件并且满足时间临近条件的情况下 可将注视点进行合并。
在本发明一实施例中，将注视点进行合并可以包括将满足时间临近条件和空间临近条件的注视点中的部分注视点删除，或者取这些注视点的均值而获得新的注视点， 但本发明并不限于此。
步骤S105：基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。
在本实施例中，为了进一步输出实际应用过程中的注视信息，需要对步骤S104 中合并后的注视点的时长进行指标限定；本实施例中将注视时长达到第二设定时长的 注视点判定为注视行为发生，优选地，第二设定时长为100ms，在另一些实施例中， 也可以根据特定的应用场景设定第二设定时长为其他更大或更小的值。
也即，在本步骤中，检查合并处理之后的注视点的持续时间是否大于等于100ms。如果是，该注视点保留，作为有效注视点；否则，该注视点不满足时间持续条件，应 予以删除。
基于如上步骤可知，本发明的方法利用眼动仪结合三维空间坐标系数据，准确得到了主视眼三维空间内的眼动数据，并获取视觉深度信息。通过设定采样时间点间隔 小于第一设定时长、相邻注视点之间视线夹角小于设定角度以及相邻注视点之间距离 小于设定距离这三个标准，针对时间临近和空间临近两方面对三维空间内结合视觉深 度差异对注视行为进行判断，可准确识别三维空间的注视行为。
换言之，本发明的技术方案，能解决目前应用于虚拟现实环境中的眼动仪所采集的眼动数据仅能表达视觉方向，而无法表达三维空间下的视觉深度的注视行为信息的 问题，使得视觉深度能够得到确定，从而能够准确计算出具有在虚拟现实场景中的具 有视觉深度的注视行为的注视点。
相应地，本发明还提供一种三维空间内注视行为的识别装置，该装置可包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机 程序时可实现上述方法的步骤。
此外，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些 实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合 该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施 例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或 示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例 或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实 施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件 方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序 代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流 程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的 每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些 计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设 备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执 行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方 框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包 括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一 个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算 机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或 方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发 明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等， 均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维空间内注视行为的识别方法，其特征在于，包括：
采集用户两眼的眼动数据，该眼动数据包括：采样时间点、三维空间坐标系内采样时间点处两眼位置的3D坐标以及两眼眼动点位置的3D坐标；
从采集的眼动数据中选定用于注视行为识别的眼动数据，并计算选定的眼动数据中多个采样时间点处的眼动角速度；
基于计算的眼动角速度和注视行为对应的眼动角速度阈值确定注视行为对应的注视点数据；
将注视点数据中同时满足时间临近条件和空间临近条件的注视点数据合并，得到注视时长和注视点的3D坐标，其中，时间临近条件为采样时间点间隔小于第一设定时长，空间临近条件为相邻注视点之间视线夹角小于设定角度以及相邻注视点之间距离小于设定距离；
基于合并后的注视点数据确定注视时长大于第二设定时长的注视点，从而识别出注视行为。
2.根据权利要求1所述的识别方法，其特征在于，所述采集用户两眼的眼动数据的步骤包括：
建立三维空间坐标系；
采用眼动仪在指定的采样时间点检测并得到三维空间坐标系内的左眼3D坐标、右眼3D坐标、左眼视觉方向信息和右眼视觉方向信息；
以左眼3D坐标为起始点，沿左眼视觉方向与三维空间内事物的第一个交点的坐标为左眼眼动点的3D坐标；
以右眼3D坐标为起始点，沿右眼视觉方向与三维空间内事物的第一个交点的坐标为右眼眼动点的3D坐标。
3.根据权利要求1所述的识别方法，其特征在于，从采集的眼动数据中选定用于注视行为识别的眼动数据的步骤包括：
主视眼已知时，将主视眼对应的眼动数据作为用于注视行为识别的眼动数据；
主视眼未知时，将左眼的眼动数据以及右眼的眼动数据的均值作为用于注视行为识别的眼动数据。
4.根据权利要求1所述的识别方法，其特征在于，采集用户两眼的眼动数据之后，还包括：预处理采集的眼动数据，使单位时间内所包含的眼动数据的数量相同并消除采样噪声和异常点。
5.根据权利要求1所述的识别方法，其特征在于，计算选定的眼动数据中多个采样时间点处眼动角速度的步骤包括：
当采样窗口样本数n为偶数时，分别将采样时间点前以及采样时间点后第n/2组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动角速度；
当采样窗口样本数n为奇数时，分别将采样时间点前以及采样时间点后第(n-1)/2组眼动数据中的两个眼动点之间的视线夹角和采样间隔时间作商得到眼动角速度。
6.根据权利要求5所述的识别方法，其特征在于，所述眼动角速度的计算公式为：
Figure FDA0002375983160000021
其中，Δt表示采样间隔时间；
Figure FDA0002375983160000022
分别为由眼睛指向两个眼动点的方向向量；
Figure FDA0002375983160000023
表示两条视线之间的夹角；ω表示眼动角速度。
7.根据权利要求1所述的识别方法，其特征在于，所述相邻注视点之间的视线夹角小于0.5deg；所述相邻注视点之间的距离小于设定距离，且设定距离的计算公式为：
Figure FDA0002375983160000024
其中，L表示设定距离，λ为放大系数，λ取值为1.0～1.3，D1、D2分别表示眼睛到两个时间临近注视点的距离，θ表示相邻的注视点之间的视线夹角。
8.根据权利要求1所述的识别方法，其特征在于，所述眼动角速度阈值为10°/s～30°/s；所述第一设定时长为75ms以下；所述第二设定时长为100ms。
9.一种三维空间内注视行为的识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行所述计算机程序时实现权利要求1至8任一项方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被执行时实现权利要求1至8任一项方法的步骤。
CN202010065990.2A 2020-01-20 2020-01-20 三维空间内注视行为的识别方法、装置及存储介质 Active CN111309144B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010065990.2A CN111309144B (zh) 2020-01-20 2020-01-20 三维空间内注视行为的识别方法、装置及存储介质
EP21745193.9A EP4016255B1 (en) 2020-01-20 2021-01-20 Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium
PCT/CN2021/072883 WO2021147905A1 (zh) 2020-01-20 2021-01-20 三维空间内注视行为的识别方法、装置及存储介质
US17/699,656 US12099650B2 (en) 2020-01-20 2022-03-21 Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010065990.2A CN111309144B (zh) 2020-01-20 2020-01-20 三维空间内注视行为的识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111309144A true CN111309144A (zh) 2020-06-19
CN111309144B CN111309144B (zh) 2022-02-01

Family

ID=71158401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010065990.2A Active CN111309144B (zh) 2020-01-20 2020-01-20 三维空间内注视行为的识别方法、装置及存储介质

Country Status (3)

Country Link
EP (1) EP4016255B1 (zh)
CN (1) CN111309144B (zh)
WO (1) WO2021147905A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112546613A (zh) * 2020-12-22 2021-03-26 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
CN113011394A (zh) * 2021-04-26 2021-06-22 吉林大学 一种眼动数据预处理方法及系统
WO2021147905A1 (zh) * 2020-01-20 2021-07-29 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
CN113776172A (zh) * 2021-08-12 2021-12-10 启北公司 场景温度规划方法和装置、计算机设备以及介质
WO2023056753A1 (zh) * 2021-10-08 2023-04-13 北京津发科技股份有限公司 时空行为轨迹采集、生成方法、装置、设备、系统及存储介质
US12099650B2 (en) 2020-01-20 2024-09-24 Kingfar International Inc. Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578975B (zh) * 2022-05-09 2022-07-22 南昌虚拟现实研究院股份有限公司 眼动追踪设备的注视点质量评测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096757A (zh) * 2010-09-08 2011-06-15 浙江大学 一个基于时域约束的注视点聚类数据处理方法
US20120288216A1 (en) * 2006-06-23 2012-11-15 Canon Kabushiki Kaisha Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
US20160134863A1 (en) * 2014-11-06 2016-05-12 Intel Corporation Calibration for eye tracking systems
CN106127149A (zh) * 2016-06-22 2016-11-16 南京大学 一种基于眼动数据的流程图笔划成组的方法和装置
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
CN108700934A (zh) * 2015-09-24 2018-10-23 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN109255342A (zh) * 2018-11-20 2019-01-22 武汉大学 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统
CN109271030A (zh) * 2018-09-25 2019-01-25 华南理工大学 一种三维空间下注视点轨迹多维度比较方法
CN109887000A (zh) * 2019-01-30 2019-06-14 北京津发科技股份有限公司 注意追踪策略的识别方法、训练方法及其装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018023012A1 (en) * 2016-07-29 2018-02-01 Worcester Polytechnic Institute Fixation identification using density optimization
EP3603058B1 (en) * 2017-03-22 2024-07-03 Magic Leap, Inc. Depth based foveated rendering for display systems
CN107656613B (zh) * 2017-09-08 2020-12-18 国网智能科技股份有限公司 一种基于眼动追踪的人机交互系统及其工作方法
US11017551B2 (en) * 2018-02-15 2021-05-25 DMAI, Inc. System and method for identifying a point of interest based on intersecting visual trajectories
CN110286754B (zh) * 2019-06-11 2022-06-24 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
CN111309144B (zh) * 2020-01-20 2022-02-01 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288216A1 (en) * 2006-06-23 2012-11-15 Canon Kabushiki Kaisha Information processing method and apparatus for calculating information regarding measurement target on the basis of captured images
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
CN102096757A (zh) * 2010-09-08 2011-06-15 浙江大学 一个基于时域约束的注视点聚类数据处理方法
US20160134863A1 (en) * 2014-11-06 2016-05-12 Intel Corporation Calibration for eye tracking systems
CN108700934A (zh) * 2015-09-24 2018-10-23 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN106127149A (zh) * 2016-06-22 2016-11-16 南京大学 一种基于眼动数据的流程图笔划成组的方法和装置
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
CN109271030A (zh) * 2018-09-25 2019-01-25 华南理工大学 一种三维空间下注视点轨迹多维度比较方法
CN109255342A (zh) * 2018-11-20 2019-01-22 武汉大学 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统
CN109887000A (zh) * 2019-01-30 2019-06-14 北京津发科技股份有限公司 注意追踪策略的识别方法、训练方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陆泉 等: "基于眼动追踪的文档内信息搜寻用户深、浅阅读行为自动识别研究", 《情报科学》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021147905A1 (zh) * 2020-01-20 2021-07-29 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
US12099650B2 (en) 2020-01-20 2024-09-24 Kingfar International Inc. Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium
CN112546613A (zh) * 2020-12-22 2021-03-26 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
CN112546613B (zh) * 2020-12-22 2023-03-24 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
CN113011394A (zh) * 2021-04-26 2021-06-22 吉林大学 一种眼动数据预处理方法及系统
CN113011394B (zh) * 2021-04-26 2021-11-30 吉林大学 一种眼动数据预处理方法及系统
CN113776172A (zh) * 2021-08-12 2021-12-10 启北公司 场景温度规划方法和装置、计算机设备以及介质
US20230045944A1 (en) * 2021-08-12 2023-02-16 Arize Corporation SCENARIO TEMPERATURE PLANNING METHOD and DEVICE, AND storage MEDIUM
WO2023056753A1 (zh) * 2021-10-08 2023-04-13 北京津发科技股份有限公司 时空行为轨迹采集、生成方法、装置、设备、系统及存储介质

Also Published As

Publication number Publication date
EP4016255A1 (en) 2022-06-22
CN111309144B (zh) 2022-02-01
EP4016255B1 (en) 2024-08-28
EP4016255A4 (en) 2022-12-07
US20220206575A1 (en) 2022-06-30
WO2021147905A1 (zh) 2021-07-29

Similar Documents

Publication Publication Date Title
CN111309144B (zh) 三维空间内注视行为的识别方法、装置及存储介质
US20200319708A1 (en) Wearable eye tracking system with slippage detection and correction
EP2400370B1 (en) Information processing device and information processing method
US20180133593A1 (en) Algorithm for identifying three-dimensional point-of-gaze
CN111047634B (zh) 场景深度的确定方法、装置、设备及存储介质
CN111709973A (zh) 目标跟踪方法、装置、设备及存储介质
JP7379065B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2014052758A (ja) 視線計測方法
Sun et al. Real-time gaze estimation with online calibration
JP2017058945A (ja) 情報処理システム、携帯端末、サーバ装置、情報処理方法及びプログラム
CN111596767A (zh) 一种基于虚拟现实的姿态捕获方法和装置
CN102713975B (zh) 图像整理系统、图像整理方法和计算机程序
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
Pasquale et al. Enabling depth-driven visual attention on the icub humanoid robot: Instructions for use and new perspectives
CN111309141B (zh) 屏幕估计
CN115482556A (zh) 关键点检测模型训练及虚拟角色驱动的方法和对应的装置
CN111354029A (zh) 手势深度确定方法、装置、设备及存储介质
US20120328150A1 (en) Methods for assisting with object recognition in image sequences and devices thereof
CN117593792A (zh) 一种基于视频帧的异常姿态检测方法和装置
US12099650B2 (en) Method and apparatus for identifying gaze behavior in three-dimensional space, and storage medium
CN112819970B (zh) 一种控制方法、装置及电子设备
WO2018076609A1 (zh) 一种操作终端的方法和终端
CN114187611A (zh) 一种注意力分析方法、系统、电子设备以及存储介质
CN115410242A (zh) 视线估计方法和装置
CN116597425B (zh) 一种驾驶员的样本标签数据的确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant