CN111522433A - 用于确定当前注视方向的方法和系统 - Google Patents

用于确定当前注视方向的方法和系统 Download PDF

Info

Publication number
CN111522433A
CN111522433A CN202010078496.XA CN202010078496A CN111522433A CN 111522433 A CN111522433 A CN 111522433A CN 202010078496 A CN202010078496 A CN 202010078496A CN 111522433 A CN111522433 A CN 111522433A
Authority
CN
China
Prior art keywords
gaze direction
time
scene
virtual camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010078496.XA
Other languages
English (en)
Other versions
CN111522433B (zh
Inventor
弗雷德里克·林德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Priority to CN202210547775.5A priority Critical patent/CN114967917A/zh
Publication of CN111522433A publication Critical patent/CN111522433A/zh
Application granted granted Critical
Publication of CN111522433B publication Critical patent/CN111522433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

一种用于确定用户关于三维(“3D”)场景的当前注视方向的方法，3D场景通过渲染功能进行采样以产生3D场景的二维(“2D”)投影图像，采样基于虚拟相机来执行，虚拟相机进而与3D场景中的相机位置和相机方向相关联，方法包括以下步骤：由注视方向检测装置确定用户在第一注视时间点处的与3D场景相关的第一注视方向；确定虚拟相机3D变换，3D变换表示第一注视时间点与晚于第一注视时间点的第二采样时间点之间虚拟相机位置和/或方向的变化，以及将当前注视方向确定为经修改的注视方向，经修改的注视方向进而是基于第一注视方向而计算的并且是进一步基于时间依赖的虚拟相机3D变换的逆变换而计算的。本发明还涉及一种系统和一种计算机软件功能。

Description

用于确定当前注视方向的方法和系统
技术领域
本发明涉及一种用于确定用户关于三维(“3D”)场景的当前注视方向的方法。本发明还涉及一种用于执行这种方法的系统和计算机软件功能。
本发明的实施例涉及在用户观察3D场景时跟踪用户的注视，并且特别涉及如何确定3D场景中用户的注视当前所指向的点或区。
背景技术
已知的是，检测眼睛及其注视方向。例如，这可以通过以下操作来完成：利用红外辐射照亮在其中寻找眼睛的区域；捕获该区域的图像；以及检测该图像中源自眼睛的瞳孔和角膜的亮点。这种方法利用摄影师已知的亮眼或“红眼”效应，通过使光线进入眼睛并通过瞳孔反射或吸收并重新发射，从而使瞳孔看起来比眼睛的其余部分和脸部更明亮。角膜会产生单独的较小的亮点(也被称为闪光)。瞳孔和角膜闪光的相对位置可以用于确定眼睛的注视方向。美国专利号6,152,563中给出了更多细节。
可替代地或附加地，可以使用类似的技术，通过将红外照明器与图像传感器间隔开，因此由图像传感器捕获的图像具有非明亮瞳孔，亦被称为“暗瞳孔”效应。
该注视跟踪技术可以在例如邻近显示器而定位的远程注视跟踪器中来实施，或者在定位于诸如一副眼镜、虚拟现实头戴装置、增强现实头戴装置、头盔等可穿戴设备中的远程注视跟踪器中来实施。
这种注视跟踪技术可以用于判定用户是否正在观看屏幕上的特定对象或区域(这些对象或区域在本申请中通常被称为‘区’)。这可以作为游戏的一部分，例如，允许用户通过观看屏幕上的图像来与图像进行交互(观看图像的动作具有预定结果)，或者通过观看图像与其他控制的组合来与图像进行交互(例如，用户在其注视指向图像的同时按压键盘或鼠标上的按键)。
当确定用户的注视关于3D场景当前指向何处时，必须考虑关于诸如屏幕等物理查看区域该用户的物理注视方向。然而，还必须考虑3D场景本身的当前状态、以及虚拟相机的当前虚拟3D空间位置和方向。
已经证明，由于各种延迟，在例如所有这些参数都可能快速变化的动态游戏情况下，用户体验将通常不够完美。
例如，考虑用户观看如监视器屏幕上示出的虚拟3D场景中的特定对象。然后，被观看的对象出现在所述屏幕上的特定位置处。然后，旋转和/或平移用于将3D场景渲染为在屏幕上查看的2D图像的虚拟相机，并且因此所查看的2D图像相应地发生改变。然而，由于延迟，用户在所述屏幕上的注视点将保持不变，直到用户的眼睛通过用户移动其注视以便再次聚焦在先前由于虚拟相机移位而移动的所述对象上来对虚拟相机移位做出反应为止。此后，硬件延迟导致游戏控制器(或类似设备)检测到屏幕上已改变的用户注视点之前的时间延迟，使得用户交互功能可以适当地做出反应。
随着3D场景本身内的改变，诸如由于所述对象移动通过虚拟3D场景，即使虚拟相机位置或方向没有发生改变，也将会产生类似的延迟效应。
这些问题不仅导致较差的用户体验，而且限制了可以用于实施用户与3D场景的交互的时间粒度。
对于GTOM(注视到对象映射)实施，会出现特别的问题，其中系统尝试检测屏幕上的可移动对象以作为用户以其注视跟随的当前聚焦对象。
通过提供更快的硬件和更高效的软件，可以部分地克服这些问题。然而，这很昂贵并且不能解决所有问题。
因此，存在关于如何在动态更新的3D场景中高效地实施注视跟踪的许多问题。本发明旨在至少部分地克服这些问题。
发明内容
因此，本发明涉及一种用于确定用户关于三维(“3D”)场景的当前注视方向的方法，该3D场景通过渲染功能进行采样以产生该3D场景的二维(“2D”)投影图像，该采样基于虚拟相机来执行，该虚拟相机进而与该3D场景中的相机位置和相机方向相关联，其中，该方法包括以下步骤：由注视方向检测装置确定该用户在第一注视时间点处的第一注视方向，该第一注视方向与所述3D场景相关；确定虚拟相机3D变换，该3D变换表示该第一注视时间点与第二采样时间点之间虚拟相机位置的变化和/或虚拟相机方向的变化，其中，该第二采样时间点晚于该第一注视时间点；以及将所述当前注视方向确定为经修改的注视方向，该经修改的注视方向进而是基于该第一注视方向而计算的并且是进一步基于所述时间依赖的虚拟相机3D变换的逆变换而计算的。
此外，本发明涉及一种用于确定用户关于三维(“3D”)场景的当前注视方向的系统，该3D场景通过渲染功能进行采样以产生该3D场景的二维(“2D”)投影图像，该采样基于虚拟相机来执行，该虚拟相机进而与该3D场景中的相机位置和相机方向相关联，该系统包括注视方向检测装置，该注视方向检测装置被布置用于确定该用户在第一注视时间点处的第一注视方向，该第一注视方向与所述3D场景相关，该系统被布置用于确定虚拟相机3D变换，该3D变换表示该第一注视时间点与第二采样时间点之间虚拟相机位置的变化和/或虚拟相机方向的变化，其中，该第二采样时间点晚于该第一注视时间点，并且该系统被布置用于将所述当前注视方向确定为经修改的注视方向，该经修改的注视方向进而是基于该第一注视方向而计算的并且是进一步基于所述时间依赖的虚拟相机3D变换的逆变换而计算的。
而且，本发明涉及一种计算机软件功能，该计算机软件功能被布置用于在执行时确定用户关于三维(“3D”)场景的当前注视方向，该3D场景通过渲染功能进行采样以产生该3D场景的二维(“2D”)投影图像，该采样基于虚拟相机来执行，该虚拟相机进而与该3D场景中的相机位置和相机方向相关联，其中，该计算机软件功能被布置用于在执行时进一步执行以下步骤：由注视方向检测装置确定该用户在第一注视时间点处的第一注视方向，该第一注视方向与所述3D场景相关；确定虚拟相机3D变换，该3D变换表示该第一注视时间点与第二采样时间点之间虚拟相机位置的变化和/或虚拟相机方向的变化，其中，该第二采样时间点晚于该第一注视时间点；以及将所述当前注视方向确定为经修改的注视方向，该经修改的注视方向进而是基于该第一注视方向而计算的并且是进一步基于所述时间依赖的虚拟相机3D变换的逆变换而计算的。
在下文中，将参考本发明的例示性实施例和附图来详细描述本发明，在附图中：
附图说明
图1是用于说明如何将3D场景渲染为2D图像的简图；
图2是用于实施注视检测的系统的简图；
图3是展示了根据本发明的方法的流程图；
图4是展示了在根据本发明的方法中使用的不同时间线的时间图；以及
图5至图7是在三个连续时间点处例示性屏幕的各个视图。
在所有附图中，相同的附图标记指代相同或相似的部分。
具体实施方式
本发明涉及关于3D场景的注视跟踪。本文使用术语注视跟踪来指代检测和/或监测眼睛的位置和/或眼睛的注视方向的任何方法或系统。本领域技术人员将了解并理解这样的系统。
还应注意，描述还涉及“注视可交互”对象或区。该短语旨在表示系统可以检测到用户的注视正在指向的对象。这可能会或可能不会导致对于用户的明显“交互”。例如，当系统检测到用户的注视正指向注视可交互对象时，用户可能看不到任何信号。然而，对象已经被观看到的事实将会以非明显方式被系统检测到并且可以由该系统使用(例如，用于统计分析)。因此，术语“注视可交互”不应被解释为要求与用户进行明显的交互。
图1提供了3D场景10的示例。这种场景可以是诸如在计算机游戏中的或针对虚拟现实头戴装置而创建的虚拟3D场景。场景10包含3D对象1。此类对象1可能会随时间推移在场景10内移动。实际上，对象1也可以移出场景10，而其他对象1可以移入到场景中。当在监视器或计算机屏幕上查看此类3D场景时，监视器或屏幕通过视口2呈现2D图像，该2D图像表示从空间中的特定位置来看3D场景的视图。视口2界定了由位于关于3D场景10的理论位置处的虚拟相机20或眼睛将看到的图像。虚拟相机20和视口2的位置组合设定了视场4。图1还示出了视截头锥3，其是3D场景10中的在视口2中示出的区域(即，延伸到3D场景10的最后部分)。
图1的简图也适用于诸如在虚拟现实头戴装置中使用的立体图像。在那种情况下，以略微不同的视口2将用户的每只眼睛呈现到场景10上，然后用户的大脑从其感知单个3D图像。在这种情况下，每个图像通常以非线性方式发生形变以补偿透镜特性。然而，对于呈现给用户的每只眼睛的每个图像，其基本理念与参考图1所讨论的理念相同。
3D对象1在理论上可以是由多边形构造的无限复杂的3D形状。如上所讨论的，经由视口2查看到的图像是如从虚拟相机20的位置所见的3D对象1在视口2的平面上的2D投影。然而，在其上显示2D视口2图像的屏幕由离散元素或像素的阵列组成。这样，必须通过在每个屏幕像素位置处对所投影的图像进行采样来将3D对象1的投影栅格化到显示网格上，以产生将被呈现为视觉场景(即，通过视口2观察到的场景)的图像。像素值作为与屏幕或视口2对应于相同尺寸的2D“位图(bitmap)”而被存储在存储器区域或缓冲器中。
这里，这种栅格化在本文中通常被称为对3D场景的“采样”。采样由渲染功能来执行以产生3D场景10的所述2D投影图像，并且尤其是基于虚拟相机20的特性由渲染功能来执行。虚拟相机20的此类特性进而可以包括虚拟相机20关于所讨论的虚拟3D场景10的位置以及虚拟相机20关于该3D场景10的方向。换句话说，虚拟相机20位于虚拟3D空间中的特定点处，并且指向特定的虚拟3D空间方向。栅格化的2D图像将取决于虚拟3D场景的内容以及所述相机20的位置和方向两者。
注意，如本文所使用的“虚拟相机方向”可以被认为是类似于虚拟3D空间中虚拟相机20与视口2之间的相对位置，以及特别是虚拟3D空间中视口2关于虚拟相机20的角位置。
虚拟相机20还可以具有附加的静态特性或可变特性，诸如视角(对应于鱼眼/远镜头)、透镜校正变换等，也影响最终的栅格化2D图像。此外，采样的结果还取决于3D场景的当前状态，该当前状态进而取决于采样时间点。
注意，术语“位图”具有许多可能的含义。在本发明的上下文中并且如在计算机图形学领域中常见的，其用于指代像素的空间映射阵列的概念，其也可以被称为“像素图(pixmap)”。术语位图不旨在传达有关所存储信息的位深度的任何限制。在本发明中，所存储信息的位深度可以是可变的。
图2示出了根据本发明的系统40的示意性视图，在该系统40中可以实施所述注视检测。系统40包括屏幕41或监视器41，以及注视检测器(注视方向检测装置)42。屏幕41可以采用常规形式或非常规形式，包括虚拟屏幕，诸如视网膜投影仪或车辆中的平视显示器。注视方向检测装置42和屏幕41两者都连接到计算机43。在现代计算机43中，对于可并行计算，图形处理单元(GPU)45通常是中央处理单元(CPU)44的10到100倍之快。这样，优选的是，使用GPU45来实施本发明。然而，可以使用诸如CPU44等任何合适的处理器来实施本发明。
计算机43进一步包括存储器46，所述2D图像可以作为位图47存储在该存储器46中。
图3展示了根据本发明的用于确定用户关于3D场景10的当前注视方向的方法，该3D场景10通过上述类型的渲染功能进行采样以产生3D场景10的2D投影图像。如上所提及的，2D投影图像显示在屏幕41上，该屏幕41可以对应于视口2。还如所提及的，采样尤其基于虚拟相机20来执行，该虚拟相机20进而至少与虚拟相机20在3D场景中的位置和虚拟相机20在该3D场景中的方向相关联。
在第一步骤S0中，该方法开始。
在后续步骤S1中，通过系统40中包括的注视方向检测装置42来确定用户的第一注视方向。特别地，如上所述，第一注视方向可以由所述注视方向检测装置42来确定以作为用户的眼睛关于所述2D图像的经测量的生理注视方向，或者由所述注视方向检测装置基于该经测量的生理注视方向来确定。
这里，“注视方向检测装置”应被理解为本身已知的硬件设备(或者视情况而定，理解为硬件和软件的组合)，其被布置为使用相机以捕获用户眼睛的图像，并基于所捕获的图像使用包括中央处理单元、存储器和通信总线的计算机电路来自动确定用户注视方向。在上面引用的美国专利号6,152,563中描述了这种设备。
在第一注视时间点TG1(参见图4)处确定该第一注视方向，并且该第一注视方向与所述3D场景10相关联。
图4使用根据以下内容的一组不同但(水平地)同步的时间线展示了该第一注视时间点TG1与关于本方法而提及的各个其他时间点如何相关：
·渲染时间线TLR，展示了所述渲染功能的采样时间点TRx。
·注视跟踪时间线TLG，展示了注视时间点TGx，换句话说，展示了使用注视方向检测装置42确定用户关于2D图像的注视时的时间点。例如，这些注视时间点TGx可以表示包含上述闪光的用户眼睛的相应图像的捕获时间点，该图像用于后续处理，目的是确定用户在所讨论的注视时间点TGx的注视。
·用户/3D场景10交互时间线TLU，展示了用户交互时间点TUx。此类用户交互时间点TUx表示3D场景10中的或与3D场景10相关的事件(诸如对象1移动或用户执行各种类型的交互任务)的相应定时。此类事件可能是或可能不是由于用户注视交互，或者可能或可能不与用户注视交互相关。
从图4清楚可见，采样可以以大致规则的间隔来进行，并且通常以可以不同于(诸如小于)注视跟踪频率的采样频率来进行。注视时间点也可以沿着时间线TLG等距或至少基本上等距地分布。另一方面，用户交互时间点TUx由于用户动作和/或游戏内部事件可以沿着时间线TLU或多或少地不规则地分布。
典型的采样频率包括20至200个采样/秒和/或最高可达144个采样/秒。典型的注视检测频率包括1至300次检测/秒；在一些实施例中，至少30次检测/秒；并且在一些实施例中，最高可达100次检测/秒。
因此，通常每个采样时间点TRx不会1:1映射到对应的注视时间点TGx。无论如何，时间线TLR和TLG没有组织成使得每个采样时间点TRx将可预测地对应于与所讨论的采样时间点TRx基本同时发生的对应注视时间点TGx。
图5展示了与3D场景相对应的由所述渲染功能在第一采样时间点TR1处产生的2D图像，其因此是由用户在注视时间点TG1处查看的2D图像(因为在时间点TR1处渲染并且然后在屏幕41上显示的2D图像在时间点TG1处在屏幕上仍然可见)。在图5中，示出了对象1以及点P1，该点P1是用户的注视所指向的点并且是在时间点TG1处在屏幕上检测到的用户注视点。
在后续步骤S2中，确定虚拟相机3D变换，换句话说，确定由虚拟相机20执行的变换。更具体地，所述3D变换表示虚拟相机20的位置和/或方向的变化，该变化至少发生在第一注视时间点TG1与第二采样时间点TR2之间，其中，该第二采样时间点TR2晚于该第一注视时间点TG1。从这个意义上讲，虚拟相机3D变换是时间依赖的变换。
图6展示了图5所示、但在已使用3D变换对虚拟相机进行变换之后的2D图像。在该例示情况下，3D变换是相机向右纯旋转(关于图6中所示的图像)，使得对象1在所示的2D图像中向左移动。然而，应注意，用户的注视仍指向屏幕41上与图5中相同的点P1。
在后续步骤S3中，将所述当前注视方向确定为经修改的注视方向。该经修改的注视方向在其是基于第一注视方向而计算的意义上是“经修改的”，并且构成该第一注视方向的修改版本。修改本身是基于所确定的虚拟相机3D变换而计算的，并且尤其是基于该变换的逆变换而计算的。确定该修改以便通过考虑虚拟相机20的当前正在进行的移动来补偿经测量的用户注视方向。
换句话说，经修改的注视方向是基于第一注视方向和所述时间依赖的虚拟相机3D变换的逆变换两者而计算的。
图7展示了图5和图6中所示的2D图像，但是2D图像上的点P2展示了经修改的注视方向。在图7中，经修改的注视方向已被修改为与描述当前正在进行的虚拟相机3D移动的虚拟相机3D变换的逆变换相对应的优选情况，使得图7中的经修改注视方向与图5中的相比相对于区或对象1是固定的或至少基本上是固定的。这假定对象1相对于场景10也是固定的(非移动的)。
在一个或若干后续步骤S4中，所确定的当前注视方向可以用于任何常规或非常规目的，并且特别地用作游戏引擎等的直接输入或间接输入。这将在下面举例说明。
此后，该方法结束S5。
使用这种系统和这种方法，并且特别是通过使用时间依赖的虚拟相机3D变换的逆变换以校正经测量的当前用户注视方向，实际上基于用户以其注视逆向地跟随虚拟相机移动的假设来构成对用户注视方向的推断，可以实现更加流畅的用户体验。注意，所述假设可能太简单而不能提供现实的预测。但是，已经证明，使用这种简单且朴素的假设在用户体验流畅度方面提供了显著改善的结果。
特别是在用户将其注视锁定在对象1上的情况下更是如此，该对象的移动受虚拟相机的位置变化和/或方向变化的影响，在这种情况下，用户的注视由对象锁定机构更准确地进行估算。在这种情况下，假设用户的注视甚至在时间点TG1之后仍将继续跟随对象1在屏幕2上的路径。
然而，当虚拟相机移动时，如果用户当前未主动跟随任何对象1，则也可以获得更流畅的用户体验。即，在这种虚拟相机移动之后，甚至在虚拟相机20移动之后，用户的注视在屏幕41上所指向的任何区都有可能吸引用户的兴趣，并且因此在时间点TR2处是推断注视的可能目标。
尤其要注意，第二采样时间点TR2晚于第一注视时间点TG1。这意味着，在各个实施例中，第一采样时间点TR1(以及视情况而定的任何数量的先前采样时间点)可以在第一注视时间点TG1之后或之前。
以上，已经将虚拟相机3D变换作为虚拟相机20“移动”进行了讨论。认识到，这种移动至少可以包括虚拟相机旋转部分，换句话说，虚拟相机20的方向在虚拟3D空间中围绕一个轴线、两个轴线或三个轴线进行旋转。这可以对应于视口2在虚拟3D空间中的旋转，即围绕将虚拟相机20的位置作为枢转点的旋转。
然而，这种移动还(附加地/可替代地)可以包括虚拟相机3D线性/曲线平移部分，换句话说，虚拟相机通过虚拟3D空间进行平移而不改变其方向。
当然，3D变换也可以表示更复杂的移动，诸如空间中跨线性路径或曲线路径的平移与虚拟相机同时旋转的组合。其他类型的移动也可以单独使用或与附加移动组合使用。例如，虚拟相机20可以经受镜头推进变换或镜头拉远变换。重要的是，由3D变换表示的任何移动都会影响基于虚拟相机20而渲染的2D图像。
在一些实施例中，虚拟相机3D变换可以基于虚拟相机20在所述第一采样时间点TR1与所述第二采样时间点TR2之间的移动的插值(诸如线性插值)来确定。从图4清楚可见，第一采样时间点TR1在第二采样时间点TR2之前。第一采样时间点TR1与第二采样时间点TR2之间的插值时间在本文中被称为“插值时间”，并且在图4中被示出为IT1。因此，假设虚拟相机20跨插值时间而线性地移动。这简化了计算。
注意，插值可以基于插值时间IT1期间的虚拟相机20移动，或者仅基于插值时间的子集，诸如第一注视时间点TG1与第二采样时间点TR2之间经过的时间，插值时间的子集在图4中表示为IT2。
特别地，当基于所述类型的插值来确定3D变换时，可以调节所讨论的插值的插值时间，以补偿对用户的眼睛移动的生理延迟的估算。然后，可以使用所述经调节的插值时间IT3而基于所述插值来确定虚拟相机3D变换。在图4中，通过在第二采样时间点TR2之前将插值时间IT3缩短合适的时间段(诸如0.1秒至0.3秒)来举例说明该理念。在一些实施例中，该延迟补偿短时间段对于由用户自己发起的虚拟相机20移动(诸如通过移动计算机鼠标以影响3D游戏中的查看方向)是第一值；并且对于不是由用户发起的虚拟相机20移动(诸如由特定游戏设计自动产生的虚拟相机20移动)是第二值。然后，所述第一值可以小于(更短的时间段)第二值。
可以针对任何期望的时间点来确定当前用户注视方向，对于期望的时间点，期望实现对当前注视方向的准确估算。自然地，对于已经属于过去的那些注视时间点TGx，这是不必要的，因为对于这些时间点，已经存在采用由所述注视方向检测装置42直接测量的注视方向形式的注视方向准确估算。因此，针对任何未来时间点、或针对不是注视测量时间点的任何过去时间点(诸如上次注视时间点TGx之后的任何过去时间点)，可以使用本方法来确定当前用户注视方向。
以与对用户的生理延迟的所述补偿相类似的方式，还可以考虑所述渲染功能执行所述采样(渲染)的硬件延迟/软件延迟，并且然后将考虑了所述渲染延迟的预计未来时间点(关于实际的第二采样时间点TR2)用作第二采样时间点TR2。这在图4中使用IT4作为插值时间(在时间点TR2之后结束)进行了展示。用于调节渲染延迟的合适附加时间取决于用于创建3D场景10的硬件/软件，但可以大约为0.01s至0.10s。
取决于为了达到经修改注视方向而需要执行的计算的复杂性；所使用的组合软件/硬件；以及不同过程之间的优先级，这些计算可能会花费一定的不可忽略的时间。在某些其他上下文下，用户的注视方向是以相对较高的频率(暂时或始终)进行测量的，从而提供足够流畅的用户体验。
在这些以及其他情况下，该方法可以包括进一步步骤：确定第一注视时间点TG1与将要确定当前注视方向的时间点(诸如第二采样时间点TR2)之间的时间差。然后，仅在所述时间差大于某个时间差阈值的情况下才将当前注视方向确定为所述经修改的注视方向。因此，在相反的情况下，当所讨论的时间差小于或至少等于所述阈值时，上次测量的(在TG1处)注视方向则照原样使用。时间差阈值可以是静态值，诸如最多为0.1秒(诸如最多0.01秒)的值，或者可以是可以考虑各种动态参数的动态计算值，这些动态参数诸如为当前渲染帧速率；当前3D场景10或游戏状态；或当前硬件电源可用性，并在影响当前用户体验的各种此类方面之间达到期望的平衡。
可替代地或附加地，在一些实施例中，该方法可以进一步包括以下步骤：确定虚拟相机20的当前变换速度，诸如当前瞬时虚拟相机20旋转和/或平移速度。然后，仅在所确定的变换速度大于第一变换速度阈值的情况下才可以将当前注视方向确定为经修改的注视方向。换句话说，仅在虚拟相机20在此瞬间快速移动时才执行用户注视补偿；否则，所检测到的用户注视照原样使用。
在这两者的组合中，可以基于所确定的当前虚拟相机20变换速度来动态地确定所提及的时间差阈值。因此，当虚拟相机20经历快速移动时，在执行根据本发明的当前注视方向补偿之前，接受较小的最大时间差。
在上述例示性实施例中，仅使用关于正在进行的虚拟相机20移动的信息来补偿当前用户注视方向(通过确定经修改的注视方向)。然而，在本发明的一些实施例中，关于正在进行的3D场景10改变的信息也可以作为输入以用于确定经修改的注视方向。
即，该方法可以进一步包括以下步骤：确定影响3D场景10的至少一部分的当前3D场景改变变换，该3D场景10的至少一部分的2D投影在屏幕41上示出的2D投影图像中可见，诸如沿着第一注视方向在所述2D投影图像中呈现。
然后，进一步基于所述当前3D场景10改变变换来计算所述经修改的注视方向。
这种3D场景10改变变换可以例如是：对象1的平移变化和/或旋转变化和/或形状变化；3D场景的子部分关于其他此类子部分或关于3D场景10的背景的更一般的移动；对象1在3D场景10中的出现和/或该对象1从该3D场景10的消失；等等。注意，这种3D场景10的改变本身并不涉及虚拟相机20的移动。
3D场景10变换的一个重要示例是，对象1遵循确定性或准确定性轨迹，诸如投掷对象的自由落体轨迹或移动中车辆的道路行进轨迹。在该示例中，除了虚拟相机20的移动之外，还可以考虑经修改的注视方向，还假定用户保持聚焦在特定的聚焦区，诸如使注视跟随投掷对象1。
另一示例是当用户以对负责维护和更新3D场景的游戏引擎而言至少部分地可预测的方式与3D场景10进行交互时，诸如用户在游戏中利用武器进行射击或投掷对象。然后，经修改的注视方向可以考虑到用户会将其注视引导朝向由于所讨论的交互而引起的某种类型的“热区”，诸如在3D场景10中发射的子弹的命中位置。
根据本发明的方法的一种可能的用途是作为用于识别3D场景10中的特定对象以作为用户的当前注视聚焦目标(上述GTOM系统)的方法的一部分。通常，此类方法是众所周知的，并且例如在US20160357255A1和US20180300943A1中进行了描述。
在本发明的情况下，这种对象1识别方法进一步包括：首先，使用上述方法确定当前注视方向，至少使用虚拟相机20变换来补偿当前用户注视。然后，如上所述地确定的当前注视方向用于识别所述对象1。该使用可以以这种常规方式进行，并且表示图3的流程图中展示的使用示例。
特别地，在不使渲染功能获得关于第一注视方向的直接信息的情况下执行对当前注视方向的确定(如上所述)和对所述对象1的识别(使用基于经修改的用户注视方向的注视到对象映射)这两者的意义上，根据本发明的执行用户注视方向确定的系统以及GTOM系统或功能两者都可以在所述渲染功能的外部。换句话说，基于如上所述的经修改的用户注视方向来执行GTOM映射，而不会或甚至永远不会使“原始”(非修改)用户注视数据可用于与GTOM映射相关的渲染功能。这可能意味着在虚拟3D场景10中表示如由注视方向检测装置42测量的用户的当前注视方向和/或当前焦点的特定3D角度、(真实)2D屏上坐标或(虚拟)3D坐标方面，没有为渲染功能提供经测量的用户注视方向。
另一方面，在这种情况下，渲染功能或负责创建和维护3D场景10的游戏引擎可以向负责确定经修改的用户注视方向的子系统提供关于虚拟相机20的移动和3D场景10的移动的必要信息或确定经修改的用户注视方向。
这样，基于用户注视检测的GTOM系统可以被提供为独立软件或硬件实体，以便与被布置为创建和维护基于3D场景的用户体验的若干不同游戏引擎或其他实体一起使用。这种GTOM系统可以实施用于与注视方向检测装置42和游戏引擎等进行通信的合适接口，这些接口可以是本身常规的类型。
特别地，可以从特定系统或系统实体(诸如游戏引擎等)向这种GTOM系统提供关于3D场景10的几何信息以及关于虚拟相机20的3D方向和虚拟相机20的3D位置的虚拟相机20信息。然后，该特定系统或系统实体还可以将这种几何信息和相机信息提供给所述渲染功能。例如，渲染功能可以形成特定系统或系统实体的一部分。
然后，所提供的几何信息和虚拟相机20信息可以用于由GTOM系统确定所述当前注视方向和/或用于识别所述对象。
如上所提及的，可以将3D场景10移动用作确定经修改用户注视方向的基础。一个示例是诸如使用GTOM功能来确定当前聚焦的对象1，并且然后将该对象1在3D场景10中的移动用作确定所述经修改的用户注视方向的输入。
特别地，根据本发明的方法然后可以进一步包括以下步骤：使用诸如所述GTOM功能等的对象识别装置来确定所述3D场景10中的对象1，该对象1的2D投影沿着第一注视方向在所述2D投影图像中呈现。换句话说，将用户的注视当前所指向的对象1确定为当前聚焦的对象1。
此后，在第一对象1移动时间点与第二对象1移动时间点之间确定所述3D场景10中的对象1移动变换，其中，该第二对象1移动时间点晚于第一注视时间点TG1和第一对象1移动时间点两者。第一对象1移动时间点可以例如是如图4所示的时间点TU1，而第二对象1移动时间点可以例如是时间点TU2。
这种对象1移动变换可以包括：平移分量；旋转分量；形状改变分量等等。然后假设在所述对象1移动期间用户的注视跟随聚焦对象1。对象1移动变换可以包括至少某些确定性分量，基于该确定性分量可以确定所投影或插值的对象1变换并将其用于确定经修改的用户注视方向。
最后，除了基于上述虚拟相机20移动之外，还基于所述对象1移动变换来确定当前注视方向。注意，在这种情况下，所使用的假设是，用户注视也在未来的特定时间段期间跟随所确定的聚焦对象1。
如上所述，对所检测的用户的注视方向的修改可能会受到某些条件的影响，诸如虚拟相机20足够快地移动。类似地，在一些实施例中，本方法可以进一步包括以下步骤：确定上述类型的当前虚拟相机20变换速度，并且仅在所述虚拟相机20变换速度大于第二变换速度阈值的情况下基于所述对象1移动变换来计算经修改的注视方向。这样，仅在虚拟相机20当前正在相对快速地移动时在最需要这种校正时才使用GTOM数据以进行用户注视方向校正。
如上所提及的，一方面，本发明涉及一种如上所述的用于确定用户的当前注视方向的系统。这种系统可以是：图2中展示的系统40；布置有用于与诸如游戏引擎或其他包含渲染功能的实体的3D场景10产生系统进行通信和协作的合适接口的系统；或者采用被布置为执行本文所述的方法步骤的任何其他集成系统或独立系统的形式。这种系统可以包括GTOM系统或被布置为与GTOM系统进行通信。
还如上所提及的，在另一方面，本发明涉及一种计算机软件功能，该计算机软件功能被布置为在执行时如上所述地确定用户的当前注视方向。这种计算机软件功能可以被布置为在所述类型的系统的硬件上执行或者在来自所述类型的系统的硬件上执行。特别地，该计算机软件功能可以作为机器可读指令集(诸如此类指令的编译集)被提供，该机器可读指令集驻留在非暂态机器可读介质(诸如所述系统的RAM或ROM存储器)上；其可以在远程服务器上执行，但由所述系统发起执行；或这两者的组合。该计算机软件功能还可以被布置为在一个单个硬件实例上或跨一组硬件实例执行，诸如在在线的交互服务器集群上执行。
换句话说，该计算机软件功能可以被看作是相应的计算机软件产品或计算机程序。其通常包括所述机器可读指令。
本发明进一步涉及这种非暂态机器可读介质，其上存储有上述类型的指令。
以下伪代码举例说明了确定经修改的用户注视方向的一种可能实施方式：
测量虚拟相机20的旋转速度；存储在CameraRotation中
将游戏时间线TLR同步到眼睛跟踪器定时器TLG。
在每个渲染帧上执行：
获取上次的注视点TGx-1与当前游戏时间TRnow之间的时间间隔；将其存储在TimeDelta中
将经校正的注视向量CorrectedGazeVector计算为：
CounterRotation＝TimeDelta*-CameraRotation
CorrectedGazeVector＝CounterRotation.RotateVector(OriginalGazeVector)，
其中CounterRotation为反向旋转速度，RotateVector为旋转向量，OriginalGazeVector为原始注视向量。
以上，已经描述了优选实施例。然而，对于本领域技术人员显而易见的是，可以在不脱离本发明的基本思想的情况下对所披露的实施例进行许多修改。
例如，除了本文描述的特征之外，上述方法还可以包括许多附加特征，诸如内置的用户交互功能。
所确定的当前用户注视方向的用途可以改变。例如，一种可能的用途是在屏幕41的当前聚焦区附近局部地提高2D采样图像质量，以便将计算机资源优先用于提供从计算机图形角度更高质量的用户体验。
根据本发明的计算机软件功能还可以是计算机游戏或任何其他复杂计算机软件功能的集成部分。其也可以安装在注视方向检测装置(诸如图2中披露的装置42)上。
通常，本文中关于该方法已经陈述的所有内容都同样适用于所述系统和计算机软件功能，并且反之亦然。
因此，本发明不限于所描述的实施例，而是可以在所附权利要求的范围内变化。

Claims (18)

1.一种用于确定用户关于三维(“3D”)场景(10)的当前注视方向的方法，所述3D场景(10)通过渲染功能进行采样以产生所述3D场景(10)的二维(“2D”)投影图像，采样基于虚拟相机(20)来执行，所述虚拟相机进而与所述3D场景(10)中的相机(20)位置和相机(20)方向相关联，其中，所述方法包括以下步骤：
由注视方向检测装置(42)确定所述用户在第一注视时间点(TG1)处的第一注视方向，其中，所述第一注视方向与所述3D场景(10)相关；
确定虚拟相机(20)3D变换，所述3D变换表示在所述第一注视时间点(TG1)与第二采样时间点(TR2)之间虚拟相机(20)位置的变化和/或虚拟相机(20)方向的变化，其中，所述第二采样时间点(TR2)晚于所述第一注视时间点(TG1)；以及
将所述当前注视方向确定为经修改的注视方向，所述经修改的注视方向进而是基于所述第一注视方向而计算的，并且是进一步基于所述时间依赖的虚拟相机(20)3D变换的逆变换而计算的。
2.根据权利要求1所述的方法，其中，
所述虚拟相机(20)3D变换是基于第一采样时间点(TR1)与所述第二采样时间点(TR2)之间的插值而确定的，其中，所述第一采样时间点(TR1)在所述第二采样时间点(TR2)之前。
3.根据权利要求2所述的方法，其中，
调节所述插值的插值时间(IT3)，以补偿对所述用户的眼睛移动的生理延迟的估算，并且其中，
所述虚拟相机(20)3D变换是使用所述经调节的插值时间(IT3)基于所述插值而确定的。
4.根据前述权利要求中任一项所述的方法，其中，
所述虚拟相机(20)3D变换包括相机(20)旋转部分。
5.根据前述权利要求中任一项所述的方法，其中，
所述虚拟相机(20)3D变换包括相机(20)平移部分。
6.根据前述权利要求中任一项所述的方法，其中，
所述第二采样时间点(TR2)是考虑了所述渲染功能执行所述采样的预期时间的预计未来时间点。
7.根据前述权利要求中任一项所述的方法，其中，所述方法进一步包括以下步骤：
确定所述第一注视时间点(TG1)与将要确定所述当前注视方向的时间点之间的时间差；并且其中，
所述当前注视方向仅在所述时间差大于时间差阈值的情况下才被确定为所述经修改的注视方向。
8.根据前述权利要求中任一项所述的方法，其中，所述方法进一步包括以下步骤：
确定当前虚拟相机(20)变换速度；并且其中，
所述当前注视方向仅在所述变换速度大于第一变换速度阈值的情况下才被确定为所述经修改的注视方向。
9.根据权利要求7和8所述的方法，其中，
所述时间差阈值是基于所述当前虚拟相机(20)变换速度而确定的。
10.根据前述权利要求中任一项所述的方法，其中，
所述第一注视方向由所述注视方向检测装置(42)来确定以作为所述用户的眼睛关于所述2D图像的经测量的生理注视方向，或者由所述注视方向检测装置基于所述经测量的生理注视方向来确定。
11.根据前述权利要求中任一项所述的方法，其中，所述方法进一步包括以下步骤：
确定当前场景(10)改变变换，所述变换影响所述场景(10)的一部分，所述一部分的2D投影在所述2D投影图像中可见地呈现；并且其中，
所述经修改的注视方向是进一步基于所述当前场景(10)改变变换而计算的。
12.一种用于识别3D场景(10)中的对象(1)的方法，所述对象是当前用户注视的聚焦目标，其中，所述方法包括：
使用根据前述权利要求中任一项所述的方法来确定当前注视方向；以及
使用所确定的当前注视方向来识别所述对象(1)。
13.根据权利要求12所述的方法，其中，
在不使所述渲染功能获得关于所述第一注视方向的直接信息的情况下，执行对所述当前注视方向的确定和对所述对象(1)的识别两者。
14.根据权利要求13所述的方法，其中，
关于所述3D场景(10)的几何信息、以及关于虚拟相机(20)方向和虚拟相机(20)位置的虚拟相机(20)信息是从特定系统实体提供的，所述特定系统实体还向所述渲染功能提供这样的几何信息和相机(20)信息，并且其中，
所提供的几何信息和相机(20)信息用于确定所述当前注视方向和/或用于识别所述对象(1)。
15.根据前述权利要求中任一项所述的方法，其中，所述方法进一步包括以下步骤：
使用对象识别装置来确定所述3D场景(10)中的对象(1)，所述对象的2D投影沿着所述第一注视方向在所述2D投影图像中呈现；
确定第一对象(1)移动时间点(TU1)与第二对象(1)移动时间点(TU2)之间在所述3D场景(10)中的对象(1)移动变换，其中，所述第二对象(1)移动时间点(TU2)晚于所述第一注视时间点(TG1)和所述第一对象(1)移动时间点(TU1)两者；以及
进一步基于所述对象(1)移动变换来确定所述当前注视方向。
16.根据权利要求15所述的方法，其中，所述方法进一步包括以下步骤：
确定当前虚拟相机(20)变换速度；并且其中，
所述经修改的注视方向是仅在所述变换速度大于第二变换速度阈值的情况下基于所述对象(1)移动变换而计算的。
17.一种用于确定用户关于三维(“3D”)场景(10)的当前注视方向的系统，所述3D场景(10)通过渲染功能进行采样以产生所述3D场景(10)的二维(“2D”)投影图像，采样基于虚拟相机(20)来执行，所述虚拟相机进而与所述3D场景(10)中的相机(20)位置和相机(20)方向相关联，所述系统包括注视方向检测装置(42)，所述注视方向检测装置被布置用于确定所述用户在第一注视时间点(TG1)处的第一注视方向，所述第一注视方向与所述3D场景(10)相关，所述系统被布置用于确定虚拟相机(20)3D变换，所述3D变换表示所述第一注视时间点(TG1)与第二采样时间点(TR2)之间虚拟相机(20)位置的变化和/或虚拟相机(20)方向的变化，其中，所述第二采样时间点(TR2)晚于所述第一注视时间点(TG1)，并且所述系统被布置用于将所述当前注视方向确定为经修改的注视方向，所述经修改的注视方向进而是基于所述第一注视方向而计算的，并且是进一步基于所述时间依赖的虚拟相机(20)3D变换的逆变换而计算的。
18.一种计算机软件功能，所述计算机软件功能被布置用于在执行时确定用户关于三维(“3D”)场景(10)的当前注视方向，所述3D场景(10)通过渲染功能进行采样以产生所述3D场景(10)的二维(“2D”)投影图像，采样基于虚拟相机(20)来执行，所述虚拟相机进而与所述3D场景(10)中的相机(20)位置和相机(20)方向相关联，其中，所述计算机软件功能被布置用于在执行时进一步执行以下步骤：
由注视方向检测装置(42)确定所述用户在第一注视时间点(TG1)处的第一注视方向，所述第一注视方向与所述3D场景(10)相关；
确定虚拟相机(20)3D变换，所述3D变换表示所述第一注视时间点(TG1)与第二采样时间点(TR2)之间虚拟相机(20)位置的变化和/或虚拟相机(20)方向的变化，其中，所述第二采样时间点(TR2)晚于所述第一注视时间点(TG1)；以及
将所述当前注视方向确定为经修改的注视方向，所述经修改的注视方向进而是基于所述第一注视方向而计算的并且是进一步基于所述时间依赖的虚拟相机(20)3D变换的逆变换而计算的。
CN202010078496.XA 2019-02-04 2020-02-03 用于确定当前注视方向的方法和系统 Active CN111522433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210547775.5A CN114967917A (zh) 2019-02-04 2020-02-03 用于确定当前注视方向的方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE1930040-9 2019-02-04
SE1930040A SE543121C2 (en) 2019-02-04 2019-02-04 Method and system for determining a current gaze direction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210547775.5A Division CN114967917A (zh) 2019-02-04 2020-02-03 用于确定当前注视方向的方法和系统

Publications (2)

Publication Number Publication Date
CN111522433A true CN111522433A (zh) 2020-08-11
CN111522433B CN111522433B (zh) 2022-05-27

Family

ID=69411220

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010078496.XA Active CN111522433B (zh) 2019-02-04 2020-02-03 用于确定当前注视方向的方法和系统
CN202210547775.5A Pending CN114967917A (zh) 2019-02-04 2020-02-03 用于确定当前注视方向的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210547775.5A Pending CN114967917A (zh) 2019-02-04 2020-02-03 用于确定当前注视方向的方法和系统

Country Status (5)

Country Link
US (1) US11579687B2 (zh)
EP (1) EP3690611B1 (zh)
CN (2) CN111522433B (zh)
ES (1) ES2931181T3 (zh)
SE (1) SE543121C2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286355A (zh) * 2020-10-28 2021-01-29 杭州如雷科技有限公司 一种用于沉浸式内容的交互方法和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
US11675430B1 (en) * 2021-12-17 2023-06-13 Varjo Technologies Oy Display apparatus and method incorporating adaptive gaze locking
SE545378C2 (en) * 2021-12-30 2023-07-25 Tobii Ab Method and system for determining a current gaze direction
DE102022108944A1 (de) 2022-04-12 2023-10-12 Kardex Produktion Deutschland Gmbh Verfahren zum Steuern einer Lagervorrichtung
DE102022108946A1 (de) 2022-04-12 2023-10-12 Kardex Produktion Deutschland Gmbh Verfahren zum Steuern einer Lagervorrichtung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053452A1 (en) * 2015-08-17 2017-02-23 Colopl, Inc. Method and apparatus for providing virtual space, and non-transitory computer readable data storage medium storing program causing computer to perform method
EP3185103A1 (en) * 2015-12-22 2017-06-28 Alcatel Lucent A gazed virtual object identification determination module, a system for implementing gaze translucency, and a related method
CN107949821A (zh) * 2015-09-10 2018-04-20 阿尔卡特朗讯公司 被注视虚拟对象识别模块、用于实现注视半透明的系统和相关方法
CN108604116A (zh) * 2015-09-24 2018-09-28 托比股份公司 能够进行眼睛追踪的可穿戴设备
CN109144240A (zh) * 2017-06-19 2019-01-04 Arm有限公司 图形处理系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US8982110B2 (en) * 2005-03-01 2015-03-17 Eyesmatch Ltd Method for image transformation, augmented reality, and teleperence
JP5300777B2 (ja) * 2010-03-31 2013-09-25 株式会社バンダイナムコゲームス プログラム及び画像生成システム
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
ITTO20111150A1 (it) * 2011-12-14 2013-06-15 Univ Degli Studi Genova Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento
EP2709060B1 (en) * 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US9137524B2 (en) 2012-11-27 2015-09-15 Qualcomm Incorporated System and method for generating 3-D plenoptic video images
KR101916663B1 (ko) 2012-12-18 2018-11-08 삼성전자주식회사 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
JP6515086B2 (ja) 2013-04-29 2019-05-15 ミラメトリックス インコーポレイテッド 経時的な確率的オブジェクト追跡のためのシステムおよび方法
US10067634B2 (en) * 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
KR101671837B1 (ko) * 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
GB2539009A (en) 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
US10607401B2 (en) 2015-06-03 2020-03-31 Tobii Ab Multi line trace gaze to object mapping for determining gaze focus targets
KR102000888B1 (ko) * 2015-08-07 2019-10-01 애플 인크. 이미지들의 스트림을 디스플레이하기 위한 시스템 및 방법
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
CA2915028A1 (en) 2015-12-11 2017-06-11 Igt Canada Solutions Ulc Enhanced electronic gaming machine with dynamic gaze display
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US20180027230A1 (en) * 2016-07-19 2018-01-25 John T. Kerr Adjusting Parallax Through the Use of Eye Movements
CN108804061A (zh) * 2017-05-05 2018-11-13 上海盟云移软网络科技股份有限公司 虚拟现实系统的虚拟场景显示方法
US11042994B2 (en) * 2017-11-15 2021-06-22 Toyota Research Institute, Inc. Systems and methods for gaze tracking from arbitrary viewpoints

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053452A1 (en) * 2015-08-17 2017-02-23 Colopl, Inc. Method and apparatus for providing virtual space, and non-transitory computer readable data storage medium storing program causing computer to perform method
CN107949821A (zh) * 2015-09-10 2018-04-20 阿尔卡特朗讯公司 被注视虚拟对象识别模块、用于实现注视半透明的系统和相关方法
CN108604116A (zh) * 2015-09-24 2018-09-28 托比股份公司 能够进行眼睛追踪的可穿戴设备
EP3185103A1 (en) * 2015-12-22 2017-06-28 Alcatel Lucent A gazed virtual object identification determination module, a system for implementing gaze translucency, and a related method
CN109144240A (zh) * 2017-06-19 2019-01-04 Arm有限公司 图形处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112286355A (zh) * 2020-10-28 2021-01-29 杭州如雷科技有限公司 一种用于沉浸式内容的交互方法和系统

Also Published As

Publication number Publication date
CN114967917A (zh) 2022-08-30
SE543121C2 (en) 2020-10-13
SE1930040A1 (en) 2020-08-05
CN111522433B (zh) 2022-05-27
US20200278746A1 (en) 2020-09-03
ES2931181T3 (es) 2022-12-27
EP3690611A1 (en) 2020-08-05
US11579687B2 (en) 2023-02-14
EP3690611B1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
CN111522433B (zh) 用于确定当前注视方向的方法和系统
US11836289B2 (en) Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission
US10720128B2 (en) Real-time user adaptive foveated rendering
US11151776B2 (en) Prediction and throttling adjustments based on application rendering performance
JP6632443B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
US10169846B2 (en) Selective peripheral vision filtering in a foveated rendering system
JP6454851B2 (ja) ３次元上の注視点の位置特定アルゴリズム
TWI669635B (zh) 用於顯示彈幕的方法、裝置以及非揮發性電腦可讀儲存介質
WO2016193394A1 (en) Gaze detection method and apparatus
EP3923122A1 (en) Gaze tracking apparatus and systems
CN114967128B (zh) 一种应用于vr眼镜的视线追踪系统及方法
CN116382461A (zh) 用于虚拟现实的装置和方法
CN115985209A (zh) 可穿戴显示设备、控制方法、装置、电子设备和存储介质
EP4206868A1 (en) Method and system for determining a current gaze direction
US11688128B2 (en) Multi line trace gaze to object mapping for determining gaze focus targets
Janus Gaze-dependent Ambient Occlusion
CN116893507A (zh) 头戴式显示设备
GB2587626A (en) Variable rendering system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant