CN111399623A - 用于基于眼扫视检测的动态图形渲染的装置和方法 - Google Patents
用于基于眼扫视检测的动态图形渲染的装置和方法 Download PDFInfo
- Publication number
- CN111399623A CN111399623A CN202010139434.5A CN202010139434A CN111399623A CN 111399623 A CN111399623 A CN 111399623A CN 202010139434 A CN202010139434 A CN 202010139434A CN 111399623 A CN111399623 A CN 111399623A
- Authority
- CN
- China
- Prior art keywords
- saccade
- computer
- user
- simulated scene
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004434 saccadic eye movement Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000009877 rendering Methods 0.000 title claims abstract description 61
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 210000001508 eye Anatomy 0.000 claims abstract description 49
- 230000004424 eye movement Effects 0.000 claims description 69
- 230000003287 optical effect Effects 0.000 claims description 16
- 230000001711 saccadic effect Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000002567 electromyography Methods 0.000 claims 2
- 238000005094 computer simulation Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 claims 1
- 238000004590 computer program Methods 0.000 abstract description 13
- 230000000873 masking effect Effects 0.000 description 21
- 210000003205 muscle Anatomy 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 14
- 230000009467 reduction Effects 0.000 description 12
- 210000004556 brain Anatomy 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 206010053694 Saccadic eye movement Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000004459 microsaccades Effects 0.000 description 3
- 206010029864 nystagmus Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000663 muscle cell Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
提供了一种用于基于眼扫视检测来渲染计算机图形的方法。所述方法的一个实施方案包括：检测观看计算机模拟的用户的眼睛中的眼扫视；在所述眼扫视的结束之前，预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置；以及以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点。系统执行类似的步骤，并且还提供了各自存储一个或多个计算机程序的非暂时性计算机可读存储介质。
Description
本分案申请是申请日为2016年8月25日、申请号为201680050876.4、发明名称为“用于基于眼扫视检测的动态图形渲染的装置和方法”的分案申请。
相关申请的交叉参考
本申请是2015年9月4日提交的题为“用于基于眼扫视检测的动态图形渲染的装置和方法(APPARATUS AND METHOD FOR DYNAMIC GRAPHICS RENDERING BASED ON SACCADEDETECTION)”的美国专利申请号14/845,862的继续申请并且要求其权益，所述申请的全部内容和公开内容在此通过引用以其全部内容全部并入本文。
技术领域
本发明总体上涉及计算机生成的图像，并且更具体地涉及计算机生成的图形的实时渲染。
背景技术
计算机渲染的图形用于向用户呈现各种用户界面和媒体。计算机图形的实时渲染允许图形内容响应于用户输入和软件状态的变化而被实时渲染。
发明内容
一个实施方案提供了一种方法，所述方法包括：检测观看计算机模拟的用户的眼睛中的眼扫视；在所述眼扫视的结束之前，预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置；以及以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点。
另一个实施方案提供了一种系统，所述系统包括：眼球运动传感器；显示设备，所述显示设备用于向用户显示计算机模拟场景；以及处理器，所述处理器被通信地耦接到所述眼球运动传感器和所述显示设备，所述处理器被配置来执行步骤，包括：检测观看所述计算机模拟场景的所述用户的眼睛中的眼扫视；在所述眼扫视的结束之前，预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置；以及以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点。
另一个实施方案提供了一种存储一个或多个计算机程序的非暂时性计算机可读存储介质，所述一个或多个计算机程序被配置来引起基于处理器的系统执行步骤，所述步骤包括：检测观看计算机模拟的用户的眼睛中的眼扫视；在所述眼扫视的结束之前，预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置；以及以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点。
通过参考以下详细描述和附图，将更好地理解本发明的各种实施方案的特征和优点，附图阐述了利用本发明的实施方案的原理的说明性实施方案。
附图说明
本发明的实施方案的以上和其他方面、特征和优点通过以下结合以下附图呈现的更多的特定描述将更加明显，在附图中：
图1是示出根据本发明的一些实施方案的用于基于眼扫视检测的动态图形渲染的系统的框图；
图2是示出根据本发明一些实施方案的用于基于眼扫视检测的动态图形渲染的方法的流程图；
图3是根据本发明的一些实施方案的在眼扫视检测的情况下的计算资源减少的图示；
图4是示出根据本发明一些实施方案的校准过程的框图；
图5A-5B是根据本发明的一些实施方案的头戴式设备的图示。
具体实施方式
人类的视觉系统具有称为眼扫视的眼球运动，它是从一个注视位置到另一个注视位置的快速移动。在眼扫视期间，大脑遮蔽了从视神经接收的信号。这种遮蔽效应通常称为眼扫视遮蔽。一旦眼扫视结束并且眼睛已到达稳定的新的凝视点，那么经由视神经发送到大脑的图像就随后被用来在眼扫视期间“填充”感知间隙。诸如空间更新和跨眼扫视整合的其他感知效果也会影响人脑如何在整个眼扫视事件中感知图像。空间更新是指在眼扫视之前观察到的视觉刺激在眼扫视期间和眼扫视之后即使在视觉刺激不再可见时仍由大脑感知的效果。跨眼扫视整合是指大脑将来自整个眼扫视中的两个或更多个凝视点的视觉信息进行整合的效果。
眼扫视遮蔽时间有时可在眼扫视眼球运动之前几毫秒(诸如大约30ms)开始。眼球运动本身可持续大约50-75ms，这取决于眼扫视的幅度。在眼球运动停止之后，可发生另外大约30ms的大脑信号遮蔽。
在计算机渲染的虚拟现实(VR)场景中，实时图像渲染需要大量的中央处理单元(CPU)和图形处理单元(GPU)的电力并且频繁地产生(通常至少60Hz)图像以赋予良好的VR感知。因此，对VR进行渲染可能非常耗电。
在眼扫视期间，由于眼扫视遮蔽，新图像(帧)可能不会由用户感知。在一些情况下，眼扫视遮蔽时间段可容易在100ms至200ms左右。了解正在发生眼扫视遮蔽时间段的系统可避免渲染图像帧以节省计算资源和功耗。例如，在60Hz的渲染和100ms的眼扫视时间段内，在眼扫视期间可跳过或用较少的计算资源渲染大约6个帧。在许多VR系统中，使用更高的帧速率，诸如90Hz或120Hz。在此类系统中，在典型的眼扫视时间段期间可节省更多的帧。应用此技术的总功率节省可与由眼扫视遮蔽时间段所占的总VR观看时间的百分比有关。
除了功率节省之外，在一些实施方案中，“节省的”处理时间可用来渲染诸如复杂照明计算的低频更新。通常，3D场景照明相对缓慢地变化，并且因此可用更大的延时容忍度来计算。由于眼扫视不能保证以任何特定的速率发生，所以这种技术适用于存在得到眼扫视的统计可能性的长持续时间(几秒)的计算。这种技术可结合中心凹渲染和注视跟踪来使用。
以下将讨论用于检测眼扫视的各种技术。例如，可使用诸如位置灵敏检测器(PSD)或多普勒效应传感器的高速率传感器来对眼扫视进行光学检测。在一些实施方案中，可通过测量靠近眼肌的皮肤上的肌电图(EMG)肌肉信号来检测眼扫视的开始。
现在将提供更详细的描述。首先参考图1，示出了根据本发明的一些实施方案的用于基于眼扫视检测来渲染图像的系统，所述系统可用于运行、实现和/或执行本文中示出和描述的任何方法和技术。眼扫视检测系统100包括处理器101、存储器102、显示器130和传感器110。眼扫视检测系统100可包括或包括在以下各项中的一项或多项内：头戴式显示器(“HMD”)设备、增强现实设备、虚拟现实设备、可穿戴设备、便携式用户设备、智能手机、个人计算机、电视机、平板计算机、游戏机等。通常，眼扫视检测系统100可包括具有至少一个传感器的任何基于处理器的设备。
存储器102可包括易失性和/或非易失性计算机可读存储器设备中的一个或多个。在一些实施方案中，存储器102存储计算机可执行代码，所述计算机可执行代码引起处理器101自动检测眼扫视的开始并且在眼扫视的持续时间的至少一部分期间减少用于渲染计算机模拟场景的帧的计算资源。计算机可读指令可命令处理器基于来自传感器110的信息来检测眼扫视。存储器102可进一步存储眼球运动模型，所述眼球运动模型用于确定检测的眼球运动是否构成引起眼扫视遮蔽的眼扫视和/或预测检测的眼扫视的持续时间。眼球运动模型可包括通过本文描述的一个或多个校准过程针对个人用户校准的参数。在一些实施方案中，存储器102进一步存储引起处理器101向用户提供交互式音频和视频内容的计算机可执行代码。例如，交互式视频内容可为虚拟现实或增强现实内容。视频内容可包括实时渲染的计算机生成的图像。在一些实施方案中，计算机可执行代码引起处理器101执行在本文参考下面的图2和图4描述的一个或多个步骤。在一些实施方案中，存储器102可至少部分地由本地存储装置、远程存储装置和基于云的存储装置中的一个或多个来实现。
传感器110可为或包括摄像机、光学传感器、红外传感器、EMG传感器、光学反射器传感器、距离传感器、光流传感器、多普勒传感器、麦克风等中的一个或多个。通常，传感器110被配置来检测诸如眼球运动方向、加速度和速度的变化的快速眼球运动。可基于相对于所捕获的图像的帧和/或用户的头部的一系列检测的眼睛注视位置来跟踪眼球运动。例如，传感器110可捕获眼睛的瞳孔的一系列图像，并且每个注视位置可基于捕获的帧内的瞳孔中心的位置来确定。
EMG传感器是检测由肌细胞产生的电势的传感器。放置在眼睛的眼眶或眶周区域上或附近的EMG可基于由控制眼球运动的肌肉(例如，外直肌、内直肌、下直肌、上直肌、下斜肌等)产生的电势来测量眼球运动的幅度和/或方向。在一些实施方案中，EMG传感器可直接放置在传感器被配置来测量的肌肉之上的用户的皮肤上。在一些实施方案中，EMG传感器不接触用户的皮肤。在一些实施方案中，EMG可在眼睛的眼扫视运动开始之前基于肌肉信号来检测眼扫视的开始。
光反射器传感器可为通过检测从眼球反射的光的变化来检测眼球运动的传感器。例如，光反射器传感器可以与光学轨迹球设备类似的方式工作。距离传感器可为被配置来在没有物理接触的情况下检测附近物体的存在的任何传感器，诸如多普勒传感器、无源光学传感器、红外传感器、雷达等。由于人眼球不是完美的球形，因此距离用户颅骨固定距离处的传感器与眼球在传感器的直接视线中的部分之间的接近度随着眼球运动而变化。例如，眼睛的角膜相对于巩膜升高，因此，较短的检测范围可指示角膜在传感器的直接视线内。麦克风可用于检测由眼球运动产生的音频信号。例如，由眼球运动产生的声音的幅度可对应于眼球运动的幅度。方向性的眼球运动也可基于它们相应的声音配置文件来检测。
显示器130可为或包括显示屏、投影设备、增强现实显示设备、虚拟现实显示设备、HMD等中的一个或多个。通常，显示器130被配置来将来自处理器101的计算机生成的图形显示给用户。虽然显示器130被示出为眼扫视检测系统100的一部分，但是在一些实施方案中，显示器130可与眼扫视检测系统100分开实现。例如，处理器可将生成的图形输出到外部显示设备以向用户显示。当用户观看由显示器130示出的计算机生成的图形和/或真实世界场景时，眼扫视检测系统100可监测用户的眼球运动。
在一些实施方案中，眼扫视检测系统100还包括图形处理单元(GPU)，其可与处理器101集成或离散。GPU可在生成向用户显示的图形中执行至少一些渲染计算。通常，计算资源可指CPU和GPU处理资源中的任一者或两者。
在一些实施方案中，眼扫视检测系统100还包括将传感器110保持、支撑和/或安装在适用于感测用户的眼球运动的位置中的物理结构。例如，在一些实施方案中，物理结构可将摄像机保持在用户的眼睛的略微前方，或者将EMG传感器直接保持在用户的眼睛的外眼角上或者紧邻外眼角。在下面的图5A-5B中提供了根据一些实施方案的此类物理结构的实例。在一些实施方案中，仅监测一只眼睛，而在其他实施方案中，系统利用传感器组来监测两只眼睛。在一些实施方案中，传感器中的一个或多个包括多个传感器和/或传感器类型。
在一些实施方案中，用户的眼睛注视可由传感器110或第二传感器(未示出)跟踪。例如，系统可使用传感器110来跟踪用户的眼睛注视位置作为到VR或AR系统的输入，并且还使用眼球跟踪数据来进行眼扫视检测。在一些实施方案中，可通过摄像机和/或EMG传感器来跟踪用户的眼睛注视，并且眼扫视检测仅基于EMG传感器或不用于注视跟踪的另一传感器。所述系统还可包括用于检测眼扫视的结束的传感器。通过实例，用于检测眼扫视的结束的传感器可为或包括传感器110、用于跟踪眼睛注视的传感器和/或单独的传感器。
在一些实施方案中，眼扫视检测系统100可包括其他输入/输出设备，诸如扬声器、音频输出端口、键、触摸板、触摸屏、麦克风、陀螺仪、无线收发器等。在一些实施方案中，本文描述的一种或多种方法和功能可由远程设备执行并且经由有线或无线数据连接而传送到眼扫视检测系统100。在一些实施方案中，处理器101被配置来使用从远程源接收的跟踪的眼球运动和数据来确定将要在显示器130上显示给用户的内容。例如，处理器101可引起显示器130基于用户的跟踪的眼球运动以增强现实或虚拟现实的方式来显示本地或外部内容。处理器101可进一步确定是否以及如何基于检测的眼扫视来减少用于渲染内容的帧的计算资源。
在一些实施方案中，图1所示的每个部件被封闭和/或附连到诸如头戴式设备(HMD)或可穿戴设备的便携式外壳。在一些实施方案中，图1所示的一个或多个部件可单独实现并且通过有线或无线连接来与系统通信。例如，传感器110可为放置在计算机监测器或电视机附近的传感器，并且图1所示的存储器102和处理器101可用个人计算机系统、游戏机或娱乐系统来实现。
参考图2，示出用于基于眼扫视检测来渲染图像的方法200的实例。在一些实施方案中，方法200的步骤可由一个或多个服务器设备、用户设备或者服务器和用户设备的组合来执行。通常，方法200的步骤可由一个或多个基于处理器的设备来执行，诸如眼扫视检测系统100的处理器101和/或其他控制电路。
在步骤210中，系统渲染计算机模拟场景以便显示给用户。在一些实施方案中，计算机模拟场景基于用户输入和/或编程状态来实时地渲染。在一些实施方案中，以恒定的帧速率(诸如60Hz、90Hz、120Hz等)渲染计算机模拟场景。在一些实施方案中，以可变的帧速率来渲染计算机模拟场景。计算机模拟场景可包括VR场景、AR场景、3D场景、2D场景等中的一个或多个。计算机模拟场景的渲染可包括2D物体、3D物体、背景、阴影、照明效果、用户界面元素等的渲染。在一些实施方案中，计算机模拟场景可为交互式电影、视频游戏、模拟器软件等的一部分。
在步骤220中，系统检测导致眼扫视遮蔽的眼扫视的开始。眼扫视通常是指在两个凝视阶段之间眼球的快速运动。眼扫视区别于其他类型的眼球运动，诸如眼球震颤、眼球漂移和平滑跟踪运动。足够量值的眼扫视导致大脑感知的眼扫视遮蔽。所述系统可区分导致眼扫视遮蔽的眼扫视与微眼扫视，所述微眼扫视是较小的无意识的眼球运动。可通过检测眼球运动的方向、速度和加速度中的一个或多个的突然改变来检测眼扫视。在一些实施方案中，EMG传感器可用来监测与眼扫视的开始相关联的肌肉信号。例如，可通过检测由控制眼球运动的一个或多个肌肉产生的电势的尖峰来检测眼扫视。在一些实施方案中，当检测到超过预定阈值的眼球运动的加速度时，就检测到眼扫视。在一些实施方案中，眼扫视的检测可基于眼球运动模型。例如，用于检测眼扫视的眼球运动加速度的阈值可基于用户的人口统计学，或者可使用本文所述的一种或多种校准方法来针对个人用户进行校准。通常，在不脱离本公开的精神的情况下，可使用任何已知的眼扫视检测的方法。
在一些实施方案中，在步骤220之后预测眼扫视的持续时间。在一些实施方案中，眼扫视的持续时间可基于眼球运动模型和用于检测眼扫视的开始的测量的量值中的至少一个来预测。眼球运动模型可基于与人眼的眼扫视的持续时间相关的统计数据和/或针对个人用户来进行校准。与人眼的眼扫视的持续时间相关的统计数据可基于一般人群的调查，所述调查提供了关于大多数人的典型眼扫视持续时间的信息。在一些实施方案中，基于开始时的眼扫视的量值来预测眼扫视的持续时间。眼扫视的持续时间通常可与开始时的眼球运动加速度的量值相关。因此，系统可测量与开始时的加速度相关的数据以预测眼扫视的持续时间。在一些实施方案中，EMG传感器测量由控制眼球运动的肌肉产生的电势，并且基于测量的电势的值来预测眼扫视的持续时间。在一些实施方案中，眼球运动的速度可从由图像传感器捕获以检测眼扫视的至少两个图像来计算。眼扫视的持续时间可基于眼扫视开始后不久的眼球运动的速度来预测。在一些实施方案中，系统在眼扫视期间监测峰值眼球运动速度和/或眼球运动减速度，并且基于检测的峰值眼球运动速度和/或眼球运动减速度来预测眼扫视的结束。
在步骤230中，系统在眼扫视的持续时间的至少一部分期间减少用于渲染计算机模拟场景的帧的计算资源。在一些实施方案中，系统可通过跳过计算机模拟场景的一个或多个帧、重复计算机模拟场景的一个或多个帧、减少计算机模拟场景的一个或多个帧的渲染细节、减少计算机模拟场景的一个或多个帧的渲染分辨率、和/或调整用于渲染计算机模拟场景的可变帧速率来减少用于渲染帧的计算资源。在一些实施方案中，系统重复刚好在减少时间段之前产生的帧，以避免在减少时间段期间对帧进行计算。在具有可变帧速率渲染的系统(诸如具有可变帧速率GPU的系统)中，系统可暂停渲染直到眼扫视遮蔽时间段结束为止，或者在减少时间段期间以较低的帧速率进行渲染。在一些实施方案中，系统通过减少纹理图中的细节、减少3D模型的多边形计数以及减少诸如阴影、反射和下层面散射的照明效果来减少渲染细节。在一些实施方案中，可利用类似于图片组(GOP)视频编码中的二次投影技术的技术来生成减少时间段中的帧。利用双向投影，B帧参考所述帧之前和之后的图像，并且包含相对于参考帧的运动补偿的差异信息。
通常，在减少时间段期间，系统以需要通过系统的CPU和/或GPU的较少计算的方式来渲染计算机模拟场景。由于眼扫视遮蔽、空间更新和/或跨眼扫视感知，帧和/或帧的元素和细节可被省略而可不被观看者感知。
在一些实施方案中，用于渲染帧的计算资源的减少持续眼扫视的预测持续时间的至少一部分。例如，在60Hz的渲染的情况下，如果预测眼扫视持续100ms，那么减少可持续1-6帧。在一些实施方案中，所述系统可被配置来在检测的眼扫视时间段的开始和/或结束处离开“安全”区域，在所述检测的眼扫视时间段的开始和/或结束内帧被正常地渲染。在一些实施方案中，系统可开始生效：在眼睛的眼扫视运动结束之后眼扫视遮蔽可持续一段时间，并且允许减少时间段超过眼扫视眼球运动的预期持续时间。在一些实施方案中，系统未预测眼扫视的持续时间，并且可将减少时间段设置为所有检测的眼扫视的默认最小长度。例如，如果在步骤220中仅检测到具有典型地对应于至少100ms的持续时间的开始量值的眼扫视，那么对于所有检测的眼扫视，可将减少时间段设置为90ms，而系统不预测每个检测的眼扫视的持续时间。
在一些实施方案中，在步骤220中，系统还确定眼扫视的开始的检测的置信水平。置信水平可基于测量信号的清晰度和/或眼球运动方向、加速度和速度中的一个或多个的改变的量值。在一些实施方案中，系统基于置信水平来确定将要减少的计算资源的量。将要减少的计算资源的量可基于将要跳过多少帧、将要重复多少帧、将要省略多少渲染细节、渲染分辨率、渲染帧速率等。例如，在高置信水平的情况下，渲染分辨率可下降到原始渲染分辨率的四分之一；而在低置信水平的情况下，渲染分辨率可下降到原始渲染分辨率的一半。在一些实施方案中，系统基于置信水平从减少用于渲染计算机模拟场景的帧的计算资源的两种或更多种方法中进行选择。例如，在高置信水平的情况下，系统可跳过或者重复帧，而在低置信水平的情况下，系统可减少渲染帧的细节。
在一些实施方案中，减少的量和方法可对应于眼扫视时间段内的帧的时间位置。例如，与眼扫视时间段中间的帧相比，可对更靠近眼扫视时间段的开始和结束的帧减少得更少。
在一些实施方案中，系统被进一步配置来重新分配在步骤230中保存的计算资源以执行用于渲染计算机模拟场景的低频更新计算。例如，系统可重新分配计算资源以对计算机模拟场景执行复杂的照明计算。在一些实施方案中，释放的计算资源可由其他应用和系统进程使用。
在一些实施方案中，由于每个个体的生理变化，在图2所示的过程之前，系统可引导用户通过校准序列以生成或配置针对用户个性化的眼球运动模型。例如，系统可命令用户将他们的眼睛从一个角位置移动到另一个角位置。系统可随后将由传感器获得的测量结果与预期的眼球运动进行比较，以针对所述用户配置眼球运动模型。眼球运动模型可随后用来检测导致眼扫视遮蔽的眼扫视和/或预测眼扫视的持续时间。
在一些实施方案中，除了或代替执行校准序列之外，在步骤220之后，系统可出于校准目的来检测眼扫视时间段的结束。眼扫视时间段的结束可通过眼球跟踪方法来检测，并且可对应于返回到与其他类型的眼球运动状态(诸如凝视、眼球震颤、眼球漂移、微眼扫视和平滑跟踪运动)相对应的眼球运动速度或模式。可通过与在步骤220中用于检测眼扫视的开始的相同或不同的传感器来检测眼扫视时间段的结束。眼扫视时间段的测量的持续时间可与眼扫视的预测持续时间进行比较，以校准用于预测眼扫视的持续时间的眼球运动模型。以下在本文参考图4提供校准过程的更详细的描述。
在一些实施方案中，图2中的眼扫视检测可结合中心凹渲染来使用。中心凹渲染是图像分辨率或细节量根据凝视点在整个图像上变化的技术。当检测到眼扫视时，系统可在眼扫视持续时间期间假定没有凝视点，并且在整个图像上将渲染图像中的图像分辨率或细节量减少到基线值。
参考图3，示出根据本发明的一些实施方案的在眼扫视检测的情况下减少计算资源的图示。在图3中，眼睛速度或加速度可由诸如图1中的传感器110的传感器来跟踪。当眼睛速度或加速度超过阈值时，系统可检测到眼扫视开始310。在一些实施方案中，可在眼睛速度或加速度增加之前基于肌肉信号检测开始。在一些实施方案中，可在眼扫视运动的实际开始之后不久就检测到眼扫视的开始。
在一些实施方案中，系统还基于在眼扫视开始时的测量值来预测眼扫视的持续时间312。在一些实施方案中，预测可基于在眼扫视开始310时的加速度的量值。当检测到具有导致眼扫视遮蔽的量值的眼扫视时，系统可通过跳过计算机模拟场景的一个或多个帧、重复计算机模拟场景的一个或多个帧、减少计算机模拟场景的一个或多个帧的渲染细节、减少计算机模拟场景的一个或多个帧的渲染分辨率、和/或调整用于渲染计算机模拟场景的可变帧速率来减少用于渲染帧的计算资源。如图3所示，用于渲染计算机模拟场景的帧的计算资源在眼扫视的预测持续时间的一部分期间下降。计算资源线通常表示用于渲染图像的CPU和/或GPU上的负载。例如，计算资源线可表示由CPU/GPU每毫秒执行的计算的次数。系统刚好在眼扫视时间段的预测结束之前使渲染方法返回到正常基线。眼扫视时间段的预测结束可对应于眼扫视运动的预测结束或眼扫视遮蔽感知效果的预测结束，其可在眼扫视运动结束之后持续一段时间。
图3仅被提供为概念的图示。图3不对应于实际的眼扫视检测或计算资源减少，并且不一定按比例绘制。
在眼扫视时间段期间计算资源的减少可降低渲染设备的整体功耗。对于使用电池的便携式设备，功耗的降低可导致充电之间的增加的电池寿命。计算资源还可被分配用于其他用途，诸如用于渲染计算机模拟场景的高延时更新。计算资源也可被释放以供其他应用和/或设备上运行的操作系统进程使用。
参考图4，示出具有反馈校准的眼扫视持续时间预测的实例。传感器420被配置来测量眼球运动方向、速度和加速度中的一个或多个，并且将测量值提供给眼扫视检测模块422。传感器420可为图1所示的传感器110和/或可包括摄像机、光学传感器、光学图像传感器、红外传感器、光流传感器、EMG传感器、位置感测设备、多普勒效应传感器等中的一个或多个。
眼扫视检测模块422分析来自传感器420的数据以确定导致眼扫视遮蔽的眼扫视是正在发生还是即将发生。在一些实施方案中，眼扫视检测模块422可将其确定基于眼球运动模型450或单独模型。例如，眼球运动模型可包括指示导致眼扫视遮蔽的眼扫视的开始的眼球运动加速度量值阈值。对于具有EMG传感器的实施方案，阈值可对应于肌肉信号电压。
在检测到眼扫视的开始之后，眼扫视持续时间预测模块425预测眼扫视的持续时间。在一些实施方案中，眼扫视持续时间预测模块425将其预测基于眼扫视开始时的眼球运动的量值以及眼扫视的检测的峰值加速度或速度中的一个或多个。眼扫视持续时间预测模块425进一步将其预测基于眼球运动模型450。眼球运动模型450可使检测的眼扫视量值对应于眼扫视持续时间。眼球运动模型450可最初基于与人眼的眼扫视的持续时间相关的统计数据，并且稍后针对个人用户来进行校准。
同样在检测到眼扫视的开始之后，眼扫视持续时间测量模块430监测眼扫视时间段的结束并且计算眼扫视的持续时间。眼扫视时间段的结束可通过眼球跟踪方法来检测，并且可对应于返回与其他类型的眼球运动状态(诸如凝视、眼球震颤、眼球漂移、微眼扫视和平滑跟踪运动)相对应的眼球运动速度或模式。眼扫视时间段的结束可由传感器420和/或一个或多个其他传感器来检测。校准模块440将来自眼扫视持续时间预测模块425的预测眼扫视持续时间和来自眼扫视持续时间测量模块430的测量的眼扫视持续时间进行比较，以确定预测的准确性。校准模块440可基于比较来更新眼球运动模型450。例如，如果眼扫视持续时间预测模块425趋于低估眼扫视的持续时间，那么校准模块440可更新眼球运动模型450，以对应于具有较长的眼扫视持续时间的眼扫视的开始时的测量值。
尽管眼球运动模型450被示出将要由图4中的眼扫视持续时间预测模块425使用，但是在一些实施方案中，眼扫视检测模块422也使用相同的或不同的眼球运动模型450。在一些实施方案中，校准模块440可将其校准基于多次眼扫视持续时间预测和眼扫视持续时间测量，并且当观察到趋势时仅更新眼球运动模型450。
参考图5A，示出可实现本文公开的技术的增强现实型HMD的图示。HMD设备500包括框架510，所述框架510将传感器513和515保持在适用于监测佩戴者的眼球运动的位置中。尽管在图5A中示出两个传感器，但是可利用仅具有第一传感器513或第二传感器515的HMD来实现本文描述的技术。
在一些实施方案中，HMD设备500包括两个传感器；一个传感器用于检测眼扫视的开始，并且另一个传感器用于眼扫视的持续时间的测量。在一些实施方案中，一个传感器被用来检测眼扫视的开始和眼扫视的结束。在一些实施方案中，HMD不包括用于检测眼扫视的结束的传感器。HMD设备500还包括被配置来向用户提供增强现实场景的显示设备(未示出)。第一传感器513可为被定位来捕获用户眼睛的图像的光学传感器。如图5A所示，第二传感器515可为EMG传感器，所述EMG传感器接触或靠近用户的太阳穴区域。EMG传感器可放置在例如用户的眼睛下方、靠近眼睛的内眼角等的其他位置中。在一些实施方案中，两个或更多个EMG传感器可放置在不同的区域中。第二传感器515可包括其他类型的传感器，诸如低分辨率图像传感器、高帧速率图像传感器、光学反射器传感器、距离传感器和麦克风。在第二传感器是图像或光学传感器的实施方案中，第二传感器515可放置在第一传感器513的附近。图5A中的传感器的放置仅被提供为实例。通常，在不脱离本公开的精神的情况下，传感器的放置可基于传感器类型和用户的生理而不同地配置。
参考图5B，示出可实现本文公开的技术的虚拟现实型HMD设备的图示。HMD设备520包围用户的视野。本文描述的传感器可放置在HMD的面向用户的一侧上。例如，图像传感器可被定位在HMD设备520内的显示屏的紧上方，并且EMG传感器可被定位在HMD设备520的倚靠用户的眼眶或眶周区域的一部分上。
在图5A-5B两者中，可由HMD设备500和520使用检测的眼扫视来确定如何渲染计算机生成的图形来显示给用户。当检测到眼扫视时，HMD设备500和520的处理器可减少用于渲染计算机模拟场景的帧的计算资源。确定的和估计的注视位置也可用于预测未来的注视位置，这允许计算机在下一个帧被显示时确定用户的凝视点以有助于中心凹渲染。
在一些实施方案中，可在可由基于处理器的装置或系统可执行的一个或多个计算机程序或软件应用中实现上述实施方案、方法、方案和/或技术中的一个或多个。通过实例，此类基于处理器的装置或系统可包括计算机、娱乐系统、游戏机、工作站、图形工作站、服务器、客户端、便携式设备、pad状设备等。此类计算机程序可用于执行上述方法和/或技术的各种步骤和/或特征。也就是说，计算机程序可适于引起或配置基于处理器的装置或系统来执行和实现上述功能。例如，此类计算机程序可用于实现上述方法、步骤、技术或特征的任何实施方案。作为另一实例，此类计算机程序可用于实现使用上述实施方案、方法、方案和/或技术中的任何一个或多个的任何类型的工具或类似工具。在一些实施方案中，在计算机程序之内或之外的程序代码宏、模块、循环、子例程、调用等可用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中，计算机程序可存储或体现在计算机可读存储装置或一个或多个记录介质上，诸如本文描述的任何计算机可读存储装置或一个或多个记录介质中的任何。
因此，在一些实施方案中，本发明提供了一种计算机程序产品，所述计算机程序产品包括用于实现用于输入到计算机的计算机程序的介质以及在介质中体现的计算机程序，所述计算机程序用于引起计算机进行或执行包括本文描述的实施方案、方法、方案和/或技术中的任何一个或多个中所涉及的步骤中的任何一个或多个的步骤。例如，在一些实施方案中，本发明提供了存储一个或多个计算机程序的一个或多个非暂时性计算机可读存储介质，所述一个或多个计算机程序适于或被配置来引起基于处理器的装置或系统执行步骤，所述步骤包括：渲染计算机模拟场景以便显示给用户；检测导致观看计算机模拟场景的用户的眼球运动中的眼扫视遮蔽的眼扫视的开始；以及在眼扫视的持续时间的至少一部分期间减少用于渲染计算机模拟场景的帧的计算资源。
尽管已经通过具体实施方案和其应用描述了本文公开的本发明，但是本领域技术人员可对其进行许多修改和变化而不脱离权利要求书中阐述的本发明的范围。
Claims (35)
1.一种方法，包括：
检测观看计算机模拟的用户的眼睛中的眼扫视；
在所述眼扫视的结束之前，预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置；以及
以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点。
2.根据权利要求1所述的方法，其中，所述以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点包括：
以比所述计算机模拟场景的其他部分更高的分辨率渲染所述预测的注视点。
3.根据权利要求1所述的方法，其中，所述预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置包括：
预测所述用户的未来的注视位置。
4.根据权利要求1所述的方法，其中，所述预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置包括：
预测所述眼扫视的持续时间。
5.根据权利要求4所述的方法，其中，所述预测所述眼扫视的所述持续时间基于与人眼中的眼扫视的持续时间有关的统计数据以及用于检测所述眼扫视的所述开始的测量值的量值中的至少一个。
6.根据权利要求4所述的方法，其还包括：
检测所述眼扫视的结束；以及
至少基于所述眼扫视的检测的结束来计算所述眼扫视的所述持续时间。
7.根据权利要求6所述的方法，其还包括：
将所述眼扫视的计算的持续时间与所述眼扫视的预测的持续时间进行比较；以及
使用所述比较的结果来调整用于预测所述眼扫视的所述持续时间的模型。
8.根据权利要求1至7中任一项所述的方法，其中，使用光学传感器、光流传感器、肌电图(EMG)传感器、位置感测设备和多普勒效应传感器中的一个或多个来检测所述眼扫视。
9.根据权利要求1至7中任一项所述的方法，其中，所述检测观看计算机模拟的用户的眼睛中的眼扫视包括：
在所述眼睛的眼扫视运动的开始之前检测所述眼扫视的开始。
10.根据权利要求1至7中任一项所述的方法，其还包括：
校准用于所述用户观看所述计算机模拟的个性化眼球运动模型，其中所述检测所述眼扫视基于所述个性化眼球运动模型。
11.根据权利要求1至7中任一项所述的方法，其还包括：
在所述眼扫视的持续时间的至少一部分期间减少用于渲染所述计算机模拟的帧的计算资源。
12.根据权利要求11所述的方法，其还包括：
确定所述眼扫视的所述检测的置信水平。
13.根据权利要求12所述的方法，其还包括：
基于所述置信水平来确定将要减少的所述计算资源的量。
14.根据权利要求12所述的方法，其还包括：
基于所述置信水平从减少用于渲染所述计算机模拟的帧的所述计算资源的两种或更多种方法中进行选择。
15.根据权利要求11所述的方法，其还包括：
重新分配所述计算资源以执行用于渲染所述计算机模拟的帧的低频更新计算。
16.根据权利要求15所述的方法，其中，所述低频更新计算包括照明计算。
17.一种系统，包括：
眼球运动传感器；
显示设备，所述显示设备用于向用户显示计算机模拟场景；以及
处理器，所述处理器被通信地耦接到所述眼球运动传感器和所述显示设备，所述处理器被配置来执行步骤，包括：
检测观看所述计算机模拟场景的所述用户的眼睛中的眼扫视；
在所述眼扫视的结束之前，预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置；以及
以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点。
18.根据权利要求17所述的系统，其中，所述以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点包括：
以比所述计算机模拟场景的其他部分更高的分辨率渲染所述预测的注视点。
19.根据权利要求17所述的系统，其中，所述预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置包括：
预测所述用户的未来的注视位置。
20.根据权利要求17所述的系统，其中，所述预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置包括：
预测所述眼扫视的持续时间。
21.根据权利要求17至20中任一项所述的系统，其中，所述眼球运动传感器包括光学传感器、光流传感器、肌电图(EMG)传感器、位置感测设备和多普勒效应传感器中的一个或多个。
22.根据权利要求17至20中任一项所述的系统，其中，所述检测观看所述计算机模拟场景的所述用户的眼睛中的眼扫视包括：
在所述眼睛的眼扫视运动的开始之前检测所述眼扫视的开始。
23.根据权利要求17至20中任一项所述的系统，其中，所述处理器还被配置来执行步骤，包括：
校准用于所述用户观看所述计算机模拟场景的个性化眼球运动模型，其中所述检测所述眼扫视基于所述个性化眼球运动模型。
24.根据权利要求17至20中任一项所述的系统，其中，所述处理器还被配置来执行步骤，包括：
在所述眼扫视的持续时间的至少一部分期间减少用于渲染所述计算机模拟场景的帧的计算资源。
25.根据权利要求24所述的系统，其中，所述处理器还被配置来执行步骤，包括：
确定所述眼扫视的所述检测的置信水平。
26.根据权利要求25所述的系统，其中，所述处理器还被配置来执行步骤，包括：
基于所述置信水平来确定将要减少的所述计算资源的量。
27.根据权利要求25所述的系统，其中，所述处理器还被配置来执行步骤，包括：
基于所述置信水平从减少用于渲染所述计算机模拟场景的帧的所述计算资源的两种或更多种方法中进行选择。
28.一种非暂时性计算机可读存储介质，其存储一个或多个程序，所述一个或多个程序使基于处理器的系统执行步骤，包括：
检测观看计算机模拟的用户的眼睛中的眼扫视；
在所述眼扫视的结束之前，预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置；以及
以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点。
29.根据权利要求28所述的非暂时性计算机可读存储介质，其中，所述以比所述计算机模拟场景的其他部分更多的细节渲染所述预测的注视点包括：
以比所述计算机模拟场景的其他部分更高的分辨率渲染所述预测的注视点。
30.根据权利要求28所述的非暂时性计算机可读存储介质，其中，所述预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置包括：
预测所述用户的未来的注视位置。
31.根据权利要求28所述的非暂时性计算机可读存储介质，其中，所述预测在所述眼扫视的所述结束时所述用户的注视点将位于计算机模拟场景中的位置包括：
预测所述眼扫视的持续时间。
32.根据权利要求28至31中任一项所述的非暂时性计算机可读存储介质，其中，所述检测观看计算机模拟的用户的眼睛中的眼扫视包括：
在所述眼睛的眼扫视运动的开始之前检测所述眼扫视的开始。
33.根据权利要求28至31中任一项所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还被配置为使所述基于处理器的系统执行步骤，包括：
在所述眼扫视的持续时间的至少一部分期间减少用于渲染所述计算机模拟的帧的计算资源。
34.根据权利要求33所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还被配置为使所述基于处理器的系统执行步骤，包括：
确定所述眼扫视的所述检测的置信水平。
35.根据权利要求34所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序还被配置为使所述基于处理器的系统执行步骤，包括：
基于所述置信水平从减少用于渲染所述计算机模拟的帧的所述计算资源的两种或更多种方法中进行选择。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010139434.5A CN111399623B (zh) | 2015-09-04 | 2016-08-25 | 用于基于眼扫视检测的动态图形渲染的装置和方法 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/845,862 US9857871B2 (en) | 2015-09-04 | 2015-09-04 | Apparatus and method for dynamic graphics rendering based on saccade detection |
| US14/845,862 | 2015-09-04 | ||
| PCT/US2016/048736 WO2017040214A1 (en) | 2015-09-04 | 2016-08-25 | Apparatus and method for dynamic graphics rendering based on saccade detection |
| CN201680050876.4A CN107949819B (zh) | 2015-09-04 | 2016-08-25 | 用于基于眼扫视检测的动态图形渲染的装置和方法 |
| CN202010139434.5A CN111399623B (zh) | 2015-09-04 | 2016-08-25 | 用于基于眼扫视检测的动态图形渲染的装置和方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680050876.4A Division CN107949819B (zh) | 2015-09-04 | 2016-08-25 | 用于基于眼扫视检测的动态图形渲染的装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111399623A true CN111399623A (zh) | 2020-07-10 |
| CN111399623B CN111399623B (zh) | 2023-12-26 |
Family
ID=58187983
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680050876.4A Active CN107949819B (zh) | 2015-09-04 | 2016-08-25 | 用于基于眼扫视检测的动态图形渲染的装置和方法 |
| CN202010139434.5A Active CN111399623B (zh) | 2015-09-04 | 2016-08-25 | 用于基于眼扫视检测的动态图形渲染的装置和方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680050876.4A Active CN107949819B (zh) | 2015-09-04 | 2016-08-25 | 用于基于眼扫视检测的动态图形渲染的装置和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (5) | US9857871B2 (zh) |
| EP (2) | EP3913468B1 (zh) |
| JP (3) | JP6577137B2 (zh) |
| CN (2) | CN107949819B (zh) |
| WO (1) | WO2017040214A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11703947B2 (en) | 2015-09-04 | 2023-07-18 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| CN118264700A (zh) * | 2024-04-17 | 2024-06-28 | 北京尺素科技有限公司 | Ar渲染方法 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10204658B2 (en) | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
| DE102015213769A1 (de) * | 2015-07-22 | 2017-01-26 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen |
| EP3353630B1 (en) * | 2015-09-24 | 2021-05-26 | Tobii AB | Eye-tracking enabled wearable devices |
| US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
| US9946073B2 (en) * | 2015-12-31 | 2018-04-17 | Oculus Vr, Llc | Methods and systems for eliminating strobing by switching display modes in response to detecting saccades |
| US11284109B2 (en) | 2016-01-29 | 2022-03-22 | Cable Television Laboratories, Inc. | Visual coding for sensitivities to light, color and spatial resolution in human visual system |
| US10110935B2 (en) | 2016-01-29 | 2018-10-23 | Cable Television Laboratories, Inc | Systems and methods for video delivery based upon saccadic eye motion |
| US10169846B2 (en) | 2016-03-31 | 2019-01-01 | Sony Interactive Entertainment Inc. | Selective peripheral vision filtering in a foveated rendering system |
| US10372205B2 (en) | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
| US10401952B2 (en) | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| CN109416572A (zh) | 2016-04-29 | 2019-03-01 | 托比股份公司 | 启用眼睛跟踪的可穿戴设备 |
| US11089280B2 (en) | 2016-06-30 | 2021-08-10 | Sony Interactive Entertainment Inc. | Apparatus and method for capturing and displaying segmented content |
| US10068553B2 (en) * | 2016-09-12 | 2018-09-04 | Intel Corporation | Enhanced rendering by a wearable display attached to a tethered computer |
| US10306180B2 (en) * | 2016-10-21 | 2019-05-28 | Liquidsky Software, Inc. | Predictive virtual reality content streaming techniques |
| US10311641B2 (en) * | 2016-12-12 | 2019-06-04 | Intel Corporation | Using saccadic eye movements to improve redirected walking |
| CN109716425B (zh) * | 2017-01-08 | 2022-08-19 | 昆山云英谷电子科技有限公司 | 异步控制显示更新和发光 |
| US10572764B1 (en) * | 2017-06-05 | 2020-02-25 | Google Llc | Adaptive stereo rendering to reduce motion sickness |
| US10942564B2 (en) * | 2018-05-17 | 2021-03-09 | Sony Interactive Entertainment Inc. | Dynamic graphics rendering based on predicted saccade landing point |
| US11262839B2 (en) | 2018-05-17 | 2022-03-01 | Sony Interactive Entertainment Inc. | Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment |
| US10802585B2 (en) * | 2018-07-12 | 2020-10-13 | Apple Inc. | Electronic devices with display operation based on eye activity |
| US11644897B2 (en) | 2019-04-01 | 2023-05-09 | Evolution Optiks Limited | User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same |
| EP3948402B1 (en) | 2019-04-01 | 2023-12-06 | Evolution Optiks Limited | Pupil tracking system and method, and digital display device and digital image rendering system and method using same |
| US11307655B2 (en) * | 2019-09-19 | 2022-04-19 | Ati Technologies Ulc | Multi-stream foveal display transport |
| US11353723B2 (en) * | 2019-10-31 | 2022-06-07 | Tectus Corporation | Saccade detection and endpoint prediction for electronic contact lenses |
| CN112949370A (zh) | 2019-12-10 | 2021-06-11 | 托比股份公司 | 眼睛事件检测 |
| US11222394B2 (en) * | 2020-03-19 | 2022-01-11 | Arm Limited | Devices and headsets |
| GB2595461B (en) * | 2020-05-26 | 2023-06-07 | Sony Interactive Entertainment Inc | Gaze tracking apparatus and systems |
| TWI762996B (zh) * | 2020-08-07 | 2022-05-01 | 國立臺北科技大學 | 工作計時系統及其方法 |
| CN113852841A (zh) * | 2020-12-23 | 2021-12-28 | 上海飞机制造有限公司 | 一种可视化场景建立方法、装置、设备、介质和系统 |
| CN113362450B (zh) * | 2021-06-02 | 2023-01-03 | 聚好看科技股份有限公司 | 一种三维重建方法、装置及系统 |
| WO2023233207A1 (en) * | 2022-06-02 | 2023-12-07 | Evolution Optiks Limited | User tracking system and method, and digital display device and digital image rendering system and method using same |
| US12118655B2 (en) * | 2022-06-17 | 2024-10-15 | Inseye Inc. | Minimal latency apparatus and method for supporting foveated rendering |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090141895A1 (en) * | 2007-11-29 | 2009-06-04 | Oculis Labs, Inc | Method and apparatus for secure display of visual content |
| WO2009142008A1 (ja) * | 2008-05-20 | 2009-11-26 | パナソニック株式会社 | 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路 |
| US20100056274A1 (en) * | 2008-08-28 | 2010-03-04 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
| US8824779B1 (en) * | 2011-12-20 | 2014-09-02 | Christopher Charles Smyth | Apparatus and method for determining eye gaze from stereo-optic views |
| US20140361971A1 (en) * | 2013-06-06 | 2014-12-11 | Pablo Luis Sala | Visual enhancements based on eye tracking |
| CN104603673A (zh) * | 2012-09-03 | 2015-05-06 | Smi创新传感技术有限公司 | 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 |
| JP2015152938A (ja) * | 2014-02-10 | 2015-08-24 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (89)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US1019252A (en) | 1910-05-09 | 1912-03-05 | Daniel B Hill | Motor-plow. |
| JPH0822385A (ja) * | 1994-02-22 | 1996-01-23 | Nippon Hoso Kyokai <Nhk> | 視線対応表示方法及び装置 |
| JP3263278B2 (ja) * | 1995-06-19 | 2002-03-04 | 株式会社東芝 | 画像圧縮通信装置 |
| US6956582B2 (en) | 2001-08-23 | 2005-10-18 | Evans & Sutherland Computer Corporation | System and method for auto-adjusting image filtering |
| US20030067476A1 (en) | 2001-10-04 | 2003-04-10 | Eastman Kodak Company | Method and system for displaying an image |
| US7499594B2 (en) | 2002-04-15 | 2009-03-03 | At&T Intellectual Property 1, L.P. | Multi-resolution predictive foveation for bandwidth reduction of moving images |
| US7809145B2 (en) | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
| US7783061B2 (en) | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
| US8947347B2 (en) | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
| US9612965B2 (en) | 2003-06-24 | 2017-04-04 | Hewlett-Packard Development Company, L.P. | Method and system for servicing streaming media |
| CA2579063A1 (en) * | 2004-09-03 | 2006-03-09 | Anatoly Kostin | System and method for mental workload measurement based on rapid eye movement |
| JP5043038B2 (ja) | 2005-12-14 | 2012-10-10 | デジタル シグナル コーポレイション | 眼球の動きを追跡するシステムおよび方法 |
| US7809547B2 (en) | 2005-12-29 | 2010-10-05 | Guenthner Russell W | Host computer system emulating target system legacy software and providing for incorporating more powerful application program elements into the flow of the legacy software |
| US20070198982A1 (en) | 2006-02-21 | 2007-08-23 | International Business Machines Corporation | Dynamic resource allocation for disparate application performance requirements |
| US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| US20110298829A1 (en) | 2010-06-04 | 2011-12-08 | Sony Computer Entertainment Inc. | Selecting View Orientation in Portable Device via Image Analysis |
| US20070271560A1 (en) | 2006-05-18 | 2007-11-22 | Microsoft Corporation | Deploying virtual machine to host based on workload characterizations |
| CN101681201B (zh) | 2008-01-25 | 2012-10-17 | 松下电器产业株式会社 | 脑波接口系统、脑波接口装置、方法 |
| JP2010257224A (ja) * | 2009-04-24 | 2010-11-11 | Seiko Epson Corp | 動画像表示装置 |
| CN101599127B (zh) * | 2009-06-26 | 2011-09-14 | 安徽大学 | 眼电信号的特征提取与识别方法 |
| WO2011008793A1 (en) | 2009-07-13 | 2011-01-20 | Emsense Corporation | Systems and methods for generating bio-sensory metrics |
| US8964298B2 (en) | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
| US8913004B1 (en) | 2010-03-05 | 2014-12-16 | Amazon Technologies, Inc. | Action based device control |
| WO2012019114A1 (en) | 2010-08-06 | 2012-02-09 | Citrix Systems, Inc. | Systems and methods for a para-virtualized driver in a multi-core virtual packet engine device |
| US9421460B2 (en) | 2010-08-31 | 2016-08-23 | Sony Interactive Entertainment Inc. | Offline Progress of console game via portable device |
| US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
| US8786698B2 (en) | 2010-09-23 | 2014-07-22 | Sony Computer Entertainment Inc. | Blow tracking user interface system and method |
| US9183683B2 (en) | 2010-09-28 | 2015-11-10 | Sony Computer Entertainment Inc. | Method and system for access to secure resources |
| US20120086630A1 (en) | 2010-10-12 | 2012-04-12 | Sony Computer Entertainment Inc. | Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system |
| US8854298B2 (en) | 2010-10-12 | 2014-10-07 | Sony Computer Entertainment Inc. | System for enabling a handheld device to capture video of an interactive application |
| US9044675B2 (en) | 2010-11-17 | 2015-06-02 | Sony Computer Entertainment Inc. | Automated video game rating |
| US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| CN102073377B (zh) * | 2010-12-31 | 2013-01-02 | 西安交通大学 | 基于人眼扫视信号的人机交互式二维定位方法 |
| US8445878B2 (en) * | 2011-03-16 | 2013-05-21 | Controlrad Systems, Inc. | Radiation control and minimization system and method |
| US9030425B2 (en) | 2011-04-19 | 2015-05-12 | Sony Computer Entertainment Inc. | Detection of interaction with virtual object from finger color change |
| US10120438B2 (en) | 2011-05-25 | 2018-11-06 | Sony Interactive Entertainment Inc. | Eye gaze to alter device behavior |
| US9897805B2 (en) | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| EP2587342A1 (en) | 2011-10-28 | 2013-05-01 | Tobii Technology AB | Method and system for user initiated query searches based on gaze data |
| KR101891786B1 (ko) | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
| CN104169838B (zh) | 2012-04-12 | 2017-07-21 | 英特尔公司 | 基于人眼追踪而选择性地使显示器背光 |
| US20130279724A1 (en) | 2012-04-19 | 2013-10-24 | Sony Computer Entertainment Inc. | Auto detection of headphone orientation |
| US20130301727A1 (en) * | 2012-05-14 | 2013-11-14 | Qualcomm Incorporated | Programmable and scalable integer search for video encoding |
| US9934614B2 (en) | 2012-05-31 | 2018-04-03 | Microsoft Technology Licensing, Llc | Fixed size augmented reality objects |
| US20140007097A1 (en) | 2012-06-29 | 2014-01-02 | Brocade Communications Systems, Inc. | Dynamic resource allocation for virtual machines |
| ES2898981T3 (es) | 2012-08-09 | 2022-03-09 | Tobii Ab | Activación rápida en un sistema de seguimiento de la mirada |
| US8437513B1 (en) | 2012-08-10 | 2013-05-07 | EyeVerify LLC | Spoof detection for biometric authentication |
| US20140092006A1 (en) | 2012-09-28 | 2014-04-03 | Joshua Boelter | Device and method for modifying rendering based on viewer focus area from eye tracking |
| US20150213634A1 (en) | 2013-01-28 | 2015-07-30 | Amit V. KARMARKAR | Method and system of modifying text content presentation settings as determined by user states based on user eye metric data |
| US9727991B2 (en) | 2013-03-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Foveated image rendering |
| US9665171B1 (en) | 2013-03-04 | 2017-05-30 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US9244527B2 (en) | 2013-03-26 | 2016-01-26 | Volkswagen Ag | System, components and methodologies for gaze dependent gesture input control |
| EP2790126B1 (en) | 2013-04-08 | 2016-06-01 | Cogisen SRL | Method for gaze tracking |
| GB2514603B (en) | 2013-05-30 | 2020-09-23 | Tobii Ab | Gaze-controlled user interface with multimodal input |
| US10019057B2 (en) | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
| US20140362110A1 (en) | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
| US9480397B2 (en) | 2013-09-24 | 2016-11-01 | Sony Interactive Entertainment Inc. | Gaze tracking variations using visible lights or dots |
| US9781360B2 (en) | 2013-09-24 | 2017-10-03 | Sony Interactive Entertainment Inc. | Gaze tracking variations using selective illumination |
| EP3048949B1 (en) | 2013-09-24 | 2019-11-20 | Sony Interactive Entertainment Inc. | Gaze tracking variations using dynamic lighting position |
| CN105578954B (zh) | 2013-09-25 | 2019-03-29 | 迈恩德玛泽控股股份有限公司 | 生理参数测量和反馈系统 |
| US9630105B2 (en) | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
| WO2015054562A1 (en) | 2013-10-11 | 2015-04-16 | Interdigital Patent Holdings, Inc. | Gaze-driven augmented reality |
| KR102180528B1 (ko) | 2014-01-06 | 2020-11-18 | 삼성전자주식회사 | 색맹 교정을 위한 전자 장치 및 운영 방법 |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US10228562B2 (en) | 2014-02-21 | 2019-03-12 | Sony Interactive Entertainment Inc. | Realtime lens aberration correction from eye tracking |
| WO2015130849A1 (en) | 2014-02-25 | 2015-09-03 | Eyeverify | Eye gaze tracking |
| US9649558B2 (en) | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
| WO2015139002A1 (en) | 2014-03-14 | 2015-09-17 | Sony Computer Entertainment Inc. | Gaming device with volumetric sensing |
| US9836816B2 (en) | 2014-04-05 | 2017-12-05 | Sony Interactive Entertainment America Llc | Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport |
| US9652882B2 (en) | 2014-04-05 | 2017-05-16 | Sony Interactive Entertainment America Llc | Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location |
| WO2016018488A2 (en) | 2014-05-09 | 2016-02-04 | Eyefluence, Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
| US20160025971A1 (en) | 2014-07-25 | 2016-01-28 | William M. Crow | Eyelid movement as user input |
| US9746984B2 (en) | 2014-08-19 | 2017-08-29 | Sony Interactive Entertainment Inc. | Systems and methods for providing feedback to a user while interacting with content |
| US9984505B2 (en) | 2014-09-30 | 2018-05-29 | Sony Interactive Entertainment Inc. | Display of text information on a head-mounted display |
| US9584915B2 (en) | 2015-01-19 | 2017-02-28 | Microsoft Technology Licensing, Llc | Spatial audio with remote speakers |
| US9614931B2 (en) | 2015-01-20 | 2017-04-04 | Sphere 3D Inc. | Identifying a resource set require for a requested application and launching the resource set in a container for execution in a host operating system |
| US9733987B2 (en) | 2015-02-20 | 2017-08-15 | Intel Corporation | Techniques to dynamically allocate resources of configurable computing resources |
| US10037312B2 (en) | 2015-03-24 | 2018-07-31 | Fuji Xerox Co., Ltd. | Methods and systems for gaze annotation |
| US9704217B2 (en) | 2015-04-20 | 2017-07-11 | Intel Corporation | Apparatus and method for non-uniform frame buffer rasterization |
| US9857871B2 (en) | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| US10338677B2 (en) | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
| US10726619B2 (en) | 2015-10-29 | 2020-07-28 | Sony Interactive Entertainment Inc. | Foveated geometry tessellation |
| US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
| US10643381B2 (en) | 2016-01-12 | 2020-05-05 | Qualcomm Incorporated | Systems and methods for rendering multiple levels of detail |
| US10643296B2 (en) | 2016-01-12 | 2020-05-05 | Qualcomm Incorporated | Systems and methods for rendering multiple levels of detail |
| US10372205B2 (en) | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| US10169846B2 (en) | 2016-03-31 | 2019-01-01 | Sony Interactive Entertainment Inc. | Selective peripheral vision filtering in a foveated rendering system |
| US10401952B2 (en) | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
-
2015
- 2015-09-04 US US14/845,862 patent/US9857871B2/en active Active
-
2016
- 2016-08-25 EP EP21183035.1A patent/EP3913468B1/en active Active
- 2016-08-25 WO PCT/US2016/048736 patent/WO2017040214A1/en unknown
- 2016-08-25 JP JP2018511414A patent/JP6577137B2/ja active Active
- 2016-08-25 CN CN201680050876.4A patent/CN107949819B/zh active Active
- 2016-08-25 EP EP16842653.4A patent/EP3341817B1/en active Active
- 2016-08-25 CN CN202010139434.5A patent/CN111399623B/zh active Active
-
2017
- 2017-12-22 US US15/853,529 patent/US10585475B2/en active Active
-
2019
- 2019-08-21 JP JP2019151193A patent/JP2020030827A/ja active Pending
-
2020
- 2020-03-03 US US16/808,365 patent/US11099645B2/en active Active
-
2021
- 2021-03-08 JP JP2021036186A patent/JP7050980B2/ja active Active
- 2021-08-12 US US17/401,309 patent/US11416073B2/en active Active
-
2022
- 2022-08-01 US US17/878,859 patent/US11703947B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090141895A1 (en) * | 2007-11-29 | 2009-06-04 | Oculis Labs, Inc | Method and apparatus for secure display of visual content |
| WO2009142008A1 (ja) * | 2008-05-20 | 2009-11-26 | パナソニック株式会社 | 視線検出装置、撮像装置、視線検出方法、プログラム、及び集積回路 |
| CN101754715A (zh) * | 2008-05-20 | 2010-06-23 | 松下电器产业株式会社 | 视线检测装置、摄像装置、视线检测方法、程序以及集成电路 |
| US20100056274A1 (en) * | 2008-08-28 | 2010-03-04 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
| US8824779B1 (en) * | 2011-12-20 | 2014-09-02 | Christopher Charles Smyth | Apparatus and method for determining eye gaze from stereo-optic views |
| CN104603673A (zh) * | 2012-09-03 | 2015-05-06 | Smi创新传感技术有限公司 | 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法 |
| US20140361971A1 (en) * | 2013-06-06 | 2014-12-11 | Pablo Luis Sala | Visual enhancements based on eye tracking |
| JP2015152938A (ja) * | 2014-02-10 | 2015-08-24 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11703947B2 (en) | 2015-09-04 | 2023-07-18 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| CN118264700A (zh) * | 2024-04-17 | 2024-06-28 | 北京尺素科技有限公司 | Ar渲染方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11416073B2 (en) | 2022-08-16 |
| US20220374077A1 (en) | 2022-11-24 |
| JP2021119456A (ja) | 2021-08-12 |
| CN107949819B (zh) | 2020-03-27 |
| US20180136722A1 (en) | 2018-05-17 |
| US10585475B2 (en) | 2020-03-10 |
| CN107949819A (zh) | 2018-04-20 |
| JP2018529162A (ja) | 2018-10-04 |
| JP6577137B2 (ja) | 2019-09-18 |
| EP3913468B1 (en) | 2023-10-11 |
| US9857871B2 (en) | 2018-01-02 |
| US20200201432A1 (en) | 2020-06-25 |
| EP3341817A1 (en) | 2018-07-04 |
| WO2017040214A1 (en) | 2017-03-09 |
| JP7050980B2 (ja) | 2022-04-08 |
| EP3913468A1 (en) | 2021-11-24 |
| EP3341817A4 (en) | 2019-02-06 |
| JP2020030827A (ja) | 2020-02-27 |
| US11099645B2 (en) | 2021-08-24 |
| EP3341817B1 (en) | 2021-08-11 |
| US11703947B2 (en) | 2023-07-18 |
| US20210373661A1 (en) | 2021-12-02 |
| US20170068312A1 (en) | 2017-03-09 |
| CN111399623B (zh) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107949819B (zh) | 用于基于眼扫视检测的动态图形渲染的装置和方法 | |
| US11836289B2 (en) | Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
| US10775886B2 (en) | Reducing rendering computation and power consumption by detecting saccades and blinks | |
| Arabadzhiyska et al. | Saccade landing position prediction for gaze-contingent rendering | |
| EP3745944B1 (en) | Image adjustment for an eye tracking system | |
| US12130964B2 (en) | Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |