CN109791432B - 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间 - Google Patents

推迟影响图形用户界面的信息的状态改变直至不专注的情况期间 Download PDF

Info

Publication number
CN109791432B
CN109791432B CN201780058417.5A CN201780058417A CN109791432B CN 109791432 B CN109791432 B CN 109791432B CN 201780058417 A CN201780058417 A CN 201780058417A CN 109791432 B CN109791432 B CN 109791432B
Authority
CN
China
Prior art keywords
frames
series
version
eye
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780058417.5A
Other languages
English (en)
Other versions
CN109791432A (zh
Inventor
S·克诺尔
D·库尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202210349557.0A priority Critical patent/CN114706480A/zh
Publication of CN109791432A publication Critical patent/CN109791432A/zh
Application granted granted Critical
Publication of CN109791432B publication Critical patent/CN109791432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40—OLEDs integrated with touch screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

触发状态改变包括基于第一设置配置显示一系列帧的第一版本；获得该系列帧的第二设置配置；响应于获得第二设置配置，监测眼睛状态的改变；并且响应于检测到眼睛状态的改变，基于第二设置配置显示该系列帧的第二版本。

Description

推迟影响图形用户界面的信息的状态改变直至不专注的情况 期间
相关申请的交叉引用
本专利申请根据35 U.S.C.§119(e)要求于2016年9月22日提交的美国临时专利申请No.62/398,438的优先权，其内容以引用方式整体并入本文。
背景技术
本公开整体涉及数字图像处理领域，并且更具体地涉及图形用户界面(GUI)设计领域。具体地讲，涉及在GUI的用户注意力不集中的条件期间推迟影响GUI的信息的状态变化并触发状态变化。
当前技术允许用户以多种方式与他们的环境进行交互。以举例的方式，从GPS设备到游戏软件都允许用户以创新的方式与现实世界环境交互。将虚拟信息混合到现实环境中的一个问题是对图形用户界面的改变可能是突然的并且使用户分心，从而损害用户体验。
例如，GUI上的信息状态改变可能在用户关注它时改变，从而引起混淆，或者可能在用户关注GUI中附近的某些东西时改变，这可能导致用户分心。计算机游戏中的单词或对象可以动态加载并突然出现。屏幕上显示的细节级别可能会突然改变，从而导致用户混淆。需要增强的用户体验来处理正在显示的数据的状态变化。
发明内容
在一个实施方案中，描述了一种用于触发状态改变的方法。该方法可包括：基于第一设置配置显示一系列帧的第一版本，获得该系列帧的第二设置配置，响应于获得第二设置配置而监测眼睛状态的变化，以及响应于检测到眼睛状态的变化，基于第二设置配置显示该系列帧的第二版本。在另一个实施方案中，该方法可以体现在计算机可执行程序代码中并存储在非暂时性存储设备中。在另一个实施方案中，该方法可在具有图像捕获能力的电子设备中实现。
附图说明
图1以框图形式示出了根据一个或多个实施方案的简化电子设备。
图2以流程图的形式示出了根据一个或多个实施方案的用于管理影响GUI的状态改变的方法。
图3以流程图的形式示出了根据一个或多个实施方案的用于管理影响GUI的状态改变的另一种方法。
图4示出了示出根据一个或多个实施方案的管理细节级别的状态改变的示例流程图。
图5示出了根据一个或多个实施方案的用于基于更新的关键帧管理状态改变的方法的示例流程图。
图6示出了根据一个或多个实施方案的用于基于更新的细节级别来管理状态改变的方法的示例流程图。
图7示出了根据一个或多个实施方案的用于基于更新的细节级别来管理状态改变的方法的示例流程图。
图8示出了根据一个或多个实施方案的计算设备的示例系统图。
具体实施方式
本公开涉及用于在注意力不集中的条件期间推迟影响图形用户界面(GUI)的信息的状态改变的系统、方法和计算机可读介质。一般来讲，公开了用于管理GUI上的显示的技术，使得当检测到一系列帧的设置配置时，可以渲染该系列帧的新版本，但是直到确定用户注意力不集中时才显示。例如，根据一个或多个实施方案，可显示该组帧的第一版本，直到确定用户眨眼或移开视线为止。根据一个或多个实施方案，在用户注意力不集中的状态期间改变显示可最小化或减少该改变对用户的分心。
根据一个或多个实施方案，在检测到新的设置配置时，系统可在显示第一系列帧的同时渲染该系列帧的第二版本。即，可并行渲染该系列帧的第一版本和该系列帧的第二版本。在一些实施方案中，可渲染该系列帧的两个版本，直到可以显示第二版本的帧。在检测到眼睛状态改变或者预期到眼睛状态改变之前，可不渲染第二系列帧。因此，可在较短的时间段内并行生成该系列帧的两个版本。
在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为本说明书的一部分，本公开的一些附图以框图形式表示结构和装置，以避免模糊所公开实施方案的新颖方面。在该上下文中，应该理解，对没有相关标识符(例如，100)的编号绘图元素的引用是指具有标识符(例如，100a和100b)的绘图元素的所有实例。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。流程图中的框可以特定顺序呈现。然而，应当理解，任何流程图的特定流程仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的任何各种组件，或者可以不同的顺序执行组件，或甚至同时执行组件。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。本公开中使用的语言主要是出于可读性和指导目的而选择的，并且可未选择它来描绘或限制所公开的主题。在本公开中提到“一个实施方案”或“实施方案”意指包括在至少一个实施方案中的结合该实施方案所述的特定特征、结构或特性，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部参考相同的实施方案。
应当理解，在任何实际具体实施的开发中(如在任何开发项目中)，必须要作出许多决策以实现开发者的特定目标(如，符合与系统和商务相关的约束)，并且这些目标将在不同具体实施之间变化。还应当理解，此类开发工作可能是复杂且费时的，但尽管如此，对于受益于本公开的图像捕获的那些普通技术人员而言，这仍然是他们的日常工作。
出于本公开的目的，术语“摄像头”指的是单个透镜组件以及传感器元件和用于捕获图像的其他电路。出于本公开的目的，两个或更多个摄像头可共享单个传感器元件和其他电路，但是包括两个不同的透镜组件。然而，在一个或多个实施方案中，两个或更多个摄像头可包括独立的传感器元件以及单独的透镜组件和电路。
参见图1，其示出了根据本公开的一个或多个实施方案的电子设备100的简化框图。电子设备100可为多功能设备的一部分，诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器，或包括摄像头系统、显示器和用于执行各种实施方案的其他部件的任何其他电子设备。电子设备100可通过网络连接到其他网络设备，诸如移动设备、平板设备、台式设备，以及网络存储设备诸如服务器等。
电子设备100可包括中央处理单元(CPU)130。处理器130可以是片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(GPU)。此外，处理器130可包括相同或不同类型的多个处理器。电子设备100还可包括存储器140。存储器140可包括一个或多个不同类型的存储器，其可用于结合CPU 130执行设备功能。例如，存储器140可包括高速缓存、ROM和/或RAM。存储器140可在执行期间存储各种编程模块，包括眼睛状态监测器155和图形显示模块160。根据一个或多个实施方案，存储器140可包括用于基于动态设置配置数据生成并管理图形用户界面的附加应用程序。例如，存储器140可另外包括渲染引擎。
电子设备100还可包括一个或多个摄像头，诸如前置摄像头110和后置摄像头120。摄像头110和120可各自包括图像传感器、镜头堆栈和可用于捕获图像的其他组件。在一个或多个实施方案中，摄像头可在电子设备中指向不同的方向。例如，前置摄像头110可位于电子设备100的第一表面中或第一表面上，而后置摄像头120可位于电子设备100的第二表面中或第二表面上。在一个或多个实施方案中，第一表面和第二表面可是电子设备100的相对表面。例如，前置摄像头110可被配置为从用户的角度捕获现实环境的图像，而后置摄像头120被配置为捕获用户的图像。尽管示出了两个摄像头，但是在一些实施方案中，如下面将进一步详细描述的，电子设备100可包括单个相机。在其他实施方案中，电子设备100还可包括显示器150。传感器175可包括可用于(例如)确定眼睛状态的任何种类的传感器，诸如凝视的方向或眼睛是打开的还是闭合的。显示器150可以是任何种类的显示设备，诸如LCD显示器、LED显示器、OLED显示器等。此外，显示器150可为半不透明显示器，诸如抬头显示器等。虽然电子设备100被描述为包括上述众多部件，但在一个或多个实施方案中，各种部件可分布在多个设备上。此外，可使用附加部件，并且可组合任何部件的功能的某种组合。
根据一个或多个实施方案，眼睛状态监测器155监测眼睛的状态。在一些实施方案中，眼睛状将指示用户的注意力集中或不集中。即，眼睛状态监测器155可基于例如从前置摄像头110或从各种传感器175接收的数据来确定用户是否注意力集中。此外，眼睛状态监测器155可预期眼睛状态的改变。例如，来自前置摄像头110的图像可指示眼睛闭合或正在闭合，或者眼睛是否正在观看不同于显示器150的方向。又如，监测眼睛周围肌肉的传感器可检测到眼睛即将眨眼，从而预测眼睛状态的变化。在一个或多个实施方案中，眼睛状态监测器155可连续地监测眼睛的状态，或者可周期性地或在需要时监测眼睛的状态。例如，眼睛状态监测器155可响应于确定新的设置配置可用而监测眼睛的状态。
根据一个或多个实施方案，图形显示模块160可被配置为基于给定的设置配置生成一系列帧。在一个或多个实施方案中，设置配置可基于例如通过传感器175或摄像机110和120本地接收的数据。除此之外或作为另外一种选择，可从诸如网络设备或服务器之类的远程源接收用于设置配置的数据。例如，如果电子设备100正在地图上显示方向，则设置配置可包括来自GPS单元(未示出)的数据。图形显示模块160可偶尔接收更新的设置配置信息，其将GUI的视图改变为一系列帧。例如，如果更新的GPS信息指示用户实际上在与指示的初始设置配置数据不同的道路或车道上，则可渲染该系列帧的第二版本。在一个或多个实施方案中，图形显示模块160可同时生成多个系列帧。回到该实施例，如果接收到更新的GPS数据，则图形显示模块160可开始渲染该系列帧的第二版本，同时仍然渲染并显示第一系列帧。因此，图形显示模块160可根据需要从该系列帧的第一版本切换到该系列帧的第二版本。根据一个或多个实施方案，图形显示模块160可基于由眼睛状态监测器155确定的眼睛状态的变化来确定何时开始显示该系列帧的第二版本。在一些实施方案中，当确定用户注意力不集中时，图形显示模块160可切换所显示的配置信息的版本。换句话讲，图形显示模块160可推迟GUI中图形表示的状态改变，直到满足注意力不集中的条件。
例如，在计算机游戏中，新的设置配置可包括成为可在游戏环境中显示的新对象。图形显示模块160可继续呈现没有新对象的游戏环境，并在用户眨眼时呈现它们，使得在眨眼之后显示新对象。类似地，在增强现实应用中，图形显示模块160可推迟渲染的虚拟对象的变化在现实环境中显示。又如，渐进式JPEG可以较粗的块转换为较精细的块，或者从较精细的块转换为较粗的块。图形显示模块160可推迟对更新的细节级别的显示，直到用户注意力不集中。该设置配置可以其他方式应用于细节级别。例如，当缩放地图时，诸如街道名称或社区的信息可能出现或消失。图形显示模块160可推迟改变在地图上所显示的细节级别，直到用户注意力不集中。
图2以流程图的形式示出了根据一个或多个实施方案的用于管理影响GUI的状态改变的方法。尽管以特定顺序描绘了各种动作，但是在不同的实施方案中，可以不同的顺序描绘各种动作。此外，在一些实施方案中，两个或更多个动作可同时发生。在其他实施方案中，一些动作可能不是必需的，或者可包括其他动作。为清楚起见，将关于图1的各种部件描述该流程图。然而，应当理解，各种动作可由另选部件来执行。
该流程图开始于205，其中图形显示模块160使得在显示器150上显示一系列帧的第一版本。在一个或多个实施方案中，图形显示模块160可基于第一设置配置来生成初始帧系列。第一设置配置可是指示应如何渲染一系列帧的任何数据。在一个或多个其他实施方案中，图形显示模块160可呈现由诸如后置摄像头120的摄像头捕获的一系列帧，或者可呈现由另一种方法生成的帧。此外，该系列帧可包括基于其他数据渲染的附加信息。例如，从远程服务器或从传感器175收集的数据。例如，图形显示模块160可在显示器150上呈现由后置摄像头120捕获的现实环境的视图中的虚拟对象。
流程图在210处继续，并且确定是否识别出设置配置中的更新。如上所述，设置配置中的更新可是确定如何渲染一系列帧的任何类型的数据。例如，可使用或多或少的细节，或者取决于其他因素，可能优选包括更大或更小的细节级别。如果没有检测到更新，则流程图在205继续，并且图形显示模块160继续基于第一设置配置显示该系列帧的第一版本。返回到210，如果确定识别出设置配置中的更新，则流程图在215继续，并且图形显示模块160基于更新的设置配置呈现一系列帧的第二版本。
流程图在220处继续，在该处，眼睛状态监测器155监测眼睛状态的改变。根据一个或多个实施方案，眼睛状态监测器155可以监测凝视的改变或眨眼，其中任何一者都可指示用户的注意力不集中状态。在一些实施方案中，眼睛状态监测器155可监测眼睛的图像，例如，由前置摄像头110提供。另外，在其他实施方案中，眼睛状态监测器155可依赖来自传感器175的附加传感器数据来确定眼睛状态的变化。根据一些实施方案，眼睛状态监测器155可连续地监测用户的眼睛的状态，或者可响应于设置配置更新的识别或者响应于图形显示模块160基于更新的设置配置渲染该系列帧的第二版本而开始监测眼睛的状态。
流程图在225处继续，在此处确定是否检测到眼睛状态的变化。根据一个或多个实施方案，眼睛状态的变化可指示用户注意力不集中。例如，用户正在眨眼，或正在向显示屏外看。在其他实施方案中，如果用户的一只眼睛或两只眼睛仍然打开，那么向外看可能不足以使用户注意力不集中。相反，用户必须以这样的方式观看，即用户不会意识到显示器的变化。例如，如果用户仍然可以注意到GUI的图形的突然变化，则仅仅看向不同的位置可能是不够的。例如，在用户的周边视觉中，如果在225处未检测到眼睛状态的变化，则流程图在220处继续，其中眼睛状态监测器155继续监视眼睛状态的变化。返回至225，如果确定检测到眼睛状态的改变，则流程图在230处继续，其中图形显示模块160基于第二设置配置开始显示该系列帧的第二版本。
图3以流程图的形式示出了根据一个或多个实施方案的用于管理影响GUI的状态改变的另一种方法。图3的流程图可示出图2的实施方案的另选实施方案。尽管以特定顺序描绘了各种动作，但是在一些实施方案中，可以以不同的顺序描绘各种动作。另外，在其他实施方案中，两个或更多个动作可同时发生。此外，根据其他实施方案，一些动作可能不是必需的，或者可包括其他动作。为清楚起见，将关于图1的各种部件描述该流程图。然而，应当理解，根据一个或多个实施方案，各种动作可由另选的部件执行。
流程图在305处开始，在该处图形显示模块160使得在显示器150上显示一系列帧的第一版本。在一个或多个实施方案中，图形显示模块160可基于设置配置来生成初始帧系列。第一设置配置可是指示应如何呈现一系列帧的任何数据。在其他实施方案中，图形显示模块160可呈现由诸如后置摄像头120的摄像头捕获的一系列帧，或者可呈现由另一种方法生成的帧。此外，该系列帧可包括基于其他数据呈现的附加信息，例如，从远程服务器或从传感器175收集的数据。例如，图形显示模块160可在显示器150上呈现由后置摄像头120捕获的现实环境的视图中的虚拟对象。
该流程图在310处继续，其中确定是否识别出设置配置中的更新。如上文所述，设置配置中的更新可是确定应该如何呈现一系列帧的任何类型的数据。例如，可使用或多或少的细节，或者取决于其他因素，可能优选包括更大或更小的细节级别。如果未检测到更新，则流程图在305继续，其中图形显示模块160继续基于第一设置配置显示该系列帧的第一版本。然而，与图2中描绘的步骤相反，如果在310处识别出设置配置中的更新，则流程图在315继续，其中图形显示模块160可继续显示该系列帧的第一版本。
该流程图在320处继续，其中眼睛状态监测器155监测眼睛以确定是否预测到眼睛状态的改变。根据一个或多个实施方案，例如，可基于来自前置摄像头110的图像来预测眼睛状态的变化。在其他实施方案中，图像可指示例如眼睛正在闭合。又如，可从传感器175收集其他传感器数据，以确定是否正在发生指示预期眼睛状态改变的眨眼或其他运动。例如，传感器数据可监测眼睛周围肌肉的肌肉运动，以预测即将发生眨眼的时间。响应于确定预期眼睛状态的改变，流程图在325处继续，其中图形显示模块160基于更新的设置配置渲染该系列帧的第二版本。
该流程图在330处继续，其中眼睛状态监测器155监测眼睛状态的变化。根据一个或多个实施方案，眼睛状态监测器155可监测眼睛以验证眼睛状态的变化。例如，眼睛状态监视器155可监测以验证眨眼，而不是仅仅预期眨眼。流程图在335处继续，在该处可确定是否检测到眼睛状态的变化。根据一些实施方案，眼睛状态的改变可能指示用户注意力不集中。例如，用户正在眨眼，或者正在看向显示器外。在一个或多个其他实施方案中，如果用户的一只眼睛或两只眼睛仍然打开，那么向外看可能不足以呈现用户注意力不集中的确定。相反，用户必须以这样的方式观看，即用户不会意识到显示器150的变化。例如，如果用户仍然可以注意到GUI的图形的突然变化(例如，在用户的周边视觉中)，则仅仅看向不同的位置可是不够的。如果在335处未检测到眼睛状态的改变，则流程图在330处继续，其中眼睛状态监测器155继续监测眼睛状态的改变。返回至335，如果确定检测到眼睛状态的改变，则流程图在340处继续，其中图形显示模块160基于第二设置配置开始显示该系列帧的第二版本。
根据一个或多个实施方案，图2的流程图和图3的流程图之间的区别是何时开始渲染第二版本的帧。在一个或多个实施方案中，可能优选的是在更新的设置配置可用时开始渲染第二版本的帧，如图2中那样，以便在帧的第一版本和第二版本的显示之间进行快速改变。此外，根据其他实施方案，可能优选的是，响应于预期的眼睛状态的改变而开始渲染帧的第二版本。例如，推迟渲染帧的第二版本可能是优选的，以便节省资源。仍然根据其他实施方案，图形显示模块160开始渲染帧的第二版本的时间可基于其他因素来确定，诸如是否应该节省计算资源，或者设置配置的变化率。
图4示出了示例性用例，其中推迟细节级别的改变直到用户注意力不集中。最初，用于渲染虚拟对象的细节级别可取决于虚拟对象到摄像头的距离。每个细节级别以及例如相关联的3D模型可与特定的距离间隔相关联。当距离超过某个阈值时，可触发所使用的细节级别的改变。例如，当距离离开一个间隔并进入另一个间隔时，可触发细节级别的改变。在401中，球体对象靠近摄像头，使得使用高细分模型进行渲染。当模型移动远离摄像头时(如在402中)，可使用相同级别的细节。但是在某个时间点处(421)，对象离得太远，以至于会选择另一个细节级别。响应于在421处超过阈值距离，可用较少的细节来渲染球体对象，如413中所示。从图像402到图像413的变化对于用户而言将是显而易见的。然而，在422处，细节级别的这种改变再次被推迟直到用户注意力不集中。因此，用户将继续在帧403和404中查看高细分模型。在一个或多个实施方案中，仅当用户在422处注意力不集中时，帧415才执行并显示到低分辨率网络的改变。
图5示出了另一示例用例，其中该方法用于增强现实系统中，其中虚拟罐(551)被渲染成现实世界环境的相机图像(512-516)。在图5的实施例中，相对于姿态确定算法中的所选关键帧，状态改变被推迟。因此，在一个或多个实施方案中，图像中虚拟罐的外观(诸如位置、比例或取向)的突然改变被推迟，使得用户不会注意到该改变。
出于该实施例的目的，虚拟对象是罐(551)，设置配置是用于确定针对所捕获的图像的相机姿态的特定关键帧(例如502)，并且可视化配置是用于渲染虚拟对象的相机/对象的特定确定姿态。可视化帧是增强图像(例如，522)，示出了被虚拟对象(551)的渲染覆盖的现实世界环境的相机图像(例如512)。
现实世界环境可包括现实桌子的场景(例如，(541))。场景的模型可用作关键帧，每个关键帧由桌子的图像(例如502,503)和对应的已知6自由度相机姿态组成，称为关键姿态。在图5的实施例中，关键帧图像(502,503)示出了来自不同视点的桌子(541,542)。
然后可使用移动摄像头捕获场景。例如，移动设备的摄像头。图5的第二列(511)描绘了捕获图像的序列，诸如实时视频帧(511)。对于每个获取的图像，姿态确定方法可基于捕获的图像本身、场景模型以及可能的先前捕获的图像和姿态的历史来确定相机姿态。
对于现实世界的第一获取图像(512)，算法可找到最佳拟合关键帧502，并基于图像(512)、关键帧图像(502)和关键帧图像(502)的已知的关键姿态确定针对图像(512)的相机姿态。基于关键帧图像(502)的图像的相机姿态(512)可用于在图像(512)的顶部渲染虚拟罐(551)，从而产生增强图像(522)。
对于现实世界的第二获取图像(513)，算法可继续将相同的关键帧图像(502)视为最佳拟合关键帧图像。例如，关键帧图像可被确定为最佳拟合关键帧图像，或者可不针对每个帧触发用于确定最佳关键帧的算法，并且使用对于前一帧考虑最佳的算法。因此，算法可基于图像(513)、关键帧图像(502)以及关键帧图像(502)的已知关键姿态(502)来确定针对图像(513)的姿态。作为另外一种选择，该算法可基于图像(513)、图像(512)和先前确定的针对图像(512)的姿态(该姿态是基于关键帧图像(502)和关键帧图像(502)的已知关键姿态来确定的)来确定针对图像(513)的姿势。在这两种情况下，所确定的姿态最初可取决于关键帧(502)。基于关键帧(502)确定的针对图像(513)的相机姿态可用于在图像(513)的顶部渲染虚拟罐(552)，从而产生增强图像(523)。
对于现实世界环境的第三获取图像(514)，算法现在可确定另一关键帧图像是最佳拟合图像，即关键帧(503)。标准方法现在可直接使用新确定的最佳拟合关键帧(503)来基于图像(514)、关键帧图像(503)以及关键帧图像(503)的已知关键姿态确定图像(514)的姿态。基于关键帧(503)确定的针对图像(514)的相机姿态可用于在图像(514)顶部渲染虚拟罐(555)，从而产生增强图像(534)。所使用的关键帧(即，设置配置)中的这种改变可能潜在地导致姿态(可视化配置)的可见突然改变，并因此导致虚拟对象的渲染，这将被用户注意到。然而，如果用户注意力不集中，则新关键帧(503)可用于确定姿态，并且最终增强图像可是图像(534)。然而，在所示的实施例中，用户是注意力集中的，因此关键帧(502)仍然用于确定针对可视化的姿态，并且最终的增强图像是图像(524)。应当指出的是，由于跟踪算法和从关键帧(502)确定的姿态不精确，罐(553)可能不会被渲染成与桌子的顶部齐平而是可能稍微悬浮在桌子上方。即，关键帧(503)可提供在图像(534)中可见的更准确的姿态，其中罐(555)更好地与桌子对齐。还可能根据新的关键帧(503)确定姿态以启用帧到帧跟踪。但是，此姿态可能不会用于虚拟对象的当前渲染。
对于现实世界的第四获取图像(515)，算法可再次将关键帧图像(503)视为最佳拟合关键帧图像。这可能是因为用于确定最佳关键帧的算法可能不会针对每个帧被触发并且使用从前一帧中认为最佳。如果用户注意力不集中，则可使用新关键帧(503)来确定姿态(直接地或者基于最初基于关键帧503的先前姿态跟踪帧到帧)，并且最终的增强图像将是图像(535)。然而，在所示实施例中，用户再次注意力集中，因此可以使用关键帧(502)来确定姿态，并且最终的增强图像是图像(525)。同样，由于跟踪算法和从关键帧(502)确定的姿态的不精确性，罐(554)可能不会渲染成与桌子的顶部齐平，而是悬浮在桌子上方，或者与桌子相交。在一个或多个实施方案中，关键帧(503)可潜在地递送更准确的姿态，如在图像(535)中，其中罐(556)更好地与桌子对齐。
图6示出了另一个示例性用例，用户或应用程序本身放大到城市地图中。当在缩小的最初(601)，显示城市的大部分并且仅呈现粗略信息(主要街道(606)、城市名称(607))。当在602处放大时，仅继续显示大街道(608)和城市名称(609)。然而，当进一步放大时，应用程序可尝试显示图像，例如604，具有附加信息(较少的主要街道(613)、感兴趣点的标签(611)、地下交通(614))。相反，城市名称(612)可能不再显示。何时显示附加信息619可取决于可用性，例如当动态流式内容完成时或者取决于保持GUI不被太多标签/层弄乱的规范。
同样，所提出的方法可保持旧的设置配置(仅主要街道和城市名称(610)可见)用于渲染，从而产生图像603。改变到“新的”设置配置(例如较小街道的可见性)被推迟直到用户注意力不集中(620)。在检测到用户注意力不集中之后，“新的”/第二设置配置用于渲染，产生具有现在可见的较小街道(616)、感兴趣点的标签(615)、地下交通(618)的图像605并且不再显示城市名称(617)。由于用户在设置配置(图层的可见性)发生变化时注意力不集中，他/她很可能错过了改变。
图7示出了另一个示例用例，其中用户在城市地图上平移，或者GPS位置被更新并且应用程序相应地使地图居中。在地图的初始显示图像(701)中，显示街道(707)以及感兴趣点的标签(706)。通过向下滚动地图，在下一个显示的图像(702)中，地图的新部分变得可见。这些新部分(708)最初没有任何标签(例如，“Residenz”缺失)。缺失的标签可例如通过动态内容流传输或通过规范来引起以避免被夹住的标签。当用户在某个时间点向下滚动时(714)(由于完全下载或由于规范)，新地图区域的新标签可能突然出现，如图像704所示，其中出现标签“Residenz”(709)。然而，用于渲染的旧设置配置导致图像703，其中标签“Residenz”仍然不可见(710)。改变到“新的”设置配置(具有新标签，例如Residenz可见)可能会被推迟，直到用户注意力不集中。当检测到用户注意力不集中(715)时，“新的”设置配置可用于渲染，从而产生具有现在可见新标签(711,712,713)的图像705。由于用户在设置配置(标签的可见性)发生变化时注意力不集中，他/她很可能错过了改变。
参考图8，其示出了根据一个实施方案的示例性多功能电子设备800的简化功能框图。多功能电子设备800可包括处理器805、显示器810、用户界面815、图形硬件820、设备传感器825(例如，接近传感器/环境光传感器、加速计和/或陀螺仪)、麦克风830、音频编解码器835、扬声器840、通信电路845、数字图像捕获电路850(例如，包括相机系统100)视频编解码器855(例如，支持数字图像捕获单元850)、存储器860、存储设备865和通信总线870。多功能电子设备800可是例如数码相机或个人电子设备，例如个人数字助理(PDA)、个人音乐播放器、移动电话或平板电脑。
处理器805可执行执行或控制由设备800执行的许多功能的操作所必需的指令(例如，诸如本文所公开的图像的生成和/或处理以及单摄像头和多摄像头校准)。处理器805可例如驱动显示器810并可从用户界面815接收用户输入。用户界面815可允许用户与设备800交互。例如，用户界面815可呈现多种形式诸如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。处理器805也可例如为片上系统，诸如存在于移动设备中的那些片上系统并且包括专用图形处理单元(GPU)。处理器805可基于精简指令集计算机(RISC)架构或复杂指令集计算机(CISC)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件820可是用于处理图形和/或辅助处理器805以处理图形信息的专用计算硬件。在一个实施方案中，图形硬件820可包括可编程GPU。
图像捕获电路850可包括一个(或多个)透镜组件880，其中每个透镜组件可具有单独的焦距。每个透镜组件可具有单独的相关传感器元件890。另选地，两个或更多个透镜组件可共用共同的传感器元件。图像捕获电路850可捕获静态图像和/或视频图像。通过以下设备至少部分地可处理来自图像捕获电路850的输出：一个或多个视频编解码器865和/或处理器805和/或图形硬件820、和/或结合在电路850内的专用图像处理单元或管道。因此，所捕获的图像可被存储在存储器860和/或存储装置855中。
传感器和摄像机电路系统850可捕获可至少部分地由以下设备根据本公开处理的静态图像和视频图像：视频编解码器855和/或处理器805和/或图形硬件820、和/或结合在电路850内的专用图像处理单元。因此，所捕获的图像可被存储在存储器860和/或存储装置865中。存储器860可包括由处理器805和图形硬件820使用的一个或多个不同类型的介质以执行设备功能。例如，存储器860可包括存储器高速缓存、只读存储器(ROM)、和/或随机存取存储器(RAM)。存储装置865可存储介质(例如音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置865可包括一个或多个非暂态存储介质，包括例如磁盘(固定盘、软盘和可移除盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))，以及半导体存储设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器860和存储装置865可用于有形地保持被组织成一个或多个模块并以任何所需的计算机编程语言编写的计算机程序指令或代码。例如，在由处理器805执行时，此类计算机程序代码可实现本文所述的方法中的一种或多种。
因此，本发明所公开的主题的范围应该参考所附权利要求以及这些权利要求的等同物的全部范围来确定。在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。

Claims (15)

1.一种用于触发状态改变的方法，包括：
在显示设备上显示一系列帧的第一版本，其中所述一系列帧的所述第一版本基于第一设置配置被渲染；
在显示所述一系列帧的所述第一版本期间：
获取用于所述一系列帧的第二设置配置；
响应于获取所述第二设置配置，基于所述第二设置配置渲染所述一系列帧的第二版本；以及
响应于获取所述第二设置配置，在显示所述一系列帧的所述第一版本的同时监测眼睛状态的改变，其中所述眼睛状态的改变指示对所述显示设备的不专注；并且
响应于检测到所述眼睛状态的改变，在所述显示设备上显示所述一系列帧的所述第二版本。
2.根据权利要求1所述的方法，其中所述第一设置配置和所述第二设置配置与现实环境中显示的虚拟内容相关联。
3.根据权利要求1所述的方法，其中所述第一设置配置和所述第二设置配置被定向到现实环境的特征。
4.根据权利要求1所述的方法，其中监测眼睛状态的改变包括：
从面向与所述眼睛状态对应的眼睛的摄像机获取多个图像帧，以及
针对所述眼睛的眨眼监测所述多个图像帧。
5.根据权利要求1所述的方法，其中监测眼睛状态的改变包括监测与所述眼睛状态对应的眼睛的凝视方向。
6.一种系统，包括：
显示设备；
一个或多个处理器；和
存储器，所述存储器耦接到所述一个或多个处理器并且包括计算机代码，所述计算机代码能够由所述一个或多个处理器执行以使所述系统：
在所述显示设备上显示一系列帧的第一版本，其中所述一系列帧的所述第一版本基于第一设置配置被渲染；
在显示所述一系列帧的所述第一版本期间：
获取用于所述一系列帧的第二设置配置；
响应于获取所述第二设置配置，基于所述第二设置配置渲染所述一系列帧的第二版本；以及
响应于获取所述第二设置配置，在显示所述一系列帧的所述第一版本的同时监测眼睛状态的改变，其中所述眼睛状态的改变指示对所述显示设备的不专注；以及
响应于检测到所述眼睛状态的改变，在所述显示设备上显示所述一系列帧的所述第二版本。
7.根据权利要求6所述的系统，其中所述第一设置配置和所述第二设置配置与现实环境中显示的虚拟内容相关联。
8.根据权利要求6所述的系统，其中所述第一设置配置和所述第二设置配置被定向到现实环境的特征。
9.根据权利要求6所述的系统，用于监测眼睛状态的改变的所述计算机代码包括用于以下操作的计算机代码：
从面向与所述眼睛状态对应的眼睛的摄像机获取多个图像帧，以及
针对所述眼睛的眨眼监测所述多个图像帧。
10.根据权利要求6所述的系统，其中监测眼睛状态的改变包括监测与所述眼睛状态对应的眼睛的凝视方向。
11.一种包括计算机可读代码的计算机可读介质，所述计算机可读代码能够由一个或多个处理器执行以：
在显示设备上显示一系列帧的第一版本，其中所述一系列帧的所述第一版本基于第一设置配置被渲染；
在显示所述一系列帧的所述第一版本期间：
获取针对所述一系列帧的第二设置配置；
响应于获取所述第二设置配置，基于所述第二设置配置渲染所述一系列帧的第二版本；以及
响应于获取所述第二设置配置，在显示所述一系列帧的所述第一版本的同时监测眼睛状态的改变，其中所述眼睛状态的改变指示对所述显示设备的不专注；以及
响应于检测到所述眼睛状态的改变，在所述显示设备上显示所述一系列帧的所述第二版本。
12.根据权利要求11所述的计算机可读介质，其中所述第一设置配置和所述第二设置配置与现实环境中显示的虚拟内容相关联。
13.根据权利要求11所述的计算机可读介质，其中所述第一设置配置和所述第二设置配置被定向到现实环境的特征。
14.根据权利要求11所述的计算机可读介质，其中用于监测眼睛状态的改变的所述计算机代码包括用于以下操作的计算机代码：
从面向与所述眼睛状态对应的眼睛的摄像机获取多个图像帧，以及
针对所述眼睛的眨眼监测所述多个图像帧。
15.根据权利要求11所述的计算机可读介质，其中监测眼睛状态的改变包括监测与所述眼睛状态对应的眼睛的凝视方向。
CN201780058417.5A 2016-09-22 2017-09-22 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间 Active CN109791432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210349557.0A CN114706480A (zh) 2016-09-22 2017-09-22 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662398438P 2016-09-22 2016-09-22
US62/398,438 2016-09-22
PCT/US2017/052981 WO2018057910A1 (en) 2016-09-22 2017-09-22 Postponing the state change of an information affecting the graphical user interface until during the conditon of inattentiveness

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210349557.0A Division CN114706480A (zh) 2016-09-22 2017-09-22 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间

Publications (2)

Publication Number Publication Date
CN109791432A CN109791432A (zh) 2019-05-21
CN109791432B true CN109791432B (zh) 2022-04-19

Family

ID=60037708

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210349557.0A Pending CN114706480A (zh) 2016-09-22 2017-09-22 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间
CN201780058417.5A Active CN109791432B (zh) 2016-09-22 2017-09-22 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210349557.0A Pending CN114706480A (zh) 2016-09-22 2017-09-22 推迟影响图形用户界面的信息的状态改变直至不专注的情况期间

Country Status (7)

Country Link
US (3) US10671159B2 (zh)
EP (1) EP3504610A1 (zh)
JP (2) JP2019530928A (zh)
KR (3) KR20190049784A (zh)
CN (2) CN114706480A (zh)
AU (1) AU2017330428B2 (zh)
WO (1) WO2018057910A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858754B2 (en) 2012-06-14 2018-01-02 Bally Gaming, Inc. System and method for augmented reality gaming
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP7409184B2 (ja) * 2020-03-19 2024-01-09 マツダ株式会社 状態推定装置
US11941747B2 (en) * 2021-10-29 2024-03-26 Adobe Inc. Delivering a virtual environment with dynamic level of detail per object

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742118A (zh) * 2008-11-11 2010-06-16 索尼株式会社 切换器控制装置、切换器控制方法和图像合成设备
JP2014038523A (ja) * 2012-08-17 2014-02-27 Institute Of Physical & Chemical Research 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
WO2015127146A1 (en) * 2014-02-19 2015-08-27 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259003A (ja) * 1993-03-03 1994-09-16 Matsushita Electric Ind Co Ltd シュミレータ用画像制御システム
US7423686B2 (en) * 2002-03-14 2008-09-09 Canon Kabushiki Kaisha Image pickup apparatus having auto-focus control and image pickup method
US6927674B2 (en) * 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
EP1815413A4 (en) * 2004-11-09 2009-10-21 Mobile Phone Applic Inc SYSTEM AND METHOD FOR PROVIDING CONTENT TO A MOBILE TELECOMMUNICATIONS DEVICE
US20090079746A1 (en) * 2007-09-20 2009-03-26 Apple Inc. Switching between graphics sources to facilitate power management and/or security
JP2009294735A (ja) * 2008-06-03 2009-12-17 Nobunori Sano 関心調査装置
WO2010015072A1 (en) * 2008-08-07 2010-02-11 Research In Motion Limited System and method for providing an interactive content portal on a mobile device
US9600306B2 (en) * 2009-01-31 2017-03-21 International Business Machines Corporation Client-side simulated virtual universe environment
KR101051433B1 (ko) * 2009-09-30 2011-07-22 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US8788711B2 (en) * 2011-06-14 2014-07-22 Google Inc. Redacting content and inserting hypertext transfer protocol (HTTP) error codes in place thereof
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
US9892535B1 (en) * 2012-01-05 2018-02-13 Google Inc. Dynamic mesh generation to minimize fillrate utilization
US9423994B2 (en) * 2012-02-22 2016-08-23 Citrix Systems, Inc. Hierarchical display
US20150187098A1 (en) * 2012-09-14 2015-07-02 Google Inc. Method and apparatus for unobtrusively changing imagery supplementing a map display
JP5974809B2 (ja) * 2012-09-28 2016-08-23 大日本印刷株式会社 表示装置、表示制御方法及び表示制御プログラム
US9886177B2 (en) * 2012-10-11 2018-02-06 Industry-Academic Cooperation Foundation, Yonsei University Method for increasing GUI response speed of user device through data preloading, and said user device
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
KR102081933B1 (ko) * 2013-08-28 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US20150143234A1 (en) * 2013-10-22 2015-05-21 Forbes Holten Norris, III Ergonomic micro user interface display and editing
KR102173699B1 (ko) * 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
KR101709087B1 (ko) * 2014-08-01 2017-02-23 삼성디스플레이 주식회사 타이밍 제어부, 이를 포함하는 표시 장치 및 이의 구동 방법
KR20160036745A (ko) * 2014-09-25 2016-04-05 삼성디스플레이 주식회사 다시점 영상 표시 시스템 및 그 구동 방법
US20160180762A1 (en) * 2014-12-22 2016-06-23 Elwha Llc Systems, methods, and devices for controlling screen refresh rates
US9977909B1 (en) * 2015-01-13 2018-05-22 State Farm Mutual Automobile Insurance Company Selectively obscuring and/or revealing sensitive information in a display of a computing device
US20160227107A1 (en) * 2015-02-02 2016-08-04 Lenovo (Singapore) Pte. Ltd. Method and device for notification preview dismissal
US20160259405A1 (en) * 2015-03-03 2016-09-08 Microsoft Technology Licensing, Llc Eye Gaze for Automatic Paging
CN104834446B (zh) * 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
IN2015DE02924A (zh) * 2015-09-16 2015-10-23 Hcl Technologies Ltd
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
JP6259003B2 (ja) 2016-04-15 2018-01-10 ヒロセ電機株式会社 回路基板用プラグ電気コネクタ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742118A (zh) * 2008-11-11 2010-06-16 索尼株式会社 切换器控制装置、切换器控制方法和图像合成设备
JP2014038523A (ja) * 2012-08-17 2014-02-27 Institute Of Physical & Chemical Research 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
CN105934902A (zh) * 2013-11-27 2016-09-07 奇跃公司 虚拟和增强现实系统与方法
WO2015127146A1 (en) * 2014-02-19 2015-08-27 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法

Also Published As

Publication number Publication date
AU2017330428A1 (en) 2019-03-14
US20200293109A1 (en) 2020-09-17
KR102565402B1 (ko) 2023-08-08
US11334156B2 (en) 2022-05-17
US20210311550A1 (en) 2021-10-07
CN109791432A (zh) 2019-05-21
JP2019530928A (ja) 2019-10-24
KR20190049784A (ko) 2019-05-09
KR20220078715A (ko) 2022-06-10
US11016565B2 (en) 2021-05-25
JP7374956B2 (ja) 2023-11-07
CN114706480A (zh) 2022-07-05
JP2021170114A (ja) 2021-10-28
KR102404118B1 (ko) 2022-05-31
US20180088667A1 (en) 2018-03-29
WO2018057910A1 (en) 2018-03-29
AU2017330428B2 (en) 2020-05-07
US10671159B2 (en) 2020-06-02
EP3504610A1 (en) 2019-07-03
KR20210095747A (ko) 2021-08-02

Similar Documents

Publication Publication Date Title
US11016565B2 (en) Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness
JP5732988B2 (ja) 画像処理装置、表示制御方法及びプログラム
CN104350736B (zh) 附近位置信息的增强现实布置
US11016563B2 (en) Image changes based on voice
US11636644B2 (en) Output of virtual content
US20190041651A1 (en) Transitioning into a vr environment and warning hmd users of real-world physical obstacles
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
US20240062254A1 (en) Media collection navigation with opt-out interstitial
CN109448050B (zh) 一种目标点的位置的确定方法及终端
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
US20200272308A1 (en) Shake Event Detection System
US20180070093A1 (en) Display apparatus and control method thereof
US9665249B1 (en) Approaches for controlling a computing device based on head movement
US10789987B2 (en) Accessing a video segment
US10585485B1 (en) Controlling content zoom level based on user head movement
EP3510440B1 (en) Electronic device and operation method thereof
JP2022551671A (ja) オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体
CN116546274B (zh) 视频切分方法、选取方法、合成方法及相关装置
CN116893742A (zh) 一种目标分割方法、装置、设备和存储介质
CN117354484A (zh) 基于虚拟现实的拍摄处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant