CN107003726B - 头戴式显示器更新缓冲器 - Google Patents

头戴式显示器更新缓冲器 Download PDF

Info

Publication number
CN107003726B
CN107003726B CN201580062930.2A CN201580062930A CN107003726B CN 107003726 B CN107003726 B CN 107003726B CN 201580062930 A CN201580062930 A CN 201580062930A CN 107003726 B CN107003726 B CN 107003726B
Authority
CN
China
Prior art keywords
image data
update
current view
mounted display
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580062930.2A
Other languages
English (en)
Other versions
CN107003726A (zh
Inventor
S.图拉西马尼
G.R.苏迈坦吉塔泰
P.萨米尔卡拉蒂尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107003726A publication Critical patent/CN107003726A/zh
Application granted granted Critical
Publication of CN107003726B publication Critical patent/CN107003726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

这里描述了与在头戴式显示器（HMD）设备中提供更新相关的技术。可以将HMD配置为显示环境的视图。可以包括HMD设备的更新缓冲器以存储图像数据。图像数据可以包括针对环境的当前视图的图像数据和在当前视图外的环境的图像数据。

Description

头戴式显示器更新缓冲器
相关申请的交叉引用
本申请要求2014年12月18日提交的美国专利申请No.14/575,612的申请日的权益，其通过引用并入本文。
背景技术
在计算机图形学中，可以渲染图像数据并将其提供给显示设备。在一些情况下，显示设备可以包括头戴式显示器（HMD）设备。HMD设备可以用在虚拟现实系统中，其中，HMD的移动导致要显示的图像数据的改变。在某些情况下，虚拟现实病是在虚拟现实中或甚至增强现实系统中使用HMD的副作用。由于HMD显示器与用户眼睛的接近度，HMD设备的用户可能对图像更新敏感。例如，落后于用户的头部移动的图像更新可能引起不适。招致延迟的图像更新可能与图像更新过程流程中涉及的各种部件相关联。例如，HMD设备处的传感器可以检测移动，并且可以将传感器事件发送到诸如HMD外围的源计算设备之类的源。所述源可以渲染新的更新，并且可以将该新的更新提供回到HMD。在某些情况下，这些步骤可能需要高达40毫秒。该延迟时间可能与用户感觉到的虚拟现实病相关联。
附图说明
图1是图示了通信地耦合到头戴式显示器（HMD）设备的源计算设备的框图；
图2是图示了包括可视区域和更新缓冲器区域的HMD的图。
图3是图示了从更新缓冲器提供的图像更新的过程流程图；
图4是图示了可以从更新缓冲器提供的图像更新的图；
图5是图示了可以从源计算设备提供的部分更新的第一图；
图6是图示了可以从源计算设备提供的部分更新的第二图；
图7是图示了可以提供用于改变图像数据的选择性更新的图；
图8是图示了用于更新图像数据的方法的框图。
贯穿本公开和附图将相同的标号用于引用相同的部件和特征。100系列中的数字是指最初在图1中找到的特征；200系列中的数字是指最初在图2中找到的特征；以此类推。
具体实施方式
本文公开的主题涉及用于对将要在头戴式显示器（HMD）设备处显示的图像数据进行更新的技术。如上所讨论的，对将要在HDM设备处显示的图像数据的更新可能在虚拟、或增强现实环境中更新落后于HMD设备的移动时引起用户的不适。本文描述的技术包括存储用于将要在HMD设备处显示的环境的当前视图的图像数据。图像数据存储在HMD设备的更新缓冲器处。图像数据包括用于环境的当前视图的图像数据，以及在当前视图外的环境的图像数据。换句话说，更新缓冲器可以本地存储比用于HMD的视口（viewport）的任何给定的当前视图的分辨率更高的分辨率的图像数据。可以从本地更新缓冲器检索要求想HMD设备提供图像更新的移动，从而减少图像更新延迟并改进用户体验。
图1是图示了通信地耦合到头戴式显示器（HMD）设备的源计算设备的框图。除其他之外，计算设备100可以例如是膝上型计算机、台式计算机、超级本、平板计算机、移动设备、服务器或数字视频盘播放器等。在任何情况下，计算设备100可以是被配置为向HMD设备102提供图像数据的视频源。HMD设备102可以是佩戴在用户头部上的设备。HMD设备102可以包括显示器104、更新缓冲器106。计算设备100可以包括被配置为执行所存储的指令的中央处理单元（CPU）108，以及包括非暂时性计算机可读介质的存储设备110，和存储器设备112。
计算设备100还可以包括图形处理单元（GPU）114。如所示，CPU 102可以通过总线116耦合到GPU 114。在实施例中，GPU 114嵌入CPU 102中。GPU 114可以包括高速缓存，并且可以将被配置为在计算设备100内执行任何数量的图形操作。例如，可以将GPU 108配置为渲染或操纵将要经由显示器接口118在HMD设备102处向计算设备100的用户显示的图形图像、图形帧、视频等。
在一些情况下，虚拟现实应用120可以部分地产生将要在HMD设备102处显示的图像。在一些情况下，虚拟现实应用120可以包括增强现实。在任何情况下，可以将虚拟现实应用120配置为向HMD设备102提供针对将要显示的环境的图像数据。将环境的图像数据存储在更新缓冲器106中。可以将显示器104配置为显示视口内的图像，并且当HMD设备102移动时，传感器122可以检测到该移动，并且可以从更新缓冲器106而不是直接从诸如计算设备102之类的源设备检索图像数据。如上所讨论的，从诸如HMD设备102的更新缓冲器106之类的本地缓冲器检索图像数据可以减少与在显示器104处显示图像相关联的延迟时间。
HMD设备102还可以包括更新模块124。更新模块124、传感器122、显示器104和更新缓冲器106可以通过总线126通信地耦合，总线126类似于在下面更详细讨论的计算设备的总线116。更新模块124可以被实施为至少部分地包括硬件逻辑的逻辑。在一些情况下，可以将更新模块124实施为集成电路、微处理器等。可以将更新模块124配置为独立地、并行地、分布式地或作为更广过程的一部分进行操作。
可以将更新模块124配置为基于更新策略从更新缓冲器106提供将要在HMD设备102的显示器110处显示的图像数据。例如，更新策略可以包括以第一优先级提供针对由HMD设备102的移动导致的环境的新的视图的更新，以低于第一优先级的第二优先级提供针对环境的当前视图的更新，以及以低于第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
在一些情况下，可以将更新模块124配置为确定如由传感器122检测到的HMD设备102的移动何时已经发生，并且计算由移动导致的新视图的新位置。可以通过从更新缓冲器106提供图像数据来更新将要在HMD设备102处显示的内容。此外，可以将HMD设备102配置为向计算设备100通知该移动。
可以将更新模块124配置为执行附加操作。例如，如下面更详细地讨论的，可以将更新模块124配置为执行选择性更新、部分更新等。
可以通过总线116将CPU 102链接到显示器接口118，显示器接口118被配置为经由数字显示器接口将计算设备100连接到HMD设备102。CPU 102可以是适于执行所存储的指令的主处理器。CPU 102可以是单核处理器、多核处理器、计算群集或任何数量的其他配置。可以将CPU 102实施为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元（CPU）。
存储器设备112可以包括随机存取存储器（RAM）（例如，静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、零电容器RAM、氧化硅氮氧化硅SONOS、嵌入式DRAM、扩展数据输出RAM、双数据速率（DDR）RAM、电阻随机存取存储器（RRAM）、参数随机存取存储器（PRAM）等）、只读存储器（ROM）（例如，掩模ROM、可编程只读存储器（PROM）、可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）等），闪存或任何其他合适的存储器系统。CPU 108可以通过系统总线116（例如，外围部件互连（PCI），工业标准架构（ISA）、PCI-Express，HyperTransport®，NuBus等）连接到包括存储器112和存储设备110的部件。
更新缓冲器106可以是类似于存储器设备112的存储器设备。例如，更新缓冲器106可以包括随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器或任何其他合适的存储器系统。
图1的框图1并非意图指示计算设备100和HMD设备102将包括图1中所示的所有部件。此外，取决于具体实施的细节，计算设备100和/或HMD设备102可以包括图1中未示出的任何数量的附加部件。
图2是图示了包括可视区域和更新缓冲器区域的HMD的图。如上所讨论的，存储在图1的更新缓冲器106中的图像数据可以包括比通过HMD设备102的视口可视的数据更多的数据。如图2中所图示的，可视区域202指示在诸如HMD设备102的图1的显示器104之类的显示器处可视的区域。相对地，更新缓冲器106可以包括针对当前视图的可视区域202的图像数据以及针对较大区域204的图像数据这两者，使得用户206的移动可以导致将要向HDM设备102提供的图像以减少的延迟显示。在某些情况下，在本文中可以将更新称为“零延迟更新”。更新是当所显示的内容由于用户206的移动、由于内容本身的改变或由于二者的任何组合而发生改变时显示图像内容的操作。
图3是图示了从更新缓冲器提供的图像更新的过程流程图。如在302处指示的，诸如图1的计算设备100之类的计算设备可以是被配置为向HMD设备102提供图像数据的视频源。可以在304处渲染图像数据，并且可以在306处发送分组。如下面关于图5-图7更详细地讨论的，在304处的渲染可以是整个帧，或者可以基于选择性更新、部分更新或其任何组合。
在306处发送的分组可以基于如上面关于图1所讨论的更新策略来发送。更具体地，更新策略可以以第一优先级来发送针对由HMD设备的移动导致环境的新视图的更新。以低于第一优先级的第二优先级，为环境的当前视图提供更新。以低于第二优先级的第三优先级，针对在当前视图外的环境的图像数据的更新。更新策略可以由诸如更新模块124之类的HMD设备102处的模块、由计算设备102处的模块或其任何组合来实施。
如在308处指示的，在HMD设备102处，基于可视区域，或基于正在HMD设备102处显示的当前视图，在诸如图1的更新缓冲器106之类的更新缓冲器处设置图像数据的中心。在310处，基于更新策略向更新缓冲器106提供更新帧。在312处，等待移动，并且在314处，在检测到移动之后计算新的视图的方向和位置。在316处，诸如在图1的显示器104处，在HMD的显示器处更新将要在新视图处显示的内容。如箭头318所指示的，过程可以返回到312等待直到检测到进一步的移动，而在320处，向计算设备100通知移动。
图4是图示了可以从更新缓冲器提供的图像更新的图。如上所讨论的，对诸如图1的HMD 102的显示器104之类的显示器的更新可以从HMD本地的缓冲器来检索，所述缓冲器诸如更新缓冲器106。在图4中，虚线框指示图像数据的视图。在402处，虚线框指示当前视图。框404、406、408、410和412可以是潜在的新的视图，可以从更新缓冲器106显示和检索新的视图，而不需要从诸如图1的计算设备100之类的视频源直接提供更新。
图5是图示了可以从源计算设备提供的部分更新的第一图。在图5中，更新缓冲器106的图像数据502包括当前视图504和潜在的新视图506。当用户转动时，图1的HMD设备102可以检测到移动。向左转可以揭示新视图506的端口。
在一些实施例中，在本文中可以将揭示新视图的一部分称为部分更新。然而，也可以认为部分更新是从诸如计算设备102之类的视频源向图1的更新缓冲器106提供的更新并且如下面关于图6更详细地讨论的那样。
图6是图示了可以从源计算设备提供的部分更新的第二图。在图6中，602指示正在显示的当前视图。在一些情况下，更新缓冲器106可以不包括与整个缓冲器帧606的部分604相关联的图像数据。在这种情况下，不是从诸如图1的计算设备100之类的视频源请求整个缓冲器帧606，而是可以从计算设备100提供包括整个缓冲器帧606的仅部分604的部分更新。在该场景中，通过部分更新针对从计算设备100检索的潜在视图610和612的更新可以减少延迟时间，否则如果从计算设备110检索整个缓冲器帧606则将发生该延迟时间。
图7是图示了可以提供用于改变图像数据的选择性更新的图。在一些情况下，可以从诸如图1的计算设备100的视频源选择性地向HMD 102的更新缓冲器106提供更新。如图7中所图示的，整个缓冲器帧702包括当前视图704以及包括706、708、710和712的其他潜在的新视图。本文描述的技术包括基于图像数据的改变率来选择性地更新整个缓冲器帧702中的图像数据的一部分。
例如，在图7中，与区域714外的图像数据相比，与火车相关联的图像数据可以在区域714内快速改变。在该场景下，相对于针对整个缓冲器帧702的更新，可以针对区域714从计算设备100向更新缓冲器106提供更新。在该场景下，可以针对当前视图704内的图像数据、针对在当前视图704外但是在区域714内的图像数据或其任意组合，可以提供对更新缓冲器106的更新。选择性更新可以由高于预定阈值的改变率触发，并且可以由上面关于图2讨论的更新模块124引导。
在一些情况下，选择性和部分更新可以结合如上文关于图1和图3所讨论的更新策略来工作。例如，在图7中，可以以比针对当前视图704外的区域714提供的更新高的优先级来提供对包括在当前视图704中的区域714的更新。
图8是图示了用于更新图像数据的方法的框图。在802处，方法800包括在头戴式显示器（HMD）设备处显示环境的视图。在804处，方法800包括在HMD设备的更新缓冲器处存储图像数据。图像数据包括针对环境的当前视图的图像数据，以及在当前视图外的环境的图像数据。在某些情况下，方法800可以包括：当发生HMD设备的移动时，显示806当前视图或当前视图外的环境的图像数据。
在一些情况下，方法800可以包括基于更新策略从更新缓冲器提供将要在HMD设备处显示的图像数据。该更新策略可以包括以第一优先级提供针对由HMD的移动所导致的环境的新视图的更新，以及以低于第一优先级的第二优先级提供针对环境的当前视图的更新。更新策略还可以包括以低于第二优先级的第三优先级提供针对当前视图外的环境的图像数据的更新。
在一些情况下，方法800可以包括从HMD设备外部的源计算设备向更新缓冲器提供更新。来自源计算设备的更新可以包括选择性更新、部分更新或其任何组合。
示例可以包括诸如方法、用于执行该方法的动作的装置、包括当由机器执行时致使机器执行该方法的动作的指令的至少一个机器可读介质之类的主题。应当理解，前述示例中的具体内容可以在一个或多个实施例中的任何地方使用。例如，上述计算设备的所有可选特征也可以相对于本文描述的方法或计算机可读介质来实施。此外，尽管本文可能已经使用流程图和/或状态图来描述实施例，但是本技术不限于那些图或本文中的对应描述。例如，流程不需要移动经过每个图示的框或状态，或是按照与本文所图示和描述的完全相同的顺序移动。
示例1包括一种用于更新图像数据的装置。该装置包括用于显示环境视图的头戴式显示器（HMD）设备。该装置还包括HMD设备的更新缓冲器，其中更新缓冲器用于存储图像数据。图像数据包括用于环境的当前视图的图像数据，以及在当前视图外的环境的图像数据。
在示例1中，该装置可以包括下述情况的任何组合。在一些情况下，该装置包括至少部分地包括硬件逻辑的更新模块，其中，更新模块的逻辑基于更新策略从更新缓冲器提供将要在HMD设备处显示的图像数据。更新策略可以包括以第一优先级提供针对由HMD设备的移动导致的环境的新视图的更新，以低于第一优先级的第二优先级提供针对环境的当前视图的更新，以及以低于第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
在一些情况下，该装置包括向更新缓冲器提供更新的源计算设备，源计算设备在HMD设备外部，其中，更新模块将从更新缓冲器提供将要在HMD设备处显示的图像数据，而不是直接从源计算设备提供将要在HMD设备处显示的图像数据。可以将更新模块配置为确定何时已经发生HMD设备的移动、计算由移动导致的新视图的新位置、通过从更新缓冲器提供图像数据来更新将要在HMD设备处显示的内容并且向源计算设备通知该移动。在一些情况下，还将更新模块配置为引导源向缓冲器提供选择性更新，其中，选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新。在一些情况下，还将更新模块配置为引导源向缓冲器提供选择性更新，其中选择性更新包括对当前视图外的环境的图像数据的更新，该图像数据的正高于预定阈值改变。在一些情况下，还将更新模块配置为从更新缓冲器检索部分更新，其中，部分更新包括在HMD设备移动之后，当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。在一些情况下，还将更新模块配置为检索部分更新，其中，部分更新包括当新视图的一部分从更新缓冲器不可用时从源提供的部分。此外，在一些情况下，当前视图的图像数据具有比当前视图外的环境的图像数据低的大小（size）分辨率。
示例2包括用于更新图像数据的方法。该方法包括在头戴式显示器（HMD）设备处显示环境的视图，并且在HMD设备的更新缓冲器处存储图像数据。图像数据包括针对环境的当前视图的图像数据，和在当前视图外的环境的图像数据。
在示例2中，该方法可以包括以下描述的情况的任何组合。在某些情况下，该方法包括基于更新策略从更新缓冲器提供将要在HMD设备处显示的图像数据。更新策略可以包括以第一优先级提供针对由HMD设备的移动导致环境的新视图的更新，以低于第一优先级的第二优先级提供针对环境的当前视图的更新，以及以低于第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
在一些情况下，该方法包括从HMD设备外部的源计算设备向更新缓冲器提供更新。该方法可以包括确定何时已经发生HMD设备的移动、计算由移动导致的新视图的新位置、通过从更新缓冲器提供图像数据来更新将要在HMD设备处显示的内容以及向源计算设备通知移动。在一些情况下，该方法可以包括引导源向缓冲器提供选择性更新，其中，选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新。在一些情况下，该方法可以包括引导源向缓冲器提供选择性更新，其中选择性更新包括对当前视图外的环境的图像数据的更新，该图像数据正高于预定阈值改变。在一些情况下，该方法可以包括从更新缓冲器检索部分更新，其中，部分更新包括在HMD设备移动之后，当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。在一些情况下，方法可以包括检索部分更新，其中，部分更新包括当新视图的一部分从更新缓冲器不可用时从源提供的该部分。此外，在一些情况下，当前视图的图像数据具有比当前视图外的环境的图像数据低的大小分辨率。
示例3包括一种用于更新图像数据的系统。该系统包括用于显示环境的视图的头戴式显示器（HMD）设备。该系统还包括HMD设备的更新缓冲器，其中，更新缓冲器用于存储图像数据。图像数据包括针对环境的当前视图的图像数据和在当前视图外的环境的图像数据。该系统包括至少部分地包括硬件逻辑的更新模块，其中，更新模块的逻辑基于更新策略从更新缓冲器提供将要在HMD设备处显示的图像数据。
在示例3中，系统可以包括以下描述的情况的任何组合。更新策略可以包括以第一优先级提供针对由HMD设备的移动导致的环境的新视图的更新，以低于第一优先级的第二优先级提供针对环境的当前视图的更新，以及以低于第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
在一些情况下，该系统包括向更新缓冲器提供更新的源计算设备，源计算设备在HMD设备外部，其中，更新模块将从更新缓冲器提供将要在HMD设备处显示的图像数据，而不是直接从源计算设备提供将要在HMD设备处显示的图像数据。可以将更新模块配置为确定何时已经发生HMD设备的移动、计算由移动导致的新视图的新位置、通过从更新缓冲器提供图像数据来更新将要在HMD设备处显示的内容并且向源计算设备通知该移动。在一些情况下，还将更新模块配置为引导源向缓冲器提供选择性更新，其中，选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新。在一些情况下，还将更新模块配置为引导源向缓冲器提供选择性更新，其中选择性更新包括对当前视图外的环境的图像数据的更新，该图像数据正高于预定阈值改变。在一些情况下，还将更新模块配置为从更新缓冲器检索部分更新，其中，部分更新包括在HMD设备移动之后，当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。在一些情况下，还将更新模块配置为检索部分更新，其中，部分更新包括当新视图的一部分从更新缓冲器不可用时从源提供的该部分。此外，在一些情况下，当前视图的图像数据具有比当前视图外的环境的图像数据低的大小分辨率。
示例4包括一种用于更新图像数据的方法。该方法包括在头戴式显示器（HMD）设备处显示环境的视图，并且在HMD设备处用于存储图像数据的装置处存储图像数据。图像数据包括针对环境的当前视图的图像数据和在当前视图外的环境的图像数据。
在示例4中，该方法可以包括以下描述的情况的任何组合。在某些情况下，该方法包括基于更新策略从HMD设备处用于存储图像数据的装置提供将要在HMD设备处显示的图像数据。更新策略可以包括以第一优先级提供针对由HMD设备的移动导致的环境的新视图的更新，以低于第一优先级的第二优先级提供针对环境的当前视图的更新，以及以低于第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
在一些情况下，该方法包括从HMD设备外部的源计算设备向在HMD设备处用于存储图像数据的装置提供更新。该方法可以包括确定何时已经发生HMD设备的移动、计算由该移动导致的新视图的新位置、通过从用于在HMD设备处存储图像数据的装置提供图像数据来更新将要在HMD设备处显示的内容，以及向源计算设备通知移动。在一些情况下，该方法可以包括引导源向缓冲器提供选择性更新，其中，选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新。在一些情况下，该方法可以包括引导源向缓冲器提供选择性更新，其中选择性更新包括对当前视图外的环境的图像数据的更新，该图像数据正高于预定阈值改变。在一些情况下，该方法可以包括从HMD设备处用于存储图像数据的装置检索部分更新，其中，部分更新包括在HMD设备移动之后，当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。在一些情况下，方法可以包括检索部分更新，其中，部分更新包括当新视图的一部分从HMD设备处用于存储图像数据的装置不可用时从源提供的该部分。此外，在一些情况下，当前视图的图像数据具有比当前视图外的环境的图像数据低的大小分辨率。
示例5包括一种用于更新图像数据的装置。该装置包括用于显示环境的视图的头戴式显示器（HMD）设备。该装置还包括在HMD设备处用于存储图像数据的装置，其中，在HMD设备处用于存储图像数据的装置用于存储图像数据。图像数据包括针对环境的当前视图的图像数据和在当前视图外的环境的图像数据。
在示例5中，装置可以包括以下所述的情况的任何组合。在一些情况下，该装置包括至少部分地包括硬件逻辑的更新模块，其中，更新模块的逻辑基于更新策略从HMD设备处用于存储图像数据的装置提供将要在HMD设备处显示的图像数据。更新策略可以包括以第一优先级提供针对由HMD设备的移动导致的环境的新视图的更新，以低于第一优先级的第二优先级提供针对环境的当前视图的更新，以及以低于第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
在一些情况下，该装置包括向在HMD设备处用于存储图像数据的装置提供更新的源计算设备，源计算设备在HMD设备外部，其中，更新模块将从在HMD设备处用于存储图像数据的装置提供将要在HMD设备处显示的图像数据，而不是直接从源计算设备提供将要在HMD设备处显示的图像数据。可以将更新模块配置为确定何时已经发生HMD设备的移动、计算由移动导致的新视图的新位置、通过从在HMD设备处用于存储图像数据的装置提供图像数据来更新将要在HMD设备处显示的内容，并且向源计算设备通知该移动。在一些情况下，还将更新模块配置为引导源向缓冲器提供选择性更新，其中，选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新。在一些情况下，还将更新模块配置为引导源向缓冲器提供选择性更新，其中选择性更新包括对当前视图外的环境的图像数据的更新，该图像数据正高于预定阈值改变。在一些情况下，还将更新模块配置为从在HMD设备处用于存储图像数据的装置检索部分更新，其中，部分更新包括在HMD设备移动之后，当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。在一些情况下，还将更新模块配置为检索部分更新，其中，部分更新包括当新视图的一部分从在HMD设备处用于存储图像数据的装置不可用时从源提供的该部分。此外，在一些情况下，当前视图的图像数据具有比当前视图外的环境的图像数据低的大小分辨率。
在上述描述和下面的权利要求中，可使用术语“耦合的”和“连接的”及其衍生词。应当理解，这些术语并不旨在作为彼此的同义词。相反，在特定实施例中，“连接的”可以用于指示两个或更多个元素彼此直接物理或电接触。“耦合的”可以意味着两个或多个元素直接物理或电接触。然而，“耦合的”也可意味着两个或更多个元素并未彼此直接接触，但是仍然彼此协作或彼此交互。
一些实施例可在硬件、固件和软件中的一个或组合中实现。一些实施例还可被实施为存储在机器可读介质上的指令，该指令可由计算平台读取和执行以执行本文所述的操作。机器可读介质可包括用于存储或传输机器可读形式的信息的任何机制，所述机器例如是计算机。例如，机器可读介质可包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备。
实施例是实施或示例。出现在说明书中的对“实施例”、“一个实施例”、“一些实施例”、“各种实施例”或“其他实施例”的引用意味着结合实施例描述的特定特征、结构、或特性被包括在本技术的至少一些实施例中，但不一定在所有的实施例中。“实施例”、“一个实施例”或“一些实施例”的各个出现不一定都指代相同的实施例。来自实施例的元素或方面可与另一个实施例的元素或方面组合。
并非本文中所描述和图示的所有部件、特征、结构、特性等等都需要被包括在特定的一个或多个实施例中。例如，如果说明书陈述“可（may）”、“可能（might）”、“能（can）”、或“能够（could）”包括部件、特征、结构、或特性，则不要求包括该特定的部件、特征、结构、或特性。如果说明书或权利要求书提到“一（a）”或“一个（an）”元素，则这并不意味着仅有元素之一。如果说明书或权利要求书引用“附加的”元素，则不排除有一个以上的附加的元素。
要注意的是，虽然已经参考特定的实施描述了一些实施例，但根据一些实施例，其他的实施也是可能的。另外，附图中所图示的和/或本文中所描述的电路元件或其他特征的布置和/或顺序不需要以所图示和所描述的特定方式来安排。根据某些实施例，很多其他布置也是可能的。
在附图中示出的每个系统中，在一些情况中的元素中的每个可能具有相同的参考标号或不同的参考标号，以表明所表示的元素可能不同和/或相似。然而，元素可能是足够灵活以具有不同的实施，并且与本文所示或所描述的系统中的一些或全部一起工作。附图中所示的各元素可以相同或不同。将哪个称为第一元素以及将哪个称为第二元素是任意的。
本技术不限于本文列出的特定细节。实际上，受益于本公开的本领域技术人员将理解，可以在本技术的范围内做出来自前述描述和附图的许多其他变型。因此，以下权利要求书包括其定义本技术的范围的任何修改。

Claims (25)

1.一种用于更新图像数据的装置，包括：
头戴式显示器设备，用于显示环境的视图；
头戴式显示器设备的更新缓冲器，其中，所述更新缓冲器用于存储图像数据，所述图像数据包括：
用于环境的当前视图的图像数据；和
在当前视图外的环境的图像数据；
至少部分地包括硬件逻辑的更新模块；
用于向所述更新缓冲器提供更新的源计算设备，所述源计算设备在所述头戴式显示器设备外部；
其中，所述更新模块还被配置为引导源计算设备向所述缓冲器提供选择性更新，其中，所述选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新或者对在当前视图外的环境的正高于预定阈值改变的图像数据的更新。
2.根据权利要求1所述的装置，其中，所述更新模块的逻辑基于更新策略从所述更新缓冲器提供将要在所述头戴式显示器设备处显示的图像数据。
3.根据权利要求2所述的装置，其中，所述更新策略包括：
以第一优先级提供针对由所述头戴式显示器设备的移动导致的环境的新视图的更新；
以低于所述第一优先级的第二优先级提供针对环境的当前视图的更新；以及
以低于所述第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
4.根据权利要求2所述的装置，其中，所述更新模块从所述更新缓冲器提供将要在所述头戴式显示器设备处显示的图像数据，而不是直接从所述源计算设备提供将要在所述头戴式显示器设备处显示的图像数据。
5.根据权利要求4所述的装置，其中，所述更新模块还用于：
确定何时已经发生所述头戴式显示器设备的移动；
计算由所述移动导致的新视图的新位置；
通过从所述更新缓冲器提供图像数据来更新将要在所述头戴式显示器设备处显示的内容；和
向所述源计算设备通知所述移动。
6.根据权利要求4-5中的任何一项所述的装置，其中，所述更新模块还被配置为从所述更新缓冲器检索部分更新，其中，所述部分更新包括在所述头戴式显示器设备的移动之后当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。
7.根据权利要求4-5中的任何一项所述的装置，其中，所述更新模块还被配置为检索部分更新，其中，所述部分更新包括当新视图的一部分从所述更新缓冲器不可用时从源计算设备提供的所述部分。
8.根据权利要求1-5中的任何一项所述的装置，其中，当前视图的图像数据具有比在当前视图外的环境的图像数据低的大小分辨率。
9.一种用于更新图像数据的方法，包括：
在头戴式显示器设备处显示环境的视图；
在头戴式显示器设备的更新缓冲器处存储图像数据，所述图像数据包括：
用于环境的当前视图的图像数据；和
在当前视图外的环境的图像数据；
基于更新策略从所述更新缓冲器提供将要在所述头戴式显示器设备处显示的图像数据；
从所述头戴式显示器设备外部的源计算设备向所述更新缓冲器提供更新；
引导所述源计算设备向所述缓冲器提供选择性更新，其中，所述选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新或者对在当前视图外的环境的正高于预定阈值改变的图像数据的更新。
10.根据权利要求9所述的方法，其中，所述更新策略包括：
以第一优先级提供针对由所述头戴式显示器的移动导致的环境的新视图的更新；
以低于所述第一优先级的第二优先级提供针对环境的当前视图的更新；以及
以低于所述第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
11.根据权利要求9所述的方法，还包括：
确定何时已经发生所述头戴式显示器的移动；
计算由所述移动导致的新视图的新位置；
通过从所述更新缓冲器提供图像数据来更新将要在所述头戴式显示器设备处显示的内容；和
向所述源计算设备通知所述移动。
12.根据权利要求11所述的方法，还包括从所述更新缓冲器提供部分更新，其中，所述部分更新包括在所述头戴式显示器的移动之后当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。
13.根据权利要求11所述的方法，还包括从源计算设备检索部分更新，其中，所述部分更新包括当新视图的一部分从所述更新缓冲器不可用时从源计算设备提供的所述部分。
14.根据权利要求9-11中的任何一项所述的方法，其中，当前视图的图像数据具有比在当前视图外的环境的图像数据低的大小分辨率。
15.一种用于更新图像数据的系统，包括：
头戴式显示器设备，用于显示环境的视图；
头戴式显示器设备的更新缓冲器，其中所述更新缓冲器用于存储图像数据，所述图像数据包括：
用于环境的当前视图的图像数据；和
在当前视图外的环境的图像数据；以及
更新模块，其至少部分地包括硬件逻辑，其中，所述更新模块的逻辑基于更新策略从所述更新缓冲器提供将要在头戴式显示器设备处显示的图像数据；
用于向所述更新缓冲器提供更新的源计算设备，所述源计算设备在所述头戴式显示器设备外部，
其中，所述更新模块被配置为引导源计算设备以：
向所述缓冲器提供选择性更新，其中，选择性更新包括：
对当前视图中正高于预定阈值改变的图像数据的更新；
对在当前视图外的环境的正高于预定阈值改变的图像数据的更新；或
其任何组合；以及
提供部分更新，其中部分更新包括：
在所述头戴式显示器设备的移动之后，当前视图的一部分和先前在当前视图外的环境的图像数据的一部分；
当新视图的一部分从所述更新缓冲器不可用时从源计算设备提供的所述部分；或
其任何组合。
16.根据权利要求15所述的系统，其中，所述更新策略包括：
以第一优先级提供针对由所述头戴式显示器设备的移动导致的环境的新视图的更新；
以低于所述第一优先级的第二优先级提供针对环境的当前视图的更新；以及
以低于所述第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
17.根据权利要求15-16中的任何一项所述的系统，其中，所述更新模块从所述更新缓冲器提供将要在所述头戴式显示器设备处显示的图像数据，而不是直接从所述源计算设备提供将要在所述头戴式显示器设备处显示的图像数据。
18.根据权利要求15-16中的任何一项所述的系统，其中，所述更新模块用于：
确定何时已经发生所述头戴式显示器设备的移动；
计算由所述移动导致的新视图的新位置；
通过从所述更新缓冲器提供图像数据来更新将要在所述头戴式显示器设备处显示的内容；和
向源计算设备通知所述移动。
19.一种用于更新图像数据的装置，包括：
用于在头戴式显示器设备处显示环境的视图的装置；
用于在头戴式显示器设备的更新缓冲器处存储图像数据的装置，所述图像数据包括：
用于环境的当前视图的图像数据；和
在当前视图外的环境的图像数据；
用于基于更新策略从所述更新缓冲器提供将要在所述头戴式显示器设备处显示的图像数据的装置；
用于从所述头戴式显示器设备外部的源计算设备向所述更新缓冲器提供更新的装置；
用于引导所述源计算设备向所述缓冲器提供选择性更新的装置，其中，所述选择性更新包括对当前视图中正高于预定阈值改变的图像数据的更新或者对在当前视图外的环境的正高于预定阈值改变的图像数据的更新。
20.根据权利要求19所述的装置，其中，所述更新策略包括：
以第一优先级提供针对由所述头戴式显示器的移动导致的环境的新视图的更新；
以低于所述第一优先级的第二优先级提供针对环境的当前视图的更新；以及
以低于所述第二优先级的第三优先级提供针对在当前视图外的环境的图像数据的更新。
21.根据权利要求19所述的装置，还包括：
用于确定何时已经发生所述头戴式显示器的移动的装置；
用于计算由所述移动导致的新视图的新位置的装置；
用于通过从所述更新缓冲器提供图像数据来更新将要在所述头戴式显示器设备处显示的内容的装置；和
用于向所述源计算设备通知所述移动的装置。
22.根据权利要求21所述的装置，还包括用于从所述更新缓冲器提供部分更新的装置，其中，所述部分更新包括在所述头戴式显示器的移动之后当前视图的一部分和先前在当前视图外的环境的图像数据的一部分。
23.根据权利要求21所述的装置，还包括用于从源计算设备检索部分更新的装置，其中，所述部分更新包括当新视图的一部分从所述更新缓冲器不可用时从源计算设备提供的所述部分。
24.根据权利要求21所述的装置，其中，当前视图的图像数据具有比在当前视图外的环境的图像数据低的大小分辨率。
25.一种具有存储于其上的指令的计算机可读介质，当所述指令被执行时使得计算设备执行根据权利要求9-14中任一项所述的方法。
CN201580062930.2A 2014-12-18 2015-10-05 头戴式显示器更新缓冲器 Active CN107003726B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/575,612 US9542718B2 (en) 2014-12-18 2014-12-18 Head mounted display update buffer
US14/575612 2014-12-18
PCT/US2015/053949 WO2016099630A1 (en) 2014-12-18 2015-10-05 Head mounted display update buffer

Publications (2)

Publication Number Publication Date
CN107003726A CN107003726A (zh) 2017-08-01
CN107003726B true CN107003726B (zh) 2021-02-05

Family

ID=56127226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580062930.2A Active CN107003726B (zh) 2014-12-18 2015-10-05 头戴式显示器更新缓冲器

Country Status (6)

Country Link
US (1) US9542718B2 (zh)
JP (1) JP6787622B2 (zh)
KR (1) KR102488327B1 (zh)
CN (1) CN107003726B (zh)
TW (1) TWI608445B (zh)
WO (1) WO2016099630A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120187B2 (en) * 2016-02-18 2018-11-06 Nvidia Corporation Sub-frame scanout for latency reduction in virtual reality applications
KR102561860B1 (ko) * 2016-10-25 2023-08-02 삼성전자주식회사 전자장치 및 그 제어방법
US10394313B2 (en) 2017-03-15 2019-08-27 Microsoft Technology Licensing, Llc Low latency cross adapter VR presentation
US10713848B2 (en) * 2017-04-06 2020-07-14 Htc Corporation System and method for providing simulated environment
GB201713051D0 (en) * 2017-08-15 2017-09-27 Imagination Tech Ltd Low latency distortion unit for head mounted displays
US20190079288A1 (en) * 2017-09-13 2019-03-14 Htc Corporation Head mounted display system and image display method thereof
WO2019212902A1 (en) * 2018-05-03 2019-11-07 Pcms Holdings, Inc. Systems and methods for physical proximity and/or gesture-based chaining of vr experiences

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) * 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
JP2000029617A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 映像表示装置
CN1725829A (zh) * 2004-07-20 2006-01-25 奥林巴斯株式会社 信息显示系统
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010113669A (ko) * 1999-02-17 2001-12-28 케네쓰 올센 병렬적 샘플-픽셀 연산을 수행하도록 구성된 그래픽 시스템
SE527257C2 (sv) 2004-06-21 2006-01-31 Totalfoersvarets Forskningsins Anordning och metod för att presentera en omvärldsbild
KR20080089803A (ko) 2007-04-02 2008-10-08 이성수 영상데이터 처리방법 및 두부 장착형 디스플레이어
KR101692433B1 (ko) 2010-01-07 2017-01-03 엘지전자 주식회사 영상 서비스 제공 방법, 그리고 이를 수행하는 영상 시스템 및 이동 단말기
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US8992318B2 (en) * 2012-09-26 2015-03-31 Igt Wearable display system and method
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
EP4099136A1 (en) * 2013-02-22 2022-12-07 Sony Group Corporation Head- mounted display and image display device
WO2014152630A1 (en) * 2013-03-14 2014-09-25 Julian Michael Urbach Eye piece for augmented and virtual reality
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) * 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
JP2000029617A (ja) * 1998-07-08 2000-01-28 Olympus Optical Co Ltd 映像表示装置
CN1725829A (zh) * 2004-07-20 2006-01-25 奥林巴斯株式会社 信息显示系统
CN101506868A (zh) * 2006-09-08 2009-08-12 索尼株式会社 显示设备和显示方法
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法

Also Published As

Publication number Publication date
KR20170095823A (ko) 2017-08-23
JP2018502317A (ja) 2018-01-25
US20160180495A1 (en) 2016-06-23
JP6787622B2 (ja) 2020-11-18
CN107003726A (zh) 2017-08-01
TWI608445B (zh) 2017-12-11
WO2016099630A1 (en) 2016-06-23
TW201633252A (zh) 2016-09-16
US9542718B2 (en) 2017-01-10
KR102488327B1 (ko) 2023-01-12

Similar Documents

Publication Publication Date Title
CN107003726B (zh) 头戴式显示器更新缓冲器
JP6328815B2 (ja) スクロールするためのチルティング
US10540744B2 (en) Flexible control in resizing of visual displays
EP3552081B1 (en) Display synchronized image warping
JP6556973B1 (ja) 仮想現実システムにおける動作反映待ち時間およびメモリ帯域幅を低減するためのシステムおよび方法
US10134106B2 (en) Method and device for selective display refresh
US9367641B2 (en) Predictive web page rendering using a scroll vector
US9354701B2 (en) Information processing apparatus and information processing method
KR101954464B1 (ko) 지연 이미지 디코딩
KR20160023866A (ko) 입체 장면들의 인터리빙된 타일형 렌더링
US20190122421A1 (en) Batch rendering method, device, and apparatus
JP7282175B2 (ja) 人工現実システムにおいて平面を識別すること
EP3224762A1 (en) Method and system for displaying recognized text according to a speed reading pattern
JP6738578B2 (ja) フレキシブルディスプレイに結合された電気活性層
EP2779088B1 (en) Techniques for improving rendering efficiency
EP3474224B1 (en) Graphics processing method and device
KR20210110164A (ko) 전자 장치 및 전자 장치에서 깊이 맵의 재-투사 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant