CN106547092A - 用于补偿头戴式显示器的移动的方法和设备 - Google Patents

用于补偿头戴式显示器的移动的方法和设备 Download PDF

Info

Publication number
CN106547092A
CN106547092A CN201610835696.9A CN201610835696A CN106547092A CN 106547092 A CN106547092 A CN 106547092A CN 201610835696 A CN201610835696 A CN 201610835696A CN 106547092 A CN106547092 A CN 106547092A
Authority
CN
China
Prior art keywords
image
hmd
movement
error value
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610835696.9A
Other languages
English (en)
Other versions
CN106547092B (zh
Inventor
黄锡重
辛容三
李源宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106547092A publication Critical patent/CN106547092A/zh
Application granted granted Critical
Publication of CN106547092B publication Critical patent/CN106547092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供一种用于补偿头戴式显示器的移动的方法和设备。一种补偿头戴式显示器(HMD)的移动的方法包括：感测HMD的移动；基于感测的移动预测HMD的移动；基于预测的HMD的移动投影并渲染图像；重新感测HMD的移动；基于重新感测的移动重新预测HMD的移动；基于预测的HMD的移动和重新预测的HMD的移动之间的比较确定误差值；基于确定的误差值重新投影并渲染图像。

Description

用于补偿头戴式显示器的移动的方法和设备
本申请要求于2015年9月21日提交到韩国知识产权局的第10-2015-0133087号韩国专利申请的权益，该申请的完整公开为了所有目的通过引用包含于此。
技术领域
本公开涉及用于补偿头戴式显示器(HMD)的移动的方法和设备。
背景技术
头戴式显示器(HMD)是指佩戴在用户头部上的显示3D屏幕、检测头部的移动并在机器人或控制系统中使用检测的移动的设备。将佩戴HMD的用户的移动反映在显示器上的高响应速度很重要。可使用预测HMD的移动并通过使用图像空间转换方法补偿误差的方法来最小化响应时间。然而，图像空间转换方法具有最终渲染结果的质量劣化的缺点。即，如果视点根据HMD的移动而改变，则可新出现对象并且另一对象可从眼睛消失。然而，通过使用图像空间转换方法可能不会反映这种现象。即，当使用图像空间转换方法时，在HMD中可出现位置抖动(对象的位置抖动)，这会干扰用户的注意力。
发明内容
提供本发明内容以按照简化形式介绍以下在具体实施方式中进一步描述的构思的选择。本发明内容不意图识别要求保护的主题的关键特征或本质特征，也不意图用来帮助确定要求保护的主题的范围。
提供用于补偿头戴式显示器(HMD)的移动的方法和设备。
提供存储用于执行所述方法的程序的非暂时性计算机可读记录介质。
一种补偿头戴式显示器(HMD)的移动的方法包括：感测HMD的移动；基于感测的移动预测HMD的移动；基于预测的HMD的移动投影并渲染图像；重新感测HMD的移动；基于重新感测的移动重新预测HMD的移动；基于预测的HMD的移动和重新预测的HMD的移动之间的比较确定误差值；基于确定的误差值重新投影并渲染图像。
所述方法还可包括：对重新投影并渲染的图像执行图像空间转换。
确定的误差值可包括水平误差值，重新投影并渲染的步骤可包括基于确定的误差值在水平方向上重新投影并渲染图像。
确定的误差值可包括垂直误差值，重新投影并渲染的步骤可包括基于确定的误差值在垂直方向上重新投影并渲染图像。
确定的误差值可包括深度误差值，重新投影并渲染的步骤可包括基于确定的误差值在深度方向上重新投影并渲染图像。
确定的误差值可包括水平误差值、垂直误差值和深度误差值中的至少一个，重新投影并渲染的步骤可包括确定基于水平误差值的水平方向重新投影、基于垂直误差值的垂直方向重新投影以及基于深度误差值的深度方向重新投影的顺序，并按照确定的顺序重新投影并渲染图像。
重新投影并渲染的步骤可包括：针对一个视点或两个视点重新投影并渲染图像。
预测的步骤可包括以单眼视点或以双眼视点预测HMD的移动，渲染图像的步骤可包括以单眼视点、以双眼视点之间的视点或者以双眼视点的中间值视点来渲染图像。
渲染图像的步骤可包括对图像进行光栅化和渲染或者对图像进行光线跟踪和渲染。
确定顺序的步骤可包括：响应于水平误差值大于垂直误差值，确定使得在水平方向上重新投影图像然后在垂直方向上重新投影图像的顺序；响应于水平误差值小于垂直误差值，确定使得在垂直方向上重新投影图像然后在水平方向上重新投影图像的顺序。
确定顺序的步骤可包括：基于水平误差值和垂直误差值中的至少一个是否超出阈值来确定顺序。
确定顺序的步骤可包括：针对每个图像区域确定顺序。
所述方法可包括将渲染后的图像输出在HMD上。
一种用于补偿头戴式显示器(HMD)的移动的设备包括：传感器，被配置为感测HMD的移动；处理器，被配置为基于由传感器感测的移动预测HMD的移动，并基于预测的HMD的移动投影并渲染图像。处理器还被配置为：基于重新感测的移动重新预测HMD的移动；通过将预测的HMD的移动与重新预测的HMD的移动进行比较来确定误差值；基于确定的误差值重新投影并渲染图像。
处理器还可被配置为对重新投影并渲染的图像执行图像空间转换。
确定的误差值可包括水平误差值。处理器还可被配置为基于确定的误差值在水平方向上重新投影并渲染图像。
确定的误差值可包括垂直误差值。处理器还可被配置为基于确定的误差值在垂直方向上重新投影并渲染图像。
确定的误差值可包括深度误差值。处理器还可被配置为基于确定的误差值在深度方向上重新投影并渲染图像。
确定的误差值可包括水平误差值、垂直误差值和深度误差值中的至少一个。处理器还可被配置为：确定基于水平误差值的水平方向重新投影、基于垂直误差值的垂直方向重新投影以及基于深度误差值的深度方向重新投影的顺序，并按照确定的顺序重新投影并渲染图像。
处理器还可被配置为针对一个视点或两个视点重新投影并渲染图像。
处理器还可被配置为以单眼视点或以双眼视点预测HMD的移动，并且以单眼视点、以双眼视点之间的视点或者以双眼视点的中间值视点来渲染图像。
处理器还可被配置为对图像进行光栅化和渲染或者对图像进行光线跟踪和渲染。
处理器还可被配置为：响应于水平误差值大于垂直误差值，确定使得在水平方向上重新投影图像然后在垂直方向上重新投影图像的顺序；响应于水平误差值小于垂直误差值，确定使得在垂直方向上重新投影图像然后在水平方向上重新投影图像的顺序。
处理器还可被配置为：基于水平误差值或垂直误差值中的至少一个是否超出阈值来确定顺序。
处理器还可被配置为：针对每个图像区域确定顺序。
所述设备还可包括被配置为将渲染后的图像输出在HMD上的输出器。
一种头戴式显示器(HMD)包括：传感器，被配置为感测HMD的移动；处理器，被配置为基于由传感器感测的移动预测HMD的移动，并基于预测的移动投影并渲染图像。处理器还可被配置为：基于重新感测的移动重新预测HMD的移动；通过将预测的HMD的移动与重新预测的HMD的移动进行比较来确定误差值；基于确定的误差值重新投影并渲染图像。
从以下具体实施方式、附图和权利要求中，其他的特征和方面将是清楚的。
附图说明
图1是根据实施例的用于补偿头戴式显示器(HMD)的移动的设备的框图。
图2是根据实施例的用于补偿HMD的移动的设备的框图。
图3是描述根据实施例的补偿HMD的移动的方法的示图。
图4和图5是描述根据实施例的用于补偿HMD的移动的重新投影的示图。
图6是描述根据实施例的补偿HMD的移动的方法的示图。
图7是描述根据实施例的补偿HMD的移动的方法的示图。
图8是描述根据实施例的补偿HMD的移动的方法的示图。
图9是描述根据实施例的补偿HMD的移动的方法的示图。
图10是描述根据实施例的补偿HMD的移动的方法的流程图。
图11是描述根据实施例的补偿HMD的移动的方法的流程图。
图12是描述根据实施例的补偿HMD的移动的方法的流程图。
贯穿附图和具体实施方式，相同的参考标号表示相同的元件。附图可不按比例绘制，为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。
具体实施方式
提供以下具体实施方式以帮助读者获得在此描述的方法、设备和/或系统的全面理解。然而，在此描述的方法、设备和/或系统的各种改变、修改和等同物对全面理解本说明书的本领域普通技术人员来说将是显而易见的。这里描述的操作的顺序仅为示例，除非必须按照特定次序发生的操作，否则操作的顺序不限于在此阐述的顺序，而可如全面理解本说明书的本领域普通技术人员将清楚的那样改变。此外，为了更加清楚和简明，可省略对完全理解本说明书的本领域普通技术人员来说公知的结构的描述。
在此描述的特征可以以不同的形式被实现，而将不被解释为受在此描述的示例所限制。相反，已经提供在此描述的示例以使本公开将是彻底和完整的，并将向全面理解本说明书的本领域普通技术人员传达本公开。
考虑描述的实施例，已在这里采用通用和广泛使用的术语，并且所述术语可根据全面理解本公开的本领域普通技术人员的意图、先例或新技术的出现而变化。在一些情况下，申请人可任意选择专用术语，在这种情况下，申请人将在实施例的描述中提供所述术语的含义。因此，将理解，除非在这里明确地限定，否则这里使用的术语应被解释为具有与它们在相关领域的语境中的含义一致的含义，而将不被解释为理想化或过于正式的意义。
以下，将参照附图以实施例可被发明构思所属的领域的普通技术人员全面理解本说明书的情况下容易地实施的方式描述实施例。为了描述清楚，省略与实施例无关的一些组件。如这里使用的，术语“和/或”包括一个或多个相关所列项的任意组合和所有组合。
图1是根据实施例的补偿头戴式显示器(HMD)的移动的设备100的框图。
参照图1，用于补偿HMD的移动的设备100可包括传感器110和处理器120。
传感器110可感测HMD的移动。例如，传感器110可包括惯性传感器(诸如加速度计)或运动捕捉硬件(包括可被布置在HMD自身外部的运动捕捉相机)，然而，这些仅为示例，可使用用于感测HMD的移动的任何种类的传感器。处理器120可响应于在HMD上输出图像，使用由传感器110感测的移动来预测HMD的移动。处理器120可使用预测的移动渲染图像。之后，传感器110可再次感测HMD的移动并且处理器120可使用感测的移动响应于在HMD上输出图像来重新预测HMD的移动。处理器120可将预测的HMD的移动与重新预测的HMD的移动进行比较以确定误差值。处理器120可使用确定的误差值来对图像进行重新投影和渲染。对图像进行重新投影是指在2D平面上投影3D几何信息以舍弃一个视点和/或在另一视点的2D平面上对光跟踪结果进行重新投影。
处理器120可对重新投影和渲染的图像执行图像空间转换。图像空间转换方法可包括纹理映射方法。纹理映射是指将2D图案(诸如图像)应用于3D对象表面(包括点、线和平面)以便产生真实的3D图像的方法。即，可通过纹理映射在空间内转换图像。
由处理器120确定的误差值可包括水平误差值、垂直误差值和/或深度误差值。处理器120可使用确定的误差值以在例如水平方向上重新投影并渲染图像。然而，实施例不限于水平渲染。例如，处理器120可使用确定的误差值以在垂直方向上重新投影并渲染图像和/或可使用确定的误差值在深度方向上重新投影并渲染图像。
处理器120可确定使用确定的水平误差值的水平方向重新投影、使用确定的垂直误差值的垂直方向重新投影和/或使用确定的深度误差值的深度方向重新投影的顺序，并可按照确定的重新投影顺序重新投影并渲染图像。处理器120可以以一个视点或以两个视点重新投影并渲染图像。处理器120可以以单眼视点或以双眼视点预测HMD的移动，并且可以以单眼视点、以双眼视点之间的一个视点或者以双眼视点的中间值视点来渲染图像。
处理器120可对图像进行光栅化和渲染和/或可对图像进行光线跟踪和渲染。如果水平误差值大于垂直误差值，则处理器120可确定在水平方向上重新投影图像然后在垂直方向上重新投影图像的重新投影顺序，如果水平误差值小于垂直误差值，则处理器120可确定在垂直方向上重新投影图像然后在水平方向上重新投影图像的重新投影顺序。即，处理器120可根据水平误差值或垂直误差值是否超出阈值来确定重新投影顺序。处理器120可针对图像的每个区域不同地确定投影顺序。处理器120可使用渲染后的图像的深度值在深度方向上重新投影并渲染图像。例如，处理器120可在水平方向上重新投影图像，可在深度方向上重新投影图像，并且可渲染图像。在另一示例中，处理器120可在垂直方向上重新投影图像，在深度方向上重新投影图像，并渲染图像。当渲染后的图像的深度值相对小时，处理器120可在深度方向上重新投影图像并渲染图像。即，位于用户的视点的远处的对象不具有因图像空间转换造成的大的质量劣化，因此当深度值大时，处理器120可不对图像进行重新投影而可仅执行图像空间转换。可针对每个图像部分执行每次确定。例如，当在中心区域的图像的质量重要时，可通过将中心区域与围绕中心区域的所有其他区域分开来执行每次确定。处理器120可考虑图像的质量、图像的复杂度、整个系统的工作信息等来重新投影并渲染图像。
图2是根据实施例的补偿HMD的移动的设备100的框图。
参照图2，用于补偿HMD的移动的设备100可包括传感器110、处理器120和输出器130。
图2的设备100的传感器110和处理器120可具有与图1的设备100的传感器110和处理器120相似的结构和相似的特性，并且可相似于图1的设备100的传感器110和处理器120来描述。为了清楚起见，在以下图2的讨论中省略传感器110和处理器120的描述。
输出器130可在HMD上输出渲染后的图像。输出器130可在与HMD的双眼视点对应的显示器上输出渲染后的图像。
图3是描述补偿HMD的移动的方法的示图。
图3示出用于补偿HMD的移动的设备100的预测的HMD的移动300和重新预测的HMD的移动310的水平误差值320和垂直误差值330。在这方面，处理器120可确定水平误差值320和垂直误差值330。确定的水平误差值320和垂直误差值330可被用于确定重新投影顺序。参照图8和图9提供重新投影顺序的描述。
图4和图5是描述用于补偿HMD的移动的重新投影的示图。
参照图4，在用于渲染的A视点400的2D平面上投影3D几何信息410的结果420可被重新投影为在B视点430的2D平面上的重新投影结果440。这种方法可被用于减少对象根据视点的改变消失和出现的现象，因此可降低诸如位置抖动的质量劣化。与根据每只眼睛的视点分开渲染输出到双眼的图像的方法相比，如果针对一个视点的渲染结果针对另一视点而被重新投影，则可减少使用的处理量。
图5示出当补偿HMD的移动的方法被用于光线跟踪时的重新投影。因此，在用于A视点500的渲染的2D平面上对3D几何信息510进行光线跟踪的结果520可被重新投影为在B视点530的2D平面上的重新投影结果540。
图6是描述根据实施例的补偿HMD的移动的方法的示图。
参照图1，用于补偿HMD的移动的设备100的传感器110可感测HMD的移动。
参照图1和图6，处理器120可响应于在HMD上输出图像，使用感测的移动来确定预测的HMD的移动600。处理器120可使用预测的移动600的中间值610来渲染图像。当在HMD上输出图像时，传感器110可重新感测HMD的移动以重新预测移动。处理器120可通过将预测的HMD的移动600与重新预测的HMD的移动进行比较来确定误差值。例如，误差值可包括水平方向上的水平误差值和垂直方向上的垂直误差值。
可根据水平误差值和垂直误差值确定重新投影顺序。一次可在垂直或水平方向上执行重新投影。在这方面，深度方向可自由地结合到这两种情况。在图6中，水平误差值大于垂直误差值。处理器120可在水平方向上重新投影并渲染图像。在这方面，处理器120可针对两只眼睛对图像执行渲染，以产生渲染结果620。即，在水平方面上可执行两次重新投影。之后，处理器120可对每只眼睛的渲染结果执行图像空间转换，以产生图像空间转换结果630。在这方面，可基于由传感器110感测的数据和/或通过使用基于来自传感器110的信息而确定的误差值来确定转换度。
图7是描述根据实施例的补偿HMD的移动的方法的示图。
参照图1和图7，用于补偿HMD的移动的设备100的传感器110可感测HMD的移动。
与图6相反，在图7中，垂直误差值大于水平误差值。处理器120可在垂直方向上重新投影中间值710并渲染图像。在这方面，处理器120可在垂直方向上从中间值710产生重新投影720，然后在水平方向上对另一只眼睛进行重新投影以产生渲染结果730。可如此执行以在水平方向上实现两只眼睛的投影。即，可通过执行两次重新投影(即，在垂直方向上一次并且在水平方向上一次)来执行渲染。之后，处理器120可对针对两只眼睛的渲染结果720和730执行图像空间转换，以产生图像空间转换结果740。在这方面，可基于由传感器110感测的数据和/或通过使用由传感器110确定的误差值来确定转换度。
图8是描述根据实施例的补偿HMD的移动的方法的示图。
参照图1和图8，用于补偿HMD的移动的设备100的传感器110可感测HMD的移动。
与图6和图7相反，在图8中，垂直误差值和水平误差值大于阈值。处理器120可在垂直方向上重新投影中间值810并渲染图像。在这方面，处理器120可在垂直方向上重新投影中间值810以产生重新投影值820，然后在水平方向上对两只眼睛进行重新投影以产生渲染结果830。即，可通过重新投影(即，在垂直方向上一次并且在水平方向上两次)来执行渲染。之后，处理器120可对针对每只眼睛的渲染结果830执行图像空间转换，以产生图像空间转换结果840。在这方面，可基于由传感器110感测的数据和/或通过使用由传感器110确定的误差值来确定转换度。
图9是描述根据实施例的补偿HMD的移动的方法的示图。
参照图1和图9，用于补偿HMD的移动的设备100的传感器110可感测HMD的移动。
与图6、图7和图8相反，在图9中，垂直误差值和水平误差值大于阈值，并且两只眼睛在垂直位置上的差大于另一阈值。在这方面，处理器120可在水平方向上针对两只眼睛重新投影中间值910以执行渲染并产生渲染结果920。之后，处理器120可通过在垂直方向上对每只眼睛进行重新投影来重新投影渲染结果920，以产生重新投影和渲染结果930。即，可通过执行重新投影(即，在垂直方向上两次并且在水平方向上两次)来执行渲染。最终，处理器120可在垂直方向上对重新投影和渲染结果930执行图像空间转换，以补偿移动并产生图像空间转换结果940。在这方面，可基于由传感器110感测的数据和/或通过使用由传感器110确定的误差值来确定转换度。
图10是描述根据实施例的补偿HMD的移动的方法的流程图。
在操作S1000，可感测HMD的移动。
在操作S1010，可响应于在HMD上输出图像，使用感测的移动来预测HMD的移动。可以以单眼视点或以双眼视点预测HMD的移动。
在操作S1020，可使用预测的移动来渲染图像。可以以单眼视点、双眼视点之间的一个视点或者双眼视点的中间值视点来渲染图像。可对图像进行光栅化和渲染或者可对图像进行光线跟踪和渲染。
在操作S1030，可重新感测HMD的移动。
在操作S1040，可响应于在HMD上输出图像，使用重新感测的移动来重新预测HMD的移动。
在操作S1050，可基于预测的HMD的移动与重新预测的HMD的移动之间的比较来确定误差值。
在操作S1060，可使用确定的误差值来重新投影并渲染图像。确定的误差值可包括水平误差值、垂直误差值和/或深度误差值。可使用确定的水平误差值、垂直误差值和/或深度误差值来确定水平方向重新投影、垂直方向重新投影和深度方向重新投影的顺序。之后，可按照确定的重新投影顺序重新投影并渲染图像。如果水平误差值大于垂直误差值，则可确定使得在水平方向上重新投影图像并且随后在垂直方向上重新投影图像的重新投影顺序，而如果水平误差值小于垂直误差值，则可确定使得在垂直方向上重新投影图像并且随后在水平方向上重新投影图像的重新投影顺序。另外地或可选地，可根据水平误差值和/或垂直误差值是否超出阈值来确定重新投影顺序。可针对每个图像区域不同地确定重新投影顺序。可针对一个视点或两个视点重新投影并渲染图像。可使用渲染后的图像的深度值在深度方向上重新投影并渲染图像。
图11是描述根据实施例的补偿HMD的移动的方法的流程图。
在操作S1100，可感测HMD的移动。
在操作S1110，可响应于在HMD上输出图像，使用感测的移动来预测HMD的移动。可以以单眼视点或以双眼视点预测HMD的移动。
在操作S1120，可使用预测的移动来渲染图像。可以以单眼视点、双眼视点之间的一个视点或者双眼视点的中间值视点来渲染图像。可对图像进行光栅化和渲染或者可对图像进行光线跟踪和渲染。
在操作S1130，可重新感测HMD的移动。
在操作S1140，可响应于在HMD上输出图像，使用重新感测的移动来重新预测HMD的移动。
在操作S1150，可基于预测的HMD的移动与重新预测的HMD的移动之间的比较来确定误差值。
在操作S1160，可使用确定的误差值来重新投影并渲染图像。确定的误差值可包括水平误差值、垂直误差值和/或深度误差值。可确定使用水平误差值的水平方向重新投影、使用垂直误差值的垂直方向重新投影和/或使用深度误差值的深度方向重新投影的顺序。之后，可按照确定的重新投影顺序重新投影并渲染图像。如果水平误差值大于垂直误差值，则可确定使得在水平方向上重新投影图像并且随后在垂直方向上重新投影图像的重新投影顺序，而如果水平误差值小于垂直误差值，则可确定使得在垂直方向上重新投影图像并且随后在水平方向上重新投影图像的重新投影顺序。可根据水平误差值或垂直误差值是否超出阈值来确定重新投影顺序。另外地或可选地，可针对每个图像区域不同地确定重新投影顺序。可针对一个视点或两个视点重新投影并渲染图像。可使用渲染后的图像的深度值在深度方向上重新投影并渲染图像。
在操作S1170，可对重新投影并渲染的图像执行图像空间转换。图像空间转换可包括纹理映射方法。
图12是描述根据实施例的补偿HMD的移动的方法的流程图。
在操作S1200，可感测HMD的移动。
在操作S1210，可响应于在HMD上输出图像，使用感测的移动来预测HMD的移动。可以以单眼视点或以双眼视点预测HMD的移动。
在操作S1220，可使用预测的移动来渲染图像。可以以单眼视点、双眼视点之间的一个视点或者双眼视点的中间值视点来渲染图像。可对图像进行光栅化和渲染或者可对图像进行光线跟踪和渲染。
在操作S1230，可重新感测HMD的移动。
在操作S1240，可响应于在HMD上输出图像，使用重新感测的移动来重新预测HMD的移动。
在操作S1250，可基于预测的HMD的移动与重新预测的HMD的移动之间的比较来确定误差值。
在操作S1260，可使用确定的误差值来重新投影并渲染图像。确定的误差值可包括水平误差值和/或垂直误差值。可确定使用水平误差值的水平方向重新投影和/或使用垂直误差值的垂直方向重新投影的顺序。之后，可按照确定的重新投影顺序重新投影并渲染图像。在这方面，如果水平误差值大于垂直误差值，则可确定使得在水平方向上重新投影图像并且随后在垂直方向上重新投影图像的重新投影顺序，而如果水平误差值小于垂直误差值，则可确定使得在垂直方向上重新投影图像并且随后在水平方向上重新投影图像的重新投影顺序。可根据水平误差值或垂直误差值是否超出阈值来确定重新投影顺序。另外地或可选地，可针对每个图像区域不同地确定重新投影顺序。可针对一个视点或两个视点重新投影并渲染图像。可使用渲染后的图像的深度值在深度方向上重新投影并渲染图像。
在操作S1270，可输出渲染后的图像。可在HMD的每个显示器上将渲染后的图像输出到两只眼睛。
由硬件组件实现执行这里关于图3至图12描述的操作的设备、单元、模块、装置和其他组件。硬件组件的示例包括控制器、传感器、产生器、驱动器和全面理解本说明书的本领域普通技术人员公知的任何其他电子组件。在一个示例中，硬件组件由一个或多个处理器或计算机实现。处理器或计算机由一个或多个处理元件实现，所述处理元件诸如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或全面理解本公开的本领域普通技术人员公知的任何其他装置或装置的组合，所述其他装置或装置的组合能够以限定的方式响应并执行指令以得到期望的结果。在一个示例中，处理器或计算机包括或连接到存储被处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件执行指令或软件(诸如操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行这里关于图3至图12描述的操作。硬件组件还响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为简单起见，可在这里描述的示例的描述中使用单数术语“处理器”或“计算机”，但是在其他示例中，使用多个处理器或计算机，或者一个处理器或计算机包括多个处理元件或多种类型的处理元件，或者应用以上两种形式。在一个示例中，硬件组件包括多个处理器，而在另一示例中，硬件组件包括一个处理器和一个控制器。硬件组件具有不同的处理配置中的任意一个或多个，所述不同处理配置的示例包括单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理、以及多指令多数据(MIMD)多处理。
在图3至图12中示出的执行这里关于图3至图12描述的操作的方法由如上所述的执行指令或软件的处理器或计算机来执行，以执行这里描述的操作。
控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件被写为计算机程序、代码段、指令或它们的任意组合，用于单独或共同指示或配置处理器或者计算机作为机器或专用计算机操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括被处理器或计算机直接执行的机器代码(诸如由编译器产生的机器代码)。在另一示例中，指令或软件包括被处理器或计算机使用解释器执行的高级代码。全面理解本公开的本领域普通技术程序员能够地基于附图中示出的框图和流程图以及说明书中的对应描述来编写指令或软件，这些框图和流程图以及说明书中的对应描述公开了用于执行由硬件组件执行的操作和如上所述的方法的算法。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件、以及任何关联数据、数据文件和数据结构被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中或在一个或更多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及全面理解本公开的本领域普通技术人员公知的任何装置，所述任何装置能够以非暂时性方式存储指令或软件以及任何关联数据、数据文件和数据结构，并能向处理器或计算机提供指令或软件以及任何关联数据、数据文件和数据结构，以使处理器或计算机能执行指令。在一个示例中，指令以及任何关联数据、数据文件和数据结构被分布于联网的计算机系统上，以使指令和软件以及任何关联数据、数据文件和数据结构被处理器或计算机以分布方式存储、访问和执行。
这里示出并描述的特定实施方式是说明性的示例，而不意图以任何方式另外限制本公开的范围。为了简洁起见，电子器件、控制系统、软件开发和系统的其他方面可不被详细描述。此外，在所呈现的各种附图中示出的连接线或连接器意图代表各种元件之间的示例关系和/或物理或逻辑结合。应注意，许多可选的或附加的关系、物理连接或逻辑连接可存在于实际装置中。此外，除非元件被明确描述为“必要的”或“关键的”，否则没有项目或组件对实施例的实践是必要的。
当说明书使用诸如“大于”和“小于”的术语时，根据情况，可设想这些短语可以是相对于被比较的值的绝对值。还可设想“大于”和“小于”可包括被比较的值彼此相等的情况。
在描述实施例的语境(尤其是权利要求的语境)中使用单数术语和类似的指称将被理解为包含单数和复数两者。此外，除非这里另有指示，否则这里引用的数值的范围仅意图用作分别指示落入范围内的每个单独的值的快捷方法，并且每个单独的值被合并到说明书中，如同每个单独的值被各自地引用于此。这里描述的所有方法的步骤可按照任何合适的次序被执行，除非这里另有指示或者明显与语境相矛盾。此外，所描述的一个或多个块和/或交互可被改变、消除、细分或组合；并且，公开的处理可通过例如单独的处理线程、处理器、装置、离散逻辑、电路等被顺序地执行和/或并行地执行。这里提供的示例和这里使用的示例性语言(例如，“诸如”或“例如”)仅意图更好地说明实施例，并且除非另有声明，否则这里提供的示例和这里使用的示例性语言并不对本公开的范围造成限制。从本公开来看，在不脱离本公开的精神和范围的前提下，许多修改和改写对本领域的普通技术人员将是显而易见的。
虽然本公开包括具体示例，但是本领域普通技术人员将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。这里描述的示例被认为仅具有描述性意义，而不用于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果以不同的次序执行描述的技术和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合和/或被其他组件及其等同物替换或补充，则可得到合适的结果。因此，本公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且权利要求及其等同物的范围内的所有变化将被解释为包括在本公开中。

Claims (26)

1.一种补偿头戴式显示器(HMD)的移动的方法，所述方法包括：
感测HMD的移动；
基于感测的移动预测HMD的移动；
基于预测的HMD的移动投影并渲染图像；
重新感测HMD的移动；
基于重新感测的移动重新预测HMD的移动；
基于预测的HMD的移动和重新预测的HMD的移动之间的比较确定误差值；
基于确定的误差值重新投影并渲染图像。
2.如权利要求1所述的方法，还包括：对重新投影并渲染的图像执行图像空间转换。
3.如权利要求1所述的方法，其中，确定的误差值包括水平误差值，
其中，重新投影并渲染的步骤包括基于确定的误差值在水平方向上重新投影并渲染图像。
4.如权利要求1所述的方法，其中，确定的误差值包括垂直误差值，
其中，重新投影并渲染的步骤包括基于确定的误差值在垂直方向上重新投影并渲染图像。
5.如权利要求1所述的方法，其中，确定的误差值包括深度误差值，
重新投影并渲染的步骤包括基于确定的误差值在深度方向上重新投影并渲染图像。
6.如权利要求1所述的方法，其中，确定的误差值包括水平误差值、垂直误差值和深度误差值中的至少一个，
其中，重新投影并渲染的步骤包括：
确定基于水平误差值的水平方向重新投影、基于垂直误差值的垂直方向重新投影以及基于深度误差值的深度方向重新投影的顺序；
按照确定的顺序重新投影并渲染图像。
7.如权利要求1所述的方法，其中，重新投影并渲染的步骤包括：针对一个视点或两个视点重新投影并渲染图像。
8.如权利要求1所述的方法，
其中，预测的步骤包括以单眼视点或以双眼视点预测HMD的移动，
其中，渲染图像的步骤包括以单眼视点、以双眼视点之间的视点或者以双眼视点的中间值视点来渲染图像。
9.如权利要求1所述的方法，其中，渲染图像的步骤包括对图像进行光栅化和渲染或者对图像进行光线跟踪和渲染。
10.如权利要求6所述的方法，其中，确定顺序的步骤包括：
响应于水平误差值大于垂直误差值，确定使得在水平方向上重新投影图像然后在垂直方向上重新投影图像的顺序；
响应于水平误差值小于垂直误差值，确定使得在垂直方向上重新投影图像然后在水平方向上重新投影图像的顺序。
11.如权利要求6所述的方法，其中，确定顺序的步骤包括：基于水平误差值和垂直误差值中的至少一个是否超出阈值来确定顺序。
12.如权利要求6所述的方法，其中，确定顺序的步骤包括：针对每个图像区域确定顺序。
13.如权利要求1所述的方法，还包括：将渲染后的图像输出在HMD上。
14.一种用于补偿头戴式显示器(HMD)的移动的设备，所述设备包括：
传感器，被配置为感测HMD的移动；
处理器，被配置为基于由传感器感测的移动预测HMD的移动，并基于预测的HMD的移动投影并渲染图像，
其中，处理器还被配置为：基于重新感测的HMD的移动重新预测HMD的移动；通过将预测的HMD的移动与重新预测的HMD的移动进行比较来确定误差值；基于确定的误差值重新投影并渲染图像。
15.如权利要求14所述的设备，其中，处理器还被配置为对重新投影并渲染的图像执行图像空间转换。
16.如权利要求14所述的设备，其中，确定的误差值包括水平误差值，
其中，处理器还被配置为基于确定的误差值在水平方向上重新投影并渲染图像。
17.如权利要求14所述的设备，其中，确定的误差值包括垂直误差值，
其中，处理器还被配置为基于确定的误差值在垂直方向上重新投影并渲染图像。
18.如权利要求14所述的设备，其中，确定的误差值包括深度误差值，
其中，处理器还被配置为基于确定的误差值在深度方向上重新投影并渲染图像。
19.如权利要求14所述的设备，其中，确定的误差值包括水平误差值、垂直误差值和深度误差值中的至少一个，
其中，处理器还被配置为：确定基于水平误差值的水平方向重新投影、基于垂直误差值的垂直方向重新投影以及基于深度误差值的深度方向重新投影的顺序，并按照确定的顺序重新投影并渲染图像。
20.如权利要求14所述的设备，其中，处理器还被配置为针对一个视点或两个视点重新投影并渲染图像。
21.如权利要求14所述的设备，
其中，处理器还被配置为以单眼视点或以双眼视点预测HMD的移动，并且以单眼视点、以双眼视点之间的视点或者以双眼视点的中间值视点来渲染图像。
22.如权利要求14所述的设备，其中，处理器还被配置为对图像进行光栅化和渲染或者对图像进行光线跟踪和渲染。
23.如权利要求19所述的设备，其中，处理器还被配置为：响应于水平误差值大于垂直误差值，确定使得在水平方向上重新投影图像然后在垂直方向上重新投影图像的顺序；响应于水平误差值小于垂直误差值，确定使得在垂直方向上重新投影图像然后在水平方向上重新投影图像的顺序。
24.如权利要求19所述的设备，其中，处理器还被配置为：基于水平误差值和垂直误差值中的至少一个是否超出阈值来确定顺序。
25.如权利要求19所述的设备，其中，处理器还被配置为：针对每个图像区域确定顺序。
26.如权利要求14所述的设备，还包括：被配置为将渲染后的图像输出在HMD上的输出器。
CN201610835696.9A 2015-09-21 2016-09-20 用于补偿头戴式显示器的移动的方法和设备 Active CN106547092B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150133087A KR102501752B1 (ko) 2015-09-21 2015-09-21 헤드 마운트 디스플레이의 움직임을 보상하는 방법 및 이를 위한 장치
KR10-2015-0133087 2015-09-21

Publications (2)

Publication Number Publication Date
CN106547092A true CN106547092A (zh) 2017-03-29
CN106547092B CN106547092B (zh) 2020-11-10

Family

ID=57226733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610835696.9A Active CN106547092B (zh) 2015-09-21 2016-09-20 用于补偿头戴式显示器的移动的方法和设备

Country Status (5)

Country Link
US (1) US10217271B2 (zh)
EP (1) EP3144779B1 (zh)
JP (1) JP2017076119A (zh)
KR (1) KR102501752B1 (zh)
CN (1) CN106547092B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574375A (zh) * 2017-04-28 2019-12-13 苹果公司 视频流水线
US11816820B2 (en) 2017-07-21 2023-11-14 Apple Inc. Gaze direction-based adaptive pre-filtering of video data

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10209771B2 (en) * 2016-09-30 2019-02-19 Sony Interactive Entertainment Inc. Predictive RF beamforming for head mounted display
US10585472B2 (en) 2011-08-12 2020-03-10 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10445925B2 (en) * 2016-09-30 2019-10-15 Sony Interactive Entertainment Inc. Using a portable device and a head-mounted display to view a shared virtual reality space
DE102017200325A1 (de) * 2017-01-11 2018-07-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug
WO2018148565A1 (en) * 2017-02-09 2018-08-16 Wove, Inc. Method for managing data, imaging, and information computing in smart devices
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
JP2022516074A (ja) 2018-12-27 2022-02-24 マジック リープ， インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
WO2021077024A1 (en) * 2019-10-18 2021-04-22 Magic Leap, Inc. Gravity estimation and bundle adjustment for visual-inertial odometry
US11417065B2 (en) * 2019-10-29 2022-08-16 Magic Leap, Inc. Methods and systems for reprojection in augmented-reality displays
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems
US11107290B1 (en) 2020-02-27 2021-08-31 Samsung Electronics Company, Ltd. Depth map re-projection on user electronic devices
US11099396B2 (en) 2020-04-10 2021-08-24 Samsung Electronics Company, Ltd. Depth map re-projection based on image and pose changes
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
WO2021243103A1 (en) 2020-05-29 2021-12-02 Magic Leap, Inc. Determining angular acceleration
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
KR102528175B1 (ko) * 2021-05-14 2023-05-04 (주)이머시브캐스트 적응적인 fov 렌더링 방법
GB2614326A (en) * 2021-12-31 2023-07-05 Sony Interactive Entertainment Europe Ltd Apparatus and method for virtual reality

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079485A1 (en) * 2008-09-26 2010-04-01 Microsoft Corporation Compensating for anticipated movement of a device
US20130094779A1 (en) * 2011-10-04 2013-04-18 Texas Instruments Incorporated Method and Apparatus for Prediction Unit Size Dependent Motion Compensation Filtering Order
CN103593044A (zh) * 2012-08-13 2014-02-19 鸿富锦精密工业（深圳）有限公司 电子装置校正系统及方法
CN104076510A (zh) * 2013-03-27 2014-10-01 聚晶半导体股份有限公司 适应性调整头戴式显示器的方法与头戴式显示器
US20140354515A1 (en) * 2013-05-30 2014-12-04 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20150168722A1 (en) * 2013-12-18 2015-06-18 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for controlling position of display in wearable device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3546756B2 (ja) 1999-05-21 2004-07-28 トヨタ自動車株式会社 空間座標入力装置
KR100475247B1 (ko) 2001-12-28 2005-03-10 한국전자통신연구원 증강현실 기술을 이용한 게임 장치 및 방법
KR100795481B1 (ko) 2006-06-26 2008-01-16 광주과학기술원 다시점화상의 처리 방법 및 장치
KR101365329B1 (ko) * 2009-11-23 2014-03-14 제너럴 인스트루먼트 코포레이션 비디오 시퀀스로의 추가 채널로서의 깊이 코딩
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
WO2015116972A1 (en) 2014-01-31 2015-08-06 Kopin Corporation Head-tracking based technique for moving on-screen objects on head mounted displays (hmd)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079485A1 (en) * 2008-09-26 2010-04-01 Microsoft Corporation Compensating for anticipated movement of a device
US20130094779A1 (en) * 2011-10-04 2013-04-18 Texas Instruments Incorporated Method and Apparatus for Prediction Unit Size Dependent Motion Compensation Filtering Order
CN103593044A (zh) * 2012-08-13 2014-02-19 鸿富锦精密工业（深圳）有限公司 电子装置校正系统及方法
CN104603673A (zh) * 2012-09-03 2015-05-06 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
CN104076510A (zh) * 2013-03-27 2014-10-01 聚晶半导体股份有限公司 适应性调整头戴式显示器的方法与头戴式显示器
US20140354515A1 (en) * 2013-05-30 2014-12-04 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US20150168722A1 (en) * 2013-12-18 2015-06-18 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for controlling position of display in wearable device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574375A (zh) * 2017-04-28 2019-12-13 苹果公司 视频流水线
US11727619B2 (en) 2017-04-28 2023-08-15 Apple Inc. Video pipeline
US11816820B2 (en) 2017-07-21 2023-11-14 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US11900578B2 (en) 2017-07-21 2024-02-13 Apple Inc. Gaze direction-based adaptive pre-filtering of video data

Also Published As

Publication number Publication date
US20170084074A1 (en) 2017-03-23
EP3144779B1 (en) 2022-12-28
US10217271B2 (en) 2019-02-26
JP2017076119A (ja) 2017-04-20
CN106547092B (zh) 2020-11-10
EP3144779A1 (en) 2017-03-22
KR102501752B1 (ko) 2023-02-20
KR20170034602A (ko) 2017-03-29

Similar Documents

Publication Publication Date Title
CN106547092A (zh) 用于补偿头戴式显示器的移动的方法和设备
US11557085B2 (en) Neural network processing for multi-object 3D modeling
US10776688B2 (en) Multi-frame video interpolation using optical flow
US11631239B2 (en) Iterative spatio-temporal action detection in video
US10349033B2 (en) Three-dimensional map generating and displaying apparatus and method
RU2762123C2 (ru) Избирательное применение обработки репроекции на подобластях слоя для оптимизации мощности репроекции поздней стадии
CN113196296A (zh) 使用几何上下文检测人群中的对象
US20210055545A1 (en) Pose prediction with recurrent neural networks
CA3080005A1 (en) Meta-learning for multi-task learning for neural networks
US20210271923A1 (en) Detecting objects in video frames using similarity detectors
EP4292053A1 (en) Image capturing in extended reality environments
US10990170B2 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
EP3987443A1 (en) Recurrent multi-task convolutional neural network architecture
CN114463825B (zh) 基于多模态融合的人脸预测方法及相关设备
EP4070177B1 (en) Systems and methods for providing a mixed-reality pass-through experience
US7515156B2 (en) Method and apparatus for parallel speculative rendering of synthetic images
US20210321035A1 (en) Image processing methods and systems
JP2021136012A (ja) 位相差を使用するライブネス検出方法及び装置
KR20200052068A (ko) 눈 추적 방법 및 장치
CN111986273A (zh) 图像处理方法和设备
US20220245834A1 (en) Image processing method and apparatus
CN116263943A (zh) 图像修复方法和设备以及电子装置
CN115035224A (zh) 图像处理和重构图像生成的方法和装置
US9927523B2 (en) Event filtering device and motion recognition device thereof
US20240233319A9 (en) Machine learning model training using synthetic data for under-display camera (udc) image restoration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant