CN109416844A - 图像处理设备及方法 - Google Patents

图像处理设备及方法 Download PDF

Info

Publication number
CN109416844A
CN109416844A CN201780040176.1A CN201780040176A CN109416844A CN 109416844 A CN109416844 A CN 109416844A CN 201780040176 A CN201780040176 A CN 201780040176A CN 109416844 A CN109416844 A CN 109416844A
Authority
CN
China
Prior art keywords
moment
image processing
unit
camera
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780040176.1A
Other languages
English (en)
Inventor
D·蒂盖特
J-F·麦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN109416844A publication Critical patent/CN109416844A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种图像处理设备，其包括：相机，其捕获场景的图像馈入；传感器，其获得表示图像处理设备的定向的传感器数据；第一估计单元，其基于场景的第一捕获图像，估计相机在第一时刻的位置和方向；渲染器，其在第二时刻渲染虚拟对象；第二估计单元，其基于所估计的相机在第一时刻的位置和方向以及在第一和第二时刻获得的传感器数据，估计相机在第二时刻的位置和方向，其中，渲染器基于所估计的相机在第二时刻的位置和方向来渲染虚拟对象；以及显示器，其显示与图像馈入一起登记的所渲染的虚拟对象。

Description

图像处理设备及方法
技术领域
本发明的领域涉及图像处理，更具体地，涉及增强现实和/或虚拟现实应用。特定实施例涉及适于由用户携带的图像处理设备以及用于渲染与图像馈入一起登记的虚拟对象的图像处理方法。
背景技术
用于向用户提供虚拟现实(VR)和/或增强现实(AR)体验的图像处理设备在本领域中是公知的。这种设备通常配备有头戴式显示器(HMD)并且具有内嵌的传感器，其允许根据设备的实际物理动作来改变渲染场景的视点。如此，用户可以通过移动他或她的头部，从而有效地移动虚拟相机来环顾虚拟环境或用虚拟对象增强的真实环境。
在VR设备尤其是在HMD中出现的已知问题是：在基于传感器的输入获取虚拟视点时开始渲染与渲染完成之间存在延迟。在延迟的期间，VR设备可能已经改变了位置和/或定向，这导致渲染图像与VR设备的实际位置和/或定向不对应。
一般通过测量渲染开始与渲染完成之间VR设备的位置和/或定向差来解决该问题，并且通过添加根据延迟改变虚拟相机的视点的快速附加渲染通道来补偿延迟。
发明内容
与VR设备相比，AR设备使用与AR设备一起登记的实时内容，并且在登记实时内容的时刻与渲染开始之间可存在额外的显著延迟。这种延迟的内容更新可能对用户导致诱发恶心效应，因此在现有技术VR设备中不被考虑。
本发明的实施例的目的是提供一种图像处理设备，更具体地提供一种适于由用户携带并且降低对用户导致诱发恶心效应的风险的增强现实设备。本发明的实施例旨在提供一种降低对用户导致诱发恶心效应的风险的图像处理设备(更具体地增强现实设备)和图像处理方法。
根据本发明的第一方面，提供了一种适于由用户携带的图像处理设备，其包括：
-相机单元，其被配置为捕获用户位于其中的环境的场景的图像馈入；
-传感器单元，其被配置为获得传感器数据，传感器数据表示图像处理设备在相机单元捕获图像馈入时的定向；
-第一估计单元，其被配置为至少基于在第一时刻捕获的场景的第一捕获图像，估计相机单元在第一时刻在环境内的位置和方向；
-渲染单元，其被配置为在第一时刻后，在第二时刻渲染虚拟对象；
-第二估计单元，其被配置为至少基于所估计的相机单元在第一时刻的位置和方向以及由传感器单元在第一时刻和第二时刻获得的传感器数据，估计相机单元在第二时刻在环境内的位置和方向，其中，渲染单元被配置为基于所估计的相机单元在第二时刻的位置和方向，在第二时刻渲染虚拟对象；
-显示单元，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。
本发明的实施例尤其基于以下观点：估计相机单元在第二时刻在环境内的位置和方向，并基于所估计的相机单元在第二时刻的位置和方向，在第二时刻渲染虚拟对象，当虚拟对象被渲染时，相机单元在第一时刻的位置和/定向与相机单元在第二时刻的位置和/或定向之间的差异可以被补偿。由于估计相机单元在第二时刻的位置和方向是基于所估计的相机单元在第一时刻的位置和方向以及在第一和第二时刻获得的传感器数据，因此可以快速提供对相机单元在第二时刻的位置和方向的估计。基于在第二时刻捕获的场景的捕获图像来估计相机单元在第二时刻的位置和方向将因为需要必要的图像处理而花费很长时间，并且将导致引入又一个延迟。然而，由传感器单元获得的传感器数据可以更快速地处理，并且与所估计的相机单元在第一时刻的位置和方向相结合可导致快速准确地估计相机单元在第二时刻的位置和方向。如此，当将要渲染虚拟对象时，考虑了相机单元在第一时刻与第二时刻的方向和定向之间的差异，并且显示单元可以显示与所捕获的图像馈入一起登记的所渲染的虚拟对象，其中降低了对图像处理设备的用户导致诱发恶心效应的风险。本领域的技术人员清楚所描述的图像处理设备可用于增强现实和虚拟现实应用两者。
根据实施例，第一估计单元被配置为被配置为至少基于场景在第一时刻的捕获图像，估计相机单元的相机参数，其中，相机参数表示相机单元的焦距、宽高比、分辨率和视场中的至少一项；以及渲染单元被配置为基于所估计的相机参数，在第二时刻渲染虚拟对象。
通过基于在第一时刻的场景的捕获图像来估计相机参数，更多的数据和信息可用于渲染单元，以渲染虚拟对象。诸如焦距、宽高比、分辨率和视场的相机参数有助于在第二时刻更准确地渲染虚拟对象。
根据实施例，图像处理设备包括渲染更新单元，其被配置为在显示所渲染的虚拟对象前，在第三时刻更新所渲染的虚拟对象，其中，更新基于在第三时刻获得的传感器数据。
通常，在第二时刻开始渲染虚拟对象与渲染虚拟对象完成之间存在延迟。通过在第三时刻获得传感器数据，所渲染的虚拟对象可以被相应地更新，以补偿可能在渲染过程中发生的相机单元的定向和/或位置的变化。在增强现实应用中，渲染的开始与完成之间的延迟与当图像被捕获的第一时刻与当渲染单元开始渲染的第二时刻之间的延迟相比通常相对较小，因为在增强现实应用中将要渲染的虚拟对象通常并不很复杂。
根据实施例，渲染单元被配置为将所渲染的虚拟对象输出为2D或2D+Z对象。
与全3D渲染虚拟对象相比，通过将所渲染的虚拟对象限制为2D或2D+Z(具有关联深度2D)可以更快地执行渲染更新或补偿步骤，因为计算要求更低。换句话说，将所渲染的虚拟对象限制为2D或2D+Z可以实现虚拟对象的低延迟渲染。
根据实施例，第一估计单元被配置为基于至少检测在场景中的预定义标记、模板或图案来估计相机单元在环境内的位置和方向。
场景中的预定义标记、模板或图案允许估计单元估计相机单元在环境内的位置和方向，或者换句话说，其使得能够关于虚拟内容应当被如何放置在图像馈入上来进行登记。例如，可以使用标记来执行登记。这些标记被放置在真实世界环境中，以指示虚拟对象应放置的位置。这些标记可以是显式地放置在场景中的预先制作的图案。然而，这些标记也可以是存在于环境中的已有的视觉元素，诸如墙上的海报。本领域的技术人员清楚还可以应用其它公知的执行登记的方式，诸如无标记登记，以确定虚拟对象应当被如何放置在所捕获的图像馈入上。
根据实施例，渲染单元被配置为基于3D模型来渲染虚拟对象，并基于在第一时刻获得的传感器数据与在第二时刻获得的传感器数据之间的差异来缩减3D模型。
替代仅通过更新对相机单元的位置和方向的估计来补偿发生的延迟，可以基于在第一时刻获得的传感器数据与在第二时间获得的传感器数据之间的差异来缩减将要渲染的虚拟对象的3D模型。基于传感器数据中的差异，例如，可以确定戴有AR HMD的用户已将其头部转动一定角度，可以确定3D模型的某些视图或方面不再与该特定情况相关。通过相应地缩减3D模型，可以更快地执行渲染步骤，并且可以基于所缩减的3D模型来优化设备内的其它资源。
根据实施例，渲染单元被配置为基于在第一时刻获得的传感器数据与在第二时刻获得的传感器数据之间的差异，缩减所捕获的图像馈入。所捕获的图像馈入可以通过各种方式来缩减。例如，所捕获的3D图像馈入可被缩减为2D图像馈入，或者可以根据所估计的在每个时间点的活动范围来缩减所捕获的馈入。例如，当以大于显示器的视场来捕获实时馈入时，在接近最终渲染阶段时，可以缩减“多余的”或“过剩的”视场。基于在第一时刻获得的传感器数据与在第二时刻的获得的传感器数据之间的差异，可以估计用户或图像处理设备的可能最大活动范围。基于所估计的活动范围，所捕获的实时馈入中的信息可能对于渲染过程变得多余。通过缩减所捕获的图像馈入，可以更快地执行渲染步骤，并且可以基于所缩减的图像馈入来优化设备内的其它资源。
根据实施例，图像处理设备包括安装装置，其用于安装在用户的身体上，更具体地用于安装在用户的头部。
本领域的技术人员将理解，以上所描述的技术考虑和设备实施例的优点也适用于在下面描述的对应的方法实施例，可根据实际情况作适当变化。
根据本发明的第二方面，提供了一种图像处理方法，更具体地提供一种增强现实方法，用于在用户携带的图像处理设备中具体地在增强现实设备中渲染与相机所捕获的图像馈入一起登记的虚拟对象，该方法包括：
-至少基于在第一时刻捕获的环境的场景的第一捕获图像，估计相机单元在第一时刻在环境内的位置和方向；
-在第一时刻后，在第二时刻渲染虚拟对象；
-至少基于所估计的相机单元在第一时刻的位置和方向，并基于在第一时刻和第二时刻获得的表示图像处理设备的定向的传感器数据，估计相机单元在第二时刻在环境内的位置和方向；
-基于所估计的相机单元在第二时刻的位置和方向，在第二时刻渲染虚拟对象。
根据实施例，图像处理方法包括以下步骤：
-至少基于在第一时刻的场景的捕获图像，估计相机的相机参数，其中，相机参数表示相机的焦距、宽高比、分辨率和视场中的至少一项；以及
-基于所估计的相机参数，在第二时刻渲染虚拟对象。
根据实施例，图像处理方法包括：在显示所渲染的虚拟图像前，在第三时刻更新所渲染的虚拟对象，其中，更新基于在第三时刻获得的传感器数据。
根据实施例，渲染包括将所渲染的虚拟对象输出为2D或2D+Z对象。
根据实施例，估计相机单元在环境内的位置和方向包括：至少检测在场景中的预定义标记、模板或图案。
根据实施例，基于3D模型来渲染虚拟对象，并且图像处理方法包括：基于在第一时刻获得的传感器数据与在第二时刻获得的传感器数据之间的差异，缩减3D模型。
根据实施例，图像处理方法包括：基于在第一时刻获得的传感器数据与在第二时刻获得的传感器数据之间的差异来缩减所捕获的图像馈入。
根据实施例，在图像处理设备被安装在用户的身体上，更具体地被安装在用户的头部时，执行图像处理方法。
根据本发明的另一方面，提供了一种计算机程序，其包括计算机可执行指令，当程序在计算机上运行时，计算机可执行指令执行根据上述任一实施例的任一步骤的方法。
根据本发明的另一方面，提供了一种计算机设备或其它硬件设备，其被编程为执行上述方法的任一实施例的一个或多个步骤。根据另一方面，提供了一种数据存储设备，其采用机器可读和机器可执行的形式编码程序以执行上述方法的任一实施例的一个或多个步骤。
附图说明
附图用于示出本发明的设备的当前优选的非限制性示例性实施例。当结合附图阅读以下详细描述时，本发明的特征和目的的上述和其它优点将变得更加明显，并且本发明将被更好地理解，其中：
图1示意性地示出根据本发明的图像处理设备，更具体地示出增强现实设备的示例性实施例；
图2示意性地示出根据本发明的图像处理设备的另一个实施例；
图3是示出根据本发明的图像处理方法，更具体地示出增强现实方法的示例性实施例的流程图；
图4是示出根据本发明的图像处理方法的另一个实施例的流程图；图5示意性地示出如何将根据本发明的图像处理方法的实施例应用于图像处理设备，更具体地示出应用于可用作增强现实设备或虚拟现实设备的HMD。
具体实施方式
图1示出了适于由用户110携带的图像处理设备100。应广义地解释术语“适于由用户携带”。该设备例如可以是手持式设备，诸如智能电话、平板计算机或手持式游戏控制台，或者该设备可以由用户携带在另一身体部位上，例如该设备可以是头戴式显示器并且可以被戴在用户的头部。图像处理设备100包括相机单元130，其被配置为捕获用户110位于其中的环境120的场景的图像馈入。图像馈入可以包括随后由相机单元130捕获的多个图像。图像馈入被捕获的环境120的场景可以是位于相机单元130的视场内的一部分环境，例如，当图像处理设备是HMD时，场景可以对应于从用户110的视点看到的环境120的一部分。尽管用户110被示出为与环境120分离，但是这仅示出图像处理设备100中的信息和互连的流程，该流程开始于捕获环境120的场景的图像馈入，并且结束于显示单元180显示与所捕获的图像馈入一起登记的所渲染的虚拟对象以供用户110观看。图像处理设备100包括传感器单元150，其被配置为获得传感器数据，传感器数据表示图像处理设备在相机单元130捕获图像馈入时的定向。传感器单元150可包括用于测量或检测图像处理设备的旋转和/或平移的传感器。除了传感器数据以外，还可以获得和/或保存关于捕获图像馈入的相机单元130的元数据，例如当捕获图像馈入时相机单元130的缩放因子。图像处理设备100包括第一估计单元140，其被配置为至少基于在第一时刻捕获的场景的第一捕获图像，估计相机单元130在第一时刻在环境120内的位置和方向。通过估计相机单元130在环境120内的位置和方向，关于虚拟内容应当被如何放置在所捕获的图像馈入上可被登记。例如，当渲染3D内容时，必须精确地估计虚拟相机的位置，以将所渲染的3D内容与相机单元130捕获的真实内容进行组合。在图像处理设备100的优选实施例中，关于虚拟内容应当被如何放置在所捕获的图像馈入上的登记以及相机单元130在环境120内的位置和方向的估计是基于至少检测在场景中的预定义标记、模板或图案。当使用标记时，这些标记将被放置在真实世界环境中，以指示虚拟对象应被放置的位置。这些标记可以是显式地放置在场景中的预先制作的图案。然而，这些标记也可以是存在于环境中的已有的视觉元素，诸如墙上的海报。本领域的技术人员清楚还可以应用其它公知的执行登记的方式，诸如无标记登记，以确定虚拟对象应当被如何放置在所捕获的图像馈入上。
图像处理设备100包括渲染单元170，其被配置为在第一时刻后，在第二时刻渲染虚拟对象。虚拟对象可以基于离线的3D模型。本领域的技术人员清楚渲染单元170可以渲染多个虚拟对象。然而，当渲染单元170在第二时刻开始进行渲染时，通常用户110以及由用户110携带的图像处理设备100在环境120内的位置或定向可能已经发生改变，而渲染单元170基于在第一时刻获得的信息开始进行渲染。这将导致错误和/或延迟的渲染，从而对用户110导致诱发恶心效应。然而，图像处理设备100包括第二估计单元160，第二估计单元160被配置为至少基于所估计的相机单元在第一时刻的位置和方向以及传感器单元150在第一和第二时刻获得的传感器数据，估计相机单元130在第二时刻在环境内的位置和方向，并且渲染单元170被配置为基于所估计的相机单元130在第二时刻的位置和方向，在第二时刻渲染虚拟对象。因为与所捕获的图像相比可以更快地处理由传感器单元150获得的传感器数据，所以该传感器数据结合所估计的相机单元130在第一时刻的位置和方向可以导致快速、准确地估计相机单元在第二时刻的位置和方向。如此，在渲染虚拟对象时，考虑并补偿了相机单元130在第一时刻的方向和定向与相机单元130在第二时刻的方向和定向之间的差异。图像处理设备100包括显示单元180，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。由于对用户110和图像处理设备100的最终移动进行了补偿，因此显示单元180可以显示与所捕获的图像馈入一起登记的所渲染的虚拟对象，其中降低了对图像处理设备100(可以用作增强现实设备或虚拟现实设备)的用户110导致诱发恶心效应的风险。
在图像处理设备100的优选实施例中，第一估计单元140还被配置为至少基于在第一时刻的场景的捕获图像来估计相机单元130的相机参数。相机参数可以表示相机单元130的焦距、宽高比、分辨率和视场中的至少一项。基于这些相机参数，渲染单元170可以提供更准确渲染的虚拟对象。
在图像处理设备100的另一个实施例中，渲染单元170被配置为基于3D模型，更具体地基于可用于渲染单元170的离线3D模型来渲染虚拟对象。渲染单元170被配置为基于在第一时刻获得的传感器数据与在第二时刻获得的传感器数据之间的差异来缩减3D模型。基于传感器数据中的差异，例如可以确定戴有AR HMD 100的用户110已将其头部转动一定角度，可以确定3D模型的某些视图或方面不再与该特定情况相关。通过相应地缩减3D模型，可以更快地执行渲染步骤，并且可以基于所缩减的3D模型来优化设备内的其它资源。
图像处理设备100优选地包括安装装置(未示出)，其用于安装在用户的身体上，更具体地用于安装在用户的头部。图像处理设备例如可以是专用HMD，或者例如被放置在HMD支架中的智能电话或平板计算机。
图2示出了图像处理设备200，其与图1的图像处理设备100的不同之处在于包括渲染更新单元290，渲染更新单元290被配置为在显示所渲染的虚拟对象前，在第三时刻更新所渲染的虚拟对象，其中，更新基于在第三时刻获得的传感器数据。优选地，渲染单元被配置为将所渲染的虚拟对象输出为2D或2D+Z对象。更新步骤或补偿步骤可以在由渲染更新单元290执行的快速附加渲染通道中完成，该快速附加渲染通道根据在渲染单元270的渲染处理期间可能已经发生的用户210和图像处理设备200的位置或定向的变化(或者换句话说，在第二时刻与第三时刻之间已经发生的用户210和图像处理设备200的位置或定向的变化)改变虚拟视点。执行该附加通道的模型可被限制为2D或2D+Z。如此，可以尽快地完成附加通道。通常，由渲染单元270输出的所渲染的虚拟对象与用户210在第二时刻的视点对应。然而，通过基于在第三时刻获得的传感器数据快速更新所渲染的虚拟对象，更新的所渲染的虚拟对象与用户210在第三时刻的视点对应。为了使渲染更新单元290执行低延迟渲染更新，渲染更新单元290的输入是由渲染单元270输出的简化模型，例如优选地为2D图像，可选地具有关联深度(2D+Z)。
图3是用于在由用户携带的图像处理设备中渲染与相机所捕获的图像馈入一起登记的虚拟对象的图像处理方法300的流程图，该方法包括以下步骤：
-步骤310，至少基于在第一时刻捕获的环境的场景的第一捕获图像311，估计相机在第一时刻在环境内的位置和方向；
-步骤330，在第一时刻后，在第二时刻渲染虚拟对象；
-步骤320，至少基于所估计的的相机在第一时刻的位置和方向以及在第一和第二时刻获得的表示图像处理设备的定向的传感器数据321、322，估计相机在第二时刻在环境内的位置和方向；以及
-其中，在第二时刻渲染虚拟对象的步骤330基于所估计的相机在第二时刻的位置和方向。
在图3中的流程图的旁边，示出了时间轴以可视地指示在哪个时刻执行哪些步骤，并且示出了在这些步骤中使用哪些数据以及何时可以获得该数据。
优选地，图像处理方法包括以下步骤：至少基于在第一时刻的场景的捕获图像来估计相机的相机参数，其中，相机参数表示相机的焦距、宽高比、分辨率和视场中的至少一项。除了基于所估计的相机在第二时刻的位置和方向以外，在第二时刻渲染虚拟对象还可以基于所估计的相机参数，其可以提供更准确渲染的虚拟对象。
估计相机单元在环境内的位置和方向的步骤310和320可以包括至少检测场景中的预定义标记、模板或图案。当使用标记时，这些标记将被放置在真实世界环境中，以指示虚拟对象应被放置的位置。这些标记可以是显式地放置在场景中的预先制作的图案。然而，这些标记也可以是存在于环境中的已有的视觉元素，诸如墙上的海报。本领域的技术人员清楚还可以应用其它公知的执行登记的方式，诸如无标记登记，以确定虚拟对象应当被如何放置在所捕获的图像馈入上。
渲染虚拟对象的步骤330优选地基于3D模型，并且方法300可以有利地包括基于在第一时刻获得的传感器数据321与在第二时刻获得的传感器数据322之间的差异来缩减3D模型。除了通过更新对相机单元的位置和方向的估计来补偿发生的延迟以外，还可以基于在第一时刻获得的传感器数据321与在第二时刻获得的传感器数据322之间的差异来缩减将要渲染的虚拟对象的3D模型。基于传感器数据中的差异，例如可以确定戴有AR HMD的用户已将其头部转动一定角度，可以确定3D模型的某些视图或方面不再与该特定情况相关。通过相应地缩减3D模型，可以更快地执行渲染步骤330。在另一个示例性实施例中，还需要渲染所捕获的实时馈入，并且可以根据所估计的在每个时间点的活动范围来缩减所捕获的馈入。例如，当以大于显示器的视场来捕获实时馈入时，在接近最终渲染阶段时，可以缩减“多余的”或“过剩的”视野。
图4示出了图像处理方法400，其与图3的方法的不同之处在于包括在第三时刻更新所渲染的虚拟对象的步骤440。更新440优选地基于在第三时刻获得的传感器数据423。渲染虚拟对象的步骤430优选地包括将所渲染的虚拟对象输出为2D或2D+Z对象。
参考图5，其中示出了可以将相机单元530添加到HMD 500以创建增强现实或虚拟现实体验。相机单元530可以包括用于立体视觉的两个相机531、532，其用于捕获用户前面的图像，然后可以添加虚拟内容571并且可以经由HMD 500向用户显示合并的内容(真实和虚拟)。捕获前两个相机馈入531a、532a以实现立体视觉。可以将传感器数据551或HMD元数据551(诸如关于旋转R、平移T和/或缩放的数据)添加到所捕获的图像馈入531a、532a。用于获得传感器数据551或HMD元数据551的传感器单元未在图5中明确示出，但是本领域的技术人员清楚HMD 500可以配备有这样的传感器单元。图5示出了作为带外信号发送的传感器数据和/或元数据551，但是这仅用于说明的目的。本领域的技术人员清楚传感器数据和/或元数据551可以在带内或带外两者中传送。图像馈入531a、532a的图像被捕获，并且HMD传感器数据551和/或元数据551在第一时刻被获得。
因此，可以通过第一估计单元540来估计两个相机531、532的位置和方向。换句话说，第一估计单元被配置为“登记”虚拟内容571应当被如何放置在由相机531、532捕获的图像馈入531a、532a上。相机531、532相对于环境的实际相机位置可以通过第一估计单元540来恢复或估计。这是需要的因为在渲染3D对象时有利于获知放置虚拟相机的位置，以使所渲染的内容与真实内容正确地组合。执行该登记的一种简单方法是使用所谓的标记。这些标记是被放置在真实世界中以指示希望放置虚拟内容的位置的图案。可以在相机图像中自动识别这些图案，并且可以估计相机位置。这些图案可以预先制作并显式地放置在场景中，然而也可以使用已有的视觉元素，诸如墙上的海报作为标记。本领域的技术人员清楚存在估计相机531、532的位置和方向的替代方式。例如，当HMD 500包括深度传感器时，相机531、532的位置和方向的所谓的登记或估计可以基于几何登记来执行。换句话说，场景可以通过HMD 500在3D中进行映射，并基于该3D信息，可以确定HMD的当前位置和/或方向，从而可以确定相机531、532的当前位置和/或方向。
在由第一估计单元540执行的估计两个相机531、532的位置和方向的步骤或所谓的登记步骤的期间，通常生成两个矩阵：矩阵P和矩阵M，矩阵P表示投影矩阵，其通常传送相机的内部参数(诸如焦距和宽高比)，矩阵M表示模型视图矩阵，其表示相机531、532的平移和旋转。它们是用于渲染3D虚拟对象的矩阵，假如没有其它措施来补偿在第一时刻与第二时刻之间可能已经发生的HMD 500的旋转和/或定向的变化。然而需要指出，这些矩阵P和M仅表示相机531、532在第一时刻的位置和方向或HMD 500在第一时刻的状态。在第一时刻获得的矩阵P和M由参考标号541表示，并且被示为与HMD传感器数据和/或元数据551一起从第一估计单元540到第二估计单元560的数据流。
通常在现有技术方法中，3D模型可基于矩阵[P|M]来渲染，并且渲染可位于所捕获的2D图像的顶部。然而，假设我们在第二时刻启动渲染单元570，此时仅获得HMD传感器数据和/或HMD元数据552(例如关于HMD 500的位置)，并且在渲染单元570在第三时刻完成视点更新之后考虑这些数据。然而，第一时刻与第二时刻之间的延迟通常远大于第二时刻与第三时刻之间的延迟。这是由于渲染用于典型增强现实应用的单个对象相对简单。第一时刻与第三时刻之间的时间可约为80ms，而第二时刻与第三时刻之间的时间通常仅为几毫秒。
为了应对第一时刻与第二时刻之间的时间差以及其间发生的HMD的最终移动，添加了补偿步骤，该步骤修改或更新渲染矩阵P和M 541以反映在第一时刻与第二时刻之间发生的HMD旋转和/或定向的变化。基于在第一时刻获得的传感器数据551、在第二时刻获得的传感器数据552，第二估计单元560可以估计相机531、532在第二时刻的位置和方向。换句话说，基于在第一时刻获得的传感器数据551、在第二时刻获得的传感器数据552，表示相机531、532在第一时间的平移和旋转的矩阵M 541可被更新，以表示相机531、532在第二时刻的平移和旋转。然后，渲染单元570可以使用所更新的矩阵M。
现在将针对仅从HMD 500获得的旋转的示例性情况示出该矩阵补偿或矩阵更新。示意性地，使用用于旋转的公知四元数表示，但是本领域的技术人员清楚可以采用类似的方式使用其它表示。
基本投影可以表示为：x＝P*M*X，其中，x是3D点X的2D投影，M是模型视图矩阵，P是投影矩阵。
使R0为表示HMD 500在第一时刻的旋转的四元数，R1为表示第二时刻的旋转的四元数。则旋转差为：Rdiff＝R2*R11 -1。注意，由于范数为1，逆可以由共轭代替。现在可以构造兼容的矩阵表示Mdiff，M可以左乘Mdiff以得到新的补偿矩阵M'：M'＝Mdiff*M。
该补偿将确保所登记的位置与关于HMD 500的位置和/或旋转的当前HMD状态一致。
在该示例性实施例中，只有矩阵M补偿第一时刻与第二时刻之间的延迟。然而，本领域的技术人员清楚当矩阵P表示可以随时间改变的相机的参数(诸如视场或自动聚焦因子)时，可以使用类似的方法来更新矩阵P。在替代的实施例中，也可用于补偿内容，例如，2D视频流、2D+Z流、3D模型等。在每个补偿步骤使我们更接近实际视点的情况下，潜在的移动随着延迟的降低而减少。在另一个实施例中，例如当存在关于存储器、带宽和/或处理能力方面的约束或限制时，沿着处理路径缩减3D模型信息也是有用的。使用所提出的方法，可以通过评估处理链中每个步骤的潜在延迟和预期移动，以空间感知方式来缩减信息。在这种情况下，补偿步骤不仅修改矩阵而且还缩减3D模型，因为沿着处理路径的潜在移动变小并且因此用于渲染的潜在视点“范围”变小。因此，所提出的方法不仅显著降低了延迟，而且还由于嵌入的知识和补偿提供了优化其它资源的能力。
在图5的示例性实施例中，渲染单元570被配置为将所渲染的虚拟对象571输出为2D+Z对象。然后，更新步骤或补偿步骤在由渲染更新单元590执行的快速附加渲染通道中完成，该快速附加渲染通道根据在渲染单元270的渲染处理期间可能已经发生的用户和HMD500的位置或定向的变化(或者换句话说，在第二时刻与第三时刻之间已经发生的用户和HMD 500的位置或定向变化)改变虚拟视点。执行该附加通道的模型可被限制为2D或2D+Z。如此，可以尽快地完成附加通道。通常，由渲染单元570输出的所渲染的虚拟对象与用户在第二时刻的视点对应。然而，通过基于在第三时刻获得的传感器数据530快速更新所渲染的虚拟对象，更新的所渲染的虚拟对象与用户在第三时刻的视点对应。为了使渲染更新单元590执行低延迟渲染更新，渲染更新单元590的输入是由渲染单元570输出的简化模型，例如优选地为2D图像，可选地具有关联深度(2D+Z)。最后，3D模型的更新渲染可以与相机531、532在第三时刻捕获的图像馈入531b、532b一起登记而显示。
已经描述了图像处理设备和图像处理方法的不同实施例，这些实施例允许在使用相对于HMD的实时捕获信息时显著降低延迟。所描述的实施例可以补偿端到端延迟。实际上，这意味着在用户旋转他或她的头部时大约70ms的延迟被降低到几毫秒的延迟。
本领域的技术人员将容易认识到，各种上述方法的步骤可以由编程计算机来执行。在本文中，一些实施例还旨在涵盖程序存储设备，例如，数字数据存储介质，其是机器或计算机可读的并且编码机器可执行或计算机可执行的指令程序，其中所述指令执行上述方法的部分或全部步骤。程序存储设备例如可以是数字存储器、诸如磁盘和磁带的磁存储介质、硬盘驱动器或光可读数字数据存储介质。这些实施例还旨在涵盖被编程为执行上述方法的所述步骤的计算机。
可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供附图中所示的各种元件的功能，其中包括被标记为“处理器”或“模块”的任何功能块。当通过处理器提供时，这些功能可以通过单个专用处理器、单个共享处理器或多个单独的处理器来提供，其中一些处理器可以共享。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，并且可以隐含地包括但不限于数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)和非易失性存储器。还可以包括其它传统的和/或定制的硬件。类似地，附图中所示的任何开关仅仅是概念性的。它们的功能可以通过程序逻辑的操作，通过专用逻辑，通过程序控制和专用逻辑的交互，或者甚至手动地执行，特定技术可由实施者来选择，如从上下文中更具体地理解的。
本领域的技术人员应当理解，在本文中的任何框图表示体现本发明原理的说明性电路的概念图。类似地，应当理解，任何流程图表、流程图、状态转换图、伪代码等表示各种过程，这些过程基本上在计算机可读介质中体现，并且因此由计算机或处理器执行，无论是否明确地示出这样的计算机或处理器。
虽然在上面结合具体实施例阐述了本发明的原理，但是应当理解，该描述仅仅通过示例的方式给出，而不是作为对所附权利要求所确定的保护范围的限制。
权利要求书(按照条约第19条的修改)
1.一种适于由用户携带的图像处理设备(200)，包括：
-相机单元(230)，其被配置为捕获所述用户位于其中的环境的场景的图像馈入；
-传感器单元(250)，其被配置为获得传感器数据，所述传感器数据表示所述图像处理设备在所述相机单元捕获所述图像馈入时的定向；
-第一估计单元(240)，其被配置为至少基于在第一时刻捕获的所述场景的第一捕获图像，估计所述相机单元在所述第一时刻在所述环境内的位置和方向；
-渲染单元(270)，其被配置为在所述第一时刻后，在第二时刻渲染虚拟对象；
-第二估计单元(260)，其被配置为至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及由所述传感器单元在所述第一时刻和所述第二时刻获得的传感器数据，估计所述相机单元在所述第二时刻在所述环境内的位置和方向，其中，所述渲染单元被配置为基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染所述虚拟对象；
-显示单元(280)，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象；
其特征在于，所述图像处理设备包括渲染更新单元(290)，其被配置为在显示所渲染的虚拟对象前，在第三时刻更新所渲染的虚拟对象，其中，所述更新基于在所述第三时刻获得的传感器数据。
2.根据权利要求1所述的图像处理设备(200)，其中，
-所述第一估计单元(240)被配置为至少基于在所述第一时刻的所述场景的所述捕获图像，估计所述相机单元的相机参数，其中，所述相机参数表示所述相机单元的焦距、宽高比、分辨率和视场中的至少一项；以及
-所述渲染单元(270)被配置为基于所估计的相机参数，在所述第二时刻渲染所述虚拟对象。
3.根据权利要求1所述的图像处理设备(200)，其中，所述渲染单元(270)被配置为将所渲染的虚拟对象输出为2D或2D+Z对象。
4.根据前述任一权利要求所述的图像处理设备(200)，其中，所述第一估计单元(240)被配置为基于至少检测在所述场景中的预定义标记、模板或图案，估计所述相机单元在所述环境内的位置和方向。
5.根据前述权利要求中任一项所述的图像处理设备(200)，其中，所述渲染单元(270)被配置为基于3D模型来渲染所述虚拟对象，并基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异来缩减所述3D模型。
6.根据前述权利要求中任一项所述的图像处理设备(200)，其中，所述渲染单元(270)被配置为基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异，缩减所捕获的图像馈入。
7.根据前述权利要求中任一项所述的图像处理设备(200)，其中，所述图像处理设备(200)包括安装装置，其用于安装在所述用户的身体上，更具体地用于安装在所述用户的头部。
8.一种图像处理方法(400)，用于在用户携带的图像处理设备中渲染与相机所捕获的图像馈入一起登记的虚拟对象，所述方法包括：
-至少基于在第一时刻捕获的环境的场景的第一捕获图像，估计(410)所述相机单元在所述第一时刻在所述环境内的位置和方向；
-在所述第一时刻后，在第二时刻渲染(430)虚拟对象；
-至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及在所述第一时刻和所述第二时刻获得的表示所述图像处理设备的定向的传感器数据，估计(420)所述相机单元在所述第二时刻在所述环境内的位置和方向；
-基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染(430)所述虚拟对象；
其特征在于，在第三时刻更新(440)所渲染的虚拟对象，其中，所述更新基于在所述第三时刻获得的传感器数据。
9.根据权利要求8所述的图像处理方法(400)，包括：
-至少基于在所述第一时刻的所述场景的所述捕获图像，估计所述相机的相机参数，其中，所述相机参数表示所述相机的焦距、宽高比、分辨率和视场中的至少一项；以及
-基于所估计的相机参数，在所述第二时刻渲染所述虚拟对象。
10.根据权利要求8所述的图像处理方法(400)，其中，所述渲染(430)包括将所渲染的虚拟对象输出为2D或2D+Z对象。
11.根据前述权利要求8至10中任一项所述的图像处理方法(400)，其中，估计(410)所述相机单元在所述环境内的位置和方向包括：至少检测在所述场景中的预定义标记、模板或图案。
12.根据前述权利要求8至11中任一项所述的图像处理方法(400)，其中，基于3D模型来渲染所述虚拟对象，并且所述方法包括：基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异，缩减所述3D模型。
13.一种计算机程序产品，包括计算机可执行指令，当所述程序在计算机上运行时，所述计算机可执行指令用于执行权利要求8至12中任一项所述的方法。

Claims (15)

1.一种适于由用户携带的图像处理设备，包括：
-相机单元，其被配置为捕获所述用户位于其中的环境的场景的图像馈入；
-传感器单元，其被配置为获得传感器数据，所述传感器数据表示所述图像处理设备在所述相机单元捕获所述图像馈入时的定向；
-第一估计单元，其被配置为至少基于在第一时刻捕获的所述场景的第一捕获图像，估计所述相机单元在所述第一时刻在所述环境内的位置和方向；
-渲染单元，其被配置为在所述第一时刻后，在第二时刻渲染虚拟对象；
-第二估计单元，其被配置为至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及由所述传感器单元在所述第一时刻和所述第二时刻获得的传感器数据，估计所述相机单元在所述第二时刻在所述环境内的位置和方向，其中，所述渲染单元被配置为基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染所述虚拟对象；以及
-显示单元，其被配置为显示与所捕获的图像馈入一起登记的所渲染的虚拟对象。
2.根据权利要求1所述的图像处理设备，其中，
-所述第一估计单元被配置为至少基于在所述第一时刻的所述场景的所述捕获图像，估计所述相机单元的相机参数，其中，所述相机参数表示所述相机单元的焦距、宽高比、分辨率和视场中的至少一项；以及
-所述渲染单元被配置为基于所估计的相机参数，在所述第二时刻渲染所述虚拟对象。
3.根据权利要求1或2所述的图像处理设备，包括：
-渲染更新单元，其被配置为在显示所渲染的虚拟对象前，在第三时刻更新所渲染的虚拟对象，其中，所述更新基于在所述第三时刻获得的传感器数据。
4.根据权利要求3所述的图像处理设备，其中，所述渲染单元被配置为将所渲染的虚拟对象输出为2D或2D+Z对象。
5.根据前述任一权利要求所述的图像处理设备，其中，所述第一估计单元被配置为基于至少检测在所述场景中的预定义标记、模板或图案，估计所述相机单元在所述环境内的位置和方向。
6.根据前述权利要求中任一项所述的图像处理设备，其中，所述渲染单元被配置为基于3D模型来渲染所述虚拟对象，并基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异来缩减所述3D模型。
7.根据前述权利要求中任一项所述的图像处理设备，其中，所述渲染单元被配置为基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异，缩减所捕获的图像馈入。
8.根据前述权利要求中任一项所述的图像处理设备，其中，所述图像处理设备包括安装装置，其用于安装在所述用户的身体上，更具体地用于安装在所述用户的头部。
9.一种图像处理方法，用于在用户携带的图像处理设备中渲染与相机所捕获的图像馈入一起登记的虚拟对象，所述方法包括：
-至少基于在第一时刻捕获的环境的场景的第一捕获图像，估计所述相机单元在所述第一时刻在所述环境内的位置和方向；
-在所述第一时刻后，在第二时刻渲染虚拟对象；
-至少基于所估计的所述相机单元在所述第一时刻的位置和方向以及在所述第一时刻和所述第二时刻获得的表示所述图像处理设备的定向的传感器数据，估计所述相机单元在所述第二时刻在所述环境内的位置和方向；以及
-基于所估计的所述相机单元在所述第二时刻的位置和方向，在所述第二时刻渲染所述虚拟对象。
10.根据权利要求9所述的图像处理方法，包括：
-至少基于在所述第一时刻的所述场景的所述捕获图像，估计所述相机的相机参数，其中，所述相机参数表示所述相机的焦距、宽高比、分辨率和视场中的至少一项；以及
-基于所估计的相机参数，在所述第二时刻渲染所述虚拟对象。
11.根据权利要求9或10所述的图像处理方法，包括：
-在第三时刻更新所渲染的虚拟对象，其中，所述更新基于在所述第三时刻获得的传感器数据。
12.根据权利要求11所述的图像处理方法，其中，所述渲染包括将所渲染的虚拟对象输出为2D或2D+Z对象。
13.根据前述权利要求9至12中任一项所述的图像处理方法，其中，估计所述相机单元在所述环境内的位置和方向包括：至少检测在所述场景中的预定义标记、模板或图案。
14.根据前述权利要求9至13中任一项所述的图像处理方法，其中，基于3D模型来渲染所述虚拟对象，并且所述方法包括：基于在所述第一时刻获得的传感器数据与在所述第二时刻获得的传感器数据之间的差异，缩减所述3D模型。
15.一种计算机程序产品，包括计算机可执行指令，当所述程序在计算机上运行时，所述计算机可执行指令用于执行权利要求9至14中任一项所述的方法。
CN201780040176.1A 2016-06-30 2017-06-27 图像处理设备及方法 Pending CN109416844A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305805.0A EP3264372A1 (en) 2016-06-30 2016-06-30 Image processing device and method
EP16305805.0 2016-06-30
PCT/EP2017/065793 WO2018002014A1 (en) 2016-06-30 2017-06-27 Image processing device and method

Publications (1)

Publication Number Publication Date
CN109416844A true CN109416844A (zh) 2019-03-01

Family

ID=56411557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780040176.1A Pending CN109416844A (zh) 2016-06-30 2017-06-27 图像处理设备及方法

Country Status (4)

Country Link
US (1) US20190206115A1 (zh)
EP (1) EP3264372A1 (zh)
CN (1) CN109416844A (zh)
WO (1) WO2018002014A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459275A (zh) * 2020-04-01 2020-07-28 长春中国光学科学技术馆 一种基于多模态融合方法的vr/ar模型构建方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
GB201709752D0 (en) * 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
JP7033865B2 (ja) * 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
CN107423445B (zh) * 2017-08-10 2018-10-30 腾讯科技（深圳）有限公司 一种地图数据处理方法、装置及存储介质
CN108537845B (zh) 2018-04-27 2023-01-03 腾讯科技（深圳）有限公司 位姿确定方法、装置及存储介质
CN110599549B (zh) * 2018-04-27 2023-01-10 腾讯科技（深圳）有限公司 界面显示方法、装置及存储介质
CN114072472A (zh) * 2019-07-03 2022-02-18 关西涂料株式会社 汽车用效应涂料
WO2021151380A1 (en) * 2020-01-30 2021-08-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for rendering virtual object based on illumination estimation, method for training neural network, and related products
CN113112431B (zh) * 2021-05-10 2023-08-15 苏州大学 一种嵌入式系统中的图像处理方法
KR20230099898A (ko) * 2021-12-28 2023-07-05 삼성전자주식회사 측위를 위한 센싱 시점을 독립적으로 관리 및 이용하는 방법 및 전자 장치
CN117078975B (zh) * 2023-10-10 2024-01-02 四川易利数字城市科技有限公司 一种基于进化算法的ar时空场景模式匹配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134688A1 (en) * 2008-11-28 2010-06-03 Sony Corporation Image processing system
US20150235432A1 (en) * 2009-04-01 2015-08-20 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
CN105474273A (zh) * 2013-07-25 2016-04-06 微软技术许可有限责任公司 后期重投影

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134688A1 (en) * 2008-11-28 2010-06-03 Sony Corporation Image processing system
US20150235432A1 (en) * 2009-04-01 2015-08-20 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
CN105474273A (zh) * 2013-07-25 2016-04-06 微软技术许可有限责任公司 后期重投影

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459275A (zh) * 2020-04-01 2020-07-28 长春中国光学科学技术馆 一种基于多模态融合方法的vr/ar模型构建方法

Also Published As

Publication number Publication date
US20190206115A1 (en) 2019-07-04
EP3264372A1 (en) 2018-01-03
WO2018002014A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN109416844A (zh) 图像处理设备及方法
CN103582893B (zh) 用于增强现实表示的二维图像获取
CN106355153B (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US9167155B2 (en) Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
JP6793151B2 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
CN109561296A (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
JP2018537758A (ja) Ｉｍｕおよび画像データを使用した合成物体を含む多視点画像データの拡張
EP3281400A1 (en) Automated generation of panning shots
WO2011029209A3 (en) Method and apparatus for generating and processing depth-enhanced images
CN107251101A (zh) 针对使用具有参数的标记的增强现实的场景修改
KR20140108128A (ko) 증강 현실 제공 장치 및 방법
WO2012166135A1 (en) Structured light projection for motion detection in augmented reality
JP5784729B2 (ja) マルチビュー生成のためのレンダリング装置およびその方法
WO2007107214A3 (de) Verfahren und vorrichtung zur korrespondenzbestimmung, vorzugsweise zur dreidimensionalen rekonstruktion einer szene
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
TWI821220B (zh) 影像擷取之設備及方法
US11900552B2 (en) System and method for generating virtual pseudo 3D outputs from images
JP2013520925A (ja) 視差推定を用いる、視差の時間的変動を制限する２眼式立体字幕付け
CN108885339A (zh) 用于使用自适应焦平面渲染虚拟现实的配置
WO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
KR20210087075A (ko) 패스 스루 시각화
JP2007053621A (ja) 画像生成装置
CN116982086A (zh) 先进立体渲染
CN105009172A (zh) 运动模糊感知视觉位姿跟踪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301