CN107590771A - 具有用于在建模3d空间中投影观看的选项的2d视频 - Google Patents

具有用于在建模3d空间中投影观看的选项的2d视频 Download PDF

Info

Publication number
CN107590771A
CN107590771A CN201710554607.8A CN201710554607A CN107590771A CN 107590771 A CN107590771 A CN 107590771A CN 201710554607 A CN201710554607 A CN 201710554607A CN 107590771 A CN107590771 A CN 107590771A
Authority
CN
China
Prior art keywords
video
space
model data
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710554607.8A
Other languages
English (en)
Other versions
CN107590771B (zh
Inventor
布赖斯·雷德
塞缪尔·克瓦伦
加布里埃尔·多托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107590771A publication Critical patent/CN107590771A/zh
Application granted granted Critical
Publication of CN107590771B publication Critical patent/CN107590771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请涉及具有用于在建模的3D空间中的投影观看的选项的2D视频。多媒体分发系统使得用户能够以常规2D或“平面”观看模式观看2D视频内容，或者如果系统是VR/AR使能的并且用户如此倾向，则可以与2D视频内容相关联地提供或访问建模的3D空间的表示，并且2D视频内容可以被投影到在建模的3D空间内的指定表面上，以供用户观看，就好像2D视频正在建模的3D空间内的那个表面/位置处被显示。此外，可以监视用户的姿态，并相应地更新2D视频内容的投影以匹配用户的当前姿态并且观看到建模的3D空间内。

Description

具有用于在建模3D空间中投影观看的选项的2D视频
技术领域
本公开一般涉及多媒体系统，并且更具体地，涉及虚拟现实和增强现实显示系统。
背景技术
多媒体内容服务器、多媒体光盘播放器和其他多媒体内容源有助于观看在用户的电视、监视器、支持计算的手机、支持计算的手表和其他显示装置上的二维(2D)视频内容。随着消费者级虚拟现实(VR)和增强现实(AR)系统的出现，与VR和AR显示内容相比，这样的2D视频呈现经常缺乏场境(context)或“存在”。然而，在常规的显示系统中，用户仅限于在常规的平面显示模式中观看2D视频内容，或者观看完全无关的VR或AR内容。
发明内容
本发明的一个方面涉及一种在具有头戴显示器的显示系统中的方法，其包括：接收表示二维视频内容的视频数据；接收表示建模的三维空间并表示所述建模的三维空间内的表面的模型数据，所述二维视频内容要被投影在所述表面上；在所述显示系统处确定二维视图模式还是三维视图模式被选择；以及响应于确定所述三维视图模式被选择：确定所述头戴显示器的当前姿态；以及经由所述头戴显示器提供基于所述当前姿态的所述建模的三维空间的视图的显示，其中所述建模的三维空间的所述视图包括基于所述当前姿态的所述二维视频内容到所述表面上的投影。
本发明的另一个方面涉及一种显示系统，其包括：头戴装置；耦合到所述头戴装置的至少一个处理器；和存储组件，所述存储组件耦合到所述至少一个处理器，所述存储组件存储所述至少一个处理器能够访问的一组可执行指令，其中所述一组可执行指令被配置为操纵所述至少一个处理器以：接收表示二维视频内容的视频数据；接收表示建模的三维空间并表示所述建模的三维空间内的表面的模型数据，所述二维视频内容要被投影在所述表面上；确定二维视图模式还是三维视图模式被选择；以及响应于确定所述三维视图模式被选择：确定所述头戴装置的当前姿态；以及向所述头戴装置提供基于所述当前姿态的所述建模的三维空间的视图的显示，其中所述建模的三维空间的所述视图包括基于所述当前姿态的所述二维视频内容到所述表面上的投影。
本发明的另一个方面涉及一种在处理装置中的方法，其包括：确定空间的三维模型；识别所述空间的所述三维模型中的表面，二维视频内容要被投影在所述表面上；以及提供表示所述二维视频内容的视频数据和表示所述空间的所述三维模型的模型数据以用于存储，以便对显示系统的后续访问能够使用。
本发明的再另一个方面涉及一种处理装置，其包括：至少一个处理器；和耦合到所述至少一个处理器的存储组件，所述存储组件存储一组可执行指令，所述一组可执行指令用于操纵所述至少一个处理器以：确定空间的三维模型；识别所述空间的所述三维模型中的表面，二维视频内容要被投影在所述表面上；以及提供表示所述二维视频内容的视频数据和表示所述空间的所述三维模型的模型数据以用于存储，以便对显示系统的后续访问能够使用。
附图说明
通过参考附图，本公开可以被更好地理解，并且使得其许多特征和优点对于本领域技术人员而言是显而易见的。在不同附图中使用相同的附图标记表示相似或相同的项目。
图1是图示出根据一些实施例的多媒体分发系统的框图。
图2是图示出根据一些实施例的将2D视频内容投影到在建模的3D空间中的指定位置的图。
图3是图示出根据一些实施例的为2D视频流提供2D/3D显示选项的多媒体应用的图。
图4是图示出根据一些实施例的响应于在图3的多媒体应用中选择2D显示选项的2D视频流的2D或“平坦”显示的图。
图5是图示出了根据一些实施例的响应于图3的多媒体应用中选择3D显示选项而投影到建模的3D空间的所识别表面内的2D视频流的显示的图。
图6是图示出根据一些实施例的用于与2D视频内容相关联地生成建模的3D空间的表示的装置的处理系统的图。
图7是图示出根据一些实施例的用于生成建模的3D空间的表示并且在该建模空间内为2D视频内容指定投影表面的方法的流程图。
图8是图示出根据一些实施例的用于为具有相关联的建模3D空间的2D视频内容提供2D/3D显示选项的装置的处理系统的图。
图9是图示出根据一些实施例的具有相关联的建模3D空间的2D视频内容的2D/3D可选显示的方法的流程图。
具体实施方式
常规的显示系统将2D视频内容的观看限制为常规的2D或“平面”观看模式，其中在操作系统(OS)或软件应用显示区域的对应窗口或2D区域中显示2D视频内容。相比之下，AR/VR系统允许观看建模的3D空间和其他3D内容，许多这样的系统允许用户通过使用各种传感器跟踪VR/AR设备的姿态(位置和/或定向)来有效地“移动”通过3D空间。如这里更详细地描述的，2D/3D多媒体分发系统使得用户能够以常规2D或“平面”观看模式观看2D视频内容，或者如果系统是VR/AR使能的并且用户如此倾向，则可以与2D视频内容相关联地提供或访问建模的3D空间的表示，并且可以将2D视频内容投影到建模的3D空间内的指定表面上，以供用户观看，就像2D视频正在显示在建模的3D空间内的该表面处，或者以其他方式从建模的3D空间内的该表面被投影。此外，在一些实施例中，可以监视用户的姿态，并且相应地更新2D视频内容的投影以匹配用户的当前姿态并且观看到建模的3D空间中。
为了通过非限制性示例的方式来说明，定期上传播放各种视频游戏的用户的2D视频剪辑的YouTube(TM)用户可以对用户的游戏室进行建模，并且与一个或多个2D视频剪辑相关联地上传所生成的游戏室的3D模型的表示。然后，2D视频剪辑可以经由YouTube(TM)服务作为流式视频文件流式传输到其他用户。根据其相应计算系统的VR/AR能力，这些其他用户可以选择在web浏览器中以常规的平面2D显示模式观看2D视频剪辑中的一个，或者通过头戴显示器(HMD)或其他VR显示器观看2D视频剪辑之一，使得2D视频剪辑被投影到与游戏室的3D模型中的计算机监视器相对应的表面上，并且因此看起来像2D视频剪辑正在被显示在在游戏室的3D模型中的计算机监视器“处”。如果用户经由VR显示器具有3自由度(3DoF)或6自由度(6DoF)能力，则用户可以改变位置和/或改变定向，从而改变计算机监视器的视角和看起来显示在其上的2D视频内容。
图1图示出了根据本公开的至少一个实施例的2D/3D多媒体分发系统100。在所描述的示例中，系统100包括经由一个或多个有线或无线网络108连接到多个用户计算系统(诸如，用户计算系统104、106)的多媒体服务器102。用户计算系统104、106可以包括用于捕获和/或呈现多媒体内容的各种设备或设备的组合的任何，诸如桌面型计算机、笔记本计算机、平板计算机、计算使能的移动电话、个人数字助理、游戏控制台、计算使能的电视、计算使能的手表和其他可穿戴设备、以及HMD或其他AR/VR显示装置等。
对于以下，用户计算系统104被用作视频内容的源和虚拟或现实世界空间的3D模型的源，因此在本文中被称为内容源系统104，而用户计算系统106用于以2D视图模式或3D视图模式向用户呈现2D视频内容，因此在本文中被称为2D/3D显示系统106。2D/3D显示系统106包括2D显示装置110，用于以2D/平面显示模式显示2D视频内容，其中在2D显示装置110的显示面板或监视器上将2D视频内容显示为2D矩形窗口。这种装置的示例包括桌面/笔记本计算机、计算使能的蜂窝电话、平板计算机等。此外，在一些情况下，2D/3D显示系统106还可以包括能够显示3D视频内容的VR/AR显示装置112。VR/AR显示装置112可以包括例如分立的专用HMD，或者可以通过以特定方式配置2D显示装置110来实现(诸如其中计算使能的蜂窝电话被插入纸板头饰以形成HMD的Google Cardboard VR视图)。在这种情况下，2D/3D显示系统106能够在2D视频内容被显示在2D窗口中的2D视图模式中，或者在经由VR/AR显示装置112呈现建模的3D空间的3D视图模式中操作，，并且如下面更详细描述的那样，2D视频内容被投影到建模的3D空间的指定表面上。注意，在一些情况下，装置110、112可以包括相同的装置。
在操作中，内容源系统104生成或以其他方式获得表示2D视频内容的2D视频数据114，并将2D视频数据114提供给多媒体服务器102以供存储并随后分发给其他用户。2D视频数据114可以包括例如由内容源系统104的用户记录的视频剪辑或其他视频流(该用户在此被称为“内容提供者”)。此外，内容提供者操纵内容源系统104以生成或以其他方式获得可以用作2D视频内容的3D显示的设置的虚拟空间或现实世界空间的3D模型，并且向多媒体服务器102提供这种3D模型的表示作为3D模型元数据116，以分发给2D视频数据114的接收者。3D模型元数据116可以被并入作为2D视频数据114的一部分。为了说明，2D视频数据114可以实现为H.264视频数据，并且3D模型元数据116可以使用各种元数据注入技术中的任一种作为元数据并入H.264数据。作为另一种方法，3D模型元数据116可以使用用于在像素信息中嵌入数据的各种隐写工具中的任何工具来编码到视频内容本身的像素中。替选地，3D模型元数据116可以与2D视频数据114分立提供但与2D视频数据114相关联。为了说明，2D视频数据114可以包括或引用标识3D模型元数据116的标识符(ID)。这个ID可以包括例如包含2D视频数据114的文件或其他数据容器的名称。作为另一示例，ID可以以与3D模型元数据116的存储位置相关联的远程存储位置ID(诸如超文本传输协议(HTTP)链接)的形式提供。
可以以各种方式中的任何方式生成所识别的VR空间或现实世界空间的3D模型。在一些实施例中，内容源系统104具有用于捕获现实世界房间或其他现实世界空间的图像和/或深度信息并且使用该信息来生成现实世界空间的VR模型的设施。为了说明，内容源系统104可以被实现为或采用Google Project Tango使能的平板电脑或手机来映射出具有现实几何的一个或多个房间，并将该数据与所捕获的图像数据组合以生成一个或多个房间的纹理3D模型。在其他实施例中，3D模型可以是使用计算机辅助设计(CAD)工具或其他VR建模工具创建的完全VR空间。
使用如此确定的3D模型，内容提供者进一步操作内容源系统104以识别在建模的空间内的表面，在该表面上可以有效地“投影”2D视频内容，以便显现为在建模的空间内的那个表面上正在“显示”的2D视频。该表面在本文中被称为“投影表面”。在一些实施例中，投影表面可以包括例如矩形平面表面，其中矩形表面的四个角由3D模型的参考坐标系中的四个对应的3D坐标点标识。在其他实施例中，表面可以采用具有由对应的3D坐标点限定的角和/或边的其他平面形状。在其他实施例中，投影表面可以具有非平面形状，例如弯曲表面或刻面，在这种情况下，可以使用几何网格(mesh)或其他表示来识别投影表面。
为了说明，表面可以被指定为3D网格空间中的点，3D网格空间表示环境以及指示投影表面应朝向的方向的法向量以及在该网格空间内的最大宽度/高度指示符(例如，以米为单位)。在这些之间，可以以任意的弯曲量渲染矩形2D视频，并以任意的宽高比工作。替选地，内容提供者可以提供他们的视频应该被渲染到其上的2D网格和纹理坐标，其位于与环境网格相同的空间中。通常需要根据当前视频的宽高比来改变这个网格，以避免信箱化。这将使得内容提供者能够通过将视频纹理细分为不同的区域并且然后提供视频将在其上渲染的潜在的不相交的网格来利用静态网格创建伪6DoF视频。以这种方式，启用简单的设置，其中内容提供者可以通过使用网格简单地在具有分立内容在空间中渲染两个视频屏幕，该网格将两个四边形放入环境中，并提供纹理坐标，使得每个四边形获得不同的一半视频，有效地允许两个视频表面。这也可以用任意网格实现；例如，在一种环境中，可以包括坐在作为环境的一部分的具有静态纹理的沙发上的个人，但是在此之上，内容提供者可以将视频纹理的一部分放置在面部上(具有可能符合该面部的网格)，以便面部可以与视频进行反应。
利用如此识别的投影表面，内容源系统104将投影表面的表示并入到3D模型元数据116中作为投影位置信息118。根据投影表面的特性，投影位置信息118可以包括例如，投影表面的点或角的表示、表示投影表面的几何网格的表示、或如上所述的3D点和向量等。
利用上传到多媒体服务器102的2D视频数据114和3D模型元数据116，其他用户然后能够访问2D视频数据114，以在他们相应的显示系统106处显示。因此，当用户选择由2D视频数据114表示的2D视频内容以用于回放(例如，通过点击在显示系统106处显示的web浏览器中正在观看的超文本标记语言(HTML)页面中的相关HTTP链接)时，多媒体服务器102启动2D视频数据114传送给显示系统106。除了常规2D显示选项之外，2D视频数据114还可以包括2D视频数据114具有3D显示选项的指示符。例如，用于2D视频数据114的容器的标题或其他字段可以包括表示该选项的可用性的值。响应于识别2D视频数据114的3D视图模式可用性，显示系统106诸如通过确定显示系统106是否包括VR/AR显示装置112来确定其是否具有显示3D内容的能力。如果存在3D显示能力，则显示系统106可以向用户提供以常规2D视图模式观看2D视频数据114的2D视频内容的选项，于是2D视频内容在2D矩形窗口或框中或者在3D视图模式中被显示，因此使用VR/AR显示装置112将用户浸入由3D模型元数据116表示的建模的3D空间中，并且将2D视频内容投影到由投影位置信息118指定的建模的3D空间内的投影表面中。在此更详细地描述这些显示模式。
图2图示出了根据一些实施例的具有指定投影表面的建模3D空间的示例。内容提供者(即，内容源系统104的用户)或者通过捕获现实世界空间的图像和深度信息以及其中包含的几何的“虚拟化”，或者通过从头开始设计虚拟空间来生成空间的3D模型202。在所描绘的示例中，建模空间是用户的客厅，其包含电视机204的建模表示。内容提供者还将电视机204的显示表面指定为投影表面206，用于将2D视频内容投影到由3D模型202表示的建模的3D空间。投影表面206可以通过例如下述方式在3D模型202内被识别：指定由投影表面206表示的矩形平面表面的四个角211、212、213、214的、在3D模型202的坐标系内的3D坐标。。
内容提供者还指定用于以常规平面2D视图模式显示或用于在3D视图模式下投影到投影表面206上的2D视频流216。2D视频流216包括诸如所图示的2D画面217、218、219的2D画面序列。因此，如这里更详细地描述的，当内容消费者(即，2D/3D显示系统106的用户)从多媒体服务器102(图1)访问2D视频数据114和3D模型元数据116并选择3D视图模式时，经由VR/AR显示装置112向内容消费者显示3D模型202的3D表示220，其中，如果VR/AR显示装置112被启用用于姿态跟踪，则3D模型202的透视图可以基于VR/AR显示装置112的当前姿态。为了在3D表示220内提供2D视频流的投影3D视图，2D/3D显示系统106使用各种坐标系统变换算法中的任何算法将2D视频流216的每个画面从2D坐标系转换成3D模型的坐标系中的对应纹理222，并且所得到的纹理222在提供3D表示220的显示中被并入显示在VR/AR显示装置112处的一个或多个画面224的投影表面206中。
如上所述，内容消费者(即，系统106的用户)可能没有设备或不希望观看投影到3D空间中的2D视频内容，并且因此可以向内容消费者提供在2D视频内容的2D视图模式或3D视图模式之间进行选择的能力。图3图示出了向内容消费者提供该选项来选择显示模式的示例方法，图4图示出了当如此选择时的2D视图模式的示例方法，并且图5图示出了当如此选择时的3D视图模式的示例方法。如图3所示，内容消费者可以初始地访问或以其他方式指示通过对在2D/3D显示系统106处的软件应用300的图形用户界面(GUI)的输入或其他操纵来观看流式视频文件或其他视频流的愿望。在所图示示例中，软件应用300包括已访问诸如YouTube(TM)网站(例如由多媒体服务器102提供)的视频共享网站的web浏览器。内容消费者经由web浏览器选择3D显示使能的视频剪辑。作为响应，呈现2D显示窗口302连同识别对该视频剪辑可用的视图模式(即2D视图模式和3D视图模式)的视图选择字段304(在该示例中描绘为下拉菜单)。在2D/3D显示系统106不能提供3D显示的情况下，或者在所选剪辑不是3D显示使能的情况下，视图选择字段304可以不将3D视图模式描述为选项，或者可以防止3D视图模式选项的选择。然后，内容消费者可以操纵视图选择字段304，以选择在平面2D呈现中显示2D视频剪辑，还是经由将2D视频内容投影到与视频剪辑相关联的建模3D空间的投影表面上来显示2D视频剪辑。
如图4所示，当内容消费者通过在表示视图选择字段304的下拉菜单中选择“2D”来选出以2D视图模式观看2D视频剪辑时，软件应用300(作为web浏览器)访问2D视频数据114，并且提供其中所呈现的2D视频内容402，用于按照常规2D视频显示技术在2D/3D显示系统106的显示面板404处在软件应用300的2D显示窗口302中显示。相反，如图5所示，当内容消费者通过在表示视图选择字段304的下拉菜单中选择“3D”来选出以3D视图模式观看2D视频剪辑时，软件应用300启用3D视图模式，其中软件应用300访问与视频剪辑相关联的3D模型元数据116，并且相同的软件应用300或另一软件应用随后在VR/AR显示装置112处提供由3D模型元数据116表示的建模的3D空间的3D显示(例如，作为如图5所示的立体图像的平行流)。如上所述，该3D显示过程包括将2D视频剪辑的每个画面变换成两个对应的表面(一个用于左眼图像，一个用于右眼图像)，以便并入立体图像的平行流中，使得该画面似乎显示在为建模的3D空间指定的投影平面处或从其投影。
图6图示出了根据一些实施例的图1的多媒体分发系统100的内容源系统104的示例实施方式。在所描绘的示例中，内容源系统104包括至少一个处理器602、数据存储604、系统存储器606或其他软件存储组件以及到网络108(图1)的网络接口608。此外，在一些实施例中，内容源系统104提供光流、同步定位与地图构建(SLAM)、或其他基于图像捕获的遥测功能，并且因此可以包括以下的一组：成像相机610、612、深度传感器614、惯性测量单元(IMU)616、和用于控制组件610-616的传感器中心618。例如，IMU 616可以包括以下中的一个或多个：陀螺仪620、磁力计622、和加速度计624等。
系统存储器606存储包括由至少一个处理器602访问和执行的可执行指令的软件应用626(图3的软件应用300的一个实施例)，并且当这样执行时，操纵处理器602与其他组件一起提供本文关于内容源系统104描述的各种功能。为此，软件应用626被布置为一组模块，包括3D建模模块628和视频投影布局模块630。
图7图示出了根据一些实施例的图6所描绘的内容源系统104的实施方式的操作的示例方法700，用于生成和提供2D视频数据114和3D模型元数据116以分发给其他系统。方法700以使得对2D或3D显示可用的2D视频内容的识别、生成或其他确定来在框702处启动。在一些实施例中，2D视频内容的确定可以包括对先前生成的2D视频内容的选择。例如，内容提供者可以从存储在数据存储604中的用于如本文所述的2D/3D处理的2D视频剪辑的数据库中选择2D视频剪辑。在其他实施例中，明确地生成2D视频内容以对本文所述的2D/3D显示选项过程可用。在这种情况下，可经由成像相机610、612之一来捕获2D视频内容，经由计算机图形应用生成2D视频内容，或其组合。在框702生成2D视频内容的事件中，所生成的2D视频内容可以被提供用于在数据存储604处作为2D视频数据114进行存储。此外，在框702，所生成或选择的2D视频数据114可以经由网络接口608传送到多媒体服务器102以便存储和随后分发。
在框704，在内容源系统104处执行3D建模模块628，以便在3D建模过程期间基于用户输入632生成指定空间的3D模型。如框703所表示，内容提供者可能希望生成现实世界空间的3D模型。为了说明，如果2D视频内容表示正在客厅中进行视频游戏的内容提供者，则该内容提供者可能希望生成该客厅的3D模型以便给予观看者身处客厅中并且看着游戏正在进行的感觉。因此，框704的3D建模过程可以包括例如建模模块628，其利用成像相机610、612来捕获现实世界空间的图像，利用深度传感器614捕获现实世界空间的深度信息，并利用IMU616在捕获图像和深度信息期间确定姿态信息，并且从该信息确定在与现实世界空间紧密相关的参考坐标系的场境中的现实世界空间的各种相关空间特征。然后，3D建模模块628可以使用这些空间特征和该参考坐标系来生成现实世界空间的空间几何的3D模型634(图6)。替选地，如框705所表示，内容提供者可能希望生成虚拟空间的3D模型，在这种情况下，3D建模模块628可以采用CAD工具或其他VR工具或与其配合来构建该虚拟空间的3D模型634(图6)。
在建模的3D空间被指定的情况下，在框706处，在内容源系统104处执行视频投影布局模块，以便基于用户输入636(图6)识别建模的3D空间内的投影表面，可以在其该投影表面上呈现或以其他方式投影2D视频内容。为了说明，内容提供者可以指定建模的3D空间内的平面区域的角的坐标，以用作投影表面。
在框708，视频投影布局模块630组合表示3D模型634的数据和表示所选择的投影表面的数据(即，图1的投影位置信息118)，以生成3D模型元数据116，并将3D模型元数据116提供给网络接口608以传输到多媒体服务器102，以便与对应的2D视频数据114相关联地进行后续分发。在一些实施例中，视频投影布局模块630诸如通过下述方式将3D模型元数据116提供为2D视频数据114的部分：将3D视频数据114嵌入到用于2D视频数据114的容器的元数据字段中，或者将3D视频数据114直接编码到2D视频数据114的图像的像素中。替选，3D模型元数据116可以被提供为分立的文件或其他数据容器，并且2D视频数据114可以包括ID或对3D模型元数据116的其他引用，使得多媒体服务器102可以识别如与2D视频数据114相关联的3D模型元数据116，反之亦然。在其他实施例中，3D模型元数据116可以与内容提供者相关联，并且因此应用于由内容提供者提供的所有3D显示使能的视频剪辑。为了说明，再次使用上述的YouTube(TM)示例，内容提供者可以对内容提供者进行视频游戏的客厅进行建模，并且由内容提供者上传的每个视频游戏剪辑可以默认为对基于来自该特定内容提供者的视频剪辑而在该建模的客厅内投影的3D显示可用。
图8图示出了根据至少一个实施例的图1的多媒体分发系统100的2D/3D显示系统106的示例实施方式。在所描绘的示例中，系统106包括至少一个应用处理器802、至少一个图形处理单元(GPU)804、系统存储器806或其他存储组件、耦合到网络108(图1)的网络接口808、显示控制器810、显示面板812、和VR/AR显示装置112，其在所描述的实施例中包括HMD814和HMD控制器816。系统存储器806存储支持如本文所述的2D/3D显示系统106的功能的一个或多个软件应用，诸如表示一个或多个软件应用的主显示软件818，其操作以操纵2D/3D显示系统106显示一个或多个GUI以促进可用于用户选择的2D视频流的列表、阵列或其他清单(例如，经由web浏览器上显示的网页)，以在对于所选择的2D视频流选择了2D视图模式的情况下，促进与用户从多媒体服务器102选择的视频流相关联的2D视频数据114的访问以及由2D视频数据114表示的视频内容的2D显示。为此，主显示软件818可以包括例如渲染模块820以用于解码2D视频数据114，并将解码的数据渲染成表示2D视频数据114的视频内容的一系列画面，如下详细描述。
由系统存储器806存储的软件应用还包括一个或多个VR软件应用822，其操作以操纵2D/3D显示系统106，以经由HMD控制器816在HMD 814处渲染用于显示VR或AR内容的平行立体图像流，并且在用户选出以3D视图模式观看视频内容的情况下，一个或多个VR软件应用822进一步操作以支持以3D视图模式显示视频内容。为此，一个或多个软件应用822包括3D模型提取/显示模块824和2D视频投影模块826。下面更详细地描述模块824、826的操作。
图9图示出了根据本公开的至少一个实施例的图8的2D/3D显示系统106的实施方式的操作的示例性方法900。方法900在框902处以下述行为启动：用户选择3D显示使能的2D视频流以在2D/3D显示系统106处呈现，并响应于该选择而接收所选2D视频流的2D视频数据114。为了说明，用户可能正在浏览视频共享网站，并从作为选项呈现的多个视频流中选择视频流。响应于该选择，主显示软件应用818经由网络接口808向多媒体服务器102发送对于对应的2D视频数据114的请求。多媒体服务器102作为响应将2D视频数据114发送回到2D/3D显示系统106，其中它被缓冲以用于处理。
在框904处，主显示软件应用818确定所选择的视频流是否被启用用于3D显示，并且如果是，则向用户呈现在平面屏幕模式(即，常规2D视图模式)或VR模式(即，本文所述的投影3D视图模式)中观看所选视频流的选项。主显示软件应用818可以例如基于存储在2D视频数据114本身中的字段或值、基于与2D视频数据114相关联的3D模型元数据116的存在或不存在、和基于2D视频数据114的源或内容提供者等来作出该确定。如上所述，在2D视图模式或3D视图模式下观看视频内容的选项可以被呈现为例如用作所选2D视频流的源的视频共享网站或其他软件应用的GUI内的用户输入字段或其他GUI小部件。
在用户选择平面屏幕模式的事件中，在框906，应用处理器802或GPU 804中的一个或两者对2D视频数据114进行解码，并渲染由所得到的解码视频数据表示的画面序列，并且根据常规的2D显示过程，经由显示控制器810将每个画面呈现以在显示面板812的对应显示窗口(例如，图3的显示窗口302)中显示。
返回到框904，在用户为所选视频流选择3D视图模式的事件中，在框908，3D模型提取/显示模块824访问与所选择的视频流相关联的3D模型元数据116。如上所述，在一些实施例中，3D模型元数据116作为元数据嵌入2D视频数据114中或在像素数据本身内编码，在这种情况下，3D模型提取/显示模块824可以通过从2D视频数据114提取3D模型元数据116来访问3D模型元数据116。在其他实施例中，为了带宽、兼容性或灵活性考虑，使得3D模型元数据116与2D视频数据114分立可用。为了说明，3D模型元数据116可以被存储为被2D视频数据114经由HTML链接或其他远程存储位置ID引用的分立文件。在这种情况下，3D模型提取/显示模块824可以通过使用远程存储位置ID从多媒体服务器102请求3D模型元数据116来访问3D模型元数据116。在其他实施例中，3D模型元数据116可能已经预先存储在2D/3D显示系统106中。为了说明，内容提供者可以为由内容提供者提供的所有2D视频流使用相同的建模的3D空间，并且因此当用户观看一个2D视频流时，可以下载并在2D/3D显示系统106处存储表示建模的3D空间的3D模型元数据116，以用于与当前2D视频流和来自同一内容提供者的任何随后访问的2D视频流一起使用。在这种情况下，访问3D模型元数据116可以包括识别3D模型元数据116的副本已经存储在本地存储位置(例如，本地硬盘驱动器)上，并且从所识别的本地存储位置访问3D模型元数据116。
应当理解，VR/AR显示装置112具有帧速率，其表示HMD控制器816将左眼/右眼画面驱动到HMD 814以进行显示的速率。在一个实施例中，下面对于框910、912、914、916和918所描述的过程表示对要提供给HMD 814以供显示的每个立体显示画面对所执行的过程，并且因此以VR/AR显示装置112的帧速率执行该处理的迭代。此外，以下假设所选择的视频流的帧速率与VR/AR显示装置112的帧速率相同。然而，如果所选择的视频流的帧速率较低，则来自所选视频流的相同画面可用于VR/AR显示装置112的两个或更多个显示帧。替选地，如果所选择的视频流的帧速率较高，则可以采用从视频流选择性地丢弃画面来实现帧速率之间的有效匹配。
在框910处，渲染模块820解码2D视频数据114的一部分，从所得到的解码数据渲染画面828，并将画面828提供给2D视频投影模块826。并行地，在框912处，处理器802使用各种众所周知的HMD姿态确定技术中的任何技术基于来自HMD 814的IMU(未示出)的传感器信息和基于由HMD 814的成像相机(未示出)捕获的图像中检测到的空间特征等来确定HMD 814的当前6DoF或3DoF姿态830(图8)
在框914，3D模型提取/显示模块824使用由3D模型元数据116表示的空间的3D模型和当前姿态830来渲染表示来自当前姿态830的空间的3D视图的立体对画面831、832(对于用户的左眼和右眼每个一个画面)，并将该对画面831、832写入帧缓冲区834以进行临时存储。同时，在框916处，2D视频投影模块826使用当前姿态830和从3D模型元数据116提取的投影位置信息118所表示的投影表面，以将所渲染的画面828从平面2D坐标参考变换成适合在建模的3D空间的坐标参考中相对于当前姿态830的投影表面，导致一对经变换的画面纹理835、836，画面纹理835、836用于左眼和右眼中的每一个。然后将经变换的画面纹理835、836写入帧缓冲区834，并存储，使得经变换的画面纹理835封闭与画面831中的投影表面的位置相对应的画面831的区域，并且经变换的画面纹理836同样封闭与画面832中的投影表面的位置相对应的画面832的区域。在框918，HMD控制器816访问帧缓冲区834，并将所得到的最终显示画面837、838传送到HMD 814以用于同时显示以便由用户感知为3D图像内容，其使得来自2D视频数据114的2D画面828显现为从3D图像内容中表示的空间内的指定表面投影。然后可以对来自2D视频数据114和更新的姿态830的下一个画面重复框910-918的过程。
在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。软件包括所存储或以其他方式有形地体现在非暂时计算机可读存储介质上的一组或多组可执行指令。该软件可以包括指令和和某些数据，所述指令和某些数据当由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁盘或光盘存储装置、诸如闪存、高速缓存、随机存取存储器(RAM)或其他非易失性存储装置的固态存储装置等等。存储在非暂时性计算机可读存储介质上的可执行指令可以是由一个或多个处理器解释或以其他方式可执行的源代码、汇编语言代码、目标代码或其他指令格式。
计算机可读存储介质可以包括计算机系统在使用期间可以访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这种存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字通用盘(DVD)、蓝光盘)、磁性介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存))或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以被嵌入计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁性硬盘驱动器)，可移除地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)，或者经由有线或无线网络耦合到计算机系统(例如，网络可访问存储(NAS))。
注意，不一定需要在一般描述中描述的所有活动或元素，特定活动或设备的一部分可能不是必需的，并且可以除了描述的那些执行一个或多个其他活动，或者包括一个或多个其他元素。此外，列出活动的顺序不一定是活动被执行的顺序。此外，已经参考具体实施例描述了这些概念。然而，本领域的普通技术人员认识到，在不脱离如所附权利要求中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这些修改旨在被包括在本公开的范围内。
以上已经针对特定实施例描述了益处、其他优点和问题的解决方案。然而，所述益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案发生或变得更加显著的任何特征都不应被解释为权利要求的任何或全部的关键、必需或基本特征。此外，上面公开的特定实施例仅是说明性的，因为所公开的主题可以以对受益于在此的教导的益处的本领域技术人员显而易见的不同但等同的方式进行修改和实践。除了在所附的权利要求中描述的之外，对于本文所示的结构或设计的细节没有旨在有限制。因此，显而易见的是，上述公开的特定实施例可以被改变或修改，并且所有这些变化被认为在所公开的主题的范围内。因此，本文寻求的保护如所附的权利要求中所述。

Claims (24)

1.一种在具有头戴显示器的显示系统中的方法，包括：
接收表示二维视频内容的视频数据；
接收表示建模的三维空间并表示所述建模的三维空间内的表面的模型数据，所述二维视频内容要被投影在所述表面上；
在所述显示系统处确定二维视图模式还是三维视图模式被选择；以及
响应于确定所述三维视图模式被选择：
确定所述头戴显示器的当前姿态；以及
经由所述头戴显示器提供基于所述当前姿态的所述建模的三维空间的视图的显示，其中所述建模的三维空间的所述视图包括基于所述当前姿态的所述二维视频内容到所述表面上的投影。
2.根据权利要求1所述的方法，还包括：
响应于确定所述二维视图模式被选择，经由所述显示系统的显示面板提供所述二维视频内容的二维显示。
3.根据权利要求1所述的方法，其中：
接收所述模型数据包括作为所述视频数据中的元数据接收所述模型数据。
4.根据权利要求1所述的方法，其中：
接收所述模型数据包括：
随同所述视频数据接收所述模型数据的远程存储位置的标识符；以及
使用所述标识符从所述远程存储位置访问所述模型数据。
5.根据权利要求1所述的方法，其中：
接收所述模型数据包括：
随同所述视频数据接收与所述模型数据相关联的标识符；以及
基于所述标识符从所述显示系统的本地数据存储位置访问所述模型数据。
6.根据权利要求1所述的方法，还包括：
经由所述显示系统向用户呈现在所述二维视图模式或所述三维视图模式中观看所述二维视频内容的选项；以及
其中确定所述二维视图模式还是所述三维视图模式被选择包括基于对呈现所述选项作出响应的用户输入来确定所述二维视图模式还是所述三维视图模式被选择。
7.一种显示系统，包括：
头戴装置；
耦合到所述头戴装置的至少一个处理器；和
存储组件，所述存储组件耦合到所述至少一个处理器，所述存储组件存储所述至少一个处理器能够访问的一组可执行指令，其中所述一组可执行指令被配置为操纵所述至少一个处理器以：
接收表示二维视频内容的视频数据；
接收表示建模的三维空间并表示所述建模的三维空间内的表面的模型数据，所述二维视频内容要被投影在所述表面上；
确定二维视图模式还是三维视图模式被选择；以及
响应于确定所述三维视图模式被选择：
确定所述头戴装置的当前姿态；以及
向所述头戴装置提供基于所述当前姿态的所述建模的三维空间的视图的显示，其中所述建模的三维空间的所述视图包括基于所述当前姿态的所述二维视频内容到所述表面上的投影。
8.根据权利要求7所述的显示系统，其中所述一组可执行指令还被配置为操纵所述至少一个处理器以：
响应于确定所述二维视图模式被选择，经由所述显示系统的显示面板提供所述二维视频内容的二维显示。
9.根据权利要求7所述的显示系统，其中：
所述显示系统将作为所述视频数据中的元数据接收所述模型数据。
10.根据权利要求7所述的显示系统，其中：
所述显示系统将随同所述视频数据接收所述模型数据的远程存储位置的标识符；以及
操纵所述至少一个处理器以接收所述模型数据的指令包括操纵所述至少一个处理器以使用所述标识符从所述远程存储位置访问所述模型数据的指令。
11.根据权利要求7所述的显示系统，其中：
操纵所述至少一个处理器以接收所述模型数据的指令包括操纵所述至少一个处理器以进行以下操作的指令：
随同所述视频数据接收与所述模型数据相关联的标识符；以及
基于所述标识符从所述显示系统的本地数据存储位置访问所述模型数据。
12.根据权利要求7所述的显示系统，其中所述一组可执行指令还包括操纵所述至少一个处理器以进行以下操作的指令：
经由所述显示系统向用户呈现在所述二维视图模式或所述三维视图模式中观看所述二维视频内容的选项；以及
基于对呈现所述选项作出响应的用户输入，确定所述二维视图模式还是所述三维视图模式被选择。
13.一种在处理装置中的方法，包括：
确定空间的三维模型；
识别所述空间的所述三维模型中的表面，二维视频内容要被投影在所述表面上；以及
提供表示所述二维视频内容的视频数据和表示所述空间的所述三维模型的模型数据以用于存储，以便对显示系统的后续访问能够使用。
14.根据权利要求13所述的方法，其中：
所述空间包含现实世界的空间；以及
确定所述空间的所述三维模型包括：
使用所述处理装置的一组一个或多个传感器来捕获所述现实世界空间的图像和空间特征，所述一组一个或多个传感器包括以下中的至少一个：成像相机或深度传感器；以及
基于所捕获的图像和空间特征生成所述空间的所述三维模型。
15.根据权利要求13所述的方法，其中：
确定所述空间的所述三维模型包括在所述处理装置处使用虚拟现实建模工具构建所述三维模型。
16.根据权利要求13所述的方法，其中：
提供用于存储的所述视频数据和所述模型数据包括提供用于在多媒体服务器处存储的所述视频数据和所述模型数据。
17.根据权利要求16所述的方法，其中：
提供用于在所述多媒体服务器处存储的所述视频数据和所述模型数据包括将所述视频数据提供为视频流，并将所述模型数据作为所述视频流中的元数据提供。
18.根据权利要求16所述的方法，其中：
提供用于在所述多媒体服务器处存储的所述视频数据和所述模型数据包括将所述视频数据提供为视频流，并提供与所述视频流中的所述模型数据相关联的标识符，所述标识符包括以下中的至少一个：在所述多媒体服务器处的所述模型数据的存储位置的标识符或用于访问存储在所述显示系统处的所述模型数据的本地副本的所述模型数据的标识符。
19.一种处理装置，包括：
至少一个处理器；和
耦合到所述至少一个处理器的存储组件，所述存储组件存储一组可执行指令，所述一组可执行指令用于操纵所述至少一个处理器以：
确定空间的三维模型；
识别所述空间的所述三维模型中的表面，二维视频内容要被投影在所述表面上；以及
提供表示所述二维视频内容的视频数据和表示所述空间的所述三维模型的模型数据以用于存储，以便对显示系统的后续访问能够使用。
20.根据权利要求19所述的处理装置，还包括：
一组一个或多个传感器，所述一组一个或多个传感器包括成像相机和深度传感器中的至少一个；
其中所述空间包括现实世界空间；以及
其中用于操纵所述至少一个处理器以确定所述空间的所述三维模型的指令包括用于操纵所述至少一个处理器以进行以下操作的指令：
使用所述一组一个或多个传感器捕获图像并识别所述现实世界空间的空间特征；以及
基于所捕获的图像和空间特征生成所述空间的所述三维模型。
21.根据权利要求19所述的处理装置，其中：
所述空间是虚拟空间；以及
用于操纵所述至少一个处理器以确定所述空间的所述三维模型的指令包括用于操纵所述至少一个处理器以经由虚拟现实建模构建所述三维模型的指令。
22.根据权利要求19所述的处理装置，还包括：
耦合到网络的网络接口；以及
其中所述处理装置将经由所述网络提供所述视频数据和所述模型数据以用于在多媒体服务器处存储。
23.根据权利要求22所述的处理装置，其中：
所述处理装置将用于存储在所述多媒体服务器处的视频数据提供为流式视频文件，并且将所述模型数据作为所述流式视频文件中的元数据提供。
24.根据权利要求22所述的处理装置，其中：
所述处理装置将用于存储在所述多媒体服务器处的所述视频数据提供为流式视频文件，并且提供与所述流式视频文件中的所述模型数据相关联的标识符，所述标识符包括以下中的至少一个：所述多媒体服务器处的所述模型数据的存储位置的指示符或用于访问存储在所述显示系统处的所述模型数据的本地副本的所述模型数据的标识符。
CN201710554607.8A 2016-07-07 2017-07-07 具有用于在建模3d空间中投影观看的选项的2d视频 Active CN107590771B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/204,397 US10909761B1 (en) 2016-07-07 2016-07-07 2D video with option for projected viewing in modeled 3D space
US15/204,397 2016-07-07

Publications (2)

Publication Number Publication Date
CN107590771A true CN107590771A (zh) 2018-01-16
CN107590771B CN107590771B (zh) 2023-09-29

Family

ID=59656151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710554607.8A Active CN107590771B (zh) 2016-07-07 2017-07-07 具有用于在建模3d空间中投影观看的选项的2d视频

Country Status (5)

Country Link
US (1) US10909761B1 (zh)
CN (1) CN107590771B (zh)
DE (2) DE202017104054U1 (zh)
GB (1) GB2553892B (zh)
WO (1) WO2018009427A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830786A (zh) * 2018-08-07 2020-02-21 苹果公司 混合2d/3d内容的检测和显示
CN111064999A (zh) * 2018-10-17 2020-04-24 奥多比公司 在虚拟现实中将2d屏幕录像视频重定目标到3d教程的接口和技术

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508249B1 (en) 2018-03-05 2022-11-22 Intelligent Technologies International, Inc. Secure testing using a smartphone
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
GB201812681D0 (en) 2018-08-03 2018-09-19 Royal Circus Ltd System and method for providing a computer-generated environment
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
CN110046309A (zh) * 2019-04-02 2019-07-23 北京字节跳动网络技术有限公司 文档输入内容的处理方法、装置、电子设备和存储介质
US11348264B1 (en) * 2020-04-23 2022-05-31 Meta Platforms, Inc. Capturing content on writing surfaces using depth and image sensing
CN114078092A (zh) * 2020-08-11 2022-02-22 中兴通讯股份有限公司 一种图像处理的方法、装置、电子设备及存储介质
CN113891101A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播方法
CN113891100A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 实时三维影像显示的直播系统
CN113891099A (zh) * 2020-09-16 2022-01-04 深圳市博浩光电科技有限公司 三维直播影像的横向纵向控制装置
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
WO2022151882A1 (zh) * 2021-01-18 2022-07-21 海信视像科技股份有限公司 虚拟现实设备
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences
CN117440140B (zh) * 2023-12-21 2024-03-12 四川师范大学 一种基于虚拟现实技术的多人异地过节服务系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011273A1 (en) * 2000-09-21 2007-01-11 Greenstein Bret A Method and Apparatus for Sharing Information in a Virtual Environment
CN101686853A (zh) * 2007-06-29 2010-03-31 3M创新有限公司 用于牙科模型的视频辅助边缘标记
CN102595212A (zh) * 2010-12-16 2012-07-18 微软公司 与多媒体内容的模拟组交互
US8339394B1 (en) * 2011-08-12 2012-12-25 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
US20160171814A1 (en) * 2014-09-23 2016-06-16 Igt Canada Solutions Ulc Wagering gaming apparatus with multi-player display and related techniques

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879800A (ja) 1994-09-06 1996-03-22 Olympus Optical Co Ltd 映像表示装置
EP1030515A4 (en) 1998-07-30 2002-03-20 Matsushita Electric Ind Co Ltd SYNTHETIZER OF MOVING IMAGES
WO2004042662A1 (en) 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
US8773330B2 (en) * 2009-06-25 2014-07-08 The Boeing Company Method and apparatus for a virtual mission control station
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8878846B1 (en) 2012-10-29 2014-11-04 Google Inc. Superimposing virtual views of 3D objects with live images
US10001645B2 (en) 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US10306292B2 (en) * 2015-03-24 2019-05-28 Unity IPR ApS Method and system for transitioning between a 2D video and 3D environment
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011273A1 (en) * 2000-09-21 2007-01-11 Greenstein Bret A Method and Apparatus for Sharing Information in a Virtual Environment
CN101686853A (zh) * 2007-06-29 2010-03-31 3M创新有限公司 用于牙科模型的视频辅助边缘标记
CN102595212A (zh) * 2010-12-16 2012-07-18 微软公司 与多媒体内容的模拟组交互
US8339394B1 (en) * 2011-08-12 2012-12-25 Google Inc. Automatic method for photo texturing geolocated 3-D models from geolocated imagery
US20160171814A1 (en) * 2014-09-23 2016-06-16 Igt Canada Solutions Ulc Wagering gaming apparatus with multi-player display and related techniques

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110830786A (zh) * 2018-08-07 2020-02-21 苹果公司 混合2d/3d内容的检测和显示
US11355086B2 (en) 2018-08-07 2022-06-07 Apple Inc. Detection and display of mixed 2D/3D content
CN110830786B (zh) * 2018-08-07 2022-09-16 苹果公司 混合2d/3d内容的检测和显示
CN115412720A (zh) * 2018-08-07 2022-11-29 苹果公司 混合2d/3d内容的检测和显示
US11790871B2 (en) 2018-08-07 2023-10-17 Apple Inc. Detection and display of mixed 2D/3D content
CN111064999A (zh) * 2018-10-17 2020-04-24 奥多比公司 在虚拟现实中将2d屏幕录像视频重定目标到3d教程的接口和技术
US11783534B2 (en) 2018-10-17 2023-10-10 Adobe Inc. 3D simulation of a 3D drawing in virtual reality

Also Published As

Publication number Publication date
GB2553892B (en) 2019-06-12
GB201710886D0 (en) 2017-08-23
WO2018009427A1 (en) 2018-01-11
DE102017115208A1 (de) 2018-01-11
CN107590771B (zh) 2023-09-29
GB2553892A (en) 2018-03-21
US10909761B1 (en) 2021-02-02
DE202017104054U1 (de) 2017-10-02

Similar Documents

Publication Publication Date Title
CN107590771A (zh) 具有用于在建模3d空间中投影观看的选项的2d视频
US10297087B2 (en) Methods and systems for generating a merged reality scene based on a virtual object and on a real-world object represented from different vantage points in different video data streams
CN105981076B (zh) 合成增强现实环境的构造
JP2023036602A (ja) 拡張された仮想現実
Wang et al. Mixed reality in architecture, design, and construction
EP2887322B1 (en) Mixed reality holographic object development
CN110663256B (zh) 基于虚拟场景的虚拟实体描述帧从不同有利点渲染虚拟场景的帧的方法和系统
US11363329B2 (en) Object discovery and exploration in video content
JP2020514900A (ja) 複合現実ビューアシステムおよび方法
CN103761085B (zh) 混合现实全息对象开发
US9747727B2 (en) Object customization and accessorization in video content
US20180165876A1 (en) Real-time exploration of video content
KR20140145217A (ko) 공간정보를 이용한 3차원 가상 모델링 시스템 및 그 방법
Hu et al. Tourism demonstration system for large-scale museums based on 3D virtual simulation technology
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
KR20090000729A (ko) 웹 기반 사이버 모델 하우스 구현 시스템 및 그 방법
Barszcz et al. 3D scanning digital models for virtual museums
Pietroszek et al. Museum in your living room: recreating the peace corps experience in mixed reality
Sylaiou et al. Virtual museums: First results of a survey on methods and tools
Campbell A Rift in our Practices, Toward Preserving Virtual Reality
Schulze et al. Advanced applications of virtual reality
Du Fusing multimedia data into dynamic virtual environments
Chen et al. TelePort: Virtual touring of Dun-Huang with a mobile device
Bottino et al. The role of computer games industry and open source philosophy in the creation of affordable virtual heritage solutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Google Inc.

Address before: California, USA

Applicant before: Google Inc.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant