CN110506419B - 在虚拟现实中渲染扩展视频 - Google Patents

在虚拟现实中渲染扩展视频 Download PDF

Info

Publication number
CN110506419B
CN110506419B CN201880023210.9A CN201880023210A CN110506419B CN 110506419 B CN110506419 B CN 110506419B CN 201880023210 A CN201880023210 A CN 201880023210A CN 110506419 B CN110506419 B CN 110506419B
Authority
CN
China
Prior art keywords
virtual
screens
screen
video data
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880023210.9A
Other languages
English (en)
Other versions
CN110506419A (zh
Inventor
M·辛克
M·C·卡德纳斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Warner Bros Entertainment Inc
Original Assignee
Warner Bros Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Warner Bros Entertainment Inc filed Critical Warner Bros Entertainment Inc
Publication of CN110506419A publication Critical patent/CN110506419A/zh
Application granted granted Critical
Publication of CN110506419B publication Critical patent/CN110506419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232—Special driving of display border areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data

Abstract

一种用于变换扩展视频数据以在虚拟现实中显示的方法处理数字扩展视频数据，以用于在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示。该方法包括由执行渲染应用程序的计算机访问定义包括中心屏幕和辅助屏幕的虚拟屏幕的数据，其中辅助屏幕中的每个在其各自的区域中心处的切线与中心屏幕在其中心区域处的切线以在75度至105度的范围内的相等角度相交。该方法包括至少部分地通过在虚拟屏幕中的对应虚拟屏幕上渲染数字扩展视频来准备虚拟扩展视频数据；并将虚拟扩展视频数据保存在计算机存储器中。对应的回放方法和设备在虚拟现实中显示处理的数据。

Description

在虚拟现实中渲染扩展视频
技术领域
本公开涉及用于在虚拟现实中使用扩展视频数据的方法和设备。
背景技术
“扩展视频”是指使用三个屏幕呈现电影内容的术语：中心屏幕和中心屏幕每侧上的辅助屏幕。每个辅助屏幕都朝向观众成角度，而中心屏幕以传统方式面向观众。辅助屏幕沿着礼堂的侧壁部分地围绕电影观众，提供更加沉浸式的体验。传统上，电影内容仅针对位于礼堂前壁上的一个屏幕产生，该屏幕成为扩展视频设置中的中心屏幕。最近，已经产生扩展内容以用于在扩展视频设置的辅助屏幕上显示。一种这样的扩展视频内容以名称ScreenXTM销售。如本文所用，“数字扩展视频数据”表示用于在中心屏幕和中心屏幕的每侧上一个的至少两个相对的辅助屏幕上的电影呈现的视频数据，其中在数字视频格式方面每个屏幕的视频数据与用于其他屏幕的视频数据不同。
“虚拟现实”是已经用于模拟在三维(3D)世界中沉浸的各种类型的内容的术语，包括例如各种视频游戏内容和动画电影内容。虚拟现实(VR)和增强现实(AR)已经应用于各种类型的沉浸式视频立体呈现技术，包括例如立体虚拟现实头戴式耳机(headset)。头戴式耳机和其他呈现方法使用户沉浸在3D场景中。头戴式耳机中的透镜使用户能够专注于安装在头戴式耳机中的轻量分体式显示器屏幕，其距离用户的眼睛只有几英寸。分体显示器的不同侧示出视频内容的左右立体视图，而用户的周边视图被阻挡。在另一种类型的头戴式耳机中，两个单独的显示器分别用于向用户的左眼和右眼示出不同的图像。在另一种类型的头戴式耳机中，显示器的视野涵盖眼睛的整个视野(其包括周边视图)。在另一种类型的头戴式耳机中，使用可控制的小型激光器、面镜或透镜将图像投影在用户的视网膜上。无论哪种方式，头戴式耳机使用户能够更好地体验所显示的虚拟现实内容，就好像观看者沉浸在真实场景中一样。
可以通过头戴式耳机中检测用户头部的运动的运动传感器来提供或增强VR的沉浸式效果，并相应地调整(多个)视频显示器。通过将其头部转向一侧，用户可以看到向一侧移动的虚拟现实场景；通过向上或向下转动头部，用户可以在虚拟现实场景中向上或向下查看。头戴式耳机还可以包括跟踪传感器，其检测用户的头部和/或身体的位置，并相应地调整(多个)视频显示器。通过倾斜或转动，用户可以从不同视点看到虚拟现实场景。这种对头部移动、头部位置和身体位置的响应大大增强头戴式耳机可实现的沉浸式效果。在一些实施方式中，用户还可在场景中移动。可以向用户提供被放置在虚拟现实场景内或“沉浸”在虚拟现实场景中的印象。如本文所用，“沉浸式”包括VR和AR两者。
完全沉浸式的高质量内容有时比为单个屏幕准备的内容更难以产生，诸如当将视频镜头合并到实际布景时。同时，与单屏内容相比，VR内容的当前市场规模相对较小。这些经济现实降低了VR用户的高质量娱乐的可用性。增加VR用户可用的内容标题数量的一种方法是重新格式化传统的电影内容，以便在以VR兼容数据格式建模的“虚拟电影院”中的“虚拟屏幕”上显示，例如通过变换屏幕的视频纹理中的2D或3D视频内容，其与屏幕(针对其产生内容)的比例和几何形状相匹配。这种可用内容的重新格式化是相对成本有效的。因此，为方便起见或者为了避免庞大的家庭影院设备的成本，用户可以使用VR头戴式耳机享受与电影院或家庭影院可用的内容相同的内容。
在VR中观看传统内容的用户的印象类似于在传统影院或家庭影院中观看内容，同时，如果需要的话还为内容生产者提供增强VR环境的一些或全部内容的能力。将屏幕放置在距渲染视点一定的虚拟距离处，并且可选地在视点和屏幕之间渲染影院座位，产生了在影院中的印象。为了适应屏幕尺寸，VR屏幕空间的一部分缺少视频内容，降低了VR体验的沉浸式质量。
通过对中心和辅助屏幕建模并在每个建模屏幕上渲染对应的视频纹理，可以类似地将扩展视频格式化以便在VR中显示。常见方法包括对屏幕进行建模，使得所有屏幕一次可见，并且虚拟屏幕模拟或类似于针对其产生内容的实际扩展视频屏幕。该方法的效果在图1中示出，示出了现有技术虚拟扩展视频应用程序的虚拟现实屏幕截图100的近似。当扩展视频设置的辅助屏幕在虚拟现实中建模时，视频内容出现在相对窄的带110中。虚拟现实显示器的大部分120仅显示黑色或其他静态内容。因此，与传统的单屏视频相比，虚拟现实中的扩展视频的显示甚至更多地降低了虚拟现实的沉浸式效果。对于配置扩展视频内容以便为典型的VR用户产生吸引人的显示并避免视频内容的失真或需要大量重新灌录(remaster)的问题，也没有任何明显的解决方案。
因此，期望开发用于转换扩展视频内容以与虚拟现实头戴式耳机显示设备一起使用的新方法，其克服现有技术的这些和其他限制，并增强新的沉浸式技术诸如VR的叙述性视频内容的吸引力和享受。
发明内容
本发明内容和以下详细描述是整体公开的补充部分，并且可包括冗余主题和/或补充主题。任一节中的省略都不表示整体申请中描述的任何要素的优先权或相对重要性。这些节之间的差异可以包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述，这将从相应公开中明显看出来。
在本公开的一个方面，一种用于变换扩展视频数据以在虚拟现实中显示的计算机实现的方法包括接收用于在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示的数字扩展视频数据。该方法可以进一步包括由执行渲染应用程序的计算机访问定义包括中心屏幕和辅助屏幕的虚拟屏幕的数据，其中辅助屏幕中的每个在其各自的区域中心处的切线与中心屏幕在其区域中心处的切线以在75度至105度的范围内的相等角度相交。换句话说，计算机定向和定位虚拟屏幕，使得切线或平面以所述范围内的角度相交。该方法可以进一步包括至少部分地通过在虚拟屏幕中的对应虚拟屏幕上渲染数字扩展视频来准备虚拟扩展视频数据，并将虚拟扩展视频数据保存在计算机存储器中。在本公开的另一方面，一种用于处理扩展视频数据以用于由虚拟现实显示设备显示的方法，可包括由虚拟现实显示设备接收用于显示的虚拟扩展视频数据，其定义如为上述方法所述的虚拟屏幕，并使用VR头戴式耳机的立体显示系统显示虚拟扩展视频数据。
在前述方法中的任一个或两个的方面中，定义虚拟屏幕的数据可以进一步定义辅助屏幕中的每个的切线是平行的。定义虚拟屏幕的数据可以进一步定义每个虚拟屏幕的特征在于在平行于每个虚拟屏幕的顶部边缘和底部边缘的平面中具有圆柱形曲率半径“R”。在另一方面，定义虚拟屏幕的数据可以进一步定义比率R/z2，其中“z2”指示虚拟屏幕中的每个的高度在1到4的范围内。前述两种方法都可以包括访问定义虚拟地板平面的数据，该虚拟地板平面与每个虚拟屏幕的底部边缘平行并且位于底部边缘下方距离“z3”，其中z3等于或不超出0.9*z2的20％。屏幕的底部边缘可以垂直对齐。定义虚拟屏幕的数据可以进一步定义虚拟屏幕中的每个具有沿着其相应的一条切线测量的宽度“W”，使得比率W/z2在1.8到3.6的范围内。定义虚拟屏幕的数据可以进一步定义辅助屏幕彼此面对并且在它们各自的区域中心处间隔开测量的距离“2C”，其中2C/W的比率在1到1.5的范围内。在替代方面，定义虚拟屏幕的数据可以定义虚拟屏幕中的每个的特征在于具有带有共同中心的球面曲率半径。
任何前述方法可以通过在非暂时性计算机可读介质中提供的程序指令在任何合适的可编程计算设备中实现，该程序指令在由计算机处理器执行时使得该设备执行所描述的操作。设备可包括用于视频产生的计算机或计算机系统。在其他实施例中，设备可以包括虚拟现实装置，诸如头戴式耳机或其他显示器，其对用户的头部或身体的移动做出反应以提供被放置在所渲染的场景内部的印象。
为了实现前述和相关目的，一个或更多个示例描述并实现了权利要求中指出的特征。以下描述和附图详细阐述了某些说明性方面，并且仅指示了其中可以采用示例的原理的各种方式中的几种方式。当结合附图和所公开的示例考虑时，从以下详细描述中，其他优点和新颖特征将变得明显，该附图和示例包含所有此些方面及其等同形式。
附图说明
通过下面结合附图阐述的详细描述，本公开的特征、性质和优点将变得更加明显，附图中相同的附图标记在整个说明书和附图中对应地标识相同的元件。
图1是示出用于在虚拟现实中渲染扩展视频的现有方法的结果的屏幕截图。
图2是用于使用圆柱几何形状在虚拟现实中渲染扩展视频的三维(3D)网格的透视图。
图3A是图2中的3D网格展示的顶视图，示出了用于渲染扩展视频的新颖网格的某些几何参数。
图3B是图2和图3A中所示的3D网格的侧视图。
图4是用于使用球面几何形状在虚拟现实中渲染扩展视频的替代三维网格的透视图。
图5是示出用于消费VR或AR内容的内容消费装置的框图。
图6是示出用于在虚拟现实中呈现扩展视频的立体显示装置的组件的示意图。
图7是示出用于变换扩展视频以在虚拟现实中显示的方法的流程图。
图8是示出用于变换扩展视频以在虚拟现实中显示的设备或系统的组件的概念框图。
图9是示出用于在虚拟现实中呈现扩展视频的方法的流程图。
图10是示出用于在虚拟现实中呈现扩展视频的设备或系统的组件的概念框图。
具体实施方式
现在参考附图描述各个方面。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或更多个方面的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践各个方面。在其他实例中，以框图形式示出了公知的结构和装置，以便于描述这些方面。
变换扩展视频数据以在虚拟屏幕(包括中心屏幕和专门配置的辅助屏幕)上渲染的虚拟现实中显示。辅助屏幕及其与中心屏幕的关系的特征在于特殊的几何参数，其不同于为其产生扩展视频数据的真实辅助屏幕。图2、图3A和图3B示出了这些特殊参数的各个方面。
图2示出了虚拟屏幕的系统200的透视图，虚拟屏幕200包括虚拟中心屏幕210、虚拟左辅助屏幕220和虚拟右辅助屏幕230。虚拟屏幕210、220、230中的每个被建模为由笛卡尔三轴图标240表示的虚拟空间中的三维(3D)网格。可以使用任何合适的坐标系来定义虚拟空间，但是使用其原点位于左220和右230虚拟屏幕中间并位于基准平面或虚拟地板上的系统可能是方便的。在所示系统200中，所有虚拟屏幕210、220、230的下边缘在与地板平面平行且位于其上方距离“z1”的平面中垂直对齐。虚拟屏幕的上边缘位于第二平面中，该第二平面也垂直地与地板平面平行对齐并且位于其上方距离“z2”处。用于虚拟坐标系的单位是任意的，但虚拟屏幕210、220、230相对于参考地板的比例确实影响用户体验。有利地，可选择比例，使得在佩戴虚拟现实装备时用户在真实世界中的运动在人类感知的限制内1对1地与虚拟视点的移动对应。例如，可选择比例使得100厘米的实际移动对应于虚拟视点的虚拟移动，其在相同方向上是100虚拟厘米，或者是大约100虚拟厘米，使得大多数用户将不会注意到真实和实际移动之间的差异。再例如，在一个实施例中，z1＝300cm且z2＝330cm。下面结合图3A至图3B讨论进一步的几何参数。
图3A示出了虚拟屏幕设置的顶视图300，其包括中心虚拟屏幕318、左侧(从用户视点来看)辅助屏幕306和右侧辅助屏幕302。标记308指示虚拟视点的默认位置，其沿着中心屏幕318的中心线312并且略微位于辅助屏幕302、306的后边缘的前方。当第一次激活虚拟观看空间时，用于渲染虚拟屏幕的用户视点可以放置在指示的默认位置308处，或者在提供辅助屏幕302、306的平衡周边视图并且与中心屏幕318的中心对齐并朝向该中心的类似位置，例如，朝向区域的中心或与中心屏幕318的垂直中心线对齐。
在一些实施例中，基于来自虚拟现实装备或辅助输入装置中的运动传感器的反馈，用户可以在虚拟空间内自由移动。在此类实施例中，可能希望将虚拟移动限制到受限区域，例如限制为由虚线矩形指示的限定体积322。此类限制防止用户无意或有意地移动到虚拟屏幕上的视频内容不容易被看到或者使用户迷惑的位置。
虚拟屏幕302、306、318中的每个可以具有相同或近似相同的大小和形状。计算机定位和定向虚拟辅助屏幕，使得辅助屏幕302、320中的每个在其各自的区域中心(即，中心线310与辅助屏幕302、306相交的位置)处的假想切线314、316与中心屏幕在其区域中心(即，中心线312与中心屏幕318相交的位置)处的假想切线316以相等的角度α1＝α2相交。在所示实施例中，α1和α2等于90度。接近90度的其他值也可以是合适的，例如，α1和α2可以等于75度至105度范围内的角度。
可以在中心屏幕318和辅助屏幕302、306中的每个之间插入具有恒定宽度“G”的小的垂直对齐间隙。间隙的目的可以是掩盖出现在中心屏幕和辅助屏幕上的内容之间的未对准或其他不匹配，和/或避免在屏幕相遇处出现折痕。可以选择间隙以匹配真实扩展视频设置中的类似间隙，以最小化使扩展视频内容适应虚拟现实所需的处理。在图示的实施例中，间隙“G”是20cm。
在一个方面，屏幕302、318、306中的每个可以特征在于在平行于每个虚拟屏幕的顶部和底部边缘的平面中具有圆柱形曲率半径“R”。可以使用平坦虚拟屏幕，但是如图2至图3B所描绘的圆柱形弯曲屏幕被认为提供了更大的沉浸效果，同时避免了扩展视频输出的明显失真。在人体比例设置中，“R”的值可以基于一个或更多个相关的屏幕测量。例如，“R”可以基于对期望值“z2”的比率R/z2，其指示虚拟屏幕中的每个在地板或参考计划之上的高度。在所示实施例中，对于R/z2的比率等于约2.8，“R”约为840cm并且“z2”约为300cm。接近2.8的其他比率也可以是合适的，例如，比率在1至4或更高的范围内。平坦虚拟屏幕的比率R/z2是无限的，因为半径“R”是无限的。在替代方案中或另外，“R”的值可以基于沿着中心线312从默认视点308至屏幕318的距离。在所示实施例中，该距离也是约840cm。
虚拟屏幕302、318、306中的每个具有沿着切线314、316、320中的其相应的一条测量的宽度“W”，使得屏幕宽度与屏幕高度的比率(W/z2)在1.8至3.6的范围内。在所示实施例中，宽度为790cm并且高度为330cm，因此该比率约为2.4。虚拟辅助屏幕302、306彼此面对，对称地布置在中心屏幕318的相对侧上并且在它们各自的区域中心处间隔开测量的距离“2C”，其中2C/W的比率在1至1.5的范围内。在所示实施例中，距离“C”是490cm，因此2C/W的比率约为1.24。
参考图3B，示出了与图3A中所示相同的屏幕的侧视图350。辅助屏幕302、306在该视图中完全重叠，无论从右侧还是左侧看起来都是相同的。中心屏幕318出现在图的极右侧。运动约束体积322的侧视图由虚线矩形指示。如前所述，屏幕配置可以包括虚拟地板平面352，虚拟地板平面352平行于每个虚拟屏幕302、306、318的底部边缘并位于其下方距离“z1”。距离z2指示其顶部边缘和底部边缘之间的屏幕高度。z1的值可以等于或不超出0.9*z2的20％。例如，对于330cm的屏幕高度，底部边缘的高度(即屏幕高程(elevation)或“z1”)可以约为300cm。
距离z3指示在地板平面352上方的默认视点的高度。在所示实施例中，距离z3等于屏幕高度z2的一半加上z1，对于该实施例，其为165+300＝465cm。因此，可以从屏幕高度z2和高程z1确定视点高度。屏幕高度与宽度的比率可以如上所述。z3/z2的比率可以等于1.4，或者在0.5(当屏幕接触地板时)至约2的范围内。对于大多数设置，约1.3至1.5的范围可能是优选的。在一些实施例中，屏幕高程z1可以基于屏幕高度z2和用户“hu”(基于公式z3＝hu＝z2/2+z1)的估计或测量的真实眼高来确定，当给出hu和求解z1产生z1＝hu-z2/2。如果z2/2>hu，那么z1应该是负的(在底部屏幕边缘的水平上方)并且地板平面352应该是不可见的，使得效果如同站立在玻璃上。对于偏好更稳固的虚拟地板的用户，应选择z2以使z2/2<＝hu。在虚拟环境中，环境中对象的相对大小决定了用户如何感知比例。例如，如果所有虚拟维度都按某个常量值缩放，则对最终用户没有不同。在虚拟环境中，用户无法感知绝对比例，除非由于渲染参数不适合所选比例而在渲染中存在一些错误。
虽然图2至图3B示出了具有圆柱形曲率的虚拟屏幕，但是替代地，虚拟屏幕404、406、408中的每个可以特征在于具有共同中心412的球形曲率半径Φ，如图4所示。系统400的效果可以如同用户410站在半径为Φ或更大的半球形腔室中，在该半球形腔室上投影扩展视频内容。其他虚拟屏幕尺寸可以如前所述。
可以使用任何合适的虚拟现实(VR)显示设备来实现前述方法和概念。参考图5，示出了VR显示设备500的各方面。设备500可以包括例如处理器502，例如基于由IntelTM或AMDTM设计的80x86架构的中央处理单元、由ARMTM设计的片上系统，或任何其他合适的微处理器。处理器502可以使用总线或其他耦合被通信地耦合到VR显示设备500的辅助装置或模块。可选地，处理器502及其耦合的辅助装置或模块中的一些或全部(其示例在504-516处描绘)可以容纳在壳体518内或耦合到壳体518，例如，具有个人计算机、游戏机、智能手机、笔记本计算机、膝上计算机、机顶盒、可穿戴式谷歌、眼镜或遮阳板的形状因子，或其他形状因子的壳体。
用户界面装置504可以耦合到处理器502，用于向在处理器502上执行的VR沉浸式显示引擎所操作的沉浸式内容显示过程提供用户控制输入。用户控制输入可以包括，例如，来自图形用户界面或经由触摸屏、键盘、指示装置(例如，游戏控制器)、麦克风、运动传感器、相机或这些或其他输入装置的某种组合生成的其他输入(例如，文本或方向命令)。还可以经由耦合到处理器502的传感器506来提供控制输入。传感器可以包括例如运动传感器(例如，加速计)、定位传感器、生物测量温度或脉冲传感器、位置传感器(例如，全球定位系统(GPS)接收器和控制器)、多相机跟踪传感器/控制器、眼睛跟踪传感器或麦克风。传感器506可以检测用户界面显示器的运动或其他状态，例如，虚拟现实头戴式耳机的运动，或者用户的身体状态，例如，面部表情、皮肤温度、瞳孔反应(例如，瞳孔扩张)、角膜变形、注视方向、呼吸率、肌肉紧张、神经系统活动或脉搏。
装置500可以可选地包括耦合到处理器502的输入/输出端口508，以实现VR引擎和计算机网络之间的通信，例如电影内容服务器或家庭影院服务器。例如，可以使用此种通信来实现多人VR体验，包括但不限于对电影内容的共享沉浸式体验。该系统还可以用于非电影多用户应用，例如社交网络、群组娱乐体验、教学环境、视频游戏等。
显示器510可以耦合到处理器502，例如经由集成在处理器502中或单独芯片中的图形处理单元(未示出)。显示器510可包括例如由发光二极管(LED)或其他灯照明的平板屏幕彩色液晶(LCD)显示器、由LCD显示器或数字光处理(DLP)单元驱动的投影仪、激光投影仪或其他数字显示装置。显示装置510可以合并到虚拟现实头戴式耳机或其他沉浸式显示系统中。由在处理器502上操作的VR沉浸式显示引擎，或用于协调用户输入与沉浸式内容显示和/或生成显示的其他应用程序所驱动的视频输出，可以被提供给显示装置510并作为视频显示输出给用户。类似地，放大器/扬声器或其他音频输出换能器522可以经由音频处理系统耦合到处理器502。与视频输出相关并由VR/AR显示引擎或其他应用程序生成的音频输出可以被提供给音频换能器522并作为可听声音输出给用户。
VR显示设备500可以进一步包括随机存取存储器(RAM)514，其保存程序指令和数据，用于在控制3D环境期间由处理器快速执行或处理。当装置500断电或处于非活动状态时，程序指令和数据可以存储在长期存储器中，例如，非易失性的磁性、光学或电子存储器存储装置516。RAM 514或存储装置516中的任一个或两个可以包括保存程序指令的非暂时性计算机可读介质，当由处理器502执行时，使得装置500执行如本文所述的方法或操作。程序指令可以用任何合适的高级语言编写，例如，C、C++、C#或JavaTM，并且被编译以产生用于由处理器执行的机器语言代码。程序指令可以分组为功能模块，以便于编码效率和可理解性。应当理解，此些模块，即使可辨别为源代码中的分区或分组，也不一定可区分为机器级编码中的单独代码块。针对特定类型的功能的代码包(bundle)可以被认为包括模块，而不管包上的机器代码是否可以独立于其他机器代码执行。换句话说，模块可以仅是高级模块。
本文描述的特征中的任一个可由用于响应于用户输入提供3D环境的应用来执行，该用户输入产生用于沉浸式VR头戴式耳机等的VR输出。图6是示出可以以各种形状因子提供的一种类型的沉浸式VR立体显示装置600(在本文中也称为VR显示设备)的示意图，其中装置600仅提供一个示例。创新的方法、设备和系统不一定限于沉浸式VR显示器的特定形状因子，而是可以用在视频输出装置中，其使用户能够控制在装置上播放的视频内容的位置或视点。同样，VR输出装置可管理在装置上播放的音频内容的音频位置或视点。沉浸式VR立体显示装置600表示为消费者使用而设计的相对低成本的装置的示例。
沉浸式VR立体显示装置600可以包括由不透明的轻质结构材料(例如，刚性聚合物、铝或纸板)制成的平板支撑结构，其被配置用于支撑并允许包括高分辨率显示器屏幕例如LCD显示器的便携式平板计算或智能手机装置的可移除放置。这种模块化设计可以避免使用专用的视频输出电子组件，大大降低了成本。装置600被设计成靠近用户的脸部佩戴，使用小屏幕大小(诸如通常在当前的手持平板计算或智能手机装置中找到的)来实现宽视野。支撑结构626可以为相对于显示器屏幕612保持的一对透镜622提供固定安装。透镜可以被配置成使用户能够舒适地聚焦在可以保持距用户眼睛大约一至三英寸的显示器屏幕612上。
装置600可以进一步包括观察护罩(shroud)(未示出)，其耦合到支撑结构626并且由柔软、柔性或其他合适的不透明材料构成，用于形状配合到用户面部并阻挡外部光。护罩可以被配置为确保用户的唯一可见光源是显示器屏幕612，增强了使用装置600的沉浸式效果。屏幕分隔器可以用于将屏幕612分离成独立驱动的立体区域，其每个仅通过透镜622中的对应透镜可见。因此，沉浸式VR立体显示装置600可以用于提供立体显示输出，从而为用户提供更真实的3D空间感知。两个单独显示器也可用于分别向用户的左眼和右眼提供独立的图像。应当理解，本技术可以用于但不必限于立体视频输出。
沉浸式VR立体显示装置600可以进一步包括用于定位在用户的鼻子上方的桥(未示出)，以便于透镜622相对于用户的眼睛的精确定位。装置600可以进一步包括弹性条带或带624，或用于装配在用户头部周围并将装置600保持在用户头部的其他头饰。
沉浸式VR立体显示装置600可以包括与用户的头部630相关的显示和通信单元602(例如，平板计算机或智能手机)的附加电子组件。支撑结构604使用有弹性和/或可调节的约束装置624保持显示和通信单元602以提供舒适且牢固的适贴配合，例如可调节的头盔(headgear)。当佩戴支撑件602时，用户通过一对透镜622观看显示器612。显示器612可以由中央处理单元(CPU)602和/或图形处理单元(GPU)610经由内部总线616驱动。显示和通信单元602的组件可以进一步包括例如一个或更多个发送/接收组件618，使得能够经由无线耦合在CPU和外部服务器之间进行无线通信。发送/接收组件618可以使用任何合适的高带宽无线技术或协议来操作，包括例如蜂窝电话技术，诸如第三代合作伙伴计划(3GPP)长期演进(LTE)、全球移动通信系统(GSM)或通用移动电信系统(UMTS)，和/或无线局域网(WLAN)技术，例如使用诸如电气和电子工程师协会(IEEE)802.11之类的协议。一个或更多个发送/接收组件618可以实现从本地或远程视频服务器向显示和通信单元602流式传输视频数据，以及将传感器和其他数据上行传输到本地或远程视频服务器的任何期望目的。
显示和通信单元602的组件可以进一步包括例如经由通信总线616耦合到CPU 606的一个或更多个传感器614。此类传感器可以包括例如提供定向数据的加速度计/倾角计阵列，用于指示显示和通信单元602的定向。当显示和通信单元602固定到用户的头部630时，该数据也可以被校准以指示头部630的定向。一个或更多个传感器614可以进一步包括例如指示用户的地理位置的全球定位系统(GPS)传感器。一个或更多个传感器614可以进一步包括例如相机或图像传感器，其被定位以检测用户的一只或多只眼睛的定向。在一些实施例中，被配置为检测用户的眼睛、注视方向、瞳孔响应和/或眼睛移动的相机、图像传感器或其他传感器可以安装在支撑结构626中并且经由总线616和串行总线端口(未示出)(例如通用串行总线(USB)或其他合适的通信端口)耦合到CPU 606。一个或更多个传感器614可以进一步包括例如定位在支撑结构604中并且被配置为向用户的眼睛指示表面轮廓的干涉仪。一个或更多个传感器614可以进一步包括例如麦克风的阵列或多个麦克风，或其他音频输入换能器，用于检测口头用户命令或对显示输出的口头和非口头听觉反应。一个或更多个传感器可包括例如用于感测心率的电极或麦克风、被配置用于感测用户的皮肤或身体温度的温度传感器、耦合到分析模块以检测面部表情或瞳孔扩张的图像传感器、用于检测口头和非口头话语的麦克风，或用于收集生物反馈数据的其他生物识别传感器。
显示和通信单元602的组件可以进一步包括例如音频输出换能器620，例如显示和通信单元602中的扬声器或压电换能器，或用于头戴式耳机的音频输出端口或安装在头盔624中的其他音频输出换能器等。音频输出装置可以提供环绕声、多声道音频、所谓的“面向对象的音频”，或伴随立体沉浸式VR视频显示内容的其他音轨输出。显示和通信单元602的组件可以进一步包括例如经由存储器总线耦合到CPU 606的存储器装置608。存储器608可以存储例如程序指令，该程序指令在由处理器执行时使得设备600执行如本文所述的操作。存储器608还可以将数据(例如，音频-视频数据)存储在库中或者在流操作期间缓冲。关于VR环境的生成和使用的进一步细节可以如2015年12月5日提交的美国专利申请序列号14/960379中所述，该申请通过引用整体并入本文。
鉴于前述内容，并且通过另外的示例，图7示出了用于变换扩展视频数据以在虚拟现实中显示的方法700的各方面。方法700可以由一个或更多个可编程计算机执行，用于将扩展视频内容转换为在三个屏幕上渲染的VR内容，例如，通过生产计算机、通过结合图5至图6描述的VR显示设备，或通过前述任何有用的组合。方法700可以包括在710处接收用于在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示的数字扩展视频数据。扩展视频数据可以包括2D视频数据、3D(立体)视频数据，或者两者都产生用于在电影设置中的三个物理屏幕上进行投影或其他显示。
方法700可以包括，在720，由执行渲染应用程序的计算机访问定义包括中心屏幕和辅助屏幕的虚拟屏幕的数据。计算机可以定义虚拟中心和辅助屏幕的几何形状，如上面结合图2至图3B所述。例如，计算机可以定位和定向虚拟屏幕，使得辅助屏幕中的每个在它们各自的区域中心处的切线与中心屏幕在其区域中心处的切线在75度至105度的范围内以相等的角度相交。
方法700可以包括在730处，至少部分地通过从定义的视点在虚拟屏幕中的对应虚拟屏幕上渲染数字扩展视频来准备虚拟扩展视频数据。渲染结果可以进一步变换成一种或多种格式以用于虚拟现实显示装置。
对于支持下游VR显示设备的实时渲染的替代实施例，方法700可以包括在735，至少部分地通过将数字扩展视频与虚拟屏幕中的对应虚拟屏幕相关联来准备预渲染虚拟扩展视频数据，无需渲染输出图像。在这些实施例中，扩展视频数据被准备用于在运行时由下游VR显示装置渲染或与之相关联。这允许用户的视点在虚拟现实环境中移动，从而提供更好的沉浸式体验。
方法700可以包括在740将虚拟扩展内存和/或预渲染视频数据保存在计算机存储器中以用于虚拟现实显示装置使用。例如，数据可以保存在文件中以用于长期存储，保存在短期高速缓存中以用于显示输出，或两者。
图8是示出用于变换扩展视频数据以在虚拟现实中显示的设备或系统800的组件的概念框图，如本文所述。设备或系统800可以包括用于执行如本文所述的功能或过程操作的附加或更详细的组件。例如，处理器810和存储器814可以包含用于变换扩展视频数据以在虚拟现实中显示的过程的实例化。如图所示，设备或系统800可以包括功能块，该些功能块可以表示由处理器、软件或其组合(例如，固件)实现的功能。设备800可以是生产计算机、VR显示设备或前述的组合。
如图8所示，设备或系统800可以包括电子组件802，其用于接收数字扩展视频数据以在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示。组件802可以是或可以包括用于所述接收的装置。所述装置可以包括耦合到存储器814的处理器810，以及数据输入/输出接口812，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如，连接到保持数字扩展视频数据的节点，建立数据传输会话，以及将数字扩展视频数据传输到本地存储器。
设备800可以进一步包括电子组件804，用于通过执行渲染应用程序的计算机访问定义包括中心屏幕和辅助屏幕的虚拟屏幕的数据。虚拟中心和辅助屏幕的特征可以在于如上结合图2至图3B所述的几何形状。组件804可以是或可以包括用于所述访问的装置。所述装置可包括耦合到存储器814的处理器810，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如，使用渲染应用程序或渲染应用程序套件的组件打开数据文件，其中数据文件以渲染应用程序或组件可读取的格式定义虚拟中心和辅助屏幕的3D几何形状。
设备800可以进一步包括电子组件806，用于至少部分地通过在视频屏幕中的对应视频屏幕上渲染数字扩展视频来准备虚拟扩展视频数据。组件806可以是或可以包括用于所述准备的装置。所述装置可包括耦合到存储器814的处理器810，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如，对于每帧视频数据以及对于每个屏幕，基于默认值、用户输入或两者设置渲染参数，向渲染引擎提供虚拟中心和辅助屏幕的3D几何形状与渲染参数，由渲染引擎基于提供的信息确定视频帧的像素值。在替代实施例中，算法可以包括由生产计算机创建预渲染数据，如在735所述，并且由VR显示设备实时执行渲染操作。该算法可以进一步包括，对于每个屏幕，将渲染的视频帧编译成数字视频文件或编译到高速缓冲存储器中以用于显示输出。
设备800可以进一步包括用于将虚拟扩展视频数据保存在计算机存储器中的电子组件807。组件807可以是或可以包括用于所述保存的装置。所述装置可包括耦合到存储器814的处理器810，处理器基于存储在存储器中的程序指令执行算法。此种算法可以包括一系列更详细的操作，例如，以VR输出装置可用的格式创建包含虚拟扩展视频数据的数据文件、将数据文件提供给存储装置，以及将数据文件写入存储器装置的存储器组件。
设备800可以可选地包括具有至少一个处理器的处理器模块810。处理器810可以经由总线813或类似的通信耦合与模块802-807进行操作性通信。处理器810可以实现(effect)由电子组件802-807执行的过程或功能的启动和调度。
在相关方面，设备800可以包括数据接口模块812，其可操作用于通过计算机网络与系统组件通信。数据接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)。在进一步的相关方面，设备800可以可选地包括用于存储信息的模块，诸如，例如存储器装置814。计算机可读介质或存储器模块814可以经由总线813等可操作地耦合到设备800的其他组件。存储器模块814可以适于存储用于实现模块802-807及其子组件或处理器810或方法700的过程和行为的计算机可读指令和数据。存储器模块814可以保留用于执行与模块802-807相关联的功能的指令。虽然示出为在存储器814外部，但是应该理解，模块802-807可以存在于存储器814内。
设备800可以包括配置为无线发送器/接收器或有线发送器/接收器的收发器，用于向/从另一系统组件发送和接收通信信号。在替代实施例中，处理器810可以包括来自通过计算机网络进行操作的装置的联网微处理器。另外，设备800可以与立体显示器或其他沉浸式显示装置通信以显示沉浸式内容。
参考图9，用于处理扩展视频数据以由虚拟现实显示设备显示的计算机实现的方法可以包括，在910，由虚拟现实显示设备访问用于显示的虚拟扩展视频数据，其定义包括中心屏幕和辅助屏幕的虚拟屏幕。虚拟中心和辅助屏幕的特征可以在于如上结合图2至图3B所述的几何形状。例如，辅助屏幕中的每个在它们各自的区域中心处的切线与中心屏幕在其区域中心处的切线在75至105度的范围内以相等的角度相交，并且其他几何特征已经在上文中详细描述。方法900可以包括在920使用VR头戴式耳机的立体显示系统显示虚拟扩展视频数据。可以使用与上述几何形状一致的任何合适的VR显示方法。在一方面，方法900可以进一步包括：从VR显示设备的一个或更多个传感器接收输出，基于传感器输出改变渲染视点，以及基于渲染视点、虚拟屏幕几何形状、扩展视频数据和其他渲染参数来渲染扩展视频内容的一个或更多个视频帧，以提供更好的沉浸式体验。在此类实施例中，方法可以进一步包括将渲染视点的移动限制在限定体积322内，如结合图3A至图3B所描述的。
图10是示出用于处理扩展视频数据以由虚拟现实显示设备显示的设备或系统1000的组件的概念框图，如本文所述。设备或系统1000可以包括用于执行如本文所述的功能或过程操作的附加或更详细的组件。例如，处理器1010和存储器1014可以包含用于处理扩展视频数据以由虚拟现实显示设备使用如上文中所述的虚拟屏幕来显示的过程的实例化。如图所示，设备或系统1000可以包括功能块，该些功能块可以表示由处理器、软件或其组合(例如，固件)实现的功能。
如图10中所示，设备或系统1000可以包括电子组件1002，用于由虚拟现实显示设备访问用于显示的虚拟扩展视频数据，其定义包括中心屏幕和辅助屏幕的虚拟屏幕。虚拟中心和辅助屏幕的特征可以在于如上结合图2至图3B所述的几何形状。例如，辅助屏幕中的每个在它们各自的区域中心处的切线与中心屏幕在其区域中心处的切线在75至105度的范围内以相等的角度相交，并且其他几何特征已经在上文中详细描述。组件1002可以是或可以包括用于所述访问的装置。所述装置可以包括耦合到存储器1014、收发器1012和立体显示器(stereographic display)1016的处理器1010，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如，使用实时VR渲染应用程序或其组件打开数据文件或连接到数据流，其中数据文件以渲染应用程序或组件可读的格式定义虚拟中心和辅助屏幕的3D几何形状。
设备1000可以进一步包括用于使用VR头戴式耳机的立体显示系统显示虚拟扩展视频数据的电子组件1004。组件1004可以是或可以包括用于所述显示的装置。所述装置可以包括耦合到存储器1014和传感器(未示出)的处理器1010，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如，接收来自VR显示设备的一个或更多个传感器的输出、基于传感器输出改变渲染视点，以及基于渲染视点、虚拟屏幕几何形状、扩展视频数据和其他渲染参数实时渲染扩展视频内容的一个或更多个视频帧。
设备1000可以可选地包括具有至少一个处理器的处理器模块1010。处理器1010可以经由总线1013或类似的通信耦合与模块1002-1004进行操作性通信。处理器1010可以实现由电子组件1002-1004执行的过程或功能的启动和调度。
在相关方面，设备1000可以包括网络接口模块(未示出)，其可操作用于代替收发器1012或者除了收发器1012之外通过计算机网络与系统组件通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)。在进一步的相关方面，设备1000可以可选地包括用于存储信息的模块，诸如，例如存储器装置1014。计算机可读介质或存储器模块1014可以经由总线1013等可操作地耦合到设备1000的其他组件。存储器模块1014可以适于存储计算机可读指令和数据，其用于实现模块1002-1004及其子组件或处理器1010或方法900以及本文中结合方法900公开的一个或更多个附加操作的过程和行为。存储器模块1014可以保留用于执行与模块1002-1004相关联的功能的指令。虽然示出为在存储器1014外部，但是应该理解，模块1002-1004可以存在于存储器1014内。
设备1000可以包括数据输入/输出组件1012，例如，用于向另一系统组件发送通信信号和从另一系统组件接收通信信号的无线发送器/接收器、有线发送器/接收器、传感器阵列或网络接口中的任一个或更多个。在替代实施例中，处理器1010可以包括来自通过计算机网络进行操作的装置的联网微处理器。另外，设备1000可以包括用于显示沉浸式内容的立体显示器或其他沉浸式显示装置1016。立体显示装置1016可以是或可以包括如上文中所述的或者如本领域中以其他方式已知的任何合适的立体AR或VR输出装置。
本领域技术人员将进一步了解，结合本文中所公开的方面进行描述的各种说明性逻辑块、模块、电路和算法步骤可实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面对各种说明性的组件、块、模块、电路和步骤进行了总体描述。将此功能实现为硬件还是软件取决于特定应用和强加于整个系统的设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能，但是此类实现决策不应被解释为导致脱离本公开的范围。
如在本申请中所使用的，术语“组件”、“模块”、“系统”等旨在指代与计算机相关的实体、硬件、硬件和软件的组合、软件或执行中的软件。例如，组件或模块可以是但不限于是在处理器上运行的过程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。举例来说，在服务器上运行的应用程序和服务器都可以是组件或模块。一个或更多个组件或模块可以驻留在过程和/或执行的线程内，并且组件或模块可以位于一个计算机上和/或分布在两个或更多个计算机之间。
将根据可包括多个组件、模块等的系统来呈现各个方面。应理解和了解，各种系统可包括额外组件、模块等，和/或可不包括结合附图所讨论的所有组件、模块等。也可以使用这些方法的组合。本文公开的各个方面可以在电子装置上执行，包括利用触摸屏显示技术、抬头(head-up)用户界面、可穿戴界面和/或鼠标和键盘类型界面的装置。此类装置的示例包括VR输出装置(例如，VR头戴式耳机)、AR输出装置(例如，AR头戴式耳机)、计算机(台式机和移动计算机)、智能手机、个人数字助理(PDA)以及有线和无线的其他电子装置。
此外，结合本文中所公开的方面而描述的各种说明性逻辑块、模块和电路可用以下来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立/离散门或晶体管逻辑、分立硬件组件或设计成执行本文所述的功能的其任何组合。通用处理器可以是微处理器，但是在替代方案中，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器还可以实现为计算装置的组合，例如DSP和微处理器的组合、多个微处理器、结合DSP内核的一个或更多个微处理器，或任何其他此类配置。
本文所公开的操作方面可直接体现于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、数字通用盘(DVD)、Blu-rayTM或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器，使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代方案中，存储介质可以集成到处理器。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在客户端装置或服务器中。在替代方案中，处理器和存储介质可以作为分立组件驻留在客户端装置或服务器中。
此外，一个或更多个版本可以被实现为使用标准编程和/或工程技术来产生软件，固件，硬件或其任意组合以控制计算机以实现所公开的方面的方法，装置或制品。非暂时性计算机可读介质可以包括但不限于磁存储装置(例如硬盘，软盘，磁条或其他格式)，光学盘(例如光盘(CD)，DVD，Blu-rayTM)或其他格式)，智能卡和闪存装置(例如卡，记忆棒或其他格式)。当然，本领域技术人员将认识到，可以在不脱离所公开方面的范围的情况下对该配置进行许多修改。
提供先前对所公开方面的描述以使本领域技术人员能够制作或使用本公开。对于本领域技术人员来说，对这些方面的各种修改是明显的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实施例。因此，本公开不旨在限于本文中所示的实施例，而是与符合本文中公开的原理和新颖特征的最宽范围相一致。
鉴于上文描述的示例性系统，已经参考若干流程图描述了可以根据所公开的主题实现的方法。虽然为了简化说明的目的，将方法示出并描述为一系列块，但应理解和了解，所要求保护的主题不受块的顺序限制，因为一些块可以以不同的顺序出现，和/或与本文描绘和描述的其他块同时出现。此外，可能不需要所有示出的块来实现本文描述的方法。另外，应进一步了解，本文所公开的方法能够存储在制品上以促进将此类方法传送和转移到计算机。

Claims (22)

1.一种用于变换扩展视频数据以在虚拟现实中显示的方法，所述方法包括：
接收用于在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示的数字扩展视频数据；
由执行渲染应用程序的计算机访问定义包括虚拟中心屏幕和虚拟辅助屏幕的虚拟屏幕的数据，其中所述虚拟辅助屏幕中的每个在其各自的区域中心处的切线与所述虚拟中心屏幕在其区域中心处的切线在75度至105度的范围内以相等的角度相交，所述虚拟屏幕中的每个的特征在于在平行于每个虚拟屏幕的顶部边缘和底部边缘的平面中具有圆柱形曲率半径“R”，并且具有1至4的范围内的比率R/z2，其中“z2”指示所述虚拟屏幕中的每个的高度；
访问定义虚拟地板平面的进一步的数据，所述虚拟地板平面平行于每个虚拟屏幕的所述底部边缘并位于所述底部边缘下方距离“z1”，其中z1等于或不超出0.9*z2的20％；
至少部分地通过在所述虚拟屏幕中的对应虚拟屏幕上渲染所述数字扩展视频来准备虚拟扩展视频数据；以及
将所述虚拟扩展视频数据保存在计算机存储器中。
2.根据权利要求1所述的方法，其中定义所述虚拟屏幕的所述数据进一步将所述虚拟辅助屏幕中的每个定义为在其各自的中心处具有平行切线。
3.根据权利要求1所述的方法，其中定义所述虚拟屏幕的所述数据进一步定义所述虚拟屏幕中的每个具有沿所述切线中的其相应切线测量的宽度“W”，使得比率W/z2在1.8至3.6的范围内。
4.根据权利要求3所述的方法，其中定义所述虚拟屏幕的所述数据进一步定义所述虚拟辅助屏幕彼此面对并且在其各自的区域中心处间隔开测量的距离“2C”，其中2C/W的比率在1至1.5的范围内。
5.根据权利要求1所述的方法，其中定义所述虚拟屏幕的所述数据进一步定义所述虚拟屏幕的中的每个的特征在于具有带有共同中心的球面曲率半径。
6.一种用于变换扩展视频数据以在虚拟现实中显示的设备，包括：
处理器、耦合到所述处理器的存储器以及耦合到所述处理器的立体显示装置，其中所述存储器保存指令，所述指令在由所述处理器执行时使所述设备执行以下操作：
接收用于在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示的数字扩展视频数据；
由执行渲染应用程序的计算机访问定义包括虚拟中心屏幕和虚拟辅助屏幕的虚拟屏幕的数据，其中所述虚拟辅助屏幕中的每个在其各自的区域中心处的切线与所述虚拟中心屏幕在其区域中心处的切线在75度至105度的范围内以相等的角度相交，所述虚拟屏幕中的每个的特征在于在平行于每个虚拟屏幕的顶部边缘和底部边缘的平面中具有圆柱形曲率半径“R”，并且具有1至4的范围内的比率R/z2，其中“z2”指示所述虚拟屏幕中的每个的高度；
访问定义虚拟地板平面的进一步的数据，所述虚拟地板平面平行于每个虚拟屏幕的所述底部边缘并位于所述底部边缘下方距离“z1”，其中z1等于或不超出0.9*z2的20％；
至少部分地通过在所述虚拟屏幕中的对应虚拟屏幕上渲染所述数字扩展视频来准备虚拟扩展视频数据；以及
将所述虚拟扩展视频数据保存在计算机存储器中。
7.根据权利要求6所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令将所述虚拟辅助屏幕中的每个定义为在其各自的中心处具有平行切线。
8.根据权利要求6所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令定义所述虚拟屏幕中的每个具有沿所述切线中的其相应切线测量的宽度“W”，使得比率W/z2在1.8至3.6的范围内。
9.根据权利要求6所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令定义所述虚拟辅助屏幕彼此面对并且在其各自的区域中心处间隔开测量的距离“2C”，其中2C/W的比率在1至1.5的范围内。
10.根据权利要求6所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令定义所述虚拟屏幕的中的每个的特征在于具有带有共同中心的球面曲率半径。
11.一种计算机可读介质，其编码有指令，所述指令在由处理器执行时使得用于变换扩展视频数据以在虚拟现实中显示的设备执行以下操作
接收用于在真实扩展视频电影的中心屏幕和两个辅助屏幕上显示的数字扩展视频数据；
由执行渲染应用程序的计算机访问定义包括虚拟中心屏幕和虚拟辅助屏幕的虚拟屏幕的数据，其中所述虚拟辅助屏幕中的每个在其各自的区域中心处的切线与所述虚拟中心屏幕在其区域中心处的切线在75度至105度的范围内以相等的角度相交，所述虚拟屏幕中的每个的特征在于在平行于每个虚拟屏幕的顶部边缘和底部边缘的平面中具有圆柱形曲率半径“R”，并且具有1至4的范围内的比率R/z2，其中“z2”指示所述虚拟屏幕中的每个的高度；
访问定义虚拟地板平面的进一步的数据，所述虚拟地板平面平行于每个虚拟屏幕的所述底部边缘并位于所述底部边缘下方距离“z1”，其中z1等于或不超出0.9*z2的20％；
至少部分地通过在所述虚拟屏幕中的对应虚拟屏幕上渲染所述数字扩展视频来准备虚拟扩展视频数据；以及
将所述虚拟扩展视频数据保存在计算机存储器中。
12.一种用于处理扩展视频数据以由虚拟现实显示设备显示的方法，所述方法包括：
由虚拟现实显示设备访问用于显示的虚拟扩展视频数据，其定义包括虚拟中心屏幕和虚拟辅助屏幕的虚拟屏幕，其中所述虚拟辅助屏幕中的每个在其各自的区域中心处的切线与所述虚拟中心屏幕在其区域中心处的切线在75度至105度的范围内以相等的角度相交，所述虚拟屏幕中的每个的特征在于在平行于每个虚拟屏幕的顶部边缘和底部边缘的平面中具有圆柱形曲率半径“R”，并且具有1至4的范围内的比率R/z2，其中“z2”指示所述虚拟屏幕中的每个的高度；
访问定义虚拟地板平面的进一步的数据，所述虚拟地板平面平行于每个虚拟屏幕的所述底部边缘并位于所述底部边缘下方距离“z1”，其中z1等于或不超出0.9*z2的20％；以及
使用VR头戴式耳机的立体显示系统显示所述虚拟扩展视频数据。
13.根据权利要求12所述的方法，其中定义所述虚拟屏幕的所述数据进一步定义所述虚拟辅助屏幕中的每个的所述切线是平行的。
14.根据权利要求12所述的方法，其中定义所述虚拟屏幕的所述数据进一步定义所述虚拟屏幕中的每个具有沿所述切线中的其相应切线测量的宽度“W”，使得比率W/z2在1.8至3.6的范围内。
15.根据权利要求14所述的方法，其中定义所述虚拟屏幕的所述数据进一步定义所述虚拟辅助屏幕彼此面对并且在其各自的区域中心处间隔开测量的距离“2C”，其中2C/W的比率在1至1.5的范围内。
16.根据权利要求12所述的方法，其中定义所述虚拟屏幕的所述数据进一步定义所述虚拟屏幕的中的每个的特征在于具有带有共同中心的球面曲率半径。
17.一种用于处理扩展视频数据以由虚拟现实显示设备显示的设备，包括：
处理器、耦合到所述处理器的存储器以及耦合到所述处理器的立体显示装置，其中所述存储器保存指令，所述指令在由所述处理器执行时使所述设备执行：
访问用于显示的虚拟扩展视频数据，其定义包括虚拟中心屏幕和虚拟辅助屏幕的虚拟屏幕，其中所述虚拟辅助屏幕中的每个在其各自的区域中心处的切线与所述虚拟中心屏幕在其区域中心处的切线在75度至105度的范围内以相等的角度相交，所述虚拟屏幕中的每个的特征在于在平行于每个虚拟屏幕的顶部边缘和底部边缘的平面中具有圆柱形曲率半径“R”，并且具有1至4的范围内的比率R/z2，其中“z2”指示所述虚拟屏幕中的每个的高度；
访问定义虚拟地板平面的进一步的数据，所述虚拟地板平面平行于每个虚拟屏幕的所述底部边缘并位于所述底部边缘下方距离“z1”，其中z1等于或不超出0.9*z2的20％；以及
使用VR头戴式耳机的立体显示系统显示所述虚拟扩展视频数据。
18.根据权利要求17所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令定义所述虚拟辅助屏幕中的每个的定向，使得其切线是平行的。
19.根据权利要求17所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令定义所述虚拟屏幕中的每个具有沿所述切线中的其相应切线测量的宽度“W”，使得比率W/z2在1.8至3.6的范围内。
20.根据权利要求19所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令定义所述虚拟辅助屏幕彼此面对并且在其各自的区域中心处间隔开测量的距离“2C”，其中2C/W的比率在1至1.5的范围内。
21.根据权利要求17所述的设备，其中所述存储器保存进一步的指令，所述进一步的指令定义所述虚拟屏幕的中的每个的特征在于具有带有共同中心的球面曲率半径。
22.一种计算机可读介质，其编码有指令，所述指令在由处理器执行时使得用于处理扩展视频数据以由虚拟现实显示设备显示的设备执行：
访问用于显示的虚拟扩展视频数据，其定义包括虚拟中心屏幕和虚拟辅助屏幕的虚拟屏幕，其中所述虚拟辅助屏幕中的每个在其各自的区域中心处的切线与所述虚拟中心屏幕在其区域中心处的切线在75度至105度的范围内以相等的角度相交，所述虚拟屏幕中的每个的特征在于在平行于每个虚拟屏幕的顶部边缘和底部边缘的平面中具有圆柱形曲率半径“R”，并且具有1至4的范围内的比率R/z2，其中“z2”指示所述虚拟屏幕中的每个的高度；
访问定义虚拟地板平面的进一步的数据，所述虚拟地板平面平行于每个虚拟屏幕的所述底部边缘并位于所述底部边缘下方距离“z1”，其中z1等于或不超出0.9*z2的20％；以及
使用VR头戴式耳机的立体显示系统显示所述虚拟扩展视频数据。
CN201880023210.9A 2017-02-03 2018-02-02 在虚拟现实中渲染扩展视频 Active CN110506419B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762454625P 2017-02-03 2017-02-03
US62/454,625 2017-02-03
PCT/US2018/016676 WO2018144890A1 (en) 2017-02-03 2018-02-02 Rendering extended video in virtual reality

Publications (2)

Publication Number Publication Date
CN110506419A CN110506419A (zh) 2019-11-26
CN110506419B true CN110506419B (zh) 2021-12-28

Family

ID=63041156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880023210.9A Active CN110506419B (zh) 2017-02-03 2018-02-02 在虚拟现实中渲染扩展视频

Country Status (5)

Country Link
US (2) US11070781B2 (zh)
EP (1) EP3577896A4 (zh)
KR (1) KR102434497B1 (zh)
CN (1) CN110506419B (zh)
WO (1) WO2018144890A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216974B2 (en) * 2017-12-14 2022-01-04 Samsung Electronics Co., Ltd. Staring distance determination method and device
US11036048B2 (en) * 2018-10-03 2021-06-15 Project Whitecard Digital Inc. Virtual reality system and method for displaying on a real-world display a viewable portion of a source file projected on an inverse spherical virtual screen
KR102166106B1 (ko) * 2018-11-21 2020-10-15 스크린엑스 주식회사 가상 카메라를 활용한 다면 영상 생성 방법 및 시스템
WO2021080593A1 (en) * 2019-10-25 2021-04-29 Future Sync Int'l Ltd. Image displaying system and image displaying method
CN114286142B (zh) * 2021-01-18 2023-03-28 海信视像科技股份有限公司 一种虚拟现实设备及vr场景截屏方法
KR102415454B1 (ko) 2022-01-24 2022-07-05 헬리오센 주식회사 Xr을 이용한 무한공간 구현 및 컨트롤 제어 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067593A (zh) * 2008-03-26 2011-05-18 思科技术公司 虚拟圆桌视频会议
CN105094734A (zh) * 2015-07-27 2015-11-25 联想(北京)有限公司 一种可弯曲屏幕的控制方法和电子设备
CN205246972U (zh) * 2015-12-18 2016-05-18 北京蚁视科技有限公司 具有眼球同步显示功能的头戴式近眼显示装置
US9396588B1 (en) * 2015-06-30 2016-07-19 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality virtual theater system
WO2016116833A1 (ja) * 2015-01-22 2016-07-28 株式会社半導体エネルギー研究所 表示装置及び電子機器

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745117B2 (ja) * 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
US6690337B1 (en) * 1999-06-09 2004-02-10 Panoram Technologies, Inc. Multi-panel video display
US6795972B2 (en) * 2001-06-29 2004-09-21 Scientific-Atlanta, Inc. Subscriber television system user interface with a virtual reality media space
EP1727093A1 (en) * 2003-12-19 2006-11-29 Tdvision Corporation S.A. DE C.V. 3d videogame system
US7784937B2 (en) * 2007-06-05 2010-08-31 Digital Vision, Inc. System and method of surfacing a lens, such as a lens for use with eyeglasses
US9812096B2 (en) 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
CN102106152A (zh) * 2008-07-24 2011-06-22 皇家飞利浦电子股份有限公司 通用3-d画面格式
CN102686935B (zh) * 2009-12-21 2014-09-03 马丁专业公司 具有互补中心透镜和外围透镜的集光器
US9258541B2 (en) * 2010-08-17 2016-02-09 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9532027B2 (en) * 2011-05-27 2016-12-27 Warner Bros. Entertainment Inc. Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery
WO2013106243A1 (en) * 2012-01-12 2013-07-18 West Kanye Omari Multiple screens for immersive audio/video experience
US10649613B2 (en) * 2012-06-07 2020-05-12 Wormhole Labs, Inc. Remote experience interfaces, systems and methods
KR101305249B1 (ko) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 다면 상영 시스템
EP2987027B1 (en) * 2013-04-16 2018-12-12 Imax Corporation Dual projection in short screen distance
JP2015075516A (ja) * 2013-10-07 2015-04-20 ソニー株式会社 画像処理装置、画像処理方法、および表示装置
KR20150068299A (ko) * 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
US9787958B2 (en) * 2014-09-17 2017-10-10 Pointcloud Media, LLC Tri-surface image projection system and method
US20160286195A1 (en) * 2014-10-31 2016-09-29 Josh Lehman Engine, system and method for providing three dimensional content and viewing experience for same
CN106663411A (zh) * 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
US9898861B2 (en) * 2014-11-24 2018-02-20 Pointcloud Media Llc Systems and methods for projecting planar and 3D images through water or liquid onto a surface
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
US9690103B2 (en) * 2015-02-16 2017-06-27 Philip Lyren Display an image during a communication
EP3067857A1 (en) * 2015-03-13 2016-09-14 Thomson Licensing Method and device for processing a peripheral image
US9607428B2 (en) * 2015-06-30 2017-03-28 Ariadne's Thread (Usa), Inc. Variable resolution virtual reality display system
US10127725B2 (en) * 2015-09-02 2018-11-13 Microsoft Technology Licensing, Llc Augmented-reality imaging
AU2016336030B2 (en) * 2015-10-06 2021-03-04 Blinxel Pty Ltd Volumetric depth video recording and playback
WO2017062289A1 (en) * 2015-10-08 2017-04-13 Pcms Holdings, Inc. Methods and systems of automatic calibration for dynamic display configurations
US10249091B2 (en) * 2015-10-09 2019-04-02 Warner Bros. Entertainment Inc. Production and packaging of entertainment data for virtual reality
US10511895B2 (en) * 2015-10-09 2019-12-17 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality
US9479732B1 (en) * 2015-11-10 2016-10-25 Irobot Corporation Immersive video teleconferencing robot
US10372289B2 (en) * 2015-12-31 2019-08-06 Beijing Pico Technology Co., Ltd. Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method
US9990775B2 (en) * 2016-03-31 2018-06-05 Verizon Patent And Licensing Inc. Methods and systems for point-to-multipoint delivery of independently-controllable interactive media content
WO2017187692A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3452991A4 (en) * 2016-05-02 2020-01-08 Warner Bros. Entertainment Inc. GEOMETRY ADJUSTMENT IN VIRTUAL REALITY AND EXTENDED REALITY
US10460497B1 (en) * 2016-05-13 2019-10-29 Pixar Generating content using a virtual environment
US10453272B2 (en) * 2016-05-29 2019-10-22 Google Llc Time-warping adjustment based on depth information in a virtual/augmented reality system
EP3465331A4 (en) * 2016-06-06 2020-01-29 Warner Bros. Entertainment Inc. MIXED REALITY SYSTEM
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
KR102071108B1 (ko) * 2016-08-11 2020-01-29 최해용 가상현실 스포츠 펍 시스템
CN109716386A (zh) * 2016-10-06 2019-05-03 Kai股份公司 利用多个相机获得最佳球形影像的方法
US10438418B2 (en) * 2016-12-08 2019-10-08 Colopl, Inc. Information processing method for displaying a virtual screen and system for executing the information processing method
US20180164952A1 (en) * 2016-12-12 2018-06-14 Lenovo (Beijing) Co., Ltd. Virtual interface display method, electronic device, and apparatus
KR101772904B1 (ko) * 2017-01-19 2017-09-12 한국과학기술원 몰입형 극장 시스템의 콘텐츠 시점 왜곡에 대한 실시간 보정방법 및 보정장치
CN110447224B (zh) * 2017-03-07 2022-03-22 8259402加拿大有限公司 在显示器中控制虚像的方法
US11882267B2 (en) * 2017-04-11 2024-01-23 Dolby Laboratories Licensing Corporation Adapting video images for wearable devices
US11363250B2 (en) * 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Augmented 3D entertainment systems
US10503457B2 (en) * 2017-05-05 2019-12-10 Nvidia Corporation Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
US10289193B2 (en) * 2017-05-18 2019-05-14 DISH Technologies L.L.C. Use of virtual-reality systems to provide an immersive on-demand content experience
US10165326B1 (en) * 2017-05-31 2018-12-25 International Business Machines Corporation Technological facilitation of virtual in-venue experience for remote spectator(s) of an event
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
EP3531244A1 (en) * 2018-02-26 2019-08-28 Thomson Licensing Method, apparatus and system providing alternative reality environment
US10659771B2 (en) * 2017-07-13 2020-05-19 Google Llc Non-planar computational displays
WO2019044188A1 (ja) * 2017-08-29 2019-03-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11176748B2 (en) * 2017-12-19 2021-11-16 Sony Interactive Entertainment Inc. Image processing apparatus, image processing method, and program
JP6981326B2 (ja) * 2018-03-22 2021-12-15 富士通株式会社 情報処理装置、表示システム及びウィンドウ配置プログラム
EP3758370A4 (en) * 2018-04-05 2021-03-31 Samsung Electronics Co., Ltd. PROCESS AND DEVICE FOR TRANSMISSION OF INFORMATION ON THREE-DIMENSIONAL CONTENT INCLUDING MULTIPLE POINTS OF VIEW
US10520739B1 (en) * 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
WO2020060749A1 (en) * 2018-09-17 2020-03-26 Snap Inc. Creating shockwaves in three-dimensional depth videos and images
AU2019377829A1 (en) * 2018-11-06 2021-05-27 Lucasfilm Entertainment Company Ltd. Immersive content production system
WO2020181088A1 (en) * 2019-03-07 2020-09-10 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data
JP2022549853A (ja) * 2019-09-27 2022-11-29 マジック リープ， インコーポレイテッド 共有空間内の個々の視認

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102067593A (zh) * 2008-03-26 2011-05-18 思科技术公司 虚拟圆桌视频会议
WO2016116833A1 (ja) * 2015-01-22 2016-07-28 株式会社半導体エネルギー研究所 表示装置及び電子機器
US9396588B1 (en) * 2015-06-30 2016-07-19 Ariadne's Thread (Usa), Inc. (Dba Immerex) Virtual reality virtual theater system
CN105094734A (zh) * 2015-07-27 2015-11-25 联想(北京)有限公司 一种可弯曲屏幕的控制方法和电子设备
CN205246972U (zh) * 2015-12-18 2016-05-18 北京蚁视科技有限公司 具有眼球同步显示功能的头戴式近眼显示装置

Also Published As

Publication number Publication date
EP3577896A1 (en) 2019-12-11
US11503265B2 (en) 2022-11-15
US20200162713A1 (en) 2020-05-21
EP3577896A4 (en) 2020-11-25
US11070781B2 (en) 2021-07-20
WO2018144890A1 (en) 2018-08-09
KR20190112799A (ko) 2019-10-07
CN110506419A (zh) 2019-11-26
US20220014724A1 (en) 2022-01-13
KR102434497B1 (ko) 2022-08-18

Similar Documents

Publication Publication Date Title
CN110506419B (zh) 在虚拟现实中渲染扩展视频
JP6518582B2 (ja) 情報処理装置および操作受付方法
JP7165215B2 (ja) 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム
US10078366B2 (en) Head-mountable apparatus and system
CN116324580A (zh) 具有柔性框架的眼戴设备的几何形状建模
US11743645B2 (en) Method and device for sound processing for a synthesized reality setting
US20210058611A1 (en) Multiviewing virtual reality user interface
US11763517B1 (en) Method and device for visualizing sensory perception
US20230262406A1 (en) Visual content presentation with viewer position-based audio
US20230334794A1 (en) Presenting Communication Data Based on Environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant