CN108475180B - 在多个显示区域之间分布视频 - Google Patents

在多个显示区域之间分布视频 Download PDF

Info

Publication number
CN108475180B
CN108475180B CN201680074250.7A CN201680074250A CN108475180B CN 108475180 B CN108475180 B CN 108475180B CN 201680074250 A CN201680074250 A CN 201680074250A CN 108475180 B CN108475180 B CN 108475180B
Authority
CN
China
Prior art keywords
display
display area
electronic device
video
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680074250.7A
Other languages
English (en)
Other versions
CN108475180A (zh
Inventor
J·C·高登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108475180A publication Critical patent/CN108475180A/zh
Application granted granted Critical
Publication of CN108475180B publication Critical patent/CN108475180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/02—Composition of display devices
    • G09G2300/026—Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens

Abstract

一种用于在配备有至少一个相机的显示系统中分布视频的方法。视频被分布在能相对于彼此移动的多个显示区域之间。该方法包括用相机光学地获取启用显示器的电子设备的显示区域的校准图像。该方法包括基于该校准图像计算响应于显示区域相对于相机的尺寸、位置和朝向的坐标变换，该坐标变换能用于在显示区域上实现视频渲染。该方法包括向启用显示器的电子设备传送以下中的一者或多者：坐标变换以及基于该坐标变换而被渲染以供显示在显示区域上的视频。

Description

在多个显示区域之间分布视频
背景
许多台式计算机用户熟悉跨两台或多台计算机显示器来“扩展桌面”。尽管该特征可帮助用户创建更舒适的工作环境，但它不会使得用户能够使用常规显示硬件来可视化3D环境。此外，即使是使平面桌面跨若干监视器扩展的简单操作，也要求由用户进行初始的手动设置，并且每次监视器被移出位置时都必需重复进行调整。如果该手动设置过程被扩展到三维——其中每台监视器都具有独立且动态可变的位置、缩放和朝向——则对用户的配置负担将是显著的。
概述
本公开的一个方面涉及一种用于在配备有至少一个相机的显示系统中分布视频的方法。视频被分布在能相对于彼此移动的多个显示区域之间。该方法包括用相机光学地获取启用显示器的电子设备的显示区域的校准图像。该方法包括基于该校准图像计算响应于显示区域相对于相机的尺寸、位置和朝向的坐标变换，该坐标变换能用于在显示区域上实现视频渲染。该方法包括向启用显示器的电子设备传送以下中的一者或多者：坐标变换以及基于该坐标变换而被渲染以供显示在显示区域上的视频。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了用于在能相对于彼此移动的多个显示区域之间分布视频的示例显示系统的各方面。
图2示出了显示系统的示例启用显示器的电子设备的各方面。
图3A和3B示出了附加的示例启用显示器的电子设备和相关联的显示区域的各方面。
图4示出了使用显示系统的示例电子设备的相机的用户有利位置(vantage-point)感测的各方面。
图5示出了用于在显示系统中的多个显示区域之间分布视频的示例方法的各方面。
图6示出了与图5的方法相关联的示例校准图案的各方面。
详细描述
在世界空间中配置多显示器渲染上下文是极易出错且手动的过程，这可能会让用户感到沮丧。在个人计算机(PC)操作系统中，一个熟悉的(如果简化的话)示例是多显示器配置，其中多个显示器像墙上的瓦块一样被布置。这种平铺不仅要求初始的手动配置，以及每次监视器被移到时的重新配置，而且它也无法支持“沉浸式”体验。
本文中所公开的技术使得显示系统中的电子设备能够相互检测并且自动地建模每台设备在3D世界空间中的相对位置和朝向。这支持了沉浸式体验，在沉浸式体验中显示内容跨多个显示器被平滑地渲染，就好像它们是进入虚拟3D世界的窗口一样。更具体而言，该技术使得具有面向前方的相机的两台或更多台设备能够将显示内容用作广播信号且将相机中的每一个用作接收器来自动地检测彼此并且跟踪它们的相对朝向。靠近彼此布置的设备可以“组队”，以无缝地产生一致的用户体验，就像它们是相同系统的一部分一样。此外，投影表面可自动地延伸其自身，其中集成的或相关联的相机被用来捕捉环境的特定区域的尽可能最佳的图像，或被用来从具有交叠的相机覆盖的区域重建深度信息。
图1示出了其中视频经由显示系统12显示的示例环境10的各方面。显示系统被配置成在环境中的多个显示区域之间分布视频。在图1中，该环境是其中单个用户14正在观看视频的内部生活空间。在该情形中，视频包括奇异的虚拟现实(VR)显示图像16。在其它场景中，该环境可以是具有两个或更多个用户的外部空间。同样，视频不受特别限制，并且可包括用于个人计算机(PC)的逼真的电影视频、游戏视频或图形用户界面(GUI)等。
图1的显示系统12包括多个分开的电子设备18：电子设备18A、电子设备18B和电子设备18C。其它显示器-系统实现可包括更多或更少的电子设备。图2中所示意性地示出的，电子设备18中的每一个可包括以下组件中的一些或全部：相机20(例如，相机20A、20B、20C)、显示器22、计算机25、通信机26、视频渲染机28和扬声器29。该种类的示例电子设备包括控制台游戏系统、台式(例如，一体式)PC、膝上型PC、平板计算机、智能电话、手持式游戏系统和近眼全息显示系统等等。尽管在相同的电子设备中具有相机和显示器功能两者是有实用性的，但是一些显示器-系统实现可包括具有相机但不具有显示器的至少一个电子设备、和/或具有显示器但不具有相机的至少一个电子设备。具有相机但不具有显示器的合适电子设备的一个非限制性示例是外围机器-视觉组件，诸如来自华盛顿州雷德蒙德的微软公司的
Figure BDA0001698318540000031
具有显示器但不具有相机的可用电子设备的一个非限制性示例是外围显示投影仪。在下文中，具有相机的电子设备被认为是“启用相机的”；具有显示器的电子设备被认为是“启用显示器的”；具有扬声器的电子设备被认为是“启用音频的”。
继续参考图2，电子设备18的显示器22包括背光23和液晶显示器(LCD)矩阵24。背光可包括发光二极管(LED)(例如白色LED)的集合。背光可被配置以便引导其发射穿过LCD矩阵，该LCD微显示器基于来自计算系统25的控制信号来形成显示图像。LCD矩阵可包括布置于矩形网格或其它几何形状上的众多可单独寻址的像素。在一些实施例中，发射红光的像素可与发射绿和蓝光的像素并置，使得LCD矩阵形成彩色图像。在其它实施例中，反射型硅上液晶(LCOS)矩阵或数字微镜阵列可被用于代替LCD矩阵。替代地，有源LED、电子墨水(e-ink)、全息、阴极射线管(CRT)或扫描光束(scanned-beam)显示器可被用来形成显示图像。具有近眼显示器的电子设备可使用以上所描述的任何技术来结合分开的右和左显示组件。此类组件可进一步结合光束转向(beam-turning)光学器件，这些光学器件将每个显示图像呈现为与通过光学器件看到的现实影像混合的虚拟图像。替代地，近眼显示器可结合如以上所描述的单个显示面板，但是延伸到两只眼睛之上。
电子设备18的通信机26可提供有线或无线网络接入，使得电子设备能够与显示系统12中的一个或多个其它电子设备和/或显示系统外部的联网设备(包括能通过互联网访问的设备)进行通信。电子设备的视频渲染机28可被配置成渲染视频以用于与该设备相关联的显示器22，或者在合适的情况下用于与显示系统12的另一电子设备相关联的显示器。视频渲染机可例如包括通用微处理器或图形处理单元(GPU)。一些电子设备18还可包括包含磁力计、陀螺仪和/或加速度计的惯性测量单元(IMU)30。IMU可被配置成为其中它被安装的电子设备提供地面参考和移动数据。
术语“相机”在本文中指的是具有被配置成对场景或对象进行成像的至少一个光学光圈和传感器阵列的任何机器-视觉组件。电子设备18的相机20可包括平面成像(flat-imaging)单色或彩色相机。在一些实现中，相机还可包括深度成像相机。深度成像相机可被配置成获取场景或对象的深度图的时间分辨的序列。如在此所使用的，术语“深度图”指与成像场景的对应区域(Xi,Yi)配准的像素阵列，其中深度值Zi指示针对每个像素的对应区域的深度。“深度”被定义为与相机的光轴平行的坐标，该坐标随着距相机的距离的增加而增加。操作上，深度成像相机可被配置成获取2D图像数据，根据这些2D图像数据经由下游处理获得深度图。术语“深度视频”本文中指的是深度图的时间分辨的序列。
深度成像相机的配置可因实施方式而异。在一个示例中，来自深度成像相机中的两个实立体镜地(stereoscopically)定向的成像阵列的亮度或颜色数据可被共同配准并用于构造深度图。更一般而言，进入场景的深度坐标可使用一个或多个平面成像相机、利用成像特征的基于光学断层摄影术(optical-tomography)的协配准而被获得。高光谱平面成像可为了改善的特征辨别而与该办法一起使用。在其它示例中，与深度成像相机相关联的照明源可被配置成将包括多个离散特征(例如，线或点)的结构化红外照明图案投影到主体上。该深度成像相机中的成像阵列可被配置成对从该主体反射回的结构化照明进行成像。基于所成像的主体的各个区域中的毗邻特征之间的间隔，可构造该主体的深度图。在又一其它示例中，照明源可以将脉冲IR或NIR照明投向主体。深度-成像相机中的一对成像阵列可被配置成检测从主体反射回的脉冲照明。这两个阵列均可包括与脉冲照明同步的电子快门，但这两个阵列的积分时间(integration time)可不同，使得脉冲照明的从照明源到主体再接着到这两个阵列的像素解析的飞行时间(ToF)可基于在这两个阵列的相应元素中接收到的相对光的量来区别开来。
在一些实现中，分立的平面成像和深度成像相机可布置有以相同方向定向的平行光轴。在一些实现中，来自平面成像和深度成像相机的图像或视频输出可被协配准并被组合成统一(例如，RGB+深度)数据结构或流。在其中深度成像相机是适当配置的ToF深度成像相机的示例中，表示深度和亮度两者(例如，IR+深度)的数据流可通过组合相位上不同的输出来获得。
现在回到图1，显示系统12的每个启用显示器的电子设备18与对应的显示区32(例如，显示区域32A、32B和32C)相关联。图3A和3B示出了附加的启用显示器的电子设备18D/18E和相关联的显示区域32D/32E。对于具有显示屏的电子设备，显示区域与显示屏重合。对于现实图像投影设备，显示区域可被布置在墙壁或其它对象上。对于虚拟图像投影设备(包括全息、近眼显示器)，显示区域可以是被定位在用户前方的3D形状。在图3B中，电子设备18E提供右和左两个显示区域，但是在附图中仅示出了左显示区域。在一些实现中，显示区域可以是弯曲的或不规则成形的。
在一些实现中，启用显示器的电子设备18的相机20可被用来确定用户14相对于与该设备相关联的显示区域32的有利位置。例如，在图4所示的配置中，电子设备18包括轴上照明源34和轴外照明源36。每个照明源发射相机20的高灵敏度波长频带中的红外(IR)或近红外(NIR)照明。计算系统25可被配置成使用来自相机的输出来跟踪用户的注视轴V或用户有利位置的任何其它替代物。
相对于注视跟踪而言，轴上和轴下照明服务于不同的目的。如图4所示，轴外照明可创建从用户的眼睛的角膜40反射的镜面闪光38。离轴照明也可被用于照亮眼睛以用于“暗瞳”效果，其中瞳孔42显得比周围的虹膜44更暗。相反，来自IR或NIR源的轴上照明可被用于创建“亮瞳”效果，其中瞳孔显得比周围的虹膜更亮。更具体地，来自轴上照明源34的IR或NIR照明照亮眼睛的视网膜46的回射组织，该回射组织将光通过瞳孔反射回去，形成瞳孔的亮图像48。
来自相机20的数字图像数据可被传达到计算系统25中或该计算系统能经由网络访问的远程计算机系统中的相关联的逻辑。在那里，可处理图像数据以便解析如瞳孔中心、瞳孔轮廓、和/或来自角膜的一个或多个镜面闪烁之类的特征。图像数据中的此类特征的位置可被用作模型(例如，多项式模型)中的输入参数，该模型将特征位置与注视轴V相关联。在其中注视轴针对右眼和左眼来被确定的各实施例中，计算系统还可被配置成将用户的焦点计算为右和左注视轴的交叉点。将要注意的是，当极端的渲染准确度非必需时，有利位置可被更简单地定义为用户眼睛或头部的所在处。在该替代方案中，非成像(例如，静电)传感器可被用来确定用户相对于给定显示区域的有利位置。
通常，在游戏系统、一体式PC、膝上型计算机、平板或智能电话中，相机20和显示区域32彼此机械地固定，使得显示区域相对于相机的光轴保持在固定的配准中。在全息3D显示器中，右和左显示区域也同样被配准到相机的视野。然而，由于显示系统12的各种电子设备18通常能相对于彼此移动，所以给定电子设备的显示区域(例如，显示区域32B)通常相对于任何其它电子设备的相机(例如，相机20A)将是能够移动的。该特征对尝试在两个或更多个显示区域之间分布视频的任何显示系统提出空间配准挑战。
图5解说了用于在环境中的多个显示区域之间分布视频的示例方法50。如上所述，该方法可以在多个电子设备的显示系统中实施。相应地，继续参考以上所描述的配置。然而，将注意到的是，图5的方法同样适用于其它配置。
在方法50的52处，视频模型由显示系统12的一个或多个电子设备18来访问。该视频模型定义要由显示系统显示的视频的内容和位置。在一个非常简单的示例中，视频模型可建立以下：文字处理文档窗口要被直接定位在用户的前方，而电子邮件窗口要被定位在用户视野的外围处。在其它示例中，视频模型可建立轨迹，沿着该轨迹根据用户的鼠标移动或手势来拖动GUI对象。在又一些其它示例中，视频模型可通过将全息3D世界中的一个或多个虚拟对象配准到用户的现实环境中的坐标来定义该世界。在图1所示的环境中，例如，视频模型可确定环境10内的龙图像16的尺寸、形式、色彩、纹理、位置、构造和音频发射。该视频模型可被储存在显示系统12的一个或多个电子设备18上或网络上的其它地方和/或从显示系统12的一个或多个电子设备18或网络上的其它地方提供，并且可由显示系统的一个或多个电子设备来访问。在一些实现中，显示系统的一个或多个电子设备可以在过程(例如，游戏)的执行期间构建新的视频模型或以其它方式修改预先存在的视频模型。
在方法50的随后的动作中，视频模型的各部分基于显示区域的尺寸、位置和朝向而被分开地渲染以供显示在显示系统的一个或多个显示区域32上。该办法可被用来为一个或多个显示器-系统用户提供高度沉浸式体验。例如，当以上示例之一中的用户将GUI对象从空间上的一个点拖动到另一点时，当通过各个显示区域查看时，其可显现为遵循适当的轨迹。无论显示区域的尺寸、位置或朝向如何，或者其中的改变如何，都可以体验到该效果。在更为复杂的示例中，在虚拟影像世界被构建在用户周围的情况下，各个显示区域可提供进入该世界的能移动(在一些情形中，手持式)的“窗口”。相应地，在一些实现中，各个显示区域的尺寸、位置和朝向可被实时地更新，并且是以这样的频率被更新的：即使电子设备和相关联的显示区域被重新定位，其上所显示的视频仍然是逼真的。
在一些实现中，为每个显示区32渲染的视频可能对用户的有利位置不敏感。该办法可能适用于能从有限范围的有利位置查看的显示区域，或者显示位于显示区域“深处”的虚拟内容的那些显示区域。然而，在其它实现中，可能期望基于用户相对于附近显示区域的有利位置来修改视频渲染。例如，如果虚拟显示对象应该直接位于PC监视器的显示区后面，则在用户站在监视器的左侧的情况下该对象应该向右偏移，并且在用户站在右侧的情况下向左偏移。相应地，在方法50中，用户相对于给定显示区域的有利位置被实时地确定。在任选步骤54中，例如，响应于用户相对于附近显示区域的有利位置的数据被接收自与该显示区域相关联的电子设备中的传感器。此类数据可以在显示系统的一个或多个其它电子设备(即负责在显示区域上进行视频渲染的设备)中被接收。
方法50包括附加的任选步骤，在这些步骤中其它形式的数据由与给定显示区域相关联的启用显示器的电子设备来提供。在56处，从启用显示器的电子设备接收配置数据。配置数据可包括定义例如显示区域的尺寸的静态数据。在58处，从启用显示器的电子设备的惯性测量单元接收移动数据，例如，响应位置上的变化的3DOF数据或响应于显示区域的位置和朝向上的变化的6DOF数据。通过将移动数据关于时间进行整合，可以计算显示区域的经更新的位置和/或朝向。在60处，地面参考数据被接收自启用显示器的电子设备的惯性测量单元。地面参考数据可用于确定显示系统环境中对应于“水平”和“垂直”的方向。在其中启用显示器的电子设备渲染其自己的视频的实现中，可以在该设备的计算机中接收配置数据、移动数据和地面参考数据。在其它实施例中，此类数据可以从启用显示器的设备的通信机传送并且在负责对显示区域进行视频渲染的电子设备的通信机中被接收。
在一些技术中，显示系统可主要经由来自其启用显示器的设备的IMU数据来跟踪其各个显示区域的位置和朝向。替代地，每个启用显示器的设备可配备有用于跟踪位置和朝向的信标或其它专用硬件。相比而言，本公开在任何启用显示器的电子设备中不要求专用定位硬件。相反，本文中的办法主要是基于视觉的。对IMU和静态配置数据的使用是对基于视觉的办法的任选的细化。
继续参考图5，在方法50的62处，在给定的显示区域上渲染校准图案。可以通过向与该显示区域相关联的启用显示器的电子设备传送校准图案本身(被嵌入在为显示区域上的显示所渲染的视频内容中)或者要在显示区域上渲染校准图案的请求来触发对校准图案的呈现。在其中所渲染的视频被传送到启用显示器的电子设备的实现中，可以使用任何合适的投射协议。当前的示例包括Miracast(基于Wi-Fi的对等无线投射协议)和Chromecast(由加利福尼亚州山景城的谷歌公司开发的投射协议)。在一些实现中，校准图案被呈现以覆盖整个感兴趣的显示区域，以便于对显示系统的启用相机的电子设备可见。校准图案的内容可被配置成用最小的模糊度来定义成像的显示区域的尺寸、位置和朝向中的一者或多者。在一个实现中，校准图案可以是不同着色的矩形框的图案，如图6所示。校准可以以单个视频帧或M个视频帧的连续系列的形式呈现，其中M＝1、2等。在其中各个显示区域在视频会话期间易于被移动的实现中，校准图案可以以预定频率被周期性地重复。例如，可以将校准图案插入到经渲染的视频中，替换视频的每N到N+M-1帧，其中N＝100、1000、5000等。在一些实现中，可以将校准图案数字地加水印到经渲染的视频的一个或多个帧中，而不是替换经渲染的视频。
在64处，呈现校准图案的显示区域的校准图像由显示系统的相机以光学方式获取。如前所述，在校准图像中捕获的显示区域可以相对于相机移动，或者更具体地相对于相机的视野移动。在一些实现中，所捕获的显示区域可以与显示系统的启用显示器的第一电子设备相关联，而相机可以与启用相机的第二电子设备相关联。在该实现中，通过对从校准图像提取的几何参数的分析，启用相机的电子设备可确定成像的显示区域相对于其自己的相机的光轴的尺寸、位置和朝向。在其中校准图案被周期性地呈现在显示系统12的启用显示器的电子设备的一个或多个显示区域上的实现中，校准图像的获取可以与校准图案的呈现同步。在其它实现中，启用相机的电子设备可以连续地获取环境10的影像并且连续地扫描该影像以获得能检测的校准图案。
在一些实现中，所获取的校准图像可包括用户以及一个或多个显示区域。相应地，在66处，可以通过对校准图像的分析来确定用户相对于显示区域的有利位置，作为针对其中启用显示器的电子设备不具有能够确定用户有利位置的传感器的配置的54处的替代方案。
在68处，基于如校准图像中所解析的校准图案的一个或多个几何参数来计算管控显示区域上的视频渲染的坐标变换。通常，坐标变换可包括平移操作、旋转操作和缩放操作中的一者或多者。在一个实现中，坐标变换可包括仿射变换。在一些实现中，坐标变换被定义为按预定位置和朝向(例如，原始尺寸、与相机的光轴成法向以及与光轴相交)将校准图像“返回”到校准图案的预定形式和尺寸所需的变换。相应地，坐标变换可以响应于成像的显示区域相对于相机的光轴的尺寸、位置和朝向。例如，如果已知校准图案在顶部具有长红条并且在底部具有一系列蓝色和白色框，但是校准图像包括在右侧具有长红条且在左侧具有一系列蓝白块的类似轨迹，则坐标变换可包括关于与显示区域成法向的轴的九十度旋转。如果已知校准图案是矩形的，但是校准图像包括由梯形构成的类似轨迹，则坐标变换可包括关于平行于显示区域的轴的旋转。在一些实现中，计算坐标变换可包括实际确定显示区域在世界空间中(即，在其中布置显示系统的现实环境中)的尺寸、位置和朝向。
在其中电子设备包括深度成像相机的实现中，校准图像可以是明确地定义成像的显示区域的尺寸、位置和朝向的3D深度图像。将显示区域定义到该程度支持针对用户查看显示区域的6DOF体验。相反，从平坦图像唯一地推导出的尺寸、位置和朝向中的每一者可被其它两个参数卷积，从而仅支持3DOF用户体验。如下面进一步描述的，当参数之一被独立地固定(例如，从显示设备报告的作为边带数据的绝对尺寸)或者来自两个不同相机作出的并发测量时，解卷积是能够实现的。在一些实现中，可以在与获取了校准图像的启用相机的电子设备相关联的计算机中计算坐标变换。在其它实现中，坐标变换可被远程地计算。
在一些实现中，出于上文概述的原因，可以基于用户相对于显示区域的有利位置来进一步计算坐标变换。在一些实现中，如果可用的话，可以进一步基于来自启用显示器的电子设备的IMU的地面参考和/或移动数据来计算坐标变换。该细化可被用来估计已被用户或另一对象遮挡的显示区域的位置和朝向，或已被移出显示系统的各相机的组合的视野的显示区域的位置和朝向。将注意到的是，专用校准图案的呈现尽管有用，但是并非在每一个实现中都是完全必需的。在一些情形中，未经修改的视频内容的所选择的帧可用作校准图案。此类帧可以在所获取的校准图像中被自动地标识并被用来计算用于给定显示区域的适当坐标变换。
在70处，视频被渲染以供显示在校准图像中所捕获的显示区域上。可以在与显示区域相关联的电子设备的视频渲染机中或在任何其它电子设备中完成该渲染。视频可基于在52处所访问的视频模型或所构建的全息3D世界来被渲染。在一些实现中，被显示在给定显示区域上的被渲染的视频可提供进入全息3D世界中的虚拟窗口。通常，渲染视频的过程由在68处计算的坐标变换来管控。
在一些实现中，以上视频渲染可以发生在其中校准图像被获取且坐标变换被计算的电子设备的视频渲染机中。接着，在72处，基于坐标变换而被渲染以供显示在显示区域上的视频被传送到与该显示区域相关联的电子设备。如上所述，投射协议可被用于经渲染的视频的传输。在其它实现中，在74处，坐标变换被传送到与显示区域相关联的启用显示器的电子设备，该显示区域在70处完成其自己的视频渲染。为此，计算坐标变换的电子设备的通信机可被配置成将坐标变换传送到启用显示器的电子设备的通信机。在又一些其它实现中，视频可以在具有对计算出的坐标变换的访问的任何其它联网电子设备上被渲染。
在76处，音频在显示器-系统环境中经由启用显示器的电子设备的一个或多个扬声器被发射出。从给定扬声器发射的音频的强度可基于显示器-系统环境中的扬声器相对位置和显示区域的朝向而被调制。以这种方式，用户可基于正由显示系统呈现的视频内容来体验源自显示器-系统环境的预期或合适的所在处的音频。再次返回图1的示例，如果龙在视频期间咆哮，则预期吼声在显示区32A(其中龙的嘴被显示)附近比在显示区32B(其中龙的尾部被显示)中更响。在不太奇异的示例中，相同的方法可被用于使用相对便宜的启用音频的电子设备的集合来创建高保真3D条形音箱(soundbar)。在一些实现中，用户相对于启用音频的电子设备的显示区域的有利位置(如在54或66处确定的)可被用来进一步调制来自该设备的音频发射的强度。例如，当用户在设备的右侧时，只有左声道音频可以从该设备发射出，而当用户在左侧时，只有右声道音频可以从该设备发射出。当用户远离启用音频的电子设备时，可取消声音发射以节省功率并保存环境中的音频保真度。在一些实现中，来自被用户的注视定标的虚拟对象的声音可以比来自非定标对象的声音更响亮地发射出。
方法50的各方面都不应以受限的意义来理解，这是因为还设想了许多变化、扩展和省略。例如，以上方法中所提到的被捕获的显示区域可以是在校准图像中解析的多个显示区域之一。相应地，68、72和74的计算和传送动作可针对所解析的显示区域中的每一个而被实施。此外，启用相机的电子设备可以是显示-渲染系统的多个电子设备中的一个，这些电子设备协作以定义显示区域在世界空间中的位置和朝向。在这种“集群组队”办法中，显示系统中的启用显示器和启用相机的电子设备执行成对的协配准，以基于显示器的成三角形的绝对尺寸计算绝对距离和朝向。该方面也可被用来从两个分离的电子设备(每个电子设备都配备有平面成像相机)中提取立体深度-感测相机的功能。
例如，显示系统12可包括两个启用相机的电子设备A和B，并且设备A也可以是启用显示器的。此外，设备A的相机和显示区域可彼此机械地耦合，即保持在固定的配准中。设备A现在可通过对由设备B获取的校准图像的分析而在其显示区域(设备B可识别该显示区域)上呈现校准图案。基于校准图像，设备B可计算将设备A的几何相机模型与设备B的几何相机模型相关联的坐标变换(作为管控在设备A上进行视频渲染的补充或替代)。作为结果，显示系统中的任何通信耦合的设备可构造全局相机模型，其中两个相机的缩放和光轴在相同的坐标系中是已知的。如果系统能够标识两个校准图像中对应的图像轨迹，则可以参考全局相机模型来确定该轨迹的所有三个笛卡尔坐标。以这种方式，系统可被配置成仿真立体深度相机，但不要求“右”和“左”相机的固定配准。相反，相机可以实时地在环境周围移动，其中全局相机模型在每次获取新的校准图像时均被更新。自然地，以上对立体相机功能的描述可扩展到三元光学(trioptic)和更高系统，并且可被应用于同时定位和映射(SLAM)应用中。
从上述描述中显而易见，本文所述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其它计算机程序产品。
现在返回图2，该附图示意性地示出了可执行上述方法和过程中的一个或多个的计算系统25的非限制性实施例。以简化形式示出了计算系统25。计算系统25可按以下形式被实例化：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)、近眼显示设备、和/或其它计算设备。
计算系统25包括逻辑机78和计算机存储机80。计算系统25被操作地耦合到显示器22、输入或传感子系统82、通信机26、和/或附图中未示出的其它组件。
逻辑机78包括被配置为执行指令的一个或多个物理设备。例如，逻辑机可被配置为执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其它方式得到期望结果。
逻辑机可包括被配置为执行软件指令的一个或多个处理器。附加地或替换地，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置为进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
计算机存储机80包括被配置为保持可由逻辑机执行以实现本文所描述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换计算机存储机80的状态——例如以保存不同的数据。
计算机存储机80可以包括可移动和/或内置设备。计算机存储机80可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。计算机存储机可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，计算机存储机80包括一个或多个物理设备。然而，本文描述的指令的各方面可替换地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机78和计算机存储机80的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”、“程序”和“引擎”可用于描述被实现为执行一特定功能的计算系统的一方面。在一些情况下，可以通过执行由计算机存储机80所保持的指令的逻辑机78来实例化模块、程序或引擎。将理解，不同的模块、程序、和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等实例化。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在一些实现中，服务可以在一个或多个服务器计算设备上运行。
显示器22可用于呈现由计算机存储机80所保持的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示器22的状态以视觉地表示底层数据的改变。如上所述，显示器22可包括实际上利用任何类型的显示技术的一个或多个显示设备。可将此类显示设备与逻辑机78和/或计算机存储机80组合在共享封装中，或者此类显示设备可以是外围显示设备。
输入和传感子系统82可包括诸如键盘、鼠标、触摸屏或游戏计算系统之类的一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入或传感子系统可以包括所选择的自然用户输入(NUI)组件或与其对接。此类部件可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；以及用于运动检测和/或意图识别的头部跟踪器、眼部跟踪器、加速度仪和/或陀螺仪。
通信机26可被配置成将计算系统25与一个或多个其它计算设备可通信地耦合。通信机26可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信机可被配置为用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信机可允许计算系统25经由诸如互联网这样的网络将消息发送至其它设备以及/或者从其它设备接收消息。
本公开的一个方面涉及一种用于在能相对于彼此移动的多个显示区域之间分布视频的方法。该方法包括：用相机光学地获取启用显示器的电子设备的显示区域的校准图像；基于该校准图像计算响应于显示区域相对于相机的尺寸、位置和朝向的坐标变换，该坐标变换能用于在显示区域上实现视频渲染；以及向启用显示器的电子设备传送以下中的一者或多者：坐标变换以及基于该坐标变换而被渲染以供显示在显示区域上的视频。
在一些实现中，该方法进一步包括渲染视频以供显示在显示区域上。在一些实现中，该方法进一步包括访问视频模型，其中视频基于该视频模型来被渲染。在一些实现中，视频模型表示全息3D世界，并且显示区域是进入全息3D世界的虚拟窗口。在一些实现中，该方法进一步包括在获取校准图像之前在显示区域上呈现校准图案。在一些实现中，该方法进一步包括从启用显示器的电子设备接收配置数据，其中坐标变换基于该配置数据而被进一步计算。在一些实现中，该方法进一步包括确定用户相对于显示区域的有利位置，其中坐标变换基于该有利位置而被进一步计算。在一些实现中，该方法进一步包括接收如在启用显示器的电子设备中感测到的定义有利位置的数据。在一些实现中，该有利位置通过对校准图像的分析而被确定。在一些实现中，该方法进一步包括从启用显示器的电子设备的惯性测量单元接收移动数据，其中坐标变换基于该移动数据而被进一步计算。在一些实现中，该方法进一步包括从启用显示器的电子设备的惯性测量单元接收地面参考数据，其中坐标变换基于该地面参考数据而被进一步计算。在一些实现中，显示区域是在校准图像中所解析的对应的启用显示器的电子设备的多个显示区域之一，并且所述计算和传送是针对解析出的显示区域中的每一个来实施的。在一些实现中，计算坐标变换包括基于如校准图像中所解析的校准图案的几何形状来确定显示系统的环境中的显示区域的尺寸、位置和朝向。在一些实现中，相机被布置在与启用显示器的电子设备分开的启用相机的电子设备中。在一些实现中，启用相机的电子设备是显示系统的多个电子设备中的一个，这些电子设备协作以定义显示区域的尺寸、位置和朝向。在一些实现中，该方法进一步包括在环境中发射音频，其中从显示区域的轨迹发射的音频的强度基于显示区域的位置和朝向而被调制。
本公开的另一方面涉及一种用于在能相对于彼此移动的多个显示区域之间分布视频的显示系统。该显示系统包括：被配置成光学地获取启用显示器的电子设备的显示区域的校准图像的相机；被配置成基于该校准图像计算响应于显示区域相对于相机的尺寸、位置和朝向且能用于在显示区域上实现视频渲染的坐标变换的计算机；以及通信机，该通信机被配置成向启用显示器的电子设备传送以下中的一者或多者：坐标变换以及基于该坐标变换而被渲染以供显示在显示区域上的视频。在一些实现中，相机是深度成像相机，并且校准图像是3D深度图像。
本公开的另一方面涉及一种启用显示器的电子设备，包括：带有相关联的显示区域的显示器；通信机，该通信机被配置成接收响应于显示区域相对于相机的尺寸、位置和朝向的坐标变换，该坐标变换基于由相机光学地获取的显示区域的校准图像而被计算且能用于实现在显示区域上进行视频渲染；以及视频渲染机，该视频渲染机被配置成基于坐标变换在显示区域上渲染视频。在一些实现中，启用显示器的电子设备进一步包括惯性测量单元，该惯性测量单元被布置在启用显示器的电子设备中，并且被配置成为启用显示器的电子设备提供地面参考和移动数据，其中坐标变换基于该地面参考和/或移动数据而被进一步计算。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所例示和/或所描述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其它特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。

Claims (21)

1.一种在配备有至少一个相机的显示系统中的用于在能相对于彼此移动的多个显示区域之间分布视频的方法，所述方法包括：
用所述相机光学地获取启用显示器的电子设备的显示区域的校准图像；
基于所述校准图像计算响应于所述显示区域相对于所述相机的尺寸、位置和朝向的坐标变换，所述坐标变换能用于在所述显示区域上实现视频渲染；以及
向所述启用显示器的电子设备传送以下中的一者或多者：所述坐标变换以及基于所述坐标变换而被渲染以供显示在所述显示区域上的视频；
其中如果在所述显示系统的环境中发射音频，则从所述显示区域的轨迹发射的所述音频的强度基于所述显示区域的位置和朝向而被调制。
2.根据权利要求1所述的方法，其特征在于，进一步包括渲染所述视频以供显示在所述显示区域上。
3.根据权利要求2所述的方法，其特征在于，进一步包括访问视频模型，其中所述视频基于所述视频模型来被渲染。
4.根据权利要求3所述的方法，其特征在于，所述视频模型表示全息3D世界，并且其中所述显示区域是进入所述全息3D世界的虚拟窗口。
5.根据权利要求1所述的方法，其特征在于，进一步包括在获取所述校准图像之前在所述显示区域上呈现校准图案。
6.根据权利要求1所述的方法，其特征在于，进一步包括从所述启用显示器的电子设备接收配置数据，其中所述坐标变换基于所述配置数据而被进一步计算。
7.根据权利要求1所述的方法，其特征在于，进一步包括确定用户相对于所述显示区域的有利位置，其中所述坐标变换基于所述有利位置而被进一步计算。
8.根据权利要求7所述的方法，其特征在于，进一步包括接收如在所述启用显示器的电子设备中感测到的定义所述有利位置的数据。
9.根据权利要求7所述的方法，其特征在于，所述有利位置通过对所述校准图像的分析而被确定。
10.根据权利要求1所述的方法，其特征在于，进一步包括从所述启用显示器的电子设备的惯性测量单元接收移动数据，其中所述坐标变换基于所述移动数据而被进一步计算。
11.根据权利要求1所述的方法，其特征在于，进一步包括从所述启用显示器的电子设备的惯性测量单元接收地面参考数据，其中所述坐标变换基于所述地面参考数据而被进一步计算。
12.根据权利要求1所述的方法，其特征在于，所述显示区域是在所述校准图像中所解析的对应的启用显示器的电子设备的多个显示区域之一，并且其中所述计算和传送是针对解析出的所述显示区域中的每一个来实施的。
13.根据权利要求1所述的方法，其特征在于，计算所述坐标变换包括基于如所述校准图像中所解析的校准图案的几何形状来确定所述显示系统的环境中的所述显示区域的尺寸、位置和朝向。
14.根据权利要求13所述的方法，其特征在于，所述相机被布置在与所述启用显示器的电子设备分开的启用相机的电子设备中。
15.根据权利要求14所述的方法，其特征在于，所述启用相机的电子设备是所述显示系统的多个电子设备中的一个，所述电子设备协作以定义所述显示区域的尺寸、位置和朝向。
16.一种用于在能相对于彼此移动的多个显示区域之间分布视频的显示系统，所述显示系统包括：
被配置成光学地获取启用显示器的电子设备的显示区域的校准图像的相机；
计算机，所述计算机被配置成基于所述校准图像计算坐标变换，所述坐标变换响应于所述显示区域相对于所述相机的尺寸、位置和朝向且能用于在所述显示区域上实现视频渲染；以及
通信机，所述通信机被配置成向所述启用显示器的电子设备传送以下中的一者或多者：所述坐标变换以及基于所述坐标变换而被渲染以供显示在所述显示区域上的视频；
其中如果在所述显示系统的环境中发射音频，则从所述显示区域的轨迹发射的所述音频的强度基于所述显示区域的位置和朝向而被调制。
17.根据权利要求16所述的显示系统，其特征在于，所述相机是深度成像相机，并且其中所述校准图像是3D深度图像。
18.一种启用显示器的电子设备，包括：
带有相关联的显示区域的显示器；
通信机，所述通信机被配置成接收响应于所述显示区域相对于相机的尺寸、位置和朝向的坐标变换，所述坐标变换基于由所述相机光学地获取的所述显示区域的校准图像而被计算且能用于实现在所述显示区域上进行视频渲染；以及
视频渲染机，所述视频渲染机被配置成基于所述坐标变换在所述显示区域上渲染视频；
其中从所述显示区域的轨迹发射的音频的强度基于所述显示区域的位置和朝向而被调制。
19.根据权利要求18所述的启用显示器的电子设备，其特征在于，进一步包括惯性测量单元，所述惯性测量单元被布置在所述启用显示器的电子设备中，并且被配置成为所述启用显示器的电子设备提供地面参考和移动数据，其中所述坐标变换基于所述地面参考和/或移动数据而被进一步计算。
20.一种具有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1-15中任一权利要求所述的方法。
21.一种计算机系统，包括用于执行如权利要求1-15中任一权利要求所述的方法的装置。
CN201680074250.7A 2016-01-11 2016-12-27 在多个显示区域之间分布视频 Active CN108475180B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/992,685 2016-01-11
US14/992,685 US10021373B2 (en) 2016-01-11 2016-01-11 Distributing video among multiple display zones
PCT/US2016/068631 WO2017123409A1 (en) 2016-01-11 2016-12-27 Distributing video among multiple display zones

Publications (2)

Publication Number Publication Date
CN108475180A CN108475180A (zh) 2018-08-31
CN108475180B true CN108475180B (zh) 2021-07-06

Family

ID=57985009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680074250.7A Active CN108475180B (zh) 2016-01-11 2016-12-27 在多个显示区域之间分布视频

Country Status (4)

Country Link
US (1) US10021373B2 (zh)
EP (1) EP3403173A1 (zh)
CN (1) CN108475180B (zh)
WO (1) WO2017123409A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10229512B2 (en) * 2016-09-09 2019-03-12 International Business Machines Corporation Providing visualization data to a co-located plurality of mobile devices
US10362460B2 (en) 2016-09-09 2019-07-23 International Business Machines Corporation Providing visualization data to a co-located plurality of mobile devices
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
EP3545516A4 (en) 2016-11-23 2020-04-15 Videri, Inc. ORGANIZED DIGITAL DISPLAY SYSTEM
US10775740B2 (en) * 2017-01-24 2020-09-15 International Business Machines Corporation Holographic projection of digital objects in video content
EP3729831A1 (en) 2017-12-18 2020-10-28 Dolby International AB Method and system for handling global transitions between listening positions in a virtual reality environment
US10880685B2 (en) * 2018-01-08 2020-12-29 Facebook, Inc. Provisioning content across multiple devices
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
WO2019236686A1 (en) * 2018-06-05 2019-12-12 Videri Inc. Systems and methods for mapping an orchestrated digital display system
CN110276791B (zh) * 2019-06-28 2021-04-06 北京航空航天大学 一种参数可配置的深度相机仿真方法
CN112040312A (zh) * 2020-07-24 2020-12-04 北京飞讯数码科技有限公司 一种分屏渲染方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2904500Y (zh) * 2006-06-01 2007-05-23 洪汉雄 可拍摄声源位置的摄像机
CN103346955A (zh) * 2013-06-18 2013-10-09 腾讯科技（深圳）有限公司 一种图像处理方法、装置及终端

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091926B2 (en) 2002-02-08 2006-08-15 Kulas Charles J Computer display system using multiple screens
JP3880561B2 (ja) 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
US7312764B2 (en) 2003-09-26 2007-12-25 The General Electric Company Methods and apparatus for displaying images on mixed monitor displays
BRPI0417656A (pt) 2003-12-19 2007-04-03 Speechgear Inc método, meio legìvel por computador, e, sistema
US7626569B2 (en) 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US20100053436A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Video Display Apparatus and Video Display Method
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8803816B2 (en) 2008-09-08 2014-08-12 Qualcomm Incorporated Multi-fold mobile device with configurable interface
IL194701A (en) 2008-10-12 2012-08-30 Rafael Advanced Defense Sys Method and system for displaying a panoramic view to an operator
US20100128112A1 (en) 2008-11-26 2010-05-27 Samsung Electronics Co., Ltd Immersive display system for interacting with three-dimensional content
JP4854819B2 (ja) * 2009-05-18 2012-01-18 小平アソシエイツ株式会社 画像情報出力方法
US9648346B2 (en) 2009-06-25 2017-05-09 Microsoft Technology Licensing, Llc Multi-view video compression and streaming based on viewpoints of remote viewer
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
EP2489195A1 (en) 2009-10-14 2012-08-22 Nokia Corp. Autostereoscopic rendering and display apparatus
EP2395766B1 (en) * 2010-06-14 2016-03-23 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US10127564B2 (en) * 2011-09-15 2018-11-13 Stephan HEATH System and method for using impressions tracking and analysis, location information, 2D and 3D mapping, mobile mapping, social media, and user behavior and information for generating mobile and internet posted promotions or offers for, and/or sales of, products and/or services
KR101881925B1 (ko) 2012-01-06 2018-07-26 삼성전자주식회사 복수의 휴대 단말들을 이용하여 멀티 비전 시스템을 구축하는 방법 및 이를 위한 장치
US20140193037A1 (en) 2013-01-08 2014-07-10 John Fleck Stitzinger Displaying an Image on Multiple Dynamically Located Displays
US8988343B2 (en) 2013-03-29 2015-03-24 Panasonic Intellectual Property Management Co., Ltd. Method of automatically forming one three-dimensional space with multiple screens
US9727298B2 (en) 2013-05-28 2017-08-08 Sony Corporation Device and method for allocating data based on an arrangement of elements in an image
CN104898999B (zh) * 2014-03-03 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
US9904053B2 (en) * 2014-12-25 2018-02-27 Seiko Epson Corporation Display device, and method of controlling display device
US9978147B2 (en) * 2015-12-23 2018-05-22 Intel Corporation System and method for calibration of a depth camera system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2904500Y (zh) * 2006-06-01 2007-05-23 洪汉雄 可拍摄声源位置的摄像机
CN103346955A (zh) * 2013-06-18 2013-10-09 腾讯科技（深圳）有限公司 一种图像处理方法、装置及终端

Also Published As

Publication number Publication date
CN108475180A (zh) 2018-08-31
US20170201740A1 (en) 2017-07-13
EP3403173A1 (en) 2018-11-21
US10021373B2 (en) 2018-07-10
WO2017123409A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
CN108475180B (zh) 在多个显示区域之间分布视频
US10573085B2 (en) Reality mixer for mixed reality
US10083540B2 (en) Virtual light in augmented reality
KR102257255B1 (ko) 혼합 현실 스포트라이트
US9710973B2 (en) Low-latency fusing of virtual and real content
CN108886578B (zh) 用于增强现实姿势对准的虚拟提示
US9230368B2 (en) Hologram anchoring and dynamic positioning
US10740971B2 (en) Augmented reality field of view object follower
US20140176591A1 (en) Low-latency fusing of color image data
US20130326364A1 (en) Position relative hologram interactions
US20130328925A1 (en) Object focus in a mixed reality environment
US20130342572A1 (en) Control of displayed content in virtual environments
US20120092328A1 (en) Fusing virtual content into real content
US20190318201A1 (en) Methods and systems for shape based training for an object detection algorithm
US11709370B2 (en) Presentation of an enriched view of a physical setting
US10146303B2 (en) Gaze-actuated user interface with visual feedback
US20180158390A1 (en) Digital image modification
KR102197504B1 (ko) 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
US20230119162A1 (en) Systems and methods for processing scanned objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant