CN105765971A - 物理位置之间的视频交互 - Google Patents

Abstract

公开了用于物理位置之间的视频交互的系统和方法。所述系统能够包括具有多个视频摄像机的第一房间和具有多个运动检测摄像机的第二房间。位于所述第二房间的标记物能够通过所述多个运动检测摄像机进行检测，从而能够针对所述标记物计算位置坐标。能够使用所述位置坐标确定所述标记物在所述第一房间中的相对位置。来自所述第一房间的视频内容能够被识别，该视频内容基于所述标记物的所述相对位置提供所述第一房间的视角，并且能够向位于所述第二房间中的显示器提供所述视频内容。

Description

物理位置之间的视频交互

背景技术

通信技术方面的进步允许来自世界各地的人们几乎立即看到和听到彼此。使用语音技术和视频技术，能够在位于不同地理位置中的人群之间举行会议。例如，在一个位置中的商业伙伴能够通过以下方式在计算机网络上与在地理上的远程位置中的商业伙伴通信：使用视频摄像机和麦克风并且发送通过视频摄像机和麦克风捕获的音频数据和视频数据。能够通过计算机接收音频数据和视频数据，以及能够在屏幕上显示视频数据和能够使用扬声器听到音频数据。

因为在计算机网络上举行会议的选项现在是可行的，所以商业能够节省大量的时间和金钱。在能够在网络上举行会议之前，旅行到商业伙伴地点的管理人员、销售人员和商业的其它员工，在机票、租车和住宿上花费资金。现在能够通过使用计算机网络，而不是旅行到商业伙伴的位置，进行与商业伙伴的会晤来避免这些花费。

附图说明

本公开的特征和优势将从结合附图的以下具体实施方式中变得显而易见，其中附图通过示例的方式一起说明本发明的特征。

图1例示用于两个物理位置之间的视频交互的示例性系统的图；

图2例示用于提供两个物理位置之间的视频交互的示例性系统的框图；

图3提供例示具有围绕会议室的周界的视频摄像机的阵列的会议室的示例性图；

图4提供例示能够被用于与远程会议室交互的会议室的示例性图；

图5提供例示头戴式视频显示器的示例性图；

图6例示用于多个物理位置之间视频交互的示例性方法的流程图；以及

图7提供例示两个物理房间之间的双向式(two-way)交互的示例性图。

现将参照例示的示例性实施方式，并且将在本文中使用具体语言描述本发明。然而，将理解的是，并不旨在借此对本发明的范围进行限制。

具体实施方式

在公开和描述本发明之前，将理解的是，本公开不限于本文中公开的具体结构、过程步骤或材料，而是可扩展至相关领域的技术人员承认的其等同物。还可以理解的是，本文中使用的术语仅出于描述具体实施方式的目的，而不旨在为限制性的。

作为首要事项，值得注意的是，在本文中大量的讨论涉及商业业务和举行会议会晤。然而，这仅是出于示例性目的，因为本文中描述的系统和方法还适用于将受益于两个物理地址之间的虚拟交互的其它环境。例如，本文中的系统和方法能够用于朋友和家人之间的个人通信。此外，本公开的系统和方法还能够适用于课堂教学，其中，可以不出现在物理课堂中的学生能够从另一个位置参与，并且被提供有好像该学生出现在物理课堂中一样的体验。

基于上述理解，以下提供技术实施方式的初步概述，并且然后进一步详细地描述具体技术实施方式。该初步描述旨在提供技术的基本理解，而不旨在识别技术的全部特征，更不旨在限制要求保护的主题的范围。

虽然在计算机网络上举行会议可以使参与者能够看到和听到彼此，但是观看诸如TV监视器之类的显示器的参与者没有以与其中全部参与者是在相同房间中的面对面会议相似的方式体验会议。不同于彼此直接地讲话，会议参与者可能觉得他们就像正对着TV监视器或扬声器电话讲话而不是对着活人讲话。此外，在视频摄像机可能是静止的，并且可能是定向为朝向会议参与者面部的情况下，其它参与者可能不会看见会议参与者可能正在使用的身体语言(例如，手部运动)和/或文档、物品、视觉演示等。

本技术可以使在网络上举行的会议中的参与者能够从与参与者的视角相似的视角观看在远程位置处的房间中的其他参与者。换言之，可以为可能在一个会议室中的参与者提供与在远程位置处的其他参与者正处于一个会议室中的体验。

根据本公开的实施方式，公开了用于提供两个物理位置之间的视频交互的系统和方法。在一个示例中，该系统和方法使会议中的参与者能够从就像参与者在远程会议室中一样的视角观看远程会议室和相关会议参与者。值得注意的是，本公开的系统和方法可应用于可以使用远程会议的诸如医药、教学、商业等的领域或任何其它领域。因此，如上所述，商业会议的讨论仅是出于示例性的目的，并且除非在权利要求书中另有说明，不被视为是限制性的。

应该理解的是，为了向在网络上举行的会议的参与者提供出现在远程会议室中的体验，参与者可以被提供有头戴式显示器，该头戴式显示器使参与者能够观看来源于位于远程会议室中的两个或更多个视频摄像机的视频内容。来自两个或更多个视频摄像机的视频内容能够用于创造远程会议室的虚拟真实视图(view)。能够确定其中参与者位于的物理会议室中的参与者的位置坐标，并且该位置坐标能够与远程会议室中的相对位置相关。基于远程会议室中的相对位置，两个或更多个视频内容能够用于创造虚拟视频内容，该虚拟视频内容提供来自远程会议室中的相对位置的远程会议的视图。然后，能够向参与者可能正佩戴的头戴式显示器提供该虚拟视频内容。因此，当观看视频内容时，参与者可以被提供有来自与参与者位于的物理会议室中的位置相关的视角的远程会议室的视图。

在一个示例配置中，会议参与者可以使用以观看远程会议室的头戴式显示器可以包括：使用透明显示器显示视频内容的显示器，该透明显示器使用平视显示器(HUD)为用户提供内容。在另一个示例配置中，头戴式显示器可以是包括右视频显示器和左视频显示器的头戴式立体显示器，该右视频显示器和左视频显示器能够创造近乎实时的立体视频图像。立体图像的使用使立体影像能够被维持，从而允许佩戴头戴式显示器的用户感知会议室的深度。如本文中所使用，术语“立体影像”涉及视觉感知中的过程，该过程导致根据分别观看投影在人眼上的世界的两个光学分离的投影感知深度。如下文中更详细描述地，这能够通过使用头戴式的配对的视频屏幕实现，该配对的视频屏幕中的每个都具有不同的光学投影，或者通过对单个视频屏幕上的两个光学投影进行光学分离实现。

此外，本文公开的系统和方法使可能正参与在网络上举行的会议的全部成员能够观看远程会议室。例如，可能位于纽约市的会议的参与者能够观看位于洛杉矶的会议的成员，并且在洛杉矶的会议的那些成员能够观看在纽约市的会议的参与者。换言之，在两个位置中的会议参与者能够观看远离参与者物理位于的会议室的会议室。

根据本公开的一个实施方式，一种用于两个物理位置之间视频交互的系统能够包含：多个视频摄像机，所述多个视频摄像机能够被配置为生成物理位置中的第一房间的视频内容；多个运动检测摄像机，所述多个运动检测摄像机位于第二房间中，其中，所述多个运动检测摄像机能够被配置为检测位于所述第二房间中的标记物，并且提供所述第二房间中的标记物的位置的坐标；头戴式显示器，所述头戴式显示器能够由会议参与者佩戴，其中，所述头戴式显示器包含能够显示从所述第一房间中的视频摄像机接收的视频内容的视频屏幕；计算装置，所述计算装置能够被配置为接收来自位于所述第一房间中的所述视频摄像机的多个视频内容，并且接收来自所述第二房间中的所述多个运动检测摄像机的所述标记物的坐标，所述计算装置能够包括跟踪模块和视频模块，所述跟踪模块能够被配置为使用通过所述运动检测摄像机提供的坐标，确定所述第二房间中的所述标记物相对于位于所述第一房间中的视频摄像机的相对位置；所述视频模块能够被配置为识别来自所述第一房间中的视频摄像机的视频内容，并且将所述视频内容提供给所述头戴式显示器，其中所述视频内容与所述第二房间中的所述标记的相对位置相关。

在另一个实施方式中，一种用于两个物理位置之间的视频交互的系统能够更进一步包括具有视频模块的计算装置，该视频模块能够识别来自第一房间中的多个视频摄像机的两个视频内容，所述两个视频内容与第二房间中的标记物的相对位置相关。通过对两个视频内容插值，能够提供从所述第二房间中的标记物的视角的第一房间的视图的虚拟现实视频内容。

在其它实施方式中，一种用于两个物理位置之间的视频交互的系统能够包括视频摄像机阵列和图像处理模块，所述视频摄像机阵列被配置为提供视频摄像机内容，所述图像处理模块能够被配置为：i)从所述阵列接收视频摄像机内容；ii)将一个或更多个所述视频摄像机内容几何变换以创造虚拟摄像机内容；以及iii)从至少两个摄像机内容生成立体视频图像。

为了进一步更详细地解释本公开的示例，将示出和描述特定附图。具体地，现参照图1，其示出用于两个物理位置之间的视频交互的示例系统100。该系统100可以包含多个视频摄像机118a-d，其围绕第一房间128的周界彼此空间地分离。多个视频摄像机118a-d能够通过网络114与服务器110进行通信。服务器110能够被配置为接收来自多个视频摄像机118a-d的视频内容，其中，每个视频摄像机可以被分配唯一ID，该唯一ID使服务器110能够识别第一房间128内的视频摄像机118a-d和视频摄像机的位置。

系统100还可以包括多个运动检测摄像机120a-d，其可以围绕第二房间132的周界彼此空间地分离。多个运动检测摄像机120a-d可以经由网络114与服务器110进行通信。多个运动检测摄像机120a-d能够检测第二房间132内的标记物124，针对第二房间132内的标记物124计算位置坐标，以及向服务器110提供标记物124的识别和位置坐标。在一个实施方式中，标记物124可以是包含发光二极管(LED)的有源标记物，该发光二极管对多个运动检测摄像机120a-d是可见的，或者标记物124能够是通过运动检测摄像机120a-d是可辨识的和可跟踪的某种其它标记物。运动检测摄像机120a-d可以定位和跟踪房间内的有源标记物。有源标记物可以包含在导致用于有源标记物的唯一数字ID的唯一频率处调制的LED。另外，LED可以发射可见光，或另选地发射红外光。在另一个实施方式中，标记物124可以是无源标记物，其中，标记物可以被涂覆有逆向反光材料，该逆向反光材料在通过光源照射时，使得无源标记物对运动检测摄像机120a-d是可见的。

值得注意的是，多个视频摄相机118a-d和多个运动探测器120a-d分别被示出为出现在四个位置中的。值得注意的是，针对给定应用所期望的，可以使用更多或更少的摄像机。例如，会议室可以具有5至50个摄像机或5至50个运动检测器，例如，或可以包括2个或3个摄像机和/或2个或3个运动检测器。

系统100中还包括一个或更多个头戴式显示器122，该头戴式显示器122与服务器110进行通信。在一个实施方式中，头戴式显示器122可以包括单个视频显示器，该视频显示器可以被放置在用户的一个眼睛的前方处，或另选地，该单个视频显示器能够被设定尺寸和位置，使得视频显示器是在用户的双眼的前方处。在另一个实施方式中，头戴式显示器122可以包括透明显示器。视频内容能够被投影至透明显示器上，该透明显示器为用户提供平视显示器(HUD)。并且在又一个实施方式中，头戴式显示器122能够包括两个视频显示器，一个被放置在用户的右眼的前方处，并且另一个被放置在用户的左眼的前方处。第一视频内容能够被显示在头戴式显示器122的右视频显示器上，并且第二视频内容能够被显示在头戴式显示器122的左视频显示器上。右视频显示器和左视频显示器能够被分别投影至用户的右眼和左眼上，从而提供立体视频图像。立体视频图像提供视觉感知，其导致根据投影至两个眼睛的视网膜上的两个稍微不同的视频图像而感知深度。同样地，例如，能够结合这些实施方式以形成HUD中的立体图像。

在一个实施方式中，多个视频摄像机118a-d可以向服务器110提供视频内容，并且该服务器110能够确定与房间132中的标记物124的坐标位置最紧密相关的视频内容。然后，服务器能够向头戴式显示器122提供视频内容。在另一个实施方式中，可以根据位于房间128内的视频摄像机118a-d识别与标记物124的坐标位置最紧密相关的两个视频内容，并且能够经由插值根据两个视频内容生成虚拟的视频内容。可以将所得的虚拟视频内容提供至头戴式显示器122，该头戴式显示器122向头戴式显示器122的用户提供从第二房间132中的该用户的位置的视角的第一房间128的视频图像。此外，能够生成两个虚拟视频内容(第一虚拟视频内容和第二虚拟视频内容)，其利用与瞳孔距离光学地对齐的适当角度，模拟第一虚拟视频内容和第二虚拟视频内容之间的瞳孔距离，因此，创造了虚拟立体视频图像。然后，能够向立体头戴式显示器122提供虚拟立体视频图像。关于形成虚拟视频内容，或形成立体虚拟视频内容，值得注意的是，这个是生成的图像，该生成的图像通过以下方式生成：使用从多个摄像机收集的真实图像，以及插入来自这些视频内容的数据以生成不是源自摄像机本身而是基于从多个摄像机提供的信息生成的视频内容，从而形成接近第二房间内的标记物的位置的虚拟图像。以此方式，第二房间中的用户能够接收接近他的观看位置和方向的虚拟视图，如下文将更详细解释地。值得注意的是，通过使用单个虚拟图像，能够将观看的二维图像提供给用户，然而，如果根据一副眼镜内的两个视频监视器生成两个虚拟图像并且将其提供给用户，则能够将第一房间的三维视图提供给第二房间中的用户。

因此，更详细地，能够改变多个视频摄像机118a-d以适于使得多个配对视频摄像机能够生成近乎实时的立体视频图像，多个配对中的每个能够包含第一视频摄像机和第二视频摄像机，该第一视频摄像机被配置为生成第一房间128的第一视频内容，该第二视频摄像机被配置为生成第一房间128的第二视频内容。例如，在第一实例中，视频摄像机118a能够是第一视频摄像机，视频摄像机118b能够是第二视频摄像机，而在第二实例中，视频摄像机118c能够是第一视频摄像机，视频摄像机118d能够是第二视频摄像机。此外，总是一起使用的视频摄像机不需要是离散的配对。例如，视频摄像机118a和视频摄像机118c或118d能够组成视频摄像机的第三配对等。值得注意的是，能够以彼此相距瞳孔距离空间地分离视频摄像机的多个配对，或者能够放置视频摄像机的多个配对使得它们不一定是彼此相距瞳孔距离(例如，以具有与瞳孔距离光学对齐的适当角度的模拟瞳孔距离，或利用没有与瞳孔距离光学对齐的具有典型的某种信号校准)。

多个视频摄像机(例如3、4、5、......15个视频摄像机)118a-d能够被放置在诸如直线的一维阵列中，或者多个视频摄像机(例如3x3，5x5、4x5、10x10、20x20个摄像机)118a-d能够被放置在沿x和y轴配置的布置中的二维阵列中，或者多个视频摄像机甚至能够放置在三维阵列中等。因此，在任一个实施方式中，任何两个相邻视频摄像机能够被用作第一视频摄像机和第二视频摄像机。另选地，可以不是彼此相邻的任何两个视频摄像机还可被用于提供视频内容。选择提供视频内容的视频摄像机118a-d能够是基于房间132内的标记物124的坐标位置。如能够理解的是，以上描述的系统100能够包括在第一房间128和第二房间132二者中放置视频摄像机118a-d，以及在第一房间128和第二房间132中二者中放置运动检测摄像机120a-d，从而使在第一房间128和第二房间132中的会议的参与者之间经由头戴式显示器122能够看到彼此并且与彼此交互。

图2例示可以在其上执行本技术的系统200的各种组件的示例。系统200可以包括具有一个或更多个处理器225、存储器模块230和处理模块的计算装置202。在一个实施方式中，计算装置202可以包括：跟踪模块204、视频模块206、图像处理模块208、校准模块214、缩放模块216以及本文中没有详细讨论的其它服务、过程、系统、发动机、或功能。计算装置202可以通过网络228与可以在房间(诸如其中可以举办会议的会议室)内发现的各种装置进行通信。例如，第一房间230可以被配备有若干视频摄像机236和一个或更多个麦克风238。第二房间232可以被配备有若干运动检测摄像机240、标记物装置242、显示器244和扬声器246。

跟踪模块204可以被配置为确定位于第二房间232中的标记物装置242相对于第一房间230中的标记物装置242的位置的相对位置和/或方向。作为一个具体示例，如果标记物装置242位于第二房间232的南方部分中并且正面向北方，则能够识别与第二房间232中的标记物装置242的南方位置相关的第一房间230中的相对位置，也就是，第一房间230中的面对北方的房间的南方部分中的位置。标记物装置242能够是运动检测摄像机240能够检测的有源标记物或无源标记物。例如，有源标记物可以包含可以是对运动检测摄像机240可见的LED。当在第二房间232内移动有源标记物时，运动检测摄像机240能够跟踪有源标记物的运动，并且向跟踪模块204提供有源标记物的坐标(即，x、y和z笛卡尔坐标和方向)。能够使用通过位于第二房间232中的运动检测摄像机240提供的坐标确定标记物装置242的相对位置。从运动检测摄像机240捕获的数据能够被用于将第二房间232内的标记物装置242的3-D位置进行三角测量。例如，能够通过跟踪模块204接收通过运动检测摄像机240捕获的坐标数据。使用坐标数据，跟踪模块204可以确定第二房间232中的标记物装置242的位置，并且然后确定标记物装置242在第一房间230中的相对位置。换言之，能够将第二房间232中的标记物装置242的位置映射至第一房间230中的对应位置。

在另一个实施方式中，跟踪模块204能够包括图像识别软件，该图像识别软件能够识别位置或诸如人脸或其它明显特性的特征。当人在第二房间232内移动时，跟踪模块204能够跟踪人的运动，并且确认在第二房间232内的人的位置坐标。图像识别软件能够被编程用于识别模式。例如，包括面部识别技术的软件能够用于本公开的系统，该软件类似于用于最先进的傻瓜式数字摄像机的软件，例如，数字显示屏幕中的对话框出现在面部周围，以通知用户已经识别对象的面部以便用于聚焦或其他目的。

视频模块206能够被配置为识别来自位于第一房间230中的视频摄像机236的视频内容，该视频内容与通过跟踪模块204提供的位于第二房间232中的标记物装置242的相对位置相关，并且向位于第二房间232中的显示器244提供视频内容。例如，跟踪模块204能够将第二房间232中的标记物装置242的相对位置(即，x、y、z笛卡尔坐标和方向坐标)提供给视频模块206，并且识别提供了与相对位置的视角最靠近的视角的视频内容。

另选地，能够识别来自邻近的两个视频摄像机236的两个视频内容，其中，视频内容提供与标记物装置242的相对位置相关的视角。能够向图像处理模块208提供视频内容，并且能够在视频内容上执行几何变换，以创造呈现与第二房间232中的标记物装置242的视角相关的视角(即不同于直接从视频内容本身生成的视角的视角)的虚拟视频内容。虚拟视频内容能够被多路复用至立体显示器的立体或3-D信号，或者被发送至头戴式显示器(例如，右眼、左眼)以创造立体视频。为了这个目的，能够使用或修改包括最先进封装的硬件或软件封装。例如，NVIDIA具有允许用户接收多个视频内容、在这些视频内容上进行数学运算，以及随后输出已经被几何变换的视频内容以生成虚拟视角的视频管线，该虚拟视角是实际视频内容的插值。这些视频信号通常是串行数字接口(SDI)格式。同样地，用于执行这种转换的软件是开源可用的。能够使用OpenCV、OpenGL和CUDA操纵视频内容。为了创造立体影像，到达单个屏幕的设计用于左眼和右眼的图像或光学分离的视频内容，通常间隔瞳孔距离或模拟瞳孔距离，无论是虚拟的还是真实的图像均被显示，尽管这并不是需要的。值得注意的是，在这个示例中示出的图像处理模块208是出于生成虚拟摄像机视频内容的目的。然而，在该实施例中使用可以是有益的任何其它类型的图像处理或者本文中将获益于图像处理的任何其他实施例也能够包括图像处理模块208。

显示器244能够包含视频显示器，该视频显示器被配置为放置在用户的头上，使得视频显示器直接位于用户的眼睛的前方处。在一个实施方式中，立体显示器能够是具有通过人的右眼可观看的右视频显示器和通过人的左眼可观看的左视频显示器的头戴式立体显示器。通过在左视频显示器和右视频显示器中显示第一视频内容和第二视频内容，能够创造近乎实时的立体视频图像。另选地，立体显示能够是单个视频屏幕，其中，第一视频内容和第二视频内容被光学地分离，例如，快门分离、偏振分离、色彩分离等。立体显示能够被配置为允许用户利用或不利用诸如眼镜等的外部观看装置来观看立体图像。在一个实施方式中，利用快门分离、偏振分离、色彩分离等工作的一副适合的眼镜能够被用于允许以三维的方式观看屏幕。更进一步，视频显示器能够包含用于多个用户(诸如会议的参与者)观看近乎实时的立体视频图像的多个视频显示器。

校准模块214能够被配置为校准和调整第一视频内容和第二视频内容的水平对齐，使得第一视频摄像机236的像素与第二视频摄像机236的像素对齐。当显示器244是包括右视频显示器和左视频显示器的头戴式立体显示器时，能够水平地校准到达用户的眼睛的两个图像的适当对齐(properalignment)，使得图像看起来尽可能自然。看起来越不自然的图像，越能够导致眼睛疲劳。当观看屏幕上的近乎实时的立体视频图像时(佩戴或不佩戴辅助的观看眼镜)，水平对齐还能够提供更清楚的图像。当适当地对齐像素时，相比于轻微未对齐的情况中可能的图像，图像看起来更自然和更清晰。额外的校准还能够用于将第一视频摄像机和第二视频摄像机的垂直对齐调整到所需角度以提供立体影像。校准模块214能够被配置为允许手动调整和/或自动调整视频内容配对的水平对齐和/或垂直对齐。

校准的其它用途能够发生在系统200被第一次安装时，或在多个用户正在使用相同设备时。在一个示例中，校准模块214能够为多个用户提供校准。因此，能够针对第一用户在第一模式中校准系统，针对第二用户在第二模式中校准系统，等等。系统能够被配置为基于是第一用户正在使用系统还是第二用户正在使用系统，在第一模式和第二模式之间自动或手动地切换。

缩放模块216能够被配置为提供包括近乎实时的立体视频图像的视频内容的所需的放大。因为视频摄像机236可以被固定到会议室的墙上，所以通过视频摄像机提供的视频内容的视角可以不是在与会议参与者的视角的距离相关的距离处，其可以位于会议室的内部中的某处位置。缩放模块216能够接收标记物装置242的相对位置坐标，并且通过数字地放大或缩小调整视频内容，使得视频内容的视角匹配会议参与者的视角。另选地，缩放模块216能够控制视频摄像机的镜头，从而根据所需视角缩小或放大镜头。

在一个实施方式中，系统200能够包含音频模块218，该音频模块218能够被配置为接收来自位于第一房间230中的一个或更多个麦克风238的音频内容。在一个示例中，麦克风238可以与视频摄像机236相关，使得在视频摄像机被选择用于提供视频内容时，来自与视频摄像机236相关的麦克风238的音频内容也选择。能够向位于第二房间232中的一个或更多个扬声器246提供音频内容。在一个实施方式中，能够遍及第二房间232分布扬声器246，使得房间内的任何一个人能够听到音频内容。在另一个实施方式中，能够将一个或更多个扬声器246集成在头戴式显示器中，使得佩戴头戴式显示器的人能够听到音频内容。

根据各种示例，可以在一个或更多个处理器240上执行包含在计算装置202上的各种过程和/或其它功能，该一个或更多个处理器240与一个或更多个存储器模块245通信。例如，计算装置202可以包括服务器或提供计算能力的任何其它系统。另选地，可以采用若干计算装置202，例如，该若干计算装置被布置在一个或更多个服务器库(bank)或计算机库或其它布置中。为了方便起见，以单数形式提及计算装置202。然而，应当理解的是，以上所描述的各种布置可以采取多个计算装置202。

网络228可以包括：包括内联网、因特网、局域网、广域网、无线数据网络、或任何其它这类网络或其组合的任何有用的计算网络。用于这种系统的组件可以至少部分地取决于网络的类型和/或所选择的环境。可以通过有线或无线连接和其组合使能网络上的通信。

图2例示了可以结合该技术讨论的某些处理模块，并且这些处理模块可以被实现为计算服务。在一个示例配置中，模块可以被认为是服务，其在服务器或其它计算机硬件上执行一个或更多个过程。这种服务可以是集中托管的功能或服务应用，该功能和服务应用可以接收请求并且向其它服务或客户装置提供输出。例如，提供服务的模块可以被认为是托管在服务器、云、网格或群集计算系统中的按需计算。应用程序接口(API)可以被提供用于每个模块，以使第二模块能够发送请求至第一模块，并且接收来自第一模块的输出。这种API还可以允许第三方与模块接合，以及做出请求和接收来自模块的输出。尽管图2例示了可以实现以上技术的系统的一个示例，许多其它相似或不同环境是可能的。以上讨论和例示的示例环境仅仅是代表性的，而不是限制性的。

现在转到图3，所例示的是具有摄像机阵列316的会议室320的一个示例，该摄像机阵列316围绕会议室320的周界。围绕会议室320的周界放置的摄像机阵列316能够由摄像机集合304的多个部分组成，其中，每个摄像机集合304可以包含视频摄像机的网格(例如，2x2、3x5等)。在一个示例中，摄像机集合304内的视频摄像机308可以是提供静态视频内容的固定视频摄像机。在另一个示例中，视频摄像机308可以包括光学地放大或缩小的能力。并且在又一个示例中，视频摄像机308能够包括与此相关的独立发动机，以控制视频摄像机308的方向和/或焦点。发动机能够机械地联接至视频摄像机308。例如，可以通过一系列齿轮和/或螺钉连接发动机，它们允许发动机被用于改变其中定向视频摄像机308的角度。能够理解的是，还能够使用其它类型的机械联接。使发动机能够更新视频摄像机308指向的方向的任何类型的机械联接被认为在这个实施方式的范围内。

摄像机阵列316能够被用于生成会议室320的虚拟视角，该虚拟视角起因于在会议室320的笛卡尔空间中的特定取向中放置摄像机阵列316。例如，能够放置各种视频摄像机，使得它们相对于彼此和相对于会议室320的会晤的人是已知的。会议室320内的个人位置还能够经由本文中描述的跟踪方法，或经由硬件(例如运动跟踪技术或其它跟踪系统或模块)或经由软件以现有技术中已知的其他方式获知。

图4是例示会议室402的示例，该会议室402包括多个运动检测摄像机404a-c，该多个运动检测摄像机404a-c被配置为检测会议室402内的标记物416。多个检测摄像机404a-c能够如前所述确定标记物416的位置坐标，并且能够生成来自远程会议室的基本匹配远程房间中的标记物416的相对位置的视频内容。标记物416能够附接至会议参与者410，由此能够跟踪会议室402中的会议参与者410的位置。能够向头戴式显示器412提供视频内容，该头戴式显示器412能够通过会议参与者410进行佩戴。在一个实施方式中，能够将视频内容经由无线路由器408和网络发送至头戴式显示器412。网络可以是有线或无线的，诸如因特网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)或无线广域网(WWAN)。可以使用诸如蓝牙或电气电子工程师协会(IEEE)的802.11-2012、802.11ac、802.11ad标准，或WLAN标准等无线标准来实现WLAN。可以使用诸如IEEE802.16-2009或第三代合作伙伴计划(3GPP)长期演进(LTE)版本8、9、10或11等无线标准来实现WWAN。用于这种系统的组件可以至少部分地取决于网络的类型和/或所选择的环境。可以通过有线或无线连接和其组合使能在网络上的通信。

图5是例示头戴式视频显示器500的示例，该头戴式视频显示器500能够用于观看能够从远程房间生成的视频内容。在一个实施方式中，头戴式视频显示器500可以包括能够集成在头戴式视频显示器500中的标记物504。例如，标记物可以被集成在头戴式视频显示器500的构架中，使标记物504对运动检测摄像机可见。另外，标记物504可以被放置在头戴式视频显示器500上，使得标记物504相对于头戴式视频显示器500面向前方。例如，标记物504能够被放置在头戴式视频显示器500的前方处，使得当头戴式视频显示器500的使用者面对运动检测摄像机(即，用户的脸是定向为朝向运动检测摄像机)时，标记物504对运动检测摄像机可见。因此，运动检测摄像机能够确定标记物504的方向坐标。方向坐标能够被用于识别定向在大体上相同方向中的视频摄像机。另外，能够从多个视频内容产生虚拟视频内容，该虚拟视频内容提供匹配方向坐标的视角的视角。

在一个实施方式中，头戴式视频显示器500能够被配置为提供视图的分割域，其中显示器的底部提供用于左眼和右眼的分离的高清显示，并且在显示器上方，用户能够不受阻碍地观看环境。另选地，头带式视频显示器500能够被配置在分割视图中，其中下半部分提供视频图像，并且显示器的上半部分大体上是透明的，以使用户能够在佩戴头戴式视频显示器500时观看两个自然环境。

在另一个实施方式中，头戴式视频显示器500能够在显示系统上显示第一视频内容和第二视频内容，该显示系统光学地分离第一视频内容和第二视频内容以创造近乎实时的立体图像。在一个示例中，第一视频内容能够被显示在头戴式视频显示器500的右视频显示器上，以及第二视频内容能够被显示在头戴式视频显示器500的左视频显示器上。右和左视频显示器能够被分别地投影在用户的右眼和左眼上。立体的视频图像提供视觉感知，其导致从投影至两个眼睛的视网膜上的两个稍微不同的视频图像感知深度。

另选地，也能够放置除了头戴式视频显示器500之外的视频显示器，以显示近乎实时的视频内容。例如，在一个实施方式中，能够在单个显示器屏幕上显示第一和第二视频内容，其中相应的视频内容被光学地分离。用于光学分离的技术包括：快门分离、偏振分离和色彩分离。在一个实施方式中，观看者或用户能够佩戴观看眼睛，以观看具有立体影像和深度感知的分离图像。在其它实施方式中，多个立体视频能够被显示在诸如多个电视屏幕上。例如，能够在电视屏幕、投影显示器和头戴式立体视频显示器上同时地显示立体图像。

诸如使用快门分离的LCD眼镜等的某些类型的观看眼镜可以与显示屏幕进行同步，以使观看者能够观看光学分离的近乎实时的立体视频图像。视频内容的光学分离提供视觉感知，其导致从投影至两个眼睛的视网膜上的两个稍微不同的视频图像感知深度，以创造立体影像。

在上述实施方式中，视频内容能够通过诸如数字视频接口(DVI)电缆、高清晰多媒体接口(HDMI)电缆、组件电缆等有线通信电缆通信给头戴式视频显示器500。另选地，视频内容能够无线地通信给头戴式视频显示器500。例如，提供头戴式视频显示器500和提供视频内容的服务器之间的无线数据链路的系统。

用于无线通信视频内容的已经开发或目前正在开发的各种标准包括：无线高清标准、无线千兆位联盟(WiGig)、无线家庭数字接口(WHDI)、电气和电子工程师协会(IEEE)802.15标准、和使用超宽带(UWB)通信协议研发的标准。在另一个示例中，IEEE802.11标准可以被用于从服务器发送信号至头戴式视频显示器500。使视频内容信息能够从服务器发送至头戴式视频显示器500以用于近乎实时地显示的一个或更多个无线标准能够被用于消除有线的使用和解放用户以便更自由的来回移动。

在另一个实施方式中，视频摄像机和头戴式视频显示器500能够被配置为显示相对高的分辨率。例如，摄像机和显示器能够被配置为提供具有1280x720像素(宽x高)的720P逐行式(progressive)视频显示器、具有1920x1080像素的1080i隔行式(interlaced)视频显示器，或具有1920x1080像素的1080p逐行式视频显示器。当处理功率和数字存储器根据摩尔定律继续指数地增加时，摄像机和显示器可以提供诸如具有7680x4320像素的4320P逐行视频显示器等的甚至更高的分辨率。在具有更高的分辨率的情况下，能够使用软件(数字缩放)放大图像，以在大体上不降低图像质量的情况下提供数字放大。因此，软件单独地可以被用于向远程会议室的头戴式视频显示器500的佩戴者提供视角。

图6例示用于两个物理房间之间交互的示例方法的流程图。在框605中开始，可以通过服务器接收来自位于物理位置的第一房间中的多个视频摄像机的多个视频内容，其中，能够遍及第一房间分隔开多个视频摄像机。例如，能够围绕第一房间的周界分隔开两个或更多个视频摄像机，使得能够向位于第二房间的人提供第一房间的视角的视频内容可以被生成。在一个实施方式中，能够在第一房间的各种高度处分隔开视频摄像机，从而提供来自各种高度的视频内容。因此，可以提供大体上匹配第二房间中的人的视频内容的视频内容。例如，能够提供在与可以正坐在第二房间中的椅子中的人大体上相同的高度处的视频摄像机的视频内容，以及提供具有大体上匹配正站在第二房间的人的高度的视频摄像机的视频内容。

在框610处，能够通过多个运动检测摄像机计算以及能够通过服务器接收用于位于物理位置的第二房间中的标记物的位置坐标。位置坐标能够提供第二房间中的标记物的相对位置。例如，如前所述，标记物的相对位置可以是第一房间中的位置，该位置然后与第二房间中的位置相关。能够围绕第二房间的周界放置多个运动检测摄像机，使得当标记物在第二房间来回移动时，运动检测摄像机能够跟踪该标记物。

在一个实施方式中，标记物的位置坐标能是距离运动检测摄像机的迪卡尔空间x、y、z轴距离，因此，运动检测摄像机能够提供第二房间中的标记物的经度位置和纬度位置，以及第二房间中的标记物的高度。另外，在另一个实施方式中，能够通过多个运动检测摄像机确定标记物可以是正在面对的方向。例如，标记物能够是具有LED的有源标记物，该LED对运动检测摄像机可见。当通过运动检测摄像机识别标记物的LED时，能够通过识别标记物的运动检测摄像机确定标记物正在面对的方向。

在一个实施方式中，标记物可以如前描述被集成在头戴式视频显示器中。在另一个实施方式中，可以将标记物附接至人。例如，可以使用一些其它方法将标记物别在、夹在或附接在人的衣服上，使得能够识别和跟踪第二房间中的人的位置。人能够佩戴头戴式视频显示器，并且能够将视频内容发送至头戴式视频显示器，该头戴式视频显示器提供为这个人提供从附接至人的衣服的标记物的视角的第一房间的视图。另外，标记物能够被集成在人可以佩戴的诸如腕带、项链、头巾、腰带等的对象中。

如框615中，可以识别来自与第二房间中的标记物的相对位置相关的多个视频内容的视频内容。作为例示，可以识别来自位于第一房间的视频摄像机的视频内容，该视频内容可以位于第二房间中人的相对位置后面。因此，可以通过视频内容提供第一房间的视角，该视频内容与第二房间中的标记物关联的人的视角相似。在一个实施方式中，能够识别与第二房间中的标记物的相对位置相关的来自第一房间中的视频摄像机的至少两个视频内容。使用两个视频内容，能够生成来自大体上匹配第二房间中的标记物的有利点的视角的虚拟视频内容。例如，能够使用插值以执行视频处理，其中，在来自第一视频内容的第一视频帧和来自第二视频内容的第二视频帧之间生成中间视频帧。因此，使用第一房间中的标记物的相对位置和方向，能够识别最紧密地匹配标记物的视角的第一视频内容和第二视频内容。然后，第一视频内容和第二视频内容能够被用于生成虚拟视频内容，该虚拟视频内容相比第一视频内容和第二视频内容能够单独地提供的，可以更接近第二房间中的标记物的视角。

在一个实施方式中，除了视频内容以外，能够从第一房间中的麦克风接收音频内容，并且能够将音频内容提供至第二房间中的扬声器。音频内容可以使位于第二房间中的人能够听到位于第一房间中的其它人。在一个示例中，麦克风可以与提供视频内容的视频摄像机关联，并且能够向第二房间中的接收与音频内容关联的视频内容的人提供来自麦克风的音频内容。

如框620中，能够向与位于第二房间中的标记物关联的头戴式显示器提供视频内容，其中，头戴式显示器提供与第二房间中的标记物的位置相关的第一房间的视图。因此，佩戴头戴式显示器的人能够如同在第一房间中的人一样从模拟的视角观看第一房间。例如，第二房间中的人能够观看第一房间和可以是在第一房间中的其他人，并且能够在第二房间中物理地来回移动，其中该移动在第一房间中的虚拟视图中被模仿。

图7是例示用于多个物理位置之间视频交互的方法的图。如图7所示，多个房间(即，房间一706和房间二708)能够被配置有数个视频摄像机和运动检测摄像机。例如，房间一706能够包含多个视频摄像机712a-d和多个运动检测摄像机716a-d。同样地，房间二708能够包含多个视频摄像机703a-d和多个运动检测摄像机734a-d。每个房间能够将视频内容以及位于房间中的一个或更多个标记物722和738的位置坐标从每个视频摄像机提供至服务器704。如本文中所述，服务器704能够向相应的头戴式视频显示器720和736提供视频内容，其中在一些实施方式中可以是虚拟视频内容。

当在房间中来回移动标记物722和738(例如，与标记物相关的人在房间中来回移动)时，能够确定与标记物722和738的相对位置最紧密相关的一个或更多个视频内容。当视频内容可能不再与标记物722和738相关时，能够将视频内容终止，并且可以向头戴式视频显示器720和736提供与标记物的相对位置紧密地相关的视频内容。此外，可以一定速率执行一个视频内容向另一个视频内容的转换，该速率使得转换对佩戴头戴式视频显示器720和736的人来说看起来是无缝地。

在以上本公开的系统和方法的讨论中，还应当理解的是，本文中描述的许多功能单元已经被标记为“模块”，以便更加具体地强调它们的实现方式的独立性。例如，模块可以被实现为硬件电路，该硬件电路包含定制的VLSI电路或门阵列、诸如逻辑芯片的现货供应的半导体、晶体管或其它离散组件。模块还可以被实现在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑装置等的可编程硬件装置中。

模块还可以被实现在用于通过各种类型的处理器执行的软件中。例如，可执行代码的识别模块可以包含计算机指令的一个或更多个物理块或一个或更多个逻辑块，例如，该计算机指令可以被组织为对象、过程、或函数。然而，识别模块的可执行文件不需要被物理地定位在一起，而是可以包含存储在不同位置中的不同指令，当该可执行文件逻辑上结合到一起时，构成该模块并且实现该模块规定的目的。

事实上，可执行代码的模块可以是单个指令，或可以是许多指令，并且可以甚至在若干个不同代码段上、不同程序之间、和跨越若干存储器装置进行分布。类似地，在本文中可以在模块内识别和例示操作数据，并且可以以任何适合的形式体现和在任何适合类型的数据结构内组织该操作数据。操作数据可以被收集为单个数据集，或者可以在包括不同存储装置上的不同位置上分布该操作数据，并且可以仅作为电子信号，至少部分地存在于系统或网络上。模块可以是无源的或是有源的，该模块包括可操作用于执行期望功能的代理。

尽管前述示例说明了本发明在一个或更多个具体应用中的原理，将对本领域技术人员显而易见的是，在不需要运用创造性能力并且不脱离本发明的原理和概念的情况下，能够进行实现方式的形式、使用和细节方面的大量修改。因此，除随附权利要求书中所阐述的之外，本发明不旨在是限制性的。

Claims (27)

1.一种用于两个物理位置的视频交互的系统，所述系统包括：

多个视频摄像机，所述多个视频摄像机被配置为生成物理位置中的第一房间的视频内容；

多个运动检测摄像机，所述多个运动检测摄像机位于第二房间中，其中，所述多个运动检测摄像机被配置为检测位于所述第二房间中的标记物的运动，并且提供用于所述标记物的坐标；

头戴式显示器，所述头戴式显示器包括示出所述第一房间的所述视频内容的视频显示器；

计算装置，所述计算装置被配置为：从所述多个视频摄像机接收多个视频内容，以及从所述多个运动检测器接收用于所述标记物的坐标，其中，所述计算装置包括处理器和存储器装置，所述存储器装置包括在通过处理器执行时导致所述处理器执行的指令；

跟踪模块，所述跟踪模块与所述多个运动检测摄像机关联，所述跟踪模块被配置为：确定在所述第二房间中的所述标记物的位置，以及使用通过所述多个运动检测器提供的所述坐标，确定所述标记物在所述第一房间中的相对位置。

视频模块，所述视频模块被配置为：识别来自所述第一房间中的所述多个视频摄像机的一个视频摄像机的视频内容，以及将所述视频内容提供给所述头戴式视频显示器，其中所述视频内容与所述第二房间中的所述标记物的相对位置相关。

2.根据权利要求1所述的系统，其中，所述视频模块进一步包括：识别来自所述第一房间的视频摄像机的至少两个视频内容，以及对所述至少两个视频内容插值，从而呈现从所述第二房间中的所述标记物的视角的所述第一房间的虚拟现实视图，其中所述至少两个视频内容与所述第二房间中的所述标记物的所述相对位置相关。

3.根据权利要求1所述的系统，其中，所述头戴式显示器进一步包括：将所述视频内容并入到透明显示器的显示器，所述透明显示器为用户提供平视显示器即HUD。

4.根据权利要求1所述的系统，其中，所述头戴式显示器进一步包括：头戴式立体显示器，所述头戴式立体显示器包括右视频显示器和左视频显示器，所述右视频显示器和左视频显示器用于分别根据第一视频内容和第二视频内容创造近乎实时的立体视频图像。

5.根据权利要求4所述的系统，其中，所述右视频显示器和左视频显示器被定位在所述头戴式装置的下部，所述头戴式装置停留在用户眼睛的前方处，其中，所述第一房间在向下看时可见并且所述第二房间在向上看时可见。

6.根据权利要求1所述的系统，其中，视频摄像机以彼此相距瞳孔距离被空间地分离。

7.根据权利要求1所述的系统，其中，所述视频模块进一步包括：识别至少两个摄像机内容，所述至少两个摄像机内容以距离彼此瞳孔距离被空间地分离。

8.根据权利要求1所述的系统，其中，所述标记物被集成在所述头戴式显示器中。

9.根据权利要求1所述的系统，进一步包括：被配置为生成来自所述第一房间的音频内容的麦克风。

10.根据权利要求7所述的系统，其中，麦克风是与视频摄像机关联。

11.根据权利要求7所述的系统，进一步包括：音频模块，所述音频模块被配置为识别来自所述第一房间中的所述麦克风的音频内容，并且将所述音频内容提供至扬声器。

12.根据权利要求11所述的系统，其中，所述扬声器被集成在所述头戴式显示器中。

13.根据权利要求1所述的系统，其中，所述多个视频摄像机围绕所述第一房间的周界均匀分布。

14.根据权利要求1所述的系统，其中，所述多个视频摄像机是视频摄像机阵列。

15.一种用于多个物理位置之间的视频交互的方法，所述方法包括：在配备有可执行指令的一个或更多个计算机系统的控制下：

接收来自位于物理位置的第一房间中的多个视频摄像机的多个视频内容，其中，遍及所述第一房间分隔开所述多个视频摄像机；

接收用于位于物理位置的第二房间中的标记物的位置坐标，所述位置坐标提供所述第二房间中的所述标记物的相对位置；

识别来自所述多个视频内容的一个视频内容，所述一个视频内容与位于所述第二房间中的所述标记物的所述相对位置的相关；以及

向与位于所述第二房间中的所述标记物关联的头戴式显示器提供所述视频内容，其中，所述头戴式显示器提供与所述第二房间中的所述标记物的所述位置相关的所述第一房间的视图。

16.根据权利要求15所述的系统，所述方法进一步包括：识别来自所述多个视频内容的至少两个视频内容，以及对所述至少两个视频内容插值，从而呈现从所述标记物的视角的所述第一房间的虚拟现实视图，其中所述至少两个视频内容与所述第二房间中的所述标记物的所述相对位置相关。

17.根据权利要求15所述的方法，其中，通过围绕所述第二房间的周界定位的多个运动检测摄像机，提供用于所述标记物的所述位置坐标。

18.根据权利要求15所述的方法，其中，用于标记物的所述位置坐标进一步包括：距运动检测摄像机的x、y、和z轴距离。

19.根据权利要求15所述的方法，其中，所述多个视频摄像机被放置在所述第一房间的所述周界内的各种高度处。

20.根据权利要求15所述的方法，其中，所述标记物是包含至少一个发光二极管即LED的有源标记物，所述LED对运动检测摄像机可见。

21.根据权利要求15所述的方法，其中，所述标记物是无源标记物，所述无源标记物被涂覆有逆向反光材料，在通过光源照射时，所述逆向反光材料使得所述标记物对运动检测摄像机可见。

22.根据权利要求15所述的方法，其中，所述标记物进一步包括：被附接至用户本人的标记物。

23.根据权利要求15所述的方法，其中，所述标记物位于所述头戴式显示器上。

24.根据权利要求15所述的方法，进一步包括：接收来自位于所述第一房间中的麦克风的音频内容，并且向所述第二房间中的扬声器提供所述音频内容。

25.一种用于多个物理房间之间的交互的方法，所述方法包括：在配备有可执行指令的一个或更多个计算机系统的控制下：

接收来自位于第一房间的第一多个视频摄像机和位于第二房间中的第二多个视频摄像机的视频内容；

接收用于位于所述第一房间中的第一标记物和位于所述第二房间中的第二标记物的位置坐标，标记物的所述坐标提供房间中的所述标记物的相对位置；

确定来自所述第二房间的至少两个视频内容，以及对所述两个视频内容插值，从而呈现从所述第一标记物的视角的所述第二房间的虚拟现实视图，并且将所述虚拟现实视图提供给包含所述第一标记物的头戴式显示器，其中，所述至少两个视频内容与所述第一标记物的所述相对位置相关；以及

确定来自所述第一房间的至少两个视频内容，以及对所述两个视频内容插值，从而呈现从所述第二标记物的视角的所述第一房间的虚拟现实视图，并且将所述虚拟现实视图提供给包含所述第二标记物的头戴式显示器，其中，所述至少两个视频内容与所述第二标记物的所述相对位置相关。

26.根据权利要求25所述的方法，所述方法进一步包括：确定至少两个视频内容，当标记物在第一会议室的空间中来回运动时，所述至少两个视频内容与所述第一会议室中的所述标记物的相对位置最密切相关。

27.根据权利要求25所述的方法，所述方法进一步包括：终止视频内容，并且将新的视频内容以一定速率提供给插值过程，所述速率使从一个视频内容转换至另一个视频内容对所述头戴式显示器的用户来说看起来是无缝的。