CN109076251A - 远程会议传输 - Google Patents

Abstract

公开了终端的表现的传输。在终端的表现的传输中检测源媒体的表演。在传输期间采用图像中源媒体来替换检测到的源媒体的表演。

Description

远程会议传输

背景技术

远程会议是在采用远程通信系统链接在一起的终端处相互远离的人员和装置之中实时或通常现场的通信或信息交换。远程会议的示例包括在远程通信网络诸如广域网或互联网之上的网络会议、视频会议、网络广播、和远程研讨会。可以采用允许人员感觉到仿佛他们在现场、给出在现场的表观、或具有在除了他们物理位置之外的终端处效果的一个或多个远程呈现装置而使得远程会议变得更方便。远程呈现技术的示例可以包括在终端位置处可以将视频、音频、数据或多媒体在远程通信网络之上发送至在参与者的真实位置处的计算装置的话筒、网络相机、以及远程呈现机器人。远程呈现装置可以包括单个元件、元件的组合、或元件的联合汇集诸如在会议室中的多个网络相机和话筒。远程呈现装置可以捕捉参与者的周围环境，诸如房间或其他终端位置。在一些示例中，经由远程呈现机器人通信的参与者可以改变在终端处的透视或者改变终端。因此，远程会议模拟在物理远隔的参与者之间的面对面通信。

附图说明

图1是说明了示例性远程会议传输进程的方框图。

图2是说明了另一示例性远程会议传输进程的方框图。

图3是说明了可以实施图1和图2的示例性远程会议传输进程的示例性系统的方框图。

图4是说明了可以采用图3的示例性系统所实施的另一示例性远程会议进程的方框图。

具体实施方式

在以下详细说明书中，参考形成了其一部分的附图，以及其中借由示意说明的方式显示作为其中可以实践本公开的具体示例。应该理解的是，可以利用其它示例并且可以做出结构或逻辑上的改变而并未脱离本公开的范围。因此，以下详细说明书不应视作是限制性的，并且由所附权利要求限定本公开的范围。应该理解的是，在此所述的各个示例的特征可以部分或全部地相互组合，除非另外明确地加注。

远程会议中的参与者可以参考在终端位置处向在远程位置处的其他远程会议参与者展现的媒体。例如，参与者可以希望在终端位置处与在远程位置处的他人共享计算机幻灯片演示文稿、显示在膝上型计算机上的视频、或在扬声器上播放的音频。不幸地，共享媒体的该方案有时不到最佳。例如，在终端位置处远程呈现装置中的宽角度网络相机或话筒可以拾取媒体的表演并以相对较低分辨率流发送，并且将以在他们的显示器和扬声器上难以看到或听到的方式向远程位置处参与者展示该表演。移动远程呈现装置可以并未解决低分辨率的问题，并且放大包括表演的一部分图像可以不到最佳，因为在远程位置处的参与者可能随后较少察觉到在终端位置处的其他活动。在终端位置处额外的环境考虑可以影响表演，诸如显示器上炫光或阴影、或者采用话筒捕捉到的会议室中的噪声。

一个方案可以在一个应用窗口中提供来自远程呈现装置的终端位置的媒体流的视图，以及在远程位置处参与者的计算装置显示器上另一应用窗口中提供媒体的视图。例如，远程位置处的参与者可以具有打开的应用窗口以观看在终端位置处参与者的托管(hosting)了媒体的表演的视频或其他媒体流诸如幻灯片演示文稿，以及打开用以展示幻灯片演示文稿的另一应用窗口。尽管该方案可以极详细提供媒体表演的再现，保真性可以以计算开销为代价。多个窗口可以占据有价值的屏幕区域，这使得难以在膝上型或平板计算装置上观看。通常，参与者将选择观看会议或媒体。额外地，如果使用多个应用或者一个应用的多个版本以展现远程会议的视频和媒体，多个窗口可以消耗在远程位置处计算装置的处理能力。

图1说明了可以适用于远程会议中终端位置的表现的传输的示例性方法100。终端的表现可以包括图像，或在采用远程呈现装置所捕捉的视频或音频中的一系列图像。在102处在终端的表现的传输中检测源媒体的表演。例如，表演可以包括在计算机显示器上幻灯片演示文稿的播放或回放，静止图像或在监控器中的视频图像，或者在终端位置处扬声器上播放的音频记录。源媒体的示例可以包括幻灯片演示文稿程序以及在监控器上或通过扬声器播放的源视频的数字文件。在104处在传输期间采用图像中的源媒体替换检测到的源媒体的表演。在一个示例中，采用在终端位置的表现中相对较高分辨率的源媒体替换采用远程呈现装置诸如宽角度网络相机所捕捉的幻灯片演示文稿的低分辨率图像。

图2说明了可以适用于在远程会议中终端位置处的表现的传输的另一示例性方法200。在202处访问源媒体。在204处识别终端的表现中的表演表面(performance surface)。例如，识别与显示了幻灯片演示文稿或视频的计算机监控器相对应的视频图像的一部分。在另一示例中，与视频、音频、其他媒体、或媒体的组合相对应的流的一部分是表演表面。在206处将源媒体映射至表演表面。在208处，在终端的表现的传输期间，采用源媒体替换表演表面。

可以实施示例性的方法100、200以包括一个或多个硬件装置和程序的组合以控制系统诸如具有处理器和存储器的计算装置以执行方法100、200。例如，方法100、200可以实施作为在非暂时计算机可读介质上的可执行指令的集合以控制处理器以执行方法100、200。本公开的其他方法也可以实施作为用于控制系统的硬件和程序的组合。

终端的表现可以包括采用远程呈现装置捕捉并发送的任何合适的表演。例如，终端的表现可以包括来自网络相机或远程呈现机器人的视频。此外，终端的表现可以包括来自话筒的音频传输。源媒体可以包括幻灯片演示文稿、视频、照片、以合适格式的音频的数字文件，或照片、音频记录或其他媒体。源媒体的表演可以包括在监控器中播放源媒体，在对应的应用中运行源媒体，或在终端位置处通过扬声器播放音频。本公开包括按照在终端位置诸如会议室处经由远程呈现装置发送来自网络相机的视频图像和来自话筒的音频而描述的示例。本公开也包括在会议室中远程呈现装置看来来自在计算机监控器上显示的数字文件的数字视频的示例。这些示例是为了说明，并非意在限制终端的表现、源媒体、或源媒体的表演的范围。

图3说明了可以在环境302中实施示例性方法100、200的示例性系统300。示例性系统300包括具有处理器306和存储器308计算装置304，配置处理器306和存储器308用以将本公开的示例性方法诸如方法100、200或其他方法实施作为存储在存储器308中用以控制处理器306以实施方法的计算机可读指令的集合。在一个示例中，计算机可读指令的集合可以实施为计算机程序310，其可以包括作为硬件和在非暂时计算机或处理器可读介质上的计算机程序的各种组合以在系统300上操作。计算机程序310可以存储在存储器308中并由处理器306可执行以传输远程会议。

在一些示例中，计算装置304也可以具有一个或多个额外的处理或专用处理器(未示出)，诸如在图形处理器单元上用于通用目的计算的图形处理器，以执行从处理器306卸载的处理功能。存储器308可以以层级而设置，并可以包括一级或多级高速缓存。存储器308可以是易失性的(诸如随机访问存储器(RAM))、非易失性的(诸如只读存储器(ROM)、闪存等)、或者两者的一些组合。计算装置304可以采取数种形式的一个或多个。该形式包括平板计算机、个人计算机、工作站、服务器、手持式装置、消费电子装置(诸如视频游戏控制台或数字视频记录器)或其他，并且可以是独立装置或配置作为计算机网络、计算机集群、云服务基础设置或其他的部件。

环境302包括在远程会议中的终端位置312，具有其他一个或多个其他终端诸如远离终端312的位置，称作远程位置314。终端位置312可以包括远程呈现装置316，诸如网络相机、话筒和远程呈现机器人，以捕捉向系统300提供的终端318的表现。终端318的表现可以在远程通信网络320之上传输至远程位置314处的计算装置322。可以包括系统作为在终端位置312处的计算装置、在远程位置314处或在可操作地耦合至远程通信网络320的中间装置中的计算装置的部件。

计算装置304通常包括一个或多个通信连接，其允许计算装置304与其他计算机/应用诸如与在远程位置314处的远程呈现装置和计算装置322通信。示例性的通信连接可以包括但不限于，以太网接口，无线接口，总线接口，存储区域网络接口，以及专用接口。通信连接可以用于将计算装置304耦合至远程通信网络320，其可以包括计算装置的汇集以及可能由促进通信并允许在互联装置之中共享资源和信息的通信信道所互联的其他装置。远程通信网络320的示例包括局域网、广域网、互联网或其他网络。

在一个示例中，终端312可以包括在会议室中由远程呈现装置316诸如示例中网络相机所捕捉的计算装置诸如膝上型计算机330。因此，终端318的表现可以包括在远程会议的传输中会议室的视频。膝上型计算机330可以包括在膝上型计算机的显示器和扬声器中源媒体的表演，诸如运行在幻灯片应用、视频播放器、或膝上型计算机330上浏览器上的幻灯片演示文稿或视频332。膝上型计算机330在网络相机316的视图中。在其他示例中，远程呈现装置316在观看投影的图像或接收由膝上型计算机330所驱动的源媒体的音频。

配置系统300以接收终端318的表现，包括了源媒体的表演。额外地，配置系统300以接收源媒体334。在示例中，系统300可以在终端的表现中识别表演表面，诸如与膝上型计算机330的显示器相对应的视频图像的一部分。系统300可以将源媒体334映射至表演表面，并且在图像的传输期间诸如在远程会议传输期间实时采用源媒体334替换表演表面。系统300可以在远程位置314处计算装置322上向参与者338呈现终端位置的包括了源媒体336的修改后表现。在一些示例中，包括处理器306和存储器308的系统300的一个或多个特征可以合并至计算装置300或计算装置322中。

图4说明了传输远程会议的示例性方法400，可以包括采用示例性系统300所执行的示例性方法100、200的特征。在402处识别终端的表现中表演表面或多个表演表面，诸如表演表面。在404处访问用于表演表面或多个表面的源媒体。在406处将源媒体映射至表演表面。在408处在终端的表现的传输期间采用源媒体替换表演表面以为远程参与者创建修改后的传输。在一些示例中，在410处远程参与者能够与源媒体选择性接洽。可以实施示例性方法400以包括一个或多个硬件装置和程序的组合以控制系统诸如系统300以执行方法400。

在一个示例中，在402处在终端的表现中识别表演表面或多个表面可以包括在表现上发现表演表面并校准所发现的表面。在视频图像中检测表演表面可以包括采用可以由系统300所识别的视频信号而激励表演装置诸如显示器和监控器。例如，在远程呈现装置看来可以为显示器和监控器提供信号以使得显示器和监控器输出图像，诸如闪烁红色和绿色的矩形，使得系统可以识别作为表演表面。额外地或备选地，系统可以使用在显示器或监控器中普遍的视觉线索或人工制品检测表演表面，诸如当由传感器以低刷新率扫描所显示图像时所创建的动态图像或假信号。在一个示例中，检测继续以在终端的表现中识别额外的表演表面。在一个示例中，在远程呈现装置或显示器相对于另一个移动的情形中，可以设置系统以连续地或周期性地检测表演表面。如果可以由远程参与者移动远程呈现装置，诸如采用远程呈现机器人，系统可以自动地重新发现表演表面。

可以记录终端的表现中每个表演表面的位置，诸如在存储器中记录视频像素空间中的位置。系统也可以将视频像素空间的坐标转换为其他工作空间。可以为检测到的表演表面提供也将在存储器中记录的识别信息。识别信息可以包括视频流标识符数据和元数据。额外地，识别信息可以包括特权数据，指示了例如将在显示器中给出对应于表演表面的输出的安全或访问等级。在该示例中，如果他们具有对应的安全或访问等级，远程位置中的远程会议参与者可以仅在显示器中观看源媒体，并且不具有安全或访问特权的他人将简单地看到空白或另外封闭的显示屏。

在404处访问用于表演表面或多个表面的源媒体。在一个示例中，可以由远程会议参与者识别源媒体并放置在由系统可访问的文件夹中。在另一示例中，远程会议参与者可以使用标识符数据诸如通用资源标识符而标识源媒体，并且系统能够从网络访问源媒体。额外地，可以确定源媒体的坐标并存储在存储器中。在一个示例中，可以以像素单元而展示源媒体的坐标。

在一个示例中，系统可以分析表演表面以搜索源媒体。表演表面的该分析可以作为在402处识别表演表面的一部分而执行。可以针对源媒体可能(或不可能)匹配源媒体的表演中的媒体与源媒体而分析表演表面。例如，在再现会议或或正在进行的项目的情形中，可以在再现会议或正在进行项目从属于远程会议的情况中频繁地访问的源媒体的集合。类似地，远程会议中每个参与者可以具有他们以一些频率访问的源媒体的集合。

在一些示例中，表演表面可以包括静态图像，诸如照片或单个幻灯片作为源媒体的表演。在其他示例中，源媒体可以在源媒体的表演期间诸如在视频或幻灯片演示文稿的表演中随时间改变。动态分析可以检测源媒体相对于源媒体的表演的位置。例如，如果幻灯片在终端位置处监控器中遍布幻灯片演示文稿而改变，终端位置的视频的表演表面的动态分析可以调节源媒体中幻灯片以对应于在终端位置处监控器上的幻灯片。可以为源媒体提供元数据以帮助对应于源媒体的位置的定位，诸如在幻灯片演示文稿中幻灯片或视频演示文稿中的定时。可以任选地编目并访问与每个所识别表演表面相关联的音频源内容。

可以应用空间变换以将源媒体映射至表演表面。在许多情形中，可观看的源媒体适合矩形且在终端位置处的显示器和监控器是矩形的。然而，表现源媒体的显示器和监控器的表演可以失真。表演表面可以表现为梯形或者源媒体的表演可以经由远程呈现装置旋转或翻转。用于纹理映射的几何变换可以适用于采用表演表面的坐标映射源媒体的坐标。例如，可以变换源媒体以采用像素映射适合对应的表演表面。

音频源媒体可以经历合适的处理诸如校平，放置在立体声信号配对中，或用于混合以由远程参与者单独消耗的其他处理。

在408处，在终端的表现的传输期间可以采用源媒体替换表演表面以提供修改后的传输。例如，源媒体的视觉特征方面实时地插入至采用远程呈现装置所捕捉的视频图像的表演表面中以为在远程位置处的参与者产生终端的修改后视频流。

系统300可以包括能够通常实时阿尔法信道插入的视频切换硬件和视频切换程序的一个或两者的组合。可以根据在406处映射创建源媒体的翘曲图像并结合对应的所创建阿尔法信道而应用以指导视频硬件和程序以执行源媒体的插入。在多个表演表面的情形中可以对于图像中每个源媒体执行经由阿尔法信道的插入。

在源媒体的音频特征方面的情形中，处理并移除诸如从所捕捉的音频流合成地剥离经由远程呈现装置所捕捉的相关音频。源媒体的音频特征方面可以混合至采用远程呈现装置所捕捉的剩余音频中以产生向远程参与者提供的修改后音频流。

可以采用用于远程参与者的阻挡图像替换视频图像的表演表面而并未允许观看例如通过比较源媒体的访问特权数据和参与者的访问特权所确定的源媒体。替代于采用源媒体取代表演表面，采用黑色图像或其他允许的内容替换表演表面。在一个示例中，阻挡图像可以是在关断配置或非工作模式中的显示器或监控器的所模拟图像。此外，可以响应于访问特权而从修改后传输选择性地输送或移除来自终端的表现的音频。例如，具有1的访问特权的源媒体或音频可以将修改后传输中表演表面替换为具有1的访问特权的所有参与者，且插入阻挡视频以及将修改后传输中移除的对应的音频替换为具有0或1的访问特权的所有参与者。

除了在408处采用源媒体替换表演表面之外，系统可以提供对于传输的额外基于上下文的修改。例如，可以采用转换为远程参与者的语言的音频替换源媒体中的音频。在一个示例中，源媒体可以包括许多基于上下文的代码，诸如语言、格式或识别了源媒体的一个或多个版本的其他代码。可以将基于上下文的代码与远程参与者的偏好匹配。例如，源媒体幻灯片演示文稿的音频和视频特征方面可以在数种语言中。可以在向参与者的修改后传输中采用选择了表演的备选版本的源媒体版本替换表演表面和音频的子集。预期设计了源媒体的其他备选版本，诸如适用于儿童的版本以及适用于成人的另一版本。

在一些示例中，在410处，远程参与者能够选择性地与源媒体接洽或交互。例如，远程参与者可以与修改后传输选择性接洽以缩小源媒体视频或阻止背景噪声干扰源媒体音频。额外地，远程参与者可以在修改后流中经由在源视频上移动点击设备指针而与源媒体交互。可以经由反向映射和变换检测在源媒体上点击设备指针的位置。可以将在远程位置处放置指针转换为在终端位置处源媒体的表演上定位指针。另外，在一些示例中，可以选择源媒体以出现在远程位置中计算显示器的分立窗口中。该窗口可以允许对于源媒体编辑或另外修改。

尽管已经在此说明并描述了具体示例，可以将所示和所述具体示例替换为各种备选和/或等价实施方式而并未脱离本公开的范围。本申请意在覆盖在此所讨论的具体示例的任意修改或变形例。因此，有意设计的是本公开仅由权利要求及其等价形式而限定。

Claims (15)

1.一种传输远程会议的方法，包括：

在终端的表现的传输中检测源媒体的表演；并且

在传输期间采用所述终端的修改后表现中的源媒体替换检测到的所述源媒体的表演。

2.根据权利要求1所述的方法，其中，检测所述表演包括：在所述终端的表现的传输中识别表演表面。

3.根据权利要求2所述的方法，其中，识别所述表演表面包括：发现所述表演表面并校准所发现的表演表面。

4.根据权利要求1所述的方法，其中，所述终端的表现包括所述终端的视频。

5.根据权利要求1所述的方法，其中，替换检测到的表演包括：将所述源媒体映射至所述表演表面并且在传输期间将所述源媒体插入至所述表演表面。

6.根据权利要求1所述的方法，包括：在传输期间在所述终端的修改后表现中添加上下文信息。

7.一种用于传输远程会议系统，包括：

存储器，用以存储指令的集合，接收源媒体，以及接收包括所述源媒体的表演的终端的表现的传输；以及

处理器，用以执行所述指令的集合以：

在所述终端的表现的传输中识别表演表面；

将所述源媒体映射至所述表演表面；并且

在所述终端的图像的传输期间采用所述源媒体替换所述表演表面。

8.根据权利要求7所述的系统，其中，所述处理器执行指令以为所述表演表面提供识别数据。

9.根据权利要求7所述的系统，其中，所述处理器指令以执行空间变换以将所述源媒体映射至所述表演表面。

10.根据权利要求7所述的系统，其中，所述终端的表现是从远程呈现装置接收的。

11.根据权利要求10所述的系统，其中，所述远程呈现装置包括网络相机。

12.一种非暂时计算机可读介质，用以存储计算机可读指令以控制处理器用以：

访问源媒体；

在终端的表现的传输中识别表演表面；

将所述源媒体映射至所述表演表面；并且

在所述终端的表现的传输期间，采用所述源媒体替换所述表演表面。

13.根据权利要求12所述的非暂时计算机可读介质，其中，识别所述表演表面包括：识别多个表演表面并且采用阻挡图像选择性地替换所述多个表演表面的子集。

14.根据权利要求12所述的非暂时计算机可读介质，其中，所述终端的表现包括音频和视频。

15.根据权利要求12所述的非暂时计算机可读介质，包括将所述源媒体的访问特权数据与远程参与者的特权数据进行比较。