CN103096015B

CN103096015B - 一种视频处理方法和系统

Info

Publication number: CN103096015B
Application number: CN201110335141.5A
Authority: CN
Inventors: 赵嵩; 王静; 刘源
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2011-10-28
Filing date: 2011-10-28
Publication date: 2015-03-11
Anticipated expiration: 2031-10-28
Also published as: CN103096015A; WO2013060295A1

Abstract

本发明实施例公开了视频处理方法和系统，该方法的视频发送部分包括：获取具有不同视角的本地视频信息，所述本地视频信息的视角数目不小于远端观察点数目；将所述具有不同视角的本地视频信息发送至远端；所述方法的视频显示部分包括：接收具有不同视角的远端视频信息，所述远端视频信息的视角数目不小于本地观察点数目；采用多视角显示设备向不同的本地观察点显示对应视角的远端视频信息，以实现眼对眼显示效果，所述多视角显示设备的显示视角不小于所述本地观察点数目；其中，所述远端观察点数目和本地观察点数目均为自然数，且所述远端观察点数目和本地观察点数目中至少有一个数目不小于2。采用本发明，可以实现远程会议系统中的眼对眼效果。

Description

一种视频处理方法和系统

技术领域

本发明涉及远程呈现技术，尤其涉及一种视频处理方法和系统。

背景技术

远程呈现技术可用于视频会议系统中，在该系统中包括处于不同地理位置的与会的双方，双方需要通过视频通信实现类似于在同一地点进行会议的效果。在视频通信时，一方面需要采集本地视频信息，另一方面需要显示远端的视频信息。由于摄像机与远端图像位置的差异，当与会者看着远端图像交谈时，不能看像摄像机，这样就无法产生“眼对眼”的临场交谈的效果。

如图1所示，为现有的远程会议系统的一个组成布局，该系统中3台摄像机无重复地均匀覆盖所有与会者；接收到3路视频流分别显示在3台显示器上。显然，只有所有与会人员都正视摄像机时，才可以在中间屏幕上获得眼对眼效果；在其余情况下均无法获得“眼对眼”效果。

发明内容

本发明实施例所要解决的技术问题在于，提供一种视频处理方法和系统。可以在远程会议系统中实现眼对眼的效果。

为了解决上述技术问题，本发明实施例提供了一种视频处理方法，用于远程会议系统中，所述方法的视频发送部分包括：

获取具有不同视角的本地视频信息，所述本地视频信息的视角数目不小于远端观察点数目；

将所述具有不同视角的本地视频信息发送至远端；

所述方法的视频显示部分包括：

接收具有不同视角的远端视频信息，所述远端视频信息的视角数目不小于本地观察点数目；

采用多视角显示设备向不同的本地观察点显示对应视角的远端视频信息，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目；

其中，所述远端观察点数目和本地观察点数目均为自然数，且所述远端观察点数目和本地观察点数目中至少有一个数目不小于2。

同时，本发明实施例还提供了一种视频处理装置，用于远程会议系统中，

所述装置的发送模块包括：

本地视频获取单元，用于获取具有不同视角的本地视频信息，所述本地视频信息的视角数目不小于远端观察点数目；

本地视频发送单元，用于将所述具有不同视角的本地视频信息发送至远端；

所述装置的显示模块包括：

远端视频接收单元，用于接收具有不同视角的远端视频信息，所述远端视频信息的视角数目不小于本地观察点数目；

远端视频显示单元，用于采用多视角显示设备向不同的本地观察点显示对应视角的远端视频信息，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目；

相应地，本发明实施例还提供了一种远程会议系统，所述系统的本地端包括：

多个具有不同摄像视角的摄像设备，用以分别获取具有不同视角的本地视频信息，所述本地视频信息的视角数目不小于远端观察点数目；

通讯设备，用于向远端发送所述摄像设备获得的所述具有不同视角的本地视频信息，并接收来自所述远端的具有不同视角的远端视频信息，所述远端视频信息的视角数目不小于本地观察点数目；

多视角显示设备，用于向不同的本地观察点显示对应视角的远端视频信息，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目；

在本发明实施例中，获取多视角本地视频信息发送给远端显示，在本地端则显示来自远端的多视角远端视频信息，只要显示时恰当进行视角的匹配就可以实现眼对眼的会议效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是现有的远程会议系统一端的布局示意图；

图2是本发明实施例中的视频处理方法中的发送部分的一个具体流程图；

图3是本发明实施例中的视频处理方法中的显示部分的一个具体流程图；

图4是本发明实施例中的视频处理装置的一个具体组成图；

图5是本发明实施例中的远程会议系统的一个具体组成图；

图6是为本发明实施例的布局1示意图；

图7是为本发明实施例的布局1示意图；

图8是为本发明实施例的布局1示意图；

图9是为本发明实施例的包括辅流显示器的布局1示意图；

图10是为本发明实施例的包括辅流显示器的布局1示意图；

图11是为本发明实施例的布局1示意图；

图12是为本发明实施例中多视角显示器的显示视角示意图；

图13是为本发明实施例中多视角显示器的显示原理示意图；

图14是为本发明实施例的布局1a示意图；

图15是为本发明实施例的布局1b示意图；

图16是为本发明实施例的布局2示意图；

图17是为本发明实施例的布局3示意图；

图18是为本发明实施例的布局4示意图；

图19是为本发明实施例的布局5示意图；

图20是为本发明实施例的布局6示意图；

图21是为本发明实施例的布局7示意图；

图22是为本发明实施例的布局8示意图；

图23是为本发明实施例的布局9示意图；

图24是为本发明实施例的布局10示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

眼对眼效果的基础在于双方可以观察到不同视角的信息，当一方转向某一视角时只有处于该视角的观察者能够感受到“正视”的效果。基于该原理，在本发明实施例中充分考虑与会双方的可能视角数目，根据观察者的数目获取相应数目的多视角视频信息，以实现逼真的眼对眼效果。

如图2和图3所示，为本发明实施例中的视频处理方法的一个具体流程图，该方法可用于远程会议系统中。

如图2所示，为该方法的视频发送部分流程：201、获取具有不同视角的本地视频信息，所述本地视频信息的视角数目不小于远端观察点数目；202、将所述具有不同视角的本地视频信息发送至远端。

其中，在步骤201中采集视频信息时，可以在下述的多视角显示设备处采用具有不同摄像视角的摄像设备获取本地视频信息。

如图3所示，为该方法的视频显示部分流程：301、接收具有不同视角的远端视频信息，所述远端视频信息的视角数目不小于本地观察点数目；302、采用多视角显示设备向不同的本地观察点显示对应视角的远端视频信息，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目。其中，所述远端观察点数目和本地观察点数目均为自然数，且所述远端观察点数目和本地观察点数目中至少有一个数目不小于2。

其中，在上述实施例中的远程会议系统中可包括多个远端，则步骤301可为选取多个远端中的一个远端，接收来自该选取的远端发送的具有不同视角的远端视频信息。另一方面，在进行显示时可选用多个多视角显示设备，即在步骤302中采用多个多视角显示设备向不同的本地观察点显示对应视角的远端视频信息。

可以理解，在一个视频会议流程中，图2和图3中显示的流程是同步或基本同步进行的。上述远端或本地的观察点可以是指与会者在参加会议时的位置、也可以是指与会者的位置组(即，可能有2个或2个以上的与会者在参加会议时被当作一个观察点，而不进行区分)。

在上述流程中没有具体指出在何种观察点情况下，获得哪些视角信息，在哪些视角显示信息，这是由于这些情况依赖于非常具体的会议布局，在上述实施例中仅能给出总体方案，结合后续的不同实施例中的会议布局，应当能够理解如何根据上述实施例的技术方案实现远程会议中的眼对眼效果。同时，在眼对眼时，其效果的逼真性也与系统的成本有关，不代表在本发明的所有实施例中均要实现最逼真的眼对眼效果，只实现部分的眼对眼效果的实施例也应当输入本发明实施例中的一种。

相应于上述方法实施例，本发明实施例中还提供了一种视频处理装置1，该装置用于远程会议系统中，如图4所示，装置1的发送模块10包括：本地视频获取单元100，用于获取具有不同视角的本地视频信息，所述本地视频信息的视角数目不小于远端观察点数目；本地视频发送单元102，用于将所述具有不同视角的本地视频信息发送至远端。

其中，本地视频获取单元100，还用于在所述多视角显示设备处采用具有不同摄像视角的摄像设备获取本地视频信息。

装置1的显示模块12包括：远端视频接收单元120，用于接收具有不同视角的远端视频信息，所述远端视频信息的视角数目不小于本地观察点数目；远端视频显示单元122，用于采用多视角显示设备向不同的本地观察点显示对应视角的远端视频信息，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目；其中，所述远端观察点数目和本地观察点数目均为自然数，且所述远端观察点数目和本地观察点数目中至少有一个数目不小于2。

其中的远端视频显示单元120，还可用于采用多个多视角显示设备向不同的本地观察点显示对应视角的远端视频信息。若所述系统包括多个远端，则远端视频接收单元120，还用于选取多个远端中的一个远端，接收来自该选取的远端发送的具有不同视角的远端视频信息。

相应于上述方法和装置实施例，本发明实施例还提供了一种远程会议系统，在该系统中明确了具有上述功能的实体设备如何实现整个系统，当然图中所示仅表示连接关系，不代表实际系统中的位置关系。如图5所示，系统的本地端包括：多个具有不同摄像视角的摄像设备2，用以分别获取具有不同视角的本地视频信息，所述本地视频信息的视角数目不小于远端观察点数目；通讯设备3，用于向远端发送所述摄像设备获得的所述具有不同视角的本地视频信息，并接收来自所述远端的具有不同视角的远端视频信息，所述远端视频信息的视角数目不小于本地观察点数目；多视角显示设备4，用于向不同的本地观察点显示对应视角的远端视频信息，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目；其中，所述远端观察点数目和本地观察点数目均为自然数，且所述远端观察点数目和本地观察点数目中至少有一个数目不小于2。

其中，可在本地端设置多个多视角显示设备，使所述系统中的多视角显示设备的数目不小于远端观察点数目。以达到更好的眼对眼效果。

所述多视角显示设备可为多视角显示器，或所述多视角显示设备为多个投影仪与具有多视角显示功能的投影幕的组合。

若所述系统还包括多个远端，所述本地端的通讯设备还用于从所述多个远端中选择一个远端进行多视角视频信息的接收和发送。

为了能够更清楚的说明上述实施例中如何实现眼对眼效果。以下描述几种具体的系统布局，并描述不同视频信息之间的采集和显示对应关系。

如图6～图11所示，为本发明实施例的布局1，在布局1中显示了图5中所示系统中的各组成设备的一种具体位置关系的示例，以及各设备的相应视角等。图6～图10中显示了系统中的本地端和远端的总体情况，图11中显示系统中的一端的具体布局(两端为对称分布)。

系统中包括两个会场A、B，会场AB通过网络直接相连；每个会场都包含3台大尺寸平板显示器作为主显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。3台显示器以一个折面的方式放置，中间的显示器和两边的显示器紧靠在一起，3台显示器的图像构成了会议室场景的一个完整呈现，位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。系统中采用的显示设备为具有多个视角的显示器，如图11所示，各个显示器具有3个视角，每个视角可以呈现不同的内容，每个显示器的视角情况如图12所示。

如图12所示的显示器具有如下特点：在不同的视角上可以显示不同的内容；如上图中在假设待呈现的物体用虚线标识，具有3个表面，该多视角显示器可以在三个不同的视角上分别呈现出面1内容，面2内容和面3内容，如果该物体真实的放置在显示器位置一样。该显示设备采用视差挡板原理实现，如图13所示，不同的视角观察到的是该视角的图像内容。

以下具体描述系统中的一端的布局情况。如图11所示，在每台显示器的中间位置，放置了3台高清摄像机，能够支持720p和1080p分辨率的高清图像采集，并且每台摄像机无重复地覆盖所有与会者。

每个会议室的会议桌按照从左至右分别为D1、D2、D3，显示器为T1、T2、T3,每个显示器上的3台摄像机从左至右分别为C1、C2、C3，每台显示器的3个视角从左至右分别为V1、V2、V3；

则左侧显示屏顶部的摄像机C1拍摄范围覆盖会议桌D1，摄像机C2拍摄范围覆盖会议桌D2，摄像机C3拍摄范围覆盖会议桌D3；中间显示屏顶部的摄像机C1拍摄范围覆盖会议桌D1，摄像机C2拍摄范围覆盖会议桌D2，摄像机C3拍摄范围覆盖会议桌D3；右侧显示屏顶部的摄像机C1拍摄范围覆盖会议桌D1，摄像机C2拍摄范围覆盖会议桌D2，摄像机C3拍摄范围覆盖会议桌D。

T1的视角V1对应于会议桌D1,T1的视角V2对应于会议桌D2,T1的视角V3对应于会议桌D3；T2的视角V1对应于会议桌D1,T2的视角V2对应于会议桌D2,T2的视角V3对应于会议桌D3；T3的视角V1对应于会议桌D1,T3的视角V2对应于会议桌D2,T3的视角V3对应于会议桌D3。

则为了实现眼对眼效果，假设如图6所示的两个会场分别为会场A、会场B，如果是会场A的摄像机的视频流被发送到会场B显示，对于中间的座位区域D2，则有如下视频流的发送、接收对应关系：

A T1 C2＝>B T2 V3

A T2 C2＝>B T2 V2

A T3 C2＝>B T2 V1

对于左边的座位区域D1，如图7所示，有如下的对应关系：

A T1 C1＝>B T3 V3

A T2 C1＝>B T3 V2

A T3 C1＝>B T3 V1

对于右边的座位区域D3，如图8所示，有如下的对应关系：

A T1 C3＝>B T1 V3

A T2 C3＝>B T1 V2

A T3 C3＝>B T1 V1

如果是会场B的摄像机的视频流被发送到会场A显示，类似的有如下对应关系：

B T1 C1＝>A T3 V3

B T2 C1＝>A T3 V2

B T3 C1＝>A T3 V1

B T1 C2＝>A T2 V3

B T2 C2＝>A T2 V2

B T3 C2＝>A T2 V1

B T1 C3＝>A T1 V3

B T2 C3＝>A T1 V2

B T3 C3＝>A T1 V1

在具体实施例中，以上的视频发送接收对应关系可以有两种实现方式：在对会场的显示设备和与会者的方位信息的表述中做如下规定，以所有与会区域的中间位置为中心，面对所有主显示设备的中间位置的左手方向最左边的显示设备为第0个显示设备区域，以次左边的显示设备为第1个显示设备，以此类推；在每个以最左边的与会区域为第0个(摄像机)覆盖区域，次左边的与会区域为第1个(摄像机)覆盖区域，以此类推。

会场A和B可能会存在辅助显示器T4，用于显示辅流视频。在这种场景下，视频流的发送、接收对应关系包括两种方式：一种和图6～8所述的方式保持一致，如图9所示。另一种方式为镜像方式，如图10所示，这种方式在完全相同的会场布局下可以获得更好的眼对眼体验。

在系统的与会双方进行视频会议之前，先进行协商，协商内容即包括上述的视频发送接收对应关系信息。即，有如下过程。

1、在能力协商阶段将体现各个视频流的发送接收关系，可以利用会话描述协议来描述这种对应关系；

比如发送视频流T1C3可以描述为：

“AuxStream:OFF SndPos:0CovPos:2”

2、发送方将本法所有的视频流发送到对方，对方接收视频流，解码后，按照以上对应关系将视频显示在特定显示器上,这就需要对方在接收视频可以识别出视频的方位,因此在RTP HEADER中用户数据部分增加如下结构：

aux_flg sender_pos cover_pos recver_pos displayer_pos

aux_flg:1bit

辅流标记，1标识辅流，0表示非辅流(即主流)

sender_pos:8bits

视频流发送者的位置(显示器的位置)，在主流情况下，全部比特标识位置；在辅流情况下，最高2比特表示辅流的垂直位置，11表示在主显示设备的上方，10表示与主显示设备在同一水平位置，00表示在主显示设备的下方；【1个区域，全部区域】

cover_pos:9bits

视频流的覆盖区域，最高比特表示是否覆盖全部区域，1表示覆盖全部区域，此时后面8比特无意义；0表示只覆盖某一区域，后面0-7比特表示覆盖的区域方位；

recver_pos:8bits 视频接收者的位置，用于能力协商；

displayer_pos:8bits 视频显示的位置，用于能力协商。

如图14所示，位于布局1类似的本发明实施例中的布局1a。其中，摄像机、会议桌的设置均与布局1相同，不同之处在于显示设备采用的是投影方式，在投影幕的后面的9个不同位置放置了9台高分辨率高亮度的投影机，如奥图码的1080p投影机，在投影幕上安排了柱面光栅，可以使得在不同的角度看到不同的内容。

如图15所示，位于布局1类似的本发明实施例中的布局1b。其中，摄像机、会议桌的设置均与布局1相同，不同之处在于显示设备采用的是投影方式，在投影幕的前面的9个不同位置放置了9台高分辨率高亮度的投影机，如奥图码的1080p投影机，在投影幕上安排了柱面光栅，可以使得在不同的角度看到不同的内容。

可以理解，布局1a和布局1b中的视频采集和显示对应关系与布局1中的相同，协商过程也相同。

如图16所示，为本发明实施例中的布局2。该系统包括AB两个会场通过网络直连，AB会场的配置情况相同；每个会场采用两个个大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。该显示设备具有多个视角，可以显示不同的内容；每个会场均有3个与会者区域，按照上图所示方式配置，每个位于与会者区域的与会者刚好可以观看到多视角显示设备的一个视角的内容；在显示器上面的两侧及中间按照汇聚方式设置2台高清摄像机，每台摄像机可以在不同的角度拍摄到全部与会者；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。

位于T1位置的显示器上面的C1摄像机拍摄与会区域D1，C2摄像机拍摄与会区域D2；位于T2位置的显示器上面的C1摄像机拍摄与会区域D1，C2摄像机拍摄与会区域D2；

与会趋于D1可以观看到显示器T1的视角V1；与会趋于D1可以观看到显示器T2的视角V1；与会趋于D2可以观看到显示器T1的视角V2；与会趋于D2可以观看到显示器T2的视角V2

为实现“眼对眼”效果，该系统中的视频流的发送接收关系为：

A T1 C1＝>B T2 V2

A T1 C2＝>B T2 V1

A T2 C1＝>B T1 V2

A T2 C2＝>B T1 V1

B T1 C1＝>A T2 V2

B T1 C2＝>A T2 V1

B T2 C1＝>A T1 V2

B T2 C2＝>A T1 V1

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图17所示，为本发明实施例中的布局3。该系统包括AB两个会场通过网络直连，AB会场的配置情况相同；每个会场采用一个大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。该显示设备具有3个视角，可以显示不同的内容；每个会场均有3个与会者，按照上图所示方式配置，每个与会者刚好可以观看到多视角显示设备的一个视角的内容；在显示器上面的两侧及中间按照汇聚方式设置3台高清摄像机，每台摄像机可以在不同的角度拍摄到全部与会者；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。

假设会场中3台摄像机从左至右分别设为C1、C2、C3,多视角显示设备的3个视角从做至右分别为V1、V2、V3，则有如下配置情况：

C1C2C3分别从3个角度拍摄全部与会者P1、P2、P3；

三个与会者分布在多视角显示器的三个视角上，视角V1对应P1，视角V2对应P2，视角V3对应P3。

则为达到眼对眼效果，两会场的视频流发送接收对应关系为：

A C1＝>B V3

A C2＝>B V2

A C3＝>B V1

B C1＝>A V3

B C2＝>A V2

B C3＝>A V1

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图18所示，为本发明实施例中的布局4。该系统包括AB两个会场通过网络直连，AB会场的配置情况相同；每个会场采用一个大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。该显示设备具有2个视角，可以显示不同的内容；每个会场均有2个与会者，按照上图所示方式配置，每个与会者刚好可以观看到多视角显示设备的一个视角的内容；在显示器上面的两侧及中间按照汇聚方式设置2台高清摄像机，每台摄像机可以在不同的角度拍摄到全部与会者；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。

假设会场中2台摄像机从左至右分别设为C1、C2,多视角显示设备的2个视角从做至右分别为V1、V2，则有如下配置情况：

C1C2分别从2个角度拍摄全部与会者P1、P2；

两个与会者分布在多视角显示器的两个视角上，视角V1对应P1，视角V2对应P2。

A C1＝>B V2

A C2＝>B V1

B C1＝>A V2

B C2＝>A V1

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图19所示，为本发明实施例中的布局5。该系统包括AB两个会场通过网络直连；A会场包含一台大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术，该显示设备为常规显示设备，只具有一个视角；在该显示器顶部两端和中间设置3台高清摄像机，按照汇聚方式放置，可以从3个不同的角度拍摄与会者P1。B会场包含一台大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。该显示设备具有3个视角，可以显示不同的内容；每个会场均有3个与会者，按照上图所示方式配置，每个与会者刚好可以观看到多视角显示设备的一个视角的内容；在显示设备顶端中间位置放置一台高清摄像机，能够支持720p和1080p分辨率的高清图像采集，该摄像机可以覆盖该会场中的全部与会者。位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。

则为达到眼对眼效果，两会场的视频流发送接收关系为：

A C1＝>B V3

A C2＝>B V2

A C3＝>B V1

B C1＝>A V1

B C1＝>A V3

B C2＝>A V2

B C3＝>A V1

B C1＝>A V1

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图20所示，为本发明实施例中的布局6。该系统包括AB两个会场通过网络直连；A会场包含3台大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术，该显示设备为常规显示设备，只具有一个视角；在该显示器顶部设置3台高清摄像机，可以分别从3个不同的角度拍摄全部与会者P1、P2、P3。B会场包含一台大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。该显示设备具有3个视角，该会场有3个与会者，按照上图所示方式配置。，该与会者刚好可以观看到多视角显示设备的一个视角的内容；在显示设备顶端中间及两端位置放置3台高清摄像机，分别从3个角度采集与会者图像，该摄像机能够支持720p和1080p分辨率的高清图像采集。位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。

A会场的与会者可以选择将B会场的视频流显示在本会场中的不同的显示设备上，通常情况下，将视频流显示在T2显示器上。

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图21所示，为本发明实施例中的布局7。该系统包括3个会场PA、PB、PC，每个会场的配置情况相同，都一台大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术，该显示设备具有3个视角，可以显示不同的内容；每个会场均有3个与会者，按照上图所示方式配置，每个与会者刚好可以观看到多视角显示设备的一个视角的内容；在显示器上面的两侧及中间按照汇聚方式设置3台高清摄像机，每台摄像机可以在不同的角度拍摄到全部与会者；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。

3个会场PA、PB、PC通过MCU进行连接，在会议开始前进行媒体能力协商，各个会场将本会场的所有视频上传至MCU，通常情况下，每个会场均可以选择观看远端会场，比如会场PA，可以选择观看会场PB或者会场PC的内容，假设某一时刻观看的是会场PC的内容，则MCU需要将会场PC的3路视频流发送至PA，在实现眼对眼的情况下，两会场的视频流发送与接收对应关系(经过MCU转发)为：

PC C1＝>PA V3

PC C2＝>PA V2

PC C3＝>PA V1；

对于会场PB，PC均有类似的发送接收对应关系。

如果在某一会场需要同时看到另外两个会场，则需要在MCU完成将两外两会场的图像拼接起来，构成新的视频流；在拼接过程中需要注意视点的对应关系；假设PA会场需要同时看到PB，PC会场的内容，则实现眼对眼功能情况下，视频流的发送与接收对应关系为：

PC C1+PB C1＝>PA V3

PC C2+PB C2＝>PA V2

PC C3+PB C3＝>PA V1；

其中PC C1+PB C1标识MCU将PC会场的C1视频和PB会场的C1视频拼接起来构成新的视频流。

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图22所示，为本发明实施例中的布局8。该系统包括4个会场PA、PB、PC、PD，各个会场的配置情况相同；4个会场通过MCU进行控制。

每个会场都包含3台大尺寸平板显示器作为主显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。3台显示器以一个折面的方式放置，中间的显示器和两边的显示器紧靠在一起，3台显示器的图像构成了会议室场景的一个完整呈现。系统中采用的显示设备为具有多个视角的显示器，如上图中各个显示器具有3个视角，每个视角可以呈现不同的内容，每个视角分别对应着会场的一个与会者；在每个显示器的顶部配置有一个高清摄像机，分别从3个角度采集与会者图像，该摄像机能够支持720p和1080p分辨率的高清图像采集；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。

假设每个会议室的会议桌按照从左至右分别为D1、D2、D3，显示器为T1、T2、T3,，每台显示器的3个视角从左至右分别为V1、V2、V3；3台摄像机从左至右分别为T1_C1、T2_C1、T3_C1,则摄像机T1_C1、T2_C1、T3_C1均可以独立覆盖所有会议桌D1、D2、D3所在区域；

该系统中要求各个会场的每个与会者均可以看到其余所有会场的与会者，则在会议进行中各个会场将本会场所有视频上传至MCU，在MCU中完成对应视频的拼接，后发送到目的会场；现假设PA会场需要观看到所有会场的内容，则在满足眼对眼情况下，视频流的发送接收对应关系为：

PB T1 C1+PC T1 C1+PD T1 C1＝>PA T3 V3

PB T1 C2+PC T1 C2+PD T1C2＝>PA T2 V3

PB T1 C3+PC T1 C3+PD T1C3＝>PA T1 V3

PB T2 C1+PC T2 C1+PD T2 C1＝>PA T3 V2

PB T2 C2+PC T2 C2+PD T2 C2＝>PA T2 V2

PB T2 C3+PC T2 C3+PD T2 C3＝>PA T1 V2

PB T3 C1+PC T3 C1+PD T3 C1＝>PA T3 V1

PB T3 C2+PC T3 C2+PD T3 C2＝>PA T2 V1

PB T3 C3+PC T3 C3+PD T3 C3＝>PA T1 V1

其中PB T1C1+PC T1C1+PD T1C1标识MCU将PB会场的C1视频和PC会场的C1视频和PD会场的C1视频拼接起来构成新的视频流。本实施例的另外一种形式为；会场中的3个显示设备分别显示远端的3个会场，按照眼对眼的关系，有如下视频流对应关系：假设将PB会场显示在T1显示器上，PC会场侠士在T2显示器上，PD会场显示在T3显示器上：

PB T3 C1＝>PA T1 V1

PB T2 C1＝>PA T1 V2

PB T1 C1＝>PA T1 V3

PC T3 C1＝>PA T2 V1

PC T2 C1＝>PA T2 V2

PC T1 C1＝>PA T2 V3

PD T3 C1＝>PA T3 V1

PD T2 C1＝>PA T3 V2

PD T1 C1＝>PA T3 V3

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图23所示，为本发明实施例中的布局9。该系统包括4个会场PA、PB、PC、PD，各个会场的配置情况相同；4个会场通过MCU进行控制。

假设每个会议室的会议桌按照从左至右分别为D1、D2、D3，显示器为T1、T2、T3,，每台显示器的3个视角从左至右分别为V1、V2、V3；3台摄像机从左至右分别为T1_C1、T2_C1、T3_C1,则摄像机T1_C1、T2_C1、T3_C1均可以独立覆盖所有会议桌D1、D2、D3所在区域。

PB T1 C1+PC T1 C1+PD T1 C1＝>PA T3 V3

PB T1 C2+PC T1 C2+PD T1 C2＝>PA T2 V3

PB T1 C3+PC T1 C3+PD T1 C3＝>PA T1 V3

PB T2 C1+PC T2 C1+PD T2 C1＝>PA T3 V2

PB T2 C2+PC T2 C2+PD T2 C2＝>PA T2 V2

PB T2 C3+PC T2 C3+PD T2 C3＝>PA T1 V2

PB T3 C1+PC T3 C1+PD T3 C1＝>PA T3 V1

PB T3 C2+PC T3 C2+PD T3 C2＝>PA T2 V1

PB T3 C3+PC T3 C3+PD T3 C3＝>PA T1 V1

其中PB T1C1+PC T1C1+PD T1C1标识MCU将PB会场的C1视频和PC会场的C1视频和PD会场的C1视频拼接起来构成新的视频流。

本实施例的另外一种形式为；会场中的3个显示设备分别显示远端的3个会场，按照眼对眼的关系，有如下视频流对应关系：假设将PB会场显示在T1显示器上，PC会场侠士在T2显示器上，PD会场显示在T3显示器上：

PB T3 C1＝>PA T1 V1

PB T2 C1＝>PA T1 V2

PB T1 C1＝>PA T1 V3

PC T3 C1＝>PA T2 V1

PC T2 C1＝>PA T2 V2

PC T1 C1＝>PA T2 V3

PD T3 C1＝>PA T3 V1

PD T2 C1＝>PA T3 V2

PD T1 C1＝>PA T3 V3

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

如图24所示，为本发明实施例中的布局10。该系统包括3个会场PA、PB、PC，各个会场的配置情况不相同；3个会场通过MCU进行控制。

会场A包含3台大尺寸平板显示器作为主显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。3台显示器以一个折面的方式放置，中间的显示器和两边的显示器紧靠在一起，3台显示器的图像构成了会议室场景的一个完整呈现。系统中采用的显示设备为具有多个视角的显示器，如上图中各个显示器具有3个视角，每个视角可以呈现不同的内容，每个视角分别对应着会场的一个与会者；在每个显示器的顶部配置有一个高清摄像机，分别从3个角度采集与会者图像，该摄像机能够支持720p和1080p分辨率的高清图像采集；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。会场A的具体设备方位与覆盖关系可以参考布局1。

会场B包含一台大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术，该显示设备具有1个视角，可以显示不同的内容；会场均有1个与会者，按照上图所示方式配置，在显示器上面的两侧及中间按照汇聚方式设置3台高清摄像机，每台摄像机可以在不同的角度拍摄到与会者；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。会场B的具体设备方位与覆盖关系可以参考布局3。

会场C采用两个个大尺寸的多视角平板显示器作为显示设备，如65英寸或70英寸的平板显示器，用于呈现接近真人大小尺寸的高清画面，可以采用PDP电视，LCD电视或DLP背投电视等平板显示器技术。该显示设备具有多个视角，可以显示不同的内容；每个会场均有2个与会者区域，按照上图所示方式配置，每个位于与会者区域的与会者刚好可以观看到多视角显示设备的一个视角的内容；在显示器上面的两侧及中间按照汇聚方式设置3台高清摄像机，每台摄像机可以在不同的角度拍摄到全部与会者；位于会议桌侧面的辅助显示屏可以显示共享的数据等信息。会场C的具体设备方位与覆盖关系可以参考布局2。

显示器T1上面的摄像机C1拍摄与会区域D1；

显示器T1上面的摄像机C2拍摄与会区域D1；

显示器T1上面的摄像机C3拍摄与会区域D2；

显示器T2上面的摄像机C1拍摄与会区域D1；

显示器T2上面的摄像机C2拍摄与会区域D2；

显示器T2上面的摄像机C3拍摄与会区域D2；

与会者区域D1可以看到显示器T1的视角V2；

与会者区域D1可以看到显示器T2的视角V1；

与会者区域D2可以看到显示器T1的视角V3；

与会者区域D2可以看到显示器T2的视角V2；

对于会场A来说，其3个显示屏分别显示BC两个会场的内容，其T1屏显示B会场，T2显示C会场的D1，T3显示C会场的D2内容；

B会场可以选择地观看AC某一会场的某一与会者的某一视角内容；设显示为A会场的D2；

C会场可以选择观看AB两会场的内容，比如T1显示B会场的内容，T2显示A会场D2与会者内容；

各个会场将本会场的所有视频流发送MCU，MCU完成视频流的发送接收对应关系匹配，则为了达到眼对眼效果，有如下对应关系：

A会场：

B T1 C3＝>A T1 V1

B T1 C2＝>A T1 V2

B T1 C1＝>A T1 V3

C T2 C1＝>A T2 V1

C T1 C2＝>A T2 V2

C T1 C1＝>A T2 V3

C T2 C3＝>A T3 V1

C T2 C2＝>A T3 V2

C T1 C3＝>A T3 V3

B会场：

A T1 C2＝>B T1 V1

A T2 C2＝>B T1 V1

A T3 C2＝>B T1 V1

C会场：

B T1 C2＝>C T1 V2

B T1 C1＝>C T1 V3

A T2 C2＝>C T2 V1

A T3 C2＝>C T2 V2

本实施例的其他细节可以参考布局1中所述，此处不做赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims

1.一种视频处理方法，用于远程会议系统中，其特征在于，

所述方法的视频发送部分包括：

将所述具有不同视角的本地视频信息发送至远端；

所述方法的视频显示部分包括：

其中，所述远端观察点数目和本地观察点数目均为自然数，且所述远端观察点数目和本地观察点数目中至少有一个数目不小于2；

在所述将所述具有不同视角的本地视频信息发送至远端之前，所述方法还包括：

与所述远端进行协商，所述协商包括建立每个视频流的发送接收关系，所述视频流的发送接收关系是指该视频流与所述多视角显示设备的视角的对应关系，其中，所述发送接收关系包括视频流发送者的位置信息和视频流的覆盖区域信息；

所述远端视频信息包括多个视频流，其中，所述视频流的RTP报文头RTPHEADER中用户数据部分包括辅流标识、发送者的位置信息、覆盖区域信息、接收者的位置信息和显示的位置信息；所述采用多视角显示设备向不同的本地观察点显示对应视角的远端视频信息，包括：

采用多视角显示设备根据所述发送接收关系，在每个视频流对应的视角上显示该视频流。

2.如权利要求1所述的方法，其特征在于，所述采用多视角显示设备向不同的本地观察点显示对应视角的远端视频信息包括：

采用多个多视角显示设备向不同的本地观察点显示对应视角的远端视频信息。

3.如权利要求2所述的方法，其特征在于，所述获取具有不同视角的本地视频信息包括：

在所述多视角显示设备处采用具有不同摄像视角的摄像设备获取本地视频信息。

4.如权利要求1至3中任一项所述的方法，其特征在于，所述系统包括多个远端，所述接收具有不同视角的远端视频信息包括：

选取多个远端中的一个远端，接收来自该选取的远端发送的具有不同视角的远端视频信息。

5.一种视频处理装置，用于远程会议系统中，其特征在于，

所述装置的发送模块包括：

所述装置的显示模块包括：

远端视频显示单元，用于采用多视角显示设备根据发送接收关系，在每个视频流对应的视角上显示该视频流，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目；

所述装置还用于与所述远端进行协商，所述协商包括建立每个视频流的发送接收关系，所述视频流的发送接收关系是指该视频流与所述多视角显示设备的视角的对应关系，其中，所述发送接收关系包括视频流发送者的位置信息和视频流的覆盖区域信息；

所述远端视频信息包括多个视频流，其中，所述视频流的RTP报文头RTPHEADER中用户数据部分包括辅流标识、发送者的位置信息、覆盖区域信息、接收者的位置信息和显示的位置信息。

6.如权利要求5所述的装置，其特征在于，所述远端视频显示单元，还用于采用多个多视角显示设备向不同的本地观察点显示对应视角的远端视频信息。

7.如权利要求6所述的装置，其特征在于，所述本地视频获取单元，还用于在所述多视角显示设备处采用具有不同摄像视角的摄像设备获取本地视频信息。

8.如权利要求5至7中任一项所述的装置，其特征在于，所述系统包括多个远端，所述远端视频接收单元，还用于选取多个远端中的一个远端，接收来自该选取的远端发送的具有不同视角的远端视频信息。

9.一种远程会议系统，其特征在于，所述系统的本地端包括：

多视角显示设备，用于根据发送接收关系，在每个视频流对应的视角上显示该视频流，以实现眼对眼显示效果，所述多视角显示设备的显示视角的数目不小于所述本地观察点数目；

所述通讯设备还用于与所述远端进行协商，所述协商包括建立每个视频流的发送接收关系，所述视频流的发送接收关系是指该视频流与所述多视角显示设备的视角的对应关系，其中，所述发送接收关系包括视频流发送者的位置信息和视频流的覆盖区域信息；

10.如权利要求9所述的系统，其特征在于，所述系统中的多视角显示设备的数目不小于远端观察点数目。

11.如权利要求9所述的系统，其特征在于，所述多视角显示设备为多视角显示器，或所述多视角显示设备为多个投影仪与具有多视角显示功能的投影幕的组合。

12.如权利要求9至11所述的系统，其特征在于，所述系统还包括多个远端，所述本地端的通讯设备还用于从所述多个远端中选择一个远端进行多视角视频信息的接收和发送。