CN102638672B - 用于多流多站点远程呈现会议系统的自动视频布局 - Google Patents

用于多流多站点远程呈现会议系统的自动视频布局 Download PDF

Info

Publication number
CN102638672B
CN102638672B CN201210027888.9A CN201210027888A CN102638672B CN 102638672 B CN102638672 B CN 102638672B CN 201210027888 A CN201210027888 A CN 201210027888A CN 102638672 B CN102638672 B CN 102638672B
Authority
CN
China
Prior art keywords
video flowing
video
end points
attribute
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210027888.9A
Other languages
English (en)
Other versions
CN102638672A (zh
Inventor
M·R·达克沃斯
G·帕瑞帕雷
Y·撒利赫
M·马塞多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huihe Development Co ltd
Original Assignee
Polycom Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Polycom Inc filed Critical Polycom Inc
Priority to CN201611205936.3A priority Critical patent/CN106878658B/zh
Publication of CN102638672A publication Critical patent/CN102638672A/zh
Application granted granted Critical
Publication of CN102638672B publication Critical patent/CN102638672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Abstract

视频会议多点控制单元(MCU)自动生成视频会议端点的显示布局。基于与从端点接收到的视频流相关联的属性，生成显示布局，并显示端点的配置信息。端点可在每一传出流中包括一个或多个属性。可以基于视频流的角色，内容，摄像机源等等，来指定属性。如果一个或多个属性发生变化，则可以重新生成显示布局。混合器可以基于显示布局来生成要在端点处显示的视频流。

Description

用于多流多站点远程呈现会议系统的自动视频布局
技术领域
本发明一般而言涉及视频会议系统，更具体而言，涉及多流、多站点会议系统。
背景技术
视频会议需要在至少两个参与者之间交换音频、视频，及其他信息。一般而言，每一参与者位置处的视频会议端点将包括用于捕捉本地参与者的图像的摄像机以及用于显示远程参与者的图像的显示设备。视频会议端点也可以包括额外的用于显示数字内容的显示设备。在两个以上的端点参与视频会议会话的情况下，可以使用多点控制单元(MCU)作为会议控制实体。MCU和端点通常通过通信网络进行通信，MCU从端点接收并向端点传输视频、音频，以及数据信道。
远程呈现技术向参与者提供增强的视频会议体验，以便近端参与者感觉好象他们与远端参与者在同一个房间。可以提供用于各种会议系统的远程呈现视频会议，从两个人的点对点视频会议系统到多参与者多点视频会议系统。通常，远程呈现使用多个摄像机来捕捉近端参与者的图像，并使用多个显示器来显示远端参与者的图像。多个视频流被从多个端点传输到MCU以合并到一个或多个经组合的视频流，这些视频流被发回端点以显示在多个显示设备上。例如，在涉及三个端点的远程呈现系统中，每一端点都具有三个摄像机，MCU将接收九个视频流。MCU必须将九个接收到的视频流组合为一个或多个经组合的视频流，这些经组合的视频流被发回以显示在每一端点上的显示设备上。这九个视频流必须基于每一端点上的显示器的数量和类型，为每一个端点展示。此外，虽然MCU可以从端点接收当前发言者位于该端点上的信息，从每一端点接收到一个以上的视频流，但是，MCU可能不能确定多个视频流中的哪一个包括当前发言者。如此，动态地选择从端点接收到的许多视频流中的一个来突出显示可能是困难的。
传统上，对于多点和多流视频会议系统，被发送到每一端点的视频流的排列是手动执行的。例如，视频网络操作中心(也称为VNOC)，提供对远程呈现视频会议的手动管理，包括适当地将传入的视频流布置为经组合的传出视频流。在VNOC处管理视频会议的人员监测当前发言者的视频流，然后，手动排列布局，以便具有当前发言者的视频流突出地显示在每一端点上的显示屏幕上。突出地显示当前发言者的图像可以涉及操纵被显示的视频流的比例和大小。再者，管理视频会议的人员也将手动执行缩放过程。然而，对VNOC的手动管理会受到人为错误和延迟的危害。另外，使用操作员以及提供对于操作设备的必需的专业训练是非常昂贵的。
概括地说，传统方法被视频流的静态布局排列(或者如果需要动态布局排列，使用易于出错的手动控制的必要性)危害。
发明内容
公开了自动生成视频流的布局以向视频会议端点呈现的连续的呈现、远程呈现、视频会议MCU。视频会议端点可包括耦合到处理器的两个或更多摄像机，至少一个显示设备。处理器可包括用于编码供传输的视频和音频流和解码接收到的视频和音频流的编解码器。处理器也可以包括用于将属性指定到传出流的流属性模块。端点也可以包括用于从多个参与者中确定当前发言者的位置的发言者定位器。然后，处理器可以确定捕捉当前发言者的摄像机。随后，处理器可以指示属性模块将属性添加到由该摄像机所生成的视频流中，该属性当由MCU或另一个端点检查时可以指出相关联的视频流包括当前发言者的图像。
属性模块可以将各种属性指定到单个视频流。一些属性可以是基于位置的，指定作为视频流的源的摄像机的位置。例如，基于位置的属性可包括“FR”(远右)、“CL”(中左)等等。一些属性可以是基于角色的，指定视频流中所包括的参与者的角色。例如，基于角色的属性可包括“人”、“内容”等等。基于角色的属性可以具有层次分类，诸如，“人/观众”、“人/演示者”等等。可以给视频流指定一个以上的属性。例如，还包括当前发言者的图像的由远右摄像机捕捉到的视频流可以具有属性“FR”和“发言者”。作为另一个示例，具有基于角色的属性“人/观众”的视频流也可以具有“发言者”属性，如果观众成员中的一个也是当前发言者。
MCU可包括布局管理器和混合器。布局管理器基于传入的视频流的属性和与每一端点相关联的配置信息来生成发送到每一端点的视频流的布局。这样的配置信息可包括，例如，显示屏幕的数量、每一显示屏幕的纵横比，专用的发言者显示屏幕等等。混合器可以基于由布局管理器确定的布局来组合视频流。可以将经组合的流传输到适当的端点。布局管理器监测每一传入的视频流的属性的任何变化，传入的视频流的数量，每一端点的配置信息等等，并基于这些变化，动态地改变布局。
附图说明
通过阅读下列描述并通过参考各个附图，将更轻松地理解本发明的示例性实施例，其中：
图1描绘了示例性多点视频会议系统；
图2示出了示例性视频会议端点；
图3示出了其中两个或更多端点通过MCU相互进行通信的示例性视频会议系统；
图4A-4D示出了各种示例性显示布局；
图4E示出了由布局管理器所生成的示例性布局数据；以及
图5示出了由布局管理器在生成视频布局时执行的示例性步骤。
具体实施方式
图1描绘了示例性多点视频会议系统100。系统100可包括网络110、一个或多个多点控制单元(MCU)106，以及多个端点A-E101-105。网络110可以是，但不仅限于，分组交换网络，电路交换网或两者的组合。端点A-E 101-105可以发送和接收音频和视频数据。通过网络的通信可以基于诸如H.320、H.324、H.323、SIP等等之类的通信协议，并可以使用诸如H.263、H.264等等之类的压缩标准。MCU106可以启动和管理两个或更多端点之间的视频会议会话。一般而言，MCU106可以混合从一个或多个端点接收到的音频数据，生成混合的音频数据，并将混合的音频数据发送到适当的端点。另外，MCU106可以从一个或多个端点接收视频流。这些视频流中的一个或多个可以通过MCU106被组合为经组合的视频流。视频流，组合的或以别的方式，可以由MCU106发送到适当的端点，以显示在它们的相应的显示屏幕上。作为替代方案，MCU106可以位于端点A-E 101-105中的任何一个中。
图2示出了带有多个摄像机和多个显示设备的示例性端点200。摄像机202-205捕捉出现在会议室中的本地参与者的图像，并可以成行地排列以捕捉会议室的不同的部分。相应地，摄像机202-205可以被标记为FR(远右)、CR(中右)、CL(中左)，以及FL(远左)。当然，这些标记只是示例性的。例如，也可以使用不同的标记，如果摄像机205被用来捕捉所有参与者的图像，那么，它可以被标记为WR(整个房间)。在另一种情况下，摄像机202可以是只捕捉本地参与者中的当前发言者的图像的平遥-倾斜-变焦(PZT)式摄像机，并因此，可以被标记为CS(当前发言者)。标记或属性可以与摄像机相关联，并存储在处理器209中的存储器中。
处理器209可包括用于压缩和解压缩视频和音频流的编解码器210。例如，编解码器210可以压缩由摄像机202-205所生成的视频流，以生成经压缩视频流，这些经压缩视频流可以被传输到远程端点和/或MCU。另外，编解码器210还可以解压缩从远程端点或MCU接收到的视频流，并将视频流显示在显示设备206、207，以及208上。编解码器210可包括诸如H.261FCIF、H.263QCIF、H.263FCIF、H.261QCIF、H.263SQCIF、H.264等等之类的视频编解码器，以及诸如G.711、G.722、G.722.1、G.723.1等等之类的音频编解码器。
处理器209可以与发言者定位器模块213进行通信，该发言者定位器模块213确定当前发言者(即，当前正在发言的参与者)的位置。由发言者定位器模块213所提供的信息可以被处理器209用来确定接收到的视频流中的哪一个包括当前发言者。发言者定位器模块213可以使用分析从诸如当前发言者之类的源接收到的声音的麦克风阵列224，来确定当前发言者相对于麦克风阵列224的位置。麦克风阵列224可包括可以水平地、垂直地，或组合地排列的一系列分隔的麦克风。通常，阵列中的麦克风中的至少一个可以被指定为参考麦克风。可以预定若干个候选位置，其中，候选位置与每一个麦克风的距离是已知的。由每一个麦克风捕捉到的声信号可以相对于由参考麦克风捕捉到的声信号延迟。此延迟可以部分地是候选源位置和麦克风位置相对于参考麦克风的函数。然后，可以确定与每一候选位置相关联的每一个被延迟的信号的信号能量。随后，可以选择与最高信号能量相关联的候选位置作为最佳估计音频源的实际位置的位置。换言之，通过使用最大似然率估计，可以选择可能是音频源的实际位置的最佳估计的预定的候选源作为音频源的位置。显而易见，估计的准确性可以随着候选位置的数量增大和空间分布而提高。例如，可以在距离麦克风10英尺的近似径向距离使用61个候选位置。在Chu等人所著的共同转让的标题为“System andmethod for computing a location of an acoustic source”的美国专利No.6,912,178中公开了有关使用麦克风阵列确定参与者的位置的更多细节，此处引用了该申请的全部内容作为参考。
通常，麦克风阵列224和摄像机202-205之间的空间关系保持固定。因此，简单地通过改变参考系，已知的当前发言者相对于麦克风阵列224的位置可以被轻松地变换成当前发言者相对于摄像机的位置。每一摄像机，在带有其特定平遥-变焦-倾斜设置的情况下，可以捕捉会议室的特定部分，该部分的边界可以是预定的。如此，处理器209可以确定当前发言者的位置，如在摄像机的参考系内表达的，是否在由该摄像机捕捉到的会议室的该部分内。如果当前发言者位于由摄像机捕捉到的会议室的该部分内，则处理器209可以指示流属性模块212将属性“发言者”指定到由摄像机所生成的视频流。
流属性模块212可以将属性指定到传出流。这些属性可以以对于MCU和/或远程端点有用的方式限定传出视频流，以便呈现和显示视频流。这些属性可以在传输过程中被添加到传出流。例如，诸如H.323和H.320之类的协议可以被扩展，以包括可以被用来标记传出数据流的属性定义。视频流可以具有各种属性。例如，视频流可以具有标识作为该视频流的源的摄像机的相对位置的位置属性。如图2所示，传出流215-218可以具有指出它们的源摄像机的相对位置的属性。例如，流215被标记为“FR”，因为它源自被置于远右(FR)位置的摄像机202。类似地，视频流217被标记为“CL”，因为其源摄像机204位于中左(CL)位置。
视频流也可以具有诸如“人”和“内容”之类的基于角色的属性。如果视频流包括人/参与者的图像，则视频流可以被标记为带有“人”属性。基于角色的属性还可以具有层次分类。例如，在视频会议中的若干个参与者轮流演示信息的情况下，可以提供“人/演示者”和“人/观众”的分类。“人/演示者”属性可以指出相关联的视频流包括将被突出地显示的人的图像，不管视频流是否包括发言者。包含诸如演示文稿之类的数字内容的视频流可以具有“内容”属性。例如，处理器209从计算机224接收数据内容，该数据内容可包括演示文稿、文档、视频等等。数据内容可以被压缩，并给予属性“CON”。虽然未示出，在图2中，端点也可以包括专用数据内容显示器，该显示器显示从MCU或远程端点接收到的数据流。
视频流也可以具有一个以上的属性。例如，视频流可以具有基于角色的和“发言者”属性，如“人/观众，发言者”，“人/演示者，发言者”等等。可以独立于视频流的作用，来指定“发言者”属性。例如，即使当前发言者被包括在具有“人/观众”角色的视频流中，也可以另外给该视频流指定“发言者”属性。作为另一个示例，视频流可以具有位置和“发言者”属性，如，视频流215——其中，除具有“FR”属性之外，它也可以具有“发言者”属性。如前面所描述的，处理器209可以确定哪个摄像机正在捕捉当前发言者。然后，处理器可以将“发言者”属性添加到由该摄像机所生成的视频流。在图2所示出的示例中，当前发言者正在被摄像机202捕捉；因此，视频流215具有与它相关联的属性“发言者”。如果当前发言者的位置改变，那么，处理器可以重新将“发言者”属性指定到当前包括当前发言者的视频流。例如，如果不同的发言者开始说话，并且该当前发言者的图像被摄像机204捕捉，则除“CL”属性之外，还将给视频流217指定属性“发言者”。
虽然图2中只有一个传出流215被示为具有多个属性，但是，可以将这样的多个属性指定到一个以上的流。例如，流218还可以具有给它指定的诸如“人/演示者”和“FL”之类的多个属性。如此，可以给视频流指定一个或多个属性，并且指定的属性可以是基于角色的，基于摄像机位置的，基于当前发言者的，或基于任何其他选定的属性。应该理解，图2所示出的属性可以被编码，用于传输。
视频流、数据流，以及音频流，以及它们的属性可以通过网络110被端点200传输到MCU或远程端点。传输器/接收器214可以充当端点200和网络110之间的物理接口。Tx/Rx214也可以从MCU或远程端点接收视频流。例如，视频流219-221由处理器209接收。视频流219-221可包括限定视频流并可以被处理器209用来呈现或再现视频流的属性。例如，视频流219具有属性“R”和“发言者”。处理器209可以在位于右边的显示设备208上显示视频流219。此外，由于视频流219也具有“发言者”属性，因此，视频流可以被更突出地显示。同样，带有属性“C”的视频流220可以显示在显示设备207上，而带有属性“L”的视频流221可以显示在显示设备206上。
图3示出了其中两个或更多端点通过MCU106相互进行通信的示例性会议系统300。端点101、102，以及103可以类似于图2所示出的示例性端点。每一端点都可以具有摄像机的各种配置和用于向它们的相应的参与者提供远程呈现体验的显示屏幕。例如，端点A101可包括4个摄像机和4个显示设备，端点B102可包括4个摄像机和3个显示设备，而端点C103可包括1个摄像机和2个显示设备。视频流可以在每一端点和MCU106之间交换。为清楚起见，只详细示出了往返于端点A101的视频流。MCU106也可以包括通过其可以发送和接收视频、音频，以及信令数据的网络接口328。
MCU106可包括布局管理器302和混合器303。布局管理器302可以确定显示或视频布局，该布局包括被发送到每一端点的视频流的排列。在确定视频布局时，布局管理器302不仅确定接收到的视频流中的哪些将被发送到端点，而且还确定显示视频流的空间排列。此判断可以基于与接收到的视频流相关联的属性以及与端点相关联的配置信息。布局管理器302可以确定与由MCU106接收到的每一视频流相关联的属性。例如，可以从端点A101接收与视频流307、308、309，以及310相关联的属性“FR，发言者”317、“CR”318、“CL”319，以及“FL”320。类似地，也可以从端点B102和C103(为简明起见，分别通过315和316来表示)，以及任何额外的端点接收视频流以及它们的属性。从每一端点接收到的配置信息329可包括显示设备的数量，显示设备的纵横比和分辨率，专用当前发言者显示设备的存在，所使用的编码类型等等。如下文进一步详细描述的，布局管理器302可以生成发送到每一端点的视频流的排列。此排列被传递到混合器303，用于通过信号通道321来执行。
混合器303可以从一个或多个端点接收视频流。混合器303可以执行由布局管理器302确定的视频流的排列。例如，混合器303可以从端点A101、B102，以及C103接收视频流，基于从布局管理器302接收到的信号321来将视频流组合起来，并将经组合的视频流发送回每一端点。混合器303可包括用于解码传入的视频和音频流，以及编码传出的视频和音频流的编解码器322。例如，音频编解码器可包括标准编解码器，诸如，G.711、G.722、G.722.1、G.723.1等等。视频编解码器可包括标准编解码器，诸如，H.261FCIF、H.263QCIF、H.263FCIF、H.261QCIF、H.263SQCIF、H.264等等。编解码器322也可以基于在接收端点处所使用的编码方案来改变传出的音频和视频流的编码方案。
混合器303也可以包括用于执行对从各种端点接收到的视频帧的操纵的图像处理模块325。这样的操纵可包括将两个或更多视频帧组合到一个帧、缩放、裁剪、覆盖等等，在由Avishay Halavy所著的共同转让的标题为“System and method for combining aplurality of video stream generated in a videoconference”的美国专利申请序列No.12/581,626中公开了其更多细节，在此引用该文件作为参考。
混合器303也可以包括用于将属性指定到传出流的流属性模块327。例如，流属性模块327可以将属性“FL”、“CL”、“CR，发言者”，以及“FR，CON”分别指定到流311，312，313，以及314。流属性模块327可以从布局管理器302接收有关将哪些属性指定给特定传出视频流的指令。
MCU106可以符合ITU标准，诸如，但不仅限于，H.320、H.323，以及H.324。相应地，布局管理器302可以是媒体控制器(MC)的一部分，而混合器303可以是媒体处理器(MP)的一部分。混合器303可以在专用集成电路(ASIC)、微控制器、FPGA、硬件/固件组合、在微处理器上运行的软件等等上实现。混合器303内的各种模块，例如，编解码器322、图像处理模块325以及流属性模块327可以是单个硬件模块，或者也可以是软件/固件模块。布局管理器302也可以分别作为诸如微控制器、ASIC、FPGA、硬件/固件组合之类的硬件组件、软件等等来实现。
图4A示出了各种端点的图像的布局的示例。在所示出的示例中，MCU106将视频流传输到端点，比方说，具有四个显示设备402、404、406，以及408的端点E。视频会议可包括四个其他端点，比方说，A、B、C，以及D。布局管理器302可以接收与由五个端点A、B、C、D，以及E中的每一个所生成的视频流相关联的属性，并确定要显示在每一端点中的每一个显示设备上的传出视频流的布局。传出视频流也可以包括可使端点确定将要在其上面显示视频流的显示设备的属性。例如，由端点E接收到的视频流可包括诸如“FL”(远左显示设备)、“CL”(中左显示设备)、“CR，发言者”(中右显示设备)和“FR”(远右显示设备)等等之类的属性。每一个显示设备的传出视频流都可以是来自多个源的视频流的合成。布局管理器302可以确定要显示在每一显示设备内的“单元”的数量，其中，在一个单元内显示的视频对应于一个源。例如，显示在显示设备402上的经组合的视频流可以由四个单元421-424组成。为了说明，单元被标记有指定给它们的源，诸如A-FL(端点A，摄像机“远左”)、A-CL(端点A，摄像机“中左”)，B-FL(端点B，摄像机“远左”)，以及B-CL(端点B，摄像机“中左”)。当然，这些标记不向参与者显示。
端点E也可以包括用于只显示包括当前发言者的视频流的一个或多个显示设备。然而，可以选择任何显示设备，作为示例示出了显示设备406。如上文所提及的，布局管理器302可以基于与每一视频流相关联的属性来确定传入的视频流中的哪一个包括发言者。然后，布局管理器302可以排列该视频流，以使得它显示在为包括当前发言者的视频流预留的特定显示设备上，(除排列同一个视频流以使得它显示在其他显示设备中的一个上的单元之外)。例如，在图4A中，从端点A的中左摄像机接收到的视频流包括当前发言者。布局管理器302可包括显示在显示设备402上的视频流的单元422中的视频流(除只将该视频流显示在显示设备406上之外)(注意，单元422中的参与者的图像带有阴影，只是指出相关联的视频流包括发言者)。
布局管理器302也可以响应于输入流的属性中的变化来动态地排列输出流。例如，如果当前发言者从一个视频流变为另一个，则布局管理器302可以重新排列输出流以反映此变化。如作为示例所示的，在图4B中，当前发言者现在位于端点D中的左侧摄像机的视频流中。此视频流可以具有与它相关联的属性“发言者”，该属性可以由布局管理器302检测到。因此，布局管理器可以重新排列输出流，以便被定向到显示设备406的视频流是从端点D中的左侧摄像机接收到的视频流，替换来自端点A的中左摄像机的前面所显示的视频流。
布局管理器302可以向会议参与者提供连续的呈现体验。换言之，会议参与者可以同时查看来自所有端点的视频流，而不只是来自包括当前发言者的端点的视频流。例如，参考图4A，尽管当前发言者位于端点A中，但是，端点E中的参与者可以从其他参与端点A、B、C，以及D中的每一个接收视频流。另外，会议参与者还可以查看当前发言者之外的参与者的视频流。例如，如果当前发言者位于端点A中，那么，端点E中的参与者除捕捉当前发言者的视频流之外还可以看到捕捉其他参与者的图像的视频流。此外，甚至在当前发言者的位置从一个端点变为另一个端点的情况下(例如，从端点A变为端点D)，布局管理器302仍维持视频流的连续的存在显示。
图4C示出了当其中一个端点具有专用发言者摄像机时视频流的示例性布局。例如，端点C可包括至少两个摄像机：一个用于捕捉整个房间，而另一个用于捕捉房间内的当前发言者。捕捉整个房间的摄像机可以是广角摄像机，而只捕捉发言者的摄像机可以是平遥-倾斜变焦摄像机。注意，端点可包括确定当前发言者的位置的发言者定位器模块(例如，图2，213)。处理器可以使用此位置信息来控制PTZ摄像机，以便该摄像机主要捕捉当前发言者的图像。端点的流属性模块可以将属性“C-WR”指定到捕捉整个房间的摄像机的视频流，而将属性“C-发言者”指定到PTZ摄像机的视频流。在从端点C接收到这些视频流时，MCU106的布局管理器302可以将带有“C-WR”属性的视频流指定到单元481，而将带有“C-发言者”属性的视频流指定到显示设备406。
与其中显示屏幕406被预留以只显示当前发言者并且其中发送到显示设备406的视频流没有被分成单元的图4A-4C相比，图4D中所示出的示例除当前发言者之外还可包括示出了数字内容的多个单元。发送到显示设备406的视频流可包括三个单元461、462，以及463。单元461可包括数据内容视频流，该数据内容可包括源自，例如，其中一个端点中的计算机的演示文稿。单元462和463可包括最后两个当前发言者的图像。单元462或463中的一个可以显示具有属性“人/演示者”的视频流，这表明相关联的视频流应该始终突出地显示。
图4E示出了布局管理器302可以生成并发送到混合器303的布局数据。混合器303可以使用此数据来生成参与视频会议的端点的传出流。作为示例，图4E示出了对应于为图4A中的显示屏幕402和406所描绘的显示布局的布局数据。应该理解，可以类似地生成同一个端点E的其他流的布局数据，以及其他端点的流的布局数据。
布局数据490包括混合器303可以用来混合视频流的多个参数。例如，帧大小表明流1的每一帧中的水平和垂直像素的数量。布局管理器302可以基于显示屏幕的分辨率来确定帧大小。通常作为配置信息从端点E接收有关分辨率的信息。因此，如果显示屏幕的分辨率是720x1280，那么，布局管理器302可以选定720x1280作为帧大小。单元字段的数量定义帧被分成的部分的数量。例如，参考图4A，显示在显示设备402上的帧被分成4个一样大小的单元，并被排列成两行和两列(2x2)。单元大小表示以像素为单位的每一单元大小。在单元是不相等的大小的情况下，单元大小字段可包括对应于每一单元的额外的单元大小。下一字段表示帧内每一个单元的源流。在此示例中，最上面两个单元，单元1和单元2(对应于图4A中的部分421和422)被分配了从端点A接收到的并分别具有属性FL和CL的视频流。布局管理器302也可以将属性指定到传出的流，以便接收端点E可以确定将在其上面显示此视频流的显示设备，例如，在远左(FL)显示设备402上。布局数据491可以对应于图4A的显示设备406上的视频流的布局。由于显示设备406专门用于只显示一个视频流(包括当前发言者)，因此，帧只包括单个单元。布局管理器可以指定属性，以便端点可以在中右(CR)显示设备406上显示流2。
布局管理器302可以通过信号通道321将布局数据(例如，490和491)发送到混合器303。布局管理器302也可以将布局数据存储在可以被混合器303访问的存储器中。这样的存储器可包括寄存器、RAM、等等。混合器303可以反复地访问布局数据，以检查布局数据是否变化。可另选地，布局管理器302可以每当在布局数据中有任何变化或者如果存储器被更新，设置标记或导致中断。
图5示出了详述了可以由布局管理器302在确定一个端点上的显示设备上的视频流的布局时执行的步骤的示例性流程图。布局管理器302可以执行类似的步骤，以便确定参与视频会议的每一个其他端点的布局。在步骤501中，布局管理器302可以从参与视频会议会话中的所有端点接收与每一传入的视频流相关联的属性。在步骤502中，布局管理器302可以确定端点处的显示设备的数量。可以实时地以配置信息的形式接收关于显示设备的数量以及它们的属性的信息。这样的信息也可以被存储在MCU106中的存储器中。
在步骤503中，布局管理器302可以确定要显示在端点E处的传入流的数量是否超出端点E处的显示设备的数量。如果要显示在端点E处的传入流的数量小于或等于端点E处的显示设备的数量，那么，潜在地，每一显示设备都可以显示单个视频流。如此，MCU106可能不需要将两个或更多视频流组合为一个视频流。例如，如果端点E将具有四个显示设备并与三个其他端点处于一个视频会议会话中，每一端点都生成单个视频流，那么，布局管理器302可以将端点E处的三个显示设备与三个其他端点的视频流相关联。可以指定第四显示设备接收包括数字内容的视频流或包括当前发言者的视频流。一旦布局管理器302将视频流指定到特定显示设备(在步骤504中)，布局管理器302就将属性添加到传出流中(在步骤509中)。这样的属性可包括视频流将在其上面显示的显示设备的相对位置，视频流是否包括数字内容、发言者等等。
如果要在端点E处显示的视频流的数量大于可用的显示设备的数量，那么，可以将两个或更多视频流合并到一个视频流。布局管理器302可以检查端点E处的显示设备中的任何一个是否专门用于只显示当前发言者。如果是，那么，带有属性“发言者”的视频流可以被定向到该显示设备(步骤505)。其余的显示设备可用于显示其余的视频流。
作为示例，每个显示设备的单元的数量可以通过将要显示的视频流的总数除以可用的显示设备的数量来确定。但是，在确定单元的数量和大小时，也可以考虑诸如视频流以及显示设备的纵横比，视频流的可以接受的缩小的量等等之类的其他因数。参考图4A所示出的示例，布局管理器302可以确定端点E处的显示设备406中的一个是为显示包括当前发言者的视频流预留的。因此，有三个显示设备——402、404，以及408-用于显示来自端点A、B、C，以及D的11个视频流。布局管理器302可以将显示设备中的两个的显示区分割为四个单元，而将其余的显示设备的显示区分割为三个单元。应该理解，这种确定每个显示设备的单元的数量的方法只是示例性的，也可以预见其他方法。
在步骤507中，布局管理器302可以将视频流指定到单元。如果视频流是相同格式并且没有任何空间相互关系，那么，布局管理器302可以宽松地将视频流指定到任何单元。例如，布局管理器302可以将来自一个端点的所有视频流指定到单个显示设备内的单元。但是，一般而言，在视频会议中-特别是在远程呈现视频会议中-由MCU106从端点接收到的视频流可以表示会议室的完整的图像的某些部分，该视频流在被并排显示时可以再现完整的会议室的图像。例如，参考图4A，布局管理器302可以在四个单元421、422、441，以及442中并排排列从端点A接收到的4个视频流，其中，单元421和422属于一个显示设备402，而单元441和442属于相邻的显示设备404。结果，来自一个端点的视频流可以分布到多个显示设备上。换言之，被显示的视频流的空间关系可以在多个显示设备上延伸。以类似的方式，来自端点B的四个视频流可以被指定到单元423、424、443，以及444。同样，来自端点B的两个视频流可以被指定到单元482和483，而来自端点C的单个视频流可以被指定到单元481。
一旦传入的视频流被指定给它们的单元，布局管理器302就可以指示混合器303组合被指定给同一显示设备的单元的视频流(步骤508)。例如，参考图4A，分别与单元421、422、441，以及442相关联的被标记为“A-FL”、“A-CL”、“B-FL”，以及“B-CL”的四个视频流可以被合并到单个视频流。经组合的视频流可以具有允许接收端点确定经组合的视频流将在哪一个显示设备上显示的属性。例如，来自单元421、422、441，以及442的视频流的经组合的视频流可以具有表明远左显示设备402的属性“FL”。在步骤509中，布局管理器302可以指示混合器303将属性添加到传出的经组合的视频流中。属性也可以被添加到不是其他视频流的组合的结果(如由步骤504所产生的)的视频流。
配置了向每一端点传出的视频流的布局，布局管理器302，在步骤510中，可以监测接收到的视频流的属性的任何变化和/或视频流的数量的变化。例如，如果以前与一个传入的视频流相关联的属性“发言者”现在与一个不同的传入的视频流相关联，则布局管理器302可以检测到此变化，并重新配置(在步骤503-509中)传出的流的布局，以便当前具有属性“发言者”的视频流被适当地显示在每一端点中。例如，参考图4A和4B，当以前与从端点A的中左摄像机(A-CL)接收到的视频流相关联的“发言者”属性现在与来自端点D的左侧摄像机(D-L)的视频流相关联时，布局管理器302可以重新配置布局，以便被发送到专用发言者显示器406的视频流从A-CL变为D-L。另外，如果来自参与端点的传入的视频流的数量发生变化，例如，当端点退出视频会议会话时，布局管理器302可以检测到此变化，并重新配置传出的视频流。如此，布局管理器可以提供视频流布局的动态重新配置。
上文的描述只是说明性的，而不是限制性的。在阅读了此说明书之后，本发明的许多变化将对本领域的技术人员变得显而易见。因此，本发明的范围不应该参考上面的描述来确定，而是参考所附权利要求书以及它们的等效内容的全部范围来确定。

Claims (19)

1.一种用于为通过网络与至少一个其他端点进行通信的端点生成显示内容的方法，包括：
基于与从所述至少一个其他端点接收到的视频流相关联的属性和所述端点的显示-配置信息，自动为所述端点生成显示布局，其中，显示-配置信息包括所述端点上的至少若干个显示设备；以及
基于所述显示布局来混合接收到的视频流，以为所述端点生成一个或多个视频流，
其中，自动生成显示布局包括使用位置属性来维持从所述至少一个其他端点接收到的所述视频流中的至少两个之间的空间关系，所述位置属性标识作为从所述至少一个其他端点接收到的所述至少两个视频流中的每一个的源的摄像机的相对位置，所述空间关系指示将要在其中显示所述至少两个视频流的空间布置。
2.如权利要求1所述的方法，其中，所述显示布局是连续的呈现布局。
3.如权利要求1所述的方法，其中，至少一个视频流具有一个以上的与它相关联的属性。
4.如权利要求1所述的方法，其中，还包括响应于所述属性中的任何一个的变化，动态地重新生成所述显示布局。
5.如权利要求1所述的方法，其中，生成显示布局包括标识从至少一个其他端点中的第一端点接收到的第一视频流，所述第一视频流的所述相关联的属性表明所述第一视频流包括第一当前发言者的图像。
6.如权利要求5所述的方法，其中，生成所述显示布局还包括将所述第一视频流指定到传出视频流，并将属性指定到所述传出视频流，所述属性表明所述传出视频流包括当前发言者的图像。
7.如权利要求6所述的方法，其中，生成所述显示布局还包括标识从至少一个其他端点中的第二端点接收到的第二视频流，所述第二视频流的所述相关联的属性表明所述第二视频流包括第二当前发言者的图像，并将所述第二视频流指定到所述传出视频流。
8.如权利要求1所述的方法，其中，生成所述显示布局包括：
生成多个单元，以及
将从所述至少一个其他端点接收到的视频流指定到所述多个单元，其中，一个视频流被指定到一个单元，以及
其中，混合还包括组合与所述多个单元相关联的视频流，以形成传出视频流。
9.如权利要求8所述的方法，其中，以这样的方式在空间上排列所述多个单元中的至少两个，以便所述排列维持从所述至少一个其他端点接收到的所述相关联的视频流中的至少两个之间的空间关系。
10.一种用于管理一个端点和至少一个其他端点之间的视频会议的视频会议多点控制单元MCU，包括：
布局管理器，所述布局管理器被配置成基于与从所述至少一个其他端点接收到的视频流相关联的属性和所述端点的显示-配置信息，自动为所述端点生成显示布局，其中，显示-配置信息包括所述端点上的至少若干个显示设备；以及
通信地耦合到所述布局管理器并被配置成基于所述显示布局来混合接收到的视频流以生成所述端点的一个或多个视频流的混合器，
其中，由所述布局管理器自动生成显示布局包括使用位置属性来维持从所述至少一个其他端点接收到的所述视频流中的至少两个之间的空间关系，所述位置属性标识作为从所述至少一个其他端点接收到的所述至少两个视频流中的每一个的源的摄像机的相对位置，所述空间关系指示将要在其中显示所述至少两个视频流的空间布置。
11.如权利要求10所述的MCU，其中，所述显示布局是连续的呈现布局。
12.如权利要求10所述的MCU，其中，至少一个视频流具有一个以上的与它相关联的属性。
13.如权利要求10所述的MCU，其中，所述布局管理器被配置成响应于任何一个属性的变化，来重新生成所述显示布局。
14.如权利要求10所述的MCU，还包括：
通信地耦合到所述布局管理器并被配置成确定与视频流相关联的属性的流属性模块，
其中，所述流属性模块标识从至少一个其他端点中的第一端点接收到的第一视频流，所述第一视频流的所述相关联的属性表明所述第一视频流包括第一当前发言者的图像。
15.如权利要求14所述的MCU，其中，所述布局管理器被配置成将所述第一视频流指定到传出视频流，以及
其中，所述流属性模块被配置成将属性指定到所述传出视频流，所述属性表明所述传出视频流包括当前发言者的图像。
16.如权利要求15所述的MCU，其中，所述流属性模块标识从至少一个其他端点中的第二端点接收到的第二视频流，所述第二视频流的所述相关联的属性表明所述第二视频流包括第二当前发言者，以及
其中，所述布局管理器将所述第二视频流指定到所述传出视频流。
17.如权利要求10所述的MCU，其中，所述MCU位于所述端点中。
18.如权利要求10所述的MCU，其中，所述布局管理器被配置成通过生成多个单元，并将从所述至少一个其他端点接收到的视频流指定到所述多个单元来生成所述显示布局，其中，一个视频流被指定到一个单元，以及
其中，所述混合器被配置成组合与所述多个单元相关联的所述视频流，以形成传出视频流。
19.如权利要求18所述的MCU，其中，所述布局管理器被配置成以这样的方式在空间上排列所述多个单元中的至少两个，以便所述排列维持从所述至少一个其他端点接收到的所述相关联的视频流中的至少两个之间的空间关系。
CN201210027888.9A 2011-02-09 2012-02-09 用于多流多站点远程呈现会议系统的自动视频布局 Active CN102638672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611205936.3A CN106878658B (zh) 2011-02-09 2012-02-09 用于多流多站点远程呈现会议系统的自动视频布局

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/024,101 US8537195B2 (en) 2011-02-09 2011-02-09 Automatic video layouts for multi-stream multi-site telepresence conferencing system
US13/024,101 2011-02-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201611205936.3A Division CN106878658B (zh) 2011-02-09 2012-02-09 用于多流多站点远程呈现会议系统的自动视频布局

Publications (2)

Publication Number Publication Date
CN102638672A CN102638672A (zh) 2012-08-15
CN102638672B true CN102638672B (zh) 2017-03-01

Family

ID=45562751

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210027888.9A Active CN102638672B (zh) 2011-02-09 2012-02-09 用于多流多站点远程呈现会议系统的自动视频布局
CN201611205936.3A Expired - Fee Related CN106878658B (zh) 2011-02-09 2012-02-09 用于多流多站点远程呈现会议系统的自动视频布局

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201611205936.3A Expired - Fee Related CN106878658B (zh) 2011-02-09 2012-02-09 用于多流多站点远程呈现会议系统的自动视频布局

Country Status (5)

Country Link
US (2) US8537195B2 (zh)
EP (1) EP2487903B1 (zh)
JP (2) JP5508450B2 (zh)
CN (2) CN102638672B (zh)
AU (1) AU2012200314B2 (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537195B2 (en) * 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system
US9053456B2 (en) * 2011-03-28 2015-06-09 Microsoft Technology Licensing, Llc Techniques for conference system location awareness and provisioning
US20120249877A1 (en) * 2011-03-28 2012-10-04 Hernandez Costa Fabio J Determining video stream display positioning
US9866731B2 (en) 2011-04-12 2018-01-09 Smule, Inc. Coordinating and mixing audiovisual content captured from geographically distributed performers
CN102868880B (zh) * 2011-07-08 2017-09-05 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统
US9148613B1 (en) * 2011-08-24 2015-09-29 Verint Systems Ltd. Systems, methods, and software for merging video viewing cells
US9338396B2 (en) 2011-09-09 2016-05-10 Cisco Technology, Inc. System and method for affinity based switching
US20130063542A1 (en) * 2011-09-14 2013-03-14 Cisco Technology, Inc. System and method for configuring video data
US8994778B2 (en) * 2011-12-07 2015-03-31 Positron Telecommunication Systems, Inc. Systems and methods for providing video conferencing services via an ethernet adapter
JP6236771B2 (ja) 2012-03-22 2017-11-29 株式会社リコー 通信装置、方法およびプログラム
FR2994785A1 (fr) * 2012-08-23 2014-02-28 France Telecom Procede de traitement d'un flux multimedia, terminal de communication, serveur et produit programme d'ordinateur correspondant.
US8890923B2 (en) * 2012-09-04 2014-11-18 Cisco Technology, Inc. Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
CN102843542B (zh) * 2012-09-07 2015-12-02 华为技术有限公司 多流会议的媒体协商方法、设备和系统
CN103873813B (zh) 2012-12-10 2018-06-01 中兴通讯股份有限公司 一种会议电视多画面切换的方法及系统
CN103905776B (zh) 2012-12-26 2018-01-16 华为技术有限公司 码流处理方法和系统、多点控制单元
US9924252B2 (en) 2013-03-13 2018-03-20 Polycom, Inc. Loudspeaker arrangement with on-screen voice positioning for telepresence system
CN104113721B (zh) * 2013-04-22 2017-08-18 华为技术有限公司 一种视频会议中会议材料的显示方法及装置
CN104144315B (zh) * 2013-05-06 2017-12-29 华为技术有限公司 一种多点视频会议的显示方法及多点视频会议系统
CN104349117B (zh) * 2013-08-09 2019-01-25 华为技术有限公司 多内容媒体通信方法、装置及系统
US9264668B2 (en) * 2013-09-27 2016-02-16 Clearone Communications Hong Kong Ltd. Methodology for negotiating video camera and display capabilities in a multi-camera/multi-display video conferencing environment
WO2015058799A1 (en) * 2013-10-24 2015-04-30 Telefonaktiebolaget L M Ericsson (Publ) Arrangements and method thereof for video retargeting for video conferencing
CN104902217B (zh) * 2014-03-05 2019-07-16 中兴通讯股份有限公司 一种在网真会议系统中显示布局的方法及装置
US20160110313A1 (en) * 2014-03-14 2016-04-21 Citta LLC System and method of content creation, versioning and publishing
US9307001B2 (en) * 2014-05-16 2016-04-05 International Business Machines Corporation Video feed layout in video conferences
CN105100677A (zh) * 2014-05-21 2015-11-25 华为技术有限公司 用于视频会议呈现的方法、装置和系统
CN105450976B (zh) * 2014-08-28 2018-08-07 南宁富桂精密工业有限公司 视频会议处理方法及系统
CN105592286B (zh) * 2014-10-22 2019-03-01 阿里巴巴集团控股有限公司 即时通信界面信息处理方法及装置
US20160142672A1 (en) * 2014-11-17 2016-05-19 International Business Machines Corporation Automatic screen adjustment for multi location video conferencing
US9602771B2 (en) * 2014-12-10 2017-03-21 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
CN105744208B (zh) * 2014-12-11 2019-09-27 视联动力信息技术股份有限公司 一种视频会议控制系统及其控制方法
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
US10061467B2 (en) 2015-04-16 2018-08-28 Microsoft Technology Licensing, Llc Presenting a message in a communication session
US9602758B2 (en) * 2015-07-10 2017-03-21 Ricoh Company, Ltd. Communication apparatus, conference system, computer-readable recording medium, and display control method
JP2017028660A (ja) * 2015-07-28 2017-02-02 株式会社リコー 情報処理装置、画像表示方法、通信システム、プログラム
US10701318B2 (en) 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
JP2017041831A (ja) * 2015-08-21 2017-02-23 株式会社リコー 通信システム、通信管理システム、通信管理方法、及びプログラム
US9769419B2 (en) 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
JP6551155B2 (ja) * 2015-10-28 2019-07-31 株式会社リコー 通信システム、通信装置、通信方法およびプログラム
GB201520509D0 (en) 2015-11-20 2016-01-06 Microsoft Technology Licensing Llc Communication system
WO2017172528A1 (en) 2016-04-01 2017-10-05 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
US9681099B1 (en) * 2016-06-28 2017-06-13 Facebook, Inc. Multiplex live group communication
CN106251334B (zh) * 2016-07-18 2019-03-01 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9699410B1 (en) * 2016-10-28 2017-07-04 Wipro Limited Method and system for dynamic layout generation in video conferencing system
US9942513B1 (en) 2016-10-31 2018-04-10 Cisco Technology, Inc. Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
US10362241B2 (en) 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
US10681309B2 (en) * 2017-03-30 2020-06-09 Polycom, Inc. Direction dependent MCU/gateway
CN110999281B (zh) 2017-06-09 2021-11-26 Pcms控股公司 一种用于允许在虚拟景观中探索的方法及装置
CN107154184B (zh) * 2017-06-28 2020-09-22 杭州种花家科技有限公司 一种用于语言学习的虚拟现实设备系统及方法
TWI628953B (zh) * 2017-08-03 2018-07-01 鴻海精密工業股份有限公司 電子設備及視訊框排列方法
WO2019104629A1 (zh) * 2017-11-30 2019-06-06 华为技术有限公司 一种导播控制方法及装置
US10552110B2 (en) * 2018-02-06 2020-02-04 Dell Products L.P. System and method of video multiplexing
CN108769565B (zh) * 2018-06-29 2022-10-21 广州盈可视电子科技有限公司 画面布局自动切换方法、服务器及本地录播系统
CN110944109B (zh) * 2018-09-21 2022-01-14 华为技术有限公司 一种拍照方法、装置与设备
US10819953B1 (en) * 2018-10-26 2020-10-27 Facebook Technologies, Llc Systems and methods for processing mixed media streams
CN111131727A (zh) * 2018-10-31 2020-05-08 北京国双科技有限公司 视频数据处理方法和装置
CN110677623B (zh) * 2019-10-15 2021-09-10 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质
JP7377352B2 (ja) * 2020-01-16 2023-11-09 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器、並びにコンピュータプログラム
US11425502B2 (en) 2020-09-18 2022-08-23 Cisco Technology, Inc. Detection of microphone orientation and location for directional audio pickup
US11651749B2 (en) 2020-11-02 2023-05-16 Panduit Corp. Display layout optimization of multiple media streams
US11115625B1 (en) 2020-12-14 2021-09-07 Cisco Technology, Inc. Positional audio metadata generation
CN113596384B (zh) * 2021-07-30 2023-05-26 北京字跳网络技术有限公司 一种多媒体会议自动布局方法、装置及设备
WO2023122692A1 (en) * 2021-12-22 2023-06-29 Canon U.S.A., Inc. Real-time multi-source video pipeline

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1484918A (zh) * 2000-12-01 2004-03-24 ������·�ɷ����޹�˾ 视频终端,视频终端通信系统,以及电视会议系统
CN1918912A (zh) * 2004-02-13 2007-02-21 坦德伯格电信公司 用于产生持续出席图像的装置和方法
WO2010074582A1 (en) * 2008-12-23 2010-07-01 Tandberg Telecom As Method, device and a computer program for processing images in a conference between a plurality of video conferencing terminals

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365789A (ja) * 1986-09-05 1988-03-24 Fujitsu Ltd テレビ会議用画像表示方法
JPH06351013A (ja) * 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 電子会議システム
US6240555B1 (en) * 1996-03-29 2001-05-29 Microsoft Corporation Interactive entertainment system for presenting supplemental interactive content together with continuous video programs
JP2003018580A (ja) * 2001-06-29 2003-01-17 Matsushita Electric Ind Co Ltd コンテンツ配信システムおよび配信方法
US6912178B2 (en) 2002-04-15 2005-06-28 Polycom, Inc. System and method for computing a location of an acoustic source
JP2003339034A (ja) * 2002-05-17 2003-11-28 Pioneer Electronic Corp ネットワーク会議システム、ネットワーク会議方法およびネットワーク会議プログラム
US7454707B2 (en) * 2002-09-30 2008-11-18 Canon Kabushiki Kaisha Image editing method, image editing apparatus, program for implementing image editing method, and recording medium recording program
JP2004208051A (ja) 2002-12-25 2004-07-22 Sony Corp 多地点間コミニュケーションシステム，端末装置，多地点間コミニュケーション方法
KR100871527B1 (ko) * 2003-02-19 2008-12-05 파나소닉 주식회사 기록매체, 재생장치, 기록방법, 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 기록매체, 재생방법
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
US7321384B1 (en) * 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US7558433B1 (en) * 2003-12-30 2009-07-07 Adobe Systems Incorporated Healing by texture synthesis in differential space
JP2006109109A (ja) * 2004-10-05 2006-04-20 Toshiba Corp メタデータの構造及びメタデータの処理方法
JP2006113632A (ja) * 2004-10-12 2006-04-27 Toshiba Corp メタデータのデータ構造及びメタデータの再生装置とその方法
JP2006270172A (ja) * 2005-03-22 2006-10-05 Fuji Xerox Co Ltd 管理システム及び表示制御方法
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
JP4882288B2 (ja) * 2005-06-20 2012-02-22 富士ゼロックス株式会社 表示制御装置、システム及び表示制御方法
WO2007091243A2 (en) * 2006-02-07 2007-08-16 Mobixell Networks Ltd. Matching of modified visual and audio media
US7800642B2 (en) * 2006-03-01 2010-09-21 Polycom, Inc. Method and system for providing continuous presence video in a cascading conference
US7707247B2 (en) * 2006-04-20 2010-04-27 Cisco Technology, Inc. System and method for displaying users in a visual conference between locations
JP2008113164A (ja) * 2006-10-30 2008-05-15 Yamaha Corp 通信装置
NO20071401L (no) * 2007-03-16 2008-09-17 Tandberg Telecom As System og arrangement for naturtro videokommunikasjon
JP2009021922A (ja) * 2007-07-13 2009-01-29 Yamaha Corp テレビ会議装置
AU2008310672A1 (en) * 2007-10-12 2009-04-16 Polycom, Inc. Integrated system for telepresence videoconferencing
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8248454B2 (en) * 2007-11-14 2012-08-21 Hewlett-Packard Development Company, L.P. Video display calibration system and method
CA2644813A1 (en) * 2007-11-26 2009-05-26 Haivision Systems Inc. Method and system for the establishment of complex network telepresence conference
JP2009239762A (ja) 2008-03-28 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> テレビ会議システム、テレビ会議方法
US8380008B2 (en) * 2008-05-02 2013-02-19 Apple Inc. Automatic image cropping
CN100571368C (zh) * 2008-08-21 2009-12-16 华为技术有限公司 一种多画面控制显示的方法和装置
JP2010074668A (ja) * 2008-09-19 2010-04-02 Panasonic Corp 会議端末装置およびサーバ装置
US8355040B2 (en) * 2008-10-16 2013-01-15 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
US8358328B2 (en) * 2008-11-20 2013-01-22 Cisco Technology, Inc. Multiple video camera processing for teleconferencing
JP2010157906A (ja) 2008-12-26 2010-07-15 Canon Inc 映像表示装置
US8228363B2 (en) * 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences
US8643695B2 (en) * 2009-03-04 2014-02-04 Lifesize Communications, Inc. Videoconferencing endpoint extension
NO331338B1 (no) * 2009-06-24 2011-11-28 Cisco Systems Int Sarl Fremgangsmate og anordning for endring av en videokonferanse-layout
US8543946B2 (en) * 2009-06-29 2013-09-24 Sharp Laboratories Of America, Inc. Gesture-based interface system and method
US8407287B2 (en) * 2009-07-14 2013-03-26 Radvision Ltd. Systems, methods, and media for identifying and associating user devices with media cues
US8782700B2 (en) * 2010-04-26 2014-07-15 International Business Machines Corporation Controlling one or more attributes of a secondary video stream for display in combination with a primary video stream
US8327253B2 (en) * 2010-11-09 2012-12-04 Shutterfly, Inc. System and method for creating photo books using video
US8537195B2 (en) * 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1484918A (zh) * 2000-12-01 2004-03-24 ������·�ɷ����޹�˾ 视频终端,视频终端通信系统,以及电视会议系统
CN1918912A (zh) * 2004-02-13 2007-02-21 坦德伯格电信公司 用于产生持续出席图像的装置和方法
WO2010074582A1 (en) * 2008-12-23 2010-07-01 Tandberg Telecom As Method, device and a computer program for processing images in a conference between a plurality of video conferencing terminals

Also Published As

Publication number Publication date
CN106878658A (zh) 2017-06-20
US20120200658A1 (en) 2012-08-09
US8537195B2 (en) 2013-09-17
CN102638672A (zh) 2012-08-15
JP2012170069A (ja) 2012-09-06
EP2487903A2 (en) 2012-08-15
EP2487903A3 (en) 2015-02-18
US20130328998A1 (en) 2013-12-12
AU2012200314B2 (en) 2014-07-03
AU2012200314A1 (en) 2012-08-23
US9462227B2 (en) 2016-10-04
JP2014161029A (ja) 2014-09-04
EP2487903B1 (en) 2020-01-22
JP5508450B2 (ja) 2014-05-28
CN106878658B (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN102638672B (zh) 用于多流多站点远程呈现会议系统的自动视频布局
US10321093B2 (en) Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
US11418758B2 (en) Multiple simultaneous framing alternatives using speaker tracking
RU2595263C1 (ru) Способ медийного взаимодействия, устройство и система осуществления конференц-связи в многопоточном режиме
US9392225B2 (en) Method and system for providing a virtual cafeteria
EP2382779A1 (en) Method, device and a computer program for processing images in a conference between a plurality of video conferencing terminals
CN101478642A (zh) 视频会议系统的多画面混图方法及装置
EP2335415A1 (en) Method, device and computer program for processing images during video conferencing
CN101198008A (zh) 一种实现多屏多画面的方法和系统
US20140313281A1 (en) Dynamic allocation of encoders
EP2816801B1 (en) Video conference processing method and device
CN102223515B (zh) 远程呈现会议系统、远程呈现会议的录制与回放方法
CN105247854A (zh) 用于将外部设备关联到视频会议会话的方法和系统
US11503085B2 (en) Multimedia composition in meeting spaces
Liu et al. Cloud and traditional videoconferencing technology for telemedicine and distance learning
WO2016206471A1 (zh) 多媒体业务处理方法、系统及装置
CN105357467A (zh) 音频视频会议中的远程互动方法、装置及系统
WO2013060295A1 (zh) 一种视频处理方法和系统
CN101610387A (zh) Mcu端口路由的配置方法和设备
RU2617680C1 (ru) Способ, устройство и система передачи мультиконтентных мультимедийных данных
KR20180105594A (ko) 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법
WO2013066290A1 (en) Videoconferencing using personal devices
KR20220124435A (ko) 화상회의 서비스 내 참여자의 소그룹 관리 시스템 및 관리 방법
Ezeife VIDEOCONFERENCING AND ITS RELEVANCE IN THE MODERN WORLD

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231013

Address after: Texas, USA

Patentee after: Huihe Development Co.,Ltd.

Address before: California, USA

Patentee before: Polycom, Inc.

TR01 Transfer of patent right