CN102342066B

CN102342066B - 实时多媒体流处理带宽管理

Info

Publication number: CN102342066B
Application number: CN201080010580.2A
Authority: CN
Inventors: R·L·夏普; E·L·舒特尔
Original assignee: Alcatel Lucent SAS
Current assignee: Alcatel Lucent SAS; Nokia of America Corp
Priority date: 2009-03-06
Filing date: 2010-03-01
Publication date: 2015-03-11
Anticipated expiration: 2030-03-01
Also published as: CN102342066A; JP2012520012A; EP2404411A1; KR20110124280A; WO2010101800A1; JP2013146077A; EP2404411B1; JP5722366B2; US8966556B2; KR20140039069A; US20100229210A1; KR101574031B1

Abstract

提供一种多媒体方法、系统和装置以优化网络带宽并增强视频体验。多个环境视图中的每一个被编码，编码多媒体流随后根据各自的编码特性进行转码。然后，所产生的视频流被提供给用户以选择优选视图。用户的多媒体偏好属性根据观看者的反馈确定。响应于观看者的反馈，视频管理器向摄影机/编码器传送编码特性，并向转码器传送与对应的编码多媒体流相关联的转码特性。传输处理器进行编码以传输多个转码视频流的每一个，并向观看者传送转码视频流。

Description

实时多媒体流处理带宽管理

技术领域

本发明涉及实时多媒体流处理，更具体地，涉及网络上多个摄影机的实时视频流处理。

背景技术

低成本、高分辨率视频摄影机的可用性便于其在各种应用和环境中扩散。在典型的分辨率、帧速率和色彩深度下，即使采用高级压缩技术，使产生的视频图像流动所需要的带宽也非常高。这反过来对基于IP的网络为不同类型的业务提供某一类型的服务质量(QoS)保证导致很大的挑战。现有技术通过人工地限制摄影机视图的分辨率和/或帧速率解决了带宽约束问题。该方法确实降低了带宽，但以图片质量为代价。

EP 1463332A1(MARCUS KELLERMAN等，2004年9月29日)(以下称为D1)公开了重新格式化媒体的系统和方法。在一个实施例中，系统包括与网络通信的服务器、第一通信设备和第二通信设备。第二通信设备可从第一通信设备接收与第一通信设备有关的设备配置文件，并可将该设备配置文件和媒体内容发送到服务器。服务器可基于设备重新格式化媒体内容。

发明内容

现有技术的各种缺陷通过实时多媒体流处理方法和系统得到解决。具体地，该方法包括以下步骤：根据各自的编码特性对多个多媒体流的每一个进行转码，以提供转码多媒体流；向多个观看者转发每一个转码多媒体流；以及响应于来自一个或多个用户的指示偏好的反馈，修改与至少一个转码多媒体流相关联的编码特性，从而降低与所述至少一个转码多媒体流相关联的带宽要求。

另一个实施例提供一种系统，其具有视频管理器，其可通信地连接到一个或多个摄影机/编码器、一个或多个转码器和一个或多个传输处理器，该视频管理器接收观看者的视频偏好的标记，并响应地修改所述摄影机/编码器和转码器的编码特性，从而根据所述观看者视频偏好提供转码视频流。该系统还包括多个转码器，每个编码器用于将各自的具有初始特性的视频流转码成具有随后的视频特性的随后的视频流。作为该系统的一部分，传输处理器用于对多个转码视频流的每一个进行编码以用于传输；此外，传输处理器向观看者传送一个或多个转码视频流。

附图说明

通过结合附图并考虑以下的详细描述，本实施例的教导能够被容易地理解，其中：

图1描绘了根据一个实施例的实时视频流处理系统的框图；

图2图形化地示出根据一个实施例的视频会议的环境图；

图3图形化地示出根据一个实施例的设备中每个摄影机的优选布置；

图4图形化地示出根据一个实施例的实时视频流处理系统中的视频会议的全景图；

图5描绘了根据一个实施例的实时视频流处理系统中通过框内扩大(in-frame expansion)的观看者选择；

图6描绘了根据一个实施例的实时视频流处理系统中通过框选择的观看者选择；

图7描绘了根据一个实施例的实时视频流处理系统中编码器设备的框图；

图8描绘了根据一个实施例的实时视频流处理系统中视频转码器设备的框图；

图9描绘了根据一个实施例的实时视频流处理系统中传输处理器设备的框图。

为了便于理解，在可能的情况下，相同的附图标记用于表示附图中的相同单元。

具体实施方式

现有技术的各种缺陷可以例如通过在会议中将任意视图中的一个或多个远离说活者、向副视图提供更低的质量、集中于兴趣点并向兴趣点提供最高质量来解决。带宽策略基于用户以及应用的基于用户的带宽管理的想法通过将观看者的偏好结合到编码处理中并相应地分配带宽来实现。

通常，远程会议观看者(参加者)在任何一个时间只看整个视频的一小部分(即，场景)；此外，大多数观看者可能持续看同一个场景。例如，大多数的会议参加者集中于当前的说话者。观看者不能在他/她后面观看。另外，在外围视图内的场景是重要的，但眼睛通常不能提供与中心视图相同的分辨率和质量。

上述的实施例主要在实时视频流处理的上下文内进行描述；然而，本领域的普通技术人员和在此通过教导知道的人员将认识到本发明也可应用于期望带宽管理的多媒体系统。

图1描绘了根据一个实施例的实时视频流处理系统的框图。图1的系统100包括多个摄影机110-1至110-3，它们向各自的编码器120-1至120-3提供图像信号。摄影机110可包括本地或远程摄影机。来自每个编码器120的编码输出被馈送到各自的视频转码器170。编码器与转码器之间的链路在长度上可以是几英寸或几英里。另外，链路可以是电缆或光纤链路、微波链路、电话网络链路、这些链路的组合或任何其它适合的通信路径。

转码输出被馈送到传输处理器190，其进一步对流进行编码以用于向观看者传播。传输处理器分配与转码视频流的特性相符的带宽。在其它实施例中，副视图基于它们的相对重要性和可用的网络带宽而被分配带宽。

摄影机及其各自的编码器、一个或多个转码器170和一个或多个传输处理器190可通信地连接到视频管理器180，该视频管理器180还接收观看者的视频偏好或质量反馈的标记。视频管理器180向一个或多个传输处理器190提供观看者的视频偏好和控制185。视频管理还向适当的转码器提供观看者等级质量选择165。观看者等级质量选择或反馈包括帧速率、分辨率、色彩深度、编码算法和缩放。视频管理器还向每个编码器120提供最大所要求的质量选择。这些质量选择示例性地包括帧速率、分辨率、色彩深度和编码算法。在一个实施例中，只有一个摄影机、一个编码器和一个转码器。

图2图形化地示出根据一个实施例的视频会议的环境图。参照图2，示出了具备多摄影机设备110、投影屏幕210、白板220、本地参加者230和多个可通信地连接到多摄影机设备的远程参加者(未示出)的会议室200。多摄影机设备中的每个摄影机提供由该组摄影机提供的总视图的一个子集，每个远程观看者(参加者)能够选择接收哪个视图240-270。

图3图形化地示出根据一个实施例的设备中每个摄影机的优选布置。如图3所示的摄影机布置集合成星形配置310。摄影机布置考虑了会议环境的环绕视图。在其它实施例中，不同会议室的附加视图由远程摄影机及其各个编码器提供。

如参照图1所述的，每个远程用户能够与视频管理器通信以选择优选视图并调整该特定视图的尺寸和其它属性。使用该信息，视频管理器示例性地通过将视图远离说话者、向副视图提供更低的质量、集中于中心焦点并向其提供最高质量等响应地优化观看者的体验。目的在于向视频分组源提供观看者和网络信息，以便降低带宽并增强整个视频体验。视频管理器调整流的质量以使用以下的某些或全部信息平衡网络内可用的带宽：(1)哪些视频流实际上正被远程用户观看的信息-这允许系统丢弃未被请求的场景的传输或提高受到喜欢的流的视频质量；(2)每个流对用户的重要性，如由包括专用于观看流的屏幕不动产的数量的几个因素所表明的。

在一个实施例中，观看者没有选择优选视图的灵活性；所提供的视图是固定的。在其它实施例中，观看者可以选择优选视图。

现在参照图4-6描述观看者选择视图或另外指示偏好的方式。示意性地，有两个主要选项可用于用户指示偏好：如图5中描绘的框内扩大(in-frame expansion)和图6所示的框选择。本领域的普通技术人员应当理解本发明并不限于这两个选项，也可以是其它变形，诸如选择多个视图以指示第一偏好、第二偏好、第三偏好等等。

图4图形化地描绘了根据一个实施例的实时视频流处理系统中视频会议的全景图。具体地，图4的会议环境示出了包括说话者的四个参加者。观看者能够选择或“点击”视图内将被强调的区域。该方法称为框内扩大。

图5描绘了根据一个实施例的实时视频流处理系统中通过框内扩大的观看者选择。如图5所示，考虑到更多的像素、更高的帧速率和更好的分辨率，观看者所选择的视图或感兴趣视图(焦点)510被分配更大的带宽。如上所述，副视图不被重视，其被给予更少的像素并进而更差的质量。观看者能够点击广角视图的部分以改变感兴趣的视图。可选择地，在另一个实施例中，观看者可以点击自动按钮520以允许视频管理器(服务器)基于声音和活动选择视图。

另一个主要选项是图6所示的框选择。图6描绘了根据一个实施例的实时视频流处理系统中通过框选择的观看者选择。具体地，分别示出了七个会议参加者以及显示来自会议的记录的白板。观看者能够点击任何框或视频以放大视图(610，620)。一旦进行了选择，观看者能够在任何所选择的视频上进行“右点击”(即，按下鼠标的右开关)以调整对帧速率、分辨率、色彩深度和缩放的带宽分配。在这种情况下，选择了两个视频，而其它视频(未被选择)被给予低的帧速率、分辨率和其它属性。可选择地，在另一个实施例中，观看者可以点击自动按钮630以允许视频管理器(服务器)基于声音和活动选择视图。

尽管前述内容是针对本发明的各种实施例，但在不脱离本发明的基本范围的情况下，可以设计本发明的其它实施例。同样，本发明的适当的保护范围根据后面的权利要求确定。

图7描绘了根据一个实施例的实时视频流处理系统中的编码器设备的框图。

编码器设备700至少包括：视频接口720，用于将进入的视频信号710转换到基于存储器的帧缓冲器730；分割处理器740，用于对图片进行分割、“剪切”或优化，因为视场可能较宽；视频流编码器750，用于压缩和格式化流以用于网络传送；打包器和控制中央处理单元(CPU)760，用于对视频帧打包；以及以太网媒体访问控制770，用于将打包的视频流传输到在下面图8中描绘的视频转码器设备800。在CPU控制下的控制总线780 向每个不同的模块提供命令和控制，其中，这些模块按级可通信地连接到该CPU。每一级执行特定的功能。级和/或功能可以结合或扩展以满足带宽要求和/或优化某些特性，例如延迟、响应时间等。

在一个实施例中，视频接口720包括特殊应用标准产品(ASSP)或现成的专用IC(ASIC)(完全能够互换地使用)。在其它实施例中，视频接口编码器720包括数字信号处理器(DSP)。视频接口编码器720接收符合各种标准的视频输入，诸如国家电视系统委员会(NTSC)标准、逐行倒相(PAL)标准或任何数字视频信号，并将视频信号修改成适合处理的格式。

在一个实施例中，分割处理器740结合现场可编程门阵列(FPGA)和DSP以处理视频帧。在另一个实施例中，分割处理器740包括一个或多个FPGA。在另一个实施例中，分割处理器740包括DSP。

帧缓冲器730是存储器。类似于其它组件，存储器并不限于任何当前已有的计算机产品，其可以利用新的设备，当这些新的设备可用时。

在一个实施例中，视频流编码器750被设计成使用ASSP和DSP的组合。在另一个实施例中，视频流编码器750的功能由DSP或等同物执行。在其它实施例中，视频流编码器750被设计成使用包括ASSP的组件。

在各种实施例中，CPU 760和以太网MAC 770使用现成的标准设备实现。然而，类似于其它组件，CPU 760和以太网MAC 770并不限于任何当前已有的计算机产品，其可以利用新的设备，当这些新的设备可用时。具体地，以太网MAC 770将视频流传输到视频转码器设备800。

图8描绘了根据一个实施例的实时视频流处理系统中的视频转码器设备的框图。

视频转码器设备800至少包括：高速以太网接口模块810，用于将多个编码器连接到视频转码器设备；分配器820，用于根据流的特性分配输入视频；DSP库(farm)830(或多核DSP)，用于并行地处理由分配器820引导到特定DSP的多个流；打包器840，用于将分组成帧为因特网协议(IP)数据单元；高速以太网接口850，用于将打包的视频流传输到在下面图9中描绘的传输处理器设备900。

在一个实施例中，高速以太网接口模块810包括特殊应用标准产品(ASSP)或现成的专用IC(ASIC)。

在一个实施例中，分配器820由现场可编程门阵列(FPGA)构建。在另一个实施例中，分配器模块820包括现成的专用IC(ASIC)或ASSP。在另一个实施例中，分配器模块820包括数字信号处理器(DSP)。分配器820基于流确定哪个DSP引导流。类似于其它组件，高速以太网接口850和分配器模块820都不限于任何当前已有的计算机产品，其可利用新的设备，当这些新的设备可用时。

DSP库(或多核DSP)830包括在适合于其它特性中的灵活性、冗余性和吞吐量的并行体系结构内运行的多个DSP。DSP库830使用产生视频流的适当的帧成形技术对多个视频流中的每一个进行转码，视频流符合用户的偏好。在一个实施例中，DSP库830包括FPGA。在其它实施例中，DSP库830包括ASSP或ASSP与FPGA的组合。

在一个实施例中，打包器840由现场可编程门阵列(FPGA)构建。在另一个实施例中，打包器模块840包括现成的专用IC(ASIC)或ASSP。在另一个实施例中，打包器模块840包括数字信号处理器(DSP)。如其名字所表示的，打包器80将多个转码流格式化为IP分组。

在一个实施例中，高速以太网接口模块850由ASSP构建。在另一个实施例中，高速以太网接口模块850包括现场可编程门阵列(FPGA)。在另一个实施例中，高速以太网接口模块850包括数字信号处理器(DSP)。类似于其它组件，高速以太网接口模块850并不限于任何当前已有的计算机产品，其可利用新的设备，当这些新的设备可用时。高速以太网接口850将打包的视频流传输到下面描述的传输处理器设备900。

图9描绘了根据一个实施例的实时视频流处理系统中的传输处理器设备的框图。

传输处理器900至少包括以太网交换机910，用于与来自视频转码器的多个输入流连接并向流路由器920提供合适的输入，流路由器920执行视频流的路由并将视频流馈送到高速以太网930以传输。

在一个实施例中，以太网交换机910被设计为使用特殊应用标准产品(ASSP)或ASIC。在其它实施例中，以太网交换机910包括数字信号处理器(DSP)。

在一个实施例中，流路由器920被设计为使用与FPGA相结合的网络处理器。在另一个实施例中，流路由器920包括网络处理器。在另一个实施例中，流路由器包括FPGA。类似于其它组件，流路由器并不限于任何当前已有的计算机产品，其可利用新的设备，当这些新的设备可用时。

在一个实施例中，高速以太网930被设计为使用特殊应用标准产品(ASSP)或ASIC。在其它实施例中，高速以太网930包括数字信号处理器(DSP)。

Claims

1.一种用于实时多媒体流处理的方法，其特征在于，包括：

根据各自的编码特性对多个多媒体流的每一个进行转码，以提供转码多媒体流；

向多个观看者转发每个转码多媒体流，其中，所述多个观看者的每一个接收各自的转码多媒体流；

接收一个或多个观看者的视频偏好的标记；以及

响应于来自一个或多个观看者的视频偏好的标记，修改与至少一个转码多媒体流相关联的编码特性，从而降低与至少一个所述转码多媒体流相关联的带宽要求。

2.如权利要求1所述的方法，其中，多个观看者接收共同的转码多媒体流。

3.如权利要求1所述的方法，其中，所述编码特性包括以下属性的一个或多个：帧速率、分辨率、色彩深度、频率分量、缩放、编码算法、可用带宽和范围。

4.如权利要求1所述的方法，其中，所述多个多媒体流的每一个由各自的摄影机/编码器提供，所述摄影机/编码器的每一个提供与共同的观看环境有关的图像，所述摄影机用于根据所提供的编码特性响应地编码图像。

5.如权利要求1所述的方法，其中，所述多个多媒体流的每一个由各自的远程摄影机/编码器提供，所述远程摄影机/编码器的每一个提供与不同的观看环境有关的图像。

6.一种实时多媒体流处理系统(100)，其特征在于，包括：

视频管理器(180)，其可通信地连接到一个或多个摄影机/编码器(120-1，120-3)和一个或多个转码器(170)，用于接收观看者的视频偏好的标记，并响应地修改所述转码器的编码特性，从而根据所述观看者的视频偏好提供转码视频流；

所述转码器的每一个用于将各自的具有初始视频特性的视频流转码成具有随后的视频特性的随后的视频流；

传输处理器(190)，用于传输编码多个转码视频流以向观看者传输；以及

路由器，用于向用户路由适合偏好的转码多媒体流。

7.如权利要求6所述的系统，其中，多个观看者(230)共享共同的经过传输处理的流。

8.如权利要求6所述的系统，其中，每个观看者已向其传输由各自的带宽分配所表征的各自的传输流，所述带宽根据转码视频流的特性分配。

9.如权利要求6至8任意一项所述的系统，其中，所述转码器(170)包括：

分配器(820)，用于选择多个数字信号处理器(DSP)(830)中的一个以对适合偏好的多媒体流进行转码，其中，所述选择根据所述多媒体流的特性的每一个进行，所述多媒体流由多个数字信号处理器(DSP)中的各自的数字信号处理器进行转码。

10.如权利要求6至8任意一项所述的系统，还包括：

多个编码器(120-1，120-3)，每个编码器处理各自的与共同的观看环境中各自的视图相关联的视频信号；

响应于指示偏好的控制信号，所述编码器修改编码参数，从而提供符合用户的偏好的编码视频流。