CN101110811A - 一种用于视频系统媒体数据传输的控制方法 - Google Patents

Abstract

本发明公开了一种用于视频系统媒体数据传输的控制方法。该方法通过监控前端、监控客户端、控制管理服务器和媒体服务器实现。控制管理服务器监控网络传输情况，在监控前端的网络传输能力足够时，监控客户端和监控前端之间以对等传输方式传输媒体数据；在监控前端的网络传输能力不够或者网络不支持对等传输方式时，使用媒体服务器转发部分媒体数据。本方法能够根据网络的流量状况调整媒体数据的传输模式，从而在监控前端的网络传输负荷增加的情况下，最大限度地确保图像传输的质量。

Description

一种用于视频系统媒体数据传输的控制方法

技术领域

本发明涉及一种对视频数据传输进行控制的方法，尤其涉及一种用于视频监控系统，能够对媒体数据的传输方式进行实时调整，从而确保图像传输质量的方法，属于多媒体通信技术领域。

背景技术

视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合。近年来，随着互联网的大范围普及，以及计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有长足的发展。视频监控已经渗透到教育、政府、娱乐场所、医院、酒店、运动场馆、城市治安等多种领域。

视频监控所涉及的关键性技术主要有视频采集压缩、视频信号可靠传输、信息存储调用的智能化与系统的集中管理等方面。目前，视频监控的技术发展经历了模拟监控、数字监控两个阶段，正在向大规模网络监控方向发展。

当在Internet上进行视频监控时，视频数据流向和流量是个重要的问题，因为视频数据的数据量相对较大，而随着用户量的增加，如果完全通过监控服务器端转发视频数据，当系统规模扩大时，监控服务器端的带宽资源必然会很快耗尽，而这种对带宽资源的巨大消耗必将带来高额的运营成本。

为了解决视频监控系统的数据传输问题，在公开号为CN1605075的中国发明专利申请“基于客户端或网络环境调整视频流的系统和方法”中，介绍了一种用于调整根据一个或多个参数的值而被编码并通过网络传送的视频流的方法，所述方法包括：获取至少与网络传输所述数据流的能力有关的数据；和基于所获取的数据来调整一个或多个参数的值，其中根据该一个或多个参数的值对所述视频流进行编码。该方法的核心是通过调整视频编码的方式来解决网络传输的问题。

在公开号为CN1655547的中国发明专利申请“一种媒体传输系统中的速率控制方法”中，也介绍了一种怎样有效利用网络带宽，在媒体视频点播系统上对视音频数据流的码率控制技术。该技术通过接收端设定缓存的占有率B，并将B通过数据信道传回发送端，发送端根据B值网络丢包率调整码率的递增步长StepR和递减系数α，也就是调整流量队列的长度可以调整传输速率的平滑程度。

此外，在公开号为CN1540954的中国发明专利申请“一种IP视频会议系统中音视频流传输的流量控制方法”中，为所述服务器和客户机之间的通信建立三个并行运行但分工不同的连接：一个负责视频数据的传输、一个负责音频数据的传输、一个负责控制信息的传输；当网络带宽不足时，遵照优先保证音频数据的传输、合理放弃视频数据的传输的规则来对负责视频数据传输的连接和负责音频数据传输的连接进行调节，所述合理放弃视频数据是指在视频数据的传输过程中限定视频数据队列中的视频帧数。

但是，上述的技术解决方案并不能从根本上解决视频监控系统中，单纯依靠服务器转发视频数据所带来的传输瓶颈问题。对于这一网络结构本身所带来的问题，人们普遍认为：解决的关键是引入P2P(Peer toPeer，对等传输)的观念。P2P技术是一种用于不同PC用户之间、不经过中继设备直接交换数据或服务的技术。在视频监控系统中使用P2P技术，就是让摄像头采集的视频信号直接通过网络传至监控点，监控服务器只负责处理终端的连接控制及其他各种信令的调度管理。

但是，由于P2P技术本身固有的缺陷，单纯使用P2P技术会导致网络传输不够稳定，视频监控的图像质量得不到有效保证的问题。目前，就本申请人所知，在视频监控系统中，尚没有将服务器集中进行流量控制与P2P传输方式有机结合的成熟技术。

发明内容

本发明的目的在于提供一种用于视频系统媒体数据传输的控制方法。

为实现上述的发明目的，本发明采用下述的技术方案：

一种用于视频系统媒体数据传输的控制方法，通过监控前端、监控客户端、控制管理服务器和媒体服务器实现，所述监控前端、监控客户端、控制管理服务器和媒体服务器通过网络进行连接，其特征在于：

所述控制管理服务器监控所述监控前端的网络传输情况，在所述监控前端的网络传输能力足够时，所述监控客户端和监控前端之间以对等传输方式传输媒体数据；在所述监控前端的网络传输能力不够或者网络不支持对等传输方式时，使用所述媒体服务器转发部分媒体数据。

其中，在传输媒体数据之前，所述监控前端和监控客户端向所述控制管理服务器进行注册，所述控制管理服务器通过注册信息判断所述监控前端和监控客户端的网络位置。

当所述监控前端和监控客户端都在同一个NAT下时，所述控制管理服务器将所述监控客户端的私网IP地址通知给所述监控前端，所述监控前端直接根据私网IP地址，以对等传输方式向监控客户端发送媒体数据。

当所述监控前端和监控客户端不在同一个NAT下时，如果所述监控客户端为多个，则将其中一个作为中继终端，该监控客户端既接收来自所述监控前端的数据，又向其它的监控客户端转发媒体数据。

在所述监控前端与监控客户端采用对等传输方式传输媒体数据时，如果有新增加客户端请求媒体数据，所述控制管理服务器判断所请求的媒体流数量是否超过监控前端的网络能力，如果超过则所述控制管理服务器通知监控前端将其中一路媒体数据的目的地址由监控客户端转为媒体服务器的地址，然后通知媒体服务器将两份数据转发到该监控客户端和新增加的客户端。

在所述监控前端与监控客户端已通过媒体服务器进行数据转发的情况下，如果有新增加客户端请求媒体数据，所述控制管理服务器判断所请求的媒体流数量是否超过监控前端的网络能力，如果超过则通知所述媒体服务器直接将媒体数据转发到新请求的客户端。

本发明所提供的用于视频系统媒体数据传输的控制方法能够根据网络的流量状况调整媒体数据的传输模式，从而在监控前端的网络传输负荷增加的情况下，最大限度地确保图像传输的质量。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为一个典型的视频监控系统的网络拓扑结构示意图。

图2为监控客户端或监控前端向控制管理服务器进行注册的流程示意图。

图3为监控前端和监控客户端在同一个NAT内的媒体流示意图。

图4为监控前端和监控客户端不在同一个NAT下的媒体流示意图。

图5为监控前端同监控客户端采用P2P方式传输数据时，在新增客户端之前的媒体流示意图，

图6为新增客户端之后的媒体流示意图。

具体实施方式

图1是一个典型的视频监控系统的网络拓扑结构示意图。本发明所提供的媒体数据传输控制方法在该视频监控系统中实施。其中，控制管理服务器、媒体服务器、监控前端A1、监控客户端S5通过一个基于Internet的公网相互连接。两个由若干个监控前端和监控客户端组成的视频监控局域网(私网)也连接到该公网上。在视频监控局域网与公网之间，通过网络地址翻译器Nat进行媒体数据的地址转换。

在本发明中，监控前端的作用在于负责采集用户现场监控点的音视频数据并进行压缩编码，通过网络传输到指定的监控客户端。监控前端通常放置于用户监控现场，用于对现场音视频信号的采集处理。它与视、音频信号采集终端如摄像头等相连接，从而获得模拟视、音频信号。在监控终端中，具有编码器、DVR等功能单元，以实现多路视频编码和语音双向编解码以及本地录像功能，并支持多路报警输入输出。另外，监控前端可以接收控制管理服务器发送的控制信令，并进行命令解析，以实现控制管理服务器对外接设备的控制。

监控客户端(client)的作用在于接收视、音频数据，并且将其显示给用户。实践中，监控客户端可以是由多台电视机组成的电视墙，也可以是一台单独的PC。

控制管理服务器是整个视频监控系统的核心控制设备，主要进行注册、认证、寻址、控制和管理的工作。它可以由一台安装有专用软件的服务器实现。

媒体服务器是主要进行视频和音频数据转发的服务器。

本发明所提供的媒体数据传输控制方法的核心技术思想在于根据监控前端的网络传输能力和监控客户端对网络传输资源的需求灵活配置媒体数据的传输方式：在监控客户端和监控前端之间，媒体数据传输首先选择P2P方式进行直接传输，这样可以最大限度地利用网络的传输能力，同时降低媒体服务器的转发负担；当遇到某些NAT不支持P2P方式传输或者监控前端的网络传输能力不够时，借助媒体服务器转发媒体数据。

作为本数据传输控制方法的第一步，监控前端向控制管理服务器注册自己的能力信息。这里需要注册的信息主要是监控前端设备的网络能力信息，包括设备使用的网络带宽和每路图像需要使用的带宽，以及其他位置信息等。

另外，监控客户端也需要向控制管理服务器进行注册。具体而言，如图2所示，当监控客户端在控制管理服务器通过认证后，要通过TCP协议向控制管理服务器注册本机信息，注册的内容主要包括客户端名称、客户端IP地址、客户端所属私网网段等。控制管理服务器记录这些信息，并将其存入数据库。然后，控制管理服务器通过TCP协议向监控客户端发出无内容的UDP数据包发送指令。监控客户端接到该指令后，开始向监控服务器发送UDP数据包。该UDP数据包主要包括用于在NAT上维护客户端到服务器的UDP Session。控制管理服务器分析相应UDP数据包，将从UDP数据包的包头得到的客户端公网IP地址、网段和客户端UDP数据实际通讯端口等信息存入数据库。

通过注册，监控前端、监控客户端、控制管理服务器以及媒体服务器等就组成了一个相对封闭的子视频监控系统。有关的媒体数据就在该子视频监控系统中传递。此时，参照图1所示，作为本媒体数据传输控制方法的第二步，控制管理服务器根据监控前端和监控客户端所处位置的不同(是否在同一个NAT内)以及是否需要媒体服务器辅助进行媒体数据转发，将监控客户端和监控前端的媒体通信分为以下几种情况，分别进行数据传输方式的控制：

1.当监控前端和和请求该监控前端数据的监控客户端在同一个NAT下；

2.当监控前端和请求该监控前端数据的监控客户端不在同一个NAT下；

3.当多个监控客户端请求同一个监控前端数据，该监控前端的带宽能力不足。

下面分别对这几种情况下的媒体数据传输方式展开详细的说明。

第一种情况，监控前端和监控客户端在同一个NAT内。

当监控客户端需要获得某个监控前端的摄像头所监控的图像数据时，监控客户端向控制管理服务器请求媒体数据，控制管理服务器根据监控前端和监控客户端的注册信息判断是否在同一个NAT下。

具体的判别方法如下：

监控客户端和监控前端完成登录过程后，控制管理服务器得到了每个设备的注册信息，通过注册信息就可以判断客户端是否存在NAT，而且可以判断出哪些客户端存在于同一个NAT下面。表1是根据图1所示的视频监控系统而制作的控制管理服务器端网络信息情况表。需要说明的是，表中的IP地址、UDP端口号、NAT编号等都是为了说明本发明所述方法而假设的数值，并不具有特别的含义。

表1

根据表1中记载的各监控前端和监控客户端的私网IP地址、公网IP地址、UDP端口号、NAT编号等信息，可以准确判断某一监控客户端是公网客户端还是NAT客户端。具体而言，根据公网IP地址和私网IP地址是否一致可以判断该客户端是公网客户端还是NAT客户端；根据NAT客户端的公网IP地址是否相同，可以判断哪些客户端使用同一个NAT。

如图3所示，如果监控客户端S1和S2需要查看监控前端A2的摄像头图像，则控制管理服务器判断S1、S2同A2的位置是否在同一个NAT下。如果监控前端和监控客户端都在同一个NAT下，则控制管理服务器通知A2，S1和S2的私网IP地址，监控前端A2直接用私网IP地址向监控客户端发送媒体数据。

第二种情况，监控前端和监控客户端不在同一个NAT下。

如图4所示，如果监控客户端S1需要查看监控前端A1的摄像头图像，则监控客户端S1向控制管理服务器请求媒体数据，控制管理服务器根据监控前端A1和监控客户端S1的注册信息判断其所在位置。由于它们并不在同一个NAT内，此时，控制管理服务器在进行判断之后，通知监控前端A1向监控客户端S1发送媒体数据。在这种情况下，由于媒体数据需要跨越公网与私网。网络地址翻译器Nat将发挥重要作用。它负责将内网IP地址的计算机向外部网络发出的IP数据包的源IP地址转换为NAT自己的公网的IP地址，目的IP地址不变，并将IP数据包转发给路由器，最终到达外部的计算机。同时负责将外部的计算机返回的IP数据包的目的IP地址转换为内网的IP地址，源IP地址不变，并最终送达到内网中的计算机。

如果在同一个NAT下，有1个以上的监控客户端请求同一个媒体源，即监控客户端S1和S2都需要查看监控前端A1的摄像头图像，而监控前端A1又不在该NAT的情况下，就将其中一个监控客户端S1作为中继终端，该监控终端S1即接收来自监控前端A1的数据，又向另一个监控客户端S2转发媒体数据，转发方式可以是组播也可以是单播。这样可以减少通过监控前端A1或媒体服务器重复转发的数据量，做到媒体数据在网络传输上的最优分配。

第三种情况，多个监控客户端请求的数据总量超过该监控前端的带宽能力。这种情况又具体分为两种子情况。

子情况一：监控前端同监控客户端采用P2P方式传输

假设监控前端的网络能力为1M，每路媒体数据耗用带宽为512k，如果该监控前端已经提供了2路数据，当再有一个客户端请求媒体数据时，首先控制管理服务器根据监控前端的网络能力和监控客户端的请求数量进行判断，如果请求的媒体流数量超过监控前端的网络能力，则控制管理服务器通知监控前端将其中一路媒体数据的目的地址由监控客户端转为媒体服务器的地址，然后通知媒体服务器复制两份数据转发到该监控客户端和新请求的客户端，从而做到媒体数据在网络传输上的最优分配。

对此可以参见图5和图6所示，其中图5为新增客户端之前的网络流量示意图，图6为新增客户端之后的网络流量示意图。如果监控客户端S3需要查看监控前端A1的摄像头图像，控制管理服务器发现A1已经向S1和S2发送了两路512K媒体数据，而A1的网络带宽只有1M，则控制管理服务器通过通知A1停止给S2发送媒体数据而改向给媒体服务器发送媒体数据，并通知媒体服务器接收来自A1的媒体数据，并将该数据复制后转发的监控客户端S2和监控客户端S3。

子情况二：监控前端同监控客户端之间通过媒体服务器进行传输

假设监控前端的网络能力为1M，而每路媒体数据耗用带宽为512k，如果该监控前端已经提供了2路数据，且其中一路数据已经通过媒体服务器转发，当再有一个客户端请求媒体数据时，首先控制管理服务器根据监控前端的网络能力和监控客户端的请求数量进行判断，如果请求的媒体流数量超过监控前端的网络能力，则控制管理服务器通知媒体服务器直接将媒体数据转发到该新请求的客户端，监控前端处的网络流量不再增加，从而做到媒体数据在网络传输上的最优分配。

以上对本发明所述的用于视频系统媒体数据传输的控制方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (10)

1.一种用于视频系统媒体数据传输的控制方法，通过监控前端、监控客户端、控制管理服务器和媒体服务器实现，所述监控前端、监控客户端、控制管理服务器和媒体服务器通过网络进行连接，其特征在于：

所述控制管理服务器监控所述监控前端的网络传输情况，在所述监控前端的网络传输能力足够时，所述监控客户端和监控前端之间以对等传输方式传输媒体数据；在所述监控前端的网络传输能力不够或者网络不支持对等传输方式时，使用所述媒体服务器转发部分媒体数据。

2.如权利要求1所述的媒体数据传输控制方法，其特征在于：

在传输媒体数据之前，所述监控前端和监控客户端向所述控制管理服务器进行注册，所述控制管理服务器通过注册信息判断所述监控前端和监控客户端的网络位置。

3.如权利要求2所述的媒体数据传输控制方法，其特征在于：

所述监控前端注册的信息包括该前端设备使用的网络带宽、每路图像需要使用的带宽，以及该设备所在的位置信息。

4.如权利要求2所述的媒体数据传输控制方法，其特征在于：

所述监控客户端注册的信息包括但不限于客户端名称、客户端私网IP地址和公网IP地址、客户端所属私网网段、客户端UDP通讯端口号。

5.如权利要求4所述的媒体数据传输控制方法，其特征在于：

所述控制管理服务器根据所述监控客户端的公网IP地址和私网IP地址是否一致来判断该客户端是公网客户端还是NAT客户端，如果一致则为公网客户端，如果不一致则为NAT客户端。

6.如权利要求5所述的媒体数据传输控制方法，其特征在于：

当所述监控客户端都为NAT客户端时，所述控制管理服务器根据各NAT客户端的公网IP地址是否相同来判断哪些客户端使用同一个NAT。

7.如权利要求2所述的媒体数据传输控制方法，其特征在于：

当所述监控前端和监控客户端都在同一个NAT下时，所述控制管理服务器将所述监控客户端的私网IP地址通知给所述监控前端，所述监控前端直接根据私网IP地址，以对等传输方式向监控客户端发送媒体数据。

8.如权利要求2所述的媒体数据传输控制方法，其特征在于：

当所述监控前端和监控客户端不在同一个NAT下时，如果所述监控客户端为多个，则将其中一个作为中继终端，该监控客户端既接收来自所述监控前端的数据，又向其它的监控客户端转发媒体数据。

9.如权利要求1所述的媒体数据传输控制方法，其特征在于：

在所述监控前端与监控客户端采用对等传输方式传输媒体数据时，如果有新增加客户端请求媒体数据，所述控制管理服务器判断所请求的媒体流数量是否超过监控前端的网络能力，如果超过则所述控制管理服务器通知监控前端将其中一路媒体数据的目的地址由监控客户端转为媒体服务器的地址，然后通知媒体服务器将两份数据转发到该监控客户端和新增加的客户端。

10.如权利要求1所述的媒体数据传输控制方法，其特征在于：

在所述监控前端与监控客户端已通过媒体服务器进行数据转发的情况下，如果有新增加客户端请求媒体数据，所述控制管理服务器判断所请求的媒体流数量是否超过监控前端的网络能力，如果超过则通知所述媒体服务器直接将媒体数据转发到新请求的客户端。

Images