CN101710975A - 一种视频监控系统及视频监控方法 - Google Patents

Abstract

本发明公开一种视频监控系统，包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端，所述前端监控设备包括视频流生成模块，设置有多种编码形式，其根据系统服务器的指令，选择相应编码形式进行编码，并封装成视频流进行发布。在此基础上，本发明还公开一种视频监控方法，包括：预先在前端监控设备中设置多种编码形式；根据系统服务器指令，前端监控设备选择相应的编码形式；前端监控设备按照所选择编码形式进行编码，并封装成视频流进行发布。由于前端监控设备支持多码流，可解决网络环境及不同设备间的互操作性问题，实现有效、可用的融合视频监控系统。

Description

一种视频监控系统及视频监控方法

技术领域

本发明涉及网络视频监控技术，具体来说是一种视频监控系统及视频监控方法。

背景技术

视频监控传统上属于安防(保卫)系统的一部分，其作为安防系统的一项专门业务，一直以来和IT行业的其他应用保持着一定的距离。传统视频监控以独立的小规模应用为主，其视频通信采用以同轴电缆为主的模拟通信方式。

目前，随着计算机技术的发展和网络的普及，视频监控已经发展到了网络视频监控系统，不再局限于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于IP网络的多媒体信息(视频/音频/数据)提供一个综合、完备的管理控制平台。其中，根据应用网络环境的不同，可分为专网视频监控系统和Internet视频监控系统，包括宽带互联网、宽带移动无线网(如CDMA、3G)、卫星通信网等视频监控系统。

Interne视频监控的特点是网络环境复杂、带宽资源有限，从前端不同种类的摄像头(如DVS/DVR、IP camera等)到后端各种不同的监控设备(如PC、手机、PDA及其它类型的媒体播放终端等)，中间可能穿过不同种类、介质的网络，包括有线网、无线网等等。因此，如何有效地执行信令控制、视频流传输，保证后端监控设备能及时、准确地进行视频监控，是一个必须面对的问题。这要求在实现Internet视频监控过程中，需要针对网络环境合理规划整个业务流程并定义相关接口及协议，只有这样才能形成一个可用的Internet视频监控系统。

目前，Internet方面各种应用协议五花八门，其中有不少是与视频相关的，但这不足以构建一个有效、可用的Internet视频监控系统。一个有效、可用的Internet视频监控的概念可以归结为“5W”，即任何一个授权者(whoever)在任何时候(whenever)、任何地点(wherever)，能通过任何一种手段方式(however)，获取任何一个被控对象(人或物)(whichever)的任何信息(whatever)。因此，实现一个有效、可用的Internet视频监控，需要全面解决包括监控系统服务端和前端监控设备及后端设备之间的交互、其间控制信令及视频流的传输、所需的标准及协议等问题。

现有技术中，网络视频监控系统多采用TCP/IP协议为基本通信协议，即针对具体应用特点，定义相关的应用协议，如常见的HTTP、FTP、SMTP/POP3等，同时对于所需协议选择合适的控制信令和视频流的方式，最终实现网络视频监控系统。问题在于，现有技术不能很好地解决不同网络环境与设备的互操作性问题，因而不能满足融合视频监控系统的建设需要。

例如，以手机终端作为客户端接入访问固网视频监控平台，共享固网监控资源的应用模式中，前端监控设备输出的码流主要服务于固网宽带网络和PC端客户，因只支持单码流，所支持的设备非常有限。也就是说，视频流的码流格式、帧速等不能直接在移动网络传输，也不能在手机终端解码播放。

又如，前端监控设备作为流媒体服务器使用，如常见HTTP流媒体服务器、RTSP流媒体服务器等，监控系统需要作为一个客户端去前端监控设备视频流。这可能存在以下问题：(1)网络不可达，如有防火墙阻塞时，就无法使用；(2)网络不稳定时难以使用，例如AD或移动网络，一旦断开重连后其IP会发生变化，需要通过一个交互过程来获得新的IP，如DynDNS就需要一个较长的时间才能恢复到可用状态。

再如，前端监控设备自动注册的方法，通常采用DynDNS来实现。如果前端监控设备掉线或因其它故障失效时，监控系统无法及时获知；只有等到前端监控设备再次注册或长时间的连接失败后，才能确认前端监控设备的有效性。此外，DynDNS的另一缺点是没有可供管理的接口。

发明内容

有鉴于此，本发明旨在提供一种视频监控系统及视频监控方法，以解决网络环境及不同设备之间的互操作性问题，实现有效、可用的融合视频监控系统。

为解决以上技术问题，本发明提供的视频监控系统，包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端，所述前端监控设备包括视频流生成模块，设置有多种编码形式，其根据系统服务器的指令，选择相应编码形式进行编码，并封装成视频流进行发布。

所述视频流生成模块以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视频流。

所述前端监控设备包括注册请求模块，上电后向系统服务器发起注册请求。

所述注册请求模块采用HTTP/XML方式自动注册。

还包括转码服务器，根据系统服务器指令，向前端监控设备发出视频流请求，对获取的视频流转码，再由流媒体服务器转发至客户端。

本发明提供的视频监控方法，适用于包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端组成的监控系统，其特征在于，包括：

预先在前端监控设备中设置多种编码形式；

根据系统服务器指令，前端监控设备选择相应的编码形式；

前端监控设备按照所选择编码形式进行编码，并封装成视频流进行发布。

以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视频流。

前端监控设备上电后向系统服务器发起注册请求。

采用HTTP/XML方式自动注册。

预先设置转码服务器，使其根据系统服务器通知，向前端监控设备发出视频流请求，对获取的视频流转码，再由流媒体服务器转发至客户端

与现有技术相比，本发明充分考虑网络环境及不同设备之间的互操作性问题，可实现一个有效、可用的5W(whoever、whenever、wherever、however、whatever)的Internet视频监控系统，其有益效果包括但不限于以下方面：

1、支持多码流，可满足不同网络、不同后端设备的需要，以及不同的个性化监控需求；

2、前端监控设备按需发布视频流，必要时进行HTTP封装，有效地解决Internet网络环境下容易遇到的防火墙、NAT代理等问题，保证在目前的AD宽带、3G无线网等类似网络中可用。

3、实时转码，兼容传统监控设备，保护用户投资；

4、基于HTTP/XML的自动注册的方法，解决了设备有效性的问题，全部自动完成，有利于监控系统对设备的管理。

附图说明

图1是本发明视频监控系统的网络拓扑图；

图2是本发明视频监控系统的方框图；

图3是本发明视频监控方法的流程图；

图4是图3中视频流转码的流程图；

图5是本发明在视频流转码时的信令图。

具体实施方式

本发明的基本构思是，以多种编码形式编码，并封装成视频流进行发布；通过支持多码流，实现不同网络环境间设备的交互，以兼容传统监控设备，最终实现融合视频监控。

本发明视频监控系统适用于Internet网络环境(包括宽带互联网、CDMA、3G宽带移动无线网、卫星通信网等)，均采用TCP/IP协议为基本通信协议。在实际项目中，还应根据具体应用特点定义相关的应用协议(如常见的HTTP、FTP、SMTP/POP3等)，其中，所需协议至少包括控制信令和视频流发布两个方面。本发明中，具体采取以下办法：

1、控制信令

采用HTTP/HTTPS协议，所有数据都封装成XML格式，作为参数commandlist的值附在URL后发送出去；其中登录认证、配置管理采用HTTPS协议以保证数据通讯安全。

2、视频流发布

视频编码可采用Motion Jpeg和H264/AVC两种编码形式，并封装成视频流。根据需要可封装成HTTP数据包，以穿过防火墙。实际运行中，具体采用何种编码，系统服务器根据客户端类型决定编码格式，并通知前端监控设备，由前端监控设备向监控系统服务端发布相应编码方式的视频流。

下面结合附图和实施例对本发明进一步描述。

同时参见图1、图2，本发明监控系统由通过通信链路连接的若干前端监控设备500、转码服务器100、系统服务器200、流媒体服务器400及若干客户端300构成，其中：

前端监控设备500包括IP Cameral(网络摄像机)、球机、DVR(数字视频录像机)、DVS(网络视频服务器)，ishow(视频互动娱乐平台)等。其中，前端监控设备500包括视频流生成模块501，多种编码形式，其根据系统服务器200的指令，选择相应编码形式进行编码，并封装成视频流进行发布。具体地以Motion Jpeg和H264/AVC两种编码形式编码，并发布两路视频流。另外，前端监控设备500还包括注册请求模块502，在前端监控设备500上后电后，即采用HTTP/XML方式向系统服务器200发起注册请求以登记注册。以下为注册请求的XML实例：

(1)注册请求

<？xml version＝″1.0″encoding＝″UTF-8″？>

<ha:registerReq deviceIdName＝″eshore″password＝″123456″

paras＝″Something″xmlns:ha＝″http://www.eshore.cn/″/>

(2)注册响应

注册响应使用基本格式，param的值为″Register″，表示这是针对注册请求的响应，value指示请求结果，“1”表示成功“0”表示失败，description指示错误原因。例如：

<？xml version＝″1.0″encoding＝″UTF-8″？>

<responseMsg param＝″Register″xmlns＝″http://www.eshore.cn″>

<value>0</value>

<description>Unknown error！</description>

</responseMsg>

系统服务器200，主要作为Web服务器或DynDNS，在收到客户端300视频流监控请求后，根据前端监控设备500的在线情况，指令在线前端监控设备500发布视频流。特别地，系统服务器200在收到客户端300的监控请求后，将根据客户端300情况，指定前端监控设备500发布相应视频流。

流媒体服务器400，将前端监控设备500的视频流转发至客户端300。具体是，视频流由前端监控设备500到流媒体服务器400，再由流媒体服务器400转发到客户端播放。其中，流媒体服务器400可以单独设置，也可视情况由系统服务器200本身担当。

客户端300包括PC、手机、PDA等各类终端，可向系统服务器200发出实时视频流监控请求，在获取视频流后可进行实时播放。

转码服务器100，在客户端300与网络环境、前端监控设备500不相适用时，根据系统服务器200通知，向前端监控设备500发出视频流请求，对获取的视频流转码，由流媒体服务器400转发至客户端300。

本发明设置了转码服务器100，因此视频监控系包括两种工作模式，即图2中实线所示的转码模式和虚线所示的常规模式，其中：

在转码模式下的工作过程为，客户端300选择前端监控设备500，并向系统服务器200发出视频流请求；系统服务器200判断是否需要对视频流转码，若是，通知转码服务器100启动转码任务，同时提交相应的前端监控设备500参数；转码服务器100向前端监控设备500发出视频流请求，对获取的视频流转码后，发送至流媒体服务器400；由流媒体服务器400将视频流转发至客户端300。

在常规模式下的工作过程为，系统服务器200在收到客户端300视频流监控请求后，根据前端监控设备500的在线情况，指令在线前端监控设备500发布视频流。该视频流由前端监控设备500到流媒体服务器400，再由流媒体服务器400转发到客户端300播放。

以下为视频流发布实例：

<？xml version＝″1.0″？>

<ipcam>

    <operation>

        <method>PlayStart</method>

        <codec>H264</codec>

        <params>

            <Width>320</Width>

            <Height>240</Height>

            <fps>15</fps>

            <bitrate>300000</bitrate>

         </params>

    </operation>

</ipcam>

客户端退出后，系统服务器再通知前端监控设备停止发布。

在上述视频监控系统基础上，下面对本发明视频监控方法详细进行说明。

参见图3，本发明视频监控方法包括但不限于以下步骤：

S301、预先在前端监控设备中设置多种编码形式；

S302、根据系统服务器指令，前端监控设备选择相应的编码形式；

S303、前端服务器按照所选择编码形式进行编码，并封装成视频流进行发布；

S304、视客户端情况，转码服务器对视频流进行转码。

由于前端监控设备以多种编码形式编码并封装成视频流进行发布，系统服务器收到客户端监控请求后，可根据客户端情况指定前端监控设备发布相应视频流；同时，还预先设置转码服务器，根据需要对视频流进行转码；由此，可解决不同网络环境和设备之间的互操作性问题。为便于深入理解，以下对转码模式下的工作过程进一步说明。

参见图4，视频流转码的工作过程具体为：

S401、客户端选择前端监控设备，并向系统服务器发出视频流请求。

客户端从获取的监控系统资源列表中选择前端监控设备，具体通过客户端向系统服务器发出监控资源下载请求以获取监控资源列表。其中，需要系统服务器对客户端进行登录认证；若通过，允许客户下载监控资源列表；否则，拒绝客户下载监控资源列表。

S402、系统服务器判断是否需要对视频流转码，

若是，进入步骤S403；

若否，进入步骤S408。

在客户端与网络环境、前端监控设备不相适用时，将视频流转码，再由流媒体服务器转发至客户端；否则，视频流无需转码，按常规方法处理即可。

S403、系统服务器通知转码服务器启动转码任务，同时提交相应的前端监控设备参数。

在系统服务器发现需要转码时，就通知转码服务器启动转码任务，并将相关信息，包括前端监控设备IP等提交给服务器。

S404、转码服务器向前端监控设备发出视频流请求。

S405、转码服务器对获取的视频流转码。

转码方式具体是，对视频流解码；分析视频流的参数是否符合客户端的要求，若是，根据设置的帧率、带宽要求重新编码；若否，调用存储的转码方式，对视频流转码。

S406、转码服务器向流媒体服务器发布视频流。

S407、流媒体服务器将视频流转发至客户端。

根据步骤S404-S407，转码服务器依照前述信息到前端监控设备请求视频流；在成功获取后则可按要求重新编码，并将编码后的视频流发送给流媒体服务器，再由流媒体服务器发送给客户端。

S408、按现有办法处理视频流。

在常规模式下无需转码，按照现有办法处理视频流即可。具体而言，系统服务器在收到客户端视频流监控请求后，根据前端监控设备的在线情况，指令在线前端监控设备发布视频流。该视频流由前端监控设备到流媒体服务器，再由流媒体服务器转发到客户端播放。

参见图5，本发明视频监控方法包括设备注册、用户登录、监控资源下载、监控请求、停止退出等步骤，具体包括以下信令：(1)系统服务器配置任务；(2)系统服务器发出登录消(包括用户名、密码、登录用户时间有效期等)；(3)转码服务器返回登录响应消息，获得LoginSession；(4)系统服务器发出下载任务消息(包括发布点的ID、发布名，CameralURL、视频参数等)；(5)转码服务器删除之前的任务，启用新任务；(6)转码服务器返回下载任务响应消息；(7)客户端(如PC/手机终端)发出获取视频监控资源列表消息，即获取图像节点列表；(8)客户端选择相应前端监控设备后，请求视频流；(9)系统器请求视频流发布；(10)转码服务器返回视频流发布响应消息；(11)若返回状态为无此任务(或认证失败)，则系统服务器重新(登录)下载任务；(12)转码服务器判断视频流是否已发布；(13)获取视频流(http或rtsp)；(14)转码服务器转码，具体包括解码、裁减及编码过程；(15)转码服务器发布视频流；(16)流媒体服务器将视频流转发至客户端；(17)客户端播放视频流；(18)客户端发出停止视频流请求；(19)系统服务器发出停止视频流发布消息；(20)转码服务器判断是否可以停止发布视频流；(21)转码服务器发出停止获取视频流消息；(22)转码服务器发出停止发布视频流；(23)系统服务器发出登出消息；(24)转码服务器返回登出响应消息。

上述过程中，用户通过登录认证后，将自动获取监控资源列表，选择其中一个监控资源后，系统服务器(Web服务器)发现需要转码，就通知转码服务器启动转码任务，并将相关信息，包括前端监控设备IP等提交给转码服务器；转码服务器根据这些信息到前端监控设备请求视频流，成功获取后解码，并按要求重新编码，将重新编码后的视频流发送给流媒体服务器；再由流媒体服务器发送给用户；用户不再监控时就发送停止视频流请求至系统服务器，由系统服务器发送停止发布视频流请求到转码服务器上，并最终完成停止动作。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频监控系统，包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端，其特征在于，所述前端监控设备包括视频流生成模块，设置有多种编码形式，其根据系统服务器的指令，选择相应编码形式进行编码，并封装成视频流进行发布。

2.如权利要求1所述的视频监控系统，其特征在于，所述视频流生成模块以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视频流。

3.如权利要求1所述的视频监控系统，其特征在于，所述前端监控设备包括注册请求模块，上电后向系统服务器发起注册请求。

4.如权利要求1所述的视频监控系统，其特征在于，所述注册请求模块采用HTTP/XML方式自动注册。

5.如权利要求1-4任一项所述的视频监控系统，其特征在于，还包括转码服务器，根据系统服务器指令，向前端监控设备发出视频流请求，对获取的视频流转码，再由流媒体服务器转发至客户端。

6.一种视频监控方法，适用于包括通过通信链路连接的若干前端监控设备、系统服务器、流媒体服务器和若干客户端组成的监控系统，其特征在于，包括：

预先在前端监控设备中设置多种编码形式；

根据系统服务器指令，前端监控设备选择相应的编码形式；

前端监控设备按照所选择编码形式进行编码，并封装成视频流进行发布。

7.如权利要求6所述的视频监控方法，其特征在于，以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视频流。

8.如权利要求6的视频监控方法，其特征在于，前端监控设备上电后向系统服务器发起注册请求。

9.如权利要求8的视频监控方法，其特征在于，采用HTTP/XML方式自动注册。

10.如权利要求6-9任一项所述的视频监控方法，其特征在于，预先设置转码服务器，使其根据系统服务器通知，向前端监控设备发出视频流请求，对获取的视频流转码，再由流媒体服务器转发至客户端。

Images