CN103929623A - 一种视频监控系统中视频数据处理方法 - Google Patents

Abstract

本发明公开了一种视频监控系统中视频数据处理方法，该方法在前端设备注册到信令服务器后，信令服务器通过SIP消息中的MESSAGE消息下发存储计划和存储资源信息到前端设备，前端设备按照存储计划直接将视频数据存储到存储资源对应的存储设备，并通过SIP消息中的NOTIFY消息上报存储索引信息到信令服务器，媒体流接收者向信令服务器检索并请求播放存储的视频文件，媒体服务器读取视频文件并下发到媒体流接收者。本发明的方法简化了视频监控系统中视频数据处理的流程，统一了视频数据直存的流程和方法，便于大规模组网。

Description

一种视频监控系统中视频数据处理方法

技术领域

本发明属于视频监控技术领域，尤其涉及一种视频监控系统中视频数据处理方法。

背景技术

近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控的普及化趋势越来越明显，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合，在城市安防中起到的作用越来越大。

视频监控系统中，网络摄像机等前端设备拍摄的视频图像不仅可以实时显示以便于管理人员实时监控，还需要存储以便于查阅。因此视频监控系统设置有大量的存储设备，如网络存储设备IPSAN(IP Storage AreaNetwork)，以保存前端设备拍摄的视频图像。但在GBT28181标准定义的视频监控系统中，只定义了点播实况流及存储查询功能，并未涉及存储数据的保存，存储过程由各厂商自行从网络摄像机上接收实况流后保存，然后供查询回放。

在GBT28181标准定义的SIP监控域中，定义了SIP信令和媒体流的接口及网络连接，但没有体现出网络存储设备的对外接口。现有技术是在网络存储设备上增加“SIP客户端”实现接收码流，并根据存储策略保存存储数据的功能。如图1所示，存储时带有SIP客户端的网络存储设备必须充当媒体流接收者发起实时点播过程，引流成功后将收到的媒体流报文打包并写入磁盘，生成存储索引，供后续查看。而且，当需要多路存储方案时，需要有两个媒体流接收者同时发起两路收流存储。图2为GBT28181实时点播并引流的流程示意图，图中媒体流接收者带有SIP客户端，由SIP服务器进行呼叫控制，实现实时点播过程；而图3则示出了由带有SIP客户端的媒体流接收者主动发起历史媒体流的回放流程。

可见在目前的方案中，存储视频数据及查询回放流程复杂，并且没有网络存储设备的参与，给用户自行购买存储设备、降低采购成本增加了难度。对于视频数据的存储，目前较通用的方案是由各厂商自行从网络摄像机上接收实况流后保存，然后供查询回放。例如专利号为CN200610150598.8的中国发明专利公开了一种视频数据处理方法、视频采集设备及视频管理设备，该视频数据处理方法通过视频管理设备为前端设备分配存储计划和存储资源，并将存储计划和存储资源发送到前端设备，前端设备按照存储计划采集视频数据，并向存储资源存储视频数据。在现有技术的视频数据直存中，不涉及SIP信令，由各厂家自行定义设备的接口，不利于不同厂商设备的互联互通。

发明内容

本发明的目的是针对GBT28181中未涉及视频数据的直存问题，提出一种视频监控系统中视频数据处理方法，通过SIP服务器发送指令给前端设备，告诉它存储设备在哪里及对应的存储计划，由前端设备直接将视频数据写入存储设备，简化了存储过程，充分利用前端设备的处理能力，主动执行存储计划。

为了实现上述发明目的，本发明技术方案如下：

一种视频监控系统中视频数据处理方法，所述视频监控系统包括信令服务器、媒体服务器和前端设备，所述视频监控系统还设置有存储设备，所述视频数据处理方法包括步骤：

前端设备注册到信令服务器；

信令服务器通过SIP消息中的MESSAGE消息下发存储资源配置消息和存储计划配置消息到前端设备，所述存储资源配置消息包括存储基本配置和存储设备资源配置，所述存储基本配置包括存储模式、存储类型、存储设备类型、存储策略；而存储设备资源配置包括存储设备地址和端口、Target名称、Initiator名称、存储空间；所述存储计划配置消息则包括了存储计划名称，计划类型，以及存储计划时间段；

前端设备根据存储计划将视频数据直接存储到存储资源信息对应的存储设备，在存储设备上生成对应的视频文件；

前端设备通过SIP消息中的NOTIFY消息定期上报存储索引信息到信令服务器，该NOTIFY消息包括前端设备的编码和IP地址、信令服务器的编码和IP地址、存储文件信息，其中存储文件信息包括视频文件名称、开始时间、结束时间。

其中，所述视频文件是PS格式的视频文件，便于根据文件名查询视频文件。

进一步地，所述视频数据处理方法还包括如下步骤：

媒体流接收者向信令服务器查询存储的视频文件信息；

信令服务器根据存储索引信息检索到视频文件信息后返回给媒体流接收者。

进一步地，所述视频数据处理方法还包括如下步骤：

媒体流接收者通过SIP消息中的Invite消息向信令服务器发送播放视频文件请求，信令服务器向媒体服务器发送Invite消息，建立媒体流接收者、信令服务器、媒体服务器的媒体连接；

媒体服务器从存储设备读取要播放的视频文件；

媒体服务器将要播放的视频文件发送到媒体流接收者。

其中，媒体流接收者通过SIP消息中的Invite消息向信令服务器发送播放视频文件请求，该Invite消息包括媒体服务器的设备编码，发送端媒体流序列号，媒体流接收者设备编码，接收端媒体流序列号，播放时间区间。

其中，所述前端设备在收到下发的存储资源配置消息后，还包括步骤：所述前端设备建立iSCSI Initiator角色，连接上Target存储设备。

其中，所述前端设备、媒体服务器通过iSCSI协议访问存储设备。

本发明提出的一种视频监控系统中视频数据处理方法，通过信令服务器发送指令给前端设备，将存储计划和存储资源信息下发到前端设备，由前端设备直接通过iSCSI协议将视频数据写入IPSAN，简化了存储过程，充分利用前端设备的处理能力，主动执行存储计划，使视频数据的处理流程得到简化。通过由信令服务器来下达存储计划及存储资源信息到前端设备，完善了GBT28181的视频数据处理流程，从而统一了各厂商媒体服务器、前端设备、存储设备之间的视频数据处理过程，有助于大规模视频监控网络的组网。

附图说明

图1为GBT28181定义的SIP监控域示意图；

图2为基于GBT28181的第三方呼叫控制的实时点播流程示意图；

图3为基于GBT28181的录像播放者主动发起的点播流程示意图；

图4为本发明视频数据处理方法中直存过程；

图5为本发明视频数据处理方法中查询过程；

图6为本发明视频数据处理方法中回放过程。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本发明视频监控系统中视频数据处理方法包括了视频数据的直存过程以及查询和回放过程，以下通过实施例分别进行说明。

图4示出了视频数据直存的过程，在具有信令服务器、媒体服务器、前端设备和存储设备的视频监控系统中通过SIP信令实现前端设备视频数据直接存入存储设备，作为媒体流发送者的前端设备直接将视频数据存入存储设备，并上报索引信息到信令服务器。具体地，前端设备包括摄像机或编码器，以SIP服务器作为信令服务器，SIP(Session Initiation Protocol)是一个应用层的信令控制协议，用于创建、修改和释放一个或多个参与者的会话，视频监控系统常用SIP协议来建立各设备间的会话，下文中信令服务器均为SIP服务器。本实施例通过SIP信令来配置前端设备的存储计划，实现视频数据的存储，完善了GBT28181标准未涉及的视频数据直存过程。

如图4所示，本实施例视频数据直存过程如下：

S1、前端设备作为SIP UA向信令服务器发送REGISTER请求，请求中未包含Authorization字段；

S2、信令服务器向前端设备发送一个挑战响应401，并在相应的消息头WWW_Authenticate字段中给出适合SIP代理的认证体制和参数；

S3、前端设备收到401响应后，重新向信令服务器发送REGISTER请求，在请求的Authorization字段给出信任书，包含认证信息；

S4、信令服务器对请求进行验证，如果检查出SIP代理身份合法，向SIP代理发送成功响应200OK，如果身份不合法则发送拒绝服务应答。

步骤S1～S4对应于GBT28181中基于数字证书的双向认证注册流程，前端设备通过上述步骤注册到信令服务器，这里不再赘述。

当前端设备发现工作异常时，应立即向信令服务器发送状态信息，无异常时，应定时向信令服务器发送状态信息。对应于GBT28181，状态信息报送包括图4中的步骤S5-S6:

S5、前端设备发送状态信息报送命令MESSAGE；

S6、信令服务器收到命令后返回200OK。

在前端设备完成注册后，信令服务器下发存储计划及存储资源信息到前端设备。GBT28181没有规定涉及存储设备的相应流程，本实施例图4中步骤S7为信令服务器下发存储计划及存储资源信息到前端设备：

S7、信令服务器下发存储计划及存储资源信息到前端设备。

信令服务器下发的消息包括存储资源配置消息和存储计划配置消息，分别描述如下：

本实施例的存储资源配置消息如下，其中存储设备以IPSAN为例：

前端设备收到存储资源配置消息后建立iSCSI Initiator角色，连接上Target存储设备。

本实施例的存储计划配置消息如下：

可见在SIP服务器下发的消息中，存储资源配置消息包括存储基本配置和存储设备资源配置，存储基本配置包括存储模式、存储类型、存储设备类型、存储策略等内容；而存储设备资源配置包括存储设备地址和端口、Target名称、Initiator名称、存储空间等内容。无论是存储基本配置指令还是存储设备资源配置指令还都包括前端设备的编码和IP地址，以及发出该指令的SIP服务器的编码和IP地址。而存储计划配置消息则包括了前端设备的编码和IP地址，及发出该指令的SIP服务器的编码和IP地址，存储计划名称，计划类型，以及存储计划时间段等信息，具体的存储计划时间段包括时间段序号、开始时间和结束时间等。

存储资源配置消息和存储计划配置消息都采用SIP消息中的MESSAGE消息发送。

通过由信令服务器来下达存储计划及存储资源信息到前端设备，完善了GBT28181的视频数据处理流程，从而统一了各厂商媒体服务器、前端设备、存储设备之间的视频数据处理过程，有助于大规模视频监控网络的组网。

在下达存储计划和存储资源信息后，前端设备就可以根据存储计划将视频数据直接存储到存储资源信息对应的存储设备，如图4中步骤M1：

M1、前端设备直接存储视频数据到存储设备。

前端设备根据存储计划通过iSCSI协议直接存储视频数据到网络存储设备IPSAN，在存储资源对应的IPSAN上生成对应的PS格式的视频文件。

文件名格式为：摄像机编码_时间(YYYYMMDD_HHmmSS).ps文件(文档格式详细参见ISO/IEC13818-1:2000)；时间为最后写入时间，这样方便根据文件名查询视频文件。

本实施例视频数据直存过程还包括如下步骤：

S8、前端设备定期上报存储索引信息到信令服务器。

前端设备按期上报存储索引信息，以备信令服务器扫描查询存储的视频文件。

本实施例存储索引信息上报消息格式为：

存储索引信息包括前端设备的编码和IP地址、信令服务器的编码和IP地址、存储文件信息，其中存储文件信息包括视频文件名称、开始时间、结束时间。存储索引信息采用SIP消息中的事件通知消息(NOTIFY)消息发送。

图5示出了视频文件的查询过程，媒体流接收者想要进行媒体回放，需要先向信令服务器查询是否存在想要回放的视频文件，而信令服务器由于接收了前端设备上报的存储索引信息，可以提供查询。查询过程包括如下步骤：

S10、媒体流接收者向信令服务器查询存储的视频文件信息。

S11、信令服务器返回成功响应200OK。

S12、信令服务器返回存储的视频文件信息。

S13、媒体流接收者返回成功响应200OK。

从而完成存储的视频文件信息的查询，该过程与现有GBT28181中查询流程一致，这里不再赘述。

在进行视频文件信息查询后，还包括视频文件回放过程，如图6所示，包括步骤：

S14、媒体流接收者向信令服务器发送Invite消息，向信令服务器发送播放视频文件请求，消息头域中携带Subject字段，表明点播的视频源ID、分辨率、媒体流接收者ID、接收端媒体流序列号标识等参数。SDP消息体中s字段为“Playback”代表历史回放，u字段代表回放通道ID和回放类型，t字段代表回放时间段。

S15、信令服务器收到Invite请求后，向媒体服务器发送Invite消息，此消息不携带SDP消息体。

S16、媒体服务器收到信令服务器的Invite请求后，回复200OK响应，携带SDP消息体，消息体中描述了媒体服务器接收媒体流的IP、端口、媒体格式等内容。

S17、信令服务器将SDP消息转发给媒体流接收者。

S18、媒体流接收者收到200OK响应后，回复ACK消息，完成与信令服务器的Invite会话建立过程。

S19、信令服务器发送ACK消息，将S18的消息转发给媒体服务器，完成与媒体服务器的Invite会话建立过程。

M2、媒体服务器从存储设备中读取视频文件准备发送。

会话建立后，媒体服务器就可以通过iSCSI协议访问存储设备，从存储设备中读取视频文件准备发送。

S20、在回放过程中，媒体流接收者通过向信令服务器发送会话内Info消息进行回放控制，包括视频的暂停、播放、快放、慢放、随机拖放播放等操作。

S21、信令服务器将Info消息转发给媒体服务器。

S22、媒体服务器收到Info消息后回复200OK响应。

M3：媒体流服务器向媒体接收者发送RTP媒体流。

S23、信令服务器将200OK消息转发给媒体流接收者。

S24、媒体服务器在文件回放结束后发送会话内Message消息，通知信令服务器回放已结束。

S25、信令服务器转发Message消息给媒体流接收者。

S26、媒体流接收者收到Message消息后回复200OK响应，进行链路断开过程。

S27、信令服务器将200OK消息转发给媒体服务器。

S28、媒体流接收者向信令服务器发送BYE消息，断开与信令服务器的Invite会话。

S29、信令服务器收到BYE消息后回复200OK响应，会话断开。

S30、信令服务器收到BYE消息后向媒体服务器发送BYE消息，断开同媒体服务器的Invite会话。

S31、媒体服务器收到BYE消息后回复200OK响应，会话断开。

由于存储设备IPSAN中文件为标准PS文件，媒体服务器可以方便的读取。本实施例媒体流接收者通过SIP消息中的Invite消息向信令服务器发送播放视频文件请求，媒体流接收者发送的Invite消息如下：

To:sip:媒体流发送者设备编码目的域名

Content-Length:消息实体的字节长度

Contact:sip:媒体流接收者设备编码源IP地址端口

CSeq:1INVITE

Call-ID:wlss-f7c53b46-eea27828118c3b50449185980f4bfdf0172.20.16.4

Via:SIP/2.0/UDP源域名或IP地址

From:<sip:媒体流接收者设备编码源域名>；tag＝e3719a0b

Subject:媒体流发送者设备编码:发送端媒体流序列号,媒体流接收者设备编码:接收端媒体流序列号

Content-Type:APPLICATION/SDP

Max-Forwards:70

v＝0

o＝6401060000202000000100IN IP4172.20.16.3

s＝Playback

u＝64010000041310000345:3

c＝IN IP4172.20.16.3

t＝12886250851288625871  //注，这里指明了播放时间区间，绝对时间值；

m＝video6000RTP/AVP969897

a＝recvonly

a＝rtpmap:96H264/90000

a＝rtpmap:98H264/90000

a＝rtpmap:97MPEG4/90000

其中，媒体流发送者就是媒体服务器，该Invite消息包括作为媒体流发送者媒体服务器的设备编码，发送端媒体流序列号，媒体流接收者设备编码，接收端媒体流序列号，播放时间区间等信息。

本实施例在整个视频数据存储及视频文件回放过程中增加了IPSAN设备，在视频数据直存过程中不涉及媒体服务器，前端设备及媒体服务器通过iSCSI协议访问存储设备IPSAN，简化工作过程，存储完成后，点播流程使用原有GBT28181规定的流程及接口。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种视频监控系统中视频数据处理方法，所述视频监控系统包括信令服务器、媒体服务器和前端设备，其特征在于，所述视频监控系统还设置有存储设备，所述视频数据处理方法包括步骤：

前端设备注册到信令服务器；

信令服务器通过SIP消息中的MESSAGE消息下发存储资源配置消息和存储计划配置消息到前端设备，所述存储资源配置消息包括存储基本配置和存储设备资源配置，所述存储基本配置包括存储模式、存储类型、存储设备类型、存储策略；而存储设备资源配置包括存储设备地址和端口、Target名称、Initiator名称、存储空间；所述存储计划配置消息则包括了存储计划名称，计划类型，以及存储计划时间段；

前端设备根据存储计划将视频数据直接存储到存储资源信息对应的存储设备，在存储设备上生成对应的视频文件；

前端设备通过SIP消息中的NOTIFY消息定期上报存储索引信息到信令服务器，该NOTIFY消息包括前端设备的编码和IP地址、信令服务器的编码和IP地址、存储文件信息，其中存储文件信息包括视频文件名称、开始时间、结束时间。

2.根据权利要求1所述的视频数据处理方法，其特征在于，所述视频文件是PS格式的视频文件。

3.根据权利要求1所述的视频数据处理方法，其特征在于，所述视频数据处理方法还包括如下步骤：

媒体流接收者向信令服务器查询存储的视频文件信息；

信令服务器根据存储索引信息检索到视频文件信息后返回给媒体流接收者。

4.根据权利要求3所述的视频数据处理方法，其特征在于，所述视频数据处理方法还包括如下步骤：

媒体流接收者通过SIP消息中的Invite消息向信令服务器发送播放视频文件请求，信令服务器向媒体服务器发送Invite消息，建立媒体流接收者、信令服务器、媒体服务器的媒体连接；

媒体服务器从存储设备读取要播放的视频文件；

媒体服务器将要播放的视频文件发送到媒体流接收者。

5.根据权利要求4所述的视频数据处理方法，其特征在于，媒体流接收者通过SIP消息中的Invite消息向信令服务器发送播放视频文件请求，该Invite消息包括媒体服务器的设备编码，发送端媒体流序列号，媒体流接收者设备编码，接收端媒体流序列号，播放时间区间。

6.根据权利要求1所述的视频数据处理方法，其特征在于，所述前端设备在收到下发的存储资源配置消息后，还包括步骤：

所述前端设备建立iSCSI Initiator角色，连接上Target存储设备。

7.根据权利要求1-6任一权利要求所述的视频数据处理方法，其特征在于，所述前端设备、媒体服务器通过iSCSI协议访问存储设备。