CN106060076A - 一种基于海康设备的实时流媒体多路转发方法及系统 - Google Patents

Abstract

本发明公开了一种基于海康设备的实时流媒体多路转发方法及系统，本发明的核心为：(1)一个DVR/NVR设备可连接多个视频采集设备，连接采用DVR/NVR支持的协议如rtsp或onvif等；(2)一个服务器端可连接多个DVR/NVR设备，连接采用rtsp、tcp、onvif协议等；(3)一个服务器端可被多个客户端访问，一个客户端可访问多个服务器端，服务器端和客户端采用tcp通信协议；(4)客户端通过服务器和DVR/NVR云控视频采集设备；(5)服务器端和客户端各自采用双线程方法进行异步数据发送与接收，并采用双向环形链表进行数据缓冲以便实现收发实时控制；(6)通过简单抛弃过时历史视频数据以保证网速、视频采集设备视频流、播放速度相匹配问题从而保证实时性能。

Description

一种基于海康设备的实时流媒体多路转发方法及系统

技术领域

本发明涉及实时流媒体视频转发与控制，具体是一种基于海康设备的实时流媒体多路转发方法及系统，属于视频监控与流媒体转发系统应用软件领域。

背景技术

流媒体是指在网络上以流式传输方式传送的视频数据，传输的视频数据采用编码压缩以便减少传输的数据量，目前编码采用以H.264编码标准为主进行压缩，用户通过解码设备解码压缩的数据流即可浏览视频。

实时流式传输是流媒体中的一种，主要是要保证传输的流媒体数据与网络传输性能匹配，使用户体验实时性能为主旨，更强调实时性。实时流式传输需要专用的流媒体服务器端与传输协议，专用的流媒体服务器有QuickTime Streaming Server、Windows MediaServer等，但这些服务器的系统设置、管理和功能都非常复杂；专用的传输协议有RTSP(Realtime Streaming Protocol)或MMS(Microsoft Media Server)等。

流媒体实时传输与预览的实现需要缓存技术，网络传输以包传输为基础进行断续传输，其中TCP协议可保证包的顺序可靠传输，对于连续的流媒体视频数据流，简单采用TCP协议即可保证其顺序性。由于网络是动态变化的，而采集得到的视频流数据是连续的均速获取的，必须保证二者的速度匹配已达到实时预览效果。用户云控视频采集设备时，也需要实时反馈云控后的视频图像即要求云控的实时性能，这些需要在服务器端和客户单采用缓存技术实现。

海康DVR/NVR设备是普遍应用于视频监控领域的硬件设备，能够提升视频处理技术和视频分析技术，同时提供了二次开发SDK接口。但海康二次开发SDK不包含流媒体转发功能。本发明利用海康DVR/NVR及其SDK接口，提出一种实时流媒体多路转发方法及系统，其中服务器端与客户端采用TCP协议通讯，形成一套完整的、轻量级的流媒体转发系统架构。

本发明公开的是一种基于海康设备的实时流媒体多路转发方法及系统，系统由海康DVR/NVR硬件设备、视频采集设备、服务器端和客户端组成，利用海康DVR/NVR二次开发SDK接口及网络可靠的TCP传输协议构建各硬件设备间的连接通讯，主要框架为：(1)一个DVR/NVR设备可连接多个视频采集设备，连接采用DVR/NVR支持的协议如rtsp或onvif等；(2)一个服务器端可连接多个DVR/NVR设备，连接采用rtsp、tcp、onvif协议等；(3)一个服务器端可被多个客户端访问，一个客户端可访问多个服务器端，服务器端和客户端采用tcp通信协议；(4)客户端通过服务器和DVR/NVR云控视频采集设备；(5)服务器端和客户端各自采用双线程方法进行异步数据发送与接收，并采用双向环形链表进行数据缓冲以便实现收发实时控制；(6)通过简单抛弃过时历史视频数据以保证网速、视频采集设备视频流、播放速度相匹配问题从而保证实时性能。

发明内容

本发明的目的是实现一种基于海康设备的实时流媒体多路转发方法及系统，该系统包括客户端和服务器端两个独立的软件。服务器端软件连接海康DVR/NVR设备获取从视频采集设备接入到DVR/NVR设备上的实时视频流，并转发给客户端实时预览；客户端与服务器端通过TCP协议通讯，由服务器端实时云控连接到DVR/NVR上的视频采集设备。

具体来说，本发明的方法包括下列内容：

A.系统由多种不同类型硬件组成，各种硬件间可连接到局域网或者Internet网络，具体如下：

A1.视频采集设备，如网络摄像机、网络球机、枪球一体机、智能交通摄像机等，视频采集设备是连续采集现场影像构成视频流数据；

A2.海康DVR/NVR设备，包括海康各种型号的编解码设备，该设备连接视频采集设备，编码压缩视频流；

所述的编解码设备包括但不限于：DVR，NVR，HDVR，编码器，解码器；

所述的编码压缩视频流包括但不限于H.264编码标准；

A3.服务器端软件，安装运行在服务器计算机上，连接访问DVR/NVR设备，获取DVR/NVR设备上编码压缩后的视频流，并根据客户端需要转发该视频流；

A4.客户端软件，安装运行在客户端计算机上，连接访问服务器端软件，请求实时视频、接收实时视频流并播放实时视频、发出云台控制命令到服务器，控制视频采集设备的旋转与缩放；

B.客户端请求实时视频并预览播放实时视频，具体实现步骤如下：

B1.客户端登录服务器端，通过在客户端软件输入用户名、密码和服务器IP地址，通过TCP协议发送信息给服务器端软件；

B2.服务器端接收到客户端登录信息后，验证用户名和密码，如果正确登录，则通过TCP协议返回该客户端有权限访问的所有硬件设备列表，包括但不限于视频采集设备、海康DVR/NVR设备；

B3.客户端选择要查看的视频采集设备，通过TCP协议向服务器端请求实时视频；

C.客户端云控视频采集设备，具体实现步骤是：

C1.客户端软件正确登录并显示实时视频；

C2.客户端软件通过TCP协议发送云控命令给服务器端软件，云控命令包括但不限于操作视频采集设备分别向8个方向(左、右、上、下，左上、右上、左下、右下)的转动、缩放；

C3.服务器端发布云控命令给海康DVR/NVR设备，通过海康DVR/NVR设备云控视频采集设备；

D.服务器端从DVR/NVR上获取视频视频流并转发给客户端，具体实施步骤如下：

D1.客户端请求实时视频，服务器端软件检查客户端权限；如果客户端无权限则返回不可访问提示；如果客户端有权限，则增加客户端信息到该路视频要转发的客户端列表中；

D2.如果客户端有权限访问实时视频，服务器端软件检查该实时视频流是否正在获取状态(可能有其他客户端正在实时浏览该路实时视频)；如果服务器端没有正在获取该路视频流，则服务器向海康DVR/NVR设备发送获取该路实时视频流请求；

D3.服务器端软件转发实时视频流，遍历该路视频要转发的客户端，把获取的压缩后的视频流转发给客户端；

D4.当客户端停止实时视频播放时，向服务器端发送停止视频请求，服务器端软件会从相应视频通道的客户端列表中删除该客户端；如果相应视频通道客户端列表空，则服务器端软件向海康DVR/NVR设备发送停止视频流的请求；

E.服务器端实现设备管理、用户管理及日志管理；服务器端软件使用数据库管理软件记录这些信息，具体内容如下：

E1.DVR/NVR设备管理，服务器端首先需要对要操作的所有海康DVR/NVR设备做增加、删除、修改，并列出服务器端能够管理的所有海康DVR/NVR设备管理列表；

E2.视频采集设备管理，服务器端需要对所有要操作的视频采集设备做增加、删除、修改，并列出服务器端能够管理的所有视频采集设备列表；

E3.用户管理，服务器端需要对所有用户做增加、删除、修改，并列出所有客户列表；

E4.日志管理，记录客户端的操作内容；日志内容包括但不限于客户端登录/退出、客户端请求/停止视频、客户端云控视频采集设备；

E5.所用数据库管理软件包括但不限于Access、Sql Server；

F.客户端和服务器端实现系统实时性，具体实现步骤如下：

F1.客户端实时性通过缓冲区和双线程实现，具体实现步骤如下：

F1.1客户端软件在运行开始启动主线程同时，启动子线程CT；

F1.2客户端软件采用双向环形链表CA，记录从服务器端转发过来的多路视频流数据包，所有通道的视频流数据包都在存入一个链表CA中，通过通道标志NodeID识别视频流数据包归属哪路通道；

F1.3客户端子线程CT只用于播放实时视频；

F1.4子线程和主线程共用实时视频流数据包链表，两个线程通过线程锁实现数据共享；

F1.5统计链表CA的视频流包数量num；

F1.6子线程播放视频流的速度小于主线程接收视频流速度时，num数值很大，当num大于给定阈值(如1000)时，则正向遍历链表CA，直接丢弃链表CA中正向位于第n包(如n＝100)到链表尾的未播放视频流数据包；

F2.服务器端实时性通过缓冲区和和双线程实现，具体实现步骤如下：

F2.1服务器端软件在运行开始启动主线程同时，启动子线程ST；

F2.2服务器软件采用双向环形链表SA记录从海康DVR/NVR获取的多路视频流数据包，所有通道的视频流数据包都在一个链表SA中，通过通道标志NodeID识别视频流数据包归属哪路通道；

F2.3服务器端子线程ST只用于转发视频流数据包给客户端；

F2.4子线程和主线程共用实时视频流数据包链表，两个线程通过线程锁实现数据共享；

F2.5统计链表SA的视频流包数量num；

F2.6子线程转发实时视频流数据包速度小于从海康DVR/NVR获取视频流的速度时，num值很大，当num大于给定阈值(如1000)时，则逆向遍历链表SA，删除链表SA中倒数第n包(如n＝100)到链表头的所有未转发视频流数据包；

本发明公开一种基于海康设备的实时流媒体多路转发方法及系统，系统由海康DVR/NVR硬件设备、视频采集设备、服务器端软件和客户端软件组成，利用海康DVR/NVR二次开发SDK接口及网络可靠的TCP传输协议构建各设备间的连接通讯；一个服务器端可转发给多个有同样实时视频请求的客户端，可减轻海康DVR/NVR的视频转发压力；服务器端和客户端抛弃与网速/播放速度不匹配的历史视频数据包，可极大地改善用户实时性体验，本系统具有良好的应用前景和市场价值。

附图说明

图1：本发明实施例的系统结构图；

图2：本发明实施例的系统时序图；

图3：本发明实施例的系统流程图。

具体实施方式

下面结合附图，通过阐述一套已经安装运行的系统，作为实施实例对本发明作进一步描述。

本发明实施例系统结构图如图1所示，实施实例由1台服务器，3个客户端计算机、5个球机、1个海康DVR/NVR设备组成；系统时序图如图2所示；系统流程图如图3所示，系统的具体操作过程：1)设备连接：服务器端、客户端、DVR/NVR设备、视频采集设备通过局域网或Internet网连接；2)服务器端设置用户管理、DVR/NVR设备管理、视频采集设备管理；3)客户端登录服务器端，服务器端返回客户端有权限访问的视频采集设备列表；4)客户端选择视频采集设备，发送实时视频请求给服务器端，服务器端转发实时视频流；5)客户端发送云控命令给服务器端，服务器端通过DVR/NVR设备云控视频采集设备。

具体实施步骤如下：

1.设备连接：服务器端、客户端、DVR/NVR设备、视频采集设备通过局域网或Internet网连接，系统包括1台服务器，3个客户端计算机、和5个球机、1个海康DVR/NVR设备，各个部分的设备都有独立的IP地址，并通过局域网连接；具体包括如下：

1.1海康NVR设备，型号DSA-7300，其IP为192.168.69.231，端口8000；

1.2系统球机部分是5个独立的球机，分别连接到海康DVR/NVR设备的不同通道上，其连接的通道分别为1-5通道，其IP地址分别为192.168.69.1、192.168.69.2、192.168.69.3、192.168.69.4、192.168.69.5，端口都用8000端口；

1.3系统的服务器端包括一台计算机系统，操作系统为Windows Server 2008R2，上面运行服务器端软件,其IP地址是192.168.69.230，端口41934和41935分别用于与客户端简短信息通讯和转发视频流，服务器端需要用到的数据库采用Microsoft Access 2007；

1.4.系统的客户端包括若干台普通的台式计算机或者笔记本，上面运行着客户端软件；

2.服务器端设置用户管理、DVR/NVR设备管理、视频采集设备管理，具体内容如下：

2.1添加DVR/NVR设备，并可做删除更改，设备名称NVR1；

2.2添加视频采集设备，并可做删除更改，5个设备名称分别为test1-test5；

2.3添加用户，并可做删除更改，用户名称为admin；

2.4添加用户对视频采集设备的权限管理，并可做删除更改，用户admin对视频采集设备test1–test5分别具有全部权限；

3.客户端登录服务器端，服务器端返回客户端有权限访问的视频采集设备列表，具体步骤如下：

3.1客户端通过输入用户名admin、密码和服务器IP(192.168.69.230)登录到服务器端；

3.2服务器端验证用户登录，返回客户端admin有权限访问的视频采集设备列表test1–test5；

4.客户端选择视频采集设备，发送实时视频请求给服务器端，服务器端转发实时视频流，具体步骤如下：

4.1客户端可选择一个多个采样设备，逐个发送视频请求命令给服务器；

4.2服务器端检查当前请求的视频是否正在获取中，即是否有其他客户端正在实时播放该路视频；

4.3如果服务器端检查当前频道视频为非实时获取状态，则向NVR设备发送该路视频的获取请求；

4.4服务器端调用海康sdk的回调函数会得到NVR设备转发的经过编码压缩的视频流数据包；

4.4服务器端把该包加入到服务器链表SA中；

4.5服务器端子线程ST转发链表SA中的视频数据包给服务器端；

5.客户端发送云控命令给服务器端，服务器端通过NVR设备云控视频采集设备，具体实现如下：

5.1客户端播放某个视频采集设备的实时视频；

5.2客户端发送播放视频视频的云控命令给服务器端；

5.3服务器端接收客户端云控命令，检查用户是否有权限操作，以及多用户控制时的优先级状态确定执行哪个客户端的云控命令；

5.4服务器端向NVR设备发送云控命令，通过NVR设备云控视频采集设备；

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (4)

1.一种基于海康设备的实时流媒体多路转发系统，该系统由多种不同类型硬件组成，各种硬件间可连接到局域网或者Internet网络，具体如下：

A1.视频采集设备，如网络摄像机、网络球机、枪球一体机、智能交通摄像机等，视频采集设备是连续采集现场影像构成视频流数据；

A2.海康DVR/NVR设备，包括海康各种型号的编解码设备，该设备连接视频采集设备，编码压缩视频流；所述的编解码设备包括但不限于：DVR，NVR，HDVR，编码器，解码器；所述的编码压缩视频流包括但不限于H.264编码标准；

A3.服务器端软件，安装运行在服务器计算机上，提供连接访问DVR/NVR设备，获取DVR/NVR设备上编码压缩后的视频流，并根据客户端需要转发该视频流；

A4.客户端软件，安装运行在客户端计算机上，提供连接访问服务器端软件，请求实时视频、接收实时视频流并播放实时视频、发布云台控制命令，控制视频采集设备的旋转与缩放。

2.一种基于海康设备的实时流媒体多路转发方法，其特征在于，采用权利要求1所述的控制系统，具体步骤如下：

B.客户端请求实时视频并预览播放实时视频，具体实现步骤如下：

B1.客户端登录服务器端，通过在客户端软件输入用户名、密码和服务器IP地址，通过TCP协议发送信息给服务器端软件；

B2.服务器端接收到客户端登录信息后，验证用户名和密码，如果正确登录，则通过TCP协议返回该客户端有权限访问的所有硬件设备列表，包括但不限于视频采集设备、海康DVR/NVR设备；

B3.客户端选择视频采集设备，通过TCP协议向服务器端请求实时视频；

C.客户端云控视频采集设备，具体实现步骤是：

C1.客户端软件正确登录并显示实时视频；

C2.客户端软件通过TCP协议发送云控命令给服务器端软件，云控命令包括但不限于操作视频采集设备分别向8个方向的转动、缩放；

C3.服务器端发布云控命令给海康DVR/NVR设备，通过海康DVR/NVR设备云控视频采集设备；

D.服务器端从DVR/NVR上获取视频视频流并转发给客户端，具体实施步骤如下：

D1.客户端请求实时视频，服务器端软件检查客户端权限；如果客户端无权限则返回不可访问提示；如果客户端有权限，则增加客户端信息到该路视频要转发的客户端列表中；

D2.如果客户端有权限访问实时视频，服务器端软件检查该实时视频流是否正在获取状态；如果服务器端没有正在获取该路视频流，则服务器向海康DVR/NVR设备发送获取该路实时视频流请求；

D3.服务器端软件转发实时视频流，遍历该路视频要转发的客户端，把获取的压缩后的视频流转发给客户端；

D4.当客户端停止实时视频播放时，向服务器端发送停止视频请求，服务器端软件会从相应视频通道的客户端列表中删除该客户端；如果相应视频通道客户端列表空，则服务器端软件向海康DVR/NVR设备发送停止视频流请求；

E.服务器端实现设备管理、用户管理及日志管理；服务器端软件使用数据库管理软件记录这些信息，具体内容如下：

E1.DVR/NVR设备管理，服务器端首先需要对要操作的所有海康DVR/NVR设备做增加、删除、修改，并列出服务器端能够管理的所有海康DVR/NVR设备管理列表；

E2.视频采集设备管理，服务器端需要对所有要操作的视频采集设备做增加、删除、修改，并列出服务器端能够管理的所有视频采集设备列表；

E3.用户管理，服务器端需要对所有用户做增加、删除、修改，并列出所有客户列表；

E4.日志管理，记录客户端的操作内容，日志内容包括但不限于客户端登录/退出、客户端请求/停止视频、客户端云控视频采集设备；

E5.所用数据库管理软件包括但不限于Access、Sql Server；：

F.客户端和服务器端实现系统实时性，具体实现步骤如下

F1.客户端实时性通过缓冲区和双线程实现；

F2.服务器端实时性通过缓冲区和和双线程实现。

3.如权利要求2所述的基于海康设备的实时流媒体多路转发方法，其特征在于，F1步骤中，客户端实时性通过缓冲区和双线程实现，具体实现步骤如下：

F1.1客户端软件在运行开始启动主线程同时，启动子线程CT；

F1.2客户端软件采用双向环形链表CA记录从服务器端转发过来的多路视频流数据包，所有通道的视频流数据包都在一个链表CA中，通过通道标志NodeID识别视频流数据包归属哪路通道；

F1.3客户端子线程CT只用于播放实时视频；

F1.4子线程和主线程共用实时视频流数据包链表，两个线程通过线程锁实现数据共享；

F1.5统计链表CA的视频流包数量num；

F1.6子线程播放视频流速度小于主线程接收视频流速度时，num数值很大，当num大于给定阈值，则正向遍历链表CA，直接丢弃链表CA中正向位于第n包到链表尾的未播放视频流数据包。

4.如权利要求2所述的一种基于海康设备的实时流媒体多路转发方法，其特征在于，F2步骤中，服务器端实时性通过缓冲区和和双线程实现，具体实现步骤如下：

F2.1服务器端软件在运行开始启动主线程同时，启动子线程ST；

F2.2服务器软件采用双向环形链表SA记录从海康DVR/NVR获取的多路视频流数据包，所有通道的视频流数据包都在一个链表SA中，通过通道标志NodeID识别视频流数据包归属哪路通道；

F2.3服务器端子线程ST只用于转发视频流数据包给客户端；

F2.4子线程和主线程共用实时视频流数据包链表，两个线程通过线程锁实现数据共享；

F2.5统计链表SA的视频流包数量num；

F2.6子线程转发实时视频流速度小于从海康DVR/NVR获取的视频流速度时，num值很大，当num大于给定阈值，则逆向遍历链表SA，删除链表SA中倒数第n包到链表头的所有未转发视频流数据包。