CN114640655A - 一种基于hls视频播放的安全视频调阅系统和方法 - Google Patents

Abstract

本发明提出了一种基于HLS视频播放的安全视频调阅系统及方法，其特征在于在进行HLS视频直播或点播调阅时，支持PC端无插件播放、支持手机及平板等移动终端播放；通过在安全视频调阅系统和移动终端两侧进行视频流的编解码，构建安全可信的流媒体通道；在直播的视频源中插入水印和二维码警示信息和支持校验的指纹帧数据达到防止视频流量数据在传播过程中被篡改的目的，保障离线视频数据可追溯；该系统包括信令处理模块、媒体处理模块、HLS媒体服务模块、终端安全模块、网络处理模块、告警模块、数据库模块、配置管理模块、日志管理模块、WEB前台块。本发明所述的系统和方法，为PC端和移动端设备提供了安全的视频调阅过程，防止视频数据传输被篡改，保障离线视频数据可追溯，保证视频调阅过程中实时性、可靠性及安全性的目的。

Description

一种基于HLS视频播放的安全视频调阅系统和方法

技术领域

本发明涉及视频监控领域，提出一种针对基于HLS视频播放技术的安全视频调阅的方法，并基于该方法实现的安全视频调阅系统。在监控视频直播过程中，通过在视频码流解码后插入指纹帧及警示信息，并直接编码成HLS协议的视频源，达到在不同终端下视频直播传输中数据的安全保护，防止视频画面被非法篡改，肆意传播引发的安全问题。

缩略语及名词解释

HLS：HLS是由苹果公司发起的流媒体网络传输协议。它通过把整个流分成一个个小的基于HTTP的文件来下载。

H264：H264是MPEG-4第十部分，是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT，Joint Video Team)提出的高度压缩数字视频编解码器标准。这个标准通常被称之为H.264/AVC

H265：H265是ITU-T VCEG继H.264之后所制定的新的视频编码标准。

RTSP：RTSP(Real Time Streaming Protocol)，RFC2326，实时流传输协议，是TCP/IP协议体系中的一个应用层协议，由哥伦比亚大学、网景和RealNetworks公司提交的IETFRFC标准。

ONVIF：ONVIF(开放式网络视频接口论坛)是一个全球性的开放式行业论坛，其目标是促进开发和使用基于物理IP的安全产品接口的全球开放标准。

SIP(Session Initiation Protocol，会话初始协议)是由IETF(InternetEngineering Task Force，因特网工程任务组)制定的多媒体通信协议。

背景技术

随着城市大脑和智慧城市的推展，各地信息化的建设不断深入，视频监控数据的对外交换和信息共享的需求变得目益强烈，处于不同部门间的视频数据亟需共享。传统监控视频调阅依赖于各厂商的终端软件或是需要在浏览器端安装各厂商的插件，才能在PC上进行监控视频的播放，这些厂商终端软件和浏览器插件上承载的一般是各厂商的私有协议，保障了视频调阅的两端的安全性。但是这种方式限制了用户只能使用PC终端，而且需要在PC终端浏览器侧安装插件，非常麻烦。HLS技术是一种基于HTTP的流媒体传输协议，在视频监控领域中，视频监控平台与外部网络之间部署HLS转换设备，将监控网络内部的视频流量转换成支持HLS播放的视频流，这样在浏览器端即可解析对应的HLS视频流，达到无需安装插件即可播放以及在各类终端上播放的目的，所以HLS直播调阅也被广泛应用到视频监控领域中。

但是随着HLS技术在视频直播调阅的应用，存在以下的问题和安全风险：

1、HLS协议本身是开放性的协议，可以基于协议本身解析出HLS承载的视频流数据，而移动终端设备由于其随身携带及移动的特殊性，接入的网络一般属于外部网络，因此承载的视频监控数据极易被篡改，当这些被篡改的视频在大量终端用户侧播放时，将会造成恶劣的影响。

2、由于使用移动终端设备播放监控视频的用户量庞大，终端使用方便，使得视频容易被大量下载保存成文件并离线扩散传播，这些涉及隐私及关键内部信息的视频泄露出去，将造成严重后果。

3、由于移动终端多为互联网接入，因此提供HLS服务的系统需要部署在内网与外网边界侧，更容易遭受异常网络攻击，导致不能正常提供服务。

基于上述问题，在视频监控领域传统做法是，在内部网络中视频监控平台侧部署网络安全设备，保护视频监控数据在内网播放的安全性，在PC端安装厂商的终端软件或浏览器插件，通过私有协议的方式进行视频数据的播放，防止数据在传播过程中被篡改。但此类做法，无法应用到移动终端和外网场景，而在HLS进行视频流播放时，无法保证视频数据在外网传播的安全性，同时无法解决在移动终端上大量用户使用数据时可能带来的泄密的问题。因此，需要一种方法来保证基于HLS视频播放技术的视频调阅的安全性。

发明内容

有鉴于此，本发明提出了一种基于HLS视频播放的安全视频调阅系统和方法。通过集成HLS的编解码方式，支持直接在浏览器端进行无插件播放，支持在各类移动终端中播放。通过在安全视频调阅系统和移动终端两侧进行视频流的编解码，构建安全可信的流媒体通道，在媒体流中插入警示和指纹信息，防止视频数据传输被篡改，保障离线视频数据可追溯，达到在移动终端侧视频调阅过程中实时性、可靠性及安全性的目的。

本发明所述的基于HLS视频播放的安全视频调阅系统，从三个方面保障调阅过程的实时性、可靠性及安全性：

1)监控视频数据进入外网前，在实时视频流中插入用户信息，使得视频在各类终端侧被下载保存成文件后时，可以依据视频流中携带的信息进行溯源，保证离线数据泄露可追溯。

2)在视频流中插入指纹和特征信息，并在各类终端侧检测指纹和特征信息，检测到视频监控数据被篡改后，在终端侧即时阻断并上报系统告警用于审计。

3)如图2所示，集成HLS媒体服务模块，部署内网和外网的边界，阻止外部的异常网络攻击。

图1为本发明所述的安全视频调阅系统的内部构成，内部模块包含信令处理模块、媒体处理模块、HLS媒体服务模块、终端安全模块、网络处理模块、告警模块、数据库模块、配置管理模块、日志管理模块、WEB前台。其中信令处理模块、媒体处理模块、HLS媒体服务模块、终端安全模块、网络处理模块为安全视频调阅系统的核心模块，用以提供视频信令解析、媒体的编解码、HLS视频源转换、安全特性值和警示信息的装入、特性信息的校验以及网络攻击的防护。

1、信令处理模块负责的功能为：

1)内置多种视频流量协议解析集，如RTSP协议处理集、Onvif协议处理集、SIP协议处理集。

2)通过协议处理集，从视频调阅流量整理出原始会话，根据原始会话识别出调阅方的IP、编解码、调阅方式、调阅时间、调阅内容等信息。

3)关联对应的媒体流量，建立信令流与媒体流的映射关系。

4)根据直播和点播的视频源通道，获取视频源的主码流或辅码流视频源，构建平台调阅的RTSP和SIP请求并发起视频监控平台调阅。

2、媒体处理模块负责的功能为：

1)内置多种编解码协议处理集，如MPEG、AVI、MOV、H264、H265等。

2)从网络处理模块中拿到视频流量并解码后，进行水印和二维码的插帧。水印和二维码信息中包含调阅终端的IP、MAC、系统用户、调阅时间、调阅时长、被调阅的流位置以及自定义警示信息。水印和二维码支持固定位置显示或位置的更改，同时支持设置水印显示字体、颜色、大小、旋转角度等属性。水印支持文字水印或矢量图点阵水印两种方式显示形态。

3)在视频的关键帧上，选择摘要算法计算摘要信息形成特征值，插入指纹帧，可选的摘要算法包括MD5、SHA、MAC、SM3。

3、HLS媒体服务模块负责的功能为：

1)接收由浏览器侧接收的视频直播和点播的请求，解析对应的m3u8文件

2)在媒体处理模块编码时，将处理后的视频数据编码成TS类型的视频数据，对视频源进行m3u8和TS分片处理，返回请求对应的m3u8及TS文件

4、终端安全模块负责的功能为：

在各类终端的浏览器侧运行，使用Javascript实现对TS视频流量解码，播放经媒体处理模块处理后的监控视频，并提取出视频数据和包含特征值的指纹帧，校验指纹帧是否被篡改、对应的特性值是否正确。如果校验出特性值被篡改，则中断视频播放，产生告警上报给日志管理模块记录。此方式区别于传统基于HLS技术的视频网站，传统视频网站通过事先对视频打水印方式达到对视频版权的维护，是静态水印的方式，在监控领域上无法保证对实时产生的监控视频加水印，同时也不能针对不同的调阅方打上不同的水印信息。而安全视频调阅系统可以获取到终端调阅方的信息，经由浏览器的上终端安全模块，上传至系统后台，经由媒体处理模块在视频媒体流中插入水印和二维码及指纹帧，并在终端浏览器侧解码，播放包含水印二维码的视频流以及指纹和特征值的校验。

5、网络处理模块负责的功能为：

1)接收和转发来自终端及视频监控平台的网络请求。

2)对网络流量进行协议识别，发现非视频协议的流量给予阻断或告警的动作。

3)对于网络中产生的网络攻击进行阻断和告警，如ICMP Flood、SynFlood、PingFlood、端口扫描等。

4)将过滤后的请求交由其他各模块进行后处理。

6、告警模块负责的功能为：

1)接收从网络处理模块中接收产生的非法流量告警

2)接收从终端安全模块发现的视频篡改告警

3)接收媒体模块发现的下载视频文件篡改告警

4)对告警数据进行持久化并以邮件、短信方式发布事件通知，并在WEB前台给予警示。

7、数据库模块负责的功能为：

用于持久化各模块的功能配置，以及用于前台展示的数据源，保障系统重启后保持原有策略和配置。

8、配置管理模块负责的功能为：

用于接收前端配置信息，并将前端信息通知到各个模块，保障数据库持久化的配置信息和各安全模块工作配置的一致性。

9、日志管理模块负责的功能为：

1)记录网络处理模块、信令处理模块、媒体处理模块运行过程中的运行错误和警告信息。

2)记录调阅过程中发生的历史事件信息，包括调阅时间、调阅IP、调阅时长、调阅源、调阅视频时间段。

3)记录产生告警的历史记录，包括告警发生的时间、级别、类型、详细内容、告警消除时间。

10、WEB前台负责的功能为：

用于向管理员提供UI交互界面，进行各项策略的配置，同时对设备信息、网络信息、调阅信息、告警信息进行实时监控。

本发明还提供了一种基于HLS视频播放的安全视频调阅的方法，它采用本发明所述的安全视频调阅系统。图2为本发明所述的安全视频调阅系统的组网构成，它部署在视频监控平台前，基于HLS服务和安全功能提供安全的监控视频调阅。当PC和移动终端的浏览器发起视频播放的请求后，所有请求由网络处理模块过滤出视频流，阻断非法的ICMP Flood、SynFlood、PingFlood、端口扫描等网络攻击；配置管理模块根据终端调阅请求，获取到终端IP、MAC、系统用户等信息后，将终端信息及视频监控平台的配置信息，交由信令处理模块经网络处理模块向视频监控平台发起RTSP或SIP的实时调阅或回放请求；网络处理模块接收到从视频监控平台返回的视频流量时，调用媒体处理模块，对视频流进行媒体的解码，并在解码后的数据中插入水印和二维码帧以及包含特征值的指纹帧，重新编码生成媒体流；然后经由HLS媒体服务模块将视频流转化为能够支持HLS直播的m3u8和TS视频源，并将视频流和用于解析流的JavaScript代码返回给浏览器侧的终端安全模块；当终端侧收到媒体流后，由终端安全模块在浏览器侧对TS视频流量解码，提取出视频数据和包含特征值的指纹帧；对校验出被篡改指纹帧的流量进行阻断和告警，并中断视频播放，将产生的告警上报给告警模块和日志模块；同时在HLS视频直播流量中，携带了水印二维码信息以警示，这样在视频数据被下载保存成文件并离线传播后，可以将离线的视频上传至安全视频调阅系统并由媒体处理模块进行关键帧和特征值检测，将篡改视频的事件交由告警模块产生告警并由数据库模块记录日志，根据该信息进行有效溯源。

图3为所述方法的处理，流程所述方法包含以下关键处理流程：

1、安全视频调阅系统在收到视频监控流量后，根据对于的编解码协议，包括MPEG、AVI、MOV、H264、H265等，解码得到各帧图像，从可选的摘要算法MD5、SHA、MAC中，根据关键帧、设备ID、IP、MAC计算摘要信息，形成特性值，插入指纹帧数据。

2、根据视频调阅信息构建水印二维码信息数据，包括调阅源IP和端口、被调阅IP和端口、调阅事件、以及可支持自定义的警示信息，在各帧中插入水印信息，并以周期的方式将二维码插入图像帧中的不同位置。

3、安全视频调阅系统在重新编码时直接编码成对应的TS流文件以及m3u8索引文件，供前端各种类型的设备直播观看。

4、实时播放视频画面时，在终端浏览器侧，对TS视频流量解码，提取出视频数据和包含特征值的指纹帧，匹配特征值，在特性值校验失败后，即时中断视频播放。

5、视频画面在终端被下载保存成文件后，上传至安全视频调阅系统，安全视频调阅系统收到离线的视频数据后，提取出视频数据和包含特征值的指纹帧，匹配特征值，在特性值校验失败后，产生对应的告警并记录日志。

具体实施方式：

本发明所述的系统在Linux操作系统中运行，所述的网络处理模块运行在网络侧及应用侧，获取网络流量装入到用户态，将该流量交由应用侧的各业务模块处理。

本发明所述的信令处理模块、媒体处理模块、HLS媒体服务模块运行在应用层，作为公共组件，在系统层中以组件库的方式为上层配置管理模块、日志管理模块、告警模块调用。

本发明所述的终端安全模块，运行在各类终端侧，使用Javascript对视频数据进行指纹帧的提取和特征值的校验。

本发明所述的数据库模块，运行在Linux系统中，使用标准MySQL数据库，用于对各项配置、策略、日志、告警的数据持久化。

本发明所述的Web前端，支持在主流浏览器运行，包括不限于IE浏览器、Chrome浏览器、Firefox浏览器、Opera浏览器等。

附图说明

图1为本发明所述的安全视频调阅系统内部模块示意图。

图2为本发明所述的安全视频调阅系统组网构成示意图。

图3为视频调阅过程中安全视频调阅系统处理流程示意图。

Claims (6)

1.一种基于HLS视频播放的安全视频调阅系统，其特征在于系统部署在视频监控平台前，基于HLS服务和安全功能提供安全的监控视频调阅，包含信令处理模块、媒体处理模块、HLS媒体服务模块、终端安全模块、网络处理模块、告警模块、数据库模块、配置管理模块、日志管理模块和WEB前台，其中：

1)信令处理模块负责对RTSP、SIP、Onvif协议进行解析，识别会话中包含的调阅方信息，具体为：调阅方的IP、编解码、调阅方式、调阅时间、调阅内容；并建立信令流与媒体流的映射关系；构建平台调阅的RTSP和SIP请求并发起视频监控平台调阅；

2)媒体处理模块负责对MPEG、AVI、MOV、H264、H265等视频数据进行编解码，并将信令处理模块中获取的调阅双方的信息，以水印和二维码的形式插入到视频源中，同时在视频中插入包含特性码的指纹帧；对于上传的已插入指纹帧的视频文件校验指纹帧是否被篡改；

3)HLS媒体服务模块负责接收视频调阅播放请求，解析对应的直播源m3u8的视频请求，根据调阅请求得到的视频源进行对应的m3u8和TS分片，并将视频流和用于前流解析的Javascript代码返回前端；

4)终端安全模块负责在各类终端浏览器侧，使用Javascript对TS视频流量解码，提取出视频数据和包含特征值的指纹帧，校验指纹帧及特性值，对校验失败的视频，中断播放并产生告警上报给日志管理模块记录；

5)网络处理模块负责接收和转发来自终端及视频监控平台的网络请求，对非视频协议的流量进行阻断和告警动作，对网络中发生的ICMP Flood、SynFlood、PingFlood、端口扫描进行阻断和告警，将过滤后的请求交由其余各模块处理；

6)告警模块负责从网络处理模块中接收产生的非法流量告警、终端安全模块发现的视频篡改告警以及媒体模块发现的下载视频文件篡改告警，对告警数据进行持久化并以邮件、短信方式发布事件通知，并在WEB前台给予警示；

7)数据库模块负责用于持久化各模块的功能配置以及用于前台展示的数据源；

8)配置管理模块负责用于接收前端请求和配置信息，并将前端信息通知到各个模块，保障数据库持久化的配置信息和各安全模块工作配置的一致性；

9)日志管理模块负责记录各模块运行的错误和告警信息，记录调阅事件的的历史信息以及产生的告警详细信息；

10)WEB前台负责向管理员提供UI交互界面，进行各项策略的配置，同时对设备信息、网络信息、调阅信息、告警信息进行实时监控。

2.如权利要求1所述的一种基于HLS视频播放的安全视频调阅系统，其特征在于，该系统能够对视频监控流量进行编解码，插入包含调阅终端的IP、MAC、系统用户、调阅时间、调阅时长、被调阅的流位置以及自定义警示信息的水印信息；水印和二维码支持固定位置显示或位置的更改，同时支持设置水印显示字体、颜色、大小、旋转角度等属性；水印支持文字水印或矢量图点阵水印两种方式显示形态。

3.如权利要求1所述的一种基于HLS视频播放的安全视频调阅系统，其特征在于，支持在浏览器端实现对TS视频流量的解码，提取出视频数据和包含特征值的指纹帧，校验指纹帧是否被篡改及对应的特性值是否正确，在视频数据被篡改时，即时中断视频播放，产生告警并记录日志。

4.如权利要求1所述的一种基于HLS视频播放的安全视频调阅系统，其特征在于，支持展示调阅详情和告警详情，达到对调阅过程实时监控，以及在调阅过程后进行回溯和审计。

5.如权利要求1所述的一种基于HLS视频播放的安全视频调阅系统，其特征在于，视频监控数据被下载保存成文件后，可以将视频上传至安全视频调阅系统进行特征值检测，对篡改的视频产生告警及记录日志，根据该信息进行有效溯源。

6.一种基于HLS视频播放的安全视频调阅方法其特征在于采用权利要求1-5所述之一种基于HLS视频播放的安全视频调阅系统，当在PC和移动终端上的浏览器向本系统发起视频监控调阅请求时，所有请求由网络处理模块过滤出合法视频调阅请求，阻断非法网络攻击；配置管理模块在终端调阅请求中获取到终端信息后，将终端信息及视频监控平台的配置信息，交由信令处理模块经网络处理模块向视频监控平台发起RTSP或SIP的实时调阅或回放请求；网络处理模块接收到从视频监控平台返回的视频流量时，调用媒体处理模块，对视频流进行媒体的解码，并在解码后的数据中插入水印和二维码帧以及包含特征值的指纹帧，重新编码生成媒体流；HLS媒体服务模块将媒体流转化为m3u8和TS视频流，并将视频流和用于解析流的JavaScript代码返回给浏览器侧的终端安全模块；当终端侧收到媒体流后，由终端安全模块在浏览器中进行媒体的解码，校验指纹帧是否正常，若指纹帧被破坏，则产生告警上报给告警模块和日志模块，并同时中断播放；视频画面被下载保存成文件后可上传至视频安全系统中，并由媒体处理模块进行关键帧和特征值检测，将篡改视频的事件交由告警模块产生告警并由数据库模块记录日志，根据该信息进行有效溯源。

Images