CN117596407A - 一种基于特征码分层嵌入的视频流篡改检测系统及方法 - Google Patents

Abstract

本发明提供了一种基于特征码分层嵌入的视频流篡改检测系统及方法，通过解析出的视频参数、视频帧序号和时间戳生成视频特征码，并将视频特征码嵌入到视频编码压缩算法高频参数以及视频解码图像的小波变换域中，通过同时在接收方部署系统实现网络传输数据实时篡改检测，和通过视频文件处理实现视频接收方存储文件的篡改检测；同时通过选取不同采集设备、不同视频参数及图像变形攻击的视频流数据加强训练数据集，有效提升检测准确度。

Description

一种基于特征码分层嵌入的视频流篡改检测系统及方法

技术领域

本发明提供了一种基于特征码分层嵌入的视频流篡改检测系统及方法，属于视频数据安全领域。

背景技术

缩略语及名词解释

GB/T28181：安全防范视频监控联网系统信息传输、交换、控制技术要求。

RTSP：Real Time Streaming Protocol，RFC2326，实时流传输协议。

Socket：网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。

小波变换：(wavelet transform，WT)一种新的变换分析方法，它继承和发展了短时傅里叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间-频率”窗口；主要特点是通过变换能够充分突出问题某些方面的特征，能对时间（空间）频率的局部化分析，通过伸缩平移运算对信号（函数)逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求。

随着视频监控体系建设的逐步完善和广泛应用，视频在各领域之间的共享互通也越来越频繁和增多，使得视频数据发挥了更大的价值，然而由于这些数据通过网络进行传输并且其中不乏有敏感数据或重要数据，因此也产生了越来越多的安全隐患；同时随着黑客入侵和攻击手段越来越智能化，当前的篡改已经从网络传输的破坏上操作逐步到升级成对视频内容进行操作(如截断、拼接、局部替换，前后内容颠倒等)，从而导致在视频数据共享流转过程中被篡改的风险以及产生的影响变得越来越大，比如恶意篡改视频图像或者两个不相关的事件视频进行拼接导致产生虚假佐证或者虚假报道，从而误导观众认知，影响对于视频事件的判断。

当前对于图像篡改的安全防护主要是使用以下方式：

（1）网络传输加密隧道技术，比如VPN，IPSEC Tunnel等，通过传输双方之间的网络传输数据包进行签名验证，通过PKI非对称秘钥及证书体系在视频发出方对数据进行Hash计算，在接收端同样进行Hash计算和对比校验，从而实现对视频的传输过程中的完整性保护；

（2）基于视频帧数据的Hash计算与验签，将计算出Hash值生成SEI帧或者作为视频数据的格式参数插入视频数据流中，接收方通过读取SEI帧中或者视频数据中Hash值与对视频流数据再次Hash计算进行对比校验实现对视频的传输过程中的完整性保护。此方式对于离线处理方式比如下载到PC或者服务器进行文件存储，又或者对视频内容进行修改后再次进行编解码，导致SEI帧或者相关参数信息被舍弃，因此导致视频中失去签名信息，从而无法判断数据的有效性。

上述两种现有技术主要是针对网络传输中的数据篡改进行检测，但是一旦离开了网络传输通道，比如黑客通过入侵中间代理服务器可以截取到明文视频数据内容进行篡改；又比如离线文件方式像接收方下载到PC或者服务器进行文件存储，黑客通过窃取账号、病毒注入等手段入侵接收方PC或者服务器，对接收方存储的视频文件进行篡改，上述的现有技术手段则无能为力。

发明内容

本发明提供了一种基于特征码分层嵌入的视频流篡改检测系统及方法，通过将视频特征码嵌入视频图像的小波变换域参数以及视频编码的压缩域算法参数中，确保无论是网络传输、中间代理环节、还是接收端存储文件的非法修改，均可有效检测发现针对视频数据内容的篡改行为。

本发明中系统使用的两层嵌入特征码方法，首先(1)视频解码成图像后，将特征码嵌入小波变换域，此方法经过增强数据集的AI模型训练，即使视频出现被替换、拼接、裁剪或者转码转换处理等编辑处理，仍然可以提取出正确的特征码，属于不易丢失算法；(2)在视频编码中的压缩域算法中嵌入特征码，此算法属于脆弱易丢失算法，一旦视频被替换、拼接、裁剪或者转码转换处理，由于压缩算法的有损性原理，嵌入的特征码就会被破坏导致错码甚至消失，从而无法提取出正确的特征码；分别在视频转码的两个阶段进行，相互不干扰，又可以通过提取出的特征码进行校验和比对，即可有效检测出视频是否发生过篡改。

图1为本发明所述的系统，其中包括功能配置展示模块，数据库模块，网络处理模块，信令处理模块、视频格式解析模块、视频特征码嵌入模块、视频篡改校验模块、特征码算法模块。

网络处理模块负责：

（1）实时监控网络报文，对于符合配置规则的信令协议报文进行获取，获取后送入信令处理模块；将经过信令处理模块处理后的报文进行发送；

（2）建立信令/媒体报文Socket，接收/发送信令及视频媒体报文。

信令处理模块负责：

（1）接收从网络处理模块转入的报文，对报文进行解析；

（2）针对RTSP/GB28181协议进行消息处理，记录信令中协商的相关信息(如调阅者信息、时间、媒体流格式信息)，同时通过修改SDP中媒体地址，使得双方发送接收视频的对端地址确定为本系统设备地址。

视频格式解析模块负责：

既可以针对接收网络处理模块传送的视频报文，进行RTP格式解析、PS流格式解析，又可以针对传入的视频文件进行格式解析，得到以下内容，

（1）视频特征码，通过将解析出的视频参数(编解码类型、分辨率、Profile&Level、I帧间隔、帧频、码率、编码形式、Slice个数、时戳间隔、熵编码模式、预测权重)进行Hash运算得到唯一Hash值，并叠加视频帧序号、视频时间戳，组合得到视频特征码；

（2）视频码流，通过将视频传输格式信息剥离或者文件格式信息剥离得到纯视频码流；

完成后将视频特征码和视频码流，一同送入视频特征码嵌入模块或者视频篡改校验模块，同时将视频参数信息及视频特征码传入数据库记录，并与记录的信令会话信息关联。

视频特征码嵌入模块负责：

接收视频码流数据及视频特征码，负责将视频特征码嵌入到视频流中，具体分为以下两部分处理，

（1）首先将视频码流数据解码成标准视频YUV图像数据流，其次调用特征码算法模块接口获取最优的小波因子和分块原则，利用获取到的小波因子和分块原则将图像分解成小波变换的图像尺寸，进而进行小波变换(小波算法模块选择具备正交变换不干扰、尺度因子可调整同时运算复杂度相对较低的haar小波)，从而得到多个频域分解后的图像，然后使用特征码算法模块接口计算得到最佳参数，所述参数包括小波变换域（人眼视觉感知敏感度最低的高频变换域）、嵌入字符位置分布、字体大小及粗细，利用所述参数完成视频特征码的嵌入，然后经过逆小波变换转换成时域图像；

（2）在将视频图像数据编码成原有的视频码流数据格式过程中，通过分析编码压缩格式算法，利用其中高频参数区域即人眼视觉感知敏感度最低影响区域，加入视频特征码，实现数据的隐藏嵌入；

（3）将重新编码后的视频码流数据按照原有网络传输格式封装，通过网络处理模块发送给接收方。

视频篡改校验模块：

实现实时传输校验和文件校验两个功能，接收从视频格式解析模块处理后的视频特征码和视频流数据，（1）从视频流的压缩算法的高频参数中提取嵌入的视频特征码；（2）通过视频解码，对解码后图像进行小波变换，调用特征码算法模块的AI模型进行推理提取出其中的视频特征码；

通过三个特征码之间的比对检测判断是否存在视频内容篡改情况，视频参数计算特征码在可以计算得到的情况下，小波变换域特征码和压缩域特征码一致,三者需要一致且特征码中视频帧序号连续情况下判定为不存在篡改行为；视频参数计算特征码在无法计算得到的情况下，小波变换域特征码和压缩域特征码一致且特征码中视频帧序号连续情况下判定为不存在篡改行为；如果小波变换域特征码和压缩域特征码均无法提取，也即一段完全的非特征码嵌入视频，此时判定结果为不相关；其余情况均判定为存在篡改行为；

发现存在篡改行为则分别通知功能配置展示模块告警展示，和通知数据库模块进行记录；

在处理文件校验时，将提取出来的小波变换域特征码，通知数据库模块查询数据库中的数据记录，并将信息通知给通知功能配置展示模块，展示出视频流共享的相关信息。

特征码算法模块负责：

针对上述小波变换域的特征码嵌入和提取，使用卷积神经网络（CNN）的AI模型和OCR算法模型实现特征码嵌入清晰度、特征码提取准确度和人眼不感知的平衡，并使用以下三个方法进行数据集增强：

（1）通过选取不同厂家、不同型号采集设备的视频流数据加强训练数据集；

（2）将原始视频流通过重新编解码处理转换成不同视频参数的加强训练数据集，所述视频参数包括编解码类型、分辨率、Profile&Level、I帧间隔、帧频、码率、编码形式、Slice个数、时戳间隔、熵编码模式、预测权重的单个及其组合，用于模拟视频编解码算法处理带来的有损压缩导致的压缩衰减、滤波衰减视频数据；

（3）通过对原始视频图像内容进行扣除部分像素数据、随机替换部分像素数据来模拟真正的视频篡改行为，包括替换、拼接、遮挡、扣除等导致嵌入数据的形变、位移、旋转、字符模糊等问题；

通过上述的数据集增强训练，得到小波因子的优化修正、最优的小波变换的图像分块原则、最优的小波高频域选取、最优的特征码嵌入位置、字符嵌入清晰度、以及大幅提升特征码提取的准确度。

功能配置展示模块负责：

提供Web页面进行设备访问，并进行功能的相关配置，如视频接收方和视频发送方的IP和端口信息、信令处理协议、在线篡改校验的开启/关闭、离线文件的篡改校验、视频访问历史信息记录，以及配置、查询、校验结果的展示。

数据库模块负责：

负责持久化存储功能配置数据，确保系统重启后，无须重新配置即可功能正常运行；存储上述模块中的视频信息；提供查询根据时间、调阅者身份、编解码类型、视频参数信息、视频特征码等单独及组合的查找检索方式，查询到的信息用于历史记录追溯审阅。

本发明还提供一种基于特征码分层嵌入的视频流篡改检测方法，它采用本发明所述的一种基于特征码分层嵌入的视频流篡改检测系统，应用于视频共享的场景，部署在视频接收方与视频发送方之间，首先通过配置规则分析修改信令报文以获取视频流量，接收并解析视频报文的格式以及视频参数信息，同时将信令会话信息和视频格式及参数信息关联并记录到数据库，并基于信令会话信息和视频格式及参数信息生成视频特征码；其次通过视频解码得到一帧帧视频图像，对一帧帧原始图像和小波变换后的图像进行AI模型推理得到最佳的小波因子、最佳的小波高频域、最佳的特征码嵌入的位置分布、最佳的字符大小和粗细，从而将视频特征码嵌入到图像小波变换域，然后编码过程中使用优化的编码压缩算法，将视频特征码嵌入到其高频参数中，最后将重新编码后的视频数据封装成原有格式发送给接收方；通过解析视频流数据，进而解析出视频参数并生成视频特征码，其次从编码压缩算法的高频参数中，然后针对视频解码后图像的小波变换域，通过AI模型推理提取出视频特征码，最后通过特征码对比判断是否存在非法篡改行为；

通过在接收方部署系统，实现网络传输过程中的实时防篡改校验；

通过接收用户上传的视频文件，对视频文件进行解析、特征码提取及对比实现视频文件的非实时防篡改校验。

与现有技术相比，本发明有如下益效果：

本发明中系统和方法，针对无论网络传输设备、中间代理设备和接收方设备被入侵，或者中间代理设备和接收方合法使用者有意的视频内容篡改行为，在确保视频观看者肉眼不感知的情况下，无论网络实时传输视频流，以及落地存储文件的篡改均可以进行有效检测：

（1）视频截断场景，通过检查提取出的特征码中帧序列号是否存在不连续，可有效检测出篡改的发生；

（2）视频拼接场景，视频中一部分视频可以提取出特征码，一部分无法提取，从提取情况不一致可以有效检测出篡改的发生；

（3）视频替换修改场景，包括删除一部分视频，用另一部分等时长视频代替，此情况跟视频拼接场景检测一致；以及对于视频中画面内容做了一部分修改，无论是遮挡、替换、图像扣除。

附图说明

图1为本发明所述系统的模块架构。

图2为本发明所述系统的实时篡改检测部署场景。

图3为本发明所述系统的文件篡改检测部署场景。

具体实施方式

本发明系统及方法可应用于视频共享的场景，可通过分别部署在视频发送方和视频接收方，实时对视频码流嵌入和校验特征码实现视频传输实时检测（如图2），同时支持接收方接收到视频码流进行本地存储后的存储文件离线检测（如图3）。

无论部署于视频发送方的系统还是部署于视频接收方的系统，均通过功能配置模块配置调阅方和服务器的IP地址和传输层端口，配置完成后，配置数据会存储在数据库模块中；特征码算法模块将预置的AI模型加载到系统中运行；网络处理模块根据配置实时监控网络上经过设备的IP报文，当发现符合要求的报文时，将报文送入信令处理模块；信令处理模块会根据RTSP和GB\T28181协议格式解析报文，当发现存在视频共享访问时，通过修改信令报文携带SDP中的信息将视频流量引流到本系统，并建立Socket接收视频流量，同时将信令中视频发送者信息、视频接收者信息、时间、传输IP及端口等视频会话信息记录到数据库模块；

部署于视频发送方的系统完成视频特征码嵌入功能，当网络处理模块从视频发送方接收到视频数据报文时，将报文转入视频格式解析封装模块，视频格式解析模块负责将网络传输的视频报文解析出视频流的参数信息并生成视频特征码，同时解析成视频编解码报文连同视频特征码，送入视频特征码嵌入模块，并且将视频参数信息及特征码记录到数据库模块，关联到信令处理模块记录的视频会话信息；视频特征码嵌入模块(1)将视频流解码成一帧一帧的YUV格式图像，针对YUV时域图像，调用特征码算法模块得到最佳小波因子，从而进行小波变换，再次调用特征码算法模块找到最优小波变换域、特征码嵌入位置分布以及特征码字体颜色、大小及粗细，进而完成视频特征码嵌入,(2)将嵌入特征码的图像重新编码成视频时，在编码压缩算法中寻找高频参数系数嵌入特征码，(3)编码后的视频流送入视频格式解析封装模块；视频格式解析封装模块重新PS信息，RTP信息，发送给视频接收方；

部署于视频接收方的系统完成实时校验功能，如图2所示，网络处理模块从视频发送方接收到视频数据报文，将报文转入视频格式解析封装模块，视频格式解析封装模块负责将网络传输的视频报文解析成视频流数据，进而解析得到视频参数，用同样算法计算得到视频特征码后送入在线篡改校验模块；在线篡改校验模块首先通过小波变换提取出高频域的视频特征码，进而通过编码压缩逆变换算法提取出压缩域中视频特征码，通过将提取出的视频特征码与通过视频参数生成的视频特征码进行比对，以及通过两者算法提取出的特征码进行对比，判断视频是否出现篡改，校验结果传递给功能配置展示模块进行展示，如果存在篡改则会告警展示，同时校验结果传递给数据库模块进行存储；

部署于视频发送方的系统完成文件校验功能，如图3所示，配置展示模块接收用户从Web网页上传的视频文件，送入视频格式解析封装模块，视频格式解析封装模块按照文件格式解析出视频编解码流数据，送入文件篡改校验模块，文件篡改校验模块分别提取编码压缩算法中视频特征码，和解码后图像的小波变换域视频特征码，通过将提取出的视频特征码与通过视频参数生成的视频特征码进行比对，以及通过两者算法提取出的特征码进行对比，判断视频是否存在篡改，同时通过特征码查询数据库中的信息记录，将视频会话信息、视频参数信息、篡改校验结果一并通过Web页面，展示给用户；

篡改校验结果判定原则依据如下：

（1）视频截断：删除掉原始视频内容中的一部分，此情况下出现特征码中视频帧序号不连续；

（2）视频拼接：如果是有特征码视频与无特征码视频拼接，则出现部分视频无法提取小波变换域特征码以及压缩域特征码情况；如果是两段有特征码视频拼接，则出现两段视频特征码不一致，或者特征码中视频帧序号跳变；或者视频中时间戳信息不一致；

（3）视频修改：如果是视频前后顺序颠倒，则出现特征码中视频帧序号跳变；如果是有特征码视频其中一部分被替换成无特征码视频，则出现部分视频无法提取小波变换域特征码以及压缩域特征码情况；如果视频被重新编解码转换，由于压缩域算法的脆弱性原理，此时会导致压缩域特征码无法提取或者提取出错误特征码，因此此场景会出现小波变换域特征码与视频参数计算特征码及压缩域特征码不一致情况；如果视频画面中部分内容被修改或者替换，例如打马赛克、遮挡或替换部分画面等，修改后的码流由于重新经过编解码转换，则出现小波变换域特征码与视频参数计算特征码及压缩域特征码不一致情况。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于特征码分层嵌入的视频流篡改检测系统，实现针对视频数据内容的网络实时传输及视频文件的篡改检测，其特征在于，该系统由功能配置展示模块，数据库模块，网络处理模块，信令处理模块、视频格式解析模块、视频特征码嵌入模块、视频篡改校验模块、特征码AI算法模块构成，具体的：

功能配置展示模块提供Web页面供用户进行功能的相关配置，以及配置查询、校验结果的展示；提供视频文件篡改校验的Web页面接口，供用户上传视频文件进行篡改校验；

数据库模块负责持久化存储功能配置数据，确保系统重启后，无须重新配置即可功能正常运行；提供根据时间、调阅者身份、编解码类型、视频参数信息、视频特征码单独及组合的查询检索方式；

网络处理模块负责实时监控网络报文，对于符合配置规则的信令协议报文进行获取，获取后送入信令处理模块；发送经过信令处理模块处理后的报文；建立信令/媒体报文Socket，接收/发送信令及视频媒体报文；

信令处理模块负责解析RTSP及GB28181协议，通过修改SDP协议中媒体协商信息，从而能够接收视频发送方发送的视频媒体流，并能够在处理后发送给视频接收方；同时生成信令会话信息并传入数据库模块进行记录；

视频格式解析模块解析出视频参数，结合视频帧序号和时间戳信息，通过Hash运算生成视频特征码，同时解析出视频码流，送入视频特征码嵌入模块；

视频特征码嵌入模块负责首先将视频码流解码成标准YUV格式图像，其次利用特征码算法模块接口得到最优的小波因子和分块原则，将图像分块分解并进行小波变换后嵌入视频特征码，进而完成逆小波变换重新转换成时域图像；然后在将图像数据编码成原有的视频码流数据过程中，在压缩算法的高频参数区域嵌入视频特征码；最后将重新编码后的视频码流数据按照原有网络传输格式封装，通过网络处理模块发送给接收方；

视频篡改校验模块支持在线篡改校验和文件篡改校验，接收从视频格式解析模块处理后的视频特征码和视频流数据，首先从视频流的压缩算法的高频参数中提取嵌入的视频特征码；然后通过视频解码，对解码后图像进行小波变换，并使用特征码算法模块的模型进行推理，从而提取出视频特征码；最后通过特征码之间的比对检测判断是否存在视频内容篡改情况；如果发现存在篡改行为则分别通知功能配置展示模块告警展示，并通知数据库模块进行记录；

特征码算法模块负责使用卷积神经网络的AI模型应用于校正小波因子系数、图像分块原则、小波高频变换域选择、嵌入特征码文字位置分布、字体大小和字体粗细的推理计算；使用卷积神经网络和OCR进行小波变换域的视频特征码提取；为视频特征码嵌入模块和视频篡改校验模块提供接口。

2.如权利要求1所述的一种基于特征码分层嵌入的视频流篡改检测系统，其特征在于，结合使用小波变换域的特征码嵌入以及视频编码压缩域的特征码嵌入，两种算法在视频编解码的不同阶段处理，相互不干扰；利用小波变换域嵌入算法的不易丢失性，所述不易丢失性是指对视频替换、拼接、裁剪以及转码转换处理后仍然可有效提取出特征码；同时利用视频编码压缩域算法的脆弱易丢失性，所述易丢失性是指对视频替换、拼接、裁剪以及转码转换处理后导致无法提取或提取出错误特征码，通过特征码的校验比对，可有效检测出网络传输视频以及视频文件是否发生过篡改行为。

3.如权利要求1所述的一种基于特征码分层嵌入的视频流篡改检测系统，其特征在于，支持视频特征码使用解析出的视频格式参数通过Hash运算叠加视频帧序号和时间戳计算获得，所述视频格式参数包括编解码类型、分辨率、Profile&Level、I帧间隔、帧频、码率、编码形式、Slice个数、时戳间隔、熵编码模式、预测权重，可有效用于检测视频截断、视频拼接、视频替换以及修改的篡改攻击。

4.如权利要求1所述的一种基于特征码分层嵌入的视频流篡改检测系统，其特征在于，使用卷积神经网络的AI模型应用于小波因子的优化修正、小波变换的图像分块原则、特征码嵌入的小波高频域选取、特征码嵌入分布以及字符嵌入清晰度；对采集到的不同厂家、不同型号采集设备的现有视频数据集，通过变换不同视频参数的转换处理进行模拟增强，所述视频参数包括编解码类型、分辨率、Profile&Level、码率、编码形式、Slice个数、熵编码模式、预测权重；通过对视频数据集进行扣除、随机替换、遮挡、拼接，用于模拟真正的视频篡改行为带来的压缩衰减、滤波衰减以及嵌入特征码形变、位移、旋转、字符模糊情况，所述视频篡改行为包括视频截断、视频拼接、视频替换以及修改；实现提升原始视频特征码嵌入清晰度，以及被篡改视频的特征码提取准确度，同时确保嵌入特征码的视频在人观看时的肉眼不感知度。

5.一种基于特征码分层嵌入的视频流篡改检测方法，其特征在于，采用权利要求1-4任意一项所述的一种基于特征码分层嵌入的视频流篡改检测系统，部署在视频接收方与视频发送方之间，首先通过配置分析修改信令报文以获取视频流量，接收并解析视频数据的格式以及视频参数信息，同时将信令会话信息和视频格式及参数信息关联并记录到数据库，并基于信令会话信息和视频格式及参数信息生成视频特征码；通过视频解码得到YUV图像，使用卷积神经网络模型推理计算，将特征码嵌入到最佳小波变换域图像的最佳位置，同事使用优化的编码压缩算法将视频特征码嵌入到视频编码算法的压缩域高频参数中，将重新编码后的视频数据封装成原有格式发送给接收方；通过从视频流数据中解析出视频参数并生成视频特征码，从视频压缩域的高频参数、以及视频解码后图像的小波变换域提取出视频特征码，对特征码进行校验对比，判断是否存在视频非法篡改行为；通过在接收方部署系统，实现网络传输过程中的实时防篡改校验；通过接收用户上传的视频文件，对视频文件进行解析、特征码提取及对比，实现视频文件的非实时防篡改校验。