CN105141961A - 一种基于视频隐写的空间数据双协议传输方法 - Google Patents

Abstract

本发明涉及基于视频隐写的空间数据双协议传输方法，可有效解决保证隐藏在视频中的空间数据的完整性，防止空间数据丢失的问题，方法是，采用具有良好网络适配能力的H.264视频作为隐藏空间数据的载体，采用基于DCT系数的H.264视频隐写算法，提高空间数据在网络环境中的安全性，利用语法解析器和复用器将含有空间数据的宏块和不含空间数据的宏块分离，分别用TCP和UDP传输，避免空间数据的丢失，提高空间数据的网络安全传输效率，本发明双协议传输是TCP和UDP结合进行传输，安全性高、容量大，保证了空间数据的安全性和完整性，防止了空间数据传输中的丢失，具有很强的实用价值。

Description

一种基于视频隐写的空间数据双协议传输方法

技术领域

本发明涉及空间数据安全传输技术，特别是一种基于视频隐写技术的空间数据双协议传输方法。

背景技术

视频隐写技术是随着信号处理、应用数学、密码技术、通信技术等相关技术的发展而迅速发展起来的一种新型信息安全保障技术。与空间数据相结合，将空间数据秘密隐藏于普通的视频等多媒体文件中进行传输，能够确保空间数据的安全使用、保障空间数据的安全传送。与空间数据加密相比，视频隐写技术技术不仅隐藏了空间数据的内容，而且隐藏了空间数据的存在。视频隐写技术技术在保障空间数据安全传输方面具有更大的优势。

当前视频隐写技术主要集中在隐写算法的研究，对传输过程中可能出现的数据丢包问题研究较少。而在传输过程中，空间数据的丢失势必会影响其可用性，比如位置的识别、可视化、推演等皆以空间数据为基础。通常，视频文件通过UDP(UserDatagramProtocol，用户数据包协议)进行传输。但遇到网络拥塞时，该协议会发生严重的丢包现象。如果丢失的数据包中隐藏有空间数据，则会造成接收端收到的空间数据不完整而不可用。因此，在基于视频隐写的空间数据隐藏技术中，为保证空间数据的可用性，必须保证空间数据完整性，必须解决空间数据传输丢包问题。

为了避免空间数据在传输过程中丢失，保证空间数据在传输过程中的完整性及可用性，促进空间数据安全技术的发展和信息隐藏技术的应用，而提供如何解决基于视频隐写的空间数据双协议传输方法是完全必要的，但至今未见有相关技术的公开报导。

发明内容

针对上述情况，为克服现有技术之缺陷，本发明之目的就是提供一种基于视频隐写的空间数据双协议传输方法，可有效解决保证隐藏在视频中的空间数据的完整性，防止空间数据丢失的问题。

本发明解决的技术方案是，采用具有良好网络适配能力的H.264视频作为隐藏空间数据的载体，采用基于DCT系数的H.264视频隐写算法，提高空间数据在网络环境中的安全性，利用语法解析器和复用器将含有空间数据的宏块和不含空间数据的宏块分离，分别用TCP和UDP传输，避免空间数据的丢失，提高空间数据的网络安全传输效率，具体包括以下步骤：①空间数据嵌入和视频读取、②数据分离、③数据传输、④数据聚合、⑤空间数据提取，经解码，得到原始视频文件。

本发明双协议传输是TCP(TransmissionControlProtocol，中文名称是传输控制协议)和UDP(UserDatagramProtocol的简称，中文名称是用户数据报协议)结合进行传输，与一般视频文件的传输相比，增加了TCP的使用。与现有技术相比，本发明在利用视频隐写技术安全性高、容量大的特点的同时，结合TCP传输的重传机制，解决了传输过程中空间数据丢失问题，保证了空间数据的安全性和完整性，防止了空间数据传输中的丢失，具有很强的实用价值。

附图说明

图1为本发明的流程图。

图2为本发明TCP分段示意图。

图3为本发明算法与UDP传输、TCP传输方法结果对比图。

图4为本发明隐藏前和提取后栅格地图数据DCT系数对比图。

图5为本发明传输时间与数据大小关系图。

具体实施方式

以下结合附图对本发明的具体实施方式作详细说明。

由图1给出，本发明在具体实施中，包括以下步骤：

(1)、空间数据嵌入和视频读取：读取原始视频文件数据，并对原始视频文件数据进行压缩编码，提取运动向量及变化差值，然后，用基于DCT系数的H.264视频隐写算法嵌入空间数据，并对空间数据进行隐藏，由视频源滤波器读取嵌入空间数据后的H.264视频文件，并把数据发送给网络仿真连接器(QualNetConnector)；

(2)、数据分离：利用语法分析器通过网络仿真器(QualNet)链接app_fdspvideo.cpp文件来启动，在传输前，语法分析器分析视频比特流，并把网络抽象层面(NAL，NetworkAbstractLayer)单元的起始地址、长度、类型的语法信息发送给复用器(Multiplexer，简称MUX)，利用语法分析器将含有空间数据的DCT(离散余弦变换，DiscreteCosineTransform)块和视频头文件从视频中分离出来，分离为空间数据、SPS(序列参数集，SequenceParameterSets)/PPS(图像参数集，PictureParameterSets)、片头和余数据，复用器(MUX)利用存储的语法信息判断实时传输协议(RTP，Real-timeTransportProtocol)数据包中的数据是否为空间数据块和重要参数，当为空间数据块和重要参数，则发送到传输控制协议(TCP)通道，否则送给用户数据报协议(UDP)通道；

(3)、数据传输：传输控制协议是面向流的协议，传输控制协议(TCP)包中的数据被当作有顺序的比特流，传输控制协议(TCP)不保留信息边界，使用QualNetConnector将RTP数据分包，分为数据段；

(4)、数据聚合：在接收端，用解复用器(DEMUX，Demultiplexer)首先检查UDP通道和延迟的RTP数据包的时间戳，如果一个RTP数据包按时到达，就把该数据包和TCP通道中的RTP数据包合并，DEMUX负责合并准时的RTP数据包，并形成完整的视频文件，标准的UDP头不包含长度信息，因此UDP数据包的长度信息需要TCP段重组后才能获取，接收端判断当前TCP段中的RTP数据包头是否完整，当RTP包头完整时，就能根据包头中的RTP长度信息判断RTP数据是否完整；当完整，则与UDP数据包合并；当不完整，则等待下一个TCP段；

(5)、空间数据提取：对接收到的视频流进行解码和空间数据的提取，方法是，空间数据的提取是在数据聚合后及视频解码过程中进行，在视频写入滤波器把解码帧数据写为初始视频文件后，根据隐藏算法的逆运算提取含密宏块中的空间数据，经解码，得到原始视频文件。

步骤(1)所述的用基于DCT系数的H.264视频隐写算法嵌入空间数据，方法是，将视频图像分解为4×4的子块，并对这些子块分别进行DCT变换，使图像处于不同的频率状态，设图像子块为f(x,y)，DCT变换的高频部分为F(u,v)，低频部分为F(0,0)，二维DCT变换公式如下：

$\begin{array}{cc}F(0,0)=\frac{1}{N}\underset{x=0}{\overset{N-1}{\Σ}}\underset{y=0}{\overset{N-1}{\Σ}}f(x,y)& u,v=0\end{array}$

其中，4×4整数变换中N的值取4，公式中x和y指像素在空间域(对应一维的时间域)的坐标，u和v指基函数频率域中的坐标，x,y,u,v的取值范围都是0-3。在视频解码的过程中，需要对图像进行反DCT变换，即IDCT，二维IDCT公式如下：

$\begin{array}{c}f\left(x,y\right)=\frac{1}{N}F\left(0,0\right)+\frac{2}{\sqrt{N}}\underset{x=1}{\overset{N-1}{\Σ}}F\left(u,0\right)\cos \[\frac{\mathrm{\π}}{2N}\left(2x+1\right)u\]\\ +\frac{2}{\sqrt{N}}\underset{y=1}{\overset{N-1}{\Σ}}F\left(0,v\right)\cos \[\frac{\mathrm{\π}}{2N}\left(2y+1\right)v\]\\ +\frac{2}{N}\underset{x=1}{\overset{N-1}{\Σ}}\underset{y=1}{\overset{N-1}{\Σ}}F\left(u,v\right)\cos \[\frac{\mathrm{\π}}{2N}\left(2x+1\right)u\]\cos \[\frac{\mathrm{\π}}{2N}\left(2y+1\right)v\]\end{array}$

图像细节集中在低频DCT系数中，而高频系数对图像几乎没有影响，舍弃高频系数，保留剩余的系数进行量化，将空间数据与DCT系数的最不重要位进行替换，来实现空间数据的隐写，在数据提取阶段，对每个视频图像进行反DCT变换，进而提取空间数据。

由上述可以看出，本发明双协议传输是TCP(TransmissionControlProtocol)和UDP结合进行传输，与一般视频文件的传输相比，增加了TCP的使用，在利用视频隐写技术安全性高、容量大的特点的同时，结合TCP传输的重传机制，解决了传输过程中空间数据丢失问题，保证了空间数据的安全性和完整性。

采用具有良好网络适配能力H.264视频作为隐藏空间数据的载体，采取常用的基于DCT系数的H.264视频隐写算法，提高了空间数据在网络环境中的安全性，利用语法解析器和复用器将含有空间数据的宏块和不含空间数据的宏块分离，分别用TCP和UDP传输，避免空间数据的丢失，提高了空间数据的网络安全传输效率，空间数据双协议传输方法适用于一般的视频压缩域隐写算法。

与传统基于视频隐写的空间数据传输方法的区别主要体现在引入了DirectShow(流媒体处理开发包)模块和QualNet模块，来进行传输前后视频文件的读取、写入，以及视频数据的分包。图1给出了含空间数据的视频分包示意图，按照H.264基本分包方法，我们对隐藏空间数据后的NAL单元进行分包，称携带空间数据的NAL单元为SNAL单元。如果一个SNAL单元的尺寸小于或等于MTU(最大传输单元，MaximumTransmisstionUnit)，则一个RTP包能装下一个SNAL单元。如果SNAL单元的尺寸大于MTU尺寸，则需要把SNAL单元分割然后放到多个RTP包中。当SNAL单元很小时，该方法支持SNAL单元的聚合。比如，SPS和PPS只含有几个字节，它们可以和其它的SNAL单元放到同一个RTP包中来减少头部的负担。

明显区别于以往的视频压缩标准，H.264对DCT变换进行了改进，采用了更小的4×4整数离散余弦(DCT)变换，计算速度快，运算复杂度低，工作效率高，具有很强的实际应用价值，并经试验取得了非常好的有益技术效果，有关资料如下：

图2给出了DirectShow模块和QualNet模块的内部结构示意图。其中，DirectShow负责读取和写入视频文件，QualNet负责对数据进行分包。DirectShow中的视频滤波器将读取的视频发送给QualNetConnector，QualNetConnector将RTP数据按顺序进行分包，对QualNetConnector对TCP中的RTP数据分包，HDR(HeadDataofRTP)为RTP的数据头，包含起始地址、长度、类型等信息。

网络环境为：TCP缓冲区大小为576字节，UDP默认缓冲区为0.01兆，数据包大小为1470字节。客户端带宽：10M/s；UDP平均速度：3.45M/s；TCP平均速度：1.42M/s。

实验选取载体视频分别为：Container、Coastguard、Foreman、Mobile大小分别为113M、542M、1257M、2816M，嵌入的栅格地图数据和矢量地图数据均为10M、50M、100M、200M。视频序列的GOP(Groupofpictures)结构为“IBPBPBPBPB”。编码参数设置情况如表1。

表1

首先，传输同样大小栅格地图数据和矢量地图数据，并与UDP传输和TCP传输作对比，以验证在相同嵌入算法和嵌入位置的条件下，传输时间和丢包率是否相同，并得出传输时间与空间数据大小的关系。表2和表3为实验得到的数据结果。

表2

表3

然后，观察双协议传输的传输过程，以各协议的PSNR(峰值信噪比，PeakSignaltoNoiseRatio)值和视频帧数目为指标，对空间数据的传输过程进行丢包分析。用0dB表示丢帧，111dB表示理想的PSNR。最后，通过对比空间数据传输前后是否一致来验证两个问题：一，双协议传输的可靠性；二，空间数据大小对双协议可靠性的影响。对传输前后栅格数据和矢量数据进行对比，因传输前后栅格地图数据的DCT系数对比能直接反映数据是否变化。因此，试验用栅格地图数据的DCT系数对结果进行展示。图3展示了本发明中的双协议传输方法与UDP和TCP方法的传输结果对比，图4给出了隐藏前和提取后栅格地图数据DCT系数对比结果。

对实验结果进行传输效率分析、丢包分析以及数据一致性分析。

①传输效率分析

从表2和表3中两种数据在各协议中传输可知，栅格数据和矢量数据的传输时间和丢包率几乎相同，没有完全相同的原因是传输效果还受到网络状态的影响，比如不同时间段使用网络的用户量不同，会影响数据的传输速度，而不是数据类型的不同造成的。

因此，可以得出结论，数据的传输时间和丢包率不受数据类型的影响。但在相同带宽下，传输的文件量越大，所需传输时间越长，UDP的丢包率也越高，即传输时间和丢包率与数据类型无感与数据大小成正比。图5给出了在不同传输协议下，携带空间数据视频的传输时间与所携带空间数据大小的关系。

TCP传输过程中需要3次握手来保证数据的完整接收，因而需要时间最长；而双协议当中虽然也用到了TCP，但由于该方法中通过TCP传输的数据仅为一部分，所以要比单独使用TCP传输时间短；UDP不考虑丢包重传问题，只负责数据的传输，故效率最高，耗时最短。

②丢包分析

从传输效率结果可知，相同大小的栅格地图数据和矢量栅格地图数据具有相同的传输时间和丢包率，因此选取100M的栅格地图数据传输进行丢包分析。UDP方法的PSNR最差，平均值为56dB；本发明方法的PSNR平均值为81dB，且无0dB出现，说明该方法无丢包现象；TCP方法PSNR平均值为111dB。

本发明方法和UDP方法的PSNR变化点均为I帧所处位置，这两种方法的PSNR值变化趋势相仿。这是因为H.264结构包含三种视频帧：I帧、P帧和B帧，I帧尺寸比P帧和B帧大得多，当网络带宽出现拥堵，则I帧中的数据将被丢弃或者延迟，此时PSNR值低于111dB。如果I帧在传输过程中未丢失，则说明带宽足够大，能够传输较大的视频帧，那么P帧和B帧就更不可能丢失。在下一个I帧到来之前，PSNR值就保持在111dB。但是，这两种方法也有区别，QualNet记录I帧中最后一个数据包丢失并造成错误传播，以至于接下来的视频序列PSNR值皆低于111dB。这些丢失帧的PSNR值均为0dB，是有片头丢失引起的，会导致视频不清晰。可见，如果只用UDP传输，则空间数据丢失的可能性会很大

③数据一致性分析

从数据一致性对比结果来看，传输前后10M、50M、100M和200M栅格地图DCT系数是一致的，说明本发明双协议传输方法具有可靠性。因此，可以得出结论，双协议传输具有可靠性，并且空间数据的内容和大小变化不影响其可靠性。

实验表明，本发明方法有效避免传输过程中空间数据丢失，保证了空间数据的安全性和完整性，实现对基于视频隐写的空间数据双协议传输，具有很强的实际应用价值，经济和社会效益巨大。

Claims (2)

1.一种基于视频隐写技术的空间数据双协议传输方法，其特征在于，包括以下步骤：

(1)、空间数据嵌入和视频读取：读取原始视频文件数据，并对原始视频文件数据进行压缩编码，提取运动向量及变化差值，然后，用基于DCT系数的H.264视频隐写算法嵌入空间数据，并对空间数据进行隐藏，由视频源滤波器读取嵌入空间数据后的H.264视频文件，并把数据发送给网络仿真连接器；

(2)、数据分离：利用语法分析器通过网络仿真器链接app_fdspvideo.cpp文件来启动，在传输前，语法分析器分析视频比特流，并把网络抽象层面单元的起始地址、长度、类型的语法信息发送给复用器，利用语法分析器将含有空间数据的DCT块和视频头文件从视频中分离出来，分离为空间数据、SPS/PPS、片头和余数据，复用器利用存储的语法信息判断实时传输协议数据包中的数据是否为空间数据块和重要参数，当为空间数据块和重要参数，则发送到传输控制协议通道，否则送给用户数据报协议通道；

(3)、数据传输：传输控制协议是面向流的协议，传输控制协议包中的数据被当作有顺序的比特流，传输控制协议不保留信息边界，使用QualNetConnector将RTP数据分包，分为数据段；

(4)、数据聚合：在接收端，用解复用器首先检查UDP通道和延迟的RTP数据包的时间戳，如果一个RTP数据包按时到达，就把该数据包和TCP通道中的RTP数据包合并，DEMUX负责合并准时的RTP数据包，并形成完整的视频文件，标准的UDP头不包含长度信息，因此UDP数据包的长度信息需要TCP段重组后才能获取，接收端判断当前TCP段中的RTP数据包头是否完整，当RTP包头完整时，就能根据包头中的RTP长度信息判断RTP数据是否完整；当完整，则与UDP数据包合并；当不完整，则等待下一个TCP段；

(5)、空间数据提取：对接收到的视频流进行解码和空间数据的提取，方法是，空间数据的提取是在数据聚合后及视频解码过程中进行，在视频写入滤波器把解码帧数据写为初始视频文件后，根据隐藏算法的逆运算提取含密宏块中的空间数据，经解码，得到原始视频文件。

2.根据权利要求1所述的基于视频隐写技术的空间数据双协议传输方法，其特征在于，所述的用基于DCT系数的H.264视频隐写算法嵌入空间数据，方法是，将视频图像分解为4×4的子块，并对这些子块分别进行DCT变换，使图像处于不同的频率状态，设图像子块为f(x,y)，DCT变换的高频部分为F(u,v)，低频部分为F(0,0)，二维DCT变换公式如下：

$\begin{array}{cc}F(0,0)=\frac{1}{N}\underset{x=0}{\overset{N-1}{\Σ}}\underset{y=0}{\overset{N-1}{\Σ}}f(x,y)& u,v=0\end{array}$

其中，4×4整数变换中N的值取4，公式中x和y指像素在空间域(对应一维的时间域)的坐标，u和v指频率域中的坐标，x,y,u,v的取值范围都是0-3，在视频解码的过程中，需要对图像进行反DCT变换，即IDCT，二维IDCT公式如下：

$\begin{array}{c}f\left(x,y\right)=\frac{1}{N}F\left(0,0\right)+\frac{2}{\sqrt{N}}\underset{x=1}{\overset{N-1}{\Σ}}F\left(u,0\right)\cos \[\frac{\mathrm{\π}}{2N}\left(2x+1\right)u\]\\ +\frac{2}{\sqrt{N}}\underset{y=1}{\overset{N-1}{\Σ}}F\left(0,v\right)\cos \[\frac{\mathrm{\π}}{2N}\left(2y+1\right)v\]\\ +\frac{2}{N}\underset{x=1}{\overset{N-1}{\Σ}}\underset{y=1}{\overset{N-1}{\Σ}}F\left(u,v\right)\cos \[\frac{\mathrm{\π}}{2N}\left(2x+1\right)u\]\cos \[\frac{\mathrm{\π}}{2N}\left(2y+1\right)v\]\end{array}$

图像细节集中在低频DCT系数中，而高频系数对图像几乎没有影响，舍弃高频系数，保留剩余的系数进行量化，将空间数据与DCT系数的最不重要位进行替换，来实现空间数据的隐写，在数据提取阶段，对每个视频图像进行反DCT变换，进而提取空间数据。