CN103747258B - 一种高性能视频编码标准的加密处理方法 - Google Patents

Abstract

本发明公开了一种高性能视频编码标准的加密处理方法，该方法包括：根据用户输入的加密指令，判断当前视频帧是否采用感兴趣区域（ROI）加密；若是，则利用跟踪检测算法（TLD）从已编码的视频帧中计算出当前视频帧的ROI区域，配合有限制性的运动搜索和有限制性的模式选择，并对该ROI区域中所提出的待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成ROI区域加密；否则，对当前视频帧中所提出的待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成全帧加密。通过采用本发明公开的方法实现了高性能视频的全帧加密与ROI区域的加密。

Description

一种高性能视频编码标准的加密处理方法

技术领域

本发明涉及视频编码技术领域，尤其涉及一种高性能视频编码标准(HEVC)的加密处理方法。

背景技术

数字视频技术在视频监控系统和互联网等方面获得了日益广泛的应用，各种监控设备和在线视频应用层出不穷。虽然视频信息具有一系列优点，如直观性、确切性、高效性、广泛性等，但是由于视频信息量太大，如果不经过压缩直接使用原始数据，一个普通的电影就会占用几十甚至几百GB的空间，这些数据如果是从互联网上下载的话，那以现有的带宽，下载时间长得不可接受。另外，由于某些特殊的视频的保密特性以及一些视频的版权保护性质，非授权或免费用户没有权利观看原始的正常视频内容，在传输视频之前需要对视频做出一些保护处理。因此，为了解决视频编码压缩问题，标准委员会提出了各种不同的视频编码标准。

2013年1月，国际电信联盟远程通信标准化组（ITU-T/ISO）正式公布了高性能视频编码标准(HEVC)，相比于以往的压缩标准，高性能视频编码具有出众的性能，与之前的H.264/AVC视频编码标准相比，在相同的图像质量之下，高性能视频编码可以节省50%的码率；在相同的码率要求之下，编码输出的图像质量有了明显的提高，因此它在国际上受到了广泛地重视和欢迎。

新的高性能视频编码相比于H.264/AVC的编码的块结构有了很明显的变化。H.264/AVC采用几种固定的块尺寸以及少量的预测模式作为其预测编码的模式备选方案，而高性能视频编码采用递归的四叉树结构，把编码的块分成编码单元（Coding Unit,CU）、预测单元（Prediction Unit,PU）和变换单元（Transform Unit,TU），对不同的单元进行递归划分处理，并且其预测模式更多。

在高性能视频编码之上做加密处理一般要保证两个基础要求，第一个是编码加密之后要保证码流的格式兼容性，另一个是要保证编码的效率。码流格式的兼容性是指加密之后的高性能视频编码的码流依然可以由标准的正常高性能视频解码器解码，只是输出的对应图像是错误的图像。编码的效率的保证指的是加密之后的码流相较于未进过加密处理的码流，其码率增长不能过大。

现有技术中，H.264/AVC和SVC标准上有许多加密方案，通常可以利用CABAC（基于上下文的自适应二进制算术编码）或者CAVLC（基于上下文的自适应变长编码）编码实现，可以选择帧内编码的模式信息，帧间编码的块划分模式信息，运动矢量或者运动矢量差信息和离散余弦变换信息等来进行加密。

而高性能视频编码的熵编码部分采用的是CABAC编码，相对于H.264/AVC而言，CAVLC之上的加密方案无法被高性能视频编码采用。由于高性能视频编码的递归四叉树结构和新的编码语法元素的约束，会导致原先在H,264/AVC上码流格式兼容的加密方案的码流格式兼容性失效。新的语法元素相比较于H.264/AVC的语法元素有很多的变化和更新，新的编码工具和新的编码语法元素是否可以在高性能视频编码之上被用来作为加密的对象需要进一步的测试和分析。此外，之前的许多加密方案很少处理了感兴趣区域（ROI）视频的加密方式，大多没有考虑到自动跟踪感兴趣区域的视频加密处理。

发明内容

本发明的目的是提供一种高性能视频编码标准(HEVC)的加密处理方法，实现了高性能视频的全帧加密与ROI区域的加密。

本发明的目的是通过以下技术方案实现的：

一种高性能视频编码标准的加密处理方法，该方法包括：

根据用户输入的加密指令，判断当前视频帧是否采用感兴趣区域ROI加密；

若是，则利用跟踪检测算法TLD从已编码的视频帧中计算出当前视频帧的ROI区域，并对该ROI区域中待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成ROI区域加密；

否则，对当前视频帧中待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成全帧加密。

由上述本发明提供的技术方案可以看出，通过对预定区域中的待加密语法元素和/或DCT（Discrete Cosine Transform，离散余弦变换）变换的直流系数进行加密，可以实现视频帧的全帧加密与ROI区域加密，可以适用于视频监控或者在线视频版权保护等采用高性能视频编码标准的视频加密应用。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例一提供的一种高性能视频编码标准的加密处理方法的流程图；

图2为本发明实施例一提供的ROI区域边界处理和运动矢量搜索限制的示意图；

图3为本发明实施例一提供的一种高性能视频编码标准的加密处理方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

图1为本发明实施例一提供的一种高性能视频编码标准的加密处理方法的流程图。如图1所示，该方法主要包括如下步骤：

步骤11、根据用户输入的加密指令，判断当前视频帧是否采用感兴趣区域（ROI）加密；若是，则转入步骤12进行ROI区域加密；否则，转入步骤13进行全帧加密。

本发明中可以根据用户输入的加密方式，对当前视频帧进行全帧加密，或者进行ROI区域加密。

步骤12、利用跟踪检测算法Tracking Learning Detection（TLD）从已编码的视频帧中计算出当前视频帧的ROI区域，并对该ROI区域中待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成ROI区域加密。

本步骤用于实现对当前帧的ROI区域进行加密，可以利用高性能视频编码标准的Tiles的划分，使得某个Tile正好对应于要加密的ROI区域；然后一个Tile对应编码的一个分片，对当前视频帧进行编码。编码每一帧视频需要使用TLD算法利用已编码的视频图像计算出目标的确定范围，然后重复之前的划分Tiles的操作继续编码后续的视频帧。

本发明实施例中可以利用TLD算法从已编码的视频帧中学习ROI区域的特征，并利用所学的ROI区域的特征在当前视频帧中分析出对应的ROI区域的坐标。

在编码加密过程中，随着感兴趣区域的坐标的变化，相应的Tiles的划分配置在发生变化，一旦当前编码帧的Tiles的划分和上一个编码帧的Tiles的划分不同的时候，为了使的解码器知道编码分片的变化，需要在编码端重传图像参数集（PPS）数据包。

另外，在分离独立的感兴趣区域需要对编码端感兴趣区域边界的1/4精度运动矢量上采样滤波做出特殊处理，对编码器的帧间编码的运动矢量搜索过程需要做出一些限制，并且在编码端的一些特殊的模式上的运动矢量的计算也要做出对应的限制；具体的如下：

1）如图2所示，在分离ROI区域时，对ROI区域边界的运动矢量上采样滤波的影响区域进行外扩处理；由于参考帧中ROI区域内部的像素在加密解码之后的运动补偿的过程中会产生错误，ROI区域外边界像素会利用ROI内部的错误像素来计算上采样，因此参考帧中ROI区域对运动矢量的影响需要进行如图2虚线所示的外扩。

2）在P帧（前向预测帧）与B帧（双向预测帧）运动估计过程中，对其参考帧进行上采样滤波处理获得1/4精度的运动矢量，且确保其参考帧中对运动矢量的搜索在当前块的偏移所形成的参考块与ROI区域边界的运动矢量上采样滤波影响范围的矩形区域不能产生交集。在图2中，参考块与上采样滤波影响范围的矩形区域有一个灰色的矩形交集区域，交集内部的像素在解码运动补偿的过程中会产生错误，这样会导致当前块的运动补偿也会出错。在编码的率失真模式选择过程中，永远不选择出现可以导致产生交集的运动矢量。

3）由于Skip（跳跃）模式和Merge（合并）模式的运动矢量不是由运动估计的计算中所产生的。因此，在Skip模式与Merge模式中，其候选运动矢量列表中的参考块与上采样滤波影响范围的矩形区域不能产生交集。

在Skip和Merge模式选择过程中，其候选的其中一个1/4精度的运动矢量在当前块所生成的参考块是B_ref，外扩后的上采样滤波影响范围的矩形为B_effect，M表示RDCost（率失真优化消耗）可以被选取的最大值，则可以计算出当前的重定义的率失真损失RDCost：

RDCost一旦取到极值M，编码器的最优模式选择过程中不会选择到该模式，从而避免出现错误。正常情况之下RDCost使用普通的率失真优化，其中J代表当前运动矢量所产生的估计误差，R代表编码运动矢量需要的比特数，λ代表损失和比特数的比例系数。

同理，若情况2）中存在交集区域，则在对应的率失真优化中将其优化消耗设置成可选的最大值，使得在最优模式选择中无法选择到此模式。

另一方面，本发明实施例为了满足编码加密的码流格式兼容性，需要使得加密之后的语法元素仍然是合理的语法元素，熵编码的二值化过程中定长码和指数哥伦布编码的后缀是满足要求的。为了满足编码效率的需求，本发明实施例提供编码效率无损失与编码效率有损两种方式。其中，编码效率无损失的加密可以通常在熵编码的Bypass的语法元素上面进行，编码效率有损失通常在熵编码的非Bypass的语法元素的选择。

在选择过程中，一些滤波器在编码端的配置中可以关掉也可以打开。如果选取了和那些滤波器相关的语法元素作为加密的对象，相关加密过程可能会被用户关闭掉，所以对应于相关滤波器的一些语法元素不适合作为待加密的语法元素。

通过实验和分析，本发明实施例所述的编码效率无损失的Bypass语法元素及编码效率有损失的非Bypass语法元素如表1所示。

其中，Bypass EG0代表使用零阶指数哥伦布编码的Bypass语法元素，Bypass EG1代表使用一阶指数哥伦布编码的Bypass语法元素，Bypass FL代表使用Fixed Length（定长）编码的Bypass语法元素，Unary指的是一元码，TU指的是Truncated Unary（一元截断码）。

对上述语法元素进行加密时，首先要获得每一待加密语法元素的合法取值集合（表1中所列举出来的可加密的语法元素表格中，每种语法元素会有若干种可以选择的合法的取值），将当前合法取值集合中每一合法取值使用加密算法（例如，RSA或者DES等加密算法）映射到当前语法元素的另外一个合法取值上。

示例性的，上述每种语法元素使用S_i(1≤i≤8)来表示，S_i‘代表加密之后的语法元素，f_enc是该映射所采用的加密算法，V_i(1≤i≤8)代表每种S_i的合法取值集合，利用RSA或者DES对语法元素进行映射：

S′_i←{f_enc(S_i)∈V_i}；

熵编码对映射后的语法元素S_i'进行编码，得到对应的加密码流。由于映射之后的数值在解码过程中会导致解码器解码出现错误的取值，因此，可使得解码输出的图像出现错误。

进一步的，还可以同时对离散余弦变换（DCT）的直流系数进行紊乱处理。

设DCT变换的像素块大小为N×N，像素值为x(i,j)，则其二维DCT变换为：

$Z(u,v)=\frac{2}{N}C\left(u\right)C\left(v\right)\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}x(i,j)\cos \left[\frac{(2i+1)\mathrm{u\π}}{2N}\right]\cos \left[\frac{(2i+1)\mathrm{v\π}}{2N}\right];$

其中u,v=0,,1,2…N-1

$C\left(u\right),C\left(v\right)=\left\{\begin{array}{cc}1/\sqrt{2}& u,v=0\\ 1& u,v\≠0\end{array}\right.;$

当只选取DCT变换的直流系数的时候，u和v都为0。

使用E{x(i,j)}代表计算像素值的期望，此时DCT直流系数退化为如下结果：

$Z=\left(\mathrm{0,0}\right)=\frac{1}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}x(i,j)=E\left\{x(i,j)\right\};$

此时可以明显看出DCT直流系数已经退化成求取像素值的期望均值。

另外，可以利用Fisher–Yates（洗牌算法）紊乱算法将DCT的直流系数的组合打乱，做出紊乱的错误组合；由于DCT的直流系数代表了图像块像素值的均值，这样可以紊乱图像的均值分布，同时由于只紊乱了其中的直流分量，所以对编码效率的损失较小。

步骤13、对当前视频帧中待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成全帧加密。

本步骤中对当前视频帧进行全帧加密，其中对待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理的步骤与步骤12中的过程类似，故不再赘述。具体的处理流程可参见图3。

本发明实施例通过对预定区域中的待加密语法元素和/或DCT变换的直流系数进行加密，可以实现视频帧的全帧加密与ROI区域加密，可以适用于视频监控或者在线视频版权保护等采用高性能视频编码标准的视频加密应用。

另一方面，为了验证本发明的技术方案的效果，下面与现有的加密技术进行对比。

在现有的加密技术方案中，没有提供任何关于高性能视频编码相关的加密技术方案，在H.264/AVC和SVC相关的加密技术中采用的加密语法元素对象已经无法适应新的编码标准，并且在H.264/AVC和SVC相关的加密技术中也没有提供任何和ROI跟踪相结合的方案，大多数的加密方案甚至无法支持ROI相关的加密，且很少能同时在码流和频率域（DCT直流系数）支持加密。

现在对之前旧的视频加密的代表性方案经行详细的对比，列于表2所述：

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种高性能视频编码标准的加密处理方法，其特征在于，该方法包括：

根据用户输入的加密指令，判断当前视频帧是否采用感兴趣区域ROI加密；

若是，则利用跟踪检测算法TLD从已编码的视频帧中计算出当前视频帧的ROI区域，并对该ROI区域中待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成ROI区域加密；其中，在分离ROI区域时，对ROI区域边界的运动矢量上采样滤波的影响区域进行外扩处理；在前向预测P帧与双向预测B帧的运动估计过程中，对其参考帧进行上采样滤波处理获得1/4精度的运动矢量；且确保其参考帧中对运动矢量的搜索在当前块的偏移所形成的参考块与上采样滤波影响范围的矩形区域不能产生交集；若存在交集区域，则在对应的率失真优化中将其优化消耗设置成可选的最大值，使得在最优模式选择中无法选择到此模式；

否则，对当前视频帧中待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理，完成全帧加密。

2.根据权利要求1所述的方法，其特征在于，所述利用跟踪检测算法TLD从已编码的视频帧中计算出当前视频帧的ROI区域包括：

利用TLD算法从已编码的视频帧中学习ROI区域的特征，并利用所学的ROI区域的特征在当前视频帧中分析出对应的ROI区域的坐标。

3.根据权利要求1或2所述的方法，其特征在于，该方法还包括：

若当前视频帧的ROI区域与已编码视频帧ROI区域的坐标不一致，则重新将图像参数集PPS打包传递。

4.根据权利要求1所述的方法，其特征在于，

在跳跃Skip模式与合并Merge模式中，其候选运动矢量列表中的运动矢量对应的参考块与上采样滤波影响范围的矩形区域不能产生交集；

若存在交集区域，则在对应的率失真优化中将其优化消耗设置成可选的最大值，使得在最优模式选择中无法选择到此模式。

5.根据权利要求1或4所述的方法，其特征在于，所述在对应的率失真优化消耗表示为：

其中，所述M表示率失真优化消耗RDCost可以被选取的最大值，B_ref表示候选的1/4精度的运动矢量在当前块所生成的参考块，B_effect表示外扩后的上采样的滤波影响范围；J代表当前运动矢量所产生的估计误差，R代表编码运动矢量需要的比特数，λ代表损失和比特数的比例系数。

6.根据权利要求1所述的方法，其特征在于，所述待加密的语法元素包括：

编码效率无损失的Bypass语法元素，以及编码效率有损失的非Bypass语法元素.

7.根据权利要求6所述的方法，其特征在于，

所述编码效率无损失的Bypass语法元素包括：Bypass EG0、Bypass EG1及BypassFL特征下的语法元素；

所述编码效率有损失的非Bypass语法元素包括：Unary与TU特征下的语法元素。

8.根据权利要求1或6或7所述的方法，其特征在于，对待加密的语法元素和/或离散余弦变换DCT的直流系数进行紊乱加密处理包括：

对待加密的语法元素进行加密处理：获得每一待加密语法元素的合法取值集合，将当前合法取值集合中每一合法取值使用加密算法映射到当前语法元素的另外一个合法取值上；其表示为：

S_i'←{f_enc(S_i)∈V_i}；

其中，所述Si待加密的语法元素，fenc表示所采用的加密算法，S_i'代表加密之后的语法元素，V_i代表每种S_i的合法取值集合；

和/或，对DCT的直流系数进行紊乱处理：将DCT的直流系数的组合打乱，做出紊乱的错误组合。

9.根据权利要求8所述的方法，其特征在于，所述将DCT的直流系数的组合打乱，做出紊乱的错误组合包括：

利用洗牌算法Fisher–Yates将DCT的直流系数的组合打乱，做出紊乱的错误组合。