CN103747261B - 基于运动参考结构的h.264压缩域分层感知加密方法 - Google Patents

Abstract

本发明涉及基于运动参考结构的H.264压缩域分层感知加密方法，属于多媒体信息安全领域；该分层加密策略，从三个层次对加密数据进行选择，提高了加密的针对性，即帧层加密选择策略；宏块层加密选择策略；比特层加密选择策略；从三个层次对不同运动剧烈程度的视频序列动态地选择加密数据，保证对视频视觉质量最为重要的帧、宏块和比特被加密；本发明所述方法能对不同运动剧烈程度的视频序列均实现多粒度、大范围的视觉质量控制，可以满足不同多媒体应用的个性化需求。

Description

基于运动参考结构的H.264压缩域分层感知加密方法

技术领域

本发明涉及一种基于运动参考结构的H.264压缩域分层感知加密方法，属于多媒体信息安全领域。

背景技术

视频加密是一种能够保证视频信息完整性、机密性的有效手段。由于视频信息的数据量非常庞大，选择性加密就成为目前视频加密的主流方法。与完全加密不同，选择性加密是有选择地对数据中的重要信息进行加密，可以在加密安全性和计算复杂度之间达到折中。在某些重要的应用场合，如视频会议、视频电话等，加密需要保证任何视觉信息都不可见，且不能被攻击者重建，这类选择性视频加密算法被称为“完全保密”算法。然而，对于一些娱乐型的应用来说，如视频点播、付费电视和按次计费视频等，则无需“完全保密”。在这种情况下，加密算法只需要使加密视频的视觉质量下降到一定程度即可，此时仍有部分视频内容可以被感知。这种低质量的视频版本可以作为预览，以便吸引潜在用户购买高质量版本。为此，人们提出了感知视频加密机制。

感知视频加密通过一个质量控制因子P∈[0,1]来调整由于加密而导致的视频视觉质量下降程度，往往与加密强度相对应，且P值越大，代表加密强度越大。

H.264编码标准采用运动估计/补偿技术来有效去除时间冗余，从而可以大幅提高压缩效率。这种运动参考结构使得编码后的视频帧之间存在参考依赖性，如附图1所示，第n帧中的像素a会被第n+1帧中的像素b和c用作参考，同时第n+1帧中的像素b和c会被第n+2帧中的像素d、e和f用作参考，以此类推，直到该GOP(Group of Pictures)结束。显然，若后续帧中直接或间接参考像素a的像素数越多，则像素a与后续视频内容的相关性就越强。当像素a因加密而发生改变时，这种改变会沿着预测参考的方向扩散到后续帧中，导致后续视频内容也发生混乱。因此，本发明利用这种参考依赖性，提出了一种基于运动参考结构、适用于H.264压缩码流的分层感知加密方法，有效提高了感知加密的针对性和有效性。

发明内容

本发明提出了一种基于运动参考结构的H.264压缩域分层感知加密方法，具体框架如附图2所示；具体发明内容包括三个部分，

1、首先，定义一个“运动参考率”来描述H.264编码器的帧间参考依赖程度；通过对具有不同运动剧烈程度的视频序列的宏块运动参考率进行统计分析，建立视频内容的运动剧烈程度与运动参考率之间的对应关系。

本发明附图1给出了视频帧之间的像素参考关系，第n帧中第m个宏块的运动参考率γ(n,m)定义如下，

其中M_i,j(n)表示第n帧的运动参考映射，定义为后续帧中以第n帧中像素p(i,j)为运动预测参考(直接或间接)的像素点总数，MB(n,m)表示第n帧中第m个宏块，K表示一个宏块所包含的像素点个数。对于H.264编码视频，K＝16×16。

运动参考率和视频序列的运动剧烈程度密切相关，视频序列的运动剧烈程度越高，则宏块运动参考率的均值越小，标准方差越大。这是因为一方面，对于运动剧烈程度高的视频序列来说，P帧中包含的帧内编码宏块比运动剧烈程度低的视频序列要多，因此采用帧间预测模式的宏块数量相对要少，导致运动参考率的均值较小；另一方面，对于运动剧烈程度低的视频序列来说，其前后帧之间宏块的位移量较小，预测参考比较对应，因此一帧中各个宏块运动参考率的差异较小，导致运动参考率的标准方差较小。

附图3给出的是Foreman序列I帧各个宏块的运动参考率；总结起来，可以得出以下结论，宏块运动参考率的均值越小，标准方差越大，视频序列的运动剧烈程度就越高；一帧中运动参考率较小的宏块通常对应着运动相对剧烈的部分。

2、提出了一种分层加密策略，从三个层次对加密数据进行选择，提高了加密的针对性；

在帧层，根据运动剧烈程度动态地为每个GOP选择待加密的视频帧；在宏块层，根据宏块的运动参考率确定待加密的宏块；在码流比特层，则选择对视频重建质量最重要的比特进行加密；

2.1帧层加密选择策略

感知加密重点关注的是视觉质量，由于编码视频帧之间存在着参考依赖性，因此并不需要对GOP中的所有视频帧均加密；为了提高加密效率，本发明根据运动剧烈程度动态地为每个GOP选择加密的P帧数；确切地说，是利用运动参考率来确定加密的P帧数N_{P_enc}，公式如下，

其中N_GOP为GOP中的视频帧数，σ_I和E_I分别为当前GOP中I帧宏块运动参考率的标准方差和均值；由公式(2)可见，GOP的运动剧烈程度越高，其加密的P帧也就越多。

2.2宏块层加密选择策略

本发明根据每个宏块的运动参考率，将视频帧划分为运动相对剧烈的区域和运动相对平缓的区域，划分所采用的公式如下，

其中e(n,m)表示第n帧第m个宏块的划分结果，T(n)为第n帧的宏块运动参考率的均值；从公式(3)可以看出，当宏块运动参考率小于均值时，则判断该宏块属于运动剧烈的区域，否则判断为运动相对平缓的区域。

对于运动相对平缓的区域，由于其前后帧之间宏块的位移量较小，参考依赖性较强，这时只需加密I帧中这部分所对应的宏块就能使后续帧中相关的内容也发生混乱，无法被人眼感知，直到该GOP结束；对于运动相对剧烈的区域，考虑到前后帧之间宏块的位移量较大，参考依赖性较弱，所以无论是I帧还是P帧，这部分所对应的宏块都需要被加密。

即本发明提出的宏块选择方法为：对I帧的所有宏块和P帧中运动参考率小于均值的宏块进行加密。

2.3比特层加密选择策略

一个编码宏块所包含的码流信息很多，如IntraPredMode、MV、DCT系数等，这些信息的重要性程度不同，如果对所有信息比特均进行加密，不仅没有必要，也会造成加密效率的下降。

本发明中，采用帧内编码宏块选择对帧内预测模式码字和低频DCT系数的符号比特进行加密和帧间编码宏块选择对运动矢量残差码字进行加密的方法，实现加密效率的提高；采用帧内预测模式提取帧内4×4码字中的rem_intra4×4_pred_mode和帧内16×16码字的最后一个比特进行加密；而对于运动矢量残差，则采用提取码字中的整个信息后缀info_suffix进行加密的方法保持加密后码流格式的兼容性。

3、视频加密质量控制

本发明对帧层、宏块层和比特层的每一个层次均确定了一个质量控制因子，分别控制加密的帧数量、宏块数量和比特数目，可以为用户提供由粗粒度到细粒度的大范围视觉质量控制。

3.1帧层

本发明针对不同运动剧烈程度的GOP采用不同的质量控制策略实现加密帧数的控制；具体公式如下，

其中N_{qc_enc}为加密的P帧数量，P_F∈[0,1]为该层质量控制因子，N_{P_enc}由公式(2)确定，t为T为划分运动是否剧烈的阈值(本发明取0.7)。

3.2宏块层

本发明将运动参考率作为该宏块对视觉质量的重要性权重，并通过控制每帧中加密宏块的运动参考率总和来调整加密宏块数，公式如下，

Σγ'(n，m_{qc_enc})＝P_M∑γ'(n，m_enc) (5)

其中γ'(n,m)＝γ(n,m)+1为修改后的运动参考率，即加上该宏块本身，∑γ'(n，m_{qc_enc})为第n帧中加密宏块的运动参考率总和，P_M∈[0,1]为该层的质量控制因子，∑γ'(n，m_enc)为第n帧中由宏块选择策略确定的所有宏块的运动参考率总和；此外，根据公式(3)，每帧被划分为运动相对剧烈的区域和运动相对平缓的区域，而I帧的所有宏块均被选择用于加密，因此对于I帧，本发明对两个区域分开进行控制。

3.3比特层

由于本发明已选择对视频重建质量最为重要的比特进行加密，因此无需进一步区分这些比特的重要性程度，质量控制可以简单地表示为，

B_{qc_enc}＝P_BB_enc (6)

其中B_{qc_enc}为加密比特数，P_B∈[0,1]为该层质量控制因子，B_enc为宏块中由比特选择策略(见比特层加密策略)确定的比特总数，对于帧内编码宏块，B_enc＝B_{intrapredmode}+B_lowcoeffsign，对于帧间编码宏块，B_enc＝B_MVDSign+B_MVDLevel

本发明与现有技术相比，具有以下明显的优势和有益的效果。

本发明利用视频内容的运动剧烈程度与宏块运动参考率之间的对应关系，从三个层次对不同运动剧烈程度的视频序列动态地选择加密数据，保证对视频视觉质量最为重要的帧、宏块和比特被加密；同时，每层均有一个质量控制因子，分别控制被加密的帧数、宏块数和比特数，从而可以实现从粗粒度到细粒度的视觉质量控制；与以往的感知视频加密方法相比，其优势主要表现在，

1、计算复杂度低、执行速度快，能够满足视频应用的实时性要求。

2、加密更具有针对性，可以有效地保证所有被加密的数据都是压缩码流中对视频视觉质量最为重要的数据。

3、能够保持加密后的码流格式与H.264标准编解码器兼容，并且加密前后码流的压缩比不变。

4、能对不同运动剧烈程度的视频序列均实现多粒度、大范围的视觉质量控制，可以满足不同多媒体应用的个性化需求。

附图说明

图1视频帧之间的像素参考关系。

图2感知视频加密算法的实施示意图。

图3 Foreman序列I帧各个宏块的运动参考率。

具体实施方式

以下结合说明书附图，对本发明的具体实施例加以说明。

本发明提出的基于运动参考结构的H.264压缩域分层感知加密方法，该方法包括H.264编码视频的宏块运动参考率的统计、多层加密、质量控制，每个步骤具体采用的技术手段包括，

S1 H.264编码视频的宏块运动参考率统计，具体实现过程包括，

S1.1对H.264的压缩码流进行分析，若当前宏块为帧间编码宏块，记录宏块中每个像素的参考帧帧号和参考像素在参考帧中的横、纵坐标值，将该像素的运动参考映射值加1；如果该参考像素也属于帧间编码宏块，则根据之前的记录找到其参考像素的位置，将该像素的运动参考映射值加1，以此类推，直到参考像素属于帧内编码宏块；

S1.2重复步骤S1.1，统计所有像素的运动参考映射值；

S1.3对每个宏块所包含像素的运动参考映射值取平均得到宏块运动参考率；

S1.4计算每一编码帧的宏块运动参考率均值和方差。

S2进行分层加密数据的选择，具体实现过程包括，

S2.1从H.264的压缩码流中提取一个编码帧，若当前编码帧为帧内编码帧(I帧)，利用该帧的宏块运动参考率均值和方差确定当前GOP中帧间编码帧(P帧)数量；

S2.2从H.264的压缩码流中提取一个编码宏块，若当前宏块属于I帧，则选为加密宏块，若当前宏块属于P帧且其运动参考率小于当前帧的宏块运动参考率均值，则选为加密宏块；

若加密宏块为帧内编码宏块，则选取帧内预测模式和低频DCT系数符号为加密数据，若加密宏块为帧间编码宏块，则选取运动矢量残差符号和运动矢量残差幅值为加密数据。

S3进行加密视频的质量控制，具体实现过程包括，

S3.1给定质量控制因子P_F，并根据I帧的宏块运动参考率均值和方差，对当前GOP选择相应的质量控制策略来选择加密帧数；

S3.2给定质量控制因子P_M并计算阈值，若已加密宏块的运动参考率总和小于该阈值，则加密下一个加密宏块，否则不再加密当前帧中的其他宏块；

S3.3给定质量控制因子P_B作为加密比特数占所提取的总比特数的百分比，控制加密比特数。

S3.4从码流中提取待加密的比特，然后采用RC4加密算法对提取出的比特进行加密；最后，将加密后的比特重置到原来的码流中，以保证加密后的码流能与H.264标准兼容，同时保持视频的压缩比不变。

重复步骤S2～S3，直到加密完当前H.264码流中的所有编码帧。

Claims (7)

1.基于运动参考结构的H.264压缩域分层感知加密方法，其特征在于：该方法包括H.264编码视频的宏块运动参考率的统计、多层加密、质量控制，每个步骤具体采用的技术手段包括，

S1 H.264编码视频的宏块运动参考率统计，具体实现过程包括，

S1.1对H.264的压缩码流进行分析，若当前宏块为帧间编码宏块，记录宏块中每个像素的参考帧帧号和参考像素在参考帧中的横、纵坐标值，将该像素的运动参考映射值加1；如果该参考像素也属于帧间编码宏块，则根据之前的记录找到其参考像素的位置，将该像素的运动参考映射值加1，以此类推，直到参考像素属于帧内编码宏块；

S1.2重复步骤S1.1，统计所有像素的运动参考映射值；

S1.3对每个宏块所包含像素的运动参考映射值取平均得到宏块运动参考率；

S1.4计算每一编码帧的宏块运动参考率均值和方差；

S2进行分层加密数据的选择，具体实现过程包括，

S2.1从H.264的压缩码流中提取一个编码帧，若当前编码帧为帧内编码帧即I帧，利用该帧的宏块运动参考率均值和方差确定当前GOP中帧间编码帧即P帧数量；

S2.2从H.264的压缩码流中提取一个编码宏块，若当前宏块属于I帧，则选为加密宏块，若当前宏块属于P帧且其运动参考率小于当前帧的宏块运动参考率均值，则选为加密宏块；

若加密宏块为帧内编码宏块，则选取帧内预测模式和低频DCT系数符号为加密数据，若加密宏块为帧间编码宏块，则选取运动矢量残差符号和运动矢量残差幅值为加密数据；

S3进行加密视频的质量控制，具体实现过程包括，

视频感知加密中质量控制因子P用于调整视觉质量的下降程度，往往与加密强度相对应，P∈[0,1]，且P值越大，代表加密强度越大；

S3.1给定帧层质量控制因子P_F，并根据I帧的宏块运动参考率均值和方差，对当前GOP选择相应的质量控制策略来选择加密帧数；

S3.2给定宏块层质量控制因子P_M并计算阈值，若已加密宏块的运动参考率总和小于该阈值，则加密下一个加密宏块，否则不再加密当前帧中的其他宏块；

S3.3给定比特层质量控制因子P_B作为加密比特数占所提取的总比特数的百分比，控制加密比特数；

S3.4从码流中提取待加密的比特，然后采用RC4加密算法对提取出的比特进行加密；最后，将加密后的比特重置到原来的码流中，以保证加密后的码流能与H.264标准兼容，同时保持视频的压缩比不变；

重复步骤S2～S3，直到加密完当前H.264码流中的所有编码帧。

2.根据权利要求1所述的基于运动参考结构的H.264压缩域分层感知加密方法，其特征在于所述H.264编码视频的宏块运动参考率统计具体包括以下步骤：首先，定义一个“运动参考率”来描述H.264编码器的帧间参考依赖程度；通过对具有不同运动剧烈程度的视频序列的宏块运动参考率进行统计分析，建立视频内容的运动剧烈程度与运动参考率之间的对应关系；

依视频帧之间的像素参考关系，第n帧中第m个宏块的运动参考率γ(n,m)定义如下，

其中M_i,j(n)表示第n帧的运动参考映射，定义为后续帧中以第n帧中像素p(i,j)为运动预测参考的像素点总数，MB(n,m)表示第n帧中第m个宏块，K表示一个宏块所包含的像素点个数；对于H.264编码视频，K＝16×16。

3.根据权利要求1所述的基于运动参考结构的H.264压缩域分层感知加密方法，其特征在于所述的分层加密数据的选择具体包括以下内容：一种分层加密策略，从三个层次对加密数据进行选择，提高了加密的针对性；

在帧层，根据运动剧烈程度动态地为每个GOP选择待加密的视频帧；在宏块层，根据宏块的运动参考率确定待加密的宏块；在码流比特层，则选择对视频重建质量最重要的比特进行加密；

3.1帧层加密选择策略

感知加密重点关注的是视觉质量，由于编码视频帧之间存在着参考依赖性，因此并不需要对GOP中的所有视频帧均加密；为了提高加密效率，本方法根据运动剧烈程度动态地为每个GOP选择加密的P帧数；确切地说，是利用运动参考率来确定加密的P帧数N_{P_enc}，公式如下，

其中N_GOP为GOP中的视频帧数，σ_I和E_I分别为当前GOP中I帧宏块运动参考率的标准方差和均值；由公式(2)可见，GOP的运动剧烈程度越高，其加密的P帧也就越多；

3.2宏块层加密选择策略

本方法根据每个宏块的运动参考率，将视频帧划分为运动相对剧烈的区域和运动相对平缓的区域，划分所采用的公式如下，

其中e(n,m)表示第n帧第m个宏块的划分结果，T(n)为第n帧的宏块运动参考率的均值；从公式(3)可以看出，当宏块运动参考率小于均值时，则判断该宏块属于运动剧烈的区域，否则判断为运动相对平缓的区域；

对于运动相对平缓的区域，由于其前后帧之间宏块的位移量较小，参考依赖性较强，这时只需加密I帧中这部分所对应的宏块就能使后续帧中相关的内容也发生混乱，无法被人眼感知，直到该GOP结束；对于运动相对剧烈的区域，考虑到前后帧之间宏块的位移量较大，参考依赖性较弱，所以无论是I帧还是P帧，这部分所对应的宏块都需要被加密；

即本方法提出的宏块选择方法为，对I帧的所有宏块和P帧中运动参考率小于均值的宏块进行加密；

3.3比特层加密选择策略

采用帧内编码宏块选择对帧内预测模式码字和低频DCT系数的符号比特进行加密和帧间编码宏块选择对运动矢量残差码字进行加密的方法，实现加密效率的提高。

4.根据权利要求1所述的基于运动参考结构的H.264压缩域分层感知加密方法，其特征在于：所述的视频加密质量控制具体包括以下内容：对帧层、宏块层和比特层的每一个层次均确定了一个质量控制因子，分别控制加密的帧数量、宏块数量和比特数目，可以为用户提供由粗粒度到细粒度的大范围视觉质量控制；

4.1帧层

针对不同运动剧烈程度的GOP采用不同的质量控制策略实现加密帧数的控制；具体公式如下，

其中N_{qc_enc}为加密的P帧数量，P_F∈[0,1]为该层质量控制因子，N_{P_enc}由公式(2)确定，t为T为划分运动是否剧烈的阈值；

4.2宏块层

本方法将运动参考率作为该宏块对视觉质量的重要性权重，并通过控制每帧中加密宏块的运动参考率总和来调整加密宏块数，公式如下，

∑γ'(n,m_{qc_enc})＝P_M∑γ'(n,m_enc) (5)

其中γ'(n,m)＝γ(n,m)+1为修改后的运动参考率，即加上该宏块本身，∑γ'(n,m_{qc_enc})为第n帧中加密宏块的运动参考率总和，P_M∈[0,1]为该层的质量控制因子，∑γ'(n,m_enc)为第n帧中由宏块选择策略确定的所有宏块的运动参考率总和；此外，根据公式(3)，每帧被划分为运动相对剧烈的区域和运动相对平缓的区域，而I帧的所有宏块均被选择用于加密，因此对于I帧，对两个区域分开进行控制；

4.3比特层

由于已选择对视频重建质量最为重要的比特进行加密，因此无需进一步区分这些比特的重要性程度，质量控制可以简单地表示为，

B_{qc_enc}＝P_BB_enc (6)

其中B_{qc_enc}为加密比特数，P_B∈[0,1]为该层质量控制因子，B_enc为宏块中由比特选择策略确定的比特总数。

5.根据权利要求1或2所述的基于运动参考结构的H.264压缩域分层感知加密方法，其特征在于：步骤S1中运动参考率和视频序列的运动剧烈程度密切相关，视频序列的运动剧烈程度越高，则宏块运动参考率的均值越小，标准方差越大。

6.根据权利要求1或3所述的基于运动参考结构的H.264压缩域分层感知加密方法，其特征在于：在比特层加密选择策略中，可采用帧内预测模式提取帧内4×4码字中的rem_intra4×4_pred_mode和帧内16×16 码字的最后一个比特进行加密；而对于运动矢量残差，则采用提取码字中的整个信息后缀info_suffix进行加密的方法保持加密后码流格式的兼容性。

7.根据权利要求1或4所述的基于运动参考结构的H.264压缩域分层感知加密方法，其特征在于：B_enc为宏块中由比特选择策略确定的比特总数，

对于帧内编码宏块，B_enc＝B_{intrapredmode}+B_lowcoeffsign；

对于帧间编码宏块，B_enc＝B_MVDSign+B_MVDLevel；

B_{intrapredmode}为帧内预测模式,B_lowcoeffsign为低频DCT系数B_MVDSign为运动矢量残差，B_MVDLevel为运动矢量残差幅值。