CN103763567B - 一种应用于监控视频隐私保护的压缩域失真漂移补偿方法 - Google Patents

Abstract

本发明公开了一种应用于监控视频隐私保护的失真漂移补偿方法，包括：I帧补偿块定位，以判定出I帧中哪些块是需要进行补偿的块，P帧定补偿块定位，以判定出P帧中哪些块是需要进行补偿的块，获取像素域补偿信号和压缩域补偿信号，对其进行熵编码并使之作为补偿块的残差数据，以使得非隐私区域画面清晰无失真。本发明能够保证去除失真的同时不改变I帧块帧内预测模式和P帧块运动向量，无需对视频重新编码，就可以去除非隐私区域的失真，省略了帧内预测和帧间运动估计过程，减少了隐私保护的时间消耗。

Description

一种应用于监控视频隐私保护的压缩域失真漂移补偿方法

技术领域

本发明属于多媒体安全领域，更具体地，涉及一种应用于监控视频隐私保护的压缩域失真漂移补偿方法。

背景技术

H.264/AVC是当前主流视频编码格式，它具有编码效率高、图像质量高、具有网络适应能力、编码选项较少、有错误恢复功能等优点，所以它被广泛应用于监控视频的压缩。

近些年，随着监控视频的大力推广，公民的个人隐私保护问题越来越收到关注。在压缩域对视频的隐私区域（比如人脸、车牌等）加密是监控视频隐私保护的有效手段。隐私保护的目的要做到视频隐私区域不可理解，非隐私区域画面清晰。但是，由于视频编码标准中，高强度的数据依赖性，在隐私区域加密产生的扰乱信号会漂移到非隐私区域。这是非隐私区域失真产生的原因。

当前解决失真漂移问题主要是从编码端来限制帧内块的预测模式，修改帧间块的运动向量。通过这两种方式，使得I帧和P帧的非隐私区域块不参照隐私区域进行预测编码。这种方法的优势在于从根本上杜绝了失真出现的可能性，但其存在的问题是，对已经编码的视频，因为部分块的预测模式和运动向量要改变，必须被完全解码到像素域，并重新做帧内预测和运动估计过程以完成一次编码，因此耗时太高。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种应用于监控视频隐私保护的压缩域失真漂移补偿方法，其目的在于，解决现有方法中 存在的耗时高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种应用于监控视频隐私保护的压缩域失真漂移补偿方法，包括以下步骤：

（1）对视频的I帧和P帧进行解码，以分别获取I帧块的帧内预测模式和P帧块的运动向量；

（2）根据I帧块的帧内预测模式并结合I帧的隐私区域范围判断I帧块是否是I帧补偿块，如果是则转入步骤（4），否则过程结束；

（3）根据P帧块的运动向量并结合P帧的隐私区域范围判断P帧块是否是P帧补偿块，如果是则转入步骤（4），否则过程结束；

（4）获取并存储I帧补偿块或P帧补偿块的亮度值；

（5）再次对视频的I帧和P帧进行解码，在解码过程中扰乱I帧或P帧的隐私区域中I帧块或P帧块的非零系数符号位，并获取和存储I帧补偿块或P帧补偿块的错误亮度值；

（6）将步骤（4）获取的亮度值减去步骤（5）获取的错误亮度值，并根据H.264标准对差值进行整数变换和量化，以生成压缩域补偿信号，并对压缩域补偿信号进行熵编码。

优选地，步骤（2）中，对于非隐私区域中的I帧块，通过其帧内预测模式可以得出其参考块，如果这些参考块中有隐私区域块，那么该I帧块就是一个I帧补偿块，否则该I帧块不是一个I帧补偿块。

优选地，步骤（3）包括以下子步骤：

（3-1）设置计数器i=1；

（3-2）判断i是否小于等于16，如果是则转入步骤（3-3），否则转入步骤（3-10）；

（3-3）通过下式获取非隐私区域中P帧块的第i个像素点在其参考帧中参考点p_ref的位置(yref，xref)：

$\left\{\begin{array}{c}\mathrm{yref}=4*y+\mathrm{mvy}\\ \mathrm{xref}=4*x+\mathrm{mvx}\end{array}\right.$

其中(y,x)表示第i个像素点在P帧的位置，(mvy,mvx)表示P帧块的运动向量；

（3-4）判断参考点p_ref是否是一个整像素点，如果是则转入步骤（3-5），否则转入步骤（3-7）；

（3-5）判断该整像素点是否是否处于P帧的隐私区域中，如果是则表示P帧块是P帧补偿块，然后过程结束，否则转入步骤（3-6）；

（3-6）设置i=i+1，然后返回步骤（3-2）；

（3-7）判断参考点p_ref是否是一个半像素点，如果是则转入步骤（3-8），否则表示该参考点p_ref是一个1/4像素点，然后转入步骤（3-9）；

（3-8）结合六抽头滤波算法计算出与参考点p_ref相关的6个整像素点，然后返回步骤（3-5）；

（3-9）通过线性插值法计算出该1/4像素点相关的两个像素点，并判断这两个像素点是全部为半像素点，还是一个是整像素点，另一个是半像素点，如果全部是半像素点，则返回步骤（3-8），否则对整像素点返回步骤（3-5），对半像素点返回步骤（3-8）；

（3-10）将P帧块标记为不是P帧补偿块，然后过程结束。

优选地，步骤（4）具体为，在解码器上将I帧补偿块或P帧补偿块完全解码到像素域，并将解码后I帧补偿块或P帧补偿块的亮度值临时存储起来，这些亮度值是正确的亮度值。

优选地，步骤（5）中的扰乱方法具体为，针对每一个隐私区域中的I帧块或P帧块，通过伪随机数生成器生成一个伪随机数，这个随机数的2进制表示的第j位对应该I帧块或P帧块的第j个AC系数，其中j的取值是1至15之间的正整数，如果第j位为1，则将其对应的AC系数的符号置反，否则不变。

优选地，步骤（6）具体为，将第（4）步获取的亮度值减去步骤（5）获取的错误亮度值，该差值即为I帧补偿块或P帧补偿块的像素域补偿信号，然后将像素域补偿信号进行变换、量化，其中变换采用的是整数变换的方式，量化时候采用的量化参数与原视频编码时采用的量化参数是相同的，变换量化之后得到的就是补偿块的系数，最后对这些系数进行熵编码，得到01比特流，以替换I帧补偿块或P帧补偿块的系数所占比特流。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

（1）本发明耗时低：由于采用了步骤（5）和步骤（6）步骤，只需要对视频进行解码，并对像素域补偿信号做变换量化操作，无需对视频完全解码并重新编码。因此，与现有方案相比本发明的耗时低。在开源的编解码器JM16.0上，针对于baseline级别的视频，本发明耗时是现有方案的2%左右。

（2）由于该发明无需重新对I帧执行帧内预测过程，也无需对P帧执行运动估计过程，因此视频结构没有变。

（3）由于本发明采用扰乱DCT系数符号的加密算法，所以加解密过程计算简单。

（4）由于本发明采用扰乱DCT系数符号的加密算法，只需要改变一个比特位，而不会引入新的比特位，所以码率增加很低。

附图说明

图1是本发明应用于监控视频隐私保护的压缩域失真漂移补偿方法的流程图。

图2是本发明方法中步骤（3）的细化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体 实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以下首先就本发明的技术术语进行解释和说明：

I帧补偿块：视频I帧非隐私区域内参照隐私区域进行帧内预测的块。这些块大部分位于I帧隐私区域边缘。

P帧补偿块：视频P帧非隐私区域内参照隐私区域进行帧间预测的块。这些块大部分位于P帧隐私区域边缘。

本发明的整个过程可以在视频H.264/AVC解码器上完成。这里以开源的JM16.0举例，用户只需要对解码器稍做修改，添加量化的离散余弦变换（Distributed CosineTransform，简称DCT）系数熵编码的少量代码即可。

如图1所示，本发明应用于监控视频隐私保护的压缩域失真漂移补偿方法包括以下步骤：

（1）对视频的I帧和P帧进行解码，以分别获取I帧块的帧内预测模式（Intraprediction mode，简称IPM）和P帧块的运动向量（Motion vector，简称MV）；

（2）根据I帧块的帧内预测模式并结合I帧的隐私区域范围判断I帧块是否是I帧补偿块，如果是则转入步骤（4），否则过程结束；具体而言，I帧的隐私区域范围是用户指定的，剩余的区域都是非隐私区域，对于非隐私区域中的I帧块，通过其帧内预测模式可以得出其参考块，如果这些参考块中有隐私区域块，那么该I帧块就是一个I帧补偿块，否则不是。比如当前非隐私区域中的I帧块的预测模式为对角线左下方向预测，那么它的参考块有该I帧块的上方块、左上方块和左边块，如果这三个块中有至少一个块处于隐私区域中，那么该I帧块就是一个I帧补偿块；

（3）根据P帧块的运动向量并结合P帧的隐私区域范围判断P帧块是否是P帧补偿块，如果是则转入步骤（4），否则过程结束；具体而言，P 帧的隐私区域是用户指定的，剩余的区域都是非隐私区域，如图2所示，本步骤包括以下子步骤：

（3-1）设置计数器i=1；

（3-2）判断i是否小于等于16，如果是则转入步骤（3-3），否则转入步骤（3-10）；具体而言，每个P帧块包括16个像素点；

（3-3）通过下式获取非隐私区域中P帧块的第i个像素点在其参考帧中参考点p_ref的位置(yref，xref)：

$\left\{\begin{array}{c}\mathrm{yref}=4*y+\mathrm{mvy}\\ \mathrm{xref}=4*x+\mathrm{mvx}\end{array}\right.$

其中(y,x)表示第i个像素点在P帧的位置，(mvy,mvx)表示P帧块的运动向量；

（3-4）判断参考点p_ref是否是一个整像素点，如果是则转入步骤（3-5），否则转入步骤（3-7）；具体而言，如果yref和xref都是4的倍数，则表示该参考点p_ref是一个整像素点；

（3-5）判断该整像素点是否是否处于P帧的隐私区域中，如果是则表示P帧块是P帧补偿块，然后过程结束，否则转入步骤（3-6）；

（3-6）设置i=i+1，然后返回步骤（3-2）；

（3-7）判断参考点p_ref是否是一个半像素点，如果是则转入步骤（3-8），否则表示该参考点p_ref是一个1/4像素点，然后转入步骤（3-9）；具体而言，如果yref或xref中有一个是2的倍数，则表示该参考点p_ref是一个半像素点；

（3-8）结合六抽头滤波算法计算出与参考点p_ref相关的6个整像素点，然后返回步骤（3-5）；

（3-9）通过线性插值法计算出该1/4像素点相关的两个像素点，并判断这两个像素点是全部为半像素点，还是一个是整像素点，另一个是半像素点，如果全部是半像素点，则返回步骤（3-8），否则对整像素点返回步骤 （3-5），对半像素点返回步骤（3-8）；

（3-10）将P帧块标记为不是P帧补偿块，然后过程结束；

本步骤的优点在于，很好地利用了H.264标准的分像素点预测机制，能够非常准确地定位P帧补偿块。

（4）获取并存储I帧补偿块或P帧补偿块的亮度值；具体而言，在解码器上将I帧补偿块或P帧补偿块完全解码到像素域，并将解码后I帧补偿块或P帧补偿块的亮度值临时存储起来，这些亮度值是正确的亮度值；

（5）再次对视频的I帧和P帧进行解码，在解码过程中扰乱I帧或P帧的隐私区域中I帧块或P帧块的非零系数符号位，并获取和存储I帧补偿块或P帧补偿块的错误亮度值；具体而言，扰乱方法是针对于每一个隐私区域中的I帧块或P帧块，通过伪随机数生成器生成一个伪随机数，这个随机数的2进制表示的第j位（其中j的取值是1至15之间的正整数）对应该I帧块或P帧块的第j个交流（AC）系数，如果第j位为1，则将其对应的AC系数的符号置反，否则不变。由于补偿块直接参照了错误亮度值进行预测，所以这时候解码出来的非隐私区域中I帧补偿块或P帧补偿块的亮度值就是错误的；

本步骤的优点在于，加密算法计算简单，只需要改变一个符号位；比特率增加小，没有引入额外的数据；而且对系数幅值的改变大，扰乱效果好，比如-5被扰乱成5，幅值改变是10。

（6）将步骤（4）获取的亮度值减去步骤（5）获取的错误亮度值，并根据H.264标准对差值进行整数变换和量化，以生成压缩域补偿信号，并对压缩域补偿信号进行熵编码。

步骤（6）具体为：将第（4）步获取的亮度值减去步骤（5）获取的错误亮度值，这个差值就是I帧补偿块或P帧补偿块的像素域补偿信号，然后将像素域补偿信号进行变换、量化，其中变换采用的是整数变换的方式，量化时候采用的量化参数与原视频编码时采用的量化参数是相同的，变换 量化之后得到的就是补偿块的系数。最后对这些系数进行熵编码，得到01比特流，以替换I帧补偿块或P帧补偿块的系数所占比特流。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种应用于监控视频隐私保护的压缩域失真漂移补偿方法，其特征在于，包括以下步骤：

(1)对视频的I帧和P帧进行解码，以分别获取I帧块的帧内预测模式和P帧块的运动向量；

(2)根据I帧块的帧内预测模式并结合I帧的隐私区域范围判断I帧块是否是I帧补偿块，如果是则转入步骤(4)，否则过程结束；

(3)根据P帧块的运动向量并结合P帧的隐私区域范围判断P帧块是否是P帧补偿块，如果是则转入步骤(4)，否则过程结束；

(4)获取并存储I帧补偿块或P帧补偿块的亮度值；

(5)再次对视频的I帧和P帧进行解码，在解码过程中扰乱I帧或P帧的隐私区域中I帧块或P帧块的非零系数符号位，并获取和存储I帧补偿块或P帧补偿块的错误亮度值；

(6)将步骤(4)获取的亮度值减去步骤(5)获取的错误亮度值，并根据H.264标准对差值进行整数变换和量化，以生成压缩域补偿信号，并对压缩域补偿信号进行熵编码。

2.根据权利要求1所述的压缩域失真漂移补偿方法，其特征在于，步骤(2)中，对于非隐私区域中的I帧块，通过其帧内预测模式可以得出其参考块，如果这些参考块中有隐私区域块，那么该I帧块就是一个I帧补偿块，否则该I帧块不是一个I帧补偿块。

3.根据权利要求1所述的压缩域失真漂移补偿方法，其特征在于，步骤(3)包括以下子步骤：

(3-1)设置计数器i＝1；

(3-2)判断i是否小于等于16，如果是则转入步骤(3-3)，否则转入步骤(3-10)；

(3-3)通过下式获取非隐私区域中P帧块的第i个像素点在其参考帧中参考点p_ref的位置(yref，xref)：

$\left\{\begin{array}{c}yref=4*y+mvy\\ xref=4*x+mvx\end{array}\right.$

其中(y,x)表示第i个像素点在P帧的位置，(mvy,mvx)表示P帧块的运动向量；

(3-4)判断参考点p_ref是否是一个整像素点，如果是则转入步骤(3-5)，否则转入步骤(3-7)；

(3-5)判断该整像素点是否处于P帧的隐私区域中，如果是则表示P帧块是P帧补偿块，然后过程结束，否则转入步骤(3-6)；

(3-6)设置i＝i+1，然后返回步骤(3-2)；

(3-7)判断参考点p_ref是否是一个半像素点，如果是则转入步骤(3-8)，否则表示该参考点p_ref是一个1/4像素点，然后转入步骤(3-9)；

(3-8)结合六抽头滤波算法计算出与参考点p_ref相关的6个整像素点，然后返回步骤(3-5)；

(3-9)通过线性插值法计算出该1/4像素点相关的两个像素点，并判断这两个像素点是全部为半像素点，还是一个是整像素点，另一个是半像素点，如果全部是半像素点，则返回步骤(3-8)，否则对整像素点返回步骤(3-5)，对半像素点返回步骤(3-8)；

(3-10)将P帧块标记为不是P帧补偿块，然后过程结束。

4.根据权利要求1所述的压缩域失真漂移补偿方法，其特征在于，步骤(4)具体为，在解码器上将I帧补偿块或P帧补偿块完全解码到像素域，并将解码后I帧补偿块或P帧补偿块的亮度值临时存储起来，这些亮度值是正确的亮度值。

5.根据权利要求1所述的压缩域失真漂移补偿方法，其特征在于，步骤(5)中的扰乱方法具体为，针对每一个隐私区域中的I帧块或P帧块，通过伪随机数生成器生成一个伪随机数，这个随机数的2进制表示的第j位对应该I帧块或P帧块的第j个AC系数，其中j的取值是1至15之间的正整数，如果第j位为1，则将其对应的AC系数的符号置反，否则不变。

6.根据权利要求1所述的压缩域失真漂移补偿方法，其特征在于，步骤(6)具体为，将第(4)步获取的亮度值减去步骤(5)获取的错误亮度值，该差值即为I帧补偿块或P帧补偿块的像素域补偿信号，然后将像素域补偿信号进行变换、量化，其中变换采用的是整数变换的方式，量化时候采用的量化参数与原视频编码时采用的量化参数是相同的，变换量化之后得到的就是补偿块的系数，最后对这些系数进行熵编码，得到01比特流，以替换I帧补偿块或P帧补偿块的系数所占比特流。