CN110072107A - 一种基于运动估计共享的雾霾视频压缩方法 - Google Patents

Abstract

本发明提供了一种基于运动估计共享的雾霾视频压缩方法，读取原始序列中连续的n帧，中间一帧为当前待去雾及编码的帧，其他帧作为参考帧；将视频帧划分为若干互不重叠的宏块，遍历所有可能的运动矢量，利用运动矢量对当前帧的透射率图进行优化并去雾；利用同样的运动矢量对原始视频序列进行初始压缩编码；基于不同的运动矢量对应的去雾效果及编码性能决策当前帧与参考帧之间的最佳运动矢量，基于不同的宏块划分模式对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策，确定宏块划分模式并得到该模式下相对应的运动矢量以及无雾视频序列，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。

Description

一种基于运动估计共享的雾霾视频压缩方法

技术领域

本发明涉及一种计算机视觉技术，特别是一种基于运动估计共享的雾霾视频压缩方法。

背景技术

视频的数据信息在时间和空间上存在着很强的相关性，拥有大量的空域冗余信息和时域冗余信息。视频压缩编码技术是去除冗余信息、解决压缩问题的一种重要手段。与此同时，计算机视觉领域通常存在一种假设——观察者所处的大气层是透明的、清晰的。然而在人们的日常生活中，雾是一种很常见的现象，它给室外视频监控、视频标注、自动导航及目标跟踪等应用的实现都带来了困难。因此，对视频进行去雾处理、得到无雾的视频是非常有必要且有广阔应用场景的，例如，用于视频分析、视频压缩编码等。值得一提的是，对雾霾视频的去雾不仅是单纯地将雾霾去除，还要考虑去雾后视频的连续性、平滑性以及真实感等等。现有的视频压缩方法基本上没有对雾霾视频序列进行去雾处理。

发明内容

本发明的目的在于提供一种基于运动估计共享的雾霾视频压缩方法，可以对对雾霾视频序列进行去雾及压缩编码。

实现本发明目的的技术方案为：一种基于运动估计共享的雾霾视频压缩方法，包括以下步骤：

步骤1，每次读取原始雾霾视频序列中连续的n帧，中间一帧为当前待去雾及编码的帧，前后其他帧作为参考帧；

步骤2，将当前帧划分为若干相互不重叠的的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块；

步骤3，利用运动估计算法遍历所有可能的运动矢量，并利用运动矢量对当前帧的透射率图进行帧间一致性优化并基于大气散射模型对雾霾视频序列进行去雾；

步骤4，利用步骤3中对应的运动矢量对原始视频序列进行初始压缩编码；

步骤5，基于不同的运动矢量所对应的去雾效果及编码性能决策出当前帧与参考帧之间的最佳运动矢量；

步骤6，基于不同的宏块划分模式对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策；

步骤7，确定宏块划分模式并得到该模式下相对应的运动矢量，基于运动矢量对雾霾视频进行帧间一致性去雾，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。

本发明将视频去雾霾和视频压缩编码相结合，提出一种基于运动估计共享的雾霾视频压缩方法，在减少视频存储空间、视频传输带宽的同时，还能有效地将雾霾去除、削弱自然界天气条件对视频采集造成的不良影响。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1是本发明的方法流程示意图。

图2是运动估计的宏块划分模式示意图。

图3是透射率帧间一致性优化示意图。

具体实施方式

一个视频序列通常可以分为图像组(GoP，Group ofPicture)，GoP的第1帧通常称为I帧，采用帧内预测模式进行编码；将GoP的第2～n帧作为P帧，采用帧间预测模式进行编码，通过运动估计可以得到当前帧与参考帧之间的运动矢量，然后通过运动补偿将预测值和当前帧的真实值相减得到残差数据，再对运动矢量、残差等数据变换量化熵编码便可得到压缩编码后的码流。在视频去雾方面，为保证去雾后视频序列的连续性，可以采用运动估计对透射率进行帧间一致性优化。基于运动估计这一共同点，本发明将视频去雾与视频压缩编码相结合，提出一种基于运动估计共享的雾霾视频压缩方法。

本发明的流程如图1所示，将视频帧划分为若干互不重叠的宏块，利用搜索算法遍历所有可能的运动矢量，利用运动矢量对当前帧的透射率图进行帧间一致性优化并基于大气散射模型对雾霾视频序列进行去雾；为实现视频去雾与压缩编码的计算资源共享，利用同样的运动矢量对原始视频序列进行初始压缩编码；基于不同的运动矢量所对应的去雾效果及编码性能决策出当前帧与参考帧之间的最佳运动矢量，基于不同的宏块划分模式所对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策，确定宏块划分模式并得到该模式下相对应的运动矢量以及无雾视频序列，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。

本发明步骤如下：

步骤1，本发明每次读取原始序列中连续的n帧，其中中间一帧为当前待去雾及编码的帧，前后其他帧作为参考帧。

步骤2，将当前帧划分为若干相互不重叠的、大小为16x16的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块，分别为16x16、16x8、8x16、8x8；每个8x8的子宏块又可以进一步划分为8x8、8x4、4x8、4x4的小块，如图2所示。

步骤3，假设图像块内包含的全部像素的位移量都是一样的，采用全搜索算法在参考帧的搜索范围内遍历所有可能的运动矢量，每一个候选的运动矢量都用于帧间编码及透射率帧间一致性优化(详见步骤12)，本发明分别评估各运动矢量对应的编码率失真性能及对应的去雾效果(去雾方法见步骤9-13)，确定最佳的运动矢量并找到与之对应的当前块的最佳匹配块。率失真性能J_motion由以下公式表示：

J_motion＝D_mv+λ_motionR_mv

其中，mv表示运动矢量，D_mv是指原始块和预测块之间的绝对误差和(SAD，Sum ofAbsolute Differences)，是与量化参数(QP，Quantizationparameter)相关的拉格朗日乘子，R_mv表示对运动矢量编码的码率，J_motion越小表示编码性能越好。

考虑到透射率优化会对去雾效果造成一定程度的失真，本发明计算透射率未优化的去雾图像与透射率优化的去雾图像之间的结构相似性(SSIM，structural similarity)：

其中，x、y分别表示透射率未优化和透射率优化的去雾图像块，u_x、u_y分别表示x、y的均值，σ_x、σ_y、σ_xy是x、y各自的方差及协方差，c₁、c₂为常数。SSIM_mv越大表示透射率优化前后的结构越相似，失真越小。

步骤4，由于J_motion和SSIM_mv数量级相差较大，本发明采用Min-Max标准化方法将他们分别映射到[0,1]之间，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。

步骤5，本发明采用加权的方法将J_motion和SSIM_mv结合：

F_mv＝α₁J_motion-α₂SSIM_mv

其中α₁+α₂＝1，采用动态的方式对α₁、α₂进行设定，以达到不同的去雾及编码效果，本发明选择F_mv取得最小值所对应的运动矢量作为最佳运动矢量。

步骤6，由于本发明采用多种划分模式对16x16的宏块进行划分，不同的划分模式也会导致不同的去雾效果和压缩编码性能。接下来分别评估不同划分模式下编码的率失真性能及对应的去雾效果，进行模式划分的最优化决策：

J_mode＝D_mode+λ_modeR_mode

其中，D_mode是指原始块和预测块之间的误差平方和(SSD，Sum of SquaredDifferences)，是与量化参数(QP，Quantization parameter)相关的拉格朗日乘子，R_mode表示对残差、划分模式等数据编码的码率，J_mode越小表示编码性能越好。

除了考虑透射率前后的结构相似性SSIM_mode(即SSIM_mv)，针对不同划分模式还评估其去雾结果的清晰度，指标计算公式如下：

可见边之比e：

可见边的规范化梯度均值r：

其中，n_x、n_y分别表示x、y中可见边的数量。是y中可见边的集合，P_i是y中可见边的像素点，r_i是y在P_i处的Sobel梯度与x在P_i处的Sobel梯度的比值。当去雾的效果越好时，去雾后的图像会越加清晰，图像中可见的细节边缘就会更多，e、r值也就越大。

步骤7，采用Min-Max标准化方法将J_mode、SSIM_mode、e、r等指标分别映射到[0,1]之间，以保证各评价指标的数量级相同。首先对去雾效果进行评估：

S_mode＝SSIM_mode+e+r

采用加权的方法将J_mode和S_mode结合：

F_mode＝β₁J_mode-β₂S_mode

其中β₁+β₂＝1，采用动态的方式对β₁、β₂进行设定，以达到不同的去雾及编码效果，本发明选择F_mode取得最小值所对应的宏块划分模式。

步骤8，对运动矢量及宏块划分模式进行最优化决策之后，本发明利用决策的宏块划分模式及其对应模式下的最佳运动矢量对去雾后的视频序列进行压缩编码。

去雾方法步骤如下：

步骤9，把当前帧的亮度分量进行最小值滤波得到亮度暗通道图像，即在以像素点x为中心的、尺寸为15x15的局部区域中取最小的值作为x点的暗通道值。

步骤10，在步骤1得到的暗通道图像中，按照亮度的大小取暗通道值最高的前0.2％像素，在亮度分量图中找到对应位置，然后对这些位置的像素值取平均值作为该帧图像的大气光值。

步骤11，利用亮度暗通道值和大气光值A，根据以下公式得到初始透射率t(x)，其中ω是常量参数0.95，可以使去雾后的视频序列保留一定浓度的雾而更加真实。

步骤12，对透射率进行帧间一致性优化，优化方法以连续5帧为例如图3所示，利用运动矢量从参考帧透射率图中找到与当前帧中宏块对应的匹配块，然后将当前帧的宏块与找到的匹配块进行加权平均滤波，再利用引导滤波对透射图进行细化，保留边缘细节，得到帧间一致性优化的透射率，该步骤能够提高视频序列的连续性、平滑性。

步骤13，利用透射率t(x)、大气光值A和大气散射模型进行去雾，大气散射模型如下：

I(x)＝J(x)t(x)+A(1-t(x))

推导后可以将无雾图像的表示为：

Claims (7)

1.一种基于运动估计共享的雾霾视频压缩方法，其特征在于，包括以下步骤：

步骤1，每次读取原始雾霾视频序列中连续的n帧，中间一帧为当前待去雾及编码的帧，前后其他帧作为参考帧；

步骤2，将当前帧划分为若干相互不重叠的的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块；

步骤3，利用运动估计算法遍历所有可能的运动矢量，并利用运动矢量对当前帧的透射率图进行帧间一致性优化并基于大气散射模型对雾霾视频序列进行去雾；

步骤4，利用步骤3中对应的运动矢量对原始视频序列进行初始压缩编码；

步骤5，基于不同的运动矢量所对应的去雾效果及编码性能决策出当前帧与参考帧之间的最佳运动矢量；

步骤6，基于不同的宏块划分模式对应的去雾效果和压缩编码性能对宏块的划分模式进行最优化决策；

步骤7，确定宏块划分模式并得到该模式下相对应的运动矢量，基于运动矢量对雾霾视频进行帧间一致性去雾，利用决策的宏块划分模式及相应的运动矢量，对去雾后的无雾视频序列进行最终的压缩编码。

2.根据权利要求1所述的方法，其特征在于，步骤2中将当前帧划分为若干相互不重叠的、大小为16x16的宏块，对于每一个宏块，采用不同的划分模式将其进一步划分为更小的块，分别为16x16、16x8、8x16、8x8；每个8x8的子宏块又可以进一步划分为8x8、8x4、4x8、4x4的小块。

3.根据权利要求1所述的方法，其特征在于，步骤3具体包括如下步骤：

步骤301，假设图像块内包含的全部像素的位移量都是一样的，采用全搜索算法在各参考帧的搜索范围内遍历所有可能的运动矢量；

步骤302，从参考帧透射率图中找到与当前帧中宏块对应的匹配块，将当前帧的宏块与找到的匹配块进行加权平均滤波，再利用引导滤波对透射图进行细化，保留边缘细节得到帧间一致性优化的透射率；

步骤303，获取大气散射模型如下：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中I(x)表示雾霾图像，J(x)表示无雾图像，t(x)表示透射率，A表示大气光值；

步骤304，在以像素点x为中心的、尺寸为15×15的局部区域中取最小值作为x点的暗通道值；

步骤305，按照亮度的大小取暗通道值最高的前0.2％像素，在亮度分量图中找到对应位置，对这些位置的像素值取平均值作为该帧图像的大气光值；

步骤306，根据以下公式获得未优化的透射率：

其中，ω是常量参数0.95；

步骤307，将式(2)代入式(1)得到无雾图像

4.根据权利要求1所述的方法，其特征在于，步骤4具体包括如下步骤：

步骤401，利用运动矢量得到当前块的预测块；

步骤402，将预测值与当前块相减得到残差数据；

步骤403，对运动矢量、残差等数据进行变换、量化、熵编码得到相应的码流。

5.根据权利要求1所述的方法，其中步骤E具体包括如下步骤：

步骤501，分别评估各运动矢量对应的编码率失真性能J_motion

J_motion＝D_mv+λ_motionR_mv

其中，mv表示运动矢量，D_mv是指原始块和预测块之间的绝对误差和，是与量化参数QP相关的拉格朗日乘子，R_mv表示对运动矢量编码的码率；

步骤502，计算透射率未优化的去雾图像与透射率优化的去雾图像之间的结构相似性SSIM_mv(x,y)

其中，x、y分别表示透射率未优化和透射率优化的去雾图像块，u_x、u_y分别表示x、y的均值，σ_x、σ_y、σ_xy是x、y各自的方差及协方差，c₁、c₂为常数；

步骤503，本发明采用加权的方法将J_motion和SSIM_mv结合：

F_mv＝α₁J_motion-α₂SSIM_mv

其中α₁+α₂＝1，采用动态的方式对α₁、α₂进行设定；

步骤504，选择F_mv取得最小值所对应的运动矢量作为最佳运动矢量。

6.根据权利要求5所述的方法，其特征在于，采用Min-Max标准化方法将J_motion和SSIM_mv数量级分别映射到[0,1]之间，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。

7.根据权利要求1所述的方法，其特征在于，其中步骤6具体包括如下步骤：

步骤601，评估不同划分模式下编码的率失真性能：

J_mode＝D_mode+λ_modeR_mode

其中，D_mode是指原始块和预测块之间的误差平方和(SSD，Sum of SquaredDifferences)，是与量化参数(QP，Quantization parameter)相关的拉格朗日乘子，R_mode表示对残差、划分模式等数据编码的码率，J_mode越小表示编码性能越好。

步骤602，针对不同划分模式评估去雾结果的清晰度，包括可见边之比e和可见边的规范化梯度均值r

其中，n_x、n_y分别表示x、y中可见边的数量，是y中可见边的集合，P_i是y中可见边的像素点，r_i是y在P_i处的Sobel梯度与x在P_i处的Sobel梯度的比值；

当去雾的效果越好，e、r值也就越大；

步骤603，采用Min-Max标准化方法将J_mode、SSIM_mode、e、r分别映射到[0,1]之间，以保证各评价指标的数量级相同；

步骤604，对去雾效果进行评估：

S_mode＝SSIM_mode+e+r

步骤605，采用加权的方法将J_mode、S_mode结合

F_mode＝β₁J_mode-β₂S_mode

其中β₁+β₂＝1，采用动态的方式对β₁、β₂进行设定；

步骤606，选择F_mode取得最小值所对应的宏块划分模式。