CN106960416A - 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，将观测图像从纹理粗细、结构繁简的角度划分为内容复杂性不等的区域，然后收集与之特性一致的图像样本组成训练图像集合，形成属性各异的图像集，用每一种图像集训练一种深度学习网络模型，再将这种适配图像不同区域统计特性的模型用于对应区域的超分辨率重建。本发明方法针对了卫星影像不同地物类型的内容复杂性差异，因而有效提升了视频卫星图像超分辨率重建的精度。

Description

一种内容复杂性自适应的视频卫星压缩图像超分辨率方法

技术领域

本发明属于图像处理技术领域，涉及一种图像超分辨率方法，具体涉及一种视频卫星压缩图像超分辨率方法。

技术背景

视频卫星是近几年发展起来的一种新型对地观测卫星，与传统的对地观测卫星相比，其最大的特点是可以对某一区域进行“凝视”观测，以“视频录像”的方式获得比传统卫星更多的动态信息，特别适于观测动态目标。视频卫星极大地提高了卫星遥感系统的动态观测能力，视频卫星动态影像正成为一种重要的空间大数据资源，广泛应用于资源普查、灾害监测、海洋监视、动态目标连续跟踪、动态事件观测等方面。

视频卫星拍摄的是连续动态视频，为提高时间分辨率，相比于传统的只拍摄静态图像或序列图像的遥感卫星，光学成像系统牺牲了空间分辨率，客观上降低了像素的空间稠密度。进一步分析，随着视频卫星采集的连续视频的数据量的急剧攀升，为适应星地信道传输能力，星载通信系统不得不加大压缩比或降低回传视频的空间分辨率，导致压缩视频的清晰度严重下降。因此，视频卫星环境下压缩视频的超分辨率重建显得尤为必要。

传统的图像超分辨率技术分为基于插值的方法、基于重建的方法和基于机器学习的方法。现有的基于机器学习的超分辨率重建对样本图像不加区分，只是用尽可能多的样本训练模型，然后用这个模型作用于整幅图像的超分辨率重建。由于训练样本不能适应图像内容的多变性，重建性能的好坏严重依赖训练样本的完备性和体量，导致超分辨率重建效率极其低下。

发明内容

为了解决上述技术问题，本发明将观测图像从纹理粗细、结构繁简的角度划分为内容复杂性不等的区域，然后收集与之特性一致的图像样本组成训练图像集合，形成属性各异的图像集，用每一种图像集训练一种字典或深度学习网络模型，再将这种适配图像不同区域属性的字典或模型用于对应区域的超分辨率重构。

本发明所采用的技术方案是：一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于，包括以下步骤：

步骤1：获取若干高分辨率静态光学遥感影像，选取的图像是相同或相近场景下的多幅图像组成的图像序列，构成高分辨率训练图像集；

步骤2：通过对高分辨率图像进行下采样和编码失真处理，产生具有低空间分辨率和模糊失真双重高频细节信息损失的低分辨率训练图像；

步骤3：将高低分辨率训练图像进行分块，并根据图像纹理结构的复杂性，将图像块分为平坦块和粗糙块两类，收集到百万级别的图像块作为深度学习网络的训练样本；

步骤4：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN；

步骤5：对于输入的压缩码流，按H.264标准解码一帧图像，并记录下每个宏块的编码模式；

步骤6：根据上述宏块编码模式，将宏块判定为内容简单和内容复杂两类，内容简单的块用sCNN网络重建，内容复杂的块用cCNN网络重建；

步骤7：将重建的高分辨率图像块按原来位置拼接成一幅完整图像，并用[1 2 1]滤波器改善拼接边缘的块效应，然后输出超分辨率重建图像。

与现有的图像超分辨率方法相比，本发明具有以下优点和积极效果：

（1）本发明根据图像内容复杂性对训练样本预分类，由于训练出的字典或模型与图像局部统计特性相吻合，所以能对图像进行最恰当的表达，从而在同等字典尺寸下或同等模型规模下能提升超分辨率重建的表达精度。

（2）不同于以往的深度学习采用原始图像作为训练样本，本发明将压缩的低分辨率图像作为深度学习网络的输入、原始高分辨率图像作为监督样本，因而深度学习训练过程能感知压缩造成的图像失真，如块效应、模糊效应，从而特别适合压缩图像的超分辨率重建。

（3）H.264等视频编码器在压缩时，为提高编码效率，对内容简单的图像块用粗尺寸的子块编码、对内容复杂的块用细尺寸的子块编码，这些信息记录在压缩码流的编码模式语法中。根据这一观察，本发明在超分辨率重建步骤中巧妙地利用压缩视频流编码模式所隐含的内容复杂性的信息，为每个宏块选择匹配的深度学习网络模型，极大地降低了为选择最适应的网络模型而需要的图像内容复杂性判断的运算量。

（4）自然图像与卫星遥感影像的成像条件不同，不适合作为卫星图像的训练样本；而视频卫星自身的动态视频的空间分辨率又极其有限。本发明选择高分辨率遥感卫星的静态图像或序列图像作为训练样本，兼顾了相似星际成像条件和高地面分辨率的双重要求。

附图说明

图1：本发明实施例的处理流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

鉴于一幅视频卫星图像覆盖了各种纹理和结构各异的地物类型，图像内容复杂程度区域分布不一致，本发明提供一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，通过训练内容复杂性不等的多个深度学习网络模型，为图像局部区域块选择最适配的网络模型进行重建。

为简单起见，这里只根据图像的纹理属性区分不同的区域，而且为了适应机器学习表达的需要，区域划分为块形状，即块或片，也就是将图像按纹理粗细或平坦度划分为不同尺寸的块，使得同一块中的图像纹理属性基本一致，既然已经将字典按纹理属性进行了分类，这样就可以选择相应的字典进行表达。

超视距作业环境下的视频卫星的成像条件与普通自然图像的成像条件不同，采用相似成像条件下的遥感影像作为训练图像能提高机器学习的针对性。传统的遥感卫星的静态图像分辨率可以达到0.1m，视频卫星目前只能提供1m左右的分辨率。静态遥感影像比动态视频包含更多的高频细节信息。因此，借助静态遥感影像为视频卫星超分辨率重建提供训练样本。

基于以上考虑，本发明方法完整的处理流程如图1所示，包含以下步骤：

步骤1：获取若干的高分辨率静态光学遥感影像，选取的图像是相同或相近（相近场景的判断标准：地物类型相似的场景，如同为城市、森林、河流等）场景下的多幅图像组成的图像序列，构成高分辨率训练图像集；

选取图像的地面分辨率优于0.3米(本实施例影像为worldview3)，覆盖城市、农田、森林、草原、河流等典型地貌。

步骤2：通过对高分辨率图像进行下采样和编码失真处理，产生具有低空间分辨率和模糊失真双重高频细节信息损失的低分辨率训练图像；

具体实现包含下述子步骤：

步骤2.1：对于其中一幅高分辨率图像，将其宽度和高度均下采样k倍（其中k为2-4的整数，本实施例k=2），得到低分辨率训练图像；

步骤2.2：将低分辨率图像按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率图像；

步骤2.3：将压缩的低分辨率图像按H.264进行解码，得到解码还原但存在压缩失真效应的低分辨率训练图像。

步骤3：将高低分辨率训练图像进行分块，并根据图像纹理结构的复杂性，将图像块分为平坦块和粗糙块两类，收集到500000以上的图像块作为深度学习网络的训练样本；

具体实现包含如下子步骤：

步骤3.1：将高、低分辨率图像均匀地划分成正方形图像块，低分辨率块尺寸为32×32像素，高分辨率块尺寸为32k×32k像素；

步骤3.2：通过像素分布的一致性衡量图像内容复杂性，计算块内像素值的方差，方差超过预设门限（本实施例门限设为5）的视为粗糙块，反之作为平坦块。

步骤4：利用平坦块训练内容简单的CNN（卷积神经网络）网络（记为sCNN），利用粗糙块训练内容复杂的CNN网络（记为cCNN）；

利用MSE（平均均方误差）作为网络训练的损失函数，即计算CNN输出的高分辨率图像块和高分辨率监督样本块间的平均均方误差。

步骤5：对于输入的压缩码流，按H264标准解码一帧图像，并记录下每个宏块的编码模式；

根据H264编码标准，对于16×16像素的宏块，将编码模式分为帧内、帧间、跳过三种，具体含义如下：

①帧内编码模式下，宏块进一步细分为不同尺寸的子块编码，存在4×4，8×8，16×16等几种；

②同理，帧间编码模式下，宏块细分为这几种子块尺寸：4×4，4×8，8×4，8×8，8×16，16×8，16×16；

③跳过编码模式下，整个16×16像素的宏块被跳过编码，不再细分。

步骤6：根据上述宏块编码模式，将宏块判定为内容简单和内容复杂两类，内容简单的块用sCNN网络重建，内容复杂的块用cCNN网络重建；

具体采取如下规则判断宏块内容的复杂性：

①无论是帧内还是帧间编码，进一步细分为16×16以下的宏块判定为内容复杂块，否则判定为内容简单块；

②跳过编码宏块的复杂性根据前一帧对应位置的宏块来判定。

步骤7：将重建的高分辨率图像块按原来位置拼接成一幅完整图像，并用[1 2 1]滤波器改善拼接边缘的块效应，然后输出超分辨率重建图像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于，包括以下步骤：

步骤1：获取若干高分辨率静态光学遥感影像，选取的图像是相同或相近场景下的多幅图像组成的图像序列，构成高分辨率训练图像集；

步骤2：通过对高分辨率图像进行下采样和编码失真处理，产生具有低空间分辨率和模糊失真双重高频细节信息损失的低分辨率训练图像；

步骤3：将高低分辨率训练图像进行分块，并根据图像纹理结构的复杂性，将图像块分为平坦块和粗糙块两类，收集到百万级别的图像块作为深度学习网络的训练样本；

步骤4：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN；

步骤5：对于输入的压缩码流，按H.264标准解码一帧图像，并记录下每个宏块的编码模式；

步骤6：根据上述宏块编码模式，将宏块判定为内容简单和内容复杂两类，内容简单的块用sCNN网络重建，内容复杂的块用cCNN网络重建：

步骤7：将重建的高分辨率图像块按原来位置拼接成一幅完整图像，并用[1 21]滤波器改善拼接边缘的块效应，然后输出超分辨率重建图像。

2.根据权利要求1所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于：步骤1中所述高分辨率静态光学遥感影像的地面分辨率优于0.3米，覆盖典型地貌，所述典型地貌包括城市、农田、森林、草原和河流。

3.根据权利要求1所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于，步骤2中所述的低分辨率压缩图像，其产生方法包括以下子步骤：

步骤2.1：对于其中一幅高分辨率图像，将其宽度和高度均下采样k倍，得到低分辨率训练图像，其中k为2-4的整数；

步骤2.2：将低分辨率图像按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率图像；

步骤2.3：将压缩的低分辨率图像按H.264进行解码，得到解码还原但存在压缩失真效应的低分辨率训练图像。

4.根据权利要求1所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于：步骤3中所述的图像分块及分类，其方法包含以下子步骤：

步骤3.1：将高、低分辨率图像均匀地划分成正方形图像块，低分辨率块尺寸为32×32像素，高分辨率块尺寸为32k×32k像素，其中k为2-4的整数；

步骤3.2：通过像素分布的一致性衡量图像内容复杂性，计算块内像素值的方差，方差超过预设门限的视为粗糙块，反之作为平坦块。

5.根据权利要求1所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于：步骤4中，利用平均均方误差MSE作为网络训练的损失函数，即计算CNN输出的高分辨率图像块和高分辨率监督样本块间的平均均方误差。

6.根据权利要求1所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于：步骤5所述的编码模式，包括帧内编码模式、帧间编码模式、跳过编码模式三种；

帧内编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、8×8和16×16；

帧间编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、4×8、8×4、8×8、8×16、16×8和16×16；

跳过编码模式下，整个16×16像素的宏块被跳过编码，不再细分。

7.根据权利要求1-6任意一项所述的内容复杂性自适应的视频卫星压缩图像超分辨率方法，其特征在于：步骤6中所述的宏块内容复杂性判断，具体采取如下规则：

①无论是帧内还是帧间编码，进一步细分为16×16以下的宏块判定为内容复杂块，否则判定为内容简单块；

②跳过编码宏块的复杂性根据前一帧对应位置的宏块来判定。