CN108010000A - 基于邻近特征子空间拟合的压缩图像清晰化方法 - Google Patents

Abstract

本发明提供了基于邻近特征子空间拟合的压缩图像清晰化方法，包括：对一组与待清晰化压缩图像场景相似的清晰图像样本进行压缩，编码参数与待清晰化图像相同，得到压缩图像样本集；对压缩图像样本集去噪，得到压缩去噪图像样本集；将压缩图像块和对应的压缩去噪图像块合成一个矢量，利用矢量量化将特征空间分为多个子空间；每个子空间里，由最小均方误差准则得到压缩去噪图像块到清晰图像样本块的非线性回归模型；将待清晰化压缩图像去噪，得到待清晰化压缩去噪图像；寻找待清晰化压缩图像的每个像素点位置的图像块最邻近子空间，利用该子空间的非线性回归模型得到清晰化压缩图像块；所有的清晰化压缩图像块加权平均堆叠得到清晰化图像。

Description

基于邻近特征子空间拟合的压缩图像清晰化方法

技术领域

本发明属于数字图像增强技术领域，尤其基于邻近特征子空间拟合的压缩图像清晰化方法

背景技术

在视觉通信和计算机系统中，最常见的图像降质原因是有损图像压缩。有损的图像压缩，比如JPEG和HEVC-MSP，被广泛用于图像和视频编码，它不仅可以节省带宽，还可以节省设备的存储空间。有损图像压缩为了简洁，为编码内容使用了不准确的近似的表达，这样不可避免会引入不想要的复杂的人工痕迹，例如块效应，振铃效应以及模糊等。这些人工导致的痕迹不仅在视觉上降低了感知的质量，也对一些需要把压缩图像作为输入的低层的图像处理方法带来不利的影响。

有许多文献提出了减少压缩图像中人工痕迹办法，最常用的方法是后处理方法，比如使用自适应空间滤波器或者自适应模糊滤波器。这些方法的有效性很大程度取决于块的特性以及滤波器特定的设计结构，并且不能很好地恢复出图像的细节信息。

发明内容

本发明为了解决直接对压缩图像进行后处理而会影响其清晰度的问题，技术方案是：基于邻近特征子空间拟合的压缩图像清晰化方法，包括：

S1、寻找一组与待清晰化压缩图像场景相似的清晰图像，定义为清晰图像样本集。对清晰图像样本集进行压缩，压缩的编码参数与待清晰化压缩图像的编码参数相同，得到压缩图像样本集。对压缩图像样本集进行去噪处理，得到压缩去噪图像样本集。将清晰图像样本集与压缩去噪图像样本集相减，得到清晰图像细节样本集；

S2、将S1所述的清晰图像样本集、压缩图像样本集、压缩去噪图像样本集以及清晰图像细节样本集按照每个像素点位置重叠取块，得到位置对应的清晰图像块、压缩图像块、压缩去噪图像块以及清晰图像细节块。将每对位置对应的压缩图像块和压缩去噪图像块合成一个矢量，得到压缩去噪合成矢量。位置对应的压缩去噪图像块、清晰图像细节块以及压缩去噪合成矢量一起构成训练样本集；

S3、将S2所述的训练样本集中压缩去噪合成矢量在特征空间中进行矢量量化，将特征空间划分为K个子空间，再把训练样本集划分到不同的子空间中，得到K个训练样本组；

S4、在S3所述的每个子空间对应的训练样本组中，根据最小均方误差准则，学习压缩去噪图像块到清晰图像细节块之间的非线性回归模型，并把每个子空间对应的回归模型存储起来；

S5、将S1所述的待清晰化压缩图像进行去噪处理，得到待清晰化压缩去噪图像。再将待清晰化压缩图像和待清晰化压缩去噪图像按照每个像素点位置重叠取块，得到位置对应的待清晰化压缩图像块以及待清晰化压缩去噪图像块。将每对位置对应的待清晰化压缩图像块和待清晰化压缩去噪图像块合成一个矢量，得到待清晰化压缩去噪合成矢量；

S6、对S5所述的每个待清晰化压缩去噪合成矢量，寻找到它最邻近的子空间，同时与它对应的待清晰化压缩图像块和待清晰化压缩去噪图像块也被划分到相同的子空间中。再利用该子空间对应的非线性回归模型得到每个待清晰化压缩去噪图像块的估计清晰细节块，估计清晰细节块与待清晰化压缩去噪图像块相加，得到估计清晰图像块；

S7、将S6得到的所有估计清晰图像块，按照各自像素点的位置，以加权平均的方式堆叠起来，得到最终的压缩图像的清晰化图像。

进一步，所述步骤S2，其具体为：

所述的每个清晰图像块、压缩图像块、压缩去噪图像块以及清晰图像细节块的尺寸均为n×n，所述压缩去噪合成矢量的尺寸为1×2n²，其中n为每个图像块边长的像素单元数目；

进一步，所述步骤S3，其具体为：

S31、设定全部的压缩去噪合成矢量为：

其中x⁽ⁱ⁾表示任一压缩去噪合成矢量，m是压缩去噪合成矢量的个数；

S32、随机选取K个向量，代表K个不同的特征子空间，定义这K个向量为K个子空间中心点，它们一起构成集合W：

其中μ_j表示任一子空间中心点；

S33、所述步骤S3中，矢量量化的具体过程为：

对于S31所述的每一个压缩去噪合成矢量x⁽ⁱ⁾，根据公式(1)，求得其最邻近的子空间c⁽ⁱ⁾：

c⁽ⁱ⁾＝min_j||x⁽ⁱ⁾-μ_j||² (1)

将每一个压缩去噪合成矢量分配到离其最邻近的子空间后，根据公式(2)，重新计算每一个子空间中心点μ_j：

重复上述步骤直到K个子空间中心点不发生变化，即为最终的K个子空间中心点。根据K个不同的子空间中心点，将特征空间划分为K个不同的子空间；

S34、根据训练样本集中每个压缩去噪合成矢量所属的子空间的不同，将训练样本集划分为K个训练样本组。在每一个训练样本组中，压缩去噪图像块为输入样本：

清晰图像细节块为输出样本：

其中s是该训练样本组中压缩去噪图像块的个数；

进一步，所述步骤S4，其具体为：

S41、在每个子空间内，根据最小均方误差准则,通过求解公式(3),可得到该子空间的回归模型β_j：

其中，j＝1，2，...，K，In的尺寸为L×n²，B的尺寸为L×1，In和B中的元素是随机生成的，且服从均匀分布，L表示将原始输入样本V_j映射到L维特征空间。O_j是尺寸为1×s且元素全部为1的矩阵，s是该训练样本组中压缩去噪图像块的个数；

S42、使用梯度下降法法求解公式(3)，得到的最优解即为该子空间的回归模型β_j，然后再将每个子空间的回归模型β_j存储起来。

进一步，所述步骤S6，其具体为：

S61、所述全部的待清晰化压缩去噪合成矢量为：

其中cm是待清晰化压缩去噪合成矢量的个数；

S62、所述全部待清晰化压缩去噪图像块为：

其中cm是待清晰化压缩去噪图像块的个数；

S63、对于每一个待清晰化压缩去噪合成矢量cx^(ci)，根据公式(1)，求得其最邻近的子空间c^(ti)。同时，与cx^(ci)相对应的待清晰化压缩去噪图像块cv^(ci)也被分配到相应的子空间中；

S64、根据公式(4)，求得cv^(ci)对应的估计清晰图像块

进一步，所述步骤S7，其具体为：

S71、根据S6步骤得到所有的估计清晰图像块：

其中cm是估计清晰图像块的个数；

S72、将根据其像素点的位置，按照加权平均的方式堆叠起来，得到最终的压缩图像的清晰化图像。

有益效果

本发明提供了一种基于邻近特征子空间拟合的压缩图像清晰化方法，能够提高压缩图像的清晰度。

附图说明

图1是本发明的压缩图像清晰化方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。所描述的实施例是本发明的一部分实施例，而不是全部实施例。

本发明提供一种压缩图像复原方法的实施例，过程如下：

S1、对于待清晰化压缩图像，寻找一组与其场景相似的清晰图像，定义为清晰图像样本集。对清晰图像样本集进行压缩，压缩的编码参数与待清晰化压缩图像的编码参数相同，得到压缩图像样本集。对压缩图像样本集进行去噪处理，得到压缩去噪图像样本集。将清晰图像样本集与压缩去噪图像样本集相减，得到清晰图像细节样本集；

S2、将S1所述的清晰图像样本集、压缩图像样本集、压缩去噪图像样本集以及清晰图像细节样本集按照每个像素点位置重叠取块，得到位置对应的清晰图像块、压缩图像块、压缩去噪图像块以及清晰图像细节块。将每对位置对应的压缩图像块和压缩去噪图像块合成一个矢量，得到压缩去噪合成矢量。位置对应的压缩去噪图像块、清晰图像细节块以及压缩去噪合成矢量一起构成训练样本集；

S3、将S2所述训练样本集中压缩去噪合成矢量在特征空间中进行矢量量化，将该特征空间划分为K个子空间，再把训练样本集划分到不同的子空间中，得到K个训练样本组；

S4、在S3所述的每一个子空间内，根据最小均方误差准则，学习压缩去噪图像块到清晰图像细节块之间的非线性回归模型，并把每个子空间对应的回归模型存储起来；

S5、将S1所述的待清晰化压缩图像进行去噪处理，得到待清晰化压缩去噪图像。再将待清晰化压缩图像和待清晰化压缩去噪图像按照每个像素点位置重叠取块，得到位置对应的待清晰化压缩图像块以及待清晰化压缩去噪图像块。将每对位置对应的待清晰化压缩图像块和待清晰化压缩去噪图像块合成一个矢量，得到待清晰化压缩去噪合成矢量；

S6、对S5所述的每个待清晰化压缩去噪合成矢量，寻找到它最邻近的子空间，同时与它对应的待清晰化压缩图像块和待清晰化压缩去噪图像块也被划分到相应的子空间中。并利用该子空间对应的非线性回归模型得到每个待清晰化压缩去噪图像块的估计清晰细节图像块，估计清晰细节块与待清晰化压缩去噪图像块相加，得到估计清晰图像块；

S7、将S6得到的所有估计清晰图像块，按照各自像素点的位置，以加权平均的方式堆叠起来，得到最终的压缩图像的清晰化图像。

进一步，所属步骤S1，其具体为：

待清晰化压缩图像是将一幅原始清晰斑马图进行压缩后得到的图像，它的尺寸是512×512像素，压缩机制是jpeg2000，压缩比例是10％；清晰图像样本集是100张与斑马图场景相似的清晰图像，尺寸是512×512像素；同样以jpeg2000压缩机制对其压缩，压缩比例是10％，得到压缩图像样本集；对压缩图像样本集进行去噪处理，得到压缩去噪图像样本集。将清晰图像样本集与压缩去噪图像样本集相减，得到清晰图像细节样本集；

进一步，所述步骤S2，其具体为：

所述的每个清晰图像块、压缩图像块、压缩去噪图像块以及清晰图像细节的尺寸均为7×7，所述压缩去噪合成矢量的尺寸为1×98，其中7为每个图像块边长的像素单元数目，并且每相邻图像块的边长有6个像素重叠，每张清晰图像可分割成505×505个块。；

进一步，所述步骤S3，其具体为：

S31、设定全部的压缩去噪合成矢量为：

X＝{x⁽¹⁾，x⁽²⁾，...，x^{(505×505×100)}}，x⁽ⁱ⁾∈R^1×98，i＝1，2，...，505×505×100，

其中x⁽ⁱ⁾表示任一压缩去噪合成矢量；

S32、随机选取8192个向量，代表8192个不同的特征子空间，定义这8192个向量为8192个子空间中心点，它们一起构成集合W：

W＝{μ₁，μ₂，...，μ₈₁₉₂}，μ_j∈R^1×98，j＝1，2，...，8192，

其中μ_j表示任一子空间中心点；

S33、所述步骤S3中，矢量量化的具体过程为：

对于S31所述的每一个压缩去噪合成矢量x⁽ⁱ⁾，根据公式(1)，求得其所近的子空间c⁽ⁱ⁾；将每一个压缩去噪合成矢量分配到离其最近的子空间后，根据公式(5)，重新计算每一个子空间的中心点μ_j：

重复上述步骤，直到8192个子空间中心点不发生变化，即为最终的8192个子空间中心点。根据8192个不同的子空间中心点，将特征空间划分为8192个不同的子空间；

S34、根据训练样本集中压缩去噪合成矢量所属的子空间的不同，将训练样本集划分为8192个训练样本组。在每一个训练样本组中，压缩去噪图像块为输入样本：

清晰图像细节块为输出样本：

其中s是该训练样本组中压缩去噪图像块的个数；

进一步，所述步骤S4，其具体为：

S41、在每个子空间内，根据最小均方误差准则，通过求解公式(3)，可得到该子空间的回归模型β_j。公式(3)中，j＝1，2，...，8192，In的尺寸为80×49，B的尺寸为80×1，In和B中的元素是随机生成的，且服从均匀分布，80表示将原始输入样本V_j映射到80维特征空间。O_j是尺寸为1×s且元素全部为1的矩阵，s是该训练样本组中压缩去噪图像块的个数；

S42、使用梯度下降法法求解公式(3)，得到的最优解即为该子空间的回归模型β_j，然后再将每个子空间的回归模型β_j存储起来。

进一步，所述步骤S6，其具体为：

S61、所述全部的待清晰化压缩去噪合成矢量为：

X_comp＝{cx⁽¹⁾，cx⁽²⁾，...，cx^(505×505)}，cx^(ci)∈R^1×98，ci＝1，2，...，505×505；

S62、所述全部待清晰化压缩去噪图像块为：

V_comp＝{cv⁽¹⁾，cv⁽²⁾，...，cv^(505×505)}，cv^(ci)∈R^7×7，ci＝1，2，...，505×505；

S63、对于每一个待清晰化压缩去噪合成矢量cx^(ci)，根据公式(1)，求得其所属子空间c^(ci)。同时，与cx^(ci)相对应的待清晰化压缩去噪图像块cv^(ci)也被分配到相应的子空间中；

S64、根据公式(6)，求得cv^(ci)对应的估计清晰图像块

进一步，所述步骤S7，其具体为：

S71、根据S6步骤得到所有的估计清晰图像块：

S72、将根据其像素点的位置，按照加权平均的方式堆叠起来，得到最终的压缩图像的清晰化图像。待清晰化压缩图像与原始清晰斑马图之间的峰值信噪比为29.58db，最终的压缩图像的清晰化图像与原始清晰斑马图之间的峰值信噪比为29.95db。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.基于邻近特征子空间拟合的压缩图像清晰化方法，其特征在于，包括如下步骤：

S1、寻找一组与待清晰化压缩图像场景相似的清晰图像，定义为清晰图像样本集；对清晰图像样本集进行压缩，压缩的编码参数与待清晰化压缩图像的编码参数相同，得到压缩图像样本集；对压缩图像样本集进行去噪处理，得到压缩去噪图像样本集；将清晰图像样本集与压缩去噪图像样本集相减，得到清晰图像细节样本集；

S2、将S1所述的清晰图像样本集、压缩图像样本集、压缩去噪图像样本集以及清晰图像细节样本集按照每个像素点位置重叠取块，得到位置对应的清晰图像块、压缩图像块、压缩去噪图像块以及清晰图像细节块；将每对位置对应的压缩图像块和压缩去噪图像块合成一个矢量，得到压缩去噪合成矢量；位置对应的压缩去噪图像块、清晰图像细节块以及压缩去噪合成矢量一起构成训练样本集；

S3、将S2所述的训练样本集中压缩去噪合成矢量在特征空间中进行矢量量化，将特征空间划分为K个子空间，再把训练样本集划分到不同的子空间中，得到K个训练样本组；

S4、在S3所述的每个子空间对应的训练样本组中，根据最小均方误差准则，学习压缩去噪图像块到清晰图像细节块之间的非线性回归模型，并把每个子空间对应的回归模型存储起来；

S5、将S1所述的待清晰化压缩图像进行去噪处理，得到待清晰化压缩去噪图像；再将待清晰化压缩图像和待清晰化压缩去噪图像按照每个像素点位置重叠取块，得到位置对应的待清晰化压缩图像块以及待清晰化压缩去噪图像块；将每对位置对应的待清晰化压缩图像块和待清晰化压缩去噪图像块合成一个矢量，得到待清晰化压缩去噪合成矢量；

S6、对S5所述的每个待清晰化压缩去噪合成矢量，寻找到它最邻近的子空间，同时与它对应的待清晰化压缩图像块和待清晰化压缩去噪图像块也被划分到相同的子空间中；再利用该子空间对应的非线性回归模型得到每个待清晰化压缩去噪图像块的估计清晰细节块，估计清晰细节块与待清晰化压缩去噪图像块相加，得到估计清晰图像块；

S7、将S6得到的所有估计清晰图像块，按照各自像素点的位置，以加权平均的方式堆叠起来，得到最终的压缩图像的清晰化图像。

2.如权利要求1所述的方法，其特征在于，所述步骤S2，其具体为：

所述的每个清晰图像块、压缩图像块、压缩去噪图像块以及清晰图像细节块的尺寸均为n×n，所述压缩去噪合成矢量的尺寸为1×2n²，其中n为每个图像块边长的像素单元数目。

3.如权利要求1所述的方法，其特征在于，所述步骤S3，其具体为：

S31、设定全部的压缩去噪合成矢量为：

i＝1，2，...，m，

其中x⁽ⁱ⁾表示任一压缩去噪合成矢量，m是压缩去噪合成矢量的个数。

S32、随机选取K个向量，代表K个不同的特征子空间，定义这K个向量为K个子空间中心点，它们一起构成集合W：

其中μ_j表示任一子空间中心点；

S33、所述步骤S3中，矢量量化的具体过程为：

对于S31所述的每一个压缩去噪合成矢量x⁽ⁱ⁾，根据公式(1)，求得其最邻近的子空间c⁽ⁱ⁾：

c⁽ⁱ⁾＝min_j||x⁽ⁱ⁾-μ_j||² (1)

将每一个压缩去噪合成矢量分配到离其最邻近的子空间后，根据公式(2)，重新计算每一个子空间中心点μ_j：

重复上述步骤直到K个子空间中心点不发生变化，即为最终的K个子空间中心点；根据K个不同的子空间中心点，将特征空间划分为K个不同的子空间；

S34、根据训练样本集中每个压缩去噪合成矢量所属的子空间的不同，将训练样本集划分为K个训练样本组；在每一个训练样本组中，压缩去噪图像块为输入样本：

清晰图像细节块为输出样本：

其中s是该训练样本组中压缩去噪图像块的个数。

4.如权利要求1所述的方法，其特征在于，所述步骤S4，其具体为：

S41、在每个子空间内，根据最小均方误差准则,通过求解公式(3),可得到该子空间的回归模型β_j：

其中，j＝1，2，...，K，In的尺寸为L×n²，B的尺寸为L×1，In和B中的元素是随机生成的，且服从均匀分布，L表示将原始输入样本V_j映射到L维特征空间；O_j是尺寸为1×s且元素全部为1的矩阵，s是该训练样本组中压缩去噪图像块的个数；

S42、使用梯度下降法法求解公式(3)，得到的最优解即为该子空间的回归模型β_j，然后再将每个子空间的回归模型β_j存储起来。

5.如权利要求1所述的方法，其特征在于，所述步骤S6，其具体为：

S61、所述全部的待清晰化压缩去噪合成矢量为：

其中cm是待清晰化压缩去噪合成矢量的个数；

S62、所述全部待清晰化压缩去噪图像块为：

V_comp＝{cv⁽¹⁾，cv⁽²⁾，...，cv^(cm)}，cv^(ci)∈R^n×n，ci＝1，2，...，cm，其中cm是待清晰化压缩去噪图像块的个数；

S63、对于每一个待清晰化压缩去噪合成矢量cx^(ci)，根据公式(1)，求得其最邻近的子空间c^(ti)；同时，与cx^(ci)相对应的待清晰化压缩去噪图像块cv^(ci)也被分配到相应的子空间中；

S64、根据公式(4)，求得cv^(ci)对应的估计清晰图像块

6.如权利要求1所述的方法，其特征在于，所述步骤S7，其具体为：

S71、根据S6步骤得到所有的估计清晰图像块：

其中cm是估计清晰图像块的个数；

S72、将根据其像素点的位置，按照加权平均的方式堆叠起来，得到最终的压缩图像的清晰化图像。