CN105354804B - 一种基于最大化自相似性质的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于最大化自相似性质的图像超分辨率重建方法，包括：对输入图像Y进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y ₀ 和双三次上采样图像X ₀ ；从图像Y和图像Y ₀ 中抽取图像片集合｛y ^p ，y ₀ ^p ｝，进而构建相应的训练样本数据集合D；采用混合高斯模型来描述数据集合D的概率密度函数，然后采用期望最大化算法进行参数训练，得到概率密度函数的参数；从图像X ₀ 中抽取图像片x₀ ^p ，然后根据概率密度函数的参数对图像片x₀ ^p 进行求解，得到在待求取的超分辨率图像X中以最大概率重现的图像片z _i ；根据图像片z _i 以及图像X需满足的退化处理约束方程求出最终的超分辨率图像X。本发明具有失真度小和噪声小的优点，可广泛应用于图像处理领域。

Description

一种基于最大化自相似性质的图像超分辨率重建方法

技术领域

本发明涉及图像处理领域，尤其是一种基于最大化自相似性质的图像超分辨率重建方法。

背景技术

图像超分辨率重建技术是图像处理领域里一个重要且基础的课题，它指的是通过软件计算的方式处理输入的一幅或多幅同一场景的低分辨率图像来估算其对应的高分辨率图像。这种重建技术在数字电视高清显示、视频监控等领域有着广泛的应用，其实现方法主要可分为基于插值的方法、基于重建的方法和基于学习的方法这三种。近年来，随着机器学习、数据挖掘等技术的崛起，基于学习的方法逐渐为人们所重视，并成为图像超分辨率重建技术的主流。

D.Glasner等人通过统计实验表明：在自然图像中，绝大多数的小图像片(如5×5大小的图像片，7×7大小的图像片，…)在该幅图像本身或其不同尺度的图像中存在大量的重复，这一性质被称作自相似性。D.Glasner等人利用这一性质，将输入图像构造成高斯金字塔序列，对输入图像中的每一个小图像片，利用不同尺度间所能找到的相似图像片来构造学习样本，把在同一尺度内能找到的图像片看成是该小图像片的不同观察值，最终通过学习样本和观察值这两种方式的结合来构造图像的超分辨率结果。Maria Zontak通过统计实验进一步指出：在自然图像中，在距离某图像片位置越近的区域内重现该图像片的可能性越大，同时，平滑区域内的图像片比边缘或纹理位置的图像片更易在整幅图像中重现。量化上述先验知识作为约束条件加入到前述的自相似性框架中，其结果较D.Glasner等人提出的方法有所改善。但这两种方法存在着以下共同的缺点：其估计出的高分辨率图像中会产生一些新的“奇异”的图像片，这些“奇异”的图像片在其自身或其低尺度图像内不会重复，使得图像失真较大。这些“奇异”的图像片是因为采用上述框架的算法只使得所抽取的图像片具有自相似性质，并不能保证在所估计的超分辨率重建结果中任意抽取的每个图像片都在自身或较低尺度内存在自相似性质(图像片与图像片的重叠部分因加权求和而改变了所求结果的值，或者抽取的图像片为两个相邻估计结果片内各自独立的一部分)；同时，在图像细节丰富的位置附近(如边缘、纹理等位置)会产生一些噪声来影响图像的视觉质量。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种失真度小和噪声小的，基于最大化自相似性质的图像超分辨率重建方法。

本发明解决其技术问题所采用的技术方案是：

一种基于最大化自相似性质的图像超分辨率重建方法，包括：

S1、对输入图像Y进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y₀和双三次上采样图像X₀；

S2、从输入图像Y和高斯低通滤波图像Y₀中抽取图像片集合{y^p，y₀ ^p}，进而构建相应的训练样本数据集合其中，y^p为Y中抽取的图像片，y₀ ^p为Y₀中抽取图像片，p表示图像片位置，T为转置；

S3、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，然后采用期望最大化算法进行参数训练，得到概率密度函数的参数；

S4、从双三次上采样图像X₀中抽取图像片x₀ ^p，然后根据概率密度函数的参数对图像片x₀ ^p所需满足的最大值方程进行求解，得到在待求取的超分辨率图像X中以最大概率重现的图像片zi；

S5、根据图像片z_i以及超分辨率图像X需满足的退化处理约束方程求出最终的超分辨率图像X。

进一步，所述步骤S3，其包括：

S31、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，所述训练样本数据集合D的概率密度函数p(d)的表达式为：

其中，d为D对应的多元随机变量，K为设定的高斯函数个数，α_k、μ_k和Σ_k分别为第k个高斯函数的权值、均值向量和协方差矩阵，N为正态分布函数；

S32、采用期望最大化算法进行参数训练，得到概率密度函数p(d)的参数α_k、μ_k和Σ_k。

进一步，所述步骤S4，其包括：

S41、从双三次上采样图像X₀中抽取图像片x₀ ^p；

S42、对图像片x₀ ^p所需满足的最大值方程进行求解，得到图像片z_i，所述所需满足的最大值方程为：

进一步，所述步骤S42，其具体为：

将μ_k改写为Σ_k改写为然后代入x₀ ^p所需满足的最大值方程中，从而得到图像片z_i，所述图像片z_i的表达式为：

其中，i＝1,2,…,N；为双三次上采样图像X₀中的第i个图像片。

进一步，所述步骤S5，其具体为：

固定图像片z_i的集合{z_i}不变，对最终的超分辨率图像X所需满足的退化处理约束方程进行求解，得到最终的超分辨率图像X，所述X所需满足的退化处理约束方程为：

其中，D₀为设定的下采样矩阵，H为设定的低通滤波矩阵，β为设定的权重系数，P_j为抽取X中第j个图像片的概率，z_j为集合{z_i}中的第j个图像片；

所述最终的超分辨率图像X的表达式为：

进一步，所述输入图像Y为Ycbcr空间的图像。

本发明的有益效果是：包括根据概率密度函数的参数对图像片x₀ ^p所需满足的最大值方程进行求解，得到在待求取的超分辨率图像X中以最大概率重现的图像片z_i的步骤，根据图像的最大化自相似性质进行图像超分辨率重建，使得最终所求取的超分辨率图像X中的任一图像片z_i在输入图像Y中以最大的概率存在，减少了不存在重复的“奇异”图像片的数量，失真度小；增设了退化处理约束，使得最终得到的超分辨率图像X经退化处理后的图像与输入图像Y尽可能接近，在图像细节丰富的位置附近对噪声有很强的抑制作用，使得重建后的图像在视觉上更加清晰自然。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明一种基于最大化自相似性质的图像超分辨率重建方法的整体流程图；

图2为本发明实施例一基于最大化自相似性质的图像超分辨率重建方法的框架图；

图3为采用双三次插值算法得到小孩的超分辨率重建图像；

图4为采用本发明的方法得到小孩的超分辨率重建图像。

具体实施方式

参照图1，一种基于最大化自相似性质的图像超分辨率重建方法，包括：

S1、对输入图像Y进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y₀和双三次上采样图像X₀；

S2、从输入图像Y和高斯低通滤波图像Y₀中抽取图像片集合{y^p，y₀ ^p}，进而构建相应的训练样本数据集合其中，y^p为Y中抽取的图像片，y₀ ^p为Y₀中抽取图像片，p表示图像片位置，T为转置；

S3、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，然后采用期望最大化算法进行参数训练，得到概率密度函数的参数；

S4、从双三次上采样图像X₀中抽取图像片x₀ ^p，然后根据概率密度函数的参数对图像片x₀ ^p所需满足的最大值方程进行求解，得到在待求取的超分辨率图像X中以最大概率重现的图像片z_i；

S5、根据图像片z_i以及超分辨率图像X需满足的退化处理约束方程求出最终的超分辨率图像X。

进一步作为优选的实施方式，所述步骤S3，其包括：

S31、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，所述训练样本数据集合D的概率密度函数p(d)的表达式为：

其中，d为D对应的多元随机变量，K为设定的高斯函数个数，α_k、μ_k和Σ_k分别为第k个高斯函数的权值、均值向量和协方差矩阵，N为正态分布函数；

S32、采用期望最大化算法进行参数训练，得到概率密度函数p(d)的参数α_k、μ_k和Σ_k。

进一步作为优选的实施方式，所述步骤S4，其包括：

S41、从双三次上采样图像X₀中抽取图像片x₀ ^p；

S42、对图像片x₀ ^p所需满足的最大值方程进行求解，得到图像片z_i，所述所需满足的最大值方程为：

进一步作为优选的实施方式，所述步骤S42，其具体为：

将μ_k改写为Σ_k改写为然后代入x₀ ^p所需满足的最大值方程中，从而得到图像片z_i，所述图像片z_i的表达式为：

其中，i＝1,2,…,N；为双三次上采样图像X₀中的第i个图像片，和由均值向量μ_k拆分而来，和由协方差矩阵Σ_k拆分而来。

进一步作为优选的实施方式，所述步骤S5，其具体为：

固定图像片z_i的集合{z_i}不变，对最终的超分辨率图像X所需满足的退化处理约束方程进行求解，得到最终的超分辨率图像X，所述X所需满足的退化处理约束方程为：

其中，D₀为设定的下采样矩阵，H为设定的低通滤波矩阵，β为设定的权重系数，P_j为抽取X中第j个图像片的概率，z_j为集合{z_i}中的第j个图像片；

所述最终的超分辨率图像X的表达式为：

进一步作为优选的实施方式，所述输入图像Y为Ycbcr空间的图像。

下面结合说明书附图和具体实施例对本发明作进一步详细说明。

实施例一

从前面背景技术部分的介绍可知，自然图像中绝大多数的图像片都存在着自相似性质，这对于估计出的超分辨率结果图像中的任意一个图像片而言，在输入图像中都至少有一个图像片和它的外观非常相似；同时，对超分辨率结果图像进行滤波以及下采样处理后得到的图像应和输入图像非常接近。

基于上述分析，本实施例提出了一种新的基于自相似性质的图像超分辨率重建方法，如图2所示，该方法先将输入的低分辨率图像Y进行高斯低通滤波处理得到图像Y₀，将Y通过双三次插值方法放大到目标尺寸得到X₀，以Y₀和X₀作为输入图像Y和高分辨率图像X的低频成分，然后通过Y，Y₀，和X₀重建Y的高分辨率图像X，具体的实现过程如下：

a.首先从Y和Y₀中抽取图像片集合{y^p，y₀ ^p}，p表示图像片位置，并以向量的形式连接Y和Y₀中的图像片来构造训练样本数据集合接着，本发明用混合高斯模型来描述D的概率密度函数p(d)，p(d)的表达式为：d为多元随机变量，K为指定的高斯函数个数，α_k、μ_k和Σ_k分别为第k个高斯函数的权值、均值向量和协方差矩阵。最后，在训练概率密度函数p(d)的α_k、μ_k和Σ_k这三个参数的过程中，本发明采用了期望最大化算法(即EM算法)。

b.在图像X₀中抽取一定数量的图像片x₀ ^p，其所抽取的数量为X₀中的总像素数。对于图像X₀中的每一个图像片而言，其所需满足的最大值方程为：求解最大值方程得到的图像片z_i在X中应以最大的概率重现。

在求解z_i的过程中，本实施例将μ_k改写为Σ_k改写为然后代入最大值方程，求得的z_i为：

c.为保证最终的结果图像在进行滤波与下采样处理后与输入的低分辨率图像尽可能接近，在固定图像片z_i的集合的{z_i}不变前提下，还需要求解如下退化处理约束方程：

其中，D₀为设定的下采样矩阵，H为设定的低通滤波矩阵，β为设定的权重系数，P_j为抽取X中第j个图像片的概率，z_j为集合{z_i}中的第j个图像片。通过对退化处理约束方程进行求解，可得X的表达式为：

d.为了保证得到的结果稳定，本发明还需将步骤b和c迭代运行4次或5次(在每次运行前将β增大，以保证其能逐步收敛)，得到最终的结果图像。

此外，若输入图像Y为RGB彩色图像时，本发明还需要先将图像转换到Ycbcr空间。其中，Y通道采用本发明提出的方法，而cb、cr则采用简单的双三次插值方法，最后将得到的结果图像再转换回RGB空间。

本发明基于图像的最大化自相似性质提出了一种新的图像超分辨率重建算法，该方法使得所求解的超分辨率图像X中的任意一个小图像片z_i在输入图像Y中以最大的概率存在，同时使得到的超分辨率图像X在经过退化处理后与输入的图像Y尽可能接近。对比图3和图4可以看出，本发明的方法在边缘等图像细节丰富的位置附近对噪声有很强的抑制作用，使得重建后的图像在视觉上更加清晰自然。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (2)

1.一种基于最大化自相似性质的图像超分辨率重建方法，其特征在于：包括：

S1、对输入图像Y进行高斯低通滤波和双三次上采样，得到高斯低通滤波图像Y₀和双三次上采样图像X₀；

S2、从输入图像Y和高斯低通滤波图像Y₀中抽取图像片集合{y^p，y₀ ^p}，进而构建相应的训练样本数据集合其中，y^p为Y中抽取的图像片，y₀ ^p为Y₀中抽取图像片，p表示图像片位置，T为转置；

S3、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，然后采用期望最大化算法进行参数训练，得到概率密度函数的参数；

S4、从双三次上采样图像X₀中抽取图像片x₀ ^p，然后根据概率密度函数的参数对图像片x₀ ^p所需满足的最大值方程进行求解，得到在待求取的超分辨率图像X中以最大概率重现的图像片z_i；

S5、根据图像片z_i以及超分辨率图像X需满足的退化处理约束方程求出最终的超分辨率图像X；

所述步骤S3，其包括：

S31、采用混合高斯模型来描述训练样本数据集合D的概率密度函数，所述训练样本数据集合D的概率密度函数p(d)的表达式为：

其中，d为D对应的多元随机变量，K为设定的高斯函数个数，α_k、μ_k和Σ_k分别为第k个高斯函数的权值、均值向量和协方差矩阵，N为正态分布函数；

S32、采用期望最大化算法进行参数训练，得到概率密度函数p(d)的参数α_k、μ_k和Σ_k；

所述步骤S4，其包括：

S41、从双三次上采样图像X₀中抽取图像片x₀ ^p；

S42、对图像片x₀ ^p所需满足的最大值方程进行求解，得到图像片z_i，所述所需满足的最大值方程为：

所述步骤S42，其具体为：

将μ_k改写为Σ_k改写为然后代入x₀ ^p所需满足的最大值方程中，从而得到图像片z_i，所述图像片z_i的表达式为：

其中，i＝1,2,…,N；为双三次上采样图像X₀中的第i个图像片；

所述步骤S5，其具体为：

固定图像片z_i的集合{z_i}不变，对最终的超分辨率图像X所需满足的退化处理约束方程进行求解，得到最终的超分辨率图像X，所述X所需满足的退化处理约束方程为：

其中，D₀为设定的下采样矩阵，H为设定的低通滤波矩阵，β为设定的权重系数，P_j为抽取X中第j个图像片的概率，z_j为集合{z_i}中的第j个图像片；

所述最终的超分辨率图像X的表达式为：

2.根据权利要求1所述的一种基于最大化自相似性质的图像超分辨率重建方法，其特征在于：所述输入图像Y为Ycbcr空间的图像。