CN106204445A - 基于结构张量全变差的图像视频超分辨率方法 - Google Patents

Abstract

本发明公开一种基于结构张量全变差的图像视频超分辨率方法，包括如下步骤：建立图像降质模型，包括模糊和降采样两个部分，表示为，其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示产生的低分辨率图像；建立超分辨率模型，包括图像插值和去模糊两个部分，用公式表示为，其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D^‑1表示相应倍数的插值过程，y表示低分辨率图像；建立基于结构张量全变差正则化约束的超分辨率模型，表示为，其中，μ是一个可以调节的参数，对正则项约束的强度进行控制。本发明改进了全变差模型直接对图像约束导致的过度平滑和边缘阶梯效应，更加符合人眼的主观感受。

Description

基于结构张量全变差的图像视频超分辨率方法

技术领域

本发明属于视频图像处理技术领域，特别是涉及一种基于结构张量全变差的图像视频超分辨率方法。

背景技术

图像超分辨率是指利用计算机将一幅低分辨率的图像放大为一幅高分辨率的图像，并且估算出在放大过程中需要增补的图像信息的一类方法。

视频超分辨率分为两类，一类是指从一个视频中，利用多帧的信息，重建出一个关键帧，在监控中有较多的应用。另一类是指对视频的每一帧进行放大，生成一个高分辨率的视频，主要在视频广播领域内应用。

数字图像生成设备(数码相机、数码摄像机等)的使用已经越来越普及，也使得数字图像得到了越来越广泛的应用。随着电子设备的快速更新换代，互补金属氧化物半导体(CMOS)和电荷藕合器件(CCD)图像传感器的发展，视频采集和显示设备的分辨率越来越高，不同设备采集的视频的大小也是参差不齐。把高分辨率的视频降采样到低分辨率显示设备上显示相对比较容易，但是把低分辨率视频放大到高分辨率大小显示就相对比较复杂，需要通过低分辨率视频猜测出未知的信息填补到高分辨率视频中，以使重建的高分辨率视频保证足够的清晰度，并且让人眼的感官比较自然。

随着计算机和图像处理技术的发展，视频图像的超分辨率技术为增强和放大低分辨率的视频提供了很好的解决方案。它可将低分辨率的视频进行更好的放大，从而可以在高分辨率的显示设备上进行显示。

视频图像超分辨率是一项非常有前景的技术，相比于传统的图像插值方法，超分辨率方法能够提供更加优异的图像视频放大效果。它可在图像放大的过程中保持图像的边缘和细节，从而得到更接近原始高分辨率图像的结果。

针对视频广播领域的超分辨率通常的单帧图像超分辨率。单帧视频图像的超分辨率通常采用两类方法，一类是基于样例学习的超分辨率算法，一类是基于正则化模型的超分辨率算法。

有研究者于2002年提出了基于样例学习的超分辨方法。在自然图像中，如果把大量的自然图像建立一个数据库。然后把它们切割成很小的图像块，可以发现，这些小图像块会在其他自然图像中或者自身存在的图像中重复出现。甚至，这些图像从宏观上看，并不表示同样的物体。该研究者利用这个思想构建了一个数据库，数据库中存储这些高分辨率的图像小块和它们的降采样版本。当需要进行图像超分辨的时候，待超分辨的低分辨率图像也被切成与数据库中的低分辨率小块同样大小的块，然后，这些小块去数据库中寻找自己的相似版本，把它对应的高分辨率小块作为超分辨率结果贴回图像中，当为所有低分辨率小块都找到它们的高分辨率对应之后，超分辨率的结果也就完成了。

另有研究者于2009年提出了基于图像自相似性的样例学习方式，不需要建立额外的数据库，而是直接从当前图像自身出发，进行降采样，然后这种高分辨率和低分辨率的对应结果作为数据库，进行超分辨率，也取得了不错的效果。

由于数据库的构建过于庞大和冗余，另有研究者在2010年使用了稀疏表示的方法对数据库进行一定的训练，从庞大的数据库中筛选中重要的特征，使图像块的表示尽量的稀疏化，以达到更好的超分辨率效果，并加快后期超分辨率的速度，也取得了不错的效果。

这类基于样例学习的超分辨率方法的虽然能够得到很好的主观效果，但是缺点也是比较明显的：首先，数据库的存储必须占据大量的空间，数据库的精确查找也比较慢，使得算法在空间和时间上的效率不高；另外，超分辨率的数据库的构建中需要确定放大倍数，也使得这类方法的放大倍数比较固定，并不能做到灵活的放大。

另一类方法则是正则化模型。由于从低分辨率图像还原回高分辨率图像的过程是一个不适定的反问题，即反向推导模型不稳定，很容易被噪声干扰得到非常差的结果。正则化模型根据自然图像的统计特性，建立图像先验，构建图像的降质模型，然后，通过求解优化方程的方法得到最终的满足约束的最优估计解，得到最终的还原结果。正则化模型相比于样例超分辨的优势在于：不用构建数据库，即不用大量额外的存储空间和搜索时间；通过构建相应的模型，可以对图像进行任意倍数的放大。

有研究者在1992年提出了全变差(Total Variation，TV)正则化模型，该模型的改进点是采用了信号差分的一范数约束作为正则化约束的先验模型。这个方法的优点是对于阶跃信号能够很好的保持，对于噪声影响造成的不稳定能够相应的抑制，在求解过程中，使最终还原信号的阶跃部分不至于被平滑掉。TV是一个非常有效的约束模型，但是在求解过程中，由于一范数在0点不可导，一直以来都采用比较慢的次梯度法去求解，使该模型的大量应用推迟了很久。近些年来，由于优化领域的发展，求解TV不再是缓慢的问题，通过交替方向乘子法，可以快速求解TV模型，最终的图像的结果也比较理想。但是，TV模型的问题是，对于最终求解出来的结果可能会过度平滑，即除了光滑区域和强边缘区域，细节和纹理会被平滑掉。另外，在图像的边界处还会产生块状阶梯效应，使最终的图像人造效果明显。

有研究者于2008年提出了根据自然图像的一阶差分的统计特性的分段的先验模型，该模型采用一个分段的函数去逼近自然图像一阶差分的概率统计，使先验模型更加准确，基于这个模型，作者采用特定的优化方法进行求解，得到了比较好的效果。

有研究者于2015年提出距离敏感的先验模型，为不同距离大小的物体分配不同的去模糊权重，改进现有的模型，也得到了比较好的图像主客观效果。

发明内容

本发明提供一种基于结构张量全变差的图像视频超分辨率方法，包括如下步骤：

建立图像降质模型，包括模糊和降采样两个部分，用公式表示为，

$y=D(B\⊗x)---\left(1\right)$

其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像；

建立超分辨率模型，包括图像插值和去模糊两个部分，用公式表示为，

$\hat{x}=B{\⊗}^{-1}\left(D^{-1}y\right)---\left(2\right)$

其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D^-1表示相应倍数的插值过程，y表示低分辨率图像；以及

建立基于结构张量全变差正则化约束的超分辨率模型，用公式表示为，

$\hat{x}=\underset{x}{\arg \min }\frac{1}{2}\left|\right|DBx-y|{|}_2^2+{\mathrm{\μSTV}}_p\left(x\right)---\left(8\right)$

其中，μ是一个可以调节的参数，对正则项约束的强度进行控制。

优选为，所述建立基于结构张量全变差正则化约束的超分辨率模型包括如下步骤：

在观察到所述低分辨率图像y的情况下，求一个高分辨率的图像使其条件概率最大；

$\hat{x}=\underset{x}{\mathrm{argmax}}\ln p\left(x\right|y)---\left(3\right)$

引入真实图像的先验重建最终的结果；以及

基于结构张量的全变差的先验约束对一阶差分项进行约束，保留边缘和拐角的区域，平滑各向同性的部分。

优选为，通过贝叶斯公式，将所述高分辨率的图像改写为，

$\hat{x}=\underset{x}{\mathrm{argmin}}-\ln p\left(y\right|x)-\ln p\left(x\right)---\left(4\right).$

优选为，假设所述低分辨率图像存在的噪声为高斯噪声，所述后验概率部分-lnp(y|x)表示为，

$-\ln p\left(y\right|x)=C\left|\right|DBx-y|{|}_2^2---\left(5\right)$

其中，C是一个常系数。

优选为，所述基于结构张量的全变差的先验约束中，结构化张量是指在每个像素点处首先计算结构张量，

$J=k_{\mathrm{\ρ}}*\▿u_{\mathrm{\σ}}\▿u_{\mathrm{\σ}}^T---\left(6\right)$

所述结构张量全变差约束表示为，

${\mathrm{STV}}_p\left(x\right)=\underset{i}{\Σ}\left|\right|{(\sqrt{{\mathrm{\λ}}^{+}},\sqrt{{\mathrm{\λ}}^{-}})}_i|{|}_p---\left(7\right)$

其中，λ⁺和λ^-分别为该像素点i处的结构张量J的两个特征值，p表示范数的阶数。

其中，所述λ⁺和λ^-满足如下关系，

$Isotropic:{\mathrm{\λ}}^{+}\≅{\mathrm{\λ}}^{-}\≈0$

Line:λ⁺λ^-≈0

Corner:λ⁺≥λ^-0。

根据本发明，改进了原来传统的全变差(TV)模型直接对图像约束导致的过度平滑和边缘阶梯效应，使最终生成的显示结果更加符合人眼的主观感受。

附图说明

图1是基于结构张量全变差的图像视频超分辨率方法的流程图。

图2是建立基于结构张量全变差正则化约束的超分辨率模型的流程图。

图3是基于结构张量全变差的图像视频超分辨率方法的运行流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1是基于结构张量全变差的图像视频超分辨率方法的流程图。如图1所示，基于结构张量全变差的图像视频超分辨率方法包括如下步骤：

步骤S1，建立图像降质模型。

首先建立图像降质模型，描述已知高分辨率图像生成低分辨率图像的过程，一般的图像降质过程包括模糊和降采样两个部分，用公式可以表示为：

$y=D(B\⊗x)---\left(1\right)$

其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像。

步骤S2，建立超分辨率模型。

图像超分辨率模型是图像降质模型的逆过程，包括图像插值和去模糊两个部分。用公式可以表示为：

$\hat{x}=B{\⊗}^{-1}\left(D^{-1}y\right)---\left(2\right)$

其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D^-1表示相应倍数的插值过程，y表示低分辨率图像。

步骤S3，建立基于结构张量全变差正则化约束的超分辨率模型。

超分辨率模型是一种非常不稳定的模型，即稍微有噪声干扰的情况下，会对还原的结果造成非常大的影响，这种模型在数学上被称为不适定的模型。为了有效的解决这个现象，需要对超分辨率模型的还原结果做一定的约束，使还原的结果不会被噪声干扰，且符合真实图像的结果。如图2所示，具体包括如下步骤：

在步骤S31中，从概率的角度去分析这个问题，将目标描述为在观察到低分辨率图像y的情况下，求一个高分辨率的图像使其条件概率最大。

$\hat{x}=\underset{x}{\mathrm{argmax}}\ln p\left(x\right|y)---\left(3\right)$

通过，贝叶斯公式，将上述模型改写为，

$\hat{x}=\underset{x}{\mathrm{argmin}}-\ln p\left(y\right|x)-\ln p\left(x\right)---\left(4\right)$

假设低分辨率图像存在的噪声为高斯噪声，那么，后验概率部分可以写成

$-\ln p\left(y\right|x)=C\left|\right|DBx-y|{|}_2^2---\left(5\right)$

其中，C是一个常系数。

接下来，在步骤S32中，引入真实图像的先验p(x)去帮助重建最终的结果，从而得到符合真实图像的结果，减少噪声的干扰。

在传统的方法中采用差分的一范数，即全变差(Total Variation，TV)去约束一阶差分项。但是，全变差约束会造成图像的过度平滑化，而且在边缘处容易产生阶梯效应。因此，接下来，在步骤S33中通过基于结构张量的全变差的先验约束对一阶差分项进行约束。

结构化张量是指在每个像素点处首先计算结构张量，

$J=k_{\mathrm{\ρ}}*\▿u_{\mathrm{\σ}}\▿u_{\mathrm{\σ}}^T---\left(6\right)$

其中k_ρ是一个高斯核，是图像在该像素点的梯度。然后，我们定义结构化张量的全变差约束形式

${\mathrm{STV}}_p\left(x\right)=\underset{i}{\Σ}\left|\right|{(\sqrt{{\mathrm{\λ}}^{+}},\sqrt{{\mathrm{\λ}}^{-}})}_i|{|}_p---\left(7\right)$

其中，λ⁺和λ^-分别为该像素点i处的结构张量J的两个特征值，p表示范数的阶数。由于λ⁺和λ^-满足如下关系，

$Isotropic:{\mathrm{\λ}}^{+}\≅{\mathrm{\λ}}^{-}\≈0$

Line:λ⁺λ^-≈0

Corner:λ⁺≥λ^-0

通过对小特征值的滤波，保留了边缘(Line)和拐角(Corner)的区域，平滑了各向同性的部分(Isotropic)，并且由于大的特征值基本上和边缘的方向垂直，也避免了TV对直角坐标系下的梯度直接约束导致的阶梯效应。

最终基于结构张量全变差正则化约束的超分辨率模型可以写成：

$\hat{x}=\underset{x}{\arg \min }\frac{1}{2}\left|\right|DBx-y|{|}_2^2+{\mathrm{\μSTV}}_p\left(x\right)---\left(8\right)$

其中，μ是一个可以调节的参数，用来控制正则项约束的强度。

在图3中示出了基于结构张量全变差的图像视频超分辨率方法的运行流程图。首先，输入一副图像或者视频；然后，取出图像或关键帧作为模型参数，代入基于结构张量全变差的图像视频超分辨率模型中求解优化结果；接下来，判断是否到达文件末尾，若到达，则将内存中的结果数据输出，若未到达则将结果存入内存并重复上一步骤，直至到达文件末尾。

本发明的基于结构张量全变差的图像视频超分辨率方法提出采用结构张量全变差正则化先验模型对图像进行约束，进行超分辨率。改进了原来传统的TV模型直接对图像约束导致的过度平滑和边缘阶梯效应，使最终的生成显示结果更加的符合人眼的主观感受。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于结构张量全变差的图像视频超分辨率方法，其特征在于，

包括如下步骤：

建立图像降质模型，包括模糊和降采样两个部分，用公式表示为，

$y=D(B\⊗x)---\left(1\right)$

其中，x表示原始高分辨率图像，B表示模糊核，表示卷积过程，D表示相应倍数的降采样，y表示生产的低分辨率图像；

建立超分辨率模型，包括图像插值和去模糊两个部分，用公式表示为：

$\hat{x}=B{\⊗}^{-1}\left(D^{-1}y\right)---\left(2\right)$

其中，表示还原的高分辨率图像，B表示模糊核，表示反卷积过程，D^-1表示相应倍数的插值过程，y表示低分辨率图像；以及

建立基于结构张量全变差正则化约束的超分辨率模型，用公式表示为，

$\hat{x}=\underset{x}{\arg \min }\frac{1}{2}\left|\right|DBx-y|{|}_2^2+{\mathrm{\μSTV}}_p\left(x\right)---\left(8\right)$

其中，μ是一个可以调节的参数，对正则项约束的强度进行控制。

2.根据权利要求1所述的基于结构张量全变差的图像视频超分辨率方法，其特征在于，

所述建立基于结构张量全变差正则化约束的超分辨率模型包括如下步骤：

在观察到所述低分辨率图像y的情况下，求一个高分辨率的图像使其条件概率最大；

$\hat{x}=\underset{x}{\arg \mathrm{maqx}}\ln p\left(x\right|y)---\left(3\right)$

引入真实图像的先验重建最终的结果；以及

基于结构张量的全变差的先验约束对一阶差分项进行约束，保留边缘和拐角的区域，平滑各向同性的部分。

3.根据权利要求2所述的基于结构张量全变差的图像视频超分辨率方法，其特征在于，

通过贝叶斯公式，将所述高分辨率的图像改写为，

$\hat{x}=\underset{x}{\mathrm{argmin}}-\ln p\left(y\right|x)-\ln p\left(x\right)---\left(4\right).$

4.根据权利要求3所述的基于结构张量全变差的图像视频超分辨率方法，其特征在于，

假设所述低分辨率图像存在的噪声为高斯噪声，所述后验概率部分-lnp(y|x)表示为，

$-\ln p\left(y\right|x)=C\left|\right|DBx-y|{|}_2^2---\left(5\right)$

其中，C是一个常系数。

5.根据权利要求2所述的基于结构张量全变差的图像视频超分辨率方法，其特征在于，

所述基于结构张量的全变差的先验约束中，所述结构化张量是指在每个像素点处首先计算结构张量，

$J=k_{\mathrm{\ρ}}*\▿u_{\mathrm{\σ}}\▿u_{\mathrm{\σ}}^T---\left(6\right)$

所述结构张量全变差的约束形式为，

${\mathrm{STV}}_p\left(x\right)=\underset{i}{\Σ}\left|\right|{(\sqrt{{\mathrm{\λ}}^{+}},\sqrt{{\mathrm{\λ}}^{-}})}_i|{|}_p---\left(7\right)$

其中，λ⁺和λ^-分别为该像素点i处的结构张量J的两个特征值，p表示范数的阶数。

6.根据权利要求5所述的基于结构张量全变差的图像视频超分辨率方法，其特征在于，

所述λ⁺和λ^-满足如下关系，

Isotropic:

Line:λ⁺＞＞λ^-≈0

Corner:λ⁺≥λ^-＞＞0。