CN102831583A - 基于分形分析的图像视频超分辨率与增强方法 - Google Patents

Abstract

本发明公开一种基于分形分析的图像视频超分辨率与增强方法，步骤：读取一幅图像或视频中的某一帧，记为I，计算I的梯度Grad_ori；对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H'；计算H'的梯度Grad_est；分别通过Grad_ori和Grad_est计算I和H'对应像素的分形维数D_ori，D_est和分形长度L_ori，L_est；通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度Grad_H；以H'和Grad_H为约束，重新估计出高分辨率图像

本发明以图像的像素为分形集，以像素对应的梯度为分形集的测度计算出图像局部分形维数和长度，并根据分形维数的尺度不变性，对超分辨率问题进行约束；通过引入分形长度的尺度不变性这一约束，可以用于图像和视频的画质增强，尤其是纹理增强上。

Description

基于分形分析的图像视频超分辨率与增强方法

技术领域

本发明涉及的是一种图像和视频处理技术领域的系统，具体是一种基于分形分析的图像视频超分辨率与增强方法。

背景技术

随着科技的进步，越来越多以图像和视频为载体的信息以数字的形式呈现在我们面前，例如电影电视节目、游戏以及照片等等，为我们的生活带来乐趣和精神享受。但是相比传统的基于胶片的成像手段，客观上数字成像技术在图像分辨率上有所下降。不仅如此，由于拍摄过程中的干扰，传输带宽的限制，成像设备的落后以及保存不善等原因，图像和视频在显示过程中质量下降，人眼的视觉感受也相应地受到影响。在这些不良影响之中，图像分辨率的下降对视觉的影响尤为明显。

分辨率下降导致图像的细节丢失，图像变得模糊且过于平滑。为了得到更高的分辨率，很多针对图像和视频的超分辨率算法被提出。这些方法可以被分为两类。一类是基于信号内插的算法，例如传统的双线性内插算法，以及Xiangjun Zhang和XiaolinWu在《IEEE Transaction on Image Processing》第17卷第6期的第887页至第896页发表的“Image interpolation by adaptive2-d autoregressive modeling andsoft-decision estimation”提出的方法就是这类方法的代表。但是由于这类方法往往是基于信号分段线性的假设，所以不能很好地对图像的边缘和纹理部分进行插值。为了改进传统内插算法的结果，基于图像统计特性的算法，即第二类算法被提出。这类算法以内插算法的结果为初始值，以图像的统计特征作为高分辨率图像的先验知识，得到了更好的超分辨率结果。R.Fattal在《ACM Transaction on Graphics》第26卷第3期的第95页至第102页发表的“Image upsampling via imposed edge statistics”所提出的方法就属于这类算法。但是这类算法的问题在于对于算法中的参数设定没有依据，往往需要手动调节或是基于统计方法进行训练。此外，这类方法对于图像的亮度没有约束，导致处理结果有过增强的危险。

上述的两类方法都存在缺乏理论依据，没有良好模型作为基础的缺点。为了更好的进行图像和视频超分辨率增强，本发明提出一种基于分形分析的图像及视频超分辨率方法。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于分形分析的图像及视频超分辨率方法，该方法是根据分形维数和分形长度的定义，以分形维数和长度的尺度不变性为基础的超分辨率方法，本发明参数可以根据图像性质自适应调节，超分辨率结果结合尺度增强与纹理增强。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、读取一幅图像或视频中的某一帧，记为I。计算I的梯度Grad_ori。

第二步、对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H'。

第三步、计算H'的梯度Grad_est。

第四步、分别通过Grad_ori和Grad_est计算I和H'对应像素的分形维数D_ori，D_est和分形长度L_ori，L_est。

第五步、通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度Grad_H。

第六步、以H'和Grad_H为约束，重新估计出高分辨率图像

本发明的原理是，以图像的像素点集为分形集，以像素对应的梯度为分形集的测度计算出图像中以对应像素点为中心的块的分形维数和长度，并根据分形维数的尺度不变性，对超分辨率问题进行约束，结合传统的内插算法，分别对高分辨率图像给出亮度域和梯度域的先验，有此得到超分辨率结果。此外，通过引入分形长度的尺度不变性这一约束，本发明提出的模型及方法还可以用于图像和视频的画质增强，尤其是纹理增强上。

附图说明

图1是双线性内插示意图；

图2是本发明方法的系统流程图；

图3是本发明算法中图像处理过程的示意图；

图4是本发明灰度图像超分辨率结果的比较图；

图5是本发明彩色图像超分辨率结果的比较图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例：

第一步、读取一幅图像或视频中的某一帧，记为I。计算I的梯度Grad_ori。

所述的计算梯度，是指对I中每个像素点(x,y)。计算

${\▿}_{x}I(x,y)=I(x,y)-I(x-1,y)$

${\▿}_{y}I(x,y)=I(x,y)-I(x,y-1).$

${\mathrm{Grad}}_{\mathrm{ori}}(x,y)=\sqrt{({\▿}_{x}I(x,y){)}^2+{\left({\▿}_{y}I(x,y)\right)}^2}$

其中，I(x,y)表示位于坐标（x，y）处像素的亮度值。

n=x,y表示对图像沿水平和垂直两个方向进行差分。将像素点集合记为X。

对于灰度图，只需对I的亮度通道计算梯度。对于彩色图，需要将RGB三通道映射到HSV色彩空间，只对V通道计算梯度。

第二步、对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H'。

所述基于内插的超分辨率处理，是指包括，但不限于双线性，双矩形内插在内的超分辨率处理。

以双线性内插为例。如图1所示，已知位于Q₁₁，Q₁₂，Q₂₁，Q₂₂位置的像素值，需要在位置P进行插值，插值过程如下。

1）通过下式计算位于R₁，R₂位置的像素值

$I\left(R_1\right)=\frac{x_2-x}{x_2-x_1}I\left(Q_{11}\right)+\frac{x-x_1}{x_2-x_1}I\left(Q_{21}\right),$

$I\left(R_2\right)=\frac{x_2-x}{x_2-x_1}I\left(Q_{12}\right)+\frac{x-x_1}{x_2-x_1}I\left(Q_{22}\right).$

2）通过下式计算位于P位置的像素值

$I\left(P\right)=\frac{y_2-y}{y_2-y_1}I\left(R_1\right)+\frac{{y-y}_1}{y_2-y_1}I\left(R_2\right).$

第三步、计算H'的梯度Gradi_est。

所述的计算梯度，是指对H'中每个像素点(x,y)。计算

${\▿}_x{H}^{\′}(x,y)=H^{\′}(x,y)-H^{\′}(x-1,y)$

${\▿}_y{H}^{\′}(x,y)=H^{\′}(x,y)-H^{\′}(x,y-1).$

${\mathrm{Grad}}_{\mathrm{est}}(x,y)=\sqrt{({\▿}_x{H}^{\′}(x,y){)}^2+{\left({\▿}_y{H}^{\′}(x,y)\right)}^2}$

其中，H'(x,y)表示位于坐标（x，y）处像素的亮度值。

n=x,y表示对图像沿水平和垂直两个方向进行差分。将像素点集合记为Y。

对于灰度图，只需对H'的亮度通道计算梯度。对于彩色图，需要将RGB三通道映射到HSV色彩空间，只对V通道计算梯度。

第四步、分别通过Grad_ori和Grad_est计算I和H'对应像素的分形维数D_ori，D_est和分形长度L_ori，L_est。

所述计算分形维数和分形长度是指如下过程：

对于图像中的以坐标（x，y）为中心的块B_r(x,y)，其中r为块的半径，通过下式计算（x，y）上的分形维度

$D(x,y)=\underset{r\→0}{\lim }\frac{\log \mathrm{\μ}\left(B_r(x,y)\right)}{\log 2r},$

$\mathrm{\μ}\left(B_r(x,y)\right)={\∫}_{B_r(x,y)}{G}_r*\frac{\mathrm{Grad}(m,n)}{\left|\right|\mathrm{Grad}\left(B_r(x,y)\right)\left|\right|}\mathrm{dmdn}.$

其中，所述||·||表示范数，*表示卷积运算，G_r表示，但不限于如下表示，以半径r为参数的高斯核，如下式所示。

$G_r=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{r\σ}}{e}^{\frac{x^2}{{2r}^2{\mathrm{\σ}}^2}}.$

其中，σ为控制方差的参数。本实施例选取σ=0.5，但本说明所述权利不限于如此取值。

分形维数D(x,y)的计算涉及求极限的过程，所述求极限由符号表示，为了方便计算，（x，y）对应点的分形长度和分形维数通过如下线性拟合过程得到

$D(x,y),L(x,y)=\underset{D,L}{\min }\underset{r=\mathrm{1,2},...}{\mathrm{\Σ}}|\log \mathrm{\μ}\left(B_r(x,y)\right)-D\log 2r-L|$

其中，所述|·|表示取绝对值，∑表示求和，所述|·|表示取绝对值，∑表示求和，上式表示最小均方误差下对分形长度和分形维数进行估价。

第五步、通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度Grad_H。

所述步骤是指通过保持高分辨率图像的分形维度和分形长度与低分辨率图像的对应维度和长度相等，实现对高分辨率图像梯度的估计。过程如下式所述。

$\mathrm{Gra}{d}_H(x,y)=\mathrm{\β}\frac{\left|\right|{\mathrm{Grad}}_{\mathrm{ori}}\left(B_r(x,y)\right)\left|\right|}{\left|\right|{\mathrm{Grad}}_{\mathrm{est}}{\left(B_r(x,y)\right)}^{\mathrm{\α}}\left|\right|}{\mathrm{Grad}}_{\mathrm{est}}{(x,y)}^{\mathrm{\α}},$

$\mathrm{\α}=\frac{D_{\mathrm{ori}}}{D_{\mathrm{est}}},.$

$\mathrm{\β}=e^{L_{\mathrm{ori}}-{\mathrm{\αL}}_{\mathrm{est}}}.$

其中α为分形维数不变因子，该因子使得超分辨率图像B_r(x,y)内信号的分形维数与原始低分辨率图对应区域内信号的分形维数保持不变，从而对B_r(x,y)区域内信号的梯度进行锐化；β为分形长度不变因子，该因子使得超分辨率图像B_r(x,y)内信号的分形长度与原始低分辨率图对应区域内信号的分形长度保持不变，从而对B_r(x,y)区域内信号的梯度的动态范围进行增强；该方法的依据在于分形信号的维数和长度对于尺度变换应该保持不变。

第六步、以H'和Grad_H为约束，重新估计出高分辨率图像

所述以H'和Grad_H为约束，重新估计出高分辨率图像

是指通过求解下述最优化问题，得到超分辨率结果。如下式所示：

$\hat{H}=\underset{h}{\min }{\left|\right|G*h-H^{\′}\left|\right|}_2^2+\mathrm{\λ}\underset{n=x,y}{\mathrm{\Σ}}{\left|\right|{\▿}_{n}h-{\▿}_{n}H\left|\right|}_2^2.$

其中

表示最终的超分辨率图像，G表示模糊核。λ为拉格朗日权重。

表示由Grad_H估计出的高分辨率图像沿水平和垂直方向进行差分运算的结果。本实施例选取λ=0.5，G为尺寸为5乘5，方差为1.2的高斯核，但本说明所述权利不限于如此取值。

实施例中的画质增强效果如图3、图4所示，图3中原始图像、预处理结果、最终处理结果示意图（对应放大图如第二行所示）；图4为黑白图像增强效果示意图（左图为原图）。

实施效果

依据上述步骤，对常用的300张超分辨率实验用图像（来自伯克利BSD300数据库，尺寸为481*321）进行4倍放大。所有实验均在PC计算机上实现，该PC计算机的主要参数为：中央处理器

Core^TM2Duo CPU E66002.40GHz,内存3GB。

软件平台：MATLAB。

增强结果为：

平均用时32.571秒每帧。

系统流程如图2、3所示。

本实施例获得的超分辨率结果如图4、5所示，图4为黑白图像增强效果示意图（左图为原图）。图5为彩色图像增强效果示意图（左图为原图）

与现有技术相比，本发明不同于对算法中使用的参数取定值，而是根据图像本身的性质采用分形分析的方法自适应地选择参数。不仅如此，由于引入了分形长度的尺度不变约束，使得图像在超分辨率的同时实现了纹理部分的增强。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种基于分形分析的图像视频超分辨率与增强方法，其特征在于，包括以下步骤：

第一步、读取一幅图像或视频中的某一帧，记为I，计算I的梯度Grad_ori；

第二步、对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H'；

第三步、计算H'的梯度Grad_est；

第四步、分别通过Grad_ori和Grad_est计算I和H'对应像素的分形维数D_ori，D_est和分形长度L_ori，L_est；

第五步、通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度Grad_H；

第六步、以H'和Grad_H为约束，重新估计出高分辨率图像

2.根据权利要求1所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第一步中：所述计算I的梯度Grad_ori，是指对I中每个像素点(x,y),计算

${\▿}_{x}I(x,y)=I(x,y)-I(x-1,y)$

${\▿}_{y}I(x,y)=I(x,y)-I(x,y-1)$

${\mathrm{Grad}}_{\mathrm{ori}}(x,y)=\sqrt{({\▿}_{x}I(x,y){)}^2+{\left({\▿}_{y}I(x,y)\right)}^2}$

其中，I(x,y)表示位于坐标（x，y）处像素的亮度值；

n=x,y表示对图像沿水平和垂直两个方向进行差分,将像素点集合记为X;

对于灰度图，只需对I的亮度通道计算梯度;对于彩色图，需要将RGB三通道映射到HSV色彩空间，只对V通道计算梯度。

3.根据权利要求1或2所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第二步中：所述基于内插的超分辨率处理，是指双线性，双矩形内插在内的超分辨率处理。

4.根据权利要求1或2所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第四步中：所述计算H'的梯度Grad_est，是指对H'中每个像素点(x,y)，计算

${\▿}_x{H}^{\′}(x,y)=H^{\′}(x,y)-H^{\′}(x-1,y)$

${\▿}_y{H}^{\′}(x,y)=H^{\′}(x,y)-H^{\′}(x,y-1).$

${\mathrm{Grad}}_{\mathrm{est}}(x,y)=\sqrt{({\▿}_x{H}^{\′}(x,y){)}^2+{\left({\▿}_y{H}^{\′}(x,y)\right)}^2}$

其中，H'(x,y)表示位于坐标（x，y）处像素的亮度值，

n=x,y表示对图像沿水平和垂直两个方向进行差分，将像素点集合记为Y；

对于灰度图，只需对H'的亮度通道计算梯度；对于彩色图，需要将RGB三通道映射到HSV色彩空间，只对V通道计算梯度。

5.根据权利要求1所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第四步中：分别通过Grad_ori和Grad_est计算I和H'对应像素的分形维数D_ori，D_est和分形长度L_ori，L_est，具体如下：

对于图像中的以坐标（x，y）为中心的块B_r(x,y)，其中r为块的半径，通过下式计算（x，y）上的分形维度

$D(x,y)=\underset{r\→0}{\lim }\frac{\log \mathrm{\μ}\left(B_r(x,y)\right)}{\log 2r},$

$\mathrm{\μ}\left(B_r(x,y)\right)={\∫}_{B_r(x,y)}{G}_r*\frac{\mathrm{Grad}(m,n)}{\left|\right|\mathrm{Grad}\left(B_r(x,y)\right)\left|\right|}\mathrm{dmdn}$

μ(B_r(x,y))表示对B_r(x,y)区域内的信号计算一种由上式定义的测度；

其中，所述||·||表示范数，*表示卷积运算，G_r表示以半径r为参数的高斯核，如下式所示：

$G_r=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{r\σ}}{e}^{\frac{x^2}{{2r}^2{\mathrm{\σ}}^2}}$

其中，σ为控制方差的参数；

所述表示在B_r(x,y)区域内进行积分；log表示取自然对数；分形维数D(x,y)的计算涉及求极限的过程，所述求极限由符号

表示，为了方便计算，（x，y）对应点的分形长度和分形维数通过如下线性拟合过程得到：

$D(x,y),L(x,y)=\underset{D,L}{\min }\underset{r=\mathrm{1,2},...}{\mathrm{\Σ}}|\log \mathrm{\μ}\left(B_r(x,y)\right)-D\log 2r-L|$

其中，所述|·|表示取绝对值，∑表示求和，上式表示最小均方误差下对分形长度和分形维数进行估价。

6.根据权利要求1所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第五步中：通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度Grd_H，是指通过保持高分辨率图像的分形维度和分形长度与低分辨率图像的对应维度和长度相等，实现对高分辨率图像梯度的估计，具体过程如下：

$\mathrm{Gra}{d}_H(x,y)=\mathrm{\β}\frac{\left|\right|{\mathrm{Grad}}_{\mathrm{ori}}\left(B_r(x,y)\right)\left|\right|}{\left|\right|{\mathrm{Grad}}_{\mathrm{est}}{\left(B_r(x,y)\right)}^{\mathrm{\α}}\left|\right|}{\mathrm{Grad}}_{\mathrm{est}}{(x,y)}^{\mathrm{\α}},$

$\mathrm{\α}=\frac{D_{\mathrm{ori}}}{D_{\mathrm{est}}},$

$\mathrm{\β}=e^{L_{\mathrm{ori}}-{\mathrm{\αL}}_{\mathrm{est}}}.$

其中α为分形维数不变因子，该因子使得超分辨率图像B_r(x,y)内信号的分形维数与原始低分辨率图对应区域内信号的分形维数保持不变，从而对B_r(x,y)区域内信号的梯度进行锐化；β为分形长度不变因子，该因子使得超分辨率图像B_r(x,y)内信号的分形长度与原始低分辨率图对应区域内信号的分形长度保持不变，从而对B_r(x,y)区域内信号的梯度的动态范围进行增强；该方法的依据在于分形信号的维数和长度对于尺度变换应该保持不变。

7.根据权利要求1所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第六步中：所述以H'和Grad_H为约束，重新估计出高分辨率图像

是指通过求解下述最优化问题，得到超分辨率结果，如下式所示：

$\hat{H}=\underset{h}{\min }{\left|\right|G*h-H^{\′}\left|\right|}_2^2+\mathrm{\λ}\underset{n=x,y}{\mathrm{\Σ}}{\left|\right|{\▿}_{n}h-{\▿}_{n}H\left|\right|}_2^2$

其中

表示最终的超分辨率图像，G表示常用的高斯核，λ为拉格朗日权重；

表示由Grad_H估计出的高分辨率图像沿水平和垂直方向进行差分运算的结果；所述min表示对min后的式子求解最小化问题；上式一方面要求超分辨率结果与初始的内插结果接近，另一方面要求超分辨率图像的梯度逼近基于分形得到的梯度估计值，最终得到良好的超分辨率结果。

Images