CN103559693B - 一种基于非连续性指示符的图像局部结构自适应复原方法 - Google Patents

Abstract

本发明提出一种基于非连续指示符的图像局部结构自适应复原方法，它包括如下步骤：第一步，初始化读入图像，将输入的RGB图像转换到YCbCr颜色空间；第二步,构建三边散布矩阵，提高对噪声的鲁棒性；第三步，构建非连续性指示符，动态表征图像局部结构特征；第四步，建立图像退化模型；第五步，根据所构建的非连续性指示符，建立图像复原优化模型，使得所建立的模型连续依赖于图像局部结构特征；第六步，利用变分法求解复原优化模型，得到优化模型所对应的梯度下降流，并采用半点格式对其进行离散化，得到最优复原图像。本发明提出的方法能够根据图像局部结构特征自适应控制复原过程，能够复原出图像更多的细节结构，使得图像质量显著提高。

Description

一种基于非连续性指示符的图像局部结构自适应复原方法

技术领域

本发明属于图像处理领域，具体涉及一种基于非连续性指示符的图像局部结构自适应复原方法。

背景技术

图像复原技术属于图像处理和底层视觉中的关键性问题，是后续模式识别和高层理解的基础，有着广泛的应用需求，该技术可以应用到交通监控、军事、医学等多个领域，如在交通监控方面，由于摄像机分辨率低、拍摄环境差等原因，导致拍摄到的图像质量下降，难以从图像中获取需要的细节特征，如车辆的车牌信息，不利于机器的识别或人为的辨别。因此，通过图像复原技术提高图像质量，具有重要的理论意义和现实价值，受到国内外学术界和商业界的极大关注。

图像复原技术采用图像处理技术，根据采集到的退化图像和关于退化系统的先验知识，来恢复理想图像的原貌，从软件的角度改善图像的质量。图像复原本质上是属于一类不适定性的数学反问题，解决不适定性反问题的常用方式是将其转化为适定性的问题进行求解，当前求解不适定性问题的方法可以分为两大类，一类是统计推断的方法，另一类是正则变分方法。统计推断的方法需要知道理想高清图像的先验分布，当所假设的先验分布与实际不符时，处理效果较差，而正则变分方法不需要对理想高清图像做先验分布假设，通过引入先验约束，直接对图像进行处理，在某种程度上，处理效果要好于统计推断的方法。

图像边缘结构是图像中最重要的视觉特征，因此保护图像边缘结构尤为重要。而要想达到这一目的，所建立的复原优化模型应该具有局部结构自适应性，要实现模型的局部结构自适应性，构建非连续性指示符表征像素点所在区域特性至关重要。通过对现有复原技术的研究发现，现有的方法都是由梯度进行控制，不能有效将边缘点和噪声点区分开来，从而不能够很好的在保护图像边缘结构的同时去除噪声。本发明是一种局部结构自适应复原方法，该方法能够根据图像的局部结构特征自适应控制复原过程，实现边缘结构增强的同时去除噪声。

发明内容

本发明的目的是提高图像质量，使之能够适用于不同的应用需求，为了实现这一目标，本发明提供了一种基于非连续性指示符的图像局部结构自适应复原方法。

一种基于非连续性指示符的图像局部结构自适应复原方法，按照以下步骤进行：

步骤1：初始化，读入一帧大小为M₁×M₂×3的退化彩色图像u₀，其中M₁和M₂为正整数，分别表示图像矩阵的行数和列数，然后将输入的彩色图像从RGB彩色空间转换到YCbCr彩色空间，转换后的图像记为u₁，大小为M₁×M₂×3，取u₁中Y分量图像，记为f，大小为M₁×M₂,从RGB彩色空间转换到YCbCr彩色空间的具体过程为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+(1/256)\left[\begin{array}{ccc}65.738& 129.057& 25.06\\ -37.945& -74.494& 112.43\\ 112.439& -94.154& -18.28\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

其中，Y表示YCbCr彩色空间中的亮度分量，Cb表示YCbCr彩色空间中的蓝色色度分量，C_r表示YCbCr彩色空间中的红色色度分量,R表示RGB彩色空间中的红色分量，G表示RGB彩色空间中的绿色分量，B表示RGB彩色空间中的蓝色分量，

步骤2：构造三边散布矩阵，具体方法为：

首先，定义像素点(x,y)相对于中心像素点(x₀,y₀)的空间位置相似度函数s((x,y),(x₀,y₀))为

$s((x,y),(x_0,y_0))=\exp (-\frac{{(x-x_0)}^2+{(y-y_0)}^2}{{2\mathrm{\σ}}_1^2})---\left(1\right)$

其中，(x,y)表示像素点的坐标，(x₀,y₀)表示中心像素点的坐标，exp是以e为底的幂指数函数，σ₁表示空间位置相似度函数的标准差，一般取σ₁＝5，

定义像素点(x,y)相对于中心像素点(x₀,y₀)的梯度相似度函数g((x,y),(x₀,y₀))为

$g((x,y),(x_0,y_0))=\exp (-\frac{{(f_x-f_{x_0})}^2+{(f_y-f_{y_0})}^2}{{2\mathrm{\σ}}_2^2})---\left(2\right)$

其中，f_x表示f在x处的偏导数，f表示u₁中Y分量图像，表示f在x₀处的偏导数，f_y表示f在y处的偏导数，表示f在y₀处的偏导数，σ₂表示梯度相似度函数的标准差，取σ₂＝0.5，

定义像素点(x,y)相对于中心像素点(x₀,y₀)的灰度值相似度函数c((x,y),(x₀,y₀))为

$c((x,y),(x_0,y_0))=\exp (-\frac{{(f(x,y)-f(x_0,y_0))}^2}{{2\mathrm{\σ}}_3^2})---\left(3\right)$

其中，f(x,y)表示f在像素点(x,y)处的值，f(x₀,y₀)表示f在像素点(x₀,y₀)处的值，σ₃表示梯度相似度函数的标准差，取σ₃=0.5，

根据所定义的空间位置相似度函数、梯度相似度函数以及灰度相似度函数，构建像素点(x,y)相对于中心像素点(x₀,y₀)的三边核函数K为

K＝s((x,y),(x₀,y₀))×g((x,y),(x₀,y₀))×c((x,y),(x₀,y₀))

（4）

其中，×表示相乘，

于是，利用三边核函数K，构建如下三边散布矩阵J：

$J=\left[\begin{array}{cc}K*{\left(f_x\right)}^2& K*\left(f_x{f}_y\right)\\ K*\left(f_x{f}_y\right)& K*{\left(f_y\right)}^2\end{array}\right]---\left(5\right)$

其中，K*(f_x)²表示K与(f_x)²与的卷积，K*(f_xf_y)表示K与(f_xf_y)与的卷积，K*(f_y)²表示K与(f_y)²与的卷积，

步骤3：构造非连续性指示符，动态表征图像局部结构特征，具体方法为：

通过计算得到三边散布矩阵J的两个特征值为

${\mathrm{\μ}}_1=\frac{1}{2}(K*{\left(f_x\right)}^2+K*{\left(f_y\right)}^2+\sqrt{{(K*{\left(f_x\right)}^2-K*{\left(f_y\right)}^2)}^2+4{(K*\left(f_x{f}_y\right))}^2})$

${\mathrm{\μ}}_2=\frac{1}{2}(K*{\left(f_x\right)}^2+K*{\left(f_y\right)}^2+\sqrt{{(K*{\left(f_x\right)}^2-K*{\left(f_y\right)}^2)}^2+4{(K*\left(f_x{f}_y\right))}^2})$

其中，f_x表示f在x处的偏导数，f表示u₁中Y分量图像，表示f在x₀处的偏导数，f_y表示f在y处的偏导数，表示f在y₀处的偏导数，

根据特征值μ₁和μ₂所具有的性质，构建如下非连续性指示符并用非连续性指示符γ来表征图像局部结构特征，

γ＝kexp(|μ₁-μ₂|)

（6）

其中，exp是以e为底的幂指数函数，|μ₁-μ₂|表示μ₁-μ₂的绝对值,k为大于零的常数，k＝0.1，

步骤4:建立图像退化模型,其退化过程为

f＝h*u+n

（7）

其中，f是步骤1中的Y分量图像f，u表示理想高清复原图像，n表示噪声，h表示高斯模糊核函数，其表达式为

$h(x,y)=\frac{1}{{{2\mathrm{\π\σ}}_4}^2}{e}^{-(x^2+y^2)/{{2\mathrm{\σ}}_4}^2}---\left(8\right)$

其中，h(x,y)表示h在像素点(x,y)处的高斯模糊核函数值，σ₄表示标准差，取σ₄=1，

步骤5：建立图像复原优化模型，其具体方法为：根据步骤3中所构建的非连续性指示符和步骤4中建立的图像退化模型，将图像退化模型中理想高清复原图像u的求解过程转化为如下理想高清复原图像u的复原优化模型解的优化过程

$\hat{u}=\arg \underset{u}{\min }\{{\∫}_{\mathrm{\Ω}}\frac{\mathrm{\λ}\left(\mathrm{\γ}\right)}{p\left(\mathrm{\γ}\right)}{|\▿u|}^{p\left(\mathrm{\γ}\right)}\mathrm{dx}+\frac{1}{2}{\∫}_{\mathrm{\Ω}}{|f-h*u|}^2\mathrm{dx}\}---\left(9\right)$

其中，▽u表示u的梯度，Ω表示图像区域，p(γ)＝1+exp(-0.5γ)，γ表示非连续性指示符，表示理想高清复原图像u的估计值，

步骤6：利用变分法求解复原优化模型，其具体方法为：

首先，根据变分原理，复原优化模型的最优解转化为求解如下欧拉-拉格朗日方程的解

$\mathrm{\λ}\left(\mathrm{\γ}\right)\mathrm{div}\left(\frac{\▿u}{{|\▿u|}^{2-p\left(\mathrm{\γ}\right)}}\right)+[h*(f-h*u)]=0---\left(10\right)$

其中，div表示散度算子，▽u表示u的梯度，欧拉-拉格朗日方程对应的梯度下降流为

$\begin{array}{c}{u}_t=\mathrm{\λ}\left(\mathrm{\γ}\right){(u_x^2+u_y^2)}^{1-\frac{p\left(\mathrm{\γ}\right)}{2}}[h^T*(f-h*u)]\\ +\frac{(p\left(\mathrm{\γ}\right)-1)u_x^2{u}_{\mathrm{xx}}+u_{\mathrm{xx}}{u}_y^2-(4-2p\left(\mathrm{\γ}\right))u_x{u}_y{u}_{\mathrm{xy}}+(p\left(\mathrm{\γ}\right)-1)u_y^2{u}_{\mathrm{yy}}+u_{\mathrm{yy}}{u}_x^2}{u_x^2+u_y^2}\end{array}---\left(11\right)$

其中，t表示时间，u_t表示u对t的一阶导数，u_x表示u对x的一阶导数，u_xx表示u对x的二阶导数，u_y表示u对y的一阶导数，u_yy表示u对y的二阶导数，ux_y表示u对先求对x的一阶导数后再求对y的一阶导数，

其次，采用半点格式的中心差分来离散化式（11），对于图像u中的任意像素点(i,j)，选择中心像素点的八个相邻点(i-1,j-1)、(i-1,j)、(i-1,j+1)、(i,j-1)、(i,j+1)、(i+1,j-1)、(i+1,j)和(i+1,j+1)，设Δx和Δy分别表示x,y方向上两像素间的网格步长，Δt为时间步长，记第n次迭代过程中，理想高清复原图像u在点(x,y,t)处对应的采样值为于是在第n次迭代过程中，点(i,j)的一阶导数对应的差分格式为：

${\left(u_t\right)}_{i,j}^n=\frac{u_{i,j}^{n+1}-u_{i,j}^n}{\mathrm{\Δt}},$

${\left(u_x\right)}_{i,j}^n=\frac{u_{i+1,j}^n-u_{i-1,j}^n}{2\mathrm{\Δx}},{\left(u_y\right)}_{i,j}^n=\frac{n_{i,j+1}^n-u_{i,j-1}^n}{2\mathrm{\Δy}},$

二阶导数对应的差分格式为

${\left(u_{\mathrm{xx}}\right)}_{i,j}^n=\frac{u_{i+1,j}^n-{2u}_{i,j}^n+u_{i-1,j}^n}{{\left(\mathrm{\Δx}\right)}^2},{\left(u_{\mathrm{yy}}\right)}_{i,j}^n=\frac{u_{i,j+1}^n-{2n}_{i,j}^n+u_{i,j-1}^n}{{\left(\mathrm{\Δy}\right)}^2},$

${\left(u_{\mathrm{xy}}\right)}_{i,j}^n=\frac{(u_{i+1,j}^n-{2u}_{i,j}^n+u_{i-1,j}^n)(u_{i,j+1}^n-{2u}_{i,j}^n+u_{i,j-1}^n)}{4\mathrm{\Δx\Δy}},$

从而，梯度下降流的离散迭代格式为

$\begin{array}{c}\frac{u_{i,j}^{n+1}-u_{i,j}^n}{\mathrm{\Δt}}=\mathrm{\λ}\left({\mathrm{\γ}}_{i,j}\right){({\left(u_x^2\right)}_{i,j}^n+{\left(u_y^2\right)}_{i,j}^n)}^{1-\frac{p\left({\mathrm{\γ}}_{i,j}\right)}{2}}[h^T*({\left(u_0\right)}_{i,j}-h*{\left(u\right)}_{i,j}^n)]\\ +\frac{{(p\left({\mathrm{\γ}}_{i,j}\right)-1)\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left(u_{\mathrm{xx}}\right)}_{i,j}^n{\left({\left(u_y\right)}_{i,j}^n\right)}^2}{{\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left({\left(u_y\right)}_{i,j}^n\right)}^2}-\frac{(4-2p\left({\mathrm{\γ}}_{i,j}\right)){\left(u_x\right)}_{i,j}^n{\left(u_y\right)}_{i,j}^n{\left(u_{\mathrm{xy}}\right)}_{i,j}^n}{{\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left({\left(u_y\right)}_{i,j}^n\right)}^2}\\ +\frac{(p\left({\mathrm{\γ}}_{i,j}\right)-1){({\left({\left(u_y\right)}_{i,j}^n\right)}^2{\left(u_{\mathrm{yy}}\right)}_{i,j}^n+u_{\mathrm{yy}}(x,y,t){\left(u_x\right)}_{i,j}^n)}^2}{{\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left({\left(u_y\right)}_{i,j}^n\right)}^2}\end{array}---\left(12\right)$

迭代终止条件为

$\frac{{\left|\right|u^{n+1}-u^n\left|\right|}_2^2}{{\left|\right|u^n\left|\right|}_2^2}\≤\mathrm{\ϵ}---\left(13\right)$

其中，表示uⁿ⁺¹-uⁿ的L₂范数，表示uⁿ的L₂范数，ε是预置的迭代终止系数，ε取值越小效果越好，取ε＝10^-6，则满足迭代终止条件的uⁿ⁺¹，即为理想高清复原图像u的估计值

与现有技术相比，本发明具有如下优点：

1、本发明通过同时考虑空间位置相似度、梯度相似度和灰度相似度，构建了一种对噪声具有更好鲁棒性的三边散布矩阵，在此基础上，根据三边散布矩阵的特征值所具有的性质，构造了一种非连续性指示符，所构造的非连续性能够很好地表征图像局部结构特性，使得复原方法对噪声具有更好的鲁棒性。

2、本发明建立了一种图像局部结构自适应复原优化模型，该模型先验约束项中的范数和拉格朗日权值通过非连续性指示符来自适应控制，使得每个点的范数和拉格朗日权值连续依赖每个点所在的区域特性，从而能够根据图像的局部结构特征自适应控制复原过程，实现边缘结构的保持和增强。

3、本发明提出的模型对参数误差具有很好的鲁棒性，当参数在较大范围内变化时，复原后图像的质量基本保持一致，并且算法稳定性好，对给定的参数能够快速收敛达到稳态。

附图说明

图1.基于非连续性指示符的图像局部结构自适应复原算法系统框架图。

图2.退化图像。

图3.利用局部结构自适应复原方法复原后的图像。

具体实施方式

在具体的实施方式中，将结合附图，清楚、完整地描述基于非连续性指示符的图像局部结构自适应复原方法的详细过程。

一种基于非连续性指示符的图像局部结构自适应复原方法，按照以下步骤进行：

步骤1：初始化，读入一帧大小为M₁×M₂×3的退化彩色图像u₀，其中M₁和M₂为正整数，分别表示图像矩阵的行数和列数，在应用试验中取M₁=240和M₂=306，然后将输入的彩色图像从RGB彩色空间转换到YCbCr彩色空间，转换后的图像记为u₁，大小为M₁×M₂×3，取u₁中Y分量图像，记为f，大小为M₁×M₂,从RGB彩色空间转换到YCbCr彩色空间的具体过程为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+(1/256)\left[\begin{array}{ccc}65.738& 129.057& 25.06\\ -37.945& -74.494& 112.43\\ 112.439& -94.154& -18.28\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

其中，Y表示YCbCr彩色空间中的亮度分量，Cb表示YCbCr彩色空间中的蓝色色度分量，C_r表示YCbCr彩色空间中的红色色度分量,R表示RGB彩色空间中的红色分量，G表示RGB彩色空间中的绿色分量，B表示RGB彩色空间中的蓝色分量，

步骤2：构造三边散布矩阵，具体方法为：

首先，定义像素点(x,y)相对于中心像素点(x₀,y₀)的空间位置相似度函数s((x,y),(x₀,y₀))为

$s((x,y),(x_0,y_0))=\exp (-\frac{{(x-x_0)}^2+{(y-y_0)}^2}{{2\mathrm{\σ}}_1^2})---\left(1\right)$

其中，(x,y)表示像素点的坐标，(x₀,y₀)表示中心像素点的坐标，exp是以e为底的幂指数函数，σ₁表示空间位置相似度函数的标准差，一般取σ₁＝5，

定义像素点(x,y)相对于中心像素点(x₀,y₀)的梯度相似度函数g((x,y),(x₀,y₀))为

$g((x,y),(x_0,y_0))=\exp (-\frac{{(f_x-f_{x_0})}^2+{(f_y-f_{y_0})}^2}{{2\mathrm{\σ}}_2^2})---\left(2\right)$

其中，f_x表示f在x处的偏导数，f表示u₁中Y分量图像，表示f在x₀处的偏导数，f_y表示f在y处的偏导数，表示f在y₀处的偏导数，σ₂表示梯度相似度函数的标准差，取σ₂＝0.5，

定义像素点(x,y)相对于中心像素点(x₀,y₀)的灰度值相似度函数c((x,y),(x₀,y₀))为

$c((x,y),(x_0,y_0))=\exp (-\frac{{(f(x,y)-f(x_0,y_0))}^2}{{2\mathrm{\σ}}_3^2})---\left(3\right)$

其中，f(x,y)表示f在像素点(x,y)处的值，f(x₀,y₀)表示f在像素点(x₀,y₀)处的值，σ₃表示梯度相似度函数的标准差，取σ₃=0.5，

根据所定义的空间位置相似度函数、梯度相似度函数以及灰度相似度函数，构建像素点(x,y)相对于中心像素点(x₀,y₀)的三边核函数K为

K＝s((x,y),(x₀,y₀))×g((x,y),(x₀,y₀))×c((x,y),(x₀,y₀))

（4）

其中，×表示相乘，

于是，利用三边核函数K，构建如下三边散布矩阵J：

$J=\left[\begin{array}{cc}K*{\left(f_x\right)}^2& K*\left(f_x{f}_y\right)\\ K*\left(f_x{f}_y\right)& K*{\left(f_y\right)}^2\end{array}\right]---\left(5\right)$

其中，K*(f_x)²表示K与(f_x)²与的卷积，K*(f_xf_y)表示K与(f_xf_y)与的卷积，K*(f_y)²表示K与(f_y)²与的卷积，

步骤3：构造非连续性指示符，动态表征图像局部结构特征，具体方法为：

利用公知的雅克比方法求得J的两个特征值为

${\mathrm{\μ}}_1=\frac{1}{2}(K*{\left(f_x\right)}^2+K*{\left(f_y\right)}^2+\sqrt{{(K*{\left(f_x\right)}^2-K*{\left(f_y\right)}^2)}^2+4{(K*\left(f_x{f}_y\right))}^2})$

${\mathrm{\μ}}_2=\frac{1}{2}(K*{\left(f_x\right)}^2+K*{\left(f_y\right)}^2+\sqrt{{(K*{\left(f_x\right)}^2-K*{\left(f_y\right)}^2)}^2+4{(K*\left(f_x{f}_y\right))}^2})$

其中，f_x表示f在x处的偏导数，f表示u₁中Y分量图像，表示f在x₀处的偏导数，f_y表示f在y处的偏导数，表示f在y₀处的偏导数，

根据特征值μ₁和μ₂所具有的性质，构建如下非连续性指示符并用非连续性指示符γ来表征图像局部结构特征，

γ＝kexp(|μ₁-μ₂|)

（6）

其中，exp是以e为底的幂指数函数，|μ₁-μ₂|表示μ₁-μ₂的绝对值,k为大于零的常数，k＝0.1，

步骤4:建立图像退化模型,其退化过程为

f＝h*u+n

（7）

其中，f是步骤1中的Y分量图像f，u表示理想高清复原图像，n表示噪声，h表示高斯模糊核函数，其表达式为

$h(x,y)=\frac{1}{{{2\mathrm{\π\σ}}_4}^2}{e}^{-(x^2+y^2)/{{2\mathrm{\σ}}_4}^2}---\left(8\right)$

其中，h(x,y)表示h在像素点(x,y)处的高斯模糊核函数值，σ₄表示标准差，取σ₄=1，

步骤5：建立图像复原优化模型，其具体方法为：根据步骤3中所构建的非连续性指示符和步骤4中建立的图像退化模型，将图像退化模型中理想高清u的求解过程转化为如下理想高清u的复原优化模型解的优化过程

$\hat{u}=\arg \underset{u}{\min }\{{\∫}_{\mathrm{\Ω}}\frac{\mathrm{\λ}\left(\mathrm{\γ}\right)}{p\left(\mathrm{\γ}\right)}{|\▿u|}^{p\left(\mathrm{\γ}\right)}\mathrm{dx}+\frac{1}{2}{\∫}_{\mathrm{\Ω}}{|f-h*u|}^2\mathrm{dx}\}---\left(9\right)$

其中，▽u表示u的梯度，Ω表示图像区域，p(γ)＝1+exp(-0.5γ)，γ表示非连续性指示符，表示理想高清复原图像u的估计值，

步骤6：利用变分法求解复原优化模型，其具体方法为：

首先，根据变分原理，复原优化模型的最优解转化为求解如下欧拉-拉格朗日方程的解

$\mathrm{\λ}\left(\mathrm{\γ}\right)\mathrm{div}\left(\frac{\▿u}{{|\▿u|}^{2-p\left(\mathrm{\γ}\right)}}\right)+[h*(f-h*u)]=0---\left(10\right)$

其中，div表示散度算子，▽u表示u的梯度，欧拉-拉格朗日方程对应的梯度下降流为

$\begin{array}{c}{u}_t=\mathrm{\λ}\left(\mathrm{\γ}\right){(u_x^2+u_y^2)}^{1-\frac{p\left(\mathrm{\γ}\right)}{2}}[h^T*(f-h*u)]\\ +\frac{(p\left(\mathrm{\γ}\right)-1)u_x^2{u}_{\mathrm{xx}}+u_{\mathrm{xx}}{u}_y^2-(4-2p\left(\mathrm{\γ}\right))u_x{u}_y{u}_{\mathrm{xy}}+(p\left(\mathrm{\γ}\right)-1)u_y^2{u}_{\mathrm{yy}}+u_{\mathrm{yy}}{u}_x^2}{u_x^2+u_y^2}\end{array}---\left(11\right)$

其中，t表示时间，u_t表示u对t的一阶导数，u_x表示u对x的一阶导数，u_xx表示u对x的二阶导数，u_y表示u对y的一阶导数，u_yy表示u对y的二阶导数，u_xy表示u对先求对x的一阶导数后再求对y的一阶导数，

其次，采用半点格式的中心差分来离散化式（11），对理想高清复原图像u中的任意像素点(i,j)，选择中心像素点的八个相邻点(i-1,j-1)、(i-1,j)、(i-1,j+1)、(i,j-1)、(i,j+1)、(i+1,j-1)、(i+1,j)和(i+1,j+1)，设Δx和Δy分别表示x,y方向上两像素间的网格步长，Δt为时间步长，在应用试验中取Δx=1，Δy＝1，Δt＝0.25，记第n次迭代过程中，理想高清复原图像u在点(x,y,t)处对应的采样值为于是在第n次迭代过程中，点(i,j)的一阶导数对应的差分格式为：

${\left(u_t\right)}_{i,j}^n=\frac{u_{i,j}^{n+1}-u_{i,j}^n}{\mathrm{\Δt}},$

${\left(u_x\right)}_{i,j}^n=\frac{u_{i+1,j}^n-u_{i-1,j}^n}{2\mathrm{\Δx}},{\left(u_y\right)}_{i,j}^n=\frac{n_{i,j+1}^n-u_{i,j-1}^n}{2\mathrm{\Δy}},$

二阶导数对应的差分格式为

${\left(u_{\mathrm{xx}}\right)}_{i,j}^n=\frac{u_{i+1,j}^n-{2u}_{i,j}^n+u_{i-1,j}^n}{{\left(\mathrm{\Δx}\right)}^2},{\left(u_{\mathrm{yy}}\right)}_{i,j}^n=\frac{u_{i,j+1}^n-{2n}_{i,j}^n+u_{i,j-1}^n}{{\left(\mathrm{\Δy}\right)}^2},$

${\left(u_{\mathrm{xy}}\right)}_{i,j}^n=\frac{(u_{i+1,j}^n-{2u}_{i,j}^n+u_{i-1,j}^n)(u_{i,j+1}^n-{2u}_{i,j}^n+u_{i,j-1}^n)}{4\mathrm{\Δx\Δy}},$

从而，梯度下降流的离散迭代格式为

$\begin{array}{c}\frac{u_{i,j}^{n+1}-u_{i,j}^n}{\mathrm{\Δt}}=\mathrm{\λ}\left({\mathrm{\γ}}_{i,j}\right){({\left(u_x^2\right)}_{i,j}^n+{\left(u_y^2\right)}_{i,j}^n)}^{1-\frac{p\left({\mathrm{\γ}}_{i,j}\right)}{2}}[h^T*({\left(u_0\right)}_{i,j}-h*{\left(u\right)}_{i,j}^n)]\\ +\frac{{(p\left({\mathrm{\γ}}_{i,j}\right)-1)\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left(u_{\mathrm{xx}}\right)}_{i,j}^n{\left({\left(u_y\right)}_{i,j}^n\right)}^2}{{\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left({\left(u_y\right)}_{i,j}^n\right)}^2}-\frac{(4-2p\left({\mathrm{\γ}}_{i,j}\right)){\left(u_x\right)}_{i,j}^n{\left(u_y\right)}_{i,j}^n{\left(u_{\mathrm{xy}}\right)}_{i,j}^n}{{\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left({\left(u_y\right)}_{i,j}^n\right)}^2}\\ +\frac{(p\left({\mathrm{\γ}}_{i,j}\right)-1){({\left({\left(u_y\right)}_{i,j}^n\right)}^2{\left(u_{\mathrm{yy}}\right)}_{i,j}^n+u_{\mathrm{yy}}(x,y,t){\left(u_x\right)}_{i,j}^n)}^2}{{\left({\left(u_x\right)}_{i,j}^n\right)}^2+{\left({\left(u_y\right)}_{i,j}^n\right)}^2}\end{array}---\left(12\right)$

迭代终止条件为

$\frac{{\left|\right|u^{n+1}-u^n\left|\right|}_2^2}{{\left|\right|u^n\left|\right|}_2^2}\≤\mathrm{\ϵ}---\left(13\right)$

其中，表示uⁿ⁺¹-uⁿ的L₂范数，即 ${\left|\right|u^{n+1}-u^n\left|\right|}_2^2={\∫}_{\mathrm{\Ω}}{|u^{n+1}-u^n|}^2\mathrm{dxdy},{\left|\right|u^n\left|\right|}_2^2$ 表示uⁿ的L₂范数，即ε是预置的迭代终止系数，ε取值越小效果越好，取ε＝10^-6，则满足迭代终止条件的uⁿ⁺¹，即为理想高清复原图像u的估计值

图像局部结构自适应复原方法的应用试验

在应用试验中，对500张实际拍摄的退化图像进行了测试。图2是一张包含车牌和车标的图像，大小为240×306，该图像是从实际拍摄到的一帧大小为1024×1024交通监控图像中剪切下来的，图3是利用本文局部结构自适应复原方法处理后的图像，从前后对比可以看出，复原后的图像变得更加清晰，细节部分更加明显。

Claims (1)

1.一种基于非连续性指示符的图像局部结构自适应复原方法，其特征在于，按照以下步骤进行：

步骤1：初始化，读入一帧大小为M₁×M₂×3的退化彩色图像u₀，其中M₁和M₂为正整数，分别表示图像矩阵的行数和列数，然后将输入的彩色图像从RGB彩色空间转换到YCbCr彩色空间，转换后的图像记为u₁，大小为M₁×M₂×3，取u₁中Y分量图像，记为f，大小为M₁×M₂,从RGB彩色空间转换到YCbCr彩色空间的具体过程为：

其中，Y表示YCbCr彩色空间中的亮度分量，Cb表示YCbCr彩色空间中的蓝色色度分量，C_r表示YCbCr彩色空间中的红色色度分量,R表示RGB彩色空间中的红色分量，G表示RGB彩色空间中的绿色分量，B表示RGB彩色空间中的蓝色分量，

步骤2：构造三边散布矩阵，具体方法为：

首先，定义像素点(x,y)相对于中心像素点(x₀,y₀)的空间位置相似度函数s((x,y),(x₀,y₀))为

其中，(x,y)表示像素点的坐标，(x₀,y₀)表示中心像素点的坐标，exp是以e为底的幂指数函数，σ₁表示空间位置相似度函数的标准差，取σ₁＝5，

定义像素点(x,y)相对于中心像素点(x₀,y₀)的梯度相似度函数g((x,y),(x₀,y₀))为

其中，f_x表示f在x处的偏导数，f表示u₁中Y分量图像，表示f在x₀处的偏导数，f_y表示f在y处的偏导数，表示f在y₀处的偏导数，σ₂表示梯度相似度函数的标准差，取σ₂＝0.5，

定义像素点(x,y)相对于中心像素点(x₀,y₀)的灰度值相似度函数c((x,y),(x₀,y₀))为

其中，f(x,y)表示f在像素点(x,y)处的值，f(x₀,y₀)表示f在像素点(x₀,y₀)处的值，σ₃表示灰度相似度函数的标准差，取σ₃＝0.5，

根据所定义的空间位置相似度函数、梯度相似度函数以及灰度相似度函数，构建像素点(x,y)相对于中心像素点(x₀,y₀)的三边核函数K为

K＝s((x,y),(x₀,y₀))×g((x,y),(x₀,y₀))×c((x,y),(x₀,y₀))(4)

其中，×表示相乘，

于是，利用三边核函数K，构建如下三边散布矩阵J：

其中，K*(f_x)²表示K与(f_x)²与的卷积，K*(f_xf_y)表示K与(f_xf_y)与的卷积，K*(f_y)²表示K与(f_y)²与的卷积，

步骤3：构造非连续性指示符，动态表征图像局部结构特征，具体方法为：

通过计算得到三边散布矩阵J的两个特征值为

其中，f_x表示f在x处的偏导数，f表示u₁中Y分量图像，表示f在x₀处的偏导数，f_y表示f在y处的偏导数，表示f在y₀处的偏导数，

根据特征值μ₁和μ₂所具有的性质，构建如下非连续性指示符并用非连续性指示符γ来表征图像局部结构特征，

γ＝kexp(|μ₁-μ₂|)(6)

其中，exp是以e为底的幂指数函数，|μ₁-μ₂|表示μ₁-μ₂的绝对值,k为大于零的常数，k＝0.1，

步骤4:建立图像退化模型,其退化过程为

f＝h*u+n

（7）

其中，f是步骤1中的Y分量图像f，u表示理想高清复原图像，n表示噪声，h表示高斯模糊核函数，其表达式为

其中，h(x,y)表示h在像素点(x,y)处的高斯模糊核函数值，σ₄表示标准差，取σ₄＝1，

步骤5：建立图像复原优化模型，其具体方法为：根据步骤3中所构建的非连续性指示符和步骤4中建立的图像退化模型，将图像退化模型中理想高清复原图像u的求解过程转化为如下理想高清复原图像u的复原优化模型解的优化过程

其中，表示u的梯度，Ω表示图像区域，p(γ)＝1+exp(-0.5γ)，γ表示非连续性指示符，表示理想高清复原图像u的估计值，

步骤6：利用变分法求解复原优化模型，其具体方法为：

首先，根据变分原理，复原优化模型的最优解转化为求解如下欧拉-拉格朗日方程的解

其中，div表示散度算子，表示u的梯度，欧拉-拉格朗日方程对应的梯度下降流为

其中，t表示时间，u_t表示u对t的一阶导数，u_x表示u对x的一阶导数，u_xx表示u对x的二阶导数，u_y表示u对y的一阶导数，u_yy表示u对y的二阶导数，u_xy表示u对先求对x的一阶导数后再求对y的一阶导数，

其次，采用半点格式的中心差分来离散化式(11)，对于理想高清复原图像u中的任意像素点(i,j)，选择中心像素点的八个相邻点(i-1,j-1)、(i-1,j)、(i-1,j+1)、(i,j-1)、(i,j+1)、(i+1,j-1)、(i+1,j)和(i+1,j+1)，设Δx和Δy分别表示x,y方向上两像素间的网格步长，Δt为时间步长，记第n次迭代过程中，理想高清复原图像u在点(x,y,t)处对应的采样值为于是在第n次迭代过程中，点(i,j)的一阶导数对应的差分格式为：

二阶导数对应的差分格式为

从而，梯度下降流的离散迭代格式为

迭代终止条件为

其中，表示uⁿ⁺¹-uⁿ的L₂范数，表示uⁿ的L₂范数，ε是预置的迭代终止系数，ε取值越小效果越好，取ε＝10^-6，则满足迭代终止条件的uⁿ⁺¹，即为理想高清复原图像u的估计值