CN112150459A - 一种基于机器学习的多参数Tikhonov正则化方法 - Google Patents

Abstract

本发明提供1、一种基于机器学习的多参数Tikhonov正则化方法，其特征是，包括如下步骤：S1、数据收集：确定研究对象并收集符合场景的图片；S2、图像预处理；S3、计算最优Tikhonov正则化参数；S4、图像恢复；S5、根据Tikhonov正则化参数和相对错误率，对结果进行分析。本发明针对满足同类周期边界条件的图像做出了针对性优化，通过预处理以及优化改进的机器学习算法，预先计算出了符合此类图像的最优Tikhonov正则化参数向量。当输入此类受损图像时，可以快速高效地对图像进行恢复，且较传统方案，提升了图像恢复质量。

Description

一种基于机器学习的多参数Tikhonov正则化方法

技术领域

本发明涉及一种多参数Tikhonov正则化方法，尤其涉及一种基于机器学习的多参数Tikhonov正则化方法，属于图像处理领域。

背景技术

逆问题或不适定问题是应用数学、计算机视觉、遥感技术和图像处理领域的研究热点。在图像处理领域，一个典型的逆问题就是图像恢复。造成图像模糊的原因可能是设备存在缺陷、环境变化、拍摄设备对焦异常或拍摄设备与拍摄物体间存在相对移动等。由于外部影响因素多数情况下是难以控制的，图像恢复的质量就尤为重要。而在图像恢复的过程中，不适定问题的出现极大地影响了图像恢复的质量。

Tikhonov正则化是通过求解与原不适定问题相“邻近”的适定问题来解决此类问题的一种方法。在图像处理中，如何通过先验知识，选取合适的正规化矩阵和正规化参数，进而通过适当的平滑处理得到“邻近”的适定图像是解决此问题的关键。比较经典的方法有离差原理、广义交叉验证法和L曲线准则。但现有的方法均存在一定的局限性，例如文献[1]提出了一种迭代法寻找最优正则化参数，但是该方法只适用于通式Tikhonov正则化，即只能设置并求解一组正则化参数，降低了对于存在多种噪声的图像进行恢复的能力；文献[2]提出了一种基于Arnoldi方法的多参数Tikhonov正则化算法，虽然此方法适用于大运算量的迭代问题计算，但是正则化矩阵必须根据先验知识提前确定。如何针对恢复图像的不同选取较为合适的正则化矩阵，该文献未给出相应策略。

[1]Yang X J,Wang L.A modified Tikhonov regularization method[J].Journal of Computational and Applied Mathematics,2015,288:180-192.

[2]Reichel L,Sgallari F,Ye Q.Tikhonov regularization based ongeneralized Krylov subspace methods[J].Applied Numerical Mathematics,2012,62(9):1215-1228.

发明内容

本发明的目的在于提出一种基于机器学习的多参数Tikhonov正则化方法，在周期边界条件下，用以提升图像恢复质量的方法，由此解决现有方法无法求解多组最优正规化参数和正规化矩阵且无法针对一类图片做出针对性优化，影响图像恢复质量的问题。

本发明的目的是这样实现的：

S1、数据收集：确定一类研究对象，比如为卫星拍摄的一组行星图片、CT扫描获取的医学图像或旅行中拍摄的风景图等。确定类别后，收集一组符合此类场景的图片。

S2、图像预处理：根据数学上的线性模型，图像模糊过程可以用矩阵矢量相乘表示：

b＝Ax_true+n

其中x_true为收集到的一组同类图像，A为模糊核矩阵，n为随机加性噪声，b为此线性模型模拟生成的受损图像。

根据此模型对收集到的此类图片进行模糊处理并添加噪声，获得一组与原始图像对应的受损图像。

S3、计算最优Tikhonov正则化参数；

其中，步骤S3包括以下子步骤：

S3.1、设置Tikhonov正则化矩阵：为了实现最优的图像恢复效果，在多参数Tikhonov正则化算法中可以设置多组正则化矩阵。由于图像的特征和受损情况不同，多组Tikhonov正则化矩阵的设置可以满足不同种类特征的增强。例如，一阶导数算子和二阶导数算子可以在水平和竖直方向凸显图像边缘和纹理信息，Roberts算子则适用于增强对角方向的图像边缘和纹理信息；Sobel算子适用于具有较低噪声水平的图像；拉普拉斯高斯算子能减少噪声对图像恢复的影响。

S3.2、多参数Tikhonov正则化问题转化为滤波表示法：根据经验贝叶斯风险最小化准则，周期边界条件下，多参数Tikhonov正则化的滤波表示法为：

其中，b^(k)为训练集中第k个受损图像，

为恢复后的训练集中第k个图像；Q为二维酉离散傅里叶变换(DFT)矩阵，Q^*为Q的共轭转置矩阵，C为A的奇异值矩阵，q_i、

和c_i分别为其第i行的向量形式；滤波系数矩阵Φ是对角矩阵，其对角线上的元素为φ_i。

S3.3、Damped Gauss-Newton法寻找最优正则化参数：

S3.3.1、设置初始Tikhonov正则化参数向量λ₀并开始迭代t＝0,1,2,…

S3.3.2、求解线性方程

以计算出步进方向增量

式中H_t和g_t分别为第t次迭代时的Hessian矩阵和梯度向量

S3.3.3、选择合适的步进长度参数α_t

S3.3.4、更新Tikhonov正则化参数向量λ_t+1，其表达式为

S3.3.5、检查收敛性。如果未收敛，返回S3.3.2；否则，运算结束。

S4、图像恢复：输入受损图像x_input，结合S3计算出来的最优Tikhonov正则化参数λ_t，通过如下公式进行图像恢复：

x_output＝QΓφ(λ)

式中，φ(λ)是滤波系数向量，Γ是对角矩阵，其对角线上第i个参数为

S5、根据Tikhonov正则化参数和相对错误率，对结果进行分析。

与现有技术相比，本发明的有益效果是：

本发明适用于周期边界条件下，将多参数Tikhonov正则化问题用滤波表示法求解，并结合快速傅立叶变换(FFT)算法，减少了运算量和运算时间。设置了针对不同类型噪声的多个正则化矩阵，针对一类图像采用Damped Gauss-Newton法寻找相应的多个最优Tikhonov正则化矩阵和参数，防止了过拟合现象的发生，缩短了针对同类图像恢复的时间，并提升了图片的恢复质量；

相比牛顿法求解最优Tikhonov正则化参数，本发明采用的Damped Gauss-Newton法由于省去了Hessian矩阵中的二阶信息项，储存和计算的量以平方的速度减小，大幅度的减少了运算时间。同时，为了解决牛顿法中可能出现的收敛性问题，本发明采用的DampedGauss-Newton法的优势是可以修改步进长度参数α_t，通过沿着牛顿法确定的方向一维搜索最优的步长，选择使得平均错误值最小的步进长度参数α_t；

本发明针对满足同类周期边界条件的图像做出了针对性优化，通过预处理以及优化改进的机器学习算法，预先计算出了符合此类图像的最优Tikhonov正则化参数向量。当输入此类受损图像时，可以快速高效地对图像进行恢复，且较传统方案，提升了图像恢复质量。

附图说明

图1为本发明的方法流程示意图；

图2为本发明提出的Damped Gauss-Newton法寻找最优正则化参数流程图；

图3为本发明方法与传统方法图像恢复质量对比图；

图4为本发明方法与传统方法图像恢复相对错误率对比。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步解释和说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

如图1所示为本发明实施例公开的一种基于机器学习的多参数Tikhonov正则化方法，在周期边界条件下，用以提升图像恢复质量方法的流程示意图，该方法主要包括以下几个步骤：1)数据收集；2)图像预处理；3)计算最优Tikhonov正则化参数；4)图像恢复；5)根据Tikhonov正则化参数和相对错误率，对结果进行分析。

S1、数据收集：确定并收集一组同类图像。本实施例采用的是一组CT扫描获取的医学图像，并将收集到的包含此组图像信息的矩阵

的每一行用“堆叠”的方式转化为列向量

S2、图像预处理：当造成图像模糊的原因是受到许多相互独立的随机因素的影响，且如果每个因素所产生的影响都很微小时，比如设备存在缺陷、环境变化、拍摄设备对焦异常或拍摄设备与拍摄物体间存在相对移动等。根据中心极限定理，总的影响是近似服从正态分布的。因此，在用线性模型对图像进行模糊处理时，此实施例选用的是高斯模糊核。同样地，对于潜在的噪声，比如仪器噪声和量化噪声等，本实施例使用高斯噪声来模拟潜在的多种噪声对图像带来的影响。

S3、计算最优Tikhonov正则化参数：

S3.1、设置Tikhonov正则化矩阵：本实施例共设置了四个Tikhonov正则化矩阵，分别是单位矩阵算子、横向和纵向二阶导数算子和二维离散拉普拉斯算子。需要注意的是，在本实施例中只设置了上述提到的四个典型的Tikhonov正则化矩阵，但为了提高图像恢复的质量，本发明的算法可以设置多个且不受限制的Tikhonov正则化矩阵。

S3.2、将多参数Tikhonov正则化问题转化为滤波表示法有两个优势：

1.可以快速构建滤波表示法式中的二维酉DFT矩阵Q：假设训练集中每个图像

的大小为n*1。在MATLAB中，一维酉离散傅里叶变换(DFT)矩阵可以通过语句F＝dftmtx(n)/sqrt(n)实现。在图像处理中，图像的二维酉DFT矩阵可以通过计算图像各行的DFT进而计算各列的DFT获得，即通过一维酉DFT矩阵与其本身做Kronecker乘积。在MATLAB中，二维酉DFT矩阵可以通过语句

获得。

2.滤波系数φ_i的选取：在图像恢复的整个过程中，滤波系数φ_i的选取至关重要。从图像处理角度看，图像恢复过程中的不适定问题是由于图像高频信息存在涟漪效应造成的。传统方法中，截断奇异值分解法(TSVD)是通过滤波系数φ_i以舍弃部分含有较小奇异值的图像信息。截断奇异值分解法(TSVD)中的滤波系数φ_i可表示为：

截断参数m如果选择的过大，恢复后的图像会非常模糊，并存在图像摄动，因为图像的高频信息部分大部分都被保留了；截断参数m如果选择的过小，恢复后的图像“过度平滑”，即图像只有部分低频信息部分被保留了，包含图像边缘和纹理等高频信息部分被舍弃了。

相比截断奇异值分解法，本发明采用的滤波系数φ_i和截断参数m均可以在保留图像高频信息和提高图像恢复质量之间做到平衡。由于较大的截断参数m可以保留较多的高频信息，但无法减小噪声的干扰；较小的截断参数m可以较好的抑制噪声的影响，但会丢失较多的高频信息。所以，滤波系数φ_i的数值选择也会对图像恢复质量产生直接影响，与截断奇异值分解法中滤波系数φ_i的数值近似只能在0和1两个数值之间选择不同，本发明的滤波系数φ_i数值可以在0≤φ_i≤1范围内任意选择。在滤波系数φ_i和Tikhonov正则化矩阵均可以根据图像实际情况调节下，滤波表示法能有效地提高图像恢复质量。

S3.3、本发明采用Damped Gauss-Newton法寻找最优正则化参数向量λ，滤波系数φ_i与最优正则化参数向量λ运算关系如下：

式中，矩阵S_j分别包含了J个Tikhonov正则化矩阵的奇异值，S_j＝diag[s_i,1,s_i,2,…s_i,J]。在MATLAB中，S_j可以通过语句S_j＝fft2(circshift(L_j,1-[center]))快速实现。

S4、图像恢复：输入一张同类CT扫描获取的受损医学图像，结合S3计算出来的最优Tikhonov正则化参数λ_t，进行图像恢复。

对本发明的效果验证：

S5、根据Tikhonov正则化参数和相对错误率，对结果进行分析。

图3中(a)、(b)、(c)分别是受损图像、本发明方法恢复后的图像以及传统TSVD法恢复后的图像。通过对比可以看出，用本发明提供的方法恢复图像的质量高于传统方法。根据图像相对错误率的定义：

式中，

为恢复处理后的图像，

为未受损的原图像。图4中的数据表明，相比传统方法，采用本发明的方法可将恢复后的图像相对错误率降低约35％，这进一步表明本发明采用的方法可针对同类图像做出针对优化，提升了图像恢复质量。

以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于机器学习的多参数Tikhonov正则化方法，其特征是，包括如下步骤：

S1、数据收集：确定研究对象并收集符合场景的图片；

S2、图像预处理；

S3、计算最优Tikhonov正则化参数；

S3.1、设置Tikhonov正则化矩阵：为了实现最优的图像恢复效果，在多参数Tikhonov正则化算法中可以设置多组正则化矩阵；由于图像的特征和受损情况不同，多组Tikhonov正则化矩阵的设置可以满足不同种类特征的增强；一阶导数算子和二阶导数算子在水平和竖直方向凸显图像边缘和纹理信息，Roberts算子则适用于增强对角方向的图像边缘和纹理信息；Sobel算子适用于具有较低噪声水平的图像；拉普拉斯高斯算子能减少噪声对图像恢复的影响；

S3.2、多参数Tikhonov正则化问题转化为滤波表示法：根据经验贝叶斯风险最小化准则，周期边界条件下，多参数Tikhonov正则化的滤波表示法为：

其中，b^(k)为训练集中第k个受损图像，

为恢复后的训练集中第k个图像；Q为二维酉离散傅里叶变换(DFT)矩阵，Q^*为Q的共轭转置矩阵，C为A的奇异值矩阵，q_i、

和c_i分别为其第i行的向量形式；滤波系数矩阵Φ是对角矩阵，其对角线上的元素为φ_i；

S3.3、Damped Gauss-Newton法寻找最优正则化参数：

S3.3.1、设置初始Tikhonov正则化参数向量λ₀并开始迭代t＝0,1,2,…；

S3.3.2、求解线性方程

以计算出步进方向增量

式中H_t和g_t分别为第t次迭代时的Hessian矩阵和梯度向量；

S3.3.3、选择合适的步进长度参数α_t；

S3.3.4、更新Tikhonov正则化参数向量λ_t+1，其表达式为

S3.3.5、检查收敛性；如果未收敛，返回S3.3.2；否则，运算结束；

S4、图像恢复；

S5、根据Tikhonov正则化参数和相对错误率，对结果进行分析。

2.根据权利要求1所述的基于机器学习的多参数Tikhonov正则化方法，其特征是，所述步骤S4具体为：

输入受损图像x_input，结合S3计算出来的最优Tikhonov正则化参数λ_t，通过如下公式进行图像恢复：

x_output＝QΓφ(λ)

式中，φ(λ)是滤波系数向量，Γ是对角矩阵，其对角线上第i个参数为

3.根据权利要求1所述的基于机器学习的多参数Tikhonov正则化方法，其特征是，所述步骤S2具体为：根据数学上的线性模型，图像模糊过程用矩阵矢量相乘表示：

b＝Ax_true+n

其中x_true为收集到的一组同类图像，A为模糊核矩阵，n为随机加性噪声，b为此线性模型模拟生成的受损图像；

根据此模型对收集到的图片进行模糊处理并添加噪声，获得一组与原始图像对应的受损图像。

Images