CN105469358B - 一种图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理方法，包括：首先输入被噪声污染的图像L；然后对图像L进行插值，获得对图像L的初始估计以及图像的一阶导数；然后利用步骤B中计算出的一阶导数，构造出图像中每个像素的协方差矩阵；然后基于所述协方差矩阵，构造自适应核函数；然后对所述自适应核函数进行自适应锐化；然后使用自适应锐化后的权重矩阵实现插值，得到最终的图像，实现了图像重建效果不容易受影响，重建结果不容易遭受噪声污染，有效的解决了图像边缘模糊和噪声问题。

Description

一种图像处理方法

技术领域

本发明涉及图像技术处理领域，具体地，涉及一种基于自适应锐化策略的单帧图像超分辨率重建方法。

背景技术

随着智能手机、数码相机等图像拍摄设备的普及，数字图像已成为人们分析和理解自然环境的重要信息媒介。据统计，人类所能感知信息的80％均来自于以图像为载体的视觉信息。衡量数字图像质量优劣的重要指标之一是图像分辨率，分辨率越高，说明图像越清晰，能提供的信息越丰富。然而，受成像设备物理条件限制，获取的数字图像往往分辨率低且包含噪声。

单帧图像超分辨率重建通过软件的方式将输入的一幅低分辨率图像转换成更清晰的高分辨率图像，从而为用户提供更丰富的细节信息，同时提高用户的视觉效果感受。其中，非均匀插值算法应用最为广泛。具体而言，该算法采用加权平均方法实现对高分辨率图像中未知像素的估计：低分辨率图像的全体像素首先映射到高分辨率网格中，作为插值样本点的来源；未知的高分辨率像素，其灰度值为邻域内所有插值样本点灰度值的加权平均。一般而言，插值算法的核心为1)建立起未知高分辨率像素与低分辨率图像中像素间的联系，即选择合适的插值样本点，2)根据一定的方式进行插值权重分配。其中，如何设计出一种合适的权重分配方式，是影响重建效果的关键因素之一。

传统的插值算法如最近邻插值、三次样条插值方法在设计权重时，仅考虑像素间的空间距离。例如，经典核回归方法实现插值的步骤如下：已知待插值像素的坐标为m，插值样本点(位于以像素m为中心的邻域中)的坐标为m_i，且该插值样本点的灰度值为z(m_i)，i＝1,2,…,P，根据泰勒展开原理，待插值像素的灰度值z(m)可由下式获得：

其中，β₀＝z(m)，β₁＝[L_x(m),L_y(m)]^T为该待插值像素在横纵坐标方向上的一阶导数值估计，为待插值像素在横纵坐标方向上的二阶导数值估计；vech()将对称矩阵的下三角部分按字典序排列，构成一个列向量，如w(m；m_i)为核函数，在经典核回归中，h为尺度参数，控制高斯函数的宽度。容易看出，经典核回归插值算法在计算插值权重时，仅比较像素间的空间距离差异：与待插值像素距离相同的插值样本点都赋予相同的权重。由于该方法忽视了图像内部的灰度变化趋势，故其重建结果无法保持图像中的细节信息。总体而言，传统插值算法容易导致重建图像细节模糊。此外，若低分辨率图像存在噪声，则伴随着插值过程，该噪声也将会出现在重建图像中。

近年来，针对插值算法容易出现图像细节模糊的缺陷，能够反映图像内灰度变化趋势的权重设计策略被逐渐采用。专利CN201410193840.4提出了一种基于边缘导向的插值算法：利用Canny边缘检测算子，计算出图像块内的边缘走向，由此将图像内的所有图像块分为11类；并根据边缘类型，提取每一个图像块内沿边缘方向的像素，用于实现对该图像块中心像素的插值计算。由于该算法借助图像块内的边缘走向，并以此为启发式信息，故其重建结果的细节更为清晰，从而较好地克服了传统方法中边缘模糊的缺点。然而，该方法的有效性取决于Canny算子对边缘检测的准确性。当图像包含噪声时，Canny算子难以进行准确的边缘提取，进而影响算法对图像细节的重建效果。另一方面，与传统插值算法相似，噪声也将伴随插值过程进入重建图像，使重建结果也遭受噪声污染。

为避免边缘检测算子的准确性对非均匀插值算法的影响，专利CN200810063953.7将所有低分辨率图像像素映射到高分辨率网格中，比较待插值像素与映射后的低分辨率像素间的距离关系，并按照一定的原则选择适合的经映射的低分辨率像素，作为插值样本点，此外，利用经典核回归理论，估计待插值像素的灰度值。近年来，基于自适应核回归理论插值方法获得较高专注，其与基于经典核回归理论插值方法的区别在于：在核函数的计算过程中，加入了对图像局部结构信息的描述，即C_i是关于像素m的协方差矩阵。专利201410173153.6在自适应核回归理论的基础上，提出了一种置信度自适应核函数，增加了对插值样本点的可靠性判别，能较好地抑制仅利用自适应核函数而产生的异常值。然而，在处理含噪图像时，这类基于核回归理论(经典或者自适应)的方法虽然可通过改变核函数的内部参数平滑重建图像，从而达到去噪的目的。然而，对于参数选择目前尚未得到统一共识。

综上所述，本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在现有技术中，现有的基于非均匀插值思想的单帧图像超分辨率重建方法存在图像细节重建效果容易受影响，重建结果容易遭受噪声污染，当前方法无法同时有效的解决图像边缘模糊和噪声问题。

发明内容

本发明提供了一种图像处理方法，解决了现有的基于非均匀插值思想的单帧图像超分辨率重建方法存在图像细节重建效果容易被模糊，重建结果容易遭受噪声污染的技术问题，实现了图像重建效果不容易被模糊，重建结果不容易遭受噪声污染的技术效果。

为解决基于非均匀插值思想的单帧图像超分辨率重建方法中常见的边缘模糊和噪声去除问题，本发明提供一种新的权重计算方式，在自适应核回归理论插值的基础上，引入图像锐化机制，从而实现同步的超分辨率重建和图像去噪。

本发明提供的新的图像处理算法包括下列步骤。

步骤A---步骤B----步骤C----步骤D----步骤E----步骤F：

步骤A：输入一幅被高斯白噪声污染的图像L；

步骤B：利用经典核回归对图像L进行插值，获得对图像L的初始估计以及图像的一阶导数和其中x和y分别是图像中像素的横坐标方向和纵坐标方向；

步骤C：利用步骤B中计算出的一阶导数，按如下的表达式得到图像中每个像素m(m＝[m_x,m_y]^T代表该像素的位置坐标，下文采用“像素m”代表位于该位置的像素点)的协方差矩阵C_i：

其中w_m表示一个以像素m为中心的图像块，m_i代表位于该区域内的像素，和分别表示像素m_i在横纵坐标方向上的一阶导数值；

步骤D：使用协方差矩阵C_i，构造自适应核函数：

其中，其中，n和m分别表示图像中两个像素，其中，n为待更新灰度值的像素，m为其周围的像素，x_i＝m-n为像素间的坐标差；C_i是像素m由步骤C得到的协方差矩阵；h为尺度参数，用于控制高斯函数的宽度。

步骤E中，对核函数进行自适应锐化，包括以下三个步骤：

步骤E1：将步骤C中计算出的协方差矩阵进行奇异值分解，获得奇异值s₁，s₂，并计算纹理描述子TM：

其中，TM(m)表示在像素m的纹理描述值，该数值反映了以像素m为中心的局部区域的纹理强度；

步骤E2：将TM值进行累积直方图统计，根据该直方图，将图像按照纹理强度进行像素分类：

T₁是纹理区域和平坦区域的分类阈值，对应于TM累积直方图中累积频率60％所对应的纹理描述值，实验发现，累积频率60％得到的分类准确性更高；c₁表示纹理区域类，c₂表示平坦区域类；

步骤E3：将待更新像素n周围的所有插值样本点的自适应核函数进行组合，构成权重矩阵W，并根据步骤E2的分类结果进行相应锐化：

其中H为高通滤波器，λ为实数，用以控制权重的锐化幅度，若当前像素位于c₁类，则λ＝1，实现细节锐化，否则λ＝-1，实现噪声消除；

步骤F：使用自适应锐化后的权重矩阵实现插值，得到最终的高分辨率图像。具体为：将锐化后的权重矩阵与所有的插值样本点的灰度值所构成的矩阵Y进行归一化点乘求和，即·为点乘算子，表示两个矩阵对应位置上的元素相乘，sum()为求和算子，表示矩阵中所有元素相加求和，通过归一化点乘求和，得到像素n的灰度更新值。

进一步的，所述步骤E1：将步骤C中计算出的协方差矩阵进行奇异值分解，获得奇异值s₁，s₂，具体为：C_i＝UΣV^T，其中，U和V^T分别代表矩阵C_i的左奇异向量矩阵和右奇异向量矩阵，Σ是一个2×2的对角矩阵，其对角线上的元素s₁，s₂(s₁≥s₂)即为奇异值，在获得奇异值的基础上，计算纹理描述子TM。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了将图像处理方法设计为包括：首先输入被噪声污染的图像L；然后对图像L进行插值，获得对图像L的初始估计以及图像的一阶导数；然后利用步骤B中计算出的一阶导数，构造出图像中每个像素的协方差矩阵；然后基于所述协方差矩阵，构造自适应核函数；然后对所述自适应核函数进行自适应锐化；然后使用自适应锐化后的权重矩阵实现插值，得到最终的图像的技术方案，即借助于自适应核回归，有利于捕获图像内部结构信息，实现以边缘为导向的图像插值，从而避免了现有技术对边缘检测算子的依赖；此外，通过采用自适应锐化策略，一方面强化边缘走向，实现细节增强，另一方面模糊平坦区域，实现噪声消除，从而提高了现有技术对噪声图像的鲁棒性；总体而言，本申请提供一种新的权重计算方式，在自适应核回归的基础上，引入图像锐化机制，对图像的平坦区域和纹理区域进行相应的权重矩阵锐化操作，从而实现同步的超分辨率重建和图像去噪，所以，有效解决了现有的基于非均匀插值思想的单帧图像超分辨率重建方法中存在的图像边缘模糊和噪声问题。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定，在附图中：

图1是本申请实施例一中图像处理方法的具体实施流程示意图；

图2是本申请实施例一中含噪灰度测试图像示意图；

图3(a)是本申请实施例一中测试图像通过经典核回归方法插值后的放大示意图；

图3(b)是本申请实施例一中纹理描述值示意图；

图3(c)是本申请实施例一中累积直方图示意图；

图3(d)是本申请实施例一中由分类阈值得到的分类结果示意图；

图4(a)是本申请实施例一中采用本发明方法的放大示意图；

图4(b)是本申请实施例一中采用Bicubic插值方法的放大效果示意图；

图4(c)是本申请实施例一中采用SCSR方法的放大效果示意图；

图4(d)是本申请实施例一中采用SRIP方法的放大效果示意图。

具体实施方式

本发明提供了一种图像处理方法，解决了现有的基于非均匀插值思想的单帧图像超分辨率重建方法存在图像细节重建效果容易受影响，重建结果容易遭受噪声污染的技术问题，实现了图像重建效果不容易受影响，重建结果不容易遭受噪声污染的技术效果。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例一：

请参考图1，本发明提出的单帧图像超分辨率重建方法的具体实施流程如下：

[1]输入一幅包含噪声的低分辨率图像；

[2]利用经典核回归方法对输入图像进行插值，获得初始估计以及一阶导数值和

经典核回归所使用的核函数为：其中h＝1；

[3]对于的每一个像素m，利用其像素邻域w_i内所有像素的和值，计算该像素的协方差矩阵C_i，在本发明中，邻域大小为7×7：

[4]利用C_i构造自适应核函数w，并对C_i进行奇异值变换，获得奇异值s₁，s₂；

自适应核函数为：

其中n是待更新的像素，m为其周围的插值样本点；

[5]统计以n为中心的图像块内所有插值样本点的核函数值，构成权重矩阵W；

[6]用第四步获得的奇异值，计算像素m的纹理描述值TM(m)：

统计内所有像素的纹理描述值，构成累积直方图，根据该直方图，获得纹理区域和平坦区域的分类阈值T₁，并进行像素分类；

根据分类结果，自适应锐化权重矩阵W：在本发明中，高通滤波器H采用如下的卷积模板：

若待更新像素n属于纹理区域，则λ＝1，否则λ＝-1。

[7]使用锐化后的权重矩阵进行插值计算，得到最终的超分辨率重建图像；

通过上述实施过程对含噪低分辨率图像进行处理，实验表明，所得的重建图像细节突出，背景噪声明显消除。说明，本发明提出的算法效果显著。

下面举个具体的例子对本申请中的技术方案进行详细介绍：

输入一张大小为128×128的含噪灰度图像L(包含高斯白噪声，且噪声标准差为10)，如图2所示。

使用核回归算法进行2倍插值放大，获得放大图像的初始估计(如图3a所示)以及相应的一阶导数值。从图3a中可看出，放大图像仍然有大量的噪声残留，且细节部分(如屋檐)存在模糊。

对中的每一个像素，统计其7×7邻域内所有像素的一阶导数值，计算协方差矩阵C_i。在得到图像内所有像素的协方差矩阵后，一方面，构造自适应核函数其中n为灰度值待更新的像素，m为位于其7×7邻域内的像素，x_i＝n-m为两点坐标差，C_i为像素m的协方差矩阵，此外，联合n邻域内所有像素的核函数，可获得关于像素n的权重矩阵W；另一方面，对图像中每个像素的协方差矩阵C_i进行奇异值分解(C_i＝UΣV^T)，得到的矩阵其对角线上的元素s₁，s₂为特征值，在此基础上，计算纹理描述子的数值(纹理描述值)，联合图像内所有像素的纹理描述值，可获得一幅关于图像的纹理描述图像(如图3b所示)，图中越接近白色的区域，说明该部分越可能包含较为丰富的纹理含量，而越接近黑色的区域，说明该部分越可能属于平坦区域。统计图像内所有像素的纹理描述值，构成累积直方图，如图3c所示。累积直方图中累积频率60％所对应的纹理描述值T₁，为分类阈值。图3d的二值图显示了由该分类阈值对图像得到的分类结果，其中黑色区域代表可能的平坦部分，白色区域代表可能的纹理部分。

根据分类结果，自适应锐化权重矩阵W：若待更新像素n位于可能的平坦部分，则锐化过程为若待更新像素n位于可能的纹理部分，则锐化过程为

最后，借助于加权平均，更新图像中每一个像素n的灰度值：其中，Y代表以像素n为中心的7×7图像块的灰度值矩阵，sum()表示对矩阵中所有元素值进行求和，·代表两个矩阵的点乘。图4a显示了最终的图像处理结果。

为说明本发明的有效性，图4b-d还展示了经典算法Bicubic插值，Yang等人的稀疏编码超分辨率重建方法(sparse coding super resolution，SCSR)以及Kim等人基于稀疏回归和自然图像先验的超分辨率重建方法(sparseregression and image prior,SRIP)。从图4可明显看出，本发明的结果具有良好的噪声去除效果，且重建细节较其他方法也较为突出。另外，观察图4b-d可发现，图像超分辨重建算法在处理含噪图像时，噪声强度在重建过程极易被放大，该现象也反映了本发明的必要性。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

由于采用了将图像处理方法设计为包括：首先输入被噪声污染的图像L；然后对图像L进行插值，获得对图像L的初始估计以及图像的一阶导数；然后利用步骤B中计算出的一阶导数，构造出图像中每个像素的协方差矩阵；然后基于所述协方差矩阵，构造自适应核函数；然后对所述自适应核函数进行自适应锐化；然后使用自适应锐化后的权重矩阵实现插值，得到最终的图像的技术方案，即借助于自适应核回归，有利于捕获图像内部结构信息，从而实现以边缘为导向的图像插值，从而避免了现有技术对边缘检测算子的依赖；通过采用自适应锐化策略，一方面强化边缘走向，实现细节增强，另一方面模糊平坦区域，实现噪声消除，从而提高了现有技术对噪声图像超分辨率重建的鲁棒性；总体而言，本申请提供一种新的权重计算方式，在自适应核回归的基础上，引入图像锐化机制，对图像的平坦和纹理区域进行相应的权重矩阵锐化操作，从而实现同步的超分辨率重建和图像去噪，所以，有效地同时解决了现有的基于非均匀插值思想的单帧图像超分辨率重建方法中存在图像边缘模糊和噪声问题。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种图像处理方法，其特征在于，所述方法包括：

步骤A：输入被噪声污染的图像L；

步骤B：对图像L进行插值，获得对图像L的初始估计以及图像的一阶导数；

步骤C：利用步骤B中计算出的一阶导数，构造出图像中每个像素的协方差矩阵；

步骤D：基于所述协方差矩阵，构造自适应核函数；

步骤E：对所述自适应核函数组成的权重矩阵进行自适应锐化；

步骤F：使用自适应锐化后的权重矩阵实现对初始估计的插值，得到最终的图像；所述步骤B具体为：利用经典核回归对图像L进行插值，获得对图像L的初始估计以及图像的一阶导数和其中x和y分别代表图像中像素的横坐标方向和纵坐标方向；图像中每个像素m的协方差矩阵C_i具体为：

其中：w_m表示一个以像素m为中心的图像块，m_i代表位于图像块内每个像素的坐标位置，和分别表示像素m_i在横纵坐标方向上的一阶导数值；所述自适应核函数具体为：

其中，n和m分别表示图像中两个像素位置，其中，n为待更新灰度值的像素，m为n周围的像素，x_i＝n-m为像素间坐标差；C_i是像素m由步骤C得到的协方差矩阵；h为尺度参数，用于控制高斯函数的宽度；所述步骤E对所述自适应核函数进行自适应锐化，具体包括：

步骤E1：将步骤C中计算出的协方差矩阵进行奇异值分解，获得奇异值s₁，s₂，并计算纹理描述子TM：

其中，TM(m)表示在像素m的纹理描述值，该数值反映了以像素m为中心的局部区域的纹理强度；

步骤E2：将图像中所有像素的TM值进行累积直方图统计，根据该直方图，实现将该图像按照纹理强度进行像素分类：

T₁是图像内纹理区域和平坦区域的分类阈值，为TM累积直方图中累积频率60％对应的纹理描述值；c₁表示纹理区域类，c₂表示平坦区域类；

步骤E3：组合待更新像素n其邻域内所有插值样本点m由步骤C得到的自适应核函数w(n；m)，构成权重矩阵W，并根据步骤E2的分类结果进行相应锐化：

其中，H为高通滤波器，λ为实数，用以控制权重的锐化幅度，若当前像素位于c₁类，则λ＝1，实现图像细节锐化，否则λ＝-1，实现图像噪声消除。

2.根据权利要求1所述的方法，其特征在于，所述步骤E1：将步骤C中计算出的协方差矩阵进行奇异值分解，获得奇异值s₁，s₂，具体为：C_i＝UΣV^T，其中，U和V^T分别代表矩阵C_i的左奇异向量矩阵和右奇异向量矩阵，Σ是一个2×2的对角矩阵，其对角线上的元素s₁，s₂即为奇异值，s₁≥s₂，在获得奇异值的基础上，计算纹理描述子TM。

3.根据权利要求2所述的方法，其特征在于，所述使用自适应锐化后的权重矩阵实现插值具体为：将锐化后的权重矩阵与所有的插值样本点的灰度值所构成的矩阵Y进行归一化点乘求和，得到像素n的灰度更新值。