CN106169173A - 一种图像插值方法 - Google Patents

Abstract

本发明公开一种图像插值方法，其中，包括：梯度值估计步骤，其中采用改进的非局部均值方法对高分辨率图像的梯度进行估计；插值指导步骤，其中利用所述梯度值对边缘像素的插值进行指导；像素偏移步骤，其中对于插值之后的图像，采用像素偏移技术，将边缘两侧的像素进行偏移，从而保持原始的边缘结构；以及后处理步骤，其中采用梯度估计阶段使用的非局部均值方法对插值图像进行后处理，去除插值引入的噪声和人造效应。

Description

一种图像插值方法

技术领域

本发明涉及视频图像处理技术领域，特别是涉及一种基于边缘保持和像素偏移的图像插值方法。

背景技术

所谓图像插值，就是通过计算机将一幅低分辨率的图像按一定的比例放大成具有更高分辨率的图像，满足人们在各领域研究的需要。随着数码产品的普及，图像作为人类获取信息的主要来源，得到了越来越广泛的应用。同时，数字图像处理技术也得到了迅速发展。而视频图像的采集是数字图像处理系统中一个关键的步骤。在数字化采集过程中，受诸多因素的影响，会使得图像分辨率和图像质量有所下降。例如，采样频率，欠采样会使得图像的频谱混叠，因变形效应而发生降质；大气扰动、脱焦、传感器尺寸以及图像采集设备和被拍摄物体之间的相对运动会造成图像的模糊。而在图像的获取、传输和存储过程中，也会引入噪声，如高斯噪声，这也会使图像发生降质。

因此，如何提高图像的分辨率和质量，使其尽可能的接近原始的图像成为近年来国际上图像处理领域的研究热点之一。随着图像处理技术的发展和计算机计算能力的不断提升，视频图像的超分辨率重建技术为低分辨率图像的重建提供了很好的解决方案。它可以将一系列低分辨率的图像按一定的比例放大，最终产生一幅或者多幅高分辨率的图像，并且能够很好地保持原图的结构。

目前，图像插值技术因其计算复杂度低而更容易满足视频的实时性处理，从而被广泛应用于图像放大。图像插值方法有很多，简单的线性插值技术比如最近邻和双线性插值，计算简单但是会产生锯齿效应，同时也会模糊边缘。有研究者在1981年提出了双三次插值算法，这也属于线性插值，可以很好的去除锯齿效应，但是仍然会模糊边缘。它的基本原理是给定一个三次样条曲线函数，以水平方向为例，被插值点作为原点，去水平方向周边四个已知像素点，然后把已知点距原点的距离作为采样间距，得到曲线函数的取值，作为权值进行加权平均，同理，垂直方向也是如此。为了更好地保持边缘的锐度，很多基于边缘指导的插值方法被相继提出。另有研究者在2001年提出了在低分辨率图像上估计高分辨率图像的协方差，然后用该协方差来进行插值。该算法可以充分的利用周围相似的结构信息，但是，因为在求解的时候，对每个待插值像素点都要估计一组参数，所以其计算复杂很高，而且周边也存在很多不相似的结构，因此估计的差数并不准确，使插值的效果并不理想。有研究者在2008年提出了一种基于分块的自回归模型，这是对前一种算法的改进。该算法对一整块像素采用同一组参数，并且把待插值像素也当成参数来进行估计，并不直接进行插值，所以插值效果好于上一算法。但是计算复杂度依旧很高，而且并没有解决局部存在不相似结构的问题。另有研究者在2012年提出一种鲁棒的软决策插值技术，在参数和像素的估计中，都采用加权最小二乘法。该算法是对基于分块的自回归模型的算法进行改进，在参数估计和像素估计阶段，首先进行结构相似性对比，让更相似的结构具有更大的权值，使估计更加准确。插值效果进一步改进。

然而，虽然现有的算法所涉及的传统插值方法的计算量低，但是重建的效果差。基于边缘指导的插值方法的插值效果好于传统的插值方法，但是依旧会带来一定程度的模糊，而且计算复杂度太高，无法满足实时性的要求。

为了实现图像快速插值的同时保持图像的边缘，从而使图像的插值能够更好的满足实时性的要求。本发明提供一种基于边缘保持和像素偏移的图像插值方法，可以很好的对图像的边缘结构进行重建。

发明内容

本发明的图像插值方法的特征在于包括：梯度值估计步骤，其中采用改进的非局部均值方法对高分辨率图像的梯度进行估计；插值指导步骤，其中利用所述梯度值对边缘像素的插值进行指导；像素偏移步骤，其中对于插值之后的图像，采用像素偏移技术，将边缘两侧的像素进行偏移，从而保持原始的边缘结构；以及后处理步骤，其中采用梯度估计阶段使用的非局部均值方法对插值图像进行后处理，去除插值引入的噪声和人造效应。

本发明的图像插值方法，优选为，所述梯度值估计步骤包括相似性度量步骤和高分辨率梯度估计步骤。

本发明的图像插值方法，优选为，所述相似性度量步骤中，通过图像块的相似性来定义像素点的相似性，其中，假设当前像素点为y(i,j)，其周边N×N的像素点组成的图像块为N(i,j)，并假设图像中另一像素点为y(m,n)，其周边N×N的像素点组成的图像块为N(m,n)，通过相应图像块的灰度强度相似性对像素点y(i,j)和y(m,n)之间的相似性进行估计。

本发明的图像插值方法，优选为，所述图像块之间的灰度强度差异由公式(1)定义：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

给像素点y(m,n)赋予一个权值，用来度量相似度，如公式(2)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}---\left(2\right)$

其中，Z(i,j)是归一化常量，代表所有权值的总和，参数σ1对指数方程的衰减速度进行控制。

本发明的图像插值方法，优选为，所述高分辨率梯度估计步骤中，首先使用传统的双三次插值处理低分辨率图像，得到初始的高分辨率图像，然后运用Sobel算子对初始高分辨率图像进行卷积运算，得到高分辨率图像的梯度近似估计。

本发明的图像插值方法，优选为，梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\∈SxS}{\Σ}\mathrm{\ω}(m,n)G(m,n)---\left(3\right)$

其中，G(m,n)是当前像素点周边SxS窗口大小内任意一个低分辨率像素点位置的梯度，窗口S×S大小设置为21×21。

本发明的图像插值方法，优选为，所述像素偏移步骤中，对于插值之后的图像，采用像素偏移操作，使边缘结构保持和低分辨率图像一致。

本发明的图像插值方法，优选为，首先，使用Canny算子对插值结果操作，提取出边缘像素所在位置，然后对每个边缘像素，检测其梯度方向，将梯度方向划分成两类，分别是45度方向、垂直方向、和水平方向，接着再进行像素偏移。

本发明的图像插值方法，优选为，所述像素偏移的方法是，原点像素值保持不变，将任意正方向i位置的的像素值p(i)更新为i+1位置的像素值，即p(i)＝p(i+1)，将任意负方向i位置的像素值p(i)更新为i－1位置的像素值，即p(i)＝p(i－1)。其中，正方向和负方向的定义是，将边缘像素点当成原点，然后将其两侧任意一侧当成正方向，另一侧当成负方向。

本发明的图像插值方法，优选为，所述Canny算子中，低阈值为100，高阈值为200，阈值T为15。

附图说明

图1是表示本发明的图像插值方法的主流程图。

图2是表示本发明的图像插值方法的梯度值估计步骤的子流程图。

图3是表示待插值像素和已知像素空间位置关系图。

图4是表示对白色正方形标记的像素点进行插值的示意图。

图5是表示对白色圆点标记的像素点进行插值的示意图。

图6(a)～图6(d)是表示对像素进行偏移操作的过程示意图。

图7是对图像进行修正前(a)和修正后(b)的效果对比图。

图8对图像进行重建前(a)和重建后(b)的效果对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1的流程图所示，本发明的基于边缘保持和像素偏移的快速图像插值方法包括：梯度值估计步骤S1，其中采用改进的非局部均值方法对高分辨率图像的梯度进行估计；插值指导步骤S2，其中利用所述梯度值对边缘像素的插值进行指导；像素偏移步骤S3，其中对于插值之后的图像，采用像素偏移技术，将边缘两侧的像素进行偏移，从而保持原始的边缘结构；以及后处理步骤S4，其中采用梯度估计阶段使用的非局部均值方法对插值图像进行后处理，去除插值引入的噪声和人造效应。

如图2的子流程图所示，所述梯度值估计步骤S1包括相似性度量步骤S11和高分辨率梯度估计步骤S12。在相似性度量步骤S11中，通过图像块的相似性来定义像素点的相似性，这样更加精确也更具鲁棒性。具体来说，假设当前像素点为y(i,j)，其周边N×N的像素点组成的图像块为N(i,j)，并假设图像中另一像素点为y(m,n)，其周边N×N的像素点组成的图像块为N(m,n)，通过相应图像块的灰度强度相似性对像素点y(i,j)和y(m,n)之间的相似性进行估计。两个图像块之间的灰度强度差异通过公式(1)定义：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

给像素点y(m,n)赋予一个权值，用来度量相似度，如公式(2)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}---\left(2\right)$

其中，Z(i,j)是归一化常量，代表所有权值的总和，参数σ1对指数方程的衰减速度进行控制。图像块之间的差异越大，赋予相应像素点的权值越小，反之，则赋予相应像素点的权值越大。其中，块大小N×N设为7×7。σ1大小取7×7图像块的方差。

在高分辨率梯度估计步骤S12中，首先使用传统的双三次插值处理低分辨率图像，得到初始的高分辨率图像。然后运用Sobel算子对初始高分辨率图像进行卷积运算，得到高分辨率图像的梯度近似估计。假设对低分辨率图像进行两倍放大，如图3所示，其中黑色的点是低分辨率图像放大后再高分辨率图像中所在位置，白色点是待插值的像素点。接下来，对待插值像素点的梯度进行修正。根据上一步骤像素点相似性度量，假设y(i,j)为图中任意白色的待插值像素点，初始梯度为G(i,j)。y(m,n)为任意黑色的已知低分辨率像素点，梯度为G(m,n)。y(i,j)修正后的梯度为其周边S×S窗口大小内所有黑色点y(m,n)梯度的加权平均，权值就是步骤S11中估计的权值。梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\∈SxS}{\Σ}\mathrm{\ω}(m,n)G(m,n)---\left(3\right)$

其中，窗口S×S大小设置为21×21。

在插值指导步骤S2中，如图3所示，白色的点是待插值像素，分两步进行插值。第一步是对白色正方形标记的像素点进行插值，第二步对白色圆点标记的像素点进行插值。第一步插值像素点和已知像素点之间的位置关系如图4(a)所示，Mi是待插值像素点，Nj,j＝1,2,3,4是已知的低分辨率像素点，Mi的值就是Nj的加权平均。如图4(b)所示，将黑色点投影到梯度方向，并假设P(ij)为投影长度，Nj的权值如公式4定义：

$w\left(j\right)=\frac{1}{C\left(i\right)}{e}^{-\frac{P(i,j)}{\mathrm{\σ}2}}---\left(4\right)$

其中，C(i)是归一化参数，代表所有权值的总和，σ2控制指数方程的衰减速度。

第二步插值像素点和已知像素点之间的位置关系如图5(a)所示。第一步中已插值的像素点可以当作已知像素点，将图像旋转45度，第二步中未知像素和已知像素之间空间位置关系和图4(a)中一致，因此，沿用第一步中的插值方法。其中，σ2取0.2。

接下来，在像素偏移步骤S3中，进行基于边缘的像素偏移。基于梯度指导的插值，在沿着边缘的方向能够很好地恢复边缘点结构，但是在边缘的两侧，如图4(c)和图5(c)所示，当梯度方向如图中所示，四个已知点的投影结构几乎一致，也就是说，权值几乎一致。那么待插值像素点的值就是四个已知像素点的平均值，在边缘的两侧产生过渡，使边缘的宽度增大，在视觉上产生模糊。用该方法对一维信号进行放大实例如图6所示。图6(a)是原始信号，图4(b)是进行两倍放大之后的信号，可以看到，边缘的宽度已经增加。因此，为了是放大之后的信号边缘尽可能和原始信号一致，将信号按图6(c)的方式进行偏移，如图6(d)所示，偏移之后，边缘的宽度和原图一致。对于插值之后的图像，采用像素偏移操作，使边缘结构保持和低分辨率图像一致。首先，使用Canny算子对插值结果操作，提取出边缘像素所在位置，然后对每个边缘像素，检测其梯度方向。将梯度方向划分成两类，分别是45度方向、垂直方向、和水平方向。因为边缘的方向是垂直梯度的，边缘两侧的像素是沿着梯度方向的，所以，提取梯度正方向和负方向的像素构成一个以边缘像素为原点的一维曲线，曲线的端点是梯度小于阈值T的像素点。然后再进行像素偏移。偏移的方法如下：将原点像素保持，将任意正方向i位置的的像素p(i)更新为i+1位置的像素,即p(i)＝p(i+1),将任意负方向i位置的像素p(i)更新为i－1位置的像素，即p(i)＝p(i－1)。其中Canny算子中，低阈值为100，高阈值取200，阈值T取15。

接下来，在后处理步骤S4中，对插值结果进行修正。以上插值在保持边缘的同时也会引入一些锯齿，所以，在这一步骤中对插值的结果进行修正。如图1所示，对于每个被白色点标记的像素点，使用周边S×S窗口内被黑色标记的像素点进行加权平均来得到修正后的灰度值。权值使用步骤一中像素点之间的相似性进行估计。修正前和修正后结果对比图如图7(a)和图7(b)所示。其中，窗口也设置为21×21大小。图8对图像进行重建前(a)和重建后(b)的效果对比图。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种图像插值方法，其特征在于，

包括：

梯度值估计步骤，其中采用改进的非局部均值方法对高分辨率图像的梯度进行估计；

插值指导步骤，其中利用所述梯度值对边缘像素的插值进行指导；

像素偏移步骤，其中对于插值之后的图像，采用像素偏移技术，将边缘两侧的像素进行偏移，从而保持原始的边缘结构；以及

后处理步骤，其中采用梯度估计阶段使用的非局部均值方法对插值图像进行后处理，去除插值引入的噪声和人造效应。

2.根据权利要求1所述的图像插值方法，其特征在于，

所述梯度值估计步骤包括相似性度量步骤和高分辨率梯度估计步骤。

3.根据权利要求2所述的图像插值方法，其特征在于，

所述相似性度量步骤中，通过图像块的相似性来定义像素点的相似性，其中，假设当前像素点为y(i,j)，其周边N×N的像素点组成的图像块为N(i,j)，并假设图像中另一像素点为y(m,n)，其周边N×N的像素点组成的图像块为N(m,n)，通过相应图像块的灰度强度相似性对像素点y(i,j)和y(m,n)之间的相似性进行估计。

4.根据权利要求3所述的图像插值方法，其特征在于，

所述图像块之间的灰度强度差异由公式(1)定义：

$d(m,n)=\left|\right|N(i,j)-N(m,n)|{|}_2^2---\left(1\right)$

其中，是第二范式操作符，

给像素点y(m,n)赋予一个权值，用来度量相似度，如公式(2)所示：

$\mathrm{\ω}(m,n)=\frac{1}{Z(i,j)}{e}^{-\frac{d(m,n)}{\mathrm{\σ}1}}---\left(2\right)$

其中，Z(i,j)是归一化常量，代表所有权值的总和，参数σ1对指数方程的衰减速度进行控制。

5.根据权利要求2所述的图像插值方法，其特征在于，

所述高分辨率梯度估计步骤中，首先使用传统的双三次插值处理低分辨率图像，得到初始的高分辨率图像，然后运用Sobel算子对初始高分辨率图像进行卷积运算，得到高分辨率图像的梯度近似估计。

6.根据权利要求5所述的图像插值方法，其特征在于，

梯度修正如公式(3)所示：

$G(i,j)=\underset{y(m,n)\∈SxS}{\Σ}\mathrm{\ω}(m,n)G(m,n)---\left(3\right)$

其中，G(m,n)是当前像素点周边SxS窗口大小内任意一个低分辨率像素点位置的梯度，窗口S×S大小设置为21×21。

7.根据权利要求1～5中任一项所述的图像插值方法，其特征在于，

所述像素偏移步骤中，对于插值之后的图像，采用像素偏移操作，使边缘结构保持和低分辨率图像一致。

8.根据权利要求7所述的图像插值方法，其特征在于，

首先，使用Canny算子对插值结果操作，提取出边缘像素所在位置，然后对每个边缘像素，检测其梯度方向，将梯度方向划分成两类，分别是45度方向、垂直方向、和水平方向，接着再进行像素偏移。

9.根据权利要求8所述的图像插值方法，其特征在于，

所述像素偏移的方法是，原点像素值保持不变，将任意正方向i位置的的像素值p(i)更新为i+1位置的像素值，即p(i)＝p(i+1)，将任意负方向i位置的像素值p(i)更新为i－1位置的像素值，即p(i)＝p(i－1)。其中，正方向和负方向的定义是，将边缘像素点当成原点，然后将其两侧任意一侧当成正方向，另一侧当成负方向。

10.根据权利要求9所述的图像插值方法，其特征在于，

所述Canny算子中，低阈值为100，高阈值为200，阈值T为15。