CN105608674A - 一种基于图像配准、插值和去噪的图像增强方法 - Google Patents

Abstract

本发明涉及一种基于图像配准、插值和去噪的图像增强方法，其特征在于，包括以下步骤：S1，获得同一对象的一个主图像和多个副图像，所述的主图像像素大于副图像像素；S2，以主图像为基准，将各个副图像分别与主图像配准；S3，将主图像与配准后的各副图像进行颜色匹配；S4，对各副图像分别进行插值操作，将各副图像放大；S5，利用步骤S4得到的放大后的各副图像，对主图像进行双边滤波器去噪，得到增强的主图像。与现有技术相比，本发明利用多个图像的图像信息，同时在图像增强的过程中运用图像插值来丰富图像信息，可行性高，得到的图像具有高准确度、高清晰度，适用范围广。

Description

一种基于图像配准、插值和去噪的图像增强方法

技术领域

本发明涉及一种图像增强方法，尤其是涉及一种基于图像配准、插值和去噪的图像增强方法。

背景技术

随着科技的发展进步，从各种成像设备、互联网网络或图像数据库中获取大量图像已成为可能，从而人们对图像处理(FeatureExtractionandImageProcessing)的要求也越来越高，图像处理技术得到了深入、广泛和迅速的发展。在图像处理上，通过对图像将原来不清晰的图像变得清晰或强调某些关注的特征，抑制非关注的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果的图像增强处理能够帮助我们准确的把握获得图像所反映的信息。鉴于这样的事实，对图像本身进行深入研究，处理出清晰准确的图像已成为客观必然要求。

在图像形成、传输或变换的过程中，由于受到一些客观因素的影响，会使图像产生失真，如图像对比度降低和图像模糊等等。因此需要利用图像增强技术改善这种情况，图像增强的目的在于，采用一系列技术改善图像的视觉效果，提高图像的清晰度，将图像转换成一种适于人或机器进行分析处理的形式。它不是以图形保证度为原则，而是通过处理设法有选择地便于人或机器分析某些感兴趣的信息，抑制一些无用的信息，以提高图像的使用价值。图像增强一直是计算机视觉研究领域中一个值得探讨的问题，在计算机科学、医疗辅助诊断、军事、工业测量等众多领域都广泛采用这一技术，尤其是计算机视觉和模式和模式识别研究中，如何准确的丰富增强图像信息往往是其中首先需要解决的问题之一，是提高识别率等问题的重要前奏和关键问题，有着广泛的应用前景和潜在的市场价值。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种具有高可行性、高准确度和高清晰度、适用范围广的基于图像配准、插值和去噪的图像增强方法。

本发明的目的可以通过以下技术方案来实现：

一种基于图像配准、插值和去噪的图像增强方法，其特征在于，包括以下步骤：

S1，获得同一对象的一个主图像和多个副图像，所述的主图像像素大于副图像像素；

S2，以主图像为基准，将各个副图像分别与主图像配准；

S3，将主图像与配准后的各副图像进行颜色匹配；

S4，对各副图像分别进行插值操作，将各副图像放大；

S5，利用步骤S4得到的放大后的各副图像，对主图像进行双边滤波器去噪。在进行颜色配准和插值之后，主图像需要去噪的每一个像素都可以在副图像中分别找到相应的像素点，这些像素点可以应用到双边滤波器中。

所述的步骤S2中，采用surf算子将各副图像分别与主图像配准。

所述的步骤S3包括以下步骤：

S31，将主图像和各配准后的副图像的R、G、B颜色通道分开；

S32，分别在各个颜色通道下进行颜色匹配。

所述的步骤S32中，将图像的RGB颜色区域转换为LAB颜色区域，进行颜色匹配。

所述的步骤S4具体采用最近邻插值法进行插值。

所述的步骤S5具体包括以下步骤：

S50，读取主图像中某像素点；

S51，计算该像素点的主图像双边滤波器权重w_main(i,j,k,l)：

w_main(i,j,k,l)＝exp(-d(i,j,k,l)-r(i,j,k,l))·a

其中，d(i,j,k,l)为主图像定义域核函数，r(i,j,k,l)为主图像值域核函数，计算式如下：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}^2})$

$r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}^2})$

其中，i为像素点的x方向值，j为像素点的y方向值，k为邻域像素点的x方向值，l为邻域像素点的y方向值，f(i,j)为主图像中心点的像素值，f(k,l)为中心点邻域像素点(k，l)的像素值，σ为高斯核，a∈(0，1)。常数a可取为0.8。

S52，计算该像素点的副图像双边滤波器权重w_f(i,j,k,l)：

w_f(i,j,k,l)＝exp(-d'(i,j,k,l)-r'(i,j,k,l))(1-a)

其中，d'(i,j,k,l)为该像素点在副图像中匹配的像素点的定义域核函数，r'(i,j,k,l)为该像素点在副图像中匹配的像素点的值域核函数，计算式如下：

$d^{\′}(i,j,k,l)=\underset{a=1}{\overset{n}{\Σ}}\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}^2})\·w_a$

$r^{\′}(i,j,k,l)=\underset{a=0}{\overset{n}{\Σ}}\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}^2})\·w_a$

其中，n为副图像数量，w_x(y)为步骤S4得到的副图像相应的权重，w_x(y)按下式计算：

$w_x\left(y\right)=K_x\left(y\right){\exp }^{{\left(\frac{xy}{2\mathrm{\σ}sp}\right)}^2}\exp \left(\frac{(I_x^L+I_y^L)+(I_x^A+I_y^A)+(I_x^B+I_y^B)}{2{\mathrm{\σ}}^2}\right)$

其中，分别为点I_(x,y)处的x方向和y方向在L、A、B下的颜色成分，σ为高斯核；s为层次系数；p为方差，K_x(y)为根据步骤S4得到的各副图像获得的权重信息，K_x(y)的计算方法如下：

其中，N_x为像素点(x，y)的邻域像素范围；(x，y)为副摄像头图像放大后某个位置的像素点；(x，y)为同一帧含义：插值放大后(x，y)仍是原图像在该位置的像素点，(x，y)不为同一帧含义：插值放大后(x，y)为通过其他位置的像素点的像素信息得到的像素点；

S53，计算改进的双边滤波器的新权重：

w(i,j,k,l)＝w_main(i,j,k,l)+w_f(i,j,k,l)

S54，利用改进的双边滤波器计算新的像素值：

$g(i,j)=\frac{{\Σ}_{k,l}f(k,l)w(i,j,k,l)}{{\Σ}_{k,l}w(i,j,k,l)};$

S55，重复步骤S51～S54，直至主图像中每个像素点均得到新像素值。

所述的高斯核σ取0.2，层次系数s取0.5～0.8，方差p取0.2～0.6。

与现有技术相比，本发明具有以下优点：

(1)准确度高：利用多个图像的图像信息，同时在图像增强的过程中运用图像插值来丰富图像信息，因此本发明图像增强方法可以有很好的准确性。

(2)清晰度高：本发明方法很好的考虑到了图像增强过程中会出现的模糊情况，采用双边滤波器对图像进行去模糊化，使得图像更清晰。

(3)对于遥感领域，本发明在遥感影像数字图像的图像恢复有着显著的效果，即本发明采用的图像配准，可以有效的利用到多个遥感图像，丰富图像信息，从而能有效的减少遥感图像在传输或回放过程中引入的数据错误，噪声和畸变。

(4)对于生物医学领域，本发明在图像明暗变化明显的时候，对图像进行颜色配准，同时在使用双边滤波器拼接图像时，将像素分配到LAB颜色通道下计算，使得本发明方法在获取高清晰度的图像具有很好的效果。

(5)对于军事，公安等方面的应用，本发明通过图像插值的方式保证图像增强过程中图像信息的完整性和饱满性，从而可以提供更加具有细节性的图像效果，更加清晰的反应图像的纹理特征。

(6)对于在工业领域的应用，图像的纹理特征对工业产品质量的检测有这决定性的意义，而本发明方法中，多图像位置的图像配准，图像放大时插值以保证图像信息的完整性；这些操作都使得本发明处理过的图像都具有显著的纹理特征。

附图说明

图1(a)和图1(b)分别为本发明步骤S2中surf算子图像配准效果图；

图2为本发明步骤S4中最近邻插值方法进行图像插值操作方法示意图；

图3(a)～3(d)分别为本实施例的副图像、副图像插值操作效果图、主图像去模糊处理效果图、主图像阈值去噪效果图；

图4为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图4所示，一种基于图像配准、插值和去噪的图像增强方法，包括以下步骤：

S1，获得一个主图像和多个副图像，其中主图像像素大于副图像像素，可使用一个主摄像头和多个副摄像头对对象进行拍照，即副摄像头技术要求低于主摄像头，从而降低图像获取成本；

S2，以主图像为基准，采用surf算子将各个副图像分别与主图像配准；

在颜色匹配的过程中，使用surf算子来确定所使用图像，颜色匹配的各个像素区域，将这些区域一一对应起来，然后将图像的RGB颜色区域转换到更适合人眼识别的LAB颜色区域，得到一个三维矩阵，在矩阵中通过已经对应好的图像区域，确定各个图像相对应的颜色区域部分；如此可实现颜色匹配。针对图像增强技术的过程，在与其他图像增强技术对比和现阶段图像处理的主流方法，利用一处画面的多幅图像，通过提取这些图像在相同位置的像素来丰富我们的图像信息，在这一过程中，为了保证方法执行的效率和速度，针对主摄像头获得的像素较高的图像，使用颜色匹配的方法来获得多图下同一位置的像素信息，而对于副摄像头获得的像素较低的图像，采用surf算法来获得同一位置下的像素信息。surf算子下的图像匹配效果如图1(a)、1(b)所示，

S3，将主图像与对配准后的进行颜色匹配，具体包括以下步骤：

S31，将主图像和各配准后的副图像的R、G、B颜色通道分开；

S32，分别在各个颜色通道下进行颜色匹配，将图像的RGB颜色区域转换为LAB颜色区域，进行颜色匹配。转换时图像会被转换成一个三维矩阵，即矩阵长，矩阵宽，矩阵的颜色通道，这里是三个颜色通道，即为三维。

S4，为了丰富图像信息，在处理图像的过程中会将图像放大，而为了使图像在放大的时候依旧看上去比较平滑干净，需要添加图像信息，即进行图像插值处理。本发明采用最近邻插值方法进行图像插值操作，即对各副图像分别采用最近邻插值法进行插值操作，如图2所示，其过程套用公式如下：

srcX＝dstX*(srcWidth/dstWidth)

srcY＝dstY*(srcHeight/dstHeight)

srcX和srcY表示源像素位置，dstX和dstY表示目标元素的位置；srcWidth、srcHeight分别为源图像的长、宽大小，dstWidth、dstHeight分别为目标图像长、宽大小。

将图3(a)所示的副图像图片进行放大，效果如图3(b)所示，可以发现：放大之后的图像后出现模糊马赛克的情况。

进行颜色配准和插值之后，主图像需要去噪的每一个像素都可以在副图像中分别找到相应的像素点，这些像素点可以应用到双边滤波器中。

S5，在对图像进行插值操作后，图像通常在加入额外的信息后会变的模糊，因此，需要在对图像进行一次去模糊的操作，使图像更加清晰。本发明采用改进的双边滤波器对主图像进行去噪，在合理的权重下，可以充分利用各个图像在同一部分的图像信息。使去模糊的效果更理想。具体包括以下步骤：

S50，读取主图像中某像素点；

S51，计算该像素点的主图像双边滤波器权重w_main(i,j,k,l)：

w_main(i,j,k,l)＝exp(-d(i,j,k,l)-r(i,j,k,l))·a

其中，d(i,j,k,l)为主图像定义域核函数，r(i,j,k,l)为主图像值域核函数，计算式如下：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}^2})$

$r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}^2})$

其中，i为像素点的x方向值，j为像素点的y方向值，k为邻域像素点的x方向值，l为邻域像素点的y方向值，f(i,j)为主图像中心点的像素值，f(k,l)为中心点邻域像素点(k，l)的像素值，σ为高斯核，常数a∈(0，1)，a可取0.8，在这个值下，主摄像头的信息利用度就已达最大值。

S52，计算该像素点的副图像双边滤波器权重w_f(i,j,k,l)：

w_f(i,j,k,l)＝exp(-d'(i,j,k,l)-r'(i,j,k,l))(1-a)

其中，d'(i,j,k,l)为该像素点在副图像中匹配的像素点的定义域核函数，r'(i，j，k，l)为该像素点在副图像中匹配的像素点的值域核函数，计算式如下：

$d^{\′}(i,j,k,l)=\underset{a=1}{\overset{n}{\Σ}}\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}^2})\·w_a\left(y\right)$

$r^{\′}(i,j,k,l)=\underset{a=0}{\overset{n}{\Σ}}\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\σ}}^2})\·w_a\left(y\right)$

其中，n为副图像数量，w_x(y)为步骤S4得到的副图像相应的权重，w_x(y)按下式计算：

$w_x\left(y\right)=K_x\left(y\right){\exp }^{{\left(\frac{xy}{2\mathrm{\σ}sp}\right)}^2}\exp \left(\frac{(I_x^L+I_y^L)+(I_x^A+I_y^A)+(I_x^B+I_y^B)}{2{\mathrm{\σ}}^2}\right)$

其中，分别为点I_(x,y)处的x方向和y方向在L、A、B下的颜色成分，σ为高斯核；s为层次系数，p为方差，高斯核σ取0.2，层次系数s取0.5～0.8，方差p取0.2～0.6。

K_x(y)为从步骤S4得到的各副图像获得的权重信息，K_x(y)的计算方法如下：

其中，N_x为像素点(x，y)的邻域像素范围；(x，y)为副摄像头图像放大后某个位置的像素点；(x，y)为同一帧含义：插值放大后(x，y)仍是原图像在该位置的像素点，(x，y)不为同一帧含义：插值放大后(x，y)为通过其他位置的像素点的像素信息得到的像素点；

S53，计算改进的双边滤波器的新权重：

w(i,j,k,l)＝w_main(i,j,k,l)+w_f(i,j,k,l)

S54，利用改进的双边滤波器计算新的像素值：

$g(i,j)=\frac{{\Σ}_{k,l}f(k,l)w(i,j,k,l)}{{\Σ}_{k,l}w(i,j,k,l)};$

S55，重复步骤S51～S54，直至主图像中每个像素点均得到新像素值。

去模糊处理之后的结果如图3(c)所示。

必要时，可以继续对图像进行去模糊化的处理，为保证工程部署时的执行效率，采用简单的阀值去噪法；方法如下：

(1)计算图像各个像素的小波阀值；此阀值的计算等同一般小波计算；

(2)得到的小波系数w，与给定的阀值T比较，按照如下公式计算：

$W_{new}=\left\{\begin{array}{c}w,\left|w\right|\&GreaterEqual;T\\ 0,\left|w\right|<T\end{array}\right.$

如此可以得到进一步去模糊的图像，如图3(d)所示。

本发明的应用领域相当广泛，可用于：

(1)遥感领域

航空遥感和卫星遥感图像需要用数字技术加工处理，并提取有用的信息。主要用于地形地质，矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测预报，环境污染监测，气象卫星云图处理以及地面军事目标的识别

(2)生物医学领域

其主要应用如X射线照片的分析，血球计数与染色体分类等。目前广泛应用于临床诊断和治疗的各种成像技术，如超声波诊断等都涌动图像处理技术。有人认为计算机图像处理在医学上应用最成功的例子就是X射线CT(X-rayComputedTomography)。

(3)军事、公安等方面的应用

军事目标的侦察、制导和警戒系统、自动灭火器的控制及反伪装；公安部门的现场照片、指纹、手迹、印章、人像等的处理和辨识；历史文字和图片档案的修复和管理等。

(4)工业生产中的应用

主要有产品质量检测、生产过程的自动控制、CAD/CAM等。在产品质量检测方面，如食品、水果质量检查，无损探伤，焊缝质量或表明缺陷。又如，金属材料的成分和结构分析，纺织品质量检查，光测弹性力学中应力条纹的分析等。

综合上述应用领域，与现有技术相比，本发明的优点在于：

对于遥感领域，本发明在遥感影像数字图像的图像恢复有着显著的效果，即本发明采用的图像配准，可以有效的利用到多个遥感图像，丰富图像信息，从而能有效的减少遥感图像在传输或回放过程中引入的数据错误，噪声和畸变。

对于生物医学领域，本发明在图像明暗变化明显的时候，对图像进行颜色配准，同时在使用双边滤波器拼接图像时，将像素分配到LAB颜色通道下计算，使得我们的方法在获取高清晰度的图像具有很好的效果。

对于军事，公安等方面的应用，本发明通过图像插值的方式保证图像增强过程中图像信息的完整性和饱满性，从而可以提供更加具有细节性的图像效果，更加清晰的反应图像的纹理特征。

对于在工业领域的应用，图像的纹理特征对工业产品质量的检测有这决定性的意义，而我们的方法中，多图像位置的图像配准，图像放大时插值以保证图像信息的完整性；这些操作都使得我们的发明处理过得图像，其都具有显著的纹理特征。

本发明的优点还不仅限于上述所列举的应用领域，在图像特征提取与图像处理技术领域都可展现本发明优越的功效。

Claims (7)

1.一种基于图像配准、插值和去噪的图像增强方法，其特征在于，包括以下步骤：

S1，获得同一对象的一个主图像和多个副图像，所述的主图像像素大于副图像像素；

S2，以主图像为基准，将各个副图像分别与主图像配准；

S3，将主图像与配准后的各副图像进行颜色匹配；

S4，对各副图像分别进行插值操作，将各副图像放大；

S5，利用步骤S3得到的颜色匹配后的主图像、副图像，以及步骤S4得到的放大后的各副图像，对主图像进行双边滤波器去噪，得到增强的主图像。

2.根据权利要求1所述的一种基于图像配准、插值和去噪的图像增强方法，其特征在于，所述的步骤S2中，采用surf算子将各副图像分别与主图像配准。

3.根据权利要求1所述的一种基于图像配准、插值和去噪的图像增强方法，其特征在于，所述的步骤S3包括以下步骤：

S31，将主图像和各配准后的副图像的R、G、B颜色通道分开；

S32，分别在各个颜色通道下进行颜色匹配。

4.根据权利要求3所述的一种基于图像配准、插值和去噪的图像增强方法，其特征在于，所述的步骤S32中，将图像的RGB颜色区域转换为LAB颜色区域，进行颜色匹配。

5.根据权利要求1所述的一种基于图像配准、插值和去噪的图像增强方法，其特征在于，所述的步骤S4具体采用最近邻插值法进行插值。

6.根据权利要求1所述的一种基于图像配准、插值和去噪的图像增强方法，其特征在于，所述的步骤S5具体包括以下步骤：

S50，读取主图像中某像素点；

S51，计算该像素点的主图像双边滤波器权重w_main(i,j,k,l)：

w_main(i,j,k,l)＝exp(-d(i,j,k,l)-r(i,j,k,l))·a

其中，d(i,j,k,l)为主图像定义域核函数，r(i,j,k,l)为主图像值域核函数，计算式如下：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\&sigma;}}^2})$

$r(i,j,k,l)=\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\&sigma;}}^2})$

其中，i为像素点的x方向值，j为像素点的y方向值，k为邻域像素点的x方向值，l为邻域像素点的y方向值，f(i,j)为主图像中心点的像素值，f(k,l)为中心点邻域像素点(k，l)的像素值，σ为高斯核，a为常数，0<a<1；

S52，计算该像素点的副图像双边滤波器权重w_f(i,j,k,l)：

w_f(i,j,k,l)＝exp(-d'(i,j,k,l)-r'(i,j,k,l))(1-a)

其中，d'(i,j,k,l)为该像素点在副图像中匹配的像素点的定义域核函数，r'(i,j,k,l)为该像素点在副图像中匹配的像素点的值域核函数，计算式如下：

$d^{\&prime;}(i,j,k,l)=\underset{a=1}{\overset{n}{\&Sigma;}}\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\&sigma;}}^2})\&CenterDot;w_x\left(y\right)$

$r^{\&prime;}(i,j,k,l)=\underset{a=0}{\overset{n}{\&Sigma;}}\exp (-\frac{\left|\right|f(i,j)-f(k,l)|{|}^2}{2{\mathrm{\&sigma;}}^2})\&CenterDot;w_x\left(y\right)$

其中，n为副图像数量，w_x(y)为步骤S4得到的副图像相应的权重，w_x(y)按下式计算：

$w_x\left(y\right)=K_x\left(y\right){\exp }^{{\left(\frac{xy}{2\mathrm{\&sigma;}sp}\right)}^2}\exp \left(\frac{(I_x^L+I_y^L)+(I_x^A+I_y^A)+(I_x^B+I_y^B)}{2{\mathrm{\&sigma;}}^2}\right)$

其中，分别为点I_(x,y)处的x方向和y方向在L、A、B下的颜色成分，σ为高斯核；s为层次系数；p为方差，K_x(y)为从步骤S4得到的各副图像获得的权重信息，K_x(y)的计算方法如下：

其中，N_x为像素点(x，y)的插值放大邻域像素范围；

S53，计算改进的双边滤波器的新权重：

w(i,j,k,l)＝w_main(i,j,k,l)+w_f(i,j,k,l)

S54，利用改进的双边滤波器计算新的像素值：

$g(i,j)=\frac{{\mathrm{\&Sigma;}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\&Sigma;}}_{k,l}w(i,j,k,l)}$

S55，重复步骤S51～S54，直至主图像中每个像素点均得到新像素值。

7.根据权利要求6所述的一种基于图像配准、插值和去噪的图像增强方法，其特征在于，所述的高斯核σ取0.2，层次系数s取0.5～0.8，方差p取0.2～0.6。