CN107705268A

CN107705268A - 一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法

Info

Publication number: CN107705268A
Application number: CN201711005353.0A
Authority: CN
Inventors: 汤春明; 史珂; 郑鑫毅; 于翔; 廉政
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2017-10-20
Filing date: 2017-10-20
Publication date: 2018-02-16
Anticipated expiration: 2037-10-20
Also published as: CN107705268B

Abstract

这里涉及的是一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法。针对近红外图像的彩色化问题，提出一种新的算法：首先将近红外图像取反，然后对取反后的RGB三个通道的图像分别用MSRCR算法处理，把处理后的RGB三通道灰度值分别拉伸合并成一幅新的图像，取反后用改进的导向滤波实现图像增强，再用改进的BOF算法检索用于给近红外图像上色的彩色参考图像，接着用Welsh算法对增强后的近红外图像分区域上色后，通过纹理匹配选取相似像素点，最终实现近红外图像的彩色化。实验结果表明，该算法增强后的图像细节清晰，色彩传递效果好，运行速度较快。

Description

一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法

技术领域

这里涉及的是近红外图像增强与彩色化的方法。本文提出了一种基于改进的Retinex与Welsh近红外图像增强与彩色化算法。首先将近红外图像取反，然后对取反后的RGB三个通道的图像分别用MSRCR算法处理，把处理后的RGB三通道灰度值分别拉伸合并成一幅新的图像，取反后用改进的导向滤波实现图像增强，然后用改进的BOF算法检索用于给近红外图像上色的彩色参考图像，接着采用Welsh算法对增强后的近红外图像分区域上色，再通过纹理匹配选取相似像素点，实现近红外图像的彩色化。

背景技术

很多重要的夜视或低照度场景，如军事基地、安全中心和交通要塞等，主要利用红外图像实现全面监控。红外图像反映了目标场景的热辐射信息，主要由目标场景的辐射率差和温差决定。红外图像具有对场景亮度变化不敏感，以及对于目标具有良好的探测性等优点得到广泛的应用。但是研究发现，红外图像丢失了原有可见光图像具有的一些细节边缘和纹理等特征。于是Stan.Z提出了近红外(NIR)图像成像系统，NIR即波长范围为0.7-1.1μm的光，它既具有红外成像的一些优点又能保持一定的细节特征。但是，近红外图像依然存在对周围环境温度变化比较敏感、对玻璃的非穿透性等缺点，且由于实际获取图像时会受到外部环境如光照不足，光照不均，雾霾雨水等恶劣天气的影响，严重影响了图像的视觉质量，因此我们需要对获取的近红外图像进行增强和彩色化，以便得到更好的视觉效果。

目前存在的近红外图像增强算法主要有基于直方图均衡，自适应的直方图增强算法及Retinex理论等。其中段等使用的同态滤波算法是依据Retinex理论并从频域的角度增强图像。陈等将把双边滤波引入Retinex算法中。刘等提出一种对亮度图像快速估计的Retinex图像增强方法，Wang等提出保持图像自然特性的增强方法，先是设计了亮通滤波器将图像分为反射层和照射层，然后提出双对数变换法来求取照射光，以保持图像的自然特性。但是由于对照射层估计不准确，导致最终的图像增强程度较低，且颜色失真严重。由于近红外图像成像设备的问题，亮度过大的目标会失去细节特征，同时产生噪声，使图像视觉质量变差。目前存在的算法都不能很好的解决这两个问题。故本文提出一种新的近红外图像增强算法，即通过对近红外图像进行取反、加权融合、灰度拉伸、导向滤波以及msrcr算法的处理，完成对近红外细节的增强，改善近红外图像中目标过亮的情况，同时有效抑制图像中的噪声。

近红外图像的彩色化是指将某个最相近的彩色图像的颜色特征传递给该近红外图像。我们首先需要检索与近红外图像具有类似特征的彩色参考图像，否则，传递后的彩色效果将难以保证。目前在图像检索技术中，有许多比较成熟的算法。如传统的BOF(bag offeatures)算法采用SIFT描述特征点，使用K-Means或SVM分类器实现图像检索。为了提高SIFT算法对特征提取的的鲁棒性，Z.Mike等提出基于ROI提取结合金字塔匹配原理，但是运算复杂度较高。由于简单的应用K-Means和SVM实现的BOF算法拟合度和分类精度都不够高，因此景等通过使用概率，通过EM对BOF进行拟合，虽然在一定程度上提高了精度，但对于具有复杂背景的图像仍然存在着效率低以及分类精度不高的缺点。本文针对BOF算法的不足，提出对于SIFT提取出的图像特征描述符通过PCA降维，以降低BOF算法的复杂度、提高运行效率以及解决存储要求过高的算法；同时引入用余弦夹角与巴氏距离共同度量待检索近红外图像与图片库中的图像相似度，以提高BOF分类的精度。由于国内外暂时没有关于近红外图像彩色化的研究，故本文参考了Welsh提出的灰度图像彩色化的算法，但是该算法由于要遍历图像中所有像素，故此运算时间较长，并且会产生一定量的噪声，以及溢色现象。所以本文提出了具有相似颜色的区域进行分块上色的方法，提高了运算速度。

发明内容

由上述不同的方法可以看出，对近红外图像的彩色化是图像彩色化算法研究的难点。本专利根据图像增强、图像检索以及纹理优化的思想提出了一个新的近红外图像彩色化复原算法。

算法简述

增强算法

(1)近红外图像A经过MSRCR算法处理后得到A’；

(2)对A取反，得到B；

(3)把B的RGB三通道分别用MSRCR算法进行滤波得到R’，G’，B’；

(4)对R’，G’，B’分别进行灰度拉伸得到R”，G”，B”；

(5)把R”，G”，B”进行合并，得到RGB彩色图像再取反得到图像D；

(6)把图像D与A’进行加权融合，得到图像E；

(7)最后对图像E应用导向滤波，得到增强图像F。

图像检索算法

(1)提取待检索图像的SIFT特征；

(2)使用PCA对所有图像的SIFT特征进行降维；

(3)随机产生K个初始质心；

(4)统计图像库中每个图像与待检所图像的特征点个数，其中每张图像对应一个K维向量A(K)与B；

(5)根据A(K)与B的巴氏距离和余弦夹角共同来判断两个图像的相似性，从而找出与待检索图像最类似的彩色图像。

图像彩色化

(1)将参考彩色图像和近红外图像分别由RGB空间转换到lαβ空间；

(2)根据灰度图像的亮度及标准差，对参考彩色图像用公式(1)进行亮度重映射：

L＝(nl’/nl)*(l-ml)+ml’ (1)

其中，l是近红外图像l通道，L是变换后得到新的近红外图像l通道的值，ml和ml’分别是近红外图像和参考彩色图像的l通道的均值，nl和nl’分别表示近红外图像和参考彩色图像l通道的标准方差；

(3)从参考图像中随机选取一批样本点，将像素点的亮度和邻域范围内亮度的标准差的线性组合值作为权值，计算公式如(2)：

W＝l/2+σ/2 (2)

其中，W为权值，l为像素点的亮度值，σ为该像素点周围某个邻域内亮度值的标准差。关于邻域的大小是5x5；

(4)在彩色参考图像和矩形图像块之间传递颜色，然后计算最小距离寻找相似纹理进行匹配首先我们用式(3)计算灰度图像区域Ng和彩色参考图像的矩形框区域Ns间的距离E：

其中，I代表灰度图像的亮度值，代表灰度图像的平均亮度值，S代表参考图像的矩形框S内亮度值，代表参考图像的矩形框内平均亮度值，p是邻域像素。通过(3)式寻找灰度图像中与已经上色的矩形框中，像素之间E最小的像素进行颜色传递

(5)将参考图像和灰度图像从lαβ空间转换到RGB空间。

附图说明

图1近红外图像增强彩色化结果与Welsh算法的对比

其中a1-a5是原始近红外图像，b1-b5是增强后的近红外图像，c1-c5是彩色参考图像，d1-d5是Welsh算法彩色化结果，e1-e5是本算法彩色化结果。

具体实施方式

为了验证所提方法的有效性，选取了多幅具有代表性的图像，从视觉和定量分析两个角度对检索与彩色化效果进行分析。

图像检索算法时间对比分析

由上表我们可以看出，通过使用巴氏距离和余弦夹角度量待检索图像和图像库中的图像的相似度会使得图像检索的匹配率有所提升，而采用PCA降维算法虽然会使图像检索的精确率小幅度下降，但是缩短了运算时间。

图像彩色化算法分析

通过实验结果我们发现，改进算法克服了近红外图像经过Welsh算法处理后出现的颜色溢出现象，同时有效的过滤了高频与低频噪声，使得彩色化效果增强。

Claims

1.一种基于改进的Retinex与Welsh近红外图像增强与彩色化的方法，所述方法包括以下步骤：

A.图像增强算法

根据Retinex理论，人眼感知物体的亮度取决于环境的照明和物体表面对照射光的反射，其数学表达式为：

I(x，y)＝L(x，y)*R(x，y) (1)

式中：I(x，y)代表被观察或照相机接收到的图像信号；L(x，y)代表环境光的照射分量；R(x，y)表示携带图像细节信息的目标物体的反射分量；

将(1)式两边取对数，则可抛开入射光的性质得到物体的本来面貌，即有关系式：

log[R(x，y)]＝log[I(x，y)]-log[L(x，y)] (2)

然后分别计算出log[R(x，y)]中R/G/B各通道数据的均值Mean和均方差Var(注意是均方差)；

利用类似下述公式计算各通道的Min和Max值：

Min＝Mean-Dynamic*Var (3)

Max＝Mean+Dynamic*Var (4)

对log[R(x，y)]的每一个值Value，进行线性映射：

R(x，y)＝(Value-Min)/(Max-Min)*(255-0) (5)

同时要注意增加一个溢出判断，即：

if(R(x，y)＞255)R(x，y)＝255；

else if(R(x，y)＜0)R(x，y)＝0；

最后将log[R(x，y)]量化为0到255范围的像素值，作为输出的图像A；

对获取的近红外图像A取反，得到B，把B的RGB三通道分别用MSRCR算法进行滤波得到R’，G’，B’，对R’，G’，B’分别进行灰度拉伸得到R”，G”，B”，把R”，G”，B”进行合并，得到RGB彩色图像再取反得到图像D，把图像D与A’进行加权融合，得到增强图像E；

B.近红外图像彩色化参考图像检索

TF-IDF是一种用于信息检索的常用加权技术，在文本检索中，用以评估词语对于一个文件数据库中的其中一份文件的重要程度，词语的重要性随着它在文件中出现的频率成正比增加，但同时会随着它在文件数据库中出现的频率成反比下降，TF的主要思想是：如果某个关键词在一篇文章中出现的频率高，说明该词语能够表征文章的内容，该关键词在其它文章中很少出现，则认为此词语具有很好的类别区分度，对分类有很大的贡献，IDF的主要思想是：如果文件数据库中包含词语A的文件越少，则IDF越大，则说明词语A具有很好的类别区分能力；

词频(Term Frequency，TF)指的是一个给定的词语该文件中出现的次数，如：tf＝0.030(3/100)表示在包括100个词语的文档中，词语′A′出现了3次；

逆文档频率(Inverse Document Frequency，IDF)是描述了某一个特定词语的普遍重要性，如果某词语在许多文档中都出现过，表明它对文档的区分力不强，则赋予较小的权重；反之亦然；

如：idf＝13.287(log(10,000,000/1,000))表示在总的10,000,000个文档中，有1,000个包含词语′A′；

最终的TF-IDF权值为词频与逆文档频率的乘积

(1)首先，我们用sift算法生成图像库中每幅图的特征点及描述符；

(2)再用k-means算法对图像库中的特征点进行训练，生成类心；

(3)生成每幅图像的BOF特征字典，特征字典具体方法为：判断图像的每个特征点与哪个类心最近，最近则放入该类心，最后将生成一列频数表；

(4)通过TF-IDF对频数表加上权重，生成最终的BOF特征字典；

(5)对待检索近红外图像也进行3，4步操作，生成一列待检索近红外图像的BOF特征字典；

(6)将待检索近红外图像的BOF向量与图像库中每幅图的BOF向量求余弦夹角以及巴氏距离，夹角最小的即为匹配对象；

C.近红外图像彩色化

(1)将参考图像和灰度图像分别由RGB空间转换到lαβ色彩空间，

(2)根据灰度图像的亮度及标准差，对参考图像进行亮度重映射，

L＝(nl’/nl)*(l-ml)+ml’ (6)

其中，l是源图像l通道的数据，L是变换后得到新的源图像l通道的值，ml和ml’分别是源图像和着色图像的l通道的均值，nl和nl’表示它们的l通道标准方差，

(3)从参考图像中随机选取一批样本点，将像素点的亮度和邻域范围内亮度的标准差的线性组合值作为权值，计算公式如下：

W＝l/2+σ/2 (7)

其中，W为权值，l为像素点的亮度值，σ为该像素点周围某个邻域内亮度值的标准差，关于邻域的大小，

(4)在彩色参考图像和矩形图像块中传递颜色，然后用距离寻找相似纹理进行匹配，上色效果会有很大程度上的提升，首先我们用式(8)计算灰度图像区域Ng和彩色参考图像的矩形框区域Ns间的距离E：

<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>N</mi> <mi>g</mi> <mo>,</mo> <mi>N</mi> <mi>s</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&Sigma;</mo> <mrow> <mi>p</mi> <mo>&Element;</mo> <mi>S</mi> </mrow> </munder> <mo>{</mo> <msup> <mrow> <mo>&lsqb;</mo> <mi>I</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <mi>I</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <msup> <mrow> <mo>&lsqb;</mo> <mi>S</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>-</mo> <mover> <mi>S</mi> <mo>&OverBar;</mo> </mover> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>

其中，I代表灰度图像的亮度值，代表灰度图像的平均亮度值，S代表参考图像的矩形框S内亮度值，代表参考图像的矩形框内平均亮度值，p是邻域像素，通过(8)式寻找灰度图像中与已经上色的矩形框中，像素之间E最小的像素进行颜色传递

(5)将参考图像和灰度图像从lαB空间转换到RGB空间。