CN113570561A - 可见光与近红外图像联合处理的植被天空区域检测方法 - Google Patents

可见光与近红外图像联合处理的植被天空区域检测方法 Download PDF

Info

Publication number
CN113570561A
CN113570561A CN202110807550.4A CN202110807550A CN113570561A CN 113570561 A CN113570561 A CN 113570561A CN 202110807550 A CN202110807550 A CN 202110807550A CN 113570561 A CN113570561 A CN 113570561A
Authority
CN
China
Prior art keywords
template
image
ndvi
vegetation
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110807550.4A
Other languages
English (en)
Other versions
CN113570561B (zh
Inventor
沈会良
童璨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110807550.4A priority Critical patent/CN113570561B/zh
Publication of CN113570561A publication Critical patent/CN113570561A/zh
Application granted granted Critical
Publication of CN113570561B publication Critical patent/CN113570561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59—Transmissivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种可见光图像(Visible image,VIS/RGB)与近红外图像(Near‑infrared image,NIR)联合处理进行植被和天空检测的方法。该方法针对RGB‑NIR图像联合处理的场景，首先基于RGB图像各通道比值和归一化植被指数(Normalized Difference Vegetation Index,NDVI)进行植被区域检测，获取植被区域概率模板；然后基于透射率图引导的梯度特征和NDVI进行天空区域检测，获取天空区域概率模板；最后将检测的植被区域和天空区域概率模板引入图像融合算法，使最终融合结果相对不加入检测的结果在保留细节增强效果的同时，在视觉上更加真实、自然。本发明可以准确、鲁棒地检测出植被天空区域，在公开数据集上测试，检测结果有很高的准确率与召回率。

Description

可见光与近红外图像联合处理的植被天空区域检测方法
技术领域
本发明涉及一种可见光、近红外图像联合处理的植被天空区域检测方法，特别涉及植被天空区域概率模板的生成方法，应用到可见光、近红外图像联合处理的效果增强领域。
背景技术
可见光图像(Visible image,VIS/RGB)通常色彩鲜艳，细节清晰，而近红外图像(Near-infrared image,NIR)虽然清晰度较可见光图像低，但是在透雾、夜视等方面有着显著的效果。正因两者各自的优势，RGB-NIR图像联合处理在诸多方面得以应用，其中图像融合是一种常见处理方法。
但是，在实际处理过程中，可能需要根据不同目的对植被、天空等图像区域进行优化，以达到更好的效果。例如，在图像融合中，对融合结果既需要避免植被区域因融合而亮度过高，又要避免天空区域因融合而亮度过低，使图像整体保持良好的自然度。
在《Fast single image defogging with robust sky detection》中，作者基于暗通道先验和局部香农熵检测天空区域，然后用检测到的天空改进大气光图与透射率图，以缓解去雾过程中天空区域的过饱和现象。该文章中的天空检测算法准确率较高，但是召回率稍低，即部分天空区域不能检测到。另一方面，该算法天空检测结果为二值化模板，应用较为单一。
在《Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility》中，提出一种RGB-NIR图像融合算法，能够对图像的细节进行增强。但是该算法得到的图像颜色存在偏差，比如植被区域通常亮度过大，而天空区域则通常偏暗。
为了准确鲁棒地检测出植被天空区域，并且改善以上述融合算法为例的RGB-NIR图像联合处理算法的不足，本发明提出一种可见光、近红外图像联合处理的植被天空区域检测方法，并以一种融合算法为例，说明检测结果在改善其它算法效果中的应用。
发明内容
本发明的目的在于利用RGB-NIR图像联合处理过程，对目标区域进行差异化处理，以优化处理结果，由此提出利用可见光与近红外图像联合处理的植被天空区域检测方法，包括如下步骤：
S1：输入已对齐的RGB-NIR图像对；
S2:生成植被区域概率模板，包括如下步骤：
S21：RGB图像转到灰度域；
S22：生成扩展NDVI模板；
S23：生成RGB三通道比值模板；
S24：以扩展NDVI模板为引导，对RGB三通道比值模板做引导滤波，得到NDVI 引导的比值模板；
S25：融合扩展NDVI模板与NDVI引导的比值模板，得到植被区域概率模板，作为植被检测的结果；
S3：生成天空区域概率模板，包括如下步骤：
S31：RGB图像转到灰度域；
S32：使用Retinex算法对RGB与NIR图像进行增强，获取RGB图像各通道与NIR 图像的反射分量；
S33：使用RGB三个通道的反射分量计算反射分量灰度图；
S34：基于反射分量灰度图和NIR图像生成扩展NDVI模板；
S35：使用边缘算子提取RGB灰度图的边缘，得到边缘图像；
S36：对边缘图像计算局部香农熵，得到局部熵的图像；
S37：获取RGB图像的透射率图；
S38：以透射率图为引导，对局部熵的图像做引导滤波，得到透射率图引导的局部熵模板；
S39：计算图像的像素高度模板；
S310：融合扩展NDVI模板、透射率图引导的局部熵模板和像素高度模板，获得天空区域概率模板，作为天空检测的结果；
S4：将植被天空区域检测应用于图像融合算法，用植被区域、天空区域概率模板对RGB-NIR图像融合的权重矩阵进行修正，并用修正后的权重矩阵进行图像融合。
上述技术方案中，进一步地，所述步骤S22中，计算扩展NDVI模板的方法为：
Figure RE-GDA0003243023220000021
其中，Igray表示RGB图像的灰度图，INIR表示近红外图像；fbright(·)为非线性变换函数，作用是压缩亮区和拉伸暗区，以提升对比度；fnorm(·)为归一化函数。
进一步地，所述步骤S23中，计算RGB图像三通道比值模板的方法为：
Figure RE-GDA0003243023220000031
其中，IR、IG、IB分别表示R、G、B各通道分量；fdark(·)为非线性变换函数，与fbright(·) 相反，其作用是压缩暗区和拉伸亮区；fnorm(·)为归一化函数。
进一步地，所述步骤S25中，所述融合扩展NDVI模板与NDVI引导的比值模板的方法为相乘，并对结果归一化，即
Figure RE-GDA0003243023220000032
其中，MNDVI表示扩展NDVI模板，
Figure RE-GDA0003243023220000033
表示NDVI引导的比值模板。
进一步地，所述步骤S32中，Retinex算法原理是，将一幅图像I(x)分解为光照分量L(x)与反射分量R(x)的乘积，即
Ic(x)＝Rc(x)Lc(x)，c∈{R，G，B，NIR}
光照分量即自然的光线，反射分量则是物体真实的样貌，光线在物体表面发生反射后，两种分量相耦合。为了获得图像的反射分量，需要对光照分量进行估计，一般可以用原始RGB 图像的高斯滤波结果作为光照分量的近似，即
Lc(x)≈GaussFω，θ(Ic(x))
其中，GaussFω，θ(·)表示高斯滤波，ω和θ为高斯滤波函数的参数。最终，在对数域计算图像的反射分量
log(Rc(x))＝log(Ic(x))-log(Ic(x))
进一步地，所述步骤S34中，计算扩展NDVI模板的方法为
Figure RE-GDA0003243023220000034
其中，Rgray表示反射分量的灰度图，RNIR表示近红外图像的反射分量。
进一步地，所述步骤S37中，获取RGB图像的透射率图的方式采用《Fast singleimage dehazing using saturation based transmission map estimation》中提出的算法。
进一步地，所述步骤S39中，一幅图像顶部有更大概率为天空区域，而底部为天空区域的概率较小，以此为根据生成图像的像素高度模板，第一行概率为1，向下逐行非线性减小。
进一步地，所述步骤S310中，融合三种模板的方式为相乘，并对结果归一化，即
Msky＝fnorm(MNDVI·MEn·Mheight)
其中，MNDVI表示扩展NDVI模板，MEn表示透射率图引导的局部熵模板，Mheight表示像素高度模板。
进一步地，所述步骤S4中，所述图像融合算法为《Visible and NIR image fusionusing weight-map-guided Laplacian–Gaussian pyramid for improving scenevisibility》中提出的算法，所述权重矩阵为该算法中RGB和NIR图像的权重矩阵，分别以WV(x，y)和WNIR(x，y)表示。所述修正方式为对NIR图像的权重矩阵按照如下公式进行修正
Figure RE-GDA0003243023220000041
其中，WNIR(x，y)为NIR图像的权重矩阵。
本发明的有益效果为：本发明方法可以准确、鲁棒地检测出植被天空区域，在公开数据集上测试，检测结果有很高的准确率与召回率。本发明将检测的植被区域和天空区域概率模板引入图像融合算法，使最终融合结果相对不加入检测的结果在保留细节增强效果的同时，在视觉上更加真实、自然。并且，本发明具有普适的应用价值，在RGB-NIR图像联合处理中都能得以进一步开发应用。
附图说明
图1为本发明算法整体框架。
图2为本发明植被区域概率模板生成算法。
图3为本发明植被区域概率模板生成过程中的图像：(a)RGB图；(b)NIR图；(c) 扩展NDVI图像；(d)比值图像；(e)导向滤波后的比值图像；(f)最终植被概率模板图。
图4为本发明天空区域概率模板生成算法。
图5为本发明NIR图像与RGB图像各通道的反射分量：(a)RGB图；(b)NIR图； (c)NIR反射分量；(d)R通道反射分量；(e)G通道反射分量；(f)B通道反射分量。
图6为本发明天空区域概率模板生成过程中的图像：(a)RGB图；(b)NIR图；(c) 扩展NDVI图像；(d)局部熵图像；(e)导向滤波后的局部熵图像；(f)最终天空概率模板图。
图7为本发明植被检测结果展示与对比：(a)RGB图；(b)NIR图；(c)传统的NDVI 指标；(d)本发明提出的植被检测结果。
图8为本发明天空检测结果展示与对比：(a)RGB图；(b)NIR图；(c) Salazar-Colores算法的检测结果；(d)Zafarifar算法的检测结果；(e)本发明算法的天空检测结果。
图9为本发明图像融合结果及其与修正前结果的对比：(a)RGB图；(b)NIR图；(c)无修正的原始算法的融合结果；(d)本发明算法的融合结果。
具体实施方式
以下结合具体实施例和附图进一步说明本发明。
实施例
本发明方法的整体框架如图1，框架中两个主要模块，植被区域概率模板生成算法流程如图2，天空区域概率模板生成算法流程如图4。
根据本发明提出的算法，首先将图3(a)的原始RGB图像转化为灰度图，然后用此灰度图与图3(b)的NIR图像计算扩展NDVI模板：
Figure RE-GDA0003243023220000051
其中，Igray表示RGB图像的灰度图，INIR表示近红外图像；fbright(·)为非线性变换函数，作用是压缩亮区和拉伸暗区，以提升对比度。fnorm(·)为归一化函数。在本实施例中，
Figure RE-GDA0003243023220000052
Figure RE-GDA0003243023220000053
本实施例中参数取α＝10，β＝0.5，γ＝0.22，计算得到的扩展NDVI模板如图3(c)所示。
然后基于图3(a)的RGB图像计算三通道的比值模板：
Figure RE-GDA0003243023220000054
其中，IR、IG、IB分别表示R、G、B各通道分量；fdark(·)为非线性变换函数，与fbright(·) 相反，其作用是压缩暗区和拉伸亮区；fnorm(·)为归一化函数。在本实施例中，
fdark(x)＝1-fbright(1-x)
计算得到的比值图像如图3(d)所示。
以扩展NDVI模板为引导图，对RGB三通道比值模板做引导滤波：
Figure RE-GDA0003243023220000055
其中，guidFτ，∈(·)表示引导滤波，τ和∈表示引导滤波函数的参数，得到NDVI引导的比值模板如图3(e)所示。
融合扩展NDVI模板与NDVI引导的比值模板：
Figure RE-GDA0003243023220000056
得到植被区域概率模板如图3(f)所示。
植被区域概率模板与传统NDVI指标对比结果如图7所示，传统NDVI指标计算：
Figure RE-GDA0003243023220000061
传统的NDVI指标如果用于计算机视觉领域的植被检测，存在两个明显的缺点，其一是植被区域相对于背景对比度不高，以图7场景1-3(c)中的图像为例，植被区域不能有非常明显的区分；其二是存在R通道为极限值的情况，如图7场景2，红框中的天空区域在原RGB图中R通道值接近0，导致传统NDVI模板中该区域的概率值接近0，与实际不符合。本发明提出的算法在上述两个问题上有明显的改善。从误检测的角度考虑，算法将传统的 NDVI做了延伸，避免了单个通道为极限值的不利状况，图7场景2(d)为本发明提出的植被区域概率模板，红框中检测结果已经正确；从对比度的角度考虑，在NDVI的基础上引入 RGB图像三通道比值，有效增强了植被区域检测结果的对比度，图7场景1-3中(d)相对于 (c)，在保证检测正确的前提下，对比度有了明显的提升。
然后进行天空区域概率模板的生成，首先对图6(a)的原始RGB和NIR图像做Retinex 算法的预处理，以提取图像的反射分量。Retinex算法原理是，将一幅图像I(x)分解为光照分量L(x)与反射分量R(x)的乘积，即
Ic(x)＝Rc(x)Lc(x)，c∈{R，G，B，NIR}
光照分量即自然的光线，反射分量则是物体真实的样貌，光线在物体表面发生反射后，两种分量相耦合。为了获得图像的反射分量，需要对光照分量进行估计，一般可以用原始RGB 图像的高斯滤波结果作为光照分量的近似，即
Lc(x)≈GaussFω，θ(Ic(x))
最终，在对数域计算图像的反射分量：
log(Rc(x))＝log(Ic(x))-log(Lc(x))
NIR图像以及RGB各个通道的反射分量如图5所示。
使用反射分量计算扩展NDVI模板，需要对RGB各通道的反射分量计算灰度图：
Pgray＝0.299RR+0.587RG+0.114RB
并利用其与图6(b)中NIR图像的差异表征扩展NDVI：
Figure RE-GDA0003243023220000062
扩展NDVI模板如图6(c)所示。
用边缘算子提取图6(a)RGB图像的灰度图的边缘，得到边缘图像。在本实施例中，提取边缘的边缘算子采用Sobel算子：
Figure RE-GDA0003243023220000063
其中，Igray表示RGB图像的灰度图，fx，fy分别代表水平、垂直方向的Sobel算子，*表示卷积操作。
在边缘图像上计算局部香农熵：
Figure RE-GDA0003243023220000071
其中，L表示灰度级，在本实施例中为L＝256，pi表示表示灰度值i出现在像素k处的窗口Ωk中的概率。结果得到的局部熵图像如图6(d)所示。
对图6(a)的RGB图像采用《Fast single image dehazing using saturationbased transmission map estimation》中提出的算法获取透射率图Itransmission。
以透射率图Itransmission为引导，对局部熵图像进行引导滤波：
Figure RE-GDA0003243023220000072
得到引导滤波后的局部熵模板如图6(e)所示。
根据一幅图像顶部有更大概率为天空区域，而底部为天空区域的概率较小，生成顶部为1，向下逐行减小的像素高度概率模板，在本实施例中，
Figure RE-GDA0003243023220000073
其中，r表示像素所在行数，h表示图像总高度。
融合扩展NDVI模板、透射率图引导的局部熵模板和像素高度模板：
Msky＝fnorm(MNDVI·MEn·Mheight)
最终生成的天空区域概率模板如图6(f)所示。
本发明提出的天空区域检测算法的效果与另外两种天空检测算法对比结果如图8所示。《Fast single image defogging with robust sky detection》中，Salazar-Colores等提出的算法得到的天空检测结果如图8(c)所示，《Fast single imagedefogging with robust sky detection》中， Zafarifar等提出的算法如图8(d)所示，本发明方法的天空检测结果如图8(e)所示。
本发明的算法与Salazar-Colores等提出的算法对比，如图8(c)和(e)，两种算法在检测效果上相差不大，但是本发明的一个优势在于生成的是概率模板，在一些涉及概率、权重等数据的算法中更加适用，并且概率模板的形式可以保留图像更多的纹理细节信息，一定程度上可以防止细节的减弱，因而实际使用更加灵活可靠。
本发明的算法与Zafarifar等的算对比，如图8(d)和(e)，观察对比图像，在图8场景1 中，结果差距主要体现在地平线处，本发明的算法在地平线出有更精确清晰的划分，同时对远处山脉的检测结果也更加准确。在图8场景2中，天空区域及边缘结果相差不大，但是在非天空区域中，Zafarifar等的算法将白色墙体检测为天空，而本发明算法不存在此种问题。在图8场景3中，本发明算法在与天空颜色相近的水面处的检测更为准确。
对图9(a)(b)的RGB-NIR图像用《Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility》中的算法进行融合，WV(x，y)和 WNIR(x，y)分别表示RGB和NIR图像的融合权重，融合结果如图9(c)。
使用植被区域、天空区域概率模板对上述算法中NIR图像的融合权重进行修正，即
Figure RE-GDA0003243023220000081
修正后融合结果如图9(d)所示。
原始算法的融合结果在色彩自然度上存在一些问题。如图9场景1(c)，黄框中，云层出现一些原本不存在的颜色，而红框中植被区域亮度过大，导致视觉上非常不自然。同样在图9场景2和场景3的(c)中，植被区域也有亮度过大的问题。而在图9场景3(c)中，天空区域因受NIR图像影响过大，导致融合结果中天空较为昏暗。
引入植被区域概率模板之后，在保持融合细节增强的同时，融合结果相对原RGB图像色彩也有所增强，但是又不会出现失真的状况，如图9(d)。
对于天空区域，图9场景1和场景2(c)中上述天空区域的问题，在加入天空区域概率模板之后显著改善，既保留了整体融合结果细节的增强，又确保了天空区域视觉上的真实、自然。

Claims (8)

1.一种可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于，包括如下步骤：
S1：输入已对齐的RGB-NIR图像对；
S2:生成植被区域概率模板，包括如下步骤：
S21：RGB图像转到灰度域；
S22：生成扩展NDVI模板；
S23：生成RGB三通道比值模板；
S24：以扩展NDVI模板为引导，对RGB三通道比值模板做引导滤波，得到NDVI引导的比值模板；
S25：融合扩展NDVI模板与NDVI引导的比值模板，得到植被区域概率模板，作为植被检测的结果；
S3：生成天空区域概率模板，包括如下步骤：
S31：RGB图像转到灰度域；
S32：使用Retinex算法对RGB与NIR图像进行增强，获取RGB图像各通道与NIR图像的反射分量；
S33：使用RGB三个通道的反射分量计算反射分量灰度图；
S34：基于反射分量灰度图和NIR图像生成扩展NDVI模板；
S35：使用边缘算子提取RGB灰度图的边缘，得到边缘图像；
S36：对边缘图像计算局部香农熵，得到局部熵的图像；
S37：获取RGB图像的透射率图；
S38：以透射率图为引导，对局部熵的图像做引导滤波，得到透射率图引导的局部熵模板；
S39：计算图像的像素高度模板；
S310：融合扩展NDVI模板、透射率图引导的局部熵模板和像素高度模板，获得天空区域概率模板，作为天空检测的结果；
S4：将植被天空检测结果应用于图像融合算法，用植被区域、天空区域概率模板对RGB-NIR图像融合的权重矩阵进行修正，并用修正后的权重矩阵进行图像融合。
2.根据权利要求1所述的可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于：
所述步骤S22中，采用如下公式计算扩展NDVI模板：
Figure FDA0003167155980000021
其中，Igray表示RGB图像的灰度图，INIR表示近红外图像；fbright(·)为非线性变换函数，作用是压缩亮区和拉伸暗区，以提升对比度；fnorm(·)为归一化函数。
3.根据权利要求1所述的可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于：
所述步骤S23中，采用如下公式计算RGB图像三通道比值模板：
Figure FDA0003167155980000022
其中，IR、IG、IB分别表示R、G、B各通道分量；fdark(·)为非线性变换函数，作用是压缩暗区和拉伸亮区；fnorm(·)为归一化函数。
4.根据权利要求1所述的可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于：
所述步骤S25中，所述融合扩展NDVI模板与NDVI引导的比值模板的方法为相乘，并对结果归一化，即
Figure FDA0003167155980000023
其中，MNDVI表示扩展NDVI模板，
Figure FDA0003167155980000025
表示NDVI引导的比值模板。
5.根据权利要求1所述的可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于：
所述步骤S34中，采用如下公式计算扩展NDVI模板
Figure FDA0003167155980000024
其中，Rgray表示RGB图像各通道反射分量计算的灰度图，RNIR表示近红外图像的反射分量。
6.根据权利要求1所述的可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于：
所述步骤S39中，所述像素高度模板中，第一行概率为1，向下逐行递减。
7.根据权利要求1所述的可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于：
所述步骤S310中，融合三种模板的方式为相乘，并对结果归一化，即
Msky＝fnorm(MNDVI·MEn·Mheight)
其中，MNDVI表示扩展NDVI模板，MEn表示透射率图引导的局部熵模板，Mheight表示像素高度模板。
8.根据权利要求1所述的可见光与近红外图像联合处理的植被天空区域检测方法，其特征在于：
所述步骤S4中，所述图像融合算法为《Visible and NIR image fusion usingweight-map-guided Laplacian–Gaussian pyramid for improving scene visibility》中提出的算法，所述权重矩阵为该算法中RGB和NIR图像的权重矩阵，分别以WV(x，y)和WNIR(x，y)表示；所述修正方式为对NIR图像的权重矩阵按照如下公式进行修正
Figure FDA0003167155980000031
其中，WNIR(x，y)为NIR图像的权重矩阵。
CN202110807550.4A 2021-07-16 2021-07-16 可见光与近红外图像联合处理的植被天空区域检测方法 Active CN113570561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110807550.4A CN113570561B (zh) 2021-07-16 2021-07-16 可见光与近红外图像联合处理的植被天空区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110807550.4A CN113570561B (zh) 2021-07-16 2021-07-16 可见光与近红外图像联合处理的植被天空区域检测方法

Publications (2)

Publication Number Publication Date
CN113570561A true CN113570561A (zh) 2021-10-29
CN113570561B CN113570561B (zh) 2023-11-28

Family

ID=78165212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110807550.4A Active CN113570561B (zh) 2021-07-16 2021-07-16 可见光与近红外图像联合处理的植被天空区域检测方法

Country Status (1)

Country Link
CN (1) CN113570561B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100290703A1 (en) * 2009-05-14 2010-11-18 National University Of Singapore Enhancing Photograph Visual Quality Using Texture and Contrast Data From Near Infra-red Images
CN102113014A (zh) * 2008-07-31 2011-06-29 惠普开发有限公司 图像的感知分割
CN108596849A (zh) * 2018-04-23 2018-09-28 南京邮电大学 一种基于天空区域分割的单幅图像去雾方法
CN109878407A (zh) * 2019-02-27 2019-06-14 中国第一汽车股份有限公司 基于移动互联网的夜间驾驶行人提示辅助系统及方法
CN111429389A (zh) * 2020-02-28 2020-07-17 北京航空航天大学 一种保持光谱特性的可见光和近红外图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113014A (zh) * 2008-07-31 2011-06-29 惠普开发有限公司 图像的感知分割
US20100290703A1 (en) * 2009-05-14 2010-11-18 National University Of Singapore Enhancing Photograph Visual Quality Using Texture and Contrast Data From Near Infra-red Images
CN108596849A (zh) * 2018-04-23 2018-09-28 南京邮电大学 一种基于天空区域分割的单幅图像去雾方法
CN109878407A (zh) * 2019-02-27 2019-06-14 中国第一汽车股份有限公司 基于移动互联网的夜间驾驶行人提示辅助系统及方法
CN111429389A (zh) * 2020-02-28 2020-07-17 北京航空航天大学 一种保持光谱特性的可见光和近红外图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROMINA DE SOUZA 等: "Effect of Time of Day and Sky Conditions on Different Vegetation Indices Calculated from Active and Passive Sensors and Images Taken from UAV", 《REMOTE SENSING》, pages 1 - 21 *
蒋咏梅 等: "面向桥梁目标自动检测的多源遥感图像融合模型与方法", 《电子与信息学报》, vol. 28, no. 10, pages 1794 - 1797 *

Also Published As

Publication number Publication date
CN113570561B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
CN110570360B (zh) 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法
US9870600B2 (en) Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
CN107680054A (zh) 雾霾环境下多源图像融合方法
US20200294202A1 (en) Enhancing the legibility of images using monochromatic light sources
Li et al. A multi-scale fusion scheme based on haze-relevant features for single image dehazing
Riaz et al. Single image dehazing via reliability guided fusion
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
Bi et al. Haze removal for a single remote sensing image using low-rank and sparse prior
CN109613023A (zh) 一种区域亮度自适应校正的水果表面缺陷快速检测方法
CN115330623A (zh) 一种基于生成对抗网络的图像去雾模型的构建方法和系统
CN108898132A (zh) 一种基于形状上下文描述的太赫兹图像危险品识别方法
Sahu et al. Image dehazing based on luminance stretching
CN109410161A (zh) 一种基于yuv和多特征分离的红外偏振图像的融合方法
Kim et al. Deep illumination-aware dehazing with low-light and detail enhancement
Riaz et al. Multiscale image dehazing and restoration: An application for visual surveillance
Wei et al. Sidgan: Single image dehazing without paired supervision
CN113139557B (zh) 一种基于二维多元经验模态分解的特征提取方法
Si et al. A novel method for single nighttime image haze removal based on gray space
CN113570561B (zh) 可见光与近红外图像联合处理的植被天空区域检测方法
Hong et al. Single image dehazing based on pixel-wise transmission estimation with estimated radiance patches
Raigonda et al. Haze Removal Of Underwater Images Using Fusion Technique
CN110197178A (zh) 一种图谱特征融合深度网络的大米种类快速鉴别检测装置及其检测方法
CN113506230B (zh) 一种基于机器视觉的光伏电站航拍影像匀光处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant