CN115564683A - 一种面向舰船检测的全色遥感影像自适应增强方法 - Google Patents
一种面向舰船检测的全色遥感影像自适应增强方法 Download PDFInfo
- Publication number
- CN115564683A CN115564683A CN202211343772.6A CN202211343772A CN115564683A CN 115564683 A CN115564683 A CN 115564683A CN 202211343772 A CN202211343772 A CN 202211343772A CN 115564683 A CN115564683 A CN 115564683A
- Authority
- CN
- China
- Prior art keywords
- image
- block
- enhancement
- gray
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000009466 transformation Effects 0.000 claims abstract description 29
- 241001270131 Agaricus moelleri Species 0.000 claims abstract 2
- 230000003044 adaptive effect Effects 0.000 claims description 24
- 230000015654 memory Effects 0.000 claims description 23
- 239000002131 composite material Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 230000000903 blocking effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 230000002829 reductive effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- YEHCICAEULNIGD-MZMPZRCHSA-N pergolide Chemical compound C1=CC([C@H]2C[C@@H](CSC)CN([C@@H]2C2)CCC)=C3C2=CNC3=C1 YEHCICAEULNIGD-MZMPZRCHSA-N 0.000 claims description 3
- 238000007796 conventional method Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 17
- 238000011160 research Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 241000544061 Cuculus canorus Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种面向舰船检测的全色遥感影像自适应增强方法。该方法基于局部灰度自适应变换，在保留小范围内灰度相对差异的同时，最大限度地突出感兴趣目标处的细节。利用信息熵、灰度相似性指标对邻近影像块进行合并，检测出噪声所在的块，并使用全局自适应增强对其进行校正，得到感兴趣信息增强的全色影像。经过测试，本发明所述方法可以有效解决以往方法存在的目标过度增强或者增强不足等问题，使得之前难以利用的有云等低质量数据可以在一定条件下被使用。
Description
技术领域
本发明属于遥感技术领域，特别是涉及一种面向舰船检测的全色遥感影像自适应增强方法。
背景技术
近年来随着遥感视频卫星技术的不断发展，国内外已成功发射了多颗高分辨率遥感卫星，这些卫星能在保证较高空间分辨率的情况下实现较快重访，能够持续观测地表动态变化，从而使得利用遥感技术对特定目标进行实时观测成为现实。例如，目前“吉林一号”已有70颗卫星在轨运行，其中超过60颗卫星具有获取高分辨率全色影像的能力，高分04A星影像的空间分辨率优于0.5m，宽幅01B星和宽幅01C星的空间分辨率达到0.5m；这些卫星可对全球任意地点实现每天23-25次重访，可为目标检测、变化检测、地理测绘、土地规划等领域提供高质量的地理信息和产品服务，这为开发出更加多样更加便捷的应用提供了基础。
为充分利用高分辨率卫星获取的遥感影像，增强遥感图像的质量并突显出影像内的感兴趣地物。近年来国内外许多学者提出了能显著改善图像质量的增强方法。
然而目前的影像增强方法主要侧重于水下目标以及低照度目标，增强的影像侧重于多光谱影像以及近红外影像，对于面向舰船检测的全色影像增强的研究并不充足。舰船作为军事中的重要交通工具，具有较高研究价值。而全色波段影像是针对舰船检测的重要数据源，相较于多光谱影像有着空间分辨率更高等优势，因此面向舰船检测的全色影像增强具有重要研究意义。
现有的遥感影像增强方法主要有空间域方法、变换域方法和深度学习方法。常用的增强方法(如：直方图均衡法、伽马变换法)使用非线性变换突出显示影像中的地物细节，并压缩背景相关的信息。事实上，遥感影像的地物分布十分复杂，在噪声、云和光线变化干扰的情况下，无法在保留每一景地物细节的同时减少影像的噪声。其中，深度学习方法在遥感中很少被选择，主要是因为其速度难以满足实际要求。变换域的方法中，傅里叶变换常导致信号在变换过程中细节丢失，小波变换只能对点的奇异性进行描述，通常可能导致边缘粗糙；二进制小波变换不进行采样等操作，但是也受限于缺失多方向性，不能表现图像中面状信息、线状信息的奇异性。空间域方法直接对图像的灰度值进行处理，较为经典的方法包含直方图均衡化、伽马变换、灰度线性变换等方法。近年来，部分学者在直方图均衡化等方法的基础上研究基于直方图频率加权的影像增强方法，一种基于布谷鸟搜索算法的影像增强算法由Ashish提出，该算法将原始影像的灰度直方图划分为两个子直方图，通过布谷鸟算法分别对子直方图的平台极限值进行优化，实现了保留原影像亮度的对比度增强；Huang等通过伽马系数对累积分布函数进行改进实现对影像的增强，保留亮度的同时增强影像的对比度。然而，当前遥感影像的动态范围较高，其内部地物种类较多、不同影像内地物分布差异较大，由于光照条件存在差异和云雾遮挡等原因，同类地物在不同影像内的灰度也可能会相差较大，对影像采用统一的增强方式往往会导致影像内部分地物的细节损失。此外，使用直方图均衡化等方法增强，会导致低频的灰度级被合并，这使得灰度相近的相邻区域纹理信息缺失，同时也会减少可识别的地物细节。局部增强可以有效解决上述问题。
较为经典的局部增强方法包括限制对比度的自适应直方图均衡化法。Kim等人提出了一种部分重叠子块直方图均衡化算法，减少了块效应的同时，提升了均衡化的速度。Wang等提出了基于相邻块的局部直方图均衡化方法，根据梯度的比值将影像划分为活动、非活动和一般区域，分别采取不同的增强策略，一定程度上改善了对影像的增强效果。Huang等对CLAHE方法进行改进，其提出的限制对比度的四分直方图均衡化算法(CLDQHE)可以保持亮度和结构，并能在一定程度上防止对背景等区域进行过度增强。
在目前针对遥感影像的增强方法中，主要研究集中在改善目标的视觉效果。这类影像增强方法仅保留了原始影像中像元间相对亮暗的定性关系，没有保留比值相关的纹理等定量信息。现存研究中也有一些基于深度学习的方法，但是经测试，在实际应用中其运行时间与增强效果并不能达到要求。现存研究中对于遥感影像的增强算法中有一些局部增强的方法值得借鉴，但是现有方法往往应用场景比较单一，并不能在实际应用中取得较稳定的结果。而且现存的局部增强方法往往基于直方图均衡法改进，无法保留小范围区域内的原始灰度信息与纹理细节。此外部分算法仅考虑降低影像内的噪声，忽略了对部分暗目标的增强。
随着遥感技术的不断发展，遥感影像越来越多地应用于目标检测、舰船检测等领域。然而，受到传感器性能退化和云雾的影响，许多用于目标检测的影像清晰度较差。此外，这些影像中的感兴趣舰船目标与背景十分相似，这也影响了舰船检测的精度。为了改善后续用于目标检测等领域的影像质量并提升检测的精度，需要从影像增强上着手。近年来，对于遥感影像进行图像增强处理的研究较多，其中局部自适应增强算法可以根据输入突显出局部区域的细节，并且计算速度较快，在遥感影像的影像增强研究中具有一定优势。当前面向舰船检测的全色遥感影像增强算法中主要存在的问题有以下几点：1.云雾遮挡；2.对于部分高亮区域过分增强；3.对于低亮目标的增强不足；4.遥感影像数据尺寸过大，计算耗时；5.海面辉光；6.遥感影像中地物类别及分布情况复杂。由于问题广泛存在，目前应用于舰船目标检测的数据中除了一些拍摄条件较为理想的数据之外，还有很多质量较差的数据未被充分利用。
发明内容
本发明目的是为了解决现有技术中的问题，提出了一种面向舰船检测的全色遥感影像自适应增强方法。本发明所述方法先使用局部增强算法增强影像在小范围区域的细节，然后基于邻近块校正算法识别出潜在的噪声块，最后使用基于灰度直方图的全局自适应影像增强结果对这些噪声块的影像增强参数进行修改。
本发明是通过以下技术方案实现的，本发明提出一种面向舰船检测的全色遥感影像自适应增强方法，所述方法包括局部影像增强、基于灰度直方图的全局自适应增强参数估算、分块进行信息熵等多维指标的估计、基于邻近块的块参数纠正及双线性内插平滑共四个阶段；具体为：首先，进行分块处理并分别计算图像中每个影像块的影像增强参数；然后，估算邻近块差异因子，并利用多维指标对邻近影像块进行合并，将影像划分为细节块与噪声块，对于噪声块，将增强参数替换为全局自适应灰度变换参数；最后，基于影像块的增强参数内插出每个像元处的参数以消除影像的块效应，得到感兴趣信息增强后的全色影像。
进一步地，在所述局部影像增强阶段，假设存在一张图，其名为图A，图A内目标α的特征α1与x1、x2、x3这三个像元相关，这三个像元处的灰度分别是
使用线性变换f(DN)＝k×DN+b后影像的灰度值分别是
假设存在图B，图B内α的同类目标β存在与α1相对应的特征β1，β1与y1、y2、y3这三个像元相关，而这三个像元分别与x1、x2、x3相对应，y1、y2、y3经线性变换增强后的灰度值分别是
则有：
由上式可知，线性拉伸不会改变比值相关的纹理特征，即使影像线性变换采用了不同的参数，增强后影像内的纹理特征也具有可比性。
进一步地，在所述局部影像增强阶段，将图像划分为W×H个子块，其中W是横向上块的数量，H是纵向上块的数量；对原始影像进行分块操作后，对于每个影像块，计算其块内像元的最大灰度值DNmax和最小灰度值DNmin，作为影像灰度变换的参数，对于影像块内的每个像元xi，基于式(1)计算其变换后的亮度值
其中OUTmax和OUTmin分别是预设的输出影像最高亮度值和最低亮度值。
进一步地，在基于灰度直方图的全局自适应增强参数估算阶段，灰度线性变换的公式如下：
原始图像中灰度介于DNup和DNlow之间区域的灰度被线性映射至OUTmax和OUTmin，在灰度低于DNlow或者灰度高于DNup的区域，影像的纹理信息和亮度信息减少，在OUTmax和OUTmin确定后，结合影像信息，自适应地选择合适的DNup和DNlow参数。
进一步地，所述全局自适应增强从全色影像的灰度直方图出发，计算每个灰度级j的像元个数nj；根据最小百分比阈值Permin和公式(2)，确定灰度直方图主体的灰度下限Hisdown；同理，依据最大百分比阈值Permax和公式(3)确定灰度直方图主体的灰度上限Hisup；
Hiswidth＝Hisup-Hisdown (4)
基于灰度直方图主体的灰度上下限利用公式(4)确定灰度直方图主体的宽度Hiswidth；Hiswidth用于反映影像内包含的几类主要地物所处的灰度级，根据Hiswidth与直方图宽度阈值Widththres间的关系，将含有舰船目标的影像分为两类，即宽直方图主体类和窄直方图主体类。
进一步地，在分块进行信息熵等多维指标的估计阶段，所述分块信息熵等多维指标包括平均灰度Edgemean和信息熵En；
基于影像块边缘处的平均灰度Edgemean能够有效检测出噪声块：
其中Edgenum是影像块边缘处的像元，根据计算指标使用的邻近块与当前块的相对位置不同，Edgemean涉及的像元能够出现在影像的上、下、左、右四个部分的边缘；
信息熵En用于衡量影像块边缘处的平均信息量：
其中DNmax是影像块边缘处的最高灰度值，DNmin是影像块边缘处的最低灰度值。
进一步地，在分块进行信息熵等多维指标的估计阶段，建立了邻近块差异因子
用于评价影像的任意两个相邻子块C1与C2间的关系：
其中w1、w2分别是信息熵、影像灰度两种因素在相邻块间的变化情况对应的权重。
进一步地，在基于邻近块的块参数纠正及双线性内插平滑阶段，具体为：
步骤1：相似块合并；
步骤2：噪声所在块的识别；
步骤3：全局自适应增强和局部增强结果的融合。
进一步地，在基于邻近块的块参数纠正及双线性内插平滑阶段；
所述步骤1具体为：
遍历所有的影像块，基于每一影像块与邻近影像块间的相似关系，将邻近块差异因子小于阈值DifferThres的两块单一影像块判定为属于同一复合影像块，以下称为复合块，最终，原始影像被划分生成的W×H个影像块被合并为若干个复合块；
对于邻近块差异因子超过DifferThres的情况，基于当前块相对于邻近块的明暗，按下述公式计算块明度指数
求得一个复合块Mc1包含的所有影像块的块明度指数的和，作为当前复合块的复合块明度指数
其中当前块是C1，当前块的邻近块是C2；
所述步骤2具体为：
如果
大于0，将当前的多块认为是潜在的噪声块，将其增强参数替换为全局自适应灰度变换参数，反之，认为当前块不属于噪声块，保留局部增强产生的参数，作为当前块的增强参数；
所述步骤3具体为：
对于每一个影像块Ci，计算其增强相关的参数DNmax(Ci)和最小灰度值DNmin(Ci)，为了在突出局部地物对比度的同时，避免图中的斑块效应，使用双线性内插求出每个像元处的增强参数
和
依照如下公式计算每个像元处的增强后的灰度值：
逐像元计算增强后的灰度值，输出增强后的影像。
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种面向舰船检测的全色遥感影像自适应增强方法的步骤。
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种面向舰船检测的全色遥感影像自适应增强方法的步骤。
本发明具有以下有益效果：
本发明提出了一种基于邻近块校正的自适应影像增强方法，基于局部灰度自适应变换，在保留小范围内灰度相对差异的同时，最大限度地突出感兴趣目标处的细节。利用信息熵、灰度相似性指标对邻近影像块进行合并，检测出噪声所在的块，并使用全局自适应增强对其进行校正，得到感兴趣信息增强的全色影像。经过测试，本发明所述方法优于最先进的遥感影像增强算法。本发明所述方法可以有效解决以往方法存在的目标过度增强或者增强不足等问题，使得之前难以利用的有云等低质量数据可以在一定条件下被使用。
附图说明
图1为本发明所述一种面向舰船检测的全色遥感影像自适应增强方法流程图；
图2为影像划分为影像块示意图；
图3为经局部增强处理后的影像示意图；图中的A块是包含部分感兴趣地物的细节块，B块是噪声块；
图4为宽直方图主体类示例影像及其影像灰度直方图，该影像是吉林一号GF-03B全色波段影像，其中(a)为吉林一号GF-03B全色波段影像，(b)为该影像的部分子区域，舰船目标及其周围的海面及陆地影像，(c)为该影像的灰度直方图；
图5为窄直方图主体类示例影像及其影像灰度直方图，该影像是吉林一号GF-03B全色波段影像，其中(a)为吉林一号GF-03B全色波段影像，(b)为该影像的部分子区域，舰船目标及其周围的海面影像，(c)为该影像的灰度直方图；
图6为经过分块局部增强处理后的影像及基于邻近块校正识别出的噪声块；其中图(a)是经过分块局部增强处理后的影像；图(b)是基于邻近块校正识别出的噪声块的分布，与(a)对应，其中A-E是经过合并影像块后形成的复合块，白色代表被识别为噪声块，灰色代表含有细节的影像(复合)块；
图7为影像增强的结果示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对云雾遮挡和海面辉光等问题通过基于灰度直方图的全局自适应影像增强和局部影像增强两种方法配合解决。其中，在确定影像的全局自适应增强参数之前，应该确定影像包含的地物类型。而对于海洋和云等背景地物，利用同一时空条件获取的多光谱等多源遥感数据可以较准确地识别出这些背景地物的类别。然而，由于遥感数据有时源自多种传感器，所使用的全色影像常常缺乏可用的多源辅助信息用于对云和海洋的识别。而本发明所述的方法能基于全色波段影像直接判断其是否包含云和海洋等地物，并对不同情况采取适合的增强参数，这就实现了基于全色波段影像的自适应增强，最终可以改善用于舰船检测的全色遥感影像质量。
结合图1-图7，本发明提出一种面向舰船检测的全色遥感影像自适应增强方法，所述方法包括局部影像增强、基于灰度直方图的全局自适应增强参数估算、分块进行信息熵等多维指标的估计、基于邻近块的块参数纠正及双线性内插平滑共四个阶段；具体为：首先，进行分块处理并分别计算图像中每个影像块的影像增强参数；然后，估算邻近块差异因子，并利用多维指标对邻近影像块进行合并，将影像划分为细节块与噪声块，对于噪声块，将增强参数替换为全局自适应灰度变换参数；最后，基于影像块的增强参数内插出每个像元处的参数以消除影像的块效应，得到感兴趣信息增强后的全色影像。
在所述局部影像增强阶段，相比于直方图均衡等非线性变换的处理，线性变换能在不改变原始影像比值相关纹理特征的同时，增强影像中包含的地物细节；假设存在一张图，其名为图A，图A内目标α的特征α1与x1、x2、x3这三个像元相关，这三个像元处的灰度分别是
使用线性变换f(DN)＝k×DN+b后影像的灰度值分别是
假设存在图B，图B内α的同类目标β存在与α1相对应的特征β1，β1与y1、y2、y3这三个像元相关，而这三个像元分别与x1、x2、x3相对应，y1、y2、y3经线性变换增强后的灰度值分别是
则有：
由上式可知，线性拉伸不会改变比值相关的纹理特征，即使影像线性变换采用了不同的参数，增强后影像内的纹理特征也具有可比性。而当f(DN)不是线性函数时，公式不一定再成立。因此，对于不同影像内的同一类目标，如果分别采用非线性变换进行处理，增强前较相近的纹理特征将会被映射得不再相近。使用线性变换对不同影像进行处理，这些比值相关的影像特征更容易被目标检测等应用的卷积神经网络提取。
在所述局部影像增强阶段，由于遥感影像内包含的地物场景较为复杂，对于增强处理后的影像，如果需要在感兴趣目标附近的较小范围内，充分利用灰度级表示地物的纹理与边缘信息，局部增强是较有效的方法之一。根据需求，将图像划分为W×H个子块，如图2所示，其中W是横向上块的数量，H是纵向上块的数量；对原始影像进行分块操作后，对于每个影像块，计算其块内像元的最大灰度值DNmax和最小灰度值DNmin，作为影像灰度变换的参数，对于影像块内的每个像元xi，基于式(1)计算其变换后的亮度值
其中OUTmax和OUTmin分别是预设的输出影像最高亮度值和最低亮度值。
局部分块增强的结果如图3，可以看出，影像内的地物特征在其所处影像块内得到较大程度的增强，但是仅进行局部分块增强会导致较明显的斑块效应和噪声块现象。斑块效应可以通过基于影像块的增强参数进行双线性内插求出每个像元处的参数有效解决。对于噪声占比高的影像块，其与细节所在块的灰度、纹理等有着较为明显的差异，需要将这些区域识别出来，并使用基于灰度直方图的全局自适应增强参数对这些噪声块的参数进行修改。
在基于灰度直方图的全局自适应增强参数估算阶段，灰度线性变换的公式如下：
原始图像中灰度介于DNup和DNlow之间区域的灰度被线性映射至OUTmax和OUTmin，在灰度低于DNlow或者灰度高于DNup的区域，影像的纹理信息和亮度信息减少，在OUTmax和OUTmin确定后，结合影像信息，自适应地选择合适的DNup和DNlow参数。
本发明结合增强算法的应用场景来分析DNup和DNlow等全局自适应参数的选取，算法服务的应用场景是舰船目标的检测，用作增强的影像源于吉林一号卫星星座，影像的波段为全色波段。本发明的影像增强算法主要针对舰船检测，海洋、云等并不是感兴趣的目标地物。然而，在舰船等目标的检测过程中，海洋、云等常常与感兴趣目标混合在一起，造成对目标的误检和漏检现象。应该突出目标所处灰度级的反差，压缩海洋、云等背景所处灰度级的信息。这就要求舰船目标的亮度处于DNup和DNlow之间，而海洋、云等背景所处灰度级尽量处于该区间之外。
然而，遥感影像所蕴含的地物状况十分复杂，舰船等目标在部分影像内是灰度最高的区域，在影像内有云遮挡时，云往往成为影像内最亮的区域，对于靠岸的舰船，其亮度有时高于陆地上的建筑，有时则相反；在部分情况下，海面的灰度可能大于舰船，如果增强算法始终保留影像内一定比例的较暗或者较亮的信息，难以在不同场景下保证感兴趣目标的清晰度。因此，传统的百分比拉伸、最大最小拉伸、标准差拉伸等按固定过曝或者过暗比例进行增强的方法适用场景有限，难以依靠某一种传统增强方法突出所有影像内的目标。
基于灰度直方图的全局自适应增强技术能获取影像内背景地物的分布情况，这有助于确定感兴趣目标相对于背景的明暗情况，便于后续选择合适的增强参数。对于海洋和云等背景地物，结合使用多光谱等多源遥感数据可以较准确地对其进行识别。然而，由于舰船检测使用的遥感数据源自多颗卫星，每颗卫星获取的影像波段各不相同，部分卫星没有搭载多光谱传感器，这导致缺乏同一时空条件下获取的多光谱信息用于全色影像中云和海洋的识别。基于全色波段影像直接识别出其包含的云和海洋等地物的信息，根据这些信息采取不同的增强参数，进而完善基于全色波段影像的自适应增强技术，这样可以改善全色影像的增强效果。
所述全局自适应增强从全色影像的灰度直方图出发，计算每个灰度级j的像元个数nj；根据最小百分比阈值Permin和公式(2)，确定灰度直方图主体的灰度下限Hisdown；同理，依据最大百分比阈值Permax和公式(3)确定灰度直方图主体的灰度上限Hisup；
Hiswidth＝Hisup-Hisdown (4)
基于灰度直方图主体的灰度上下限利用公式(4)确定灰度直方图主体的宽度Hiswidth；Hiswidth用于反映影像内包含的几类主要地物所处的灰度级，根据Hiswidth与直方图宽度阈值Widththres间的关系，将含有舰船目标的影像分为两类，即宽直方图主体类和窄直方图主体类。
如图4所示，图4属于宽直方图主体类。当影像内存在云、陆地等地物时候，这些地物的灰度与海面差异较大，影像的灰度直方图的主体通常较宽，由于陆地某些建筑的光谱特性与舰船类似，船的亮度通常低于部分陆地、云，而高于海面区域(在海面辉光的情况下，舰船的亮度可能会低于海面，高于部分陆地)，舰船所处区域不包含图像中最亮或者最暗的像元，在这种情况下，通过百分比增强压缩异常高亮、异常低亮的离群像元的灰度值，这能在保留感兴趣目标细节的同时压缩原始影像的动态范围，提升后续舰船检测的精度，百分比增强的算法如公式：
其中
是原始影像在像元xi处的灰度值，
是该像元处的增强结果。
如图5所示，图5属于窄直方图主体类。当影像内只有海、船和较薄的云层时，舰船所在像元的亮度成为影像内的极值。在海面辉光等情况下，舰船处的灰度通常是影像灰度的最低值；其他情况则舰船处的灰度值通常最高。此时如果仍采用百分比增强，将会抑制舰船等感兴趣目标的信息。因此应该采用最大最小增强法，其公式如下：
其中Totalmax是原始影像的最大灰度值，Totalmin是原始影像的最小灰度值，
是原始影像在像元xi处的灰度值，
是该像元处的增强结果。
在分块进行信息熵等多维指标的估计阶段，局部分块增强会导致部分影像块内产生较多高亮噪声的现象，为了将对这些块进行正确识别，并使用基于灰度直方图全局自适应增强参数替换这些噪声块的参数，需要基于相邻块间的相似性，判别两影像块的纹理、亮度等信息是否在块的边界处发生了突变。
在分块进行信息熵等多维指标的估计阶段，噪声通常是由于块内的灰度分布较为集中、块内每个像元蕴含地物的光谱特性较为接近导致的，进行局部增强后，这些块内本来不明显的噪声被过度放大，与此同时邻近目标块内的背景噪声被抑制，如图3中的块A和块B。所述分块信息熵等多维指标包括平均灰度Edgemean和信息熵En；
基于影像块边缘处的平均灰度Edgemean能够有效检测出噪声块：
其中Edgenum是影像块边缘处的像元，根据计算指标使用的邻近块与当前块的相对位置不同，Edgemean涉及的像元能够出现在影像的上、下、左、右四个部分的边缘；
相邻影像块包含地物成分相近往往会导致相邻块的信息熵接近；相邻块间信息熵发生较大变化可能是由于其中一块包含较多噪声；信息熵En用于衡量影像块边缘处的平均信息量：
其中DNmax是影像块边缘处的最高灰度值，DNmin是影像块边缘处的最低灰度值。
在分块进行信息熵等多维指标的估计阶段，相比于单一指标，综合信息熵、影像灰度在相邻块间的变化情况能较好地捕捉影像内存在的噪声，为此建立了邻近块差异因子
用于评价影像的任意两个相邻子块C1与C2间的关系：
其中w1、w2分别是信息熵、影像灰度两种因素在相邻块间的变化情况对应的权重。
在基于邻近块的块参数纠正及双线性内插平滑阶段，局部影像增强能突显影像块内目标相关的细节，对噪声较多的块，将其增强参数替换为全局自适应灰度变换参数，这就能在突显细节的同时，减少背景噪声。结合邻近块差异因子来识别噪声潜在的块是结合局部增强和全局自适应增强的关键，在这一阶段具体为：
步骤1：相似块合并；
遍历所有的影像块，基于每一影像块与邻近影像块间的相似关系，将邻近块差异因子小于阈值DifferThres的两块单一影像块判定为属于同一复合影像块，以下称为复合块，最终，原始影像被划分生成的W×H个影像块被合并为若干个复合块。
对于邻近块差异因子超过DifferThres的情况，基于当前块相对于邻近块的明暗，按下述公式计算块明度指数
求得一个复合块Mc1包含的所有影像块的块明度指数的和，作为当前复合块的复合块明度指数
其中当前块是C1，当前块的邻近块是C2。
步骤2：噪声所在块的识别；
如果
大于0，将当前的多块认为是潜在的噪声块，将其增强参数替换为全局自适应灰度变换参数，反之，认为当前块不属于噪声块，保留局部增强产生的参数，作为当前块的增强参数。
步骤3：全局自适应增强和局部增强结果的融合。
在局部增强的基础上计算增强相关的参数，将噪声块增强参数替换为全局自适应灰度变换参数，这就实现了全局自适应增强和局部增强结果的融合，减少了背景噪声，保留了感兴趣目标相关的细节。
对于每一个影像块Ci，计算其增强相关的参数DNmax(Ci)和最小灰度值DNmin(Ci)，为了在突出局部地物对比度的同时，避免图中的斑块效应，使用双线性内插求出每个像元处的增强参数
和
依照公式计算每个像元处的增强后的灰度值：
逐像元计算增强后的灰度值，输出增强后的影像。影像增强结果如图7所示。
本发明所述方法首先进行分块处理，分别计算图像中每个影像块的影像增强参数，对每个影像块进行局部增强以突出地物细节；基于灰度直方图主体的宽度判断当前影像内包含背景地物的种类，对原始影像进行全局自适应增强；然后，基于信息熵、灰度相似性指标，构建邻近块差异因子、复合块明度指数对含噪声情况相似的邻近影像块进行合并，将影像块划分为细节块与噪声块，对于噪声块，将增强参数替换为全局自适应灰度变换参数；最后，融合全局自适应增强和局部影像增强的结果，基于影像块的增强参数内插出每个像元处的参数，得到感兴趣信息增强的全色影像，在保留、突出舰船等地物细节的同时减弱了背景噪声的影响。
本发明所述方法具有以下效果：
1.可以在云雾遮挡、海面辉光等情况下产生较好的增强效果；2.保留高亮区域的地物纹理细节；3.增强低亮目标的纹理和边缘细节；4.运行速度快；5.保留原始影像内比值相关的纹理信息；6.在保留地物细节的同时减少噪声。当前方法中没有可以同时满足这些需求的方法。
本发明提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种面向舰船检测的全色遥感影像自适应增强方法的步骤。
本发明提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种面向舰船检测的全色遥感影像自适应增强方法的步骤。
本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DR RAM)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
以上对本发明所提出的一种面向舰船检测的全色遥感影像自适应增强方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (5)
1.一种面向舰船检测的全色遥感影像自适应增强方法，其特征在于，所述方法包括局部影像增强、基于灰度直方图的全局自适应增强参数估算、分块信息熵多维指标的估计、基于邻近块的块参数纠正及双线性内插平滑共四个阶段；具体为：首先，进行分块处理并分别计算图像中每个影像块的影像增强参数；然后，估算邻近块差异因子，并利用多维指标对邻近影像块进行合并，将影像划分为细节块与噪声块，对于噪声块，将增强参数替换为全局自适应灰度变换参数；最后，基于影像块的增强参数内插出每个像元处的参数以消除影像的块效应，得到感兴趣信息增强后的全色影像。
2.根据权利要求1所述的方法，其特征在于，在所述局部影像增强阶段，假设存在一张图，其名为图A，图A内目标α的特征α1与x1、x2、x3这三个像元相关，这三个像元处的灰度分别是
使用线性变换f(DN)＝k×DN+b后影像的灰度值分别是
假设存在图B，图B内α的同类目标β存在与α1相对应的特征β1，β1与y1、y2、y3这三个像元相关，而这三个像元分别与x1、x2、x3相对应，y1、y2、y3经线性变换增强后的灰度值分别是
则有：
由上式可知，线性拉伸不会改变比值相关的纹理特征，即使影像线性变换采用了不同的参数，增强后影像内的纹理特征也具有可比性；
在所述局部影像增强阶段，将图像划分为W×H个子块，其中W是横向上块的数量，H是纵向上块的数量；对原始影像进行分块操作后，对于每个影像块，计算其块内像元的最大灰度值DNmax和最小灰度值DNmin，作为影像灰度变换的参数，对于影像块内的每个像元xi，基于式(1)计算其变换后的亮度值
其中OUTmax和OUTmin分别是预设的输出影像最高亮度值和最低亮度值；
在基于灰度直方图的全局自适应增强参数估算阶段，灰度线性变换的公式如下：
原始图像中灰度介于DNup和DNlow之间区域的灰度被线性映射至OUTmax和OUTmin，在灰度低于DNlow或者灰度高于DNup的区域，影像的纹理信息和亮度信息减少，在OUTmax和OUTmin确定后，结合影像信息，自适应地选择合适的DNup和DNlow参数；
所述全局自适应增强从全色影像的灰度直方图出发，计算每个灰度级j的像元个数nj；根据最小百分比阈值Permin和公式(2)，确定灰度直方图主体的灰度下限Hisdown；同理，依据最大百分比阈值Permax和公式(3)确定灰度直方图主体的灰度上限Hisup；
Hiswidth＝Hisup-Hisdown (4)
基于灰度直方图主体的灰度上下限利用公式(4)确定灰度直方图主体的宽度Hiswidth；Hiswidth用于反映影像内包含的几类主要地物所处的灰度级，根据Hiswidth与直方图宽度阈值Widththres间的关系，将含有舰船目标的影像分为两类，即宽直方图主体类和窄直方图主体类；
在分块信息熵多维指标的估计阶段，所述分块信息熵多维指标包括平均灰度Edgemean和信息熵En；
基于影像块边缘处的平均灰度Edgemean能够有效检测出噪声块：
其中Edgenum是影像块边缘处的像元，根据计算指标使用的邻近块与当前块的相对位置不同，Edgemean涉及的像元能够出现在影像的上、下、左、右四个部分的边缘；
信息熵En用于衡量影像块边缘处的平均信息量：
其中DNmax是影像块边缘处的最高灰度值，DNmin是影像块边缘处的最低灰度值；
在分块信息熵多维指标的估计阶段，建立了邻近块差异因子
用于评价影像的任意两个相邻子块C1与C2间的关系：
其中w1、w2分别是信息熵、影像灰度两种因素在相邻块间的变化情况对应的权重；
在基于邻近块的块参数纠正及双线性内插平滑阶段，具体为：
步骤1：相似块合并；
步骤2：噪声所在块的识别；
步骤3：全局自适应增强和局部增强结果的融合。
3.根据权利要求2所述的方法，其特征在于，在基于邻近块的块参数纠正及双线性内插平滑阶段；
所述步骤1具体为：
遍历所有的影像块，基于每一影像块与邻近影像块间的相似关系，将邻近块差异因子小于阈值DifferThres的两块单一影像块判定为属于同一复合影像块，以下称为复合块，最终，原始影像被划分生成的W×H个影像块被合并为若干个复合块；
对于邻近块差异因子超过DifferThres的情况，基于当前块相对于邻近块的明暗，按下述公式计算块明度指数
求得一个复合块Mc1包含的所有影像块的块明度指数的和，作为当前复合块的复合块明度指数
其中当前块是C1，当前块的邻近块是C2；
所述步骤2具体为：
如果
大于0，将当前的多块认为是潜在的噪声块，将其增强参数替换为全局自适应灰度变换参数，反之，认为当前块不属于噪声块，保留局部增强产生的参数，作为当前块的增强参数；
所述步骤3具体为：
对于每一个影像块Ci，计算其增强相关的参数DNmax(Ci)和最小灰度值DNmin(Ci)，为了在突出局部地物对比度的同时，避免图中的斑块效应，使用双线性内插求出每个像元处的增强参数
和
依照如下公式计算每个像元处的增强后的灰度值：
逐像元计算增强后的灰度值，输出增强后的影像。
4.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-3任一项所述方法的步骤。
5.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-3任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211343772.6A CN115564683A (zh) | 2022-10-31 | 2022-10-31 | 一种面向舰船检测的全色遥感影像自适应增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211343772.6A CN115564683A (zh) | 2022-10-31 | 2022-10-31 | 一种面向舰船检测的全色遥感影像自适应增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115564683A true CN115564683A (zh) | 2023-01-03 |
Family
ID=84768504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211343772.6A Pending CN115564683A (zh) | 2022-10-31 | 2022-10-31 | 一种面向舰船检测的全色遥感影像自适应增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115564683A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309203A (zh) * | 2023-05-19 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振视觉自适应增强的无人平台运动估计方法和装置 |
| CN117890068A (zh) * | 2024-03-14 | 2024-04-16 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种结冰云雾颗粒尺寸重构方法及计算机可读存储介质 |
-
2022
- 2022-10-31 CN CN202211343772.6A patent/CN115564683A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309203A (zh) * | 2023-05-19 | 2023-06-23 | 中国人民解放军国防科技大学 | 一种偏振视觉自适应增强的无人平台运动估计方法和装置 |
| CN117890068A (zh) * | 2024-03-14 | 2024-04-16 | 中国空气动力研究与发展中心低速空气动力研究所 | 一种结冰云雾颗粒尺寸重构方法及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Agrawal et al. | A novel joint histogram equalization based image contrast enhancement | |
| Fu et al. | Retinex-based perceptual contrast enhancement in images using luminance adaptation | |
| Hu et al. | Single image defogging based on illumination decomposition for visual maritime surveillance | |
| Kim et al. | Optimized contrast enhancement for real-time image and video dehazing | |
| Li et al. | Single image haze removal using content‐adaptive dark channel and post enhancement | |
| CN115564683A (zh) | 一种面向舰船检测的全色遥感影像自适应增强方法 | |
| Celik | Spatial mutual information and PageRank-based contrast enhancement and quality-aware relative contrast measure | |
| CN108133468B (zh) | 自适应参数增强和尾迹辅助检测的恒虚警率舰船检测方法 | |
| Dharejo et al. | A color enhancement scene estimation approach for single image haze removal | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| Liu et al. | Image contrast enhancement based on intensity expansion-compression | |
| CN117408890B (zh) | 一种视频图像传输质量增强方法及系统 | |
| CN112991197B (zh) | 一种基于暗通道的细节保留的低照度视频增强方法及装置 | |
| Wang et al. | Multiscale single image dehazing based on adaptive wavelet fusion | |
| Shi et al. | A joint deep neural networks-based method for single nighttime rainy image enhancement | |
| CN115587946A (zh) | 一种基于多尺度网络的遥感影像去雾方法 | |
| Fang et al. | Image quality assessment on image haze removal | |
| Honnutagi et al. | Fusion-based underwater image enhancement by weight map techniques | |
| CN104794689A (zh) | 一种增强声呐图像对比度的预处理方法 | |
| CN114581318A (zh) | 一种低照明度图像增强方法及系统 | |
| CN116843584B (zh) | 一种图像数据优化增强方法 | |
| CN111369435B (zh) | 基于自适应稳定模型的彩色图像深度上采样方法及系统 | |
| Moniruzzaman et al. | Brightness preserving Bi-histogram equalization using edge pixels information | |
| Ponomaryov et al. | Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise | |
| Hong et al. | Single image dehazing based on pixel-wise transmission estimation with estimated radiance patches |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |