CN113902633B - 一种基于偏振信息的海面搜救目标强化方法 - Google Patents
一种基于偏振信息的海面搜救目标强化方法 Download PDFInfo
- Publication number
- CN113902633B CN113902633B CN202111123006.4A CN202111123006A CN113902633B CN 113902633 B CN113902633 B CN 113902633B CN 202111123006 A CN202111123006 A CN 202111123006A CN 113902633 B CN113902633 B CN 113902633B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- sea surface
- polarization
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005728 strengthening Methods 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 92
- 230000000694 effects Effects 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 230000002787 reinforcement Effects 0.000 claims abstract description 10
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000005855 radiation Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009365 direct transmission Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000000790 scattering method Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 14
- 230000002411 adverse Effects 0.000 abstract description 6
- 238000000149 argon plasma sintering Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000012634 optical imaging Methods 0.000 description 4
- 230000002401 inhibitory effect Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 241001124569 Lycaenidae Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 235000014987 copper Nutrition 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于偏振信息的海面搜救目标强化方法,其目的是解决现有基于偏振信息的海面搜救目标中存在探测成像技术水平和目标强化水平有限,难以实时灵活应对复杂多变的海况与天气要求的技术问题。该方法首先通过实时快照式偏振成像设备同时在多个特定偏振角度上对搜索区域成像,通过成像设备上的机械电子稳像设备保证成像效果没有拖尾等由于相对移动带来的不利影响,之后对采集到的包含疑似目标的图像进行初始对比度评估分类,当评估为对比度低时,结合搜救当时的天气信息进行利用目标多模可见光偏振信息的图像强化。
Description
技术领域
本发明涉及一种海面搜救目标强化方法,具体涉及一种基于偏振信息的海面搜救目标强化方法。
背景技术
航空海上搜救通常包括对待搜救目标的搜索、探测和定位等步骤,这其中,对海面待搜救目标的清晰光学成像,在发现目标、观察目标周边环境条件并制定相应搜救计划中举足轻重。在航空海上搜救中,海面目标主要包括人体目标与小型救生船体目标,人体目标又分为普通着装人体目标、救生衣人体目标与救生圈中人体目标。海面待搜救目标具有尺寸小、易受海面波动影响和易受海面杂光干扰的特点,加之航空海上搜救作业常常由于复杂天气、恶劣环境等自然条件限制,使得对海面待搜救目标的有效清晰成像探测尤为重要。为此,世界各国已积极开展针对航空海上搜救目标的光学成像与处理技术研究,致力于加强海面待搜救目标的成像探测清晰度与目标成像空间精度等。
从1994年Alfrad W.Copper等人通过中波与长波红外偏振对海面舰船目标进行成像实验并发现了可通过特定方向的偏振光对海面舰船目标进行对比度强化之后,偏振信息就开始逐渐地被应用于海面及相关联的空域背景目标成像效果增强技术中。2008年美国Polaris Sensor Technologies公司进行了一系列长波红外偏振海面成像实验,利用线偏振度与线偏振分量S1图像获得了拥有目标与海面背景较高对比度的探测图像。除了对红外偏振海面目标成像机理的研究之外,针对复杂天气与海面特殊环境的研究,也在近年得到了快速发展。2017年陈卫团队利用带有不同偏振方向的双线偏振片可见光成像系统,实现了对海面太阳耀光的抑制效果,通过对海面耀光的成像强度抑制,实现了增强海面舰船探测图像信噪比的目的。对于海面常见的雨雪雾天等低能见度环境,Yoav Y.Schechner等人从2001年着手实验研究,提出了一种在无天空背景环境基于独立分量分析的偏振度估计方法,利用特征分量与距离分量来估计偏振度并去除散射光对成像质量的影响,实现了特殊天气环境下增强目标对比度的目的。经过多年发展,对于利用偏振信息进行去环境光散射影响的研究目前主要包括偏振差分成像、基于斯托克斯量、基于图像空间分辨率等具体方法,不同方法在不同方面均有一定的优势。然而,基于偏振信息的海面目标探测技术与航空搜救领域的实际应用的结合还不完善,并且对于实时灵活应对复杂多变的海况与天气的要求,当前阶段基于偏振信息的各项技术还有一定距离。因此,需要更为先进的成像与目标强化手段来对海面待搜救目标实现快速探测与增强。
发明内容
本发明的目的是解决现有基于偏振信息的海面搜救目标中存在探测成像技术水平和目标强化水平有限,难以实时灵活应对复杂多变的海况与天气要求的技术问题,提供一种基于偏振信息的海面搜救目标强化方法。
为解决上述技术问题,本发明提供的技术解决方案如下:
一种基于偏振信息的海面搜救目标强化方法,其特殊之处在于,包括以下步骤:
1)将机载数字成像设备所拍摄的机上海面搜索区域可见光偏振图像序列,经机械电子稳像设备补偿后作为输入图像;
2)通过图像自动判断来判断输入图像中是否存在疑似待搜救目标,所述待搜救目标包含人体目标、救生圈目标和/或船体目标;若存在,则执行步骤3),若不存在,则结束;
3)对包含疑似待搜救目标的可见光偏振图像,进行前后景对比度评估以量化成像结果的清晰度,根据清晰度判断是否需要强化图像,若需要,则执行步骤4),若不需要,则结束;
4)依据对同一搜救区域多幅不同角度同时采集的偏振图像,计算需要进行疑似目标强化的可见光偏振图像的偏振度图;
5)对包含疑似待搜救目标的可见光偏振图像进行直方图转化,判断其直方强度是否密集,若密集,则执行步骤6),若不密集,则执行步骤9);
6)对直方强度密集的包含疑似待搜救目标的可见光偏振图像,进行基于偏振信息的海面背景去耀光处理;
7)将当前帧去耀光处理之后的包含疑似待搜救目标的可见光偏振图像,与上一帧或前几帧海面背景图做差分处理,提取差分绝对值较大的部分,作为当前帧中的疑似目标区域;
8)利用小波变换将去耀光处理之后的包含疑似待搜救目标的可见光偏振图像分解为不同的空间频率层,将图像的模糊部分集中在低频分量上,采用空气光与直接透射相结合的去散射方法,对低频部分进行包含针对不同偏振分量的解构与加权重组的去散射处理,对高频部分通过传递函数进行处理,最后利用低频和高频分量进行图像重构,得到一幅清晰度较高的去散射光影响的去模糊图像;
9)量化计算去模糊图像的前后景对比度并判断是否达到对比度设定阈值,若达到,则执行步骤10),若未达到,则返回步骤8);所述前后景中的前景是指步骤7)中的疑似目标区域,后景是指去模糊图像去除疑似目标区域后的区域;
10)将图像进行输出处理,海面待搜救目标的强化完成。
进一步地,步骤1)中,所述机载数字成像设备的输出帧频为25Hz。
进一步地,步骤1)中,所述机载数字成像设备包含至少四个特定角度的海面搜索区域偏振成像结果。
进一步地,步骤1)中,所述机载数字成像设备的偏振信息采集手段为快照式快速成像。
进一步地,步骤2)中,所述图像自动判断通过以下一个或多个方面的判断进行:
a)色彩方面
对图像中色彩信息明显波动的区域进行快速提取,并将其列为包含疑似待搜救目标图像区域;
b)尺寸方面
结合搜救飞机的实时飞行信息,考虑光学系统标准参数,计算出在当前飞行状态与成像条件下人体目标、救生圈目标与船体目标的成像尺寸范围,并依据该尺寸范围对搜索图像中的海面物体进行判断与排除,选出在近似尺寸范围内的疑似目标;所述实时飞行信息包括高度、速度和角度;
c)轮廓方面
结合救生圈目标和船体目标的形状轮廓和边角特征,人体目标的轮廓,以及低空搜救和高空搜救成像角度不同造成的差异,配合并行计算处理系统,自动标注疑似目标。
进一步地,步骤2)中,通过图像自动判断来判断输入图像中是否存在疑似待搜救目标后,还需对自动判断结果进行人工抽检复核,人工抽检复核具体是指:
将已自动标注的疑似目标,与红外和雷达实时成像结果进行比对,确定需要进行疑似目标强化的图像。
进一步地,步骤3)中,所述对比度评估采用方差函数、平方梯度函数或Vollath函数;
方差函数的计算表达式如下:
D(f)=∑x∑y|f(x,y)-μ|2
其中,f(x,y)是图像对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果,μ为整幅图像的平均灰度值;
平方梯度函数的计算表达式如下:
其中,f(x,y)是图像对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果;
Vollath函数的计算表达式如下:
其中,f(x,y)是图像对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果,μ为整幅图像的平均灰度值,M与N则是图像的长、宽信息;
利用上述评估结果,对图像进行处理并对结果做归一化处理,结合相应自然情况,加权合并作为最终的对比度量化值。
进一步地,步骤6)具体为:
对有耀光海面进行实时偏振信息测量,同时获取至少四个偏振方向的偏振图像信息,之后根据不同偏振方向成像效果对应图像计算偏振stokes矢量,生成空间域耀光抑制偏振辐射图像序列,将生成的图像序列进行时域内的融合得到偏振信息,然后对疑似目标可见光偏振图像,进行基于偏振信息的海面背景去耀光。
进一步地,步骤9)中,所述返回步骤8)的次数不超过3次。
本发明相比现有技术具有的有益效果如下:
1、本发明针对航空海上搜救中对海面待搜救目标的清晰成像需求,提供了一种在成像处理过程中可以削弱复杂海面环境与周边天气不利影响的基于可见光偏振信息的海面搜救目标强化方法。本方法涉及特殊目标光学偏振信息获取、显示与处理技术,可以通过待搜救目标的偏振信息来实现对大雾等恶劣天气与海面背景耀光造成的不利成像干扰的去除,从而获取对待搜救目标的高清晰度、高对比度的成像效果。并且本方法通过对成像条件的自动快速评估,可以保证同时满足大范围海面成像光线与湿度条件下的成像探测工作。
2、本发明的方法在航空海上搜救工作过程中,首先通过实时快照式偏振成像设备同时在多个特定偏振角度上对搜索区域成像,通过成像设备上的机械电子稳像设备保证成像效果没有拖尾等由于相对移动带来的不利影响,之后对采集到的包含疑似目标的图像进行初始对比度评估分类,当评估为对比度低时,结合搜救当时的天气信息进行利用目标多模可见光偏振信息的图像强化。
3、本发明的方法有效增强了海面待搜救目标的清晰度与前后景对比度,有效减弱了大雾等天气给海面光学成像带来的散射光模糊问题,克服了光学成像设备在航空海上搜救任务中一定的环境局限性,大大提高了航空搜救准确性,并减少了海面搜救的虚警、误警和漏警率。
4、本发明的方法采用待搜救目标的偏振信息并通过算法对待搜救目标进行强化的方法对海面人体目标没有辐射或其他不利影响,保证了待搜救人体目标的安全性,对其现有的状态及健康没有影响。
5、本发明的方法的主要操作均在计算处理单元内完成,对操作人员的要求较低,方便使用与操作,大大增加了航空海上搜救的工作效率。
附图说明
图1为本发明基于偏振信息的海面搜救目标强化方法的流程图;
图2为本发明实施例中的海面目标成像结果,其中,a为海上身着救生衣的人体目标与救生船体目标,b为机载可见光偏振成像设备在航空高度1.5公里时拍摄的海面人体目标成像结果,c为机载可见光偏振成像设备在航空高度4.5公里时拍摄的海面船体目标成像结果;
图3为本发明实施例中可见光偏振图像的成像原理图;
图4为本发明实施例中有无耀光的可见光图像及相应图像强度直方分布图,其中,a为有耀光时的可见光图像,b为a对应的图像强度直方分布图,c为无耀光时的可见光图像,d为c对应的图像强度直方分布图;
图5为本发明实施例中在大雾天气对海面疑似目标图像进行去散射光增强前后的效果比对图,其中,a对应去散射光前,b对应去散射光后。
具体实施方式
下面结合附图和实施例对本发明作进一步地说明。
本发明的基于偏振信息的海面搜救目标强化方法,如图1所示,具体包括以下步骤:
1)将经过机械电子稳像设备补偿后的机上海面搜索区域可见光偏振成像图像序列作为输入,常规的机载数字成像设备输出帧频为25Hz,包含至少四个特定角度的海面搜索区域偏振成像结果。偏振信息采集手段为快照式快速成像,以保证每个角度偏振信息都是同时刻、同光学条件的成像结果。
2)对于成像搜索区域图像进行有无疑似待搜救目标进行判断,主要分为图像自动判断与人工抽检复核两步。机载设备的海面待搜救目标主要包含人体目标、救生圈目标与船体目标,对于可见光偏振成像,此三类目标在图像中与海面背景的主要区别体现在色彩、尺寸与轮廓方面。在色彩上,由于人体目标在水中待救援时身着救生衣,同救生圈、救生筏一样,大部分颜色都为鲜艳的橙红色,与海面较多的暗蓝色形成了较为鲜明的对比,因此对图像中色彩信息明显波动的区域,可以进行快速提取并列为待搜救疑似图像区域。在尺寸上,常规的待搜救海面人体目标尺寸在0.4x0.6左右,而救生圈与救生筏都有规定的标准尺寸,结合搜救飞机的实时飞行信息,例如高度、速度、角度等,考虑光学系统标准参数,即可计算出在当前飞行状态与成像条件下人体、救生圈与船体目标的成像尺寸范围,并可依据该尺寸对搜索图像中的海面物体进行判断与排除,选出在近似尺寸范围内的疑似目标。在轮廓上,救生圈和船体目标的形状轮廓都较为特别,边角特征都较为清楚,容易在搜索图像上发现,而人体目标的轮廓则较为随机,低空搜救和高空搜救由于成像角度不同也会造成差异。利用以上三类特征,结合当前的并行计算处理系统,可以实现非常快速的疑似目标自动标注。如图2所示,即为航空海上搜救典型目标,其中,a为海上身着救生衣的人体目标与救生船体目标,b为机载可见光偏振成像设备在航空高度1.5公里时拍摄的海面人体目标成像结果,c为机载可见光偏振成像设备在航空高度4.5公里时拍摄的海面船体目标成像结果。图2明显展示了待搜救目标与海面背景的颜色差别,并且海面船体目标的轮廓在航空拍摄中相较于人体目标较为明显。另外,针对不同的航空待搜救目标,航空搜救的飞行器飞行高度也有明显不同,在最大自然限度与允许速度内来适应成像待搜救目标的尺寸不至于过小。
疑似目标在经过自动划分之后也需要机上搜救操作员作人工抽检复核,与红外与雷达实时成像结果比对,确定需要进行疑似目标强化的图像,继续进行后续处理。
3)对于包含疑似目标的成像结果,需要进行原始图像的前后景对比度评估来量化成像结果的清晰度,并对需要进一步强化的图像进行判断。本方法采用了方差函数、平方梯度函数及Vollath函数对可见光偏振图像进行了评估计算,这三种考核方式都是图像对比度评定中常用的考核手段,可以从图像数据的不同层面对整体对比度进行全面有效的评估。清晰聚焦的图像有着比因光散射模糊图像更大的图像强度差异,因此方差函数可以作为评价函数,方差函数的计算表达式如下:
D(f)=∑x∑y|f(x,y)-μ|2
其中,f(x,y)是图像f对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果,μ为整幅图像的平均灰度值,该函数对于画面中的不清晰噪点非常敏感,可以评估整幅图像的清晰程度。平方梯度函数是基于图像梯度对整幅图像对比度进行评价的函数,它主要依靠计算相邻两个像素灰度差的平方来对整体图像高频信息的容量进行评价,计算表达式如下:
其中,f(x,y)是图像f对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果。该函数对于画面中的像素梯度非常敏感,可以有效评价图像细节的保留程度。Vollath函数是一种便于计算的全面衡量图像对比度的评价函数,对于图像的整体强度分布进行计算评估的同时辅以图像像素的位置关系信息,将二者结合起来,对于图像的整体视觉对比度增强效果进行全面表征,计算表达式如下:
其中,f(x,y)是图像f对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果,μ为整幅图像的平均灰度值,M与N则是图像的长、宽信息。结合上述客观评价标准,(即方差函数、平方梯度函数及Vollath函数)对可见光偏振图像进行处理并对结果做归一化,结合不同自然情况,加权合并作为最终的对比度量化值,并依据阈值判断决定是否需要进一步疑似目标强化。
4)对于需要进一步疑似目标强化的可见光偏振图像,依据对于同一搜救区域的多幅各角度同时采集的偏振图像,计算偏振度图作为后续处理的参考标准。偏振度说明如下:
如图3所示,从光源到物体的光线和从物体到探测器的光线构成的平面作为标准平面。将一束光线分成两个偏振分量,平行的量和垂直的量,光线和此平面平行的偏振量称为A||,光线和此平面垂直的偏振量为A⊥,可以定义偏振度为:
p=(A⊥-A||)/A
其中A定义为:
A=A⊥+A||
A=A∞[1-t(z)]
其中t(z)即为大气散射模型中直接传输与无散射图像的比例值,即光强衰减过程的衰减函数,A∞为大气光值。得到当前搜索区域成像偏振度数据对于后续去除海面耀光背景与散射光干扰有非常重要的作用。
5)对于疑似目标图像进行直方图转化并分析其强度分布,图像强度直方分布可以反映场景图象的整体亮度状况与变化率。由于海面背景耀光具有较高的辐照强度,使得成像单元的像元过饱和,海面背景耀光在图像中所占比例较高,因此像元个数在大强度范围分布较多,图像整体直方图具有大强度分布多,小强度分布少且均匀,因此可利用这种特征对受到海面背景耀光影响大的图像进行区别并进行进一步优化。图4为有无耀光的图像及其直方图,其中,a为有耀光的原始航拍海面图像而b为其典型的图像强度直方分布图,c为去耀光的航拍海面图像而d为其典型的图像强度直方分布图,由其对比可知海面耀光造成了明显的直方分布区别,尤其是在大强度范围内,本方法在此步骤的判断即是基于这一区别。
6)对于受到海面耀光干扰较大的图像,需要进行基于偏振信息的海面背景去耀光步骤来消弱海面耀光对图像整体清晰度的影响。海面耀光是太阳光入射到海上由海面镜面反射导致,其较高的辐射强度会造成成像传感器像元过饱和,使得海面目标轮廓淹没在耀光中,对目标探测造成影响。在本发明方法中,综合考虑实际应用的使用效率与效果,基于耀光的偏振时域特性,通过基于可见光的偏振海面成像探测获得的偏振信息进行海面耀光的有效抑制。利用实时可见光偏振成像系统对有耀光海面进行实时偏振信息测量,同时获取至少四个偏振方向的偏振图像信息,之后根据不同偏振方向成像效果对应图像计算偏振stokes矢量,生成空间域耀光抑制偏振辐射图序列。将生成的图像序列进行时域内的融合,从而抑制海面的耀光。这里以0°、45°、90°等特定偏振角度的可见光偏振信息为例说明。通常,一幅海面图像可如下描述:
I=ID+IA
其中,I表示成像图像的总光强,ID表示经过衰减的目标辐射光,IA表示后向散射光,即背景光。目标辐射光和后向散射光可进一步详细地描述为:
ID=IL·t(z)
IA=IA∞[1-t(z)]
其中,IL表示未经衰减和散射的目标辐射光,IA∞表示海面环境中景深无穷远处的光强,t(z)如上面所说表示光强衰减过程的衰减函数。根据以上公式,可以推导未经衰减和散射的目标辐射光可利用相关参量表述为:
因此,恢复未经衰减和散射的目标辐射光的关键即为能够较为准确地估计参量IA和IA∞。利用基于可见光的机载海上偏振成像探测系统对海面成像时得到I0、I45、I90三幅图像,分别为偏振角度在0度、45度与90度时的成像强度,则如下式:
其中I、Q、U均为成像场景stokes量,可由不同偏振角度的成像强度图计算而来。
根据解算得到的斯托克斯矢量,可计算图像偏振度p和图像偏振角θ如下:
之后定义最大光强和最小光强的角度方向分别为x轴和y轴(最大光强和最小光强对应的两个角度正交),则背景光的偏振强度IAP在x轴和y轴的分量分别表示如下:
IAPx=IAPcos2θA
IAPy=IAPsin2θA
则推得IAP为:
其中,θA为偏振方向与x轴夹角;
因此最终推出背景光强度的表达式为:
其中,PA为当前偏振度。
IL由于多次散射效应最终成为无偏光,而IA∞为具有偏振度为pA的部分偏振通道光,所以海面背景特性最强时候的强度Imax可表达为:
z为随机空间的模值;β为随机空间的相位;其中e-βz描述随机可能的变化态势。
如果z取无穷大,则e-βz趋向于0,所以IA∞可表示为:
取该图像灰度值最大的0.1%像素处的灰度值的平均值作为IA∞的估计值。将上述估计得到的参量代入到海面成像探测模型之中,便可复原出清晰的去耀光海面图像,有效去除海面背景强耀光带来的目标干扰。
7)基于偏振信息的去耀光处理之后,结合之前几帧的海面背景图,与当前帧做差分处理,提取差分绝对值较大部分作为当前帧中的疑似目标区域,以备与后续帧处理后的疑似目标区域作比较,通过时域连续性对当前疑似目标区域可能性进行判断,时域连续性越好的部分,为真待搜救目标的可能性越大。
8)对去耀光后的可见光海面疑似目标区域偏振信息进行整合,并依据海面去耀光处理后的图像,再次计算当前疑似目标区域的偏振度,为后续去除因散射光造成的模糊处理做参考,并与去海面耀光之前的偏振强度作一比较,保留差值数据为后续帧的处理提供去耀光处理的参考值。
9)在雾天、霾天等特殊自然天气条件下进行航空海上搜救时,成像质量和清晰度往往受到大气散射的严重影响,导致难以及时准确地探测到海面情况,因此偏振去散射光技术是保证此类天气情况下搜救探测能力的关键。通常情况下,在散射介质中偏振信息的保持能力比强度信息更强。因此,对于基于图像的空间频率分离的偏振成像去散射技术,即可放大这一信息在成像探测不同区域中的区分作用。本方法中采用的这种处理利用小波变换将受雾气等不利天气状况影响的去耀光的可见光偏振图像分解为不同的空间频率层,将图像的模糊部分集中在低频分量上,采用空气光与直接透射相结合的去散射方法,对低频部分进行了特殊的去散射处理,包含对不同偏振分量的解构与加权重组,高频部分通过传递函数进行处理,以提高模糊图像的清晰度。最后,利用低频和高频分量进行图像重构,得到一幅清晰度较高的去散射光影响的去模糊图像。在去散射光过程中,首先,应该求得大气光值A∞和其对应的偏振度p。在本方法中,采取手动估计的方法,即手动选取两幅正交偏振图像的同一区域,计算该区域的每一个像素处的大气光值和对应偏振度的值,然后取这些计算值的平均值,即可得到大气光值和偏振度值。现在定义每一个像素点的大气光为:
无偏振图像为:
传输函数为:
通过以上各式,得到去散射光图像为:
结合本发明的海上实际应用场景,考虑到实际成像背景中的海面反射、疑似目标偏振特性中高频分量比重较大等特点,对原始图像的空间频率划分有更为细致的参数要求,并在不影响线偏振各方向信息分量与偏振角度信息的同时增强高频信息的精确位置信息,以获取更为真实的海面待搜救目标去散射光效果。图5为本方法在大雾天气对海面疑似目标图像进行去散射光增强前后的效果比对,其中,a为去散射光前,b为去散射光后。
10)在上述处理之后,再次量化计算当前图像的前后景对比度,对于达到对比度设定阈值的图像进行输出处理,完成了对海面待搜救目标的强化。所述前后景中的前景是指步骤7)中的疑似目标区域,后景是指去模糊图像去除疑似目标区域后的区域。对于对比度未及阈值的图像进行再次处理,由于考虑到处理时间不得影响序列图像输出帧频,过长的连续处理可能造成拖帧,导致图像序列输出不连续,因此根据实际处理时间,对于包含疑似待搜救目标的同一帧图像最多处理三次即可输出。综合以上方法处理的海面疑似目标搜索图像的对比度增强量化值可有效提高65%,而本方法在并行计算处理平台上的整体运行时间在35毫秒~40毫秒范围内,可以满足海上搜救序列图像的25Hz输出帧频。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制,对于本领域的普通专业技术人员来说,可以对前述实施例所记载的具体技术方案进行修改,或者对其中部分技术特征进行等同替换,而这些修改或者替换,并不使相应技术方案的本质脱离本发明所保护技术方案的范围。
Claims (8)
1.一种基于偏振信息的海面搜救目标强化方法,其特征在于,包括以下步骤:
1)将机载数字成像设备所拍摄的机上海面搜索区域可见光偏振图像序列,经机械电子稳像设备补偿后作为输入图像;
2)通过图像自动判断来判断输入图像中是否存在疑似待搜救目标,所述待搜救目标包含人体目标、救生圈目标和/或船体目标;若存在,则执行步骤3),若不存在,则结束;
3)对包含疑似待搜救目标的可见光偏振图像,进行前后景对比度评估以量化成像结果的清晰度,根据清晰度判断是否需要强化图像,若需要,则执行步骤4),若不需要,则结束);
4)依据对同一搜救区域多幅不同角度同时采集的偏振图像,计算需要进行疑似目标强化的可见光偏振图像的偏振度图;
5)对包含疑似待搜救目标的可见光偏振图像进行直方图转化,判断其直方强度是否密集,若密集,则执行步骤6),若不密集,则执行步骤9);
6)对直方强度密集的包含疑似待搜救目标的可见光偏振图像,进行基于偏振信息的海面背景去耀光处理;
对有耀光海面进行实时偏振信息测量,同时获取至少四个偏振方向的偏振图像信息,之后根据不同偏振方向成像效果对应图像计算偏振stokes矢量,生成空间域耀光抑制偏振辐射图像序列,将生成的图像序列进行时域内的融合得到偏振信息,然后对疑似目标可见光偏振图像,进行基于偏振信息的海面背景去耀光;
7)将当前帧去耀光处理之后的包含疑似待搜救目标的可见光偏振图像,与上一帧或前几帧海面背景图做差分处理,提取差分绝对值较大的部分,作为当前帧中的疑似目标区域;对去耀光后的可见光海面疑似目标区域偏振信息进行整合,并依据海面去耀光处理后的图像,再次计算当前疑似目标区域的偏振度,为后续去除因散射光造成的模糊处理做参考,并与去海面耀光之前的偏振强度作一比较,保留差值数据为后续帧的处理提供去耀光处理的参考值;
8)利用小波变换将去耀光处理之后的包含疑似待搜救目标的可见光偏振图像分解为不同的空间频率层,将图像的模糊部分集中在低频分量上,采用空气光与直接透射相结合的去散射方法,对低频部分进行包含针对不同偏振分量的解构与加权重组的去散射处理,对高频部分通过传递函数进行处理,最后利用低频和高频分量进行图像重构,得到一幅清晰度较高的去散射光影响的去模糊图像;
9)量化计算去模糊图像的前后景对比度并判断是否达到对比度设定阈值,若达到,则执行步骤10),若未达到,则返回步骤8);所述前后景中的前景是指步骤7)中的疑似目标区域,后景是指去模糊图像去除疑似目标区域后的区域;
10)将图像进行输出处理,海面待搜救目标的强化完成。
2.根据权利要求1所述的基于偏振信息的海面搜救目标强化方法,其特征在于:
步骤1)中,所述机载数字成像设备的输出帧频为25Hz。
3.根据权利要求2所述的基于偏振信息的海面搜救目标强化方法,其特征在于:
步骤1)中,所述机载数字成像设备包含至少四个特定角度的海面搜索区域偏振成像结果。
4.根据权利要求3所述的基于偏振信息的海面搜救目标强化方法,其特征在于:
步骤1)中,所述机载数字成像设备的偏振信息采集手段为快照式快速成像。
5.根据权利要求4所述的基于偏振信息的海面搜救目标强化方法,其特征在于:
步骤2)中,所述图像自动判断通过以下一个或多个方面的判断进行:
a)色彩方面
对图像中色彩信息明显波动的区域进行快速提取,并将其列为包含疑似待搜救目标图像区域;
b)尺寸方面
结合搜救飞机的实时飞行信息,考虑光学系统标准参数,计算出在当前飞行状态与成像条件下人体目标、救生圈目标与船体目标的成像尺寸范围,并依据该尺寸范围对搜索图像中的海面物体进行判断与排除,选出在近似尺寸范围内的疑似目标;所述实时飞行信息包括高度、速度和角度;
c)轮廓方面
结合救生圈目标和船体目标的形状轮廓和边角特征,人体目标的轮廓,以及低空搜救和高空搜救成像角度不同造成的差异,配合并行计算处理系统,自动标注疑似目标。
6.根据权利要求5所述的基于偏振信息的海面搜救目标强化方法,其特征在于:
步骤2)中,通过图像自动判断来判断输入图像中是否存在疑似待搜救目标后,还需对自动判断结果进行人工抽检复核,人工抽检复核具体是指:
将已自动标注的疑似目标,与红外和雷达实时成像结果进行比对,确定需要进行疑似目标强化的图像。
7.根据权利要求6所述的基于偏振信息的海面搜救目标强化方法,其特征在于:
步骤3)中,所述对比度评估采用方差函数、平方梯度函数或Vollath函数;
方差函数的计算表达式如下:
D(f)=∑x∑y|f(x,y)-μ|2
其中,f(x,y)是图像对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果,μ为整幅图像的平均灰度值;
平方梯度函数的计算表达式如下:
其中,f(x,y)是图像对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果;
Vollath函数的计算表达式如下:
其中,f(x,y)是图像对应像素点(x,y)的灰度值,D(f)为图像对比度计算结果,μ为整幅图像的平均灰度值,M与N则是图像的长、宽信息;
利用上述评估结果,对图像进行处理并对结果做归一化处理,结合相应自然情况,加权合并作为最终的对比度量化值。
8.根据权利要求7所述的基于偏振信息的海面搜救目标强化方法,其特征在于:
步骤9)中,所述返回步骤8)的次数不超过3次。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111123006.4A CN113902633B (zh) | 2021-09-24 | 2021-09-24 | 一种基于偏振信息的海面搜救目标强化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111123006.4A CN113902633B (zh) | 2021-09-24 | 2021-09-24 | 一种基于偏振信息的海面搜救目标强化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113902633A CN113902633A (zh) | 2022-01-07 |
CN113902633B true CN113902633B (zh) | 2023-08-18 |
Family
ID=79029174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111123006.4A Active CN113902633B (zh) | 2021-09-24 | 2021-09-24 | 一种基于偏振信息的海面搜救目标强化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902633B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114440836B (zh) * | 2022-01-19 | 2023-06-30 | 南京市测绘勘察研究院股份有限公司 | 一种附有玻璃幕墙建筑的无人机摄影测量建模方法 |
CN115826255B (zh) * | 2023-02-16 | 2023-04-28 | 长春理工大学 | 基于主动偏振照明的机载海面目视搜索装置及其使用方法 |
CN116311383B (zh) * | 2023-05-16 | 2023-07-25 | 成都航空职业技术学院 | 一种基于图像处理的楼宇智能用电管理系统 |
CN116337088B (zh) * | 2023-05-30 | 2023-08-11 | 中国人民解放军国防科技大学 | 基于仿生偏振视觉的雾天场景相对运动估计方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008011050A2 (en) * | 2006-07-18 | 2008-01-24 | The Trustees Of The University Of Pennsylvania | Separation and contrast enhancement of overlapping cast shadow components and target detection in shadow using polarization |
CN102998667A (zh) * | 2012-12-03 | 2013-03-27 | 北京航空航天大学 | 一种基于偏振遥感探测的波浪水面太阳耀光剥离方法 |
CN105738966A (zh) * | 2016-02-18 | 2016-07-06 | 中国科学院长春光学精密机械与物理研究所 | 水面耀光抑制装置及观测相机 |
CN109886883A (zh) * | 2019-01-21 | 2019-06-14 | 吉林大学 | 实时偏振透雾成像图像增强处理方法 |
CN113421206A (zh) * | 2021-07-16 | 2021-09-21 | 合肥工业大学 | 一种基于红外偏振成像的图像增强方法 |
-
2021
- 2021-09-24 CN CN202111123006.4A patent/CN113902633B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008011050A2 (en) * | 2006-07-18 | 2008-01-24 | The Trustees Of The University Of Pennsylvania | Separation and contrast enhancement of overlapping cast shadow components and target detection in shadow using polarization |
CN102998667A (zh) * | 2012-12-03 | 2013-03-27 | 北京航空航天大学 | 一种基于偏振遥感探测的波浪水面太阳耀光剥离方法 |
CN105738966A (zh) * | 2016-02-18 | 2016-07-06 | 中国科学院长春光学精密机械与物理研究所 | 水面耀光抑制装置及观测相机 |
CN109886883A (zh) * | 2019-01-21 | 2019-06-14 | 吉林大学 | 实时偏振透雾成像图像增强处理方法 |
CN113421206A (zh) * | 2021-07-16 | 2021-09-21 | 合肥工业大学 | 一种基于红外偏振成像的图像增强方法 |
Non-Patent Citations (1)
Title |
---|
基于红外偏振信息的海面杂波抑制及舰船目标识别技术;张景华;知网硕士电子期刊;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113902633A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113902633B (zh) | 一种基于偏振信息的海面搜救目标强化方法 | |
CN104933680B (zh) | 一种智能的无人艇视觉系统视频快速海雾去除方法 | |
CN108229433B (zh) | 一种基于直线段检测和形状特征的靠岸舰船检测方法 | |
CN106170819A (zh) | 一种合成孔径雷达图像舰船目标快速检测方法 | |
Khan et al. | Subsea pipeline corrosion estimation by restoring and enhancing degraded underwater images | |
Prasad et al. | MSCM-LiFe: multi-scale cross modal linear feature for horizon detection in maritime images | |
CN109215018A (zh) | 基于Canny算子和高斯形态学的船舶检测方法 | |
US10803590B2 (en) | Multiple-wavelength images analysis electro optical system for detection of accident ship and submerged person and analysis method thereof | |
CN109859247A (zh) | 近地面场景红外小目标检测方法 | |
Li et al. | Underwater image enhancement framework and its application on an autonomous underwater vehicle platform | |
Van den Broek et al. | Detection and classification of infrared decoys and small targets in a sea background | |
CN114972083A (zh) | 一种基于实测数据的复杂光学成像条件下图像复原方法 | |
CN112581548B (zh) | 一种星敏感器伪星目标滤除方法及系统 | |
Hashmani et al. | A survey on edge detection based recent marine horizon line detection methods and their applications | |
Westall et al. | Evaluation of maritime vision techniques for aerial search of humans in maritime environments | |
Tian et al. | Underwater image enhancement method based on feature fusion neural network | |
CN111222470A (zh) | 基于多元高斯分布与PCANet的可见光遥感图像舰船检测方法 | |
Voinov et al. | Multiclass vessel detection from high resolution optical satellite images based on deep neural networks | |
CN112417948B (zh) | 一种基于单目视觉的水下航行器精确导引入环的方法 | |
Liao et al. | Multi-scale ship tracking based on maritime monitoring platform | |
Qiao et al. | Visibility enhancement for underwater robots based on an improved underwater light model | |
CN114429593A (zh) | 基于快速导向滤波的红外小目标检测方法及其应用 | |
Dai et al. | Effective detection by fusing visible and infrared images of targets for Unmanned Surface Vehicles | |
WO2022015260A1 (en) | An object detection method | |
Stojanović et al. | Improved dehazing techniques for maritime surveillance image enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |