CN113763276A - 一种水下成像方法及其系统 - Google Patents
一种水下成像方法及其系统 Download PDFInfo
- Publication number
- CN113763276A CN113763276A CN202111054198.8A CN202111054198A CN113763276A CN 113763276 A CN113763276 A CN 113763276A CN 202111054198 A CN202111054198 A CN 202111054198A CN 113763276 A CN113763276 A CN 113763276A
- Authority
- CN
- China
- Prior art keywords
- underwater
- image
- target
- light intensity
- polarization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 49
- 230000010287 polarization Effects 0.000 claims abstract description 168
- 230000005540 biological transmission Effects 0.000 claims abstract description 59
- 230000005855 radiation Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 38
- 230000014509 gene expression Effects 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 239000002609 medium Substances 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000012634 optical imaging Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000012736 aqueous medium Substances 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种水下成像方法及其系统,所述水下成像的方法包括:在水下环境条件下,获取目标物不同偏振角度的原始强度图像;根据原始强度图像,获得线偏振度图像、水下背景偏振度信息、最大光强图和最小光强图,再计算获得水下背景区域光强值;根据背景光的定义计算获得水下传输率,并构建和水下传输率相关的水下目标图像重构模型;根据水下传输率与目标辐射的相关性,获取水下目标图像重构模型的偏振重构最优解;根据水下目标图像重构模型,结合得到的最大光强图、最小光强图、水下背景区域光强值、水下背景偏振度信息、偏振重构最优解,得到重构图像;对重构图像进行增强处理。通过本发明的水下成像方法,能得到水下目标的清晰复原结果。
Description
技术领域
本发明属于海洋工程领域,特别涉及一种水下成像方法及其系统。
背景技术
水下光学成像在海洋工程领域中起着举足轻重的应用价值和科学研究意义,包括海洋生物监测、生态系统评估、海洋救援和导航等。如今水下光学成像的工作主要集中于非物理模型算法和物理模型算法。非物理模型算法将传统图像处理手段应用于水下图像质量改善,虽然实现简单且计算复杂度低,但容易导致图像色彩失真、散射噪声放大等问题。基于物理模型的算法依赖对先验条件的准确估计,在不同的成像环境下,相应的先验条件将会改变,这也会限制了算法的普遍适应性。目前的成像技术在水下偏振信息获取不精准,在对水下偏振图像进行重构的过程中,人工交替求取重构参数较为繁琐,且通过偏振图像重构得到的图像复原结果稳定性较差。
发明内容
本发明的目的在于提供一种水下成像方法及其系统,解决现有技术中关于水下偏振成像中出现地人工重构参数求取繁琐且准确度低、重构图像不清晰且稳定性差的问题。
为解决上述技术问题,本发明是通过以下技术方案实现的:
在水下环境条件下,获取目标物不同偏振角度的原始强度图像;
根据所述原始强度图像,获得线偏振度图像、水下背景偏振度信息、最大光强图和最小光强图,再计算获得水下背景区域光强值;
根据背景光的定义计算获得水下传输率,并构建和所述水下传输率相关的水下目标图像重构模型;
根据所述水下传输率与所述目标辐射的相关性,获取所述水下目标图像重构模型的偏振重构最优解;
根据所述水下目标图像重构模型,结合得到的所述最大光强图、所述最小光强图、所述水下背景区域光强值、所述水下背景偏振度信息、所述偏振重构最优解,得到重构图像;
对所述重构图像进行增强处理,得到水下目标的清晰复原结果。
在本发明一实施例中,所述水下背景区域光强值为无穷远处的水下背景光强值,且计算获得水下背景区域光强值的步骤包括:
将所述原始强度图像内的像素点按照点位顺序标号;
将第一个像素点的灰度值与其后续标号的像素点灰度值进行逐个比较更替,得到所述原始强度图像中的最大灰度值;
对应所述最大灰度值确定无穷远处的水下背景光强值。
在本发明一实施例中,所述水下背景偏振度信息的获取方法为:
对所述原始强度图像进行偏振滤波处理,得到水下背景强度图像;
对所述水下背景强度图像进行斯托克斯矢量计算,得到水下偏振度参数;
根据所述水下偏振度参数进行线偏振度计算,得到水下线偏振度图像,分析所述水下线偏振度图像得到水下背景偏振度信息。
在本发明一实施例中,所述水下传输率的计算是依据以下公式:
其中,t(x,y)为水下传输率的表达式,PB(x,y)为所述水下背景偏振度信息,PS(x,y)为所述水下目标反射光偏振度,B∞为所述水下背景区域光强值,I(x,y)为目标物的所述原始强度图像,ΔI为水下场景光强的变化值。
在本发明一实施例中,所述水下目标图像重构模型的重构是依据以下公式:
在本发明一实施例中,当所述水下传输率和所述目标辐射均与水下目标反射光偏振度相关,且所述水下传输率与所述目标辐射的相关性最大时,获得所述偏振重构最优解。
在本发明一实施例中,所述水下传输率和所述目标辐射的相关性与两者的协方差成反比,所述水下传输率和所述目标辐射的协方差计算是依据以下公式:
在本发明一实施例中,所述水下传输率和所述目标辐射的协方差的获取步骤包括:
确定所述水下目标反射光偏振度的取值区间;
将所述水下目标反射光偏振度的取值区间均分为多份,均分的份数作为迭代次数,均分的距离作为迭代步长,均分的分隔点作为的迭代值;
将所述迭代值代入所述水下传输率和所述目标辐射的协方差计算公式中,得到协方差结果。
在本发明一实施例中,对所述重构图像进行增强处理的步骤包括:
对所述重构图像进行高斯滤波处理,得到对应的模糊图像;
对所述模糊图像进行细节提取得到不同的细节图像,将各幅不同的所述细节图像进行合并得到整体细节图像;
将所述整体细节图像和所述重构图像进行融合,得到水下目标的清晰复原结果。
本发明还提供一种水下成像系统,所述水下成像系统包括:
采样模块,用于在水下环境条件中,获取目标物不同偏振角度的原始强度图像;
水下背景区域光强计算模块,用于根据所述原始强度图像,获得线偏振度图像、水下背景偏振度信息、最大光强图和最小光强图,再计算获得水下背景区域光强值;
重构模型搭建模块,用于根据背景光的定义计算获得水下传输率,并构建和所述水下传输率相关的水下目标图像重构模型;
重构图像计算模块,用于根据所述水下目标图像重构模型,结合得到的所述最大光强图、所述最小光强图、所述水下背景区域光强值、所述水下背景偏振度信息、所述偏振重构最优解,得到重构图像;
图像融合增强计算模块,用于对所述重构图像进行增强处理,得到水下目标的清晰复原结果。
如上所述,本发明针对水下复杂环境悬浮介质影响目标清晰成像这一问题,采用了基于偏振的方法,通过获取不同偏振角度下的偏振图像,计算水下传输率并构建水下目标图像重构模型对获得图像进行重构处理,再增强重构图像获得清晰图像。本发明利用水下传输率和目标辐射的协方差估算出目标区域的偏振度信息,规避了人工手动方式估算重构模型参数存在的繁琐性和偶然性,准确度更高且实现了参数的自适应求取,普适性强。本发明自适应地选取无穷远处的水下背景光强值,使得每一个像素点都有与之相对应的无穷远处的水下背景光强值,准确度更高,使得对无穷远处的水下背景光强值的估算更加合理。本发明对重构图像进行细节处理再融合,得到了清晰度和视觉效果更好的输出图像。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的水下偏振成像的方法流程图;
图2为本发明水下采样的场景示意图;
图3为计算无穷远处的水下背景光强的算法流程图;
图4为目标物一的原始强度图像;
图5为目标物二的原始强度图像;
图6为目标物一的复原结果图;
图7为目标物二的复原结果图;
图8为目标物一的原始强度图和经过本发明处理后的效果图分别对应的图像视觉直方图;
图9为目标物二的原始强度图和经过本发明处理后的效果图分别对应的图像视觉直方图;
图10为本发明水下成像系统的结构框图;
图11为一种电子设备的结构原理框图;
图12为一种计算机可读存储介质的结构原理框图;
表1为合成强度图与处理后的重构图像的图像参数定量分析表。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
与一般的大气光学成像相比,由于水体环境较为复杂,水体中各类悬浮介质对光的散射效应会严重影响成像的质量,其中前向散射噪声会导致成像分辨率的降低,后向散射噪声会导致成像对比度的减小。水下光学成像技术的研究重点是努力减小水体导致光传输能量的吸收和衰减对水下目标探测的影响,减小水介质产生的的强散射效应。为提高水下成像的清晰度,许多研究人员致力于消除水下散射对图像的影响。
因此应用了水下偏振成像技术,由于利用偏振信息表征的目标特性在水下传输过程中受水体的衰减影响较小,水下目标和周围背景环境的偏振特性存在差异,所以可以通过获取同一场景下两幅正交的强度图像,采用偏振差分成像方法,达到提高图像对比度和清晰度的目的,并削弱后向散射光对水下目标成像的影响。因此观察水下目标时采用偏振成像,是一种十分有效的工作方式。
在偏振正交图像的获得、偏振信息的相关参数选取上,当前的技术在水下的运用上都存在着一定不足,影响着图像结果的稳定性和准确性,因此本发明提出了一种偏振重构参数的精确性高、图像复原结果的稳定性好以及复原图像的清晰度高,并且简化了偏振重构求取参数的步骤并实现图像全自动化处理的水下成像方法。
请参阅图1所示,在本发明的一种实施例中,提出的一种水下成像方法,其工作方法包括以下步骤:
S1、获取不同偏振方向的水下目标物原始强度图像。
S2、计算目标物原始强度图像的最大光强图和最小光强图。
S3、计算无穷远处的水下背景光强值。
S4、分析出水下背景偏振信息。
S5、推导水下传输率。
S6、构建水下环境中的目标偏振复原模型。
S7、利用水下传输率和目标辐射的相关性推导目标偏振度的最优解。
S8、计算得到目标偏振复原模型的复原结果。
S9、对图像进行细节处理再融合,增强重构图像。
请参阅图1所示,本发明提供的一种水下成像方法是一个先获取图像,再建立重构模型,求取重构参数代入重构模型得到重构图像,最后增强重构图像(增强其视觉效果)的过程,以下对这个过程中涉及到的各个步骤进行详细描述。
请参阅图1和图2所示,浑浊的水体10中有目标物20,在S1中,就是利用相机30获取到目标物20的成像信息,即目标物原始强度图像,这个采集图像的过程就是在光源30的照射下进行的,其中,光源30是外部给到水体10的自然光或者是打光。
请参阅图1所示,在本发明的一个实施例中,获取在复杂水下环境条件中,偏振角度为例如θ0=0°、θ60=60°、θ120=120°的三幅相应的强度图像I0、I60、I120,其中I对应的是原始光强,θ对应的是偏振角度。在此基础上,计算图像的斯托克斯矢量(Stokes矢量),S=(I,Q,U)T,其计算方法如下:
式(1)中,I表示目标物水下的原始强度图像,即为目标图像的光强,原始强度图像I的像素记为M×N,Q表示0°~90°方向上线偏振光的分量之差,U表示±45°方向上线偏振光的分量之差。
再利用式(2)求解出目标物水下原始强度图像的线偏振度图像DoLP:
请参阅图1所示,在本发明一实施例中,在S1求取出所述原始强度图像的斯托克斯矢量的基础上,步骤S2的具体过程如下:利用最大最小光强拟合的方法得出I(θ)和θ的关系曲线,即目标物光强和偏振角大小的关系,再利用式(3)计算获得θmax和θmin角度下对应的最大光强图Imax和最小光强图Imin,且最大光强图Imax和最小光强图Imin的表示如下:
以上过程,利用S1中获得的不同偏振度下的目标原始强度图像,通过斯托克斯矢量分析得到其对应的线偏振图像,再在S2中进一步利用最大最小光强拟合方法得到最大和最小光强图。
请参阅图1所示,对于偏振信息参数的估计常以图像中不包含目标的局部背景区域的平均值作为全局特征参数,这一估算方式存在较大的随机性,这就导致水下偏振信息获取不精准,为了解决这个问题,在S2中利用目标物的原始强度图像计算好最大光强图和最小光强图后,进行步骤S3,即计算无穷远处的水下背景光强值。
请参阅图3所示,在本发明的一个实施例中,所述水下背景区域光强值为无穷远处的水下背景光强值,其获取方法为将所述原始强度图像内的像素点按照点位顺序标号,将第一个像素点的灰度值与其后续标号的像素点灰度值进行逐个比较更替,得到所述原始强度图像中的最大灰度值,对应所述最大灰度值确定无穷远处的水下背景光强值,具体地,将无穷远处的水下背景区域光强值设为B∞,B∞的获取方法包括以下步骤:
S31、定义变量i,并初始化i=1,定义一幅新的图像。
S32、将所述原始水下强度图像I(x,y)中的第i个像素点的灰度值与其邻域内像素点的灰度值进行比较,并选出最大的灰度值作为所述第i个像素点的灰度值,并存储在所述新的图像的第i个像素点中。
S33、将i+1赋值给i,并判断i>M×N是否成立,若成立,则执行步骤S34,否则返回执行S32。
S34、初始化i=2。
S35、将所述新的图像的第i个像素点的灰度值与所述新的图像的第i-1个像素点的灰度值进行比较,若第i个像素点的灰度值大于等于所述新的图像的第i-1个像素点的灰度值,则第i个像素点的灰度值保持不变,否则,将所述新的图像的第i-1个像素点的灰度值赋值给第i个像素点。
S36、将i+1赋值给i,并i>M×N是否成立,若成立,则表示获得所述原始水下强度图像I(x,y)中所有像素点的无穷远处水下背景光强值,从而构成无穷远处水下背景光强值B∞,并执行S4,若不成立,返回执行S35。
请参阅图3所示,在S31-S33的步骤中,通过将被选像素点(第i个像素点)的灰度值与邻域的像素点灰度值进行比较,使被选像素点的灰度值是包含其本身在内的邻域中最大的,即挑选出其中最亮的像素点,并将这个像素点的灰度值赋予被选像素点,将i=i+1,使被选像素点开始转移并不断通过邻域比较筛选出更亮的像素点灰度,直到选到的像素点的像素坐标i已经大于原始图像的M×N,此时也就完成了对原始图像全局的像素筛选。
请参阅图3所示,在S34-S36的步骤中,更换i的初始位置,从全局的第2个像素点开始,将第2个像素点与第1个进行比较,随后继续开始S31-S33步骤中的推进筛选,直到完成全局筛选,这样的筛选进行了两遍,且通过不同的初始赋值,能使筛选的准确度得到提升,且通过以上步骤得到的第i个像素点的灰度值与M×N的全局每一个像素点都进行过比较,其灰度值是最大的,得到的这个灰度值的像素点相较于全局每一个像素点的都能作为无穷远处光强看待。
这种方法规避了人工选择背景时以背景平均值作为全局参数的不准确性,也规避了人工选取背景参数的随机性,得到的结果更加精准,且这种算法过程简单,能快速得到无穷远处的水下背景光强值。
请参阅图1所示,在S3中确定好水下背景光强值后,再在S4的步骤中,进一步去推算出水下背景光偏振度信息PB(x,y),其获取方法为:对所述原始强度图像进行偏振滤波处理,得到水下背景强度图像,对所述水下背景强度图像进行斯托克斯矢量计算,得到水下偏振度参数,根据所述水下偏振度参数进行线偏振度计算,得到水下线偏振度图像,分析所述水下线偏振度图像得到水下背景偏振度信息。其推算过程包括偏振滤波处理、水下背景强度图像计算、求解水下背景图像的偏振度图像,具体如下:
偏振滤波处理:对所述不同偏振化方向下的水下原始强度图像I1(x,y),
I2(x,y)····In(x,y)进行偏振滤波处理,如式(4)所示,得到水下背景光强图像B1(x,y),B2(x,y)····Bn(x,y),其中B(x,y)的表示方法如下:
B(x,y)=min(p(median(I(x,y))-median(|I(x,y)-Im(x,y)|)),I(x,y))(4)
式(4)中,I(x,y)是成像系统采集的原始光强图像,median()表示中值滤波,Im表示光强图I(x,y)经式(5)偏振滤波后的图像,p是比例参数。
Im(x,y)=mediansv(I(x,y)) (5)
式(5)中:sv=2*floor(max(size(I))/25)+1,sv表示中值滤波的邻域尺寸取值。
水下背景强度图像计算:对新的不同偏振化方向下的水下背景强度图像B1(x,y),B2(x,y)····Bn(x,y)利用式(1)进行求解,获得水下背景图像的斯托克斯矢量Snew=(Bnew,Qnew,Unew)T,Bnew表示水下背景强度图像。
求解水下背景图像的偏振度图像:利用式(2)求解出水下背景图像的偏振度图像DoLPnew(x,y),并将所述水下背景图像的偏振度图像DoLPnew(x,y)作为所述原始水下目标图像I(x,y)的背景光偏振度图像PB(x,y),在S1中利用式(2)求解出了目标物的原始强度图像的线偏振图像,S43中通过偏振滤波处理,求解出水下背景图像的线偏振图像,从而得到了水下背景的光偏振信息。
请参阅图1所示,根据S1中的目标原始强度图像,在S2中确定了最大光强图Imax、最小光强图Imin,S3中确定了水下无穷远处背景光强值B∞,S4中确定了水下背景偏振度信息,在此基础上进行步骤S5,推导水下传输率t(x,y),其推导过程如下:
根据背景光的定义:
B(x,y)=∫ΘB(Θ)dΘ=B∞(1-t(x,y)) (6)
其中B(Θ)为后向散射体积元函数,Θ为水体中一微小体积元所有可能发生的散射角度集,B∞=∫ΘB∞(Θ)dΘ为水下无穷远处背景光强值。
由此可得到,水下传输率的表达式为:
而最大光强和最小光强的表达式为:
利用式(8)可以得到水下场景光强如式(9)所示:
I(x,y)=Imax(x,y)+Imin(x,y) (9)
请参阅图1所示,在本发明的一个实施例中,所述水下传输率和水下场景偏振度、水下背景偏振度、水下目标反射光偏振度相关。具体地,依据偏振度的定义公式,表达出水下场景偏振度PI(x,y)、背景光偏振度PB(x,y)、水下目标反射光偏振度PS(x,y):其中,PI(x,y)、PB(x,y)、PS(x,y)的表达式如下:
联立式(8)-式(10)可得水下场景光强合成和差分表达式为:
由式(11)可以推导出:
联合式(6)和式(12),可进一步得出新的传输率t(x,y)表达式为:
请参阅图1所示,在本发明的步骤S5中,首先是结合背景光的定义来推导传输率t(x,y),再结合水下场景偏振度PI(x,y)、背景光偏振度PB(x,y)、水下目标反射光偏振度PS(x,y)三种偏振信息,联合水下光强的和差情况来实现对水下传输率t(x,y)的表达式推导。
请参阅图1所示,在本发明的一个实施例中,S5中这个水下传输率t(x,y)的推导就是建立在S3计算出的水下背景无穷远处的光强值B∞上的,进一步地再结合在S2中算出的最大光强图和最小光强图,用偏振度本身的计算公式来表达水下场景偏振度PI(x,y)、背景光偏振度PB(x,y)、水下目标反射光偏振度PS(x,y)这三种偏振信息,将这几种参数通过背景光的定义联合立式来得到水下传输率t(x,y),这个过程充分考虑到了水下环境中光向后散射对模型造成的影响,以及水下场景的偏振信息本身对光在水下的传输率造成的影响,使这个水下传输率t(x,y)的表达完整而精确。
请参阅图1所示,在式(14)的重构模型下得到的目标图像是充分是考虑了目标物的偏振信息的,体现在对水下传输率的表达改进:其表达加入了水下目标物本身的反射光偏振度信息以及背景光偏振度信息、场景的偏振度信息,再建立在背景光的理论基础上对水下传输率进行推导,这样的水下传输率改进方式,一是在偏振度信息上的考虑更加全面,二是建立在背景光理论的推导上这样的水下传输率表达式会更加准确,三是应用在先前无穷远处背景光强B∞的基础上,在精准化的B∞表达上,这样的水下传输率能精准适用于水下成像表达,其准确率更高,而在水下传输率t(x,y)的基础上,结合最大光强图、最小光强图、水下场景偏振度PI(x,y)、背景光偏振度PB(x,y)、水下目标反射光偏振度PS(x,y)来对水下目标模型进行构建,得到的水下目标图像重构模型的准确度也自然得到提升,能更完整更准确地对目标物的原始强度图像进行重构。
请参阅图1所示,通过S6的模型计算出重构图像,再通过S7自动计算出重构图像的参数,通过S8计算出重构图像,最后通过S9进一步增强重构图像。
请参阅图1所示,S7中对目标物的重构参数进行确定,具体是关于目标偏振度的参数确定。
请参阅图1所示,在本发明的一个实施例中,当所述水下传输率和所述目标辐射均与水下目标反射光偏振度相关,且所述水下传输率与所述目标辐射的相关性最大时,获得所述偏振重构最优解,具体分析如下:根据在先前S5和S6的分析中,能确定水下目标物反射光偏振度信息PS(x,y)的计算与无穷远处水下背景光强值B∞、水下背景光偏振度信息PB(x,y)的计算是无关的,即PS(x,y)与B∞、PB(x,y)两者不相关,即其取值相互不影响,在分析PS(x,y)的基础上,将B∞、PB(x,y)作为常量考虑,而传输函数t(x,y)与场景深度、水中衰减系数相关,由重构得到的目标物图像,即目标辐射Lobject(x,y)与所采集目标场景的内在特征相关,那么传输函数t(x,y)与目标辐射Lobject(x,y)均可以表达为关于目标偏振度的函数PS(x,y)。故当两者相关性最大时对应的目标偏振度的值PS(x,y)即为所求,按照这个思路,就能通过两者相关性大小实现对目标偏振度PS(x,y)的参数确定。其具体过程如下。
采用水下传输率t(x,y)与目标辐射Lobject(x,y)的协方差大小来衡量两者无关性的大小,其计算方法为:
其中,PS(x,y)代表的是目标偏振度信息,因此其取值范围应该是0≤PS(x,y)≤1。
请参阅图1所示,所述水下传输率和所述目标辐射的协方差计算方法包括迭代计算,迭代区间为所述水下目标反射光偏振度PS(x,y)的取值区间,PS(x,y)∈[0,1]。此处选择的迭代次数就是计算目标偏振度所需的计算次数,也是自动化求取参数的基础,在多次迭代计算中,直接算取两者协方差的最小绝对值,从而直接确定对应的目标偏振度PS(x,y)。
将水下传输函数t(x,y)改为t(x,y)=1-θ(x,y),其中θ为前文提出过的目标物偏振角度,且θ(x,y)∈(0,1),其能够描述水下传输率的特性,结合式(13)就能对θ(x,y)进行表达,即:
将水下目标重构模型式(14)重新变换为:
那么水下传输率和目标辐射的协方差表示为:
式(18)中的协方差为关于目标偏振度PS(x,y)的函数表达式,PS(x,y)∈[0,1],在确定此方程的情况下,继续采用迭代的方式来求解目标偏振度的最优解。采用迭代的方式能让计算机参与求解参数,其计算方法简单,能快速而准确地处理出所需的目标偏振度数值,无需人工参与,而迭代次数和步长根据所需以及计算能力也能进行相应的改变。
请参阅图1所示,在本发明一实施例中,所述水下传输率和所述目标辐射的协方差计算方法包括迭代计算,其计算方法包括:确定所述水下目标反射光偏振度PS(x,y)的取值区间,将PS(x,y)的取值区间均分为多份,均分的份数作为迭代次数,均分的距离作为迭代步长,均分的分隔点作为PS(x,y)的迭代值,将所述迭代值代入所述水下传输率和所述目标辐射的协方差计算公式中,得到协方差结果。且在S7中,将水下传输率和目标辐射的协方差最小绝对值对应的目标偏振度作为水下目标重构模型的重构最优解。例如:在PS(x,y)的取值区间[0,1]内,取例如200个点,步长例如为0.05,依次迭代计算其协方差的绝对值,得到不同目标偏振度对应的协方差绝对值构成的数组,当取数组中的最小值时其对应的目标偏振度的值即为水下目标图像重构模型的最优解。在得到该最优解后,结合将S2中得到的最大光强图Imax和最小光强图Imin、S3中得到的水下无穷远处背景光的光强B∞、S4中得到的水下背景偏振度信息PB(x,y),代入S6的水下目标图像重构模型中,得到重构图像。
请参阅图1所示,通过S1-S8得到的重构图像不仅准确而且结果输出稳定,即以上方法能准确地进行水下成像的偏振重构,而且能稳定地完成图像重构,只在清晰度上还略有不足,因此对其进行S9的图像增强操作。
请参阅图1所示,在本发明的一个实施例中,对所述重构图像进行增强处理,首先对所述重构图像进行高斯滤波处理,得到对应的模糊图像,再对所述模糊图像进行细节提取得到不同的细节图像,将各幅不同的所述细节图像进行合并得到整体细节图像,最后将所述整体细节图像和所述重构图像进行融合,得到水下目标的清晰复原结果,其具体过程如下。
将通过水下目标图像重构模型重构得到的目标图像定义为I*(x,y)。以高斯核函数滤波处理图像I*(x,y)(即Lobject(x,y)),从而得到三幅不同的模糊图像B1、B2、B3,这三幅图的表达式如下:
其中,G1、G2和G3分别指代标准差为σ1=1.0,σ2=2.0,σ3=4.0的高斯核函数。再进一步提取出图像中的三层不同细节图像D1、D2和D3,其表达式如下:
通过合并三层细节图像D1、D2和D3生成整体细节图像。
D*(x,y)=(1-ω1×sgn(D1(x,y)))×D1(x,y)+ω2×D2(x,y)+ω3×D3(x,y) (21)
将重构图像和三层细节图像进行融合得到图像增强处理结果D*(x,y)。
L(x,y)=Lobject(x,y)*D*(x,y) (22)
其中,为了为了在景深处保持一定的雾感,使图像看起来更真实自然,在式(21)中引进了一个恒定参数ω(0<ω≤1),ω1、ω2、ω3分别是固定值0.5、0.5和0.25。
请参阅图1所示,在S9中通过将细节处理的图像和重构图像进行融合,得到图像为L(x,y),其清晰度和细节呈现得到了提升。综合S1-S9的步骤,得到的重构图像目标的清晰复原结果。
在本发明的方法基础上,对此方法进行应用,以下给出应用实例。
请参阅图4和图6,目标物一为一个小车模型,图4为目标物一的原始强度图像,图中从上到下对应的图像分别为偏振角度为0°、60°、120°时对应的目标物原始强度图像,图6为目标物一的复原结果图,即经过本发明的偏振重构模型计算后得到的复原结果图。
请参阅图5和图7,目标物二为一个度量尺及被度量物体,图5为目标物二的原始强度图像,图中从上到下对应的图像分别为偏振角度为0°、60°、120°时对应的目标物原始强度图像,图7为目标物二的复原结果图,即经过本发明的偏振重构模型计算后得到的复原结果图。
从图4和图5的对比,图6和图7的对比上,能够明显看出:首先,本发明采用偏振方法进行水下成像能够对水下目标物进行完整而又准确地复原,在图8中能明显看出度量尺本身的刻度也得到了清楚准确的复原,没有缺漏,其次,本发明的成像方法得到的图像具备较好的清晰度和亮度,且目标物边缘没有出现明显模糊,最终成像的图在图像展示上具备较大的优势,最后,通过两个目标物在细节上的展示以及图片像素的稳定输出上,本发明的水下偏振成像方法能稳定地对目标物图像进行重构。
请参阅图8和图9,图8为目标物一的原始强度图和经过本发明处理后的效果图分别对应的图像视觉直方图,图9为目标物二的原始强度图和经过本发明处理后的效果图分别对应的图像视觉直方图,图4-图7为成像展示,图8和图9给出的是图像的分布结构图,通过图8和图9能看出,经过本发明的方法处理后的效果图在光强数值或者说灰度值的分布上更加均匀,不再有原始强度图像中只集中在偏振角度附近的情况,可以说经过本发明的偏振成像重构处理得到的图像在背景处理上更加准确,误差降低,且处理方法十分柔和,得到的重构结果是稳定的。
请参阅表1所示,对成像的目标物进行进一步的数据分析,具体如表1,表1为重构图像和合成强度图在图像信息熵、平均梯度、边缘强度和方差等参数上的定量比较。
表1
请参阅表1所示,能明显看出本发明的处理图相较于原始强度图在图像熵上有所增多,表明其图像上的信息量更多,平均的灰度聚集值也有所提升,配合前面的图8和图9来看,处理图的图像灰度有数值上升和分布更加均匀的处理结果,图像具备了整体性的提亮效果,从数据上看图像熵更大也就意着处理过后的图像更加清晰。
请参阅表1所示,本发明的处理图相较于原始强度图在平均梯度上有较大上升,表明其图像数据上灰度变化率的提升,从数据上看这就意味着图像的层次更加分明,清晰度更高。
请参阅表1所示,本发明的处理图相较于原始强度图在边缘强度上有较大提升,这一参数对应的是图像边缘的灰度变化梯度,相较于平均梯度的提升,这一参数能更加直观地看出处理图在层次上更加分明,清晰度更高。
请参阅表1所示,本发明的处理图相较于原始强度图在图像方差上有较大提升,图像方差意味着对比度,与平均梯度相对应,更大的图像方差表明本发明的处理图在图像的整体对比度上提升较大。
请参阅图2和图10所示,在本发明的一个实施例中提出一种水下成像系统,所述水下成像系统50包括:采样模块501,用于在水下环境条件中,获取目标物不同偏振角度的原始强度图像,水下背景区域光强计算模块502,用于根据所述原始强度图像,获得线偏振度图像、水下背景偏振度信息、最大光强图和最小光强图,再计算获得水下背景区域光强值,重构模型搭建模块503,用于根据背景光的定义计算获得水下传输率,并构建和所述水下传输率相关的水下目标图像重构模型,重构图像计算模块504,用于根据所述水下目标图像重构模型,结合得到的所述最大光强图、所述最小光强图、所述水下背景区域光强值、所述水下背景偏振度信息、所述偏振重构最优解,得到重构图像,图像融合增强计算模块505,用于对所述重构图像进行增强处理,得到水下目标的清晰复原结果。
请参阅图11所示,本发明还提出一种电子设备,所述电子设备包括处理器60和存储器70,所述存储器70存储有程序指令,所述处理器60运行程序指令实现上述的数据模型的配置方法。所述处理器60可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等,还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)或者其他可说编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,所述存储器70可能包含随机存取存储器(RandomAccess Memory,简称RAM),也可能还包括非易失性存储器(Non-Volatile Memory),例如至少一个磁盘存储器。所述存储器70也可以为随机存取存储器(RandomAccess Memory,RAM)类型的内部存储器,所述处理器60、存储器70可以集成为一个或多个独立的电路或硬件,如:专用集成电路(Application SpecificIntegrated Circuit,ASIC)。需要说明的是,上述的存储器70中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
请参阅图12所示,本发明还提出一种计算机可读存储介质801,所述计算机可读存储介质801存储有计算机指令80,所述计算机指令80用于使所述计算机执行上述的数据模型的配置方法。计算机可读存储介质801可以是,电子介质、磁介质、光介质、电磁介质、红外介质或半导体系统或传播介质。计算机可读存储介质801还可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘可以包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-RW)和DVD。
在本说明书的描述中,参考术语“本实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明实施例只是用于帮助阐述本发明。实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (10)
1.一种水下成像方法,其特征在于,至少包括以下步骤:
在水下环境条件下,获取目标物不同偏振角度的原始强度图像;
根据所述原始强度图像,获得线偏振度图像、水下背景偏振度信息、最大光强图和最小光强图,再计算获得水下背景区域光强值;
根据背景光的定义计算获得水下传输率,并构建和所述水下传输率相关的水下目标图像重构模型;
根据所述水下传输率与所述目标辐射的相关性,获取所述水下目标图像重构模型的偏振重构最优解;
根据所述水下目标图像重构模型,结合得到的所述最大光强图、所述最小光强图、所述水下背景区域光强值、所述水下背景偏振度信息、所述偏振重构最优解,得到重构图像;
对所述重构图像进行增强处理,得到水下目标的清晰复原结果。
2.根据权利要求1所述的一种水下成像方法,其特征在于,所述水下背景区域光强值为无穷远处的水下背景光强值,且计算获得水下背景区域光强值的步骤包括:
将所述原始强度图像内的像素点按照点位顺序标号;以及
将第一个像素点的灰度值与其后续标号的像素点灰度值进行逐个比较更替,得到所述原始强度图像中的最大灰度值;以及
对应所述最大灰度值确定无穷远处的水下背景光强值。
3.根据权利要求1所述的一种水下成像方法,其特征在于,所述水下背景偏振度信息的获取步骤包括:
对所述原始强度图像进行偏振滤波处理,得到水下背景强度图像;以及
对所述水下背景强度图像进行斯托克斯矢量计算,得到水下偏振度参数;以及
根据所述水下偏振度参数进行线偏振度计算,得到水下线偏振度图像,分析所述水下线偏振度图像得到水下背景偏振度信息。
6.根据权利要求5所述的一种水下成像方法,其特征在于,当所述水下传输率和所述目标辐射均与水下目标反射光偏振度相关,且所述水下传输率与所述目标辐射的相关性最大时,获得所述偏振重构最优解。
8.根据权利要求7所述的一种水下成像方法,其特征在于,所述水下传输率和所述目标辐射的协方差的获取步骤包括:
确定所述水下目标反射光偏振度的取值区间;以及
将所述水下目标反射光偏振度的取值区间均分为多份,均分的份数作为迭代次数,均分的距离作为迭代步长,均分的分隔点作为的迭代值;以及
将所述迭代值代入所述水下传输率和所述目标辐射的协方差计算公式中,得到协方差结果。
9.根据权利要求1所述的一种水下成像方法,其特征在于,对所述重构图像进行增强处理的步骤包括:
对所述重构图像进行高斯滤波处理,得到对应的模糊图像;以及
对所述模糊图像进行细节提取得到不同的细节图像,将各幅不同的所述细节图像进行合并得到整体细节图像;以及
将所述整体细节图像和所述重构图像进行融合,得到水下目标的清晰复原结果。
10.一种水下成像系统,其特征在于,包括:
采样模块,用于在水下环境条件中,获取目标物不同偏振角度的原始强度图像;以及
水下背景区域光强计算模块,用于根据所述原始强度图像,获得线偏振度图像、水下背景偏振度信息、最大光强图和最小光强图,再计算获得水下背景区域光强值;以及
重构模型搭建模块,用于根据背景光的定义计算获得水下传输率,并构建和所述水下传输率相关的水下目标图像重构模型;以及
重构图像计算模块,用于根据所述水下目标图像重构模型,结合得到的所述最大光强图、所述最小光强图、所述水下背景区域光强值、所述水下背景偏振度信息、所述偏振重构最优解,得到重构图像;以及
图像融合增强计算模块,用于对所述重构图像进行增强处理,得到水下目标的清晰复原结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111054198.8A CN113763276A (zh) | 2021-09-09 | 2021-09-09 | 一种水下成像方法及其系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111054198.8A CN113763276A (zh) | 2021-09-09 | 2021-09-09 | 一种水下成像方法及其系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113763276A true CN113763276A (zh) | 2021-12-07 |
Family
ID=78794139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111054198.8A Pending CN113763276A (zh) | 2021-09-09 | 2021-09-09 | 一种水下成像方法及其系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113763276A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114324185A (zh) * | 2022-01-04 | 2022-04-12 | 浙江大学 | 一种基于Stokes矢量的水下偏振探测装置 |
CN117805852A (zh) * | 2024-02-26 | 2024-04-02 | 天津市天开海洋科技有限公司 | 一种基于虚拟照明调制实现水下散射抑制的偏振成像方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447833A (zh) * | 2015-12-24 | 2016-03-30 | 合肥工业大学 | 基于偏振的雾天图像重构方法 |
CN111738941A (zh) * | 2020-06-05 | 2020-10-02 | 大连海事大学 | 融合光场和偏振信息的水下图像优化方法 |
-
2021
- 2021-09-09 CN CN202111054198.8A patent/CN113763276A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105447833A (zh) * | 2015-12-24 | 2016-03-30 | 合肥工业大学 | 基于偏振的雾天图像重构方法 |
CN111738941A (zh) * | 2020-06-05 | 2020-10-02 | 大连海事大学 | 融合光场和偏振信息的水下图像优化方法 |
Non-Patent Citations (2)
Title |
---|
方帅等: "利用偏振分析的雾天图像复原", 《合肥工业大学学报(自然科学版)》, vol. 38, no. 4, pages 468 - 473 * |
范之国等: "全局参数估计的水下目标偏振复原方法", 《光学精密工程》, vol. 26, no. 7, pages 1621 - 1632 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114324185A (zh) * | 2022-01-04 | 2022-04-12 | 浙江大学 | 一种基于Stokes矢量的水下偏振探测装置 |
CN117805852A (zh) * | 2024-02-26 | 2024-04-02 | 天津市天开海洋科技有限公司 | 一种基于虚拟照明调制实现水下散射抑制的偏振成像方法 |
CN117805852B (zh) * | 2024-02-26 | 2024-05-10 | 天津市天开海洋科技有限公司 | 一种基于虚拟照明调制实现水下散射抑制的偏振成像方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Haze visibility enhancement: A survey and quantitative benchmarking | |
WO2021217643A1 (zh) | 红外图像处理方法、装置及可移动平台 | |
CN106408524B (zh) | 基于二维图像辅助的深度图像增强方法 | |
Zhuo et al. | Defocus map estimation from a single image | |
DE102013210153B4 (de) | Techniken zum Erzeugen von robusten Stereo-Bildern | |
US8983177B2 (en) | Method for increasing resolutions of depth images | |
US8842906B2 (en) | Body measurement | |
Voynov et al. | Perceptual deep depth super-resolution | |
CN113763276A (zh) | 一种水下成像方法及其系统 | |
CN113888689A (zh) | 图像渲染模型训练、图像渲染方法及装置 | |
CN112200848B (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及系统 | |
Chen et al. | A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery | |
JP5911292B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
Rosinol et al. | Probabilistic volumetric fusion for dense monocular slam | |
CN111476812A (zh) | 地图分割方法、装置、位姿估计方法和设备终端 | |
Gangisetty et al. | FloodNet: Underwater image restoration based on residual dense learning | |
Estrada et al. | Multi-frame image fusion using a machine learning-based weight mask predictor for turbulence-induced image degradation | |
CN108364274A (zh) | 微纳米尺度下光学图像的无损清晰重构方法 | |
Khoddami et al. | Depth map super resolution using structure-preserving guided filtering | |
Ma et al. | Computational framework for turbid water single-pixel imaging by polynomial regression and feature enhancement | |
Trifonov | Real-time high resolution fusion of depth maps on GPU | |
Ko et al. | Accurate depth estimation of skin surface using a light‐field camera toward dynamic haptic palpation | |
Bringier et al. | Evidence theory for high dynamic range reconstruction with linear digital cameras | |
Salokhiddinov et al. | Depth from focus for 3D reconstruction by iteratively building uniformly focused image set | |
CN112750156A (zh) | 光场成像系统、处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |