CN116157827A - 用于水下成像的方法和设备 - Google Patents
用于水下成像的方法和设备 Download PDFInfo
- Publication number
- CN116157827A CN116157827A CN202180059021.9A CN202180059021A CN116157827A CN 116157827 A CN116157827 A CN 116157827A CN 202180059021 A CN202180059021 A CN 202180059021A CN 116157827 A CN116157827 A CN 116157827A
- Authority
- CN
- China
- Prior art keywords
- polarization
- image
- veil
- degree
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 230000010287 polarization Effects 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000002245 particle Substances 0.000 description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/08—Waterproof bodies or housings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J4/00—Measuring polarisation of light
- G01J4/04—Polarimeters using electric detection means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Polarising Elements (AREA)
Abstract
本发明涉及一种用于水下成像的方法(100)，包括以下步骤：·由偏振式图像传感器(7)获取(102)由像素组成的图像，所获取的图像包括针对像素中的至少一部分像素的反向散射面纱，所获取的图像包括同时获取的至少四个子图像(10a、10b、10c、10d)，至少四个子图像(10a、10b、10c、10d)对应至少四个不同的偏振；·基于所获取的图像的像素的发光强度来计算(104)斯托克斯参数；·基于斯托克斯参数来确定(106)反向散射面纱的偏振角；·基于斯托克斯参数来确定(112)反向散射面纱的偏振度；·基于反向散射面纱的偏振角和偏振度来计算(118)反向散射面纱的发光强度，以及·基于所获取的图像和反向散射面纱的发光强度来计算(126)改进的图像；该方法通过用于水下成像的设备来实施。本发明还涉及一种实施这种方法的设备。
Description
技术领域
本发明涉及一种用于偏振水下成像的方法。本发明还涉及一种用于实施这种方法的用于水下成像的设备。
本发明的领域非限制性地是水下成像领域。更具体地，但非限制性地，本发明的领域是在浑浊水中进行水下检查的领域。
背景技术
当在诸如烟雾、雾气或浑浊水的扩散介质(diffusive media)中拍摄场景图像时，其对比度和亮度由于这些介质中存在悬浮的颗粒而降低。
特别地，混浊介质中的图像的质量会因以下两个因素而降低：
-由自然场景反射的光，其部分地被悬浮颗粒吸收，
-由颗粒散射的不期望的光，对于在空气中拍摄的图像，通常称为“空气光”。这种散射光会产生面纱(veil)，使图像对比度下降。
在图像处理期间，重要的是能够精确地确定散射光的强度和颜色，以提高可见度。
为了消除面纱，已经开发了许多用于在散射介质中恢复图像的方法。这些方法(称为去雾方法)基于针对所捕获光的几种不同偏振获取同一场景的几个图像。
通过利用两种不同的偏振，偏振成像在水下摄影中特别为人所知。
通常，实施这些方法的系统需要在不同图像捕获之间操纵偏振分析器，以及操纵水下场景的偏振或非偏振的人工照明。处理方法也相对较长，具体取决于所获取图像的大小。因此，已知的去雾方法不适用于实时处理图像(例如视频)。
发明内容
本发明的目的是提供一种可以克服上述缺点的用于水下成像的方法和设备。
本发明的目的是提出一种用于水下成像的方法和设备，其使得能够在所有类型的水中实时获得清晰的且高对比度的水下图像。
该目的是通过一种用于水下成像的方法实现的，该方法包括以下步骤：
-通过偏振式图像传感器获取由像素组成的图像，所获取的图像包括针对至少一部分像素的反向散射面纱，所获取的图像包括同时获取的至少四个子图像，至少四个子图像对应于至少四个不同的偏振，
-基于所获取的图像的像素的发光强度计算斯托克斯(Stokes)参数，
-基于斯托克斯参数来确定反向散射面纱的偏振角，
-基于斯托克斯参数来确定反向散射面纱的偏振度，
-基于反向散射面纱的偏振角和偏振度来计算反向散射面纱的发光强度，以及
-基于所获取的图像和反向散射面纱的发光强度来计算改进的图像，
该方法通过用于水下成像的设备来实施。
用于水下成像的方法使得可以提高在水下获取的图像的质量。该方法实施图像的偏振采集和处理，该处理基于对所捕获光的偏振角分布的分析。该分析使得可以识别源自由悬浮颗粒产生的散射的发光强度，从而消除该散射。
根据本发明的方法不利用待成像的场景的任何人工照明。因此，只有阳光照亮场景。太阳光是被称为非偏振光的光。然而，根据斯涅耳-笛卡尔(Snell-Descartes)和麦克斯韦(Maxwell)定律，空气-水界面的作用是使光部分偏振。光的偏振角取决于太阳在天空中的位置。在所有情况下，光在穿过空气-水界面后会充分偏振。当光被悬浮在水中的颗粒散射时，也会部分偏振。由于这两种现象，散射光的部分偏振使得能够应用根据本发明的方法的处理步骤。
所获取的图像包括对应于至少四个不同偏振的至少四个子图像。然后同时获取子图像，它们的获取不需要任何分析仪操纵或调整。每个子图像将场景完全表示为所获取的图像本身。
计算斯托克斯参数的步骤以及因此根据本发明的方法的所有其他处理步骤是基于所获取的图像的像素的发光强度来执行的。这意味着整个图像以及所有像素都能够用于执行该计算。事实上，事先没有选择图像的任何区域或区。
凭借偏振采集和同时采集，结合图像的整个表面的处理，能够实时实施根据本发明的方法，特别是对于视频实施根据本发明的方法。
在下文中，术语“水下”应当被理解为通常表示“在水下”，根据本发明的方法和设备适用于在海底环境中使用，但当然同样适用于湖泊、溪流、河流等。
根据有利的实施例，偏振能够是线性的并且对应于0°、45°、90°和135°。
根据替代实施例，偏振中的两个偏振能够是线性偏振并且另外两个能够是左旋圆偏振和右旋圆偏振。
根据实施例，确定偏振角的步骤能够通过以下操作来执行：
-根据斯托克斯参数绘制偏振角值图，以及
-基于角值图确定所获取的图像中最具代表性的偏振角值，该最具代表性的偏振角值称为面纱的偏振角。
类似地，确定偏振度的步骤能够通过以下操作来执行：
-基于斯托克斯参数绘制偏振度值图，
-基于度值图确定所获取的图像中最具代表性的偏振度值，该最具代表性的偏振度值称为面纱的偏振度。
根据实施例，该方法还能够包括估计在无穷远处的反向散射面纱的发光强度的步骤。
事实上，可以假设在无穷远处，反向散射面纱完全是由于悬浮颗粒具有定义的偏振而产生的。因此，无穷远处的发光强度构成了颗粒的面纱的状态和性质(偏振、颜色)的参考。因此，可以估计出现在被成像场景或物体前面并且希望消除的反向散射的百分比，而不需要关于距物体或场景的距离的信息。
根据实施例，能够通过以下操作来执行估计在无穷远处的反向散射面纱的发光强度的步骤：
-基于反向散射面纱的偏振角和偏振度绘制发光强度值图，
-基于强度值图确定所获取的图像中最具代表性的强度值，该最具代表性的强度值称为无穷远处的发光强度。
根据实施例，计算反向散射面纱的发光强度的步骤能够包括计算所有子图像的反向散射面纱的发光强度的平均值的步骤。
有利地，计算斯托克斯参数的步骤通过对数量为n(例如，n＝4……8)的相邻像素平均斯托克斯参数来执行。
该步骤使得可以得到相邻强度值相差不太大的恢复图像，从而避免数字伪影。
有利的是，能够针对每个颜色通道R、G和B独立地执行所有图像处理步骤。
这考虑到了以下事实：在水下环境中，光的强度会根据其波长和在水中被覆盖的距离而衰减。
根据同一发明的另一个方面，提出了一种用于水下成像的设备，其包括：
-至少一个偏振式图像传感器，其包括：
·多个基本传感器，
·偏振分析器矩阵，其被布置成使得每个基本传感器都配备有分析器，每个分析器根据至少四个不同的偏振中的一者进行定向，使得分析器的定向以均匀的方式分布在传感器的表面上，
偏振式图像传感器被配置为获取包括被同时获取的至少四个子图像的图像，所述至少四个子图像对应于至少四个不同的偏振；和
-图像处理模块。
该设备被配置为实施根据本发明的方法的步骤。
有利地，该设备被配置为适用于远程操作的水下航行器(ROV)或自主水下航行器。
例如，这种类型的水下航行器使得可以对水坝、大桶(vat)、船体、管道进行检查，或者更广泛地说，可以对部分或全部浸没在水中的设施进行任何检查。它们还使得可以在人类无法到达的深度或地方进行水下工作。应用领域特别地如下：建筑、水坝、海洋可再生能源、钻井、结构的检查、维护和修理、电信、石油和天然气工业、平台拆除、核工业和国防。
替代地，根据本发明的设备可以由潜水员直接携带。
根据本发明的又一方面，提出了一种计算机程序，其包括引导根据本发明的用于水下成像的设备执行根据本发明的用于水下成像的方法的步骤的指令。
根据又一方面，本发明涉及一种计算机可读数据介质，其上记录了根据本发明的计算机程序。
附图说明以及具体实施方式
其他优点和特征将通过检查非限制性示例的详细描述以及附图而变得明显，其中：
-[图1]图1是根据本发明的用于水下成像的设备的非限制性实施例示例的示意图；
-[图2]图2是能够在根据本发明的设备中使用的示例光学传感器的示意图；
-[图3]图3是根据本发明的用于水下成像的方法的非限制性实施例示例的示意图；
-[图4]图4是根据本发明的示例所获取的图像；和
-[图5]图5示出了根据实施例示例的本发明的方法的步骤。
众所周知的是，下文中将描述的实施例绝不是限制性的。特别是能够设想本发明的变体，所述变体仅包括下文描述的特征的选择，与所描述的其他特征分开，如果这种特征选择足以赋予技术优势或使本发明相对于现有技术的状态有所区别。这种选择包括没有结构细节或者仅具有结构细节的一部分的特征(优选是功能性的特征)，如果仅该部分就足以赋予技术优势或使本发明相对于现有技术的状态有所区别。
特别地，可以将所描述的所有变体和所有实施例组合在一起，如果从技术角度不反对这种组合。
图1是能够在本发明的上下文中使用的用于水下成像的设备的非限制性实施例示例的示意图。该设备特别地能够用于实施本发明的方法。
图1中所示的设备1包括放置在防水箱5中的数字相机2和电子处理板4。相机2包括物镜3。相机2被布置成使得物镜3被定位成与箱子5的透明舷窗6相对。
例如如图2所示，相机2配备有偏振式传感器。传感器7包括具有多个基本传感器的CMOS型矩阵传感器和具有多个分析器8a的分析器矩阵8。每个基本传感器与分析器8a相关联。
图2同样示意性地示出了偏振式传感器7的一部分。如图2中的剖面线所示，衍射光栅形式的偏振滤光器能够放置在每个基本传感器上。微透镜能够放置在每个滤光器上。
如图1所示，箱子5还包括防水连接器9，以允许连接传输电缆，以便将来自电子板4的数据实时传输到远处的装备，例如陆地或船上的设备，能够使用相机2从该装备来引导携带设备1的ROV。
图3是根据本发明的用于水下成像的方法的非限制性实施例示例的示意图。
图3所示的方法100包括获取水下图像的步骤102。该步骤102例如能够通过参考图1和图2所描述的偏振式图像传感器来执行。所获取的图像包括针对至少一部分像素的反向散射面纱。
凭借偏振式传感器的性质，所获取的图像包括对应于捕获光的至少四个不同偏振的至少四个子图像。
例如，这些偏振是0°、45°、90°和135°。图4给出了具有这些偏振的四个子图像10a、10b、10c、10d的示例。
在混浊介质中，由传感器接收到的强度I包括场景通过颗粒的面纱反射的强度(表示为D)和反向散射面纱的强度(即由悬浮颗粒反射的强度)(表示为A)。分量A是部分极化的。I能够表达为：
[数学式1]
I＝D+A，
其中D和A能够分别用以下关系表达：
[数学式2]
D＝Lt(Z)，
[数学式3]
A＝Ainf[1-t(z)]。
L表示未被颗粒的面纱减弱的光强度，Ainf表示位于无穷远处的假想物体的反向散射面纱的强度，并且t(z)表示水的透射率。假设消光系数β不随距离z变化，无论拍摄图像的水的性质如何，t(z)能够表达为：
[数学式4]
t(z)＝e-βz。
借助于前述的等式，L能够表达为：
[数学式5]
在步骤104期间，基于所捕获的发光强度I为所获取的图像的像素中的每一个计算斯托克斯参数。斯托克斯参数是计算反向散射面纱的强度A、偏振角(AOP)θA和偏振度(DOP)pA所必需的。
对于对应于0°、45°、90°和135°偏振的四个图像，斯托克斯参数S0、S1和S2计算为如下：
[数学式6]
S0＝I0+I90，
[数学式7]
S1＝I0-I90，
[数学式8]
S2＝I45-I135，
其中S0表示入射光的总强度，并且S1和S2表示入射到传感器上的光的偏振状态。
应该注意的是，借助于等式[数学式6]，S0是通过仅使用四个子图像中的两个子图像来计算的，从而允许更快地执行该步骤。这可以通过使用偏振45°和135°沿0°和90°的投影来实现。
根据[数学式6-8]，可以根据以下关系获得入射光的偏振角θ和偏振度p：
[数学式9]
[数学式10]
由于根据本发明的方法不利用人工照明，因此它仅基于通过空气-水和通过悬浮颗粒的自然入射光的偏振。因此，这些颗粒反射偏振光。
在方法100的步骤106期间，基于斯托克斯参数确定反向散射面纱的偏振角θA。对于图3所示的方法的实施例，步骤106如下执行。
由于称为混浊环境的水下环境充满了颗粒，可以假设为了估计颗粒的面纱的AOP(θA)，确定图像中最具代表性的θ值就足够了。特别能够假设的是，从统计上看，即使焦点在整个图像上而不仅仅是面纱的区域，颗粒的面纱的偏振角在图像中也最具代表性。事实上，对于不同场景的多个图像，通过比较面纱区域和整个图像的偏振角直方图，可以注意到在两种情况下最大值基本上处于相同的角度值。
因此，在步骤108期间，针对所获取的图像绘制基于斯托克斯参数的偏振角θ值的图。
然后，在步骤110期间，确定最具代表性的偏振角值。基于该值图，计算偏振角值的直方图，然后检索直方图的最大值θA。
图5说明了确定颗粒的面纱的偏振角的步骤。图5(a)示出了在水中拍摄的未经处理的图像。图5(b)示出了图像中存在的偏振角值图。圆圈对应于一个区域，其被称为“面纱”的区域，即没有要成像的物体。最后，图5(c)示出了整个场景的角度值的直方图以及对应于角度θA的最大值。
在方法100的步骤112期间，基于斯托克斯参数确定反向散射面纱的偏振度p。该步骤112使得可以知道处于偏振状态θA的由传感器接收到的强度的百分比。根据图3所示的实施例，以与确定偏振角的步骤106相同的方式来执行步骤112。
因此，在步骤114期间，针对所获取的图像绘制基于斯托克斯参数的偏振度p值的图。
然后，在步骤116期间，基于值的直方图确定最具代表性的偏振度pA值。
在步骤118中，根据以下关系基于反向散射面纱的偏振角θA和偏振度pA来计算反向散射面纱的发光强度A：
[数学式11]
根据特别有利的实施例，面纱的强度A的计算能够如下执行：
[数学式12]
这相当于针对对应于四个偏振的四个子图像I0、I45、I90和I135中的每一个估计A，并且对A的这四个值进行平均以便找到A的最终值。
该实施例使得可以进一步提高图像恢复的质量并且特别地减少恢复图像中的颜色跳跃。
基于A，可以估计无穷远处的反向散射面纱的强度Ainf。根据图3所示的实施例，以与分别确定偏振角和偏振度的步骤106和112相同的方式执行该步骤120。
因此，在步骤122期间，针对整个所获取的图像绘制发光强度值图。
然后，在步骤124期间，基于值的直方图确定最具代表性的发光强度值，该最具代表性的发光强度值被称为无穷远处的面纱的强度Ainf。
所有用于改进或恢复图像的计算的参数都是以这种方式确定的(参见[数学式5])。
根据实施例，为了使图像处理自动化且更成功，将校正因子引入到关系[数学式5]中。如果A非常接近Ainf，则这使得可以避免在L的计算中的偏差。
首先，在等式[数学式5]中引入系数α：
[数学式13]
该系数是从0至1的可调参数。有利地，选择0.5的值，因为它在不同类型的水的测试中给出良好的结果。事实上，对于自动处理，不可能设想为所获取的每个新图像确定参数α。0.5的值允许图像处理不恶化，同时避免数字伪影。
其次，将反向散射面纱的归一化强度Anorm引入等式[数学式5]：
[数学式14]
这也允许减少数字伪影以获得更成功的图像处理。
因此，在步骤126期间，根据以下等式计算未被悬浮颗粒衰减的光的发光强度L：
[数学式15]
获得不再具有缺陷或数字伪影的恢复图像。
针对所获取的图像的每个颜色通道R、G和B独立地执行根据本发明的方法100的图像处理步骤104至126。
根据本发明的用于水下成像的方法能够在FPGA(现场可编程门阵列)类型的电子板上实施，该电子版包括例如来自Xilinx公司的Zynq7020。这种板非常紧凑(70mm×45mm)，并且能够很容易地安装在板(例如ROV)上。
由于根据本发明的方法的图像处理是可大规模并行化的，因此可以以VHDL(VHSIC硬件描述语言；VHSIC意为超高速集成电路)重新编写处理指令，这使得可以真正挖掘FPGA的潜力。
此外，可以设想在此类电子板上实施深度学习解决方案。
当然，本发明不限于已经描述的示例，并且可以在不超出本发明的范围的情况下对这些示例进行多种修改。
Claims (12)
1.一种用于水下成像的方法(100)，包括以下步骤：
o通过偏振式图像传感器(7)获取(102)由像素组成的图像，所获取的图像包括针对所述像素中的至少一部分像素的反向散射面纱，所获取的图像包括同时获取的至少四个子图像(10a、10b、10c、10d)，所述至少四个子图像(10a、10b、10c、10d)对应于至少四个不同的偏振，
o基于所获取的图像的像素的发光强度来计算(104)斯托克斯参数，
o基于所述斯托克斯参数来确定(106)所述反向散射面纱的偏振角，
o基于所述斯托克斯参数来确定(112)所述反向散射面纱的偏振度，
o基于所述反向散射面纱的偏振角和偏振度来计算(118)所述反向散射面纱的发光强度，以及
o基于所获取的图像和所述反向散射面纱的发光强度来计算(126)改进的图像，
所述方法通过用于水下成像的设备来实施。
2.根据前述权利要求所述的方法(100)，其特征在于，所述偏振是线性的并且对应于0°、45°、90°和135°。
3.根据权利要求1或2所述的方法(100)，其特征在于，确定偏振角的步骤(106)通过以下操作来执行：
-基于所述斯托克斯参数来绘制(108)偏振角值图，和
-基于所述角值图来确定(110)所获取的图像中最具代表性的偏振角值，所述最具代表性的偏振角值被称为所述面纱的偏振角。
4.根据前述权利要求中任一项所述的方法(100)，其特征在于，确定偏振度的步骤(112)通过以下操作来执行：
-基于所述斯托克斯参数来绘制(114)偏振度值图，
-基于所述度值图来确定(116)所获取的图像中最具代表性的偏振度值，所述最具代表性的偏振度值被称为所述面纱的偏振度。
5.根据前述权利要求中任一项所述的方法(100)，其特征在于，所述方法还包括估计在无穷远处的所述反向散射面纱的发光强度的步骤(120)。
6.根据权利要求5所述的方法(100)，其特征在于，估计在无穷远处的所述反向散射面纱的发光强度的步骤(120)通过以下操作来执行：
-基于所述反向散射面纱的偏振角和偏振度来绘制(122)发光强度值图，
-基于所述强度值图来确定(124)所获取的图像中最具代表性的强度值，所述最具代表性的强度值被称为无穷远处的发光强度。
7.根据前述权利要求中任一项所述的方法(100)，其特征在于，计算所述反向散射面纱的发光强度的步骤(118)包括计算所有子图像的发光强度的平均值的步骤。
8.根据前述权利要求中任一项所述的方法(100)，其特征在于，针对每个颜色通道R、G和B独立地执行所有图像处理步骤(104、106、112、118)。
9.一种用于水下成像的设备(1)，包括：
-至少一个偏振式图像传感器(7)，其包括：
o多个基本传感器，
o偏振分析器矩阵(8)，其被布置成使得每个基本传感器配备有分析器(8a)，每个分析器(8a)根据至少四个不同的偏振中的一者进行定向，使得所述分析器(8a)的定向以均匀的方式分布在所述传感器(7)的表面上，
所述偏振式图像传感器(7)被配置为获取包括同时获取的至少四个子图像(10a、10b、10c、10d)的图像，所述至少四个子图像(10a、10b、10c、10d)对应于所述至少四个不同的偏振；和
-图像处理模块(3)；
所述设备(1)被配置为实施根据前述权利要求中任一项所述的方法(100)的步骤。
10.根据权利要求9所述的设备(1)，其特征在于，所述设备(1)被配置为适用于远程操作的水下航行器或自主水下航行器。
11.一种包括指令的计算机程序，所述指令使根据权利要求9所述的用于水下成像的设备执行根据权利要求1至8中任一项所述的用于水下成像的方法的步骤。
12.一种计算机可读数据介质，其上记录有根据权利要求10所述的计算机程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FRFR2008098 | 2020-07-30 | ||
| FR2008098A FR3113162B1 (fr) | 2020-07-30 | 2020-07-30 | Procédé et dispositif d’imagerie sous-marine |
| PCT/EP2021/068976 WO2022022975A1 (fr) | 2020-07-30 | 2021-07-08 | Procede et dispositif d'imagerie sous-marine |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116157827A true CN116157827A (zh) | 2023-05-23 |
Family
ID=73643020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180059021.9A Pending CN116157827A (zh) | 2020-07-30 | 2021-07-08 | 用于水下成像的方法和设备 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20230296965A1 (zh) |
| EP (1) | EP4189635A1 (zh) |
| JP (1) | JP2023541102A (zh) |
| KR (1) | KR20230044425A (zh) |
| CN (1) | CN116157827A (zh) |
| FR (1) | FR3113162B1 (zh) |
| WO (1) | WO2022022975A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115170498B (zh) * | 2022-06-30 | 2023-05-23 | 江苏科技大学 | 一种基于多指标优化的水下偏振成像方法 |
| CN114877898B (zh) * | 2022-07-11 | 2022-10-18 | 北京航空航天大学 | 基于水下偏振姿态与折射耦合反演的太阳动态跟踪方法 |
| CN116222581B (zh) * | 2023-05-10 | 2023-07-11 | 北京航空航天大学 | 一种基于水下光强拮抗差分的偏振抗干扰解算方法 |
| CN116596805B (zh) * | 2023-07-14 | 2023-09-29 | 山东大学 | 一种基于场景物体与大气光偏振态差异的偏振去雾方法 |
| CN116773457B (zh) * | 2023-08-18 | 2024-05-17 | 华东交通大学 | 基于Stokes参数的偏振测量方法、系统、设备和介质 |
| CN117939308B (zh) * | 2024-03-15 | 2024-06-18 | 季华实验室 | 偏振成像方法、装置、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6122404A (en) * | 1998-05-28 | 2000-09-19 | Trw Inc. | Visible stokes polarimetric imager |
| WO2007129326A2 (en) * | 2006-05-09 | 2007-11-15 | Technion Research & Development Foundation Ltd | Imaging systems and methods for recovering object visibility |
| US8885962B1 (en) * | 2012-07-23 | 2014-11-11 | Lockheed Martin Corporation | Realtime long range imaging scatter reduction |
| GB201307116D0 (en) * | 2013-04-18 | 2013-05-29 | Mbda Uk Ltd | Imaging apparatus and method |
| FR3076425B1 (fr) * | 2017-12-28 | 2020-01-31 | Forssea Robotics | Systeme d'imagerie sous-marine polarisee pour ameliorer la visibilite et la detection d'objet en eau turbide |
-
2020
- 2020-07-30 FR FR2008098A patent/FR3113162B1/fr active Active
-
2021
- 2021-07-08 CN CN202180059021.9A patent/CN116157827A/zh active Pending
- 2021-07-08 WO PCT/EP2021/068976 patent/WO2022022975A1/fr active Application Filing
- 2021-07-08 EP EP21746367.8A patent/EP4189635A1/fr active Pending
- 2021-07-08 JP JP2023507232A patent/JP2023541102A/ja active Pending
- 2021-07-08 US US18/006,635 patent/US20230296965A1/en active Pending
- 2021-07-08 KR KR1020237004188A patent/KR20230044425A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| FR3113162B1 (fr) | 2022-07-29 |
| KR20230044425A (ko) | 2023-04-04 |
| EP4189635A1 (fr) | 2023-06-07 |
| US20230296965A1 (en) | 2023-09-21 |
| JP2023541102A (ja) | 2023-09-28 |
| FR3113162A1 (fr) | 2022-02-04 |
| WO2022022975A1 (fr) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116157827A (zh) | 用于水下成像的方法和设备 | |
| Wang et al. | Underwater image restoration via maximum attenuation identification | |
| Sahu et al. | A survey on underwater image enhancement techniques | |
| Chiang et al. | Underwater image enhancement: using wavelength compensation and image dehazing (WCID) | |
| Chiang et al. | Underwater image enhancement by wavelength compensation and dehazing | |
| US20070274604A1 (en) | Enhanced Underwater Imaging | |
| Ouyang et al. | Visualization and image enhancement for multistatic underwater laser line scan system using image-based rendering | |
| Khan et al. | Subsea pipeline corrosion estimation by restoring and enhancing degraded underwater images | |
| Lu et al. | Turbidity underwater image restoration using spectral properties and light compensation | |
| CN109668904A (zh) | 一种光学零件疵病检测装置及方法 | |
| CN110135434A (zh) | 基于颜色线模型的水下图像质量提升算法 | |
| TW201308251A (zh) | 水下影像強化系統 | |
| Skinner et al. | Automatic color correction for 3D reconstruction of underwater scenes | |
| Perez et al. | A benchmarking study on single image dehazing techniques for underwater autonomous vehicles | |
| Blasinski et al. | Underwater image systems simulation | |
| Gong et al. | Research on the method of color compensation and underwater image restoration based on polarization characteristics | |
| Stephan et al. | Model based image restoration for underwater images | |
| KR20200058009A (ko) | 수중영상 분석장치 및 그 방법 | |
| Wang et al. | Underwater image restoration based on adaptive color compensation and dual transmission estimation | |
| Zou et al. | Self-tuning underwater image fusion method based on dark channel prior | |
| JP7372589B2 (ja) | 水中レーザ視認装置 | |
| Boudhane et al. | Underwater image enhancement method using color channel regularization and histogram distribution for underwater vehicles AUVs and ROVs | |
| Wang et al. | Fast clear single underwater image | |
| Gawlik | 3D modelling of underwater archaeological artefacts | |
| CN114205537A (zh) | 多功能水下文物辅助搜寻和高清影像获取设备及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40091242 Country of ref document: HK |