CN118155058A - 一种基于激光图像增强与恢复的水下目标识别模型及方法 - Google Patents
一种基于激光图像增强与恢复的水下目标识别模型及方法 Download PDFInfo
- Publication number
- CN118155058A CN118155058A CN202410418941.0A CN202410418941A CN118155058A CN 118155058 A CN118155058 A CN 118155058A CN 202410418941 A CN202410418941 A CN 202410418941A CN 118155058 A CN118155058 A CN 118155058A
- Authority
- CN
- China
- Prior art keywords
- image
- underwater target
- underwater
- image enhancement
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000011084 recovery Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 208000025174 PANDAS Diseases 0.000 claims description 3
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 claims description 3
- 235000016496 Panda oleosa Nutrition 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 240000000220 Panda oleosa Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 abstract description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 21
- 239000002609 medium Substances 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 9
- 239000000523 sample Substances 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241001666377 Apera Species 0.000 description 2
- 240000004718 Panda Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 229910000281 calcium bentonite Inorganic materials 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000012736 aqueous medium Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于激光图像增强与恢复的水下目标识别模型及方法，属于水下目标图像增强及检测技术领域，模型结构包括依次连接的图像增强模块、特征提取融合模块和水下目标识别模块；基于激光图像增强与恢复的水下目标识别技术利用单频激光照射下获取的RGB强度数据进行水下目标识别并生成图像，再使用图像增强和图像恢复方法对图像进行增强和恢复，以提高目标的可见性和识别性，这使得图像的分辨率和质量更高，从而提高了目标的可见性和识别性。并且本发明使用的图像处理算法可以更好地去除图像中的噪声和干扰，从而提高了目标的识别准确性和识别速度。
Description
技术领域
本发明属于水下目标图像增强及检测技术领域，尤其涉及一种基于激光图像增强与恢复的水下目标识别模型及方法。
背景技术
水下目标识别是一个非常重要的技术，它在促进生态和谐和经济发展方面占据重要地位，主要应用于环境保护、海洋科学、水下探测和海岸监测等领域。然而，迄今为止，大多数水下传感方法都依赖于使用热光源或发光二极管来提供获取水下相机图像所需的照明。由于光在水中介质中的散射会导致图像质量下降，水下目标识别是一项具有挑战性的任务。此外，因为激光也可以用作照明源，所以被越来越多地应用于成像技术。激光以窄光束的形式发射空间相干光，从而可以捕获更高分辨率的图像。它们的工作波长也可调，以使组成目标的特定材料的选择性激发。并且，激光往往是高度定向的，允许聚焦照明在长距离最小的发散。
相对于传统的水下目标识别的方法，使用激光对水下目标进行识别可以产生高度聚焦的光束，因此在水下环境中，它能够提供高分辨率和精确的数据。这对于检测和识别水下目标、地形或结构非常有帮助。并且激光传感器通常能够以很高的速度采集数据。这使得在水下进行快速而有效的地形测绘、目标识别或环境监测成为可能。激光在水下的传播受到较小的干扰，因此在深水环境中也能够保持较好的性能。这种适应性使得激光系统在不同深度和水体条件下都能够可靠运行。此外，激光测量是一种非侵入性的方法，不需要接触目标表面，从而避免对水下生态系统或目标造成损害。这对于科学研究和环境监测非常重要。因此，激光在海洋地形测绘、水下考古学、海洋生物学研究、水下管道检测等领域具有广泛的应用。
但是，由于水下环境中存在各种背景干扰，传统的激光识别方法无法有效的进行水下目标识别和图像提取。目前对水下激光的开发通常涉及到光探测和测距(LightDetection And Ranging,LiDAR)或激光扫描的使用，导致了高程模型和点云表示。虽然这可能足以提取大型物体的形状和3D表面，如沉船，但较小的物体更难识别，导致通常不能满足实际需求。
发明内容
针对上述问题，本发明提出了一种基于激光图像增强与恢复的水下目标识别方法。基于激光图像增强与恢复的水下目标识别技术利用单频激光照射下获取的RGB强度数据进行水下目标识别并生成图像，再使用图像增强(Image Enhancement,IE)和图像恢复(Image Restoration,IR)方法对图像进行增强和恢复，以提高目标的可见性和识别性，这使得图像的分辨率和质量更高，从而提高了目标的可见性和识别性。
本发明第一方面提出了一种基于激光图像增强与恢复的水下目标识别模型，包括依次连接的图像增强模块、特征提取融合模块和水下目标识别模块；
所述图像增强模块用于对获取的不同深度、不同浑浊度的水下图像进行相对全局直方图拉伸，得到清晰度和准确性更高的水下目标图像；
所述特征提取融合模块用于对经过相对全局直方图拉伸之后的水下目标图像使用卷积神经网络进行特征提取，将一些原始的数据维度减少或者将原始的特征进行重新组合用以提取图像特征信息；基于几何的方法和基于统计的方法之间的选择取决于水下实体识别任务的具体特征；
所述水下目标识别模块使用图像增强模块和特征提取融合模块联合处理后的图像构建训练与测试数据集Dataset，并对其进行训练，并基于输入的融合特征进行目标图像识别，以得到水下目标图像的识别结果。
优选的，所述训练与测试数据集Dataset是采集不同深度下的不同浑浊度的7种不同的三维几何形状作为图像数据，包括立方体、三棱柱、柱体、矩形棱镜、三角棱柱、球体和五角柱。
优选的，所述图像增强模块的处理过程为：
计算原始水下图像的灰度直方图，直方图表示图像中各灰度级别的像素数量；
基于直方图，确定一个低百分比和高百分比的灰度级别范围，将这个范围之外的像素灰度值置为百分比边界的灰度值；
对剪切后的图像进行全局直方图拉伸，将像素的灰度范围线性拉伸到整个动态范围内。
优选的，所述图像增强模块的具体处理过程为：
S1，将图像分解成RGB通道；
S2，在RGB色彩空间进行色彩均衡，将红色R和绿色G两种颜色通道的像素值以像素为单位通过相对全局直方图拉伸函数进行拉伸，其目的是将R和G两颜色通道像素值的取值范围展宽至与蓝色B通道像素值取值范围相同，其原理是理想图像的R、G、B这3个颜色通道具有相似的直方图分布；
S3，获取图像的直方图，即像素值,出现的总的频数，其公式如下：
h(ri)＝P(ri),i＝0,1,2,…L-1
S4，在色调、色饱和度与亮度颜色空间拉伸图像的饱和度和亮度；采用相对全局直方图拉伸函数，对饱和度(S)和亮度(I)两分量的取值范围进行延展，将饱和度(S)和亮度(I)两通道的取值范围拓展至[0,255]；色彩均衡过程中采用的拉伸函数具体表示形式为
式中，P(ro)为输出像素值，P(ri)为输入像素值，a表示期望转换到取值范围的最小值，b表示期望转换到取值范围的最大值，c表示当前图像的最小像素值，d表示当前图像的最大像素值；
S5，输出采用相对全局直方图拉伸得到的增强与恢复之后的水下目标图像。
优选的，所述训练与测试数据集Dataset的获取过程还包括：
对增强与恢复之后的图像特征进行提取，把图像的主要特征信息放到CSV文件中，得到的CSV文件包含有关对象的类、边界框的坐标以及图像的文件名、宽度和高度的信息；
TFRecord生成：TensorFlow记录(TFRecord)文件是从CSV文件创建的，Pandas库用于读取CSV文件并按文件名对注释进行分组，对于每一组注释，将创建一个包含图像和对象边界框信息的TensorFlow示例对象，然后将TF Record文件写入磁盘；一个函数将文本标签转换为整数标签，并使用PIL库打开和读取图像；TensorFlow库用于创建和写入TF Record文件，flags库用于定义输入和输出路径。
本发明第二方面提供了一种基于激光图像增强与恢复的水下目标识别方法，包括以下过程：
获取水下目标图像；若是16位深度图像需要预处理，将其转换为8位图像；
将8位图像输入到如第一方面所述的水下目标识别模型中，依次经过图像增强模块进行相对全局直方图拉伸和特征提取融合模块进行特征提取融合
最后将提取的特征输入到目标识别模块中，输出图像识别结果。
优选的，将16位深度图像转换为8位图像的具体过程为：
定义一个感兴趣区域AOI，从放置物体的表面延伸到样本上的最高深度强度；
vma和vmi定义为样本最高点的强度值和样本表面一点的强度值，然后对图像根据如下公式进行裁剪：
对Xscale＝{yij}i,j进行归一化，然后借助如下公式进行变换：
最终转化为8位图像。
本发明第三方面提供了一种基于激光图像增强与恢复的水下目标识别设备，所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如第一方面所述的水下目标识别模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，使处理器执行一种基于激光图像增强与恢复的水下目标识别方法。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有如第一方面所述的水下目标识别模型的计算机程序或指令，所述程序或指令被处理器执行时，使处理器执行一种基于激光图像增强与恢复的水下目标识别方法。
与现有技术相比，本发明具有如下有益效果：
本发明提出了一种基于激光图像增强与恢复的水下目标识别新方法，基于激光图像增强与恢复的水下目标识别技术利用单频激光照射下获取的RGB强度数据进行水下目标识别并生成图像，再使用图像增强(Image Enhancement,IE)和图像恢复(ImageRestoration,IR)方法对图像进行增强和恢复，以提高目标的可见性和识别性，这使得图像的分辨率和质量更高，从而提高了目标的可见性和识别性。并且该技术使用的图像处理算法可以更好地去除图像中的噪声和干扰，从而提高了目标的识别准确性和识别速度。
(1)对比度增强：通过激光图像增强与恢复，能够有效提高水下图像的对比度。这有助于使目标在图像中更为清晰可见，特别是在光照不足或复杂水下环境中。
(2)更高的分辨率：激光系统产生的光斑具有较小的尺寸，使得激光图像在水下环境中能够提供更高的空间分辨率。这有助于更精确地捕捉和识别水下目标的细节。
(3)非侵入性：激光图像增强是一种非侵入性的方法，不需要物理接触目标，有助于保护水下环境和目标的完整性。相比之下，传统技术可能需要使用物理传感器或设备直接接触目标。
(4)适应性强：激光系统在水下环境中的传播相对稳定，不容易受到水质、光照等因素的干扰。这使得激光图像增强技术在不同深度和水体条件下都能够可靠运行。
附图说明
为了更清楚地说明本发明或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍，显而易见地，下面描述的仅仅是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明水下目标识别方法的整体逻辑框图。
图2为本发明实施例1中光波长与光衰减的关系图。
图3为本发明图像增强与恢复流程示意图。
图4为本发明实施例1中水下识别结果对比示意图。
图5为实施例2中水下目标识别设备的简易结构框图。
具体实施方式
实施例1：
下面结合具体实施例对发明进行进一步说明。
为提高水下目标识别的准确性和图像质量，本发明提出了一种基于激光图像增强与恢复的水下目标识别方法。该方法对水下光传播与图像建模，然后使用相对全局直方图拉伸方法(relative global histogram stretch,RGHS)对水下图像进行处理。该方法使用激光投影系统，在水下目标表面产生激光光斑，可以通过激光器和透镜系统，确保在水下环境中形成清晰的激光投影。然后利用激光成像系统采集激光照射下的水下图像。这些图像包含了激光照射的目标表面信息，但可能受到水下环境的散射和吸收影响，导致图像模糊和低对比度。所以需要对采集到的激光图像进行预处理，包括去除水下散射噪声、补偿光照不均匀性、提高图像对比度等。这一步骤旨在减小水下环境引起的图像质量损失。接下来，使用相对全局直方图拉伸进行图像增强(IE)和图像恢复(IR)，以改善图像质量。图像增强(IE)和图像恢复(IR)有助于减少光照不足、提高目标的辨识度，并使得水下目标更容易被识别。
本实施例1结合具体实验场景，对本发明的方法展开进一步说明，整体思路如图1所示。
1.观测水下目标实体反射的光被水中的微粒的吸收和散射情况，对不同浑浊度的水下光传播与图像建模。
根据水下光传播与图像模型，对水下目标图像进行处理，抵消系统退化的影响。
观测水下目标实体反射的光被水中的微粒的吸收和散射情况并对不同浑浊度的水下光传播建模的过程：
观察水中光传播的现象，得出复杂的水下成像环境和光照条件导致目前水下成像系统拍摄的图像往往具有对比度低、纹理模糊、颜色失真、非均匀光照、可视范围有限等质量退化问题；
光在水中传播呈指数衰减，导致拍摄的图像对比度较低并且具有模糊的表面。清澈水中拍摄的图像能见度范围为20m，而浑浊水中拍摄的图像能见度范围只有5m；
对不同浑浊度的水使用不同波长的光进行照射，激光图像是由点扩散函数(PointSpread Function,PSF)与观测场景的返回光的卷积形成的；因此，使用相机获得的图像的特点是，随着距离的增加，点扩展函数的衰减和传播增加。介质中微粒连续摄动后，击中探测器的反射部分为后向散射，由于探测器接收到多个散射角，这是一个计算复杂的估计现象；
绘制不同浑浊度下光的衰减度随光波长变化的变化，如图2所示。
根据水中微粒吸收和散射光的情况，对水中的图像建模过程包括：
(1)从物体场景直接反射到探测器的光可以表示为：
Hdi＝Hie-η(λ)d (1)
其中，Hi为目标场景的图像，d为相机到场景的距离，η(λ)d为水下介质中吸收和散射系数的总和，e-η(λ)d通常被分解为透射图(T)或Iw。
(2)后向散射光可以被建模为：
HbS ＝ I∞(λ) · (1 - T) (2)
相机上图像的形成Hr是现场的图像强度与点扩展函数的卷积，点扩展函数定义为光学成像系统对来自物体的光线的响应，数学上表示为：
Hr＝ HfS + Hdi (3)
其中，Hfs是光的前向散射，它是许多图像周围的环和晕效应的主要原因。
(3)为了考虑后向散射，在式(3)上加一项，使得在探测器上接收到的总辐照量表示为：
Ht ＝ Hfs + Hdi + Hbs (4)
(4)水下成像系统由于浑浊而受到接收信号恶化的影响，随介质条件变化而自适应调节浊度的模型如下：
其中c是一个量化湍流量的标量，其值由(1)-(3)中描述的图像模型估计。
2.采集水下图像数据集，包括不同浑浊度、不同类型水下目标实体图像。
在宽1英尺、长4英尺的玻璃水箱中进行受控实验，使用连续波、线偏振532nm、光功率为1W的Nd:YAG二极管激光照射水中目标实体；
利用准直透镜和光束扩展器来拓宽光束，同时在相机前放置一个光学滤光片来隔离激光波长处的频率。采用1/3英寸USB CMOS相机，分辨率为SXGA(1280×1024)(ThorlabsDCC1645C)，拟合收集图像；
设置罐内水的浑浊度，通过将测定量的钙膨润土混入罐内来控制，同时保持罐内循环的低强度水泵，防止颗粒沉降。为了确定获得特定的散射浊度(NephelometricTurbidity Units,NTU)所需的钙膨润土的量，采用Apera TN420浊度仪测量得到的NTU值。Apera TN420不能测量原位浑浊度；相反，水的样品被收集到一个小容器中，然后放在仪表中测量浑浊度；
列出5种不同浑浊度级别，每个目标在深度从12到42英寸之间，间隔为6英寸，使用7种不同的三维几何形状作为测试对象：立方体、三棱柱、柱体、矩形棱镜、三角棱柱、球体和五角柱。为了保证均匀性和最大限度地提高表面反射率，每个物体都涂有白色涂料。均匀的着色也确保了每个目标的颜色均匀性，从而消除了可能由颜色或反射率变化引起的数据中潜在的差异或偏差；
对于每个目标，在每个深度和每个浑浊度下共采集20张激光图像，得到的图像总数为4200张。在浊度较高的情况下，即6-NTU和8-NTU，以及距离最远的情况下，共9个样本的结果是在探测器接收到的图像中没有可识别的像素。因此，这些样本将从数据集中丢弃。
3.基于激光图像增强与恢复的水下目标识别模型，包括依次连接的图像增强模块、特征提取融合模块和水下目标识别模块；
图像增强模块用于对获取的不同深度、不同浑浊度的水下图像进行相对全局直方图拉伸，得到清晰度和准确性更高的水下目标图像；
对图像进行增强与恢复，其过程如图3所示，对所使用的相对全局直方图拉伸方法步骤描述如下：
计算原始水下图像的灰度直方图，直方图表示图像中各灰度级别的像素数量；
基于直方图，确定一个低百分比和高百分比的灰度级别范围，将这个范围之外的像素灰度值置为百分比边界的灰度值。这个步骤旨在去除图像的低亮度和高亮度的一部分，以减少光照不均匀性的影响；
对剪切后的图像进行全局直方图拉伸，将像素的灰度范围线性拉伸到整个动态范围内。这一步骤有助于增强图像的对比度，使得图像中的目标更容易被识别；
生成经过相对全局直方图拉伸处理的水下图像，处理后的图像动态范围更广，更符合人眼对于图像细节的感知。
具体过程为：
1)将图像分解成RGB通道；
2)在RGB色彩空间进行色彩均衡。将红色(R)和绿色(G)两种颜色通道的像素值以像素为单位通过相对全局直方图拉伸函数进行拉伸，其目的是将R和G两颜色通道像素值的取值范围展宽至与蓝色(B)通道像素值取值范围相同，其原理是理想图像的R、G、B这3个颜色通道具有相似的直方图分布；
3)获取图像的直方图，即像素值出现的总的频数，其公式如下：
h(ri)＝P(ri) ,i＝0,1,2,…L-1 (6)
4)在色调、色饱和度和亮度(Hue、Saturation、Intensity,HIS)颜色空间拉伸图像的饱和度和亮度。相同采用相对全局直方图拉伸函数，对饱和度(S)和亮度(I)两分量的取值范围进行延展，将饱和度(S)和亮度(I)两通道的取值范围拓展至[0,255]。色彩均衡过程中采用的拉伸函数具体表示形式为
式中，P(ro)为输出像素值，P(ri)为输入像素值，a表示期望转换到取值范围的最小值，b表示期望转换到取值范围的最大值，c表示当前图像的最小像素值，d表示当前图像的最大像素值；
5)输出采用相对全局直方图拉伸得到的增强与恢复之后的水下目标图像。
特征提取融合模块用于对经过相对全局直方图拉伸之后的水下目标图像使用卷积神经网络进行特征提取，将一些原始的数据维度减少或者将原始的特征进行重新组合用以提取图像特征信息；基于几何的方法和基于统计的方法之间的选择取决于水下实体识别任务的具体特征；
水下目标识别模块为基于CNN水下识别模型，使用图像增强模块和特征提取融合模块联合处理后的图像构建训练与测试数据集Dataset，并对其进行训练，并基于输入的融合特征进行目标图像识别，以得到水下目标图像的识别结果。
4.水下目标识别模块基于数据集Dataset进行训练与测试。
对增强与恢复之后的图像特征进行提取，把图像的主要特征信息放到CSV文件中，得到的CSV文件包含有关对象的类、边界框的坐标以及图像的文件名、宽度和高度的信息；
TFRecord生成：TensorFlow记录(TFRecord)文件是从CSV文件创建的，Pandas库用于读取CSV文件并按文件名对注释进行分组，对于每一组注释，将创建一个包含图像和对象边界框信息的TensorFlow示例对象，然后将TF Record文件写入磁盘；一个函数将文本标签转换为整数标签，并使用PIL库打开和读取图像；TensorFlow库用于创建和写入TF Record文件，flags库用于定义输入和输出路径。
训练模型：读取定义模型、训练设置和输入数据的配置文件，然后根据这些规范训练模型。正在实施分布式训练，这意味着它可以在多台机器上运行，有多个工作人员，以加快训练过程。建立一个TensorFlow集群，并将任务分配给每个worker，其中一个worker充当主进程。在训练期间，保存模型的检查点，并将训练进度汇总到指定的目录中。
5.基于CNN的水下识别模块训练完成后，进行水下识别结果比对。
获取待测水下图像，16位深度图像需要一个预处理步骤，将图像转换为8位；
定义一个感兴趣区域(AOI)，从放置物体的表面延伸到样本上的最高深度强度；
vma和vmi定义为样本最高点的强度值和样本表面一点的强度值，然后对图像根据式(8)进行裁剪：
对Xscale＝{yij}i,j进行归一化然后借助式(9)变换为8位图像
然后将变换得到的8位图像输入到卷积神经网络中，得识别结果，如图4所示，根据水下目标识别和直接原物识别的对比结果可知，采用激光技术提取图像，使用相对全局直方图拉伸方法对提取到的图像进行增强与恢复，使用卷积神经网络对增强与恢复后的图像进行目标识别准确率有90％，与直接原物识别只在模糊度上有细微的差别。因此可以判断基于激光图像增强与恢复的水下识别系统在对目标的识别上表现良好。
实施例2：
如图5所示，本发明同时提供了一种基于激光图像增强与恢复的水下目标识别设备，设备包括至少一个处理器和至少一个存储器，同时还包括通信接口和内部总线；存储器中存储有如实施例1所述的水下目标识别模型的计算机执行程序；所述处理器执行存储器存储的计算机执行程序时，可以使处理器执行一种基于激光图像增强与恢复的水下目标识别方法。其中内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(XtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。其中存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
设备可以被提供为终端、服务器或其它形态的设备。
图5是为示例性示出的一种设备的框图。设备可以包括以下一个或多个组件：处理组件，存储器，电源组件，多媒体组件，音频组件，输入/输出(I/O)的接口，传感器组件，以及通信组件。处理组件通常控制电子设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件可以包括一个或多个处理器来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件可以包括一个或多个模块，便于处理组件和其他组件之间的交互。例如，处理组件可以包括多媒体模块，以方便多媒体组件和处理组件之间的交互。
存储器被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件为电子设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。多媒体组件包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。I/O接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件可以检测到电子设备的打开/关闭状态，组件的相对定位，例如所述组件为电子设备的显示器和小键盘，传感器组件还可以检测电子设备或电子设备一个组件的位置改变，用户与电子设备接触的存在或不存在，电子设备方位或加速/减速和电子设备的温度变化。传感器组件可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
实施例3：
本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储有如实施例1所述的水下目标识别模型的计算机程序或指令，所述程序或指令被处理器执行时可以使处理器执行一种基于激光图像增强与恢复的水下目标识别方法。
具体地，可以提供配有可读存储介质的系统、装置或设备，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统、装置或设备的计算机或处理器读出并执行存储在该可读存储介质中的指令。在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘(如CD-ROM、CD-R、CD-RW、DVD-20ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带等。存储介质可以是通用或专用计算机能够存取的任何可用介质。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
应理解存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
上述虽然对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (9)
1.一种基于激光图像增强与恢复的水下目标识别模型，其特征在于：包括依次连接的图像增强模块、特征提取融合模块和水下目标识别模块；
所述图像增强模块用于对获取的不同深度、不同浑浊度的水下图像进行相对全局直方图拉伸，得到清晰度和准确性更高的水下目标图像；
所述特征提取融合模块用于对经过相对全局直方图拉伸之后的水下目标图像使用卷积神经网络进行特征提取，将一些原始的数据维度减少或者将原始的特征进行重新组合用以提取图像特征信息；基于几何的方法和基于统计的方法之间的选择取决于水下实体识别任务的具体特征；
所述水下目标识别模块使用图像增强模块和特征提取融合模块联合处理后的图像构建训练与测试数据集Dataset，并对其进行训练，并基于输入的融合特征进行目标图像识别，以得到水下目标图像的识别结果。
2.如权利要求1所述的一种基于激光图像增强与恢复的水下目标识别模型，其特征在于：所述训练与测试数据集Dataset是采集不同深度下的不同浑浊度的7种不同的三维几何形状作为图像数据，包括立方体、三棱柱、柱体、矩形棱镜、三角棱柱、球体和五角柱。
3.如权利要求1所述的一种基于激光图像增强与恢复的水下目标识别模型，其特征在于，所述图像增强模块的处理过程为：
计算原始水下图像的灰度直方图，直方图表示图像中各灰度级别的像素数量；
基于直方图，确定一个低百分比和高百分比的灰度级别范围，将这个范围之外的像素灰度值置为百分比边界的灰度值；
对剪切后的图像进行全局直方图拉伸，将像素的灰度范围线性拉伸到整个动态范围内。
4.如权利要求3所述的一种基于激光图像增强与恢复的水下目标识别模型，其特征在于，所述图像增强模块的具体处理过程为：
S1，将图像分解成RGB通道；
S2，在RGB色彩空间进行色彩均衡，将红色R和绿色G两种颜色通道的像素值以像素为单位通过相对全局直方图拉伸函数进行拉伸，其目的是将R和G两颜色通道像素值的取值范围展宽至与蓝色B通道像素值取值范围相同，其原理是理想图像的R、G、B这3个颜色通道具有相似的直方图分布；
S3，获取图像的直方图，即像素值,出现的总的频数，其公式如下：
h(ri)＝P(ri),i＝0,1,2,…L-1
S4，在色调、色饱和度与亮度颜色空间拉伸图像的饱和度和亮度；采用相对全局直方图拉伸函数，对饱和度(S)和亮度(I)两分量的取值范围进行延展，将饱和度(S)和亮度(I)两通道的取值范围拓展至[0,255]；色彩均衡过程中采用的拉伸函数具体表示形式为
式中，P(ro)为输出像素值，P(ri)为输入像素值，a表示期望转换到取值范围的最小值，b表示期望转换到取值范围的最大值，c表示当前图像的最小像素值，d表示当前图像的最大像素值；
S5，输出采用相对全局直方图拉伸得到的增强与恢复之后的水下目标图像。
5.如权利要求2所述的一种基于激光图像增强与恢复的水下目标识别模型，其特征在于，所述训练与测试数据集Dataset的获取过程还包括：
对增强与恢复之后的图像特征进行提取，把图像的主要特征信息放到CSV文件中，得到的CSV文件包含有关对象的类、边界框的坐标以及图像的文件名、宽度和高度的信息；
TFRecord生成：TensorFlow记录(TFRecord)文件是从CSV文件创建的，Pandas库用于读取CSV文件并按文件名对注释进行分组，对于每一组注释，将创建一个包含图像和对象边界框信息的TensorFlow示例对象，然后将TF Record文件写入磁盘；一个函数将文本标签转换为整数标签，并使用PIL库打开和读取图像；TensorFlow库用于创建和写入TF Record文件，flags库用于定义输入和输出路径。
6.一种基于激光图像增强与恢复的水下目标识别方法，其特征在于，包括以下过程：
获取水下目标图像；若是16位深度图像需要预处理，将其转换为8位图像；
将8位图像输入到如权利要求1至5任意一项所述的水下目标识别模型中，依次经过图像增强模块进行相对全局直方图拉伸和特征提取融合模块进行特征提取融合
最后将提取的特征输入到目标识别模块中，输出图像识别结果。
7.如权利要求6所述的一种基于激光图像增强与恢复的水下目标识别方法，其特征在于，将16位深度图像转换为8位图像的具体过程为：
定义一个感兴趣区域AOI，从放置物体的表面延伸到样本上的最高深度强度；
vma和vmi定义为样本最高点的强度值和样本表面一点的强度值，然后对图像根据如下公式进行裁剪：
对Xscale＝{yij}i,j进行归一化，然后借助如下公式进行变换：
最终转化为8位图像。
8.一种基于激光图像增强与恢复的水下目标识别设备，其特征在于：所述设备包括至少一个处理器和至少一个存储器，所述处理器和存储器相耦合；所述存储器中存储有如权利要求1至5任意一项所述的水下目标识别模型的计算机执行程序；所述处理器执行存储器中存储的计算机执行程序时，使处理器执行一种基于激光图像增强与恢复的水下目标识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有如权利要求1至5任意一项所述的水下目标识别模型的计算机程序或指令，所述程序或指令被处理器执行时，使处理器执行一种基于激光图像增强与恢复的水下目标识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410418941.0A CN118155058A (zh) | 2024-04-09 | 2024-04-09 | 一种基于激光图像增强与恢复的水下目标识别模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410418941.0A CN118155058A (zh) | 2024-04-09 | 2024-04-09 | 一种基于激光图像增强与恢复的水下目标识别模型及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118155058A true CN118155058A (zh) | 2024-06-07 |
Family
ID=91296783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410418941.0A Pending CN118155058A (zh) | 2024-04-09 | 2024-04-09 | 一种基于激光图像增强与恢复的水下目标识别模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118155058A (zh) |
-
2024
- 2024-04-09 CN CN202410418941.0A patent/CN118155058A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Han et al. | A review on intelligence dehazing and color restoration for underwater images | |
| US10825157B2 (en) | Glare reduction in captured images | |
| Fayaz et al. | Underwater image restoration: A state‐of‐the‐art review | |
| CN112633181B (zh) | 数据处理方法、系统、装置、设备和介质 | |
| Raihan A et al. | Review of underwater image restoration algorithms | |
| US8837857B2 (en) | Enhancing image data | |
| EP3561776A1 (en) | Method and apparatus for processing a 3d scene | |
| Yang et al. | Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms | |
| Zhuang et al. | A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment | |
| Fayaz et al. | Efficient underwater image restoration utilizing modified dark channel prior | |
| CN115660945A (zh) | 一种坐标转换方法、装置、电子设备及存储介质 | |
| Tsiotsios et al. | Near-lighting photometric stereo for unknown scene distance and medium attenuation | |
| Ghita et al. | Texture Enhanced Histogram Equalization Using TV-${\rm L}^{1} $ Image Decomposition | |
| Verma et al. | Systematic review and analysis on underwater image enhancement methods, datasets, and evaluation metrics | |
| Javidnia et al. | Application of preconditioned alternating direction method of multipliers in depth from focal stack | |
| Li et al. | Underwater image filtering: methods, datasets and evaluation | |
| Wang et al. | Two-stage underwater image restoration based on a physical model | |
| Ziqiang et al. | Coralvos: Dataset and benchmark for coral video segmentation | |
| CN118155058A (zh) | 一种基于激光图像增强与恢复的水下目标识别模型及方法 | |
| Al Mansoori et al. | An investigation of various dehazing algorithms used on thermal infrared imagery for maritime surveillance systems | |
| Loktev et al. | Image Blur Simulation for the Estimation of the Behavior of Real Objects by Monitoring Systems. | |
| Chen et al. | Single underwater image haze removal with a learning-based approach to blurriness estimation | |
| Deluxni et al. | A Scrutiny on Image Enhancement and Restoration Techniques for Underwater Optical Imaging Applications | |
| CN114627521A (zh) | 基于散斑图的人脸活体判定方法、系统、设备及存储介质 | |
| Ma et al. | Computational framework for turbid water single-pixel imaging by polynomial regression and feature enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |