CN115049918A - 一种用于水下机器人的图像目标快速检测方法及装置 - Google Patents
一种用于水下机器人的图像目标快速检测方法及装置 Download PDFInfo
- Publication number
- CN115049918A CN115049918A CN202210668548.8A CN202210668548A CN115049918A CN 115049918 A CN115049918 A CN 115049918A CN 202210668548 A CN202210668548 A CN 202210668548A CN 115049918 A CN115049918 A CN 115049918A
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- resolution
- target
- carrying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 238000011084 recovery Methods 0.000 claims description 5
- 238000001028 reflection method Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 10
- 230000003287 optical effect Effects 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000003321 amplification Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及水下机器人智能应用领域，提出一种用于水下机器人自主作业应用的目标快速检测技术，具体方法是采用基于多分辨率图像融合的图像增强处理算法快速处理水下图像，增强目标区域信息特征；接下来采用基于卷积神经网络的固定目标识别算法进行区域目标快速检测；同时构建一种快速图像处理的装置，集成到水下机器人，辅助水下机器人作业操作。相比传统声学目标识别具有距离近，识别分辨率高的特点。光学摄像机也具有应用范围广，识别目标多样性等优点。
Description
技术领域
本发明涉及水下机器人智能应用领域，尤其涉及一种针对水下智能机器人自主作业场景中，采用图像增强及识别技术快速检测目标的方法及装置。
背景技术
不同光波长在水中的衰减不同，使水下图像呈现颜色失真现象。随着水下深度增加，红光和黄光在水下衰减大于蓝光和绿光，导致水下图像普遍呈现一种以蓝绿为主的色调。水中存在微小杂质，使光在水中传输产生散射，导致图像模糊。光在水下随机的衰减是水下图像模糊的主要原因，散射的光降低了图像对比度。在一般的海水中，距离超过10米的物体几乎无法辨认，同时存在随着距离增加颜色衰退现象。水下图像模糊及颜色失真现象降低了水下图像的特征，使得水下目标检测十分困难。传统水下目标检测往往采用声学图像进行目标识别，声学信号在水下具有远距离探测的优势。尽管水下环境噪声干扰较多，目标识别有时候比较复杂，但目前有大量的方法对水下声学信号进行降噪处理和基于机器学习的分类训练，这些方法可有效处理水下声学信号。但是声学信号在水下具有局限性，随着水下机器人与目标距离接近，声学的物理特性导致近距离下无法得出准确的信号。水下机器人近距离作业经常依赖光学摄像头，因为光学摄像头可以在水下近距离捕获细节信息。水下光学图像识别存在水下图像颜色失真，一些浑浊水域拍摄的图像十分模糊，水下图像样本量少等特点。水下图像快速增强处理和水下固定目标物的识别技术是水下机器人自主作业的关键技术。
发明内容
本发明涉及水下机器人智能应用领域，尤其涉及一种针对水下智能机器人自主作业场景中，采用图像增强及识别技术快速检测目标的方法及装置。本发明包括：利用水下机器人光学摄像机采集水下视频图像，对水下图像进行快速增强处理，利用卷积神经网络训练水下固定目标物的识别网络模型，对增强处理后的水下图像进行特征提取。本发明具有如下优点：有效快速实现对水下图像的特征增强处理；采用特定网络模型及数据扩增方法降低对水下图像样本的需求；基于嵌入式处理器实时处理水下图像信息，满足水下机器人自主作业需求。
本发明为实现上述目的所采用的技术方案是：
一种用于水下机器人的图像目标快速检测方法，包括以下步骤：
通过水下摄像机获取水下图像；
对水下图像进行图像增强处理；
对增强后的图像进行目标识别，得到目标轮廓在图像中的位置；
水下机器人根据目标位置进行作业。
所述对水下图像进行图像增强处理，包括以下步骤：
采用白平衡算法对水下图像进行色彩恢复，得到多分辨率融合的图像I1；
对图像I1进行降噪处理，得到降噪后的图像I2；
将图像I1和图像I2分别采用拉普拉斯金字塔分解，使图像I1和图像I2均分解成不同分辨率的多个图像；
分别提取图像I1和图像I2的亮度通道，并依次经过拉普拉斯滤波、局部对比度计算、显著性计算、归一化形成两个融合权重图像W1与图像W2；
将图像W1与图像W2分别经过高斯金字塔分解，得到不同分辨率的权重系数；
将不同分辨率的权重系数与该分辨率的图像相乘后，得到该分辨率下的加权图像，将相同分辨率下图像I12和图像I2的加权图像相加，得到该分辨率下单通道的融合图像；
采用金字塔重建，将多个分辨率的单通道重构成原始分辨率的图像。
所述白平衡算法为完美反射法。
使用双边滤波法对图像进行降噪处理。
使用卷积神经网络对增强后的图像进行目标识别，卷积神经网络的输入为待检测图像，输出为目标的轮廓，并使用带有轮廓标记的水下图像对卷积神经网络进行训练。
所述对增强后的图像进行目标识别，包括以下步骤：
1)对输入的图像依次经过两次卷积和两次激活函数处理；
2)将处理后的图像进行下采样，降低图像分辨率至长宽各二分之一尺度；
3)重复执行步骤1)～步骤2)，直至图像的分辨率达到设定的大小；
4)对图像进行上采样，提高图像分辨率至长宽各二倍尺度；
5)对输入的图像依次经过两次卷积和两次激活函数处理；
6)重复执行步骤4)～步骤5)，直至图像的分辨率达到原始大小。
一种用于水下机器人的图像目标快速检测装置，包括：
水下摄像机，用于获取水下图像；
图像增强程序，用于对水下图像进行图像增强处理；
图像识别程序，用于对增强后的图像进行目标识别，得到目标轮廓在图像中的位置；
嵌入式并行计算单元，用于部署图像增强程序和图像识别程序，并将识别后的目标位置发送给水下机器人。
所述嵌入式并行计算单元为移动设备的图像处理单元GPU。
所述图像增强程序，执行以下步骤：
采用白平衡算法对水下图像进行色彩恢复，得到多分辨率融合的图像I1；
对图像I1进行降噪处理，得到降噪后的图像I2；
将图像I1和图像I2分别采用拉普拉斯金字塔分解，使图像I1和图像I2均分解成不同分辨率的多个图像；
分别提取图像I1和图像I2的亮度通道，并依次经过拉普拉斯滤波、局部对比度计算、显著性计算、归一化形成两个融合权重图像W1与图像W2；
将图像W1与图像W2分别经过高斯金字塔分解，得到不同分辨率的权重系数；
将不同分辨率的权重系数与该分辨率的图像相乘后，得到该分辨率下的加权图像，将相同分辨率下图像I1和图像I2的加权图像相加，得到该分辨率下单通道的融合图像；
采用金字塔重建，将多个分辨率的单通道重构成原始分辨率的图像。
所述图像识别程序，执行以下步骤：
1)对输入的图像依次经过两次卷积和激活函数处理；
2)将处理后的图像进行下采样，降低图像分辨率至长宽各二分之一尺度；
3)重复执行步骤1)～步骤2)，直至图像的分辨率达到设定的大小；
4)对图像进行上采样，提高图像分辨率至长宽各二倍尺度；
5)对输入的图像依次经过两次卷积和激活函数处理；
6)重复执行步骤4)～步骤5)，直至图像的分辨率达到原始大小。
本发明具有以下有益效果及优点：
1.基于水下光学摄像机的水下目标识别系统，相比传统声学目标识别具有距离近，识别分辨率高的特点。光学摄像机也具有应用范围广，识别目标多样性等优点。
2.实时水下视频图像增强算法用于水下图像的增强，提升水下目标识别的精度。
3.嵌入式芯片与水下摄像头构成的水下光学目标识别系统，可搭载于水下机器人中，实现固定目标的自主探测与定位，用于辅助水下机器人实现自主作业功能。
附图说明
图1本发明方法流程图；
图2实时水下图像增强处理方法；
图3基于卷积神经网络水下目标识别模型结构；
图4水下目标检测装置。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
本发明包括一种水下目标的快速识别方法及其装置。其中水下目标快速识别方法主要由实时水下视频图像增强算法及目标识别算法组成。具体地，实时水下视频图像增强算法指水下图像多分辨率融合增强算法，目标识别算法指利用卷积神经网络训练水下图像目标形成目标识别网络模型。水下目标快速识别装置指搭载上述方法的水下嵌入式设备，可结合在水下机器人中，特别是无人水下机器人中，实现目标自主探测作业功能。图1为本发明主要流程。主要步骤为首先对水下图像进行采集，水下机器人搭载摄像机实时拍摄水下图像，通过程序接口获得水下视频图像。接下来对水下图像进行实时增强处理，基于高性能嵌入式模块可以使分辨率为1920*1080的三通道图像在1秒内完成增强处理，这种算法有利于水下图像实时识别。实际应用中图像分辨率可以适当降低，增强处理时间将会显著缩短。接下来对增强处理完成的图像进行基于目标模型的卷积神经网络目标识别，得出目标轮廓在图像中的位置，再根据图像与实际的物理空间的尺寸关系与机器人搭载的高度计，获得目标与机器人的相对位置关系。最后根据目标位置进行系统作业。
水下图像实时增强处理，主要基于多分辨率的图像融合实现图像降噪，色彩复原与细节增强。图像增强主要分为白平衡处理、降噪滤波处理、直方图均衡化处理、图像细节复原、多分辨率图像融合等步骤。
水下图像颜色失真比较明显，在浑浊水域拍摄的水下图像颜色有显著的发绿现象。首先采用白平衡算法对水下图像进行色彩恢复。完美反射法是一种常见的图像白平衡自动算法。首先将红绿蓝三通道图像进行通道分离得到R、G、B三个通道图像，对分离的三通道图像进行求和，得到一张合并通道的单通道图像。计算合并通道图像的像素最大值，根据最大值的一定的比例，确定一个参考阈值T及大于该阈值的像素位置序列Index。三个通道的白平衡系数分别为KR、KG、KB。根据公式KR＝max(R)/mean(R(Index))获得三个通道白平衡系数，其中max()表示该通道的最大值，mean()表示像素序列集的均值。由以下公式获得白平衡处理后的三个通道，合并三个通道得到白平衡处理完的图像。
将白平衡处理后的图像作为多分辨率融合的一个图像I1。接下来对白平衡处理后的图像进行降噪处理，作为多分辨率融合的另一个图像。双边滤波是一种常见的图像降噪方法，本发明以双边滤波为例进行图像的基本降噪操作。实际应用过程中可采用多种不同的图像降噪方法，将图像的噪点去除，尽可能保留图像的细节。
双边滤波在高斯滤波的基础上增加了边缘保护滤波的方法，改善高斯滤波带来的图像目标边缘模糊问题。双边滤波BF表示为：
其中q为滤波窗中心，p为滤波窗中的任意一个点，Wq为像素权重：
其中Gs为空间距离权重，Gr为像素值权重，σs与σr分别为两者的方差，由程序自行设置。将双边滤波后的图像I2作为多分辨率融合的另一个图像。图像I1与I2需要根据特定权重比例进行多分辨率融合。提取两个图像的亮度通道，经过拉普拉斯滤波、局部对比度计算、显著性计算、归一化等方法形成两个融合权重图像W1与W2。W1与W2经过高斯金字塔分解，得到对应分辨率的权重系数。I1与I2的三个通道相应地采用拉普拉斯金字塔分解，得到多个分辨率的图像。将不同分辨率的权重与该分辨率的图像相乘，两个图像相加，得到该分辨率下单通道的融合图像。接下来采用金字塔重建，将多个分辨率的单通道重构成原始分辨率的图像。拉普拉斯金字塔与高斯金字塔实现过程相似。高斯金字塔是将原始图像依次降低分辨率，在不同分辨率上进行高斯滤波操作；而拉普拉斯金字塔在高斯滤波过程引入差分，实现增强多分辨率下图像细节的操作。三个通道合并，得到最终处理后的图像。多分辨率的高斯及拉普拉斯金字塔操作使图像在不同尺度下的细节得到保留，降低了降噪算法对图像清晰度的影响。实时图像增强处理过程参考图2所示。
图像增强处理后的图像以卷积神经网络模型的方式进行特定目标识别，图3是一种典型的用于目标识别的卷积神经网络模型。原始三通道彩色图像经过灰度转化形成单通道灰度图像，采用3*3的卷积核进行卷积操作。对于一个图像f与卷积核h，卷积操作
定义如下:
ReLU是图像卷积操作中一种常见的激活函数，表达如下：
f(x)＝max(0,x)
输入图像经过重复二次卷积和激活函数操作后，下采样降低图像分辨率至长宽各二分之一尺度，重复两次卷积和激活函数操作，再次下采样二分之一重复操作。最终在最小尺度比如32*32的分辨率上进行卷积和激活函数操作后，进行上采样及卷积操作恢复图像分辨率。下采样与上采样的添加可以在不同维度上对图像进行特征提取，而卷积操作的核函数则在训练过程中对目标进行规律的识别，激活函数抑制了无意义的信号特征，使训练过程收敛。采用标记的图像对卷积神经网络训练，可以得到最有的卷积核等权重参数，从而形成网络的模型。模型训练过程，将少量标记好目标位置的图像进行随机旋转、裁剪等方式进行数据扩增，增大训练样本数量，根据梯度下降算法进行权重参数的计算。
图4为本发明提及的水下目标检测装置。图像增强及卷积神经网络对计算机计算性能要求较高，传统水下计算机性能无法满足计算要求，台式图像处理工作站可以满足计算要求，但是功耗较高。为了实现水下图像高算力低功耗的计算，本发明采用嵌入式并行计算单元，作为图像计算核心处理器。嵌入式并行计算单元是一种用于移动设备的GPU(图像处理单元)，适应于图像处理这种多个计算任务并行的算法。在嵌入式并行计算单元部署图像增强程序及图像识别程序，并将预先在台式工作站上计算出的卷积神经网络模型保存至嵌入式并行计算单元，用于图像的识别。嵌入式并行计算单元读取水下摄像机的图像，提供给图像增强程序，在图像增强处理完成后由图像识别程序进行目标识别。根据目标图像的物理尺寸映射，得到目标的平面坐标位置，结合水下机器人的高度计等传感器信息，获得目标的深度信息。程序得出的计算结果传递给水下机器人作业系统，辅助完成作业操作。
Claims (10)
1.一种用于水下机器人的图像目标快速检测方法，其特征在于，包括以下步骤：
通过水下摄像机获取水下图像；
对水下图像进行图像增强处理；
对增强后的图像进行目标识别，得到目标轮廓在图像中的位置；
水下机器人根据目标位置进行作业。
2.根据权利要求1所述的一种用于水下机器人的图像目标快速检测方法，其特征在于，所述对水下图像进行图像增强处理，包括以下步骤：
采用白平衡算法对水下图像进行色彩恢复，得到多分辨率融合的图像I1；
对图像I1进行降噪处理，得到降噪后的图像I2；
将图像I1和图像I2分别采用拉普拉斯金字塔分解，使图像I1和图像I2均分解成不同分辨率的多个图像；
分别提取图像I1和图像I2的亮度通道，并依次经过拉普拉斯滤波、局部对比度计算、显著性计算、归一化形成两个融合权重图像W1与图像W2；
将图像W1与图像W2分别经过高斯金字塔分解，得到不同分辨率的权重系数；
将不同分辨率的权重系数与该分辨率的图像相乘后，得到该分辨率下的加权图像，将相同分辨率下图像I1和图像I2的加权图像相加，得到该分辨率下单通道的融合图像；
采用金字塔重建，将多个分辨率的单通道重构成原始分辨率的图像。
3.根据权利要求2所述的一种用于水下机器人的图像目标快速检测方法，其特征在于，所述白平衡算法为完美反射法。
4.根据权利要求2所述的一种用于水下机器人的图像目标快速检测方法，其特征在于，使用双边滤波法对图像进行降噪处理。
5.根据权利要求1所述的一种用于水下机器人的图像目标快速检测方法，其特征在于，使用卷积神经网络对增强后的图像进行目标识别，卷积神经网络的输入为待检测图像，输出为目标的轮廓，并使用带有轮廓标记的水下图像对卷积神经网络进行训练。
6.根据权利要求1所述的一种用于水下机器人的图像目标快速检测方法，其特征在于，所述对增强后的图像进行目标识别，包括以下步骤：
1)对输入的图像依次经过两次卷积和两次激活函数处理；
2)将处理后的图像进行下采样，降低图像分辨率至长宽各二分之一尺度；
3)重复执行步骤1)～步骤2)，直至图像的分辨率达到设定的大小；
4)对图像进行上采样，提高图像分辨率至长宽各二倍尺度；
5)对输入的图像依次经过两次卷积和两次激活函数处理；
6)重复执行步骤4)～步骤5)，直至图像的分辨率达到原始大小。
7.一种用于水下机器人的图像目标快速检测装置，其特征在于，包括：
水下摄像机，用于获取水下图像；
图像增强程序，用于对水下图像进行图像增强处理；
图像识别程序，用于对增强后的图像进行目标识别，得到目标轮廓在图像中的位置；
嵌入式并行计算单元，用于部署图像增强程序和图像识别程序，并将识别后的目标位置发送给水下机器人。
8.根据权利要求7所述的一种用于水下机器人的图像目标快速检测装置，其特征在于，所述嵌入式并行计算单元为移动设备的图像处理单元GPU。
9.根据权利要求7所述的一种用于水下机器人的图像目标快速检测装置，其特征在于，所述图像增强程序，执行以下步骤：
采用白平衡算法对水下图像进行色彩恢复，得到多分辨率融合的图像I1；
对图像I1进行降噪处理，得到降噪后的图像I2；
将图像I1和图像I2分别采用拉普拉斯金字塔分解，使图像I1和图像I2均分解成不同分辨率的多个图像；
分别提取图像I1和图像I2的亮度通道，并依次经过拉普拉斯滤波、局部对比度计算、显著性计算、归一化形成两个融合权重图像W1与图像W2；
将图像W1与图像W2分别经过高斯金字塔分解，得到不同分辨率的权重系数；
将不同分辨率的权重系数与该分辨率的图像相乘后，得到该分辨率下的加权图像，将相同分辨率下图像I1和图像I2的加权图像相加，得到该分辨率下单通道的融合图像；
采用金字塔重建，将多个分辨率的单通道重构成原始分辨率的图像。
10.根据权利要求7所述的一种用于水下机器人的图像目标快速检测装置，其特征在于，所述图像识别程序，执行以下步骤：
1)对输入的图像依次经过两次卷积和激活函数处理；
2)将处理后的图像进行下采样，降低图像分辨率至长宽各二分之一尺度；
3)重复执行步骤1)～步骤2)，直至图像的分辨率达到设定的大小；
4)对图像进行上采样，提高图像分辨率至长宽各二倍尺度；
5)对输入的图像依次经过两次卷积和激活函数处理；
6)重复执行步骤4)～步骤5)，直至图像的分辨率达到原始大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668548.8A CN115049918A (zh) | 2022-06-14 | 2022-06-14 | 一种用于水下机器人的图像目标快速检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210668548.8A CN115049918A (zh) | 2022-06-14 | 2022-06-14 | 一种用于水下机器人的图像目标快速检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115049918A true CN115049918A (zh) | 2022-09-13 |
Family
ID=83161749
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210668548.8A Pending CN115049918A (zh) | 2022-06-14 | 2022-06-14 | 一种用于水下机器人的图像目标快速检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049918A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385280A (zh) * | 2023-01-09 | 2023-07-04 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪系统、方法及降噪神经网络训练方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109975816A (zh) * | 2019-03-11 | 2019-07-05 | 武汉理工大学 | 一种微型水下机器人的传感器信息融合方法 |
| CN111209952A (zh) * | 2020-01-03 | 2020-05-29 | 西安工业大学 | 基于改进ssd和迁移学习的水下目标检测方法 |
| CN113408423A (zh) * | 2021-06-21 | 2021-09-17 | 西安工业大学 | 适用于tx2嵌入式平台的水产品目标实时检测方法 |
| WO2021184620A1 (zh) * | 2020-03-19 | 2021-09-23 | 南京昊眼晶睛智能科技有限公司 | 一种基于摄像头的非接触式心率、体温测量方法 |
| WO2021243743A1 (zh) * | 2020-06-04 | 2021-12-09 | 青岛理工大学 | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 |
-
2022
- 2022-06-14 CN CN202210668548.8A patent/CN115049918A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109975816A (zh) * | 2019-03-11 | 2019-07-05 | 武汉理工大学 | 一种微型水下机器人的传感器信息融合方法 |
| CN111209952A (zh) * | 2020-01-03 | 2020-05-29 | 西安工业大学 | 基于改进ssd和迁移学习的水下目标检测方法 |
| WO2021184620A1 (zh) * | 2020-03-19 | 2021-09-23 | 南京昊眼晶睛智能科技有限公司 | 一种基于摄像头的非接触式心率、体温测量方法 |
| WO2021243743A1 (zh) * | 2020-06-04 | 2021-12-09 | 青岛理工大学 | 基于深度卷积神经网络的沉底油声呐探测图像识别方法 |
| CN113408423A (zh) * | 2021-06-21 | 2021-09-17 | 西安工业大学 | 适用于tx2嵌入式平台的水产品目标实时检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 林森 等: "基于优势特征图像融合的水下光学图像增强", 《光子学报》, 31 March 2020 (2020-03-31), pages 1 - 12 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116385280A (zh) * | 2023-01-09 | 2023-07-04 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪系统、方法及降噪神经网络训练方法 |
| CN116385280B (zh) * | 2023-01-09 | 2024-01-23 | 爱芯元智半导体(上海)有限公司 | 一种图像降噪系统、方法及降噪神经网络训练方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112270249B (zh) | 一种融合rgb-d视觉特征的目标位姿估计方法 | |
| Raveendran et al. | Underwater image enhancement: a comprehensive review, recent trends, challenges and applications | |
| Han et al. | Underwater image processing and object detection based on deep CNN method | |
| CN109993710B (zh) | 一种基于生成对抗网络的水下图像去噪方法 | |
| Wang et al. | Real-time underwater onboard vision sensing system for robotic gripping | |
| CN111209952A (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN107808161B (zh) | 一种基于光视觉的水下目标识别方法 | |
| Ahn et al. | Enhancement of deep-sea floor images obtained by an underwater vehicle and its evaluation by crab recognition | |
| CN108510458B (zh) | 基于深度学习方法和非参数化采样的侧扫声呐图像合成方法 | |
| CN111898651A (zh) | 一种基于Tiny YOLOV3算法的树木检测方法 | |
| CN111553869B (zh) | 一种空基视角下的生成对抗网络图像补全方法 | |
| US11887346B2 (en) | Systems and methods for image feature extraction | |
| CN110288623B (zh) | 无人机海上网箱养殖巡检图像的数据压缩方法 | |
| CN112102197A (zh) | 一种辅助潜水员的水下目标检测系统及方法 | |
| CN104200434B (zh) | 一种基于噪声方差估计的非局部均值图像去噪方法 | |
| Long et al. | Underwater forward-looking sonar images target detection via speckle reduction and scene prior | |
| CN115326809A (zh) | 一种隧道衬砌表观裂纹检测方法及检测装置 | |
| CN114581318B (zh) | 一种低照明度图像增强方法及系统 | |
| CN115049918A (zh) | 一种用于水下机器人的图像目标快速检测方法及装置 | |
| Sasilatha et al. | Deep learning-based underwater metal object detection using input image data and corrosion protection of mild steel used in underwater study: A case study: Part A: Deep learning-based underwater metal object detection using input image data | |
| Chen et al. | Improve transmission by designing filters for image dehazing | |
| CN107945119B (zh) | 基于拜耳模式的图像内相关噪声估计方法 | |
| CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
| CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |