CN112561996A - 一种自主水下机器人回收对接中目标检测方法 - Google Patents
一种自主水下机器人回收对接中目标检测方法 Download PDFInfo
- Publication number
- CN112561996A CN112561996A CN202011442947.XA CN202011442947A CN112561996A CN 112561996 A CN112561996 A CN 112561996A CN 202011442947 A CN202011442947 A CN 202011442947A CN 112561996 A CN112561996 A CN 112561996A
- Authority
- CN
- China
- Prior art keywords
- image
- parallax
- matching
- target
- underwater robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000011084 recovery Methods 0.000 title claims abstract description 17
- 238000003032 molecular docking Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005286 illumination Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 9
- 238000002834 transmittance Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000004075 alteration Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 210000003739 neck Anatomy 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 210000001503 joint Anatomy 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010034960 Photophobia Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000013469 light sensitivity Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- RYYVLZVUVIJVGH-UHFFFAOYSA-N trimethylxanthine Natural products CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种自主水下机器人回收对接中目标检测的方法，提供了一种水下机器人对目标识别与定位的方法。整个流程包括双目相机标定、图像预处理，目标检测和立体匹配四部分。在图像预处理方面，利用一种新型的水下图像增强算法通过景深与梯度信息将图像中物体与水体区分开，利用背景光与物体的非相关性有效计算背景光，提高图像对比度。在目标检测方面，利用YOLOv4算法对图片进行目标检测，对每个图片进行目标识别，并摘取其目标框图片，大大减少后续计算量。对立体匹配算法SGBM算法利用最小二乘法拟合插值法进行优化，对其基本视差图中仍存在的错误和无效值进行改善，提高匹配结果的精度。
Description
技术领域
本发明涉及一种自主水下机器人，尤其涉及一种自主水下机器人回收对接中 目标检测的方法,属于机器人技术领域。
背景技术
人类进入21世纪，将会迎来人口膨胀、资源短缺、环境恶化等三大问题， 面对这些问题，人们需要向海洋拓展活动空间。经调查，人类对海洋的探测只完 成了5％，还有95％的海域没有探测过，海洋又因其通透性和天然地理格局成为重 要的国防屏障，受到世界各国的高度重视，在未来海洋将会是科学和技术创新的 重要舞台。
作为在复杂海洋环境下执行任务的重要工具，水下航行器不仅在军事上用作 水下搜索、通信、监视、侦察等任务，在民用和科学研究中也被用于海底探测、 绘制海底地图等。水下航行器在执行任务时，良好的环境感知能力有助于提高其 安全性和自主能力。双目立体视觉(Binocular Stereo Vision)作为机器视觉的 一种重要形式，它通过利用不同相机从不同方位拍摄目标获得多幅图像,通过计 算目标对应点的视差,得到目标的三维信息。相比于常见的单目相机和RGB-D相 机(水下失效)，双目相机能够更好的进行环境的三维重建和目标定位，同时，相 对于价格高昂的声纳系统，双目相机价格便宜、易于维护，对节约成本具有较大 帮助，是航行器近距离环境感知的理想装置。
水下目标识别对于海洋资源开发、海洋环境监测、海洋军事应用等具有重大 意义。在实际应用中，由于水下环境的复杂性，增加了水下目标的检测难度， 双目视觉摄像机作为无人自主水下机器人的眼睛，对于其实现避障，导航，水下 信息探测等功能都有着不可取代的作用。除此之外，由于水下运动物体有可能是 我们感兴趣的目标或者成为水下机器人的潜在威胁，因而对运动物体进行准确有 效的目标识别与定位对水下机器人执行对应的探测任务和确保水下机器人的安 全航行都有着非常重要的意义。
由于海洋复杂成像环境导致光视觉系统获取到的水下图像严重退化(水下图 像的衰退主要包括：光线吸收导致的颜色偏差，光线前向散射导致的细节模糊和 光线后向散射造成的低对比度)，出现颜色衰退、对比度低以及细节模糊等现象。 针对此现象，采用一种基于主动光照的图像增强方法，提高对比度，矫正颜色。
在众多图像的检测、识别算法中，卷积神经网络(convolutionalneural network,CNN)表现尤为突出。卷积神经网络是通过端到端的方法进行训练的机 器学习模型，该模型采用梯度下降法来对参数进行调节。模型首先需要在特定数 据集上进行训练，在训练过程中，模型可以逐渐学习提取图像目标特征，最后利 用提取的特征完成图像分类、目标检测或语义分割等任务。王硕红等提出基于尺 度空间法的卷积神经网络目标识别算法，该算法在目标检测准确率方面优于传统 算法，但其检测实时性较差，并且对复杂环境下水下目标的检测准确率有待进一 步提高。
申请号为“CN202010432897”的专利文献公开了“一种基于卷积神经网的 水下目标被动检测方法”致力于挖掘深层信息，但增加了卷积神经网络的复杂度。 针对以上存在的水下复杂环境中目标检测准确率低、实时性差的问题，本发明采 用速率较快且对硬件要求低的YOLOv4(YOU ONLY LOOK ONCE)进行目标检测， 申请号为“CN202010823924.7”的专利文献公开了“一种基于双目视觉的车辆路 面高度识别系统”其中的半全局立体匹配方法，在视差图计算中会丢失图像信息， 以及模糊等问题，本发明针对此立体匹配方法进行了相关优化。
发明内容
本发明的目的在于提供一种自主水下机器人回收对接中目标检测的方法，提 供一种基于YOLOv4(YOU ONLY LOOK ONCE)目标检测方法，来进行水下目标特 征提取与识别，从而实现水下目标检测与定位，应用于全驱动自主水下机器人回 收控制过程，提供水下自主机器人回收过程中路径规划所需要的环境信息，为后 续的路径规划与避障提供必要的先验知识。
本发明的目的通过以下技术方案予以实现：
一种自主水下机器人回收对接中目标检测的方法，包括以下步骤：
⑴对水下摄像机进行标定，得到摄像机内参数矩阵、畸变系数矩阵、本征 矩阵、基础矩阵、旋转矩阵以及平移矩阵，采集水下视频并进行存储；
⑵对视频进行处理得到帧图，采用基于主动光照的图像增强的方法对得到 的图像进行预处理，减小水对光成像的影响；
⑶基于YOLOv4网络目标检测的方法，对图像进行目标识别，根据其预选框 对图进行根据最小二乘拟合插值法优化后的SGBM (Semi-Global-BlockMatching)算法进行立体匹配；
⑷得到图像的类别与图像的位置信息。
本发明的目的还可以通过以下技术措施来进一步实现：
前述自主水下机器人回收对接中目标检测的方法，其中采用基于主动光照的 图像增强的方法对图像进行预处理，包括以下步骤：
①利用景深将图像分为前景与背景区域；
②在景深的基础上，根据物体与水体的梯度信息把物体与水体分割开；
③选择水体无穷远处与物体非相关性较低的像素点作为背景光估计；
④利用红色逆通道法求出R、G、B三个通道的透射率；
⑤得到背景光与透射率之后，根据式
Ic(x)＝Jc(x)·tc(x)+B∞c[1-tc(x)] (1)
其中tc(x)是透射率,Ic(x)代表经过图像衰减过后相机得到的图像，B∞c表示 背景光,Jc(x)是去散射后的图像；
⑥利用探测出的灰色像素的特性估计并去除人造光源的颜色增益；
⑦补偿光从光源发出到物体表面的传播过程中的衰减，校正色差。
前述自主水下机器人回收对接中目标检测的方法，其中基于YOLOv4目标检 测的方法，对图像进行目标识别，包括以下步骤：
①下载Darknet，利用Cmake进行编译，修改Makefile配置项；
②根据双目摄像机获得的图片信息，对图片进行标注。
③建立网络结构，网络结构基于YOLOv4网络，以CSPdarknet53作为主干网 络，空间金字塔池化模块和路径聚合网络模块作为颈部，YOLOV3作为头部预测 输出；
④设置每批次送入网络的图片数batch＝64，每张图的大小为608x608，批 次细分subdivision＝32,最大批次数max_batches＝4000。下载预训练权重，放 在主目录下，接着开始训练的数据集，得到训练结果。
前述自主水下机器人回收对接中目标检测的方法，其中基于YOLOv4网络预 选框进行SGBM立体匹配，利用最小二乘拟插值法对SGBM立体匹配算法的优化。
①匹配成本计算。根据左右图像中相匹配的同名像素点进行匹配成本函数 计算。
②成本合计。设置一个能量函数E(D)来表示像素方向和平滑度约束
其中，C(p，Dp)表示视图上像素点与匹配点的代价函数；T[|Dp-Dq|＝1] 和T[|Dp-Dq|＞1]分别为相邻像素点P，q之间的平滑度约束函数；P1和P2 分别表示视差差值为1和视差差值大于1的惩罚系数，P1＜P2。
③视差计算。根据相邻像素点P、q进行视差计算。通过为每个像素P选 择具有最小成本的视差d来获取相对应的视差图像Db。沿像素q的对极线使 用相同的成本计算确定对应的视差图像Dm。比较Db，Dm，检测视差图像遮挡 率和错误匹配率，若不满足式(3)，则视差无效。
Dp＝Dbpif|DbP-Dmq|＜1 (3)
④多基线匹配。通过计算基础图像和匹配图像之间所有对应关系的组合像 素匹配成本来完成多基线匹配。
⑤视差优化。可采用峰值滤波消除异常值、选择强度一致的视差和保留不 连续性的插值实现视差优化。
采用最小二乘拟合插值方法对每个超像素区域的基本视差图进行优化。基本 视差图的优化公式如下：
d＝αx+by+c (4)
式中(a，b，c)为视差平面参数；如果参数(a，b，c)确定，图像平面上的每 个坐标点都对应一个视差值。最小二乘法的公式如下：
d1＝ax1+by1+c
d2＝ax2+by2+c
d3＝ax3+by3+c (5)
设：
由上述式子可以推到出：
前述自主水下机器人回收对接中目标检测的方法，其中所述第三步基于 YOLOv4网络预选框进行SGBM立体匹配，其中代价采用WTA(Winner Take All) 算法计算得到代价最小的视差值，采用优胜者全选方式，选取对应匹配代价最小 的视差作为最终的视差d(u)，表达式如下：
其中，
表示点u在视差为d时的代价聚合值，d(u)表示立体匹配的 最终视差结果，
表示取当取得
最小值时视差d的值。
与现有技术相比，本发明的有益效果是：
本发明将图像目标检测算法进行改进，将其推广到自主水下机器人前景视场 的目标识别与定位任务中，实现对目标的分类以及目标位置的检测。
本发明本文基于主动光照的水下模型，提出一种新的水下图像增强算法.该 算法无需过多先验信息，直接从原始图像入手，通过景深与梯度信息将图像中物 体与水体区分开，利用背景光与物体的非相关性有效计算背景光，避免了人造光 照射的前景区域或白色物体上亮像素对背景光估计的影响，最大限度去除散射效 应，提高对比度.同时，考虑到去散射图像中仍然存在人造光源的颜色增益以及 光在传播过程中的衰减带来的颜色失真问题，去除光源的颜色增益并补偿光在传 播过程中的损失，从根本上解决了引起水下图像失真的原因，无需额外的拉伸均 衡，避免颜色调整过程中，因过度拉伸导致的图像过曝现象。
本发明目标检测算法基于YOLOv4网络构建，不仅可以检测出目标物，还可 以框出预选框，为后续立体匹配获取深度信息以及避障打下了基础，减少了立体 匹配的图片大小，也大大提高了立体匹配的计算效率，为提高自主水下机器人目 标检测实时性的要求提供了便利。
对立体匹配中使用的SGBM算法进行了优化，在视差计算完后还是存在的模 糊等缺陷，对其进行最小二乘拟插值法，细化基本视差图，进一步提高了匹配结 果的精度。
附图说明
图1是本发明的自主水下机器人回收对接中目标检测的流程图；
图2是基于主动光照的图像增强的整体架构；
图3是对SGBM进行最小二乘拟插值法优化的网络结构图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，本发明的目的通过以下步骤予以实现：
(1)对水下摄像机应用张氏平面标定法进行标定，得到摄像机的摄像机内 参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，对相 机进行矫正，采集水下视频并进行存储；
(2)使用FFmpeg开源软件将原始视频处理成单帧的图像后，如图2所示采 用基于主动光照的图像增强模型对得到的图像进行预处理，减小水对光成像的影 响，得到对应的空气中的图像；
①先根据景深把水下图像分割为前景部分与背景部分，从位置上将无穷远 处背景光与前景可能存在的亮区域进行粗略区分.景深可以较好地反映出水下图 像的位置分布，水下的景深可以定义为
d(x)＝θadR(x)+(1-θa)dB(x) (8)
式中，θa是由图像平均值决定的Sigmoid型函数，dR(x)和dB(x)分别表示 基于红色通道与基于图像模糊度的景深的初始估计，通过融合得到最终的景深估 计.在估计出的景深中，越近的点，景深值越小，因此利用景深可以把前景与背 景分割为
式中，A1(x)表示前景区域，A2(x)表示背景区域.分割后的前景区域中可 能存在水体部分也可能存在物体部分.考虑到水体部分比较平坦，很少有突兀的 变化，即梯度很小，利用水体的特性，提取前景区域中图像的梯度信
息，记为
并通过梯度值大小进一步把前景区域中的水体部分与物 体部分分离开，即
式中，δ为梯度的阈值，在本文中取值为0.06；A1object(x)表示前景中的物体 区域，A1non-object(x)表示前景中的水体区域.因此通过式(8)～(10)可以将水下图 像中的物体与水体区域区分开.
②接着在背景区域A2(x)中选取前0.1％最亮的点，记为bi，以bi为中心的 局部块记为
在物体区域A1object(x)中选取最亮的像素记为α，以α为中心的 局部块记为Ωα.基于背景光与目标物体是非相关的的假设，两区域像素的关系 可以表示为
由于目标物体上可能也会叠加一些背景光的像素，完全不相关是一种理想情 况，选取与α相关性最弱的bi的取值作为背景光的估计
选出使C(x)值前5％最小的bi，记作
其在原始图像上对应点的强度值记 作背景光的值
除了背景光外，还需要求透射率.由于水下图像散射对R通道更敏感，因此 直接用暗原色复原法估计透射率没有考虑水下衰减的特殊情况，采用红色逆通道 法来估计红色通道的透射率
求得了红色通道的透射率后，再根据三个通道的透射率之间的关系可以估计 出另外两个通道的透射率，即
式中，βr、βg、βb分别是r、g、b通道的衰减系数.将估计到的背景光与 透射率代入式(5)即可得到去散射后的图像为
为了防止结果溢出，设置一个最低门限值t0，根据经验，t0的取值为0.1
③颜色矫正主要分为三个步骤：1、根据景深与灰色度量系数获得潜藏灰色 像素；2、利用潜藏灰色像素的性质估计出光源本身的颜色增益并去除；3、补偿 光照强度在传播过程中的衰减.
根据理想的朗伯特反射模型可知，场景中某一点颜色可由整个可见光范围内 光源的分布、反射面的反射率以及相机的感光系数的乘积得到
式中，lc表示光源的分布，sc表示相机感光函数，假设光源颜色增益gc＝lc· sc.因此
可以看作是无光源颜色增益的图像.深海环境中，光照分量主要来 源于人造光源，可以看作是由光源颜色增益与光照强度的乘积组成，即 Lc＝gc·h，其中Lc表示从光源发出的光照分量，h表示光照强度，gc表示光 源颜色增益.结合式(6)与(18)，Jc(x)还可以表示为
由式(19)可知，传统图像增强算法得到的去散射图像Jc(x)中除了光源颜色 增益gc，还受到去向传播过程中的衰减tc(x)的影响.光照分量中，光源的颜色增 益是导致图像偏色的原因之一，光照强度才是成像过程中到达物体表面的有效成 分.传统的颜色校正法没有从根本上解决图像色彩失真的问题，无法有效地进行 色彩校正.实际上，无颜色失真无衰减的理想图像应为无衰减的入射光强经反射 后得到的图像，即
因此为了校正色偏，得到最终增强的图像
需要对去散射图像Jc(x)去 除光源颜色增益同时补偿衰减的光照强度.根据海底光照分量的组成可知，已知 场景表面入射光Hc(x)(也是背景光)与透射率tc(x)，由背景光与人造光的关系 Hc(x)＝Lc·tc(x)＝gc·h·tc(x)可知，只要探测到光照强度h，即可求得光源颜色 增益gc.研究表明图像在光源照射下会含有一些灰色像素(或接近于灰色的像 素)，这种像素被称为潜藏灰色像素.这些像素越接近灰色，说明离光源越近， 对光源的影响也就越敏感，因此可以被用来估计光照分量.通常，在光源照射下 的灰色像素所在区域的局部对比度在三个通道内几乎相等.因此为了测量一个像 素接近于灰色的程度，利用局部对比度定义灰色度量系数(GI)：首先对图像三 个通道进行对数变换.然后计算每一个通道图像的局部对比度，再计算每个像素 点在三个通道中对比度值的相对标准差除以该位置像素点在原始r、g、b通道下 的平均灰度值，即可得到灰色度量系数
式中，
表示以像素x为中心的，尺寸为η×η(设η＝3)的对数图 像块上的局部对比度(用局部标准差表示局部对比度),
表示图像的平均值.灰色度量系数GI反映了像素受光源 影响的大小，其值越低说明该像素变为灰色像素的可能性越大，即受到人造光源 的影响也越大.为了探测离光源较近且对光源最敏感的潜藏灰色像素，选取去散 射图像中景深0.1％小的像素点，认为这些像素离相机很近，忽略光在传播过程 中的衰减，此时这些像素点的透射率tc(x)假设均为1，接着在这些像素点的集合 中选择GI值小于0.1的像素点，这些像素点的集合记作Mn.由式(19)可以 看出，此时几乎所有的影响仅来源于光源本身.考虑到YCbCr可以把图像的光 照强度与颜色分量分离开，将探测到的像素点转换到YCbCr的空间 上，利用潜藏灰色像素在Y空间上的平均值作为光照强度的估计，即
式中，n是潜藏灰色像素的个数，Y(x)代表该像素在YCbCr空间的Y分量.由 水下场景表面入射光组成Hc(x)＝Lc·tc(x)与人造光组成Lc＝gc·h的关系可以求 得光源的颜色增益
得到了颜色增益之后，利用式(20)可得去除光源颜色增益，并补偿光路衰 减的最终增强图像.
(3)如图3所示，基于YOLOv4网络目标检测的方法，对图像中预选框进行 摘取处理，对图像进行的采用最小二乘拟合插值法优化后的SGBM立体匹配方法 进行立体匹配，得到图像的深度信息；
①将之前经过图像增强处理的图片定义成YOLO需要训练的数据集，在scripts.py下运行一个voc_label.py的脚本，这个脚本会生成对应的labels (里面包含的是txt格式的yolo标注)，以及train.txt也就是上面的训练图 片目录；
②修改YOLOv4的网络结构，根据类别数据修改max-batches,修改yolo layer前的conv中的filters，一般是(类别数+5)*3，最后修改下自己的class.
基于SGBM算法的改进，使用最小二乘法对视差图进行插值优化，得到精度 更高的视差图。基于YOLOv4训练结束输出的图像进行以下操作。
③基于yolov4算法的图像窗口，逐像素匹配计算。函d(xi,yi,IL,IR)数表征 左、右双目图像中某两个点为同名像点的可能性。
式中，xi和yi表示左、右双目图像中处于同一扫描线上的两个像点。将扫 描线上左图像点x的灰度信息表示为IL(x)；扫描线上右图像点y的灰度信 息IR(x)可以通过采样采用最小二乘法拟合插值法获取。(点线性内插法)
④对左目图像扫描线上的检测到边缘信息点，通过SGBM算法在右图像扫描 线上获取，将二维匹配运算通过目标点图像边缘约束实现扫描线上一维相关计 算。
⑤视差计算。用迭代运算完成视差计算，首先，通过随机视差影像纠正右影 像，然后进行左右图像对匹配，产成新的视差影像；也可通过分等级计算的方法 进行视差计算，先在半分辨率情况下计算视差影像作为初值，然后对视差影像进 行递归计算。
⑥误匹配的剔除。左、右视觉图像同名点匹配完成后，通过右视觉图的同名 点反向匹配左视觉图像中的匹配点，与由左图像和右图像进行匹配得到的视差不 同，则视之为误匹配，重复上述计算过程，重新进行匹配。
(4)根据步骤1标定的参数运用点云库(Point Cloud Library，PCL)进 行三维重建：
①先初始化一个深度图和一个PointCloud<PointT>类型的点云，用于存储 图像和点云。
②遍历深度图中的像素坐标，得到深度图像素区域内的单通道深度值。
③使用摄像机标定得到的内外部参数，计算出三维坐标，得到3D的PCL点 云点坐标。
④将原始图像中的每个像素点的RGB信息提取出，赋值给PCL点云中的RGB 颜色通道。
除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变 换形成的技术方案，均落在本发明要求的保护范围内。
Claims (5)
1.一种自主水下机器人回收对接中目标检测方法，其特征在于，该方法包含下列步骤：
S1对水下摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，采集水下视频并进行存储；
S2对视频进行处理得到帧图，采用基于主动光照的新型图像增强的方法对得到的图像进行预处理，利用背景光与物体的非相关性有效计算背景光，提高图像对比度；
S3基于YOLOv4网络目标检测的方法，对图像进行目标识别，根据其预选框对图像根据最小二乘拟合插值法优化后的SGBM算法进行立体匹配；
S4对图像进行的采用最小二乘拟合插值法优化后的SGBM立体匹配方法进行立体匹配，得到图像的类别与图像的位置信息。
2.如权利要求1所述的自主水下机器人回收对接中目标检测方法，其特征在于，所述利用主动光照的图像增强方法对图像进行预处理，其步骤包括：
①利用景深将图像分为前景与背景区域；
②在景深的基础上，根据物体与水体的梯度信息把物体与水体分割开；
③选择水体无穷远处与物体非相关性较低的像素点作为背景光估计；
④利用红色逆通道法求出R、G、B三个通道的透射率；
⑤得到背景光与透射率之后，根据式
Ic(x)＝Jc(x)·tc(x)+B∞c[1-tc(x)] (1)
其中tc(x)是透射率，Ic(x)代表经过图像衰减过后相机得到的图像，B∞c表示背景光，Jc(x)是去散射后的图像；
⑥利用探测出的灰色像素的特性估计并去除人造光源的颜色增益；
⑦补偿光从光源发出到物体表面的传播过程中的衰减，校正色差。
3.如权利要求1所述的自主水下机器人回收对接中目标检测方法，其特征在于，所述第三步基于YOLOv4目标检测的方法，对图像进行目标识别，其步骤包括：
①下载Darknet，利用Cmake进行编译，修改Makefile配置项；
②根据双目摄像机获得的图片信息，对图片进行标注；
③建立网络结构，网络结构基于YOLOv4网络，以CSPdarknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，YOLOV3作为头部预测输出；
④设置每批次送入网络的图片数batch＝64，每张图的大小为608x608，批次细分subdivision＝32，最大批次数max_batches＝4000。下载预训练权重，放在主目录下，接着开始训练的数据集，得到训练结果。
4.如权利要求1所述的自主水下机器人回收对接中目标检测方法，其特征在于，所述第三步基于YOLOv4网络预选框进行SGBM立体匹配，利用最小二乘拟插值法对SGBM立体匹配算法的优化，其步骤包括：
①匹配成本计算，根据左右图像中相匹配的同名像素点进行匹配成本函数计算；
②成本合计，设置一个能量函数E(D)来表示像素方向和平滑度约束
其中，C(p，Dp)表示视图上像素点与匹配点的代价函数；T[|Dp-Dq|＝1]和T[|Dp-Dq|＞1]分别为相邻像素点P，q之间的平滑度约束函数；P1和P2分别表示视差差值为1和视差差值大于1的惩罚系数，P1＜P2；
③视差计算：根据相邻像素点P、q进行视差计算，通过为每个像素P选择具有最小成本的视差d来获取相对应的视差图像Db，沿像素q的对极线使用相同的成本计算确定对应的视差图像Dm，比较Db，Dm，检测视差图像遮挡率和错误匹配率，若不满足式(3)，则视差无效；
Dp＝Dbpif|Dbp-Dmq|＜1 (3)
④多基线匹配，通过计算基础图像和匹配图像之间所有对应关系的组合像素匹配成本来完成多基线匹配；
⑤视差优化，可采用峰值滤波消除异常值、选择强度一致的视差和保留不连续性的插值实现视差优化；
采用最小二乘拟合插值方法对每个超像素区域的基本视差图进行优化，基本视差图的优化公式如下：
d＝αx+by+c (4)
式中(a，b，c)为视差平面参数；如果参数(a，b，c)确定，图像平面上的每个坐标点都对应一个视差值，最小二乘法的公式如下：
设：
由上述式子可以推到出：
5.如权利要求1所述的自主水下机器人回收对接中目标检测方法，其特征在于，所述第三步基于YOLOv4网络预选框进行SGBM立体匹配中，其中采用WTA算法计算得到代价最小的视差值，采用优胜者全选方式，选取对应匹配代价最小的视差作为最终的视差d(u)，表达式如下：
其中，
表示点u在视差为d时的代价聚合值，d(u)表示立体匹配的最终视差结果，
表示取当取得
最小值时视差d的值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011442947.XA CN112561996A (zh) | 2020-12-08 | 2020-12-08 | 一种自主水下机器人回收对接中目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011442947.XA CN112561996A (zh) | 2020-12-08 | 2020-12-08 | 一种自主水下机器人回收对接中目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112561996A true CN112561996A (zh) | 2021-03-26 |
Family
ID=75062664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011442947.XA Pending CN112561996A (zh) | 2020-12-08 | 2020-12-08 | 一种自主水下机器人回收对接中目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561996A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113109762A (zh) * | 2021-04-07 | 2021-07-13 | 哈尔滨工程大学 | 一种用于auv对接回收的光视觉引导方法 |
| CN114359282A (zh) * | 2022-03-17 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 融合多视角的输电线路鸟巢缺陷识别方法和装置 |
| CN115147496A (zh) * | 2022-06-29 | 2022-10-04 | 中国航天空气动力技术研究院 | 一种基于深度学习的水下视觉导引实时检测方法及装置 |
| CN117590867A (zh) * | 2024-01-18 | 2024-02-23 | 吉林大学 | 基于深度强化学习的水下自主航行器接驳控制方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| CN110543859A (zh) * | 2019-09-05 | 2019-12-06 | 大连海事大学 | 一种基于深度学习和双目定位的海参自主识别和抓取方法 |
| CN111553252A (zh) * | 2020-04-24 | 2020-08-18 | 福建农林大学 | 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法 |
| CN111640152A (zh) * | 2020-05-21 | 2020-09-08 | 浙江大学 | 一种鱼类生长监控方法和系统 |
| CN111813114A (zh) * | 2020-07-07 | 2020-10-23 | 镇江市高等专科学校 | 智能小车视觉导航方法 |
| CN111985451A (zh) * | 2020-09-04 | 2020-11-24 | 南京航空航天大学 | 一种基于YOLOv4的无人机场景检测方法 |
-
2020
- 2020-12-08 CN CN202011442947.XA patent/CN112561996A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876855A (zh) * | 2018-05-28 | 2018-11-23 | 哈尔滨工程大学 | 一种基于深度学习的海参检测和双目视觉定位方法 |
| CN110543859A (zh) * | 2019-09-05 | 2019-12-06 | 大连海事大学 | 一种基于深度学习和双目定位的海参自主识别和抓取方法 |
| CN111553252A (zh) * | 2020-04-24 | 2020-08-18 | 福建农林大学 | 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法 |
| CN111640152A (zh) * | 2020-05-21 | 2020-09-08 | 浙江大学 | 一种鱼类生长监控方法和系统 |
| CN111813114A (zh) * | 2020-07-07 | 2020-10-23 | 镇江市高等专科学校 | 智能小车视觉导航方法 |
| CN111985451A (zh) * | 2020-09-04 | 2020-11-24 | 南京航空航天大学 | 一种基于YOLOv4的无人机场景检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| LE HUANG 等: ""Obstacle distance measurement based on binocular vision for highvoltage transmission lines using a cable inspection robot"", 《SCIENCE PROGRESS》, pages 1 - 35 * |
| 李先祥 等: ""基于SGBM算法与BM算法的三维重建分析"", 《自动化与信息工程》, vol. 40, no. 5, pages 6 - 12 * |
| 王连增: ""基于 VS+OpenCV 的双目视觉定位测距系统"", 《图形图像》, pages 58 - 62 * |
| 邓翔宇 等: ""基于主动光照的深海图像增强算法"", 《光子学报》, vol. 49, no. 3, pages 0310001 - 1 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113109762A (zh) * | 2021-04-07 | 2021-07-13 | 哈尔滨工程大学 | 一种用于auv对接回收的光视觉引导方法 |
| CN113109762B (zh) * | 2021-04-07 | 2022-08-02 | 哈尔滨工程大学 | 一种用于auv对接回收的光视觉引导方法 |
| CN114359282A (zh) * | 2022-03-17 | 2022-04-15 | 南方电网数字电网研究院有限公司 | 融合多视角的输电线路鸟巢缺陷识别方法和装置 |
| CN115147496A (zh) * | 2022-06-29 | 2022-10-04 | 中国航天空气动力技术研究院 | 一种基于深度学习的水下视觉导引实时检测方法及装置 |
| CN117590867A (zh) * | 2024-01-18 | 2024-02-23 | 吉林大学 | 基于深度强化学习的水下自主航行器接驳控制方法和系统 |
| CN117590867B (zh) * | 2024-01-18 | 2024-03-26 | 吉林大学 | 基于深度强化学习的水下自主航行器接驳控制方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| CN107862293B (zh) | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 | |
| CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
| CN112634341B (zh) | 多视觉任务协同的深度估计模型的构建方法 | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| EP4042366A1 (en) | Systems and methods for augmentation of sensor systems and imaging systems with polarization | |
| CN112435325A (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
| CN111429533B (zh) | 一种相机镜头畸变参数估计装置及方法 | |
| CN111028285A (zh) | 基于双目视觉和激光雷达融合的深度估计方法 | |
| CN114067197B (zh) | 一种基于目标检测及双目视觉的管道缺陷识别与定位方法 | |
| CN103868460A (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
| CN109961417A (zh) | 图像处理方法、装置及移动装置控制方法 | |
| CN113744315B (zh) | 一种基于双目视觉的半直接视觉里程计 | |
| Skinner et al. | Underwater image dehazing with a light field camera | |
| WO2024012117A1 (zh) | 偏振智能感知系统及感知方法 | |
| CN112767478B (zh) | 一种基于表观指导的六自由度位姿估计方法 | |
| CN113643345A (zh) | 一种基于双光融合的多目道路智能识别方法 | |
| CN115375581A (zh) | 基于事件时空同步的动态视觉事件流降噪效果评价方法 | |
| CN112581543A (zh) | 运动机器人视觉导航方法 | |
| CN115147709A (zh) | 一种基于深度学习的水下目标三维重建方法 | |
| CN116189140A (zh) | 一种基于双目视觉的车辆三维目标检测算法 | |
| CN117079117A (zh) | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 | |
| CN113763261B (zh) | 一种海雾气象条件下的远小目标实时检测方法 | |
| CN113160210B (zh) | 基于深度相机的排水管道缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |