CN117311372B - 基于双目立体视觉的水下机器人自主避障系统及方法 - Google Patents
基于双目立体视觉的水下机器人自主避障系统及方法 Download PDFInfo
- Publication number
- CN117311372B CN117311372B CN202311615705.XA CN202311615705A CN117311372B CN 117311372 B CN117311372 B CN 117311372B CN 202311615705 A CN202311615705 A CN 202311615705A CN 117311372 B CN117311372 B CN 117311372B
- Authority
- CN
- China
- Prior art keywords
- underwater robot
- block
- stereoscopic vision
- measurement module
- binocular stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims description 55
- 238000001914 filtration Methods 0.000 claims description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 229920006395 saturated elastomer Polymers 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 17
- 238000005286 illumination Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 208000034699 Vitreous floaters Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了基于双目立体视觉的水下机器人自主避障系统及方法，涉及水下机器人设备技术领域，在接收双目立体视觉测量模块、扭矩力学测量模块、北斗导航模块输出的相关数据信息后，可准确获得水下机器人周围障碍物的坐标信息和类别信息，并实时输出水下机器人的艏向角、纵倾角和横摇角信息，经过自主避障算法并读取3D栅格地图信息，实时输出水下机器人位置信息、姿态信息和速度信息，形成水下机器人精确自主避障信息。在复杂海况和天气环境下，使用NESN神经网络，实现特征点不足情况下海中障碍物三维坐标信息和类别信息获取快速高精度获取。本发明可实现快速高精度自主避障，可明显改善自主避障的可靠性，获得最佳水下机器人运行轨迹。
Description
技术领域
本发明涉及水下机器人设备技术领域，尤其是一种基于双目立体视觉的水下机器人自主避障系统及方法。
背景技术
二十一世纪是人类向海洋进军的世纪。水下机器人作为一种高技术手段在海洋开发和利用领域的重要性不亚于宇宙火箭在探索宇宙空间中的作用。目前为止，水下机器人多以半自动化形式运行，具有完全自主航行能力的水下机器人是当前国内外研究的热点之一。为实现水下机器人自主化航行，自主避障技术是其中的一项关键技术，也是水下机器人实现智能化的必然要求。精确可靠的自主避障系统是水下机器人成功完成任务不可或缺的一部分。现阶段应用于水下机器人自主避障系统的传感器主要有:声纳、地磁、深度计、惯导等。但是，这些传感器均有其自身的局限性。若水下采用传统传感器进行自主避障，其精度、可靠性均很难满足大范围水下航行的要求。此外，水下机器人通过传统传感器获取周围障碍物的方位及距离信息时，其效果也会受到光照、环境等因素的严重干扰，定位精度低，无法精确获得复杂海况和天气环境下海中障碍物三维坐标信息和类别信息，自主避障可靠性差。
发明内容
为了克服现有技术中存在的上述问题，本发明提出一种基于双目立体视觉的水下机器人自主避障系统及方法。
本发明解决其技术问题所采用的技术方案是：基于双目立体视觉的水下机器人自主避障方法，具体包括如下步骤：步骤1，使用改进的高斯滤波算法对双目立体视觉测量模块采集的数据进行处理；
步骤2，针对双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块设置可信权值，将步骤1所得数据、北斗导航模块所得数据、扭矩力学测量模块所得数据通过D-S证据推理理论对数据进行融合；
步骤3，针对水下环境开展数据集制作实验，制作面向海中障碍物目标的包含点云数据和图像数据的标准数据集；
步骤4，使用步骤3所得的标准数据集对NESN网络进行训练，将步骤2所得的数据作为NESN网络的输入，得到最终水下机器人的运行轨迹。
上述的基于双目立体视觉的水下机器人自主避障方法，所述步骤1中改进的高斯滤波算法具体包括：消除图像的光饱和点；
选取峰值极值点及其左右两侧的2-4个点计算卷积核中各像素点的值，使用灰度重心算法求解中心像素点的值，基于灰度重心算法计算的中心坐标为：
；
；
其中，和/>是某灰度极值点分别沿u轴和v轴的像素坐标；/>是沿u轴某点的灰度值，/>是沿v轴某点的灰度值。
上述的基于双目立体视觉的水下机器人自主避障方法，所述消除图像光饱和点具体为：逐行或逐列扫描目标图像时，两个以上连续像素点的灰度值饱和，则所有光饱和点均不参与高斯滤波；若唯一像素的灰度值饱和，则光饱和点参与高斯滤波。
上述的基于双目立体视觉的水下机器人自主避障方法，所述步骤2中D-S证据推理理论接受到数据后，依次经过确定假设空间、确定基本置信分配、基于信度函数和似然函数的Dempster规则融合得到最终结果。
上述的基于双目立体视觉的水下机器人自主避障方法，所述确定基本置信分配具体过程包括：
定义一个识别框架，其中包含全部事件，定义可信度分配函数/>：
；
；
其中，为不可能事件，/>为传感器测得缺陷b的置信度；
对于事件b，定义其置信度函数：
；
即b的置信度函数为b的所有子集的置信度之和；
双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块三部分的置信度分别为时，进行置信度合成，即：
；
其中，Si表示双目立体视觉测量模块可测量空间，Bj表示北斗导航模块可测量空间，Nk表示扭矩力学测量模块可测量空间，表示空集。
上述的基于双目立体视觉的水下机器人自主避障方法，所述基于信度函数和似然函数的Dempster规则融合时对双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块设置可信权值，用于修正对融合结果的证据权重，具体方法包括：
先计算MSCN系数，将MSCN系数分成N个大小为的块，利用MSCN系数标记每一个块是固定的块或是空间活动的块：
；
其中，是块/>MSCN系数的方差，q∈1,2,…,N，N表示块的个数；W表示固定的块，TB表示空间活动的块；只对空间活动的块评估质量分数；
对块失真分两类处理：图像清晰度，曝光强度：
（1）清晰度方面，若块中至少一个边缘段表现出低空间活动性，则块失真是显著的；对于的空间活动块/>的每一条边/>，划分为p个部分，每一部分长为m-p：
；
o∈1,2,3,4表示四条边，f∈1,2,3,…,p；若有任何一个部分标准差小于某个阈值S，则是低空间活动性，视为存在清晰度差的问题，即满足/>；
（2）曝光强度方面，将块划分为中心段和周边段，分别计算中心段和周边段的标准差和/>，用参数/>以量化MSCN块的中心标准差与周边之间的关系：
；
其中，α表示是空间活动块的标准偏差；
若存在曝光问题，则；
使用方差特征度量块的失真，以下是给定块的失真分配程序：
；
其中，表示块的失真量；/>表示方差特征；
整张图片的质量分数QP：
；
其中，是常数，/>是独立块的总数。
上述的基于双目立体视觉的水下机器人自主避障方法，所述步骤4NESN网络训练过程具体包括：
步骤4.1，权值初始化，双目立体视觉测量模块、扭矩力学测量模块、北斗导航模块输出数据沿NESN神经网络顺次传播；
步骤4.2，计算步骤2所得的三维坐标信息和类别信息与期望三维坐标信息与类别信息间的误差，具体计算公式：
；
其中，E表示误差，n表示输入层神经元数，m表示输出层神经元数，表示实际输出值；/>表示理论输出值；
步骤4.3，根据步骤4.2所得的误差调整NESN神经网络中的权值；
步骤4.4，重复步骤4.1-4.3，直至误差小于预设的最小误差，训练结束。
基于双目立体视觉的水下机器人自主避障方法的避障系统，包括水下机器人本体、双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块，所述双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块均搭载在水下机器人本体上，所述双目立体视觉测量模块实时输出水下机器人的艏向角、纵倾角和横摇角，并根据周围障碍物的坐标信息和类别信息，计算水下机器人运行轨迹；所述北斗导航模块用于对水下机器人进行了初步定位；所述扭矩力学测量模块用于测量在水中受海流影响的受力情况，并实时输出推进电机转速、扭矩。
本发明的有益效果是，本发明的技术方案通过使用双目立体视觉测量模块、扭矩力学测量模块、北斗导航模块等部件，经过自主避障算法并读取3D栅格地图信息，实时输出水下机器人位置信息、姿态信息和速度信息，形成水下机器人精确自主避障信息。在复杂海况和天气环境下，使用NESN神经网络，实现特征点不足情况下海中障碍物三维坐标信息和类别信息获取快速高精度获取。本发明可实现快速高精度自主避障，并较好的获得了复杂海况和天气环境下海中障碍物三维坐标信息和类别信息，可明显改善自主避障的可靠性，获得最佳水下机器人运行轨迹。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1为本发明实施例中自主避障流程图；
图2为本发明实施例中D-S证据推理理论进行数据融合流程图；
图3为本发明实施例中NESN神经网络结构图；
图4为本发明实施例中NESN神经网络训练流程图。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。
本实施例公开了一种基于双目立体视觉的水下机器人自动避障系统，包括水下机器人本体、照明模块、双目立体视觉测量模块（图像传感器）、天线、北斗导航模块、扭矩力学测量模块，所述北斗导航模块为北斗导航信号收发器，用于初步定位水下机器人；所述双目立体视觉测量模块包括两个图像传感器，用于测量周围障碍物的坐标信息和类别信息；扭矩力学测量模块用于获取受力情况和电机转速、扭矩。基于双目立体视觉测量系统数据，经过SLAM算法并获得3D栅格地图信息，实时输出水下机器人位置信息、姿态信息和速度信息，结合双目立体视觉测量系统测得的周围障碍物的坐标信息和类别信息形成水下机器人精确自主避障信息。
北斗导航模块用于创建3D栅格地图，通过水面无人艇作为中转（水面无人艇作为坐标原点），对水下机器人进行了初步定位。天线用于传输数据信息，方便和北斗卫星、岸基系统等系统远程通讯。
照明模块通过使用波长540nm（黄绿光）的发光二极管对海中障碍物进行照明，双目立体视觉测量模块针对图像传感器的输出数据处理这一难题，使用图像处理算法对传感器数据进行滤波和增强，进一步对获取的图像数据信息进行处理，输出高精度的障碍三维点云数据和二维图像数据，对不同模态的数据分别进行障碍物目标检测和识别，然后对检测结果进行关联和融合，得到周围障碍物的坐标信息和类别信息，并实时输出水下机器人的艏向角、纵倾角和横摇角，用于计算水下机器人运行轨迹，防止发生碰撞。
扭矩力学测量系统中通过使用六自由度力/扭矩传感器，测量在水中受海流影响的受力情况，并实时输出推进电机转速、扭矩。
水下机器人本体将处理后的障碍物坐标、类别信息与受力情况、初步定位信息相结合，经过自主避障算法并读取3D栅格地图信息，实时输出水下机器人位置信息、姿态信息和速度信息，形成水下机器人精确自主避障信息。
一种基于双目立体视觉的水下机器人自主避障方法，如图1所示，包括：
步骤1，使用改进的高斯滤波算法对双目立体视觉测量模块采集的数据进行处理。用加权直方图分布伽玛矫正算法对HSV空间下V分量进行校正，使用高斯滤波进行处理图像，高斯滤波后进行自适应局部区域伸展直方图均衡化处理，进行HSV逆变换得到RGB空间下的图像，完成图像的滤波和增强。
所谓改进的高斯滤波算法是建立在高斯函数基础上的平滑滤波器，其作用主要是针对图像中所存在的高斯噪声进行滤除。改进的高斯滤波增强方法中高斯滤波函数表达式为：
（1）；
高斯滤波的过程就是将目标图像与卷积模板进行迭代卷积，使用该模板遍历图像的全部区域，从而实现对整体图像的加权平均。这里所谓改进的高斯滤波，首先是在滤波前采取了一些措施来消除光饱和点。如果逐行（列）扫描目标图像时，两个以上连续像素点的灰度值饱和，则所有光饱和点都不参与高斯滤波。如果唯一像素的灰度值饱和，则光饱和点参与高斯滤波。在去除光饱和点后，进一步的改进在于粗略计算卷积核的像素数和中心像素点的值，卷积核的像素数和中心点的像素值与高斯滤波函数中的均值和方差有关。在原始卷积核宽度的基础上按比例缩小，保留剩余的5-9个像素点以参与高斯滤波。计算卷积核中各像素点的值，选择峰值极值点及其左右两侧的2-4个点，并使用灰度重心算法求解中心像素点的值。基于灰度重心算法计算的中心坐标为：
，/>（2）；
在上述公式中，和/>是某灰度极值点分别沿u轴和v轴的的像素坐标，是沿u轴某点的灰度值，/>是沿v轴某点的灰度值。
步骤2，针对双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块设置可信权值，将步骤1所得数据、北斗导航模块所得数据、扭矩力学测量模块所得数据通过D-S证据推理理论对数据进行融合。
将D-S证据推理理论作为有效的决策级融合方法，D-S证据理论在接收到双目立体视觉测量系统、北斗导航系统、扭矩力学测量系统判决结果之后，需要经过确定假设空间、确定基本置信分配、基于信度函数和似然函数的Dempster规则融合得到最终结果，具体过程如图2所示。其中确定基本置信分配赋值是将D-S证据理论应用到多模态传感器数据融合的关键，也对融合效果的优劣起到决定作用。具体来说，就是通过传感器的探测信号度量对事件发生的可能性给出统一标准下的基本置信分配，该步骤需要在应用中根据具体传感器判决算法设计具体的赋值方法。根据双目立体视觉测量系统、北斗导航系统、扭矩力学测量系统的特征设计了置信度赋值法，进行基本置信分配赋值。具体过程如下：
定义一个“识别框架”，其中包含全部事件，定义可信度分配函数/>：
（3）；
（4）；
其中，为不可能事件，/>为传感器测得缺陷b的置信度。
对于事件b，可以定义其置信度函数：
（5）；
即b的置信度函数为b的所有子集的置信度之和。
对于海中障碍物三维坐标信息和类别信息数据集制作，考虑到双目立体视觉测量系统、北斗导航系统、扭矩力学测量系统三部分的置信度分别为时，可以进行置信度合成，即：
（6）。
由于水下环境具有多水雾、水中光照易发散等特点，这种情况下图像传感器感知精度大幅下降，会给D-S融合提供错误的判据，在融合过程中出现证据冲突，严重影响最终融合结果的准确度。为了有效补偿并消除由于成像质量原因造成的传感器感知错误的影响，在Dempster规则融合环节对传感器设置可信权值，用来修正传感器对融合结果的证据权重，使得融合算法对周围环境具有自适应能力。具体来说就是设计无参考质量评估算法对图像进行评价得到一个图像质量评价值来对当前传感器感知场景进行判断，并对应不同场景设置不同的传感器可信权值。其中图像质量评价值就是对水中采集的图像清晰度，光照强度的衡量，可信权值的确定由先验检测召回率决定。无参考质量评估算法具体步骤如下：
1、先计算MSCN系数，将MSCN系数分成N个大小为的块（m=18），利用MSCN系数标记每一个块是固定的块或是空间活动的块：
（7）；
其中，是块 />MSCN系数的方差，q∈1,2,…,N，N表示块的个数；W表示固定的块，TB表示空间活动的块 ；只对空间活动的块评估质量分数。
2、对块失真分两类处理：图像清晰度、曝光强度。
（1）对于图像清晰度：若块中至少一个边缘段表现出低空间活动性（段定义为块边缘中6个连续像素的集合），则块失真是显著的；对于的空间活动块/>的每一条边，划分为13个部分：
（8）；
其中，o∈1,2,3,4表示四条边，f∈1,2,3,…,13表示每条边可分割13个部分，每一部分长为5；若有任何一个部分标准差小于某个阈值S，则是低空间活动性，视为存在清晰度差的问题，即满足：
（9）。
（2）曝光强度方面，将块划分为中心段和周边段，分别计算中心段和周边段的标准差和/>，用参数/>以量化MSCN块的中心标准差与周边之间的关系：
（10）；
其中，α表示是空间活动块的标准偏差；
若存在曝光问题，则（11）；
使用方差特征 度量块的失真，以下是给定块的失真分配程序：
（12）；
其中，表示块的失真量；/>表示方差特征；
整张图片的质量分数QP：
（13）；
其中，是常数，/>是独立块的总数。
步骤3，针对水下环境开展数据集制作实验，制作面向海中障碍物目标的包含点云数据和图像数据的标准数据集。
开展数据集的制作试验。主要包括数据采集，数据搜集，数据清洗、数据分类、数据标注，专家验证和纠正。相比于路上环境，水下环境具有多水雾、水中光照易发散等特点，水下数据采集场景的设计要着重增加不同天气情况，不同光照强度场景数据的采集。在进行数据采集试验和数据搜集过程中，设计了不同的环境条件，确保覆盖可能出现的各种情况，力求数据集完备性。不同环境场景如表1所列。实验时，人为在实验水池中模拟海中情况设置好各种实验环境，设置好照明情况、水流波动情况和障碍物情况，将配置好导航系统的水下机器人放入设置好的环境中，让双目立体视觉测量系统拍照采集不同场景下各个角度的图片，用于进行数据集的制作。
表1不同环境多模态数据采集和分类
| 类别 | |
| 目标类型 | 大型鱼类、小型鱼类、漂浮物和岩石等 |
| 场景 | 近水面、深水有礁石、浅水和无漂浮物等 |
| 天气 | 降雨、降雪、晴朗、大雾和阴天等 |
| 干扰因素 | 光照散射、洋流干扰等 |
数据标注分为图像数据标注和点云数据标注。图像数据标注和点云数据标注采用基于pcl点云库的类别标注软件，将每张图像都由人工对障碍物的三维坐标位置和种类进行注释。
步骤4，使用步骤3所得的标准数据集对NESN网络进行训练，将步骤2所得的数据作为NESN网络的输入，得到最终水下机器人的运行轨迹。
通过NESN神经网络，解决复杂海况和天气环境下，海中障碍物三维坐标信息和类别信息获取效果不稳定的问题。研究NESN神经网络，解决使用双目立体视觉测量系统对水下机器人进行自主避障时复杂海况和天气环境下，水下机器人自主避障时效果不稳定的问题。在本算法中，以海况良好、照明良好时，所得障碍物三维坐标信息和类别信息作为期望输出值，以滤波后的北斗导航系统和双目立体视觉测量系统、扭矩力学测量系统数据作为输入值，完成NESN神经网络训练获得障碍物三维坐标信息和类别信息与双目立体视觉测量系统、扭矩力学测量系统、北斗导航系统输出数据之间的关系；在照明不好时，使用双目立体视觉测量系统、扭矩力学测量系统、北斗导航系统数据和NESN神经网络预测，实现特征点不足情况下障碍物的快速识别，可明显改善自主避障系统的精度、输出频率及增强系统的可靠性，获得最佳水下机器人运行轨迹。标准的NESN神经网络由三个部分组成，：分别是输入层、储备池和输出层，其结构如附图3所示，这三部分的神经元向量表达式可以用公式表示：
（14）；
（15）；
（16）；
输入数据通过连接矩阵/>传输到备用池。储备池内的权重矩阵为/>。训练后，结果通过输出矩阵/>传输到输出层。储备池的内部状态由等式(17)确定：
（17）；
输出可从式(18)中获得：
（18）；
其中q表示和/>的比率，其范围为[0,1]；U（p）表示储备池中数据。函数/>、/>是激活函数，如等式(19)所示：
（19）；
式中，可以通过公式(20)得出：
（20）；
NESN神经网络训练过程如图4所示，具体步骤如下所示：
A、占空比、激活系数等权值初始化；
B、双目立体视觉测量系统、扭矩力学测量系统、北斗导航系统输出数据沿神经网络顺次传播；
C、根据公式(10)计算实际三维坐标信息和类别信息与期望三维坐标信息和类别信息间的误差：
（21）；
D、根据误差自动调整神经网络中的占空比、激活系数等权值；
E、重复步骤A-D，直至误差小于预设的最小误差时，训练结束。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。
Claims (4)
1.基于双目立体视觉的水下机器人自主避障方法，其特征在于，具体包括如下步骤：
步骤1，使用改进的高斯滤波算法对双目立体视觉测量模块采集的数据进行处理；
步骤2，针对双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块设置可信权值，将步骤1所得数据、北斗导航模块所得数据、扭矩力学测量模块所得数据通过D-S证据推理理论对数据进行融合；
步骤3，针对水下环境开展数据集制作实验，制作面向海中障碍物目标的包含点云数据和图像数据的标准数据集；
步骤4，使用步骤3所得的标准数据集对NESN网络进行训练，将步骤2所得的数据作为NESN网络的输入，得到最终水下机器人的运行轨迹；
所述步骤2中D-S证据推理理论接受到数据后，依次经过确定假设空间、确定基本置信分配、基于信度函数和似然函数的Dempster规则融合得到最终结果；
所述确定基本置信分配具体过程包括：
定义一个识别框架Ψ，其中包含全部事件，定义可信度分配函数w：
w(τ)＝0
其中，τ为不可能事件，w(b)为传感器测得缺陷b的置信度；
对于事件b，定义其置信度函数Qel(b)：
即b的置信度函数为b的所有子集的置信度之和；
双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块三部分的置信度分别为ws,wb,wn时，进行置信度合成，即：
其中，Si表示双目立体视觉测量模块可测量空间，Bj表示北斗导航模块可测量空间，Nk表示扭矩力学测量模块可测量空间，φ表示空集；
所述基于信度函数和似然函数的Dempster规则融合时对双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块设置可信权值，用于修正对融合结果的证据权重，具体方法包括：
1、先计算MSCN系数，将MSCN系数分成N个大小为m×m的块，利用MSCN系数标记每一个块是固定的块或是空间活动的块：
其中ρq是块AqMSCN系数的方差，q∈1,2,…,N，N表示块的个数；W表示固定的块，TB表示空间活动的块；只对空间活动的块评估质量分数；
2、对块失真分两类处理：图像清晰度，曝光强度：
(1)清晰度方面，若块中至少一个边缘段表现出低空间活动性，则块失真是显著的；对于m×m的空间活动块Aq的每一条边Mo，划分为p个部分，每一部分长为m-p：
bof＝Mo(a):a＝f,f+1,…,f+m-p；
o∈1,2,3,4表示四条边，f∈1,2,3,…,p；若有任何一个部分标准差σoq小于某个阈值S，则是低空间活动性，视为存在清晰度差的问题，即满足σoq＜S；
(2)曝光强度方面，将块划分为中心段和周边段，分别计算中心段和周边段的标准差σc和σs，用参数σβ以量化MSCN块的中心标准差与周边之间的关系：
其中，α表示是空间活动块的标准偏差。
若存在曝光问题，则σβ＞2α；
使用方差特征ρb度量块的失真，以下是给定块的失真分配程序：
其中，Csk表示块的失真量；ρb表示方差特征；
整张图片的质量分数QP:
其中D1是常数，MS是独立块的总数；
所述步骤4NESN网络训练过程具体包括：
步骤4.1，权值初始化，双目立体视觉测量模块、扭矩力学测量模块、北斗导航模块输出数据沿NESN神经网络顺次传播；
步骤4.2，计算步骤2所得的三维坐标信息和类别信息与期望三维坐标信息与类别信息间的误差，具体计算公式：
其中，E表示误差，n表示输入层神经元数，m表示输出层神经元数，Wik out表示实际输出值；W'ik out表示理论输出值；
步骤4.3，根据步骤4.2所得的误差调整NESN神经网络中的权值；
步骤4.4，重复步骤4.1-4.3，直至误差小于预设的最小误差，训练结束。
2.根据权利要求1所述的基于双目立体视觉的水下机器人自主避障方法，其特征在于，所述步骤1中改进的高斯滤波算法具体包括：消除图像的光饱和点；
选取峰值极值点及其左右两侧的2-4个点计算卷积核中各像素点的值，使用灰度重心算法求解中心像素点的值，基于灰度重心算法计算的中心坐标为：
其中，u1和v1是某灰度极值点分别沿u轴和v轴的像素坐标，gu1,gu2,gu3对应的是沿u轴某点的灰度值，gv1,gv2,gv3对应的是沿v轴某点的灰度值。
3.根据权利要求2所述的基于双目立体视觉的水下机器人自主避障方法，其特征在于，所述消除图像光饱和点具体为：逐行或逐列扫描目标图像时，两个以上连续像素点的灰度值饱和，则所有光饱和点均不参与高斯滤波；若唯一像素的灰度值饱和，则光饱和点参与高斯滤波。
4.基于权利要求1-3任一项所述的基于双目立体视觉的水下机器人自主避障方法的避障系统，其特征在于，包括水下机器人本体、双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块，所述双目立体视觉测量模块、北斗导航模块、扭矩力学测量模块均搭载在水下机器人本体上，所述双目立体视觉测量模块实时输出水下机器人的艏向角、纵倾角和横摇角，并根据周围障碍物的坐标信息和类别信息，计算水下机器人运行轨迹；所述北斗导航模块用于对水下机器人进行了初步定位；所述扭矩力学测量模块用于测量在水中受海流影响的受力情况，并实时输出推进电机转速、扭矩。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311615705.XA CN117311372B (zh) | 2023-11-30 | 2023-11-30 | 基于双目立体视觉的水下机器人自主避障系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311615705.XA CN117311372B (zh) | 2023-11-30 | 2023-11-30 | 基于双目立体视觉的水下机器人自主避障系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117311372A CN117311372A (zh) | 2023-12-29 |
| CN117311372B true CN117311372B (zh) | 2024-02-09 |
Family
ID=89274136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311615705.XA Active CN117311372B (zh) | 2023-11-30 | 2023-11-30 | 基于双目立体视觉的水下机器人自主避障系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117311372B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117826826B (zh) * | 2024-03-04 | 2024-07-05 | 广东电网有限责任公司阳江供电局 | 一种水下机器人的自主避障方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN104571128A (zh) * | 2014-12-26 | 2015-04-29 | 燕山大学 | 基于距离与视差信息的水下机器人避障方法 |
| CN108197350A (zh) * | 2017-12-11 | 2018-06-22 | 大连海事大学 | 一种无人船速度和不确定性估计系统及设计方法 |
| CN109688382A (zh) * | 2018-12-28 | 2019-04-26 | 福州大学 | 一种水下机器人的水下图像处理系统 |
| CN111324126A (zh) * | 2020-03-12 | 2020-06-23 | 集美大学 | 一种视觉无人船及其视觉导航方法 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
| CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
| AU2020102302A4 (en) * | 2020-09-16 | 2020-12-24 | D, Shanthi DR | Underwater robots design and control mechanism using particle swarm optimization algorithm |
| CN114859900A (zh) * | 2022-04-19 | 2022-08-05 | 江苏科技大学 | 一种大桥勘测水下机器人的控制方法及系统 |
| WO2022222233A1 (zh) * | 2021-04-23 | 2022-10-27 | 上海海事大学 | 一种基于usv的障碍物分割网络及其生成方法 |
| CN115546741A (zh) * | 2022-09-29 | 2022-12-30 | 华南理工大学 | 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法 |
| CN115933646A (zh) * | 2022-11-23 | 2023-04-07 | 山东亚历山大智能科技有限公司 | 基于多传感器融合进行障碍物感知的避障绕障方法及系统 |
-
2023
- 2023-11-30 CN CN202311615705.XA patent/CN117311372B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
| CN104571128A (zh) * | 2014-12-26 | 2015-04-29 | 燕山大学 | 基于距离与视差信息的水下机器人避障方法 |
| CN108197350A (zh) * | 2017-12-11 | 2018-06-22 | 大连海事大学 | 一种无人船速度和不确定性估计系统及设计方法 |
| CN109688382A (zh) * | 2018-12-28 | 2019-04-26 | 福州大学 | 一种水下机器人的水下图像处理系统 |
| CN111324126A (zh) * | 2020-03-12 | 2020-06-23 | 集美大学 | 一种视觉无人船及其视觉导航方法 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
| CN111897349A (zh) * | 2020-07-08 | 2020-11-06 | 南京工程学院 | 一种基于双目视觉的水下机器人自主避障方法 |
| AU2020102302A4 (en) * | 2020-09-16 | 2020-12-24 | D, Shanthi DR | Underwater robots design and control mechanism using particle swarm optimization algorithm |
| WO2022222233A1 (zh) * | 2021-04-23 | 2022-10-27 | 上海海事大学 | 一种基于usv的障碍物分割网络及其生成方法 |
| CN114859900A (zh) * | 2022-04-19 | 2022-08-05 | 江苏科技大学 | 一种大桥勘测水下机器人的控制方法及系统 |
| CN115546741A (zh) * | 2022-09-29 | 2022-12-30 | 华南理工大学 | 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法 |
| CN115933646A (zh) * | 2022-11-23 | 2023-04-07 | 山东亚历山大智能科技有限公司 | 基于多传感器融合进行障碍物感知的避障绕障方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 视觉辅助下的无人船双雷达障碍物融合检测技术;葛燕龙，等;舰船科学技术;第45卷(第20期);87-92 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117311372A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188696B (zh) | 一种水面无人装备多源感知方法及系统 | |
| CN107844750B (zh) | 一种水面全景图像目标检测识别方法 | |
| CN111126269B (zh) | 三维目标检测方法、装置以及存储介质 | |
| CN105678689B (zh) | 高精地图数据配准关系确定方法及装置 | |
| WO2020094033A1 (en) | Method and system for converting point cloud data for use with 2d convolutional neural networks | |
| CN111856448A (zh) | 基于双目视觉和雷达的海上障碍物识别方法及系统 | |
| CN117311372B (zh) | 基于双目立体视觉的水下机器人自主避障系统及方法 | |
| CN111699410B (zh) | 点云的处理方法、设备和计算机可读存储介质 | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| CN110246151B (zh) | 一种基于深度学习和单目视觉的水下机器人目标跟踪方法 | |
| CN111369617A (zh) | 一种基于卷积神经网络的单目视图的3d目标检测方法 | |
| CN108921003A (zh) | 基于卷积神经网络和图像形态学的无人机障碍物检测方法 | |
| CN112613504A (zh) | 一种声呐水下目标检测方法 | |
| CN112561996A (zh) | 一种自主水下机器人回收对接中目标检测方法 | |
| CN115731545A (zh) | 一种基于融合感知的电缆隧道巡检方法及装置 | |
| CN116935369A (zh) | 基于计算机视觉的船舶水尺读数方法及系统 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| Thompson | Maritime object detection, tracking, and classification using lidar and vision-based sensor fusion | |
| Fayaz et al. | Intelligent underwater object detection and image restoration for autonomous underwater vehicles | |
| CN118366033A (zh) | 一种基于多传感器融合的中大型智能船舶目标检测方法 | |
| CN113933828A (zh) | 一种无人艇环境自适应多尺度目标检测方法及系统 | |
| CN112581610A (zh) | 从多波束声呐数据中建立地图的鲁棒优化方法和系统 | |
| CN114898144B (zh) | 一种基于相机和毫米波雷达数据的自动对齐方法 | |
| CN115249269A (zh) | 目标检测方法、计算机程序产品、存储介质及电子设备 | |
| CN114445572A (zh) | 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |