CN116659516A - 基于双目视差机制的深度立体注意力视觉导航方法及装置 - Google Patents
基于双目视差机制的深度立体注意力视觉导航方法及装置 Download PDFInfo
- Publication number
- CN116659516A CN116659516A CN202310938394.4A CN202310938394A CN116659516A CN 116659516 A CN116659516 A CN 116659516A CN 202310938394 A CN202310938394 A CN 202310938394A CN 116659516 A CN116659516 A CN 116659516A
- Authority
- CN
- China
- Prior art keywords
- binocular
- navigation
- attention
- depth
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000007246 mechanism Effects 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 53
- 239000013598 vector Substances 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000001020 rhythmical effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005065 mining Methods 0.000 abstract 1
- 241000251468 Actinopterygii Species 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003592 biomimetic effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000000006 pectoral fin Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/203—Specially adapted for sailing ships
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
本发明属于人工智能和视觉导航技术领域，提供了一种基于双目视差机制的深度立体注意力视觉导航方法及装置，该基于双目视差机制的深度立体注意力视觉导航方法包括：采集双目图像序列；将双目图像序列输入至深度立体注意力视觉导航网络，得到水下航行器的导航指令；本发明所述方法无需附加冗余的滤波方法和条件导航策略，通过挖掘双目视觉中的视差特征信息提升视觉导航网络的输出稳定性，提升了对视差特征显著区域的关注与学习，进而提高了水下环境视觉导航的准确率和效率。
Description
技术领域
本发明涉及人工智能和视觉导航技术领域，尤其涉及一种基于双目视差机制的深度立体注意力视觉导航方法及装置。
背景技术
随着人类对海洋的探索深入，水下智能导航作为水下自主作业的核心技术发挥着重要作用。
相关技术中，现有水下自主航行器的导航策略大多基于大范围感知传感设备实现，难以应对局部的静态和动态障碍物做出快速感知与避障，例如，在水下视觉环境中，通过声学设备采集的数据中包括光学伪影、漂浮杂质微粒等，容易误导导航系统输出错误或不明确的控制指令；另外，在视域空旷或者存在大面积遮挡区域的情况下，现有技术应用神经网络模型进行视觉导航时无法有效区分高度重复的视觉场景，导航性能低。
发明内容
本发明提供一种基于双目视差机制的深度立体注意力视觉导航方法及装置，用以解决现有技术中采用大范围感知传感设备进行水下视觉导航时无法有效区分高度重复的视觉场景，难以应对局部的静态和动态障碍物做出快速感知与避障，导致导航性能低的缺陷，提高了水下环境视觉导航的准确率和效率。
本发明提供一种基于双目视差机制的深度立体注意力视觉导航方法，应用于水下航行器，包括：
采集双目图像序列，所述双目图像序列包括所述水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，所述目标环境包括虚拟水下环境和真实水下环境中的至少一项；
将所述双目图像序列输入至深度立体注意力视觉导航网络，得到所述水下航行器的导航指令，所述导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；
所述深度立体注意力视觉导航网络包括视差注意力模块，所述视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于所述双目视差特征图和所述双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；所述深度立体注意力视觉导航网络以所述双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；所述样本双目图像数据集包括所述水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，所述导航指令标签用于指示所述水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
根据本发明提供的一种基于双目视差机制的深度立体注意力视觉导航方法，所述深度立体注意力视觉导航网络包括编码模块，所述编码模块由多个残差卷积网络堆叠得到，所述双目视差特征图包括左目特征图和右目特征图，所述深度立体注意力视觉导航网络通过如下步骤得到：
获取所述样本双目图像数据集，所述双目图像数据集包括左目图像和右目图像；
将所述样本双目图像数据集输入至所述编码模块，得到所述左目特征图和所述右目特征图，并将左目特征图和右目特征图进行卷积运算和通道数压缩处理，得到所述样本双目图像数据集的查询向量组，所述查询向量组中的两个查询向量互为键值向量；
基于所述两个查询向量得到所述样本双目图像数据集对应的遮挡信息掩膜，并基于所述视差注意力模块对左目特征图、右目特征图和遮挡信息掩膜进行加权平均处理，得到所述双目视差注意力特征图；
以所述双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签结合多目标损失函数对初始网络模型进行有监督训练，并在初始网络模型收敛的情况下，得到所述深度立体注意力视觉导航网络；
其中，所述多目标损失函数基于导航分类损失函数、光度损失函数和信息损失函数得到。
根据本发明提供的一种基于双目视差机制的深度立体注意力视觉导航方法，所述多目标损失函数应用如下公式得到：
其中，为所述多目标损失函数，/>为导航分类损失函数，用于表示水下航行器运动时的偏航策略损失和俯仰策略损失，/>为光度损失函数，用于表示光度误差和图像结构失真程度，/>为信息损失函数，用于表示采用KL散度作为正则化项以最小化近似分布时的信息损失，/>为视差注意力模块的数目；/>为所述样本双目图像数据集，/>为网络训练参数；/>和/>为权重因子。
根据本发明提供的一种基于双目视差机制的深度立体注意力视觉导航方法，所述样本双目图像数据集包括训练负样本，所述训练负样本基于所述水下航行器在运动状态违背安全导航准则的情况下拍摄得到。
根据本发明提供的一种基于双目视差机制的深度立体注意力视觉导航方法，所述水下航行器包括导航转换模块和中枢模式发生器，所述中枢模式发生器用于控制所述水下航行器的节律运动，在所述得到所述水下航行器的导航指令之后，所述方法还包括：
基于所述导航转换模块将所述导航指令转换成运动控制指令；
将所述运动控制指令输入至所述中枢模式发生器，以控制所述水下航行器的运动姿态和运动轨迹。
根据本发明提供的一种基于双目视差机制的深度立体注意力视觉导航方法，所述导航分类损失函数应用如下公式得到：
其中，为所述导航分类损失函数，/>为所述深度立体注意力视觉导航网络预测的俯仰策略的概率分布，/>为所述深度立体注意力视觉导航网络预测的偏航策略的概率分布，/>为网络训练参数，/>为俯仰策略或偏航策略对应的损失函数，所述俯仰策略或偏航策略对应的损失函数采用交叉熵形式分布。
根据本发明提供的一种基于双目视差机制的深度立体注意力视觉导航方法，在所述将所述样本双目图像数据集输入至所述编码模块之前，所述方法还包括：
对所述样本双目图像数据集中的全部图像分别进行目标角度的图像旋转操作和图片裁剪操作，得到扩充后的样本双目图像数据集。
本发明还提供一种基于双目视差机制的深度立体注意力视觉导航装置，包括：
数据采集模块，用于采集双目图像序列，所述双目图像序列包括水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，所述目标环境包括虚拟水下环境和真实水下环境中的至少一项；
数据处理模块，用于将所述双目图像序列输入至深度立体注意力视觉导航网络，得到所述水下航行器的导航指令，所述导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；
所述深度立体注意力视觉导航网络包括视差注意力模块，所述视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于所述双目视差特征图和所述双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；所述深度立体注意力视觉导航网络以所述双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；所述样本双目图像数据集包括所述水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，所述导航指令标签用于指示所述水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于双目视差机制的深度立体注意力视觉导航方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于双目视差机制的深度立体注意力视觉导航方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于双目视差机制的深度立体注意力视觉导航方法。
本发明提供的基于双目视差机制的深度立体注意力视觉导航方法及装置，通过将采集的双目图像序列输入至基于双目视差机制设计的深度立体注意力视觉导航网络中，得到用于控制水下航行器在目标环境中的运动姿态和运动轨迹的导航指令，无需附加冗余的滤波方法和条件导航策略，通过挖掘双目视觉中的视差特征信息提升视觉导航网络的输出稳定性，提升了对视差特征显著区域的关注与学习，进而提高了水下环境视觉导航的准确率和效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于双目视差机制的深度立体注意力视觉导航方法的流程示意图；
图2是本发明提供的深度立体注意力视觉导航网络的结构示意图；
图3是本发明提供的SBAM模块的结构示意图；
图4是本发明提供的基于双目视差机制的深度立体注意力视觉导航装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的基于双目视差机制的深度立体注意力视觉导航方法及装置。
图1是本发明提供的基于双目视差机制的深度立体注意力视觉导航方法的流程示意图，如图所示，该基于双目视差机制的深度立体注意力视觉导航方法，应用于水下航行器，包括如下步骤：
步骤110、采集双目图像序列，双目图像序列包括水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，目标环境包括虚拟水下环境和真实水下环境中的至少一项。
在该步骤中，水下航行器可以是适合执行水下探索任务的仿生设备，例如，水下航行器可以是机器鱼或水下机器人等。
在该步骤中，双目图像序列包括多组双目图像数据，每组双目图像数据包括一个左目图像数据和与之对应的右目图像数据。
在该步骤中，双目图像序列作为测试数据时，双目图像数据内容可以包括水下航行器在虚拟水下环境拍摄到的环境画面，将该双目图像数据输入至深度立体注意力视觉导航网络获取导航指令，用于检测深度立体注意力视觉导航网络应用于虚拟仿真环境时的导航性能；双目图像数据内容也可以包括水下航行器在真实水下环境拍摄到的环境内容，用于检测深度立体注意力视觉导航网络应用于真实水下环境时的导航性能。
可以理解的是，水下航行器的导航的测试及实验通常在自然湖泊、河流或实验室水池等真实水下环境开展，为了实时获取水下航行器的环境信息、运动状态、电气动力特性等数据，需要在实验环境以及机体上安装大量精密且昂贵的传感仪器设备，这些先决条件使水下机器人运动控制和环境感知算法开发难以在真实环境开展。
在该实施例中，针对上述问题，可以先基于无人水下航行器仿真软件（UnmannedUnderwater Vehicles Simulator，UUV-Simulator）搭建了一个可视化水下仿真环境，并通过导入仿生机器鱼的三维模型结构（*.dae和*.stl等格式文件）和动力学方程以实现稳定、高效的在线探索与训练；另外，还可以从真实水下环境中采集水下图像，例如，水下图像可以由潜水员手持双目相机拍摄的多段水下非结构化场景视频采样得到。
步骤120、将双目图像序列输入至深度立体注意力视觉导航网络，得到水下航行器的导航指令，导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；深度立体注意力视觉导航网络包括视差注意力模块，视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于双目视差特征图和双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；深度立体注意力视觉导航网络以双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；样本双目图像数据集包括水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，导航指令标签用于指示水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
在该步骤中，样本双目图像数据集的获取方式与上述步骤采集双目图像序列的方式相同，且样本双目图像数据集同时包括了虚拟水下环境中采集的双目图像数据和真实水下环境中采集的双目图像数据。
在该实施例中，样本双目图像数据集还可以由海底珊瑚群仿真环境和室内水池环境的14000幅双目图像组成，每组水下图片都被人类导航专家标注了导航指令标签。仿真环境图片通过遥控虚拟机器鱼模型游动并同步拍摄获得。
在该步骤中，导航指令标签为标注采用的俯仰角和偏航角期望标签，可以分别表示为和/>；考虑到机器鱼的实际运动能力，可以两项期望标签分别划分为7个离散无量纲指令，即y={-3，-2，-1，0，1，2，3}。具体来说，/>表示机器鱼的期望偏转角度为零，保持当前运行方向；/>表示机器鱼需要以最大转向角速度快速向左转向，表示机器鱼需要以最大转向角速度快速向右转向；同理，/>表示机器鱼的期望俯仰角度为零，/>表示机器鱼需要以最大俯仰角速度快速向下转向，/>表示机器鱼需要以最大俯仰角速度快速向上转向，这种采用离散的无量纲指令有助于根据视频图像的不同尺寸便捷地调整控制律的输出增益。
在该实施例中，该深度立体注意力视觉导航网络以采集的双目图像序列为深度立体注意力视觉导航网络的输入，网络输出是维度为2*7的机器鱼偏航、俯仰导航指令，其中，2表示俯仰角和偏航角，7表示俯仰角或偏航角对应的7个离散无量纲指令。
在该步骤中，为协助人类导航专家完成导航指令标签的手工标注，可以利用可视化图像标注软件将每组样本图片关联于当前场景下的专家建议运动方向。
在该实施例中，双目相机实时拍摄双目视频帧数据（左目图像和右目图像，图像中包含搜寻目标和障碍物等），将双目视频帧数据作为初始网络模型（对应深度卷积网络）的训练样本，由专家经验导航指令标定的标签数据为训练标签，对深度卷积网络进行训练，并得到最终的视觉导航网络，即深度立体注意力视觉导航网络。
在该实施例中，标记者通过观察并分析图片场景，选择规定的标签选项以指示机器鱼下一时刻在偏航方向和俯仰方向的期望角度。考虑到该标注任务存在主观性影响，设定以下准则来保证标注意见的一致性：
1）避障行为在导航指令中具有最高优先级，必要时要以偏航（或俯仰）的最大转向能力躲避危险障碍；
2）在安全前提下，尽可能近距离地观察更多感兴趣的目标物；
3）避免碰撞虚拟场景中的海床或真实水池的底部；
4）视野内若没有观察目标物，执行围绕最近障碍物、墙体巡游的探索策略。
在该实施例中，深度立体注意力视觉导航网络的主干网络是由残差卷积模块构造的编码模型，多个残差模块的堆叠可有效对输入数据的关键信息实现编码。
在该实施例中，通过设计基于视差注意力机制的立体注意力模块（Stereo BlockAttention Module，SBAM），用于提取双目图像中视差变化显著的区域并以残差形式与中间层深度特征相结合，以达成增强深度立体注意力视觉导航网络的特征提取与监督训练效率的目的；SBAM的内部结构设计独立于上述主干网络，则可以通过调节SBAM模块数量和主干网络嵌入方式满足更多特定任务需求。
图2是本发明提供的深度立体注意力视觉导航网络的结构示意图，在图2所示的实施例中，将样本双目图像数据集（左目图像和右目图像）输入至深度立体注意力视觉导航网络，经过卷积层的卷积、池化操作获取左目特征图与右目特征图，并将这两类特征图共同作为SBAM模块输入。
在该实施例中，可以通过设定一个较低阈值，根据双目特征图像匹配相关度筛选并激活大于设定阈值的图像像素，从而得到一个遮挡信息掩膜。
以从左目到右目的遮挡信息掩膜为例，其表达形式如下式所示：
其中，相关度的门限阈值被设定为0.1；/>为图像像素的坐标，k为特征图层数，相应地，从右目到左目的有效性掩码/>可按照上式的相似规则生成。训练过程中，通过将有效性掩码与双目视差特征图进行点乘操作，即可降低遮挡物等视差匹配不准确区域对网络训练的影响。
SBAM模块生成的双目视差注意力特征图以残差形式与主干网络上一层残差卷积模块的输出相结合，得到双目视差注意力特征图（），计算方式如下式所示：
其中，和/>分别表示网络中上层残差卷积模块输出的左目和右目的特征图，/>表示由/>通过SBAM模块产生的视差注意力特征图，/>表示由/>通过SBAM模块产生的视差注意力特征图；⊙表示哈达玛积，即相同尺寸矩阵对位相乘结果。
在该实施例中，通过设计双目视差注意力特征图能够解决运动过程中可能出现的水下视觉因视角差异产生的视觉遮挡问题。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航方法，通过将采集的双目图像序列输入至基于双目视差机制设计的深度立体注意力视觉导航网络中，得到用于控制水下航行器在目标环境中的运动姿态和运动轨迹的导航指令，无需附加冗余的滤波方法和条件导航策略，通过挖掘双目视觉中的视差特征信息提升视觉导航网络的输出稳定性，提升了对视差特征显著区域的关注与学习，进而提高了水下环境视觉导航的准确率和效率。
在一些实施例中，深度立体注意力视觉导航网络包括编码模块，编码模块由多个残差卷积网络堆叠得到，双目视差特征图包括左目特征图和右目特征图，深度立体注意力视觉导航网络通过如下步骤得到：获取样本双目图像数据集，双目图像数据集包括左目图像和右目图像；将样本双目图像数据集输入至编码模块，得到左目特征图和右目特征图，并将左目特征图和右目特征图进行卷积运算和通道数压缩处理，得到样本双目图像数据集的查询向量组，查询向量组中的两个查询向量互为键值向量；基于两个查询向量得到样本双目图像数据集对应的遮挡信息掩膜，并基于视差注意力模块对左目特征图、右目特征图和遮挡信息掩膜进行加权平均处理，得到双目视差注意力特征图；以双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签结合多目标损失函数对初始网络模型进行有监督训练，并在初始网络模型收敛的情况下，得到深度立体注意力视觉导航网络；其中，多目标损失函数基于导航分类损失函数、光度损失函数和信息损失函数得到。
图3是本发明提供的SBAM模块的结构示意图，在图3所述的实施例中，SBAM模块输入是来自上层网络推断得到的左目特征图和右目特征图/>，两个特征图分别通过一个/>卷积核的残差卷积模块进一步提取深层关键信息，然后利用一个/>通道转换卷积实现通道数压缩，得到双目图像的查询向量：/>和/>，其中，/>是由上层残差卷积模块输入的左目特征图/>依次经过/>卷积和/>卷积得到左目对右目的查询向量图；相应的，/>是右目特征图转换得到的右目对左目的查询向量图，/>表示查询向量图的尺寸（H为高，W为宽，C为通道数）。
在该实施例中，两个查询向量又互为对方的键值向量，将这两个查询向量矩阵乘法然后通过softmax激活函数，即得到右目对左目的视差注意力掩膜，如下式所示：
其中，表示视差注意力掩膜中第/>个像素大小，/>表示单通道视差注意力掩膜的像素总个数/>，/>表示批处理宽度的矩阵乘操作；exp（）表示对括号内变量求自然指数，/>即为右目到左目的视差注意力掩膜。
进一步，通过矩阵转置求得左目对右目的视差注意力掩膜，如式所示：
其中，和/>共同表示了双目图像在对极线方向上的视差注意力权值，表示对矩阵/>执行转置操作。
在该实施例中，视差注意力掩膜是一个相关性矩阵，可以理解为一目图像在另一目图像上像素级别的相关度，将该矩阵与对应图像特征图做矩阵乘操作，即进行加权平均计算，可得到双目视差注意力特征图，如下式所示：
在该实施例中，构造多目标损失函数，采用监督学习方法训练深度立体注意力视觉导航网络，学习收敛得到最终视觉自主导航网络。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航方法，通过从样本双目图像数据集获取左目特征图和右目特征图，并对双目特征图进行卷积运算和通道数压缩，得到查询向量组，进而获取与双目特征图匹配的遮挡信息掩膜，然后对左目特征图、右目特征图和遮挡信息掩膜进行加权平均处理，得到双目视差注意力特征图，能够解决运动过程中可能出现的水下视觉因视角差异产生的视觉遮挡问题。
在一些实施例中，多目标损失函数应用如下公式得到：
其中，为多目标损失函数，/>为导航分类损失函数，用于表示水下航行器运动时的偏航策略损失和俯仰策略损失，/>为光度损失函数，用于表示光度误差和图像结构失真程度，/>为信息损失函数，用于表示采用KL散度作为正则化项以最小化近似分布时的信息损失，/>为视差注意力模块的数目；/>为样本双目图像数据集，/>为网络训练参数；/>和/>为权重因子，N为样本双目图像数据集中样本数量。
在该实施例中，DSAN采用多任务损失函数训练方法。损失函数包括针对学习导航策略匹配的分类损失，用于优化视差注意力特征图的光度损失以及正则化项，如下式所示：
其中，为导航分类损失，/>为光度损失，/>采用KL散度作为正则化项以最小化近似分布时的信息损失；/>表示包含图像与独热编码标签（One-hot Label）的元胞/>构成的训练数据集，/>表示网络训练参数；/>和/>为权重因子，用于平衡不同损失函数对于网络训练侧重的影响。
在该实施例中，双目视差注意力特征图作为一种变换矩阵可以实现从一目到另一目的图像转换，即可以采用光度误差，通过优化一目转换后特征图与另一目特征图的像素误差，显式学习双目图像中的跨视图信息，从而获得更为合理的视差注意力特征图。
光度损失函数如下式所示：
在该实施例中，深度立体注意力视觉导航网络对于近景障碍、远景障碍以及探索目标物的关注程度的较大差异，有助于引导监督学习水下视觉图像与专家导航经验之间的映射关系。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航方法，通过由导航分类损失函数、光度损失函数和信息损失函数共同设计多目标损失函数，并利用该多目标损失函数对网络进行训练得到深度立体注意力视觉导航网络，从输入特征的空间方向和通道方向共同提升对视差特征显著区域的关注与学习，提高了深度立体注意力视觉导航网络的性能。
在一些实施例中，样本双目图像数据集包括训练负样本，训练负样本基于水下航行器在运动状态违背安全导航准则的情况下拍摄得到。
在该实施例中，水下航行器在运动状态违背安全导航准则是指水下航行器在小于安全观察距离时接近目标物，或者航行器直接与水下环境中的海床、礁石等障碍物发生碰撞。
在该实施例中，样本双目图像数据集中可以增加少量违背机器鱼安全导航准则的视频图像作为训练负样本，例如，机器鱼以比安全观察距离更小的距离接近目标物，或者机器鱼与海床、礁石等障碍物发生碰撞的场景。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航方法，通过在样本双目图像数据集中加入少量伪训练负样本，降低深度立体注意力视觉导航网络的误检测率，提高视觉导航网络的泛化能力。
在一些实施例中，水下航行器包括导航转换模块和中枢模式发生器，中枢模式发生器用于控制水下航行器的节律运动，在得到水下航行器的导航指令之后，该方法还包括：基于导航转换模块将导航指令转换成运动控制指令；将运动控制指令输入至中枢模式发生器，以控制水下航行器的运动姿态和运动轨迹。
在该实施例中，获取导航指令后，可以通过水下航行器的航转换模块将导航指令转换为运动控制指令，并将该控制指令作为机器鱼底层的中枢模式发生器（CentralPattern Generator，CPG）模型输入，具体表示如下：
其中，和/>分别表示与机器鱼胸鳍和尾鳍运动限制相关的俯仰偏置和偏航偏置转换比例因子。
在该实施例中，运动控制周期设定为ms。若机器鱼在运动控制周期内没有观察目标物，执行围绕最近障碍物、墙体巡游的探索策略。
在该实施例中，非线性模型预测控制方法（NMPC）优化机器鱼的运动姿态和轨迹，非线性模型预测控制方法是一种由模型预测、优化求解和反馈修正组成的三阶段优化控制方法。在模型预测阶段，需要分别根据已有的仿生机器鱼动力学模型构造简化的离散预测模型以及中枢模式发生器模型（Central Pattern Generator，CPG），实现机器鱼的运动状态实时推算。在优化求解阶段，需要分别构造优化目标函数、约束条件。在反馈修正阶段，采用高效的优化器求解优化问题的最优解，进而将计算控制量输出至机器鱼系统，通过传感系统测量、估计机器鱼的最新状态，迭代进入新一轮的NMPC控制流程。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航方法，通过在得到导航指令之后，利用导航转换模块将导航指令转换成运动控制指令，并将运动控制指令输入至中枢模式发生器，以控制水下航行器的运动姿态和运动轨迹，实现了仿生机器鱼的水下自主目标搜索功能。
在一些实施例中，导航分类损失函数应用如下公式得到：
其中，为导航分类损失函数，/>为深度立体注意力视觉导航网络预测的俯仰策略的概率分布，/>为深度立体注意力视觉导航网络预测的偏航策略的概率分布，/>为网络训练参数，/>为俯仰策略或偏航策略对应的损失函数，俯仰策略或偏航策略对应的损失函数采用交叉熵形式分布。
在该实施例中，导航分类损失由偏航策略损失和俯仰策略损失共同构成，如下式所示：
其中，/>分别表示导航网络预测的俯仰和偏航策略的概率分布。监督学习中的分类损失通常采用交叉熵形式（Cross Entropy）。
需要说明的是，在数据采集阶段，尽管人工标注策略根据安全导航准则已基本满足一致性规范，但由于水下视觉场景可能存在大量无目标无障碍等无法推断出准确导航规则的相似空旷场景，由此导致对应的标注导航策略内部存在歧义性，且训练数据集的正负样本不平衡问题也会导致监督训练效果下降。
在该实施例中，可以采用改进的交叉熵损失函数Focal Loss以增强网络对实际训练数据中困难样本的学习；进一步，为确保导航网络预测结果不会以较高置信度集中于少数策略输出，引入了预测策略分布的熵值作为惩罚项以避免网络训练出现过拟合，以俯仰策略为例，其综合损失函数如下式所示：
其中，和/>为控制改进交叉熵损失调制系数的超参数，/>，/>的参数设置；/>为调节熵值惩罚项的权重因子。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航方法，通过偏航策略损失和俯仰策略损失共同设计导航分类损失函数，并采用改进的交叉熵损失函数以增强网络对实际训练数据中困难样本的学习，减少训练过程出现过拟合现象，提高了模型训练时的学习能力。
在一些实施例中，在将样本双目图像数据集输入至编码模块之前，该方法还包括：对样本双目图像数据集中的全部图像分别进行目标角度的图像旋转操作和图片裁剪操作，得到扩充后的样本双目图像数据集。
在该实施例中，目标角度可以根据用户需求设置，例如，目标角度可以是±20°。
在该实施例中，通过对采集的训练样本分别进行±20°的图像旋转操作与图片裁剪操作，实现数据扩增，增加了训练样本数量。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航方法，通过对样本双目图像数据集进行目标角度的旋转与图片裁剪操作，保证输入图像维持在恒定水平角度，同时增加了训练样本的数量。
下面对本发明提供的基于双目视差机制的深度立体注意力视觉导航装置进行描述，下文描述的基于双目视差机制的深度立体注意力视觉导航装置与上文描述的基于双目视差机制的深度立体注意力视觉导航方法可相互对应参照。
图4是本发明提供的基于双目视差机制的深度立体注意力视觉导航装置的结构示意图，如图4所示，该基于双目视差机制的深度立体注意力视觉导航装置包括：数据采集模块410和数据处理模块420。
数据采集模块410，用于采集双目图像序列，双目图像序列包括水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，目标环境包括虚拟水下环境和真实水下环境中的至少一项；
数据处理模块420，用于将双目图像序列输入至深度立体注意力视觉导航网络，得到水下航行器的导航指令，导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；深度立体注意力视觉导航网络包括视差注意力模块，视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于双目视差特征图和双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；深度立体注意力视觉导航网络以双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；样本双目图像数据集包括水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，导航指令标签用于指示水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
本发明实施例提供的基于双目视差机制的深度立体注意力视觉导航装置，通过将采集的双目图像序列输入至基于双目视差机制设计的深度立体注意力视觉导航网络中，得到用于控制水下航行器在目标环境中的运动姿态和运动轨迹的导航指令，无需附加冗余的滤波方法和条件导航策略，通过挖掘双目视觉中的视差特征信息提升视觉导航网络的输出稳定性，提升了对视差特征显著区域的关注与学习，进而提高了水下环境视觉导航的准确率和效率。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于双目视差机制的深度立体注意力视觉导航方法，该方法包括：采集双目图像序列，双目图像序列包括水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，目标环境包括虚拟水下环境和真实水下环境中的至少一项；将双目图像序列输入至深度立体注意力视觉导航网络，得到水下航行器的导航指令，导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；深度立体注意力视觉导航网络包括视差注意力模块，视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于双目视差特征图和双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；深度立体注意力视觉导航网络以双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；样本双目图像数据集包括水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，导航指令标签用于指示水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于双目视差机制的深度立体注意力视觉导航方法，该方法包括：采集双目图像序列，双目图像序列包括水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，目标环境包括虚拟水下环境和真实水下环境中的至少一项；将双目图像序列输入至深度立体注意力视觉导航网络，得到水下航行器的导航指令，导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；深度立体注意力视觉导航网络包括视差注意力模块，视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于双目视差特征图和双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；深度立体注意力视觉导航网络以双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；样本双目图像数据集包括水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，导航指令标签用于指示水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于双目视差机制的深度立体注意力视觉导航方法，该方法包括：采集双目图像序列，双目图像序列包括水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，目标环境包括虚拟水下环境和真实水下环境中的至少一项；将双目图像序列输入至深度立体注意力视觉导航网络，得到水下航行器的导航指令，导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；深度立体注意力视觉导航网络包括视差注意力模块，视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于双目视差特征图和双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；深度立体注意力视觉导航网络以双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；样本双目图像数据集包括水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，导航指令标签用于指示水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于双目视差机制的深度立体注意力视觉导航方法，应用于水下航行器，其特征在于，包括：
采集双目图像序列，所述双目图像序列包括所述水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，所述目标环境包括虚拟水下环境和真实水下环境中的至少一项；
将所述双目图像序列输入至深度立体注意力视觉导航网络，得到所述水下航行器的导航指令，所述导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；
所述深度立体注意力视觉导航网络包括视差注意力模块，所述视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于所述双目视差特征图和所述双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；所述深度立体注意力视觉导航网络以所述双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；所述样本双目图像数据集包括所述水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，所述导航指令标签用于指示所述水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
2.根据权利要求1所述的基于双目视差机制的深度立体注意力视觉导航方法，其特征在于，所述深度立体注意力视觉导航网络包括编码模块，所述编码模块由多个残差卷积网络堆叠得到，所述双目视差特征图包括左目特征图和右目特征图，所述深度立体注意力视觉导航网络通过如下步骤得到：
获取所述样本双目图像数据集，所述双目图像数据集包括左目图像和右目图像；
将所述样本双目图像数据集输入至所述编码模块，得到所述左目特征图和所述右目特征图，并将左目特征图和右目特征图进行卷积运算和通道数压缩处理，得到所述样本双目图像数据集的查询向量组，所述查询向量组中的两个查询向量互为键值向量；
基于所述两个查询向量得到所述样本双目图像数据集对应的遮挡信息掩膜，并基于所述视差注意力模块对左目特征图、右目特征图和遮挡信息掩膜进行加权平均处理，得到所述双目视差注意力特征图；
以所述双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签结合多目标损失函数对初始网络模型进行有监督训练，并在初始网络模型收敛的情况下，得到所述深度立体注意力视觉导航网络；
其中，所述多目标损失函数基于导航分类损失函数、光度损失函数和信息损失函数得到。
3.根据权利要求2所述的基于双目视差机制的深度立体注意力视觉导航方法，其特征在于，所述多目标损失函数应用如下公式得到：
；
其中，为所述多目标损失函数，/>为导航分类损失函数，用于表示水下航行器运动时的偏航策略损失和俯仰策略损失，/>为光度损失函数，用于表示光度误差和图像结构失真程度，/>为信息损失函数，用于表示采用KL散度作为正则化项以最小化近似分布时的信息损失，/>为视差注意力模块的数目；/>为所述样本双目图像数据集，为网络训练参数；/>和/>为权重因子。
4.根据权利要求1-2任一项所述的基于双目视差机制的深度立体注意力视觉导航方法，其特征在于，所述样本双目图像数据集包括训练负样本，所述训练负样本基于所述水下航行器在运动状态违背安全导航准则的情况下拍摄得到。
5.根据权利要求1所述的基于双目视差机制的深度立体注意力视觉导航方法，其特征在于，所述水下航行器包括导航转换模块和中枢模式发生器，所述中枢模式发生器用于控制所述水下航行器的节律运动，在所述得到所述水下航行器的导航指令之后，所述方法还包括：
基于所述导航转换模块将所述导航指令转换成运动控制指令；
将所述运动控制指令输入至所述中枢模式发生器，以控制所述水下航行器的运动姿态和运动轨迹。
6.根据权利要求2所述的基于双目视差机制的深度立体注意力视觉导航方法，其特征在于，所述导航分类损失函数应用如下公式得到：
；
其中，为所述导航分类损失函数，/>为所述深度立体注意力视觉导航网络预测的俯仰策略的概率分布，/>为所述深度立体注意力视觉导航网络预测的偏航策略的概率分布，/>为网络训练参数，/>为俯仰策略或偏航策略对应的损失函数，所述俯仰策略或偏航策略对应的损失函数采用交叉熵形式分布。
7.根据权利要求2所述的基于双目视差机制的深度立体注意力视觉导航方法，其特征在于，在所述将所述样本双目图像数据集输入至所述编码模块之前，所述方法还包括：
对所述样本双目图像数据集中的全部图像分别进行目标角度的图像旋转操作和图片裁剪操作，得到扩充后的样本双目图像数据集。
8.一种基于双目视差机制的深度立体注意力视觉导航装置，其特征在于，包括：
数据采集模块，用于采集双目图像序列，所述双目图像序列包括水下航行器在目标环境下拍摄的多个左目图像数据和多个右目图像数据，所述目标环境包括虚拟水下环境和真实水下环境中的至少一项；
数据处理模块，用于将所述双目图像序列输入至深度立体注意力视觉导航网络，得到所述水下航行器的导航指令，所述导航指令用于控制水下航行器在目标环境中的运动姿态和运动轨迹；
所述深度立体注意力视觉导航网络包括视差注意力模块，所述视差注意力模块用于从样本双目图像数据集中提取双目视差特征图，并基于所述双目视差特征图和所述双目视差特征图匹配的遮挡信息掩膜得到双目视差注意力特征图；所述深度立体注意力视觉导航网络以所述双目视差注意力特征图为训练样本的输入特征，以导航指令标签为样本标签训练得到；所述样本双目图像数据集包括所述水下航行器分别在虚拟水下环境和真实水下环境中拍摄的图像数据，所述导航指令标签用于指示所述水下航行器的偏航方向的期望角度和俯仰方向的期望角度。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于双目视差机制的深度立体注意力视觉导航方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于双目视差机制的深度立体注意力视觉导航方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310938394.4A CN116659516B (zh) | 2023-07-28 | 2023-07-28 | 基于双目视差机制的深度立体注意力视觉导航方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310938394.4A CN116659516B (zh) | 2023-07-28 | 2023-07-28 | 基于双目视差机制的深度立体注意力视觉导航方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116659516A true CN116659516A (zh) | 2023-08-29 |
| CN116659516B CN116659516B (zh) | 2023-10-31 |
Family
ID=87720933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310938394.4A Active CN116659516B (zh) | 2023-07-28 | 2023-07-28 | 基于双目视差机制的深度立体注意力视觉导航方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116659516B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117029838A (zh) * | 2023-10-09 | 2023-11-10 | 广东电网有限责任公司阳江供电局 | 一种水下机器人导航控制方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010281829A (ja) * | 2010-07-30 | 2010-12-16 | Navitime Japan Co Ltd | ナビゲーションシステム、経路探索サーバおよび端末装置ならびに経路案内方法 |
| CN111680176A (zh) * | 2020-04-20 | 2020-09-18 | 武汉大学 | 基于注意力与双向特征融合的遥感图像检索方法及系统 |
| CN111985551A (zh) * | 2020-08-14 | 2020-11-24 | 湖南理工学院 | 一种基于多重注意力网络的立体匹配算法 |
| CN112581543A (zh) * | 2020-12-28 | 2021-03-30 | 镇江市高等专科学校 | 运动机器人视觉导航方法 |
| CN116433760A (zh) * | 2022-12-02 | 2023-07-14 | 中国船舶重工集团公司第七一三研究所 | 一种水下导航定位系统和方法 |
-
2023
- 2023-07-28 CN CN202310938394.4A patent/CN116659516B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010281829A (ja) * | 2010-07-30 | 2010-12-16 | Navitime Japan Co Ltd | ナビゲーションシステム、経路探索サーバおよび端末装置ならびに経路案内方法 |
| CN111680176A (zh) * | 2020-04-20 | 2020-09-18 | 武汉大学 | 基于注意力与双向特征融合的遥感图像检索方法及系统 |
| CN111985551A (zh) * | 2020-08-14 | 2020-11-24 | 湖南理工学院 | 一种基于多重注意力网络的立体匹配算法 |
| CN112581543A (zh) * | 2020-12-28 | 2021-03-30 | 镇江市高等专科学校 | 运动机器人视觉导航方法 |
| CN116433760A (zh) * | 2022-12-02 | 2023-07-14 | 中国船舶重工集团公司第七一三研究所 | 一种水下导航定位系统和方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117029838A (zh) * | 2023-10-09 | 2023-11-10 | 广东电网有限责任公司阳江供电局 | 一种水下机器人导航控制方法和系统 |
| CN117029838B (zh) * | 2023-10-09 | 2024-01-23 | 广东电网有限责任公司阳江供电局 | 一种水下机器人导航控制方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116659516B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232350B (zh) | 一种基于在线学习的实时水面多运动目标检测跟踪方法 | |
| US11361470B2 (en) | Semantically-aware image-based visual localization | |
| CN110827415B (zh) | 一种全天候未知环境无人自主工作平台 | |
| CN111402311B (zh) | 一种基于知识蒸馏的轻量级立体视差估计方法 | |
| EP3690744A1 (en) | Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same | |
| CN116659516B (zh) | 基于双目视差机制的深度立体注意力视觉导航方法及装置 | |
| CN109859202B (zh) | 一种基于usv水面光学目标跟踪的深度学习检测方法 | |
| EP3690811A1 (en) | Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same | |
| CN114565655A (zh) | 一种基于金字塔分割注意力的深度估计方法及装置 | |
| Zhang et al. | A object detection and tracking method for security in intelligence of unmanned surface vehicles | |
| CN112884802A (zh) | 一种基于生成的对抗攻击方法 | |
| CN115661246A (zh) | 一种基于自监督学习的姿态估计方法 | |
| CN115080903B (zh) | 一种基于智能优化算法的海上多目标多模态匹配融合方法 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN113538702A (zh) | 一种海洋养殖区水下场景全景图生成方法 | |
| CN115511759A (zh) | 一种基于级联特征交互的点云图像深度补全方法 | |
| CN115578416A (zh) | 一种无人机目标跟踪方法、系统、介质及电子设备 | |
| Yao et al. | Vision-based environment perception and autonomous obstacle avoidance for unmanned underwater vehicle | |
| CN114898355A (zh) | 用于自动驾驶的体住运动的自监督学习的方法和系统 | |
| Sergiyenko et al. | Machine vision sensors | |
| Chicchon et al. | Semantic segmentation of fish and underwater environments using deep convolutional neural networks and learned active contours | |
| CN114638408A (zh) | 一种基于时空信息的行人轨迹预测方法 | |
| Qin | Autonomous environment and target perception of underwater offshore vehicles | |
| CN117132914B (zh) | 通用电力设备识别大模型方法及系统 | |
| Alves et al. | Vision-based navigation solution for autonomous underwater vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |