CN114549611A - 一种基于神经网络及少量点测量的水下绝对距离估计方法 - Google Patents

一种基于神经网络及少量点测量的水下绝对距离估计方法 Download PDF

Info

Publication number
CN114549611A
CN114549611A CN202210170622.3A CN202210170622A CN114549611A CN 114549611 A CN114549611 A CN 114549611A CN 202210170622 A CN202210170622 A CN 202210170622A CN 114549611 A CN114549611 A CN 114549611A
Authority
CN
China
Prior art keywords
depth
underwater
image
loss
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210170622.3A
Other languages
English (en)
Inventor
王楠
辛国玲
张兴
杨学文
胡文杰
崔燕妮
晋越
安树彪
续林刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202210170622.3A priority Critical patent/CN114549611A/zh
Publication of CN114549611A publication Critical patent/CN114549611A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G01C13/008—Surveying specially adapted to open water, e.g. sea, lake, river or canal measuring depth of open water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Hydrology & Water Resources (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体公开了一种基于神经网络及少量点测量的水下绝对距离估计方法，通过构建、训练和测试自监督水下深度估计网络得到细粒度的深度图，由于深度图只包含相对距离信息即深度值，并且存在尺度不一致的问题，本发明进一步通过测量少量点的绝对距离并将该距离作为真值对多项式函数拟合网络进行训练，从而能够准确地拟合出深度值与绝对距离之间的多项式函数，便于获得原始水下图像全局的绝对距离。周边环境与作业主体之间的距离是水下机器人自主作业所需的最重要的信息之一，准确的水下深度估计是实现水下自主探索的基石，为水下机器人避障以及精细化作业提供服务。

Description

一种基于神经网络及少量点测量的水下绝对距离估计方法
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于神经网络及少量点测量的水下绝对距离估计方法。
背景技术
海洋中有丰富的生物资源、海洋空间资源、矿产资源等大量人类可利用的物质和能量。在当今全球粮食、资源、能源供应紧张与人口迅速增长的矛盾日益突出的情况下，开发海洋资源是历史发展的必然。但是水下环境复杂多样，为人类进行水下自主作业增加重重困难。水下机器人是进行复杂工作的操作智能代理，目前主要的挑战之一是水下视觉感知，准确的水下距离估计可以增强水下机器人的态势感知，并实现自主性。但是，由于水体对光线的吸收散射等固有的物理特性，在水下进行精确的距离测量尤其棘手，传统的水下测距方法也无法满足精细化作业的需求。
发明内容
本发明提供一种基于神经网络及少量点测量的水下绝对距离估计方法，解决的技术问题在于：如何较为快速准确地对水下全局环境的绝对距离进行估计。
为解决以上技术问题，本发明提供一种基于神经网络及少量点测量的水下绝对距离估计方法，包括步骤：
S1：用单目相机收集不同水下场景的多幅原始图像，得到水下原始图像数据集；
S2：运用所述水下原始图像数据集对自监督水下深度估计网络进行训练；
S3：用单目相机采集实际测量水下环境时的实测图像，并运用训练完成的所述自监督水下深度估计网络对所述实测图像进行测试，得到具有深度值的深度图像；
S4：在深度图像中选取特定数量的图像坐标点，得到各个图像坐标点的深度值；
S5：运用激光测距传感器测量每个所述图像坐标点所对应实际位置的绝对距离值；
S6：运用神经网络拟合步骤S4所选深度值与步骤S5所测绝对距离值之间的函数，基于拟合的函数计算深度图像中其他深度值所对应的绝对距离值。
进一步地，所述步骤S2具体包括步骤：
S21：搭建自监督水下深度估计网络，所述自监督水下深度估计网络包括深度网络和预先训练完成的光流网络，所述深度网络基于MonoDepth2网络框架，所述光流网络采用FlowNet2.0架构；
S22：将所述水下原始图像数据集输入所述光流网络中得到对应的光流图，并进一步生成所述光流图中非遮挡区域的掩模图；
S23：对所述水下原始图像数据集分别进行CLAHE图像增强和Sobel算子操作，得到对应的增强图和一阶梯度图；
S24：将所述水下原始图像数据集输入所述深度网络中进行训练，在训练过程中，基于第一损失函数根据梯度反向传播更新所述深度网络的自身参数，第一损失函数基于所述深度网络生成的深度图像、基于所述深度网络生成的重建图、所述光流图、所述掩模图、所述增强图、所述一阶梯度图构建。
进一步地，在所述步骤S24中，所述第一损失函数表示为：
L＝Lp+λsLs+λcLc+λgLg
其中，Lp表示所述增强图、所述重建图与所述掩模图之间的光度损失，Ls表示所述深度图像与所述增强图之间的平滑损失，Lc表示所述深度图像的深度信息、所述光流图的光流信息与所述掩模图之间的一致性损失，Lg表示所述一阶梯度图、所述重建图的一阶梯度图与所述掩模图之间的梯度损失，λs、λc、λg为对应损失的权重系数。
进一步地，光度损失Lp表示为：
Figure BDA0003517465480000031
其中，I′t、
Figure BDA0003517465480000032
分别表示所述增强图、所述重建图，参数α＝0.85，SSIM(,)表示求结构相似性指数，||,||1表示求L1损失，M表示所述掩模图；
为了避免遮挡区域对自监督深度估计的影响，对光流和图片颜色识别进行前后一致性检查用于生成非遮挡区域的掩模图M，掩模图M表示为：
M＝[wf(x)+wb(x+wf(x))]<Th∩[I1(x)-I2(x+wf(x))]<Th
其中，I1表示当前帧即0帧的图片，I2表示前一帧即-1帧的图片，x表示像素坐标上的位置，wf表示I1到I2的光流，wb表示具有相反方向的光流，Th表示阈值，设置为1；
平滑损失Ls表示为：
Figure BDA0003517465480000033
其中，D(pt)表示所述深度图像中像素点pt的估计距离，|·|表示元素的绝对值，
Figure BDA0003517465480000034
是向量微分算子，T表示图像梯度加权的转置，
Figure BDA0003517465480000035
亦表示所述增强图。
进一步地，
一致性损失Lc是像素空间一致性损失Lci和相机空间一致性损失Lcc这两个分量的和；
像素空间一致性损失Lci表示为：
Figure BDA0003517465480000036
其中，pt为当前帧即0帧中某一像素点的二维坐标，
Figure BDA0003517465480000037
和
Figure BDA0003517465480000038
分别为通过深度信息和光流信息求取的与pt点相对应的源图像即+1帧或者-1帧中的二维坐标，这里的||.||表示二维距离；
相机空间一致性损失Lcc表示为：
Figure BDA0003517465480000039
其中，
Figure BDA00035174654800000310
和
Figure BDA00035174654800000311
表示在源相机坐标空间中，分别通过深度信息与光流信息求取的与pt点相对应的三维坐标，这里的||.||表示三维空间距离；
梯度损失Lg表示为：
Figure BDA0003517465480000041
其中，gt表示当前帧即0帧的一阶梯度图，
Figure BDA0003517465480000042
表示所述重建图的一阶梯度。
进一步地，所述步骤S4具体包括步骤：
S41：将深度图像进行像素归一化，得到对应的归一化深度图像；
S42：在归一化深度图像中归一化像素值处于A1、A2、A3、A4的四个区间中各自选取至少一个像素坐标点，A1<A2<A3<A4；
S43：确定所选取各个像素坐标点的深度值。
优选的，在所述步骤S42中，四个区间A1、A2、A3、A4分别为0.01-0.05、0.38-0.42、0.68-0.72、0.88-0.92。
进一步地，所述步骤S5具体包括步骤：
S51：将相机和激光测距传感器相邻固定，并使激光测距传感器的方向与相机的光轴方向一致；
S52：对相机进行标定，得到相机的内外参数；
S53：根据相机的内外参数，将步骤S4选取的像素坐标点从图像坐标系转化为相机坐标系和世界坐标系下的坐标值；
S54：根据步骤S53的坐标值调整激光测距传感器的角度，测得当前激光测距点的绝对距离值。
进一步地，所述步骤S6具体包括步骤：
S61：将步骤S4获取的深度值作为数据集，将S5测量的绝对距离值作为真值训练多项式函数拟合神经网络，在训练过程中，基于第二损失函数根据梯度反向传播更新多项式函数拟合神经网络的自身参数；
S62：根据训练完成后多项式函数拟合神经网络拟合得到的多项式函数，预测深度图像中其他深度值所对应的绝对距离值。
优选的，所述多项式函数拟合神经网络包含一个全连接层，所述第二损失函数采用MSELoss损失函数。
本发明提供的一种基于神经网络及少量点测量的水下绝对距离估计方法，通过构建、训练和测试自监督水下深度估计网络得到细粒度的深度图。由于深度图只包含相对距离信息即深度值，并且存在尺度不一致的问题，本发明进一步通过测量少量点的绝对距离并将该距离作为真值对多项式函数拟合网络进行训练，从而能够准确地拟合出深度值与绝对距离之间的多项式函数，便于获得原始水下图像全局的绝对距离。周边环境与作业主体之间的距离是水下机器人自主作业所需的最重要的信息之一，准确的水下深度估计是实现水下自主探索的基石，为水下机器人避障以及精细化作业提供服务。
附图说明
图1是本发明实施例提供的一种基于神经网络及少量点测量的水下绝对距离估计方法的步骤流程图；
图2是本发明实施例提供的自监督水下深度估计网络的架构图；
图3是本发明实施例提供的一种基于神经网络及少量点测量的水下绝对距离估计方法的示例图；
图4是本发明实施例提供的测距装置的结构图。
附图标记：激光测距传感器1、相机2、云台3。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为了快速准确地获得水下环境的绝对距离信息，本发明实施例提供一种基于神经网络及少量点测量的水下全局深度信息估计方法，如图1的步骤流程图所示，包括步骤：
S1：用单目相机收集不同水下场景的多幅原始图像，得到水下原始图像数据集；
S2：运用水下原始图像数据集对自监督水下深度估计网络进行训练；
S3：用单目相机采集实际测量水下环境时的实测图像，并运用训练完成的自监督水下深度估计网络对实测图像进行测试，得到具有深度值的深度图像；
S4：在深度图像中选取特定数量的图像坐标点，得到各个图像坐标点的深度值；
S5：运用激光测距传感器测量每个图像坐标点所对应实际位置的绝对距离值；
S6：运用神经网络拟合步骤S4所选深度值与步骤S5所测绝对距离值之间的函数，基于拟合的函数计算深度图像中其他深度值所对应的绝对距离值。
对于步骤S2，其具体包括步骤：
S21：搭建自监督水下深度估计网络，自监督水下深度估计网络包括深度网络和预先训练完成的光流网络，深度网络基于MonoDepth2网络框架，光流网络采用FlowNet2.0架构；
S22：将水下原始图像数据集输入光流网络中得到对应的光流图，并进一步生成光流图中非遮挡区域的掩模图；
S23：对水下原始图像数据集分别进行CLAHE图像增强和Sobel算子操作，得到对应的增强图和一阶梯度图；
S24：将水下原始图像数据集输入深度网络中进行训练，在训练过程中，基于第一损失函数根据梯度反向传播更新深度网络的自身参数，第一损失函数基于深度网络生成的深度图像、基于深度网络生成的重建图、光流图、掩模图、增强图、一阶梯度图构建。
更具体的，在步骤S21中，如图2所示，深度网络基于MonoDepth2网络框架搭建，包括Depth网络和Pose网络。Depth网络用来预测当前帧的深度，其采用编码器-解码器的框架，编码器是基于ImageNet的预训练的ResNet18，编码器采用了一种向上扩展的方案来提高空间分辨率。
Pose网络也是一种编码器-解码器架构，该架构和Depth网络类似，不同之处是Pose网络的输入是连续的两张图像，输出的是输入帧之间的6-DOF转换，用6个数字表示：(x,y,z)表示平移，(Rx,Ry,Rz)表示使用欧拉参数化的旋转。
在使用单目数据进行训练时，模型共需要输入3张连续影像，id分别是0、-1和+1(对应图2中原始图像中的It、It-1、It+1)，其中第0帧是要预测深度的帧即目标帧或当前帧，+1及-1是0帧的后一帧及前一帧。之后这里将目标帧输入到Depth Network中，获得预测到的深度。再分别将(-1,0)、(+1,0)两组图片输入到Pose Network中，得到-1→0的姿态变换及+1→0的姿态变换，此时，就已经得到了目标帧0的深度及目标帧与前后相邻两帧的姿态变换，再加上相机的内参K，能够得到目标帧的重建图(对应图2中的Warp操作)。
由于水下环境降质严重，突出表现为低对比度、复杂的光照条件和生物体等问题，为了解决以上问题，更好地将大气中深度估计应用到水下深度估计，在本实施例中，在步骤S24中，自监督水下深度估计网络的损失函数(第一损失函数)设计为：
L＝Lp+λsLs+λcLc+λgLg
其中，Lp表示增强图、重建图与掩模图之间的光度损失，Ls表示深度图像与增强图之间的平滑损失，Lc表示光流图的光流信息、深度图的深度信息与掩模图之间的一致性损失，Lg表示一阶梯度图、重建图的一阶梯度图与掩模图之间的梯度损失，λs、λc、λg为对应损失的权重系数，λs＝0.0001，λc＝0.008，λg＝1。
具体的，光度损失Lp设计为：
Figure BDA0003517465480000071
其中，I′t、
Figure BDA0003517465480000072
分别表示增强图、重建图，参数α＝0.85，SSIM(,)表示求结构相似性指数，||,||1表示求L1损失，M表示掩模图。
具体的，为了避免遮挡区域对自监督深度估计的影响，对光流和图片颜色识别进行前后一致性检查用于生成非遮挡区域的掩模图M，掩模图M表示为：
M＝[wf(x)+wb(x+wf(x))]<Th∩[I1(x)-I2(x+wf(x))]<Th
其中，I1表示当前帧(0帧)的图片，I2表示前一帧(-1帧)的图片，x表示像素坐标上的位置，wf表示I1到I2的光流，wb表示具有相反方向的光流，Th表示阈值，设置为1。
具体的，平滑损失Ls设计为：
Figure BDA0003517465480000081
其中，D(pt)表示深度图像中像素点pt的估计距离，|·|表示元素的绝对值，
Figure BDA0003517465480000082
是向量微分算子，T表示图像梯度加权的转置，
Figure BDA0003517465480000083
亦表示增强图。
具体的，一致性损失Lc是像素空间一致性损失Lci和相机空间一致性损失Lcc这两个分量的和。像素空间一致性损失Lci表示为：
Figure BDA0003517465480000084
其中，pt为当前帧即0帧中某一像素点的二维坐标，
Figure BDA0003517465480000085
和
Figure BDA0003517465480000086
分别为通过深度信息和光流信息求取的与pt点相对应的源图像即+1帧或者-1帧中的二维坐标，这里的||.||表示二维距离；
相机空间一致性损失Lcc表示为：
Figure BDA0003517465480000087
其中，
Figure BDA0003517465480000088
和
Figure BDA0003517465480000089
表示在源相机坐标空间中，分别通过深度信息与光流信息求取的与pt点相对应的三维坐标，这里的||.||表示三维空间距离，源相机对应的是采集源图像的相机。
具体的，梯度损失Lg表示为：
Figure BDA00035174654800000810
其中，gt表示当前帧(0帧)的一阶梯度图，
Figure BDA00035174654800000811
表示重建图的一阶梯度。
对于步骤S4，其具体包括步骤：
S41：将深度图像进行像素归一化，得到对应的归一化深度图像；
S42：在归一化深度图像中归一化像素值处于A1、A2、A3、A4的四个区间中各自选取至少一个像素坐标点，A1<A2<A3<A4；
S43：确定所选取各个像素坐标点的深度值。
在本实施例中，在步骤S42中，四个区间A1、A2、A3、A4分别为0.01-0.05、0.38-0.42、0.68-0.72、0.88-0.92，每个区间选取了1个像素点，如图3所示。
对于步骤S5，需要用到如图4所示的测距装置，步骤S5具体包括步骤：
S51：将相机和激光测距传感器相邻固定，并使激光测距传感器的方向与相机的光轴方向一致；
S52：对相机进行标定，得到相机的内外参数；
S53：根据相机的内外参数，将步骤S4选取的像素坐标点从图像坐标系转化为相机坐标系和世界坐标系下的坐标值；
S54：根据步骤S53的坐标值调整激光测距传感器的角度，测得当前激光测距点的绝对距离值。
对于步骤S52，本实施例采用张正友标定方法，其具体包括步骤：
S521：用一张4×4个正方形的棋盘格平面作为标定模板，其中每个正方形的尺寸为30mm×30mm，棋盘格的横向和纵向间隔与正方形尺寸相同；
S522：用相机2采集标定模板的若干张标定模板图片，其中每张图片中标定模板的姿态以及标定模板与相机2的距离各不相同；
S523：采用Matlab中Camera Calibrator进行相机标定，即输入calib启动相机标定工具箱，用角点检测算法检测图像中的特征点，实施校正操作，得到相机的内外参数。
对于步骤S53，图像坐标系与相机坐标系之间的转换公式为：
Figure BDA0003517465480000091
图像坐标系与世界坐标系之间的转换公式为：
Figure BDA0003517465480000101
其中，K为相机2的内参，
Figure BDA0003517465480000102
为相机2的外参。(u,v)为归一化深度图像上的任一点P在图像坐标系下的坐标。
Figure BDA0003517465480000103
为点P在相机坐标系中的坐标，坐标原点为相机2的光心位置，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，Z轴为相机2的光轴。(xw,yw,zw)为点P在世界坐标系下的坐标。
对于步骤S6，其具体包括步骤：
S61：将步骤S4获取的深度值作为数据集，将S5测量的绝对距离值作为真值训练多项式函数拟合神经网络，在训练过程中，基于第二损失函数根据梯度反向传播更新多项式函数拟合神经网络的自身参数；
S62：根据训练完成后多项式函数拟合神经网络拟合得到的多项式函数，预测深度图像中其他深度值所对应的绝对距离值，如图4所示。
多项式函数拟合神经网络包含一个全连接层，第二损失函数采用MSELoss损失函数，表示为：
Figure BDA0003517465480000104
其中，
Figure BDA0003517465480000105
为网络的预测值，y为真值。
在具体的应用中，只需将采集的原始图像输入训练完成的自监督水下深度估计网络可得到对应的深度图像，再实际测量环境中少量点的实际距离值，最后将深度图像以及测量的少量绝对距离值输入多项式函数拟合神经网络训练、测试，得到原始水下图像全局的绝对距离信息。
综上，本发明实施例提供的一种基于神经网络及少量点测量的水下绝对距离估计方法，通过构建、训练和测试自监督水下深度估计网络得到细粒度的深度图。由于深度图只包含相对距离信息即深度值，并且存在尺度不一致等问题，本发明进一步通过测量少量点的绝对距离并将该距离作为真值对多项式函数拟合网络进行训练，从而能够准确地拟合出深度值与绝对距离之间的多项式函数，便于获得原始水下图像全局的绝对距离。周边环境与作业主体之间的距离是水下机器人自主作业所需的最重要的信息之一，准确的水下深度估计是实现水下自主探索的基石，为水下机器人避障以及精细化作业提供服务。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，包括步骤：
S1：用单目相机收集不同水下场景的多幅原始图像，得到水下原始图像数据集；
S2：运用所述水下原始图像数据集对自监督水下深度估计网络进行训练；
S3：用单目相机采集实际测量水下环境时的实测图像，并运用训练完成的所述自监督水下深度估计网络对所述实测图像进行测试，得到具有深度值的深度图像；
S4：在深度图像中选取特定数量的图像坐标点，得到各个图像坐标点的深度值；
S5：运用激光测距传感器测量每个所述图像坐标点所对应实际位置的绝对距离值；
S6：运用神经网络拟合步骤S4所选深度值与步骤S5所测绝对距离值之间的函数，基于拟合的函数计算深度图像中其他深度值所对应的绝对距离值。
2.根据权利要求1所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，所述步骤S2具体包括步骤：
S21：搭建自监督水下深度估计网络，所述自监督水下深度估计网络包括深度网络和预先训练完成的光流网络，所述深度网络基于MonoDepth2网络框架，所述光流网络采用FlowNet2.0架构；
S22：将所述水下原始图像数据集输入所述光流网络中得到对应的光流图，并进一步生成所述光流图中非遮挡区域的掩模图；
S23：对所述水下原始图像数据集分别进行CLAHE图像增强和Sobel算子操作，得到对应的增强图和一阶梯度图；
S24：将所述水下原始图像数据集输入所述深度网络中进行训练，在训练过程中，基于第一损失函数根据梯度反向传播更新所述深度网络的自身参数，第一损失函数基于所述深度网络生成的深度图像、基于所述深度网络生成的重建图、所述光流图、所述掩模图、所述增强图、所述一阶梯度图构建。
3.根据权利要求2所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，在所述步骤S24中，所述第一损失函数表示为：
L＝Lp+λsLs+λcLc+λgLg
其中，Lp表示所述增强图、所述重建图与所述掩模图之间的光度损失，Ls表示所述深度图像与所述增强图之间的平滑损失，Lc表示所述深度图像的深度信息、所述光流图的光流信息与所述掩模图之间的一致性损失，Lg表示所述一阶梯度图、所述重建图的一阶梯度图与所述掩模图之间的梯度损失，λs、λc、λg为对应损失的权重系数。
4.根据权利要求3所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，
光度损失Lp表示为：
Figure FDA0003517465470000021
其中，I′t、
Figure FDA0003517465470000022
分别表示所述增强图、所述重建图，参数α＝0.85，SSIM(,)表示求结构相似性指数，||,||1表示求L1损失，M表示所述掩模图；
掩模图M表示为：
M＝[wf(x)+wb(x+wf(x))]<Th∩[I1(x)-I2(x+wf(x))]<Th
其中，I1表示当前帧即0帧的图片，I2表示前一帧即-1帧的图片，x表示像素坐标上的位置，wf表示I1到I2的光流，wb表示具有相反方向的光流，Th表示阈值，设置为1；
平滑损失Ls表示为：
Figure FDA0003517465470000023
其中，D(pt)表示所述深度图像中像素点pt的估计距离，|·|表示元素的绝对值，
Figure FDA0003517465470000031
是向量微分算子，T表示图像梯度加权的转置，
Figure FDA0003517465470000032
亦表示所述增强图。
5.根据权利要求4所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，一致性损失Lc是像素空间一致性损失Lci和相机空间一致性损失Lcc这两个分量的和；
像素空间一致性损失Lci表示为：
Figure FDA0003517465470000033
其中，pt为当前帧即0帧中某一像素点的二维坐标，
Figure FDA0003517465470000034
和
Figure FDA0003517465470000035
分别为通过深度信息和光流信息求取的与pt点相对应的源图像即+1帧或者-1帧中的二维坐标，这里的||.||表示二维距离；
相机空间一致性损失Lcc表示为：
Figure FDA0003517465470000036
其中，
Figure FDA0003517465470000037
和
Figure FDA0003517465470000038
表示在源相机坐标空间中，分别通过深度信息与光流信息求取的与pt点相对应的三维坐标，这里的||.||表示三维空间距离；
梯度损失Lg表示为：
Figure FDA0003517465470000039
其中，gt表示当前帧即0帧的一阶梯度图，
Figure FDA00035174654700000310
表示所述重建图的一阶梯度。
6.根据权利要求1～5任一项所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，所述步骤S4具体包括步骤：
S41：将深度图像进行像素归一化，得到对应的归一化深度图像；
S42：在归一化深度图像中归一化像素值处于A1、A2、A3、A4的四个区间中各自选取至少一个像素坐标点，A1<A2<A3<A4；
S43：确定所选取各个像素坐标点的深度值。
7.根据权利要求6所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于：在所述步骤S42中，四个区间A1、A2、A3、A4分别为0.01-0.05、0.38-0.42、0.68-0.72、0.88-0.92。
8.根据权利要求1～5任一项所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，所述步骤S5具体包括步骤：
S51：将相机和激光测距传感器相邻固定，并使激光测距传感器的方向与相机的光轴方向一致；
S52：对相机进行标定，得到相机的内外参数；
S53：根据相机的内外参数，将步骤S4选取的像素坐标点从图像坐标系转化为相机坐标系和世界坐标系下的坐标值；
S54：根据步骤S53的坐标值调整激光测距传感器的角度，测得当前激光测距点的绝对距离值。
9.根据权利要求1～5任一项所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于，所述步骤S6具体包括步骤：
S61：将步骤S4获取的深度值作为数据集，将S5测量的绝对距离值作为真值训练多项式函数拟合神经网络，在训练过程中，基于第二损失函数根据梯度反向传播更新多项式函数拟合神经网络的自身参数；
S62：根据训练完成后多项式函数拟合神经网络拟合得到的多项式函数，预测深度图像中其他深度值所对应的绝对距离值。
10.根据权利要求9所述的一种基于神经网络及少量点测量的水下绝对距离估计方法，其特征在于：所述多项式函数拟合神经网络包含一个全连接层，所述第二损失函数采用MSELoss损失函数。
CN202210170622.3A 2022-02-23 2022-02-23 一种基于神经网络及少量点测量的水下绝对距离估计方法 Pending CN114549611A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210170622.3A CN114549611A (zh) 2022-02-23 2022-02-23 一种基于神经网络及少量点测量的水下绝对距离估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210170622.3A CN114549611A (zh) 2022-02-23 2022-02-23 一种基于神经网络及少量点测量的水下绝对距离估计方法

Publications (1)

Publication Number Publication Date
CN114549611A true CN114549611A (zh) 2022-05-27

Family

ID=81677978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210170622.3A Pending CN114549611A (zh) 2022-02-23 2022-02-23 一种基于神经网络及少量点测量的水下绝对距离估计方法

Country Status (1)

Country Link
CN (1) CN114549611A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758254A (zh) * 2022-06-15 2022-07-15 中国地质大学（武汉） 一种双波段无监督水深反演方法及系统
CN116255908A (zh) * 2023-05-11 2023-06-13 山东建筑大学 面向水下机器人的海生物定位测量装置及方法
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758254A (zh) * 2022-06-15 2022-07-15 中国地质大学（武汉） 一种双波段无监督水深反演方法及系统
CN116255908A (zh) * 2023-05-11 2023-06-13 山东建筑大学 面向水下机器人的海生物定位测量装置及方法
CN116255908B (zh) * 2023-05-11 2023-08-15 山东建筑大学 面向水下机器人的海生物定位测量装置及方法
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Similar Documents

Publication Publication Date Title
CN114549611A (zh) 一种基于神经网络及少量点测量的水下绝对距离估计方法
CN105069423B (zh) 一种人体姿态检测方法及装置
CN112505065B (zh) 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN111523398A (zh) 一种融合2d人脸检测和3d人脸识别的方法及装置
CN111932678B (zh) 多视点实时人体运动、手势、表情、纹理重建系统
CN101189638A (zh) 膝关节形态的特征描述方法和系统
CN108876799A (zh) 一种基于双目相机的实时台阶检测方法
WO2020152437A1 (en) Depth estimation
CN105184857A (zh) 基于点结构光测距的单目视觉重建中尺度因子确定方法
CN101996416A (zh) 3d人脸捕获方法和设备
CN109087325A (zh) 一种基于单目视觉的直接法点云三维重建及尺度确定方法
CN114119889B (zh) 基于跨模态融合的360度环境深度补全和地图重建方法
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
CN116797742A (zh) 室内场景的三维重建方法及系统
CN110428461B (zh) 结合深度学习的单目slam方法及装置
JP2023079022A (ja) 情報処理装置及び情報生成方法
CN113256697B (zh) 水下场景的三维重建方法、系统、装置和存储介质
CN111742352B (zh) 对三维对象进行建模的方法和电子设备
CN112750155A (zh) 基于卷积神经网络的全景深度估计方法
CN111553954B (zh) 一种基于直接法单目slam的在线光度标定方法
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
CN104200469B (zh) 一种视觉智能数控系统的数据融合方法
CN111696147A (zh) 一种基于改进YOLOv3模型的深度估计方法
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
JP6962484B1 (ja) 温度分布学習装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination