CN113256697A - 水下场景的三维重建方法、系统、装置和存储介质 - Google Patents

水下场景的三维重建方法、系统、装置和存储介质 Download PDF

Info

Publication number
CN113256697A
CN113256697A CN202110458221.3A CN202110458221A CN113256697A CN 113256697 A CN113256697 A CN 113256697A CN 202110458221 A CN202110458221 A CN 202110458221A CN 113256697 A CN113256697 A CN 113256697A
Authority
CN
China
Prior art keywords
point cloud
dimensional point
cloud data
dimensional
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110458221.3A
Other languages
English (en)
Other versions
CN113256697B (zh
Inventor
陈德山
刘衡睿
李卓翼
汪洋
吴兵
张金奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202110458221.3A priority Critical patent/CN113256697B/zh
Publication of CN113256697A publication Critical patent/CN113256697A/zh
Application granted granted Critical
Publication of CN113256697B publication Critical patent/CN113256697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明公开了一种水下场景的三维重建方法、系统、装置和存储介质，可广泛应用于三维技术领域。本发明方法通过将获取的水下若干张二维声呐图像映射成三维点云数据，并将三维点云数据中设定帧的图像对应的获取的航行位置作为三维点云数据的轨迹位置，接着根据轨迹位置对三维点云数据的其他图像对应的航行位置进行回环检测，并在确定回环检测结果为发生回环后，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；然后对全局三维点云关联模型进行最优化求解，得到优化量，并对优化量进行顺滑处理，生成水下场景的目标三维图，从而通过目标三维图为用户多维度提供有效的水下信息，便于用户及时掌握。

Description

水下场景的三维重建方法、系统、装置和存储介质
技术领域
本发明涉及三维技术领域，尤其是一种水下场景的三维重建方法、系统、装置和存储介质。
背景技术
海洋拥有丰富的资源，例如生物资源、矿产资源、动力资源和化学资源。水下视觉感知技术作为海洋技术的基础性组成部分，其能为人类提供适合的观察渠道，因此也是海洋技术中最重要的环节之一。水下视觉感知技术主要包括光学视觉感知技术和声学视觉感知技术。其中利用光学视觉感知技术所采集的光学图像可以覆盖观察区域内丰富的色彩信息以及细微的几何信息，但是由于自然环境中光的传播距离有限，尤其是在一些水体浑浊的水域环境中作业时，光学视觉感知能见度甚至不足一米，严重的限制了感知范围。相比较于光学感知技术，声学感知技术的声波在水下传播时，介质的吸收率较小、传播距离较远，因此在当前水下探测领域，主要采用声学感知技术。水下声视觉成像中，由于衰减、混响等因素的影响，声呐图像成像质量远不如光学图像，声图像对比度低，噪声重，目标边缘不完整，因此获取的二维声呐图像难以为用户提供有效的水下信息。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种水下场景的三维重建方法、系统、装置和存储介质，能够从多维角度为用户提供有效的水下信息。
第一方面，本发明实施例提供了一种水下场景的三维重建方法，包括以下步骤：
获取水下若干张二维声呐图像和水下航行器的航行位置；
将若干张所述二维声呐图像映射成三维点云数据，将所述三维点云数据中设定帧的图像对应的航行位置作为所述三维点云数据的轨迹位置；
根据所述轨迹位置对其他三维点云数据进行回环检测；
确定回环检测结果为发生回环，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；
对所述全局三维点云关联模型进行最优化求解，得到优化量；
对所述优化量进行顺滑处理，生成水下场景的目标三维图。
本发明实施例提供的一种水下场景的三维重建方法，其具有如下有益效果：
本实施例通过将获取的水下若干张二维声呐图像映射成三维点云数据，并将三维点云数据中设定帧的图像对应的获取的航行位置作为三维点云数据的轨迹位置，接着根据轨迹位置对三维点云数据的其他图像对应的航行位置进行回环检测，并在确定回环检测结果为发生回环后，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；然后对全局三维点云关联模型进行最优化求解，得到优化量，并对优化量进行顺滑处理，生成水下场景的目标三维图，从而通过目标三维图为用户多维度提供有效的水下信息，便于用户及时掌握。
可选地，所述将若干张所述二维声呐图像映射成三维点云数据，其具体为：
采用SDK文件将若干张所述二维声呐图像映射成三维点云数据。
可选地，所述设定帧的图像为所述三维点云数据中的中间帧的图像。
可选地，所述对所述全局三维点云关联模型进行最优化求解，其具体为：
采用最小二乘法对所述全局三维点云关联模型进行最优化求解。
可选地，所述全局三维点云关联模型为：
Figure BDA0003041275490000021
M为全局三维点云关联模型；m为当前三维点云数据的个数；w为二维声呐图像的宽度；B为第一协方差矩阵；E为第一协方差矩阵；Xp表示在第p个三维点云数据中前w个三维点云数据，为(3，w)矩阵；X’p-1表示第p-1个三维点云数据中后w个三维点云数据，为(3，w)矩阵；Yp为优化的第p个三维点云数据的几何旋转和位移的量；Y’p-1表示优化的第p-1个三维点云数据的几何旋转和位移的量；f(Xp,Yp)为三维点云变换函数，将Xp中的三维点云数据按照Yp中的数值进行变换；f(Xp,Yp)i为将Xp中的三维点云数据按照Yp中的数值进行变换后的三维点云数据中的第i个三维点云数据；f(X’p-1,Y’p-1)为三维点云变换函数，将X’p-1中的三维点云数据按照Y’p-1中的数值进行变换；f(X’p-1,Y’p-1)i为将X’p-1中的三维点云数据按照Y’p-1中的数值进行变换后的三维点云数据中的第i个三维点云数据。
可选地，所述对所述优化量进行顺滑处理，其具体为：
将三维点云数据中的点云根据相邻三维点云数据中的优化量进行递增或递减处理。
可选地，所述回环检测的机制为：
(xm-xi)2+(ym-yi)2+(zm-zi)2<K 0<i<m，m-i>9
m为当前三维点云数据的个数；xm为当前三维点云数据中设定帧的图像对应的轨迹位置的x轴坐标；ym为当前三维点云数据中设定帧的图像对应的轨迹位置的y轴坐标；zm为当前三维点云数据中设定帧的图像对应的轨迹位置的z轴坐标；i为m对应的三维点云数据之前的三维点云数据或者m对应的三维点云数据之前到上次发生回环之间的三维点云数据；xi为第i个三维点云数据中设定帧的图像对应的轨迹位置的x轴坐标；yi为第i个三维点云数据中设定帧的图像对应的轨迹位置的y轴坐标；zi为第i个三维点云数据中设定帧的图像对应的轨迹位置的z轴坐标；m-i>9表示至少相隔9个三维点云数据才进行回环检测；K表示发生回环的阈值。
第二方面，本发明实施例提供了一种水下场景的三维重建系统，包括：
获取模块，用于获取水下若干张二维声呐图像和水下航行器的航行位置；
映射模块，用于将若干张所述二维声呐图像映射成三维点云数据，将所述三维点云数据中设定帧的图像对应的航行位置作为所述三维点云数据的轨迹位置；
回环检测模块，用于根据所述轨迹位置对其他三维点云数据进行回环检测；
确定模块，用于确定回环检测结果为发生回环，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；
计算模块，用于对所述全局三维点云关联模型进行最优化求解，得到优化量；
生成模块，用于对所述优化量进行顺滑处理，生成水下场景的目标三维图。
第三方面，本发明实施例提供了一种水下场景的三维重建装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行第一方面实施例提供的水下场景的三维重建方法。
第四方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行第一方面实施例提供的水下场景的三维重建方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实施例对本发明做进一步的说明，其中：
图1为本发明实施例的一种水下场景的三维重建方法的流程图；
图2为本发明实施例的二维声呐图像；
图3为本发明实施例的三维点云数据图；
图4为本发明实施例的一种原始三维点云数据图；
图5为本发明实施例的另一种原始三维点云数据图
图6为本发明实施例的优化后的三维点云数据图；
图7为本发明实施例的顺滑处理后的三维点云数据图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在自主水下航行器及无人船舶中，声呐作为重要的探测感知工具装配。多波束声呐作为当前最常用的声呐设备之一，其不仅测量范围大、速度快，而且具有较高的精确度和检测效率，能够对水下上百个目标点的形状、大小以及高低变化进行检测。基于图像的三维重建技术在光学领域技术较为成熟，比如视觉的同时定位与地图构建(SimultaneousLocalization and Mapping，SLAM)技术早已应用在无人车及陆地自主机器人中。但是，由于声场信息成像与光学成像在成像原理上有本质上的区别，因此基于光学图像的三维重建方法并不能直接应用在声学图像中。
基于此，本发明实施例通过将实时获取的水下若干张二维声呐图像映射成三维点云数据，并将三维点云数据中设定帧的图像对应的获取的航行位置作为三维点云数据的轨迹位置，接着根据轨迹位置对三维点云数据的其他图像对应的航行位置进行回环检测，并在确定回环检测结果为发生回环后，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；然后对全局三维点云关联模型进行最优化求解，得到优化量，并对优化量进行顺滑处理，生成水下场景的目标三维图，从而通过目标三维图为用户多维度提供有效的水下信息，便于用户及时掌握。
具体地，如图1所示，本发明实施例提供了一种水下场景的三维重建方法。本实施例可应用于服务器或者船舶的控制器，该服务器或者控制器与其他终端设备交互，例如声呐设备、显示设备等。
在应用过程中，本实施例包括以下步骤：
S11、获取水下若干张二维声呐图像和水下航行器的航行位置。
本申请实施例中，二维声呐图像与水下航行器的航行位置对应，该二维声呐图像可通过预先指定的声呐设备直接采集得到，具体地，如图2所指示，其为一张通过声呐设备直接采集的二维声呐图像。
S12、将若干张二维声呐图像映射成三维点云数据，将三维点云数据中设定帧的图像对应的航行位置作为三维点云数据的轨迹位置。
在本申请实施例中，通过SDK文件将若干张所述二维声呐图像映射成如图3所示的三维点云数据。设定帧的图像为三维点云数据中的中间帧的图像。例如，将50帧二维声呐图像映射成三维点云数据，将每50帧二维声呐图像对应得到的三维点云数据作为一个处理单元。将每个处理单元中的设定帧为第25帧的二维图像对应的水下航行器的航行位置作为该处理单元的轨迹位置。
S13、根据所述轨迹位置对其他三维点云数据进行回环检测。
在本申请实施例中，以步骤S12定义的处理单元的轨迹位置进行回环检测，也称闭环检测。其中，回环检测是指机器人识别曾经到达某场景，能识别到某个地方是“我”曾经来过的。在本实施例中，通过如下所示的回环检测机制进行回环检测：
(xm-xi)2+(ym-yi)2+(zm-zi)2<K 0<i<m，m-i>9
其中，上述公式中m为当前三维点云数据的个数；xm为当前三维点云数据中设定帧的图像对应的轨迹位置的x轴坐标；ym为当前三维点云数据中设定帧的图像对应的轨迹位置的y轴坐标；zm为当前三维点云数据中设定帧的图像对应的轨迹位置的z轴坐标；i为m对应的三维点云数据之前的三维点云数据或者m对应的三维点云数据之前到上次发生回环之间的三维点云数据；xi为第i个三维点云数据中设定帧的图像对应的轨迹位置的x轴坐标；yi为第i个三维点云数据中设定帧的图像对应的轨迹位置的y轴坐标；zi为第i个三维点云数据中设定帧的图像对应的轨迹位置的z轴坐标；m-i>9表示至少相隔9个三维点云数据才进行回环检测；K表示发生回环的阈值。
当公式的值小于K时，则判定其发生回环。以先前的处理单元为模板，后来的处理单元为待匹配对象，则利用NDT点云匹配算法对发生回环的两个点云处理单元进行匹配。其中，NDT点云匹配算法又称正态分布变换算法。
S14、确定回环检测结果为发生回环，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型。
在本申请实施例中，全局三维点云关联模型如下所示：
Figure BDA0003041275490000061
其中，上述全局三维点云关联模型中，M为全局三维点云关联模型；m为当前三维点云数据的个数；w为二维声呐图像的宽度，即像素的列数；B为第一协方差矩阵；E为第一协方差矩阵；Xp表示在第p个三维点云数据中前w个三维点云数据，为(3，w)矩阵；X’p-1表示第p-1个三维点云数据中后w个三维点云数据，为(3，w)矩阵；Yp为优化的第p个三维点云数据的几何旋转和位移的量，为六维数据，其具体形式为Yp＝(α,β,γ,x,y,z)；Y’p-1表示优化的第p-1个三维点云数据的几何旋转和位移的量，同样为六维数据；f(Xp,Yp)为三维点云变换函数，将Xp中的三维点云数据按照Yp中的数值进行变换；f(Xp,Yp)i为将Xp中的三维点云数据按照Yp中的数值进行变换后的三维点云数据中的第i个三维点云数据；f(X’p-1,Y’p-1)为三维点云变换函数，将X’p-1中的三维点云数据按照Y’p-1中的数值进行变换；f(X’p-1,Y’p-1)i为将X’p-1中的三维点云数据按照Y’p-1中的数值进行变换后的三维点云数据中的第i个三维点云数据。
在本实施例中，第一协方差矩阵B表示为3*3矩阵，具体如下所示：
Figure BDA0003041275490000071
第二协方差矩阵E表示为3*3矩阵，具体如下所示：
Figure BDA0003041275490000072
S15、对全局三维点云关联模型进行最优化求解，得到优化量。
在本申请实施例中，采用采用最小二乘法对全局三维点云关联模型进行最优化求解。具体采用LM算法对上述模型进行求解。例如，原始三维点云数据图如图4和图5所示，通过全局三维点云关联模型优化后的三维点云数据如图6所示。
S16、对优化量进行顺滑处理，生成水下场景的目标三维图。
在本申请实施例中，具体是将得到的优化量进行顺滑处理，即将每个处理单元中的点云按照相邻处理单元的优化量进行递增或递减，其中递增处理如下所示：
Figure BDA0003041275490000073
递减处理如下：
Figure BDA0003041275490000081
上述递增或者递减公式中，Q为处理单元中的三维点云数据；w为二维声呐图像的宽度，即像素的列数；Yp为优化的第p个三维点云数据的几何旋转和位移的量，为六维数据，其具体形式为Yp＝(α,β,γ,x,y,z)；Yp-1表示优化的第p-1个三维点云数据的几何旋转和位移的量，同样为六维数据；Yp+1表示优化的第p+1个三维点云数据的几何旋转和位移的量，同样为六维数据；j为处理单元中进行顺滑梯度递减或递增的批数；g()表示点云映射函数，即将每个处理单元中点云按照优化量进行调整，其具体形式如下：
Figure BDA0003041275490000082
具体地，在进行顺滑处理后，得到如图7所示的三维点云数据图，将该三维点云数据图作为水下场景的目标三维图。
综上可知，上述实施例能为用户多维度提供有效的水下信息，便于用户及时掌握水下环境状况。
本发明实施例提供了一种水下场景的三维重建系统，包括：
获取模块，用于获取水下若干张二维声呐图像和水下航行器的航行位置；
映射模块，用于将若干张二维声呐图像映射成三维点云数据，将三维点云数据中设定帧的图像对应的航行位置作为三维点云数据的轨迹位置；
回环检测模块，用于根据轨迹位置对三维点云数据的其他图像对应的航行位置进行回环检测；
确定模块，用于确定回环检测结果为发生回环，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；
计算模块，用于对全局三维点云关联模型进行最优化求解，得到优化量；
生成模块，用于对优化量进行顺滑处理，生成水下场景的目标三维图。
本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种水下场景的三维重建装置，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载程序以执行图1所示的水下场景的三维重建方法。
本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。
本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于图1所示的水下场景的三维重建方法。
此外，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.一种水下场景的三维重建方法，其特征在于，包括以下步骤：
获取水下若干张二维声呐图像和水下航行器的航行位置；
将若干张所述二维声呐图像映射成三维点云数据，将所述三维点云数据中设定帧的图像对应的航行位置作为所述三维点云数据的轨迹位置；
根据所述轨迹位置对其他三维点云数据进行回环检测；
确定回环检测结果为发生回环，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；
对所述全局三维点云关联模型进行最优化求解，得到优化量；
对所述优化量进行顺滑处理，生成水下场景的目标三维图。
2.根据权利要求1所述的一种水下场景的三维重建方法，其特征在于，所述将若干张所述二维声呐图像映射成三维点云数据，其具体为：
采用SDK文件将若干张所述二维声呐图像映射成三维点云数据。
3.根据权利要求1所述的一种水下场景的三维重建方法，其特征在于，所述设定帧的图像为所述三维点云数据中的中间帧的图像。
4.根据权利要求1所述的一种水下场景的三维重建方法，其特征在于，所述对所述全局三维点云关联模型进行最优化求解，其具体为：
采用最小二乘法对所述全局三维点云关联模型进行最优化求解。
5.根据权利要求4所述的一种水下场景的三维重建方法，其特征在于，所述全局三维点云关联模型为：
Figure FDA0003041275480000011
M为全局三维点云关联模型；m为当前三维点云数据的个数；w为二维声呐图像的宽度；B为第一协方差矩阵；E为第一协方差矩阵；Xp表示在第p个三维点云数据中前w个三维点云数据，为(3，w)矩阵；X’p-1表示第p-1个三维点云数据中后w个三维点云数据，为(3，w)矩阵；Yp为优化的第p个三维点云数据的几何旋转和位移的量；Y’p-1表示优化的第p-1个三维点云数据的几何旋转和位移的量；f(Xp,Yp)为三维点云变换函数，将Xp中的三维点云数据按照Yp中的数值进行变换；f(Xp,Yp)i为将Xp中的三维点云数据按照Yp中的数值进行变换后的三维点云数据中的第i个三维点云数据；f(X’p-1,Y’p-1)为三维点云变换函数，将X’p-1中的三维点云数据按照Y’p-1中的数值进行变换；f(X’p-1,Y’p-1)i为将X’p-1中的三维点云数据按照Y’p-1中的数值进行变换后的三维点云数据中的第i个三维点云数据。
6.根据权利要求1所述的一种水下场景的三维重建方法，其特征在于，所述对所述优化量进行顺滑处理，其具体为：
将三维点云数据中的点云根据相邻三维点云数据中的优化量进行递增或递减处理。
7.根据权利要求1所述的一种水下场景的三维重建方法，其特征在于，所述回环检测的机制为：
(xm-xi)2+(ym-yi)2+(zm-zi)2<K 0<i<m，m-i>9
m为当前三维点云数据的个数；xm为当前三维点云数据中设定帧的图像对应的轨迹位置的x轴坐标；ym为当前三维点云数据中设定帧的图像对应的轨迹位置的y轴坐标；zm为当前三维点云数据中设定帧的图像对应的轨迹位置的z轴坐标；i为m对应的三维点云数据之前的三维点云数据或者m对应的三维点云数据之前到上次发生回环之间的三维点云数据；xi为第i个三维点云数据中设定帧的图像对应的轨迹位置的x轴坐标；yi为第i个三维点云数据中设定帧的图像对应的轨迹位置的y轴坐标；zi为第i个三维点云数据中设定帧的图像对应的轨迹位置的z轴坐标；m-i>9表示至少相隔9个三维点云数据才进行回环检测；K表示发生回环的阈值。
8.一种水下场景的三维重建系统，其特征在于，包括：
获取模块，用于获取水下若干张二维声呐图像和水下航行器的航行位置；
映射模块，用于将若干张所述二维声呐图像映射成三维点云数据，将所述三维点云数据中设定帧的图像对应的航行位置作为所述三维点云数据的轨迹位置；
回环检测模块，用于根据所述轨迹位置对其他三维点云数据进行回环检测；
确定模块，用于确定回环检测结果为发生回环，对发生回环对应的中间三维点云数据进行优化，并建立全局三维点云关联模型；
计算模块，用于对所述全局三维点云关联模型进行最优化求解，得到优化量；
生成模块，用于对所述优化量进行顺滑处理，生成水下场景的目标三维图。
9.一种水下场景的三维重建装置，其特征在于，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-7任一项所述的水下场景的三维重建方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述的水下场景的三维重建方法。
CN202110458221.3A 2021-04-27 2021-04-27 水下场景的三维重建方法、系统、装置和存储介质 Active CN113256697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110458221.3A CN113256697B (zh) 2021-04-27 2021-04-27 水下场景的三维重建方法、系统、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110458221.3A CN113256697B (zh) 2021-04-27 2021-04-27 水下场景的三维重建方法、系统、装置和存储介质

Publications (2)

Publication Number Publication Date
CN113256697A true CN113256697A (zh) 2021-08-13
CN113256697B CN113256697B (zh) 2023-07-18

Family

ID=77221808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110458221.3A Active CN113256697B (zh) 2021-04-27 2021-04-27 水下场景的三维重建方法、系统、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113256697B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661323A (zh) * 2022-10-28 2023-01-31 中国科学院烟台海岸带研究所 一种利用3d水下声呐系统实时建立三维虚拟图像的方法
CN116071520A (zh) * 2023-03-31 2023-05-05 湖南省水务规划设计院有限公司 一种数字孪生水务仿真模拟测试方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197308A (zh) * 2013-03-15 2013-07-10 浙江大学 基于多波束相控阵声纳系统的三维声纳可视化处理方法
CN106971395A (zh) * 2017-03-08 2017-07-21 浙江大学 一种基于点云平均背景差的三维声纳图像建模方法
CN107133966A (zh) * 2017-03-30 2017-09-05 浙江大学 一种基于采样一致性算法的三维声纳图像背景分割方法
CN109035224A (zh) * 2018-07-11 2018-12-18 哈尔滨工程大学 一种基于多波束点云的海底管道检测与三维重建方法
CN109186610A (zh) * 2018-10-15 2019-01-11 哈尔滨工程大学 一种auv地形匹配导航的鲁棒bslam方法
CN111175761A (zh) * 2019-11-19 2020-05-19 南京工程学院 水下机器人定位声纳数据的配准方法
CN111457902A (zh) * 2020-04-10 2020-07-28 东南大学 基于激光slam定位的水域测量方法及系统
US20200309529A1 (en) * 2019-03-29 2020-10-01 Trimble Inc. Slam assisted ins
US20210031891A1 (en) * 2019-07-30 2021-02-04 Schlumberger Technology Corporation System and method for autonomous exploration for mapping underwater environments
CN112562052A (zh) * 2020-12-03 2021-03-26 广东工业大学 一种面向近岸水域的实时定位与建图方法
CN112581610A (zh) * 2020-10-16 2021-03-30 武汉理工大学 从多波束声呐数据中建立地图的鲁棒优化方法和系统
CN112611376A (zh) * 2020-11-30 2021-04-06 武汉工程大学 一种RGI-Lidar/SINS紧耦合AUV水下导航定位方法与系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197308A (zh) * 2013-03-15 2013-07-10 浙江大学 基于多波束相控阵声纳系统的三维声纳可视化处理方法
CN106971395A (zh) * 2017-03-08 2017-07-21 浙江大学 一种基于点云平均背景差的三维声纳图像建模方法
CN107133966A (zh) * 2017-03-30 2017-09-05 浙江大学 一种基于采样一致性算法的三维声纳图像背景分割方法
CN109035224A (zh) * 2018-07-11 2018-12-18 哈尔滨工程大学 一种基于多波束点云的海底管道检测与三维重建方法
CN109186610A (zh) * 2018-10-15 2019-01-11 哈尔滨工程大学 一种auv地形匹配导航的鲁棒bslam方法
US20200309529A1 (en) * 2019-03-29 2020-10-01 Trimble Inc. Slam assisted ins
US20210031891A1 (en) * 2019-07-30 2021-02-04 Schlumberger Technology Corporation System and method for autonomous exploration for mapping underwater environments
CN111175761A (zh) * 2019-11-19 2020-05-19 南京工程学院 水下机器人定位声纳数据的配准方法
CN111457902A (zh) * 2020-04-10 2020-07-28 东南大学 基于激光slam定位的水域测量方法及系统
CN112581610A (zh) * 2020-10-16 2021-03-30 武汉理工大学 从多波束声呐数据中建立地图的鲁棒优化方法和系统
CN112611376A (zh) * 2020-11-30 2021-04-06 武汉工程大学 一种RGI-Lidar/SINS紧耦合AUV水下导航定位方法与系统
CN112562052A (zh) * 2020-12-03 2021-03-26 广东工业大学 一种面向近岸水域的实时定位与建图方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HENGRUI LIU ET AL.: "Fast and Robust Underwater Obstacle Detection in Acoustic Vision", 《ICSSE》 *
PEDRO V. TEIXEIRA ET AL.: "Underwater Inspection using Sonar-based Volumetric Submaps", 《2016 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
TIMOTHY P. OSEDACH ET AL.: "Proxy Platform for Underwater Inspection, Maintenance, and Repair", 《GLOBAL OCEANS 2020: SINGAPORE-U.S. GULF COAST》 *
王杰英: "侧扫声呐图像的三维重构", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661323A (zh) * 2022-10-28 2023-01-31 中国科学院烟台海岸带研究所 一种利用3d水下声呐系统实时建立三维虚拟图像的方法
CN115661323B (zh) * 2022-10-28 2024-03-19 中国科学院烟台海岸带研究所 一种利用3d水下声呐系统实时建立三维虚拟图像的方法
CN116071520A (zh) * 2023-03-31 2023-05-05 湖南省水务规划设计院有限公司 一种数字孪生水务仿真模拟测试方法

Also Published As

Publication number Publication date
CN113256697B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109146947B (zh) 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN110246151B (zh) 一种基于深度学习和单目视觉的水下机器人目标跟踪方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN113256697B (zh) 水下场景的三维重建方法、系统、装置和存储介质
Fabio et al. Performance evaluation of a low-cost stereo vision system for underwater object detection
Gwon et al. Development of a side scan sonar module for the underwater simulator
CN110197106A (zh) 物件标示系统及方法
Xi et al. Review of underwater machine vision technology and its applications
CN112200163B (zh) 水下底栖生物检测方法及系统
CN111126116A (zh) 无人船河道垃圾识别方法及系统
CN115496923B (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
CN110570361B (zh) 声呐图像结构化噪声的抑制方法、系统、装置和存储介质
Sung et al. Realistic sonar image simulation using generative adversarial network
Rahman et al. An image based approach to compute object distance
CN107767366B (zh) 一种输电线路拟合方法及装置
CN113837924A (zh) 一种基于无人艇感知系统的水岸线检测方法
CN112633113A (zh) 跨摄像头的人脸活体检测方法及系统
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
US20220301176A1 (en) Object detection method, object detection device, terminal device, and medium
CN112907728B (zh) 基于摄像头和边缘计算的船舶场景还原和定位方法及系统
CN111311652B (zh) 一种基于回归校正网络的声呐图像配准方法及系统
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
CN114137546A (zh) 基于数据驱动的auv海底目标识别与路径规划方法
CN114638891A (zh) 基于图像和点云融合的目标检测定位方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant