CN116402953B - 一种浮式平台上基于双立目数据的波面重构方法与装置 - Google Patents

一种浮式平台上基于双立目数据的波面重构方法与装置 Download PDF

Info

Publication number
CN116402953B
CN116402953B CN202310494910.9A CN202310494910A CN116402953B CN 116402953 B CN116402953 B CN 116402953B CN 202310494910 A CN202310494910 A CN 202310494910A CN 116402953 B CN116402953 B CN 116402953B
Authority
CN
China
Prior art keywords
wave surface
point
scatter diagram
surface scatter
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310494910.9A
Other languages
English (en)
Other versions
CN116402953A (zh
Inventor
刘曾
李志光
孙江龙
刘敬喜
张正艺
李家盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310494910.9A priority Critical patent/CN116402953B/zh
Publication of CN116402953A publication Critical patent/CN116402953A/zh
Application granted granted Critical
Publication of CN116402953B publication Critical patent/CN116402953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种浮式平台上基于双立目数据的波面重构方法与装置，通过获取浮式平台上的相机拍摄的照片，并对照片进行修正并提取特征点得到波面散点图，通过训练好的卷积神经网络对波面散点图进行特征点的补全，从而提高重构速度，通过融合相邻波面散点图进行特征点的补全，从而提高重构精度，最终得到波面三维点云重构图，在实现浮式平台测量的同时，提升重构精度与重构速度。

Description

一种浮式平台上基于双立目数据的波面重构方法与装置
技术领域
本发明涉及视觉相机波面重构技术领域，特别是涉及一种浮式平台上基于双立目数据的波面重构方法与装置。
背景技术
波浪对人类的海上活动有着巨大的影响。对远洋船舶来说，准确的海况信息对于规划海洋中的经济航行非常重要，因为可以根据相关海域的海况等级优化船舶航线，避免恶劣的海洋条件，从而降低风险、减少航行时间和燃料费用，提高经济效益。对海洋结构物和海上工程平台来说，掌握实时海况能够减小风浪对作业的影响，提高平台安全性。在实际应用中，不可能实时测量有效波高，因为这需要昂贵的设备来收集相关数据。由于测量气象数据和海洋图像比测量波浪数据本身更便宜，因此可以通过它们间接获得波浪的相关信息。波浪高度估计主要有数值方法和计算方法。视觉测量作为一种非接触式的大范围测量技术，非常适用于对波浪高程的测量。
目前的多目立体视觉测量系统基本都是布设在岸边或是位置固定的海洋平台上的，没有考虑到在浮式平台上的应用。此外，目前的多立目立体视觉测量系统大多要么花费大量算力与时间通过极化方法搜寻得到大量(通常数量在百万量级)特征点进行重构，要么大幅减少特征点数量以换取重构效率，但最终的重构效果往往欠佳。
因此，现有多目立体视觉测量系统只能布设在静止平台，并且难以兼顾重构精度与重构速度的问题。
鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
本发明要解决的技术问题是如何在浮式平台上进行波面散点图的获取，并且在提升波面三维点云图的重构速度的前提下，同时提高重构精度。
本发明采用如下技术方案：
第一方面，提供一种浮式平台上基于双立目数据的波面重构方法，包括：
将浮式平台上的相机拍摄的照片进行修正并提取波面散点图；
通过预先训练好的卷积神经网络对所述波面散点图进行第一次特征点补全；
融合连续三帧第一次特征点补全后的波面散点图，从而增强所述连续三帧中的中间一帧的波面散点图的特征点密度；
将增强后的波面散点图分为两部分，其中一部分通过所述预先训练好的卷积神经网络进行第二次特征点补全，另一部分通过逆距离加权进行第二次特征点补全；
将两部分第二次特征点补全后的波面散点图进行融合得到波面三维点云重构图。
优选的，所述将浮式平台上的相机拍摄的照片进行修正并提取波面散点图，具体包括：
获取浮式平台上的相机拍摄到的照片，获取照片中参照线的位置，通过所述参照线位置判断所述浮式平台的运动方向与幅度，根据所述浮式平台的运动方向与幅度对所述照片进行修正得到修正后图像；
根据所述修正后图像提取所述波面散点图。
优选的，所述通过预先训练好的卷积神经网络对所述波面散点图进行第一次特征点补全，具体包括：
预先使用三维波面图像数据集对卷积神经网络进行训练，得到所述预先训练好的卷积神经网络；
将所述波面散点图上第t帧的特征点投射至波点分布坐标系中，得到对应的浮点图和掩码二值图，对所述浮点图和掩码二值图通过所述预先训练好的卷积神经网络进行补全得到第一次补全波面散点图，从而提高波面散点图上第t帧的特征点的点密度；
其中，所述第t帧为任意一帧波面散点图。
优选的，所述波点分布坐标系具体包括：
所述波点分布坐标系上设置有栅格网络，所述栅格网络中的每个栅格中投射有0个、1个或者1个以上数目的特征点。
优选的，将所述波面散点图上第t帧的特征点投射至波点分布坐标系中，得到对应的浮点图和掩码二值图，具体包括：
将所述第t帧的波面散点图上的特征点投射至所述波点分布坐标系中的栅格中；
获取每个栅格中的特征点的数目，当栅格中有1个特征点时，该栅格存储该特征点的归一化Z值；当栅格中有1个以上数目的特征点时，该栅格存储其中任意一个特征点的归一化Z值；当栅格中有0个特征点时，该栅格的归一化Z值为0；直至获取所有栅格的归一化Z值，得到对应的浮点图；
获取每个栅格中的特征点的数目，当栅格中存在至少1个特征点时，则该栅格对应的掩码为1；当栅格中存在0个特征点时，则该栅格对应的掩码为0；直至获取所有栅格的掩码值，得到对应的掩码二值图。
优选的，所述融合连续三帧第一次特征点补全后的波面散点图，从而增强所述连续三帧中的中间一帧的波面散点图的特征点密度，具体包括：
对所述第一次特征点补全的波面散点图中的第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图进行傅里叶变化，从而将所述第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图的空间域均转换为频率域，并旋转所述第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图的相位，保证变化后的第t-1帧波面散点图和第t+1帧波面散点图能按照预设权重叠加到变化后的第t帧波面散点图上，得到增强后的第t帧波面散点图，从而提高第t帧图像的波面散点图的特征点密度。
优选的，按照下述公式对第一次特征点补全后的连续三帧的波面散点图进行融合：
其中，kn＝k，kn为波数；cn为波幅，h为水深，g为重力加速度，ωn为波浪频率。
优选的，所述将增强后的波面散点图分为两部分，具体包括：
将增强后第t帧图像的波面散点图分为点数据多的区域和点数据少的区域，所述点数据多的区域通过所述预先训练好的卷积神经网络进行第二次特征点补全，所述点数据少的区域通过逆距离加权进行第二次特征点补全；
其中，所述逆距离加权包括：逆距离加权方法利用待插值点周围一定范围的已知点数据，对中心待插点加以数据插值，当其中一个点距离待插点越近，待插点对这一点的影响越大(即对应系数越大)，而当其中一个点距离待插点越远，待插点对这一点的影响越小(即对应系数越小)，而权重的计算往往依赖于反距离(距离倒数)的幂次方，故该区域通过已有特征点朝周边进行发散补全。
其中，所述点数据多的区域为特征点数目大于或等于预设数量的区域，所述点数据少的区域为特征点数目小于预设数量的区域。
优选的，所述将两部分第二次特征点补全后的波面散点图进行融合得到波面三维点云重构图，还包括：
将所述波面三维点云重构图通过网格覆盖叠加至所述照片上，并以图片的格式输出。
第二方面，一种浮式平台上基于双立目数据的波面重构装置，包括至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行所述的浮式平台上基于双立目数据的波面重构方法。
本发明实施例提供一种浮式平台上基于双立目数据的波面重构方法与装置，通过获取浮式平台上的相机拍摄的照片，并对照片进行修正并提取特征点得到波面散点图，通过训练好的卷积神经网络对波面散点图进行特征点的补全，从而提高重构速度，通过融合相邻波面散点图进行特征点的补全，从而提高重构精度，最终得到波面三维点云重构图，在实现浮式平台测量的同时，提升重构精度与重构速度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种浮式平台上基于双立目数据的波面重构方法的方法流程图；
图2是本发明实施例提供的一种浮式平台上基于双立目数据的波面重构方法的照片数据修正方法流程图；
图3是本发明实施例提供的一种浮式平台上基于双立目数据的波面重构方法的通过卷积神经网络进行特征点补全的方法流程图；
图4是本发明实施例提供的另一种浮式平台上基于双立目数据的波面重构方法的方法流程图；
图5是本发明实施例提供的一种浮式平台上基于双立目数据的波面重构装置的装置示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明而不是要求本发明必须以特定的方位构造和操作，因此不应当理解为对本发明的限制。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种浮式平台上基于双立目数据的波面重构方法，如图1所示，方法流程包括：
步骤101中，将浮式平台上的相机拍摄的照片进行修正并提取波面散点图。
本实施例主要用于对波浪进行监测，通过对相机拍摄到的照片进行处理计算，重构出波浪的三维点云图。
本实施例中，所述浮式平台为移动式平台，即该平台并非固定平台，自身处于移动状态；所述相机为双立目相机；由于所述相机设置于浮式平台上进行拍摄，因此拍摄得到的照片不能直接进行统一的计算处理，需要进行统一修正；所述波面散点图即为根据照片提取得到特征点后的图像。
步骤102中，通过预先训练好的卷积神经网络对所述波面散点图进行第一次特征点补全。
在现有技术中，想要对波浪进行重构需要提取上万的特征点并进行补全，往往效率极低耗时长；但在所有需要进行模拟重构的波浪中，往往存在一大部分波浪的三维轮廓较为规律，该部分波浪的特征点可以通过学习能力较强的卷积神经网络进行模拟补全，因此本实施例可以大大减少预先提取的特征点数目，通过卷积神经网络对较为规律的部分波浪进行特征点补全，从而大大提升了重构效率。
值得一提的是，该轮特征点补全仅通过预先训练好的卷积神经网络对三维轮廓相对规律的部分波浪进行处理，而三维轮廓相对不规律的波浪则不适用于该轮特征点补全。
本实施例中所述卷积神经网络预先使用三维波面图像数据集进行训练。
步骤103中，通过融合第一次特征点补全后的连续三帧的波面散点图，从而增强所述连续三帧中的中间一帧的波面散点图的特征点密度。
本实施例中，相机并非为录像，而是通过高频率的拍照进行波浪照片的获取，因此所述连续三帧的波面散点图即为，相邻三张连续拍摄的波浪照片对应的波面散点图。
由于相机拍摄频率较高，因此相邻三张连续拍摄的波浪照片相互之间差别不会过大，可以相互之间进行参考来进行特征点的补全；同时由于现有技术中，通常使用单阶方式进行特征点的补全，重构精度相对不足，而本实施例以前后两帧照片的特征点为参考，通过将空间域转换为频率域同时旋转相位来进行特征点的补全，使得重构精度有所提高。
步骤104中，将所述增强后的波面散点图分为两部分，其中一部分通过所述预先训练好的卷积神经网络进行第二次特征点补全，另一部分通过周边点加权进行第二次特征点补全。
由于上述通过卷积神经网络进行的特征点补全仅针对三维轮廓相对规律的波浪进行，此时整个图像中所有位置的特征点的分布并不一致，三维轮廓相对规律的波浪处的特征点由于先前进行过一轮补全，因此特征点数目相对较多，而三维轮廓相对不规律的波浪处的特征点由于未进行过补全，因此特征点相对较少，故通过此时图像中特征点的分布情况，对两个部分的特征点进行分别补全。
步骤105中，将两部分第二次特征点补全后的波面散点图进行融合得到波面三维点云重构图。
得到所述波面三维点云重构图后，将所述波面三维点云重构图通过网格覆盖叠加至所述照片上，并以图片的格式输出。
现有技术中，用于摄像的多目立体视觉测量系统基本都是设置在岸边或是位置固定的海洋平台上的，没有考虑到在浮式平台上的应用。此外，目前的多立目立体视觉测量系统大多要么花费大量算力与时间通过极化方法搜寻得到大量(百万量级)特征点进行重构，要么大幅减少特征点数量以换取快速完成重构，但在这种情况下由于特征点的不足往往导致重构效果欠佳。因此，现有多目立体视觉测量系统应用范围优先，并且难以兼顾重构精度与重构速度的问题。
本实施例中，通过获取浮式平台上的相机拍摄的照片，并对照片进行修正并提取特征点得到波面散点图，通过训练好的卷积神经网络对波面散点图进行特征点的补全，从而提高重构速度，通过融合相邻波面散点图进行特征点的补全，从而提高重构精度，最终得到波面三维点云重构图，在实现浮式平台测量的同时，提升重构精度与重构速度。
由于浮式平台本身处于移动状态，因此设置于浮式平台上的相机拍摄下的照片无法直接使用统一的方法进行特征点的提取，需要先对所有照片进行运动修正，因此本实施例涉及以下设计：
所述将浮式平台上的相机拍摄的照片进行修正并提取波面散点图，具体包括：
获取浮式平台上的相机拍摄到的照片，获取照片中参照线的位置，通过所述参照线位置判断所述浮式平台的运动方向与幅度，根据所述浮式平台的运动方向与幅度对所述照片进行修正得到修正后图像。根据所述修正后图像提取所述波面散点图。
如图2所示，上述图像修正的方法流程如下：
步骤201中，获取浮式平台上双立目相机拍摄的照片数据。
步骤202中，利用canny边缘检测算法提取照片数据中的二进制图像边缘信息。
其中，所述canny边缘检测算法为一种通过计算图像的偏导数来得到图像轮廓的方法。
步骤203中，对照片数据进行霍夫变换从而找到图像中最明晰的直线。
其中，所述霍夫变换即为一种能搜寻图像中最大直线的方法，所述直线即为所述参照线，所述参照线通常为海平线或者地平线。
步骤204中，将霍夫变换搜寻到的直线与照片数据的图像相重叠，并作为图片输出。
步骤205中，通过所述直线判断浮式平台的运动方向与幅度，进而对获取到的照片数据进行修正。
利用参照线位置判断浮式平台的运动方向与幅度，通过所述运动方向和幅度得到相关运动参数，根据运动参数与所使用的相机的固有参数，即可得到相机坐标系到世界坐标系的变换矩阵P，从而对拍摄照片进行修正，变换矩阵P的计算公式如下：
其中，fu，fv为相机固有参数，τ为相机的俯仰角，σ为相机的滚动角。
所述根据修正后图像提取所述波面散点图即为，根据相邻两帧照片间的光流进行特征点的提取。
由于现有技术中，多立目立体视觉测量系统大多需要花费大量算力与时间通过极化方法搜寻得到大量(百万量级)特征点进行重构，倘若减少特征点的提取往往导致重构结果欠佳，但需要重构的对象，即波浪，往往大部分的三维轮廓都较为规律且平整，因此可以仅提取少量特征点来作为整个图像的框架，剩余的特征点通过学习能力较强的卷积神经网络进行补全，因此本实施例还涉及以下设计：
预先使用三维波面图像数据集对卷积神经网络进行训练，得到所述预先训练好的卷积神经网络。
其中，为了得到良好的训练模型，训练数据应尽可能异构，包括不同的波向、采样密度、帧率等，还要避免训练数据过于集中于某一种或几种类型，以免训练结果过拟合。数据集可以是数据生成的，也可以是实际海域拍摄并用传统视觉重构方法处理得到的。
将所述波面散点图上第t帧的特征点投射至波点分布坐标系中，得到对应的浮点图和掩码二值图，对所述浮点图和掩码二值图通过所述预先训练好的卷积神经网络进行补全得到第一次补全波面散点图，从而提高波面散点图上第t帧的特征点的点密度。其中，所述第t帧为任意一帧波面散点图；所述波点分布坐标系上设置有栅格网络，所述栅格网络中的每个栅格中投射有0个、1个或者1个以上数目的特征点。
其中，当所述特征点投射至波点分布坐标系后，所分布的区域大致为正方形，并且相对于拍摄的波浪图像为俯视图。本实施例中，所述栅格网络即为：将所述波点分布坐标系沿X轴和Y轴按照预设长度分进行等距划分，本实施例中可以将波点分布坐标系划分为256x256个栅格，将提取到的所有特征点投射至所述波点分布坐标系后，所有特征点均会被各个栅格所框住。
将所述第t帧波面散点图上的特征点投射至所述波点分布坐标系中的栅格中；获取每个栅格中的特征点的数目，当栅格中有1个特征点时，该栅格存储该特征点的归一化Z值；当栅格中有1个以上数目的特征点时，该栅格存储其中任意一个特征点的归一化Z值；当栅格中有0个特征点时，该栅格的归一化Z值为0；直至获取所有栅格的归一化Z值，得到对应的浮点图；获取每个栅格中的特征点的数目，当栅格中存在至少1个特征点时，则该栅格对应的掩码为1；当栅格中存在0个特征点时，则该栅格对应的掩码为0；直至获取所有栅格的掩码值，得到对应的掩码二值图。
其中，所述浮点图为通过获取所有栅格的归一化Z值，所述掩码二值图为通过获取所有栅格的掩码来得到，其中归一化Z值即为对应栅格特征点的高度，所述掩码即为对应栅格是否存在特征点的情况，通过获得浮点图计算各个栅格的特征点的归一化Z值，从而确定波面散点图中各个位置的波浪的高度，即可获得浮点图，得到已提取的所有特征点在图像中的高度状况，通过获得掩码二值图计算各个栅格的掩码，从而确定波面散点图中所有特征点的分布情况。通过上述浮点图和掩码二值图得到波面散点图中相对平整规律的波浪部分，用于后续通过卷积神经网络进行特征点补全，提升点密度。
得到对应的浮点图和掩码二值图，对所述浮点图和掩码二值图通过所述预先训练好的卷积神经网络进行补全得到第一次补全波面散点图，从而提高波面散点图上第t帧的特征点的点密度；所述第t帧即为所述波面散点图上除第一帧以外的任意一帧。
本实施例中，将得到的256x256x2的张量的浮点图和掩码二值图作为输入，经过五层卷积与非线性激活产生的卷积神经网络补全后，得到第t帧时刻密集的输出曲线；如图3所示，流程如下：
步骤301中，输入256x256x2的张量的浮点图和掩码二值图。
步骤302中，将输入的浮点图与掩码二值图同11*11*2的卷积核进行卷积计算，并对卷积计算结果进行非线性激活操作。
步骤303中，将输入的浮点图与掩码二值图同7*7*16的卷积核进行卷积计算，并对卷积计算结果进行非线性激活操作。
步骤304中，将输入的浮点图与掩码二值图同5*5*16的卷积核进行卷积计算，并对卷积计算结果进行非线性激活操作。
步骤305中，将输入的浮点图与掩码二值图同3*3*16的卷积核进行卷积计算，并对卷积计算结果进行非线性激活操作。
步骤306中，将输入的浮点图与掩码二值图同1*1*16的卷积核进行卷积计算，并对卷积计算结果进行非线性激活操作。
其中，所述输出曲面为256x256x1的结果曲面，其中五层卷积核的尺寸从7x7x16到1x1x16。
为了进一步提升重构精度，相比于现有技术，本实施例还涉及以下设计：
通过对所述第一次补全波面散点图中的第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图进行傅里叶变化，从而将所述第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图的空间域均转换为频率域，并旋转所述第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图的相位，保证变化后的第t-1帧波面散点图和第t+1帧波面散点图能按照预设权重叠加到变化后的第t帧波面散点图上，得到增强后的第t帧波面散点图，从而提高第t帧图像的波面散点图的特征点密度。
按照下述公式对第一次特征点补全后的连续三帧的波面散点图进行融合：
其中，kn＝k，kn为波数；cn为波幅，h为水深，g为重力加速度，ωn为波浪频率。
上述公式的原式子为：ωn＝knU+ω1n(1+ε2ω3n)，其中
所述原公式基于ωn＝knU+ω1n得到，相比较可知，本实施例所采用的公式多考虑了一个高阶项ω3n，这是因为本实施例所用的公式用于融合相邻三帧图像的信息，而所谓的融合其实是基于第t-1帧图像和第t+1帧图像信息演化到第t帧上实现的，所述演化即为二维傅里叶变化，将波浪场信息从空间域转换为频率域，再通过旋转频率谱得到第t-1帧图像和第t+1帧图像转换得到第t帧图像，从而增强第t帧图像的信息密度，因此通过本实施例提供的公式能够更好的增强重构精度。
并且在本实施例中，由于上述公式只应用于相对平稳规则的波浪的特征点提取，在这种情况下重构区域只需要一个频率的波，而不考虑两个频率的波的相互作用，从而使得公式极大简化，便于公式进行应用。
其中所述预设权重由本领域技术人员根据实际情况自行进行设定。
由于上述通过卷积神经网络进行的特征点补全仅针对三维轮廓相对规律的波浪进行，此时整个图像中所有位置的特征点的分布并不一致，三维轮廓相对规律的波浪处的特征点由于先前经过了一轮补全，因此相对较多，而三维轮廓相对不规律的波浪处的特征点未经过补全，因此相对较少，故通过此时图像中特征点的分布情况，对两个部分的特征点进行分别补全，本实施例还涉及以下设计：
将所述波面散点图分为两部分，并对所述两部分波面散点图分别进行第二次特征点补全，具体包括：
将所述增强后第t帧图像的波面散点图分为点数据多的区域和点数据少的区域，所述点数据多的区域通过所述预先训练好的卷积神经网络进行第二次特征点补全，所述点数据少的区域通过周边点加权进行第二次特征点补全。
将得到的波面散点图分为两部分：特征点较多的区域即为波浪相对规律平整的区域，再次利用卷积神经网络对其进行进一步补全，使用的卷积神经网络如图3所示。特征点相对较少或者缺失的区域即为波浪相对不够规律的区域，通过周边点加权补全特征点，周边点加权利用待插值点周围一定范围的已知点数据，对中心待插点加以数据插值，当其中一个点距离待插点越近，待插点对这一点的影响越大(即对应系数越大)，而当其中一个点距离待插点越远，待插点对这一点的影响越小(即对应系数越小)，而权重的计算往往依赖于反距离(距离倒数)的幂次方，故该区域通过已有特征点朝周边进行发散补全；其中所述待插点即为所述点数据少的区域的中心点，所述已知点数据即为所述点数据少的区域的周边的特征点，通过所述周边的特征点同所述中心点的距离，确定所有所述周边的特征点的权重，根据所有所述周边的特征点以及对应的所述权重确定所述中心点，从而对所述点数据少的区域进行第二次特征点补全。
最后将这两部分区域再进行融合，得到第t帧的波面三维点云重构图，以.nc格式存储；该.nc结果文件中包含了时间序列、x和y方向的波数以及高程值等信息，其中高程值信息是最重要的，这是由于对于波浪表面重构来说，海面上的某个点的X坐标和Y坐标相对来说较为容易得到，而Z方向上的坐标难以直接得到，而所述高程值信息即为重构方法中需要得到的Z方向上的坐标的结构，因此高程值信息是最重要的。
用栅格数据图层绘制方法，将波面重构结果以网格覆盖的形式叠加在波面照片上，并作为图片的格式输出。
本实施例中，将得到的第t帧的波面三维点云重构图作为输入，通过python中的wassncplot应用栅格数据图层绘制方法来进行处理，将波面重构结果以网格覆盖的形式叠加在波面照片上，并将最终结果以图片形式输出。
通过上述步骤完成了从对浮式平台上的双立目相机获得的数据进行的运动修正、特征点提取、通过卷积神经网络与相邻波面散点图的融合增加重构点云密度、对波浪场的三维重构以及将最终的重构结果以可视化网格覆盖在原照片上进行展示这样一个流程，实现了浮式平台上视觉立体重构的全流程，在保证了重构精度的同时大大提高了重构速度，拓展了视觉立体重构方法的适用范围。
实施例2:
本发明实施例2提供了一种浮式平台上基于双立目数据的波面重构方法，在实施例1的基础上，进一步阐述该方法的完整流程。
如图4所示方法流程如下：
步骤401中，获取浮式平台上双立目相机拍摄的照片数据。
步骤402中，对获取到的照片数据进行运动修正。
步骤403中，使用三维波面图像数据集对卷积神经网络进行训练。
步骤404中，将所述波面散点图上第t帧的波面散点图的特征点投射至波点分布坐标系中，得到浮点图和掩码二值图。
步骤405中，将浮点图和掩码二值图输入，经过五层卷积与非线性激活产生卷积神经网络补全后的第t帧的结果曲面。
步骤406中，通过将相邻连续三帧波面散点图的空间域转换为频率域并旋转其相位，从而增强中间一帧图像的特征点密度。
步骤407中，将中间一帧波面散点图分为两部分，跳转至步骤408和步骤409。
步骤408中，对特征点多的一部分区域通过卷积神经网络进行补全特征点。
步骤409中，对特征点少的一部分区域通过逆距离加权补全特征点。
步骤410中，将两部分区域进行融合，得到中间一帧的波面三维点云重构图。
步骤411中，用栅格数据图层绘制方法，将波面重构结果以网格覆盖的形式叠加在波面照片上，并作为图片的格式输出。
实施例3:
如图5所示，是本发明实施例的浮式平台上基于双立目数据的波面重构装置的装置示意图。本实施例的基于浮式平台上基于双立目数据的波面重构装置包括一个或多个处理器51以及存储器52。其中，图5中以一个处理器51为例。
处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器52作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序和非易失性计算机可执行程序，如上述实施例中的浮式平台上基于双立目数据的波面重构方法。处理器51通过运行存储在存储器52中的非易失性软件程序和指令，从而执行基于浮式平台上基于双立目数据的波面重构方法。
存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器52中，当被所述一个或者多个处理器51执行时，执行上述实施例中的浮式平台上基于双立目数据的波面重构方法，例如，执行以上描述的图1至图4所示的各个步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种浮式平台上基于双立目数据的波面重构方法，其特征在于，包括：
将浮式平台上的相机拍摄的照片进行修正并提取波面散点图；
通过预先训练好的卷积神经网络对所述波面散点图进行第一次特征点补全；
预先使用三维波面图像数据集对卷积神经网络进行训练，得到所述预先训练好的卷积神经网络；将所述波面散点图上第t帧的特征点投射至波点分布坐标系中，得到对应的浮点图和掩码二值图，对所述浮点图和掩码二值图通过所述预先训练好的卷积神经网络进行补全得到第一次补全波面散点图，从而提高波面散点图上第t帧的特征点的点密度；其中，所述第t帧为任意一帧波面散点图；
融合连续三帧第一次特征点补全后的波面散点图，从而增强所述连续三帧中的中间一帧的波面散点图的特征点密度；
将增强后的波面散点图分为两部分，其中一部分通过所述预先训练好的卷积神经网络进行第二次特征点补全，另一部分通过周边点加权进行第二次特征点补全；
将两部分第二次特征点补全后的波面散点图进行融合得到波面三维点云重构图。
2.根据权利要求1所述的浮式平台上基于双立目数据的波面重构方法，其特征在于，所述将浮式平台上的相机拍摄的照片进行修正并提取波面散点图，具体包括：
获取浮式平台上的相机拍摄到的照片，获取照片中参照线的位置，通过所述参照线位置判断所述浮式平台的运动方向与幅度，根据所述浮式平台的运动方向与幅度对所述照片进行修正得到修正后图像；
根据所述修正后图像提取所述波面散点图。
3.根据权利要求2所述的浮式平台上基于双立目数据的波面重构方法，其特征在于，所述波点分布坐标系具体包括：
所述波点分布坐标系上设置有栅格网络，所述栅格网络中的每个栅格中投射有0个、1个或者1个以上数目的特征点。
4.根据权利要求3所述的浮式平台上基于双立目数据的波面重构方法，其特征在于，将所述波面散点图上第t帧的特征点投射至波点分布坐标系中，得到对应的浮点图和掩码二值图，具体包括：
将所述第t帧的波面散点图上的特征点投射至所述波点分布坐标系中的栅格中；
获取每个栅格中的特征点的数目，当栅格中有1个特征点时，该栅格存储该特征点的归一化Z值；当栅格中有1个以上数目的特征点时，该栅格存储其中任意一个特征点的归一化Z值；当栅格中有0个特征点时，该栅格的归一化Z值为0；直至获取所有栅格的归一化Z值，得到对应的浮点图；
获取每个栅格中的特征点的数目，当栅格中存在至少1个特征点时，则该栅格对应的掩码为1；当栅格中存在0个特征点时，则该栅格对应的掩码为0；直至获取所有栅格的掩码值，得到对应的掩码二值图。
5.根据权利要求3所述的浮式平台上基于双立目数据的波面重构方法，其特征在于，所述融合连续三帧第一次特征点补全后的波面散点图，从而增强所述连续三帧中的中间一帧的波面散点图的特征点密度，具体包括：
对所述第一次特征点补全的波面散点图中的第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图进行傅里叶变化，从而将所述第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图的空间域均转换为频率域，并旋转所述第t-1帧波面散点图、第t帧波面散点图和第t+1帧波面散点图的相位，保证变化后的第t-1帧波面散点图和第t+1帧波面散点图能按照预设权重叠加到变化后的第t帧波面散点图上，得到增强后的第t帧波面散点图，从而提高第t帧图像的波面散点图的特征点密度。
6.根据权利要求5所述的浮式平台上基于双立目数据的波面重构方法，其特征在于，按照下述公式对第一次特征点补全后的连续三帧的波面散点图进行融合：
其中，kn＝k，kn为波数；cn为波幅，h为水深，g为重力加速度，ωn为波浪频率。
7.根据权利要求5所述的浮式平台上基于双立目数据的波面重构方法，其特征在于，所述将增强后的波面散点图分为两部分，具体包括：
将增强后第t帧图像的波面散点图分为点数据多的区域和点数据少的区域，所述点数据多的区域通过所述预先训练好的卷积神经网络进行第二次特征点补全，所述点数据少的区域通过周边点加权进行第二次特征点补全；
其中，所述周边点加权包括：获取所述点数据少的区域的中心点，以及所述点数据少的区域的周边的特征点，通过所述周边的特征点同所述中心点的距离，确定所有所述周边的特征点的权重，根据所有所述周边的特征点以及对应的所述权重确定所述中心点，从而对所述点数据少的区域进行第二次特征点补全；
其中，所述点数据多的区域为特征点数目大于或等于预设数量的区域，所述点数据少的区域为特征点数目小于预设数量的区域。
8.根据权利要求1所述的浮式平台上基于双立目数据的波面重构方法，其特征在于，所述将两部分第二次特征点补全后的波面散点图进行融合得到波面三维点云重构图，还包括：
将所述波面三维点云重构图通过网格覆盖叠加至所述照片上，并以图片的格式输出。
9.一种浮式平台上基于双立目数据的波面重构装置，其特征在于，包括至少一个处理器，以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述处理器执行，用于执行权利要求1-8中任一项所述的浮式平台上基于双立目数据的波面重构方法。
CN202310494910.9A 2023-04-26 2023-04-26 一种浮式平台上基于双立目数据的波面重构方法与装置 Active CN116402953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310494910.9A CN116402953B (zh) 2023-04-26 2023-04-26 一种浮式平台上基于双立目数据的波面重构方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310494910.9A CN116402953B (zh) 2023-04-26 2023-04-26 一种浮式平台上基于双立目数据的波面重构方法与装置

Publications (2)

Publication Number Publication Date
CN116402953A CN116402953A (zh) 2023-07-07
CN116402953B true CN116402953B (zh) 2024-04-19

Family

ID=87018010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310494910.9A Active CN116402953B (zh) 2023-04-26 2023-04-26 一种浮式平台上基于双立目数据的波面重构方法与装置

Country Status (1)

Country Link
CN (1) CN116402953B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730582A (zh) * 2017-09-20 2018-02-23 广西师范大学 基于海洋遥感数据的海浪三维显示方法
CN113139910A (zh) * 2020-01-20 2021-07-20 复旦大学 一种视频补全方法
CN113902061A (zh) * 2021-11-15 2022-01-07 深圳先进技术研究院 一种点云补全方法和装置
CN114266160A (zh) * 2021-12-23 2022-04-01 华中科技大学 一种圆形煤堆内部温度模拟方法和系统
CN114923665A (zh) * 2022-05-27 2022-08-19 上海交通大学 波浪三维高度场的图像重构方法及图像重构试验系统
CN114972654A (zh) * 2022-06-15 2022-08-30 清华大学 一种基于路侧点云补全的三维目标检测方法
CN115661702A (zh) * 2022-10-13 2023-01-31 华中科技大学 一种基于智能手机的海况实时估算方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730582A (zh) * 2017-09-20 2018-02-23 广西师范大学 基于海洋遥感数据的海浪三维显示方法
CN113139910A (zh) * 2020-01-20 2021-07-20 复旦大学 一种视频补全方法
CN113902061A (zh) * 2021-11-15 2022-01-07 深圳先进技术研究院 一种点云补全方法和装置
CN114266160A (zh) * 2021-12-23 2022-04-01 华中科技大学 一种圆形煤堆内部温度模拟方法和系统
CN114923665A (zh) * 2022-05-27 2022-08-19 上海交通大学 波浪三维高度场的图像重构方法及图像重构试验系统
CN114972654A (zh) * 2022-06-15 2022-08-30 清华大学 一种基于路侧点云补全的三维目标检测方法
CN115661702A (zh) * 2022-10-13 2023-01-31 华中科技大学 一种基于智能手机的海况实时估算方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大型浮式保障平台上浪数值模拟方法研究;袁洪涛;马曙光;刘俊红;;中国造船(04);第28-35页 *

Also Published As

Publication number Publication date
CN116402953A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
Marcu et al. SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
US9285460B2 (en) Method and system for estimating information related to a vehicle pitch and/or roll angle
CN113436258B (zh) 基于视觉与激光雷达融合的海上浮码头检测方法及系统
CN106934827A (zh) 三维场景的重建方法和装置
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN114648640B (zh) 一种目标物单体化方法、装置、设备及存储介质
CN112487912B (zh) 基于改进YOLOv3的任意方向舰船检测方法
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN105100546A (zh) 运动估计方法及装置
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN112633274A (zh) 一种声呐图像目标检测方法、装置、电子设备
CN113344953A (zh) 一种基于无人机的机器视觉涌潮流速测量方法
Mergy et al. Vision-based neural scene representations for spacecraft
CN116402953B (zh) 一种浮式平台上基于双立目数据的波面重构方法与装置
CN113256697A (zh) 水下场景的三维重建方法、系统、装置和存储介质
CN116152442B (zh) 一种三维点云模型生成方法及装置
CN104104911A (zh) 全景图像生成过程中的时间戳消除和重置方法及系统
CN111238478A (zh) 一种基于三维视景的港水域航标助航系统及方法
CN107194334A (zh) 基于光流模型的视频卫星影像密集匹配方法及系统
CN114445572A (zh) 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法
Li et al. Arbitrary-Oriented Ship Detection Based on Feature Filter and KL Loss
CN112070893A (zh) 一种基于深度学习的动态海面三维建模方法及存储介质
Lin et al. Automatic object detection and direction prediction of unmanned vessels based on multiple convolutional neural network technology
CN118608570B (zh) 基于云台的视觉追踪校正方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant