CN112070893B - 一种基于深度学习的动态海面三维建模方法及存储介质 - Google Patents

一种基于深度学习的动态海面三维建模方法及存储介质 Download PDF

Info

Publication number
CN112070893B
CN112070893B CN202010969101.5A CN202010969101A CN112070893B CN 112070893 B CN112070893 B CN 112070893B CN 202010969101 A CN202010969101 A CN 202010969101A CN 112070893 B CN112070893 B CN 112070893B
Authority
CN
China
Prior art keywords
grid
video data
neural network
prediction
sea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010969101.5A
Other languages
English (en)
Other versions
CN112070893A (zh
Inventor
杨飏
徐天宇
丁开发
张柏源
鲁琪琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010969101.5A priority Critical patent/CN112070893B/zh
Publication of CN112070893A publication Critical patent/CN112070893A/zh
Application granted granted Critical
Publication of CN112070893B publication Critical patent/CN112070893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度学习的动态海面三维建模方法及存储介质。本发明方法，包括：实时获取海浪视频数据；对获取到的海浪视频数据进行处理，得到海浪视频数据的完整数据结构；基于完整数据结构和预先构建的卷积神经网络模型，并添加网络预测分支，生成具有不同拓扑结构的网格预测神经网络模型；根据体素预测损失函数和网格细化损失函数，采用梯度下降法，并不断迭代对网格预测神经网络模型进行优化；基于实时获取的海浪视频数据和优化后的网格预测神经网络模型，生成不同海况条件下的动态海面三维模型。本发明的技术方案解决了现有技术中检测识别能力因船只外形的改变、检测时船只的角度、不同的光照、红外条件等而受到影响的问题。

Description

一种基于深度学习的动态海面三维建模方法及存储介质
技术领域
本发明涉及海面成像和船只识别技术领域，具体而言，尤其涉及一种基于深度学习的动态海面三维建模方法及存储介质。
背景技术
海洋资源的利用以及海上运输、旅游都需要海上船只、海况信息的捕获及展示，目前大多基于图像传感获取海面可见光或红外图像的目标检测技术，且检测识别能力会因为船只外形的改变、检测时船只的角度、不同的光照、红外条件等而受到影响。
当下应用于海面船只的主要识别算法大多无法进行实时识别，且运行时间较长，识别率较低等缺陷，并且容易受到外界的岛、礁、波、流、漂浮物等影响。
发明内容
根据上述提出的技术问题，而提供一种基于深度学习的动态海面三维建模方法及存储介质。本发明主要利用光学遥感图像及固定翼无人机的近景拍摄录入海面和船只信息，基于深度学习技术，建立动态海面的三维模型，可应用于分析和评判军船的隐身性能，搜索和识别敌方船只位置，以及在失事船只的搜救工作中起到重要作用。
本发明采用的技术手段如下：
一种基于深度学习的动态海面三维建模方法，包括如下步骤：
S1、实时获取海浪视频数据；
S2、对所述获取到的海浪视频数据进行处理，得到所述海浪视频数据的完整数据结构；
S3、基于所述完整数据结构和预先构建的卷积神经网络模型，并添加网络预测分支，生成具有不同拓扑结构的网格预测神经网络模型；
S4、根据体素预测损失函数和网格细化损失函数，采用梯度下降法，并不断迭代对所述网格预测神经网络模型进行优化；
S5、基于所述实时获取的海浪视频数据和优化后的网格预测神经网络模型，生成不同海况条件下的动态海面三维模型。
进一步地，所述步骤S1中实时获取的海浪视频数据包括：波浪的形状、路径。
进一步地，所述步骤S2具体包括：
S21、对所述获取到的海浪视频数据进行离散化处理，离散成图片数据；
S22、对经过离散化处理后的图片数据进行数据增强和标注，得到可供之后模型学习的完整数据结构；
进一步地，所述步骤S3具体包括：
S31、以深度学习理论为依据，搭建卷积神经网络模型；
S32、添加网格预测分支，将网格预测物体的体素分布转化为三角形网格表示；
S33、通过一系列卷积神经网络改进网格的边角，输出具有不同拓扑结构的网格预测。
进一步地，所述步骤S4具体包括：
S41、采用体素预测损失函数以及网格细化损失函数，根据输入的数据结构和网格预测值计算二者的实际偏差；
S42、同时采用梯度下降法降低损失函数，不断迭代以优化模型。
进一步地，所述步骤S5具体包括：
S51、将实时海浪视频数据传入优化完成后的模型，得到静态图像的检测和三维重建模型；
S52、结合LSTM技术，建立视频中帧与帧之间的关联，通过卷积神经网络模型生成时间序列下的动态海面三维重建模型；
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有包括计算机程序，其中，所述计算机程序运行时，执行上述的基于深度学习的动态海面三维建模方法。
较现有技术相比，本发明具有以下优点：
1、本发明提供的优化后的深度学习卷积神经网络模型，通过与实时获取的海浪视频数据的处理与检测，实现了动态海面的三维建模，有效保证了海面建立、船只检测、船只跟踪的实时性和稳定性。
2、采用梯度下降法降低损失函数，大大增加了运算速度，提高了工作效率。
3、通过海面成像后再进行对船只识别、船只轨迹跟踪等工作，即可排除来自外界的岛、礁、波、流、漂浮物等的影响。
基于上述理由本发明可在海面成像和船只识别等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示，本发明提供了一种基于深度学习的动态海面三维建模方法，包括如下步骤：
S1、实时获取海浪视频数据；
主要利用光学遥感图像及固定翼无人机的近景拍摄录入海面和船只信息。实时获取的海浪视频数据包括：波浪的形状、路径。
S2、对所述获取到的海浪视频数据进行处理，得到所述海浪视频数据的完整数据结构；
S21、对所述获取到的海浪视频数据进行离散化处理，离散成图片数据；
S22、对经过离散化处理后的图片数据进行数据增强和标注，得到可供之后模型学习的完整数据结构；
S3、基于所述完整数据结构和预先构建的卷积神经网络模型，并添加网络预测分支，生成具有不同拓扑结构的网格预测神经网络模型；
S31、以深度学习理论为依据，搭建卷积神经网络模型；
S32、添加网格预测分支，将网格预测物体的体素分布转化为三角形网格表示；
S33、通过一系列卷积神经网络改进网格的边角，输出具有不同拓扑结构的网格预测。
S4、根据体素预测损失函数和网格细化损失函数，采用梯度下降法，并不断迭代对所述网格预测神经网络模型进行优化；
S41、采用体素预测损失函数以及网格细化损失函数，根据输入的数据结构和网格预测值计算二者的实际偏差；
S42、同时采用梯度下降法降低损失函数，不断迭代以优化模型。
S5、基于所述实时获取的海浪视频数据和优化后的网格预测神经网络模型，生成不同海况条件下的动态海面三维模型。
S51、将实时海浪视频数据传入优化完成后的网格预测神经网络模型，得到静态图像的检测和三维重建模型；
S52、结合LSTM技术，建立视频中帧与帧之间的关联，通过卷积神经网络模型生成时间序列下的动态海面三维重建模型；
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有包括计算机程序，其中，所述计算机程序运行时，执行上述的基于深度学习的动态海面三维建模方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种基于深度学习的动态海面三维建模方法，其特征在于，包括如下步骤：
S1、实时获取海浪视频数据，并利用无人机对波浪动态进行视频采集，得到用于波浪时变路径跟踪的视频数据；
S2、对所述获取到的海浪视频数据进行处理，得到所述海浪视频数据的完整数据结构；
S21、对所述获取到的海浪视频数据进行离散化处理，离散成图片数据；
S22、对经过离散化处理后的图片数据进行数据增强和标注，得到可供之后模型学习的完整数据结构；
S3、基于所述完整数据结构和预先构建的卷积神经网络模型，并添加网格预测分支，生成具有不同拓扑结构的网格预测神经网络模型；
S31、以深度学习理论为依据，搭建卷积神经网络模型；
S32、添加网格预测分支，将网格预测物体的体素分布转化为三角形网格表示；
S33、通过一系列卷积神经网络改进网格的边角，输出具有不同拓扑结构的网格预测；
S4、根据体素预测损失函数和网格细化损失函数，采用梯度下降法，并不断迭代对所述网格预测神经网络模型进行优化；
S41、采用体素预测损失函数以及网格细化损失函数，根据输入的数据结构和网格预测值计算二者的实际偏差；
S42、同时采用梯度下降法降低损失函数，不断迭代以优化模型；
S5、基于所述实时获取的海浪视频数据和优化后的网格预测神经网络模型，生成不同海况条件下的动态海面三维模型；
S51、将实时海浪视频数据传入优化完成后的模型，得到静态图像的检测和三维重建模型；
S52、结合LSTM技术，建立视频中帧与帧之间的关联，通过卷积神经网络模型生成时间序列下的动态海面三维重建模型；
S53、根据上述方法生成不同海况动态海面三维模型。
2.根据权利要求1所述的基于深度学习的动态海面三维建模方法，其特征在于，所述步骤S1中实时获取的海浪视频数据包括：波浪的形状、路径。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有包括计算机程序，其中，所述计算机程序运行时，执行所述权利要求1至2中任一项所述的方法。
CN202010969101.5A 2020-09-15 2020-09-15 一种基于深度学习的动态海面三维建模方法及存储介质 Active CN112070893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010969101.5A CN112070893B (zh) 2020-09-15 2020-09-15 一种基于深度学习的动态海面三维建模方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010969101.5A CN112070893B (zh) 2020-09-15 2020-09-15 一种基于深度学习的动态海面三维建模方法及存储介质

Publications (2)

Publication Number Publication Date
CN112070893A CN112070893A (zh) 2020-12-11
CN112070893B true CN112070893B (zh) 2024-04-02

Family

ID=73695939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010969101.5A Active CN112070893B (zh) 2020-09-15 2020-09-15 一种基于深度学习的动态海面三维建模方法及存储介质

Country Status (1)

Country Link
CN (1) CN112070893B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991515B (zh) * 2021-02-26 2022-08-19 山东英信计算机技术有限公司 一种三维重建方法、装置及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109410321A (zh) * 2018-10-17 2019-03-01 大连理工大学 基于卷积神经网络的三维重建方法
CN110517352A (zh) * 2019-08-27 2019-11-29 电子科技大学 一种物体的三维重建方法、存储介质、终端及系统
CN110674980A (zh) * 2019-09-12 2020-01-10 中交疏浚技术装备国家工程研究中心有限公司 工程船实时波浪预测方法
CN111311663A (zh) * 2020-02-17 2020-06-19 清华大学深圳国际研究生院 一种实时大场景三维语义建模的方法
CN111369681A (zh) * 2020-03-02 2020-07-03 腾讯科技（深圳）有限公司 三维模型的重构方法、装置、设备及存储介质
CN111368690A (zh) * 2020-02-28 2020-07-03 珠海大横琴科技发展有限公司 基于深度学习的海浪影响下视频图像船只检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241913A (zh) * 2018-09-10 2019-01-18 武汉大学 结合显著性检测和深度学习的船只检测方法及系统
CN109410321A (zh) * 2018-10-17 2019-03-01 大连理工大学 基于卷积神经网络的三维重建方法
CN110517352A (zh) * 2019-08-27 2019-11-29 电子科技大学 一种物体的三维重建方法、存储介质、终端及系统
CN110674980A (zh) * 2019-09-12 2020-01-10 中交疏浚技术装备国家工程研究中心有限公司 工程船实时波浪预测方法
CN111311663A (zh) * 2020-02-17 2020-06-19 清华大学深圳国际研究生院 一种实时大场景三维语义建模的方法
CN111368690A (zh) * 2020-02-28 2020-07-03 珠海大横琴科技发展有限公司 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN111369681A (zh) * 2020-03-02 2020-07-03 腾讯科技（深圳）有限公司 三维模型的重构方法、装置、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于LSTM的视频行为识别技术与应用分析;徐天宇 等;信息与电脑(第4期);第135-137页 *
基于深度体素卷积神经网络的三维模型识别分类;杨军;王顺;周鹏;;光学学报(04);全文 *
用于内河船舶目标检测的单次多框检测器算法;王言鹏 等;哈尔滨工程大学学报;第40卷(第7期);第1258-1262页 *
近岸海浪视频浪高自动检测;宋巍;周旭;毕凡;郭东琳;高松;贺琪;白志鹏;;中国图象图形学报(03);全文 *

Also Published As

Publication number Publication date
CN112070893A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
JP7106665B2 (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
CN106709461B (zh) 基于视频的行为识别方法及装置
Yang et al. Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot
US20210166477A1 (en) Synthesizing images from 3d models
Marcu et al. SafeUAV: Learning to estimate depth and safe landing areas for UAVs from synthetic data
CN109446889B (zh) 基于孪生匹配网络的物体追踪方法及装置
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN113076924A (zh) 基于无人船的河面垃圾实时检测方法、装置及存储介质
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN114332415A (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
Li et al. Exploring image generation for UAV change detection
Xu et al. Innovative synthetic data augmentation for dam crack detection, segmentation, and quantification
CN112070893B (zh) 一种基于深度学习的动态海面三维建模方法及存储介质
CN117173527A (zh) 自动驾驶多模态数据更新融合方法、装置、设备及介质
CN114913337A (zh) 一种基于三元级联感知的伪装目标框检测方法
Dong et al. ShipGAN: Generative Adversarial Network based simulation-to-real image translation for ships
Karampinis et al. Ensuring UAV Safety: A Vision-only and Real-time Framework for Collision Avoidance Through Object Detection, Tracking, and Distance Estimation
CN114463624A (zh) 一种应用于城市管理监督的违章建筑物检测方法及装置
Li et al. Learning target-aware vision transformers for real-time UAV tracking
US20240144490A1 (en) Joint count and flow analysis for video crowd scenes
Liu et al. High-performance object detection for optical remote sensing images with lightweight convolutional neural networks
CN117576149A (zh) 一种基于注意力机制的单目标跟踪方法
Jia et al. Novel hybrid neural network for dense depth estimation using on-board monocular images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant