CN116205813A - 一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统 - Google Patents

一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统 Download PDF

Info

Publication number
CN116205813A
CN116205813A CN202310136207.0A CN202310136207A CN116205813A CN 116205813 A CN116205813 A CN 116205813A CN 202310136207 A CN202310136207 A CN 202310136207A CN 116205813 A CN116205813 A CN 116205813A
Authority
CN
China
Prior art keywords
point cloud
tidal flat
cloud data
flat topography
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310136207.0A
Other languages
English (en)
Inventor
朱志宇
杨登昊
李垣君
邱海洋
王慧
葛慧林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202310136207.0A priority Critical patent/CN116205813A/zh
Publication of CN116205813A publication Critical patent/CN116205813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统，包括：利用训练后的AOD‑Net网络模型对潮滩地形图像进行去雾处理，得到去雾后的潮滩地形图像；基于去雾后的潮滩地形图像，得到其对应的点云数据；采用NDT算法，对点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵；将位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据；基于潮滩地形的点云数据，对潮滩地形进行监测。

Description

一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统
技术领域
本发明属于潮滩地形监测技术领域，具体为一种针对雨雾天气下的潮滩地形图像处理方法、处理系统、潮滩监测方法及监测系统。
背景技术
潮滩是海陆交界地带受潮汐影响的区域，作为海岸带的一部分，是海陆双向来沙的沉积滩地，由粘性细颗粒沉积物堆积形成。潮滩具有极高的生态价值，对于维护生物多样性，削弱极端风暴潮影响，反映海平面上升等具有重要作用，同时潮滩也具备重要的经济价值，潮滩的淤涨和向海推进使其成为动态增长的后背土地资源。
在潮滩场景中，无人机具有很多优点，例如视野宽阔，视角优秀，机动性强，时效性强，巡逻区域广。无人机可以用来监视目标的运动并跟踪它们。它们可以为复杂的滩涂环境中的监测任务操作提供便利。但是潮滩观测环境往往会遇到比较恶劣的情况，如潮滩附近经常会出现海雾现象导致无人机拍摄的图像严重退化，导致细节丢失，对比度下降以及颜色偏移失真。无人机在进行航拍任务时，会因为机身抖动、外界环境等原因导致采集的图像模糊，对后续提取潮滩点云数据信息以及点云配准造成影响。由于云雾遮挡等原因产生的噪声通常呈现出集中密集的特点，取出后对地表点云密度、地形表达会有较大影响，乃至产生数据漏洞，需要根据漏洞的大小进行补飞或者重飞，所以需要研究出来一个对点云数据进行去雾生成准确的潮滩地形点云图的技术方案。
发明内容
发明目的：为解决在对潮滩观测环境进行航拍任务时，无人机因海雾现象导致拍摄的图像严重退化等问题，本发明提出了一种针对雨雾天气下的潮滩地形图像数据处理方法、处理系统、潮滩监测方法及监测系统，适用于无人机在雨雾天气下进行航拍，本发明通过对无人机获取到的图像进行去雾处理，使其达到对潮滩地形点云数据的去雾处理，最终实现能实时准确生成潮滩地形的点云数据，实现对潮滩地形进行实时、准确的监测。
技术方案：一种潮滩地形图像处理方法，包括以下步骤：
步骤1：利用训练后的AOD-Net网络模型对潮滩地形图像进行去雾处理，得到去雾后的潮滩地形图像；基于去雾后的潮滩地形图像，得到其对应的点云数据；
步骤2：采用NDT算法，对步骤1得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵；
步骤3：将步骤2得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据。
进一步的，所述的AOD-Net网络模型包括K-estimation模块和清晰图像生成模块；
所述K-estimation模块用于从输入的潮滩地形图像中估计出全球大气光和介质透射K(x)；
所述清晰图像生成模块用于基于K-estimation模块输出的全球大气光和介质透射K(x)，得到去雾后的潮滩地形图像J(x)：
J(x)＝K(x)I(x)-K(x)+b (1)
式中，J(x)表示AOD-Net网络模型输出的图像，即为去雾后的潮滩地形图片，K(x)表示K-estimation模块输出的估计，I(x)表示模糊潮滩地形图像。
进一步的，所述步骤2具体包括：
S210：从步骤1得到的点云数据中取第一帧点云数据，进行无损监测；
S220：初始化位姿变换矩阵：
Figure BDA0004085899680000021
其中，R表示旋转参数，T表示平移参数；
S230：从步骤1得到的点云数据中第二帧点云数据，根据位姿变换矩阵，将第二帧点云数据映射到第一帧坐标系中，得到映射后的两帧点云数据；
S240：计算映射后的两帧点云数据的概率分布函数；
S250：将每个点的概率密度相加，表示为：
Figure BDA0004085899680000022
使用Hessian矩阵法优化f(p)，使其满足迭代条件或使得f(p)最大；
式中，i表示迭代次数，f(p)表示配准分数，Pi′表示根据位姿变换矩阵映射到第一帧点云坐标系中获得的点云，qi表示概率分布函数到点Pi′的平均值；
S260：判断是否满足收敛条件，若满足收敛条件，则输出此时f(p)对应的位姿变换矩阵，；若不满足收敛条件，则回到S230继续执行。
进一步的，所述ICP算法为通过K-D tree改进的ICP算法。
进一步的，所述步骤3具体包括：
S310：利用K-D tree搜索法在目标点云集Q中找到与点云集P对应的特征点集q0，q0∈Q；采用步骤2得到的位姿变换矩阵初始化平移参数T和旋转参数R；所述目标点云集Q由第一帧点云数据构成；
S320：假设qi和pi为对应关系，qi∈Q，pi∈P，建立目标函数：
Figure BDA0004085899680000031
式中，i表示迭代次数，qi表示目标点云集Q中的点云，pi表示点云集P中的点云，n表示设置的迭代次数；
采用最小二乘法求解该目标函数，得到平移参数T和旋转参数R；
S330：采用平移参数T和旋转参数R对点云集P进行空间变换，得到新的点云集P′；
S340：判断新的点云集P′与目标点云集Q的平均距离是否小于给定的阈值，或迭代次数是否达到设定的最大值，若小于给定的阈值或达到设定的最大值时，停止迭代计算，得到点云精配准的位姿变换矩阵和精配准后的潮滩地形的点云数据，否则，将新的点云集P′作为点云集P继续迭代。
本发明还公开了一种潮滩地形图像处理系统，包括：
去雾模块，用于利用训练后的AOD-Net网络模型对潮滩地形图像进行去雾处理，得到去雾后的潮滩地形图像；
点云数据获取模块，用于基于去雾后的潮滩地形图像，得到其对应的点云数据；
粗配准模块，用于采用NDT算法，对点云数据获取模块得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵；
精配准模块，用于将粗配准模块得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据。
进一步的，所述的采用NDT算法，对点云数据获取模块得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵，具体包括：
S210：从步骤1得到的点云数据中取第一帧点云数据，进行无损监测；
S220：初始化位姿变换矩阵：
Figure BDA0004085899680000032
其中，R表示旋转参数，T表示平移参数；
S230：从步骤1得到的点云数据中第二帧点云数据，根据位姿变换矩阵，将第二帧点云数据映射到第一帧坐标系中，得到映射后的两帧点云数据；
S240：计算映射后的两帧点云数据的概率分布函数；
S250：将每个点的概率密度相加，表示为：
Figure BDA0004085899680000033
使用Hessian矩阵法优化f(p)，使其满足迭代条件或使得f(p)最大；
式中，i表示迭代次数，f(p)表示配准分数，Pi′表示根据位姿变换矩阵映射到第一帧点云坐标系中获得的点云，qi表示概率分布函数到点Pi′的平均值；
S260：判断是否满足收敛条件，若满足收敛条件，则输出此时f(p)对应的位姿变换矩阵，；若不满足收敛条件，则回到S230继续执行。
进一步的，所述的将粗配准模块得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据，具体包括：
所述ICP算法为通过K-D tree改进的ICP算法；
S310：利用K-D tree搜索法在目标点云集Q中找到与点云集P对应的特征点集q0，q0∈Q；采用步骤2得到的位姿变换矩阵初始化平移参数T和旋转参数R；所述目标点云集Q由第一帧点云数据构成；
S320：假设qi和pi为对应关系，qi∈Q，pi∈P，建立目标函数：
Figure BDA0004085899680000041
式中，i表示迭代次数，qi表示目标点云集Q中的点云，pi表示点云集P中的点云，n表示设置的迭代次数；
采用最小二乘法求解该目标函数，得到平移参数T和旋转参数R；
S330：采用平移参数T和旋转参数R对点云集P进行空间变换，得到新的点云集P′；
S340：判断新的点云集P′与目标点云集Q的平均距离是否小于给定的阈值，或迭代次数是否达到设定的最大值，若小于给定的阈值或达到设定的最大值时，停止迭代计算，得到点云精配准的位姿变换矩阵和精配准后的潮滩地形的点云数据，否则，将新的点云集P′作为点云集P继续迭代。
本发明还公开了一种潮滩监测方法，包括：
利用无人机采集潮滩地形进行图像采集，得到潮滩地形图像；采用潮滩地形图像处理方法对潮滩地形图像进行处理，得到潮滩地形的点云数据；
基于潮滩地形的点云数据，对潮滩地形进行监测；
所述潮滩地形图像处理方法为上述公开的任意一种潮滩地形图像处理方法。
本发明还公开了一种潮滩监测系统，包括：
潮滩地形图像输入模块，用于获取来自无人机的潮滩地形图像；
潮滩地形图像处理系统，用于对潮滩地形图像进行处理，得到潮滩地形的点云数据；
潮滩分析模块，用于基于潮滩地形的点云数据，对潮滩地形进行监测；
所述潮滩地形图像处理系统为上述公开的任意一种潮滩地形图像处理系统。
有益效果：本发明与现有技术相比，具有以下优点：
(1)本发明通过AOD-Net网络模型对潮滩地形图像进行去雾处理，能够适应雨雾天气；
(2)本发明通过对潮滩地形的点云数据进行粗配准和精配准，大大提高图像精确度，在无需人工和潮滩在低潮期短暂暴露情况下可以实现大尺度、准确、高效地对潮滩进行实时监测；
(3)在有雾潮滩地形配准过程中，本发明相较于传统的点云配准算法平均误差降低18.3％，有效的提升了在有雾天气下点云配准精度。
附图说明
图1为本发明的框架结构示意图；
图2为本发明的AOD-Net网络模型示意图。
具体实施方式
现结合附图和实施例进一步阐述本发明的技术方案。
实施例1：
本实施例公开了一种针对雨雾天气下的潮滩地形图像处理方法，其包括以下步骤：
步骤1：利用训练后的AOD-Net网络模型对潮滩地形图像进行去雾处理，得到去雾后的潮滩地形图像；基于去雾后的潮滩地形图像，得到其对应的点云数据；
其中，AOD-Net网络模型包括K值估计(K-estimation)模块和清晰图像生成模块；K值估计(K-estimation)模块用于从输入的潮滩地形图像中估计出全球大气光和介质透射K(x)；清晰图像生成模块用于基于全球大气光和介质透射K(x)，得到去雾后的潮滩地形图像J(x)：
J(x)＝K(x)I(x)-K(x)+b (1)
式中，J(x)表示AOD-Net网络模型输出的图像，即为去雾后的潮滩地形图片，K(x)表示K-estimation模块输出的估计，I(x)表示输入的带有雨雾模糊的图片。
步骤2：采用正态分布变换算法(Normal Distributions Transform，NDT)，对步骤1得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵；具体操作包括：
S210：从步骤1得到的点云数据中取第一帧点云数据，进行无损监测，即计算出第一帧点云数据的NDT；
S220：初始化位姿变换矩阵：
Figure BDA0004085899680000051
其中，R表示旋转参数，T表示平移参数；
S230：从步骤1得到的点云数据中第二帧点云数据，根据坐标转换参数，将第二帧点云数据映射到第一帧坐标系中，得到映射后的两帧点云数据；
S240：计算映射后的两帧点云数据的概率分布函数；
S250：将每个点的概率密度相加，去评估坐标的变换参数：
Figure BDA0004085899680000061
使用Hessian矩阵法优化f(p)，使其满足迭代条件或使得f(p)最大；
式中，i表示迭代次数，f(p)表示配准分数，Pi′表示根据位姿变换矩阵映射到第一帧点云坐标系中获得的点云，qi表示概率分布函数到点Pi′的平均值；
S260：判断是否满足收敛条件，若满足收敛条件，则输出此时f(p)对应的位姿变换矩阵，并基于该位姿变换矩阵，将潮滩地形的第一帧和第二帧的点云数据进行粗配准；若不满足收敛条件，则回到S230继续执行。
步骤3：将步骤2得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据。本步骤的ICP算法为通过K-D tree改进的ICP算法，具体操作包括：
S310：利用K-D tree搜索法在目标点云集Q中找到与点云集P对应的特征点集q0，q0∈Q；采用步骤2得到的位姿变换矩阵初始化平移参数T和旋转参数R；
S320：假设qi和pi为对应关系，qi∈Q，pi∈P，建立目标函数：
Figure BDA0004085899680000062
式中，i表示迭代次数，qi表示目标点云集Q中的点云，pi表示点云集P中的点云，n表示设置的迭代次数；
采用最小二乘法求解该目标函数，得到平移参数T和旋转参数R；
S330：采用平移参数T和旋转参数R对点云集P进行空间变换，得到新的点云集P′；
S340：判断新的点云集P′与参考点云集的平均距离是否小于给定的阈值，或迭代次数是否达到设定的最大值，若小于给定的阈值或达到设定的最大值时，停止迭代计算，得到点云精配准的位姿变换矩阵和精配准后的潮滩地形的点云数据，否则，将新的点云集P′作为点云集P继续迭代。
本实施例经过去雾、点云粗精配准后，可得到更加精确的潮滩地形的点云数据，可在无需人工和潮滩在低潮期短暂暴露情况下用于实现大尺度、准确、高效地对潮滩进行实时监测。
实施例2：
在实施例1的基础上，本实施例公开了一种针对雨雾天气下的潮滩地形图像处理系统，主要包括：
去雾模块，用于利用训练后的AOD-Net网络模型对潮滩地形图像进行去雾处理，得到去雾后的潮滩地形图像；
点云数据获取模块，用于基于去雾后的潮滩地形图像，得到其对应的点云数据；
粗配准模块，用于采用NDT算法，对点云数据获取模块得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵；
精配准模块，用于将粗配准模块得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据。
本实施例经过去雾、点云粗精配准后，可得到更加精确的潮滩地形的点云数据，可在无需人工和潮滩在低潮期短暂暴露情况下用于实现大尺度、准确、高效地对潮滩进行实时监测。
实施例3：
如图1所示，本实施例公开了一种针对雨雾天气下的潮滩监测方法，其主要包括：
步骤1：在雨雾天气下，通过无人机采集潮滩地形图片，在无人机采集潮滩地形图片时，要求测量人员根据潮滩的具体情况分析，科学合理的布置无人机航线和像控点，即根据潮滩区域对像控点进行均匀布设，确保各像控点之间有一定的几何强度并满足规范要求的密度，然后对无人机进行轨迹规划，确保没有遗漏，以及保证航测数据获取的完整性。由于潮滩是由小于0.06毫米粉沙和粘土组成的长数十千米的平缓地带，设置无人机共飞行20-25条航线，航线按S型进行铺设，航向重叠度85％，旁向重叠度60％。像控点按按航线全区统一布点，不受图幅单位限制。
步骤2：将无人机采集到的潮滩地形图片传入AOD-Net网络模型进行去雾处理，得到去雾后的潮滩地形图片；本步骤提及的AOD-Net网络模型包括K值估计(K-estimation)模块和清晰图像生成模块，其中，K值估计(K-estimation)模块由五个卷积层组成，清晰图像生成模块由一个element-wise乘法层和一个element-wise加法层组成用来恢复图像。如图2所示，在AOD-Net网络模型中，concat1层连接了来自conv1和conv2层的特性。类似地，concat2连接来自conv2和conv3的特征，concat3连接了来自conv1、conv2、conv3和conv4的特征。这种多尺度设计以不同尺度捕获特征，中间连接层也弥补了卷积过程中的信息损失。在使用AOD-Net网络进行去雾处理前，需对AOD-Net网络模型进行训练，训练过程包括：
创立数据集，从NYU2深度数据集中取出27256个图像做训练集，3170个做测试集A，Middlebury立体数据集中取出800张full-size合成图像作为测试B；
在PyCharm上搭建基于pytorch框架的AOD-Net网络模型，使用高斯随机变量初始化权重，使用ReLU激活函数，MSE损失函数。将动量和衰减参数分别设置为0.9和0.0001。使用8个图像(480×640)的批量大小，学习率为0.001进行网络训练，得到训练好的AOD-Net网络模型。
将无人机获取的带有雨雾模糊的图片输入到经过训练后的AOD-Net网络模型中，首先K值估计(K-estimation)模块从输入的带有雨雾的图片中估计出全球大气光和介质透射K(x)，图2中的卷积层5的输出结果即为全球大气光和介质透射K(x)，再将全球大气光和介质透射K(x)传入清晰图像生成模块，清晰图像生成模块基于K(x)，得到清晰图像J(x)：
J(x)＝K(x)I(x)-K(x)+b (1)
式中，J(x)表示AOD-Net网络模型输出的图像，即为去雾后的潮滩地形图片，K(x)表示K-estimation模块输出的估计，I(x)表示输入的带有雨雾模糊的图片。
步骤3：将去雾后的潮滩地形图片传入至LiDAR模块，LiDAR模块输出潮滩地形的点云数据；具体的，本步骤提及的LiDAR模块为Global Mapper工具的LiDAR模块，该LiDAR模块可使用重叠的无人机图像创建摄影测量点云，实现自动和手动点云分类以及特征提取。LiDAR模块根据清晰图像J(x)，从重叠图像创建高密度点云，同步生成正射镶嵌影像和3DMesh，并且从底层图像或网格图层进行高密度点云着色，得到潮滩地形的点云数据。
步骤4：采用正态分布变换算法(Normal Distributions Transform，NDT)，对潮滩地形的点云数据进行点云粗配准和得到位姿变换矩阵；具体的，本步骤使用的NDT算法通过建立两帧点云的概率分布，并采用Hessian矩阵法使概率分布值达到最小，进而求解出两帧点云的位姿变换矩阵。
在本实施例中，也可以取多帧数据配准，包括：配准完成的两帧数据，变成一帧数据即为下一次配准的目标点云数据。
现对NDT算法做进一步说明。
S410：取潮滩地形的第一帧点云数据；
S420：初始化位姿变换矩阵：
Figure BDA0004085899680000081
其中，R表示旋转参数，T表示平移参数。
S430：将潮滩地形的第二帧点云数据根据旋转参数R和平移参数T映射到第一帧坐标系中，得到映射后的点云数据；
S440：计算映射后的点云数据的概率分布函数；
S450：将每个点的概率密度相加，去评估坐标的变换参数
Figure BDA0004085899680000091
使用Hessian矩阵法优化f(p)，使其满足迭代条件或使得f(p)最大；
式中，i表示迭代次数，f(p)表示配准分数，Pi′表示根据位姿变换矩阵映射到第一帧点云坐标系中获得的点云，qi表示概率分布函数到点Pi′的平均值；
S460：判断是否满足收敛条件，若满足收敛条件，则输出此时f(p)对应的位姿变换矩阵，并基于该位姿变换矩阵，将潮滩地形的第一帧和第二帧的点云数据进行粗配准；若不满足收敛条件，则回到S430继续执行。
步骤5：采用通过K-D tree改进的ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据；步骤4输出的位姿变换矩阵作为点云精配准的位姿初始值，即经过点云粗配准后，为点云精配准提供较理想的初始位姿。本步骤中，根据两帧点云数据中点到点的对应关系建立目标函数，然后采用最小二乘法求解该目标函数，得到点云精配准的位姿变换矩阵，利用点云精配准的位姿变换矩阵，得到精配准后的潮滩地形的点云数据。
本步骤具体操作包括：
利用第一帧点云数据，建立目标点云集Q；
S510：利用K-D tree搜索法在目标点云集Q中找到与点云集P对应的特征点集q0，q0∈Q；平移参数T和旋转参数R的初始值为步骤4输出的位姿变换矩阵；
S520：假设qi和pi为对应关系，qi∈Q，pi∈P，建立目标函数，
Figure BDA0004085899680000092
式中，i表示迭代次数，qi表示目标点云集Q中的点云，pi表示点云集P中的点云，n表示设置的迭代次数；
采用最小二乘法求解该目标函数，得到平移参数T和旋转参数R；
S530：采用平移参数T和旋转参数R对点云集P进行空间变换，得到新的点云集P′；
S540：判断新的点云集P′与目标点云集Q的平均距离是否小于给定的阈值，或迭代次数是否达到设定的最大值，若小于给定的阈值或达到设定的最大值时，停止迭代计算，得到点云精配准的位姿变换矩阵，精配准后的潮滩地形的点云数据；否则，将新的点云集P′作为点云集P继续迭代。
步骤6：利用精配准后的潮滩地形的点云数据，对潮滩地形进行精确监测，包括从配准后的点云数据中提取海岸线，每隔一段时间再潮滩周围再进行一次数据采集，根据海岸线的变化推断出潮滩地形的变化。
本实施例利用更加精确的潮滩地形的点云数据，在无需人工和潮滩在低潮期短暂暴露情况下实现大尺度、准确、高效地对潮滩进行实时监测。
实施例4：
在实施例2的基础上，本实施例公开了一种针对雨雾天气下的潮滩监测系统，包括：
潮滩地形图像输入模块，用于获取来自无人机的潮滩地形图像；
潮滩地形图像处理系统，用于对潮滩地形图像进行处理，得到潮滩地形的点云数据；该潮滩地形图像处理系统为实施例2公开的一种潮滩地形图像处理系统；
潮滩分析模块，用于基于潮滩地形的点云数据，对潮滩地形进行监测。
本实施例利用更加精确的潮滩地形的点云数据，在无需人工和潮滩在低潮期短暂暴露情况下实现大尺度、准确、高效地对潮滩进行实时监测。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种潮滩地形图像处理方法，其特征在于：包括以下步骤：
步骤1：利用训练后的AOD-Net网络模型对潮滩地形图像进行去雾处理，得到去雾后的潮滩地形图像；基于去雾后的潮滩地形图像，得到其对应的点云数据；
步骤2：采用NDT算法，对步骤1得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵；
步骤3：将步骤2得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据。
2.根据权利要求1所述的一种潮滩地形图像处理方法，其特征在于：所述的AOD-Net网络模型包括K-estimation模块和清晰图像生成模块；
所述K-estimation模块用于从输入的潮滩地形图像中估计出全球大气光和介质透射K(x)；
所述清晰图像生成模块用于基于K-estimation模块输出的全球大气光和介质透射K(x)，得到去雾后的潮滩地形图像J(x)：
J(x)＝K(x)I(x)-K(x)+b (1)
式中，J(x)表示AOD-Net网络模型输出的图像，即为去雾后的潮滩地形图片，K(x)表示K-estimation模块输出的估计，I(x)表示模糊潮滩地形图像。
3.根据权利要求1所述的一种潮滩地形图像处理方法，其特征在于：所述步骤2具体包括：
S210：从步骤1得到的点云数据中取第一帧点云数据，进行无损监测；
S220：初始化位姿变换矩阵：
Figure FDA0004085899650000011
其中，R表示旋转参数，T表示平移参数；
S230：从步骤1得到的点云数据中第二帧点云数据，根据位姿变换矩阵，将第二帧点云数据映射到第一帧点云坐标系中，得到映射后的两帧点云数据；
S240：计算映射后的两帧点云数据的概率分布函数；
S250：将每个点的概率密度相加，表示为：
Figure FDA0004085899650000012
使用Hessian矩阵法优化f(p)，使其满足迭代条件或使得f(p)最大；
式中，i表示迭代次数，f(p)表示配准分数，Pi′表示根据位姿变换矩阵映射到第一帧点云坐标系中获得的点云，qi表示概率分布函数到点Pi′的平均值；
S260：判断是否满足收敛条件，若满足收敛条件，则输出此时f(p)对应的位姿变换矩阵，；若不满足收敛条件，则回到S230继续执行。
4.根据权利要求1所述的一种潮滩地形图像处理方法，其特征在于：所述ICP算法为通过K-D tree改进的ICP算法。
5.根据权利要求4所述的一种潮滩地形图像处理方法，其特征在于：所述步骤3具体包括：
S310：利用K-D tree搜索法在目标点云集Q中找到与点云集P对应的特征点集q0，q0∈Q；采用步骤2得到的位姿变换矩阵初始化平移参数T和旋转参数R；所述目标点云集Q由第一帧点云数据构成；
S320：假设qi和pi为对应关系，qi∈Q，pi∈P，建立目标函数：
Figure FDA0004085899650000021
式中，i表示迭代次数，qi表示目标点云集Q中的点云，pi表示点云集P中的点云，n表示设置的迭代次数；
采用最小二乘法求解该目标函数，得到平移参数T和旋转参数R；
S330：采用平移参数T和旋转参数R对点云集P进行空间变换，得到新的点云集P′；
S340：判断新的点云集P′与目标点云集Q的平均距离是否小于给定的阈值，或迭代次数是否达到设定的最大值，若小于给定的阈值或达到设定的最大值时，停止迭代计算，得到点云精配准的位姿变换矩阵和精配准后的潮滩地形的点云数据，否则，将新的点云集P′作为点云集P继续迭代。
6.一种潮滩地形图像处理系统，其特征在于：包括：
去雾模块，用于利用训练后的AOD-Net网络模型对潮滩地形图像进行去雾处理，得到去雾后的潮滩地形图像；
点云数据获取模块，用于基于去雾后的潮滩地形图像，得到其对应的点云数据；
粗配准模块，用于采用NDT算法，对点云数据获取模块得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵；
精配准模块，用于将粗配准模块得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据。
7.根据权利要求6所述的一种潮滩地形图像处理系统，其特征在于：所述的采用NDT算法，对点云数据获取模块得到的点云数据进行点云粗配准，以及得到点云粗配准对应的位姿变换矩阵，具体包括：
S210：从步骤1得到的点云数据中取第一帧点云数据，进行无损监测；
S220：初始化位姿变换矩阵：
Figure FDA0004085899650000031
其中，R表示旋转参数，T表示平移参数；
S230：从步骤1得到的点云数据中第二帧点云数据，根据位姿变换矩阵，将第二帧点云数据映射到第一帧坐标系中，得到映射后的两帧点云数据；
S240：计算映射后的两帧点云数据的概率分布函数；
S250：将每个点的概率密度相加，表示为：
Figure FDA0004085899650000032
使用Hessian矩阵法优化f(p)，使其满足迭代条件或使得f(p)最大；
式中，i表示迭代次数，f(p)表示配准分数，Pi′表示根据位姿变换矩阵映射到第一帧点云坐标系中获得的点云，qi表示概率分布函数到点Pi′的平均值；
S260：判断是否满足收敛条件，若满足收敛条件，则输出此时f(p)对应的位姿变换矩阵，；若不满足收敛条件，则回到S230继续执行。
8.根据权利要求6所述的一种潮滩地形图像处理系统，其特征在于：所述的将粗配准模块得到的位姿变换矩阵作为初始位姿，采用ICP算法对粗配准后的点云数据进行点云精配准，得到精配准后的潮滩地形的点云数据，具体包括：
所述ICP算法为通过K-D tree改进的ICP算法；
S310：利用K-D tree搜索法在目标点云集Q中找到与点云集P对应的特征点集q0，q0∈Q；采用步骤2得到的位姿变换矩阵初始化平移参数T和旋转参数R；所述目标点云集Q由第一帧点云数据构成；
S320：假设qi和pi为对应关系，qi∈Q，pi∈P，建立目标函数：
Figure FDA0004085899650000033
式中，i表示迭代次数，qi表示目标点云集Q中的点云，pi表示点云集P中的点云，n表示设置的迭代次数；
采用最小二乘法求解该目标函数，得到平移参数T和旋转参数R；
S330：采用平移参数T和旋转参数R对点云集P进行空间变换，得到新的点云集P′；
S340：判断新的点云集P′与目标点云集Q的平均距离是否小于给定的阈值，或迭代次数是否达到设定的最大值，若小于给定的阈值或达到设定的最大值时，停止迭代计算，得到点云精配准的位姿变换矩阵和精配准后的潮滩地形的点云数据，否则，将新的点云集P′作为点云集P继续迭代。
9.一种潮滩监测方法，其特征在于：包括：
利用无人机采集潮滩地形进行图像采集，得到潮滩地形图像；采用潮滩地形图像处理方法对潮滩地形图像进行处理，得到潮滩地形的点云数据；
基于潮滩地形的点云数据，对潮滩地形进行监测；
所述潮滩地形图像处理方法为权利要求1至5任意一项所述的一种潮滩地形图像处理方法。
10.一种潮滩监测系统，其特征在于：包括：
潮滩地形图像输入模块，用于获取来自无人机的潮滩地形图像；
潮滩地形图像处理系统，用于对潮滩地形图像进行处理，得到潮滩地形的点云数据；
潮滩分析模块，用于基于潮滩地形的点云数据，对潮滩地形进行监测；
所述潮滩地形图像处理系统为权利要求6至8任意一项所述的一种潮滩地形图像处理系统。
CN202310136207.0A 2023-02-20 2023-02-20 一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统 Pending CN116205813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310136207.0A CN116205813A (zh) 2023-02-20 2023-02-20 一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310136207.0A CN116205813A (zh) 2023-02-20 2023-02-20 一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统

Publications (1)

Publication Number Publication Date
CN116205813A true CN116205813A (zh) 2023-06-02

Family

ID=86516814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310136207.0A Pending CN116205813A (zh) 2023-02-20 2023-02-20 一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统

Country Status (1)

Country Link
CN (1) CN116205813A (zh)

Similar Documents

Publication Publication Date Title
CN111968129B (zh) 具有语义感知的即时定位与地图构建系统及方法
CN112288875B (zh) 一种面向无人机矿山巡检场景的快速三维重建方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN111462329B (zh) 一种基于深度学习的无人机航拍影像的三维重建方法
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
CN106097304B (zh) 一种无人机实时在线地图生成方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN112505065B (zh) 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN103218787B (zh) 多源异构遥感影像控制点自动采集方法
CN114038193B (zh) 基于无人机和多目标追踪的智能交通流量数据统计方法及系统
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
Zhang et al. Lidar-guided stereo matching with a spatial consistency constraint
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN117214904A (zh) 一种基于多传感器数据的鱼类智能识别监测方法和系统
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN114463521B (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
Xu et al. Deep learning guided building reconstruction from satellite imagery-derived point clouds
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
CN110580468B (zh) 一种基于影像匹配点云的单木结构参数提取的方法
CN115115847B (zh) 三维稀疏重建方法、装置及电子装置
CN114758087B (zh) 一种城市信息模型的构建方法及装置
CN107194334B (zh) 基于光流模型的视频卫星影像密集匹配方法及系统
CN116205813A (zh) 一种潮滩地形图像处理方法、处理系统、潮滩监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination