CN115147629B - 一种冰川三维建模与运动位移提取方法 - Google Patents

一种冰川三维建模与运动位移提取方法 Download PDF

Info

Publication number
CN115147629B
CN115147629B CN202210773904.2A CN202210773904A CN115147629B CN 115147629 B CN115147629 B CN 115147629B CN 202210773904 A CN202210773904 A CN 202210773904A CN 115147629 B CN115147629 B CN 115147629B
Authority
CN
China
Prior art keywords
glacier
data
point cloud
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210773904.2A
Other languages
English (en)
Other versions
CN115147629A (zh
Inventor
张明虎
李新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Institute of Tibetan Plateau Research of CAS
Original Assignee
Lanzhou University of Technology
Institute of Tibetan Plateau Research of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology, Institute of Tibetan Plateau Research of CAS filed Critical Lanzhou University of Technology
Priority to CN202210773904.2A priority Critical patent/CN115147629B/zh
Publication of CN115147629A publication Critical patent/CN115147629A/zh
Application granted granted Critical
Publication of CN115147629B publication Critical patent/CN115147629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种冰川三维建模与运动位移提取方法，包括以下步骤：a.图像数据采集；b.特征提取；c.数据提取；d.输入；e.往期数据获取；f.获取模型；g.特征点提取；h.特征点匹配；i.位移计算；j.实时传输。本发明的有益效果是：该冰川三维建模与运动位移提取方法，把采集的数据进行特征提取，把特征图像与时间序列输入到神经辐射模型，然后神经辐射模型输出冰川三维点云数据，提取上一期和当前期的三维点云特征点，获得匹配特征点，计算上一期三维点云特征点在当前期三维点云中的位置，计算特征点的运动位移，通过卫星物联网实时传输至服务器，从而使该方法能够建立出完整的冰川三维模型，同时实时数据传输对冰崩灾害孕育过程的研究和预报。

Description

一种冰川三维建模与运动位移提取方法
技术领域
本发明涉及冰川运动技术领域，具体为一种冰川三维建模与运动位移提取方法。
背景技术
冰川运动是冰川区物质和能量交换的重要方式，也是冰崩灾害发生的重要表现。因此，冰崩被认为是一次大型的冰川运动现象。准确提取冰川运动位移是研究和预报冰崩灾害孕育过程的重要方法。
基于遥感的冰川运动位移提取方法有助于大范围观测整个冰川区域的冰川运动位移，通过遥感数据提取冰川运动位移主要是通过对比不同时期的遥感图像，但是，遥感方法是通过判断冰川前缘在两期遥感图像上的变化提取冰川运动位移，冰川前缘也会发生快速的冰川运动进而导致冰崩灾害事件的发生，导致运动位移无法快速获取。现场实地观测冰川运动变化是准确提取冰川运动位移的重要方法，但是目前现场观测冰川运动的方法主要采用经纬仪、全站仪、GPS接收机及视频传感器，但是这些方法只能在视场范围内观测冰川，再通过一些方法建立冰川三维模型，无法对观测视场以外的冰川进行三维建模，如冰川背面和冰川顶部，进而无法建立完整的冰川三维模型。此外，这些地面观测方法无法基于实时传输冰川运动位移，无法实现冰崩灾害孕育过程的研究和预报。
所以需要针对上述问题设计一种冰川三维建模与运动位移提取方法。
发明内容
本发明的目的在于提供一种冰川三维建模与运动位移提取方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种冰川三维建模与运动位移提取方法，包括以下步骤：a.图像数据采集；b.特征提取；c.数据提取；d.输入；e.往期数据获取；f.获取模型；g.特征点提取；h.特征点匹配；i.位移计算；j.实时传输，其中a.图像数据采集的具体步骤为：通过地面视频传感器和光学遥感卫星图像，采集冰川研究对象的不同角度的图像数据，包括冰川的地面观测图像数据和空中图像数据。
进一步的，所述b.特征提取的具体步骤为：通过图像分割技术，从采集的冰川图像数据中提取冰川图像特征。
进一步的，所述c.数据提取的具体步骤为：提取用于描述图像特征变化的时间序列数据。
进一步的，所述d.输入的具体步骤为：将提取的冰川特征图像及用于描述特征变化的时间序列数据输入神经辐射模型。
进一步的，所述e.往期数据获取的具体步骤为：神经辐射模型输出冰川三维点云数据，获得上一期冰川图像的三维点云数据。
进一步的，所述f.获取模型的具体步骤为：重复步骤a-e步骤，获得当前期冰川图像的三维点云模型。
进一步的，所述g.特征点提取的具体步骤为：提取上一期和当前期的三维点云特征点。
进一步的，所述h.特征点匹配的具体步骤为：将上一期和当前期的三维点云特征点采用块匹配模型进行匹配，获得匹配特征点。
进一步的，所述i.速度计算的具体步骤为：计算上一期三维点云特征点在当前期三维点云中的位置，计算特征点的运动位移。
进一步的，所述j.实时传输的具体步骤为：冰川运动位移通过卫星物联网实时传输至服务器。
与现有技术相比，本发明的有益效果是：该方法通过图像数据采集，然后把采集的数据进行特征提取，然后对时间序列数据进行提取，把特征图像与时间序列输入到神经辐射模型，然后神经辐射模型输出冰川三维点云数据，获得上一期冰川图像的三维点云数据，重复上述步骤获得当前期冰川图像的三维点云模型，提取上一期和当前期的三维点云特征点，将上一期和当前期的三维点云特征点采用块匹配模型进行匹配，获得匹配特征点，计算上一期三维点云特征点在当前期三维点云中的位置，计算特征点的运动位移，冰川运动位移通过卫星物联网实时传输至服务器，从而使该方法能够建立出完整的冰川三维模型，同时实时数据传输对冰崩灾害孕育过程的研究和预报。
附图说明
图1为基于物联网与神经辐射场的冰川三维点云建模与运动位移提取流程图。
具体实施方式
如图1所示，本发明提供一种技术方案：一种冰川三维建模与运动位移提取方法，包括以下步骤：
a.图像数据采集：通过地面视频传感器和光学遥感卫星图像，采集冰川研究对象的不同角度的图像数据，包括冰川的地面观测图像数据和空中图像数据；
b.特征提取：通过图像分割技术，从采集的冰川图像数据中提取冰川图像特征；
c.数据提取：提取用于描述图像特征变化的时间序列数据；
d.输入：将提取的冰川特征图像及用于描述特征变化的时间序列数据输入神经辐射模型；
e.往期数据获取：神经辐射模型输出冰川三维点云数据，获得上一期冰川图像的三维点云数据；
f.获取模型：重复步骤a-e步骤，获得当前期冰川图像的三维点云模型；
g.特征点提取：提取上一期和当前期的三维点云特征点；
h.特征点匹配的具体步骤为：将上一期和当前期的三维点云特征点采用块匹配模型进行匹配，获得匹配特征点；
i.速度计算：计算上一期三维点云特征点在当前期三维点云中的位置，计算特征点的运动位移；
j.实时传输：冰川运动位移通过卫星物联网实时传输至服务器；
通过图像数据采集，然后把采集的数据进行特征提取，然后对时间序列数据进行提取，把特征图像与时间序列输入到神经辐射模型，然后神经辐射模型输出冰川三维点云数据，获得上一期冰川图像的三维点云数据，重复上述步骤获得当前期冰川图像的三维点云模型，提取上一期和当前期的三维点云特征点，将上一期和当前期的三维点云特征点采用块匹配模型进行匹配，获得匹配特征点，计算上一期三维点云特征点在当前期三维点云中的位置，计算特征点的运动位移，冰川运动位移通过卫星物联网实时传输至服务器，从而使该方法能够建立出完整的冰川三维模型，同时实时数据传输对冰崩灾害孕育过程的研究和预报。
具体操作如下：
1.建立多边形冰川研究目标轮廓提取模型，分别将地面视频传感器图像数据和光学遥感卫星图像数据分别输入研究目标轮廓提取模型，提取冰川研究兴趣区域，具体实现过程如下：
(1)在冰川区架设高分辨率视频传感器从多个角度连续拍摄冰川图像，获得多个水平视场图像数据集，记为GV_Image＝{I1，I2，…,In},共计N张；
(2)选取高分辨率遥感图像，获取观测冰川的正射影像数据集,记为RS_Image＝{I1，I2，…,In},共计N张；
(3)获取冰川区附近温湿度数据集，分别记为Tem＝{T1，T2，…,Tn},共计N组数据；Hum＝{H1，H2，…,H},共计N组数据。
2.将冰川特征图像及用于描述特征变化的温湿度数据输入神经辐射模型获得冰川三维点云模型，具体实现过程如下：
(1)神经辐射模型是一种利用输入图像作为监督信息，拟合高分辨率图像的隐函数，从而对复杂场景实现视点合成，经过神经辐射场模型渲染得到的图片与原始图片一起，建立观测物体完整的三维点云；
(2)建立以冰川区温湿度特征为条件约束的隐函数，如下表示：
Ψ：(a(t，h)，d，x)
上式中，该隐函数的参数包括温湿度约束数据a，二维观测方向向量d和该位置的空间位置向量x；
隐函数的输出(c，σ)为从该位置沿着二维观测方向向量d输出像素的颜色信息c和该位置对应像素的密度信息σ。
(3)通过输入训练数据，训练神经辐射场模型，采用训练的模型生成相应的图像。具体的，对图像中任意像素，根据如下公式计算该像素的颜色信息：
式中，光线从tn出发到tf，σ为r(t)点的密度信息，c为r(t)点沿着二维观测方向向量d输出的颜色信息。
(4)将温湿度特征数据作为约束条件，通过神经辐射场模型获得预测图像，计算预测图像与原始图像Ii之间的误差，利用梯度下降法计算模型的损失函数：
(5)通过以上神经辐射场模型，1获得温湿度特征数据条件下的冰川图像。
(6)通过单目三维运动重建SFM算法，建立冰川三维点云模型。单目相机三维重建可以使用运动重建方法，由图像生成三维点云。
3.根据匹配的特征点在两期图像上的位置变化，计算冰川运动位移，具体过程如下：
根据光流算法的灰度不变假设，对于t时刻位于(x，y，z)处的点云，我们假设在t+dt时刻它运动到了I(x+dx，y+dy，z+dz，t+dt)处，则有：
I(x，y，z，t)＝I(x+dx，y+dy，z+dz，t+dt)
点云在三维空间上的运动位移表示为：
这样就可以计算出点云在点云数据间的运动位移(Vx，Vy，Vz)。在冰川运动位移的提取中，当时间t取离散的时刻时，可以估计模块点云在若干点云数据中出现的位置，从而提取冰川的运动位移。
4.提取的冰川运动位移通过行云卫星物联网传输至远程数据库。

Claims (2)

1.一种冰川三维建模与运动位移提取方法，其特征在于，包括以下步骤：
a.图像数据采集；所述a.图像数据采集具体步骤为：通过地面视频传感器和光学遥感卫星图像，采集冰川研究对象的不同角度的图像数据，包括冰川的地面观测图像数据和空中图像数据；
b.特征提取；所述b.特征提取的具体步骤为：通过图像分割技术，从采集的冰川图像数据中提取冰川图像特征；
c.数据提取；所述c.数据提取的具体步骤为：提取用于描述图像特征变化的时间序列数据；
d.输入；所述d.输入的具体步骤为：将提取的冰川图像特征及用于描述图像特征变化的时间序列数据输入神经辐射模型；
其中经过神经辐射模型渲染得到的图片与原始图片一起，建立观测物体完整的三维点云；并建立以冰川区温湿度特征为条件约束的隐函数，如下表示：
；
上式中，该隐函数的参数包括温湿度约束数据a，二维观测方向向量d和该位置的空间位置向量x；
隐函数的输出为从该位置沿着二维观测方向向量d输出像素的颜色信息c和该位置对应像素的密度信息/>；
通过输入训练数据，训练神经辐射模型，采用训练的模型生成相应的图像；具体的，对图像中任意像素，根据如下公式计算该像素的颜色信息：
；
式中，光线从tn出发到tf，σ为r(t)点的密度信息，c为r(t)点沿着二维观测方向向量d输出的颜色信息；
e.往期数据获取；所述e.往期数据获取的具体步骤为：神经辐射模型输出冰川三维点云数据，获得上一期冰川图像的三维点云数据；
f.获取模型；所述f.获取模型的具体步骤为：重复步骤a-e步骤，获得当前期冰川图像的三维点云模型；
g.特征点提取；所述g.特征点提取的具体步骤为：提取上一期和当前期的三维点云特征点；
h.特征点匹配；所述h.特征点匹配的具体步骤为：将上一期和当前期的三维点云特征点采用块匹配模型进行匹配，获得匹配特征点；
i.位移计算；所述i.位移计算的具体步骤为：计算上一期三维点云特征点在当前期三维点云中的位置，计算特征点的运动位移；
j.实时传输。
2.根据权利要求1所述的一种冰川三维建模与运动位移提取方法，其特征在于，所述j.实时传输的具体步骤为：冰川运动位移通过卫星物联网实时传输至服务器。
CN202210773904.2A 2022-07-01 2022-07-01 一种冰川三维建模与运动位移提取方法 Active CN115147629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210773904.2A CN115147629B (zh) 2022-07-01 2022-07-01 一种冰川三维建模与运动位移提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210773904.2A CN115147629B (zh) 2022-07-01 2022-07-01 一种冰川三维建模与运动位移提取方法

Publications (2)

Publication Number Publication Date
CN115147629A CN115147629A (zh) 2022-10-04
CN115147629B true CN115147629B (zh) 2023-09-22

Family

ID=83410691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210773904.2A Active CN115147629B (zh) 2022-07-01 2022-07-01 一种冰川三维建模与运动位移提取方法

Country Status (1)

Country Link
CN (1) CN115147629B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106066178A (zh) * 2016-06-15 2016-11-02 中国地质调查局水文地质环境地质调查中心 一种冰川运动监测方法及系统
CN109472810A (zh) * 2018-07-10 2019-03-15 湖南科技大学 一种基于遥感图像的冰川流速可视化提取方法
CN111310649A (zh) * 2020-02-13 2020-06-19 西南交通大学 一种无人机高分辨率影像对山岳冰川运动消融的提取方法
CN114202606A (zh) * 2021-10-20 2022-03-18 北京旷视科技有限公司 图像处理方法、电子设置、存储介质及计算机程序产品

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295194B (zh) * 2016-08-12 2018-06-26 中国水利水电科学研究院 一种基于流域水量平衡原理的冰川蓄变量评估方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106066178A (zh) * 2016-06-15 2016-11-02 中国地质调查局水文地质环境地质调查中心 一种冰川运动监测方法及系统
CN109472810A (zh) * 2018-07-10 2019-03-15 湖南科技大学 一种基于遥感图像的冰川流速可视化提取方法
CN111310649A (zh) * 2020-02-13 2020-06-19 西南交通大学 一种无人机高分辨率影像对山岳冰川运动消融的提取方法
CN114202606A (zh) * 2021-10-20 2022-03-18 北京旷视科技有限公司 图像处理方法、电子设置、存储介质及计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2015年东帕米尔高原克拉牙依拉克冰川跃动数据集;张震;刘时银;魏俊锋;;中国科学数据(中英文网络版)(04);全文 *

Also Published As

Publication number Publication date
CN115147629A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
CN109344813B (zh) 一种基于rgbd的目标识别和场景建模方法
KR100529401B1 (ko) 합성 개구 레이더 영상을 이용한 수치표고자료 제작 장치및 그 방법
CN112488057A (zh) 一种利用人头点定位和关节点信息的单相机多目标跟踪方法
Chen et al. Building area estimation in drone aerial images based on mask R-CNN
CN104394356B (zh) 一种摄像机与高速球关联控制自动变倍方法
CN106338733A (zh) 基于蛙眼视觉特性的前视声呐目标跟踪方法
CN107845145B (zh) 一种电子显微场景下的三维重构系统及方法
CN111680586B (zh) 一种羽毛球运动员运动姿态估计方法及系统
CN109900274B (zh) 一种图像匹配方法及系统
CN113686314B (zh) 船载摄像头的单目水面目标分割及单目测距方法
CN115861591B (zh) 基于transformer关键纹理编码匹配的无人机定位方法
CN117572885B (zh) 基于无人机热红外相机的夜间追踪方法、系统及相关装置
CN113065506A (zh) 一种人体姿态识别方法及系统
CN115147629B (zh) 一种冰川三维建模与运动位移提取方法
CN113989612A (zh) 基于注意力及生成对抗网络的遥感影像目标检测方法
Lenzano et al. Assessment of ice-dam collapse by time-lapse photos at the Perito Moreno glacier, Argentina
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN109784189A (zh) 基于深度学习的视频卫星遥感图像景相匹配方法及其装置
Chen et al. Rapid 3d modeling using photogrammetry applied to google earth
CN115984592A (zh) 基于SuperPoint+SuperGlue的点线融合特征匹配方法
CN114882139A (zh) 一种多层级地图的端到端智能生成方法及系统
CN115187959A (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN114396921A (zh) 一种基于无人机的钱塘江涌潮高度及传播速度测量方法
CN114359821A (zh) 一种基于目标检测的群体灵长类动物运动量估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant