CN113112589B - 基于空间占用概率融合的增量式遥感图像的三维重建方法 - Google Patents

基于空间占用概率融合的增量式遥感图像的三维重建方法 Download PDF

Info

Publication number
CN113112589B
CN113112589B CN202110395050.4A CN202110395050A CN113112589B CN 113112589 B CN113112589 B CN 113112589B CN 202110395050 A CN202110395050 A CN 202110395050A CN 113112589 B CN113112589 B CN 113112589B
Authority
CN
China
Prior art keywords
building
space occupation
model
dimensional
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110395050.4A
Other languages
English (en)
Other versions
CN113112589A (zh
Inventor
闫奕名
曹振赫
宿南
冯收
赵春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202110395050.4A priority Critical patent/CN113112589B/zh
Publication of CN113112589A publication Critical patent/CN113112589A/zh
Application granted granted Critical
Publication of CN113112589B publication Critical patent/CN113112589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于空间占用概率融合的增量式遥感图像的三维重建方法，属于遥感图像三维重建技术领域。本发明是为了解决利用单幅图像进行三维重建时，通过后续增加该建筑物的图像，无法对之前重建得到的建筑物模型进行优化，导致得到的三维建筑物结构特征精度低的问题。本发明方法包括：获取待重建建筑物目标图像和每个建筑物对应的建筑物模型；将图像和模型输入Onet单幅图像重建网络进行训练得到重建网络参数模型；将待重建目标建筑物图像输入模型，获取空间占用模型的边界，形成建筑物的空间占用模型；对所有空间占用模型进行三维信息融合，得到最终空间占用模型；生成三维表面网格，获得建筑物的三维模型，实现建筑物的三维重建。本发明用于三维建筑物重建。

Description

基于空间占用概率融合的增量式遥感图像的三维重建方法
技术领域
本发明涉及基于空间占用概率特征融合的增量式倾斜遥感图像的三维重建方法。属于遥感图像三维重建技术领域。
背景技术
随着我国遥感技术的提升遥感数据获取能力的加强，根据遥感信息进行建筑物的三维模型重建技术已经成为数字军事战场模拟的重要一环。研究建筑物的重建技术，利用卫星、航空飞机、无人机等遥感平台获取的高分辨率遥感图像，进行战场三维地理信息快速、详细、精确获取与重建，将有利于建设一个透明的、精细的、真实的数字化战场，为武器系统精确打击、打击效果评估提供重要保障，为正确决策和科学指挥提供可靠的依据。
如今，传统的主动式重建方法如基于光学的可见光法和阴影法等重建方法，存在着测量设备的不便携、复杂性以及测量时间过长，重建速度过慢的局限性，无法满足不同场景的重建需要。因此许多研究者们根据遥感技术获取数据的便利性，着力研究可以同时满足准确性和有效性的建筑物模型重建方法。现阶段的常规方法是基于多目立体视觉匹配进行重建的方法和利用运动恢复结构(SFM)的方法，这两种方法都需要利用多幅图像作为输入数据，利用三角测量原理获取物体的深度信息实现模型重建或是通过特征提取和匹配来恢复相机的姿态参数及三维几何信息。但是这些方法都对图像的数量有一定的要求，若是图像数量较少，根据图像得到的信息不能完好的匹配，则会导致重建出的模型会产生畸变，严重影响模型重建效果。因此，当遇到一些紧急情况时，在获得的遥感信息不够充分的情况下，很难获得理想的重建效果。
而近期许多人尝试结合深度学习来实现利用单幅图像进行三维重建的方法，以达到快速、精确重建建模的目的，但它们都有一个普遍性的问题，那就是通常只对可视部分的结构重建准确性更高，而遮挡部分的重建效果却不是很理想，存在一些重建模型与实际物体不相匹配的情况；针对军事侦察和军事模拟，主要面临的问题在于一些地区遥感资源比较稀缺，现有的对于遥感图像稀缺的地方建筑物重建效果不太理想，每当有新的遥感图像时，只能使用新的图像重建新的模型，不能结合原有的图像对重建模型进行更新优化，导致得到的三维建筑物模型尺寸不精确、结构不够完整，从而无法根据三维建筑物模型反映出三维建筑物的结构特征。因此，如何利用单幅图像实现三维重建，并随着建筑物遥感图像数量的增加来进一步优化建筑物模型的增量式重建方法值得进一步研究。
发明内容
本发明是为了解决利用单幅图像进行三维重建时，通过后续增加该建筑物的图像，无法对之前重建得到的建筑物模型进行优化，导致得到的三维建筑物结构特征精度低的问题。现提供基于空间占用概率特征融合的增量式倾斜遥感图像的三维重建方法。
基于空间占用概率特征融合的增量式倾斜遥感图像的三维重建方法，包括：
步骤一、从遥感图像中选取待重建的建筑物目标图像，对每个待重建的建筑物目标图像进行裁剪，获得不同角度的单个建筑物遥感图像，对每个建筑物图像进行建模，得到与每个建筑物一一对应的建筑物模型，将所有建筑物遥感图像和图像对应的建筑物模型作为训练数据；
步骤二、将训练数据输入Onet单幅图像重建网络，对Onet单幅图像重建网络进行训练，得到训练好的重建网络参数模型；
步骤三、将待重建的目标建筑物图像输入训练好的重建网络参数模型，通过训练好的重建网络参数模型计算出建筑物中采样点的空间占用概率P1，再将同一建筑物不同角度的n张图像输入训练好的重建网络参数模型，得到多个新的建筑物中采样点的空间占用概率P2,P3,...,Pi,...,Pn，并设定概率置信度τ，当建筑物中采样点的空间占用概率Pi<τ时，则判断该点在空间占用模型外侧，当Pi≥τ时，则判断该点在空间占用模型内侧，根据该点在空间占用模型内外侧的位置获取空间占用模型的边界，进而形成建筑物的空间占用模型；
步骤四、获取空间占用模型的最大交并比3D-IoU，将多个空间占用模型的空间占用概率坐标系进行三维配准，使每个空间占用模型都保持在同一角度，再对所有空间占用模型进行三维信息融合，得到最终的空间占用模型；
步骤五、根据融合得到的空间占用模型，生成三维表面网格，获得建筑物的三维模型，实现建筑物的三维重建。
有益效果
本发明方法利用增量遥感图像作为输入，获得每幅图像中建筑物的空间占用模型，利用不同图像间的互补性，将空间占用模型进行配准与融合，获得准确的空间占用模型，进而获得三维建筑模型，从而通过三维建筑物模型能够反映出准确的三维建筑物结构特征。
该方法可以在使用较少遥感图片的情况下，短时间内得到高质量、尺度精确的建筑物三维模型，并随着输入图像数量的增加来进一步优化建筑物模型，在很大程度上节省了人力物力，使建筑物模型可以快速应用于军事战场侦察、军事模拟领域。
附图说明
图1为利用多幅倾斜遥感图像实现建筑物重建流程图；
图2为空间占用概率特征融合方法示意图。
具体实施方式
具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的基于空间占用概率特征融合的增量式倾斜遥感图像的三维重建方法，包括：
步骤一、在包含有多个建筑物的多幅遥感图像中，选取所有待重建的建筑物目标图像，对每一个目标建筑物图像作为单独的目标进行剪裁，获得多个不同角度下的单个建筑物遥感图像，基于现有模型数据，利用建模工具对每个目标建筑物进行手工建模，得到与每个建筑物一一对应的建筑物模型，把所有的建筑物遥感图像和图像对应的建筑物模型作为训练数据；建筑物的形状中心应处于图像中心且建筑物在图像中的占比要超过50％以上，剪裁图像应为正方形，并保持相同的分辨率；滤除建筑物背景，只保留建筑物图像信息，其他部分设置白色背景，以提升后续训练效果；
步骤二、将训练数据输入Onet单幅图像重建网络，对Onet单幅图像重建网络进行训练，输入300组图像和对应的模型数据(每组数据包括1幅建筑物遥感图像以及一个建筑物三维模型)作为训练数据，建立二维图像与三维模型的映射关系，以获得训练好的理想的重建网络参数模型；
步骤三、将待重建的目标建筑物图像输入训练好的重建网络参数模型，通过训练好的重建网络参数模型计算出建筑物采样点的空间占用概率P1，将同一建筑物不同角度的n张图像输入训练好的重建网络参数模型，将图像信息与图像到模型的映射关系相结合，获得多个新的建筑物采样点的空间占用概率即P2,P3,...,Pn；根据输入图像的角度不同，设定不同的概率置信度τ，当建筑物中采样点的空间概率Pi<τ时，则判断该点在空间占用模型外侧，当Pi≥τ时，则判断该点在空间占用模型内侧，根据该点在空间占用模型内外侧的位置来区分模型内部与外部以获得模型边界，进而形成各建筑物的空间占用模型；
步骤四、选取3D-IoU的模型评价指标，为了使模型得到更好的优化，故使得使两个空间占用模型相似度达到最大，即获得最大的交并比，得到最大的3D-IoU值，将多个空间占用模型在空间占用概率坐标系中进行三维配准，使每个模型都保持在同一角度(重建出来的模型可能不都是朝着一个方向的，输入图片的角度不同，模型的角度也存在不同，因此进行融合的时候要把所有的模型统一到一个角度上进行)，再对所有的空间占用模型进行三维信息融合以获得最终精确的空间占用模型；
步骤五、根据融合得到的空间占用模型，采用移动立方体算法(MCA)，生成三维表面网格，获得建筑物的三维模型，实现建筑物的三维重建。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述步骤四中计算3D-IoU表达式如下：
Figure BDA0003018213500000041
其中，A和B为建筑物的空间占用模型。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤四中对所有的空间占用模型进行三维信息融合，融合时，优化设定融合权重，可依据每幅图像获取建筑物的角度信息和位置信息，对每个采样点的空间占用概率分配其对应的权值μ，获得的采样点空间占用概率通过如下公式计算：
Pb＝μ1P1+μ2P2+…+μnPn
其中，Pb表示模型融合后的空间占用概率；μn表示第n个模型空间占用概率对应的权值，μ1+μ2+,...,μn＝1。
其它步骤及参数与具体实施方式一或二相同。

Claims (4)

1.基于空间占用概率融合的增量式遥感图像的三维重建方法，其特征在于，包括：
步骤一、从遥感图像中选取待重建的建筑物目标图像，对每个待重建的建筑物目标图像进行裁剪，获得不同角度的单个建筑物遥感图像，对每个建筑物图像进行建模，得到与每个建筑物一一对应的建筑物模型，将所有建筑物遥感图像和图像对应的建筑物模型作为训练数据；
所述步骤一中裁剪得到的单个建筑物图像为正方形，建筑物的中心处于图像中心，且建筑物在图像中的占比大于50％；
步骤二、将训练数据输入Onet单幅图像重建网络，对Onet单幅图像重建网络进行训练，得到训练好的重建网络参数模型；
步骤三、将待重建的目标建筑物图像输入训练好的重建网络参数模型，通过训练好的重建网络参数模型计算出建筑物中采样点的空间占用概率P1，再将同一建筑物不同角度的n张图像输入训练好的重建网络参数模型，得到多个新的建筑物中采样点的空间占用概率P2,P3,...,Pi,...,Pn，并设定概率置信度τ，当建筑物中采样点的空间占用概率Pi＜τ时，则判断该点在空间占用模型外侧，当Pi≥τ时，则判断该点在空间占用模型内侧，根据该点在空间占用模型内外侧的位置获取空间占用模型的边界，进而形成建筑物的空间占用模型；
步骤四、获取空间占用模型的最大交并比3D-IoU，将多个空间占用模型的空间占用概率坐标系进行三维配准，使每个空间占用模型都保持在同一角度，再对所有空间占用模型进行三维信息融合，得到最终的空间占用模型；
步骤五、根据融合得到的空间占用模型，生成三维表面网格，获得建筑物的三维模型，实现建筑物的三维重建。
2.根据权利要求1所述基于空间占用概率融合的增量式遥感图像的三维重建方法，其特征在于，所述步骤四中计算3D-IoU的表达式如下：
Figure FDA0003747873890000011
其中，A和B表示建筑物的空间占用模型。
3.根据权利要求1所述基于空间占用概率融合的增量式遥感图像的三维重建方法，其特征在于，所述步骤四对所有空间占用模型进行三维信息融合，融合得到的采样点的空间占用概率通过如下公式计算：
Pb＝μ1P1+μ2P2+…+μnPn
其中，Pb表示模型融合后的空间占用概率；μn表示第n个模型空间占用概率对应的权值，μ1+μ2+,...,μn＝1。
4.根据权利要求1所述基于空间占用概率融合的增量式遥感图像的三维重建方法，其特征在于，所述步骤五中根据融合得到的空间占用模型，生成三维表面网格，所采用的方法为移动立方体算法。
CN202110395050.4A 2021-04-13 2021-04-13 基于空间占用概率融合的增量式遥感图像的三维重建方法 Active CN113112589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110395050.4A CN113112589B (zh) 2021-04-13 2021-04-13 基于空间占用概率融合的增量式遥感图像的三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110395050.4A CN113112589B (zh) 2021-04-13 2021-04-13 基于空间占用概率融合的增量式遥感图像的三维重建方法

Publications (2)

Publication Number Publication Date
CN113112589A CN113112589A (zh) 2021-07-13
CN113112589B true CN113112589B (zh) 2022-09-02

Family

ID=76716229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110395050.4A Active CN113112589B (zh) 2021-04-13 2021-04-13 基于空间占用概率融合的增量式遥感图像的三维重建方法

Country Status (1)

Country Link
CN (1) CN113112589B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763539B (zh) * 2021-09-09 2023-04-07 哈尔滨工业大学（深圳） 一种基于图像和三维输入的隐式函数三维重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103163720A (zh) * 2011-12-16 2013-06-19 胡宗甫 一种无介质无屏幕空中激光干涉多维三d成像系统
US10394244B2 (en) * 2016-05-26 2019-08-27 Korea University Research And Business Foundation Method for controlling mobile robot based on Bayesian network learning
EP4273655A3 (en) * 2016-11-08 2023-12-20 Dogtooth Technologies Limited A robotic fruit picking system
CN110059741B (zh) * 2019-04-15 2022-12-02 西安电子科技大学 基于语义胶囊融合网络的图像识别方法
CN110415280B (zh) * 2019-05-06 2021-07-13 中国地质大学（武汉） 多任务cnn模型下的遥感影像与建筑物矢量配准方法及系统
CN110334719B (zh) * 2019-07-11 2020-07-28 兰州交通大学 一种提取遥感影像中建筑物图像的方法及系统
CN111340944B (zh) * 2020-02-26 2022-05-17 清华大学 基于隐式函数和人体模板的单图像人体三维重建方法
CN112254675B (zh) * 2020-10-15 2023-04-11 天目爱视（北京）科技有限公司 一种包含运动物体的空间占用率采集判断设备及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN112132972A (zh) * 2020-09-29 2020-12-25 凌美芯（北京）科技有限责任公司 一种激光与图像数据融合的三维重建方法及系统

Also Published As

Publication number Publication date
CN113112589A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN105865454B (zh) 一种基于实时在线地图生成的无人机导航方法
CN113066162B (zh) 一种用于电磁计算的城市环境快速建模方法
CN109241978B (zh) 地基三维激光点云中平面片的快速提取方法
CN109631911B (zh) 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法
CN113592989A (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN112418129B (zh) 一种点云数据处理的方法、装置、电子设备及存储介质
CN110232738B (zh) 基于视差图和关键点的多视图遥感图像立体重构方法
CN113361499B (zh) 基于二维纹理和三维姿态融合的局部对象提取方法、装置
CN112613397B (zh) 多视角光学卫星遥感影像目标识别训练样本集构建方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN110889899A (zh) 一种数字地表模型的生成方法及装置
US11922572B2 (en) Method for 3D reconstruction from satellite imagery
CN113112589B (zh) 基于空间占用概率融合的增量式遥感图像的三维重建方法
CN113192200A (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
CN104751451B (zh) 基于无人机低空高分辨率影像的密集点云提取方法
CN117422753A (zh) 一种联合光学和sar图像的高精度场景实时三维重建方法
CN110009740A (zh) 基于运动恢复结构的地质露头快速三维重建方法
CN112132950B (zh) 一种基于众包图像的三维点云场景更新方法
CN116543117B (zh) 一种无人机影像的高精度大场景三维建模方法
CN110927765A (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN107578429B (zh) 基于动态规划和全局代价累积路径的立体影像密集匹配方法
CN115830116A (zh) 一种鲁棒视觉里程计方法
CN113066161B (zh) 一种城市电波传播模型的建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant