CN114842286B - 基于真实地形的大规模遥感数据集生成方法 - Google Patents
基于真实地形的大规模遥感数据集生成方法 Download PDFInfo
- Publication number
- CN114842286B CN114842286B CN202210303745.XA CN202210303745A CN114842286B CN 114842286 B CN114842286 B CN 114842286B CN 202210303745 A CN202210303745 A CN 202210303745A CN 114842286 B CN114842286 B CN 114842286B
- Authority
- CN
- China
- Prior art keywords
- real
- data
- terrain
- image
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000012876 topography Methods 0.000 title claims abstract description 9
- 238000002372 labelling Methods 0.000 claims description 19
- 239000000463 material Substances 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种基于真实地形的大规模遥感数据集生成方法。通过真实地形数据的导入、现实世界CAD建模数据的引入以及光线追踪技术的使用，在生成具有多样性数据的同时保证了生成数据的真实性。本发明能够提高虚拟生成数据的真实性，降低大规模数据标注成本，还可以快速扩展标注的数据类型。
Description
技术领域
本发明属计算机视觉、图形处理技术领域，具体涉及一种基于真实地形的大规模遥感数据集生成方法。
背景技术
随着深度神经网络快速发展，神经网络模型参数量快速扩增，大量完全标注的数据的重要性逐步提升。人工标注的数据集不可避免地存在人为原因造成的数据错标、漏标现象。大规模数据集标注工作成本高昂，工作繁琐。现行的遥感数据集，例如DOTA、DIOR、NWPU VHR-10等，全部属于固定类别数据集，即仅标注了指定类别数据，对于未涉及类别数据的识别无法提供服务。同时NWPU VHR-10数据规模仅为800张图片，且标注使用BoundingBox人工标注，不可避免地引入视觉误差。
“G.Ros,L.Sellart,and A.Lopez,The SYNTHIADataset:ALarge Collection ofSynthetic Images for Semantic Segmentation of Urban Scenes,in Proc.of theIEEE Conference on Computer Vision and Pattern Recognition,2016,pp.3234–3243”中提供了一个用于自动驾驶的数据集，支持不同的天气与环境设置以及完全标注。“A.Barisic,F.Petric,and S.Bogdan,Sim2Air-Synthetic aerial dataset for UAVmonitoring,arXiv preprint,arXiv:2110.05145v1,2021”提供了用于无人机检测的合成数据，支持多种纹理。两种数据集采用了虚拟合成的方式使得目前较优秀的目标检测算法在提出的数据集上获得了较好的性能，证明了虚拟数据的可靠性。但同时存在着不足，例如真实性较差，范围、类别受限。且后一种方法还存在着手动合成图片的复杂工作，并没有完全体现出虚拟数据易于获取大量完全标注数据的优点。
发明内容
为了解决数据标注成本高、准确度低、数据获取困难、类别少的问题，本发明提供一种基于真实地形的大规模遥感数据集生成方法。通过真实地形数据的导入、现实世界CAD建模数据的引入以及光线追踪技术的使用，在生成具有多样性数据的同时保证了生成数据的真实性。本发明能够提高虚拟生成数据的真实性，降低大规模数据标注成本，还可以快速扩展标注的数据类型。
一种基于真实地形的大规模遥感数据集生成方法，其特征在于步骤如下：
步骤1：导入真实地形数据，由Google Earth或其他GIS系统选择与真实地形对应的高度图Heightmap，按照高度图Heightmap各点的数值生成海拔高度，得到地图基线；
步骤2：利用蓝图BluePrint编程工具中的材质生成函数Material创建得到多层融合的仿真地面植被材质，利用渲染函数Layer对不同地面植被材质进行纹理渲染，得到随地图基线动态调整的植被覆盖；
步骤3：利用CAD建模数据导入需要标注的实体Actor，并使之与地形贴合，得到指定类别附着于地形的完全标注图像；所述的指定类别包括车辆、树木、建筑、沙砾、植被、船舶；
步骤4：利用光线编辑工具在步骤3得到的标注图像上生成体积云和射线光，使地形表面植被与实体Actor表面材质呈现真实光照下的表面色彩，得到模拟真实光照条件的图像色彩分布；
步骤5：固定镜头于指定高度，等角度变化光照方向、等间距移动镜头，直到光线旋转180°，同时镜头移动至尽头，获得相同尺度的图像，在步骤4的基础上按照拟标注类别选中实体Actor，导出图像与分类别选中后的完全标注图像，即得到虚拟生成的具有大规模标注的遥感数据集。
本发明的有益效果是：通过真实数据引入，能够最大限度地保证数据真实性。由于采用光线追踪手段使得虚拟数据集真实性得到提升。由于数据引入光线编辑工具进行实时光线追踪，支持快速扩展标注类别，较以往数据集能够快速扩展至新类别数据。由于数据系编程手段生成，避免了大规模数据集手工标注不准确、成本高的问题。采用本方法进行数据集标注，能够将每小时2000个标注点提高至每小时10000个完全标注图以上，在精度与速度上对标注图像进行提升的同时，不损失标注图像的真实性。
附图说明
图1是本发明基于真实地形的大规模遥感数据集生成方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1所示，本发明提供了一种基于真实地形的大规模遥感数据集生成方法，其具体实现过程如下：
步骤1：导入真实地形数据，由Google Earth或其他GIS系统选择与真实地形对应的高度图Heightmap，Heightmap为边长大于64小于2048的正方形，每个点数值在－1与1之间，按照Heightmap各点的数值生成海拔高度，得到地图基线。
步骤2：利用蓝图BluePrint编程工具中的材质生成函数Material创建得到多层融合的仿真地面植被材质，利用渲染函数Layer对不同地面植被材质进行纹理渲染，得到随地图基线动态调整的植被覆盖。
材质生成函数如下：
Color＝Lerp(Coordinate,Distance)
Normal＝Lerp(Coordinate,Distance)
Roughness＝Blend(Distance,Offset)
Material＝(Color,Normal,Roughness)
地面渲染函数如下：
Grass＝Blend(Rock×Grass,Slope,Bias)
Layer＝Blend(Grass,Rock,Sand)×Gloss
步骤3：利用CAD建模数据导入需要标注的实体Actor，并使之与地形贴合，得到指定类别附着于地形的完全标注图像。所述的指定类别包括车辆、树木、建筑、沙砾、植被、船舶。导入的Actor与虚拟生成的Actor具有相同的特性，能够在光线照射与反射下形成阴影，能够与地形完全贴合，相同Actor能够逐个置入场景，并且能够在控制密度的同时批量置入。
步骤4：在上述工作的基础上，利用光线编辑工具在步骤3得到的标注图像上生成体积云和射线光，并启用光线追踪，使地形表面植被与实体Actor表面材质呈现真实光照下的表面色彩，得到模拟真实光照条件的图像色彩分布，完成整个场景搭建。
步骤5：固定镜头于指定高度，等角度变化光照方向、等间距移动镜头，直到光线旋转180°，同时镜头移动至尽头，获得相同尺度的图像，在步骤4的基础上按照拟标注类别选中实体Actor，导出图像与分类别选中后的完全标注图像，即得到虚拟生成的具有大规模标注的遥感数据集。
本发明的效果可以通过以下实验结果做进一步的说明：在2.5GHzCPU、DDR4 2667MHz 8G*2内存、Windows 10操作系统、Nvidia GTX1660 super 6GB GPU上，使用Unreal5.0引擎进行的基于真实地形的地面场景搭建。
本发明能够在几个小时内完成上千目标点的标注工作的同时，扩展标注类别；且主要工作在于场景搭建工作，具体目标部署能够在复用场景的基础上进行快速扩增。较以往虚拟遥感数据集，本发明的场景基于真实地形数据，通过引入Heightmap数据并结合地形倾角布置植被，整个场景与真实情况的相似度得到提高；能够获取大量准确标注数据且较以往工作提升了场景真实度与准确度。
表1给出了已有遥感数据集TAS(2008年)、SZTAKI-INRIA(2012年)、NWPU VHR-10(2014年)、VehicleX(2019年)、GCC(2019年)的目标种类、图像数量、目标数量等标注指标与本发明的标注数量的对比结果。可以看出，本发明能够提供更多类别的同时提供100组以上车辆、船舶、房屋、乔木、灌木、房屋、岩石与飞机实体，荒漠、沙滩、草地、公路与森林场景。根据地形与光照不同能够按照需求生成数以百万计的完全标注目标的图像，且能够得到与遥感图像相同的固定高度。对比同为虚拟数据集的其他任务数据集能够在提供更多类别的同时提供不逊色于其他数据集的目标个数。
表1
| 数据集 | 目标种类 | 图像数量 | 目标个数 |
| TAS | 1 | 30 | 1319 |
| SZTAKI-INRIA | 1 | 9 | 665 |
| NWPU VHR-10 | 10 | 800 | 3775 |
| VehicleX | 1 | ∞ | 1362 |
| GCC | 1 | 15212 | 7625843 |
| 本发明 | 10+ | ∞ | 100+种 |
Claims (1)
1.一种基于真实地形的大规模遥感数据集生成方法，其特征在于步骤如下：
步骤1：导入真实地形数据，由Google Earth或其他GIS系统选择与真实地形对应的高度图Heightmap，按照高度图Heightmap各点的数值生成海拔高度，得到地图基线；
步骤2：利用蓝图BluePrint编程工具中的材质生成函数Material创建得到多层融合的仿真地面植被材质，利用渲染函数Layer对不同地面植被材质进行纹理渲染，得到随地图基线动态调整的植被覆盖；
步骤3：利用CAD建模数据导入需要标注的实体Actor，并使之与地形贴合，得到指定类别附着于地形的完全标注图像；所述的指定类别包括车辆、树木、建筑、沙砾、植被、船舶；
步骤4：利用光线编辑工具在步骤3得到的标注图像上生成体积云和射线光，使地形表面植被与实体Actor表面材质呈现真实光照下的表面色彩，得到模拟真实光照条件的图像色彩分布；
步骤5：固定镜头于指定高度，等角度变化光照方向、等间距移动镜头，直到光线旋转180°，同时镜头移动至尽头，获得相同尺度的图像，在步骤4的基础上按照拟标注类别选中实体Actor，导出图像与分类别选中后的完全标注图像，即得到虚拟生成的具有大规模标注的遥感数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210303745.XA CN114842286B (zh) | 2022-03-24 | 2022-03-24 | 基于真实地形的大规模遥感数据集生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210303745.XA CN114842286B (zh) | 2022-03-24 | 2022-03-24 | 基于真实地形的大规模遥感数据集生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114842286A CN114842286A (zh) | 2022-08-02 |
| CN114842286B true CN114842286B (zh) | 2024-02-23 |
Family
ID=82562061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210303745.XA Active CN114842286B (zh) | 2022-03-24 | 2022-03-24 | 基于真实地形的大规模遥感数据集生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842286B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014015697A1 (zh) * | 2012-05-04 | 2014-01-30 | 运软网络科技(上海)有限公司 | 一种虚拟网络的自主管理系统和方法 |
| CN108492382A (zh) * | 2018-04-10 | 2018-09-04 | 中国建筑局（集团）有限公司 | Vr可视化施工交底方法及系统 |
| CN108932742A (zh) * | 2018-07-10 | 2018-12-04 | 北京航空航天大学 | 一种基于遥感图像分类的大规模红外地形场景实时渲染方法 |
| CN109448086A (zh) * | 2018-09-26 | 2019-03-08 | 青岛中科慧畅信息科技有限公司 | 基于稀疏实采数据的分拣场景平行数据集构建方法 |
| CN110335350A (zh) * | 2019-06-21 | 2019-10-15 | 南京师范大学 | 基于地形特征的虚拟地形生成方法 |
| AU2020101054A4 (en) * | 2020-06-19 | 2020-07-30 | Guizhou Institute Of Pratacultural | A Multi-source Remote Sensing Data Classification Method Based On the Classification Sample Points Extracted By the UAV |
-
2022
- 2022-03-24 CN CN202210303745.XA patent/CN114842286B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014015697A1 (zh) * | 2012-05-04 | 2014-01-30 | 运软网络科技(上海)有限公司 | 一种虚拟网络的自主管理系统和方法 |
| CN108492382A (zh) * | 2018-04-10 | 2018-09-04 | 中国建筑局（集团）有限公司 | Vr可视化施工交底方法及系统 |
| CN108932742A (zh) * | 2018-07-10 | 2018-12-04 | 北京航空航天大学 | 一种基于遥感图像分类的大规模红外地形场景实时渲染方法 |
| CN109448086A (zh) * | 2018-09-26 | 2019-03-08 | 青岛中科慧畅信息科技有限公司 | 基于稀疏实采数据的分拣场景平行数据集构建方法 |
| CN110335350A (zh) * | 2019-06-21 | 2019-10-15 | 南京师范大学 | 基于地形特征的虚拟地形生成方法 |
| AU2020101054A4 (en) * | 2020-06-19 | 2020-07-30 | Guizhou Institute Of Pratacultural | A Multi-source Remote Sensing Data Classification Method Based On the Classification Sample Points Extracted By the UAV |
Non-Patent Citations (2)
| Title |
|---|
| ObjectGAN:自动驾驶评估数据集构建;王鹏淇;孟令中;董乾;杨光;师源;薛云志;;测控技术;20200818(08);119-124 * |
| 室内平面图分块矢量化与高效三维建筑建模;张宏鑫;李嫄姝;宋超;;计算机科学与探索;20130115(01);67-77 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114842286A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111599001B (zh) | 基于图像三维重建技术的无人机导航地图构建系统及方法 | |
| CN113034689B (zh) | 基于激光点云的地形三维模型及地形图构建方法和系统、存储介质 | |
| Dubbini et al. | Digital elevation models from unmanned aerial vehicle surveys for archaeological interpretation of terrain anomalies: case study of the Roman castrum of Burnum (Croatia) | |
| Sun et al. | Aerial 3D building detection and modeling from airborne LiDAR point clouds | |
| CN108734728A (zh) | 一种基于高分辨序列图像的空间目标三维重构方法 | |
| CN108010092A (zh) | 一种基于低空摄影测量的城市高密度区太阳能利用潜力评估方法 | |
| US20090210205A1 (en) | Geospatial modeling system providing simulated tree trunks and branches for groups of tree crown vegetation points and related methods | |
| CN111612896B (zh) | 一种基于机载激光雷达树点云重建三维树模型的方法 | |
| CN113096250A (zh) | 基于无人机航拍影像序列的三维建筑模型库系统构建方法 | |
| Chen et al. | 3D photogrammetry point cloud segmentation using a model ensembling framework | |
| CN114004938B (zh) | 一种基于海量数据的城市场景重建方法及装置 | |
| Risse et al. | Software to convert terrestrial LiDAR scans of natural environments into photorealistic meshes | |
| CN117765006A (zh) | 基于无人机影像与激光点云的多层次密集树冠分割方法 | |
| CN110580468B (zh) | 一种基于影像匹配点云的单木结构参数提取的方法 | |
| CN114842286B (zh) | 基于真实地形的大规模遥感数据集生成方法 | |
| Khan et al. | Clifford geometric algebra-based approach for 3D modeling of agricultural images acquired by UAVs | |
| Maravelakis et al. | Automatic building identification and features extraction from aerial images: Application on the historic 1866 square of Chania Greece | |
| KR20230026916A (ko) | 드론을 이용하여 시계열정보가 포함된 3차원 지도의 제작 방법 | |
| Wu et al. | Derivation of Geometrically and Semantically Annotated UAV Datasets at Large Scales from 3D City Models | |
| Zhang et al. | Multi-view 3D city model generation with image sequences | |
| Ju et al. | Three-Dimensional Reconstruction of Maize Plants and Extraction of Phenotypic Parameters Based on Laser Point Cloud Data | |
| Qu et al. | 3D Reconstruction Method Based on Aerial Sequence of UAV | |
| Limongiello et al. | Image—Based Modelling Restitution: Pipeline for Accuracy Optimisation | |
| Moon et al. | Pre-processing Methodology of Image Compensation using Histogram Equalization for Generating Point-cloud of Construction Environment | |
| Chiabrando et al. | 3D roof model generation and analysis supporting solar system positioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |