CN112613397A - 多视角光学卫星遥感影像目标识别训练样本集构建方法 - Google Patents

多视角光学卫星遥感影像目标识别训练样本集构建方法 Download PDF

Info

Publication number
CN112613397A
CN112613397A CN202011521708.3A CN202011521708A CN112613397A CN 112613397 A CN112613397 A CN 112613397A CN 202011521708 A CN202011521708 A CN 202011521708A CN 112613397 A CN112613397 A CN 112613397A
Authority
CN
China
Prior art keywords
data
view
sample set
labeling
satellite image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011521708.3A
Other languages
English (en)
Other versions
CN112613397B (zh
Inventor
薛武
赵玲
王鹏
赵龙
张河苇
钟灵毓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Original Assignee
Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peoples Liberation Army Strategic Support Force Aerospace Engineering University filed Critical Peoples Liberation Army Strategic Support Force Aerospace Engineering University
Priority to CN202011521708.3A priority Critical patent/CN112613397B/zh
Publication of CN112613397A publication Critical patent/CN112613397A/zh
Application granted granted Critical
Publication of CN112613397B publication Critical patent/CN112613397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models

Abstract

本发明属于卫星遥感信息智能处理技术领域，提供一种多视角光学卫星影像目标识别深度学习训练样本集构建方法。筛选搜集整理目标区域的三维模型数据和数字线划图信息，并就其比例尺、分辨率、时效性的一致性进行评估分析，筛选一致性较高的数据，如果数据不满足要求，则重新采集数据直至满足需求为止。基于三维场景的目标标注，卫星影像成像全链路仿真，将得到的多视角卫星影像进行标注与增广。本发明解决了现有的遥感影像目标检测数据集不能满足多视角光学卫星影像处理需求的问题，为多视角卫星影像在目标识别中的应用奠定了技术基础。

Description

多视角光学卫星遥感影像目标识别训练样本集构建方法
技术领域
本发明属于卫星遥感信息智能处理技术领域，具体涉及多视角光学卫星影像目标识别深度学习训练样本集构建方法。
背景技术
利用光学卫星遥感影像进行目标识别在国土资源普查、海上活动监测和军事目标搜索等领域具有重要的应用价值。为了提高卫星影像的覆盖能力，新一代光学遥感卫星通过多镜头成像、大角度侧摆等方式可以获取目标多视角影像。准确识别多视角影像中的目标是光学卫星影像应用的重要前提。当前，深度学习技术在计算机视觉目标识别和遥感影像处理中展现了较大的应用潜力，获得了显著优于传统机器学习方法的性能，可以用于处理多视角卫星影像。但深度学习技术依赖于大量人工标注的样本集，需要通过多次迭代训练不断优化模型参数。
多视角光学卫星影像目标识别训练样本集的标注具有较大的难度，主要是因为：(1)卫星遥感影像获取成本较高，其开源程度远低于计算机视觉中的近景影像，利用当前的开源手段获取足够的多视角样本集具有一定的难度；(2)随着卫星平台姿态控制和调整能力的不断提高，新成像方式的卫星不断出现，对于此类卫星，由于没有历史积累数据，难以建立相应的训练样本集。
当前比较具有代表性的开源光学卫星影像目标识别训练样本集主要有DIOR、DOTA、NWPU、VHR-10、HRSC2016等，在目标类型丰富程度、目标尺度变化范围、影像获取季节、地域背景、类间相似性和类内多样性等方面已经比较完善，并且通过多种方式进行了数据增广，在各个领域取得了广泛的应用。但是，以上数据集对于成像角度这一因素的考虑不足，其训练的模型参数用于多视角、大倾斜光学卫星影像目标识别时效果不佳，需要予以改进完善。
发明内容
本发明的目的解决多视角光学卫星影像获取成本较高、已有训练样本集成像多视角因素考虑不足、样本手动标注工作量大的技术问题。
为解决上述技术问题，本发明提出了一种基于地面三维场景数据和成像仿真的多视角光学卫星影像目标识别训练样本集构建方法，具体的技术方案如下：
步骤一、场景三维模型和基础地理信息的获取和筛选
搜集整理目标区域的三维模型数据和数字线划图信息，并就其比例尺、分辨率、时效性的一致性进行评估分析，筛选一致性较高的数据，如果数据不满足要求，则重新采集数据直至满足需求为止；
步骤二：基于三维场景的目标标注
对于数字线划图中已经有所标注的目标可以直接利用其位置信息作为标注信息，其余类型的目标需要人工补充标注；
步骤三：卫星影像成像全链路仿真
将步骤二提供的标注数据作为输入，根据任务需要设定多视角卫星成像的轨道姿态、相机内方位元素、MTF、大气条件、平台震颤参数，通过光线追迹法对成像过程中的每个地面点的光线传播全过程进行建模，实现多视角卫星影像的高精度数值仿真；
步骤四：样本集标注与增广
对步骤三得到的多视角卫星影像数据进行标注与增广，首先将数字线划图等基础地理信息以及人工标注标签中可以利用的标注信息进行转化，即将其地理坐标映射到模拟生成的多视角卫星影像，得到像素坐标，生成带标注的样本集，然后对该集进行增广，得到更为丰富的样本数据集。
和现有技术相比，本发明的有效收益如下：
1、本发明解决了现有的遥感影像目标检测数据集不能满足多视角光学卫星影像处理需求的问题，为多视角卫星影像在目标识别中的应用奠定了技术基础；
2、结合三维模型和数字线划图等基础地理信息的构建方式，大大提高了样本集构建的效率、可靠性，降低了样本集制作成本和专业门槛；
3、本发明可以适用于任意角度影像的模拟，因此其通用性好，可以适应不同卫星影像处理的需求；
4、本发明可以适用于在研新成像体制卫星影像的处理，由于采用的是影像模拟的方式，可以在卫星研制过程中提前开展影像处理实验，卫星入轨后即可开展真实数据处理工作，无需等待卫星真实数据积累的样本。
附图说明
图1为本发明实施例迪拜城区三维模型；
图2为本发明实施例迪拜城区矢量地图数据；
图3为本发明实施例部分样本示意图；
图4为本发明多视角光学卫星遥感影像目标识别训练样本集构建方法流程图。
具体实施方式
下面结合附图和实施例具体说明本发明的实现过程。
本发明的实现流程如图4所示，多视角光学卫星遥感影像目标识别训练样本集构建技术方案主要包含数据筛选、基于三维场景的目标标注、卫星影像成像全链路仿真、样本集标注与增广四大大步骤，每个步骤具体过程如下：
步骤一、场景三维模型和数字线画图地理信息的获取和筛选
在数字城市建设的背景下，多视角摄影测量技术得到快速发展与应用，获取了城市区域大量的真三维模型数据。这些数据空间分辨率较高，能够满足多视角卫星影像模拟的需要，并且套合数字线划图等基础地理信息，就可以实现主要地物类型的自动标注。
搜集整理目标区域的三维模型数据和数字线划图信息，并就其比例尺、分辨率、时效性的一致性进行评估分析，筛选一致性较高的数据，如果数据不满足要求，则重新采集数据直至满足需求为止。
步骤二：基于三维场景的目标标注
对满足评估需求的数据在三维模型中进行标注，由此为样本集的构建提供高质量的输入源，保证样本集的质量
步骤三：卫星影像成像全链路仿真：将步骤二提供的标注数据作为输入，根据需要设定多视角卫星成像的轨道姿态、相机内方位元素、MTF、大气条件、平台震颤参数，通过光线追迹法对成像过程中的每个地面点的光线传播全过程进行建模，实现多视角卫星影像的高精度数值仿真。该步骤的主要作用是得到多视角卫星影像，作为样本集构建的输入数据。
步骤四：样本集标注与增广：对步骤三得到的多视角卫星影像进行标注与增广。首先将数字线划图等基础地理信息以及人工标注标签中可以利用的标注信息进行转化，即将其地理坐标映射到模拟生成的多视角卫星影像，得到像素坐标，生成样本标注文件；然后对当前样本集进行增广，得到更为丰富的样本数据集。该步骤的主要作用是完成训练样本集的标注与增广，得到符合要求的训练数据集。
实施例1
利用迪拜城区的三维模型和矢量地图数据进行了多视角光学卫星遥感影像目标识别训练样本集构建，具体实施过程如下：
1、收集了迪拜城区的三维模型(图1)和适量地图数据(图2)，对其比例尺、分辨率、时效性等进行了评估。评估认为输入数据满足构建分辨率低于2m的多视角卫星影像需要，可以进一步开展工作。
2、利用迪拜城区的三维模型数据和矢量地图数据，设定多视角卫星成像的轨道姿态、相机内方位元素、MTF、大气条件、平台震颤等参数，通过光线追迹法对成像过程中的每个地面点的光线传播全过程进行建模，获得迪拜城区多视角卫星模拟影像。
3、对得到的模拟影像进行样本标注与增广，得到目标识别训练数据集，部分样本切片如图3所示。

Claims (1)

1.多视角光学卫星遥感影像目标识别训练样本集构建方法，其特征在于，包括如下步骤：
步骤一、场景三维模型和基础地理信息的获取和筛选
搜集整理目标区域的三维模型数据和数字线划图信息，并就其比例尺、分辨率、时效性的一致性进行评估分析，筛选一致性较高的数据，如果数据不满足要求，则重新采集数据直至满足需求为止；
步骤二：基于三维场景的目标标注
对于数字线划图中已经有所标注的目标可以直接利用其位置信息作为标注信息，其余类型的目标需要人工补充标注；
步骤三：卫星影像成像全链路仿真
将步骤二提供的标注数据作为输入，根据任务需要设定多视角卫星成像的轨道姿态、相机内方位元素、MTF、大气条件、平台震颤参数，通过光线追迹法对成像过程中的每个地面点的光线传播全过程进行建模，实现多视角卫星影像的高精度数值仿真；
步骤四：样本集标注与增广
对步骤三得到的多视角卫星影像数据进行标注与增广，首先将数字线划图基础地理信息以及人工标注标签中能够利用的标注信息进行转化，即将其地理坐标映射到模拟生成的多视角卫星影像，得到像素坐标，生成带标注的样本集，然后对该集进行增广，得到更为丰富的样本数据集。
CN202011521708.3A 2020-12-21 2020-12-21 多视角光学卫星遥感影像目标识别训练样本集构建方法 Active CN112613397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011521708.3A CN112613397B (zh) 2020-12-21 2020-12-21 多视角光学卫星遥感影像目标识别训练样本集构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011521708.3A CN112613397B (zh) 2020-12-21 2020-12-21 多视角光学卫星遥感影像目标识别训练样本集构建方法

Publications (2)

Publication Number Publication Date
CN112613397A true CN112613397A (zh) 2021-04-06
CN112613397B CN112613397B (zh) 2022-11-29

Family

ID=75245154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011521708.3A Active CN112613397B (zh) 2020-12-21 2020-12-21 多视角光学卫星遥感影像目标识别训练样本集构建方法

Country Status (1)

Country Link
CN (1) CN112613397B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220920A (zh) * 2021-06-01 2021-08-06 中国电子科技集团公司第五十四研究所 一种基于微服务架构的卫星遥感影像样本标注系统及方法
CN114419146A (zh) * 2022-03-30 2022-04-29 北京航天晨信科技有限责任公司 一种多源光学样本生成方法和系统
CN115841048A (zh) * 2023-02-13 2023-03-24 中国人民解放军火箭军工程大学 一种基于目标机理模型的多模仿真数据集制备方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103913148A (zh) * 2014-03-26 2014-07-09 中国科学院长春光学精密机械与物理研究所 航天tdiccd相机全链路数值仿真方法
CN107092752A (zh) * 2017-04-24 2017-08-25 北京理工大学 一种基于光线追迹的光学相机仿真成像方法和系统
CN108805201A (zh) * 2018-06-08 2018-11-13 湖南宸瀚信息科技有限责任公司 目标图像数据集生成方法及其装置
CN111739137A (zh) * 2020-05-26 2020-10-02 复旦大学 一种三维姿态估计数据集的生成方法
CN111783525A (zh) * 2020-05-20 2020-10-16 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法
CN111932673A (zh) * 2020-09-22 2020-11-13 中国人民解放军国防科技大学 一种基于三维重建的物体空间数据增广方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103913148A (zh) * 2014-03-26 2014-07-09 中国科学院长春光学精密机械与物理研究所 航天tdiccd相机全链路数值仿真方法
CN107092752A (zh) * 2017-04-24 2017-08-25 北京理工大学 一种基于光线追迹的光学相机仿真成像方法和系统
CN108805201A (zh) * 2018-06-08 2018-11-13 湖南宸瀚信息科技有限责任公司 目标图像数据集生成方法及其装置
CN111783525A (zh) * 2020-05-20 2020-10-16 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法
CN111739137A (zh) * 2020-05-26 2020-10-02 复旦大学 一种三维姿态估计数据集的生成方法
CN111932673A (zh) * 2020-09-22 2020-11-13 中国人民解放军国防科技大学 一种基于三维重建的物体空间数据增广方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BO PANG等: "High-efficient rendering of the multi-view image for the three-dimensional display based on the backward ray-tracing technique", 《OPTICS COMMUNICATIONS》 *
CHUNYUAN WANG等: "An Effective Correction Method for Seriously Oblique Remote Sensing Images Based on Multi-View Simulation and a Piecewise Model", 《SENSORS》 *
阮宁娟等: "空间光学遥感系统全链路仿真与分析", 《空间光学遥感系统全链路仿真与分析》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220920A (zh) * 2021-06-01 2021-08-06 中国电子科技集团公司第五十四研究所 一种基于微服务架构的卫星遥感影像样本标注系统及方法
CN113220920B (zh) * 2021-06-01 2022-08-12 中国电子科技集团公司第五十四研究所 一种基于微服务架构的卫星遥感影像样本标注系统及方法
CN114419146A (zh) * 2022-03-30 2022-04-29 北京航天晨信科技有限责任公司 一种多源光学样本生成方法和系统
CN114419146B (zh) * 2022-03-30 2022-07-12 北京航天晨信科技有限责任公司 一种多源光学样本生成方法和系统
CN115841048A (zh) * 2023-02-13 2023-03-24 中国人民解放军火箭军工程大学 一种基于目标机理模型的多模仿真数据集制备方法

Also Published As

Publication number Publication date
CN112613397B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN112613397B (zh) 多视角光学卫星遥感影像目标识别训练样本集构建方法
CN111898543B (zh) 一种融合几何感知与图像理解的建筑物自动提取方法
CN107133325B (zh) 一种基于街景地图的互联网照片地理空间定位方法
CN111553245A (zh) 基于机器学习算法和多源遥感数据融合的植被分类方法
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN105139350A (zh) 一种无人机侦察图像地面实时重建处理系统
CN111581884A (zh) 一种星载多分辨率目标光学辐射图像仿真方法
Bayanlou et al. Multi-task learning from fixed-wing UAV images for 2D/3D city modeling
CN116844068A (zh) 建筑测绘方法、系统、计算机设备及存储介质
CN111104850B (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN111536970A (zh) 一种用于低能见度大尺度场景的红外惯性组合导航方法
CN111950524B (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN111811502B (zh) 一种运动载体多源信息融合导航方法及系统
CN110569387B (zh) 基于深度哈希算法的雷达-图像跨模态检索方法
Javed et al. PanoVILD: a challenging panoramic vision, inertial and LiDAR dataset for simultaneous localization and mapping
CN115937673B (zh) 一种基于移动终端照片的地理要素快速变化发现方法
Lei et al. Using high-resolution imagery acquired with an autonomous unmanned aerial vehicle for urban construction and planning
Wang et al. Fast stitching of DOM based on small UAV
CN113554754A (zh) 一种基于计算机视觉的室内定位方法
CN114792338A (zh) 基于先验三维激光雷达点云地图的视觉融合定位方法
CN113139661A (zh) 一种基于深度学习和多目遥感影像的地物深度预测方法
Lee et al. A feasibility study on smartphone localization using image registration with segmented 3d building models based on multi-material classes
Dhruwa et al. Generation of 3-D Large-Scale Maps using LiDAR Point Cloud Data
Gu et al. Surveying and mapping of large-scale 3D digital topographic map based on oblique photography technology
Tang et al. UAV Visual Localization Technology Based on Heterogenous Remote Sensing Image Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant