CN112017159B - 一种遥感场景下的地面目标真实感仿真方法 - Google Patents

一种遥感场景下的地面目标真实感仿真方法 Download PDF

Info

Publication number
CN112017159B
CN112017159B CN202010739484.7A CN202010739484A CN112017159B CN 112017159 B CN112017159 B CN 112017159B CN 202010739484 A CN202010739484 A CN 202010739484A CN 112017159 B CN112017159 B CN 112017159B
Authority
CN
China
Prior art keywords
scene
target
data
remote sensing
lab
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010739484.7A
Other languages
English (en)
Other versions
CN112017159A (zh
Inventor
李海巍
陈军宇
张耿
陈铁桥
王爽
胡炳樑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XiAn Institute of Optics and Precision Mechanics of CAS
Original Assignee
XiAn Institute of Optics and Precision Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XiAn Institute of Optics and Precision Mechanics of CAS filed Critical XiAn Institute of Optics and Precision Mechanics of CAS
Priority to CN202010739484.7A priority Critical patent/CN112017159B/zh
Publication of CN112017159A publication Critical patent/CN112017159A/zh
Application granted granted Critical
Publication of CN112017159B publication Critical patent/CN112017159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种遥感场景下的地面目标真实感仿真方法，解决现有遥感数据模拟在遥感地面空间模拟阶段下存在二维空间纹理信息不足，以及三维建模的复杂性问题。该方法包括：1)输入模拟参数；2)选择目标生成网络；3)根据选择的生成模型自适应生成场景目标；4)对生成的遥感目标进行显著性分割，提取相应的掩膜；5)根据输入的参数对生成的遥感目标和提取的掩膜进行尺度变换以及方向旋转；6)将步骤5)中的遥感目标以及目标掩膜结合遥感背景场景进行泊松融合；7)根据输入时间以及气候参数进行气候特征映射；8)输出最终真实场景下虚拟目标的仿真结果。

Description

一种遥感场景下的地面目标真实感仿真方法
技术领域
本发明属于遥感数据定量化模拟领域，具体涉及一种遥感场景下的地面目标真实感仿真方法，用于在遥感场景下对遥感目标进行模拟研究。
背景技术
在遥感器研制与投入使用前，需对研制的遥感器载荷指标进行完整系统的认识。为了最大限度的降低载荷发射的成本和风险，通常在遥感器研制阶段构建模拟系统进行有关数据的模拟。因此，通过对场景目标模拟分析了解数据载荷特性已成为共识。中国科学院遥感应用研究所以及北京航空航天大学仪器科学与光电工程学院贾国瑞团队研究并集成了复杂地形辐射、大气辐射传输模型等，实现了涵盖不同光谱范围、不同成像条件(大气条件、成像几何)与载荷参数(信噪比、视场角、空间、光谱与辐射分辨率等)下的遥感图像模拟。
遥感数据模拟的初级阶段首先是对地面二维场景的模拟，目前在地面场景仿真阶段一般使用3Dsmax对所需的场景进行三维仿真，但是，此种方式大大增加了遥感仿真的复杂性；或者直接采用简单的几何图形来表征地面的目标，但是，此种方式使得空间纹理信息方面表现力严重不足，不能灵活根据用户需求来模拟不同的遥感目标特性。
发明内容
本发明提出一种遥感场景下的地面目标真实感仿真方法，解决现有遥感数据模拟在遥感地面空间模拟阶段下存在二维空间纹理信息不足，以及三维建模的复杂性问题。
为解决上述问题，本发明技术方案是：
一种遥感场景下的地面目标真实感仿真方法，包括以下步骤：
步骤一、设定遥感目标模拟的相关参数；
所述遥感目标模拟的相关参数包括目标位置的中心坐标(xori，yori)、目标类型、分辨率、目标方向、仿真气候类型、仿真时间以及真实的遥感背景场景数据；
步骤二、针对所要仿真的目标类型，选择相应的生成网络G_network(i)；
步骤三、根据步骤二中选择的生成网络生成相应的遥感目标Obj；
步骤四、对步骤三生成的遥感目标进行显著性分割，获得与遥感目标相对应的掩膜数据；
步骤五、根据步骤一设定的分辨率和目标方向对步骤三获取的遥感目标和步骤四获取的掩膜数据使用如下公式进行尺度变换以及方向旋转，输出变换后的目标数据Obj_ch以及掩膜数据Mask_ch；
Figure BDA0002606154520000021
其中，x′和y′代表尺度方向变换后的结果，θ代表所要旋转的角度，x0和y0表示尺度变换后遥感目标的中心坐标；x代表按遥感分辨率比例缩放fx倍的图像；y代表按遥感分辨率比例缩放fy倍的图像，使用如下表达式进行缩放；
Figure BDA0002606154520000022
其中，fx为横向缩放倍数；fy为纵向缩放倍数；
步骤六、将步骤五中生成的目标数据Obj_ch和掩膜数据Mask_ch与步骤一中真实的遥感背景场景数据相结合，并使用泊松融合的算法进行融合，输出真实场景下的虚拟目标地面仿真一级数据Scene_L1；
步骤七、根据仿真气候类型、仿真时间对一级数据进行气候特征映射；
7.1)输入一级数据Scene_L1和气候图像Climate，气候图像包含所要模拟的一级遥感场景气候特征；
7.2)将一级数据Scene_L1和Climate数据转换到LAB空间得到Scene_L1_Lab和Climate_Lab，分别由如下三个通道构成：
Scene_L1_Lab(scene_l，scene_a，scene_b)
Climate_Lab(climate_l，climate_a，climate_b)
其中，Scene_L1_Lab表示的是Scene_L1转换到Lab空间下的数据；Climate_Lab表示输入的气候数据转换到Lab空间下的数据；scene_l，scene_a，scene_b依次表示Scene_L1数据的l通道、a通道和b通道的数据；climate_l，climate_a，climate_b依次表示Climate_Lab数据的l通道、a通道和b通道的数据；
7.3)使用如下公式对Scene_L1_Lab数据进行处理，得到气候风格映射的Lab空间下的气候特征Scene_L2_Lab：
Figure BDA0002606154520000031
其中，Scene_L1_Lab_mean、Scene_L1_Lab_std、Climate_Lab_mean、Climate_Lab_std依次代表cene_L1_Lab和Climate_Lab各自通道的平均值和标准偏差；
7.4)将二级数据Scene_L2_Lab从Lab空间变换回RGB空间得到气候场景映射的二级数据Scene_L2；
步骤八、输出最终真实场景下的虚拟目标仿真二级数据Scene_L2。
进一步地，步骤四具体包括以下步骤：
4.1)输入所要分割的遥感目标场景F；
4.2)对遥感目标场景F进行高斯滤波，得到滤波后的数据F_gaus；
4.3)对步骤4.2)滤波后的数据使用如下公式进行HSV空间转换得到数据F_HSV，F_HSV包括H、S、V三个通道的值；
V＝max(R，G，B)
Figure BDA0002606154520000041
Figure BDA0002606154520000042
其中，H、S、V是最终HSV色彩空间三个通道的值；R、G、B为F_gaus中RGB空间的三个通道值；
4.4)对4.2)滤波后的数据使用如下公式进行Lab空间转换得到F_Lab，F_Lab包括L*、a*、b*三个通道的值；
Figure BDA0002606154520000043
Figure BDA0002606154520000044
Figure BDA0002606154520000045
其中，L*，a*，b*是最终LAB色彩空间三个通道的值；X、Y、Z是RGB转换后计算的值；Xn，Yn，Zn为X，Y，Z的转换系数；
4.5)计算Lab空间下的slic超像素初始化分割数K1；
K1＝(w×h)/c
其中，w、h分别为输入数据的长、宽，c为输入数据的超参数；
4.6)根据初始化分割数K1，对F_Lab数据使用slic超像素分割算法进行处理，分割出数量为n的超像素区域，标记为Li，i∈1，2，3…n；
4.7)将4.6)获取的超像素区域映射到HSV空间，计算F_HSV各自通道的超像素区域均值，获得F_HSV_mean；
F_HSV_mean＝(f_h_mean，f_s_mean，f_v_mean)
Figure BDA0002606154520000051
其中，f_h_mean表示h通道的像素均值；f_s_mean表示s通道的像素均值；f_v_mean表示v通道的像素均值；length(Li)表示第i个超像素区域中的像素个数；f_hi(k)表示第i个超像素区域中h通道的第k个像素值；f_si(k)表示第i个超像素区域中s通道的第k个像素值；f_vi(k)表示第i个超像素区域中v通道的第k个像素值；
4.8)使用距离度量函数和k_means++对F_HSV_mean数据进行二次聚类，默认聚类个数为3，分别表示目标、阴影、背景；距离度量函数如下所示：
Figure BDA0002606154520000052
f_hsv＝(w1×f_h_mean，w2×f_s_mean，w3×f_v_mean)
其中，w1，w2，w3为三个通道的权值系数；Li,j表示第i个像素和第j个像素之间的距离；
Figure BDA0002606154520000053
表示f_hsvi的转秩；
Figure BDA0002606154520000054
表示f_hsvj的转秩；f_hsvj表示第j个像素的像素值组成三个维度的列向量；f_hsvi表示第i个像素的像素值组成三个维度的列向量；f_hsv表示对F_HSV_mean数据进行的权值变换后的数据；
4.9)通过统计聚类空间中各区域的像素个数来查找聚类空间中对应的最大类K2_man；
4.10)合并非最大类的区域，即目标区域以及阴影区域；
4.11)对目标区域和背景区域进行孔洞填充；
1.12)输出最终的分割掩膜和目标提取结果。
进一步地，步骤4.4)中，Xn、Yn、Zn分别为95.047、100.0、108.883。
进一步地，步骤4.5)中，输入数据的超参数c为40。
进一步地，步骤4.8)中，w1，w2，w3分别为0.8、0.9、1.3。
进一步地，步骤二具体包括以下步骤：
2.1)输入遥感目标数据集；
2.2)构建生成网络模型的具体网络；
2.3)使用不同种类的遥感目标训练不同架构的生成网络框架，直到生成器和判别器之间达到纳什均衡；
2.4)保存生成网络。
进一步地，步骤2.1)中，输入遥感目标数据集后，对数据量少的目标数据集进行初次数据增强，增强方式包括顺时针旋转90°、180°、270°、水平翻转、上下翻转、90°+水平翻转以及270°+上下翻转。
同时，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
此外，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的步骤。
与现有技术相比，本发明的有益效果是：
1.本发明提出的遥感场景下的地面目标真实感仿真方法通过设定几个简单参数即可获得人机交互的地面真实感场景，为卫星立项论证阶段、卫星研制阶段、地面系统研制阶段、卫星在轨运行阶段灵活便捷的提供了地面真实感遥感数据。
2.本发明遥感场景下的地面目标真实感仿真方法针对现阶段未能灵活建立场景目标的问题，可提供丰富的遥感目标数据，从而建立智能化遥感地面场景目标仿真模型；该方法根据不同用户的需求，设定场景目标、传感器分辨率、大气状况等关键参数，智能化建立不同的场景目标，为后续遥感数据的分析验证处理提供了丰富可靠的数据来源。
3.本发明方法采用基于特征的泊松融合算法，通过提取背景区域特征，将模拟目标无缝融合到遥感背景中，提高了虚拟目标真实感仿真特性。
4.本发明方法通过生成对抗网络模型构建生成模型，模拟了遥感目标数据集的分布情况，并在目标生成的过程中，增强了目标信息，弱化了背景冗余目标，提高了遥感目标生成的空间光谱分辨率的精度。
5.本发明基于光谱特性的遥感场景下自适应目标分割方法中，通过遥感数据中的光谱特性，来提取目标区域和目标阴影区域，实现对遥感影像有效的分割；同时，该方法通过距离度量函数能够高效的区分目标背景区域，从而提高了分割精度。
6.本发明基于光谱特性的遥感场景下自适应目标分割方法通过对输入数据进行高斯滤波预处理，有效的缓解了目标区域的尖锐边缘，平滑了目标区域的分割边缘；同时，将使用slic算法分割的超像素区域映射到hsv颜色空间，并进行均值处理，从而提高了后续基于距离度量函数的聚类精度。
7.本发明基于光谱特性的遥感场景下自适应目标分割方法可以针对带阴影区域的遥感目标进行显著性分割，适用范围广，在数据量少的情况下，进行无监督的自适应分割。
附图说明
图1为本发明遥感场景下的地面目标真实感仿真方法的流程图；
图2为本发明基于光谱特性的遥感场景下自适应目标分割方法的流程图；
图3为本发明仿真方法中生成对抗网络基本结构示意图；
图4为本发明仿真方法实施示例中使用输入真实的遥感背景场景图；
图5为本发明仿真方法实施示例中根据实施示例中的参数模拟的一级数据；
图6为本发明仿真方法实施示例中对仿真目标进行显著性分割后的示意图；
图7为本发明仿真方法实施示例中根据气候参数生成的二级数据示意图；
图8为本发明分割方法实施示例中选择OPT-Aircraft数据集中的大型螺旋桨军用飞机遥感影像示意图；
图9为本发明分割方法实施示例中经slic超像素分割后的示意图；
图10为本发明分割方法实施实例中使用超像素分割区域映射到HSV光谱空间均值计算后超像素的示意图；
图11为本发明分割方法实施示例中使用k_means++经过二次聚类后的目标阴影背景分割示意图。
图12为本发明分割方法实施示例中经过空洞填充后使用掩码进行目标阴影提取的示意图；
图13为使用现有k_means聚类方法获得的掩码的对比示例；
图14为使用现有k_means聚类方法后使用图13掩码进行目标阴影提取的示意图。
具体实施方式
下面将结合本发明的实施实例和附图，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施示例并非对本发明的限制。
本发明提出一种遥感场景下的地面目标真实感仿真方法，该方法首次提出一种自适应模拟地面遥感目标真实感仿真方式，只需输入几组简单的需求参数，即可获得真实地面场景下的遥感仿真目标，同时利用了基于自我注意力机制和残差网络的生成模型模拟了遥感目标的概率分布，增强了遥感目标数据，提高了地面遥感目标模拟仿真的真实感的同时，满足了人机交互的灵活性和便捷性。该方法包括：1)输入模拟参数，包括位置坐标、目标类型、分辨率、目标方向、仿真时间、仿真气候类型以及输入遥感背景场景；2)选择目标生成网络；3)根据选择的生成模型自适应生成场景目标；4)对生成的遥感目标进行显著性分割，同时提取相应的掩膜；5)根据输入的参数对生成的目标和提取的掩膜进行尺度变换以及方向旋转；6)将步骤5)中的目标以及目标掩膜结合遥感背景场景进行泊松融合；7)根据输入时间以及气候参数进行气候特征映射；8)输出最终真实场景下虚拟目标的仿真结果。
本发明实施例以OPT-Aircraft数据集中飞机作为地面遥感仿真目标(具体采用大型螺旋桨军用飞机)，最终目的是可以根据用户输入的需求参数，自适应模拟出地面遥感场景。如图1所示，本发明遥感场景下的地面目标真实感仿真方法具体包括以下步骤：
步骤一、设定遥感目标模拟的相关参数；
遥感目标模拟的相关参数具体包括目标位置的中心坐标(xori，yori)、目标类型Class、分辨率resolution、目标方向direction、仿真气候类型climate type、仿真时间time以及真实的遥感背景场景数据Background，其中，真实的遥感背景场景数据如图4所示；
本实施例中，具体参数如下：目标位置的中心坐标(502,254)；目标类型：大型螺旋桨军用飞机；分辨率：5m；目标方向：逆时针旋转45°；仿真气候类型：阴天；仿真时间：2020年6月4日GMT 10:11；真实的遥感背景场景数据Background；
步骤二、针对所要仿真的目标类型，选择相应的生成网络G_network(i)；
2.1)选取遥感目标数据集，对数据量少的目标数据集进行初次数据增强；增强方式包括顺时针旋转90°、180°、270°、水平翻转、上下翻转、90°+水平翻转以及270°+上下翻转；
2.2)本示例采用DCGAN的网络作为生成网络模型的具体网络，具体网络如下表1所示，生成对抗模型如图3所示；
表1
Figure BDA0002606154520000101
表1中，conv3，3，128表示的是128维3×3的卷积核；FC表示全连接层；max-pooling表示最大池化层；UpSampling表示上采样层；Tanh表示Tanh激活函数；Flatten表示展开操作；BN代表批归一化操作；表1中的前两列表示判别器的网络结构以及对应网络层输出的结果；表1中的后两列表示生成器的网络结构以及对应网络层输出的结果；
2.3)使用不同种类的遥感目标训练不同架构的生成网络框架，直到生成器和判别器之间达到纳什均衡；
2.4)保存生成网络；
步骤三、根据步骤二中选择的生成网络生成相应的遥感目标Obj；
步骤四、对步骤三生成的遥感目标利用“一种基于光谱特性的遥感场景下自适应目标分割方法”进行显著性目标分割，获得与遥感目标相对应的掩膜数据Mask，具体结果如图6所示；
步骤五、根据步骤一输入的分辨率、目标方向对步骤三获取的遥感目标和步骤四获取的掩膜数据使用如下公式进行尺度变换以及方向旋转，输出变换后的目标数据Obj_ch以及变换后的掩膜数据Mask_ch；
Figure BDA0002606154520000111
其中，x′和y′代表尺度方向变换后的结果，θ代表所要旋转的角度(θ＝pi/4)，x0和y0表示尺度变换后遥感目标的中心坐标(502，254)；x代表按遥感分辨率比例缩放fx倍的图像；y代表按遥感分辨率比例缩放fy倍的图像，使用如下表达式进行缩放；
Figure BDA0002606154520000112
其中，fx为横向缩放倍数；fy为纵向缩放倍数；
步骤六、将步骤五中生成的目标数据Obj_ch和掩膜数据Mask_ch与步骤一中真实的遥感背景场景数据Background相结合，并使用泊松融合的算法进行融合，输出真实场景下的虚拟目标地面仿真一级数据Scene_L1，具体结果如图5所示；
步骤七、结合输入的仿真气候类型weather type、仿真时间time参数对一级数据Scene_L1进行气候特征映射；
7.1)输入一级数据Scene_L1和气候图像Climate，气候图像包含所要模拟的一级遥感场景气候特征；
7.2)将一级数据Scene_L1和Climate数据转换到LAB空间得到Scene_L1_Lab和Climate_Lab，分别由如下三个通道构成：
Scene_L1_Lab(scene_l，scene_a，scene_b)
Climate_Lab(climate_l，climate_a，climate_b)
其中，Scene_L1_Lab表示的是Scene_L1转换到Lab空间下的数据；Climate_Lab表示输入的气候数据转换到Lab空间下的数据；scene_l，scene_a，scene_b依次表示Scene_L1数据的l通道、a通道和b通道的数据；climate_l，climate_a，climate_b依次表示Climate_Lab数据的l通道、a通道和b通道的数据；
7.3)使用如下公式对Scene_L1_Lab数据进行处理，得到气候风格映射的Lab空间下的气候特征Scene_L2_Lab：
Figure BDA0002606154520000121
其中，Scene_L1_Lab_mean、Scene_L1_Lab_std、Climate_Lab_mean、Climate_Lab_std依次代表cene_L1_Lab和Climate_Lab的各自通道的平均值和标准偏差；Scene_L1_Lab表示的是Scene_L1转换到Lab空间下的数据；
7.4)将二级数据Scene_L2_Lab从Lab空间变换回RGB空间得到气候场景映射的二级数据Scene_L2；
步骤八、输出最终真实场景下的虚拟目标仿真二级数据Scene_L2，具体结果如图7所示。
如图2所示，本发明基于光谱特性的遥感场景下自适应目标分割方法具体包括以下步骤：
2.1)输入所要分割的遥感目标场景F，输入的遥感目标场景F如图8所示；
2.2)对遥感目标场景F进行高斯滤波，得到滤波后的数据F_gaus；
2.3)对步骤2.2)滤波后的数据使用如下公式进行HSV空间转换得到数据F_HSV，F_HSV包括H、S、V三个通道的值；
V＝max(R，G，B)
Figure BDA0002606154520000131
Figure BDA0002606154520000132
其中，H，S，V是最终HSV色彩空间三个通道的值；R，G，B为F_gaus中RGB空间的三个通道值；
2.4)对步骤2.2)滤波后的数据使用如下两组公式分别进行Lab空间转换得到F_Lab，F_Lab包括L*、a*、b*三个通道的值；
Figure BDA0002606154520000133
Figure BDA0002606154520000134
Figure BDA0002606154520000135
其中，L*，a*，b*是最终LAB色彩空间三个通道的值，X，Y，Z是RGB转换后计算的值，Xn，Yn，Zn为X，Y，Z的转换系数，一般默认是95.047，100.0，108.883；
2.5)计算Lab空间下的超像素分割个数K1；
K1＝(w×h)/c
其中，w，h分别为输入数据的长宽，c为输入数据的超参数，默认值为40；
2.6)根据初始化分割数K1，对F_Lab数据使用slic超像素分割算法对F_Lab进行处理，分割出数量为n的超像素区域，标记为Li，i∈1，2，3…，具体结果如图9所示；
2.7)将获得的超像素区域映射到HSV空间，计算F_HSV各自通道的超像素区域均值，获得F_HSV_mean，由如下公式构成，具体结果如图10所示；
F_HSV_mean＝(f_h_mean，f_s_mean，f_v_mean)
Figure BDA0002606154520000141
其中，f_h_mean表示h通道的像素均值；f_s_mean表示s通道的像素均值；f_v_mean表示v通道的像素均值；length(Li)表示第i个超像素区域中的像素个数；f_hi(k)表示第i个超像素区域中h通道的第k个像素值；f_si(k)表示第i个超像素区域中s通道的第k个像素值；f_vi(k)表示第i个超像素区域中v通道的第k个像素值；
2.8)使用k_means++结合距离度量函数对F_HSV_mean数据进行二次聚类，默认聚类个数为3，分别表示目标、阴影、背景；距离度量函数如下所示：
Figure BDA0002606154520000142
f_hsv＝(w1×f_h_mean，w2×f_s_mean，w3×f_v_mean)
其中，w1，w2，w3为三个通道的权值系数，默认为0.8，0.9，1.3；Li,j表示第i个像素和第j个像素之间的距离；
Figure BDA0002606154520000143
表示f_hsvi的转秩；
Figure BDA0002606154520000144
表示f_hsvj的转秩；f_hsvj表示第j个像素的像素值组成三个维度的列向量；f_hsvi表示第i个像素的像素值组成三个维度的列向量；f_hsv表示对F_HSV_mean数据进行的权值变换后的数据；
2.9)通过统计聚类空间中各区域的像素个数来查找聚类空间中对应的最大类K2_man；
2.10)合并非最大类的区域，即目标区域以及阴影区域，具体结果如图11所示。
2.11)对目标区域和背景区域进行孔洞填充，具体结果如图12所示；
2.12)输出最终的分割掩膜以及和目标提取结果。
图13为使用现有k_means聚类方法获得的掩码的对比示例，图14为使用k_means聚类方法后使用图13掩码进行目标阴影提取的示意图，图12为通过本发明方法提取出的目标阴影区示意图，由此可知，本发明方法分割精度较现有方法较高。
同时，本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现遥感场景下的地面目标真实感仿真方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述方法中描述的根据本发明各种示例性实施方式的步骤。
用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备、计算机设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

Claims (8)

1.一种遥感场景下的地面目标真实感仿真方法，其特征在于，包括以下步骤：
步骤一、设定遥感目标模拟的相关参数；
所述遥感目标模拟的相关参数包括目标位置的中心坐标(xori，yori)、目标类型、分辨率、目标方向、仿真气候类型、仿真时间以及真实的遥感背景场景数据；
步骤二、针对所要仿真的目标类型，选择相应的生成网络G_network(i)；
步骤三、根据步骤二中选择的生成网络生成相应的遥感目标Obj；
步骤四、对步骤三生成的遥感目标进行显著性分割，获得与遥感目标相对应的掩膜数据；
4.1)输入所要分割的遥感目标场景F；
4.2)对遥感目标场景F进行高斯滤波，得到滤波后的数据F_gaus；
4.3)对步骤4.2)滤波后的数据使用如下公式进行HSV空间转换得到数据F_HSV，F_HSV包括H、S、V三个通道的值；
V＝max(R，G，B)
Figure FDA0004074774720000011
Figure FDA0004074774720000012
其中，H、S、V是最终HSV色彩空间三个通道的值；R、G、B为F_gaus中RGB空间的三个通道值；
4.4)对4.2)滤波后的数据使用如下公式进行Lab空间转换得到F_Lab，F_Lab包括L*、a*、b*三个通道的值；
Figure FDA0004074774720000021
Figure FDA0004074774720000022
Figure FDA0004074774720000023
其中，L*，a*，b*是最终LAB色彩空间三个通道的值；X、Y、Z是RGB转换后计算的值；Xn，Yn，Zn为X，Y，Z的转换系数；
4.5)计算Lab空间下的slic超像素初始化分割数K1；
K1＝(w×h)/c
其中，w、h分别为输入数据的长、宽，c为输入数据的超参数；
4.6)根据初始化分割数K1，对F_Lab数据使用slic超像素分割算法进行处理，分割出数量为n的超像素区域，标记为Li，i∈1，2，3…n；
4.7)将4.6)获取的超像素区域映射到HSV空间，计算F_HSV各自通道的超像素区域均值，获得F_HSV_mean；
F_HSV_mean＝(f_h_mean，f_s_mean，f_v_mean)
Figure FDA0004074774720000024
其中，f_h_mean表示h通道的像素均值；f_s_mean表示s通道的像素均值；f_v_mean表示v通道的像素均值；length(Li)表示第i个超像素区域中的像素个数；f_hi(k)表示第i个超像素区域中h通道的第k个像素值；f_si(k)表示第i个超像素区域中s通道的第k个像素值；f_vi(k)表示第i个超像素区域中v通道的第k个像素值；
4.8)使用距离度量函数和k_means++对F_HSV_mean数据进行二次聚类，默认聚类个数为3，分别表示目标、阴影、背景；距离度量函数如下所示：
Figure FDA0004074774720000031
f_hsv＝(w1×f_h_mean，w2×f_s_mean，w3×f_v_mean)
其中，w1，w2，w3为三个通道的权值系数；Li,j表示第i个像素和第j个像素之间的距离；
Figure FDA0004074774720000032
表示f_hsvi的转秩；
Figure FDA0004074774720000033
表示f_hsvj的转秩；f_hsvj表示第j个像素的像素值组成三个维度的列向量；f_hsvi表示第i个像素的像素值组成三个维度的列向量；f_hsv表示对F_HSV_mean数据进行的权值变换后的数据；
4.9)通过统计聚类空间中各区域的像素个数来查找聚类空间中对应的最大类K2_max；
4.10)合并非最大类的区域，即目标区域以及阴影区域；
4.11)对目标区域和背景区域进行孔洞填充；
4.12)输出最终的分割掩膜和目标提取结果；
步骤五、根据步骤一设定的分辨率和目标方向对步骤三获取的遥感目标和步骤四获取的掩膜数据使用如下公式进行尺度变换以及方向旋转，输出变换后的目标数据Obj_ch以及掩膜数据Mask_ch；
Figure FDA0004074774720000034
其中，x′和y′代表尺度方向变换后的结果，θ代表所要旋转的角度，x0和y0表示尺度变换后遥感目标的中心坐标；x代表按遥感分辨率比例缩放fx倍的图像；y代表按遥感分辨率比例缩放fy倍的图像，使用如下表达式进行缩放；
Figure FDA0004074774720000041
其中，fx为横向缩放倍数；fy为纵向缩放倍数；
步骤六、将步骤五中生成的目标数据Obj_ch和掩膜数据Mask_ch与步骤一中真实的遥感背景场景数据相结合，并使用泊松融合的算法进行融合，输出真实场景下的虚拟目标地面仿真一级数据Scene_L1；
步骤七、根据仿真气候类型、仿真时间对一级数据进行气候特征映射；
7.1)输入一级数据Scene_L1和气候图像Climate，气候图像包含所要模拟的一级遥感场景气候特征；
7.2)将一级数据Scene_L1和Climate数据转换到LAB空间得到Scene_L1_Lab和Climate_Lab，分别由如下三个通道构成：
Scene_L1_Lab(scene_l,scene_a,scene_b)
Climate_Lab(climate_l,climate_a,climate_b)
其中，Scene_L1_Lab表示的是Scene_L1转换到Lab空间下的数据；Climate_Lab表示输入的气候数据转换到Lab空间下的数据；scene_l,scene_a,scene_b依次表示Scene_L1数据的l通道、a通道和b通道的数据；climate_l,climate_a,climate_b依次表示Climate_Lab数据的l通道、a通道和b通道的数据；
7.3)使用如下公式对Scene_L1_Lab数据进行处理，得到气候风格映射的Lab空间下的气候特征Scene_L2_Lab：
Figure FDA0004074774720000042
其中，Scene_L1_Lab_mean、Scene_L1_Lab_std、Climate_Lab_mean、Climate_Lab_std依次代表cene_L1_Lab和Climate_Lab各自通道的平均值和标准偏差；
7.4)将二级数据Scene_L2_Lab从Lab空间变换回RGB空间得到气候场景映射的二级数据Scene_L2；
步骤八、输出最终真实场景下的虚拟目标仿真二级数据Scene_L2。
2.根据权利要求1所述的遥感场景下的地面目标真实感仿真方法，其特征在于：步骤4.4)中，Xn、Yn、Zn分别为95.047、100.0、108.883。
3.根据权利要求2所述的遥感场景下的地面目标真实感仿真方法，其特征在于：步骤4.5)中，输入数据的超参数c为40。
4.根据权利要求3所述的遥感场景下的地面目标真实感仿真方法，其特征在于：步骤4.8)中，w1，w2，w3分别为0.8、0.9、1.3。
5.根据权利要求1至4任一所述的遥感场景下的地面目标真实感仿真方法，其特征在于，步骤二具体包括以下步骤：
2.1)输入遥感目标数据集；
2.2)构建生成网络模型的具体网络；
2.3)使用不同种类的遥感目标训练不同架构的生成网络框架，直到生成器和判别器之间达到纳什均衡；
2.4)保存生成网络。
6.根据权利要求5所述的遥感场景下的地面目标真实感仿真方法，其特征在于：步骤2.1)中，输入遥感目标数据集后，对数据量少的目标数据集进行初次数据增强，增强方式包括顺时针旋转90°、180°、270°、水平翻转、上下翻转、90°+水平翻转以及270°+上下翻转。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至6任一所述方法的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法的步骤。
CN202010739484.7A 2020-07-28 2020-07-28 一种遥感场景下的地面目标真实感仿真方法 Active CN112017159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010739484.7A CN112017159B (zh) 2020-07-28 2020-07-28 一种遥感场景下的地面目标真实感仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010739484.7A CN112017159B (zh) 2020-07-28 2020-07-28 一种遥感场景下的地面目标真实感仿真方法

Publications (2)

Publication Number Publication Date
CN112017159A CN112017159A (zh) 2020-12-01
CN112017159B true CN112017159B (zh) 2023-05-05

Family

ID=73499650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010739484.7A Active CN112017159B (zh) 2020-07-28 2020-07-28 一种遥感场景下的地面目标真实感仿真方法

Country Status (1)

Country Link
CN (1) CN112017159B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937626B (zh) * 2022-11-17 2023-08-08 郑州轻工业大学 基于实例分割的半虚拟数据集自动生成方法
CN117807782B (zh) * 2023-12-29 2024-06-07 南京仁高隆软件科技有限公司 一种实现三维仿真模型的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229917A (zh) * 2017-05-31 2017-10-03 北京师范大学 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法
CN109784401A (zh) * 2019-01-15 2019-05-21 西安电子科技大学 一种基于acgan的极化sar图像分类方法
CN111046772A (zh) * 2019-12-05 2020-04-21 国家海洋环境监测中心 多时相卫星遥感岛礁岸线及开发利用信息提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10109055B2 (en) * 2016-11-21 2018-10-23 Seiko Epson Corporation Multiple hypotheses segmentation-guided 3D object detection and pose estimation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107229917A (zh) * 2017-05-31 2017-10-03 北京师范大学 一种基于迭代聚类的多幅遥感影像共性显著目标检测方法
CN109784401A (zh) * 2019-01-15 2019-05-21 西安电子科技大学 一种基于acgan的极化sar图像分类方法
CN111046772A (zh) * 2019-12-05 2020-04-21 国家海洋环境监测中心 多时相卫星遥感岛礁岸线及开发利用信息提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Chen JY et al.《Dataset or Aircraft Classification by Remote Sensing Image》.《Journal of Global Change Data &amp Discovery》.2020,全文. *
Mattehew C et al.《Colour based Semantic Image Segmentation and Classification for Unmanned Ground Operation》.《IEEE》.2016,全文. *
李应彬.《融合深度信息的图像分割算法研究》.《中国优秀硕士学位论文全文数据库 信息科技辑》.2014,(第第09期期),全文. *

Also Published As

Publication number Publication date
CN112017159A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN111489358B (zh) 一种基于深度学习的三维点云语义分割方法
Roveri et al. A network architecture for point cloud classification via automatic depth images generation
CN109816769A (zh) 基于深度相机的场景地图生成方法、装置及设备
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN110334584B (zh) 一种基于区域全卷积网络的手势识别方法
CN112017159B (zh) 一种遥感场景下的地面目标真实感仿真方法
CN109064389B (zh) 一种手绘线条画生成现实感图像的深度学习方法
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN109272442B (zh) 全景球面图像的处理方法、装置、设备和存储介质
CN112991537B (zh) 城市场景重建方法、装置、计算机设备和存储介质
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
CN113284227B (zh) 一种面向大规模航拍图像的分布式运动推断结构方法
CN113326851A (zh) 图像特征提取方法、装置、电子设备及存储介质
CN114067075A (zh) 基于生成对抗网络的点云补全方法及装置
CN117237547A (zh) 图像重建方法、重建模型的处理方法和装置
CN115909255B (zh) 图像生成、图像分割方法、装置、设备、车载终端及介质
Liu et al. Multiregion scale-aware network for building extraction from high-resolution remote sensing images
KR20230100205A (ko) 영상 처리 방법 및 장치
CN116152334A (zh) 图像处理方法及相关设备
CN116524111B (zh) 一种航天员在轨支持按需轻量场景重建方法及系统
CN116363329B (zh) 基于CGAN与LeNet-5的三维图像生成方法及系统
Ji et al. 3D face reconstruction system from a single photo based on regression neural network
Liu et al. MODE: Monocular omnidirectional depth estimation via consistent depth fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant