CN113870412A - 一种航空场景图像的处理方法、装置以及电子设备 - Google Patents

一种航空场景图像的处理方法、装置以及电子设备 Download PDF

Info

Publication number
CN113870412A
CN113870412A CN202010618199.XA CN202010618199A CN113870412A CN 113870412 A CN113870412 A CN 113870412A CN 202010618199 A CN202010618199 A CN 202010618199A CN 113870412 A CN113870412 A CN 113870412A
Authority
CN
China
Prior art keywords
image
scene
aviation
target
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010618199.XA
Other languages
English (en)
Inventor
谢榛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010618199.XA priority Critical patent/CN113870412A/zh
Publication of CN113870412A publication Critical patent/CN113870412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本申请提供一种航空场景图像的处理方法,包括:获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。本申请提供的航空场景图像的处理方法,可以获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,从而能够提高航空场景模拟图像的真实度。

Description

一种航空场景图像的处理方法、装置以及电子设备
技术领域
本申请涉及计算机技术领域,具体涉及一种航空场景图像的处理方法。本申请同时涉及一种航空场景图像的处理装置、电子设备以及存储介质。
背景技术
深度神经网络模型已经被广泛应用于图像的分类、检测及其相关领域。在深度神经网络模型的训练过程中,往往需要大量的真实图像作为训练样本图像,如,在训练用于处理实际场景对应的场景图像的深度神经网络模型时,需要获得大量的真实场景图像作为作为训练样本图像。
在一般情况下,能够直接使用的已经发布的公开免费的真实场景图像往往相对较少,特别是与航空相关的航空场景图像,所以,为了能够获得大量空场景图像作为训练用于处理航空场景图像的深度神经网络模型的训练样本图像,需要通过图像合成的方式来合成航空场景图像。在通过现有的图像合成的方式来合成航空场景图像时,往往会存在航空场景图像的真实度较低的问题。
发明内容
本申请提供一种航空场景图像的处理方法、装置、电子设备以及存储介质,以提高航空场景模拟图像的真实度。
本申请提供一种航空场景图像的处理方法,包括:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
可选的,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
获得样本航空场景模拟图像,并获得样本真实航空场景图像;
根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型。
可选的,所述根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型,包括:
将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第一样本真实航空场景图像的图像特征数据;
将所述第一样本真实航空场景图像的图像特征数据迁移到所述第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;
判断所述第一目标航空场景模拟图像的图像特征数据是否与所述第一样本真实航空场景图像的图像特征数据相匹配;
若是,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:
若所述第一目标航空场景模拟图像的图像特征数据不与所述第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第二样本真实航空场景图像的图像特征数据;
将所述第二样本真实航空场景图像的图像特征数据迁移到所述第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;
判断所述第二目标航空场景模拟图像的图像特征数据是否与所述第二样本真实航空场景图像的图像特征数据相匹配;
若所述第二目标航空场景模拟图像的图像特征数据与所述第二样本真实航空场景图像的图像特征数据相匹配,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:若所述第二目标航空场景模拟图像的图像特征数据不与所述第二样本真实航空场景图像的图像特征数据相匹配,则依次将所述样本航空场景模拟图像和所述样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,直至获得所述目标生成式对抗网络模型。
可选的,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述目标真实航空场景图像的高维图像特征数据;
将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像。
可选的,所述将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像,包括:
获得所述待处理航空场景模拟图像的初始高维图像特征数据;
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像。
可选的,所述根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像,包括:
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;
将所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据的相似度;
若所述相似度达到或者超出相似度阈值,则将所述候选航空场景模拟图像作为所述目标航空场景模拟图像。
可选的,还包括:
若所述相似度未达到所述相似度阈值,则继续调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像,直至获得所述目标航空场景模拟图像。
可选的,所述目标真实航空场景图像的高维图像特征数据至少包括图像纹理特征数据、图像清晰度特征数据、图像色彩饱和度特征数据、图像对比度特征数据以及图像亮度数据中的一种或者多种。
可选的,所述获得目标真实航空场景图像,并获得待处理航空场景模拟图像,包括:
获得所述目标真实航空场景图像中的目标对象;
根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型;
对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像。
可选的,所述根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型,包括:
根据所述目标真实航空场景图像,通过指定图像采集设备获得所述目标对象对应的三维物体的目标二维图像;
根据所述指定图像采集设备的参数数据建立目标三维空间坐标系;
提取所述目标二维图像的图像特征数据;
根据所述目标二维图像的图像特征数据,确定所述目标对象在所述三维空间坐标系中的对应关系;
根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,在所述目标三维空间坐标系中构建所述三维场景模型。
可选的,所述根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,在所述目标三维空间坐标系中构建所述三维场景模型,包括:
根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,确定所述三维场景模型在所述目标三维空间坐标系中对应的稀疏点云数据;
针对所述稀疏点云数据进行点云扩展,获得所述三维场景模型在所述目标三维空间坐标系中对应的稠密点云数据;
根据所述稠密点云数据,获得构建所述三维场景模型。
可选的,所述对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像,包括:根据指定图像采集设备的参数数据和预设的光照参数数据,对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像。
可选的,还包括:获得所述指定图像采集设备的参数数据。
可选的,还包括:
获得所述待处理航空场景模拟图像中的对象的标注数据;
获得所述目标航空场景模拟图像中的目标对象与所述对象的匹配关系;
根据所述对象的标注数据和所述匹配关系,获得所述目标对象的标注数据。
可选的,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像,包括:所述待处理航空场景模拟图像为通过图像模拟生成的、与所述目标真实航空场景图像对应的模拟图像。
本申请另一方面,提供一种航空场景图像的处理装置,包括:
图像获得单元,用于获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
图像处理单元,用于将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
本申请另一方面,提供一种电子设备,包括:
处理器;以及
存储器,用于存储航空场景图像的处理方法的程序,该设备通电并通过所述处理器运行该航空场景图像的处理方法的程序后,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
本申请另一方面,提供一种存储介质,存储有航空场景图像的处理方法的程序,该程序被处理器运行,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
本申请另一方面,提供一种航空场景图像的处理方法,包括:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
可选的,所述根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据,包括:
获得所述目标对象与所述对象的匹配关系;
根据所述对象的标注数据和所述匹配关系,获得所述目标对象的标注数据。
可选的,所述对象的标注数据至少包括所述对象在所述待处理航空场景模拟图像中的位置数据、所述对象的名称数据以及所述对象的轮廓数据中的一种或多种。
可选的,所述根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像,包括:将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述标航空场景模拟图像。
可选的,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
获得样本航空场景模拟图像,并获得样本真实航空场景图像;
根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型。
可选的,所述根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型,包括:
将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第一样本真实航空场景图像的图像特征数据;
将所述第一样本真实航空场景图像的图像特征数据迁移到所述第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;
判断所述第一目标航空场景模拟图像的图像特征数据是否与所述第一样本真实航空场景图像的图像特征数据相匹配;
若是,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:
若所述第一目标航空场景模拟图像的图像特征数据不与所述第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第二样本真实航空场景图像的图像特征数据;
将所述第二样本真实航空场景图像的图像特征数据迁移到所述第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;
判断所述第二目标航空场景模拟图像的图像特征数据是否与所述第二样本真实航空场景图像的图像特征数据相匹配;
若所述第二目标航空场景模拟图像的图像特征数据与所述第二样本真实航空场景图像的图像特征数据相匹配,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:若所述第二目标航空场景模拟图像的图像特征数据不与所述第二样本真实航空场景图像的图像特征数据相匹配,则依次将所述样本航空场景模拟图像和所述样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,直至获得所述目标生成式对抗网络模型。
可选的,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述目标真实航空场景图像的高维图像特征数据;
将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像。
可选的,所述将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像,包括:
获得所述待处理航空场景模拟图像的初始高维图像特征数据;
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像。
可选的,所述根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像,包括:
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;
将所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据的相似度;
若所述相似度达到或者超出相似度阈值,则将所述候选航空场景模拟图像作为所述目标航空场景模拟图像。
可选的,所述获得目标真实航空场景图像,并获得待处理航空场景模拟图像,包括:获得所述目标真实航空场景图像中的目标对象;
根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型;
对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像;
所述获得所述待处理航空场景模拟图像中的对象的标注数据,包括:根据所述待处理航空场景模拟图像对应的三维场景模型,获得所述对象的标注数据。
可选的,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像,包括:所述待处理航空场景模拟图像为通过图像模拟生成的、与所述目标真实航空场景图像对应的模拟图像。
本申请另一方面,提供一种航空场景图像的处理装置,包括:
图像获得单元,用于获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
标注数据获得单元,用于获得所述待处理航空场景模拟图像中的对象的标注数据;
目标图像获得单元,用于根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
标注数据获得单元,用于根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
本申请另一方面,提供一种电子设备,包括:
处理器;以及
存储器,用于存储航空场景图像的处理方法的程序,该设备通电并通过所述处理器运行该航空场景图像的处理方法的程序后,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
本申请另一方面,提供一种存储介质,存储有航空场景图像的处理方法的程序,该程序被处理器运行,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
本申请另一方面,提供一种图像的处理方法,包括:
获得目标真实图像,并获得待处理模拟图像,所述待处理模拟图像为与所述目标真实图像对应的模拟图像;
将所述待处理模拟图像和所述目标真实图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实图像的图像特征数据相匹配的目标模拟图像。
本申请另一方面,提供一种图像的处理方法,包括:
获得目标真实图像,并获得待处理模拟图像,所述待处理模拟图像为与所述目标真实图像对应的模拟图像;
获得所述待处理模拟图像中的对象的标注数据;
根据所述待处理模拟图像和所述目标真实图像,获得目标模拟图像;
根据所述对象的标注数据,获得所述目标模拟图像中的目标对象的标注数据。
与现有技术相比,本申请具有以下优点:
本申请提供的一种航空场景图像的处理方法,在获得目标真实航空场景图像以及通过图像模拟生成的、与目标真实航空场景图像对应的待处理航空场景模拟图像后,再将待处理航空场景模拟图像和目标真实航空场景图像输入到已经训练好的目标生成式对抗网络模型中,进一步获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,从而能够提高航空场景模拟图像的真实度。
本申请提供的另一种航空场景图像的处理方法,在根据获得与目标真实航空场景图像对应的待处理航空场景模拟图像后,会进一步获得待处理航空场景模拟图像中的对象的标注数据,然后再在根据待处理航空场景模拟图像和目标真实航空场景图像,获得目标航空场景模拟图像后,能够进一步根据对象的标注数据,获得目标航空场景模拟图像中的目标对象的标注数据,从而能够确保获得的目标航空场景模拟图像中可以携带有目标航空场景模拟图像中的目标对象的标注数据,从而实现对目标航空场景模拟图像中的目标对象的自动数据标注,简化了对航空场景图像进行数据标注的流程。
附图说明
图1其为本申请提供的航空场景图像的处理方法的应用场景的第一示意图。
图2其为本申请提供的航空场景图像的处理方法的应用场景的第二示意图。
图3其为本申请第一实施例中提供的航空场景图像的处理方法的流程图。
图4其为本申请第一实施例中提供的一种目标航空场景模拟图像的生成方法的流程图。
图5其为本申请第二实施例中提供的一种航空场景图像的处理装置的示意图。
图6其为本申请实施例中提供的一种电子设备的示意图。
图7其为本申请第五实施例中提供的一种航空场景图像的处理方法的流程图。
图8其为本申请第六实施例中提供的一种航空场景图像的处理装置的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
为了更清楚地展示本申请提供的航空场景图像的处理方法,先介绍一下本申请提供的航空场景图像的处理方法的应用场景。
本申请提供的航空场景图像的处理方法一般应用于生成具有携带有标注数据的航空场景模拟图像的场景,具体过程请参照图1,其为本申请提供的航空场景图像的处理方法的应用场景的第一示意图。本申请提供的航空场景图像的处理方法的应用场景实施例中,航空场景图像是指包含航空设备、以及航空相关设备的图像,如:某航空机坪图像、飞机或者无人机飞行的图像以及机场运行相关图像等;航空场景模拟图像为基于计算机视觉处理对真实航空场景图像进行图像模拟而获得模拟图像;真实航空场景图像通过图像采集设备预先采集的、包含航空设备、以及航空相关设备的真实图像。本申请提供的航空场景图像的处理方法的应用场景中,具体以航空场景图像为机坪场景图像为例对本申请提供的航空场景图像的处理方法的应用场景进行详细地说明,对于航空场景图像为机坪场景图像之外的其它航空场景图像时,请参照对机坪场景图像的处理方法的应用场景,在此不再一一赘述。在实际应用中,为了更清晰地向相关人员介绍、展示图像内容,或者便于计算机设备能够更地识别和处理图像,相关工作人员往往需要对这些图像进行数据标注,以获得携带有标注数据的图像来辅助人或者计算机设备理解,如在训练用于图像处理的相关网络模型时,往往就需要对用于参与模型训练的图像进行数据标注、以便计算机设备能够更好地理解。其中,本申请提供的航空场景图像的处理方法的应用场景实施例中,标注数据一般包括航空场景图像中的目标对象在该航空场景图像中的位置数据、航空场景图像中的目标对象的名称数据、以及目标对象的轮廓数据中的一种或多种,具体的,航空场景图像中的目标对象在该航空场景图像中的位置数据一般对应于目标对象在航空场景图像中的区域框数据。
如果采用真实航空场景图像,因为,真实航空图像是通过图像采集设备采集的图像,在进行标注数据时,一般就需要通过人工或者人为的针对该真实航空场景图像进行数据标注,这样,不仅操作麻烦,而且容易出错,而采用图像模拟,并在生成图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像的过程中,实现对目标航空场景模拟图像中的目标对象的自动数据标注,就能在避免耗费大量人力资源的基础上,获得携带有标注数据的、并具有较高真实度的航空场景模拟图像。
本申请提供的航空场景图像的处理方法由能够提供计算或者应用服务的电子设备上安装的用于进行航空场景图像的处理方法的程序或者软件来执行,如:安装在服务器上的用于进行航空场景图像的处理方法的程序或者软件。具体的,本申请提供的航空场景图像的处理方法的应用场景对应的具体实施过程如下:
首先,获得目标真实机坪场景图像,并获得待处理机坪场景模拟图像。即,先确定需要被模拟的目标真实机坪场景图像,并针对该目标真实机坪场景图像进行图像模拟,获得与目标真实机坪场景图像对应的待处理机坪场景模拟图像。
本申请提供的航空场景图像的处理方法的应用场景中,获得待处理机坪场景模拟图像的具体操作为:
第一、获得目标真实机坪场景图像中的目标对象,并获得指定图像采集设备的参数数据。其中,目标对象为机坪设备、以及机坪相关设备等,如:机坪飞机、无人机、机场中的建筑物、机场设施等。
第二、根据目标真实机坪场景图像和目标对象,构建目标真实机坪场景图像对应的三维场景模型。具体过程为:首先,获得目标对象对应的三维物体的目标二维图像,即,根据目标真实机坪场景图像,通过指定图像采集设备获得目标对象对应的三维物体的目标二维图像。其次,提取目标二维图像的图像特征数据。即,提取目标二维图像的特征点数据、特征线数据以及特征区域数据。再次,根据目标二维图像的图像特征数据,确定目标对象在三维空间坐标系中的对应关系。即,根据目标二维图像的图像特征数据,来确定目标对象在三维坐标系中的成像点。最后,根据指定图像采集设备的参数数据和目标三维空间坐标系,在目标三维空间坐标系中构建三维场景模型。即,根据指定图像采集设备的参数数据和目标三维空间坐标系,进一步进行稀疏重建、稠密重建、点云模型化以及纹理映射等处理来构建三维场景模型。
需要说明的是,本申请提供的航空场景图像的处理方法的应用场景中,稀疏重建、稠密重建、点云模型化以及纹理映射等处理对应的具体的过程为:根据指定图像采集设备的参数数据和目标三维空间坐标系,确定三维场景模型在目标三维空间坐标系中对应的稀疏点云数据;针对稀疏点云数据进行点云扩展,获得三维场景模型在目标三维空间坐标系中对应的稠密点云数据;根据稠密点云数据,获得构建三维场景模型。
第三、对待处理机坪场景模拟图像对应的三维场景模型进行成像模拟,获得待处理机坪场景模拟图像。即,根据指定图像采集设备的参数数据和预设的光照参数数据,对待处理机坪场景模拟图像对应的三维场景模型进行成像模拟,获得待处理机坪场景模拟图像。
其次,获得待处理机坪场景模拟图像中的对象的标注数据。由于本申请提供的航空场景图像的处理方法的应用场景中,是依次通过图像获取、图像特征提取、图像特征匹配、稀疏重建、稠密重建、点云模型化以及纹理映射等步骤来构建的目标真实机坪场景图像对应的三维场景模型,并进一步根据指定图像采集设备的参数数据和预设的光照参数数据,对待处理机坪场景模拟图像对应的三维场景模型进行成像模拟,获得待处理机坪场景模拟图像,所以,在获得待处理机坪场景模拟图像后,能够根据三维场景模型、指定图像采集设备的参数数据以及预设的光照参数数据,确定待处理机坪场景模拟图像中的对象的对应的标注数据。
再次,根据待处理机坪场景模拟图像和目标真实机坪场景图像,获得目标机坪场景模拟图像。本申请提供的航空场景图像的处理方法的应用场景中,根据待处理机坪场景模拟图像和目标真实机坪场景图像,获得目标机坪场景模拟图像的过程为:将待处理机坪场景模拟图像和目标真实机坪场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与目标真实机坪场景图像的图像特征数据相匹配的目标机坪场景模拟图像。
因为需要通过目标生成式对抗网络模型来获得目标机坪场景模拟图像,所以,在本申请提供的航空场景图像的处理方法的应用场景中,还需要进行模型训练来获得目标生成式对抗网络模型,具体的,训练过程请参照图2,其为本申请提供的航空场景图像的处理方法的应用场景的第二示意图。
本申请提供的航空场景图像的处理方法的应用场景中,模型训练的原理为:首先,获得样本机坪场景模拟图像,并获得样本真实机坪场景图像。然后,根据样本机坪场景模拟图像和样本真实机坪场景图像,对待训练生成式对抗网络模型进行模型训练,获得目标生成式对抗网络模型。具体步骤如下:
步骤一、将第一样本机坪场景模拟图像和第一样本真实机坪场景图像输入到待训练生成式对抗网络模型中,获得第一样本真实机坪场景图像的图像特征数据;将第一样本真实机坪场景图像的图像特征数据迁移到第一样本机坪场景模拟图像中,获得第一目标机坪场景模拟图像;判断第一目标机坪场景模拟图像的图像特征数据是否与第一样本真实机坪场景图像的图像特征数据相匹配;若是,则将待训练生成式对抗网络模型作为目标生成式对抗网络模型。其中,获得目标机坪场景模拟图像是通过待训练生成式对抗网络模型中的生成器来实现的,即,将样本机坪场景模拟图像和样本真实机坪场景图像输入到生成器中,生成目标机坪场景模拟图像;判断目标机坪场景模拟图像的图像特征数据是否与样本真实机坪场景图像的图像特征数据相匹配是通过待训练生成式对抗网络模型中的判别器来实现的。
步骤二、若第一目标机坪场景模拟图像的图像特征数据不与第一样本真实机坪场景图像的图像特征数据相匹配,则将第二样本机坪场景模拟图像和第二样本真实机坪场景图像输入到待训练生成式对抗网络模型中,获得第二样本真实机坪场景图像的图像特征数据;将第二样本真实机坪场景图像的图像特征数据迁移到第二样本机坪场景模拟图像中,获得第二目标机坪场景模拟图像;判断第二目标机坪场景模拟图像的图像特征数据是否与第二样本真实机坪场景图像的图像特征数据相匹配;若第二目标机坪场景模拟图像的图像特征数据与第二样本真实机坪场景图像的图像特征数据相匹配,则将待训练生成式对抗网络模型作为目标生成式对抗网络模型。
步骤三、若第二目标机坪场景模拟图像的图像特征数据不与第二样本真实机坪场景图像的图像特征数据相匹配,则依次将样本机坪场景模拟图像和样本真实机坪场景图像输入到待训练生成式对抗网络模型中,直至获得目标生成式对抗网络模型。即,判别器输出的判别结果为是时,才能够将待训练生成式对抗网络模型作为目标生成式对抗网络模型。
本申请提供的航空场景图像的处理方法的应用场景中,获得图像特征数据与目标真实机坪场景图像的图像特征数据相匹配的目标机坪场景模拟图像的过程为:首先,将待处理机坪场景模拟图像和目标真实机坪场景图像输入到目标生成式对抗网络模型中,获得目标真实机坪场景图像的高维图像特征数据。然后,将目标真实机坪场景图像的高维图像特征数据迁入到待处理机坪场景模拟图像中,获得目标机坪场景模拟图像。其中,目标真实机坪场景图像的高维图像特征数据至少包括图像纹理特征数据、图像清晰度特征数据、图像色彩饱和度特征数据、图像对比度特征数据以及图像亮度数据中的一种或者多种。
在本申请提供的航空场景图像的处理方法的应用场景中,无论是确定在模型训练过程过,还是在使用目标生成式对抗网络模型生成目标机坪场景模拟图像时,都涉及到不同图像之间的图像特征的相似度的判断,本申请提供的航空场景图像的处理方法的应用场景中对不同图像之间的图像特征的相似度的判断的原理是一致的,以下具体以获得目标机坪场景模拟图像中涉及到图像特征的相似度的判断为依据,进行详细说明。
在将待处理机坪场景模拟图像和目标真实机坪场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与目标真实机坪场景图像的图像特征数据相匹配的目标机坪场景模拟图像的过程为:首先,将待处理机坪场景模拟图像和目标真实机坪场景图像输入到目标生成式对抗网络模型中,获得目标真实机坪场景图像的高维图像特征数据;然后,获得待处理机坪场景模拟图像的初始高维图像特征数据;最后,根据目标真实机坪场景图像的高维图像特征数据,调整待处理机坪场景模拟图像的初始高维图像特征数据,获得目标机坪场景模拟图像。即,先将待处理机坪场景模拟图像和目标真实机坪场景图像输入到目标生成式对抗网络模型中,获得目标真实机坪场景图像的高维图像特征数据;再将目标真实机坪场景图像的高维图像特征数据迁入到待处理机坪场景模拟图像中,获得目标机坪场景模拟图像。
在根据目标真实机坪场景图像的高维图像特征数据,调整待处理机坪场景模拟图像的初始高维图像特征数据,获得目标机坪场景模拟图像时,会涉及到对图像特征的相似度的判断,具体的过程为:根据目标真实机坪场景图像的高维图像特征数据,调整待处理机坪场景模拟图像的初始高维图像特征数据,获得候选机坪场景模拟图像;将候选机坪场景模拟图像的高维图像特征数据与待处理机坪场景模拟图像的初始高维图像特征数据进行聚类比较,获得候选机坪场景模拟图像的高维图像特征数据与待处理机坪场景模拟图像的初始高维图像特征数据的相似度;若相似度达到或者超出相似度阈值,则将候选机坪场景模拟图像作为目标机坪场景模拟图像。
需要说明的是,本申请提供的航空场景图像的处理方法的应用场景中,若相似度未达到相似度阈值,则继续调整待处理机坪场景模拟图像的初始高维图像特征数据,获得候选机坪场景模拟图像,直至获得目标机坪场景模拟图像。
本申请提供的航空场景图像的处理方法的应用场景中,在获得目标真实机坪场景图像以及通过图像模拟生成的、与目标真实机坪场景图像对应的待处理机坪场景模拟图像后,再将待处理机坪场景模拟图像和目标真实机坪场景图像输入到已经训练好的目标生成式对抗网络模型中,进一步获得图像特征数据与目标真实机坪场景图像的图像特征数据相匹配的目标机坪场景模拟图像,从而能够提高机坪场景模拟图像的真实度。
请再参照图1,在获得目标机坪场景模拟图像后和待处理机坪场景模拟图像中的对象的标注数据后,即可根据对象的标注数据,获得目标机坪场景模拟图像中的目标对象的标注数据目标机坪场景模拟图像。即,在根据待处理机坪场景模拟图像和目标真实机坪场景图像,获得目标机坪场景模拟图像后,能够进一步根据获得通过图像模拟生成的、与目标真实机坪场景图像对应的待处理机坪场景模拟图像后进一步获得的对象的标注数据,获得目标机坪场景模拟图像中的目标对象的标注数据。本申请提供的航空场景图像的处理方法的应用场景中,获得目标机坪场景模拟图像中的目标对象的标注数据的步骤为:首先,获得目标对象与对象的匹配关系。然后,根据对象的标注数据和匹配关系,获得目标对象的标注数据。
本申请提供的航空场景图像的处理方法的应用场景中,在根据获得通过图像模拟生成的、与目标真实机坪场景图像对应的待处理机坪场景模拟图像后,会进一步获得待处理机坪场景模拟图像中的对象的标注数据,然后再在根据待处理机坪场景模拟图像和目标真实机坪场景图像,获得目标机坪场景模拟图像后,能够进一步根据对象的标注数据,获得目标机坪场景模拟图像中的目标对象的标注数据,从而能够确保获得的目标机坪场景模拟图像中可以携带有目标机坪场景模拟图像中的目标对象的标注数据,从而实现对目标机坪场景模拟图像中的目标对象的自动数据标注,简化了对机坪场景图像进行数据标注的流程。
需要说明的是,本申请提供的上述航空场景图像的处理方法的应用场景实施例,仅仅是本申请提供的航空场景图像的处理方法的应用场景的一个实施例,提供上述应用场景实施例的目的是便于理解本申请提供的航空场景图像的处理方法方法,而并非用于限定本申请提供的航空场景图像的处理方法。本申请提供的航空场景图像的处理方法还可以应用于其它应用场景,本申请提供的航空场景图像的处理方法对执行主体也不做具体限定,将本申请提供的航空场景图像的处理方法应用于其他应用场景的情况,请参照本申请提供的上述航空场景图像的处理方法的应用场景实施例,在此不再一一赘述。
第一实施例
本申请第一实施例中提供一种航空场景图像的处理方法,以下结合图3-图4进行说明。
在步骤S301中,获得目标真实航空场景图像,并获得待处理航空场景模拟图像,待处理航空场景模拟图像为与目标真实航空场景图像对应的模拟图像。
所谓待处理航空场景模拟图像为与目标真实航空场景图像对应的模拟图像,包括:待处理航空场景模拟图像为通过图像模拟生成的、与目标真实航空场景图像对应的模拟图像。
本申请第一实施例中,航空场景图像是指包含航空设备、以及航空相关设备的图像,如:某航空机坪图像、飞机或者无人机飞行的图像以及机场运行相关图像等;航空场景模拟图像为基于计算机视觉处理对真实航空场景图像进行图像模拟而获得模拟图像;真实航空场景图像通过图像采集设备预先采集的、包含航空设备、以及航空相关设备的真实图像。
本申请第一实施例中,获得目标真实航空场景图像,并获得待处理航空场景模拟图像的先后顺序为,先获得目标真实航空场景图像,再根据目标真实航空场景图像,进一步获得待处理航空场景模拟图像,具体的,首先,获得目标真实航空场景图像中的目标对象;然后,根据目标真实航空场景图像和目标对象,构建目标真实航空场景图像对应的三维场景模型;最后,对待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得待处理航空场景模拟图像。
本申请第一实施例中,构建目标真实航空场景图像对应的三维场景模型采用的方式一般为三维重建,即,依次进行目标对象对应三维物体的二维图像的获取、图像采集设备的参数数据的标定、二维图像的图像特征数据的提取、目标对象在三维坐标系中的匹配、稀疏重建、稠密重建、点云模型化以及纹理映射等步骤来进行图像模拟,以实现三维构建。
目标对象对应三维物体的二维图像的获取的详细过程为:获得目标真实机坪场景图像中的目标对象,并获得指定图像采集设备的参数数据。其中,目标对象为航空设备、以及航空相关设备等,当航空场景图像为机坪场景图像时,目标对象一般为:机坪设备、以及机坪相关设备等,如:机坪飞机、无人机、机场中的建筑物、机场设施等。
根据目标真实航空场景图像和目标对象,构建目标真实航空场景图像对应的三维场景模型的具体过程为:首先,获得目标对象对应的三维物体的目标二维图像,即,根据目标真实航空场景图像,通过指定图像采集设备获得目标对象对应的三维物体的目标二维图像。其次,提取目标二维图像的图像特征数据。即,提取目标二维图像的特征点数据、特征线数据以及特征区域数据。再次,根据目标二维图像的图像特征数据,确定目标对象在三维空间坐标系中的对应关系。即,根据目标二维图像的图像特征数据,来确定目标对象在三维坐标系中的成像点。最后,获得指定图像采集设备的参数数据,并根据指定图像采集设备的参数数据和目标三维空间坐标系,在目标三维空间坐标系中构建三维场景模型。即,根据指定图像采集设备的参数数据和目标三维空间坐标系,进一步进行稀疏重建、稠密重建、点云模型化以及纹理映射等处理来构建三维场景模型。
需要说明的是,本申请第一实施例中,稀疏重建、稠密重建、点云模型化以及纹理映射等处理对应的具体的过程为:根据指定图像采集设备的参数数据和目标三维空间坐标系,确定三维场景模型在目标三维空间坐标系中对应的稀疏点云数据;针对稀疏点云数据进行点云扩展,获得三维场景模型在目标三维空间坐标系中对应的稠密点云数据;根据稠密点云数据,获得构建三维场景模型。
对待处理机坪场景模拟图像对应的三维场景模型进行成像模拟,获得待处理机坪场景模拟图像的具体过程为:获得指定图像采集设备的参数数据,根据指定图像采集设备的参数数据和预设的光照参数数据,对待处理机坪场景模拟图像对应的三维场景模型进行成像模拟,获得待处理机坪场景模拟图像。
在步骤S302中,将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
本申请第一实施例中,目标生成式对抗网络模型为通过模型训练预先获得的模型、具体用于根据待处理航空场景模拟图像和目标真实航空场景图像,获得目标真实航空场景图像的图像特征数据,并将目标真实航空场景图像的图像特征数据迁移到待处理航空场景模拟图像中,以获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
通过模型训练获得目标生成式对抗网络模型的过程为:首先,获得样本航空场景模拟图像,并获得样本真实航空场景图像。然后,根据样本航空场景模拟图像和样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得目标生成式对抗网络模型。具体的步骤如下:
首先,将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到待训练生成式对抗网络模型中,获得第一样本真实航空场景图像的图像特征数据;将第一样本真实航空场景图像的图像特征数据迁移到第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;判断第一目标航空场景模拟图像的图像特征数据是否与第一样本真实航空场景图像的图像特征数据相匹配;若是,则将待训练生成式对抗网络模型作为目标生成式对抗网络模型。其中,获得目标航空场景模拟图像是通过待训练生成式对抗网络模型中的生成器来实现的,即,将样本航空场景模拟图像和样本真实航空场景图像输入到生成器中,生成目标航空场景模拟图像;判断目标航空场景模拟图像的图像特征数据是否与样本真实航空场景图像的图像特征数据相匹配是通过待训练生成式对抗网络模型中的判别器来实现的。
然后,若第一目标航空场景模拟图像的图像特征数据不与第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到待训练生成式对抗网络模型中,获得第二样本真实航空场景图像的图像特征数据;将第二样本真实航空场景图像的图像特征数据迁移到第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;判断第二目标航空场景模拟图像的图像特征数据是否与第二样本真实航空场景图像的图像特征数据相匹配;若第二目标航空场景模拟图像的图像特征数据与第二样本真实航空场景图像的图像特征数据相匹配,则将待训练生成式对抗网络模型作为目标生成式对抗网络模型。
最后,若第二目标航空场景模拟图像的图像特征数据不与第二样本真实航空场景图像的图像特征数据相匹配,则依次将样本航空场景模拟图像和样本真实航空场景图像输入到待训练生成式对抗网络模型中,直至获得目标生成式对抗网络模型。即,判别器输出的判别结果为是时,才能够将待训练生成式对抗网络模型作为目标生成式对抗网络模型。
本申请第一实施例中,获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像的过程为:首先,将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得目标真实航空场景图像的高维图像特征数据。然后,将目标真实航空场景图像的高维图像特征数据迁入到待处理航空场景模拟图像中,获得目标航空场景模拟图像。其中,目标真实航空场景图像的高维图像特征数据至少包括图像纹理特征数据、图像清晰度特征数据、图像色彩饱和度特征数据、图像对比度特征数据以及图像亮度数据中的一种或者多种。
在本申请第一实施例中,无论是确定在模型训练过程过,还是在使用目标生成式对抗网络模型生成目标航空场景模拟图像时,都涉及到不同图像之间的图像特征的相似度的判断,本申请第一实施例中对不同图像之间的图像特征的相似度的判断的原理是一致的,以下具体以获得目标航空场景模拟图像中涉及到图像特征的相似度的判断为依据,进行详细说明。
在将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像的过程请参照图4,其为本申请第一实施例中提供的一种目标航空场景模拟图像的生成方法的流程图。步骤S401:将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得目标真实航空场景图像的高维图像特征数据;步骤S402:获得待处理航空场景模拟图像的初始高维图像特征数据。步骤S403:根据目标真实航空场景图像的高维图像特征数据,调整待处理航空场景模拟图像的初始高维图像特征数据,获得目标航空场景模拟图像。即,先将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得目标真实航空场景图像的高维图像特征数据;再将目标真实航空场景图像的高维图像特征数据迁入到待处理航空场景模拟图像中,获得目标航空场景模拟图像。
在根据目标真实航空场景图像的高维图像特征数据,调整待处理航空场景模拟图像的初始高维图像特征数据,获得目标航空场景模拟图像时,会涉及到对图像特征的相似度的判断,具体的过程为:根据目标真实航空场景图像的高维图像特征数据,调整待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;将候选航空场景模拟图像的高维图像特征数据与待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得候选航空场景模拟图像的高维图像特征数据与待处理航空场景模拟图像的初始高维图像特征数据的相似度;若相似度达到或者超出相似度阈值,则将候选航空场景模拟图像作为目标航空场景模拟图像。
需要说明的是,本申请第一实施例中,若相似度未达到相似度阈值,则继续调整待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像,直至获得目标航空场景模拟图像。
本申请第一实施例中提供的航空场景图像的处理方法,在获得目标真实航空场景图像以及与目标真实航空场景图像对应的待处理航空场景模拟图像后,再将待处理航空场景模拟图像和目标真实航空场景图像输入到已经训练好的目标生成式对抗网络模型中,进一步获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,从而能够提高航空场景模拟图像的真实度。
本申请第一实施例中,在获得目标航空场景模拟图像后,还可以进一步获得待处理航空场景模拟图像中的对象的标注数据,并获得目标航空场景模拟图像中的目标对象与对象的匹配关系,再根据对象的标注数据和匹配关系,获得目标对象的标注数据。其中,标注数据一般包括航空场景图像中的目标对象在该航空场景图像中的位置数据、航空场景图像中的目标对象的名称数据、以及目标对象的轮廓数据中的一种或多种,具体的,航空场景图像中的目标对象在该航空场景图像中的位置数据一般对应于目标对象在航空场景图像中的区域框数据。
获得目标真实航空场景图像中的目标对象的标注数据,能够更清晰地向相关人员介绍、展示图像内容,或者便于计算机设备能够更地识别和处理图像。
第二实施例
与本申请提供的航空场景图像的处理方法的应用场景实施例以及第一实施例提供的航空场景图像的处理方法相对应的,本申请第二实施例还提供了一种航空场景图像的处理装置。由于装置实施例基本相似于应用场景实施例以及第一实施例,所以描述得比较简单,相关之处参见应用场景实施例以及第一实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图5,其为本申请第二实施例中提供的一种航空场景图像的处理装置的示意图。
该航空场景图像的处理装置,包括:
图像获得单元501,用于获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
图像处理单元502,用于将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
可选的,所述图像处理单元502,具体用于获得样本航空场景模拟图像,并获得样本真实航空场景图像;根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型。
可选的,所述根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型,包括:
将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第一样本真实航空场景图像的图像特征数据;
将所述第一样本真实航空场景图像的图像特征数据迁移到所述第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;
判断所述第一目标航空场景模拟图像的图像特征数据是否与所述第一样本真实航空场景图像的图像特征数据相匹配;
若是,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:
若所述第一目标航空场景模拟图像的图像特征数据不与所述第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第二样本真实航空场景图像的图像特征数据;
将所述第二样本真实航空场景图像的图像特征数据迁移到所述第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;
判断所述第二目标航空场景模拟图像的图像特征数据是否与所述第二样本真实航空场景图像的图像特征数据相匹配;
若所述第二目标航空场景模拟图像的图像特征数据与所述第二样本真实航空场景图像的图像特征数据相匹配,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:若所述第二目标航空场景模拟图像的图像特征数据不与所述第二样本真实航空场景图像的图像特征数据相匹配,则依次将所述样本航空场景模拟图像和所述样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,直至获得所述目标生成式对抗网络模型。
可选的所述图像处理单元502,具体用于将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述目标真实航空场景图像的高维图像特征数据;将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像。
可选的,所述将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像,包括:
获得所述待处理航空场景模拟图像的初始高维图像特征数据;
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像。
可选的,所述根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像,包括:
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;
将所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据的相似度;
若所述相似度达到或者超出相似度阈值,则将所述候选航空场景模拟图像作为所述目标航空场景模拟图像。
可选的,还包括:
若所述相似度未达到所述相似度阈值,则继续调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像,直至获得所述目标航空场景模拟图像。
可选的,所述目标真实航空场景图像的高维图像特征数据至少包括图像纹理特征数据、图像清晰度特征数据、图像色彩饱和度特征数据、图像对比度特征数据以及图像亮度数据中的一种或者多种。
可选的,所述图像获得单元501,具体用于获得所述目标真实航空场景图像中的目标对象;根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型;对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像。
可选的,所述根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型,包括:
根据所述目标真实航空场景图像,通过指定图像采集设备获得所述目标对象对应的三维物体的目标二维图像;
根据所述指定图像采集设备的参数数据建立目标三维空间坐标系;
提取所述目标二维图像的图像特征数据;
根据所述目标二维图像的图像特征数据,确定所述目标对象在所述三维空间坐标系中的对应关系;
根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,在所述目标三维空间坐标系中构建所述三维场景模型。
可选的,所述根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,在所述目标三维空间坐标系中构建所述三维场景模型,包括:
根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,确定所述三维场景模型在所述目标三维空间坐标系中对应的稀疏点云数据;
针对所述稀疏点云数据进行点云扩展,获得所述三维场景模型在所述目标三维空间坐标系中对应的稠密点云数据;
根据所述稠密点云数据,获得构建所述三维场景模型。
可选的,所述对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像,包括:根据指定图像采集设备的参数数据和预设的光照参数数据,对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像。
可选的,还包括:获得所述指定图像采集设备的参数数据。
可选的,本申请第二实施例中提供的航空场景图像的处理装置,还包括:
第一标注数据获得单元,用于获得所述待处理航空场景模拟图像中的对象的标注数据;
匹配关系获得单元,用于获得所述目标航空场景模拟图像中的目标对象与所述对象的匹配关系;
第二标注数据获得单元,用于根据所述对象的标注数据和所述匹配关系,获得所述目标对象的标注数据。
可选的,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像,包括:所述待处理航空场景模拟图像为通过图像模拟生成的、与所述目标真实航空场景图像对应的模拟图像。
第三实施例
与本申请提供的航空场景图像的处理方法得应用场景实施例以及第一实施例提供的航空场景图像的处理方法相对应的,本申请第三实施例还提供一种电子设备。
如6所示,图6为本申请实施例中提供的一种电子设备的示意图。
该电子设备包括:
处理器601;以及
存储器602,用于存储航空场景图像的处理方法的程序,该设备通电并通过所述处理器运行该航空场景图像的处理方法的程序后,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
需要说明的是,对于本申请第三实施例提供的电子设备的详细描述可以参考对本申请提供的航空场景图像的处理方法得应用场景实施例以及第一实施例提供的航空场景图像的处理方法的相关描述,这里不再赘述。
第四实施例
与本申请提供的航空场景图像的处理方法得应用场景实施例以及第一实施例提供的航空场景图像的处理方法相对应的,本申请第四实施例还提供一种存储介质,存储有该航空场景图像的处理方法的程序,该程序被处理器运行,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
要说明的是,对于本申请第四实施例提供的存储介质的详细描述可以参考对本申请提供的航空场景图像的处理方法得应用场景实施例以及第一实施例提供的航空场景图像的处理方法的相关描述,这里不再赘述。
第五实施例
与本申请提供的航空场景图像的处理方法的场景实施例以及第一实施例中提供的航空场景图像的处理方法相对应的,本申请第五实施例提供了另一种航空场景图像的处理方法。由于第五实施例的航空场景图像的处理方法基本相似于应用场景实施例以及第一实施例,所以描述得比较简单,相关之处参见应用场景实施例以及第一实施例的部分说明即可。下述描述的第五实施例仅仅是示意性的。
请参照图7,其为本申请第五实施例中提供的一种航空场景图像的处理方法的流程图。
步骤S701:获得目标真实航空场景图像,并获得待处理航空场景模拟图像,待处理航空场景模拟图像为与目标真实航空场景图像对应的模拟图像。
所谓待处理航空场景模拟图像为与目标真实航空场景图像对应的模拟图像,包括:待处理航空场景模拟图像为通过图像模拟生成的、与目标真实航空场景图像对应的模拟图像。
本申请第五实施例中,航空场景图像是指包含航空设备、以及航空相关设备的图像,如:某航空机坪图像、飞机或者无人机飞行的图像以及机场运行相关图像等;航空场景模拟图像为基于计算机视觉处理对真实航空场景图像进行图像模拟而获得模拟图像;真实航空场景图像通过图像采集设备预先采集的、包含航空设备、以及航空相关设备的真实图像。
本申请第五实施例中,获得目标真实航空场景图像,并获得待处理航空场景模拟图像的过程为:先获得目标真实航空场景图像,再根据目标真实航空场景图像,进一步获得待处理航空场景模拟图像,具体的,首先,获得目标真实航空场景图像中的目标对象;然后,根据目标真实航空场景图像和目标对象,构建目标真实航空场景图像对应的三维场景模型;最后,对待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得待处理航空场景模拟图像。
步骤S702:获得待处理航空场景模拟图像中的对象的标注数据。
本申请第五是实施例中,标注数据一般包括航空场景图像中的目标对象在该航空场景图像中的位置数据、航空场景图像中的目标对象的名称数据、以及目标对象的轮廓数据中的一种或多种,具体的,航空场景图像中的目标对象在该航空场景图像中的位置数据一般对应于目标对象在航空场景图像中的区域框数据。由于待处理航空场景模拟图像待处理航空场景模拟图像是通过图像模拟生成的,在图像模拟完成后,即可进一步获得待处理航空场景模拟图像中的对象的标注数据。
步骤S703:根据待处理航空场景模拟图像和目标真实航空场景图像,获得目标航空场景模拟图像。
本申请第五实施例中,根据待处理航空场景模拟图像和目标真实航空场景图像,获得目标航空场景模拟图像的操作为:将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得标航空场景模拟图像。
本申请第五实施例中,目标生成式对抗网络模型为通过模型训练预先获得的模型、具体用于根据待处理航空场景模拟图像和目标真实航空场景图像,获得目标真实航空场景图像的图像特征数据,并将目标真实航空场景图像的图像特征数据迁移到待处理航空场景模拟图像中,以获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
通过模型训练获得目标生成式对抗网络模型的过程为:首先,获得样本航空场景模拟图像,并获得样本真实航空场景图像。然后,根据样本航空场景模拟图像和样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得目标生成式对抗网络模型。具体的步骤如下:
首先,将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到待训练生成式对抗网络模型中,获得第一样本真实航空场景图像的图像特征数据;将第一样本真实航空场景图像的图像特征数据迁移到第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;判断第一目标航空场景模拟图像的图像特征数据是否与第一样本真实航空场景图像的图像特征数据相匹配;若是,则将待训练生成式对抗网络模型作为目标生成式对抗网络模型。其中,获得目标航空场景模拟图像是通过待训练生成式对抗网络模型中的生成器来实现的,即,将样本航空场景模拟图像和样本真实航空场景图像输入到生成器中,生成目标航空场景模拟图像;判断目标航空场景模拟图像的图像特征数据是否与样本真实航空场景图像的图像特征数据相匹配是通过待训练生成式对抗网络模型中的判别器来实现的。
然后,若第一目标航空场景模拟图像的图像特征数据不与第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到待训练生成式对抗网络模型中,获得第二样本真实航空场景图像的图像特征数据;将第二样本真实航空场景图像的图像特征数据迁移到第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;判断第二目标航空场景模拟图像的图像特征数据是否与第二样本真实航空场景图像的图像特征数据相匹配;若第二目标航空场景模拟图像的图像特征数据与第二样本真实航空场景图像的图像特征数据相匹配,则将待训练生成式对抗网络模型作为目标生成式对抗网络模型。
最后,若第二目标航空场景模拟图像的图像特征数据不与第二样本真实航空场景图像的图像特征数据相匹配,则依次将样本航空场景模拟图像和样本真实航空场景图像输入到待训练生成式对抗网络模型中,直至获得目标生成式对抗网络模型。即,判别器输出的判别结果为是时,才能够将待训练生成式对抗网络模型作为目标生成式对抗网络模型。
本申请第五实施例中,获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像的过程为:首先,将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得目标真实航空场景图像的高维图像特征数据。然后,将目标真实航空场景图像的高维图像特征数据迁入到待处理航空场景模拟图像中,获得目标航空场景模拟图像。其中,目标真实航空场景图像的高维图像特征数据至少包括图像纹理特征数据、图像清晰度特征数据、图像色彩饱和度特征数据、图像对比度特征数据以及图像亮度数据中的一种或者多种。
在本申请第五实施例中,无论是确定在模型训练过程过,还是在使用目标生成式对抗网络模型生成目标航空场景模拟图像时,都涉及到不同图像之间的图像特征的相似度的判断,本申请第五实施例中对不同图像之间的图像特征的相似度的判断的原理是一致的,以下具体以获得目标航空场景模拟图像中涉及到图像特征的相似度的判断为依据,进行详细说明。
在将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像的过程为:首先,将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得目标真实航空场景图像的高维图像特征数据;然后,获得待处理航空场景模拟图像的初始高维图像特征数据。最后,根据目标真实航空场景图像的高维图像特征数据,调整待处理航空场景模拟图像的初始高维图像特征数据,获得目标航空场景模拟图像。即,先将待处理航空场景模拟图像和目标真实航空场景图像输入到目标生成式对抗网络模型中,获得目标真实航空场景图像的高维图像特征数据;再将目标真实航空场景图像的高维图像特征数据迁入到待处理航空场景模拟图像中,获得目标航空场景模拟图像。
在根据目标真实航空场景图像的高维图像特征数据,调整待处理航空场景模拟图像的初始高维图像特征数据,获得目标航空场景模拟图像时,会涉及到对图像特征的相似度的判断,具体的过程为:根据目标真实航空场景图像的高维图像特征数据,调整待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;将候选航空场景模拟图像的高维图像特征数据与待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得候选航空场景模拟图像的高维图像特征数据与待处理航空场景模拟图像的初始高维图像特征数据的相似度;若相似度达到或者超出相似度阈值,则将候选航空场景模拟图像作为目标航空场景模拟图像。
需要说明的是,本申请第五实施例中,若相似度未达到相似度阈值,则继续调整待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像,直至获得目标航空场景模拟图像。
步骤S704:根据对象的标注数据,获得目标航空场景模拟图像中的目标对象的标注数据。
在获得目标航空场景模拟图像后和待处理航空场景模拟图像中的对象的标注数据后,即可根据对象的标注数据,获得目标航空场景模拟图像中的目标对象的标注数据目标航空场景模拟图像。即,在根据待处理航空场景模拟图像和目标真实航空场景图像,获得目标航空场景模拟图像后,能够进一步根据获得与目标真实航空场景图像对应的待处理航空场景模拟图像后进一步获得的对象的标注数据,获得目标航空场景模拟图像中的目标对象的标注数据。第五实施例中,获得目标航空场景模拟图像中的目标对象的标注数据的步骤为:首先,获得目标对象与对象的匹配关系。然后,根据对象的标注数据和匹配关系,获得目标对象的标注数据。
第五实施例中提供的航空场景图像的处理方法,在根据获得与目标真实航空场景图像对应的待处理航空场景模拟图像后,会进一步获得待处理航空场景模拟图像中的对象的标注数据,然后再在根据待处理航空场景模拟图像和目标真实航空场景图像,获得目标航空场景模拟图像后,能够进一步根据对象的标注数据,获得目标航空场景模拟图像中的目标对象的标注数据,从而能够确保获得的目标航空场景模拟图像中可以携带有目标航空场景模拟图像中的目标对象的标注数据,从而实现对目标航空场景模拟图像中的目标对象的自动数据标注,简化了对航空场景图像进行数据标注的流程。
第六实施例
与本申请提供的航空场景图像的处理方法的应用场景实施例以及第五实施例提供的航空场景图像的处理方法相对应的,本申请第六实施例还提供了一种航空场景图像的处理装置。由于装置实施例基本相似于应用场景实施例以及第五实施例,所以描述得比较简单,相关之处参见应用场景实施例以及第五实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
请参照图8,其为本申请第六实施例中提供的一种航空场景图像的处理装置的示意图。
该航空场景图像的处理装置,包括:
图像获得单元801,用于获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
标注数据获得单元802,用于获得所述待处理航空场景模拟图像中的对象的标注数据;
目标图像获得单元803,用于根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
标注数据获得单元804,用于根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
所述标注数据获得单元804,具体用于获得所述目标对象与所述对象的匹配关系;根据所述对象的标注数据和所述匹配关系,获得所述目标对象的标注数据。
可选的,所述对象的标注数据至少包括所述对象在所述待处理航空场景模拟图像中的位置数据、所述对象的名称数据以及所述对象的轮廓数据中的一种或多种。
可选的,所述目标图像获得单元803,具体将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述标航空场景模拟图像。
可选的,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
获得样本航空场景模拟图像,并获得样本真实航空场景图像;
根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型。
可选的,所述根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型,包括:
将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第一样本真实航空场景图像的图像特征数据;
将所述第一样本真实航空场景图像的图像特征数据迁移到所述第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;
判断所述第一目标航空场景模拟图像的图像特征数据是否与所述第一样本真实航空场景图像的图像特征数据相匹配;
若是,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:
若所述第一目标航空场景模拟图像的图像特征数据不与所述第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第二样本真实航空场景图像的图像特征数据;
将所述第二样本真实航空场景图像的图像特征数据迁移到所述第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;
判断所述第二目标航空场景模拟图像的图像特征数据是否与所述第二样本真实航空场景图像的图像特征数据相匹配;
若所述第二目标航空场景模拟图像的图像特征数据与所述第二样本真实航空场景图像的图像特征数据相匹配,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
可选的,还包括:若所述第二目标航空场景模拟图像的图像特征数据不与所述第二样本真实航空场景图像的图像特征数据相匹配,则依次将所述样本航空场景模拟图像和所述样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,直至获得所述目标生成式对抗网络模型。
可选的,将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述目标真实航空场景图像的高维图像特征数据;
将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像。
可选的,所述将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像,包括:
获得所述待处理航空场景模拟图像的初始高维图像特征数据;
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像。
可选的,所述根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像,包括:
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;
将所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据的相似度;
若所述相似度达到或者超出相似度阈值,则将所述候选航空场景模拟图像作为所述目标航空场景模拟图像。
可选的,所述图像获得单元801,具体用于获得所述目标真实航空场景图像中的目标对象;根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型;对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像;所述获得所述待处理航空场景模拟图像中的对象的标注数据,包括:根据所述待处理航空场景模拟图像对应的三维场景模型,获得所述对象的标注数据。
可选的,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像,包括:所述待处理航空场景模拟图像为通过图像模拟生成的、与所述目标真实航空场景图像对应的模拟图像。
第七实施例
与本申请提供的航空场景图像的处理方法得应用场景实施例以及第五实施例提供的航空场景图像的处理方法相对应的,本申请第七实施例还提供一种电子设备。
如6所示,图6为本申请实施例中提供的一种电子设备的示意图。
该电子设备包括:
处理器601;以及
存储器602,用于存储航空场景图像的处理方法的程序,该设备通电并通过所述处理器运行该航空场景图像的处理方法的程序后,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
需要说明的是,对于本申请第七实施例提供的电子设备的详细描述可以参考对本申请提供的航空场景图像的处理方法得应用场景实施例以及第五实施例提供的航空场景图像的处理方法的相关描述,这里不再赘述。
第八实施例
与本申请提供的航空场景图像的处理方法得应用场景实施例以及第五实施例提供的航空场景图像的处理方法相对应的,本申请第八实施例还提供一种存储介质,存储有该航空场景图像的处理方法的程序,该程序被处理器运行,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
要说明的是,对于本申请第八实施例提供的存储介质的详细描述可以参考对本申请提供的航空场景图像的处理方法得应用场景实施例以及第五实施例提供的航空场景图像的处理方法的相关描述,这里不再赘述。
第九实施例
与本申请提供的航空场景图像的处理方法的场景实施例以及第一实施例中提供的航空场景图像的处理方法相对应的,本申请第九实施例提供了另一种航空场景图像的处理方法。由于第九实施例的航空场景图像的处理方法基本相似于应用场景实施例以及第一实施例,所以描述得比较简单,相关之处参见应用场景实施例以及第一实施例的部分说明即可。下述描述的第九实施例仅仅是示意性的。
本申请第九实施例中提供的图像的处理方法对应的步骤如下:
首先,获得目标真实图像,并获得待处理模拟图像,待处理模拟图像为与目标真实图像对应的模拟图像。
所谓待处理航空场景模拟图像为与目标真实航空场景图像对应的模拟图像,包括:待处理航空场景模拟图像为通过图像模拟生成的、与目标真实航空场景图像对应的模拟图像。
本申请第九实施例中提供的图像处理方法,一般应用于航空场景,具体用于处理航空场景图像,此时,目标真实图像以及与目标真实图像对应的待处理模拟图像一般为航空场景图像,其中,航空场景图像是指包含航空设备、以及航空相关设备的图像,如:某航空机坪图像、飞机或者无人机飞行的图像以及机场运行相关图像等;航空场景模拟图像为基于计算机视觉处理对真实航空场景图像进行图像模拟而获得模拟图像;真实航空场景图像通过图像采集设备预先采集的、包含航空设备、以及航空相关设备的真实图像。
另外,本申请第九实施例中提供的图像处理方法,还可以应用于城市交通管理、城市管理、工业车间安全管理、建筑工地安全管理以及高速交通管理等。
当将本申请第九实施例中提供的图像处理方法应用于城市交通管理时,目标真实图像以及与目标真实图像对应的待处理模拟图像一般为城市道路场景图像,其中,城市道路场景图像是指包含城市道路、道路设备以及交通工具的图像,如:城市市区道路车辆运行图像、公共交通或者行人往来相关图像等;城市道路场景模拟图像为基于计算机视觉处理对真实城市道路场景图像进行图像模拟而获得模拟图像;真实城市道路场景图像通过图像采集设备预先采集的、包含城市道路、道路设备以及交通工具的真实图像。
当将本申请第九实施例中提供的图像处理方法应用于工业车间安全管理时,目标真实图像以及与目标真实图像对应的待处理模拟图像一般为工业车间场景图像,其中,工业车间场景图像是指包含工业厂房、工业生产设备以及车间工作人员的图像,如:车间流水线运行图像、车间设备运行或者工作人员往来相关图像等;工业车间场景模拟图像为基于计算机视觉处理对真实工业车间场景图像进行图像模拟而获得模拟图像;真实工业车间场景图像通过图像采集设备预先采集的、包含工业厂房、工业生产设备以及车间工作人员的真实图像。然后,将待处理模拟图像和目标真实图像输入到目标生成式对抗网络模型中,获得图像特征数据与目标真实图像的图像特征数据相匹配的目标模拟图像。
本申请第九实施例中,目标生成式对抗网络模型为通过模型训练预先获得的模型、具体用于根据待处理模拟图像和目标真实图像,获得目标真实图像的图像特征数据,并将目标真实图像的图像特征数据迁移到待处理模拟图像中,以获得图像特征数据与目标真实图像的图像特征数据相匹配的目标模拟图像。
第十实施例
与本申请提供的航空场景图像的处理方法的场景实施例以及第五实施例中提供的航空场景图像的处理方法相对应的,本申请第十实施例提供了另一种航空场景图像的处理方法。由于第十实施例的航空场景图像的处理方法基本相似于应用场景实施例以及第五实施例,所以描述得比较简单,相关之处参见应用场景实施例以及第五实施例的部分说明即可。下述描述的第十实施例仅仅是示意性的。
所谓待处理航空场景模拟图像为与目标真实航空场景图像对应的模拟图像,包括:待处理航空场景模拟图像为通过图像模拟生成的、与目标真实航空场景图像对应的模拟图像。
本申请第十实施例中提供的图像的处理方法对应的步骤如下:
首先,获得目标真实图像,并获得待处理模拟图像,待处理模拟图像为与目标真实图像对应的模拟图像。
本申请第十实施例中提供的图像处理方法,一般应用于航空场景,具体用于处理航空场景图像,此时,目标真实图像以及与目标真实图像对应的待处理模拟图像一般为航空场景图像,其中,航空场景图像是指包含航空设备、以及航空相关设备的图像,如:某航空机坪图像、飞机或者无人机飞行的图像以及机场运行相关图像等;航空场景模拟图像为基于计算机视觉处理对真实航空场景图像进行图像模拟而获得模拟图像;真实航空场景图像通过图像采集设备预先采集的、包含航空设备、以及航空相关设备的真实图像。
另外,本申请第十实施例中提供的图像处理方法,还可以应用于城市交通管理、城市管理、工业车间安全管理、建筑工地安全管理以及高速交通管理等。
当将本申请第十实施例中提供的图像处理方法应用于城市交通管理时,目标真实图像以及与目标真实图像对应的待处理模拟图像一般为城市道路场景图像,其中,城市道路场景图像是指包含城市道路、道路设备以及交通工具的图像,如:城市市区道路车辆运行图像、公共交通或者行人往来相关图像等;城市道路场景模拟图像为基于计算机视觉处理对真实城市道路场景图像进行图像模拟而获得模拟图像;真实城市道路场景图像通过图像采集设备预先采集的、包含城市道路、道路设备以及交通工具的真实图像。
当将本申请第十实施例中提供的图像处理方法应用于工业车间安全管理时,目标真实图像以及与目标真实图像对应的待处理模拟图像一般为工业车间场景图像,其中,工业车间场景图像是指包含工业厂房、工业生产设备以及车间工作人员的图像,如:车间流水线运行图像、车间设备运行或者工作人员往来相关图像等;工业车间场景模拟图像为基于计算机视觉处理对真实工业车间场景图像进行图像模拟而获得模拟图像;真实工业车间场景图像通过图像采集设备预先采集的、包含工业厂房、工业生产设备以及车间工作人员的真实图像。
所谓待处理航空场景模拟图像为与目标真实航空场景图像对应的模拟图像,包括:待处理航空场景模拟图像为通过图像模拟生成的、与目标真实航空场景图像对应的模拟图像。
其次,获得待处理模拟图像中的对象的标注数据。
本申请第十是实施例中,标注数据一般包括图像中的目标对象在该图像中的位置数据、图像中的目标对象的名称数据、以及目标对象的轮廓数据中的一种或多种,具体的,图像中的目标对象在该图像中的位置数据一般对应于目标对象在图像中的区域框数据。
再次,根据待处理模拟图像和目标真实图像,获得目标模拟图像。
本申请第十实施例中,根据待处理模拟图像和目标真实图像,获得目标模拟图像的操作为:将待处理模拟图像和目标真实图像输入到目标生成式对抗网络模型中,获得标模拟图像。
本申请第十实施例中,目标生成式对抗网络模型为通过模型训练预先获得的模型、具体用于根据待处理模拟图像和目标真实图像,获得目标真实图像的图像特征数据,并将目标真实图像的图像特征数据迁移到待处理模拟图像中,以获得图像特征数据与目标真实图像的图像特征数据相匹配的目标模拟图像。
最后,根据对象的标注数据,获得目标模拟图像中的目标对象的标注数据。
在获得目标模拟图像后和待处理模拟图像中的对象的标注数据后,即可根据对象的标注数据,获得目标模拟图像中的目标对象的标注数据目标模拟图像。即,在根据待处理模拟图像和目标真实图像,获得目标模拟图像后,能够进一步根据获得与目标真实图像对应的待处理模拟图像后进一步获得的对象的标注数据,获得目标模拟图像中的目标对象的标注数据。第五实施例中,获得目标模拟图像中的目标对象的标注数据的步骤为:首先,获得目标对象与对象的匹配关系。然后,根据对象的标注数据和匹配关系,获得目标对象的标注数据。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本发明的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(Transitory Media),如调制的数据信号和载波。
2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (38)

1.一种航空场景图像的处理方法,其特征在于,包括:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
2.根据权利要求1所述的航空场景图像的处理方法,其特征在于,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
获得样本航空场景模拟图像,并获得样本真实航空场景图像;
根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型。
3.根据权利要求2所述的航空场景图像的处理方法,其特征在于,所述根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型,包括:
将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第一样本真实航空场景图像的图像特征数据;
将所述第一样本真实航空场景图像的图像特征数据迁移到所述第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;
判断所述第一目标航空场景模拟图像的图像特征数据是否与所述第一样本真实航空场景图像的图像特征数据相匹配;
若是,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
4.根据权利要求3所述的航空场景图像的处理方法,其特征在于,还包括:
若所述第一目标航空场景模拟图像的图像特征数据不与所述第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第二样本真实航空场景图像的图像特征数据;
将所述第二样本真实航空场景图像的图像特征数据迁移到所述第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;
判断所述第二目标航空场景模拟图像的图像特征数据是否与所述第二样本真实航空场景图像的图像特征数据相匹配;
若所述第二目标航空场景模拟图像的图像特征数据与所述第二样本真实航空场景图像的图像特征数据相匹配,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
5.根据权利要求4所述的航空场景图像的处理方法,其特征在于,还包括:若所述第二目标航空场景模拟图像的图像特征数据不与所述第二样本真实航空场景图像的图像特征数据相匹配,则依次将所述样本航空场景模拟图像和所述样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,直至获得所述目标生成式对抗网络模型。
6.根据权利要求1所述的航空场景图像的处理方法,其特征在于,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述目标真实航空场景图像的高维图像特征数据;
将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像。
7.根据权利要求6所述的航空场景图像的处理方法,其特征在于,所述将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像,包括:
获得所述待处理航空场景模拟图像的初始高维图像特征数据;
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像。
8.根据权利要求7所述的航空场景图像的处理方法,其特征在于,所述根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像,包括:
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;
将所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据的相似度;
若所述相似度达到或者超出相似度阈值,则将所述候选航空场景模拟图像作为所述目标航空场景模拟图像。
9.根据权利要求7所述的航空场景图像的处理方法,其特征在于,还包括:
若所述相似度未达到所述相似度阈值,则继续调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像,直至获得所述目标航空场景模拟图像。
10.根据权利要求6所述的航空场景图像的处理方法,其特征在于,所述目标真实航空场景图像的高维图像特征数据至少包括图像纹理特征数据、图像清晰度特征数据、图像色彩饱和度特征数据、图像对比度特征数据以及图像亮度数据中的一种或者多种。
11.根据权利要求1所述的航空场景图像的处理方法,其特征在于,所述获得目标真实航空场景图像,并获得待处理航空场景模拟图像,包括:
获得所述目标真实航空场景图像中的目标对象;
根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型;
对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像。
12.根据权利要求11所述的航空场景图像的处理方法,其特征在于,所述根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型,包括:
根据所述目标真实航空场景图像,通过指定图像采集设备获得所述目标对象对应的三维物体的目标二维图像;
根据所述指定图像采集设备的参数数据建立目标三维空间坐标系;
提取所述目标二维图像的图像特征数据;
根据所述目标二维图像的图像特征数据,确定所述目标对象在所述三维空间坐标系中的对应关系;
根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,在所述目标三维空间坐标系中构建所述三维场景模型。
13.根据权利要求12所述的航空场景图像的处理方法,其特征在于,所述根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,在所述目标三维空间坐标系中构建所述三维场景模型,包括:
根据所述指定图像采集设备的参数数据和所述目标三维空间坐标系,确定所述三维场景模型在所述目标三维空间坐标系中对应的稀疏点云数据;
针对所述稀疏点云数据进行点云扩展,获得所述三维场景模型在所述目标三维空间坐标系中对应的稠密点云数据;
根据所述稠密点云数据,获得构建所述三维场景模型。
14.根据权利要求12所述的航空场景图像的处理方法,其特征在于,所述对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像,包括:根据指定图像采集设备的参数数据和预设的光照参数数据,对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像。
15.根据权利要求12或13所述的航空场景图像的处理方法,其特征在于,还包括:获得所述指定图像采集设备的参数数据。
16.根据权利要求1所述的航空场景图像的处理方法,其特征在于,还包括:
获得所述待处理航空场景模拟图像中的对象的标注数据;
获得所述目标航空场景模拟图像中的目标对象与所述对象的匹配关系;
根据所述对象的标注数据和所述匹配关系,获得所述目标对象的标注数据。
17.根据权利要求1所述的航空场景图像的处理方法,其特征在于,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像,包括:所述待处理航空场景模拟图像为通过图像模拟生成的、与所述目标真实航空场景图像对应的模拟图像。
18.一种航空场景图像的处理装置,其特征在于,包括:
图像获得单元,用于获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
图像处理单元,用于将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
19.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储航空场景图像的处理方法的程序,该设备通电并通过所述处理器运行该航空场景图像的处理方法的程序后,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
20.一种存储介质,其特征在于,存储有航空场景图像的处理方法的程序,该程序被处理器运行,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像。
21.一种航空场景图像的处理方法,其特征在于,包括:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
22.根据权利要求21所述的航空场景图像的处理方法,其特征在于,所述根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据,包括:
获得所述目标对象与所述对象的匹配关系;
根据所述对象的标注数据和所述匹配关系,获得所述目标对象的标注数据。
23.根据权利要求22所述的航空场景图像的处理方法,其特征在于,所述对象的标注数据至少包括所述对象在所述待处理航空场景模拟图像中的位置数据、所述对象的名称数据以及所述对象的轮廓数据中的一种或多种。
24.根据权利要求21所述的航空场景图像的处理方法,其特征在于,所述根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像,包括:将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述标航空场景模拟图像。
25.根据权利要求24所述的航空场景图像的处理方法,其特征在于,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
获得样本航空场景模拟图像,并获得样本真实航空场景图像;
根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型。
26.根据权利要求25所述的航空场景图像的处理方法,其特征在于,所述根据所述样本航空场景模拟图像和所述样本真实航空场景图像,对待训练生成式对抗网络模型进行模型训练,获得所述目标生成式对抗网络模型,包括:
将第一样本航空场景模拟图像和第一样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第一样本真实航空场景图像的图像特征数据;
将所述第一样本真实航空场景图像的图像特征数据迁移到所述第一样本航空场景模拟图像中,获得第一目标航空场景模拟图像;
判断所述第一目标航空场景模拟图像的图像特征数据是否与所述第一样本真实航空场景图像的图像特征数据相匹配;
若是,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
27.根据权利要求26所述的航空场景图像的处理方法,其特征在于,还包括:
若所述第一目标航空场景模拟图像的图像特征数据不与所述第一样本真实航空场景图像的图像特征数据相匹配,则将第二样本航空场景模拟图像和第二样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,获得所述第二样本真实航空场景图像的图像特征数据;
将所述第二样本真实航空场景图像的图像特征数据迁移到所述第二样本航空场景模拟图像中,获得第二目标航空场景模拟图像;
判断所述第二目标航空场景模拟图像的图像特征数据是否与所述第二样本真实航空场景图像的图像特征数据相匹配;
若所述第二目标航空场景模拟图像的图像特征数据与所述第二样本真实航空场景图像的图像特征数据相匹配,则将所述待训练生成式对抗网络模型作为所述目标生成式对抗网络模型。
28.根据权利要求27所述的航空场景图像的处理方法,其特征在于,还包括:若所述第二目标航空场景模拟图像的图像特征数据不与所述第二样本真实航空场景图像的图像特征数据相匹配,则依次将所述样本航空场景模拟图像和所述样本真实航空场景图像输入到所述待训练生成式对抗网络模型中,直至获得所述目标生成式对抗网络模型。
29.根据权利要求24所述的航空场景图像的处理方法,其特征在于,所述将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实航空场景图像的图像特征数据相匹配的目标航空场景模拟图像,包括:
将所述待处理航空场景模拟图像和所述目标真实航空场景图像输入到目标生成式对抗网络模型中,获得所述目标真实航空场景图像的高维图像特征数据;
将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像。
30.根据权利要求29所述的航空场景图像的处理方法,其特征在于,所述将所述目标真实航空场景图像的高维图像特征数据迁入到所述待处理航空场景模拟图像中,获得所述目标航空场景模拟图像,包括:
获得所述待处理航空场景模拟图像的初始高维图像特征数据;
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像。
31.根据权利要求30所述的航空场景图像的处理方法,其特征在于,所述根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得所述目标航空场景模拟图像,包括:
根据所述目标真实航空场景图像的高维图像特征数据,调整所述待处理航空场景模拟图像的初始高维图像特征数据,获得候选航空场景模拟图像;
将所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据进行聚类比较,获得所述候选航空场景模拟图像的高维图像特征数据与所述待处理航空场景模拟图像的初始高维图像特征数据的相似度;
若所述相似度达到或者超出相似度阈值,则将所述候选航空场景模拟图像作为所述目标航空场景模拟图像。
32.根据权利要求21所述的航空场景图像的处理方法,其特征在于,所述获得目标真实航空场景图像,并获得待处理航空场景模拟图像,包括:获得所述目标真实航空场景图像中的目标对象;
根据所述目标真实航空场景图像和所述目标对象,构建所述目标真实航空场景图像对应的三维场景模型;
对所述待处理航空场景模拟图像对应的三维场景模型进行成像模拟,获得所述待处理航空场景模拟图像;
所述获得所述待处理航空场景模拟图像中的对象的标注数据,包括:根据所述待处理航空场景模拟图像对应的三维场景模型,获得所述对象的标注数据。
33.根据权利要求21所述的航空场景图像的处理方法,其特征在于,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像,包括:所述待处理航空场景模拟图像为通过图像模拟生成的、与所述目标真实航空场景图像对应的模拟图像。
34.一种航空场景图像的处理装置,其特征在于,包括:
图像获得单元,用于获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
标注数据获得单元,用于获得所述待处理航空场景模拟图像中的对象的标注数据;
目标图像获得单元,用于根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
标注数据获得单元,用于根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
35.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储航空场景图像的处理方法的程序,该设备通电并通过所述处理器运行该航空场景图像的处理方法的程序后,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
36.一种存储介质,其特征在于,存储有航空场景图像的处理方法的程序,该程序被处理器运行,执行下述步骤:
获得目标真实航空场景图像,并获得待处理航空场景模拟图像,所述待处理航空场景模拟图像为与所述目标真实航空场景图像对应的模拟图像;
获得所述待处理航空场景模拟图像中的对象的标注数据;
根据所述待处理航空场景模拟图像和所述目标真实航空场景图像,获得目标航空场景模拟图像;
根据所述对象的标注数据,获得所述目标航空场景模拟图像中的目标对象的标注数据。
37.一种图像的处理方法,其特征在于,包括:
获得目标真实图像,并获得待处理模拟图像,所述待处理模拟图像为与所述目标真实图像对应的模拟图像;
将所述待处理模拟图像和所述目标真实图像输入到目标生成式对抗网络模型中,获得图像特征数据与所述目标真实图像的图像特征数据相匹配的目标模拟图像。
38.一种图像的处理方法,其特征在于,包括:
获得目标真实图像,并获得待处理模拟图像,所述待处理模拟图像为与所述目标真实图像对应的模拟图像;
获得所述待处理模拟图像中的对象的标注数据;
根据所述待处理模拟图像和所述目标真实图像,获得目标模拟图像;
根据所述对象的标注数据,获得所述目标模拟图像中的目标对象的标注数据。
CN202010618199.XA 2020-06-30 2020-06-30 一种航空场景图像的处理方法、装置以及电子设备 Pending CN113870412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010618199.XA CN113870412A (zh) 2020-06-30 2020-06-30 一种航空场景图像的处理方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010618199.XA CN113870412A (zh) 2020-06-30 2020-06-30 一种航空场景图像的处理方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN113870412A true CN113870412A (zh) 2021-12-31

Family

ID=78981827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010618199.XA Pending CN113870412A (zh) 2020-06-30 2020-06-30 一种航空场景图像的处理方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN113870412A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117395379A (zh) * 2023-12-08 2024-01-12 辽宁数能科技发展有限公司 一种供应链场景下的物流运输调控系统与方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117395379A (zh) * 2023-12-08 2024-01-12 辽宁数能科技发展有限公司 一种供应链场景下的物流运输调控系统与方法
CN117395379B (zh) * 2023-12-08 2024-04-05 辽宁数能科技发展有限公司 一种供应链场景下的物流运输调控系统与方法

Similar Documents

Publication Publication Date Title
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN109285220B (zh) 一种三维场景地图的生成方法、装置、设备及存储介质
CN109598794B (zh) 三维gis动态模型的构建方法
Hoppe et al. Incremental Surface Extraction from Sparse Structure-from-Motion Point Clouds.
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN110428490B (zh) 构建模型的方法和装置
CN111402414A (zh) 一种点云地图构建方法、装置、设备和存储介质
CN113377888A (zh) 训练目标检测模型和检测目标的方法
Varatharasan et al. Improving learning effectiveness for object detection and classification in cluttered backgrounds
CN116205978A (zh) 三维目标物体映射图像确定方法、装置、设备及存储介质
Zhu et al. Spatial and visual data fusion for capturing, retrieval, and modeling of as-built building geometry and features
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112580428A (zh) 一种配电网设计方法及装置
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
CN114612741A (zh) 缺陷识别模型的训练方法、装置、电子设备及存储介质
Oskouie et al. A data quality-driven framework for asset condition assessment using LiDAR and image data
CN114186007A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN113870412A (zh) 一种航空场景图像的处理方法、装置以及电子设备
CN112132845A (zh) 三维模型的单体化方法、装置、电子设备和可读介质
CN110377776B (zh) 生成点云数据的方法和装置
CN113808142B (zh) 一种地面标识的识别方法、装置、电子设备
US20200285247A1 (en) Systems and methods for autonomous robot navigation
Dekkiche et al. Vehicles detection in stereo vision based on disparity map segmentation and objects classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40064975

Country of ref document: HK