CN116542891B - 一种高分辨率飞机蒙皮表面损伤图像合成方法及系统 - Google Patents
一种高分辨率飞机蒙皮表面损伤图像合成方法及系统 Download PDFInfo
- Publication number
- CN116542891B CN116542891B CN202310532188.3A CN202310532188A CN116542891B CN 116542891 B CN116542891 B CN 116542891B CN 202310532188 A CN202310532188 A CN 202310532188A CN 116542891 B CN116542891 B CN 116542891B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- resolution
- damage
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006378 damage Effects 0.000 title claims abstract description 129
- 238000001308 synthesis method Methods 0.000 title claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 132
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 48
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 12
- 208000014674 injury Diseases 0.000 claims abstract description 12
- 230000037380 skin damage Effects 0.000 claims abstract description 8
- 238000012360 testing method Methods 0.000 claims description 26
- 239000002131 composite material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 5
- 238000002790 cross-validation Methods 0.000 claims description 4
- 239000003623 enhancer Substances 0.000 claims 2
- 230000008485 antagonism Effects 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 description 20
- 238000001514 detection method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种高分辨率飞机蒙皮表面损伤图像合成方法及系统，其中方法包括以下步骤：建立飞机蒙皮损伤图像数据库，并提取训练用图像；对所述训练用图像进行语义标记，得到与所述训练用图像相对应的语义损伤图；基于所述训练用图像和所述语义损伤图进行CGAN模型训练，得到图像合成模型；将手绘损伤分割图输入至所述图像合成模型，得到合成损伤图像。本申请利用对抗网络进行飞机蒙皮表面损伤图像合成，可以有效地解决收集飞机蒙皮表面损伤图像耗时耗力的问题，为自动生成飞机蒙皮表面损伤图像奠定了基础。
Description
技术领域
本申请属于飞机维护技术领域，具体涉及一种高分辨率飞机蒙皮表面损伤图像合成方法及系统。
背景技术
飞机蒙皮表面损伤的类别有划痕、雷击、鸟击、雹击、掉漆等。损伤从视觉上反映飞机蒙皮在安全性、耐久性和可用性方面的退化。飞机蒙皮表面不同的损伤可以采用相应的修复方法，使飞机处于持续适航状态，保证飞行安全。飞机蒙皮表面损伤目前主要是由机务维修人员通过目视检查发现，目视检测法需要2-3名机务人员协同作业，效率低下；同时检查人员还需要具有一定的维修经验，机务人员的技能水平、工作状态及经验对损伤检测结果均具有一定的影响。
基于传统图像处理的方法使用直方图、阈值、形态学特征、边缘检测器和全局变换来检测飞机蒙皮损伤，为了改进基于图像处理的方法，机器学习算法(如人工神经网络和支持向量机)被用于检测飞机蒙皮表面损伤。随着人工智能的快速发展，基于深度学习的方法已经具有图像分类、对象检测、语义分割和实例分割的能力，因此提出了许多使用图像分类、对象检测、语义分割和实例分割网络的自动飞机蒙皮表面损伤检测方法。
在基于深度学习的飞机蒙皮表面损伤检测方法中，损伤数据库对深度学习模型的检测性能影响较大。深度学习网络从图像中学习损伤特征，在训练过程中损伤图像可以减少过度拟合的概率。人工收集飞机蒙皮表面损伤图像耗时费力，研究人员创建了自收集的损伤图像作为开源数据库，为飞机损伤检测中的深度学习研究做出了贡献，然而开源数据库只包含飞机蒙皮表面的少量损伤，图像质量不高，所以图像合成可以作为获得飞机蒙皮表面损伤图像的另一种方法。
发明内容
本申请旨在解决现有技术的不足，提出一种高分辨率飞机蒙皮表面损伤图像合成方法及系统，利用对抗网络(CGAN)进行飞机蒙皮表面损伤图像合成。
为实现上述目的，本申请提供了如下方案：
一种高分辨率飞机蒙皮表面损伤图像合成方法，包括以下步骤：
建立飞机蒙皮损伤图像数据库，并提取训练用图像；
对所述训练用图像进行语义标记，得到与所述训练用图像相对应的语义损伤图；
基于所述训练用图像和所述语义损伤图进行CGAN模型训练，得到图像合成模型；
将手绘损伤分割图输入至所述图像合成模型，得到合成损伤图像。
优选的，所述语义标记的方法包括：将所述训练用图像中的背景、划痕和采样分别标记为不同颜色，得到所述标记损伤图。
优选的，所述CGAN模型的训练过程包括：
将所述训练用图像按照预设比例划分为训练集和测试集；
将所述训练集输入至所述CGAN模型的生成器和鉴别器中进行对抗训练，得到初始合成模型；
基于所述测试集对所述初始合成模型进行测试，得到所述图像合成模型。
优选的，所述对抗训练的方法包括：
S301.训练低分辨率生成器和鉴别器；
S302.将所述训练集输入至所述低分辨率生成器中，得到低分辨率损伤图像；
S303.将所述低分辨率损伤图像与相应的所述语义损伤图进行合成，得到高分辨率损伤图像；
S304.将所述高分辨率损伤图像输入至所述鉴别器中，并由所述鉴别器发出反馈信息；
S305.所述低分辨率生成器基于所述反馈信息增强生成质量；
S306.重复所述S302-所述S305，使所述低分辨率生成器和所述鉴别器收敛至纳什均衡，完成所述对抗训练。
本申请还提供了一种高分辨率飞机蒙皮表面损伤图像合成系统，包括：数据库模块、标记模块、模型训练模块和图像合成模块；
所述数据库模块用于建立飞机蒙皮损伤图像数据库，并提取训练用图像；
所述标记模块用于对所述训练用图像进行语义标记，得到与所述训练用图像相对应的语义损伤图；
所述模型训练模块用于基于所述训练用图像和所述语义损伤图进行CGAN模型训练，得到图像合成模型；
所述图像合成模块用于将手绘损伤分割图输入至所述图像合成模型，得到合成损伤图像。
优选的，所述标记模块的工作流程包括：将所述训练用图像中的背景、划痕和采样分别标记为不同颜色，得到所述标记损伤图。
优选的，所述模型训练模块包括：数据划分单元、对抗训练单元和测试单元；
所述数据划分单元用于将所述训练用图像按照预设比例划分为训练集和测试集；
所述对抗训练单元用于将所述训练集输入至所述CGAN模型的生成器和鉴别器中进行对抗训练，得到初始合成模型；
所述测试单元用于基于所述测试集对所述初始合成模型进行测试，得到所述图像合成模型。
优选的，所述对抗训练的流程包括：
S301.训练低分辨率生成器和鉴别器；
S302.将所述训练集输入至所述低分辨率生成器中，得到低分辨率损伤图像；
S303.将所述低分辨率损伤图像与相应的所述语义损伤图进行合成，得到高分辨率损伤图像；
S304.将所述高分辨率损伤图像输入至所述鉴别器中，并由所述鉴别器发出反馈信息；
S305.所述低分辨率生成器基于所述反馈信息增强生成质量；
S306.重复所述S302-所述S305，使所述低分辨率生成器和所述鉴别器收敛至纳什均衡，完成所述对抗训练。
与现有技术相比，本申请的有益效果为：
本申请利用对抗网络进行飞机蒙皮表面损伤图像合成，可以有效地解决收集飞机蒙皮表面损伤图像耗时耗力的问题，为自动生成飞机蒙皮表面损伤图像奠定了基础。
附图说明
为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的方法流程示意图；
图2为本申请实施例的系统结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
在本实施例中，如图1所示，一种高分辨率飞机蒙皮表面损伤图像合成方法，包括以下步骤：
S1.建立飞机蒙皮损伤图像数据库，并提取训练用图像。
本实施例中，使用原始飞机蒙皮表面损伤数据库中分辨率为1024×2048的500张飞机蒙皮表面损伤图像作为训练用图像进行模型训练。
S2.对训练用图像进行语义标记，得到与训练用图像相对应的语义损伤图。
语义标记的方法包括：将训练用图像中的背景、划痕和采样分别标记为不同颜色，得到标记损伤图。
在本实施例中，根据训练用图像，语义损伤图在像素级别被手动标记，背景、划痕和采样分别设置为白色(红色：0、绿色：0和蓝色：0)、深红色(红色：128、绿色：1和蓝色：1)和绿色(红色：1、绿色：128和蓝色：2)。损伤图像和相应的语义损伤图是成对的，与语义分割网络不同，CGAN的输入是语义损伤图，输出是与输入相对应的合成损伤图像。
S3.基于训练用图像和语义损伤图进行CGAN模型训练，得到图像合成模型。
CGAN模型的训练过程包括：将训练用图像按照预设比例划分为训练集和测试集；将训练集输入至CGAN模型的生成器和鉴别器中进行对抗训练，得到初始合成模型；基于测试集对初始合成模型进行测试，得到图像合成模型。
其中，对抗训练的方法包括：S301.训练低分辨率生成器和鉴别器；S302.将训练集输入至低分辨率生成器中，得到低分辨率损伤图像；S303.将低分辨率损伤图像与相应的语义损伤图进行合成，得到高分辨率损伤图像；S304.将高分辨率损伤图像输入至鉴别器中，并由鉴别器发出反馈信息；S305.低分辨率生成器基于反馈信息增强生成质量；S306.重复S302-S305，使低分辨率生成器和鉴别器收敛至纳什均衡，完成对抗训练。
在本实施例中，据五重交叉验证原理，在收集的500幅图像中，按照4:1的预设比例，随机选择了400幅图像对来训练CGAN模型，剩下的100幅图像对被用作测试数据集。选用pix2pixHD模型作为本实施例的CGAN模型，pix2pixHD可以生成具有明显更高计算要求的高分辨率照片级真实感图像。pix2pixHD的生成器被分解为两个子网络：全局生成器网络和局部增强器网络。pix2pixHD使用三个具有相同网络结构但以不同图像比例操作的鉴别器。实现了真实和合成高分辨率图像的下采样，以创建三个尺度的图像金字塔。pix2pixHD在训练过程中，首先训练了低分辨率生成器和鉴别器，在低分辨率生成器中合成的512×1024分辨率的低分辨率损伤图像和1024×2048分辨率的相应语义高分辨率图像用于合成1024×2048的高分辨率损伤图像，将高分辨率损伤图像输入至鉴别器中，并由鉴别器发出反馈信息；低分辨率生成器基于反馈信息增强生成质量；重复上述步骤，使低分辨率生成器和鉴别器收敛至纳什均衡，完成对抗训练。
S4.将手绘损伤分割图输入至图像合成模型，得到合成损伤图像。
在本实施例中，将手绘损伤分割图作为图像合成模型的输入，图像合成模型分析输入执行生成器的推理，并合成虚拟损伤图像，即合成损伤图像。
实施例二
在本实施例中，如图2所示，一种高分辨率飞机蒙皮表面损伤图像合成系统，包括：数据库模块、标记模块、模型训练模块和图像合成模块。
数据库模块用于建立飞机蒙皮损伤图像数据库，并提取训练用图像。
本实施例中，使用原始飞机蒙皮表面损伤数据库中分辨率为1024×2048的500张飞机蒙皮表面损伤图像作为训练用图像进行模型训练。
标记模块用于对训练用图像进行语义标记，得到与训练用图像相对应的语义损伤图。
语义标记的方法包括：将训练用图像中的背景、划痕和采样分别标记为不同颜色，得到标记损伤图。
在本实施例中，根据训练用图像，语义损伤图在像素级别被手动标记，背景、划痕和采样分别设置为白色(红色：0、绿色：0和蓝色：0)、深红色(红色：128、绿色：1和蓝色：1)和绿色(红色：1、绿色：128和蓝色：2)。损伤图像和相应的语义损伤图是成对的，与语义分割网络不同，CGAN的输入是语义损伤图，输出是与输入相对应的合成损伤图像。
模型训练模块用于基于训练用图像和语义损伤图进行CGAN模型训练，得到图像合成模型。
CGAN模型的训练过程包括：将训练用图像按照预设比例划分为训练集和测试集；将训练集输入至CGAN模型的生成器和鉴别器中进行对抗训练，得到初始合成模型；基于测试集对初始合成模型进行测试，得到图像合成模型。
其中，对抗训练的方法包括：S301.训练低分辨率生成器和鉴别器；S302.将训练集输入至低分辨率生成器中，得到低分辨率损伤图像；S303.将低分辨率损伤图像与相应的语义损伤图进行合成，得到高分辨率损伤图像；S304.将高分辨率损伤图像输入至鉴别器中，并由鉴别器发出反馈信息；S305.低分辨率生成器基于反馈信息增强生成质量；S306.重复S302-S305，使低分辨率生成器和鉴别器收敛至纳什均衡，完成对抗训练。
在本实施例中，据五重交叉验证原理，在收集的500幅图像中，按照4:1的预设比例，随机选择了400幅图像对来训练CGAN模型，剩下的100幅图像对被用作测试数据集。选用pix2pixHD模型作为本实施例的CGAN模型，pix2pixHD可以生成具有明显更高计算要求的高分辨率照片级真实感图像。pix2pixHD的生成器被分解为两个子网络：全局生成器网络和局部增强器网络。pix2pixHD使用三个具有相同网络结构但以不同图像比例操作的鉴别器。实现了真实和合成高分辨率图像的下采样，以创建三个尺度的图像金字塔。pix2pixHD在训练过程中，首先训练了低分辨率生成器和鉴别器，在低分辨率生成器中合成的512×1024分辨率的低分辨率损伤图像和1024×2048分辨率的相应语义高分辨率图像用于合成1024×2048的高分辨率损伤图像，将高分辨率损伤图像输入至鉴别器中，并由鉴别器发出反馈信息；低分辨率生成器基于反馈信息增强生成质量；重复上述步骤，使低分辨率生成器和鉴别器收敛至纳什均衡，完成对抗训练。
图像合成模块用于将手绘损伤分割图输入至图像合成模型，得到合成损伤图像。
在本实施例中，将手绘损伤分割图作为图像合成模型的输入，图像合成模型分析输入执行生成器的推理，并合成虚拟损伤图像，即合成损伤图像。
实施例三
在本实施例中，分别选取了pix2pix、CycleGAN、OASIS和pix2pixHD四种不同的CGAN模型进行训练，并对四种不同的模型进行评估。
在训练过程中，pix2pix根据语义损伤图创建合成飞机蒙皮表面损伤图像，鉴别器需要与语义损伤图相对应的真实损伤图像来提升合成损伤图像，对pix2pix的训练数据中的语义损伤图和真实损伤图像进行配对。
CycleGAN可以根据任意真实损伤图像来提升鉴别器中的合成损伤图像，CycleGAN的训练数据中的语义损伤图和真实损伤图像不必成对。
OASIS是一种简化的CGAN模型，只需要对抗性监督即可获得高质量的结果，并且可以通过对注入到生成器中的3D噪声张量进行全局和局部采样来提供高质量的多模态图像合成。OASIS的鉴别器是一个语义分割网络，它直接使用给定的语义标签图作为训练的地面真值。OASIS在ADE20K、COCO Stuff、Cityscapes和ImageNet数据集上执行了出色的图像合成。
pix2pixHD与pix2pix相比是一种改进的网络，可以生成具有明显更高计算要求的高分辨率照片级真实感图像。pix2pixHD的生成器被分解为两个子网络：全局生成器网络和局部增强器网络。pix2pixHD使用三个具有相同网络结构但以不同图像比例操作的鉴别器。实现了真实和合成高分辨率图像的下采样，以创建三个尺度的图像金字塔。pix2pixHD在训练过程中，首先训练了低分辨率生成器和鉴别器，在低分辨率生成器中合成的512×1024分辨率的低分辨率损伤图像和1024×2048分辨率的相应语义高分辨率图像用于合成1024×2048的高分辨率损伤图像。
准确评估CGAN模型合成的图像的质量至关重要。评估的关键方面是合成图像和真实图像的差异量化。初始分数(IS)、初始距离(FID)和全卷积网络(FCN)分数，包括加权像素精度(WPA)和加权联合交叉(WIoU)，被用作训练的pix2pix、CycleGAN、OASIS和pix2pixHD模型的评估指标。IS是一种图像清晰度和多样性的度量，它评估了GAN使用在ImageNet数据库上训练的Inception-v3合成的图像的质量。将GAN合成的图像输入Inception-v3，并输出合成图像的1000类概率。根据概率，使用等式(1)计算IS。IS值越大，图像质量越好。
其中x～pg是由GAN合成的图像，Ex～pg为x～pg的期望值。x从x～pg被输入到训练好的Inception-v3中，y是对应的输出概率，该概率向量包括1000个类，表示图像x属于所有类的概率分布。p(y)是1000个类的平均值。DKL表示Kullback–Leibler散度的计算。
IS只考虑CGAN模型的合成图像的质量，而忽略了真实图像的影响。FID被用作特征空间中的评估度量，以获得真实图像和合成图像之间的距离。在计算FID时，首先使用训练的Inception-v3来提取真实图像和合成图像的特征。随后，为特征空间建立高斯模型，并求解两个特征之间的距离。基于高斯模型的平均值和协方差，可以使用等式(2)计算FID。较低的FID表示较高的图像清晰度和多样性。
其中μr和μg分别是真实图像和合成图像的平均值。和/>分别是真实图像和合成图像的协方差矩阵。Tr表示矩阵轨迹计算。
对于合成图像进行了“真实与虚假”感知研究，以评估合成图像的真实性。在知觉研究中，展示了一系列图像对，一幅真实图像和一幅合成图像，并被要求点击他们认为真实的图像。由于感知研究是主观和经验的，一些研究人员寻求了一种不需要人体实验的自动定量测量方法。研究使用预训练的语义分割模型来测量作为伪度量的生成刺激的可辨别性。如果合成图像是真实的，在真实图像上训练的现成语义分割模型将能够正确地对合成图像中的像素进行分类。因此，采用了FCN分数，并用于评估合成飞机蒙皮表面损伤图像，其中传统的FCN-8s架构在构建的数据库上进行了训练。WPA和WIoU然后根据合成这些图像的图像对合成图像进行评分。WPA测量图像清晰度，WIoU估计关键像素的生成质量。WPA和WIoU的计算如下：
其中(k+1)是总类别(类别0、1和2分别是背景、裂纹和剥落)。ωu是u类的权重，其中ω0、ω1和ω2分别设置为0、0.5和0.5，puv是u类中预测属于v类的像素数。因此，puu表示真阳性数。
经过上述评估，训练的pix2pixHD模型是飞机蒙皮表面损伤图像合成的最佳CGAN模型。
以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。
Claims (2)
1.一种高分辨率飞机蒙皮表面损伤图像合成方法，其特征在于，包括以下步骤：
建立飞机蒙皮损伤图像数据库，并提取训练用图像；
对所述训练用图像进行语义标记，得到与所述训练用图像相对应的语义损伤图；语义标记的方法包括：将训练用图像中的背景、划痕和采样分别标记为不同颜色，得到标记损伤图；根据训练用图像，语义损伤图在像素级别被手动标记，背景、划痕和采样分别设置为白色、深红色和绿色；损伤图像和相应的语义损伤图是成对的，与语义分割网络不同，CGAN的输入是语义损伤图，输出是与输入相对应的合成损伤图像；
基于所述训练用图像和所述语义损伤图进行CGAN模型训练，得到图像合成模型；
将手绘损伤分割图输入至所述图像合成模型，得到合成损伤图像；
所述语义标记的方法包括：将所述训练用图像中的背景、划痕和采样分别标记为不同颜色，得到所述标记损伤图；
所述CGAN模型的训练过程包括：
将所述训练用图像按照预设比例划分为训练集和测试集；
将所述训练集输入至所述CGAN模型的生成器和鉴别器中进行对抗训练，得到初始合成模型；
基于所述测试集对所述初始合成模型进行测试，得到所述图像合成模型；
所述对抗训练的方法包括：
S301.训练低分辨率生成器和鉴别器；
S302.将所述训练集输入至所述低分辨率生成器中，得到低分辨率损伤图像；
S303.将所述低分辨率损伤图像与相应的所述语义损伤图进行合成，得到高分辨率损伤图像；
S304.将所述高分辨率损伤图像输入至所述鉴别器中，并由所述鉴别器发出反馈信息；
S305.所述低分辨率生成器基于所述反馈信息增强生成质量；
S306.重复所述S302-所述S305，使所述低分辨率生成器和所述鉴别器收敛至纳什均衡，完成所述对抗训练；
据五重交叉验证原理，在收集的500幅图像中，按照4:1的预设比例，随机选择400幅图像训练CGAN模型，并将剩余的100幅图像用作测试数据集；选用pix2pixHD模型作为待训练的CGAN模型，pix2pixHD模型包括低分辨率生成器和鉴别器，pix2pixHD模型的低分辨率生成器包括两个子网络：全局生成器网络和局部增强器网络，pix2pixHD模型使用三个具有相同网络结构但以不同图像比例操作的鉴别器；
pix2pixHD模型在训练过程中，将在低分辨率生成器中合成的低分辨率损伤图像和与其相应的语义高分辨率图像合成为高分辨率损伤图像，将高分辨率损伤图像输入至鉴别器中，并由鉴别器发出反馈信，低分辨率生成器基于反馈信息增强生成质量，重训练步骤，使低分辨率生成器和鉴别器收敛至纳什均衡，完成对抗训练。
2.一种高分辨率飞机蒙皮表面损伤图像合成系统，其特征在于，包括：数据库模块、标记模块、模型训练模块和图像合成模块；
所述数据库模块用于建立飞机蒙皮损伤图像数据库，并提取训练用图像；
所述标记模块用于对所述训练用图像进行语义标记，得到与所述训练用图像相对应的语义损伤图；语义标记的方法包括：将训练用图像中的背景、划痕和采样分别标记为不同颜色，得到标记损伤图；根据训练用图像，语义损伤图在像素级别被手动标记，背景、划痕和采样分别设置为白色、深红色和绿色；损伤图像和相应的语义损伤图是成对的，与语义分割网络不同，CGAN的输入是语义损伤图，输出是与输入相对应的合成损伤图像；
所述模型训练模块用于基于所述训练用图像和所述语义损伤图进行CGAN模型训练，得到图像合成模型；
所述图像合成模块用于将手绘损伤分割图输入至所述图像合成模型，得到合成损伤图像；
所述标记模块的工作流程包括：将所述训练用图像中的背景、划痕和采样分别标记为不同颜色，得到所述标记损伤图；
所述模型训练模块包括：数据划分单元、对抗训练单元和测试单元；
所述数据划分单元用于将所述训练用图像按照预设比例划分为训练集和测试集；
所述对抗训练单元用于将所述训练集输入至所述CGAN模型的生成器和鉴别器中进行对抗训练，得到初始合成模型；
所述测试单元用于基于所述测试集对所述初始合成模型进行测试，得到所述图像合成模型；
所述对抗训练的流程包括：
S301.训练低分辨率生成器和鉴别器；
S302.将所述训练集输入至所述低分辨率生成器中，得到低分辨率损伤图像；
S303.将所述低分辨率损伤图像与相应的所述语义损伤图进行合成，得到高分辨率损伤图像；
S304.将所述高分辨率损伤图像输入至所述鉴别器中，并由所述鉴别器发出反馈信息；
S305.所述低分辨率生成器基于所述反馈信息增强生成质量；
S306.重复所述S302-所述S305，使所述低分辨率生成器和所述鉴别器收敛至纳什均衡，完成所述对抗训练；
据五重交叉验证原理，在收集的500幅图像中，按照4:1的预设比例，随机选择400幅图像训练CGAN模型，并将剩余的100幅图像用作测试数据集；选用pix2pixHD模型作为待训练的CGAN模型，pix2pixHD模型包括低分辨率生成器和鉴别器，pix2pixHD模型的低分辨率生成器包括两个子网络：全局生成器网络和局部增强器网络，pix2pixHD模型使用三个具有相同网络结构但以不同图像比例操作的鉴别器；
pix2pixHD模型在训练过程中，将在低分辨率生成器中合成的低分辨率损伤图像和与其相应的语义高分辨率图像合成为高分辨率损伤图像，将高分辨率损伤图像输入至鉴别器中，并由鉴别器发出反馈信，低分辨率生成器基于反馈信息增强生成质量，重训练步骤，使低分辨率生成器和鉴别器收敛至纳什均衡，完成对抗训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310532188.3A CN116542891B (zh) | 2023-05-12 | 2023-05-12 | 一种高分辨率飞机蒙皮表面损伤图像合成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310532188.3A CN116542891B (zh) | 2023-05-12 | 2023-05-12 | 一种高分辨率飞机蒙皮表面损伤图像合成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116542891A CN116542891A (zh) | 2023-08-04 |
| CN116542891B true CN116542891B (zh) | 2024-06-21 |
Family
ID=87455660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310532188.3A Active CN116542891B (zh) | 2023-05-12 | 2023-05-12 | 一种高分辨率飞机蒙皮表面损伤图像合成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116542891B (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102621150B (zh) * | 2012-03-23 | 2014-02-05 | 南京航空航天大学 | 基于灰度共生矩阵和支持向量机的飞机蒙皮损伤识别方法 |
| CN102928435A (zh) * | 2012-10-15 | 2013-02-13 | 南京航空航天大学 | 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置 |
| US10643320B2 (en) * | 2017-11-15 | 2020-05-05 | Toyota Research Institute, Inc. | Adversarial learning of photorealistic post-processing of simulation with privileged information |
| US20200242771A1 (en) * | 2019-01-25 | 2020-07-30 | Nvidia Corporation | Semantic image synthesis for generating substantially photorealistic images using neural networks |
| CN110136063B (zh) * | 2019-05-13 | 2023-06-23 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN111179193B (zh) * | 2019-12-26 | 2021-08-10 | 苏州斯玛维科技有限公司 | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 |
| US11580646B2 (en) * | 2021-03-26 | 2023-02-14 | Nanjing University Of Posts And Telecommunications | Medical image segmentation method based on U-Net |
| CN113744230B (zh) * | 2021-08-27 | 2023-09-05 | 中国民航大学 | 一种基于无人机视觉的飞机蒙皮损伤智能检测方法 |
| CN114117614A (zh) * | 2021-12-01 | 2022-03-01 | 武汉大势智慧科技有限公司 | 一种建筑物立面纹理自动生成方法和系统 |
| CN114693922A (zh) * | 2021-12-06 | 2022-07-01 | 太原理工大学 | 一种基于对抗神经网络的语义分割方法 |
| CN114565579A (zh) * | 2022-03-02 | 2022-05-31 | 南京航空航天大学 | 一种基于深度学习的飞机蒙皮表面损伤检测方法及系统 |
| CN114972323A (zh) * | 2022-06-29 | 2022-08-30 | 西安交通大学 | 一种用于模型训练的缺陷图片生成方法及系统 |
-
2023
- 2023-05-12 CN CN202310532188.3A patent/CN116542891B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs;Ting-Chun Wang et al;《arXiv》;第1-14页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116542891A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080629B (zh) | 一种图像拼接篡改的检测方法 | |
| US11276162B2 (en) | Surface defect identification method and apparatus | |
| CN112966684B (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN110018524B (zh) | 一种基于视觉-属性的x射线安检违禁品识别方法 | |
| US11551337B2 (en) | Boundary-aware object removal and content fill | |
| CN109034210A (zh) | 基于超特征融合与多尺度金字塔网络的目标检测方法 | |
| CN107742099A (zh) | 一种基于全卷积网络的人群密度估计、人数统计的方法 | |
| CN109767427A (zh) | 列车轨道扣件缺陷的检测方法 | |
| CN105893925A (zh) | 基于肤色的人手检测方法及装置 | |
| CN107977671A (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| CN109902806A (zh) | 基于卷积神经网络的噪声图像目标边界框确定方法 | |
| CN110060237A (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN108875624A (zh) | 基于多尺度的级联稠密连接神经网络的人脸检测方法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN109741328A (zh) | 一种基于生成式对抗网络的汽车表观质量检测方法 | |
| CN106610969A (zh) | 基于多模态信息的视频内容审查系统及方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN115862073B (zh) | 一种基于机器视觉的变电站危害鸟种目标检测和识别方法 | |
| CN109766823A (zh) | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 | |
| CN112163450A (zh) | 基于s3d学习算法的高频地波雷达船只目标检测方法 | |
| CN108509950A (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
| CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
| CN110110667A (zh) | 一种硅藻图像的处理方法、系统及相关组件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |