CN116523754A - 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 - Google Patents
一种飞机蒙皮损伤自动识别图像质量增强方法及系统 Download PDFInfo
- Publication number
- CN116523754A CN116523754A CN202310518985.6A CN202310518985A CN116523754A CN 116523754 A CN116523754 A CN 116523754A CN 202310518985 A CN202310518985 A CN 202310518985A CN 116523754 A CN116523754 A CN 116523754A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- aircraft skin
- skin damage
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000037380 skin damage Effects 0.000 title claims abstract description 28
- 230000002708 enhancing effect Effects 0.000 title claims description 13
- 238000012216 screening Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000003708 edge detection Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 3
- 206010040882 skin lesion Diseases 0.000 claims 2
- 231100000444 skin lesion Toxicity 0.000 claims 2
- 238000003672 processing method Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010924 continuous production Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000025274 Lightning injury Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种飞机蒙皮损伤自动识别图像质量增强方法及系统,其中方法包括以下步骤:收集飞机蒙皮损伤的视频信息,并对所述视频信息进行初步处理,得到图像帧;对所述图像帧进行图像注释,得到损伤图像集;对所述损伤图像集进行分辨率增强,得到高分辨率图像;对所述高分辨率图像进行模糊检测,筛选出模糊图像,并对所述模糊图像进行去模糊处理,得到最终图像。本申请将ESRGAN和DeblurGANv2相结合,提高了动态图像在分辨率和模糊度方面的质量,在智能化飞机维护中使用低质量图像数据集(低分辨率和高模糊度)的问题提供了有效的解决方案。
Description
技术领域
本申请属于飞机维护技术领域,具体涉及一种飞机蒙皮损伤自动识别图像质量增强方法及系统。
背景技术
飞机蒙皮表面损伤检查有利于航空器的持续适航,可以有效地确保飞行安全。基于无人机视觉检测技术在效率、成本和准确性方面优于传统人工检测方法。人工检查飞机蒙皮表面损伤耗时耗力,效率低下,技术人员需要目视检查飞机蒙皮是否存在雷击、鸟击、雹击、掉漆等损伤,需要花费大量的时间,人为因素也会影响检测的可靠性。
现有技术中将深度学习,特别是视觉识别融入飞机蒙皮损伤的自动检测中。使用计算机视觉和模糊识别技术的自动检测成本低、速度快且可靠性高。大多数图像数据集都是使用无人机设备动态采集,这可能会限制获取高质量、无遮挡和适当照明的图像的能力。自动检测需要高质量的图像数据集,这些数据集在图像中包含相当多的细节,以便进行准确的预测。低质量相机导致的低分辨率和相机移动导致的模糊有时是不可避免的,因此图像的获取可能导致较低的预测精度。实现自动缺陷识别的挑战是由镜头的动态移动和在捕获飞机蒙皮损伤时使用各种运动相机引起的图像模糊,以往大多数改进目标检测的研究都集中于图像模糊问题或分辨率,很少有研究集中于解决这两个问题。
发明内容
本申请旨在解决现有技术的不足,提出一种飞机蒙皮损伤自动识别图像质量增强方法及系统,将ESRGAN和DeblurGANv2相结合,提高了动态图像在分辨率和模糊度方面的质量。
为实现上述目的,本申请提供了如下方案:
一种飞机蒙皮损伤自动识别图像质量增强方法,包括以下步骤:
收集飞机蒙皮损伤的视频信息,并对所述视频信息进行初步处理,得到图像帧;
对所述图像帧进行图像注释,得到损伤图像集;
对所述损伤图像集进行分辨率增强,得到高分辨率图像;
对所述高分辨率图像进行模糊检测,筛选出模糊图像,并对所述模糊图像进行去模糊处理,得到最终图像。
优选的,所述初步处理的方法包括:将所述视频信息输入至Video2Frames函数,得到所述图像帧。
优选的,所述分辨率增强的方法包括:
将所述损伤图像集转换为PNG格式,得到PNG图像集;
设定低分辨率阈值,并基于所述低分辨率阈值筛选所述PNG图像集,得到待增强图像集;
将所述待增强图像集输入至ESRGAN模型中进行分辨率增强,得到所述高分辨率图像。
优选的,所述模糊检测的方法包括:
将所述高分辨率图像进行色域转换,得到灰度图像;
利用拉普拉斯核对所述灰度图像进行边缘检测,得到拉普拉斯图像;
设定模糊图像方差阈值,计算所述拉普拉斯图像的图像方差值,将所述图像方差值低于所述方差阈值的图像确定为所述模糊图像。
优选的,所述去模糊处理的方法包括:将所述模糊图像输入至DeblurGANv2模型中进行去模糊处理,得到所述最终图像。
本申请还提供了一种飞机蒙皮损伤自动识别图像质量增强系统,包括:图像预处理模块、图像标注模块、分辨率增强模块和模糊处理模块;
所述图像预处理模块用于收集飞机蒙皮损伤的视频信息,并对所述视频信息进行初步处理,得到图像帧;
所述图像标注模块用于对所述图像帧进行图像注释,得到损伤图像集;
所述分辨率增强模块用于对所述损伤图像集进行分辨率增强,得到高分辨率图像;
所述模糊处理模块用于对所述高分辨率图像进行模糊检测,筛选出模糊图像,并对所述模糊图像进行去模糊处理,得到最终图像。
优选的,所述图像预处理模块包括:图像帧抽取单元;
所述图像帧抽取单元用于将所述视频信息输入至Video2Frames函数,得到所述图像帧。
优选的,所述分辨率增强模块包括:第一转换单元、第一筛选单元和增强单元;
所述第一转换单元用于将所述损伤图像集转换为PNG格式,得到PNG图像集;
所述第一筛选单元用于设定低分辨率阈值,并基于所述低分辨率阈值筛选所述PNG图像集,得到待增强图像集;
所述增强单元用于将所述待增强图像集输入至ESRGAN模型中进行分辨率增强,得到所述高分辨率图像。
优选的,所述模糊处理模块包括:第二转换单元、边缘检测单元、第二筛选单元和去模糊单元;
所述第二转换单元用于将所述高分辨率图像进行色域转换,得到灰度图像;
所述边缘检测单元用于利用拉普拉斯核对所述灰度图像进行边缘检测,得到拉普拉斯图像;
所述第二筛选单元用于设定模糊图像方差阈值,计算所述拉普拉斯图像的图像方差值,将所述图像方差值低于所述方差阈值的图像确定为所述模糊图像;
所述去模糊单元用于将所述模糊图像输入至DeblurGANv2模型中进行去模糊处理,得到所述最终图像。
与现有技术相比,本申请的有益效果为:
本申请将ESRGAN和DeblurGANv2相结合,提高了动态图像在分辨率和模糊度方面的质量,对比现有的YOLOv4模型,在多个分辨率级别上提高了9.23–11.46%,在低质量数据集上提高了19.30–29.67%,本申请在智能化飞机维护中使用低质量图像数据集(低分辨率和高模糊度)的问题提供了有效的解决方案。
附图说明
为了更清楚地说明本申请的技术方案,下面对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的方法流程示意图;
图2为本申请实施例的注释流程示意图;
图3为本申请实施例中获得拉普拉斯的流程示意图;
图4为本申请实施例的拉普拉斯掩模示意图;
图5为本申请实施例的系统结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
在本实施例中,如图1所示,一种飞机蒙皮损伤自动识别图像质量增强方法,包括以下步骤:
S1.收集飞机蒙皮损伤的视频信息,并对视频信息进行初步处理,得到图像帧。
初步处理的方法包括:将视频信息输入至Video2Frames函数,得到图像帧。
在本实施例中,使用GoPro数字相机拍摄编码标准为H.264/MPEG-4的飞机蒙皮损伤检查视频,该相机安装在无人机上。飞机在做C检时拍摄蒙皮损伤视频,以每秒60帧(FPS)的分辨率拍摄,无人机拍摄速度为1.8公里/小时。无人机上安装一个可调节的LED灯,以提高在恶劣自然照明条件下的视频图像清晰度。从左侧或右侧照明将投射阴影,需要调整灯的位置以获得最小的阴影。所选的括号允许理想的定位,以便左右亮度值相等,获得视频后使用Video2Frames将其转换为一系列图像。
S2.对图像帧进行图像注释,得到损伤图像集。
在本实施例中,注释是使用labelImg应用程序执行的,该应用程序要求在指定对象上手动绘制注释框。在每个图像上应用注释所遵循的步骤如图2所示。注释过程选择要以YOLO格式保存的注释后,将在对象上手动绘制一个矩形注释框,最后一步是选择要在其上绘制注释框的对象的类。YOLO注释文件中基本组件指定对象类,包括边界框的位置、框宽度和框高度。位置、框宽度和框高度的值相对于图像的宽度和高度进行保存。YOLO格式的每个图像的标签都是以.txt扩展名自动创建。行数表示图像中显示的对象数,每行有五个参数:对象类的索引、表示边界框中心(x,y)的坐标、边界框的宽度和边界框的高度。边界框的坐标和尺寸在0和1之间标准化,作为图像尺寸的百分比,对数据集中的所有图像进行注释后,将绘制确定类中的对象数。
S3.对损伤图像集进行分辨率增强,得到高分辨率图像。
分辨率增强的方法包括:将损伤图像集转换为PNG格式,得到PNG图像集;设定低分辨率阈值,并基于低分辨率阈值筛选PNG图像集,得到待增强图像集;将待增强图像集输入至ESRGAN模型中进行分辨率增强,得到高分辨率图像。
在本实施例中,在将ESRGAN模型应用于指定图像之前,首先将图像的格式转换为PNG格式;由于低分辨率是用于定义图像质量的相对术语,因此必须首先确定低分辨率图像截止值的阈值,对于ESRGAN模型来说,在分辨率高于480p的图像上实现的改进并不明显。因此,低分辨率图像的阈值分辨率设置为480p,并基于阈值进行筛选,得到分辨率小于480p的图像集,即待增强图像集。
完成上述步骤后,对ESRGAN模型在DF2K数据集上进行了预训练,该数据集是DIV2K(由400张高分辨率图像组成)和Flickr2K(由800张高分辨率图片组成)数据集的组合。将得到的待增强图像集输入至预训练的ESRGAN模型中以提高图像分辨率,得到高分辨率图像。
S4.对高分辨率图像进行模糊检测,筛选出模糊图像,并对模糊图像进行去模糊处理,得到最终图像。
模糊检测的方法包括:将高分辨率图像进行色域转换,得到灰度图像;利用拉普拉斯核对灰度图像进行边缘检测,得到拉普拉斯图像;设定模糊图像方差阈值,计算拉普拉斯图像的图像方差值,将图像方差值低于方差阈值的图像确定为模糊图像。去模糊处理的方法包括:将模糊图像输入至DeblurGANv2模型中进行去模糊处理,得到最终图像。
在本实施例中,由于DeblurGANv2应用在没有运动模糊的清晰图像上时,有时会产生降低图像质量的伪影,因此在应用DeblurGANv2之前,必须进行模糊图像的检测,将模糊图像与非模糊图像分离。本实施例中使用VLM模型来进行模糊图像,VLM是目前用于客观确定图像模糊程度的最稳健的技术之一,使用VLM的第一步是将图像转换为灰度,以将图像内部的颜色通道数量从原来的四个减少到一个,这也将图像的方差值限制为一个;其次,在获得每个飞机蒙皮检测图像的灰度图像之后,将拉普拉斯核应用于图像以获得拉普拉斯图像:拉普拉斯核是一种边缘检测器,用于通过测量一阶导数的变化率来计算图像的二阶导数,该内核将确定相邻像素值的变化是来自边缘还是连续进程;最后,在应用拉普拉斯核心之后,在生成的拉普拉斯图像中突出显示强度快速变化的区域。获得拉普拉斯图像的主要步骤如图3所示。
当存在分布在图像上的低响应时,检测到的图像方差值将较低,这意味着图像中存在很少的边缘。假设当图像具有高方差时,将有各种各样的响应,包括边缘状和非边缘状,指示清晰图像的正常。然而,当方差极低时,响应范围很窄,表明图像包含很少的边缘。图像越模糊,包含的边缘就越少。模糊的图像几乎没有边缘,而清晰的图像显示了许多响应。图像可以被描绘为矩阵以计算图像的方差值,分数范围在0和255之间,黑色=0,白色=255。图像的方差值也可以使用python中内置的NumPy包来计算。拉普拉斯算子表示为掩模(模板)。图4显示了等式(1)定义的拉普拉斯掩模。
其中,是x和y方向上的二维拉普拉斯,k=-4是拉普拉斯掩模中心系数。
在计算每个图像的方差值之后,基于图像集合获得的方差值,确定模糊图像的方差阈值。方差值低于阈值的图像被分类为模糊图像,否则为清晰图像。确定阈值后,计算每个图像的方差值和模糊状态,筛选出模糊图像和清晰图像。
在将图像分类为模糊图像和清晰图像两类之后,将DeblurGANv2应用于模糊图像进行去模糊。使用具有Inception-ResNet-v2主干的DeblurGANv2对图像进行去模糊,以生成最佳视觉质量。
在应用DeblurGANv2之后,将去模糊图像的拉普拉斯图像的方差值与原始图像进行比较,使用DeblurGANv2去模糊的图像获得了比原始图像更高的方差值,表明DeblurGANv2成功地减少了原始图像内的运动模糊。
实施例二
在本实施例中,如图5所示,一种飞机蒙皮损伤自动识别图像质量增强系统,包括:图像预处理模块、图像标注模块、分辨率增强模块和模糊处理模块;
图像预处理模块包括图像帧抽取单元,用于收集飞机蒙皮损伤的视频信息,并对视频信息进行初步处理,得到图像帧。初步处理的方法包括:将视频信息输入至Video2Frames函数,得到图像帧。
在本实施例中,使用GoPro数字相机拍摄编码标准为H.264/MPEG-4的飞机蒙皮损伤检查视频,该相机安装在无人机上。飞机在做C检时拍摄蒙皮损伤视频,以每秒60帧(FPS)的分辨率拍摄,无人机拍摄速度为1.8公里/小时。无人机上安装一个可调节的LED灯,以提高在恶劣自然照明条件下的视频图像清晰度。从左侧或右侧照明将投射阴影,需要调整灯的位置以获得最小的阴影。所选的括号允许理想的定位,以便左右亮度值相等,获得视频后使用Video2Frames将其转换为一系列图像。
图像标注模块用于对图像帧进行图像注释,得到损伤图像集。
在本实施例中,注释是使用labelImg应用程序执行的,该应用程序要求在指定对象上手动绘制注释框。注释过程选择要以YOLO格式保存的注释后,将在对象上手动绘制一个矩形注释框,最后一步是选择要在其上绘制注释框的对象的类。YOLO注释文件中基本组件指定对象类,包括边界框的位置、框宽度和框高度。位置、框宽度和框高度的值相对于图像的宽度和高度进行保存。YOLO格式的每个图像的标签都是以.txt扩展名自动创建。行数表示图像中显示的对象数,每行有五个参数:对象类的索引、表示边界框中心(x,y)的坐标、边界框的宽度和边界框的高度。边界框的坐标和尺寸在0和1之间标准化,作为图像尺寸的百分比,对数据集中的所有图像进行注释后,将绘制确定类中的对象数。
分辨率增强模块用于对损伤图像集进行分辨率增强,得到高分辨率图像。
分辨率增强模块包括:第一转换单元、第一筛选单元和增强单元。第一转换单元用于将损伤图像集转换为PNG格式,得到PNG图像集;第一筛选单元用于设定低分辨率阈值,并基于低分辨率阈值筛选PNG图像集,得到待增强图像集;增强单元用于将待增强图像集输入至ESRGAN模型中进行分辨率增强,得到高分辨率图像。
在本实施例中,在将ESRGAN模型应用于指定图像之前,首先将图像的格式转换为PNG格式;由于低分辨率是用于定义图像质量的相对术语,因此必须首先确定低分辨率图像截止值的阈值,对于ESRGAN模型来说,在分辨率高于480p的图像上实现的改进并不明显。因此,低分辨率图像的阈值分辨率设置为480p,并基于阈值进行筛选,得到分辨率小于480p的图像集,即待增强图像集。
完成上述步骤后,对ESRGAN模型在DF2K数据集上进行了预训练,该数据集是DIV2K(由400张高分辨率图像组成)和Flickr2K(由800张高分辨率图片组成)数据集的组合。将得到的待增强图像集输入至预训练的ESRGAN模型中以提高图像分辨率,得到高分辨率图像。
模糊处理模块用于对高分辨率图像进行模糊检测,筛选出模糊图像,并对模糊图像进行去模糊处理,得到最终图像。
模糊处理模块包括:第二转换单元、边缘检测单元、第二筛选单元和去模糊单元;第二转换单元用于将高分辨率图像进行色域转换,得到灰度图像;边缘检测单元用于利用拉普拉斯核对灰度图像进行边缘检测,得到拉普拉斯图像;第二筛选单元用于设定模糊图像方差阈值,计算拉普拉斯图像的图像方差值,将图像方差值低于方差阈值的图像确定为模糊图像;去模糊单元用于将模糊图像输入至DeblurGANv2模型中进行去模糊处理,得到最终图像。
在本实施例中,由于DeblurGANv2应用在没有运动模糊的清晰图像上时,有时会产生降低图像质量的伪影,因此在应用DeblurGANv2之前,必须进行模糊图像的检测,将模糊图像与非模糊图像分离。本实施例中使用VLM模型来进行模糊图像,VLM是目前用于客观确定图像模糊程度的最稳健的技术之一,使用VLM的第一步是将图像转换为灰度,以将图像内部的颜色通道数量从原来的四个减少到一个,这也将图像的方差值限制为一个;其次,在获得每个飞机蒙皮检测图像的灰度图像之后,将拉普拉斯核应用于图像以获得拉普拉斯图像:拉普拉斯核是一种边缘检测器,用于通过测量一阶导数的变化率来计算图像的二阶导数,该内核将确定相邻像素值的变化是来自边缘还是连续进程;最后,在应用拉普拉斯核心之后,在生成的拉普拉斯图像中突出显示强度快速变化的区域。
当存在分布在图像上的低响应时,检测到的图像方差值将较低,这意味着图像中存在很少的边缘。假设当图像具有高方差时,将有各种各样的响应,包括边缘状和非边缘状,指示清晰图像的正常。然而,当方差极低时,响应范围很窄,表明图像包含很少的边缘。图像越模糊,包含的边缘就越少。模糊的图像几乎没有边缘,而清晰的图像显示了许多响应。图像可以被描绘为矩阵以计算图像的方差值,分数范围在0和255之间,黑色=0,白色=255。图像的方差值也可以使用python中内置的NumPy包来计算。拉普拉斯算子表示为掩模(模板)。等式(2)定义的拉普拉斯掩模为:
其中,是x和y方向上的二维拉普拉斯,k=-4是拉普拉斯掩模中心系数。
在计算每个图像的方差值之后,基于图像集合获得的方差值,确定模糊图像的方差阈值。方差值低于阈值的图像被分类为模糊图像,否则为清晰图像。确定阈值后,计算每个图像的方差值和模糊状态,筛选出模糊图像和清晰图像。
在将图像分类为模糊图像和清晰图像两类之后,将DeblurGANv2应用于模糊图像进行去模糊。使用具有Inception-ResNet-v2主干的DeblurGANv2对图像进行去模糊,以生成最佳视觉质量。
在应用DeblurGANv2之后,将去模糊图像的拉普拉斯图像的方差值与原始图像进行比较,使用DeblurGANv2去模糊的图像获得了比原始图像更高的方差值,表明DeblurGANv2成功地减少了原始图像内的运动模糊。
实施例三
在本实施例中,为了验证HybridGAN模型的性能,使用原始数据集训练的YOLOv4模型与改进的HybridGAN训练数据集进行比较。在训练YOLOv4模型之前,首先将图像数据集按80:10:10的比例分成三个部分(训练数据集、验证数据集和测试数据集),并手动注释。每个物体的特征均有两种情况:正常和有缺陷,在本研究中,缺陷是指与正常情况不同的情况。
本实施例中用于训练YOLOv4的参数配置是模型的默认设置,YOLOv4参数配置中的批处理和最大批处理值分别用于确定训练模型的总迭代和历元值。YOLOv4模型的参数配置如表1所示。
表1
该模型以64个批次大小进行训练,代表了一次迭代中使用的训练示例(图像)的数量,以及将批次划分为32个小批次的细分。当数据量很大时,模型训练速度很慢,因为CPU中使用了大量内存,这是低效的。因此,数据集被划分为小批次。每个小批量有64/32=2个图像,这些图像被发送到GPU进行处理,重复32次,直到批处理完成,另一次迭代以64个新图像开始。所有输入图像的大小调整为416×416像素,以节省计算,并在训练和检测期间转换为3个通道。RGB图像使用3个通道,由三个主要颜色通道(红色、绿色和蓝色)组成。采用衰减学习率调度策略,初始学习率为0.001。学习速率衰减是训练现代神经网络的一种技术,开始以大的学习速率训练网络,然后缓慢地减少它,直到达到局部最小值。学习率是一个参数,当更新模型权重时,该参数控制模型响应于估计误差而改变的程度。动量优化器和权重衰减分别设置为0.949和0.0005。动量是运动的累积,历史对重量的进一步变化有多大影响。权重衰减用于防止过度拟合并提高模型的泛化能力。将在前1000次迭代中处理初始磨合。磨合参数控制训练速度,当学习率在早期的短时间内较低时,训练速度趋于增加。最大批次是模型训练的总迭代次数,设置为6000次迭代。步长计算为最大批次的80%和90%,分别设置为4800、5400。它调整4800和5400批次后的学习率,比例因子为0.1、0.1。
本实施例分别采用评估度量mAP(平均精度)、AP(精度)用于目标检测(定位和分类)和评估目标检测结果。mAP的结果用于验证YOLOv4模型的性能,使用公式(3)计算精度:
mAP的结果用于验证YOLOv4模型的性能。
测量预测边界框和手动注释边界框之间的重叠面积,如果IoU(联合上的交点)值大于50%,则预测对象被分类为正确对象,可以使用等式(4)计算IoU:
以上所述的实施例仅是对本申请优选方式进行的描述,并非对本申请的范围进行限定,在不脱离本申请设计精神的前提下,本领域普通技术人员对本申请的技术方案做出的各种变形和改进,均应落入本申请权利要求书确定的保护范围内。
Claims (9)
1.一种飞机蒙皮损伤自动识别图像质量增强方法,其特征在于,包括以下步骤:
收集飞机蒙皮损伤的视频信息,并对所述视频信息进行初步处理,得到图像帧;
对所述图像帧进行图像注释,得到损伤图像集;
对所述损伤图像集进行分辨率增强,得到高分辨率图像;
对所述高分辨率图像进行模糊检测,筛选出模糊图像,并对所述模糊图像进行去模糊处理,得到最终图像。
2.根据权利要求1所述一种飞机蒙皮损伤自动识别图像质量增强方法,其特征在于,所述初步处理的方法包括:将所述视频信息输入至Video2Frames函数,得到所述图像帧。
3.根据权利要求1所述一种飞机蒙皮损伤自动识别图像质量增强方法,其特征在于,所述分辨率增强的方法包括:
将所述损伤图像集转换为PNG格式,得到PNG图像集;
设定低分辨率阈值,并基于所述低分辨率阈值筛选所述PNG图像集,得到待增强图像集;
将所述待增强图像集输入至ESRGAN模型中进行分辨率增强,得到所述高分辨率图像。
4.根据权利要求1所述一种飞机蒙皮损伤自动识别图像质量增强方法,其特征在于,所述模糊检测的方法包括:
将所述高分辨率图像进行色域转换,得到灰度图像;
利用拉普拉斯核对所述灰度图像进行边缘检测,得到拉普拉斯图像;
设定模糊图像方差阈值,计算所述拉普拉斯图像的图像方差值,将所述图像方差值低于所述方差阈值的图像确定为所述模糊图像。
5.根据权利要求1所述一种飞机蒙皮损伤自动识别图像质量增强方法,其特征在于,所述去模糊处理的方法包括:将所述模糊图像输入至DeblurGANv2模型中进行去模糊处理,得到所述最终图像。
6.一种飞机蒙皮损伤自动识别图像质量增强系统,其特征在于,包括:图像预处理模块、图像标注模块、分辨率增强模块和模糊处理模块;
所述图像预处理模块用于收集飞机蒙皮损伤的视频信息,并对所述视频信息进行初步处理,得到图像帧;
所述图像标注模块用于对所述图像帧进行图像注释,得到损伤图像集;
所述分辨率增强模块用于对所述损伤图像集进行分辨率增强,得到高分辨率图像;
所述模糊处理模块用于对所述高分辨率图像进行模糊检测,筛选出模糊图像,并对所述模糊图像进行去模糊处理,得到最终图像。
7.根据权利要求6所述一种飞机蒙皮损伤自动识别图像质量增强系统,其特征在于,所述图像预处理模块包括:图像帧抽取单元;
所述图像帧抽取单元用于将所述视频信息输入至Video2Frames函数,得到所述图像帧。
8.根据权利要求6所述一种飞机蒙皮损伤自动识别图像质量增强系统,其特征在于,所述分辨率增强模块包括:第一转换单元、第一筛选单元和增强单元;
所述第一转换单元用于将所述损伤图像集转换为PNG格式,得到PNG图像集;
所述第一筛选单元用于设定低分辨率阈值,并基于所述低分辨率阈值筛选所述PNG图像集,得到待增强图像集;
所述增强单元用于将所述待增强图像集输入至ESRGAN模型中进行分辨率增强,得到所述高分辨率图像。
9.根据权利要求6所述一种飞机蒙皮损伤自动识别图像质量增强系统,其特征在于,所述模糊处理模块包括:第二转换单元、边缘检测单元、第二筛选单元和去模糊单元;
所述第二转换单元用于将所述高分辨率图像进行色域转换,得到灰度图像;
所述边缘检测单元用于利用拉普拉斯核对所述灰度图像进行边缘检测,得到拉普拉斯图像;
所述第二筛选单元用于设定模糊图像方差阈值,计算所述拉普拉斯图像的图像方差值,将所述图像方差值低于所述方差阈值的图像确定为所述模糊图像;
所述去模糊单元用于将所述模糊图像输入至DeblurGANv2模型中进行去模糊处理,得到所述最终图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310518985.6A CN116523754A (zh) | 2023-05-10 | 2023-05-10 | 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310518985.6A CN116523754A (zh) | 2023-05-10 | 2023-05-10 | 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116523754A true CN116523754A (zh) | 2023-08-01 |
Family
ID=87395701
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310518985.6A Pending CN116523754A (zh) | 2023-05-10 | 2023-05-10 | 一种飞机蒙皮损伤自动识别图像质量增强方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523754A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660021A (zh) * | 2019-08-16 | 2020-01-07 | 西安理工大学 | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 |
CN112446436A (zh) * | 2020-12-11 | 2021-03-05 | 浙江大学 | 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法 |
CN113744230A (zh) * | 2021-08-27 | 2021-12-03 | 中国民航大学 | 一种基于无人机视觉的飞机蒙皮损伤智能检测方法 |
CN114202460A (zh) * | 2021-11-29 | 2022-03-18 | 上海艾麒信息科技股份有限公司 | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 |
CN114782285A (zh) * | 2022-06-17 | 2022-07-22 | 苏州大学 | 一种低分辨率模糊图像增强方法 |
CN115205150A (zh) * | 2022-07-19 | 2022-10-18 | 腾讯科技(北京)有限公司 | 图像的去模糊方法、装置、设备、介质及计算机程序产品 |
CN116091337A (zh) * | 2022-11-29 | 2023-05-09 | 北京大学 | 一种基于事件信号神经编码方式的图像增强方法及装置 |
-
2023
- 2023-05-10 CN CN202310518985.6A patent/CN116523754A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110660021A (zh) * | 2019-08-16 | 2020-01-07 | 西安理工大学 | 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法 |
CN112446436A (zh) * | 2020-12-11 | 2021-03-05 | 浙江大学 | 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法 |
CN113744230A (zh) * | 2021-08-27 | 2021-12-03 | 中国民航大学 | 一种基于无人机视觉的飞机蒙皮损伤智能检测方法 |
CN114202460A (zh) * | 2021-11-29 | 2022-03-18 | 上海艾麒信息科技股份有限公司 | 面对不同损伤图像的超分辨率高清重建方法和系统及设备 |
CN114782285A (zh) * | 2022-06-17 | 2022-07-22 | 苏州大学 | 一种低分辨率模糊图像增强方法 |
CN115205150A (zh) * | 2022-07-19 | 2022-10-18 | 腾讯科技(北京)有限公司 | 图像的去模糊方法、装置、设备、介质及计算机程序产品 |
CN116091337A (zh) * | 2022-11-29 | 2023-05-09 | 北京大学 | 一种基于事件信号神经编码方式的图像增强方法及装置 |
Non-Patent Citations (1)
Title |
---|
戈宁宁: "基于双分支网络的人脸同时去模糊与超分辨率重建算法研究", 万方数据, pages 3 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106651872B (zh) | 基于Prewitt算子的路面裂缝识别方法及系统 | |
CN108686978B (zh) | 基于arm的水果类别和色泽的分拣方法及系统 | |
CN109978839B (zh) | 晶圆低纹理缺陷的检测方法 | |
CN107507173B (zh) | 一种全切片图像的无参考清晰度评估方法及系统 | |
CN109829904B (zh) | 检测屏幕上灰尘的方法、装置、电子设备、可读存储介质 | |
CN111563889A (zh) | 基于计算机视觉的液晶屏幕Mura缺陷检测方法 | |
US11238301B2 (en) | Computer-implemented method of detecting foreign object on background object in an image, apparatus for detecting foreign object on background object in an image, and computer-program product | |
CN110807775A (zh) | 基于人工智能的中医舌像分割装置、方法及存储介质 | |
WO2006115676A2 (en) | Video ghost detection by outline | |
CN114926407A (zh) | 一种基于深度学习的钢材表面缺陷检测系统 | |
CN110175556B (zh) | 基于Sobel算子的遥感图像云检测方法 | |
CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN112528917A (zh) | 斑马线区域识别方法、装置、电子设备和存储介质 | |
CN110610485A (zh) | 一种基于ssim算法的特高压输电线路通道隐患预警方法 | |
CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
CN112149707B (zh) | 图像采集控制方法、装置、介质及设备 | |
CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
CN113743378A (zh) | 一种基于视频的火情监测方法和装置 | |
CN117455762A (zh) | 基于全景行车记录仪的记录画面分辨率提升方法及系统 | |
TWI498830B (zh) | 不均勻光線下的車牌辨識方法及系統 | |
Bala et al. | Image simulation for automatic license plate recognition | |
CN116500052A (zh) | 一种食用油杂质视觉检测系统及其使用方法 | |
JP2012023572A (ja) | ホワイトバランス係数算出装置及びプログラム | |
CN108830834B (zh) | 一种爬索机器人视频缺陷信息自动提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |