CN112258490A - 基于光学和红外图像融合的低发射率涂层智能探损方法 - Google Patents
基于光学和红外图像融合的低发射率涂层智能探损方法 Download PDFInfo
- Publication number
- CN112258490A CN112258490A CN202011187315.3A CN202011187315A CN112258490A CN 112258490 A CN112258490 A CN 112258490A CN 202011187315 A CN202011187315 A CN 202011187315A CN 112258490 A CN112258490 A CN 112258490A
- Authority
- CN
- China
- Prior art keywords
- low
- damage
- emissivity coating
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000576 coating method Methods 0.000 title claims abstract description 105
- 239000011248 coating agent Substances 0.000 title claims abstract description 94
- 230000006378 damage Effects 0.000 title claims abstract description 90
- 230000003287 optical effect Effects 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000001514 detection method Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 62
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 26
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 11
- 230000003902 lesion Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000008034 disappearance Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000006735 deficit Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000005336 cracking Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010298 pulverizing process Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30156—Vehicle coating
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于光学和红外图像融合的低发射率涂层智能探损方法,首先,建立或选择卷积神经网络,并对其进行训练和优化,得到用于检测低发射率涂层损伤的卷积神经网络模型;获取待检测的低发射率涂层的光学图像以及与其同位置、同视角、同尺寸的红外图像,并对获取的光学图像及与其同位置、同视角、同尺寸的红外图像进行图像融合,得到待检测的低发射率涂层的融合图像;对待检测的低发射率涂层的融合图像进行归一化处理,得到待检测的数据样本;最后,将待检测的数据样本输入用于检测低发射率涂层损伤的卷积神经网络模型,对待检测的低发射率涂层进行损伤自动检测,实现了低发射率涂层损伤的自动、快速检测,准确率达到95%以上。
Description
技术领域
本发明属于低发射率涂层损伤检测技术领域,涉及一种基于卷积神经网络以及光学和红外图像融合的低发射率涂层智能探损方法。
背景技术
低发射率材料是涂敷型隐身功能表面材料,低发射率涂层被广泛用于飞机、舰船、导弹、军用车辆及其它武器装备。在武器装备寿命期内的任何低发射率涂层在贮存、运输和使用过程中,均会受到环境因素的影响和作用,从而引起涂层变色、粉化、起层、开裂、附着力下降等物理化学性能的变化和涂层低发射率性能的衰退。
目前,对低发射率涂层损伤检测主要采用反射积分球检测法和人眼观察法,以逐点扫查为主,无法进行大面积快速成像。因此,低发射率涂层的损伤识别对专业人士依赖性强,效率低,且容易因人为因素造成误判和漏判。公开号为CN111461120A、名称为一种基于区域的卷积神经网络物体表面缺陷检测方法,提出了一种对普通物体的损伤进行检测的方法,但其仅考虑了物体的光学图像信息,模型所能提取的特征有限,因此将其应用于低发射率涂层损伤检测时存在检测准确率不高、检测误差较高的问题,导致其不适用于低发射率涂层损伤检测。
发明内容
本发明实施例的目的在于提供一种基于光学和红外图像融合的低发射率涂层智能探损方法,以解决现有低发射率涂层损伤检测、识别方法对专业人士依赖性强、效率低、容易因人为因素造成误判和漏判的问题,以及准确率低、检测误差较高的问题。
本发明实施例所采用的技术方案是,基于光学和红外图像融合的低发射率涂层智能探损方法,按照以下步骤进行:
步骤S1、建立或选择卷积神经网络,并对其进行训练和优化,得到用于检测低发射率涂层损伤的卷积神经网络模型;
步骤S2、获取待检测的低发射率涂层的光学图像以及与其同位置、同视角、同尺寸的红外图像,并对获取的光学图像及与其同位置、同视角、同尺寸的红外图像进行图像融合,得到待检测的低发射率涂层的融合图像;
步骤S3、对待检测的低发射率涂层的融合图像进行归一化处理,得到待检测的数据样本;
步骤S4、将待检测的数据样本输入用于检测低发射率涂层损伤的卷积神经网络模型,对待检测的低发射率涂层进行损伤自动检测。
本发明实施例的有益效果是,首先采集低发射率涂层的光学图像以及与其同位置同视角的红外图像,保证损伤在光学图像和红外图像中的位置坐标是相同的,然后对两种图像在通道维度进行叠加,叠加后图像损伤位置坐标不变,这样就可以对损伤位置进行定位,即可以将叠加后图像直接应用到“目标检测”卷积神经网络中,通过卷积神经网络提取特征,实现低发射率涂层损伤的自动、快速检测,解决了现有低发射率涂层损伤检测、识别方法对专业人士依赖性强、效率低、容易因人为因素造成误判和漏判的问题。直接在通道维度融合图像,然后输入至目标检测卷积神经网络,最大程度的保留和提取了光学图像和红外图像的特征,保证卷积神经网络模型能够提取到更多的特征,进而有效降低检测误差,确保了检测准确率,准确率达到95%以上,解决了现有低发射率涂层损伤检测、识别方法准确率低、检测误差较高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例基于卷积神经网络以及光学和红外图像融合的低发射率涂层损伤自动检测方法的流程图。
图2是卷积神经网络YOLO-V3的结构示意图。
图3是卷积神经网络YOLO-V3选用的骨干网络DarkNet-53的结构示意图。
图4是四种不同优化方法的检测准确率变化曲线对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种基于光学和红外图像融合的低发射率涂层智能探损方法,如图1所示,按照以下步骤进行:
步骤S1、建立或选择卷积神经网络,并对其进行训练和优化,得到用于检测低发射率涂层损伤的卷积神经网络模型,具体实现过程如下:
步骤S11、获取用于训练模型的有损伤和无损伤的低发射率涂层图像,包括有损伤和无损伤的低发射率涂层光学图像以及与该光学图像同位置、同视角、同尺寸的红外图像,其中有损伤的低发射率涂层图像的损伤类别已知。有损伤的低发射率涂层图像和无损伤的低发射率涂层图像共同构成数据集,无损伤的低发射率涂层图像用于增强数据集,可以提高模型的泛化能力。
步骤S12、对获取的有损伤和无损伤的低发射率涂层光学图像以及与该光学图像同位置、同视角、同尺寸的红外图像一一对应进行图像融合,得到用于训练模型的有损伤和无损伤的低发射率涂层的融合图像;
步骤S13、对所得用于训练模型的有损伤和无损伤的低发射率涂层的融合图像中的损伤位置进行标记,然后对标记后的用于训练模型的有损伤和无损伤的低发射率涂层的融合图像进行归一化处理,训练数据样本,并将训练数据样本随机划分为训练集和测试集。
具体是采用矩形框框住得用于训练模型的有损伤和无损伤的低发射率涂层的融合图像中的损伤,对其进行损伤标记,标记格式为[损伤类型,xmin,ymin,xmax,ymax],xmin和ymin为矩形框的左上角的坐标,xmax和ymax为矩形框的右下角的坐标。矩形框的坐标是应用labelimg软件得到的,该软件以当前处理的图像的左上角为坐标原点,以坐标原点向右、向下分别为x轴和y轴的正方向,并以坐标轴以每个像素为一个单位。损伤类型分为粉化、起层、开裂、擦花、脱落5种。
将训练数据样本随机划分为训练集和测试集,是按一定比例进行随机划分得到训练集和测试集,在本实施例中共获得用于训练模型的有损伤和无损伤的低发射率涂层的融合图像4000张,其中400张为无损伤的低发射率涂层的融合图像,将预处理后包括有损伤与无损伤的数据集(用于训练模型的有损伤和无损伤的低发射率涂层的融合图像集合)的80%用于卷积神经网络模型的训练集,剩余的20%用于卷积神经网络模型的测试集。
步骤S14、对训练集进行数据增强,扩充训练集的数据样本。在本实施例中,采用随机旋转,随机裁剪,随机缩放,随机改变亮度、对比度以及马赛克等方式对训练集进行数据增强。
步骤S15、建立或选择卷积神经网络,然后利用数据增强后的训练集对卷积神经网络进行训练,在每隔一定训练轮次后将测试集输入训练所得卷积神经网络中,实时监控测试集在卷积神经网络上的检测精度,并在训练过程中不断调整超参数,对卷积神经网络进行优化,得到用于检测低发射率涂层损伤的卷积神经网络模型。
研究表明,增加网络深度可以增强模型的识别能力,但是增加网络深度会出现梯度爆炸和梯度消失现象。本发明实施例步骤S1和步骤S15中的卷积神经网络采用卷积神经网络YOLO-V3,卷积神经网络YOLO-V3作为一种单阶段目标检测模型具有较好的检测效能,整个YOLO-V3不包含池化层和全连接层,而是采用步长为2的卷积层代替池化层,卷积神经网络YOLO-V3采用多尺度输出方式,可对不同大尺寸的目标进行检测。卷积神经网络YOLO-V3选用的骨干网络为DarkNet-53,DarkNet-53作为骨干网络应用在目标检测模型中精度较高,DarkNet-53中包含大量的卷积层,并且采用了残差设计思想,每两个卷积层都使用1条短接线进行短接,如图3所示,解决了梯度爆炸和梯度消失问题,有效防止模型过拟合,提高了模型的泛化能力。输入的图像在图3中自下而上流动,DarkNet-53包含6个模块,第一个模块包含一个步长为1、尺寸为3×3的卷积层和一个步长为2、尺寸为3×3的卷积层,第二、三、四、五个模块分别包含1、2、8、8个残差块和一个步长为2、尺寸为3×3的卷积层,第六个模块包含4个残差块,每个残差块包含一个尺寸为1×1的卷积层和一个尺寸为3×3的卷积层,然后再使用一条短接线与两个卷积层进行并联。图像经过第一个模块提取特征后变为大小为128×128,通道数为64的特征图,特征图经过第二个模块提取特征后变为大小为64×64,通道数为128的特征图,特征图经过第三个模块提取特征后变为大小为32×32,通道数为256的特征图,特征图经过第四个模块提取特征后变为大小为16×16,通道数为512的特征图,特征图经过第五个模块提取特征后变为大小为8×8,通道数为1024的特征图,特征图经过第6个模块提取特征后变为大小为8×8,通道数为1024的特征图。
原始卷积神经网络YOLO-V3的初始学习率为0.0001,使用“step”方法变化学习率,本实施例采用式(1)的方法变化学习率:
其中,ηt表示当前训练轮次的学习率,ηmax和ηmin分别表示学习率的最大值和最小值,定义了学习率的范围,Tcur表示当前训练轮次,T表示总训练轮次。
步骤S2、用工业相机和红外热波设备获取待检测的低发射率涂层的光学图像以及与其同位置、同视角、同尺寸的红外图像,并对获取的光学图像及与其同位置、同视角、同尺寸的红外图像进行步骤图像融合,得到待检测的低发射率涂层的融合图像;
步骤S3、对待检测的低发射率涂层的融合图像进行归一化处理,得到待检测的数据样本;
步骤S4、将待检测的数据样本输入用于检测低发射率涂层损伤的卷积神经网络模型,对待检测的低发射率涂层进行损伤自动检测,如果检测得到含有损伤,则会进一步判别所属的损伤类别,并对损伤位置进行标记,最终输出预测值,[损伤类型,x′min,y′min,x′max,y′max],x′min和y′min为输出的预测框的左上角的坐标,x′max和y′max为输出的预测框的右下角的坐标,并同时将损伤用x′min,y′min,x′max,y′max表征的矩形框即预测框标记出来,并将预测的损伤类型标记在矩形框上方,完成低发射率涂层损伤的自动检测。
步骤S12以及步骤S2中的图像融合,是对获取的待检测的低发射率涂层光学图像,或有损伤和无损伤的低发射率涂层光学图像,和与该光学图像同位置、同视角、同尺寸的红外图像在通道维度进行叠加融合,将三通道的RGB光学图像在通道维度叠加红外图像得到四通道的RGBI融合图像。四通道的RGBI融合图像最大限度的保留了低发射率涂层的光学特征和红外特征,将四通道的RGBI融合图像转换成数据即为长×宽×通道数(4)的三维矩阵。
所述步骤S13和步骤S3中的归一化处理,是按照下式进行:
其中,对标记后的用于训练模型的有损伤和无损伤的低发射率涂层的融合图像进行归一化处理时,μ为所有用于训练模型的有损伤和无损伤的低发射率涂层的融合图像的RGBI四个通道像素值的均值,σ为所有用于训练模型的有损伤和无损伤的低发射率涂层的融合图像的RGBI四个通道像素值的方差;对待检测的低发射率涂层的融合图像进行归一化处理时,μ为所有待检测的低发射率涂层的融合图像的RGBI四个通道像素值的均值,σ为所有待检测的低发射率涂层的融合图像的RGBI四个通道像素值的方差;g(x,y)表示归一化前的图像像素,x,y为当前像素点的横坐标和纵坐标,f(x,y)表示归一化后的图像像素。在本实施例中,均值μ为[0.483,0.446,0.414,0.472],方差σ为[0.227,0.224,0.221,0.218]。
卷积神经网络YOLO-V3的训练
将预处理后的训练集输入构造的卷积神经网络YOLO-V3进行2000轮次训练,如图2所示,训练过程中卷积神经网络YOLO-V3首先将输入图片划分为等大的小方格即网格,然后以小方格的中心为中心生成锚框即每个网格的中心为中心产生候选框,每个中心生成多个锚框(候选框),本实施例生成3个锚框,然后对比锚框与真实框,具体是对比锚框与真实框的信息,得到锚框与真实框的差距,与真实框差距过大的锚框不生成预测框,与真实框相差较小的锚框则根据得到的差距对锚框进行调整得到预测框,然后对锚框进行标注得到预测框,最后将经过骨干网络提取得到的特征图与预测框进行关联,特征图理解为卷积神经网络的预测输出值,预测框理解为经过变换的真实值,对二者进行对比得到损失函数值。
训练完成后,将待检测的低发射率涂层的融合图像输入训练好的卷积神经网络模型,经过骨干网络DarkNet-53提取特征并整合后可输出预测结果,即[损伤类型,x′min,y′min,x′max,y′max]。并在每10轮次训练完成后将测试集输入训练所得卷积神经网络YOLO-V3中,实时监控测试集在卷积神经网络YOLO-V3上的检测精度,防止过拟合。
在YOLO-V3模型训练过程中,采用leaky ReLU激活函数防止梯度消失,加速网络训练。该函数能够在不额外增加成本的同时提高精确度,并且能够使梯度在进行反向传播的同时能很好地传递到前面的网络层,防止梯度消失的问题,同时加速网络训练。
leaky ReLU激活函数定义式为:
y=max(ax,x),a∈(0,1) (2)
其中,x为卷积层的输出值,y为leaky ReLU激活函数的输出值,leaky ReLU激活函数是非线性函数,使模型成为非线性模型。
系统的损失函数用来测量预测结果即[损伤类型,x′min,y′min,x′max,y′max]与输入的标签即[损伤类型,xmin,ymin,xmax,ymax]之间的差异,定义见式(3)-(6):
L=L1+L2+L3 (3)
其中,L为总损失函数,L1为表征损伤位置的损失函数,L2为表征是否包含损伤的损失函数,L3为表征损伤类别的损失函数。
其中,S2为YOLO-V3卷积神经网络产生的网格数量,B为YOLO-V3卷积神经网络中以每个网格的中心为中心产生的候选框数量,表示第i个网格的第j个候选框中包含损伤;表示输入标签的真实框的中心点的横坐标,表示输入标签的真实框的中心点的纵坐标,和通过输入的标签的真实框的[xmin,ymin,xmax,ymax]进行简单转换得到, 表示输入标签的真实框的长度,表示输入标签的真实框的宽度, 表示输出预测框的中心点的横坐标,表示输出预测框的中心点的纵坐标,和根据YOLO-V3卷积神经网络预测输出的[x′min,y′min,x′max,y′max]进行简单转换得到, 表示输出预测框的长度,表示输出预测框的宽度,
其中,classes表示损伤类别,表示输入标签的真实框内目标属于某一损伤类别的概率,当损伤是某类损伤时,则损伤属于该类损伤的概率为1,属于其他类损伤的概率为0;Pi j表示输出预测框内目标属于某一损伤类别的概率。
损失函数以w和b为参数,ω和b包含在卷积神经网络的输出值 中,网络训练的目的是为了找到使损失函数L达到最小化的w和b的值。在本发明实施例中,我们使用Adam优化算法对w和b进行更新,更新方式见公式(7):
其中,L为损失函数,wi为网络的第i个权重参数,bi为网络的第i个偏置参数,t为迭代次数,wi,t表示第t次迭代中网络的第i个权重参数,bi,t表示第t次迭代中网络的第i个偏置参数;α为学习率,β1,β2均为指数加权参数,本发明实施例取β1=0.9,β2=0.999;表示β1的t次方,表示β2的t次方; 均为中间变量,均为0,中的correct即表示当前迭代次数;ε是为了防止分母为零的一个小量,本实施例取ε=1×10-9。
对本发明实施例的方法的准确率进行验证,如图4所示为采用四种不同优化方法时随着训练轮次epoch的增加的检测准确率变化曲线对比图,由图4可看出,本发明实施例所采用的方法(Adam)取得了最佳的效果,准确率可达到95%以上。
本发明实施例充分考虑低发射率涂层易出现的缺陷类型,即粉化、起层、开裂、擦花、脱落5种损伤,利用深度学习技术得到的数据模型,可以实现对5种缺陷实时的检测,并标记损伤的具体位置。如果出现新的缺陷类型,调整数据模型的参数,重新训练得到新的数据模型。方便工作人员的操作,提高产品的生产效率。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,按照以下步骤进行:
步骤S1、建立或选择卷积神经网络,并对其进行训练和优化,得到用于检测低发射率涂层损伤的卷积神经网络模型;
步骤S2、获取待检测的低发射率涂层的光学图像以及与其同位置、同视角、同尺寸的红外图像,并对获取的光学图像及与其同位置、同视角、同尺寸的红外图像进行图像融合,得到待检测的低发射率涂层的融合图像;
步骤S3、对待检测的低发射率涂层的融合图像进行归一化处理,得到待检测的数据样本;
步骤S4、将待检测的数据样本输入用于检测低发射率涂层损伤的卷积神经网络模型,对待检测的低发射率涂层进行损伤自动检测。
2.根据权利要求1所述的基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,所述步骤S1的具体实现过程如下:
步骤S11、获取用于训练模型的有损伤和无损伤的低发射率涂层图像,包括有损伤和无损伤的低发射率涂层光学图像以及与该光学图像同位置、同视角、同尺寸的红外图像,其中有损伤的低发射率涂层图像的损伤类别已知;
步骤S12、对获取的有损伤和无损伤的低发射率涂层光学图像以及与该光学图像同位置、同视角、同尺寸的红外图像一一对应进行图像融合,得到用于训练模型的有损伤和无损伤的低发射率涂层的融合图像;
步骤S13、对所得用于训练模型的有损伤和无损伤的低发射率涂层的融合图像中的损伤位置进行标记,然后对标记后的用于训练模型的有损伤和无损伤的低发射率涂层的融合图像进行归一化处理,获得训练数据样本,并将训练数据样本随机划分为训练集和测试集;
步骤S14、对训练集进行数据增强,扩充训练集的数据样本;
步骤S15、建立或选择卷积神经网络,然后利用数据增强后的训练集对卷积神经网络进行训练,在每隔一定训练轮次后将测试集输入训练所得卷积神经网络中,实时监控测试集在卷积神经网络上的检测精度,并不断调节超参数控制训练过程,对卷积神经网络进行优化,得到用于检测低发射率涂层损伤的卷积神经网络模型。
3.根据权利要求2所述的基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,所述图像融合,是将获取的待检测的低发射率涂层光学图像,或是将获取的有损伤和无损伤的低发射率涂层光学图像,和与该光学图像同位置、同视角、同尺寸的红外图像在通道维度进行对应叠加融合,将三通道的RGB光学图像在通道维度叠加红外图像得到四通道的RGBI融合图像。
4.根据权利要求2所述的基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,所述步骤S13中是采用矩形框框住用于训练模型的低发射率涂层的融合图像中的损伤,对所得用于训练模型的低发射率涂层的融合图像中的损伤位置进行标记,标记格式为[损伤类型,xmin,ymin,xmax,ymax],xmin和ymin为标记的矩形框的左上角的坐标,xmax和ymax为标记的矩形框的右下角的坐标;矩形框的坐标是以当前处理的图像的左上角为坐标原点,以坐标原点向右为x轴的正方向,以坐标原点向下为y轴的正方向,坐标轴以每个像素为一个单位建立坐标系后得到的。
6.根据权利要求2~4任一项所述的基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,所述步骤S14的卷积神经网络选用卷积神经网络YOLO-V3。
7.根据权利要求4所述的基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,所述步骤S4将待检测的数据样本输入用于检测低发射率涂层损伤的卷积神经网络模型,对待检测的低发射率涂层进行损伤自动检测时,如果检测得到待测的低发射率涂层上存在损伤,则输出的预测值为[损伤类型,x′min,y′min,x′max,y′max],x′min和y′min为输出的预测框的左上角的坐标,x′max和y′max为输出的预测框的右下角的坐标,并同时将损伤用x′min,y′min,x′max,y′max表征的矩形框即预测框标记出来,并将预测的损伤类型标记在矩形框上方。
9.根据权利要求7所述的基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,所述卷积神经网络的训练过程中,通过以下损失函数来测量预测结果即[损伤类型,x′min,y′min,x′max,y′max]与输入的标签即[损伤类型,xmin,ymin,xmax,ymax]之间的差异:
L=L1+L2+L3;
其中,L为总损失函数,L1为表征损伤位置的损失函数,L2为表征是否包含损伤的损失函数,L3为表征损伤类别的损失函数;
其中,S2为卷积神经网络产生的网格数量,B为卷积神经网络中以每个网格的中心为中心产生的候选框数量,表示第i个网格的第j个候选框中包含损伤;表示输入标签的真实框的中心点的横坐标,表示输入标签的真实框的中心点的纵坐标, 表示输入标签的真实框的长度,表示输入标签的真实框的宽度, 表示输出预测框的中心点的横坐标,表示输出预测框的中心点的纵坐标, 表示输出预测框的长度,表示输出预测框的宽度,
10.根据权利要求9所述的基于光学和红外图像融合的低发射率涂层智能探损方法,其特征在于,所述损失函数以w和b为参数,训练的目的是为了找到使损失函数L达到最小化的w和b的值,使用Adam优化算法对w和b进行更新,更新方式见下式:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011187315.3A CN112258490A (zh) | 2020-10-30 | 2020-10-30 | 基于光学和红外图像融合的低发射率涂层智能探损方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011187315.3A CN112258490A (zh) | 2020-10-30 | 2020-10-30 | 基于光学和红外图像融合的低发射率涂层智能探损方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112258490A true CN112258490A (zh) | 2021-01-22 |
Family
ID=74268195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011187315.3A Pending CN112258490A (zh) | 2020-10-30 | 2020-10-30 | 基于光学和红外图像融合的低发射率涂层智能探损方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258490A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076895A (zh) * | 2021-04-09 | 2021-07-06 | 太原理工大学 | 一种基于红外计算机视觉的输送带纵向损伤振动感知方法 |
CN113255797A (zh) * | 2021-06-02 | 2021-08-13 | 通号智慧城市研究设计院有限公司 | 一种基于深度学习模型的危险品检测方法和系统 |
CN113838010A (zh) * | 2021-09-09 | 2021-12-24 | 中国人民解放军空军工程大学 | 基于红外热波及卷积神经网络的复合材料损伤智能检测方法 |
CN115018794A (zh) * | 2022-06-09 | 2022-09-06 | 中国矿业大学(北京) | 一种基于可见光/红外图像的煤矸识别系统及方法 |
CN117387778A (zh) * | 2023-12-11 | 2024-01-12 | 合肥金星智控科技股份有限公司 | 一种测温方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110930387A (zh) * | 2019-11-21 | 2020-03-27 | 中原工学院 | 基于深度可分离卷积神经网络的织物疵点检测方法 |
US20200143205A1 (en) * | 2017-08-10 | 2020-05-07 | Intel Corporation | Convolutional neural network framework using reverse connections and objectness priors for object detection |
CN111325748A (zh) * | 2020-03-20 | 2020-06-23 | 哈尔滨工业大学 | 一种基于卷积神经网络的红外热像无损检测方法 |
CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景(北京)科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
-
2020
- 2020-10-30 CN CN202011187315.3A patent/CN112258490A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200143205A1 (en) * | 2017-08-10 | 2020-05-07 | Intel Corporation | Convolutional neural network framework using reverse connections and objectness priors for object detection |
CN110930387A (zh) * | 2019-11-21 | 2020-03-27 | 中原工学院 | 基于深度可分离卷积神经网络的织物疵点检测方法 |
CN111325748A (zh) * | 2020-03-20 | 2020-06-23 | 哈尔滨工业大学 | 一种基于卷积神经网络的红外热像无损检测方法 |
CN111696075A (zh) * | 2020-04-30 | 2020-09-22 | 航天图景(北京)科技有限公司 | 一种基于双光谱图像的风机叶片缺陷智能检测方法 |
Non-Patent Citations (2)
Title |
---|
武芳, 武汉大学出版社 * |
赵文强等: "基于S4-YOLO的海上目标检测识别方法", 《光学与光电技术》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076895A (zh) * | 2021-04-09 | 2021-07-06 | 太原理工大学 | 一种基于红外计算机视觉的输送带纵向损伤振动感知方法 |
CN113255797A (zh) * | 2021-06-02 | 2021-08-13 | 通号智慧城市研究设计院有限公司 | 一种基于深度学习模型的危险品检测方法和系统 |
CN113255797B (zh) * | 2021-06-02 | 2024-04-05 | 通号智慧城市研究设计院有限公司 | 一种基于深度学习模型的危险品检测方法和系统 |
CN113838010A (zh) * | 2021-09-09 | 2021-12-24 | 中国人民解放军空军工程大学 | 基于红外热波及卷积神经网络的复合材料损伤智能检测方法 |
CN113838010B (zh) * | 2021-09-09 | 2022-10-14 | 中国人民解放军空军工程大学 | 基于红外热波及卷积神经网络的复合材料损伤智能检测方法 |
CN115018794A (zh) * | 2022-06-09 | 2022-09-06 | 中国矿业大学(北京) | 一种基于可见光/红外图像的煤矸识别系统及方法 |
CN117387778A (zh) * | 2023-12-11 | 2024-01-12 | 合肥金星智控科技股份有限公司 | 一种测温方法、装置、电子设备及存储介质 |
CN117387778B (zh) * | 2023-12-11 | 2024-04-02 | 合肥金星智控科技股份有限公司 | 一种测温方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN112258490A (zh) | 基于光学和红外图像融合的低发射率涂层智能探损方法 | |
CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
CN106875373B (zh) | 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法 | |
CN110717481B (zh) | 一种利用级联卷积神经网络实现人脸检测的方法 | |
CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
CN113469953B (zh) | 一种基于改进YOLOv4算法的输电线路绝缘子缺陷检测方法 | |
CN103927534A (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
CN111860106B (zh) | 一种无监督的桥梁裂缝识别方法 | |
CN109086803B (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
CN108830311A (zh) | 一种基于Adaboost的红外图像光伏阵列识别方法 | |
CN111539330A (zh) | 一种基于双svm多分类器的变电站数显仪表识别方法 | |
CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
CN114612406A (zh) | 一种基于可见光和红外视觉的光伏板缺陷检测方法 | |
CN115861190A (zh) | 一种基于对比学习的光伏组件无监督缺陷检测方法 | |
CN114359702A (zh) | 一种基于Transformer的宅基地遥感图像违建识别方法及系统 | |
CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
CN115937518A (zh) | 一种基于多源图像融合的路面病害识别方法及系统 | |
CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
CN113706496B (zh) | 一种基于深度学习模型的飞行器结构裂纹检测方法 | |
CN112883969B (zh) | 一种基于卷积神经网络的降雨强度检测方法 | |
CN116485802B (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
CN113538342A (zh) | 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210122 |