CN113706420B - 工业检测中的雨线去除装置、雨线去除方法 - Google Patents

工业检测中的雨线去除装置、雨线去除方法 Download PDF

Info

Publication number
CN113706420B
CN113706420B CN202111219223.3A CN202111219223A CN113706420B CN 113706420 B CN113706420 B CN 113706420B CN 202111219223 A CN202111219223 A CN 202111219223A CN 113706420 B CN113706420 B CN 113706420B
Authority
CN
China
Prior art keywords
channel
image
module
rain
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111219223.3A
Other languages
English (en)
Other versions
CN113706420A (zh
Inventor
张焱
郭骏
潘正颐
侯大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weiyizhi Technology Co Ltd filed Critical Changzhou Weiyizhi Technology Co Ltd
Priority to CN202111219223.3A priority Critical patent/CN113706420B/zh
Publication of CN113706420A publication Critical patent/CN113706420A/zh
Application granted granted Critical
Publication of CN113706420B publication Critical patent/CN113706420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种工业检测中的雨线去除装置、雨线去除方法，涉及工业检测技术领域，装置包括：串联的第一至第三通道；其中，第一至第三通道包括：通道记忆块和特征筛选模块，通道记忆块包括：第一卷积层、通道注意力模块和长短期记忆网络，第一卷积层用于提取特征并转化为特征图，通道注意力模块用于基于上下文语义提取通道上的语义信息，长短期记忆网络用于对语义信息进行筛选。本发明采用渐进式去雨结构，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息。

Description

工业检测中的雨线去除装置、雨线去除方法
技术领域
本发明涉及工业检测技术领域，具体涉及一种工业检测中的雨线去除装置、一种工业检测中的雨线去除方法。
背景技术
雨是较为常见的动态恶劣天气，雨滴呈随机下落状态，下落时的速度很快，而且在空中随机分布，在图像中雨滴主要以雨线的形状出现，容易造成图像模糊、细节信息丢失，甚至会出现图像中部分区域被随机遮挡的情况，从而会对机器视觉算法的性能产生影响。而目前工业现场大多采用的机器视觉算法多对图像进行处理，如果不对图像进行去雨处理，将严重影响检测的效率、准确率。
相关技术中，一般分为有监督去雨和无监督去雨两种方法。有监督的去雨方法是将数据集中雨图和对应的真实图像制作成训练集进行模型训练，然后通过推理测试集来评估训练好的模型。该方法在公开数据集上表现良好， 但是在真实世界的雨天图像数据上表现一般，主要是因为公开数据集泛化性较差的原因。
无监督的去雨方法通常使用生成对抗网络以及相应改进方法进行去雨，基于生成对抗网络的去雨方法是将公开数据集中雨图与相应的真实图像分别作为生成对抗网络中的两类进行相互转化。这种去雨方法由于没有真实标签的指导，致使去雨效果较差，但是泛化性较强。其他由此衍生出来的算法在此基础上有所改善，但仍然无法应用于实际场景。
发明内容
为解决上述技术问题，本发明的第一个目的在于提出一种工业检测中的雨线去除装置，该装置采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息。
本发明的第二个目的在于提出一种工业检测中的雨线去除方法。
本发明采用的技术方案如下：
本发明第一方面的实施例提出了一种工业检测中的雨线去除装置，包括：第一通道，所述第一通道的输入端用于接收待检测图像，所述第一通道用于将所述待检测图像进行特征提取并生成第一特征图；第二通道，所述第二通道的输入端与所述第一通道的输出端相连，所述第二通道用于对所述第一特征图进行特征提取并生成第二特征图；第三通道，所述第三通道的输入端与所述第二通道的输出端相连，所述第三通道用于对所述第二特征图进行特征提取并生成去雨图像；其中，所述第一通道、所述第二通道和所述第三通道的结构相同，所述第一通道、所述第二通道或所述第三通道包括：通道记忆块和特征筛选模块，所述通道记忆块包括：第一卷积层、通道注意力模块和长短期记忆网络，所述第一卷积层用于提取特征并转化为特征图，所述通道注意力模块用于基于上下文语义提取通道上的语义信息，所述长短期记忆网络用于对所述语义信息进行筛选；所述特征筛选模块用于对筛选后的语义信息进行进一步筛选与提取。
本发明上述提出的工业检测中的雨线去除装置还可以具有如下附加技术特征：
根据本发明的一个实施例，所述通道记忆块还包括：激励压缩模块，所述激励压缩模块用于对筛选后的语义信息根据相应的权重进行随机丢弃。
根据本发明的一个实施例，所述特征筛选模块包括：依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层。
根据本发明的一个实施例，所述第一通道与所述第二通道的特征筛选模块之间利用GRU（Gate Recurrent Unit，门控循环单元）进行参数共享，所述第二通道与所述第三通道的特征筛选模块之间利用GRU进行参数共享。
根据本发明的一个实施例，所述特征筛选模块中的第一通道注意力模块、第二通道注意力模块、第三通道注意力模块和第四通道注意力模块利用跳跃连接模块进行参数共享。
根据本发明的一个实施例，采用拉普拉斯损失和结构相似性损失构造损失函数。
根据本发明的一个实施例，根据以下公式获取所述损失函数：
Figure 692254DEST_PATH_IMAGE001
；
Figure 569949DEST_PATH_IMAGE002
；
Figure 997517DEST_PATH_IMAGE003
；
其中，
Figure 184523DEST_PATH_IMAGE004
表示所述结构相似性损失，
Figure 699205DEST_PATH_IMAGE005
表示所述拉普拉斯损失，
Figure 296103DEST_PATH_IMAGE006
表 示所述损失函数，
Figure 888496DEST_PATH_IMAGE007
表示第一图像，
Figure 189946DEST_PATH_IMAGE008
表示第二图像，
Figure 297317DEST_PATH_IMAGE009
表示计算第一图像
Figure 986922DEST_PATH_IMAGE010
和第二图像
Figure 620773DEST_PATH_IMAGE011
的结构相似性值，
Figure 155440DEST_PATH_IMAGE012
表示一个极小值，
Figure 549774DEST_PATH_IMAGE013
表示对第一图像
Figure 556651DEST_PATH_IMAGE010
进行 拉普拉斯操作，
Figure 507990DEST_PATH_IMAGE014
表示对第二图像
Figure 942120DEST_PATH_IMAGE015
进行拉普拉斯操作，
Figure 92260DEST_PATH_IMAGE016
表示变量的平方和，
Figure 965145DEST_PATH_IMAGE017
表示另一个极小值，
Figure 528848DEST_PATH_IMAGE018
和
Figure 464706DEST_PATH_IMAGE019
表示损失函数的权重。
本发明第二方面的实施例提出了一种工业检测中的雨线去除方法，包括以下步骤：接收待检测图像，将所述待检测图像进行特征提取并生成第一特征图；对所述第一特征图进行特征提取并生成第二特征图；对所述第二特征图进行特征提取并生成去雨图像；其中，进行特征提取具体包括：利用卷积层提取特征并转化为特征图；利用通道注意力模块基于上下文语义提取通道上的语义信息；利用长短期记忆网络对所述语义信息进行筛选；利用特征筛选模块对筛选后的语义信息进行进一步筛选与提取。
本发明上述提出的工业检测中的雨线去除方法还可以具有如下附加技术特征：
根据本发明的一个实施例，上述的方法还包括：采用激励压缩模块对筛选后的语义信息根据相应的权重进行随机丢弃。
根据本发明的一个实施例，所述特征筛选模块包括：依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层。
根据本发明的一个实施例，特征筛选模块之间利用GRU进行参数共享。
根据本发明的一个实施例，所述特征筛选模块中的第一通道注意力模块、第二通道注意力模块、第三通道注意力模块和第四通道注意力模块利用跳跃连接模块进行参数共享。
根据本发明的一个实施例，采用拉普拉斯损失和结构相似性损失构造损失函数。
根据本发明的一个实施例，根据以下公式获取所述损失函数：
Figure 96282DEST_PATH_IMAGE020
；
Figure 716400DEST_PATH_IMAGE021
；
Figure 179349DEST_PATH_IMAGE022
；
其中，
Figure 277318DEST_PATH_IMAGE023
表示所述结构相似性损失，
Figure 195858DEST_PATH_IMAGE024
表示所述拉普拉斯损失，
Figure 613808DEST_PATH_IMAGE025
表示所述损失函数，
Figure 937123DEST_PATH_IMAGE026
表示第一图像，
Figure 211853DEST_PATH_IMAGE027
表示第二图像，
Figure 773282DEST_PATH_IMAGE028
表示计算第一图 像
Figure 794590DEST_PATH_IMAGE026
和第二图像
Figure 904235DEST_PATH_IMAGE027
的结构相似性值，
Figure 558988DEST_PATH_IMAGE029
表示一个极小值，
Figure 324557DEST_PATH_IMAGE030
表示对第一图像
Figure 875187DEST_PATH_IMAGE026
进 行拉普拉斯操作，
Figure 42601DEST_PATH_IMAGE014
表示对第二图像
Figure 602677DEST_PATH_IMAGE015
进行拉普拉斯操作，
Figure 980175DEST_PATH_IMAGE031
表示变量的平方 和，
Figure 343285DEST_PATH_IMAGE032
表示一个极小值，
Figure 710680DEST_PATH_IMAGE033
和
Figure 232535DEST_PATH_IMAGE034
表示损失函数的权重。
本发明的有益效果：
本发明采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息；在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
附图说明
图1是根据本发明一个实施例的工业检测中的雨线去除装置的结构示意图；
图2是根据本发明另一个实施例的工业检测中的雨线去除装置的结构示意图；
图3是根据本发明一个实施例的工业检测中的雨线去除方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明一个实施例的工业检测中的雨线去除装置的结构示意图，如图1所示，该装置包括：第一通道1、第二通道2、第三通道3，第一通道1的输入端input1用于接收待检测图像，第一通道1用于将待检测图像进行特征提取并生成第一特征图F1；第二通道2的输入端input2与第一通道的输出端output1相连，第二通道2用于对第一特征图F1进行特征提取并生成第二特征图F2；第三通道3的输入端input3与第二通道的输出端output2相连，第三通道3用于对第二特征图F2进行特征提取并生成去雨图像F3。
其中，第一通道1、第二通道2和第三通道3的结构相同，第一通道1、第二通道2或第三通道3包括：通道记忆块CMB（Channel Memory Block）和特征筛选模块12，通道记忆块CMB包括：第一卷积层CONV1、通道注意力模块CAB（Channel Attention Block）和长短期记忆网络LSTM（Long Short-Term Memory），第一卷积层CONV1用于提取特征并转化为特征图，通道注意力模块CAB用于基于上下文语义提取通道上的语义信息，长短期记忆网络LSTM用于对语义信息进行筛选；特征筛选模块12用于对筛选后的语义信息进行进一步筛选与提取。
具体地，如图1所示，采用多阶段渐进式去雨，输入的待检测图像首先通过第一通道1的CMB进行高效的特征提取，然后将产生的特征图传递给后续的第一通道1的特征筛选模块12，直到第一通道1输出初始去雨结果，即第一特征图F1。再将第一特征图F1输入到第二通道2中，第二通道2和第三通道3的处理同上，最后输出最终输出结果，即去雨图像。即网络循环进行三次，每次都是基于上一次去雨的结果进一步进行去雨工作，解决了当前单阶段去雨效果较差的问题。本发明输入的待检测图像为真实雨天数据集。
由于数据集中的雨线纹理分布较为不均匀，数据量较大，需要从中高效的提取雨线特征，所以本发明提出一种通道记忆块CMB。CMB主要由第一卷积层CONV1、通道注意力模块CAB和长短期记忆网络LSTM构成。
首先使用第一卷积层CONV1，它可以提取输入待检测图像的雨线特征，并转化为特征图供后续网络使用。第一卷积层CONV1提取的特征传递给通道注意力模块CAB后，由于图像数量较大，所以雨线等信息量较大，而这些信息大部分分布在图像的各个通道上，通道注意力模块CAB具有基于上下文语义选择通道上相关语义信息的能力，此时使用通道注意力模块CAB，能够高效的提取通道上的语义信息。
在提取了大量的语义信息之后，由于雨线数据量较大，需要对输入雨图中遮挡前景和背景的雨线和相关特征信息进行筛选，本发明采用长短期记忆网络LSTM对语义信息进行遗忘性选择，LSTM的遗忘门可以选择重要的信息，同时忘记不重要的信息。长短期记忆网络LSTM的表达如下公式（1）-（5）：
Figure 978555DEST_PATH_IMAGE035
（1）
Figure 955476DEST_PATH_IMAGE036
（2）
Figure 950677DEST_PATH_IMAGE037
（3）
Figure 112275DEST_PATH_IMAGE038
（4）
Figure 201716DEST_PATH_IMAGE039
（5）
其中
Figure 175138DEST_PATH_IMAGE040
表示由第一卷积层提取的特征，
Figure 233967DEST_PATH_IMAGE041
用来编码cell阶段特征，并传递给后 续的LSTM，
Figure 380782DEST_PATH_IMAGE042
表示上一阶段LSTM用来编码cell阶段特征，
Figure 220169DEST_PATH_IMAGE043
表示LSTM的输出，
Figure 728773DEST_PATH_IMAGE044
表示上一阶段LSTM的输出，
Figure 710285DEST_PATH_IMAGE045
和
Figure 948106DEST_PATH_IMAGE046
分别表示卷积操作和对应元素相乘的操作，
Figure 941033DEST_PATH_IMAGE047
表示 sigmoid激活函数，
Figure 188082DEST_PATH_IMAGE048
表示上一层到输入门的权重，
Figure 650199DEST_PATH_IMAGE049
表示隐藏层到输入层的权重，
Figure 386817DEST_PATH_IMAGE050
表示输入层的偏置，
Figure 890478DEST_PATH_IMAGE051
表示输出层到输入层的权重，
Figure 737955DEST_PATH_IMAGE052
表示隐藏层的偏置，
Figure 691130DEST_PATH_IMAGE053
表示 上一层到遗忘门的权重，
Figure 276613DEST_PATH_IMAGE054
表示隐藏层到遗忘门的权重，
Figure 984412DEST_PATH_IMAGE055
表示输出层到遗忘门的 权重，
Figure 629721DEST_PATH_IMAGE056
表示遗忘门的输出结果，
Figure 434473DEST_PATH_IMAGE057
表示输入门的结果，
Figure 453506DEST_PATH_IMAGE058
表示tanh激活函数，
Figure 982358DEST_PATH_IMAGE059
表示上一层到输出层的权重，
Figure 171637DEST_PATH_IMAGE060
表示隐藏层到输出层的权重，
Figure 536339DEST_PATH_IMAGE061
表示输出层的偏置，
Figure 598711DEST_PATH_IMAGE062
表示t阶段的特征图，
Figure 349279DEST_PATH_IMAGE063
表示上一层的特征权重，
Figure 279933DEST_PATH_IMAGE064
表示隐藏层的特征权重，
Figure 991100DEST_PATH_IMAGE065
表示输出层的特征权重，
Figure 414254DEST_PATH_IMAGE066
表示输出层的偏置。
总的来说，通道记忆块CMB可以在最开始把最需要的特征提取出来供后续模块进行进一步的特征筛选与提取，直到能够准确提取出需要去除的雨线信息，特征提取效果好。由此，该装置采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息。
进一步地，根据本发明的一个实施例，如图2所示，通道记忆块CMB还可以包括：激励压缩模块SE，激励压缩模块SE用于对筛选后的语义信息根据相应的权重进行随机丢弃。
具体地，由长短期记忆网络LSTM筛选过后的数据量依旧较大，激励压缩模块SE可以针对长短期记忆网络LSTM选择的重要特征按照相应的权重进行随机丢弃，进一步提升了特征提取的表达性。
根据本发明的一个实施例，如图2所示，特征筛选模块12包括：依次串联的第一注意力机制CA1、第一通道注意力模块CAB1、第二通道注意力模块CAB2、第二注意力机制CA2、第三通道注意力模块CAB3、第四通道注意力模块CAB4和第二卷积层CONV2。
其中，第一通道1与第二通道2的特征筛选模块12之间利用GRU进行参数共享，第二通道2与第三通道3的特征筛选模块12之间利用GRU进行参数共享。特征筛选模块12中的第一通道注意力模块CAB1、第二通道注意力模块CAB2、第三通道注意力模块CAB3和第四通道注意力模块CAB4利用跳跃连接模块SC进行参数共享。
具体地，特征筛选模块12包括四个通道注意力模块、两个注意力机制和一个卷积层，各模块间的连接方式如图2所示，每次循环中调用了通道记忆块CMB和跳跃连接模块SC。其中CMB可以高效的提取图像样本对数据的特征，针对网络提取的特征传递较远时，特征会减弱，跳跃连接模块SC高效的解决了此问题。如图2所示，虚线为各阶段之间的参数共享，参数共享过程中加入了GRU，使得通道间共享的特征得到增强，CAB1-CAB4之间的实线为跳跃连接模块SC，使得通道注意力模块之间共享的特征得到增强。
在本发明的实施例中，在网络的生成过程中，采用拉普拉斯损失和结构相似性损 失构造损失函数
Figure 646258DEST_PATH_IMAGE067
。
进一步地，根据以下公式获取损失函数
Figure 183200DEST_PATH_IMAGE068
：
Figure 630099DEST_PATH_IMAGE069
；
Figure 238803DEST_PATH_IMAGE070
；
Figure 961033DEST_PATH_IMAGE071
；
其中，
Figure 171172DEST_PATH_IMAGE072
表示结构相似性损失，
Figure 930968DEST_PATH_IMAGE073
表示拉普拉斯损失，
Figure 506043DEST_PATH_IMAGE074
表示损失函 数，
Figure 441202DEST_PATH_IMAGE075
表示第一图像，
Figure 438720DEST_PATH_IMAGE076
表示第二图像，
Figure 50092DEST_PATH_IMAGE077
表示计算第一图像
Figure 129825DEST_PATH_IMAGE075
和第二图 像
Figure 417193DEST_PATH_IMAGE076
的结构相似性值，
Figure 49030DEST_PATH_IMAGE078
表示一个极小值，
Figure 511979DEST_PATH_IMAGE079
表示对第一图像
Figure 618738DEST_PATH_IMAGE075
进行拉普拉斯操 作，
Figure 743469DEST_PATH_IMAGE014
表示对第二图像
Figure 833523DEST_PATH_IMAGE015
进行拉普拉斯操作，
Figure 286064DEST_PATH_IMAGE080
表示变量的平方和，
Figure 498478DEST_PATH_IMAGE081
表示另 一个极小值，
Figure 907243DEST_PATH_IMAGE082
和
Figure 676354DEST_PATH_IMAGE083
表示损失函数的权重。
具体地，在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
本发明上述提出的去除装置具有可迁移、可学习的特性，通过对公开数据集的样本数据进行装置中的模型训练与测试，不同数据集得到不同的模型，最后推理出相应测试集的推理结果。利用PSNR（Peak Signal to Noise Ratio，峰值信噪比）和SSIM（StructuralSimilarity，结构相似性）进行模型推理结果的综合评定，采用本发明的雨线去除装置，在对图像进行雨线去除时，可得到清晰的无雨图像。
综上所述，根据本发明实施例的工业检测中的雨线去除装置，采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息；在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
与上述的工业检测中的雨线去除装置相对应，本发明还提出一种工业检测中的雨线去除方法。由于本发明实施例的雨线去除方法与上述实施例提供的雨线去除装置相对应，因此在前述的雨线去除装置的实施方式也适用于本实施例提供的雨线去除方法，在本实施例中不再进行详细描述。
图3是根据本发明一个实施例的工业检测中的雨线去除方法的流程图，如图3所示，该雨线去除方法包括以下步骤：
S1，接收待检测图像，将待检测图像进行特征提取并生成第一特征图。
S2，对第一特征图进行特征提取并生成第二特征图。
S3，对第二特征图进行特征提取并生成去雨图像。
其中，进行特征提取具体包括：利用卷积层提取特征并转化为特征图；利用通道注意力模块基于上下文语义提取通道上的语义信息；利用长短期记忆网络对语义信息进行筛选；利用特征筛选模块对筛选后的语义信息进行进一步筛选与提取。
根据本发明的一个实施例，特征筛选模块包括：依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层。
根据本发明的一个实施例，特征筛选模块之间利用GRU进行参数共享。
根据本发明的一个实施例，特征筛选模块中的第一通道注意力模块、第二通道注意力模块、第三通道注意力模块和第四通道注意力模块利用跳跃连接模块进行参数共享。
根据本发明的一个实施例，采用拉普拉斯损失和结构相似性损失构造损失函数。
根据本发明的一个实施例，根据以下公式获取损失函数：
Figure 69156DEST_PATH_IMAGE084
；
Figure 452471DEST_PATH_IMAGE085
；
Figure 348532DEST_PATH_IMAGE086
；
其中，
Figure 173531DEST_PATH_IMAGE087
表示结构相似性损失，
Figure 340945DEST_PATH_IMAGE088
表示拉普拉斯损失，
Figure 951618DEST_PATH_IMAGE089
表示损失 函数，
Figure 204483DEST_PATH_IMAGE090
表示第一图像，
Figure 711468DEST_PATH_IMAGE091
表示第二图像，
Figure 795706DEST_PATH_IMAGE092
表示计算第一图像
Figure 272822DEST_PATH_IMAGE090
和第二 图像
Figure 403195DEST_PATH_IMAGE091
的结构相似性值，
Figure 304418DEST_PATH_IMAGE093
表示一个极小值，
Figure 514600DEST_PATH_IMAGE094
表示对第一图像
Figure 410618DEST_PATH_IMAGE090
进行拉普拉 斯操作，
Figure 491270DEST_PATH_IMAGE014
表示对第二图像
Figure 458833DEST_PATH_IMAGE015
进行拉普拉斯操作，
Figure 317330DEST_PATH_IMAGE095
表示变量的平方和，
Figure 718005DEST_PATH_IMAGE096
表 示一个极小值，
Figure 229496DEST_PATH_IMAGE097
和
Figure 690431DEST_PATH_IMAGE098
表示损失函数的权重。
综上所述，根据本发明实施例的工业检测中的雨线去除方法，采用渐进式去雨结构，可以实现对公开雨天数据集与真实雨天数据集进行去雨工作，每次都是基于上一次提取结果进一步进行特征提取，解决了单阶段去雨效果较差的问题，利用通道注意力模块进行特征提取，可以对样本数据进行高效的特征提取与传递，直到能够准确提取出需要去除的雨线信息；在网络的生成过程中使用了拉普拉斯损失和结构相似性损失的组合，拉普拉斯损失可以将生成图像的边缘更趋向于真实标签图像，结构相似性损失可以使得生成图像在人眼的角度与真实标签更相似，两者结合达到了较好的效果。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种工业检测中的雨线去除装置，其特征在于，包括：
第一通道，所述第一通道的输入端用于接收待检测图像，所述第一通道用于将所述待检测图像进行特征提取并生成第一特征图；
第二通道，所述第二通道的输入端与所述第一通道的输出端相连，所述第二通道用于对所述第一特征图进行特征提取并生成第二特征图；
第三通道，所述第三通道的输入端与所述第二通道的输出端相连，所述第三通道用于对所述第二特征图进行特征提取并生成去雨图像；
其中，所述第一通道、所述第二通道和所述第三通道的结构相同，所述第一通道、所述第二通道或所述第三通道包括：通道记忆块和特征筛选模块，所述通道记忆块包括：第一卷积层、通道注意力模块和长短期记忆网络，所述第一卷积层用于提取特征并转化为特征图，所述通道注意力模块用于基于上下文语义提取通道上的语义信息，所述长短期记忆网络用于对所述语义信息进行筛选；所述特征筛选模块用于对筛选后的语义信息进行进一步筛选与提取；
所述特征筛选模块包括：
依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层；
根据以下公式获取损失函数：
Figure DEST_PATH_IMAGE001
；
Figure DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE003
；
其中，
Figure DEST_PATH_IMAGE004
表示结构相似性损失，
Figure DEST_PATH_IMAGE005
表示拉普拉斯损失，
Figure 752224DEST_PATH_IMAGE005
表示所述损失函 数，
Figure DEST_PATH_IMAGE006
表示第一图像，
Figure DEST_PATH_IMAGE007
表示第二图像，
Figure DEST_PATH_IMAGE008
表示计算第一图像
Figure 621696DEST_PATH_IMAGE006
和第二图像
Figure 152166DEST_PATH_IMAGE007
的结构相似性值，
Figure DEST_PATH_IMAGE009
表示一个极小值，
Figure DEST_PATH_IMAGE010
表示对第一图像
Figure 737255DEST_PATH_IMAGE006
进行拉普拉斯操 作，
Figure DEST_PATH_IMAGE012
表示对第二图像
Figure 990776DEST_PATH_IMAGE007
进行拉普拉斯操作，
Figure DEST_PATH_IMAGE013
表示变量的平方和，
Figure DEST_PATH_IMAGE014
表示另一 个极小值，
Figure DEST_PATH_IMAGE015
和
Figure DEST_PATH_IMAGE016
表示损失函数的权重。
2.根据权利要求1所述的工业检测中的雨线去除装置，其特征在于，所述通道记忆块还包括：激励压缩模块，所述激励压缩模块用于对筛选后的语义信息根据相应的权重进行随机丢弃。
3.根据权利要求1所述的工业检测中的雨线去除装置，其特征在于，所述第一通道与所述第二通道的特征筛选模块之间利用GRU进行参数共享，所述第二通道与所述第三通道的特征筛选模块之间利用GRU进行参数共享。
4.根据权利要求1所述的工业检测中的雨线去除装置，其特征在于，所述特征筛选模块中的第一通道注意力模块、第二通道注意力模块、第三通道注意力模块和第四通道注意力模块利用跳跃连接模块进行参数共享。
5.一种工业检测中的雨线去除方法，其特征在于，包括以下步骤：
接收待检测图像，将所述待检测图像进行特征提取并生成第一特征图；
对所述第一特征图进行特征提取并生成第二特征图；
对所述第二特征图进行特征提取并生成去雨图像；其中，进行特征提取具体包括：
利用卷积层提取特征并转化为特征图；
利用通道注意力模块基于上下文语义提取通道上的语义信息；
利用长短期记忆网络对所述语义信息进行筛选；
利用特征筛选模块对筛选后的语义信息进行进一步筛选与提取；
所述特征筛选模块包括：
依次串联的第一注意力机制、第一通道注意力模块、第二通道注意力模块、第二注意力机制、第三通道注意力模块、第四通道注意力模块和第二卷积层；
根据以下公式获取损失函数：
Figure 617498DEST_PATH_IMAGE001
；
Figure 776209DEST_PATH_IMAGE002
；
Figure 725842DEST_PATH_IMAGE003
；
其中，
Figure 581671DEST_PATH_IMAGE004
表示结构相似性损失，
Figure 325768DEST_PATH_IMAGE005
表示拉普拉斯损失，
Figure 842548DEST_PATH_IMAGE005
表示所述损失函 数，
Figure 267976DEST_PATH_IMAGE006
表示第一图像，
Figure 542093DEST_PATH_IMAGE007
表示第二图像，
Figure 722670DEST_PATH_IMAGE008
表示计算第一图像
Figure 715028DEST_PATH_IMAGE006
和第二图像
Figure 678567DEST_PATH_IMAGE007
的结构相似性值，
Figure 10453DEST_PATH_IMAGE009
表示一个极小值，
Figure 96352DEST_PATH_IMAGE010
表示对第一图像
Figure 564287DEST_PATH_IMAGE006
进行拉普拉斯操作，
Figure 393834DEST_PATH_IMAGE012
表示对第二图像
Figure 704861DEST_PATH_IMAGE007
进行拉普拉斯操作，
Figure 227240DEST_PATH_IMAGE013
表示变量的平方和，
Figure 866294DEST_PATH_IMAGE014
表示另一个极 小值，
Figure 499532DEST_PATH_IMAGE015
和
Figure 602749DEST_PATH_IMAGE016
表示损失函数的权重。
CN202111219223.3A 2021-10-20 2021-10-20 工业检测中的雨线去除装置、雨线去除方法 Active CN113706420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111219223.3A CN113706420B (zh) 2021-10-20 2021-10-20 工业检测中的雨线去除装置、雨线去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111219223.3A CN113706420B (zh) 2021-10-20 2021-10-20 工业检测中的雨线去除装置、雨线去除方法

Publications (2)

Publication Number Publication Date
CN113706420A CN113706420A (zh) 2021-11-26
CN113706420B true CN113706420B (zh) 2022-02-18

Family

ID=78646862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111219223.3A Active CN113706420B (zh) 2021-10-20 2021-10-20 工业检测中的雨线去除装置、雨线去除方法

Country Status (1)

Country Link
CN (1) CN113706420B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113962905B (zh) * 2021-12-03 2023-05-05 四川大学 基于多阶段特征互补网络的单幅图像去雨方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020146622A1 (en) * 2019-01-09 2020-07-16 Board Of Trustees Of Michigan State University Object detection under rainy conditions for autonomous systems
CN112907479B (zh) * 2021-03-05 2023-04-18 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法
CN113436101B (zh) * 2021-06-28 2023-11-10 杭州电子科技大学 基于高效通道注意力机制的龙格库塔模块去雨的方法

Also Published As

Publication number Publication date
CN113706420A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110378844B (zh) 基于循环多尺度生成对抗网络的图像盲去运动模糊方法
Li et al. An all-in-one network for dehazing and beyond
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
CN109978807B (zh) 一种基于生成式对抗网络的阴影去除方法
EP2827297A2 (en) Method and apparatus for processing depth image
CN107133948A (zh) 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN107784322B (zh) 异常数据检测方法、装置、存储介质以及程序产品
CN108961180B (zh) 红外图像增强方法及系统
GB2489272A (en) Segmentation of images into superpixels
CN111709265A (zh) 基于注意力机制残差网络的摄像监控状态分类方法
CN113592736A (zh) 一种基于融合注意力机制的半监督图像去模糊方法
CN115205274A (zh) 一种基于轻量化级联网络的布匹瑕疵检测方法
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
CN111754531A (zh) 图像实例分割方法和装置
CN113706420B (zh) 工业检测中的雨线去除装置、雨线去除方法
Bahrami et al. A novel approach for partial blur detection and segmentation
CN111179295A (zh) 改进的二维Otsu阈值图像分割方法和系统
CN114299358A (zh) 图像质量评估方法、装置、电子设备及机器可读存储介质
CN109671055A (zh) 肺结节检测方法及装置
Chetouani Image quality assessment without reference by mixing deep learning-based features
CN116664446A (zh) 基于残差密集块的轻量级暗光图像增强方法
CN118097502A (zh) 一种基于深度学习的社交网络深度伪造视频检测方法及系统
Hussain et al. Image denoising to enhance character recognition using deep learning
Huang et al. A method for identifying origin of digital images using a convolutional neural network
CN116664839B (zh) 一种弱监督半监督缺陷感知分割方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant