CN115937049B - 去雨模型轻量化方法、系统、设备及介质 - Google Patents
去雨模型轻量化方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115937049B CN115937049B CN202310157343.8A CN202310157343A CN115937049B CN 115937049 B CN115937049 B CN 115937049B CN 202310157343 A CN202310157343 A CN 202310157343A CN 115937049 B CN115937049 B CN 115937049B
- Authority
- CN
- China
- Prior art keywords
- module
- rain
- feature extraction
- downsampling
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000000605 extraction Methods 0.000 claims abstract description 63
- 230000001133 acceleration Effects 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000011176 pooling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013585 weight reducing agent Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种去雨模型轻量化方法、系统、设备及介质，属于深度学习领域，方法包括：获取原始去雨模型，在原始去雨模型的输入侧设置自适应下采样模块，以形成自适应下采样加速模块；动态构建特征提取模块，特征提取模块的计算量与自适应下采样加速模块的计算量相匹配；设计特征融合模块，用于对自适应下采样加速模块的输出和特征提取模块的输出进行特征融合；对轻量化去雨模型进行优化训练，轻量化去雨模型包括自适应下采样加速模块、特征提取模块和特征融合模块。在保证去雨性能的基础上，减少去雨模型的推理时间、资源占用率。
Description
技术领域
本发明属于深度学习领域，更具体地，涉及一种去雨模型轻量化方法、系统、设备及介质。
背景技术
随着深度学习的不断发展，卷积神经网络应用于各种任务，如图像去雨任务。图像去雨是一种像素到像素的过程，为了保证去雨模型的性能，往往使用较少的下采样，因此，在模型推理过程中，中间特征图往往占用了模型内存的绝大部分，同时，图像去雨模型的高分辨率特征图也会引入更多的矩阵运算和向量运算，从而使得图像去雨任务在嵌入式平台会花费较多时间。
现有的模型轻量化方法无法从根本上解决去雨模型的高分辨率特征图问题，如模型量化、剪枝等轻量化方法。模型量化改变的是参数位宽，无法解决去雨模型大尺寸特征图的问题，导致在实际运行时中间特征图占用的内存依然很大。剪枝去除的是冗余的通道，实际上，中间特征图也存在较多的冗余信息，而且大特征图产生的延时更加明显。此外，也存在使用空洞卷积和多尺度结构提取雨图特征，搭建轻量化模型的轻量化方法。但是，这些方法依然存在中间特征图尺寸大的问题，使得去雨模型推理缓慢、占用率高。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种去雨模型轻量化方法、系统、设备及介质，其目的在于在保证去雨性能的基础上，解决去雨模型推理缓慢、资源占用率高的问题。
为实现上述目的，按照本发明的一个方面，提供了一种去雨模型轻量化方法，包括：S1，获取原始去雨模型，在所述原始去雨模型的输入侧设置自适应下采样模块，以形成自适应下采样加速模块；S2，动态构建特征提取模块，所述特征提取模块的计算量与所述自适应下采样加速模块的计算量相匹配；S3，设计特征融合模块，用于对所述自适应下采样加速模块的输出和所述特征提取模块的输出进行特征融合；S4，对轻量化去雨模型进行优化训练，所述轻量化去雨模型包括所述自适应下采样加速模块、所述特征提取模块和所述特征融合模块。
更进一步地，所述自适应下采样模块用于：对待去雨图像进行下采样，得到下采样图像，对所述待去雨图像和所述下采样图像分别进行傅里叶编码后，将得到的两个傅里叶编码结果相乘；对得到的相乘结果进行逆傅里叶编码后，将得到的逆傅里叶编码结果变形为卷积核；利用所述卷积核对所述下采样图像进行处理后输入所述原始去雨模型。
更进一步地，所述S4包括：S41，以所述特征提取模块的计算量与所述自适应下采样加速模块的计算量相匹配、且其损失函数收敛为目标，对所述特征提取模块进行优化训练；S42，以总损失函数收敛为目标，对所述自适应下采样加速模块、优化训练后的特征提取模块和所述特征融合模块进行优化训练。
更进一步地，所述S41包括：每次迭代优化训练时，在超网络中选取一条路径作为所述特征提取模块进行优化训练；利用NAS技术，搜索计算量与所述自适应下采样加速模块的计算量相匹配、且路径中BN层的缩放参数最大的路径，以作为优化训练后的特征提取模块。
更进一步地，所述总损失函数为：
其中，
为所述总损失函数，/>
为所述特征提取模块的损失函数，/>
为L1损失函数，/>
为所述特征提取模块输出的图像，/>
为所述特征融合模块输出的图像。
更进一步地，所述L1损失函数为：
其中，
为双三次上采样函数，/>
为所述自适应下采样加速模块输出的图像。
更进一步地，所述S4之后还包括：将待去雨图像分别输入优化训练后的自适应下采样加速模块和特征提取模块，以利用优化训练后的轻量化去雨模型对所述待去雨图像进行去雨处理。
按照本发明的另一个方面，提供了一种去雨模型轻量化系统，包括：自适应下采样模块，位于原始去雨模型的输入侧，与所述原始去雨模型形成为自适应下采样加速模块；特征提取模块，计算量与所述自适应下采样加速模块的计算量相匹配；特征融合模块，用于对所述自适应下采样加速模块的输出和所述特征提取模块的输出进行特征融合；优化训练模块，用于对轻量化去雨模型进行优化训练，所述轻量化去雨模型包括所述自适应下采样加速模块、所述特征提取模块和所述特征融合模块。
按照本发明的另一个方面，提供了一种电子设备，包括：处理器；存储器，其存储有计算机可执行程序，所述程序在被所述处理器执行时，使得所述处理器执行如上所述的去雨模型轻量化方法。
按照本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的去雨模型轻量化方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：提供了一种去雨模型轻量化方法，在去雨模型的输入侧设置自适应下采样模块，对高分辨率输入图像进行下采样后，将得到的高性能低分辨率清晰图像输入去雨模型，提高模型推理速度；动态构建特征提取模块以提取高分辨率输入图像的细节信息，与去雨模型的输出进行融合，能够更好地补偿下采样去雨结果缺失的细节，使得轻量化去雨模型与原始去雨模型性能最接近，保证最终结果性能；由此，在保证性能的前提下就，极大地减少推理时间，例如，推理1024*2048*3的雨天图像可达到超过10倍的提速，而不损失精度。
附图说明
图1为本发明实施例提供的去雨模型轻量化方法的流程图。
图2为本发明实施例提供的去雨模型轻量化方法的整体过程图。
图3为本发明实施例提供自适应下采样卷积核生成的过程图。
图4为本发明实施例提供动态构建特征提取模块的过程图。
图5为本发明实施例提供自适应下采样加速分支的框图。
图6为本发明实施例提供高分辨率细节特征提取分支的框图。
图7为本发明实施例提供特征融合与区域结果输出的过程图。
图8为本发明实施例提供去雨模型轻量化系统的框图。
图9为本发明实施例提供电子设备的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
图1为本发明实施例提供的去雨模型轻量化方法的流程图。参阅图1，结合图2-图7，对本实施例中去雨模型轻量化方法进行详细说明，方法包括操作S1-操作S4，其整体控制过程如图2所示。
操作S1，获取原始去雨模型，在原始去雨模型的输入侧设置自适应下采样模块，以形成自适应下采样加速模块。
本实施例中，获取的原始去雨模型为服务器端高精度大模型，训练该模型所用的样本为高分辨率图像训练集，并且在服务器端训练获得了比较好的精度，但其在嵌入式端推理的资源占用率和时延是相当大的。
在原始去雨模型的输入侧设置自适应下采样模块，利用自适应下采样模块对高分辨率输入图像进行自适应下采样，使得下采样获得的低分辨率图像适应原始去雨模型。自适应下采样模块与原始去雨模型形成为自适应下采样加速模块，作为分支一。
降低去雨模型输入的分辨率为本实施例中的核心轻量化手段，而手动设计的下采样方法会使得下采样后的输入图像分布发生较大的变化，无法适应原始去雨模型。手动设计的下采样方法在对去雨模型的输入图像进行下采样时，输入图像的雨层会由连续状变为离散状，分布的丢失也发生在这个过程，将连续雨条到离散雨条的分布变化用一个卷积核表示：
其中，
为原始去雨模型；/>
为卷积核；/>
为原始输入图像，即待去雨图像；
为下采样后的输入图像，即下采样图像；*为卷积运算。
由于输入图像中的雨条存在非局部自相似性，因此可以通过原始输入图像估计出
，由上式可得：
其中，
为均值。/>
将卷积展开可得：
其中，
表示傅里叶变换，/>
表示傅里叶逆变换。
由于输入图像中不止有雨条成分，还有背景成分，因此，本实施例中，利用3×3的卷积层替代傅里叶变换和傅里叶逆变换，用全局池化代替取均值操作，获得卷积核与下采样后的输入图像进行卷积，改变其分布，再将下采样图像输入至去雨模型中，获得低分辨率的去雨图像，如图3和图5所示。
根据本发明的实施例，自适应下采样模块用于：对待去雨图像进行下采样，得到下采样图像，对待去雨图像和下采样图像分别进行傅里叶编码后，将得到的两个傅里叶编码结果相乘；对得到的相乘结果进行逆傅里叶编码后，将得到的逆傅里叶编码结果变形为卷积核；利用卷积核对下采样图像进行处理后输入原始去雨模型，如图3和图5所示。
自适应下采样模块首先使用全局池化对高分辨率输入图像进行下采样，然后使用3*3的卷积分别对高分辨率输入图像和下采样图像进行特征提取，将提取到的特征取全局池化并相乘，再使用3*3的卷积获得自适应下采样模糊核，利用此模糊核对下采样后的图像进行卷积，即实现自适应下采样。下采样倍数为超参数，可为2、4、8等，在训练时根据具体情况确定。下采样倍数增大时，模型推理速度变快，但精度下降；下采样倍数减少时，模型推理速度变慢，但精度上升。
对于自适应下采样模块，由于其利用3×3的卷积层替代傅里叶变换和傅里叶逆变换，因此需要对该模块进行监督训练，使用少量数据作为训练集，使用双三次上采样将下采样输入图像的去雨结果进行上采样，使用L1损失函数
约束上采样的结果与清晰图像
操作S2，动态构建特征提取模块，特征提取模块的计算量与自适应下采样加速模块的计算量相匹配。
本实施例中，分辨率降低使得原始去雨模型推理的参数量和计算量成倍下降，但是会导致输出结果分辨率下降。基于此，构建特征提取模块以提取高分辨率输入图像的特征，提取高分辨率输入图像的细节信息，作为分支二，用于与自适应下采样加速模块的输出进行融合。
为了确保两个分支同步推理，采用神经网络结构搜索（NAS）技术构建基于自适应下采样加速模块的特征提取模块，以搜索出与分之一计算量相匹配且性能最佳的分支二。
操作S3，设计特征融合模块，用于对自适应下采样加速模块的输出和特征提取模块的输出进行特征融合。
由于低分辨率清晰图像输入为低层语义特征，更多的表达了雨层的形状、方向等与分辨率无关的特征；特征提取模块提取的特征为高层语义特性，更多的为细节信息。特征融合模块的主要功能为将两种特征进行融合，首先将两种输出进行concat连接，再经过通道注意力模块将两种特征的语义信息有效的进行融合。
特征融合的主要步骤为：第一步，低分辨率清晰图像与最低尺度特征融合，采用特征融合模块，特征融合模块通过全连接支路加强通道间的信息交流；第二步，使用上采样层和短连接的方式将多尺度信息融合进第一步获得的特征图，直到与原始输入分辨率一致。
第二步的上采样和短连接仅仅包含一个3*3的卷积，主要原因在于：低分辨率的去雨结果对高分辨率的去雨结果有了很好的引导作用，同时特征融合模块已经把高分辨率输入图像的信息和低分辨率的去雨结果信息进行了很好的融合，因此这个模块可以采用轻量化的设计。
参阅图7，本实施例中，利用特征融合模块将自适应下采样加速模块的输出与特征提取模块提取的特征进行融合，获得最终的清晰图像。这既是一个由低分辨率清晰图像指导高分辨率退化图像去雨的过程，也是利用高分辨率退化图像中的背景信息指导低分辨率图像超分的过程，二者相互促进，最终输出高质量高分辨率的清晰图像。同时，由于有了低分辨率的清晰图像，融合之后无需太多设计，采用非常轻量化的卷积组合就能得到较好的结果。
操作S4，对轻量化去雨模型进行优化训练，轻量化去雨模型包括自适应下采样加速模块、特征提取模块和特征融合模块。
根据本发明的实施例，操作S4包括子操作S41-子操作S42。
在子操作S41中，以特征提取模块的计算量与自适应下采样加速模块的计算量相匹配、且其损失函数收敛为目标，对特征提取模块进行优化训练。参阅图4，图中k表示卷积核大小，w表示通道数扩展率，具体过程如下：
（1）每次迭代优化训练时，在超网络中选取一条路径作为特征提取模块进行优化训练。
超网络由一系列Resblock模块组成，每个Resblock模块由三部分组成：1*1 Conv+BN+ReLU、3*3 Conv+BN+ReLU、1*1 Conv+BN。超网络训练是与整个轻量化去雨模型一起训练，训练过程中，每次迭代优化训练时，在超网络中选取一条路径作为特征提取模块提取输入图像的特征，通过特征融合模块与自适应下采样加速模块输出的低分辨率去雨图像进行融合，输出高分辨率的去雨图像，使用
约束高分辨率去雨图像和清晰图像。
本实施例中，使用10个Resblock模块，Resblock模块之间串行连接，在推理的过程中不进行下采样，基础通道数设置为8，卷积核大小可选3*3、5*5、7*7，通道数扩展率可选2、4。
（2）利用NAS技术，搜索计算量与自适应下采样加速模块的计算量相匹配、且路径中BN层的缩放参数最大的路径，以作为优化训练后的特征提取模块。相匹配是指特征提取模块的计算量与自适应下采样加速模块的计算量接近，最终选出的特征提取模块如图6所示。
本实施例中，例如设置自适应下采样加速模块的下采样倍数为4，训练优化器为Adam，学习率设置为5e-4，训练20个epoch即可进行搜索，训练到收敛时图像峰值信噪比PSNR可达39.8，轻量化前PSNR为40.2。
在子操作S42中，以总损失函数收敛为目标，对自适应下采样加速模块、优化训练后的特征提取模块和特征融合模块进行优化训练。
总损失函数为：
其中，
为总损失函数，/>
为特征提取模块的损失函数，/>
为L1损失函数，/>
为特征提取模块输出的图像，/>
为特征融合模块输出的图像。
L1损失函数为：
其中，
为双三次上采样函数，/>
为自适应下采样加速模块输出的图像。
根据本发明的实施例，操作S4之后还包括：将待去雨图像分别输入优化训练后的自适应下采样加速模块和特征提取模块，以利用优化训练后的轻量化去雨模型对待去雨图像进行去雨处理。
本实施例中，利用40000张1024*2048*3的雨天图像及其清晰图像训练原始去雨模型，模型由四个下采样层和四个上采样层组成，每次下采样之前的结果都会通过短连接加到相应的上采样位置，损失函数使用MSE Loss，如下式：
其中，
为MSE Loss，/>
为去雨后的清晰图像，/>
为待去雨图像，/>
为原始去雨模型。
训练优化器为Adam，学习率设置为1e-4，训练到收敛时峰值信噪比PSNR可达40。使用pytorch2onnx工具，将训练好的去雨模型转化为.onnx格式，例如再使用昇腾310模型转换工具将.onnx格式模型转换为昇腾310自带的深度学习框架.om格式，将测试程序与模型文件传输至昇腾310中，输入1024*2048*3的测试图像，获取推理时间约为1565ms。即，轻量化前，去雨模型耗时1565ms。
采用本实施例中的去雨模型轻量化方法后，下采样2倍时，去雨模型耗时279ms；下采样4倍时，去雨模型耗时144ms；下采样8倍时，去雨模型耗时115ms；且下采样后均能保证去雨效果。
可以看出，本实施例解决了去雨模型推理缓慢、资源占用率高的问题。提出了对高分辨率图像降分辨率推理和多尺度信息超分的框架，利用高性能的模型微调，在保留精度的同时充分提高推理速度、降低资源占用率。
图8为本发明实施例提供去雨模型轻量化系统的框图。参阅图8，该去雨模型轻量化系统800包括自适应下采样模块810、特征提取模块820、特征融合模块830以及优化训练模块840。
自适应下采样模块810位于原始去雨模型的输入侧，与原始去雨模型形成为自适应下采样加速模块。
特征提取模块820的计算量与自适应下采样加速模块的计算量相匹配。
特征融合模块830用于对自适应下采样加速模块的输出和特征提取模块的输出进行特征融合。
优化训练模块840用于对轻量化去雨模型进行优化训练，轻量化去雨模型包括自适应下采样加速模块、特征提取模块和特征融合模块。
去雨模型轻量化系统800用于执行上述图1-图7所示实施例中的去雨模型轻量化方法。本实施例未尽之细节，请参阅前述图1-图7所示实施例中的去雨模型轻量化方法，此处不再赘述。
本公开的实施例还示出了一种电子设备，如图9所示，电子设备900包括处理器910、可读存储介质920。该电子设备900可以执行上面图1-图7中描述的去雨模型轻量化方法。
具体地，处理器910例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC）），等等。处理器910还可以包括用于缓存用途的板载存储器。处理器910可以是用于执行参考图1-图7描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
可读存储介质920，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘（HDD）；光存储装置，如光盘（CD-ROM）；存储器，如随机存取存储器（RAM）或闪存；和/或有线/无线通信链路。
可读存储介质920可以包括计算机程序921，该计算机程序921可以包括代码/计算机可执行指令，其在由处理器910执行时使得处理器910执行例如上面结合图1-图7所描述的方法流程及其任何变形。
计算机程序921可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序921中的代码可以包括一个或多个程序模块，例如包括921A、模块921B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器910执行时，使得处理器910可以执行例如上面结合图1-图7所描述的方法流程及其任何变形。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现图1-图7所示的去雨模型轻量化方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种去雨模型轻量化方法，其特征在于，包括：
S1，获取原始去雨模型，在所述原始去雨模型的输入侧设置自适应下采样模块，以形成自适应下采样加速模块；
其中，所述自适应下采样模块用于：对待去雨图像进行下采样，得到下采样图像，对所述待去雨图像和所述下采样图像分别进行傅里叶编码后，将得到的两个傅里叶编码结果相乘；对得到的相乘结果进行逆傅里叶编码后，将得到的逆傅里叶编码结果变形为卷积核；利用所述卷积核对所述下采样图像进行处理后输入所述原始去雨模型；
S2，动态构建特征提取模块，所述特征提取模块的计算量与所述自适应下采样加速模块的计算量相匹配；其中，相匹配是指特征提取模块的计算量与自适应下采样加速模块的计算量接近；
S3，设计特征融合模块，用于对所述自适应下采样加速模块的输出和所述特征提取模块的输出进行特征融合；
S4，对轻量化去雨模型进行优化训练，所述轻量化去雨模型包括所述自适应下采样加速模块、所述特征提取模块和所述特征融合模块；
所述S4包括：
S41，每次迭代优化训练时，在超网络中选取一条路径作为所述特征提取模块进行优化训练；利用NAS技术，搜索计算量与所述自适应下采样加速模块的计算量相匹配、且路径中BN层的缩放参数最大的路径，以作为优化训练后的特征提取模块；
S42，以总损失函数收敛为目标，对所述自适应下采样加速模块、优化训练后的特征提取模块和所述特征融合模块进行优化训练。
2.如权利要求1所述的去雨模型轻量化方法，其特征在于，所述总损失函数为：
其中，
为所述总损失函数，/>
为所述特征提取模块的损失函数，/>
为L1损失函数，/>
为所述特征提取模块输出的图像，/>
为所述特征融合模块输出的图像。
3.如权利要求2所述的去雨模型轻量化方法，其特征在于，所述L1损失函数为：
其中，
为双三次上采样函数，/>
为所述自适应下采样加速模块输出的图像。
4.如权利要求1-3任一项所述的去雨模型轻量化方法，其特征在于，所述S4之后还包括：
将待去雨图像分别输入优化训练后的自适应下采样加速模块和特征提取模块，以利用优化训练后的轻量化去雨模型对所述待去雨图像进行去雨处理。
5.一种去雨模型轻量化系统，其特征在于，包括：
自适应下采样模块，位于原始去雨模型的输入侧，并与所述原始去雨模型形成为自适应下采样加速模块；其中，所述自适应下采样模块用于：对待去雨图像进行下采样，得到下采样图像，对所述待去雨图像和所述下采样图像分别进行傅里叶编码后，将得到的两个傅里叶编码结果相乘；对得到的相乘结果进行逆傅里叶编码后，将得到的逆傅里叶编码结果变形为卷积核；利用所述卷积核对所述下采样图像进行处理后输入所述原始去雨模型；
特征提取模块，计算量与所述自适应下采样加速模块的计算量相匹配；其中，相匹配是指特征提取模块的计算量与自适应下采样加速模块的计算量接近；
特征融合模块，用于对所述自适应下采样加速模块的输出和所述特征提取模块的输出进行特征融合；
优化训练模块，用于对轻量化去雨模型进行优化训练，所述轻量化去雨模型包括所述自适应下采样加速模块、所述特征提取模块和所述特征融合模块；
所述优化训练模块，具体用于每次迭代优化训练时，在超网络中选取一条路径作为所述特征提取模块进行优化训练；利用NAS技术，搜索计算量与所述自适应下采样加速模块的计算量相匹配、且路径中BN层的缩放参数最大的路径，以作为优化训练后的特征提取模块；以及，以总损失函数收敛为目标，对所述自适应下采样加速模块、优化训练后的特征提取模块和所述特征融合模块进行优化训练。
6.一种电子设备，其特征在于，包括：
处理器；
存储器，其存储有计算机可执行程序，所述程序在被所述处理器执行时，使得所述处理器执行如权利要求1-4中任一项所述的去雨模型轻量化方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一项所述的去雨模型轻量化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310157343.8A CN115937049B (zh) | 2023-02-23 | 2023-02-23 | 去雨模型轻量化方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310157343.8A CN115937049B (zh) | 2023-02-23 | 2023-02-23 | 去雨模型轻量化方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115937049A CN115937049A (zh) | 2023-04-07 |
| CN115937049B true CN115937049B (zh) | 2023-05-26 |
Family
ID=85833977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310157343.8A Active CN115937049B (zh) | 2023-02-23 | 2023-02-23 | 去雨模型轻量化方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937049B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110544217B (zh) * | 2019-08-30 | 2021-07-20 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置、电子设备和存储介质 |
| CN111179187B (zh) * | 2019-12-09 | 2022-09-27 | 南京理工大学 | 基于循环生成对抗网络的单幅图像去雨方法 |
| CN112241939B (zh) * | 2020-10-15 | 2023-05-30 | 天津大学 | 一种基于多尺度和非局部的轻量去雨方法 |
| CN113673590B (zh) * | 2021-08-13 | 2022-12-23 | 广东工业大学 | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 |
-
2023
- 2023-02-23 CN CN202310157343.8A patent/CN115937049B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115937049A (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109101975B (zh) | 基于全卷积神经网络的图像语义分割方法 | |
| CN109191382B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109241972B (zh) | 基于深度学习的图像语义分割方法 | |
| CN111079532B (zh) | 一种基于文本自编码器的视频内容描述方法 | |
| CN108596841B (zh) | 一种并行实现图像超分辨率及去模糊的方法 | |
| CN110276354B (zh) | 一种高分辨率街景图片语义分割训练与实时分割方法 | |
| CN111062395B (zh) | 一种实时的视频语义分割方法 | |
| WO2022183730A1 (zh) | 图像分割方法、装置、电子设备及计算机可读存储介质 | |
| CN112561028A (zh) | 训练神经网络模型的方法、数据处理的方法及装置 | |
| CN113870422A (zh) | 一种基于金字塔Transformer的点云重建方法、装置、设备及介质 | |
| CN113538235A (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
| CN114332094A (zh) | 基于轻量级多尺度信息融合网络的语义分割方法及装置 | |
| CN113538402B (zh) | 一种基于密度估计的人群计数方法及系统 | |
| CN113705575B (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
| CN115937049B (zh) | 去雨模型轻量化方法、系统、设备及介质 | |
| CN113256496A (zh) | 一种轻量级渐进式特征融合的图像超分辨率系统及方法 | |
| CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN115082306A (zh) | 一种基于蓝图可分离残差网络的图像超分辨率方法 | |
| CN113344827B (zh) | 一种图像去噪方法、图像去噪网络运算单元及设备 | |
| CN115578561A (zh) | 一种基于多尺度上下文聚合网络的实时语义分割方法及装置 | |
| CN112991169B (zh) | 基于图像金字塔和生成对抗网络的图像压缩方法及系统 | |
| CN114781499A (zh) | 一种构建基于ViT模型的密集预测任务适配器的方法 | |
| Yu et al. | A review of single image super-resolution reconstruction based on deep learning | |
| CN114140363B (zh) | 视频去模糊方法及装置、视频去模糊模型训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |