CN117173037A - 一种针对图像降噪的神经网络结构自动搜索方法 - Google Patents
一种针对图像降噪的神经网络结构自动搜索方法 Download PDFInfo
- Publication number
- CN117173037A CN117173037A CN202310967877.7A CN202310967877A CN117173037A CN 117173037 A CN117173037 A CN 117173037A CN 202310967877 A CN202310967877 A CN 202310967877A CN 117173037 A CN117173037 A CN 117173037A
- Authority
- CN
- China
- Prior art keywords
- block
- network structure
- noise reduction
- module
- conv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 230000009467 reduction Effects 0.000 title claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 230000035772 mutation Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000010187 selection method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 abstract description 12
- 208000002051 Neonatal Abstinence Syndrome Diseases 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 108090000623 proteins and genes Proteins 0.000 description 7
- 238000010845 search algorithm Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 206010040736 Sinoatrial block Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- ZFMRLFXUPVQYAU-UHFFFAOYSA-N sodium 5-[[4-[4-[(7-amino-1-hydroxy-3-sulfonaphthalen-2-yl)diazenyl]phenyl]phenyl]diazenyl]-2-hydroxybenzoic acid Chemical compound C1=CC(=CC=C1C2=CC=C(C=C2)N=NC3=C(C=C4C=CC(=CC4=C3O)N)S(=O)(=O)O)N=NC5=CC(=C(C=C5)O)C(=O)O.[Na+] ZFMRLFXUPVQYAU-UHFFFAOYSA-N 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种针对图像降噪的神经网络结构自动搜索方法，属于图像降噪技术领域。首先通过设计一种基于U‑Net的变长对称编码策略，结合空间注意力以及通道注意力机制，可以构建出包含高性能降噪网络结构的搜索空间。然后设计一种基于短轮次训练的回归映射补偿方法，通过引入网络结构的参数量，全轮次训练下的网络降噪性能以及短轮次作为先验知识，可以有效减少搜索过程中需要的搜索时间和搜索资源需求，同时提升短轮次训练策略的可靠性。最后，通过设计一种基于参数权重动态分配的进化算法，有效提升种群中个体的降噪性能，帮助搜索到性能更好的网络结构，实现更加高效的搜索。通过实验证明该方法搜索出的网络结构拥有良好的降噪性能。
Description
技术领域
本发明涉及一种针对图像降噪的神经网络结构自动搜索方法，属于图像降噪技术领域。
背景技术
近年来，深度学习的发展十分迅速，基于神经网络的应用已经在人们生活中发挥着十分重要的作用。其中，针对计算机视觉领域，基于卷积神经网络的研究在多种图像任务中有着重要的应用，例如图像分类、目标检测、图像分割、图像重建，以及图像多模态。因此，基于CNN的计算机视觉的研究受到了极大的关注。经过科研人员的不断研究和提升，CNN网络从最初的简单层叠网络VGG开始逐渐发展，陆续出现ResNet、DenseNet、U-Net、MobileNet、ResNeXt等更加复杂且高性能的网络结构。CNN的应用场景也随之逐渐广泛。
但是目前CNN在计算机视觉领域取得的研究成果和应用价值主要来源于手工设计的CNN网络结构。手工设计的网络在结构上往往更加精巧，对应的网络性能也更加优异。但手工设计要求研究人员具备丰富的专业领域知识以及设计经验，需要不停地迭代试验来验证和优化网络结构，这极大地限制了CNN的推广和发展。同时，手工设计的网络结构泛化性不足，面对不同数据集以及不同应用场景，研究人员需要重新设计和调整网络结构，这使得手工设计的网络结构需要消耗极大的成本。因此，针对上述存在的问题，近年来针对网络结构的自动搜索算法(NAS)的研究陆续被提出。
NAS算法主要通过一套自动搜索的流程来设计网络结构，通过一种自动化的方式设计网络结构，可以有效降低手工设计网络的成本。同时，NAS算法不再要求设计者具备大量专业领域知识，极大地降低了设计CNN网络的门槛，有助于进一步推动CNN的发展。NAS算法针对不同数据集以及不同场景可以自动搜索出不同的网络结构，网络具备良好的泛化性。同时，NAS算法搜索到的网络结构性能已经逐渐超越手工设计的网络结构，具备潜力极大的商业价值以及广阔的应用前景。NAS算法也成为了近几年计算机视觉的研究热点。
但是由于需要涉及密集的网络训练，NAS算法需要消耗大量的搜索时间以及计算资源，这十分不利于NAS算法的发展。除此之外，NAS算法的研究主要集中在图像分类以及目标检测等高级视觉任务，在其他计算机视觉领域的研究尚未有有效的应用，例如图像降噪、图像去模糊等低级视觉任务。NAS算法的应用场景仍有待拓宽。因此，优化NAS算法，减少搜索时间以及计算资源等成本，拓展NAS算法在其他计算机视觉领域的应用是十分重要的，这有助于继续推动NAS算法的发展，扩大应用价值。
发明内容
为了提升神经网络结构自动搜索方法在图像降噪任务上的效果，本发明提供了一种针对图像降噪的神经网络结构自动搜索方法，所述技术方案如下：
本发明的第一个目的在于提供一种针对图像降噪的神经网络结构自动搜索方法，包括：
步骤1：针对图像降噪任务，确定神经网络结构的主体框架，随机生成N个网络结构作为种群P，种群中每个个体代表一个具体的CNN网络结构；
所述CNN网络结构的主体框架包括encoder_num个编码器和encoder_num个解码器，每个编码器和解码器包括一个RA Block模块，所述RA Block模块包含conv_num个卷积层和一个注意力机制AM模块，所述AM模块包含通道注意力机制CA和空间注意力机制SA；
所述编码器的个数encoder_num、RA Block模块中卷积层的数量conv_num、卷积层中的卷积核大小kernel_size、AM模块的类型am_type，以及多尺度级别数量multiscale都随机生成；
步骤2：使用短轮次训练的回归映射补偿方法来计算种群中每个网络结构的峰值信噪比PSNR作为个体的适应度；
步骤3：利用锦标赛选择法从种群P中挑选t个最优个体作为父代个体；
步骤4：根据父代个体中的参数组成来更新原参数集中的各类参数的权重；
步骤5：父代个体经过变异操作生成t个子代个体；
步骤6：重复所述步骤3至步骤5的种群进化过程，直到到达最大进化代数，选取适应度最高的个体作为搜索到的用于图像降噪的最佳网络结构。
可选的，所述CNN网络结构的构建过程包括：编码器和解码器的构建；
所述编码器包括：下采样卷积块DownCONV和所述RA Block模块，构建过程包括：
先构建所述下采样卷积块DownCONV，所述下采样卷积块DownCONV由于需要用于特征图的下采样和通道数的2倍扩充的功能，设置为一个不需要参数搜索的固定网络模块；
然后构建所述RA Block模块，所述RA Blcok模块包含RES模块和AM模块；对于RES模块，随机选择参数conv_num的值来确定RES模块中包含的CONV块的数量，然后针对每个CONV块，随机选择参数kernel_size的值来确定卷积操作的卷积核尺寸；针对AM模块，随机选择参数am_type的值来确定RES模块中注意力机制的类型，所述注意力机制的类型包括：注意力机制CA和空间注意力机制SA；
所述解码器包括：上采样卷积块UpCONV和所述RA Block模块，构建过程包括：
先构建所述上采样卷积块UpCONV，所述上采样卷积块UpCONV用于特征图尺寸的2倍上采样和通道数的2倍减少，因此将所述上采样卷积块UpCONV设置为一个固定的网络块；
然后再构建所述RA Block模块，所述解码器中的RA Block模块的构建方式与所述编码器中的RA Block的构建方式相同。
可选的，随机选择参数multiscale的值来确定添加的多尺度的级别，将输入图像下采样multiscale次，从第二层编码器开始匹配，从而使得从上一级编码器流入的特征图尺寸和下采样原图的特征图保持一致；
每个层的输入都添加一个FC网络块来提取特征图，在对应层级的解码器中输出该层级的特征图，同样添加FC网络块；输出的特征图再通过叠加下采样图像的直连特征，输出对应的下采样的降噪图像。
可选的，所述步骤3包括：在锦标赛选择法中，先随机挑选出k个个体，然后按照个体适应度从高到低进行排序，再从中挑选出适应度前t个个体作为父代个体。
可选的，所述步骤4中权重的更新过程包括：
统计父代个体中的参数kernel_size、am_type以及conv_num的参数值分布，然后挑选出每种参数类型中使用频率最高的参数值，同时在原来的参数集合中增加该部分参数值的选择权重。
可选的，所述步骤5包括：
首先确定变异发生的位置，变异位置随机选择；
当变异位置确定后，从多种变异方式中随机选择一种来执行，变异方式包括：
添加CONV块：在指定位置的RA Block的RES块中随机添加一个CONV块；
删除CONV块：在指定位置的RA Block的RES块中随机删除一个CONV块；
修改CONV块：在指定位置的RA Block的RES块中随机修改一个CONV块的卷积核大小；
修改AM块：在指定位置的RA Block中随机修改AM块的类型；
修改下采样次数：修改网络结构的下采样次数。
可选的，所述步骤2使用Set12、BSD68和BSD500数据集，基于短轮次训练的回归映射补偿方法计算每个网络结构的PSNR作为个体的适应度。
可选的，所述步骤2通过修正映射来矫正网络与充足轮次训练得到的结构之间的偏差，修正映射公式如下：
其中，PSNRs表示网络结构通过短轮次训练得到的PSNR值，param为网络结构的参数量，PSNR为修正后的PSNR值，是网络结构经过充足训练轮次后得到的PSNR值的映射，e为短训练轮次，参数w1、w2、w3和b为映射权重和偏差。
本发明的第二个目的在于提供一种图像降噪方法，采用上述任一所述的方法搜索出的神经网络结构进行图像降噪。
本发明有益效果是：
本发明首先通过设计一种基于U-Net的变长对称编码策略，结合空间注意力以及通道注意力机制，可以构建出包含高性能降噪网络结构的搜索空间。然后设计一种基于短轮次训练的回归映射补偿方法，通过引入网络结构的参数量，全轮次训练下的网络降噪性能以及短轮次作为先验知识，可以有效减少搜索过程中需要的搜索时间和搜索资源需求，同时提升短轮次训练策略的可靠性。最后，通过设计一种基于参数权重动态分配的进化算法，有效提升种群中个体的降噪性能，帮助搜索到性能更好的网络结构，实现更加高效的搜索。通过实验证明采用所搜索出的综合性能优越的网络结构有良好的降噪性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中公开的针对图像降噪的神经网络结构搜索方法设计的网络整体结构与所提出的新型网络块RA Block的结构示意图。
图2是本发明一个实施例中公开的针对图像降噪的神经网络结构搜索方法的参数权重动态分配策略。
图3是本发明一个实施例中公开的添加算子和移除算子示意图。
图4是本发明一个实施例中公开的原始网络结构与没有AM模块的网络结构之间的降噪性能对比图。
图5是本发明一个实施例中公开的基于参数权重动态分配策略的进化算法与传统进化算法，随机搜索算法之间的降噪性能对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种针对图像降噪的神经网络结构自动搜索方法，包括：
步骤1：针对图像降噪任务，确定神经网络结构的主体框架，随机生成N个网络结构作为种群P，种群中每个个体代表一个具体的CNN网络结构；
CNN网络结构的主体框架包括encoder_num个编码器和encoder_num个解码器，每个编码器和解码器包括一个RA Block模块，RA Block模块包含conv_num个卷积层和一个注意力机制AM模块，AM模块包含通道注意力机制CA和空间注意力机制SA；
编码器的个数encoder_num、RA Block模块中卷积层的数量conv_num、卷积层中的卷积核大小kernel_size、AM模块的类型am_type，以及多尺度级别数量multiscale都随机生成；
步骤2：使用短轮次训练的回归映射补偿方法来计算种群中每个网络结构的峰值信噪比PSNR作为个体的适应度；
步骤3：利用锦标赛选择法从种群P中挑选t个最优个体作为父代个体；
步骤4：根据父代个体中的参数组成来更新原参数集中的各类参数的权重；
步骤5：父代个体经过变异操作生成t个子代个体；
步骤6：重复步骤3至步骤5的种群进化过程，直到到达最大进化代数，选取适应度最高的个体作为搜索到的用于图像降噪的最佳网络结构。
实施例二：
本实施例提供一种基于参数权重动态分配进化算法的神经网络结构搜索方法，以针对图像降噪任务进行神经网络结构搜索为例进行举例进行说明，所述方法包括：
步骤1：给定关于网络结构的特定参数集合对网络结构进行灵活的编码；
如图1(a)所示，编码器和解码器均由一个新型的网络模块RA Block构成。每个RABlock有两部分构成，一个是残差连接模块RES(resnet block)，另一个是注意力机制模块AM(attention module)。RES模块用于提取特征信息，AM模块用于选择有效特征信息。
RA Block的拓扑如图1(b)所示。RES模块包含若干个CONV块，每个CONV块接收来自前一个CONV块的输出作为输入，同时将前一个CONV块的直连输出叠加到当前CONV的输出作为当前块的最终输出。一个RES模块中的CONV块数量设为参数conv_num。每个CONV块由一个BN操作，卷积操作和ReLU激活函数的序列构成。每个CONV块只用于提取特征信息，不改变特征图的尺寸以及通道数。特征提取的能力来自每个CONV块中的卷积操作，不同的卷积核可以提供不同的感受野，从而获得图像的全局信息，这对于图像的重建至关重要。每个CONV块中的卷积核大小记为参数kernel_size。BN操作可以矫正特征图的数据分布，使得每一层的数据分布相似，可以有效降低网络优化的难度。ReLU激活函数则用于增加网络的非线性能力。RES模块输出的特征图将送入AM模块中。AM模块为注意力机制模块，包含空间注意力机制SA(spatial attention)以及通道注意力机制CA(channel attention)。注意力机制的本质是为特征信息分配权重，定位有用的信息，抑制无用信息，起到有效特征筛选的作用，使得网络更加关注有效特征，有助于提升网络的特征表达能力。SA块主要用于关注不用空间位置的信息，对于图像降噪而言，图像中的不同位置包含的信息存在关联，使用空间注意力可以有效包含这样的联系，有利于图像的重建。而CA块主要用于关注不同特征通道的信息。在编码器和解码器中，均存在不同的特征图之间的拼接，因此在多个特征图通道中筛选出包含有效特征信息的通道，可以让这部分特征流入到深层网络中。在DeNAS算法设计的网络结构中，SA块或者CA块将被随机选择作为RA Block的AM模块。该参数即为am_type。其中am_type＝0表示选择SA块，am_type＝1表示选择CA块。
对于本申请设计的RABlock包含AM模块的有效性，本申请在Set12上进行了消融实验，调查AM模块的有效性。实验结果如图4所示；从一个最终种群中随机选择10个个体进行消融实验，这些个体都包含AM模块。在Set12数据集上经过充足轮次训练后记录网络的PSNR值。然后分别保持网络其他拓扑结构不变，去除AM块中的通道注意力模块后重新经过充足轮次训练来获得网络的PSNR值。然后使用相同的处理记录去除AM块中的空间注意力模块的网络结构的PSNR值。最后再记录同时去除通道注意力模块和空间注意力模块的网络结构的PSNR值，此时网络结构中不包含任何注意力机制模块。对比三种情况。图4包含三个子图(a)、(b)、(c)，分别表示网络结构在不同噪声级别上的降噪对比结果。从图4可以看出，当网络结构去除注意力机制模块时，网络结构的降噪性能均有下降，且当去除所有注意力机制模块时，网络结构的降噪性能下降最多。这表明无论是通道注意力模块还是空间注意力模块，这些模块的加入对于提升网络结构的降噪性能均有帮助。且噪声级别越大，注意力机制的加入对于降噪性能的提升效果越明显。
步骤2：按照步骤1中的编码方式，初始化包含50个网络结构个体的种群P；
如图1(a)所示，50个网络结构每个个体的网络结构主体包括encoder_num个编码器和解码器。
对于网络结构而言，网络将带噪声的图像x作为输入送入网络。x首先经过一个FC网络块进行特征提取，FC网络块为卷积核大小3x3的卷积网络。然后特征经过若干个编码器模块(En Block)，提取出有效的特征信息。编码器模块的数量设置为参数encoder_num。每个编码器都由一个DownCONV模块和一个RA Block组成。
其中DownCONV模块是由3×3的卷积构成，且输出通道数为输入通道数的两倍，用于特征的压缩。RA Block则由参数组合随机生成，用于特征的提取和选择。每个编码器接收上一层编码器的输出作为输入。经过编码器输出的特征是经过下采样压缩的，然后经过相同数量的解码器(De Block)将特征重新进行上采样。每个解码器由一个UpConv模块和一个RA Block组成。其中UpCONV模块由一个转置卷积构成，用于特征信息的上采样。特征经过该模块后通道数减半。RA Block则同样以参数组合的方式随机生成。每个解码器接收两个特征：来自下一层解码器的深层输出特征以及相同层的编码器的浅层特征输出。解码器将两者进行拼接，保留了更多的维度和位置信息，这使得后面的网络层可自由选择浅层特征与深层特征。浅层网络更加关注纹理等局部特征信息，深层特征的感受野更大，更加关注全局的特征信息，通过两者的拼接，在得到更大尺寸的特征图的同时可以找回边缘特征信息，在降噪的同时保留原图中的边缘细节，提升降噪效果。
步骤3：使用Set12和BSD68，BSD500数据集，基于短轮次训练的回归映射补偿方法计算每个网络结构的PSNR作为个体的适应度；
为了加速进化算法的流程，本实施例提出一种基于短轮次训练的回归映射补偿方法来降低网络的训练时间，从而缩短算法的搜索时间。本实施例使用完整数据集进行网络结构的训练，通过缩短网络训练轮次，再通过修正映射来矫正网络与充足轮次训练得到的结构之间的偏差，从而解决网络泛化性不足的问题。修正映射公式如下：
其中PSNRs表示网络结构通过短轮次训练得到的PSNR值，param为网络结构的参数量，PSNR为修正后的PSNR值，是网络结构经过充足训练轮次后得到的PSNR值的映射。考虑到网络性能的差异与网络包含的参数量有关，因此在修正映射中引入参数量维度。e为短训练轮次。参数w1、w2、w3和b为映射权重和偏差。对于映射权重和偏差的获取，通过先验处理来实现。
对于本申请设计的短轮次训练的回归映射补偿方法的有效性，本申请在Set12上进行了消融实验，调查其有效性。实验结果如表1所示；设置9组独立实验，每组包含一个随机生成的初始种群，分别记录种群在引入回归映射方法时(记为T)以及去除回归映射方法时(记为F)的种群表现。实验记录进化结束后种群中的最优个体的PSNR值。表1记录了对比实验结果。
表1短轮次训练的回归映射方法对种群性能(PSNR值)的影响
从表1中可以看出，当种群加入回归映射对个体适应度进行矫正之后，搜索到的个体降噪性能更强，证明了回归映射可以提升短轮次训练结果的可靠性。同时，引入回归映射的个体的PSNR值的方差更小，有助于提升算法的稳定性。因此，基于短训练轮次的回归映射可以有效改善短训练轮次的结果，减少搜索时间的同时保证搜索结果的可靠性。
步骤4：种群进入进化，使用锦标赛选择选择父代个体变异操作生成新的网络结构个体。在锦标赛选择法中，先随机挑选出k个个体，然后按照个体适应度从高到低进行排序，再从中挑选出适应度前t个个体作为父代个体。父代个体确定后，根据父代个体中的参数类型的统计分布，来更新原来的参数集合中的权重。更新策略如下：统计父代个体中的参数kernel_size、am_type以及conv_num的参数值分布，然后挑选出每种参数类型中使用频率最高的参数值，同时在原来的参数集合中增加该部分参数值的选择权重。这意味着该部分参数值将以更高的概率在后续的变异阶段中被选中。更新策略如图3所示。
参数权重动态分配策略可以增加某一部分参数值的选择权重，而这部分参数值来源于被挑选出的适应度优秀的父代个体，可以视作父代中的优秀基因。这样的做法可以使得父代在变异生成子代过程中，变异的基因有更大的概率从这些优秀基因中去选择，生成的子代可以更多的继承父代中的优秀基因，提升种群中个体的适应度，增加搜索空间中的潜在有效解的数量。但是这样的做法存在一定的缺点，在进化过程中生成的大部分子代将来源于某一部分优秀的父代，子代之间会因为选择同样的优秀基因导致相似度增加，而其他基因被选择的概率会变得越来越小。这样会降低搜索算法的探索性，容易陷入局部最优解。因此，在本实施例将会设计一个概率p来执行参数权重动态分配策略。每当父代个体被挑选完成后，参数权重动态分配机制将有p的概率被触发来更新参数集合。具体而言，随机从0～1中生成一个值作为p的值，当p小于0.5时，触发参数权重动态分配机制。这样可以保证其他基因被选择的可能性，提升了探索性。
对于本申请设计的参数权重动态分配策略方法的有效性，本申请在Set12上进行了消融实验，调查其有效性。实验结果如图5所示；本申请将带有参数权重动态分布策略的进化算法与随机选择算法，以及普通的进化算法进行比较。首先初始化一个包含50个个体的种群，然后分别使用三种搜索算法进行搜索，搜索轮次设置为50轮，然后分别记录每一轮次的种群个体的PSNR值。实验使用Set12数据集，噪声级别设置为15。每个区域中的线段表示对应的搜搜算法在每一轮种群中所有个体的平均PSNR值表现。
从图5可以看出，在搜索的早期阶段，带有参数权重动态分布策略的进化算法能够产生降噪性能更好的个体，种群的表现要优于普通进化算法和随机选择。这对于计算资源不足的条件而言十分重要，能够更早的发现降噪能力强的网络，从而能更早地停止搜索，节省计算资源。另外，到了搜索后期阶段，普通的进化算法可以达到接近带有权重动态分布策略的进化算法的性能，但种群的总体性能仍然是本实施例的带有权重动态分布策略的进化算法更为优异。因此，本实施例的参数权重动态分布策略有效地提升了进化算法的搜索性能。
步骤5：回到步骤4，直到到达最大进化代数，选取适应度最高的个体作为搜索到的最佳网络结构。
进化过程中，种群中的后代个体都是由现有个体的变异产生，以探索更多的搜索空间，增加个体的多样性。在本申请中，变异操作只在RA Block中执行，其他网络块由于固定的功能不会包含在变异的范畴内。在变异阶段，首先需要确定变异发生的位置。在DeNAS算法中，变异位置随机选择。当变异位置确定后，从多种变异方式中随机选择一种来执行。变异方式根据模块化的编码策略分为如下几种：
1)添加CONV块：在指定位置的RA Block的RES块中随机添加一个CONV块；
2)删除CONV块：在指定位置的RA Block的RES块中随机删除一个CONV块；
3)修改CONV块：在指定位置的RA Block的RES块中随机修改一个CONV块的卷积核大小；
4)修改AM块：在指定位置的RA Block中随机修改AM块的类型；
5)修改下采样次数：修改网络结构的下采样次数；
具体而言，添加CONV块操作会在第i个RA Block的RES模块中，随机选择第j个位置的CONV块，在其后一个位置添加一个新的CONV块，新的CONV块中的卷积核随机从参数集中挑选。删除CONV块操作会在第i个RA Block的RES模块中，随机选择第j个位置的CONV块进行删除。修改CONV块操作会在第i个RA Block的RES模块中，随机选择第j个位置的CONV块，从参数集合中随机挑选卷积核大小替换原来的卷积核大小。修改AM块会在第i个RA Block中随机修改AM块的类型。修改下采样次数操作从参数集合中按照权重比例随机选择下采样次数来代替原来的下采样次数。如果新的下采样次数大于网络结构的编码器数量，重新选择参数直到不超过编码器数量为止。图3(a)和(b)分别给出了添加CONV块操作和删除CONV块操作的示例。
本实施例通过设计一种基于U-Net的变长对称编码策略，结合空间注意力以及通道注意力机制，可以构建出包含高性能降噪网络结构的搜索空间。
本实施例通过设计一种基于短轮次训练的回归映射补偿方法，通过引入网络结构的参数量，全轮次训练下的网络降噪性能以及短轮次作为先验知识，可以有效减少搜索过程中需要的搜索时间和搜索资源需求，同时提升短轮次训练策略的可靠性。
本实施例通过设计一种基于参数权重动态分配的进化算法，有效提升种群中个体的降噪性能，帮助搜索到性能更好的网络结构，实现更加高效的搜索。
为验证本申请提供的搜索方法能够搜索到降噪性能高效的神经网络结构。下面通过将本申请方法搜索到的网络结构与传统降噪算法、手工设计的网络结构、自动搜索得到的网络结构进行对比实验如下：
使用的数据集为降噪任务中常用的三个数据集来评估网络结构，第一个是从Berkeley数据集中获取的68张自然图像(BSD68)，第二个从Berkeley数据集中获取的500张自然图像(BSD500)，第三个数据集是包含12张图像的测试集(Set12)。测试集中的图像均未在训练集中出现过，对比目前主流的图像降噪方法，结果如表2和表3所示：
表2：本申请方法与其他方法在Set12，BSD68数据集上的比较结果，从PSNR值进行比较
表3：本申请方法与其他方法在BSD500数据集上的比较结果，从PSNR值和SSIM值进行比较
PSNR越高，说明降噪效果越好。SSIM表示降噪后的图像和原来不加噪声的图像的相似程度，SSIM越高，表示图像恢复水平越好。
实验结果分析如下：
1)与传统方法的比较结果
从表2可以看出，本申请方法在Set12和BSD68两个数据集上的降噪表现均优于WNNM算法、EPLL算法、BM3D算法，MLP算法以及CSF算法。在三个级别的噪声上的表现均能取得更好的性能表现。且噪声级别越高，本申请方法的降噪性能的优势就越大。与传统算法中降噪性能较好的WNNM算法相比，本申请方法在噪声级别为15、25和50的Set12数据集上的PSNR值分别高出WNNM算法0.15dB、0.15dB和0.48dB，这表明本申请方法对于噪声的处理能力要优于传统处理算法，且对于更高级别的噪声，DeNAS的降噪能力增强。算法对于噪声的泛化能力更强。
2)与手工设计的网络结构的比较结果
从表2可以看出，对比手工设计的网络结构，本申请方法在Set12和BSD两个数据集上的降噪表现要胜过TNRD和DnCNN两个降噪网络。随着噪声等级的增加，TNRD和DnCNN两个网络对应的PSNR值均有所下降，说明网络对于更多噪声的处理能力减弱。但随着噪声的增多，本申请方法的PSNR值下降的相对更少。对噪声的处理能力也就更强。对比IRCNN，本申请方法在Set12数据集上的三个噪声级别的降噪能力均要更好，同时在BSD68数据集上，本申请方法在三个噪声级别上的降噪能力也都要优于IRCNN。对比FFDNet和PSN-U，本申请方法在两个数据集上的降噪表现都要优于FFDNet。对于三个噪声级别的处理均由良好的提升。在Set12数据集上，本申请方法在低级别噪声上的降噪表现稍差于DudeNet，但随着噪声级别增加，本申请方法的降噪表现开始提升，当噪声级别为50时，本申请方法的降噪性能强于DudeNet，说明本申请方法对于噪声更多的情况，图像恢复能力更强。同时，在更为复杂的数据集BSD68上，本申请方法的PSNR值在噪声级别为25和50上均高于DudeNet，说明在应对更为复杂的噪声环境时，本申请方法的降噪能力更强，泛化性能更加优异。
3)与NAS算法的比较结果
从表3可以看出，对比NAS算法，当噪声级别为30时，DeNAS的PSNR值和SSIM值均不及HiNAS。但是当噪声增加时，DeNAS的PSNR值和SSIM值开始优于HiNAS。在噪声级别为70的情况下，DeNAS的降噪能力开始超过HiNAS，展现了优异的降噪性能。同时也说明DeNAS对于噪声环境更加复杂的情况，降噪表现更好。
综上实验分析结果，本申请方法的降噪性能对比传统算法有着较大的优势，在多种噪声级别下均优于传统算法。对于手工设计的卷积网络结构，本申请方法的降噪性能在多种噪声级别下能全面优于大部分网络结构。同时噪声级别越高，本申请方法去除噪声的能力更强，相比于其他网络结构的优势更明显。同时与网络结构自动搜索算法相比，本申请方法展现了良好的泛化能力，对于噪声更为复杂的情况，网络的降噪性能更加可靠。
上述现有方法参考文献如下：
WNNM方法可参考“Gu S,Zhang L,Zuo W,et al.Weighted nuclear normminimization with application to image denoising[C].Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,Columbus,OH,USA,2014:2862-2869.”中的介绍；
BM3D方法可参考“Dabov K,Foi A,Katkovnik V,et al.Image denoising bysparse 3-Dtransform-domain collaborative filtering[J].IEEE Transactions onImage Processing,2007,16(8):2080-2095.”中的介绍；
EPLL方法可参考“Zoran D,Weiss Y.From learning models of natural imagepatches to whole image restoration[C].Proceedings of the InternationalConference on Computer Vision:Barcelona,Spain,2011:479-486.”中的介绍；
MLP方法可参考“Burger H C,Schuler C J,Harmeling S.Image denoising:Canplain neural networks compete with BM3D[C].Proceedings of the Conference onComputer Vision and Pattern Recognition,Providence,RI,USA,2012:2392-2399.”中的介绍；
CSF方法可参考“Schmidt U,Roth S.Shrinkage fields for effective imagerestoration[C].Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,Columbus,OH,USA,2014:2774-2781.”中的介绍；
TNRD方法可参考“Chen Y,Pock T.Trainable nonlinear reaction diffusion:Aflexible framework for fast and effective image restoration[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2016,39(6):1256-1272.”中的介绍；
DnCNN方法可参考“Zhang K,Zuo W,Chen Y,et al.Beyond a gaussiandenoiser:Residual learning of deep cnn for image denoising[J].IEEEtransactions on image processing,2017,26(7):3142-3155.”中的介绍；
IRCNN方法可参考“Zhang K,Zuo W,Gu S,et al.Learning deep CNN denoiserprior for image restoration[C].Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,Honolulu,USA,2017:3929-3938.”中的介绍；
FFDNet方法可参考“Zhang K,Zuo W,Zhang L.FFDNet:Toward a fast andflexible solution for CNN-based image denoising[J].IEEE Transactions on ImageProcessing,2018,27(9):4608-4622.”中的介绍；
PSN-U方法可参考“Aljadaany R,Pal D K,Savvides M.Proximal splittingnetworks for image restoration[C].Proceedings of the International Conferenceon Image Analysis and Recognition,Waterloo,ON,Canada,2019:3-17.”中的介绍；
DudeNet方法可参考“Tian C,Xu Y,Zuo W,et al.Designing and training of adual CNN for image denoising[J].Knowledge-Based Systems,2021,226:106949.”中的介绍；
HiNAS方法可参考“Abdelhamed A,Lin S,Brown M S.A high-quality denoisingdataset for smartphone cameras[C].Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,Salt Lake City,UT,USA,2018:1692-1700.”中的介绍；
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种针对图像降噪的神经网络结构自动搜索方法，其特征在于，所述方法包括：
步骤1：针对图像降噪任务，确定神经网络结构的主体框架，随机生成N个网络结构作为种群P，种群中每个个体代表一个具体的CNN网络结构；
所述CNN网络结构的主体框架包括encoder_num个编码器和encoder_num个解码器，每个编码器和解码器包括一个RA Block模块，所述RA Block模块包含conv_num个卷积层和一个注意力机制AM模块，所述AM模块包含通道注意力机制CA和空间注意力机制SA；
所述编码器的个数encoder_num、RA Block模块中卷积层的数量conv_num、卷积层中的卷积核大小kernel_size、AM模块的类型am_type，以及多尺度级别数量multiscale都随机生成；
步骤2：使用短轮次训练的回归映射补偿方法来计算种群中每个网络结构的峰值信噪比PSNR作为个体的适应度；
步骤3：利用锦标赛选择法从种群P中挑选t个最优个体作为父代个体；
步骤4：根据父代个体中的参数组成来更新原参数集中的各类参数的权重；
步骤5：父代个体经过变异操作生成t个子代个体；
步骤6：重复所述步骤3至步骤5的种群进化过程，直到到达最大进化代数，选取适应度最高的个体作为搜索到的用于图像降噪的最佳网络结构。
2.根据权利要求1所述的针对图像降噪的神经网络结构自动搜索方法，其特征在于，所述CNN网络结构的构建过程包括：编码器和解码器的构建；
所述编码器包括：下采样卷积块DownCONV和所述RA Block模块，构建过程包括：
先构建所述下采样卷积块DownCONV，所述下采样卷积块DownCONV由于需要用于特征图的下采样和通道数的2倍扩充的功能，设置为一个不需要参数搜索的固定网络模块；
然后构建所述RA Block模块，所述RA Blcok模块包含RES模块和AM模块；对于RES模块，随机选择参数conv_num的值来确定RES模块中包含的CONV块的数量，然后针对每个CONV块，随机选择参数kernel_size的值来确定卷积操作的卷积核尺寸；针对AM模块，随机选择参数am_type的值来确定RES模块中注意力机制的类型，所述注意力机制的类型包括：注意力机制CA和空间注意力机制SA；
所述解码器包括：上采样卷积块UpCONV和所述RA Block模块，构建过程包括：
先构建所述上采样卷积块UpCONV，所述上采样卷积块UpCONV用于特征图尺寸的2倍上采样和通道数的2倍减少，因此将所述上采样卷积块UpCONV设置为一个固定的网络块；
然后再构建所述RA Block模块，所述解码器中的RA Block模块的构建方式与所述编码器中的RA Block的构建方式相同。
3.根据权利要求2所述的针对图像降噪的神经网络结构自动搜索方法，其特征在于，随机选择参数multiscale的值来确定添加的多尺度的级别，将输入图像下采样multiscale次，从第二层编码器开始匹配，从而使得从上一级编码器流入的特征图尺寸和下采样原图的特征图保持一致；
每个层的输入都添加一个FC网络块来提取特征图，在对应层级的解码器中输出该层级的特征图，同样添加FC网络块；输出的特征图再通过叠加下采样图像的直连特征，输出对应的下采样的降噪图像。
4.根据权利要求1所述的针对图像降噪的神经网络结构自动搜索方法，其特征在于，所述步骤3包括：在锦标赛选择法中，先随机挑选出k个个体，然后按照个体适应度从高到低进行排序，再从中挑选出适应度前t个个体作为父代个体。
5.根据权利要求1所述的针对图像降噪的神经网络结构自动搜索方法，其特征在于，所述步骤4中权重的更新过程包括：
统计父代个体中的参数kernel_size、am_type以及conv_num的参数值分布，然后挑选出每种参数类型中使用频率最高的参数值，同时在原来的参数集合中增加该部分参数值的选择权重。
6.根据权利要求1所述的针对图像降噪的神经网络结构自动搜索方法，其特征在于，所述步骤5包括：
首先确定变异发生的位置，变异位置随机选择；
当变异位置确定后，从多种变异方式中随机选择一种来执行，变异方式包括：
添加CONV块：在指定位置的RA Block的RES块中随机添加一个CONV块；
删除CONV块：在指定位置的RA Block的RES块中随机删除一个CONV块；
修改CONV块：在指定位置的RA Block的RES块中随机修改一个CONV块的卷积核大小；
修改AM块：在指定位置的RA Block中随机修改AM块的类型；
修改下采样次数：修改网络结构的下采样次数。
7.根据权利要求1所述的针对图像降噪的神经网络结构自动搜索方法，其特征在于，所述步骤2使用Set12、BSD68和BSD500数据集，基于短轮次训练的回归映射补偿方法计算每个网络结构的PSNR作为个体的适应度。
8.根据权利要求7所述的针对图像降噪的神经网络结构自动搜索方法，其特征在于，所述步骤2通过修正映射来矫正网络与充足轮次训练得到的结构之间的偏差，修正映射公式如下：
其中，PSNRs表示网络结构通过短轮次训练得到的PSNR值，param为网络结构的参数量，PSNR为修正后的PSNR值，是网络结构经过充足训练轮次后得到的PSNR值的映射，e为短训练轮次，参数w1、w2、w3和b为映射权重和偏差。
9.一种图像降噪方法，其特征在于，所述图像降噪方法采用权利要求1-8任一所述的方法搜索出的神经网络结构进行图像降噪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967877.7A CN117173037B (zh) | 2023-08-03 | 一种针对图像降噪的神经网络结构自动搜索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310967877.7A CN117173037B (zh) | 2023-08-03 | 一种针对图像降噪的神经网络结构自动搜索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173037A true CN117173037A (zh) | 2023-12-05 |
| CN117173037B CN117173037B (zh) | 2024-07-09 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117668701A (zh) * | 2024-01-30 | 2024-03-08 | 云南迅盛科技有限公司 | Ai人工智能机器学习系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160342623A1 (en) * | 2015-05-18 | 2016-11-24 | Yahoo! Inc. | Mobile visual search using deep variant coding |
| CN112465120A (zh) * | 2020-12-08 | 2021-03-09 | 上海悠络客电子科技股份有限公司 | 一种基于进化方法的快速注意力神经网络架构搜索方法 |
| CN114663312A (zh) * | 2022-03-24 | 2022-06-24 | 江南大学 | 一种针对图像降噪的网络自动搜索方法及图像降噪方法 |
| CN115439336A (zh) * | 2021-06-04 | 2022-12-06 | Oppo广东移动通信有限公司 | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 |
| CN116309178A (zh) * | 2023-03-28 | 2023-06-23 | 南京理工大学 | 一种基于自适应注意力机制网络的可见光图像去噪方法 |
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160342623A1 (en) * | 2015-05-18 | 2016-11-24 | Yahoo! Inc. | Mobile visual search using deep variant coding |
| CN112465120A (zh) * | 2020-12-08 | 2021-03-09 | 上海悠络客电子科技股份有限公司 | 一种基于进化方法的快速注意力神经网络架构搜索方法 |
| CN115439336A (zh) * | 2021-06-04 | 2022-12-06 | Oppo广东移动通信有限公司 | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 |
| CN114663312A (zh) * | 2022-03-24 | 2022-06-24 | 江南大学 | 一种针对图像降噪的网络自动搜索方法及图像降噪方法 |
| CN116309178A (zh) * | 2023-03-28 | 2023-06-23 | 南京理工大学 | 一种基于自适应注意力机制网络的可见光图像去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| WEI FANG ET.AL.: ""LoNAS: Low-Cost Neural Architecture Search Using a Three-Stage Evolutionary Algorithm"", 《 IEEE COMPUTATIONAL INTELLIGENCE MAGAZINE》, 13 April 2023 (2023-04-13) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117668701A (zh) * | 2024-01-30 | 2024-03-08 | 云南迅盛科技有限公司 | Ai人工智能机器学习系统及方法 |
| CN117668701B (zh) * | 2024-01-30 | 2024-04-12 | 云南迅盛科技有限公司 | Ai人工智能机器学习系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106991646B (zh) | 一种基于密集连接网络的图像超分辨率方法 | |
| CN109101975B (zh) | 基于全卷积神经网络的图像语义分割方法 | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| Singh et al. | Play and prune: Adaptive filter pruning for deep model compression | |
| CN109978142B (zh) | 神经网络模型的压缩方法和装置 | |
| CN113240580A (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| KR101183391B1 (ko) | 메트릭 임베딩에 의한 이미지 비교 | |
| CN110490203B (zh) | 图像分割方法及装置、电子设备和计算机可读存储介质 | |
| CN111612722B (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
| CN110517195B (zh) | 无监督sar图像去噪方法 | |
| CN113392711B (zh) | 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统 | |
| CN114820341A (zh) | 一种基于增强Transformer的图像盲去噪方法及系统 | |
| CN115063297A (zh) | 基于参数重构的图像超分辨率重建方法及系统 | |
| CN116740204A (zh) | 风格化图像生成模型的生成方法、装置、设备及存储介质 | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN113837959A (zh) | 图像去噪模型训练方法、图像去噪方法及系统 | |
| CN115984747A (zh) | 一种基于动态滤波器的视频显著性目标检测方法 | |
| Liu et al. | X-gans: Image reconstruction made easy for extreme cases | |
| CN117173037B (zh) | 一种针对图像降噪的神经网络结构自动搜索方法 | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| CN113988148A (zh) | 一种数据聚类的方法、系统、计算机设备和存储介质 | |
| CN110781936B (zh) | 基于纹理描述和深度学习的阈值可学习局部二进制网络的构建方法以及遥感图像分类方法 | |
| CN117173037A (zh) | 一种针对图像降噪的神经网络结构自动搜索方法 | |
| Xu et al. | Unsupervised facial image de-occlusion with optimized deep generative models | |
| CN113542780B (zh) | 一种网络直播视频的压缩伪影去除方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: No. 1800 road 214122 Jiangsu Lihu Binhu District City of Wuxi Province Applicant after: Jiangnan University Address before: No. 1-2202-8, Financial 8th Street, Wuxi Economic Development Zone, Jiangsu Province, 214000 Applicant before: Jiangnan University Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant |