CN115439336A - 一种用于图像去噪处理的方法、电子设备、装置及计算系统 - Google Patents
一种用于图像去噪处理的方法、电子设备、装置及计算系统 Download PDFInfo
- Publication number
- CN115439336A CN115439336A CN202110625862.3A CN202110625862A CN115439336A CN 115439336 A CN115439336 A CN 115439336A CN 202110625862 A CN202110625862 A CN 202110625862A CN 115439336 A CN115439336 A CN 115439336A
- Authority
- CN
- China
- Prior art keywords
- network
- denoising
- image
- sub
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims abstract description 110
- 238000005070 sampling Methods 0.000 claims description 72
- 230000006870 function Effects 0.000 claims description 29
- 238000013507 mapping Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 14
- 238000007667 floating Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 17
- 238000010276 construction Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种用于图像去噪处理的方法、电子设备、装置及计算系统，该方法包括：将待执行去噪处理的第一图像输入到所述图像去噪神经网络；利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。这样，通过神经网络结构搜索自动搜索到的非盲去噪子网络，建立的一种轻量化的图像去噪神经网络，能够占用较少的计算资源，得到较优的去噪效果，该网络更容易部署在移动终端上实现图像去噪。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种用于图像去噪处理的方法、电子设备、装置及计算系统。
背景技术
当前，移动终端的拍照功能越来越完善，拍照性能越来越接近单反相机，这主要是由于在移动终端系统内内置的图像信号处理器(Image Signal Processor，ISP)发挥了重要作用。
传统的ISP成像处理流程由多个级联的图像处理模块分阶段逐步完成，它们分别是：图像去马赛克、图像降噪、白平衡与颜色空间变换、色彩增强、色调映射。这些级联的步骤能够将原始RAW图像映射到sRGB(standard Red Green Blue)通用色彩标准，帮助人们获得了更加符合人眼视觉特性的彩色图像。
当前，基于深度学习的图像去噪方法取得了较传统图像去噪方法更加优异的性能。然而，这些网络模型由于受限于性能要求，其计算量通常都非常大，难以直接部署在手机、平板等移动终端直接使用。因此，设计一种轻量型、高效型的网络结构，用于ISP的图像去噪中是一项急需攻克的难题。
发明内容
为解决上述技术问题，本申请实施例期望提供一种用于图像去噪处理的方法、电子设备、装置及计算系统。
本申请的技术方案是这样实现的：
第一方面，提供了一种用于图像去噪处理的方法，所述方法包括：
构建图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络，所述非盲去噪子网络为UNET网络；
将待执行去噪处理的第一图像输入到所述图像去噪神经网络；利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
第二方面，提供了一种电子设备，包括：
图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络，所述非盲去噪子网络为UNET网络；以及
处理器，用于利用所述图像去噪神经网络对待执行去噪处理的第一图像进行处理，所述处理包括：
利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
第三方面，提供了一种用于图像去噪处理的装置，包括：
构建模块，用于构建图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络；
输入模块，用于将待执行去噪处理的第一图像输入到所述图像去噪神经网络；
处理模块，用于利用所述图像去噪神经网络对所述第一图像进行处理，所述处理包括：
利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
第四方面，提供了一种计算系统，所述计算系统包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行前述方法的步骤。
第五方面，还提供了一种计算机存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现前述方法的步骤。
本申请实施例中提供了一种用于图像去噪处理的方法、电子设备、装置及计算系统，该方法包括：将待执行去噪处理的第一图像输入到所述图像去噪神经网络；利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。这样，通过神经网络结构搜索自动搜索到的非盲去噪子网络，建立的一种轻量化的图像去噪神经网络，能够占用较少的计算资源，得到较优的去噪效果，该网络更容易部署在移动终端上实现图像去噪。
附图说明
图1为本申请实施例中用于图像去噪处理的方法的流程示意图；
图2为本申请实施例中图像去噪神经网络的第一组成结构示意图；
图3为本申请实施例中UNET网络的组成结构示意图；
图4为本申请实施例中非盲去噪子网络构建方法的流程示意图；
图5为本申请实施例中NAS搜索流程示意图；
图6为本申请实施例中第一搜索空间的组成结构示意图；
图7为本申请实施例中第二搜索空间的组成结构示意图；
图8为本申请实施例中一种非盲去噪子网络的组成结构示意图；
图9为本申请实施例中图像去噪神经网络构建方法的流程示意图；
图10为本申请实施例中电子设备的组成结构示意图；
图11为本申请实施例中用于图像去噪处理的装置的组成结构示意图；
图12为本申请实施例中一种计算系统的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
图1为本申请实施例中用于图像去噪处理的方法的流程示意图，如图1所示，该方法具体可以包括：
步骤101：构建图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络，所述非盲去噪子网络为UNET网络；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
图2为本申请实施例中图像去噪神经网络的第一组成结构示意图，如图2所示，图像去噪神经网络20包括：噪声估计子网络201和非盲去噪子网络202，噪声估计子网络对输入的第一图像进行噪声估计，得到噪声信息，噪声信息和第一图像进行合并输入到非盲去噪子网络202进行去噪处理，输出去噪后的第二图像。
在一些实施例中，噪声估计子网络采用全卷积网络，用于估计实际应用场景中的噪声，非盲去噪子网络采用预先设计的UNET网络结构，基于神经网络结构搜索自动搜索UNET网络。
图3为本申请实施例中UNET网络的组成结构示意图，如图3所示，UNET网络分为两部分：UNET子网络左边为编码器(Encoder)，右边为解码器(Decoder)，编码器包含下采样(Down Sampling)模块，解码器包含上采样(Up Sampling)模块，每层下采样模块和上采样模块之间跳跃连接，RAW图像经过编码器通过卷积层(比如Conv+BN+LReLU)和下采样层(比如Conv with stride＝2/BN/LreLU)来降低图像尺寸，提取一些浅显的特征。下采样得到的特征图经过卷积层(比如Conv+BN+LReLU)进行恒等映射(Identity mapping)，之后经过解码器通过反卷积层(比如Transpose_Conv+BN+LReLU)和上采样层(包含上采样算子)来获取一些深层次的特征，每层下采样模块和上采样模块中间通过跳跃连接的方式，将编码阶段获得的特征图同解码阶段获得的特征图结合在一起，结合深层次和浅层次的特征，细化图像。
需要说明的是，图3中UNET网络经过三次下采样和三次上采样，实际应用中下采样和上采样次数可以根据图像去噪处理需求灵活设定，本申请实施例不做具体限定。
在一些实施例中，所述构建图像去噪神经网络包括：基于神经网络结构搜索自动搜索非盲去噪子网络；构建所述噪声估计子网络；利用构建完成的所述噪声估计子网络和所述非盲去噪子网络，构建所述图像去噪神经网络；获取训练数据集；利用所述训练数据集对所述图像去噪神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的所述图像去噪神经网络。
也就是说，先分别构建噪声估计子网络和非盲去噪子网络，两个子网络级联得到图像去噪神经网络，再对图像去噪神经网络训练，得到最终可用于图像去噪处理的网络模型，以达到实际场景中图像去噪的目的。
在一些实施例中，图像去噪神经网络的损失函数可以为：argmin(LE+L2)；
其中，LE为噪声相关的损失，L2为基于二范数的图像质量损失。
需要说明的是，上述只是给出了一种图像去噪神经网络的损失函数，实际应用中还可以选择其他类型的损失函数，比如包含L1范数损失项的损失函数。
步骤102：将待执行去噪处理的第一图像输入到所述图像去噪神经网络；利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
步骤103：利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
本申请实施例提供的用于图像去噪处理的方法可以应用于ISP，ISP配置在具备拍摄功能的电子设备，综合考虑了噪声评估、网络结构优化、能耗降低等多个目标，以占用尽量少的计算资源对ISP图像进行去噪，图像去噪神经网络降低了在ISP图像去噪过程中人工的干预，且能够适用于不同类型噪声的图像去噪任务。
在上述实施例的基础上，对非盲去噪子网络构建进行进一步的举例说明。图4为本申请实施例中非盲去噪子网络构建方法的流程示意图，如图4所示，该方法具体包括：
步骤401：基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；
神经网络结构搜索(Neural Architecture Search，NAS)的核心思想是使用搜索算法来发现用于解决特定问题所需要的神经网络结构。在一些实施例中，基于NAS搜索第一下采样模块和第一上采样模块，由于UNET网络中可能包含相同结构的多个下采样模块和上采样模块，因此只需要利用NAS搜索到最小化单元，便可构建非盲去噪子网络。
图5为本申请实施例中NAS搜索流程示意图，如图5所示，NAS主要由搜索空间、搜索策略、性能评估策略三部分组成。NAS的原理是给定一个搜索空间的候选神经网络结构集合，用某种搜索策略从中搜索出网络结构。对搜索到的网络结构进行性能评估，比如精度、速度等来度量性能，确定得到节点的参数以及节点之间最佳算子，得到性能最优的网络结构。实际应用中，搜索策略可以选择以下之一：随机搜索、贝叶斯优化、进化算法、强化学习、基于梯度的算法。
具体地，所述基于神经网络结构搜索自动搜索到第一下采样模块和第一上采样模块，包括：
预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
也就是说，在搜索下采样模块和上采样模块时，需要预先定义不同的搜索空间，包括网络节点数量和算子种类。示例性的，针对第一下采样模块，第一搜索空间包括可以选择3个或以上的网络节点、多个下采样算子和多个第一恒等映射算子。针对第一上采样模块，第一搜索空间包括可以选择3个或以上网络节点、多个上采样算子和多个第二恒等映射算子。
这里，下采样算子为卷积算子(比如Conv+BN+LReLU算子)，上采样算子为反卷积算子(比如Transpose_Conv+BN+LReLU算子)。第一恒等映射算子和第二恒等映射算子的选择可以完全相同或不同。示例性的，恒等映射算子可以为conv+BN+LReLU算子，映射前后特征图尺寸不变。
在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量<r1、时延<r2以及浮点运算量<r3；
其中，所述参数数量是指所述非盲去噪子网络的所有网络参数的数量，所述时延是指所述非盲去噪子网络在推理过程中所产生的时延，所述浮点运算量是所述非盲去噪子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
这里，NAS在搜索第一下采样模块和第一上采样模块时，为了使得最终所得到的网络模型更加轻量化，本申请在损失函数中引入了一些硬件相关的约束，即约束了约束有限的网络参数、算子延时和/或浮点运算量，使得搜索出的网络模型更加轻量化，也同时兼顾了精度和效率，从而使得网络模型更容易部署到手机等移动设备上，能有效降低移动设备的计算能耗。
示例性的，损失函数为argmin(L1+Lcd)，其中，L1为范数损失项，Lcd为颜色色度差异损失项。
需要说明的是，这里只是给出了一种非盲去噪子网络的损失函数，实际应用中还可以选择其他类型的损失函数，以及其他硬件约束条件。
图6为本申请实施例中第一搜索空间的组成结构示意图，如图6所示，NAS搜索的最小单位是一个网络节点(cell)，用圆圈表示，默认网络节点有两个输入和一个输出，具体的物理意义是特征图。箭头表示节点之间的算子(比如conv，pooling，zero等)，第一搜索空间包括三种下采样算子和三种第一恒等映射算子，相同线形不同灰度的箭头表示同种类型下的不同算子，NAS可以搜索到两个网络节点之间的最佳算子，当搜索完所有节点之间的最佳算子之后，得到下采样模型。
图7为本申请实施例中第二搜索空间的组成结构示意图，如图7所示，，NAS搜索的最小单位是一个网络节点(cell)，用圆圈表示，默认网络节点有两个输入和一个输出，具体的物理意义是特征图。箭头表示节点之间的算子(比如conv，pooling，zero等)，第二搜索空间包括三种上采样算子和三种第一恒等映射算子，相同线形不同灰度的箭头表示同种类型下的不同算子，NAS可以搜索到两个网络节点之间的最佳算子，当搜索完所有节点之间的最佳算子之后，得到上采样模型。
步骤402：利用至少一个所述第一下采样模块构建所述非盲去噪子网络的编码器，利用至少一个所述第一上采样模块构建所述非盲去噪子网络的解码器，得到所述非盲去噪子网络。
需要说明的是，由于UNET网络中可能包含相同结构的多个下采样模块和上采样模块，因此只需要利用NAS搜索到最小化单元，便可构建非盲去噪子网络。
图8为本申请实施例中一种非盲去噪子网络的组成结构示意图，如图8所示，利用NAS搜索到的第一下采样模块和第一上采样模块替换图3中的下采样模块和上采样模块，便得到本申请的非盲去噪子网络。
所述非盲去噪子网络中每层网络中的第一下采样模块和第一上采样模块设置跳跃连接(skip connection)模块，将编码阶段获得的特征图同解码阶段获得的特征图结合在一起，结合深层次和浅层次的特征，细化图像。
在另一些实施例中，所述非盲去噪子网络中每层网络中的第一下采样模块和第一上采样模块设置压缩和激励(Squeeze and Excitation，SE)模块。这里，SE模块对通道间的依赖关系进行建模，给不同通道赋不同的权重，学习每个通道的重要程度，增强有用的特征抑制无用的特征。使用SE模块代替跳跃连接模块，只会增加很小的计算消耗，但却可以极大地提升网络性能，能够使网络易于部署在手机等移动终端。
在上述实施例的基础上，该方法还包括构建图像去噪神经网络。图9为本申请实施例中图像去噪神经网络构建方法的流程示意图，如图9所示，该方法包括：
步骤901：基于神经网络结构搜索自动搜索非盲去噪子网络，以及构建噪声估计子网络；
噪声估计子网络是上述实施例中基于神经网络结构搜索自动搜索到的，这里不再赘述。
这里，噪声估计子网络可以采用全卷积网络，用于估计实际应用场景中的噪声。示例性的，基于滤波算法的平均噪声估计网络模型。
步骤902：利用构建完成的噪声估计子网络和非盲去噪子网络，构建图像去噪神经网络；
步骤903：获取训练数据集；
步骤904：利用训练数据集对图像去噪神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的图像去噪神经网络。
也就是说，先分别构建噪声估计子网络和非盲去噪子网络，两个子网络级联得到图像去噪神经网络，再对图像去噪神经网络训练，得到最终可用于图像去噪处理的网络模型，以达到实际场景中图像去噪的目的。
在一些实施例中，所述图像去噪神经网络的损失函数为：argmin(LE+L2)；
其中，LE为噪声相关的损失，L2为基于二范数的图像质量损失。
该图像去噪神经网络，结合了NAS充分利用这些前沿人工智能方法的优势，为ISP图像去噪提供了一种新的图像去噪神经网络，扩展了NAS的应用范围，该图像去噪神经网络能够适用于不同图像噪声，具有很强的泛化能力。
本申请实施例还提供了一种电子设备，如图10所示，所述电子设备100包括：图像去噪神经网络1001，所述图像去噪神经网络1001包括噪声估计子网络10011和非盲去噪子网络10012，所述非盲去噪子网络10012为UNET网络；以及
处理器1002，用于利用所述图像去噪神经网络1001对待执行去噪处理的第一图像进行处理，所述处理包括：
利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
在一些实施例中，所述非盲去噪子网络10012的编码器包括至少一个第一下采样模块，所述非盲去噪子网络10012的解码器包括至少一个第一上采样模块，所述第一下采样模块和所述第一上采样模块是基于神经网络结构搜索自动搜索到的。
在一些实施例中，所述非盲去噪子网络10012中每层的第一下采样模块和第一上采样模块通过跳跃连接模块连接或者挤压和激励SE模块连接。
在一些实施例中，所述基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块包括：
预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
也就是说，在搜索下采样模块和上采样模块时，需要预先定义不同的搜索空间，包括网络节点数量和算子种类。示例性的，针对第一下采样模块，第一搜索空间包括可以选择3个或以上的网络节点、下采样算子和恒等映射算子。针对第一上采样模块，第一搜索空间包括可以选择3个或以上的网络节点、上采样算子和恒等映射算子。
定义完成各自的搜索空间，再用某种搜索策略从中搜索出网络结构。对搜索到的网络结构进行性能评估，比如精度、速度等来度量性能，确定得到节点的参数以及节点之间最佳算子，得到性能最优的网络结构。
在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量<r1、时延<r2以及浮点运算量<r3；
其中，所述参数数量是指所述非盲去噪子网络的所有网络参数的数量，所述时延是指所述非盲去噪子网络在推理过程中所产生的时延，所述浮点运算量是所述非盲去噪子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
示例性的，损失函数为argmin(L1+Lcd)，其中，L1为范数损失项，Lcd为颜色色度差异损失项。
在一些实施例中，所述处理器1002包括以下的至少一者：中央处理器(CentralProcessing Unit，CPU)；图形处理器(Graphics Processing Unit，GPU)；数字信号处理器(Digital Signal Processor，DSP)；图像信号处理器(Image Signal Processor，ISP)；以及神经网络处理器(Neural-network Processing Unit，NPU)。
需要说明的是，本申请实施例上述图像去噪神经网络还可以部署在任意一种硬件计算单元上来实现。
本申请实施例还提供了一种图像去噪处理装置，如图11所示，所述装置110包括：
构建模块1101，用于构建图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络；
输入模块1102，用于将待执行去噪处理的第一图像输入到所述图像去噪神经网络；
处理模块1103，用于利用所述图像去噪神经网络对所述第一图像进行处理，所述处理包括：
利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
在一些实施例中，构建模块1101进一步用于，基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；利用至少一个所述第一下采样模块构建所述非盲去噪子网络的编码器，利用至少一个所述第一上采样模块构建所述非盲去噪子网络的解码器，得到所述非盲去噪子网络。
在一些实施例中，构建模块1101进一步用于，预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
在一些实施例中，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量<r1、时延<r2以及浮点运算量<r3；
其中，所述参数数量是指所述非盲去噪子网络的所有网络参数的数量，所述时延是指所述非盲去噪子网络在推理过程中所产生的时延，所述浮点运算量是所述非盲去噪子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
示例性的，损失函数为argmin(L1+Lcd)，其中，L1为范数损失项，Lcd为颜色色度差异损失项。
在一些实施例中，所述非盲去噪子网络中每层的第一下采样模块和第一上采样模块通过跳跃连接模块连接或者挤压和激励SE模块连接。
在一些实施例中，构建模块1101进一步用于，构建所述噪声估计子网络；利用构建完成的所述噪声估计子网络和所述非盲去噪子网络，构建所述图像去噪神经网络；获取训练数据集；利用所述训练数据集对所述图像去噪神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的图像去噪神经网络。
示例性的，所述损失函数为：argmin(LE+L2)；
其中，LE为噪声相关的损失，L2为基于二范数的图像质量损失。
上述图像去噪处理装置可以为ISP。ISP配置在具有图像去噪处理需求的电子设备，以占用尽量少的计算资源对ISP图像进行去噪，图像去噪神经网络降低了在ISP图像去噪过程中人工的干预，且能够适用于不同类型噪声的图像去噪任务。
本申请实施例中还提供了一种计算系统，如图12所示，该计算系统120包括：处理器1201和配置为存储能够在处理器1201上运行的计算机程序的存储器1202，
其中，处理器1201配置为运行计算机程序时，执行前述实施例中的方法步骤。
所述处理器1201包括以下的至少一者：中央处理器CPU；图形处理器GPU；数字信号处理器DSP；图像信号处理器ISP；以及神经网络处理器NPU。
当然，实际应用时，如图12所示，该计算系统中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
上述存储器可以是易失性存储器(volatile memory)，例如随机存取存储器(RAM，Random-Access Memory)；或者非易失性存储器(non-volatile memory)，例如只读存储器(ROM，Read-Only Memory)，快闪存储器(flash memory)，硬盘(HDD，Hard Disk Drive)或固态硬盘(SSD，Solid-State Drive)；或者上述种类的存储器的组合，并向处理器提供指令和数据。
本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable MediaPlayer，PMP)、可穿戴设备、智能手环、相机等。
在示例性实施例中，本申请实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器，计算机程序可由电子设备的处理器执行，以完成前述方法的步骤。
应当理解，在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如，诸如数值、功能、操作或组件等元素)，但不排除附加特征的存在。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，不必用于描述特定的顺序或先后次序。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (14)
1.一种用于图像去噪处理的方法，其特征在于，所述方法包括：
构建图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络，所述非盲去噪子网络为UNET网络；
将待执行去噪处理的第一图像输入到所述图像去噪神经网络；利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
2.根据权利要求1所述的方法，其特征在于，所述构建图像去噪神经网络包括：
基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块；
利用至少一个所述第一下采样模块构建所述非盲去噪子网络的编码器，利用至少一个所述第一上采样模块构建所述非盲去噪子网络的解码器，得到所述非盲去噪子网络。
3.根据权利要求2所述的方法，其特征在于，所述基于神经网络结构搜索自动搜索第一下采样模块和第一上采样模块包括：
预先定义基于所述神经网络结构搜索自动搜索第一下采样模块时对应的第一搜索空间，以及基于所述神经网络结构搜索自动搜索第一上采样模块时对应的第二搜索空间；
在所述第一搜索空间进行网络搜索得到所述第一下采样模块；
在所述第二搜索空间进行网络搜索得到所述第一上采样模块；
其中，所述第一搜索空间包括：M个网络节点、下采样算子和第一恒等映射算子；所述第二搜索空间包括：N个网络节点、上采样算子和第二恒等映射算子；M和N均取大于或者等于2的整数。
4.根据权利要求3所述的方法，其特征在于，用于基于所述神经网络结构搜索自动搜索所述第一下采样模块和所述第一上采样模块的目标函数包括：损失函数和约束条件；
所述约束条件包括：参数数量<r1、时延<r2以及浮点运算量<r3；
其中，所述参数数量是指所述非盲去噪子网络的所有网络参数的数量，所述时延是指所述非盲去噪子网络在推理过程中所产生的时延，所述浮点运算量是所述非盲去噪子网络的所有浮点运算量，r1为所述参数数量的最大容忍值，r2为所述时延的最大容忍值，r3为所述浮点运算量的最大容忍值。
5.根据权利要求2所述的方法，其特征在于，所述非盲去噪子网络中每层的第一下采样模块和第一上采样模块通过跳跃连接模块连接或者挤压和激励模块连接。
6.根据权利要求2所述的方法，其特征在于，所述构建图像去噪神经网络还包括：
构建所述噪声估计子网络；
利用构建完成的所述噪声估计子网络和所述非盲去噪子网络，构建所述图像去噪神经网络；
获取训练数据集；
利用所述训练数据集对所述图像去噪神经网络进行训练，直到损失函数满足收敛条件，得到训练完成的所述图像去噪神经网络。
7.根据权利要求6所述的方法，其特征在于，所述损失函数为：argmin(LE+L2)；
其中，LE为噪声相关的损失，L2为基于二范数的图像质量损失。
8.一种电子设备，其特征在于，所述电子设备包括：
图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络，所述非盲去噪子网络为UNET网络；以及
处理器，用于利用所述图像去噪神经网络对待执行去噪处理的第一图像进行处理，所述处理包括：
利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
9.根据权利要求8所述的电子设备，其特征在于，所述非盲去噪子网络的编码器包括至少一个第一下采样模块，所述非盲去噪子网络的解码器包括至少一个第一上采样模块，所述第一下采样模块和所述第一上采样模块是基于神经网络结构搜索自动搜索到的。
10.根据权利要求9所述的电子设备，其特征在于，所述非盲去噪子网络中每层的第一下采样模块和第一上采样模块通过跳跃连接模块连接或者挤压和激励SE模块连接。
11.根据权利要求8所述的电子设备，其特征在于，所述处理器包括以下的至少一者：中央处理器CPU；图形处理器GPU；数字信号处理器DSP；图像信号处理器ISP；以及神经网络处理器NPU。
12.一种用于图像去噪处理的装置，其特征在于，所述装置包括：
构建模块，用于构建图像去噪神经网络，所述图像去噪神经网络包括噪声估计子网络和非盲去噪子网络；
输入模块，用于将待执行去噪处理的第一图像输入到所述图像去噪神经网络；
处理模块，用于利用所述图像去噪神经网络对所述第一图像进行处理，所述处理包括：
利用所述噪声估计子网络对所述第一图像进行噪声估计，得到噪声信息；
利用所述非盲去噪子网络根据所述噪声信息对所述第一图像进行去噪处理，输出去噪后的第二图像；
其中，所述非盲去噪子网络是基于神经网络结构搜索自动搜索到的。
13.一种计算系统，其特征在于，所述计算系统包括：处理器和配置为存储能够在处理器上运行的计算机程序的存储器，
其中，所述处理器配置为运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625862.3A CN115439336A (zh) | 2021-06-04 | 2021-06-04 | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110625862.3A CN115439336A (zh) | 2021-06-04 | 2021-06-04 | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115439336A true CN115439336A (zh) | 2022-12-06 |
Family
ID=84271765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110625862.3A Pending CN115439336A (zh) | 2021-06-04 | 2021-06-04 | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115439336A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433674A (zh) * | 2023-06-15 | 2023-07-14 | 锋睿领创(珠海)科技有限公司 | 半导体硅晶圆检测方法、装置、计算机设备及介质 |
| CN117173037A (zh) * | 2023-08-03 | 2023-12-05 | 江南大学 | 一种针对图像降噪的神经网络结构自动搜索方法 |
-
2021
- 2021-06-04 CN CN202110625862.3A patent/CN115439336A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433674A (zh) * | 2023-06-15 | 2023-07-14 | 锋睿领创(珠海)科技有限公司 | 半导体硅晶圆检测方法、装置、计算机设备及介质 |
| CN116433674B (zh) * | 2023-06-15 | 2023-08-18 | 锋睿领创(珠海)科技有限公司 | 半导体硅晶圆检测方法、装置、计算机设备及介质 |
| CN117173037A (zh) * | 2023-08-03 | 2023-12-05 | 江南大学 | 一种针对图像降噪的神经网络结构自动搜索方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021018163A1 (zh) | 神经网络的搜索方法及装置 | |
| WO2022116856A1 (zh) | 一种模型结构、模型训练方法、图像增强方法及设备 | |
| JP2022518322A (ja) | ソフトクロスエントロピー損失を用いたセマンティックセグメンテーション | |
| CN115439336A (zh) | 一种用于图像去噪处理的方法、电子设备、装置及计算系统 | |
| CN113284054A (zh) | 图像增强方法以及图像增强装置 | |
| US20230177646A1 (en) | Image processing method and apparatus | |
| CN114049259A (zh) | 一种用于图像处理的方法、芯片、装置及电子设备 | |
| CN111008924B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN114049258A (zh) | 一种用于图像处理的方法、芯片、装置及电子设备 | |
| CN116958534A (zh) | 一种图像处理方法、图像处理模型的训练方法和相关装置 | |
| CN111667063B (zh) | 基于fpga的数据处理方法及装置 | |
| CN115512198A (zh) | 一种用于图像处理的方法、电子设备、装置及计算系统 | |
| CN115512196A (zh) | 一种用于图像处理的方法、电子设备、装置及计算系统 | |
| Huang et al. | Edge device-based real-time implementation of CycleGAN for the colorization of infrared video | |
| WO2021258964A1 (zh) | 神经网络结构搜索的方法、装置与系统 | |
| CN113724151B (zh) | 一种图像增强方法、电子设备和计算机可读存储介质 | |
| CN112529064B (zh) | 一种高效的实时语义分割方法 | |
| CN115471417A (zh) | 图像降噪处理方法、装置、设备、存储介质和程序产品 | |
| CN115512197A (zh) | 一种用于图像处理的方法、电子设备、装置及计算系统 | |
| WO2021120036A1 (zh) | 数据处理装置和数据处理方法 | |
| CN113919479B (zh) | 一种提取数据特征的方法和相关装置 | |
| CN115760658A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| KR20230013989A (ko) | 이미지 처리 장치, 이의 동작 방법 및, 이를 포함하는 이미지 처리 시스템 | |
| CN115714920A (zh) | 一种用于图像处理的方法、芯片、装置及电子设备 | |
| CN111353587B (zh) | 一种深度神经网络的可解释生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |