CN115239591A - 图像处理方法、装置、电子设备、存储介质及程序产品 - Google Patents
图像处理方法、装置、电子设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN115239591A CN115239591A CN202210899564.8A CN202210899564A CN115239591A CN 115239591 A CN115239591 A CN 115239591A CN 202210899564 A CN202210899564 A CN 202210899564A CN 115239591 A CN115239591 A CN 115239591A
- Authority
- CN
- China
- Prior art keywords
- feature
- processing
- noise
- attention
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 495
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000005070 sampling Methods 0.000 claims abstract description 235
- 230000009467 reduction Effects 0.000 claims abstract description 183
- 230000000295 complement effect Effects 0.000 claims abstract description 164
- 230000007246 mechanism Effects 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000004590 computer program Methods 0.000 claims abstract description 14
- 230000004913 activation Effects 0.000 claims description 96
- 238000013507 mapping Methods 0.000 claims description 54
- 238000011176 pooling Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 36
- 230000015654 memory Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 16
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 11
- 230000000717 retained effect Effects 0.000 abstract description 8
- 238000001994 activation Methods 0.000 description 82
- 230000006870 function Effects 0.000 description 21
- 238000012549 training Methods 0.000 description 21
- 238000005457 optimization Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000014759 maintenance of location Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009418 renovation Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品；方法包括：获取噪声图像，并获取对应噪声图像的噪声梯度图像；对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征；对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像；对降噪特征图像以及噪声图像进行像素叠加处理，得到对应噪声图像的降噪图像。通过本申请，能够在准确降噪的同时保留纹理细节，从而优化降噪效果。
Description
技术领域
本申请涉及图像处理技术，尤其涉及一种基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为噪声图像。噪声是图像干扰的重要原因，图像在实际应用中可能存在各种各样的噪声，这些噪声可能在传输中产生，也可能在量化等处理中产生。
相关技术中对噪声图像进行降噪处理时难以保留图像的纹理细节，降噪后图像过于平滑，从而导致图像的信息量降低，对图像造成了信息损失。
发明内容
本申请实施例提供一种基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够在准确降噪的同时保留纹理细节，从而优化降噪效果。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种基于人工智能的图像处理方法，包括：
获取噪声图像，并获取对应所述噪声图像的噪声梯度图像；
对所述噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；
基于所述注意力噪声特征，对所述噪声梯度图像进行基于所述互补注意力机制的梯度残差处理，得到注意力梯度特征；
对所述注意力梯度特征以及所述注意力噪声特征进行基于所述互补注意力机制的像素转换处理，得到降噪特征图像；
对所述降噪特征图像以及所述噪声图像进行像素叠加处理，得到对应所述噪声图像的降噪图像。
本申请实施例提供一种基于人工智能的图像处理装置，包括：
获取模块，用于获取噪声图像，并获取对应所述噪声图像的噪声梯度图像；
采样模块，用于对所述噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；
残差模块，用于基于所述注意力噪声特征，对所述噪声梯度图像进行基于所述互补注意力机制的梯度残差处理，得到注意力梯度特征；
映射模块，用于对所述注意力梯度特征以及所述注意力噪声特征进行基于所述互补注意力机制的像素转换处理，得到降噪特征图像；
叠加模块，用于对所述降噪特征图像以及所述噪声图像进行像素叠加处理，得到对应所述噪声图像的降噪图像。
在一些实施例中，所述像素特征采样处理是通过第一特征网络执行的，所述第一特征网络包括第一卷积网络以及对称网络；所述采样模块，还用于：通过所述第一卷积网络对所述噪声图像进行第一卷积处理，得到对应所述噪声图像的第一初始特征；通过所述对称网络对所述第一初始特征进行基于所述互补注意力机制的采样处理，得到所述注意力噪声特征。
在一些实施例中，所述对称网络包括N个下采样网络、连接网络、以及M个上采样网络，N为大于或者等于1的整数，M与N相等；所述采样模块，还用于：通过所述N个下采样网络对所述第一初始特征进行基于所述互补注意力机制的下采样处理，得到对应所述N个下采样网络的下采样结果；通过所述连接网络对所述下采样结果进行第一特征映射处理，得到对应所述噪声图像的连接特征；通过所述M个上采样网络对所述连接特征进行基于所述互补注意力机制的上采样处理，得到所述注意力噪声特征。
在一些实施例中，当N为大于或者等于2的整数时，所述采样模块，还用于：通过所述N个下采样网络中的第n下采样网络，对所述第n下采样网络的输入进行互补注意力处理，得到对应N个下采样网络的第n下采样结果，并将所述第n下采样结果传输到第n+1下采样网络以继续进行互补注意力处理，得到第n+1下采样结果；其中，n为取值从1开始递增的整数变量，n的取值范围为1≤n<N，当n取值为1时，第n下采样网络的输入为所述第一初始特征，当n取值为2≤n<N时，第n下采样网络的输入为第n-1下采样网络输出的第n-1下采样结果，当n取值为N-1时，第n+1下采样结果是对应N个下采样网络的下采样结果。
在一些实施例中，所述采样模块，还用于：通过所述M个上采样网络中的第m上采样网络，对所述第m上采样网络的输入进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m上采样结果；将所述第m上采样网络输出的第m上采样结果传输到第m+1上采样网络以继续进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m+1上采样结果；当m的取值为M-1时，对所述第m+1上采样结果与所述第一初始特征进行特征相加处理，得到所述注意力噪声特征；其中，m为取值从1开始递增的整数变量，m的取值范围为1≤m≤M-1，当m取值为1时，所述第m采样网络的输入为所述连接特征，当m取值为2≤m<M时，所述第m上采样网络的输入为第m-1上采样网络输出的第m-1上采样结果。
在一些实施例中，所述采样模块，还用于：通过所述M个上采样网络对所述连接特征进行基于所述互补注意力机制的上采样处理，得到所述注意力噪声特征之前，当m取值为1，将第M下采样网络的输出与所述连接网络的输出进行拼接处理，并将拼接结果作为所述第m上采样网络的输入，以替代将所述连接网络的输出作为所述第m上采样网络的输入；当m取值为2≤m<M时，将第M+1-m下采样网络的输出与所述第m-1上采样网络的输出进行拼接处理，并将拼接结果作为所述第m上采样网络的输入，以替代将对应第m-1上采样网络的输出作为第m上采样网络的输入。
在一些实施例中，所述梯度残差处理是通过第二特征网络执行的，所述第二特征网络包括第二卷积网络以及残差网络；所述残差模块，还用于：通过所述第二卷积网络对所述噪声梯度图像进行第一卷积处理，得到对应所述噪声梯度图像的第二初始特征；通过所述残差网络对所述第二初始特征、所述注意力噪声特征进行基于所述互补注意力机制的残差迭代处理，得到注意力梯度迭代特征；通过所述残差网络对所述注意力梯度迭代特征以及所述第二初始特征进行特征相加处理，得到所述注意力梯度特征。
在一些实施例中，当所述残差网络包括T个迭代单元，且T为大于或者等于2的整数时，所述残差模块，还用于：通过所述T个迭代单元中的第t迭代单元，对所述第t迭代单元的输入进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t迭代结果；将所述第t迭代结果与任意一个中间噪声特征进行特征相加处理，并将得到的相加结果传输到第t+1迭代单元以继续进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t+1迭代结果；其中，t为取值从1开始递增的整数变量，t的取值范围为1≤t<T，当t取值为1时，所述第t迭代单元的输入是所述第二初始特征与第一初始特征的相加结果，所述第一初始特征是对所述噪声图像进行第一卷积处理得到的；当t取值为2≤t<T-1时，所述中间噪声特征是对所述第一初始特征进行下采样处理得到的，当t取值为T-1时，所述任意一个中间噪声特征是所述注意力噪声特征。
在一些实施例中，所述映射模块，还用于：对所述注意力梯度特征进行第一卷积处理，得到所述噪声梯度图像的噪声梯度特征；对所述注意力噪声特征以及所述噪声梯度特征进行特征合并处理，得到第一合并特征；对所述第一合并特征进行互补注意力处理，并对得到的互补注意力结果进行所述第一卷积处理，得到第一卷积特征；将所述第一卷积特征与第一初始特征进行特征相加处理，并对得到的相加结果进行第三卷积处理，得到所述降噪特征图像。
在一些实施例中，所述映射模块，还用于：对所述第一合并特征进行基于通道的划分处理，得到第一通道特征以及第二通道特征；对所述第一通道特征进行空间注意力处理，得到空间注意力特征，并对所述第一通道特征进行通道注意力处理，得到通道注意力特征；对所述空间注意力特征以及所述通道注意力特征进行第二特征映射处理，得到对应所述第一合并特征的密集特征；对所述第二通道特征进行第三特征映射处理，得到对应所述第一合并特征的稀疏特征；基于所述第一合并特征对所述密集特征以及所述稀疏特征进行第四特征映射处理，得到所述互补注意力结果。
在一些实施例中，所述映射模块，还用于：对所述第一通道特征进行所述第一卷积处理，得到第二卷积特征，对所述第二卷积特征进行第一激活处理，得到第一激活结果，对所述第一激活结果进行所述第一卷积处理，得到第三卷积特征；对所述第三卷积特征进行最大池化处理，得到第一池化结果，并对所述第三卷积特征进行平均池化处理，得到第二池化结果；对所述第一池化结果以及所述第二池化结果进行特征合并处理，得到第二合并特征；对所述第二合并特征进行所述第一卷积处理，得到第四卷积特征，对所述第四卷积特征进行第二激活处理，得到第二激活结果，并将所述第二激活结果与所述第三卷积特征进行特征相乘处理，得到所述空间注意力特征。
在一些实施例中，所述映射模块，还用于：对所述第一通道特征进行所述第一卷积处理，得到第二卷积特征，对所述第二卷积特征进行第一激活处理，得到第一激活结果，对所述第一激活结果进行所述第一卷积处理，得到第三卷积特征；对所述第三卷积特征进行平均池化处理，得到第二池化结果；对所述第二池化结果进行所述第一卷积处理，得到第五卷积特征，对所述第五卷积特征进行第一激活处理，得到第三激活结果，并对所述第三激活结果进行所述第二卷积处理，得到第六卷积特征；对所述第六卷积特征进行第二激活处理，得到第四激活结果，将所述第四激活结果与所述第三卷积特征进行特征相乘处理，得到所述通道注意力特征。
在一些实施例中，所述映射模块，还用于：对所述空间注意力特征以及所述通道注意力特征进行特征合并处理，得到第三合并特征；对所述第三合并特征进行所述第一卷积处理，得到第七卷积特征；将所述第七卷积特征与所述第一通道特征进行特征相加处理，得到所述密集特征。
在一些实施例中，所述映射模块，还用于：对所述第二通道特征进行所述第二卷积处理，得到第八卷积特征，对所述第八卷积特征进行批量归一化处理，得到归一化结果，对所述归一化结果进行所述第一激活处理，得到对应每个通道的第九卷积特征；对所述第九卷积特征进行廉价线性映射处理，并将对应所述第九卷积特征的廉价线性映射结果与所述第九卷积特征进行特征合并处理，得到所述稀疏特征。
在一些实施例中，所述映射模块，还用于：对所述密集特征以及所述稀疏特征进行特征合并处理，得到第四合并特征；将所述第四合并特征与所述第一合并特征进行特征相加处理，得到所述互补注意力结果。
在一些实施例中，图像处理方法是通过调用轻量降噪模型的预测网络实现的，所述装置还包括训练模块，所述训练模块，用于：获取噪声图像样本、对应所述噪声图像样本的标签降噪图像、对应所述标签降噪图像的梯度图像以及对应所述噪声图像样本的噪声梯度图像样本；将所述噪声图像样本以及所述噪声梯度图像样本在所述轻量降噪模型的预测网络中进行正向传播，得到对应所述噪声图像样本的预测降噪图像以及对应所述噪声梯度图像样本的样本注意力梯度特征；通过所述轻量降噪模型的梯度图生成网络对所述样本注意力梯度特征进行第二卷积处理，得到对应所述噪声图像样本的预测梯度图像；基于所述标签降噪图像以及所述预测降噪图像之间的误差，确定像素损失；获取对应所述预测降噪图像的梯度图像，并基于对应所述预测降噪图像的梯度图像与对应所述标签降噪图像的梯度图像之间的误差，确定像素梯度损失；基于对应所述标签降噪图像的梯度图像与所述预测梯度图像之间的误差，确定梯度损失；对所述像素损失、所述像素梯度损失以及所述梯度损失进行融合处理，得到综合损失，并基于所述综合损失更新所述轻量降噪模型的参数。
本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的基于人工智能的图像处理方法。
本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于被处理器执行时，实现本申请实施例提供的基于人工智能的图像处理方法。
本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的基于人工智能的图像处理方法。
本申请实施例具有以下有益效果：
通过本申请实施例对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征，通过对噪声梯度图像进行处理引入结构性保持能力，从而有助于完成降噪的同时充分保留图像原有的细节纹理信息，对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像，通过对噪声图像进行像素特征采样以及对噪声梯度图像进行梯度残差处理的双分支设计，保证整个处理流程轻量化的同时，兼顾提升针对噪声图像的去噪性能，从而后续对降噪特征图像以及噪声图像进行像素叠加处理，得到的降噪图像具有优秀的降噪效果。
附图说明
图1是本申请实施例提供的基于人工智能的图像处理系统的结构示意图；
图2是本申请实施例提供的电子设备的结构示意图；
图3A-图3C是本申请实施例提供的基于人工智能的图像处理方法的流程示意图；
图4A-图4B是应用相关技术的降噪方案得到的降噪图像；
图4C是应用本申请实施例提供的轻量降噪模型得到的降噪图像；
图5是本申请实施例提供的基于人工智能的图像处理方法的轻量降噪模型的框架结构图；
图6是本申请实施例提供的基于人工智能的图像处理方法的注意力机制的原理结构图；
图7是本申请实施例提供的基于人工智能的图像处理方法的数据流转示意图；
图8是本申请实施例提供的基于人工智能的图像处理方法的训练流程图；
图9是本申请实施例提供的基于人工智能的图像处理方法的应用流程图；
图10是本申请实施例提供的基于人工智能的图像处理方法的降噪效果图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)模型推理：是深度学习中获取模型预测结果的图像处理过程。
2)卷积神经网络，是一类包含卷积计算且具有深度结构的前馈神经网络，人工神经元可以响应周围单元，卷积神经网络包括卷积层和池化层。
3)U-网络，是U形的网络结构，包含下采样部分和上采样部分的对称时结构。
4)Adam，是一种神经网络训练迭代的优化器，它替代传统随机梯度下降过程，对随机目标函数执行一阶梯度优化的算法，能基于训练数据迭代地更新神经网络权重。
5)图像噪声，指存在于图像数据中的不必要的或多余的干扰信息，图像中各种妨碍人们对其信息接受的因素即可称为图像噪声。
6)视频转码，是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不同的网络带宽、不同的终端处理能力和不同的用户需求。转码本质上是一个先解码，再编码的过程。
7)盲去噪，一个网络被指定训练用于对一个特定级别的噪声方差进行去噪处理，这个网络将不能很好地工作于一个为止的噪声级别。通过一个网络模型来处理未知噪声水平的图像，即为盲去噪。
在相关技术中存在以下几种去噪方案：1)非AI去噪的方案，首先计算全局区域的相似图像块，然后又实施小波变换域去噪的步骤，通过相似判定确定出与参考块相近的二维图像块，并将相似图像块组合成三维群组，对三维群组进行协同滤波处理，再将处理结果聚合到原图像块的位置；2)基于神经网络进行去噪的方案，利用神经网络模拟相机ISP模块的正向和逆向过程以此来获得更为真实的合成数据并训练得到去噪网络；3)基于注意力网络进行去噪的方案，研究块级别的动态非局部相似性，可以以执行图卷积处理，每个节点具有动态和自适应的相邻节点数量，通过其连接的相邻节点自适应地调节图像重建过程。
非AI去噪的方案的缺陷在于：盲去噪性能不佳且去噪效果较差，并且由于需要在三维空间进行滤波处理，再将结果反变换融合到二维，整体处理耗时大，降噪效果不佳，泛化能力差，易出现失败结果,在实际业务场景中无法取得较好的效果。基于神经网络进行去噪的方案的缺陷在于：模型结构堆叠了许多特征提取模型，计算复杂度过高，模型推理耗时长，导致转码效率低；基于注意力网络进行去噪的方案的缺陷在于：动态图注意力机制致使模型复杂度过高，处理耗时长，图像纹理细节部分保留不全，降噪后图像过于平滑，带来画质损失。
本申请实施例提供一种基于人工智能的图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够在准确降噪的同时保留纹理细节，从而优化降噪效果。
参见图1，图1是本申请实施例提供的基于人工智能的图像处理系统的结构示意图，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
在一些实施例中，本申请实施例提供的基于人工智能的图像处理方法可以由终端与服务器协同实施，终端400接收用户上传的噪声图像(例如视频中的视频帧)，终端400将噪声图像发送至服务器200，服务器200获取对应噪声图像的噪声梯度图像，并调用轻量降噪模型对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征；对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像；对降噪特征图像以及噪声图像进行像素叠加处理，得到对应噪声图像的降噪图像，服务器200将降噪图像返回至终端400，在终端400上呈现降噪图像(经过降噪的视频帧)。
在一些实施例中，本申请实施例提供的基于人工智能的图像处理方法还可以由终端或服务器单独实施，以终端单独实施为例进行说明，终端400接收用户上传的噪声图像(例如视频中的视频帧)，终端400对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征；对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像；对降噪特征图像以及噪声图像进行像素叠加处理，得到对应噪声图像的降噪图像，在终端400上呈现降噪图像(经过降噪的视频帧)。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端、飞行器等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的基于人工智能的图像处理方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Applic ation)，即需要在操作系统中安装才能运行的程序，视频APP、直播APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
参见图2，图2是本申请实施例提供的电子设备的结构示意图，该电子设备可以是终端或服务器，在本申请实施例中，以该电子设备为终端为例进行说明。图2所示的终端400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Me mory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memor y)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的基于人工智能的图像处理装置可以采用软件方式实现，图2示出了存储在存储器450中的基于人工智能的图像处理装置455，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块4551、采样模块4552、残差模块4553、映射模块4554、叠加模块4555以及训练模块4556，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
参见图3A，图3A是本申请实施例提供的基于人工智能的图像处理方法的流程示意图，将结合图3A示出的步骤进行说明，图3A示出的步骤可以由电子设备执行。
在步骤101中，获取噪声图像，并获取对应噪声图像的噪声梯度图像。
作为示例，图像I的梯度图可以参考公式(1)-公式(4)：
Ii(x)＝I(i+1，j)-I(i-1，j) (1)；
Ij(x)＝I(i，j+1)-I(i，j-1) (2)；
gradI(x)＝(Ii(x)，Ij(x)) (3)；
GI＝||gradI(x)||2 (4)；
其中，i和j是像素x在图像I中的位置，Ii(x)是像素x的左右相邻像素的差值，Ij(x)是像素x的上下相邻像素的差值，gradI(x)是由两个差值形成的二维向量，GI是对应像素x的图像梯度。
在步骤102中，对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征。
作为示例，像素特征采样处理是通过第一特征网络执行的，第一特征网络包括第一卷积网络以及对称网络。
在一些实施例中，参见图3B，步骤102中对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征，可以通过步骤1021至步骤1022实现。
在步骤1021中，通过第一卷积网络对噪声图像进行第一卷积处理，得到对应噪声图像的第一初始特征。
作为示例，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第一初始特征是通过3*3的卷积网络(Conv 3*3)对噪声图像X进行第一卷积处理得到的卷积结果。
在步骤1022中，通过对称网络对第一初始特征进行基于互补注意力机制的采样处理，得到注意力噪声特征。
在一些实施例中，步骤1022中通过对称网络对第一初始特征进行基于互补注意力机制的采样处理，得到注意力噪声特征，可以通过以下技术方案实现：通过N个下采样网络对第一初始特征进行基于互补注意力机制的下采样处理，得到对应所述N个下采样网络的下采样结果；通过连接网络对下采样结果进行第一特征映射处理，得到对应噪声图像的连接特征，连接网络处于N个下采样网络和M个上采样网络中间，该连接网络可以是一个卷积层，也可以是多个卷积层，连接网络还可以是互补注意力网络，用于执行互补注意力处理，通过M个上采样网络对连接特征进行基于互补注意力机制的上采样处理，得到注意力噪声特征。通过U型网络结构的设计可以得到不同尺度的下采样结果，从而提升后续的去噪性能。
作为示例，对称网络包括N个下采样网络、连接网络、以及M个上采样网络，N为大于或者等于1的整数，M与N相等。连接网络与N个下采样网络以及M个上采样网络级联，即连接网络处于下采样网络以及上采样网络之间，当N和M的取值均为1时，通过1个下采样网络对第一初始特征进行基于互补注意力机制的下采样处理，得到下采样网络输出的中间噪声特征，作为下采样结果；通过连接网络对下采样结果进行第一特征映射处理，得到对应噪声图像的连接特征，第一特征映射处理可以是互补注意力处理，或者第一特征映射处理是卷积处理，通过1个上采样网络对连接特征进行基于互补注意力机制的上采样处理，得到注意力噪声特征。
在一些实施例中，当N为大于或者等于2的整数时，上述通过N个下采样网络对第一初始特征进行基于互补注意力机制的下采样处理，得到对应所述N个下采样网络的下采样结果，可以通过以下技术方案实现：通过N个下采样网络中的第n下采样网络，对第n下采样网络的输入进行互补注意力处理，得到第n下采样结果(具体而言，互补注意力处理是通过互补注意力网络实现的，对互补注意力网络的输出进行下采样处理，可以得到第n下采样结果)，并将第n下采样结果传输到第n+1下采样网络以继续进行互补注意力处理，得到第n+1下采样结果；其中，n为取值从1开始递增的整数变量，n的取值范围为1≤n<N，当n取值为1时，第n下采样网络的输入为第一初始特征，当n取值为2≤n<N时，第n下采样网络的输入为第n-1下采样网络输出的第n-1下采样结果。通过级联的下采样网络可以提取多个尺度的特征信息，从而可以提升后续的去噪性能。
作为示例，假设N为3，即有三个级联的下采样网络，通过3个级联的下采样网络中的第1下采样网络，对第1下采样网络的输入(第一初始特征)进行下采样处理，这里的下采样处理是互补注意力处理，第1下采样网络输出的第1下采样结果(第1中间噪声特征)传输到第2下采样网络以继续进行下采样处理，得到第2下采样结果(第2中间噪声特征)，将第2下采样结果传输到第3下采样网络以继续进行下采样处理，得到对应第3下采样网络的第3下采样结果(第3中间噪声特征)，第3下采样网络是与连接网络相连的下采样网络，因此将第3下采样结果作为下采样结果，每个下采样网络输出的下采样结果均是中间噪声特征，且不同下采样网络输出的中间噪声特征具有不同的尺度信息，从而可以得到多尺度特征。
在一些实施例中，上述通过M个上采样网络对连接特征进行基于互补注意力机制的上采样处理，得到注意力噪声特征，可以通过以下技术方案实现：通过M个上采样网络中的第m上采样网络，对第m上采样网络的输入进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m上采样结果(具体而言，互补注意力处理是通过互补注意力网络实现的，对互补注意力网络的输出进行上采样处理，可以得到第m上采样结果)；将第m上采样网络输出的第m上采样结果传输到第m+1上采样网络以继续进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m+1上采样结果；当m的取值为M-1时，对第m+1上采样结果与第一初始特征进行特征相加处理，得到注意力噪声特征；其中，m为取值从1开始递增的整数变量，m的取值范围为1≤m≤M-1，当m取值为1时，第m采样网络的输入为连接特征，当m取值为2≤m<M时，第m上采样网络的输入为第m-1上采样网络输出的第m-1上采样结果。通过级联的上采样网络提取多个尺度的特征信息，从而提升后续的降噪性能。
作为示例，当M也为3时，通过3个级联的上采样网络中的第1上采样网络，对第1上采样网络的输入进行上采样处理，得到对应第1上采样网络的第1上采样结果(对第1上采样网络的输入进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第1上采样结果，第二卷积处理是通过1*1的卷积网络(Conv 1*1)进行的卷积处理)，第1采样网络的输入为连接网络输出的连接特征，将对应第1上采样网络的第1上采样结果传输到第2上采样网络以继续进行上采样处理，得到对应第2上采样网络的第2上采样结果(对第1上采样结果进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第2上采样结果)，将对应第2上采样网络的第2上采样结果传输到第3上采样网络以继续进行上采样处理，得到对应第3上采样网络的第3上采样结果(对第2上采样结果进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第3上采样结果)，将第3上采样结果第一初始特征进行特征相加处理，得到注意力噪声特征，第一初始特征即为对噪声图像进行第一卷积处理得到的卷积结果，亦被作为中间噪声特征。
在一些实施例中，在通过M个上采样网络对连接特征进行基于互补注意力机制的上采样处理，得到注意力噪声特征之前，执行以下处理：当m取值为1，将第M下采样网络的输出与连接网络的输出进行拼接处理，并将拼接结果作为第m上采样网络的输入，以替代将连接网络的输出作为第m上采样网络的输入；当m取值为2≤m<M时，将第M+1-m下采样网络的输出与第m-1上采样网络的输出进行拼接处理，并将拼接结果作为第m上采样网络的输入，以替代将对应第m-1上采样网络的输出作为第m上采样网络的输入。通过跨层连接的方式可以提升信息表征能力，从而提高后续的降噪性能。
作为示例，作为对称网络可以在下采样网络、卷积网络以及上采样网络级联的结构的基础上进行改进，即可以将下采样网络与上采样网络进行跨层连接，例如，对称网络包括3个下采样网络以及3个上采样网络，将第3下采样网络的输出与第1上采样网络的输入相连，因此将第3下采样网络的输出与连接网络的输出进行拼接处理，并将拼接结果作为第1上采样网络的输入，以替代直接将连接网络输出的连接特征作为第1上采样网络的输入；将第2下采样网络的输出(第2下采样结果)与第1上采样网络的输出(第1上采样结果)进行拼接处理，并将拼接结果作为第2上采样网络的输入，以替代将对应第1上采样网络的第1上采样结果作为第2上采样网络的输入，将第1下采样网络的输出(第1下采样结果)与第2上采样网络的输出(第2上采样结果)进行拼接处理，并将拼接结果作为第3上采样网络的输入，以替代将对应第2上采样网络的第2上采样结果作为第3上采样网络的输入，经过大量实验发现将下采样网络与上采样网络进行对应连接的跨层连接结构，可以有助于输出真实度以及可信度更高的降噪图像。
在步骤103中，基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征。
作为示例，梯度残差处理是通过第二特征网络执行的，第二特征网络包括第二卷积网络以及残差网络。
在一些实施例中，步骤103中基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征，可以通过以下技术方案实现：通过第二卷积网络对噪声梯度图像进行第一卷积处理，得到对应噪声梯度图像的第二初始特征；通过残差网络对第二初始特征、注意力噪声特征进行基于互补注意力机制的残差迭代处理，得到注意力梯度迭代特征；通过残差网络对注意力梯度迭代特征以及第二初始特征进行特征相加处理，得到注意力梯度特征。通过构建梯度分支引入结构性保持能力，在完成降噪的同时充分保留图像原有细节纹理信息，解决降噪图像过于平滑画质损失的问题。
作为示例，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第二初始特征是通过3*3的卷积网络(Conv 3*3)对噪声图像X的噪声梯度图像进行第一卷积处理得到的卷积结果。当残差网络包括1个迭代单元时，将第二初始特征以及注意力噪声特征进行特征相加处理，对得到的相加结果进行互补注意力处理，对得到的互补注意力结果进行第一卷积处理，得到注意力梯度迭代特征，对注意力梯度迭代特征以及第二初始特征进行特征相加处理，得到注意力梯度特征。
在一些实施例中，当残差网络包括T个迭代单元，且T为大于或者等于2的整数时，上述通过残差网络对第二初始特征、注意力噪声特征进行基于互补注意力机制的残差迭代处理，得到注意力梯度迭代特征，可以通过以下技术方案实现：通过T个迭代单元中的第t迭代单元，对第t迭代单元的输入进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t迭代结果；将第t迭代结果与任意一个中间噪声特征进行特征相加处理，并将得到的相加结果传输到第t+1迭代单元以继续进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t+1迭代结果。通过残差处理可以提升梯度分支的特征表达能力，从而提升结构性保持能力，有助于保留有效的细节纹理信息。
作为示例，t为取值从1开始递增的整数变量，t的取值范围为1≤t<T，当t取值为1时，第t迭代单元的输入是第二初始特征与第一初始特征的相加结果，第一初始特征是对噪声图像进行第一卷积处理得到的；当t取值为2≤t<T-1时，中间噪声特征是对第一初始特征进行至少一次下采样处理得到的，当t取值为T-1时，上述任意一个中间噪声特征是注意力噪声特征，第t+1迭代结果是注意力梯度迭代特征。
作为示例，假设T为3，即有三个级联的迭代网络，通过3个级联的迭代单元中的第1迭代单元，对第1迭代单元的输入进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第1迭代结果，第1迭代单元的输入是第二初始特征和第一初始特征的相加结果，第一初始特征是对噪声图像进行第一卷积处理得到的，第1迭代单元输出的第1迭代结果与任意一个中间噪声特征的相加结果传输到第2迭代单元以继续进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第2迭代结果，将第2迭代结果与注意力噪声特征的相加结果传输到第3迭代单元以继续进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第3迭代结果，将第3迭代结果注意力梯度迭代特征。
在步骤104中，对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像。
在一些实施例中，参见图3C，步骤104中对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像，可以通过图3C中步骤1041至步骤1044实现。
在步骤1041中，对注意力梯度特征进行第一卷积处理，得到噪声梯度图像的噪声梯度特征。
作为示例，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，噪声梯度特征是通过3*3的卷积网络(Conv 3*3)对注意力梯度特征进行第一卷积处理得到的卷积结果。
在步骤1042中，对注意力噪声特征以及噪声梯度特征进行特征合并处理，得到第一合并特征。
在步骤1043中，对第一合并特征进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第一卷积特征。
在一些实施例中，步骤1043中对第一合并特征进行互补注意力处理，可以通过以下技术方案实现：对第一合并特征进行基于通道的划分处理，得到第一通道特征以及第二通道特征，第一合并特征的尺寸为H*w*c，第一通道特征的尺寸为H*w*c/2，第二通道特征的尺寸为H*w*c/2，H为特征高度、w为特征宽度，c为第一合并特征的通道数目，对第一通道特征进行空间注意力处理，得到空间注意力特征，并对第一通道特征进行通道注意力处理，得到通道注意力特征；对空间注意力特征以及通道注意力特征进行第二特征映射处理，得到对应第一合并特征的密集特征；对第二通道特征进行第三特征映射处理，得到对应第一合并特征的稀疏特征；基于第一合并特征对密集特征以及稀疏特征进行第四特征映射处理，得到互补注意力结果。本申请所涉及到的所有互补注意力处理均可以通过上述技术方案实现，只需要把第一合并特征替换为需要进行互补注意力处理的特征数据。通过互补注意力机制，同时挖掘密集和稀疏特征以构建高效的轻量级架构，解决模型过重推理耗时长，前处理转码效率低的问题。
互补注意力处理可分为密集分支(对第一通道特征进行处理)和稀疏分支(对第二通道特征进行处理)两部分，旨在挖掘密集和稀疏特征的互补性。密集分支在空间和通道方面抑制无用的特征信息，使得轻量降噪模型更加关注重点特征信息，稀疏分支使用不同的廉价线性算子来代替普通卷积算子，在第二通道特征的每个通道上执行这些运算，以生成计算复杂度低的稀疏特征，密集特征与稀疏特征之间互补，提升轻量降噪模型的表征能力，显著减少计算量。
在一些实施例中，上述对第一通道特征进行空间注意力处理，得到空间注意力特征，可以通过以下技术方案实现：对第一通道特征进行第一卷积处理，得到第二卷积特征，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第二卷积特征是通过3*3的卷积网络(Conv 3*3)对第一通道特征进行第一卷积处理得到的卷积结果，对第二卷积特征进行第一激活处理，得到第一激活结果，第一激活处理是RELU函数激活处理，对第一激活结果进行第一卷积处理，得到第三卷积特征，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第三卷积特征是通过3*3的卷积网络(Conv 3*3)对第一激活结果进行第一卷积处理得到的卷积结果；对第三卷积特征进行最大池化处理，得到第一池化结果，并对第三卷积特征进行平均池化处理，得到第二池化结果，对第一池化结果以及第二池化结果进行特征合并处理，得到第二合并特征；对第二合并特征进行第一卷积处理，得到第四卷积特征，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第四卷积特征是通过3*3的卷积网络(Conv 3*3)对第二合并特征进行第一卷积处理得到的卷积结果，对第四卷积特征进行第二激活处理(sigmoid函数的激活处理)，得到第二激活结果，将第三卷积特征输入至空间注意力分支，经过最大池化处理和平均池化处理后进行3x3卷积处理以及sigmoid函数的激活处理，得到对应第三卷积特征的空间权重(第二激活结果)，并将第二激活结果与第三卷积特征进行特征相乘处理，得到空间注意力特征。
在一些实施例中，上述对第一通道特征进行通道注意力处理，得到通道注意力特征，可以通过以下技术方案实现：对第一通道特征进行第一卷积处理，得到第二卷积特征，对第二卷积特征进行第一激活处理，得到第一激活结果，对第一激活结果进行第一卷积处理，得到第三卷积特征；对第三卷积特征进行最大池化处理，得到第一池化结果；对第二池化结果进行第一卷积处理，得到第五卷积特征，对第五卷积特征进行第一激活处理，得到第三激活结果，并对第三激活结果进行第二卷积处理，得到第六卷积特征；对第六卷积特征进行第二激活处理，得到第四激活结果，第三卷积特征输入至通道注意力分支，经过平均池化处理后进行3x3卷积处理，relu函数的激活处理，1x1卷积处理，相当于执行用于编码全局信息的压缩操作，最后执行sigmoid函数的激活处理，得到通道权重，通道权重可以完全捕获通道之间的关系，将第四激活结果与第三卷积特征进行特征相乘处理，得到通道注意力特征。
作为示例，对第一通道特征进行第一卷积处理，得到第二卷积特征，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第二卷积特征是通过3*3的卷积网络(Conv 3*3)对第一通道特征进行第一卷积处理得到的卷积结果，对第二卷积特征进行第一激活处理，得到第一激活结果，第一激活处理是RELU函数激活处理，对第一激活结果进行第一卷积处理，得到第三卷积特征，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第三卷积特征是通过3*3的卷积网络(Conv 3*3)对第一激活结果进行第一卷积处理得到的卷积结果；对第三卷积特征进行平均池化处理，得到第二池化结果；对第二池化结果进行第一卷积处理，得到第五卷积特征，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第五卷积特征是通过3*3的卷积网络(Conv 3*3)对第二池化结果进行第一卷积处理得到的卷积结果，对第五卷积特征进行第一激活处理，得到第三激活结果，第一激活处理是REL U函数激活处理，并对第三激活结果进行第二卷积处理，得到第六卷积特征；第二卷积处理是通过1*1的卷积网络(Conv 1*1)进行的卷积处理，第六卷积特征是通过1*1的卷积网络(Conv 1*1)对第三激活结果进行第二卷积处理得到的卷积结果，对第六卷积特征进行第二激活处理(sigmoid函数的激活处理)，得到第四激活结果，将第四激活结果与第三卷积特征进行特征相乘处理，得到通道注意力特征。
在一些实施例中，上述对空间注意力特征以及通道注意力特征进行第二特征映射处理，得到对应第一合并特征的密集特征，可以通过以下技术方案实现：对空间注意力特征以及通道注意力特征进行特征合并处理，得到第三合并特征；对第三合并特征进行第一卷积处理，得到第七卷积特征，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第七卷积特征是通过3*3的卷积网络(Conv 3*3)对第三合并特征进行第一卷积处理得到的卷积结果；将第七卷积特征与第一通道特征进行特征相加处理，得到密集特征，密集特征的尺寸为H*w*c/2。
在一些实施例中，上述对第二通道特征进行第三特征映射处理，得到对应第一合并特征的稀疏特征，可以通过以下技术方案实现：对第二通道特征进行第二卷积处理，得到第八卷积特征，第二卷积处理是通过1*1的卷积网络(Co nv 1*1)进行的卷积处理，第八卷积特征是通过1*1的卷积网络(Conv 1*1)对第二通道特征进行第二卷积处理得到的卷积结果，对第八卷积特征进行批量归一化处理，得到归一化结果，对归一化结果进行第一激活处理，得到第九卷积特征，第一激活处理是RELU函数激活处理；对第九卷积特征进行廉价线性映射处理，并将对应第九卷积特征的廉价线性映射结果与第九卷积特征进行特征合并处理，得到稀疏特征，稀疏特征的尺寸为H*w*c/2。廉价线性映射可以降低运算复杂度，提升处理效率。
作为示例，将第二通道特征F2输入稀疏分支进行廉价运算，具体而言，第二通道特征F2经过1x1卷积处理，批量归一化处理以及relu激活处理，得到第九卷积特征，转换过程可以参见公式(5)：
Y＝fconv(X) (5)；
其中，X是第二通道特征，Y是第九卷积特征，fconv()是包括1x1卷积处理，批量归一化处理以及relu激活处理的映射处理。
对每个第九卷积特征进行廉价线性运算，得到多个特征图，廉价线性运算中加法运算的比例大于比例阈值，廉价线性运算参见公式(6)：
其中，i和j分别表示输入输出的通道编号，例如输入通道为i通道，输出通道为j通道，yij代表第九卷积特征yi经过廉价运算Ψij计算得到的第j个特征，yi是第i个通道的第九卷积特征，Ψij是对应第i个通道的第j个廉价运算。
在一些实施例中，上述基于第一合并特征对密集特征以及稀疏特征进行第四特征映射处理，得到互补注意力结果，可以通过以下技术方案实现：对密集特征以及稀疏特征进行特征合并处理，得到第四合并特征，第四合并特征的尺寸为H*w*c；将第四合并特征与第一合并特征进行特征相加处理，得到互补注意力结果，互补注意力结果的尺寸为H*w*c。通过互补注意力机制，同时挖掘密集和稀疏特征以构建高效的轻量级架构，解决模型过重推理耗时长，前处理转码效率低的问题。
在步骤1044中，将第一卷积特征与第一初始特征进行特征相加处理，并对得到的相加结果进行第三卷积处理，得到降噪特征图像。
作为示例，第一初始特征是对噪声图像进行第一卷积处理得到的卷积结果，第一卷积处理是通过3*3的卷积网络(Conv 3*3)进行的卷积处理，第三卷积处理是通过两个3*3的卷积网络(Conv 3*3)依次进行的卷积处理，得到降噪特征图像中每个像素的颜色值。
在步骤105中，对降噪特征图像以及噪声图像进行像素叠加处理，得到对应噪声图像的降噪图像。
对降噪特征图像中以及噪声图像中相同位置像素的颜色值进行相加处理，得到每个位置像素的新颜色值，从而基于每个位置像素的新颜色值得到对应噪声图像的降噪图像。
在一些实施例中，图像处理方法是通过调用轻量降噪模型的预测网络实现的，轻量降噪模型还包括梯度图生成网络，在执行步骤102之前还需要对轻量降噪模型进行训练，训练过程具体如下：获取噪声图像样本、对应噪声图像样本的标签降噪图像、对应标签降噪图像的梯度图像以及对应所述噪声图像样本的噪声梯度图像样本；将噪声图像样本以及噪声梯度图像样本在轻量降噪模型的预测网络中进行正向传播，预测网络用于实现步骤102至步骤105的所有步骤，区别仅在于处理对象是用于训练的噪声图像样本以及噪声梯度图像样本而不是噪声图像以及噪声梯度图像，得到对应噪声图像样本的预测降噪图像以及对应噪声梯度图像样本的样本注意力梯度特征，通过轻量降噪模型的梯度图生成网络对样本注意力梯度特征进行第二卷积处理(Conv 1*1)，得到对应噪声图像样本的预测梯度图像；基于标签降噪图像以及预测降噪图像之间的误差，确定像素损失；获取对应预测降噪图像的梯度图像，并基于对应预测降噪图像的梯度图像与对应标签降噪图像的梯度图像之间的误差，确定像素梯度损失；基于对应标签降噪图像的梯度图像与预测梯度图像之间的误差，确定梯度损失；对像素损失、像素梯度损失以及梯度损失进行融合处理，得到综合损失，并基于综合损失更新轻量降噪模型的参数。
在一些实施例中，预测网络还可以用于实现步骤101至步骤105的所有步骤，在步骤101之前对轻量降噪模型进行训练，获取噪声图像样本、对应噪声图像样本的标签降噪图像、对应标签降噪图像的梯度图像，将噪声图像样本在轻量降噪模型中进行正向传播，得到对应噪声图像样本的预测降噪图像以及样本注意力梯度特征，作为正向传播结果，后续基于正向传播结果对应的综合损失进行参数更新。
作为示例，在训练阶段中，本申请实施例采用有监督的训练方式，对有噪声-无噪声图像对进行训练迭代优化，参见图7，首先准备训练数据，针对同一场景，拍摄感光度低于感光度阈值的图像作为标签降噪图像，或者多帧拍摄图像后进行加权平均处理，得到标签降噪图像，将感光度高于感光度阈值的图像作为噪声图像，并调整曝光时间等相机参数使得两张图像亮度相同，即可得到有噪声-无噪声的图像样本对。将图像切割成256x256的图像块，并进行数据增强处理(随机旋转，垂直翻转，镜像翻转等)，从而构建数据集。
优化目标一是基于像素的损失优化。该目标的原理是通过比对降噪图像和标签图像的像素差异进行优化。这种度量损失可以减少恢复图像与真实图像之间的平均像素差异，并被广泛用于提高模型拟合和去噪性能。我们使用基于L1的改进函数作为像素损失，参见公式(7)：
其中，LPixel是像素损失，IDenoised是预测降噪图像，IGT是标签降噪图像。
优化目标二是基于梯度的损失优化。基于梯度的损失优化的目标是减少输出的噪梯度图和从相应的标签图像中提取的梯度图之间的差异。在像素控件和梯度空间的监督下，轻量降噪模型在保证去噪的同时注意避免高频细节的丢失。因此，可以设计两个梯度损失项，包括：像素梯度损失以及梯度损失，其中，像素梯度损失参见公式(8)：
其中，
是像素梯度损失，GIDenoised是预测降噪图像对应的梯度图，GIGT是标签降噪图像对应的梯度图，像素梯度损失用于降低降噪图像的梯度图和标签降噪图像的梯度图的差异。
梯度损失参见公式(9)：
其中，
是梯度损失，
是轻量降噪模型输出的降噪梯度图(预测梯度图像)，GIGT是标签降噪图像对应的梯度图，梯度损失用于降低梯度分支输出的降噪梯度图和标签降噪图像对应的梯度图之间的差异，通过最小化梯度损失来重建高质量的梯度图。
随机初始化图5的轻量降噪模型作为初始的轻量降噪模型，采用Adam优化算法，利用综合损失作为优化目标，训练轻量降噪模型直至收敛，综合损失参见公式(10)：
其中，LDenoise是综合损失，
是梯度损失，
是像素梯度损失，LPixel是像素损失。
通过本申请实施例对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征，通过对噪声梯度图像进行处理引入结构性保持能力，从而有助于完成降噪的同时充分保留图像原有的细节纹理信息，对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像，通过对噪声图像进行像素特征采样以及对噪声梯度图像进行梯度残差处理的双分支设计，保证整个处理流程轻量化的同时，兼顾提升针对噪声图像的去噪性能，从而后续对降噪特征图像以及噪声图像进行像素叠加处理，得到的降噪图像具有优秀的降噪效果。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
在一些实施例中，终端接收用户上传的视频，视频的视频帧可能具有噪声，将视频帧作为噪声图像，终端将噪声图像发送至视频服务器，视频服务器获取对应噪声图像的噪声梯度图像，对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征；对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像；对降噪特征图像以及噪声图像进行像素叠加处理，得到对应噪声图像的降噪图像，视频将降噪图像返回至终端，在终端上播放经过降噪处理的视频。本申请实施例提供的图像处理方法可以单独对噪声场景过重的片源片段进行降噪，也可以为老片翻新业务做降噪前处理，为视频的标准动态范围/高动态范围的增强执行预处理，提高增强处理成功率。
本申请实施例提出了一种轻量级降噪模型，用于解决视频修复中噪声问题带来画质降低问题，比如视频超分，老片翻新等业务场景。本申请实施例对相关技术的模型结构进行了改进，通过互补注意力机制和结构性保持，既能够提升图像降噪性能，又有效提升模型推理速度。从而加速视频修复任务的转码效率，同时能够更有效的保留降噪后的图像纹理细节，提升视频画质细节。
在一些实施例中，参见图4A-4C，图4A和图4B示出了应用相关技术的降噪方案得到的降噪图像，图4C示出了应用本申请实施例提供的图像处理方法得到的降噪图像，图4C示出的降噪图像的降噪效果更佳，降噪图像的信噪比指标是36.8分贝，高于图4A和图4B示出的降噪图像，图4C示出的降噪图像保留有更多的纹理细节。本申请实施例提供一种高效轻量级的轻量降噪模型，用于实现视频图像的盲去噪任务。通过利用密集特征和稀疏特征的互补性以及梯度信息带来的结构性保持能力，提升图像降噪的性能，保留图像的纹理细节以及轮廓细节，同时保持模型的轻量级以降低计算复杂度，提升视频前处理的转码效率。
在一些实施例中，参见图5，图5示出了轻量降噪模型的框架结构。轻量降噪模型包括梯度分支以及像素分支，梯度分支的输入是噪声梯度图，梯度分支具有级联的残差结构，像素分支采用U型网络结构，这样设计的目的是让轻量降噪模型学习更多梯度特征信息，这样可以得到保留更多纹理细节的降噪图像。梯度分支引入的梯度特征信息包含有丰富的图像轮廓边缘信息，可以为轻量降噪模型带来结构性先验，从而生成降噪图像的近似梯度图；像素分支可以基于先验知识中提升特征提取能力，引导轻量降噪模型在学习的过程中避免过度平滑，并且更容易在梯度空间中提取几何特征，以保留图像的结构轮廓。
在一些实施例中，图像I的梯度图可以参考公式(11)-公式(14)：
Ii(x)＝I(i+1，j)-I(i-1，j) (11)；
Ij(x)＝I(i，j+1)-I(i，j-1) (12)；
gradI(x)＝(Ii(x)，Ij(x)) (13)；
GI＝||gradI(x)||2 (14)；
其中，i和j是像素x在图像I中的位置，Ii(x)是像素x的左右相邻像素的差值，Ij(x)是像素x的上下相邻像素的差值，gradI(x)是由两个差值形成的二维向量，GI是对应像素x的图像梯度。
基于梯度的分支采用了残差级联的结构设计，将输入的噪声梯度图变换为相应的降噪梯度图，并利用图像到图像的转换技术学习两种模式之间的映射。具体流程如下：输入的噪声梯度图先经过一个3x3的卷积网络(第一卷积处理)提取第一初始特征；第一初始特征经过3个互补注意力网络构成的残差网络，得到第一合并特征，在输入至每个互补注意力网络之前，都会引入来自像素分支的特征信息与本分支特征进行叠加，将通过残差网络得到的第一合并特征，经过1个3x3卷积网络和1个1x1卷积网络后输出降噪梯度图。
像素分支采用U型网络的结构设计，U型网络包括下采样结构以及上采样结构，可以抓取不同层次的特征，通过跨层连接可以充分利用多尺度特征信息，将输入的噪声图像X转换为对应的降噪图像。具体流程如下：输入的噪声图像先经过一个3x3卷积网络以提取初始特征；初始特征(H*w*c)经过4个下采样网络、4个上采样网络以及1个连接网络搭建的U型网络，得到多尺度第一合并特征(H*w*c)，每个下采样网络均包括1个互补注意力网络(CAM，Co mplementary Attention Model)，每个上采样网络均包括1个CAM以及1个1x1卷积网络，连接网络为CAM，按照U型网络的数据流转顺序特征维度变化如下：第一个下采样网络输出的特征维度为0.5H*0.5w*2c，第二个下采样网络输出的特征维度为0.25H*0.25w*4c，第三个下采样网络输出的特征维度为0.125H*0.125w*8c，第四个下采样网络输出的特征维度为0.0625H*0.0625w*16c，连接网络输出的特征维度为0.125H*0.125w*8c，第一个上采样网络输出的特征维度为0.25H*0.25w*4c，第二个上采样网络输出的特征维度为0.5H*0.5w*2c，第三个上采样网络输出的特征维度为H*w*c，第四个上采样网络输出的特征维度为H*w*c；将多尺度第一合并特征与梯度分支提取的梯度特征合并，经过一个互补注意力网络以及一个3x3卷积网络，得到像素第一合并特征；将像素第一合并特征叠加初始特征后，再经过两个3x3卷积网络后，得到降噪图像。
CAM用于实现互补注意力处理，运用于整个轻量降噪模型中，作为基础模块，参见图6，CAM可分为密集分支和稀疏分支两部分，旨在挖掘密集和稀疏特征的互补性。密集分支在空间和通道方面抑制无用的特征，使得轻量降噪模型更加关注重点特征信息，稀疏分支使用不同的廉价线性算子来代替普通卷积算子，在每个通道上执行这些运算，以生成计算复杂度低的稀疏特征，并挖掘稀疏特征进行互补，提升轻量降噪模型的表征能力，显著减少计算量。CAM的具体流程如下：输入特征x(特征维度是H*w*c)按通道切割成第一通道特征F1(特征维度是H*w*0.5c)和第二通道特征F2(特征维度是H*w*0.5c)两部分，分为送入密集分支和稀疏分支进行处理；第一通道特征F1送入密集模块进行空间和通道维度上的特征加权，具体而言，第一通道特征F1先后经过3x3卷积处理，RELU函数的激活处理，3x3卷积处理，得到第三卷积特征；将第三卷积特征输入至空间注意力分支，经过最大池化处理和平均池化处理后进行3x3卷积处理以及sigmoid函数的激活处理，得到对应第三卷积特征的空间权重，对初始特征与空间权重进行特征相乘，得到空间注意力特征FSA；另外将第三卷积特征输入至通道注意力分支，经过平均池化处理后进行3x3卷积处理，relu函数的激活处理，1x1卷积处理，相当于执行用于编码全局信息的压缩操作，最后执行sigmoid函数的激活处理，得到通道权重，通道权重可以完全捕获通道之间的关系，对初始特征与通道权重进行相乘处理，得到通道注意力特征FCA；将空间注意力特征FSA和通道注意力特征FCA进行特征合并处理，然后进行3x3卷积处理，最后叠加第一通道特征F1，输出密集特征Fdense(特征维度是H*w*0.5c)；将第二通道特征F2输入稀疏分支进行廉价运算，具体而言，第二通道特征F2经过1x1卷积处理，批量归一化处理以及relu激活处理，得到中间特征(第九卷积特征)，转换过程可以参见公式(15)：
Y＝fconv(X) (15)；
其中，X是第二通道特征F2，Y是中间特征，fconv()是包括1x1卷积处理，批量归一化处理以及relu激活处理的映射处理。
对每个中间特征进行廉价线性运算，得到多个特征图，线性运算参见公式(16)：
其中，i和j分别表示输入输出的通道编号，例如输入通道为i通道，输出通道为j通道，yij代表中间特征yi经过廉价运算Ψij计算得到的第j个特征，yi是第i个通道的中间特征，Ψij是对应第i个通道的第j个廉价运算。
将上述两步得到的中间特征和廉价运算特征合并，得到稀疏特征Fsparse(特征维度是H*w*0.5c)，将密集特征Fdense和稀疏特征Fsparse合并，得到整个互补注意力网络的输出特征y(特征维度是H*w*c)。
在图6所示的密集分支中，空间注意力机制和通道注意力机制可以采用并行处理，再合并特征图的方式，也可考虑采取级联串行空间注意力机制和通道注意力机制的处理方式。
本申请实施例在训练阶段中利用已有数据训练轻量降噪模型中的参数，并在应用阶段将训练好的轻量降噪模型用于给线上服务。在训练阶段中，本申请实施例采用有监督的训练方式，对有噪声-无噪声图像对进行训练迭代优化，参见图7，首先准备训练数据，针对同一场景，拍摄感光度低于感光度阈值的图像作为标签降噪图像，或者多帧拍摄图像后进行加权平均处理，得到标签降噪图像，将感光度高于感光度阈值的图像作为噪声图像，并调整曝光时间等相机参数使得两张图像亮度相同，即可得到有噪声-无噪声的图像样本对。将图像切割成256x256的图像块，并进行数据增强处理(随机旋转，垂直翻转，镜像翻转等)，从而构建数据集。
优化目标一是基于像素的损失优化。优化目标一所使用的损失函数是charbonnier损失函数，该目标的原理是通过比对降噪图像和标签降噪图像的像素差异进行优化，噪声图像输入至轻量降噪模型后，模型的像素分支输出即为降噪图像，噪声图像和标签降噪图像来自于有噪-无噪图像对数据集。这种度量损失可以减少恢复图像与真实图像之间的平均像素差异，并被广泛用于提高模型拟合和去噪性能。我们使用基于L1的改进函数作为像素损失，参见公式(7)：
其中，LPixel是像素损失，IDenoised是预测降噪图像，IGT是标签降噪图像。
优化目标二是基于梯度的损失优化。基于梯度的损失优化的目标是减少预测降噪图像对应的梯度图和相应的标签噪声图像对应的梯度图之间的差异。在像素控件和梯度空间的监督下，轻量降噪模型在保证去噪的同时注意避免高频细节的丢失。因此，可以设计两个梯度损失项，包括：像素梯度损失以及梯度损失，其中，像素梯度损失参见公式(18)：
其中，
是像素梯度损失，GIDenoised是预测降噪图像对应的梯度图，GIGT是标签降噪图像对应的梯度图，像素梯度损失用于降低预测降噪图像的梯度图和标签降噪图像的梯度图的差异。
梯度损失参见公式(19)：
其中，
是梯度损失，
是轻量降噪模型输出的预测梯度图像，GIGT是标签降噪图像对应的梯度图，梯度损失用于降低梯度分支输出的预测梯度图像和标签降噪图像对应的梯度图之间的差异，通过最小化梯度损失来重建高质量的梯度图。
随机初始化图5的轻量降噪模型作为初始的轻量降噪模型，采用Adam优化算法，利用综合损失作为优化目标，训练轻量降噪模型直至收敛，综合损失参见公式(20)：
其中，LDenoise是综合损失，
是梯度损失，
是像素梯度损失，LPixel是像素损失。
针对像素损失，本申请实施例还可以采用L1损失或者引入结构性损失来组成联合的像素损失。
在一些实施例中，参见图8，图8所示的步骤801至步骤806均是由电子设备执行，在步骤801中，采集由有噪图像以及无噪图像构成的训练数据集，在步骤802中，将图像切割成256*256图像块，并进行仿射变换等数据增强操作，在步骤803中，将每个噪声图像输入至轻量降噪模型中，进行前向传播推理，得到恢复的降噪图像，在步骤804中，利用重建的降噪图像、降噪梯度图像与对应的标签图像进行比较，计算相应的像素损失以及梯度损失，在步骤805中，执行反向传播处理，以更新得到最佳的卷积权重和偏置参数，在步骤806中，采用验证集对轻量降噪模型进行验证，保存最佳的轻量降噪模型。
在一些实施例中，在应用阶段中，参见图9，将噪声视频拆解为多个单帧的噪声图像帧，依次将噪声图像帧输入至轻量降噪模型，得到经过降噪的单帧的降噪图像，将单帧的降噪图像合成为完整的降噪视频。轻量降噪模型训练完后，即可提供线上服务，具体过程如下:
在一些实施例中，为验证本申请实施例的有效性，采用开源数据集进行实验，与相关技术进行比较，比较结果如表1以及图10所示，采用峰值信噪比(Peak Signal to NoiseRatio，PSNR)和结构相似性(Structural Similarity Index，SSIM)来衡量图像的去噪性能，采用浮点运算数量(Floating Point Operations Per Second，FLOPS)衡量模型的计算复杂度，本申请实施例提供的轻量降噪模型在更少的计算复杂度下取得了更优的降噪性能。
表1本申请实施例与现有技术的指标对比
| 去噪算法 | PSNR | SSIM | Flops |
| 相关技术模型 | 38.71 | 0.914 | 98.12G |
| 相关技术模型 | 39.52 | 0.957 | 189.3G |
| 轻量降噪模型 | 39.60 | 0.969 | 66.58G |
本申请实施例提供的轻量降噪模型得益于高效的U型结构设计以及互补注意力机制，在保证轻量级的同时兼顾提升降噪性能。本申请实施例提供的轻量降噪模型在开源数据集的PSNR指标相较于相关技术的轻量降噪模型提高0.09分贝，而计算复杂度只有相关技术的三分之一。本申请实施例通过构建基于梯度信息的分支，引入结构性保持的能力，能够在降噪的同时有效保留图像精细的纹理轮廓细节。并且本申请实施例提供的轻量降噪模型可用于盲去噪任务，泛化性能更强，更轻量，更适用于电视剧、电影等场景复杂的去噪任务中。
下面继续说明本申请实施例提供的基于人工智能的图像处理装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的基于人工智能的图像处理装置455中的软件模块可以包括：获取模块4551，用于获取对应噪声图像的噪声梯度图像；采样模块4552，用于对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；残差模块4553，用于基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征；映射模块4554，用于对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像；叠加模块4555，用于对降噪特征图像以及噪声图像进行像素叠加处理，得到对应噪声图像的降噪图像。
在一些实施例中，像素特征采样处理是通过第一特征网络执行的，第一特征网络包括第一卷积网络以及对称网络；采样模块4552，还用于：通过第一卷积网络对噪声图像进行第一卷积处理，得到对应噪声图像的第一初始特征，并将第一初始特征作为一个中间噪声特征；通过对称网络对第一初始特征进行基于互补注意力机制的采样处理，得到注意力噪声特征。
在一些实施例中，对称网络包括N个下采样网络、连接网络、以及M个上采样网络，N为大于或者等于1的整数，M与N相等；采样模块4552，还用于：通过N个下采样网络对第一初始特征进行基于互补注意力机制的下采样处理，得到对应所述N个下采样网络的下采样结果；通过连接网络对下采样结果进行第一特征映射处理，得到对应噪声图像的连接特征；通过M个上采样网络对连接特征进行基于互补注意力机制的上采样处理，得到注意力噪声特征。
在一些实施例中，当N为大于或者等于2的整数时，采样模块4552，还用于：通过N个下采样网络中的第n下采样网络，对第n下采样网络的输入进行互补注意力处理，得到第n下采样结果，并将第n下采样结果传输到第n+1下采样网络以继续进行互补注意力处理，得到第n+1下采样结果；其中，n为取值从1开始递增的整数变量，n的取值范围为1≤n<N，当n取值为1时，第n下采样网络的输入为第一初始特征，当n取值为2≤n<N时，第n下采样网络的输入为第n-1下采样网络输出的第n-1下采样结果。
在一些实施例中，采样模块4552，还用于：通过M个上采样网络中的第m上采样网络，对第m上采样网络的输入进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m上采样结果；将第m上采样网络输出的第m上采样结果传输到第m+1上采样网络以继续进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m+1上采样结果；当m的取值为M-1时，对第m+1上采样结果与第一初始特征进行特征相加处理，得到注意力噪声特征；其中，m为取值从1开始递增的整数变量，m的取值范围为1≤m≤M-1，当m取值为1时，第m采样网络的输入为连接特征，当m取值为2≤m<M时，第m上采样网络的输入为第m-1上采样网络输出的第m-1上采样结果。
在一些实施例中，采样模块4552，还用于：通过M个上采样网络对连接特征进行基于互补注意力机制的上采样处理，得到注意力噪声特征之前，当m取值为1，将第M下采样网络的输出与连接网络的输出进行拼接处理，并将拼接结果作为第m上采样网络的输入，以替代将连接网络的输出作为第m上采样网络的输入；当m取值为2≤m<M时，将第M+1-m下采样网络的输出与第m-1上采样网络的输出进行拼接处理，并将拼接结果作为第m上采样网络的输入，以替代将对应第m-1上采样网络的输出作为第m上采样网络的输入。
在一些实施例中，梯度残差处理是通过第二特征网络执行的，第二特征网络包括第二卷积网络以及残差网络；残差模块4553，还用于：通过第二卷积网络对噪声梯度图像进行第一卷积处理，得到对应噪声梯度图像的第二初始特征；通过残差网络对第二初始特征、注意力噪声特征进行基于互补注意力机制的残差迭代处理，得到注意力梯度迭代特征；通过残差网络对注意力梯度迭代特征以及第二初始特征进行特征相加处理，得到注意力梯度特征。
在一些实施例中，当残差网络包括T个迭代单元，且T为大于或者等于2的整数时，残差模块4553，还用于：通过T个迭代单元中的第t迭代单元，对第t迭代单元的输入进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t迭代结果；将第t迭代结果与任意一个中间噪声特征进行特征相加处理，并将得到的相加结果传输到第t+1迭代单元以继续进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t+1迭代结果；其中，t为取值从1开始递增的整数变量，t的取值范围为1≤t<T，当t取值为1时，第t迭代单元的输入是第二初始特征与第一初始特征的相加结果，第一初始特征是对噪声图像进行第一卷积处理得到的；当t取值为2≤t<T-1时，中间噪声特征是对第一初始特征进行下采样处理得到的，当t取值为T-1时，任意一个中间噪声特征是注意力噪声特征。
在一些实施例中，映射模块4554，还用于：对注意力梯度特征进行第一卷积处理，得到噪声梯度图像的噪声梯度特征；对注意力噪声特征以及噪声梯度特征进行特征合并处理，得到第一合并特征；对第一合并特征进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第一卷积特征；将第一卷积特征与第一初始特征进行特征相加处理，并对得到的相加结果进行第三卷积处理，得到降噪特征图像。
在一些实施例中，映射模块4554，还用于：对第一合并特征进行基于通道的划分处理，得到第一通道特征以及第二通道特征；对第一通道特征进行空间注意力处理，得到空间注意力特征，并对第一通道特征进行通道注意力处理，得到通道注意力特征；对空间注意力特征以及通道注意力特征进行第二特征映射处理，得到对应第一合并特征的密集特征；对第二通道特征进行第三特征映射处理，得到对应第一合并特征的稀疏特征；基于第一合并特征对密集特征以及稀疏特征进行第四特征映射处理，得到互补注意力结果。
在一些实施例中，映射模块4554，还用于：对第一通道特征进行第一卷积处理，得到第二卷积特征，对第二卷积特征进行第一激活处理，得到第一激活结果，对第一激活结果进行第一卷积处理，得到第三卷积特征；对第三卷积特征进行最大池化处理，得到第一池化结果，并对第三卷积特征进行平均池化处理，得到第二池化结果；对第一池化结果以及第二池化结果进行特征合并处理，得到第二合并特征；对第二合并特征进行第一卷积处理，得到第四卷积特征，对第四卷积特征进行第二激活处理，得到第二激活结果，并将第二激活结果与第三卷积特征进行特征相乘处理，得到空间注意力特征。
在一些实施例中，映射模块4554，还用于：对第一通道特征进行第一卷积处理，得到第二卷积特征，对第二卷积特征进行第一激活处理，得到第一激活结果，对第一激活结果进行第一卷积处理，得到第三卷积特征；对第三卷积特征进行平均池化处理，得到第二池化结果；对第二池化结果进行第一卷积处理，得到第五卷积特征，对第五卷积特征进行第一激活处理，得到第三激活结果，并对第三激活结果进行第二卷积处理，得到第六卷积特征；对第六卷积特征进行第二激活处理，得到第四激活结果，将第四激活结果与第三卷积特征进行特征相乘处理，得到通道注意力特征。
在一些实施例中，映射模块4554，还用于：对空间注意力特征以及通道注意力特征进行特征合并处理，得到第三合并特征；对第三合并特征进行第一卷积处理，得到第七卷积特征；将第七卷积特征与第一通道特征进行特征相加处理，得到密集特征。
在一些实施例中，映射模块4554，还用于：对第二通道特征进行第二卷积处理，得到第八卷积特征，对第八卷积特征进行批量归一化处理，得到归一化结果，对归一化结果进行第一激活处理，得到第九卷积特征；对第九卷积特征进行廉价线性映射处理，并将对应第九卷积特征的廉价线性映射结果与第九卷积特征进行特征合并处理，得到稀疏特征。
在一些实施例中，映射模块4554，还用于：对密集特征以及稀疏特征进行特征合并处理，得到第四合并特征；将第四合并特征与第一合并特征进行特征相加处理，得到互补注意力结果。
在一些实施例中，图像处理方法是通过调用轻量降噪模型的预测网络实现的，装置还包括训练模块4556，训练模块4556，用于：获取噪声图像样本、对应噪声图像样本的标签降噪图像、以及对应标签降噪图像的梯度图像；将噪声图像样本在轻量降噪模型的预测网络中进行正向传播，得到对应噪声图像样本的预测降噪图像以及对应噪声图像样本的样本注意力梯度特征；通过轻量降噪模型的梯度图生成网络对样本注意力梯度特征进行第二卷积处理，得到对应噪声图像样本的预测梯度图像；基于标签降噪图像以及预测降噪图像之间的误差，确定像素损失；获取对应预测降噪图像的梯度图像，并基于对应预测降噪图像的梯度图像与对应标签降噪图像的梯度图像之间的误差，确定像素梯度损失；基于对应标签降噪图像的梯度图像与预测梯度图像之间的误差，确定梯度损失；对像素损失、像素梯度损失以及梯度损失进行融合处理，得到综合损失，并基于综合损失更新轻量降噪模型的参数。
本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或者计算机可执行指令，该计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令，处理器执行该计算机可执行指令，使得该电子设备执行本申请实施例上述的基于人工智能的图像处理方法。
本申请实施例提供一种存储有计算机可执行指令的计算机可读存储介质，其中存储有计算机可执行指令，当计算机可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的基于人工智能的图像处理方法，例如，如图3A-3C示出的基于人工智能的图像处理方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，HyperText Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，计算机可执行指令可被部署为在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行。
综上，通过本申请实施例对噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；基于注意力噪声特征，对噪声梯度图像进行基于互补注意力机制的梯度残差处理，得到注意力梯度特征，通过对噪声梯度图像进行处理引入结构性保持能力，从而有助于完成降噪的同时充分保留图像原有的细节纹理信息，对注意力梯度特征以及注意力噪声特征进行基于互补注意力机制的像素转换处理，得到降噪特征图像，通过对噪声图像进行像素特征采样以及对噪声梯度图像进行梯度残差处理的双分支设计，保证整个处理流程轻量化的同时，兼顾提升针对噪声图像的去噪性能，从而后续对降噪特征图像以及噪声图像进行像素叠加处理，得到的降噪图像具有优秀的降噪效果。
以上，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (20)
1.一种基于人工智能的图像处理方法，其特征在于，所述方法包括：
获取噪声图像，并获取对应所述噪声图像的噪声梯度图像；
对所述噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；
基于所述注意力噪声特征，对所述噪声梯度图像进行基于所述互补注意力机制的梯度残差处理，得到注意力梯度特征；
对所述注意力梯度特征以及所述注意力噪声特征进行基于所述互补注意力机制的像素转换处理，得到降噪特征图像；
对所述降噪特征图像以及所述噪声图像进行像素叠加处理，得到对应所述噪声图像的降噪图像。
2.根据权利要求1所述的方法，其特征在于，所述像素特征采样处理是通过第一特征网络执行的，所述第一特征网络包括第一卷积网络以及对称网络；
所述对所述噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征，包括：
通过所述第一卷积网络对所述噪声图像进行第一卷积处理，得到对应所述噪声图像的第一初始特征；
通过所述对称网络对所述第一初始特征进行基于所述互补注意力机制的采样处理，得到所述注意力噪声特征。
3.根据权利要求2所述的方法，其特征在于，所述对称网络包括N个下采样网络、连接网络、以及M个上采样网络，所述连接网络与所述N个下采样网络以及所述M个上采样网络级联，N为大于或者等于1的整数，M与N相等；
所述通过所述对称网络对所述第一初始特征进行基于所述互补注意力机制的采样处理，得到所述注意力噪声特征，包括：
通过所述N个下采样网络对所述第一初始特征进行基于所述互补注意力机制的下采样处理，得到对应所述N个下采样网络的下采样结果；
通过所述连接网络对所述下采样结果进行第一特征映射处理，得到对应所述噪声图像的连接特征；
通过所述M个上采样网络对所述连接特征进行基于所述互补注意力机制的上采样处理，得到所述注意力噪声特征。
4.根据权利要求3所述的方法，其特征在于，当N为大于或者等于2的整数时，所述通过所述N个下采样网络对所述第一初始特征进行基于所述互补注意力机制的下采样处理，得到对应所述N个下采样网络的下采样结果，包括：
通过所述N个下采样网络中的第n下采样网络，对所述第n下采样网络的输入进行互补注意力处理，得到第n下采样结果，并将所述第n下采样结果传输到第n+1下采样网络以继续进行互补注意力处理，得到第n+1下采样结果；
其中，n为取值从1开始递增的整数变量，n的取值范围为1≤n<N，当n取值为1时，所述第n下采样网络的输入为所述第一初始特征，当n取值为2≤n<N时，所述第n下采样网络的输入为第n-1下采样网络输出的第n-1下采样结果，当n取值为N-1时，第n-1下采样结果是对应所述N个下采样网络的下采样结果。
5.根据权利要求3所述的方法，其特征在于，当M为大于或者等于2的整数时，所述通过所述M个上采样网络对所述连接特征进行基于所述互补注意力机制的上采样处理，得到所述注意力噪声特征，包括：
通过所述M个上采样网络中的第m上采样网络，对所述第m上采样网络的输入进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m上采样结果；
将所述第m上采样网络输出的第m上采样结果传输到第m+1上采样网络以继续进行第二卷积处理，并对得到的卷积结果进行互补注意力处理，得到第m+1上采样结果；
当m的取值为M-1时，对所述第m+1上采样结果与所述第一初始特征进行特征相加处理，得到所述注意力噪声特征；
其中，m为取值从1开始递增的整数变量，m的取值范围为1≤m≤M-1，当m取值为1时，所述第m采样网络的输入为所述连接特征，当m取值为2≤m<M时，所述第m上采样网络的输入为第m-1上采样网络输出的第m-1上采样结果。
6.根据权利要求5所述的方法，其特征在于，所述通过所述M个上采样网络对所述连接特征进行基于所述互补注意力机制的上采样处理，得到所述注意力噪声特征之前，所述方法还包括：
当m取值为1，将第M下采样网络的输出与所述连接网络的输出进行拼接处理，并将拼接结果作为所述第m上采样网络的输入，以替代将所述连接网络的输出作为所述第m上采样网络的输入；
当m取值为2≤m<M时，将第M+1-m下采样网络的输出与所述第m-1上采样网络的输出进行拼接处理，并将拼接结果作为所述第m上采样网络的输入，以替代将对应第m-1上采样网络的输出作为第m上采样网络的输入。
7.根据权利要求1所述的方法，其特征在于，所述梯度残差处理是通过第二特征网络执行的，所述第二特征网络包括第二卷积网络以及残差网络；
所述基于所述注意力噪声特征，对所述噪声梯度图像进行基于所述互补注意力机制的梯度残差处理，得到注意力梯度特征，包括：
通过所述第二卷积网络对所述噪声梯度图像进行第一卷积处理，得到对应所述噪声梯度图像的第二初始特征；
通过所述残差网络对所述第二初始特征、所述注意力噪声特征进行基于所述互补注意力机制的残差迭代处理，得到注意力梯度迭代特征；
通过所述残差网络对所述注意力梯度迭代特征以及所述第二初始特征进行特征相加处理，得到所述注意力梯度特征。
8.根据权利要求7所述的方法，其特征在于，所述残差网络包括T个迭代单元，且T为大于或者等于2的整数时，所述通过所述残差网络对所述第二初始特征、所述注意力噪声特征进行基于所述互补注意力机制的残差迭代处理，得到注意力梯度迭代特征，包括：
通过所述T个迭代单元中的第t迭代单元，对所述第t迭代单元的输入进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t迭代结果；
将所述第t迭代结果与任意一个中间噪声特征进行特征相加处理，并将得到的相加结果传输到第t+1迭代单元以继续进行互补注意力处理，并对得到的互补注意力结果进行第一卷积处理，得到第t+1迭代结果；
其中，t为取值从1开始递增的整数变量，t的取值范围为1≤t<T，当t取值为1时，所述第t迭代单元的输入是所述第二初始特征与第一初始特征的相加结果，所述第一初始特征是对所述噪声图像进行第一卷积处理得到的；当t取值为2≤t<T-1时，所述中间噪声特征是对所述第一初始特征进行至少一次下采样处理得到的，当t取值为T-1时，所述任意一个中间噪声特征是所述注意力噪声特征，所述第t+1迭代结果是所述注意力梯度迭代特征。
9.根据权利要求1所述的方法，其特征在于，所述对所述注意力梯度特征以及所述注意力噪声特征进行基于所述互补注意力机制的像素转换处理，得到降噪特征图像，包括：
对所述注意力梯度特征进行第一卷积处理，得到所述噪声梯度图像的噪声梯度特征；
对所述注意力噪声特征以及所述噪声梯度特征进行特征合并处理，得到第一合并特征；
对所述第一合并特征进行互补注意力处理，并对得到的互补注意力结果进行所述第一卷积处理，得到第一卷积特征；
将所述第一卷积特征与第一初始特征进行特征相加处理，并对得到的相加结果进行第三卷积处理，得到所述降噪特征图像，所述第一初始特征是对所述噪声图像进行所述第一卷积处理得到的。
10.根据权利要求9所述的方法，其特征在于，所述对所述第一合并特征进行互补注意力处理，包括：
对所述第一合并特征进行基于通道的划分处理，得到第一通道特征以及第二通道特征；
对所述第一通道特征进行空间注意力处理，得到空间注意力特征，并对所述第一通道特征进行通道注意力处理，得到通道注意力特征；
对所述空间注意力特征以及所述通道注意力特征进行第二特征映射处理，得到对应所述第一合并特征的密集特征；
对所述第二通道特征进行第三特征映射处理，得到对应所述第一合并特征的稀疏特征；
基于所述第一合并特征对所述密集特征以及所述稀疏特征进行第四特征映射处理，得到所述互补注意力结果。
11.根据权利要求10所述的方法，其特征在于，所述对所述第一通道特征进行空间注意力处理，得到空间注意力特征，包括：
对所述第一通道特征进行所述第一卷积处理，得到第二卷积特征，对所述第二卷积特征进行第一激活处理，得到第一激活结果，对所述第一激活结果进行所述第一卷积处理，得到第三卷积特征；
对所述第三卷积特征进行最大池化处理，得到第一池化结果，并对所述第三卷积特征进行平均池化处理，得到第二池化结果；
对所述第一池化结果以及所述第二池化结果进行特征合并处理，得到第二合并特征；
对所述第二合并特征进行所述第一卷积处理，得到第四卷积特征，对所述第四卷积特征进行第二激活处理，得到第二激活结果，并将所述第二激活结果与所述第三卷积特征进行特征相乘处理，得到所述空间注意力特征。
12.根据权利要求10所述的方法，其特征在于，所述对所述第一通道特征进行通道注意力处理，得到通道注意力特征，包括：
对所述第一通道特征进行所述第一卷积处理，得到第二卷积特征，对所述第二卷积特征进行第一激活处理，得到第一激活结果，对所述第一激活结果进行所述第一卷积处理，得到第三卷积特征；
对所述第三卷积特征进行平均池化处理，得到第二池化结果；
对所述第二池化结果进行所述第一卷积处理，得到第五卷积特征，对所述第五卷积特征进行第一激活处理，得到第三激活结果，并对所述第三激活结果进行所述第二卷积处理，得到第六卷积特征；
对所述第六卷积特征进行第二激活处理，得到第四激活结果，将所述第四激活结果与所述第三卷积特征进行特征相乘处理，得到所述通道注意力特征。
13.根据权利要求10所述的方法，其特征在于，所述对所述空间注意力特征以及所述通道注意力特征进行第二特征映射处理，得到对应所述第一合并特征的密集特征，包括：
对所述空间注意力特征以及所述通道注意力特征进行特征合并处理，得到第三合并特征；
对所述第三合并特征进行所述第一卷积处理，得到第七卷积特征；
将所述第七卷积特征与所述第一通道特征进行特征相加处理，得到所述密集特征。
14.根据权利要求10所述的方法，其特征在于，所述对所述第二通道特征进行第三特征映射处理，得到对应所述第一合并特征的稀疏特征，包括：
对所述第二通道特征进行所述第二卷积处理，得到第八卷积特征，对所述第八卷积特征进行批量归一化处理，得到归一化结果，对所述归一化结果进行所述第一激活处理，得到第九卷积特征；
对所述第九卷积特征进行廉价线性映射处理，并将对应所述第九卷积特征的廉价线性映射结果与所述第九卷积特征进行特征合并处理，得到所述稀疏特征。
15.根据权利要求10所述的方法，其特征在于，所述基于所述第一合并特征对所述密集特征以及所述稀疏特征进行第四特征映射处理，得到所述互补注意力结果，包括：
对所述密集特征以及所述稀疏特征进行特征合并处理，得到第四合并特征；
将所述第四合并特征与所述第一合并特征进行特征相加处理，得到所述互补注意力结果。
16.根据权利要求1所述的方法，其特征在于，所述图像处理方法是通过调用轻量降噪模型的预测网络实现的，所述轻量降噪模型还包括梯度图生成网络，所述方法还包括：
获取噪声图像样本、对应所述噪声图像样本的标签降噪图像、对应所述标签降噪图像的梯度图像、以及对应所述噪声图像样本的噪声梯度图像样本；
将所述噪声图像样本以及所述噪声梯度图像样本在所述轻量降噪模型的预测网络中进行正向传播，得到对应所述噪声图像样本的预测降噪图像以及对应所述噪声梯度图像样本的样本注意力梯度特征；
通过所述轻量降噪模型的梯度图生成网络对所述样本注意力梯度特征进行第二卷积处理，得到对应所述噪声图像样本的预测梯度图像；
基于所述标签降噪图像以及所述预测降噪图像之间的误差，确定像素损失；
获取对应所述预测降噪图像的梯度图像，并基于对应所述预测降噪图像的梯度图像与对应所述标签降噪图像的梯度图像之间的误差，确定像素梯度损失；
基于对应所述标签降噪图像的梯度图像与所述预测梯度图像之间的误差，确定梯度损失；
对所述像素损失、所述像素梯度损失以及所述梯度损失进行融合处理，得到综合损失，并基于所述综合损失更新所述轻量降噪模型的参数。
17.一种基于人工智能的图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取噪声图像，并获取对应所述噪声图像的噪声梯度图像；
采样模块，用于对所述噪声图像进行基于互补注意力机制的像素特征采样处理，得到注意力噪声特征；
残差模块，用于基于所述注意力噪声特征，对所述噪声梯度图像进行基于所述互补注意力机制的梯度残差处理，得到注意力梯度特征；
映射模块，用于对所述注意力梯度特征以及所述注意力噪声特征进行基于所述互补注意力机制的像素转换处理，得到降噪特征图像；
叠加模块，用于对所述降噪特征图像以及所述噪声图像进行像素叠加处理，得到对应所述噪声图像的降噪图像。
18.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现权利要求1至16任一项所述的基于人工智能的图像处理方法。
19.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令被处理器执行时实现权利要求1至16任一项所述的基于人工智能的图像处理方法。
20.一种计算机程序产品，包括计算机程序或计算机可执行指令，其特征在于，所述计算机程序或计算机可执行指令被处理器执行时实现权利要求1至16任一项所述的基于人工智能的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210899564.8A CN115239591A (zh) | 2022-07-28 | 2022-07-28 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210899564.8A CN115239591A (zh) | 2022-07-28 | 2022-07-28 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115239591A true CN115239591A (zh) | 2022-10-25 |
Family
ID=83677787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210899564.8A Pending CN115239591A (zh) | 2022-07-28 | 2022-07-28 | 图像处理方法、装置、电子设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239591A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220156884A1 (en) * | 2019-05-06 | 2022-05-19 | Sony Group Corporation | Electronic device, method and computer program |
| CN115293994A (zh) * | 2022-09-30 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN116797493A (zh) * | 2023-08-02 | 2023-09-22 | 北京中科闻歌科技股份有限公司 | 一种图像去噪处理系统 |
| CN117218263A (zh) * | 2023-09-12 | 2023-12-12 | 山东捷瑞信息技术产业研究院有限公司 | 一种基于三维引擎的纹理轻量化优化方法及系统 |
-
2022
- 2022-07-28 CN CN202210899564.8A patent/CN115239591A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220156884A1 (en) * | 2019-05-06 | 2022-05-19 | Sony Group Corporation | Electronic device, method and computer program |
| CN115293994A (zh) * | 2022-09-30 | 2022-11-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN115293994B (zh) * | 2022-09-30 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN116797493A (zh) * | 2023-08-02 | 2023-09-22 | 北京中科闻歌科技股份有限公司 | 一种图像去噪处理系统 |
| CN116797493B (zh) * | 2023-08-02 | 2024-01-26 | 北京中科闻歌科技股份有限公司 | 一种图像去噪处理系统 |
| CN117218263A (zh) * | 2023-09-12 | 2023-12-12 | 山东捷瑞信息技术产业研究院有限公司 | 一种基于三维引擎的纹理轻量化优化方法及系统 |
| CN117218263B (zh) * | 2023-09-12 | 2024-03-19 | 山东捷瑞信息技术产业研究院有限公司 | 一种基于三维引擎的纹理轻量化优化方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | Model-guided deep hyperspectral image super-resolution | |
| CN115239591A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
| US20220261965A1 (en) | Training method of image processing model, image processing method, apparatus, and device | |
| WO2021048607A1 (en) | Motion deblurring using neural network architectures | |
| CN111263161B (zh) | 视频压缩处理方法、装置、存储介质和电子设备 | |
| CN111832570A (zh) | 一种图像语义分割模型训练方法及系统 | |
| CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
| US20220414838A1 (en) | Image dehazing method and system based on cyclegan | |
| CN114868401A (zh) | 使用下采样/上采样和深度图非线性滤波对视频数据的编码方案 | |
| CN115409716B (zh) | 视频处理方法、装置、存储介质及设备 | |
| CN115731505A (zh) | 视频显著性区域检测方法、装置、电子设备及存储介质 | |
| CN116485741A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| Quan et al. | Deep Learning-Based Image and Video Inpainting: A Survey | |
| CN113256519A (zh) | 图像的恢复方法、设备、存储介质及程序产品 | |
| US20230186608A1 (en) | Method, device, and computer program product for video processing | |
| CN112950501B (zh) | 基于噪声场的图像降噪方法、装置、设备及存储介质 | |
| CN113222016B (zh) | 一种基于高层和低层特征交叉增强的变化检测方法及装置 | |
| CN116977343A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN115456891A (zh) | 一种基于u型动态网络的屏下相机图像复原方法 | |
| CN113542780B (zh) | 一种网络直播视频的压缩伪影去除方法及装置 | |
| CN116958317A (zh) | 一种结合边缘信息和外观流操作的图像修复方法及系统 | |
| Kas et al. | DLL-GAN: Degradation-level-based learnable adversarial loss for image enhancement | |
| CN113902647A (zh) | 一种基于双闭环网络的图像去模糊方法 | |
| Liu et al. | Soft-IntroVAE for Continuous Latent Space Image Super-Resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40075790 Country of ref document: HK |