CN110276726A - 一种基于多通道网络先验信息引导的图像去模糊方法 - Google Patents
一种基于多通道网络先验信息引导的图像去模糊方法 Download PDFInfo
- Publication number
- CN110276726A CN110276726A CN201910392447.0A CN201910392447A CN110276726A CN 110276726 A CN110276726 A CN 110276726A CN 201910392447 A CN201910392447 A CN 201910392447A CN 110276726 A CN110276726 A CN 110276726A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- prior information
- multichannel
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 23
- DFPOZTRSOAQFIK-UHFFFAOYSA-N S,S-dimethyl-beta-propiothetin Chemical compound C[S+](C)CCC([O-])=O DFPOZTRSOAQFIK-UHFFFAOYSA-N 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000004088 simulation Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 108091006146 Channels Proteins 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000008929 regeneration Effects 0.000 claims description 3
- 238000011069 regeneration method Methods 0.000 claims description 3
- 230000001925 catabolic effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000006698 induction Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 101000589423 Homo sapiens Proapoptotic nucleolar protein 1 Proteins 0.000 description 2
- 102100032331 Proapoptotic nucleolar protein 1 Human genes 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000192 social effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多通道网络先验信息引导的图像去模糊方法,包括以下步骤:步骤A:准备干净图像和其对应的含噪图像组成图像对,建立图像数据集,图像数据集分为训练数据集和测试数据集两部分;步骤B:设计网络结构,使用图像训练数据集对DMSP网络进行训练,得到训练好的MEDMSP网络模型;步骤C:使用训练好的MEDMSP网络模型对图像测试数据集中的模糊图像进行测试,输出得到最终的去模糊图像,本发明提出了一个新的图像先验信息用于图像恢复(IR)任务,引入了多噪声模拟和多通道增强。同时还引入了一种算法用于探索低维IR任务的高维网络诱导先验信息。该方法不仅具有可以提取有价值的先验信息的神经网络优点,而且还具有基于模型方法的稳定性。
Description
技术领域
本发明属于图像处理技术领域,具体为一种基于多通道网络先验信息引导的图像去模糊方法,主要应用在图像去噪以及图像压缩感知重建、图像去模糊等。
背景技术
在图像生成、记录、传输、存储等过程中,无可避免地会因人为操作、拍摄环境、硬件设备等因素造成图像模糊、失真。使图像视觉质量降低、图像关键信息丢失,这即是图像退化。图像复原就是对退化图像进行处理,提高图片质量,改善视觉效果,还原出真实图像的过程。图像去模糊技术近年来得到了广泛研究,应用于如天文观测、生物科学、医学影像、空间探索、军事科学、遥感预测、案件侦破及视觉科学等诸多领域,充分说明该技术的现实意义与社会价值。在数字时代,图像去模糊作为图像复原技术的一个分支,一直是一个具有挑战性和吸引力的问题,具有重大的研究价值与社会意义。
上述应用需求推动着各种图像去模糊方法的发展。从数学本质角度上讲,图像模糊的过程通常理解为原始的清晰图像与点扩散函数进行卷积的过程,其中往往存在噪声的现象。因此图像去模糊实际上是一个反卷积的过程。
由于图像恢复通常是不适定的,因此通常需要先验知识采用规范和恢复图像,可以通过解其中||Hu-y||2是l2范数数据保真度项,而prior(u)表示由参数λ加权的图像先验正则化。为了解决图像恢复的不适定问题,已经提出了各种基于模型的优化方法,这些方法通常具有漂亮的数学解释和稳定的解决方案。然而,尽管这些方法取得了令人鼓舞的性能,但往往会需要相对耗时的迭代过程,并且恢复的准确性仍然可以提高。
另一方面,深度学习在计算机视觉中显示出巨大的潜力,它成为解决IR任务的流行选择。这些方法可以被视为判别学习类别方法,其通过优化许多清晰退化图像对的损失函数来直接学习先前项ψ(u)中的参数。随着网络设计和数据收集能力的提高,最近的判别学习方法已经取得了很好的成果。然而,一些判别性学习方法在灵活性和鲁棒性方面受到限制,这意味着在图像去模糊上,也需要针对不同的模糊内核和噪声环境单独训练不同的模型。
认识到两种类别方法各有其优点和局限性,一些研究人员试图将判别性学习纳入基于模型的优化中,以解决一般的图像恢复问题。现针对不同的图像恢复任务,提出了一种强大的去噪自动编码器先验(DAEP),并且先前已知的深度均值漂移先验(DMSP)的实现与先前的对数的梯度成比例。DAEP和DMSP都可以为不同的图像恢复任务训练强大的网络,包括具有不同噪声水平的图像去噪,图像去模糊和图像修复。然而,对于不同的图像恢复场景倾向于变化,它的输出是不稳定的,并且性能仍然可以改善。
现有的大多数方法仍然具有一些限制,例如,仅能应用于单个定制的图像恢复任务或需要长时间进行迭代重建或产生不稳定结果。
发明内容
针对上述提出的问题,本发明的目的是提出一种切实可行、性能优良、环境适应性强的一种基于多通道网络先验信息引导的图像去模糊方法,针对图像存在的噪声,该方法不仅能够有效去除图像中的噪声,还可以保留图像的结构细节,得到清晰的图像边缘和纹理,提高图像的质量。
为实现上述目的,本发明提供如下技术方案:一种基于多通道网络先验信息引导的图像去模糊方法,包括以下步骤:
步骤A:准备干净图像和其对应的含噪图像组成图像对,建立图像数据集,图像数据集分为训练数据集和测试数据集两部分。
步骤B:设计网络结构,使用图像训练数据集对DMSP网络进行训练,得到训练好的MEDMSP网络模型。
步骤C:使用训练好的MEDMSP网络模型,对图像测试数据集中的模糊图像进行测试,输出得到最终的去模糊图像。
进一步的,所述步骤A具体包括:
(1)所述训练数据集是使用DIV2K的图像构建的,从DIV2K中选择DIV400-train作为基本训练集,并在训练阶段将训练图像切割成尺寸为192×192的M=91789个图像块。
(2)在测试时将测试数据集加噪后的图像作为网络输入。
进一步的,所述设计网络结构的步骤如下:
(1)将四维滤波器用于2D离散小波变换DWT中与图像进行卷积,然后,通过下采样卷积可以得到四个子带图像。
(2)用DWT处理四个子带图像,以在多级小波变换WPT中产生分解结果,在分解阶段,将四个预定义滤波器部署到每个子带图像,然后采用下采样作为合并算子。
(3)在重建阶段,首先对四个子带图像进行上采样,然后与相应的滤波器进行卷积,以产生当前级别的重建结果,最后,可以通过逆WPT重建原始图像。
进一步的,所述对DMSP网络进行训练先采用多噪声模拟策略提高先验的稳定性和鲁棒性,然后通过多通道学习去噪自动编码器DAE来获得高维先验信息,具体步骤如下:
(1)采用多噪声模拟策略时,用单个噪声样本近似积分,这使得梯度进行随机评估,称为深度平均移位先验DMSP:
基于这种经典的DMSP,引入了新的组件以得到更多的先验信息并提高稳定性,在不同噪声水平下的三种噪声的近似和扩展方程为:
其中σ表示噪声标准差,u是原始的高质量图像。
(2)在网络训练阶段,设计网络通道数为3,并将三个通道的矢量变量表示为U=[U1,U2,U3]=[Ur,Ug,Ub],采用MWCNN为DAE rσ(U),其主要特点是在每级DWT之后设计CNN块,每个CNN块是4层FCN,并将所有子图像作为输入,不同的CNN被部署到深度卷积框架中的低频和高频频带,CNN块的每一层由卷积组成3×3过滤器Conv,批量归一化BN和整流线性单元ReLU操作,对于最后一个CNN块的最后一层,采用不带BN和ReLU的Conv来预测残留图像。
进一步的,所述步骤C包括:
图像去模糊的迭代方法可以表示为梯度下降法和最小二乘法的交替更新,在图像恢复阶段中,将原始的单通道图像复制为多通道图像,并重排列作为网络输入,经过多通道网络的处理,平均三个输出变量可以得到一个变量输出,如果设U是需要被重构的图像,y是观测k空间的局部值,在数学上,通过计算高维先验的梯度,有以下关系:
根据MEDMSP网络模型可以重写为近端梯度下降法:
其中η表示梯度步长,γ表示平衡参数,在每次迭代中,通过将均值算子用于三通道网络的输出来获得中间结果。
上式中的第二个最小化公式是标准最小二乘LS问题,可由如下的公式算出:
(γHTH+1)uk+1=γHTy+uk
与现有技术相比,本发明的有益效果是:
本发明提出了一个新的图像先验信息用于图像恢复(IR)任务,其中引入了两个新特征,即多噪声模拟和多通道增强。同时还引入了一种算法用于探索低维IR任务的高维网络诱导先验信息。该方法不仅具有可以提取有价值的先验信息的神经网络优点,而且还具有基于模型方法的稳定性。所提出的方法的鲁棒性已经在不同的IR任务上进行了测试,例如图像去模糊和压缩重建,与几种最先进的方法相比,实现了优越的性能。
附图说明
图1为本发明的流程图;
图2为本发明的网络架构--单通道多级小波-CNN架构图;
图3为本发明在训练阶段的多通道网络方案和在迭代重建阶段用于单通道中间图像的辅助变量技术图;
图4为本发明在加入高斯核后的重建结果图,(a)为原始图像;(b)为高斯噪声;(c)(d)(e)(f)分别为PANO、NLR-CS、DC-CNN和本发明的重建结果图;
图5为本发明高斯核为17×17,δd=2.55的去噪结果图,(a)(b)(c)(d)分别为LevinSps,EPLL,DAEP和本发明的重建结果图;
图6为本发明高斯核为17×17,6d=7.65的去噪结果图,(a)(b)(c)(d)分别为LevinSps,EPLL,DAEP和本发明的重建结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案,并不限于本发明。
本发明提出了一种基于多通道网络先验信息引导的图像去模糊方法,提出了将单通道多级小波-CNN架构作为网络架构,采用多噪声模拟策略提高先验的稳定性和鲁棒性,然后通过多通道学习去噪自动编码器(DAE)来获得高维网络先验信息。最后,采用近端梯度法,最小二乘法和交替迭代法,借助于高维增强先验,解决了低维图像复原问题。
本发明提供一种技术方案:一种基于多通道网络先验信息引导的图像去模糊方法,如图1所示,包括以下步骤:
步骤A:准备干净图像和其对应的含噪图像组成图像对,建立图像数据集,图像数据集分为训练数据集和测试数据集两部分。
步骤B:设计网络结构,使用图像训练数据集对DMSP网络进行训练,得到训练好的MEDMSP网络模型。
步骤C:使用训练好的MEDMSP网络模型,对图像测试数据集中的模糊图像进行测试,输出得到最终的去模糊图像,以及对测试结果图像的峰值信噪比PSNR值和结构相似性SSIM,进行图像质量评价。
进一步的,本发明的实验实施配置要求如下:
本方法已经在Matlab中实现了所提出的架构,并在配备Intel Core i7-7700中央处理器和GeForce Titan XP的台式计算机上运行了所有实验。训练数据集是使用DIV2K的图像构建的。
从DIV2K中选择了DIV400-train(400图像)作为基本训练集,并在训练阶段将训练图像切割成尺寸为192×192的M=91789个图像块。使用具有不同噪声水平的图像块进行训练,用于学习去噪网络模型。最后使用了三个具有不同的噪声等级模型,其噪声等级分别为η1=5,η2=8,η3=10。其重建质量由峰值信噪比(PSNR)和结构相似性(SSIM)来进行衡量。
进一步的,所述设计网络结构的步骤如下:
(1)将四维滤波器用于2D离散小波变换DWT中与图像进行卷积,然后,通过下采样卷积可以得到四个子带图像。
(2)用DWT处理四个子带图像,以在多级小波变换WPT中产生分解结果,在分解阶段,将四个预定义滤波器部署到每个子带图像,然后采用下采样作为合并算子。
(3)在重建阶段,首先对四个子带图像进行上采样,然后与相应的滤波器进行卷积,以产生当前级别的重建结果,最后,可以通过逆WPT重建原始图像。
进一步的,所述对DMSP网络进行训练先采用多噪声模拟策略提高先验的稳定性和鲁棒性,然后通过多通道学习去噪自动编码器(DAE)来获得高维先验信息,具体步骤如下:
(1)采用多噪声模拟策略时,用单个噪声样本近似积分,这使得梯度进行随机评估,称为深度平均移位先验(DMSP):
基于这种经典的DMSP,引入了新的组件以得到更多的先验信息并提高稳定性,在不同噪声水平下的三种噪声的近似和扩展方程为:
其中σ表示噪声标准差,u是原始的高质量图像。
多噪声模拟设计是由聚合原理驱动的,这表明多模型实现可以避免进入局部最优解并使迭代过程更加稳健。具体来说,扩展带来了以下两个优点:第一,两种不同的噪声下的先验信息使网络具有多样性,例如增强表示能力。其次,两种实现方式也可以提高鲁棒性。通过在各种情况下对算法采用平均加权函数可以获得更好的恢复性能,因为提高了稀疏性,并以更高的计算复杂度为代价。
(2)在网络训练阶段,设计网络通道数为3,并将三个通道的矢量变量表示为U=[U1,U2,U3]=[Ur,Ug,Ub],采用MWCNN为DAE rσ(U),其主要特点是在每级DWT之后设计CNN块,每个CNN块是4层FCN,并将所有子图像作为输入,不同的CNN被部署到深度卷积框架中的低频和高频频带,CNN块的每一层由卷积组成3×3过滤器Conv,批量归一化BN和整流线性单元ReLU操作,对于最后一个CNN块的最后一层,采用不带BN和ReLU的Conv来预测残留图像。
可以看出,MWCNN从三个方面修改了U-Net。首先,对于下采样和上采样,在传统U-Net中使用maxpooling和up-convolution,而在MWCNN中使用DWT和IWT。其次,对于MWCNN,下采样导致特征映射信道的增加。除第一个之外,部署其他CNN块以减少用于紧凑表示的特征映射通道。而对于传统的U-Net,下采样对特征映射通道没有影响,并且随后的卷积层可用于增加特征映射通道。第三,在MWCNN中,元素加法运算用于来自收缩和扩展子网络的特征映射,而在传统的U-Net连接中则采用了拼接操作,包含24层网络。当采用ADAM算法训练MWCNN时,Haar小波被用作MWCNN的默认值。
进一步的,所述步骤C包括:
图像去模糊的迭代方法可以表示为梯度下降法和最小二乘法的交替更新,在图像恢复阶段中,将原始的单通道图像复制为多通道图像,并重排列作为网络输入,经过多通道网络的处理,平均三个输出变量可以得到一个变量输出,如果设U是需要被重构的图像,y是观测k空间的局部值,在数学上,通过计算高维先验的梯度,有以下关系:
根据MEDMSP网络模型可以重写为近端梯度下降法:
其中η表示梯度步长,γ表示平衡参数,在每次迭代中,通过将均值算子用于三通道网络的输出来获得中间结果。
上式中的第二个最小化公式是标准最小二乘LS问题,可由如下的公式算出:
(γHTH+1)uk+1=γHTy+uk
本发明的效果结果的附图展示如下:
图3是本发明在训练阶段的多通道网络方案和在迭代重建阶段用于单通道中间图像的辅助变量技术的图示,可以获得更好的视觉显示。
图4、图5和图6展示了本发明的实验结果以及与当前的其他方法的对比,得出本发明在不仅有明显更好的去噪性能,而且还可以保留图像的结构细节,得到清晰的图像边缘和纹理,提高图像的质量。
图4是在加入高斯核后的重建结果图,(a)为原始图像;(b)为高斯噪声;(c)(d)(e)(f)分别为PANO、NLR-CS、DC-CNN和本发明的重建结果。
图5是高斯核为17×17,δd=2.55的去噪结果图,(a)(b)(c)(d)分别为LevinSps,EPLL,DAEP和本发明的重建结果。
图6是高斯核为17×17,δd=7.65的去噪结果图,(a)(b)(c)(d)分别为LevinSps,EPLL,DAEP和本发明的重建结果。
不同水平噪声的各种模糊核的六个测试图像的PSNR和SSIM值
从上表可以观察到本发明提出的MEDMSP的PSNR值在nosie级别δd=2.55和δd=7.65可以比DAEP获得超过3.30dB和2.71dB。
实际上,MEDMSP的平均的PSNR/SSIM在所有方法中是很好的。因此,与噪声方差和各种模糊内核大小的其他领先去模糊方法相比,所提出的MEDMSP方法有极具竞争力的性能。
以上所述仅表达了本发明的优选实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形、改进及替代,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种基于多通道网络先验信息引导的图像去模糊方法,其特征在于:包括以下步骤:
步骤A:准备干净图像和其对应的含噪图像组成图像对,建立图像数据集,图像数据集分为训练数据集和测试数据集两部分;
步骤B:设计网络结构,使用图像训练数据集对DMSP网络进行训练,得到训练好的MEDMSP网络模型;
步骤C:使用训练好的MEDMSP网络模型,对图像测试数据集中的模糊图像进行测试,输出得到最终的去模糊图像。
2.根据权利要求1所述的一种基于多通道网络先验信息引导的图像去模糊方法,其特征在于:所述步骤A具体包括:
(1)所述训练数据集是使用DIV2K的图像构建的,从DIV2K中选择DIV400-train作为基本训练集,并在训练阶段将训练图像切割成尺寸为192×192的M=91789个图像块;
(2)在测试时将测试数据集加噪后的图像作为网络输入。
3.根据权利要求1所述的一种基于多通道网络先验信息引导的图像去模糊方法,其特征在于:所述设计网络结构的步骤如下:
(1)将四维滤波器用于2D离散小波变换DWT中与图像进行卷积,然后,通过下采样卷积可以得到四个子带图像;
(2)用DWT处理四个子带图像,以在多级小波变换WPT中产生分解结果,在分解阶段,将四个预定义滤波器部署到每个子带图像,然后采用下采样作为合并算子;
(3)在重建阶段,首先对四个子带图像进行上采样,然后与相应的滤波器进行卷积,以产生当前级别的重建结果,最后,可以通过逆WPT重建原始图像。
4.根据权利要求1所述的一种基于多通道网络先验信息引导的图像去模糊方法,其特征在于:所述对DMSP网络进行训练先采用多噪声模拟策略提高先验的稳定性和鲁棒性,然后通过多通道学习去噪自动编码器DAE来获得高维先验信息,具体步骤如下:
(1)采用多噪声模拟策略时,用单个噪声样本近似积分,这使得梯度进行随机评估,称为深度平均移位先验DMSP:
基于这种经典的DMSP,引入了新的组件以得到更多的先验信息并提高稳定性,在不同噪声水平下的三种噪声的近似和扩展方程为:
其中σ表示噪声标准差,u是原始的高质量图像;
(2)在网络训练阶段,设计网络通道数为3,并将三个通道的矢量变量表示为U=[U1,U2,U3]=[Ur,Ug,Ub],采用MWCNN为DAEγσ(U),其主要特点是在每级DWT之后设计CNN块,每个CNN块是4层FCN,并将所有子图像作为输入,不同的CNN被部署到深度卷积框架中的低频和高频频带,CNN块的每一层由卷积组成3×3过滤器Conv,批量归一化BN和整流线性单元ReLU操作,对于最后一个CNN块的最后一层,采用不带BN和ReLU的Conv来预测残留图像。
5.根据权利要求1所述的一种基于多通道网络先验信息引导的图像去模糊方法,其特征在于:所述步骤C包括:
图像去模糊的迭代方法可以表示为梯度下降法和最小二乘法的交替更新,在图像恢复阶段中,将原始的单通道图像复制为多通道图像,并重排列作为网络输入,经过多通道网络的处理,平均三个输出变量可以得到一个变量输出,如果设U是需要被重构的图像,y是观测k空间的局部值,在数学上,通过计算高维先验的梯度,有以下关系:
根据MEDMSP网络模型可以重写为近端梯度下降法:
其中η表示梯度步长,γ表示平衡参数,在每次迭代中,通过将均值算子用于三通道网络的输出来获得中间结果;
上式中的第二个最小化公式是标准最小二乘LS问题,可由如下的公式算出:
(γHTH+1)uk+1=γHTy+uk
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910392447.0A CN110276726B (zh) | 2019-05-13 | 2019-05-13 | 一种基于多通道网络先验信息引导的图像去模糊方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910392447.0A CN110276726B (zh) | 2019-05-13 | 2019-05-13 | 一种基于多通道网络先验信息引导的图像去模糊方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110276726A true CN110276726A (zh) | 2019-09-24 |
CN110276726B CN110276726B (zh) | 2021-09-28 |
Family
ID=67959753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910392447.0A Active CN110276726B (zh) | 2019-05-13 | 2019-05-13 | 一种基于多通道网络先验信息引导的图像去模糊方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110276726B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827211A (zh) * | 2019-10-10 | 2020-02-21 | 杭州智团信息技术有限公司 | 一种图像细节增强方法 |
CN111091603A (zh) * | 2019-11-04 | 2020-05-01 | 深圳先进技术研究院 | 一种超声成像方法、装置、可读存储介质及终端设备 |
CN111669409A (zh) * | 2020-07-14 | 2020-09-15 | 中国科学院微电子研究所 | 一种体征数据监控系统 |
CN112287772A (zh) * | 2020-10-10 | 2021-01-29 | 深圳市中达瑞和科技有限公司 | 指纹痕迹检测方法、指纹检测装置及计算机可读存储介质 |
CN112801897A (zh) * | 2021-01-19 | 2021-05-14 | 西安理工大学 | 一种基于宽卷积神经网络的图像去噪方法 |
CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
CN113034390A (zh) * | 2021-03-17 | 2021-06-25 | 复旦大学 | 一种基于小波先验注意力的图像修复方法及系统 |
CN113129296A (zh) * | 2021-04-29 | 2021-07-16 | 深圳高性能医疗器械国家研究院有限公司 | 基于变换域下去噪自动编码器作为先验的图像处理方法 |
CN114114116A (zh) * | 2022-01-27 | 2022-03-01 | 南昌大学 | 磁共振成像生成方法、系统、存储介质及计算机设备 |
CN114529482A (zh) * | 2022-02-21 | 2022-05-24 | 桂林电子科技大学 | 基于小波多通道深度网络的图像压缩感知重建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103854267A (zh) * | 2014-03-12 | 2014-06-11 | 昆明理工大学 | 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 |
US20170213324A1 (en) * | 2016-01-21 | 2017-07-27 | Samsung Electronics Co., Ltd. | Image deblurring method and apparatus |
CN108665412A (zh) * | 2018-03-20 | 2018-10-16 | 浙江大学 | 一种利用自然图像先验知识进行多帧图像超分辨重建的方法 |
-
2019
- 2019-05-13 CN CN201910392447.0A patent/CN110276726B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103854267A (zh) * | 2014-03-12 | 2014-06-11 | 昆明理工大学 | 一种基于变分与分数阶微分的图像融合与超分辨率实现方法 |
US20170213324A1 (en) * | 2016-01-21 | 2017-07-27 | Samsung Electronics Co., Ltd. | Image deblurring method and apparatus |
CN108665412A (zh) * | 2018-03-20 | 2018-10-16 | 浙江大学 | 一种利用自然图像先验知识进行多帧图像超分辨重建的方法 |
Non-Patent Citations (3)
Title |
---|
PENGJU LIU等: "Multi-level Wavelet-CNN for Image Restoration", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
SIAVASH A. BIGDELI等: "Deep Mean-Shift Priors for Image Restoration", 《31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 * |
YANKUN WANG等: "Learning multi-denoising autoencoding priors for image super-resolution", 《JOURNAL OF VISUAL COMMUNICATION OF IMAGE REPRESENTATION》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827211B (zh) * | 2019-10-10 | 2023-11-21 | 杭州智团信息技术有限公司 | 一种图像细节增强方法 |
CN110827211A (zh) * | 2019-10-10 | 2020-02-21 | 杭州智团信息技术有限公司 | 一种图像细节增强方法 |
CN111091603A (zh) * | 2019-11-04 | 2020-05-01 | 深圳先进技术研究院 | 一种超声成像方法、装置、可读存储介质及终端设备 |
CN111669409A (zh) * | 2020-07-14 | 2020-09-15 | 中国科学院微电子研究所 | 一种体征数据监控系统 |
CN111669409B (zh) * | 2020-07-14 | 2024-02-27 | 中国科学院微电子研究所 | 一种体征数据监控系统 |
CN112287772A (zh) * | 2020-10-10 | 2021-01-29 | 深圳市中达瑞和科技有限公司 | 指纹痕迹检测方法、指纹检测装置及计算机可读存储介质 |
CN112801897B (zh) * | 2021-01-19 | 2024-02-09 | 西安理工大学 | 一种基于宽卷积神经网络的图像去噪方法 |
CN112801897A (zh) * | 2021-01-19 | 2021-05-14 | 西安理工大学 | 一种基于宽卷积神经网络的图像去噪方法 |
CN112862922A (zh) * | 2021-01-27 | 2021-05-28 | 南昌大学 | 一种基于多特征生成网络先验信息引导的图像填充方法 |
CN113034390A (zh) * | 2021-03-17 | 2021-06-25 | 复旦大学 | 一种基于小波先验注意力的图像修复方法及系统 |
CN113129296A (zh) * | 2021-04-29 | 2021-07-16 | 深圳高性能医疗器械国家研究院有限公司 | 基于变换域下去噪自动编码器作为先验的图像处理方法 |
CN113129296B (zh) * | 2021-04-29 | 2024-05-31 | 深圳高性能医疗器械国家研究院有限公司 | 基于变换域下去噪自动编码器作为先验的图像处理方法 |
CN114114116A (zh) * | 2022-01-27 | 2022-03-01 | 南昌大学 | 磁共振成像生成方法、系统、存储介质及计算机设备 |
CN114114116B (zh) * | 2022-01-27 | 2022-08-23 | 南昌大学 | 磁共振成像生成方法、系统、存储介质及计算机设备 |
CN114529482A (zh) * | 2022-02-21 | 2022-05-24 | 桂林电子科技大学 | 基于小波多通道深度网络的图像压缩感知重建方法 |
CN114529482B (zh) * | 2022-02-21 | 2024-03-29 | 桂林电子科技大学 | 基于小波多通道深度网络的图像压缩感知重建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110276726B (zh) | 2021-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110276726A (zh) | 一种基于多通道网络先验信息引导的图像去模糊方法 | |
Kokkinos et al. | Deep image demosaicking using a cascade of convolutional residual denoising networks | |
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
Yu et al. | A unified learning framework for single image super-resolution | |
Zhang et al. | Joint image denoising using adaptive principal component analysis and self-similarity | |
CN108765330B (zh) | 基于全局和局部先验联合约束的图像去噪方法和装置 | |
CN108932699B (zh) | 基于变换域的三维匹配调和滤波图像去噪方法 | |
CN112767271B (zh) | 一种基于三维变分网络的高光谱图像深度降噪的方法 | |
CN114881861B (zh) | 基于双采样纹理感知蒸馏学习的不均衡图像超分方法 | |
CN111915518B (zh) | 基于三重低秩模型的高光谱图像去噪方法 | |
Zou et al. | Joint wavelet sub-bands guided network for single image super-resolution | |
CN116309178A (zh) | 一种基于自适应注意力机制网络的可见光图像去噪方法 | |
De los Reyes et al. | Bilevel optimization methods in imaging | |
CN115131226B (zh) | 一种基于小波张量低秩正则化的图像复原方法 | |
Choi et al. | Fast, trainable, multiscale denoising | |
Ratner et al. | Image enhancement using elastic manifolds | |
CN113160069B (zh) | 一种基于图信号的高光谱图像去噪方法 | |
CN111402173B (zh) | 一种混合噪声去除方法、装置、电子设备和存储介质 | |
Xue et al. | SARANIQA: self-attention restorative adversarial network for No-reference image quality assessment | |
Gantenapalli et al. | Selective mean filtering for reducing impulse noise in digital color images | |
Zhang et al. | Multi-noise and multi-channel derived prior information for grayscale image restoration | |
Andrey et al. | How to choose adaptively parameters of image denoising methods? | |
Shaliniswetha et al. | RESIDUAL LEARNING BASED IMAGE DENOISING AND COMPRESSION USING DNCNN. | |
Krishna et al. | Medical image up-sampling using a correlation-based sparse representation model | |
Galindo et al. | Image super-resolution improved by edge information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |