CN115456918B - 一种基于小波高频通道合成的图像去噪方法及装置 - Google Patents
一种基于小波高频通道合成的图像去噪方法及装置 Download PDFInfo
- Publication number
- CN115456918B CN115456918B CN202211414188.5A CN202211414188A CN115456918B CN 115456918 B CN115456918 B CN 115456918B CN 202211414188 A CN202211414188 A CN 202211414188A CN 115456918 B CN115456918 B CN 115456918B
- Authority
- CN
- China
- Prior art keywords
- wavelet
- network
- image
- synthesis
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 63
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 22
- 230000009467 reduction Effects 0.000 claims abstract description 16
- 230000005012 migration Effects 0.000 claims abstract description 15
- 238000013508 migration Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 19
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000003042 antagnostic effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 10
- 238000002591 computed tomography Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于小波高频通道合成的图像去噪方法及装置,将图像数据拓展到若干频域通道,经过噪声排序算法选取“低噪”若干通道和“高噪”若干通道,结合降噪网络子模块和基于风格迁移的合成网络子模块,实现图像数据去噪。图像数据使用离散小波包变换将原始数据和真值数据扩展到若干频域子通道,并分为“低噪组”小波包系数和“高噪组”小波包系数。对于低噪组,本发明搭建基于残差学习的卷积神经网络的降噪子模块,对于高噪组,搭建基于风格迁移网络的合成子模块,最后通过小波包反变换重建原始数据。本发明有效解决了图像数据在常规去噪算法中出现的“模糊”和“细节丢失”问题,在“多噪”和“高维”图像数据中表现尤为明显。
Description
技术领域
本发明涉及医学影像分析、视频分析等领域,尤其涉及一种基于小波高频通道合成的图像去噪方法及装置。
背景技术
1.小波包变换(Wavelet Package Transformation)
小波变换原先是为了解决傅里叶变换丢失时域信息而提出的,在图像处理领域,
快速离散小波变换应用一系列的滤波器,将图像信息扩展到不同的独立的频域子带中,并
用小波系数表示。原始图像经一组正交的小波基分解后,实际上被一组滤波器分成高频分
量和低频分量,在此基础上,小波包变换可根据要求对每一级的某个或某些频域分量做进
一步的分解。通常,n维图像数据的m阶小波包系数尺寸为原图的,分解方式见图1,
对一个二维图像进行一维小波变换,可以得到四个频域的小波分解子图aa, ad, da, dd,
其中a为低通滤波器,d为高通滤波器,即ad子图表征了原图的第一维度的低频信息和第二
维度的高频信息,子图尺寸为原图的1/4;若对da子图进行二阶小波包变换,可以得到四个
二阶小波包子图daaa, daad, dada和dadd;通过对原图像和真值图像的小波包变换,可以
计算出各通道子图的信噪比,根据经验阈值可以将各小波通道划分出“低噪组”和“高噪
组”。小波包反变换理论上可以无失真重建原高维图像,这是本技术方法实现数据频域拓展
的重要理论依据。
2.基于残差学习的卷积神经网络(DnCNN)
CNN是处理图像领域的神经网络的基础,通常由卷积层、池化层及激活层构成。卷积层是CNN的核心,通过一系列的滤波器提取图像特征,生成一张特征向量图;池化层为CNN引入不变性,同时降采样,扩大下一层卷积核的感受野,网络将学习到不同尺度下图像的特征信息;激活层通常为非线性函数,使网络更好地拟合任意函数,也会缓解过深层网络的过拟合现象。DnCNN的残差学习是首尾连接的,将网络输出改成残差图片,因此网络的优化目标为图像噪声。基于残差学习的卷积神经网络结构见图2。
3.基于U-net的风格迁移神经网络
U-net是一种强大的重建网络,最开始被利用在语义分割领域,后常见于风格迁移领域。不同于简单编码器-解码器结构,U-net还独特设计了跳层连接,将降采样前的特征拼接到恢复同等像素的特征图中,帮助解码器在恢复像素的过程中尽可能少的丢失细节信息。编码器包含若干卷积核,负责提取此感受野下的细节特征,组成特征向量图;池化层作用同上CNN所述,引入不变性并降采样图像。解码器同样包含若干卷积核,得到特征向量图后通过跳层连接拼接了从同级解码器裁剪的部分特征向量图,保证上采样器在恢复像素的时候,同时利用了编码器和解码器学习到的图像特征。对应编码器的池化层,解码器用上采样器恢复像素,通常采用反卷积算法或插值算法。在每个卷积器和池化层前,U-net使用批归一化层用来标准化数据,并校准可能产生偏移的数据分布;激活函数通常使用修正线性单元(ReLU),目的是为了引入非线性因子,使网络更好地拟合数据分布。
风格迁移网络经常通过隐变量层,使用仿射变换为重建网络提供“风格”。隐变量
层包含若干卷积层、批归一层、激活层和池化层,用来提取原始数据特征,再映射到对应尺
寸的数据空间中,利用仿射变换层提供重建细节。仿射变换层将隐空间内的特征,以矩阵乘
法、矩阵加法的形式作用于U-net合成网络中解码器的输出。若为解码器输
出,分别为改成该解码器输出的通道数和尺寸,为第层仿射变换输出的乘性
系数,第层仿射变换输出的加性系数,则该仿射变换层输出的数学表达为式(1)。基
于U-net的风格迁移网络结构示意见图3。
4.生成对抗式网络(GAN)
GAN网络架构由生成器和判别器级联构成,被广泛应用在图像生成任务中。GAN的核心思想是使两个网络互相竞争,从生成器角度而言,它趋向于降低判别器的判别准确度,即努力生成与真值相似的图像,以期以假乱真;判别器不断提高审核标准,从而分辨生成器的输出图像与真实图像的差别。根据风格迁移相关研究表明,传统使用均方误差(MSE)作为损失函数的深度学习重建网络,极容易出现“细节丢失”和“模糊”问题,而GAN网络的生成器-判别器训练结构,有效地为生成器训练添加约束,使其更容易还原图像重建中源域到目标域的映射关系。
一般地,判别器的输出为一维概率∈[0,1],通过中间阈值给予生成图像一个预测标签,进而比较真实标签后得到判别器的损失函数,生成器将联合各自损失和判别器损失反向传播误差,更新网络权值。GAN的训练过程见图4。
发明内容
为克服现有去噪方法在图像数据中经常出现的“模糊”和“细节丢失”的问题,本发明提供基于小波高频通道合成的图像去噪方法及装置,通过小波高频的重建和判别器的约束,极有效地恢复了图像数据的细节信息。本发明创造性地提出利用小波包变换拓展图像数据的频域信息,使用合成网络重建小波包高频系数,并结合生成对抗式神经网络优化降噪子模块和合成子模块,有效地解决传统图像去噪算法和深度学习方法产生的模糊效应。
本发明是通过以下技术方案得以实现的:一种基于小波高频通道合成的图像去噪方法,该方法包括以下步骤:
S1,获取多噪或高维图像并对带噪图像数据进行预处理;
S2,选择小波基和小波包分解层数;利用小波包变换,将预处理后的图像数据和真值分解为不同频域的小波包系数,分别计算信噪比,并根据信噪比阈值划分出“低噪组”和“高噪组”;
S3,搭建神经网络,包括降噪子模块和合成子模块;所述降噪子模块为基于残差学习的卷积神经网络,所述合成子模块为基于风格迁移的卷积神经网络;
S4,生成对抗式模型训练,具体如下:
S41,预训练生成器网络,对S3中两个网络分别进行监督式训练;
S42,数据重建,降噪子模块输入为“低噪组”小波系数,输出为去噪后的“低噪组”小波包系数,合成子模块输入为“低噪组”小波系数和原始图像数据,输出为合成后的对应“高噪组”数据的小波包系数,对降噪子模块的输出和合成子模块的“高噪组”输出进行小波包反变换,共同重建原始图像数据;
S43,搭建判别器网络,将重建后的原始图像数据输入判别器网络,联合生成器网络,训练生成对抗式模型,基于训练后的生成器模型重建图像数据,即为去噪后的图像。
进一步地,步骤S1中,图像预处理包括数据规范化、数据增强和数据标准化;
所述数据规范化:使用统一的图片编码格式规范化原始数据和对应真值数据;
所述数据增强:使用裁剪插值、旋转、平移方式扩充数据库;
所述数据标准化:使用标准化方法统一数据量纲。
进一步地,步骤S2中,经小波包分解后的原始图像数据及其真值将通过计算信噪比,并根据经验设定信噪比阈值,划分成“低噪组”和“高噪组”;将原始带噪图像的“低噪组”小波系数按通道拼接,作为后续降噪子模块和合成子模块的输入,将真值图像对应的“低噪组”和“高噪组”小波包系数按通道拼接,分别作为后续降噪子模块和合成子模块的监督训练真值。
进一步地,步骤S3中,基于残差学习的卷积神经网络用于“低噪组”小波包系数的去噪;此网络包括若干卷积层、激活层、批归一层及若干残差连接,其中必定包含一条首尾残差连接,令网络的优化目标为图像残差。
进一步地,步骤S3中,基于风格迁移的卷积神经网络用于“高噪组”小波包系数的合成;此网络包括基于U-net的重建网络、隐变量网络和仿射变换层;其中,U-net神经网络包括若干组对应的编码器和解码器,对应编码器和解码器之间使用跳层连接,拼接多尺度特征图;隐变量网络包含若干卷积层、池化层、批归一层、激活层;仿射变换层以矩阵乘法和矩阵加法的形式,将隐变量层生成的特征图变换到U-net解码器中;基于风格迁移的卷积神经网络的输入为“低噪组”小波包系数,隐变量网络输入为原始图像,最终输出为合成后的对应“高噪组”的小波包系数。
进一步地,步骤S41中,将“低噪组”小波包系数分别前向传播通过降噪子模块和合成子模块网络,分别得到神经网络预测值,根据预测值和对应的真值计算损失函数,利用损失函数,进行反向传播得到梯度,采用梯度下降法更新网络权值,通过多次迭代优化两个神经网络,直到神经网络收敛。
进一步地,步骤S43中,搭建基于卷积神经网络的判别器,网络包含若干卷积层、批归一层、池化层和激活层;判别网络的输入为经小波重建后的图像,输出为一维概率∈[0,1]。
进一步地,所述S43中,将S42中重建的数据置负标签,真值图像置正标签,并一起作为训练集前向传播到判别器中,输出的损失函数分别在降噪子模块和合成子模块中反向传播,利用随机梯度下降方法优化两个生成器网络;在反复迭代优化中,生成网络和判别网络的损失函数达到动态平衡,训练完毕。
第二方面,本发明申请了一种基于小波高频通道合成的图像去噪装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,用于实现所述的基于小波高频通道合成的图像去噪方法的步骤。
第三方面,本发明申请了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现所述的基于小波高频通道合成的图像去噪方法的步骤。
本发明的有益效果在于,利用小波包变换将图像数据拓展到若干频域,在高噪的小波包系数(高频分量)使用重建网络代替去噪网络,因为在低信噪比的频域内,去噪算法性能将大打折扣,而高频信号在原始图像中又表现为细节信息,从而有效地解决了现有算法带来的“细节丢失”的问题。除此之外,判别器的使用和GAN模式的训练一定程度上解决了使用像素误差(均方误差、均方根误差)作为损失函数的卷积神经网络带来的“模糊”效应。
附图说明
图1为小波包变换及噪声分组示意图。
图2为基于残差学习的卷积神经网络(DnCNN)结构示意图。
图3为基于U-net的风格迁移网络结构示意见图。
图4为GAN网络训练示意图。
图5为二维低剂量CT去噪实例系统流程框图。
图6为本发明实例降噪子模块示意图。
图7为实例合成子模块最上层编解码器示意图。
图8为实例合成子模块最下层编解码器示意图。
图9为实例合成子模块隐变量网络结构示意图。
图10为实例判别器网络结构示意图。
图11为实例低剂量CT去噪结果示意图。
图12是本发明提供的一种基于小波高频通道合成的图像去噪装置的结构图。
具体实施方式
下面结合一个本发明应用的实例,进一步将本发明的技术方案完整、清晰地描述。注意,下述实例只是本发明的一种应用,并不是全部实施实例。基于本发明的技术框架,另外使用者在没有创造性劳动的前提下所得到的所有应用,皆属于本发明的保护范围。
本发明提供了一种基于小波高频通道合成的图像去噪方法,针对多噪或高维图像数据去噪的深度学习方法,有效地解决了目前现有方法在图像上丢失细节的问题。本发明发现图像噪声较于图像信号在各频域均匀的特点,即原始图像信号经小波包变换拓展到不同频域后,信噪比有较大差异,而高频小波包系数往往具有低信噪比的特征。因此,本发明方法创造性地使用了基于风格迁移的神经网络重建图像多噪的高频信号。除此之外,本发明利用了生成对抗式神经网络,对降噪子模块和合成子模块的损失函数添加约束,进一步优化了模型保留细节特征的能力。
CT(Computed Tomography,电子计算机断层扫描)是一种广泛应用于临床诊断的医学影像。一般的,高剂量辐射可以带来高信噪比图像,但是同时对扫描人体带来潜在健康风险。因此,对低剂量CT图像进行后处理去噪成为业界广泛研究的课题。图5描述了在本发明提供的技术框架下,去噪低剂量CT的步骤流程。
步骤1、数据预处理:
1-1)数据规范化:带噪声的低剂量CT图像数据,存在图像数据的一维哈尔(Haar)小波包变换,其中,有一个及一个以上的小波包系数的信噪比均值小于等于0.5;该图像数据常常表现为多噪(低信噪比)或者高数据维度(三维及以上)。将低剂量CT图像数据、真值数据统一成尺寸为512×512的NIFTI-1的单通道(灰度图)格式,并使用裁剪插值、旋转、平移方式扩充数据库。
1-2)数据标准化:使用标准化方法将原始图像灰度值统一到到(0,255)之间。
步骤2、小波包变换和小波包系数分组:利用小波包变换,将预处理后的图像数据和真值分解为不同频域的小波包系数,分别计算信噪比,并根据信噪比阈值划分出“低噪组”和“高噪组”;
2-1)小波包变换:使用消失矩为1的多贝西小波基(Daubechies-1),对低剂量CT图像、真值图像进行二阶小波包变换,即一张512×512的CT图经二阶小波包变换为16张128×128的小波包系数(频域分量)。
本发明的经验阈值α= 0.5,即当小波包分解子频域的平均信噪比SNR大于0.5时,该频域小波包系数被归为“低噪组”,反之被归为“高噪组”。
2-3)经步骤2-2)计算后,若有10组小波包系数被归为“低噪组”,6组被归为“高噪组”,则按通道拼接好的“低噪组”数据尺寸为(10,128,128),“高噪组”数据尺寸为(6,128,128);将原始带噪图像的“低噪组”小波系数作为降噪子模块和合成子模块的输入,将真值图像的“低噪组”小波系数和“高噪组”小波系数分别作为降噪子模块和合成子模块的监督训练真值。
步骤3、搭建降噪子模块网络用于“低噪组”小波包系数的去噪:
3-1)搭建基于残差学习的卷积神经网络(DnCNN):DnCNN包含12层卷积核为3×3×3的三维卷积层,零填充(Padding)值为1,步长(Stride)为1;10个批归一层,和11个ReLU(Rectified Linear Unit)层,网络输入通道为低噪组数据通道10,中间通道为128,输出通道为10,网络首尾连接,网络结构见图6;
步骤4、搭建合成子模块网络用于“高噪组”小波包系数的合成:
4-1)搭建基于U-Net的神经网络:网络包含4个编码器和解码器,编码器包含两个卷积核为3×3×3,零填充值为1,步长为1的三维卷积滤波器,一个批归一层、ReLU层和2×2×2的最大池化层(Max-Pooling Layer);解码器上采样层采用双线性插值算法,卷积层同样包含两个卷积核为3×3×3,零填充值为1,步长为1的三维卷积滤波器,一个批归一层、ReLU层和仿射变换层。
仿射变换层的矩阵加法、矩阵乘法运算前分别含有一个卷积核为3×3×3,零填充值为1,步长为1的三维卷积滤波器。网络输入通道为低噪组数据通道10,输出通道为高噪组数据通道数6。同级编解码器间使用跳层连接,拼接多尺度的特征图。图7、图8分别为网络最上层、最下层编解码器示意图。
4-2)隐变量网络包含2个卷积核为7×7×7,零填充值为3,步长为1,2个卷积核为5×5×5,零填充值为2,步长为1和6个卷积核为3×3×3,零填充值为1,步长为1,共计10个卷积层,9个批归一层、10个激活层和5个2×2×2的最大池化层。隐变量网络的输入为原始数据,因此输入通道为1,输出为不同尺度、不同通道数量的特征图,而特征图作为解码器中仿射变换层的输入,为合成小波包高频通道的细节提供特征信息。隐变量网络结构见图9。
步骤5、搭建判别器网络:
5-1)搭建基于卷积神经网络的判别器:网络包含三个卷积核为3×3×3,零填充值为0,步长为1的卷积层,一个批归一层、两个Leaky ReLU层、一个全连接层和一个激活函数SoftMax层。判别网络的输入通道为1,输出为一维概率∈[0,1]。判别器网络结构见图10。
步骤6、网络训练:
6-1)使用标准正态分布初始化上述网络卷积层权值;
6-2)降噪子模块和合成子模块网络的监督式预训练:将通过步骤2得到的“低噪组”小波系数分别输入到降噪子模块网络和合成子模块网络,同时将原始图像数据输入合成子模块中的隐变量网络,比较其与真值得到均方误差作为损失函数,再利用反向传播算法得到梯度,使用自适应动量估计(Adam)优化器更新网络权值,完整的一次前向传播和反向传播为一次迭代。学习率在前50个迭代中设置为0.0005,后50个迭代中设置为0.0001,通过100次迭代后,网络损失函数基本收敛。
6-3)数据重建:待网络训练收敛后,对降噪子模块和合成子模块的预测值使用小波包反变换,重建原始多噪或高维数据;
6-4)生成对抗式网络训练:将步骤6-3)中重建的数据置负标签,真值图像置正标签,并一起作为训练集前向传播到判别器中,得到损失函数为假阳性(False Positive)样本和假阴性(False Negative)交叉熵损失的均值,通过反向传播算法得到梯度后,再使用自适应动量估计(Adam)优化器更新判别器网络权值。接着将得到的判别器损失乘25,分别加到降噪子模块和合成子模块的损失函数中,对两个网络权值进行优化,此时为一次GAN训练的迭代。通过0.0001学习率,80个迭代优化后,生成网络与判别网络的损失函数将达到平衡,此时训练完毕。
步骤7、模型评估;
7-1)定量评价:使用均方误差(MSE),峰值信噪比(PSNR)和结构相似度(SSIM)定量评价模型输出(小波重建后的信号);
7-2)定性评价:将标准化后的CT的灰度值截断到(115, 160)内,观察腹部器官去噪结果,见图11。
与前述基于小波高频通道合成的图像去噪方法的实施例相对应,本发明还提供了基于小波高频通道合成的图像去噪装置的实施例。
参见图12,本发明实施例提供的一种基于小波高频通道合成的图像去噪装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,用于实现上述实施例中的基于小波高频通道合成的图像去噪方法。
本发明基于小波高频通道合成的图像去噪装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图12所示,为本发明基于小波高频通道合成的图像去噪装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图12所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的基于小波高频通道合成的图像去噪方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (10)
1.一种基于小波高频通道合成的图像去噪方法,其特征在于,该方法包括以下步骤:
S1,获取多噪或高维图像并对带噪图像数据进行预处理;
S2,小波包变换和小波包系数分组;利用小波包变换,将预处理后的图像数据和真值分解为不同频域的小波包系数,分别计算信噪比,并根据信噪比阈值划分出“低噪组”和“高噪组”;
S3,搭建神经网络,包括降噪子模块和合成子模块;所述降噪子模块为基于残差学习的卷积神经网络,所述合成子模块为基于风格迁移的卷积神经网络;
S4,生成对抗式模型训练,具体如下:
S41,预训练生成器网络,对S3中两个网络分别进行监督式训练;
S42,数据重建,降噪子模块输入为“低噪组”小波系数,输出为去噪后的“低噪组”小波包系数,合成子模块输入为“低噪组”小波系数和原始图像数据,输出为合成后的对应“高噪组”数据的小波包系数,对降噪子模块的输出和合成子模块的“高噪组”输出进行小波包反变换,共同重建原始图像数据;
S43,搭建判别器网络,将重建后的原始图像数据输入判别器网络,联合生成器网络,训练生成对抗式模型,基于训练后的生成器模型重建图像数据,即为去噪后的图像。
2.根据权利要求1所述的基于小波高频通道合成的图像去噪方法,其特征在于,步骤S1中,图像预处理包括数据规范化、数据增强和数据标准化;
所述数据规范化:使用统一的图片编码格式规范化原始数据和对应真值数据;
所述数据增强:使用裁剪插值、旋转、平移方式扩充数据库;
所述数据标准化:使用标准化方法统一数据量纲。
3.根据权利要求1所述的基于小波高频通道合成的图像去噪方法,其特征在于,步骤S2中,经小波包分解后的原始图像数据及其真值将通过计算信噪比,并根据经验设定信噪比阈值,划分成“低噪组”和“高噪组”;将原始带噪图像的“低噪组”小波系数按通道拼接,作为后续降噪子模块和合成子模块的输入,将真值图像对应的“低噪组”和“高噪组”小波包系数按通道拼接,分别作为后续降噪子模块和合成子模块的监督训练真值。
4.根据权利要求1所述的基于小波高频通道合成的图像去噪方法,其特征在于,步骤S3中,基于残差学习的卷积神经网络用于“低噪组”小波包系数的去噪;此网络包括若干卷积层、激活层、批归一层及若干残差连接,其中必定包含一条首尾残差连接,令网络的优化目标为图像残差。
5.根据权利要求1所述的基于小波高频通道合成的图像去噪方法,其特征在于,步骤S3中,基于风格迁移的卷积神经网络用于“高噪组”小波包系数的合成;此网络包括基于U-net的重建网络、隐变量网络和仿射变换层;其中,U-net神经网络包括若干组对应的编码器和解码器,对应编码器和解码器之间使用跳层连接,拼接多尺度特征图;隐变量网络包含若干卷积层、池化层、批归一层、激活层;仿射变换层以矩阵乘法和矩阵加法的形式,将隐变量层生成的特征图变换到U-net解码器中;基于风格迁移的卷积神经网络的输入为“低噪组”小波包系数,隐变量网络输入为原始图像,最终输出为合成后的对应“高噪组”的小波包系数。
6.根据权利要求1所述的基于小波高频通道合成的图像去噪方法,其特征在于,步骤S41中,将“低噪组”小波包系数分别前向传播通过降噪子模块和合成子模块网络,分别得到神经网络预测值,根据预测值和对应的真值计算损失函数,利用损失函数,进行反向传播得到梯度,采用梯度下降法更新网络权值,通过多次迭代优化两个神经网络,直到神经网络收敛。
7.根据权利要求1所述的基于小波高频通道合成的图像去噪方法,其特征在于,步骤S43中,搭建基于卷积神经网络的判别器,网络包含若干卷积层、批归一层、池化层和激活层;判别网络的输入为经小波重建后的图像,输出为一维概率∈[0,1]。
8.根据权利要求1所述的基于小波高频通道合成的图像去噪方法,其特征在于,所述S43中,将S42中重建的数据置负标签,真值图像置正标签,并一起作为训练集前向传播到判别器中,输出的损失函数分别在降噪子模块和合成子模块中反向传播,利用随机梯度下降方法优化两个生成器网络;在反复迭代优化中,生成网络和判别网络的损失函数达到动态平衡,训练完毕。
9.一种基于小波高频通道合成的图像去噪装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,用于实现如权利要求1-8中任一项所述的基于小波高频通道合成的图像去噪方法的步骤。
10.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时,实现如权利要求1-8中任一项所述的基于小波高频通道合成的图像去噪方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211414188.5A CN115456918B (zh) | 2022-11-11 | 2022-11-11 | 一种基于小波高频通道合成的图像去噪方法及装置 |
US18/489,876 US20240161251A1 (en) | 2022-11-11 | 2023-10-19 | Image denoising method and apparatus based on wavelet high-frequency channel synthesis |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211414188.5A CN115456918B (zh) | 2022-11-11 | 2022-11-11 | 一种基于小波高频通道合成的图像去噪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115456918A CN115456918A (zh) | 2022-12-09 |
CN115456918B true CN115456918B (zh) | 2023-03-24 |
Family
ID=84295775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211414188.5A Active CN115456918B (zh) | 2022-11-11 | 2022-11-11 | 一种基于小波高频通道合成的图像去噪方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240161251A1 (zh) |
CN (1) | CN115456918B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115861042B (zh) * | 2023-02-08 | 2023-07-21 | 荣耀终端有限公司 | 一种图像处理方法、电子设备及介质 |
CN117593611B (zh) * | 2024-01-19 | 2024-05-17 | 荣耀终端有限公司 | 模型训练方法、图像重建方法、装置、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256536A (zh) * | 2021-06-18 | 2021-08-13 | 之江实验室 | 一种基于小波分析的超高维数据重建深度学习方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008067479A1 (en) * | 2006-11-29 | 2008-06-05 | President And Fellows Of Harvard College | A framework for wavelet-based analysis and processing of color filter array images with applications to denoising and demosaicing |
US20130022288A1 (en) * | 2011-07-20 | 2013-01-24 | Sony Corporation | Image processing apparatus and method for reducing edge-induced artefacts |
CN104751477A (zh) * | 2015-04-17 | 2015-07-01 | 薛笑荣 | 基于空间域和频域特征的并行sar图像分类方法 |
JP7303661B2 (ja) * | 2019-05-08 | 2023-07-05 | 日本放送協会 | 画像処理装置及びプログラム |
-
2022
- 2022-11-11 CN CN202211414188.5A patent/CN115456918B/zh active Active
-
2023
- 2023-10-19 US US18/489,876 patent/US20240161251A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113256536A (zh) * | 2021-06-18 | 2021-08-13 | 之江实验室 | 一种基于小波分析的超高维数据重建深度学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115456918A (zh) | 2022-12-09 |
US20240161251A1 (en) | 2024-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Efficient long-range attention network for image super-resolution | |
Yang et al. | Deep learning for single image super-resolution: A brief review | |
Ilesanmi et al. | Methods for image denoising using convolutional neural network: a review | |
Bai et al. | Deep learning methods for solving linear inverse problems: Research directions and paradigms | |
CN115456918B (zh) | 一种基于小波高频通道合成的图像去噪方法及装置 | |
Zuo et al. | Convolutional neural networks for image denoising and restoration | |
Wen et al. | Image recovery via transform learning and low-rank modeling: The power of complementary regularizers | |
Couturier et al. | Image denoising using a deep encoder-decoder network with skip connections | |
CN111583285A (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
Gendy et al. | Lightweight image super-resolution based on deep learning: State-of-the-art and future directions | |
Chaurasiya et al. | Deep dilated CNN based image denoising | |
Xu et al. | Deep sparse representation based image restoration with denoising prior | |
CN116071300A (zh) | 一种基于上下文特征融合的细胞核分割方法及相关设备 | |
Lensink et al. | Fully hyperbolic convolutional neural networks | |
CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
US20220164927A1 (en) | Method and system of statistical image restoration for low-dose ct image using deep learning | |
CN115293966A (zh) | 一种人脸图像重建方法、装置以及存储介质 | |
Khowaja et al. | Cascaded and Recursive ConvNets (CRCNN): An effective and flexible approach for image denoising | |
Lyu et al. | NSTBNet: Toward a nonsubsampled shearlet transform for broad convolutional neural network image denoising | |
Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
CN114037770A (zh) | 一种基于离散傅里叶变换的注意力机制的图像生成方法 | |
Lian et al. | LG-Net: Local and global complementary priors induced multi-stage progressive network for compressed sensing | |
Barzegar et al. | Super-resolution using lightweight detailnet network | |
Bricman et al. | CocoNet: A deep neural network for mapping pixel coordinates to color values | |
CN116977343A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |