CN114387173A - 一种oct图像降噪方法、电子设备及存储介质 - Google Patents
一种oct图像降噪方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114387173A CN114387173A CN202111462231.0A CN202111462231A CN114387173A CN 114387173 A CN114387173 A CN 114387173A CN 202111462231 A CN202111462231 A CN 202111462231A CN 114387173 A CN114387173 A CN 114387173A
- Authority
- CN
- China
- Prior art keywords
- noise
- wavelet
- image
- oct image
- wavelet coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009467 reduction Effects 0.000 title claims description 41
- 238000003062 neural network model Methods 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 50
- 238000001914 filtration Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 abstract description 7
- 230000003902 lesion Effects 0.000 abstract description 6
- 210000004204 blood vessel Anatomy 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000012014 optical coherence tomography Methods 0.000 description 68
- 230000006870 function Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 230000014616 translation Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 201000007527 Retinal artery occlusion Diseases 0.000 description 1
- 208000014139 Retinal vascular disease Diseases 0.000 description 1
- 206010046851 Uveitis Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 208000004644 retinal vein occlusion Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000004127 vitreous body Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种OCT图像降噪方法、电子设备及存储介质,方法从OCT图像特征出发,将小波域降噪和深度学习降噪结合,融合神经网络降噪和小波降噪优点,使得能在充分保留血管和病变区信号的同时,对图像中的高斯噪声和散斑噪声均有良好的降噪效果。本发明主要用于眼科图像处理技术领域。
Description
技术领域
本发明涉及眼科图像处理领域,具体涉及一种OCT图像降噪方法、电子设备及存储介质。
背景技术
OCT(光学相干断层扫描)图像已被用于一系列视网膜血管疾病的评估,包括糖尿病视网膜病变、视网膜静脉阻塞、葡萄膜炎、视网膜动脉阻塞和年龄相关性黄斑变性等。高质量的图像对疾病的诊断有重要意义。
在OCT图像测量过程中,不可避免的存在各种噪声,传统的方法可以分为空间域滤波方法和变换域滤波方法,空间域滤波方法大多是通过直接作用于图像本身的像素灰度值达到图像降噪效果。如通过使用低通滤波器,中值滤波器,均值滤波器等来降低OCT图像中的噪声,这些基于滤波器的方法在一定程度上可以抑制散斑噪声,但也造成了图像细节的损失,降低了图像的分辨率。近来被广泛应用的基于深度学习的神经网络方法也属于空间域方法。基于变换域滤波方法大多是对空间域图像使用信号分析算法得到图像的变换域信息,然后利用信号和噪声在变换域中表现出的不同特征进行区分,从而有效地降低噪声对图像的影响。如小波变换、傅里叶变换、稀疏表示等。
由于OCT图像中的噪声特性受其投射组织的性质影响,因此呈现出一定的空间分布规律。如在视网膜(前景)中的噪声分布模式与在玻璃体(背景)中的分布有较大的差异,适用的降噪方法也不同,单一的空间域或变换域降噪很难达到较好的效果,然而,目前各种降噪的方法大都忽略了这种差异,对不同组织区域均采取同样的处理方式,未能最大限度降噪。
在OCT图像中,血流区域和病变区域对疾病的诊断非常关键,而这些区域通常对应于图像中灰度值较高的区域,如果仅通过空间域降噪,很难不影响到血管或病变区域成像效果。因此亟需找到一种降噪方法,在有效去除噪声同时,能够较好的保留血流区域和病变区域的信号。
发明内容
本发明目的之一在于提供一种OCT图像降噪方法、电子设备及存储介质,将变换域降噪和空间域降噪进行融合,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
为了实现上述目的,本发明提供以下技术方案:获取待测对象的OCT图像,记为第一OCT图像;
将第一OCT图像输入第一神经网络模型得到第一降噪图像;其中,所述第一神经网络模型是通过双树复小波变换降噪算法事先训练得到的;
将第一OCT图像输入第二神经网络模型,得到噪声分布特征;将第一OCT图像输入第三神经网络模型,在第三神经网络模型中,以所述噪声分布特征作为先验知识进行降噪,得到第二降噪图像;
将所述第一降噪图像和第二降噪图像进行融合,得到所述第二OCT图像。
进一步,所述第一神经网络模型是基于以下步骤得到:获取多个样本OCT图像,对所述样本OCT图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCT图像,以样本OCT图像和降噪样本OCT图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第一神经网络模型;
其中,对所述样本OCT图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCT图像具体包括:
将样本OCT图像进行双树复小波变换将图像数据转化成小波域,设定小波分解尺度为4,得到4个小波尺度层,其中,每一个小波尺度层包括六个高频小波系数子带和两个低频小波系数子带;
对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波,将滤波后的高频小波系数子带与低频小波系数子带进行小波重构,得到降噪样本OCT图像。
进一步,对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波具体包括:计算高频小波系数子带的噪声小波系数的方差估计,计算高频小波系数子带的信号小波系数的方差估计,将所述噪声小波系数的方差估计和信号小波系数的方差估计代入双变量收缩贝叶斯阈值模型得到噪声滤波后的高频小波系数子带的小波系数。
进一步,所述计算高频小波系数子带的噪声小波系数的方差估计具体包括:将高频小波系数子带的小波系数值进行排序,取排序后的中间值除以0.6475所得到的值作为噪声小波系数的方差估计。
进一步,所述计算高频小波系数子带的方差估计具体包括:采用自适应噪声方差估计方法进行计算,具体通过公式:
式中,σn表示高频小波系数子带的噪声小波系数的方差估计,ws代表当前子带的小波系数,T为自适应参数,N表示子带中小波系数的总数。
进一步,所述计算高频小波系数子带的信号小波系数的方差估计具体包括:利用公式进行计算,其中,σ表示高频小波系数子带的信号小波系数的方差估计,σy为邻域内小波系数的方差,可利用公式进行计算,M代表当前邻域N(k)的大小。
进一步,所述双变量收缩贝叶斯阈值模型包括:
本发明的另一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的一种OCT图像降噪方法的步骤。
本发明的再一方面,还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的一种OCT图像降噪方法的步骤。
本发明的有益效果为:本发明的OCT图像降噪方法,从OCT图像特征出发,将小波域降噪和深度学习降噪结合,融合神经网络降噪和小波降噪优点,使得能在充分保留血管和病变区信号的同时,对图像中的高斯噪声和散斑噪声均有良好的降噪效果。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本发明的上述以及其他特征将更加明显,本发明附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1为OCT图像降噪方法的步骤流程示意图;
图2为第一神经网络模型的训练流程示意图;
图3为本发明实施例的双树复小波降噪的流程示意图;
图4为本发明实施例的残差Res-Unet神经网络结构示意图;
图5为本发明实施例的注意力机制模块结构示意图;
图6为本发明实施例的电子设备结构示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
参考图1,本申请提出的OCT图像降噪方法流程包括:
S100,获取待测对象的OCT图像,记为第一OCT图像;
OCT图像可以通过现有的已知的商用或者实验室搭建样机获取,不限类型,可以是时域OCT、频域OCT、谱域OCT和/或扫描源OCT中的任意一种,也可以是添加了自适应光学系统的OCT系统。
S200,将第一OCT图像输入第一神经网络模型得到第一降噪图像;其中,所述第一神经网络模型是通过双树复小波变换降噪算法事先训练得到的。
在一个可选的实施例中,参考图2,图2为第一神经网络模型的训练流程示意图。
所述第一神经网络模型是基于以下步骤得到:
获取多个样本OCT图像,对所述样本OCT图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCT图像,以样本OCT图像和降噪样本OCT图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第一神经网络模型。
当第一神经网络模型生成后,就可以实时将大量的OCT图像输入到第一神经网络模型中进行处理,从而可以批量化得到第一降噪图像。提升了图像转换的效率。
其中,对所述样本OCT图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCT图像具体包括:
参考图3,将样本OCT图像进行双树复小波变换将图像数据转化成小波域,设定小波分解尺度为4,得到4个小波尺度层,其中,每一个小波尺度层包括六个高频小波系数子带和两个低频小波系数子带;
对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波,将滤波后的高频小波系数子带与低频小波系数子带进行小波重构,得到降噪样本OCT图像。
小波变换是一种能保留高能量信号同时消除噪声的有效方式。而这些高能量信号通常就对应的病变区域或者血流区域,因此将时域图像转换到变换域进行图像分析的小波变换方法将更有利于保留血管细节。
双树复小波变换,不仅保持了小波变换的时频局部化分析能力等优点,还具有以下两种特性:
1)平移不变性:平移不变性是指小波系数随信号的平移而平移。双树复小波变换具有平移不变性,意味着信号的微小平移不会导致各尺度上能量的大幅变化。
2)多方向选择性:小波变换在每一个小波尺度仅能分解出三个方向(水平、竖直和对角方向)。当图像纹理和边界是连续曲线时,这种分解方向的局限性会导致小波分析很难反映出图像在不同分辨率上的变化情况。而双树复小波变换具有在每一个小波尺度下分解出六个方向的能力(15°、45°、75°、
-75°、-45°、-15),能有效的解决上述局限性。
因此,本方案中采用双树复小波变换。利用双树复小波变换降噪算法对OCT图像进行降噪。具体的,首先对OCT图像使用双树复小波变换将图像数据转化到小波域,根据所设定的小波分解尺度会得到对应数量的多分辨率尺度层,在小波域中,分辨率每提升一层对应小波系数的信息量就会减少4倍,并且对于符合该方向特征分布的小波系数,其小波系数幅度值将会增加。含噪图像随着分辨率层的增加,具有方向性特征信号的小波系数值会越来越大,而随机分布的噪声所对应的小波系数值变化远小于信号。通过阈值的形式就可以将信号与噪声分离,达到图像降噪的效果。
用σn表示高频小波系数子带的噪声小波系数的方差估计,其代表着当前小波子带中信号与噪声能量的分界线,σn的取值过高会使得信号被视为噪声滤除,σn的取值过低会减弱算法的降噪能力。
在一些优选的实施例中,可以采用如固定阈值法进行计算,将小波系数值进行排序,取排序后的中间值除以0.6475所得到的值作为噪声小波系数的方差估计。
对于眼底图像,由于受被采集者眼部真实情况的影响,OCT图像中的信号与噪声能量基本不会是固定比例。因此,在优选的实施例中,采用自适应噪声方差估计方法进行计算,具体公式如下:
式中,σn表示各子带噪声小波系数的方差估计,ws代表当前子带的小波系数,T为自适应参数,N表示子带中小波系数的总数。
用σ表示高频小波系数子带的信号小波系数的方差估计,利用公式进行计算,其中,σy为邻域内小波系数的方差,可利用公式进行计算,M代表当前邻域N(k)的大小。在信号小波系数的计算中引入σ的计算引入邻域范围内的均值,可以防止极端点对降噪效果的影响。
在小波域中,分辨率每提升一层对应小波系数的信息量就会减少4倍,并且对于符合该方向特征分布的小波系数,其小波系数幅度值将会增加。这种特性应用于图像降噪领域时,含噪图像随着分辨率层的增加,具有方向性特征信号的小波系数值会越来越大,而随机分布的噪声所对应的小波系数值变化远小于信号。在小波域,通过阈值的形式就可以将信号与噪声分离,达到图像降噪的效果。可以采用固定阈值、最小最大准则、贝叶斯阈值等方法。
在计算完毕高频小波系数子带的噪声小波系数的方差估计和信号小波系数的方差估计后,则可以通过双变量收缩贝叶斯阈值模型得到滤波后的高频小波系数子带的小波系数。
采用双变量收缩贝叶斯阈值模型,其计算公式为:
S300,将第一OCT图像输入第二神经网络模型,得到噪声分布特征;将第一OCT图像输入第三神经网络模型,在第三神经网络模型中,以所述噪声分布特征作为先验知识进行降噪,得到第二降噪图像;
所述第二神经网络模型是基于以下步骤得到:
获取多个样本OCT图像,对所述样本OCT图像进行基于噪声分布特征提取模型进行噪声分布特征的提取,得到样本噪声分布特征图像,
以样本OCT图像和样本噪声分布特征图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第二神经网络模型。
当第二神经网络模型生成后,就可以实时将大量的OCT图像输入到第二神经网络模型中进行处理,从而可以批量化得到噪声分布特征图。提升了图像转换的效率。
第三神经网络模型是基于以下步骤得到:
获取多个样本OCT图像,对所述样本OCT图像进行基于噪声分布特征降噪模型得到样本噪声分布特征降噪OCT图像。其中,基于噪声分布特征降噪模型指的是通过噪声分布特征图作为先验知识的降噪算法模型。
以样本OCT图像和样本噪声分布特征降噪OCT图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第三神经网络模型。
当第三神经网络模型生成后,就可以实时将大量的OCT图像输入到第三神经网络模型中进行处理,从而可以批量化得到第二降噪图像。提升了图像转换的效率。
在一些优选的实施例中,所述噪声分布特征包括:高斯噪声、瑞利噪声、伽马噪声、指数噪声、均匀噪声、椒盐噪声或者周期噪声。
本发明实施例中,第一,第二和第三神经网络模型的结构为全卷积网络。进一步的,该全卷积网络可以是不带短连接的全卷积网络,也可以是带有短连接的全卷积网络,本发明实施例不做限定。神经网络模型中包括短连接、跨网络短连接、上采样和下采样等多种形式的连接。可选的,卷积单元之间有短连接相连接,该短连接有助于梯度传播,使得神经网络模型更容易训练。可选的,编码层和解码层之间有短连接相连接。
可选的,神经网络模型的内部组成单元包括编码层和解码层。可选的,编码层和解码层可以是一个,也可以是多个,本发明实施例不做限定。进一步的,编码层和解码层包括若干个卷积单元。
可选地,所述第一神经网络模型为残差Res-Unet神经网络。
可选地,所述第二神经网络模型为残差Res-Unet神经网络,所述第三神经网络模型为添加有注意力机制模块的残差Res-Unet神经网络,添加注意力集中模块可以更好地利用目标对象区域中的信息,并从中聚合特征,提高对视网膜结构的关注度,提高图像的降噪效果。
可选的,卷积单元包括卷积层、归一化层和激活层。进一步的,卷积层可以是卷积核大小为3x3的卷积层,也可以是卷积核大小为5x5的卷积层,还可以是既包含3x3大小的卷积核,又包含5x5大小的卷积核的卷积层,本发明实施例不做限定。进一步的,归一化层包括批归一化层,或者,实例归一化层,或者,空缺的归一化层。进一步的,激活层包括ReLU函数,或者,PreLU函数,或者,LeakyReLU函数,或者,其他现有技术中已知的激活函数。
可选的,卷积单元包括卷积层和激活层,不具有归一化层,因为归一化层会忽略图像像素(或者特征)之间的绝对差异,破坏图像原本的对比度信息。而且归一化层对特征进行归一化,消除了网络的范围灵活性。另外,放弃归一化层,GPU的内存使用量也得到了充分的降低,可以加快图像处理速度。
在一个优选的实施例中,如图4所示,本发明方案中的残差Res-Unet神经网络包含3个下采样和3个上采样模块,其中每个残差卷积块由两个3x3卷积,一个激活函数PReLu组成,且不具有归一化层。
在一个优选的实施例中,第三神经网络模型中添加的注意力集中模块为结合了通道和空间的注意力机制模块。如图5所示。通道注意力模块首先将输入的特征图F(HxWxC),分别经过全局平均池化和全局最大池化,得到两个特征图(1x1xC),接着再将它们分别送入一个两层的神经网络(MLP),第一层神经元个数为C/r(r为减少率),激活函数为Relu,第二层神经元个数为C,这个两层的神经网络是共享的。而后将MLP输出的特征进行基于逐元素相加,再经过sigmoid激活操作,生成最终的通道注意力特征Fc,最后将Fc和输入特征图逐元素相乘,生成空间注意力模块需要的输入特征Fc’。空间注意力模块的输入为注意力模块输出特征图Fc’,首先对Fc’做基于通道的全局最大池化和平均池化,得到两个HxWx1的特征图,然后把两个特征图通道拼接,经过一个大小为7x7的卷积层,得到HxWx1的特征图,经过sigmoid激活操作,生成空间注意力特征Fs,最后将Fs和输入特征图Fc’逐元素相乘,得到最终生成的特征Fs’。
可选的,本发明的神经网络模型的损失函数可以是平均绝对误差损失函数,边缘损失函数等已知损失函数,优选地,第一神经网络模型和第二神经网膜模型采用平均绝对误差损失函数,第三神经网络模型采用边缘损失函数。
可选的,第二神经网络模型的输入图像和第三神经网络模型的输出图像的图像尺寸是相同的。
S400,将所述第一降噪图像和第二降噪图像进行融合,得到所述第二OCT图像。
在本发明一个实施例中,通过直接平均将所述第一降噪图像和第二降噪图像进行融合,得到所述第二OCT图像;
进一步地,也可以通过加权平均实现融合。
参考图6,本发明的另一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的一种OCT图像降噪方法的步骤。
本发明的再一方面,还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的一种OCT图像降噪方法的步骤。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本发明的预定范围。此外,上文以发明人可预见的实施例对本发明进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
Claims (10)
1.一种OCT图像降噪方法,其特征在于,包括如下步骤:获取待测对象的OCT图像,记为第一OCT图像;
将第一OCT图像输入第一神经网络模型得到第一降噪图像;其中,所述第一神经网络模型是通过双树复小波变换降噪算法事先训练得到的;
将第一OCT图像输入第二神经网络模型,得到噪声分布特征;将第一OCT图像输入第三神经网络模型,在第三神经网络模型中,以所述噪声分布特征作为先验知识进行降噪,得到第二降噪图像;
将所述第一降噪图像和第二降噪图像进行融合,得到第二OCT图像。
2.根据权利要求1所述的一种OCT图像降噪方法,其特征在于,所述第一神经网络模型是基于以下步骤得到:
获取多个样本OCT图像,对所述样本OCT图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCT图像,以样本OCT图像和降噪样本OCT图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第一神经网络模型;
其中,对所述样本OCT图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCT图像具体包括:
将样本OCT图像进行双树复小波变换将图像数据转化成小波域,设定小波分解尺度为4,得到4个小波尺度层,其中,每一个小波尺度层包括六个高频小波系数子带和两个低频小波系数子带;
对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波,将滤波后的高频小波系数子带与低频小波系数子带进行小波重构,得到降噪样本OCT图像。
3.根据权利要求2所述的一种OCT图像降噪方法,其特征在于,对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波具体包括:计算高频小波系数子带的噪声小波系数的方差估计,计算高频小波系数子带的信号小波系数的方差估计,将所述噪声小波系数的方差估计和信号小波系数的方差估计代入双变量收缩贝叶斯阈值模型得到噪声滤波后的高频小波系数子带的小波系数。
4.根据权利要求3所述的一种OCT图像降噪方法,其特征在于,所述计算高频小波系数子带的噪声小波系数的方差估计具体包括:将高频小波系数子带的小波系数值进行排序,取排序后的中间值除以0.6475所得到的值作为噪声小波系数的方差估计。
8.根据权利要求1所述的一种OCT图像降噪方法,其特征在于,所述噪声分布特征包括:高斯噪声、瑞利噪声、伽马噪声、指数噪声、均匀噪声、椒盐噪声或者周期噪声。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述的一种OCT图像降噪方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至8任一项所述的一种OCT图像降噪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111462231.0A CN114387173A (zh) | 2021-12-02 | 2021-12-02 | 一种oct图像降噪方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111462231.0A CN114387173A (zh) | 2021-12-02 | 2021-12-02 | 一种oct图像降噪方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114387173A true CN114387173A (zh) | 2022-04-22 |
Family
ID=81195659
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111462231.0A Pending CN114387173A (zh) | 2021-12-02 | 2021-12-02 | 一种oct图像降噪方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387173A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115880310A (zh) * | 2023-03-03 | 2023-03-31 | 北京心联光电科技有限公司 | 一种视网膜oct断层分割方法、装置及设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090324117A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Image denoising techniques |
CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
CN111696061A (zh) * | 2020-06-12 | 2020-09-22 | 荆门汇易佳信息科技有限公司 | 空间域与变换域相融合的噪声图像重构方法 |
CN113034374A (zh) * | 2019-12-24 | 2021-06-25 | 广东唯仁医疗科技有限公司 | 一种oct图像自适应噪声估计方法及系统 |
CN113362250A (zh) * | 2021-06-25 | 2021-09-07 | 南昌航空大学 | 一种基于双树四元小波与深度学习的图像去噪方法及系统 |
CN113538277A (zh) * | 2021-07-16 | 2021-10-22 | 唯智医疗科技(佛山)有限公司 | 一种基于神经网络的断层扫描图降噪方法及装置 |
-
2021
- 2021-12-02 CN CN202111462231.0A patent/CN114387173A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090324117A1 (en) * | 2008-06-27 | 2009-12-31 | Microsoft Corporation | Image denoising techniques |
CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
CN113034374A (zh) * | 2019-12-24 | 2021-06-25 | 广东唯仁医疗科技有限公司 | 一种oct图像自适应噪声估计方法及系统 |
CN111696061A (zh) * | 2020-06-12 | 2020-09-22 | 荆门汇易佳信息科技有限公司 | 空间域与变换域相融合的噪声图像重构方法 |
CN113362250A (zh) * | 2021-06-25 | 2021-09-07 | 南昌航空大学 | 一种基于双树四元小波与深度学习的图像去噪方法及系统 |
CN113538277A (zh) * | 2021-07-16 | 2021-10-22 | 唯智医疗科技(佛山)有限公司 | 一种基于神经网络的断层扫描图降噪方法及装置 |
Non-Patent Citations (1)
Title |
---|
崔艳萌: "基于空间域和变换域的图像降噪方法研究", 《通讯世界》, 25 May 2016 (2016-05-25), pages 287 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115880310A (zh) * | 2023-03-03 | 2023-03-31 | 北京心联光电科技有限公司 | 一种视网膜oct断层分割方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110390650B (zh) | 基于密集连接和生成对抗网络的oct图像去噪方法 | |
Yu et al. | Ultrasound speckle reduction by a SUSAN-controlled anisotropic diffusion method | |
Coupé et al. | Bayesian non local means-based speckle filtering | |
Soomro et al. | Role of image contrast enhancement technique for ophthalmologist as diagnostic tool for diabetic retinopathy | |
CN107403416B (zh) | 基于nsct的改进滤波与阈值函数的医学超声图像去噪方法 | |
CN103955894B (zh) | 一种量子启发的医学超声图像去斑方法 | |
Aksam Iftikhar et al. | Robust brain MRI denoising and segmentation using enhanced non‐local means algorithm | |
Farouj et al. | Hyperbolic Wavelet-Fisz denoising for a model arising in Ultrasound Imaging | |
Khan et al. | Experimental evaluation of filters used for removing speckle noise and enhancing ultrasound image quality | |
Anoop et al. | A cascaded convolutional neural network architecture for despeckling OCT images | |
Khan et al. | MRI imaging, comparison of MRI with other modalities, noise in MRI images and machine learning techniques for noise removal: a review | |
CN109087266A (zh) | 一种结合双边滤波的图像散斑迭代减少方法 | |
Liu et al. | Speckle noise reduction for medical ultrasound images based on cycle-consistent generative adversarial network | |
Choubey et al. | A hybrid filtering technique in medical image denoising: Blending of neural network and fuzzy inference | |
Lee et al. | Speckle reduction via deep content-aware image prior for precise breast tumor segmentation in an ultrasound image | |
CN109389567B (zh) | 一种快速光学成像数据的稀疏滤波方法 | |
Raj et al. | Ultrasound medical image denoising using hybrid bilateral filtering | |
CN114387173A (zh) | 一种oct图像降噪方法、电子设备及存储介质 | |
Bansal et al. | A proposed approach for biomedical image denoising using PCA_NLM | |
CN117115452B (zh) | 可控的医学超声图像去噪方法、系统及计算机存储介质 | |
Uddin et al. | Speckle reduction and deblurring of ultrasound images using artificial neural network | |
Kushwaha et al. | Optimization of the proposed hybrid denoising technique to overcome over-filtering issue | |
Karthiha et al. | Speckle Noise Suppression in Ultrasound Images Using Modular Neural Networks. | |
CN113034374A (zh) | 一种oct图像自适应噪声估计方法及系统 | |
Beevi et al. | Denoising transthoracic echocardiographic images in regional wall motion abnormality using deep learning techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |