CN114387174A - 一种octa图像降噪方法、电子设备及存储介质 - Google Patents
一种octa图像降噪方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114387174A CN114387174A CN202111462732.9A CN202111462732A CN114387174A CN 114387174 A CN114387174 A CN 114387174A CN 202111462732 A CN202111462732 A CN 202111462732A CN 114387174 A CN114387174 A CN 114387174A
- Authority
- CN
- China
- Prior art keywords
- image
- noise
- wavelet
- octa
- wavelet coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- FCKYPQBAHLOOJQ-UHFFFAOYSA-N Cyclohexane-1,2-diaminetetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)C1CCCCC1N(CC(O)=O)CC(O)=O FCKYPQBAHLOOJQ-UHFFFAOYSA-N 0.000 title claims abstract 30
- 238000003062 neural network model Methods 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 51
- 230000009467 reduction Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000017531 blood circulation Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 150000003839 salts Chemical class 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 8
- 210000004204 blood vessel Anatomy 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000003902 lesion Effects 0.000 abstract description 3
- 238000012014 optical coherence tomography Methods 0.000 description 89
- 230000006870 function Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 230000014616 translation Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 208000009857 Microaneurysm Diseases 0.000 description 1
- 201000007527 Retinal artery occlusion Diseases 0.000 description 1
- 208000017442 Retinal disease Diseases 0.000 description 1
- 208000014139 Retinal vascular disease Diseases 0.000 description 1
- 206010043189 Telangiectasia Diseases 0.000 description 1
- 206010046851 Uveitis Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 208000004644 retinal vein occlusion Diseases 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 208000009056 telangiectasis Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种OCTA图像降噪方法、电子设备及存储介质,方法从OCTA图像特征出发,将小波域降噪和深度学习降噪结合,融合神经网络降噪和小波降噪优点,使得能在充分保留血管和病变区信号的同时,对图像中的高斯噪声和散斑噪声均有良好的降噪效果。本发明主要用于眼科图像处理技术领域。
Description
技术领域
本发明涉及眼科图像处理领域,具体涉及一种OCTA图像降噪方法、电子设备及存储介质。
背景技术
从OCTA(光学相干断层扫描血管造影术)图像可以分析出多种医学临床视网膜疾病,如黄斑毛细血管扩张、灌注受损、微动脉瘤、毛细血管重塑等,因此OCTA已被用于一系列视网膜血管疾病的评估,包括糖尿病视网膜病变、视网膜静脉阻塞、葡萄膜炎、视网膜动脉阻塞和年龄相关性黄斑变性等。高质量的图像对疾病的诊断有重要意义。
在OCTA图像测量过程中,不可避免的存在各种噪声,传统的方法多采用基于滤波器的降噪方法,通过使用低通滤波器,中值滤波器,均值滤波器等来降低图像中的噪声,这些基于滤波器的方法在一定程度上可以抑制散斑噪声,但也造成了图像细节的损失,降低了图像的分辨率。目前深度学习方法也被广泛应用于图像降噪,人们尝试用各种神经网络进行OCTA图像降噪。如佳能使用OCTA平均值图像作为训练数据,对单次扫描图像进行降噪处理,区别噪声元素与信号元素,消除图像中的噪声元素并生成可视化血管细微部分信息,从而在大幅缩短检查时间的情况下获得与多次叠加生成的OCTA平均值相同质量的影像。
由于OCTA图像中的噪声特性受其投射组织的性质影响,因此呈现出一定的空间分布规律。如在视网膜(前景)中的噪声分布模式与在玻璃体(背景)中的分布有较大的差异。然而,目前各种降噪的方法大都忽略了这种差异,对不同组织区域均采取同样的处理方式,未能最大限度降噪。而且对于OCTA图像,图像中具有大面积的血流区域,而血流区域常对应于图像中灰度值较高的区域,如果仅通过时域降噪,很难不影响到血管区域成像效果,而且OCTA相比于OCT技术有着对同一截面多次重复扫描的需求。由此造成的图像采集时间延长会增加人眼抖动导致的噪声干扰。所以OCTA图像的降噪要求更高,单一方式的降噪很难达到很好的效果。
发明内容
本发明目的之一在于提供一种OCTA图像降噪方法、电子设备及存储介质,将变换域降噪和空间域降噪进行融合,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
为了实现上述目的,本发明提供以下技术方案:一种OCTA图像降噪方法,包括如下步骤:获取待测对象的多帧OCT图像,记为第一OCT图像;
将所述第一OCT图像通过OMAG算法提取第一OCT图像中的血流信号获得OCTA图像,记为第一OCTA图像;
将第一OCTA图像输入第一神经网络模型得到第一降噪图像;其中,所述第一神经网络模型是通过双树复小波变换降噪算法事先训练得到的;
将第一OCTA图像输入第二神经网络模型,得到噪声分布特征;将第一OCTA图像输入第三神经网络模型,在第三神经网络模型中,以所述噪声分布特征作为先验知识进行降噪,得到第二降噪图像;
将所述第一降噪图像和第二降噪图像进行融合,得到第二OCTA图像;
将第二OCTA图像进行A扫描的最大强度投影,得到En-face OCTA图像。
进一步,所述第一神经网络模型是基于以下步骤得到:获取多个样本OCTA图像,对所述样本OCTA图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCTA图像,以样本OCTA图像和降噪样本OCTA图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第一神经网络模型;
其中,对所述样本OCTA图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCTA图像具体包括:
将样本OCTA图像进行双树复小波变换将图像数据转化成小波域,设定小波分解尺度为4,得到4个小波尺度层,其中,每一个小波尺度层包括六个高频小波系数子带和两个低频小波系数子带;
对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波,将滤波后的高频小波系数子带与低频小波系数子带进行小波重构,得到降噪样本OCTA图像。
进一步,对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波具体包括:计算高频小波系数子带的噪声小波系数的方差估计,计算高频小波系数子带的信号小波系数的方差估计,将所述噪声小波系数的方差估计和信号小波系数的方差估计代入双变量收缩贝叶斯阈值模型得到噪声滤波后的高频小波系数子带的小波系数。
进一步,所述计算高频小波系数子带的噪声小波系数的方差估计具体包括:将高频小波系数子带的小波系数值进行排序,取排序后的中间值除以0.6475所得到的值作为噪声小波系数的方差估计。
进一步,所述计算高频小波系数子带的方差估计具体包括:采用自适应噪声方差估计方法进行计算,具体通过公式:
式中,σn表示高频小波系数子带的噪声小波系数的方差估计,ws代表当前子带的小波系数,T为自适应参数,N表示子带中小波系数的总数。
进一步,所述计算高频小波系数子带的信号小波系数的方差估计具体包括:利用公式进行计算,其中,σ表示高频小波系数子带的信号小波系数的方差估计,σy为邻域内小波系数的方差,可利用公式进行计算,M代表当前邻域N(k)的大小。
进一步,所述双变量收缩贝叶斯阈值模型包括:
本发明的另一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的一种OCTA图像降噪方法的步骤。
本发明的再一方面,还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的一种OCTA图像降噪方法的步骤。
本发明的有益效果为:本发明的OCTA图像降噪方法,从OCTA图像特征出发,将小波域降噪和深度学习降噪结合,融合神经网络降噪和小波降噪优点,使得能在充分保留血管和病变区信号的同时,对图像中的高斯噪声和散斑噪声均有良好的降噪效果。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本发明的上述以及其他特征将更加明显,本发明附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1为OCTA图像降噪方法的步骤流程示意图;
图2为第一神经网络模型的训练流程示意图;
图3为本发明实施例的双树复小波降噪的流程示意图;
图4为本发明实施例的残差Res-Unet神经网络结构示意图;
图5为本发明实施例的注意力机制模块结构示意图;
图6为本发明实施例的电子设备结构示意图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
参考图1,本申请提出的OCTA图像降噪方法流程包括:
S100,获取待测对象的多帧OCT图像,记为第一OCT图像;
OCT图像可以通过现有的已知的商用或者实验室搭建样机获取,不限类型,可以是时域OCT、频域OCT、谱域OCT和/或扫描源OCT中的任意一种,也可以是添加了自适应光学系统的OCT系统。
S200,将所述第一OCT图像通过OMAG算法提取第一OCT图像中的血流信号获得OCTA图像,记为第一OCTA图像;
S300,将第一OCTA图像输入第一神经网络模型得到第一降噪图像;其中,所述第一神经网络模型是通过双树复小波变换降噪算法事先训练得到的。
在一个可选的实施例中,参考图2,图2为第一神经网络模型的训练流程示意图。
所述第一神经网络模型是基于以下步骤得到:
获取多个样本OCTA图像,对所述样本OCTA图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCTA图像,以样本OCTA图像和降噪样本OCTA图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第一神经网络模型。
当第一神经网络模型生成后,就可以实时将大量的OCTA图像输入到第一神经网络模型中进行处理,从而可以批量化得到第一降噪图像。提升了图像转换的效率。
其中,对所述样本OCTA图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCTA图像具体包括:
参考图3,将样本OCTA图像进行双树复小波变换将图像数据转化成小波域,设定小波分解尺度为4,得到4个小波尺度层,其中,每一个小波尺度层包括六个高频小波系数子带和两个低频小波系数子带;
对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波,将滤波后的高频小波系数子带与低频小波系数子带进行小波重构,得到降噪样本OCTA图像。
小波变换是一种能保留高能量信号同时消除噪声的有效方式。而这些高能量信号通常就对应的病变区域或者血流区域,因此将时域图像转换到变换域进行图像分析的小波变换方法将更有利于保留血管细节。
双树复小波变换,不仅保持了小波变换的时频局部化分析能力等优点,还具有以下两种特性:
1)平移不变性:平移不变性是指小波系数随信号的平移而平移。双树复小波变换具有平移不变性,意味着信号的微小平移不会导致各尺度上能量的大幅变化。
2)多方向选择性:小波变换在每一个小波尺度仅能分解出三个方向(水平、竖直和对角方向)。当图像纹理和边界是连续曲线时,这种分解方向的局限性会导致小波分析很难反映出图像在不同分辨率上的变化情况。而双树复小波变换具有在每一个小波尺度下分解出六个方向的能力(15°、45°、75°、-75°、-45°、-15),能有效的解决上述局限性。
因此,本方案中采用双树复小波变换。利用双树复小波变换降噪算法对OCTA图像进行降噪。具体的,首先对OCTA图像使用双树复小波变换将图像数据转化到小波域,根据所设定的小波分解尺度会得到对应数量的多分辨率尺度层,在小波域中,分辨率每提升一层对应小波系数的信息量就会减少4倍,并且对于符合该方向特征分布的小波系数,其小波系数幅度值将会增加。含噪图像随着分辨率层的增加,具有方向性特征信号的小波系数值会越来越大,而随机分布的噪声所对应的小波系数值变化远小于信号。通过阈值的形式就可以将信号与噪声分离,达到图像降噪的效果。
用σn表示高频小波系数子带的噪声小波系数的方差估计,其代表着当前小波子带中信号与噪声能量的分界线,σn的取值过高会使得信号被视为噪声滤除,σn的取值过低会减弱算法的降噪能力。
在一些优选的实施例中,可以采用如固定阈值法进行计算,将小波系数值进行排序,取排序后的中间值除以0.6475所得到的值作为噪声小波系数的方差估计。
对于眼底图像,由于受被采集者眼部真实情况的影响,OCTA图像中的信号与噪声能量基本不会是固定比例。因此,在优选的实施例中,采用自适应噪声方差估计方法进行计算,具体公式如下:
式中,σn表示各子带噪声小波系数的方差估计,ws代表当前子带的小波系数,T为自适应参数,N表示子带中小波系数的总数。
用σ表示高频小波系数子带的信号小波系数的方差估计,利用公式进行计算,其中,σy为邻域内小波系数的方差,可利用公式进行计算,M代表当前邻域N(k)的大小。在信号小波系数的计算中引入σ的计算引入邻域范围内的均值,可以防止极端点对降噪效果的影响。
在小波域中,分辨率每提升一层对应小波系数的信息量就会减少4倍,并且对于符合该方向特征分布的小波系数,其小波系数幅度值将会增加。这种特性应用于图像降噪领域时,含噪图像随着分辨率层的增加,具有方向性特征信号的小波系数值会越来越大,而随机分布的噪声所对应的小波系数值变化远小于信号。在小波域,通过阈值的形式就可以将信号与噪声分离,达到图像降噪的效果。可以采用固定阈值、最小最大准则、贝叶斯阈值等方法。
在计算完毕高频小波系数子带的噪声小波系数的方差估计和信号小波系数的方差估计后,则可以通过双变量收缩贝叶斯阈值模型得到滤波后的高频小波系数子带的小波系数。
采用双变量收缩贝叶斯阈值模型,其计算公式为:
S400,将第一OCTA图像输入第二神经网络模型,得到噪声分布特征;将第一OCTA图像输入第三神经网络模型,在第三神经网络模型中,以所述噪声分布特征作为先验知识进行降噪,得到第二降噪图像;
所述第二神经网络模型是基于以下步骤得到:
获取多个样本OCTA图像,对所述样本OCTA图像进行基于噪声分布特征提取模型进行噪声分布特征的提取,得到样本噪声分布特征图像,
以样本OCTA图像和样本噪声分布特征图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第二神经网络模型。
当第二神经网络模型生成后,就可以实时将大量的OCTA图像输入到第二神经网络模型中进行处理,从而可以批量化得到噪声分布特征图。提升了图像转换的效率。
第三神经网络模型是基于以下步骤得到:
获取多个样本OCTA图像,对所述样本OCTA图像进行基于噪声分布特征降噪模型得到样本噪声分布特征降噪OCTA图像。其中,基于噪声分布特征降噪模型指的是通过噪声分布特征图作为先验知识的降噪算法模型。
以样本OCTA图像和样本噪声分布特征降噪OCT图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第三神经网络模型。
当第三神经网络模型生成后,就可以实时将大量的OCTA图像输入到第三神经网络模型中进行处理,从而可以批量化得到第二降噪图像。提升了图像转换的效率。
在一些优选的实施例中,所述噪声分布特征包括:高斯噪声、瑞利噪声、伽马噪声、指数噪声、均匀噪声、椒盐噪声或者周期噪声。
本发明实施例中,第一,第二和第三神经网络模型的结构为全卷积网络。进一步的,该全卷积网络可以是不带短连接的全卷积网络,也可以是带有短连接的全卷积网络,本发明实施例不做限定。神经网络模型中包括短连接、跨网络短连接、上采样和下采样等多种形式的连接。可选的,卷积单元之间有短连接相连接,该短连接有助于梯度传播,使得神经网络模型更容易训练。可选的,编码层和解码层之间有短连接相连接。
可选的,神经网络模型的内部组成单元包括编码层和解码层。可选的,编码层和解码层可以是一个,也可以是多个,本发明实施例不做限定。进一步的,编码层和解码层包括若干个卷积单元。
可选地,所述第一神经网络模型为残差Res-Unet神经网络。
可选地,所述第二神经网络模型为残差Res-Unet神经网络,所述第三神经网络模型为添加有注意力机制模块的残差Res-Unet神经网络,添加注意力集中模块可以更好地利用目标对象区域中的信息,并从中聚合特征,提高对视网膜结构的关注度,提高图像的降噪效果。
可选的,卷积单元包括卷积层、归一化层和激活层。进一步的,卷积层可以是卷积核大小为3x3的卷积层,也可以是卷积核大小为5x5的卷积层,还可以是既包含3x3大小的卷积核,又包含5x5大小的卷积核的卷积层,本发明实施例不做限定。进一步的,归一化层包括批归一化层,或者,实例归一化层,或者,空缺的归一化层。进一步的,激活层包括ReLU函数,或者,PreLU函数,或者,LeakyReLU函数,或者,其他现有技术中已知的激活函数。
可选的,卷积单元包括卷积层和激活层,不具有归一化层,因为归一化层会忽略图像像素(或者特征)之间的绝对差异,破坏图像原本的对比度信息。而且归一化层对特征进行归一化,消除了网络的范围灵活性。另外,放弃归一化层,GPU的内存使用量也得到了充分的降低,可以加快图像处理速度。
在一个优选的实施例中,如图4所示,本发明方案中的残差Res-Unet神经网络包含3个下采样和3个上采样模块,其中每个残差卷积块由两个3x3卷积,一个激活函数PReLu组成,且不具有归一化层。
在一个优选的实施例中,第三神经网络模型中添加的注意力集中模块为结合了通道和空间的注意力机制模块。如图5所示。通道注意力模块首先将输入的特征图F(HxWxC),分别经过全局平均池化和全局最大池化,得到两个特征图(1x1xC),接着再将它们分别送入一个两层的神经网络(MLP),第一层神经元个数为C/r(r为减少率),激活函数为Relu,第二层神经元个数为C,这个两层的神经网络是共享的。而后将MLP输出的特征进行基于逐元素相加,再经过sigmoid激活操作,生成最终的通道注意力特征Fc,最后将Fc和输入特征图逐元素相乘,生成空间注意力模块需要的输入特征Fc’。空间注意力模块的输入为注意力模块输出特征图Fc’,首先对Fc’做基于通道的全局最大池化和平均池化,得到两个HxWx1的特征图,然后把两个特征图通道拼接,经过一个大小为7x7的卷积层,得到HxWx1的特征图,经过sigmoid激活操作,生成空间注意力特征Fs,最后将Fs和输入特征图Fc’逐元素相乘,得到最终生成的特征Fs’。
可选的,本发明的神经网络模型的损失函数可以是平均绝对误差损失函数,边缘损失函数等已知损失函数,优选地,第一神经网络模型和第二神经网膜模型采用平均绝对误差损失函数,第三神经网络模型采用边缘损失函数。
可选的,第二神经网络模型的输入图像和第三神经网络模型的输出图像的图像尺寸是相同的。
S500,将所述第一降噪图像和第二降噪图像进行融合,得到所述第二OCTA图像。
在本发明一个实施例中,通过直接平均将所述第一降噪图像和第二降噪图像进行融合,得到所述第二OCTA图像;
进一步地,也可以通过加权平均实现融合。
S600,将第二OCTA图像进行A扫描的最大强度投影,得到En-face OCTA图像。
参考图6,本发明的另一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的一种OCTA图像降噪方法的步骤。
本发明的再一方面,还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的一种OCTA图像降噪方法的步骤。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释,从而有效地涵盖本发明的预定范围。此外,上文以发明人可预见的实施例对本发明进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
Claims (10)
1.一种OCTA图像降噪方法,其特征在于,包括如下步骤:获取待测对象的多帧OCT图像,记为第一OCT图像;
将所述第一OCT图像通过OMAG算法提取第一OCT图像中的血流信号获得OCTA图像,记为第一OCTA图像;
将第一OCTA图像输入第一神经网络模型得到第一降噪图像;其中,所述第一神经网络模型是通过双树复小波变换降噪算法事先训练得到的;
将第一OCTA图像输入第二神经网络模型,得到噪声分布特征;将第一OCTA图像输入第三神经网络模型,在第三神经网络模型中,以所述噪声分布特征作为先验知识进行降噪,得到第二降噪图像;
将所述第一降噪图像和第二降噪图像进行融合,得到第二OCTA图像;
将第二OCTA图像进行A扫描的最大强度投影,得到En-face OCTA图像。
2.根据权利要求1所述的一种OCTA图像降噪方法,其特征在于,所述第一神经网络模型是基于以下步骤得到:
获取多个样本OCTA图像,对所述样本OCTA图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCTA图像,以样本OCTA图像和降噪样本OCTA图像作为训练图像集,将训练图像集分为训练集和验证集;
通过训练集对预设的训练神经网络模型进行训练,得到待选训练模型;
通过验证集对待选训练模型进行验证;待验证合格后,则确定验证合格的待选训练模型为第一神经网络模型;
其中,对所述样本OCTA图像进行双树复小波变换降噪算法进行降噪,得到降噪样本OCTA图像具体包括:
将样本OCTA图像进行双树复小波变换将图像数据转化成小波域,设定小波分解尺度为4,得到4个小波尺度层,其中,每一个小波尺度层包括六个高频小波系数子带和两个低频小波系数子带;
对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波,将滤波后的高频小波系数子带与低频小波系数子带进行小波重构,得到降噪样本OCTA图像。
3.根据权利要求2所述的一种OCTA图像降噪方法,其特征在于,对每一个小波尺度层中的每一个高频小波系数子带进行噪声滤波具体包括:计算高频小波系数子带的噪声小波系数的方差估计,计算高频小波系数子带的信号小波系数的方差估计,将所述噪声小波系数的方差估计和信号小波系数的方差估计代入双变量收缩贝叶斯阈值模型得到噪声滤波后的高频小波系数子带的小波系数。
4.根据权利要求3所述的一种OCTA图像降噪方法,其特征在于,所述计算高频小波系数子带的噪声小波系数的方差估计具体包括:将高频小波系数子带的小波系数值进行排序,取排序后的中间值除以0.6475所得到的值作为噪声小波系数的方差估计。
8.根据权利要求1所述的一种OCTA图像降噪方法,其特征在于,所述噪声分布特征包括:高斯噪声、瑞利噪声、伽马噪声、指数噪声、均匀噪声、椒盐噪声或者周期噪声。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述的一种OCTA图像降噪方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至8任一项所述的一种OCTA图像降噪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111462732.9A CN114387174A (zh) | 2021-12-02 | 2021-12-02 | 一种octa图像降噪方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111462732.9A CN114387174A (zh) | 2021-12-02 | 2021-12-02 | 一种octa图像降噪方法、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114387174A true CN114387174A (zh) | 2022-04-22 |
Family
ID=81195351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111462732.9A Pending CN114387174A (zh) | 2021-12-02 | 2021-12-02 | 一种octa图像降噪方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114387174A (zh) |
-
2021
- 2021-12-02 CN CN202111462732.9A patent/CN114387174A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3625759B1 (en) | Reducing noise in an image | |
Yu et al. | Ultrasound speckle reduction by a SUSAN-controlled anisotropic diffusion method | |
Girish et al. | Segmentation of intra-retinal cysts from optical coherence tomography images using a fully convolutional neural network model | |
CN110390650B (zh) | 基于密集连接和生成对抗网络的oct图像去噪方法 | |
Yang et al. | Local statistics and non-local mean filter for speckle noise reduction in medical ultrasound image | |
Ouahabi | A review of wavelet denoising in medical imaging | |
Coupé et al. | Bayesian non local means-based speckle filtering | |
KR100830263B1 (ko) | 컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터프로그램 제품 및 장치 | |
Soomro et al. | Role of image contrast enhancement technique for ophthalmologist as diagnostic tool for diabetic retinopathy | |
JP2021176102A (ja) | 低コヒーレンス干渉法のための画質改善方法及びシステム | |
KR20130007905A (ko) | 초음파 영상 처리 방법 및 장치 | |
Tajmirriahi et al. | A lightweight mimic convolutional auto-encoder for denoising retinal optical coherence tomography images | |
Aksam Iftikhar et al. | Robust brain MRI denoising and segmentation using enhanced non‐local means algorithm | |
Anoop et al. | A cascaded convolutional neural network architecture for despeckling OCT images | |
Farouj et al. | Hyperbolic Wavelet-Fisz denoising for a model arising in Ultrasound Imaging | |
CN109087266A (zh) | 一种结合双边滤波的图像散斑迭代减少方法 | |
Liu et al. | Speckle noise reduction for medical ultrasound images based on cycle-consistent generative adversarial network | |
CN106725612B (zh) | 四维超声图像优化方法及系统 | |
Adiga et al. | Shared Encoder based Denoising of Optical Coherence Tomography Images. | |
Raj et al. | Ultrasound medical image denoising using hybrid bilateral filtering | |
CN109389567B (zh) | 一种快速光学成像数据的稀疏滤波方法 | |
Jaware et al. | Performance investigations of filtering methods for T1 and T2 weighted infant brain MR images | |
Bansal et al. | A proposed approach for biomedical image denoising using PCA_NLM | |
CN114387173A (zh) | 一种oct图像降噪方法、电子设备及存储介质 | |
Uddin et al. | Speckle reduction and deblurring of ultrasound images using artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |