CN116823663A - 基于神经网络的血管图像处理方法和装置 - Google Patents
基于神经网络的血管图像处理方法和装置 Download PDFInfo
- Publication number
- CN116823663A CN116823663A CN202310801699.0A CN202310801699A CN116823663A CN 116823663 A CN116823663 A CN 116823663A CN 202310801699 A CN202310801699 A CN 202310801699A CN 116823663 A CN116823663 A CN 116823663A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- image
- denoising
- training
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 272
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 134
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000012014 optical coherence tomography Methods 0.000 claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 30
- 239000008280 blood Substances 0.000 claims description 25
- 210000004369 blood Anatomy 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 22
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 abstract description 29
- 230000004424 eye movement Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000017531 blood circulation Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 208000030533 eye disease Diseases 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 208000003569 Central serous chorioretinopathy Diseases 0.000 description 3
- 206010015958 Eye pain Diseases 0.000 description 3
- 206010052143 Ocular discomfort Diseases 0.000 description 3
- 208000022873 Ocular disease Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 2
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 206010063381 Polypoidal choroidal vasculopathy Diseases 0.000 description 1
- 206010043189 Telangiectasia Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 208000002780 macular degeneration Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 208000009056 telangiectasis Diseases 0.000 description 1
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于神经网络的血管图像处理方法和装置。其中，该方法包括：获取被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，被检眼的血管图像由光学相干断层扫描血管成像生成；将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像；基于多个去噪血管子图像获得融合后的去噪血管图像。该方式中，可以采用数据采集范围参数较小的第一扫描协议获取第一训练血管图像，避免了长时间采集人眼不能坚持的问题，从而可以获取到信噪比更高的第一训练图像，利用上述第一训练图像训练得到的去噪模型的预测结果也具有更高的信噪比。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于神经网络的血管图像处理方法和装置。
背景技术
目前，血流成像的步骤一般包括在同一部位的多次OCT(Optical CoherenceTomography，光学相干断层扫描技术)图像采集、OCT图像对齐、血管图像计算、血管图像增强和去噪等。其中，针对血管图像增强和去噪的步骤中，一般可以使用深度学习来达到增强和去噪目的。然而，现有的深度学习方法存在以下问题：
(1)基于深度学习的去噪模型都采用了UNet的网络结构，在UNet的下采样过程中存在高频特征损失的风险，从而使得去噪后的图像在血管细节上存在一定的模糊感。同时，受卷积操作的感受野局限，无法从大尺度上捕获眼动噪声导致的横亮线特征，从而在去除眼动噪声的时候去除效果不理想，或把平直的血管错误地当作亮线去除。
(2)眼动噪声的训练数据多样性不足，影响模型的去除效果。
(3)在训练数据的采集过程中，尚没有明确地指出使用小视野的高重复率(Repeat)扫描协议来获取高信噪比的图像作为训练标签的方案，导致模型的训练结果比较差。
发明内容
有鉴于此，本发明的目的在于提供一种基于神经网络的血管图像处理方法和装置，可以采用数据采集范围参数较小的第一扫描协议获取第一训练血管图像，避免了长时间采集人眼不能坚持的问题，从而可以获取到信噪比更高的第一训练图像，利用上述第一训练图像训练得到的去噪模型的预测结果也具有更高的信噪比。在使用去噪模型进行预测时，每个分割得到的血管子图像通过去噪模型可以输出高信噪比的去噪血管子图像作为预测结果，因此，基于多个去噪血管子图像获得的融合后的去噪血管图像也具有更高的信噪比。
第一方面，本发明实施例提供了一种基于神经网络的血管图像处理方法，方法包括：获取被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，被检眼的血管图像由光学相干断层扫描血管成像(OCTA)生成；将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像；基于多个去噪血管子图像获得融合后的去噪血管图像。
在本申请可选的实施例中，上述将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，包括：对血管图像的四个边缘进行像素扩展，获得待分割的血管图像；对待分割的血管图像进行分割得到多个血管子图像；分割后获得的多个血管子图像的尺寸等于去噪模型的可输入图像的尺寸；多个血管子图像中相邻的两个血管子图像的边缘重叠预设宽度。
在本申请可选的实施例中，上述基于多个去噪血管子图像获得融合后的去噪血管图像，包括：获取去噪模型输出的去噪血管子图像；从每个输出的去噪血管子图像中的四个边界向内收缩预设宽度的一半，获得目标去噪血管子图像；将多个目标去噪血管子图像融合，获得融合后的去噪血管图像。
在本申请可选的实施例中，上述方法还包括：使用第一扫描协议获取训练数据集包括的第一训练血管图像；对第一扫描协议获取的数据进行处理确定训练数据集包括的第二训练血管图像；基于训练数据集对待训练的去噪模型进行训练，得到训练完成的去噪模型；其中，第一训练血管图像作为训练的标签，第二训练血管图像作为去噪模型的输入。
在本申请可选的实施例中，上述方法还包括：使用第二扫描协议获取被检眼的血管图像，其中，第二扫描协议中的数据采集范围参数大于第一扫描协议中的数据采集范围参数，第二扫描协议中的重复采集次数参数小于第一扫描协议中的重复采集次数参数。
在本申请可选的实施例中，上述使用第一扫描协议获取训练数据集包括的第一训练血管图像，包括：确定待扫描范围，待扫描范围的区域面积大于第一扫描协议中的数据采集范围参数；对待扫描范围进行分割获得多个位置的目标数据采集范围，目标数据采集范围的区域面积与第一扫描协议中的数据采集范围参数相同；使用第一扫描协议分别对多个目标数据采集范围进行扫描，获得多个第一训练血管图像。
在本申请可选的实施例中，上述对第一扫描协议获取的数据进行处理确定训练数据集包括的第二训练血管图像，包括：对第一扫描协议获取的数据进行降采样、旋转、平移处理中的至少一种确定训练数据集包括的第二训练血管图像。
在本申请可选的实施例中，上述去噪模型包括：初始特征提取单元、深度特征提取单元和特征还原单元；其中，特征还原单元包括卷积模块和残差模块；深度特征提取单元包括：多个膨胀卷积模块，每个膨胀卷积模块的膨胀系数不同。
在本申请可选的实施例中，上述深度特征提取单元还包括：空间注意力模块，空间注意力模块为坐标注意力模块；坐标注意力模块用于对深度特征图进行横坐标方向和纵坐标方向的池化，得到横坐标方向的聚合特征和纵坐标方向的聚合特征，深度特征图为根据深度特征提取单元中的卷积模块和残差模块获得的初级预测图像。第二方面，本发明实施例还提供一种基于神经网络的血管图像处理装置，装置包括：血管图像分割模块，用于获取被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，被检眼的血管图像由光学相干断层扫描血管成像生成；去噪模型处理模块，用于将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像；去噪血管子图像融合模块，用于基于多个去噪血管子图像获得融合后的去噪血管图像。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种基于神经网络的血管图像处理方法和装置，获取由光学相干断层扫描血管成像生成的被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像；将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像；基于多个去噪血管子图像获得融合后的去噪血管图像。
该方式中，对于一些患有眼部疾病或者不能配合医生进行稳定的注视的患者，会导致图像模糊或变形，OCT检查需要花费较长的时间，而有些患者可能难以耐受长时间的注视要求，尤其是在眼睛不适或眼部疼痛的情况下，也会导致图像模糊或变形。对于这部分患者，只能拍摄重复采集次数少的协议，因此图像信噪比低，且常存在噪声。
该方式中，可以采用数据采集范围参数较小的第一扫描协议获取第一训练血管图像，避免了长时间采集人眼不能坚持的问题，从而可以获取到信噪比更高的第一训练图像，利用上述第一训练图像训练得到的去噪模型的预测结果也具有更高的信噪比。
在使用去噪模型进行预测时，每个分割得到的血管子图像通过去噪模型可以输出高信噪比的去噪血管子图像作为预测结果，因此，基于多个去噪血管子图像获得的融合后的去噪血管图像也具有更高的信噪比。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于神经网络的血管图像处理方法的流程图；
图2为本发明实施例提供的一种对血管图像进行像素扩展的示意图；
图3为本发明实施例提供的一种对待分割的血管图像进行图像分割的示意图；
图4为本发明实施例提供的一种融合后的去噪血管图像的示意图；
图5为本发明实施例提供的一种去噪模型的训练方法的流程图；
图6为本发明实施例提供的一种去噪模型的结构示意图；
图7为本发明实施例提供的一种深度特征提取单元的示意图；
图8为本发明实施例提供的一种原始图像和预测图像的示意图；
图9为本发明实施例提供的一种基于神经网络的血管图像处理装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，血流成像的步骤一般包括在同一部位的多次OCT图像采集、OCT图像对齐、血管图像计算、血管图像增强和去噪等。其中，针对血管图像增强和去噪的步骤中，一般可以使用深度学习来达到增强和去噪目的。然而，现有的深度学习方法存在以下问题：
(1)基于深度学习的去噪模型都采用了UNet的网络结构，在UNet的下采样过程中存在高频特征损失的风险，从而使得去噪后的图像在血管细节上存在一定的模糊感。同时，受卷积操作的感受野局限，无法从大尺度上捕获眼动噪声导致的横亮线特征，从而在去除眼动噪声的时候去除效果不理想，或把平直的血管错误地当作亮线去除。
(2)眼动噪声的训练数据多样性不足，影响模型的去除效果。
(3)在训练数据的采集过程中，尚没有明确地指出使用小视野的高重复率(Repeat)扫描协议来获取高信噪比的图像作为训练标签的方案，导致模型的训练结果比较差。
基于此，本发明实施例提供的一种基于神经网络的血管图像处理方法和装置，可以采用数据采集范围参数较小的第一扫描协议获取第一训练血管图像，避免了长时间采集人眼不能坚持的问题，从而可以获取到信噪比更高的第一训练图像，利用上述第一训练图像训练得到的去噪模型的预测结果也具有更高的信噪比。在使用去噪模型进行预测时，每个分割得到的血管子图像通过去噪模型可以输出高信噪比的去噪血管子图像作为预测结果，因此，基于多个去噪血管子图像获得的融合后的去噪血管图像也具有更高的信噪比。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于神经网络的血管图像处理方法进行详细介绍。
实施例一：
本发明实施例提供一种基于神经网络的血管图像处理方法，参见图1所示的一种基于神经网络的血管图像处理方法的流程图，该基于神经网络的血管图像处理方法包括如下步骤：
步骤S102，获取被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，被检眼的血管图像由光学相干断层扫描血管成像生成。
本实施例中可以由光学相干断层扫描血管成像生成被检眼的血管图像。光学相干断层扫描是利用弱相干光干涉仪的基本原理，检测生物组织不同深度层面对入射弱相干光的背向反射或几次散射信号，通过扫描，可得到生物组织二维或三维结构图像的技术。在获取血管图像之后，本实施例可以通过图像分割技术将大视野的血管图像分割为多个小视野的血管子图像。
在一些实施例中，可以对血管图像的四个边缘进行像素扩展，获得待分割的血管图像；对待分割的血管图像进行分割得到多个血管子图像；分割后获得的多个血管子图像的尺寸等于去噪模型的可输入图像的尺寸；多个血管子图像中相邻的两个血管子图像的边缘重叠预设宽度。
参见图2所示的一种对血管图像进行像素扩展的示意图，首先可以将血管图像的四个边缘进行像素扩展，像素扩展后的血管图像可以称为待分割的血管图像。其中，像素扩展部分的图像的像素值可以填充为0。如图2所示，血管图像的尺寸可以为128×128，待分割的血管图像的尺寸可以为178×178。
在对血管图像进行像素扩展得到待分割的血管图像后，可以将待分割的血管图像进行图像分割，从而得到多个血管子图像。其中，血管子图像的尺寸等于去噪模型的可输入图像的尺寸；血管子图像中相邻的两个血管子图像的边缘重叠预设宽度。
参见图3所示的一种对待分割的血管图像进行图像分割的示意图，待分割的血管图像(即图3中的实线方框)的尺寸可以为178×178，去噪模型的可输入图像的尺寸为128×128，图3中示出了2个相邻的血管子图像(即图3中的虚线方框)。
步骤S104，将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像。
本实施例可以将多个小视野的血管子图像输入训练完成的去噪模型，输出高信噪比的小视野预测图像，称为去噪血管子图像。
步骤S106，基于多个去噪血管子图像获得融合后的去噪血管图像。
在去噪模型输出多个去噪血管子图像之后，本实施例可以通过图像融合技术将上述去噪血管子图像融合，得到最终的大视野图像，称为去噪血管图像。
本发明实施例提供了一种基于神经网络的血管图像处理方法，获取由光学相干断层扫描血管成像生成的被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像；将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像；基于多个去噪血管子图像获得融合后的去噪血管图像。
该方式中，对于一些患有眼部疾病或者不能配合医生进行稳定的注视的患者，会导致图像模糊或变形，OCT检查需要花费较长的时间，而有些患者可能难以耐受长时间的注视要求，尤其是在眼睛不适或眼部疼痛的情况下，也会导致图像模糊或变形。对于这部分患者，只能拍摄重复采集次数少的协议，因此图像信噪比低，且常存在噪声。
该方式中，可以采用数据采集范围参数较小的第一扫描协议获取第一训练血管图像，避免了长时间采集人眼不能坚持的问题，从而可以获取到信噪比更高的第一训练图像，利用上述第一训练图像训练得到的去噪模型的预测结果也具有更高的信噪比。
在使用去噪模型进行预测时，每个分割得到的血管子图像通过去噪模型可以输出高信噪比的去噪血管子图像作为预测结果，因此，基于多个去噪血管子图像获得的融合后的去噪血管图像也具有更高的信噪比。
在一些实施例中，可以获取去噪模型输出的去噪血管子图像；从每个输出的去噪血管子图像中的四个边界向内收缩预设宽度的一半，获得目标去噪血管子图像；将多个目标去噪血管子图像融合，获得融合后的去噪血管图像。
参见图4所示的一种融合后的去噪血管图像的示意图，去噪血管子图像(即图4中的实线方框)的尺寸可以为128×128，预设宽度为16个像素，去噪血管子图像中的四个边界向内收缩预设宽度的一半(即8个像素)，得到目标去噪血管子图像(即图4中的虚线方框)的尺寸可以为112×112。之后可以将多个目标去噪血管子图像融合，获得融合后的去噪血管图像。
在去噪模型优化的输出中，边缘的像素容易产生一些伪影或边缘效应，本实施例中通过只使用中心区域的像素的目标去噪血管子图像进行图像融合，可以减少这些边缘的影响。图4示出的目标去噪血管子图像的尺寸为128×128，目标去噪血管子图像处于中心区域，可以避免融合后的去噪血管子图像产生棋盘格效应(即各个去噪血管子图像接缝处不自然的人工伪迹)。
此外，在数据采集的过程中，本实施例可以使用眼底图做图像对齐，避免出现横亮线。本实施例还可以进一步地使用去噪模型来去噪横亮线，本实施例对此不再赘述。
实施例二：
本实施例提供了一种去噪模型的训练方法，该方法在上述实施例的基础上实现，如图5所示的一种去噪模型的训练方法的流程图，本实施例中的去噪模型的训练方法包括如下步骤：
步骤S502，使用第一扫描协议获取训练数据集包括的第一训练血管图像。
本实施例中的训练数据集可以包括第一训练血管图像和第二训练血管图像。其中，第一训练血管图像可以为小范围高重复采集次数得到高信噪比的金标准训练图像，例如：第一训练血管图像采用的第一扫描协议为：3mm×3mm R8。其中，R8即对同一位置重复扫描8次，重复采集次数为8。
对于一次血管图像的采集来说，沿横向在同一位置获取若干个b-scan图像进行血流计算，自上而下扫过整个区域后即可计算得到整个血流图。对于同一位置的血流信号计算来说，最少需要2个b-scan图像，因此需要在这一位置重复扫描2次，即重复采集次数为2。重复采集次数越高所获取到的血流信号的信噪比也会相应地增加，但是扫描时间也相应地发生了增长，从而增加了眼动噪声的风险。
眼动噪声是在血流成像的数据采集过程中，由于眼球的移动带来的噪声。常见的表现形式是图像中出现“横亮线”，其产生是由血流成像扫描的原理造成的。
血流成像的原理基于血液流动会使得不同时间同一部位的成像结果有差异，从而可以计算得到血流信号，而没有血液的部位信号则无差异，所以血流信号为0。
当人眼发生移动后，实际用于计算血流信号差异的同一部位多次采集图像实际上来自不同部位，所以计算差异就会变大，由此带来的就是眼动噪声。
长时间的扫描可能会引起眼睛的疲劳，从而更容易产生眼球的移动。因此，扫描时间越长，眼动噪声越大。本实施例中通过缩小每次采集的范围把单次扫描时间控制在一个很短的时间内，保证了使用高重复采集次数情况下不引入眼动噪声，从而取得了干净的第一训练血管图像。
在一些实施例中，可以使用第二扫描协议获取被检眼的血管图像，其中，第二扫描协议中的数据采集范围参数大于第一扫描协议中的数据采集范围参数，第二扫描协议中的重复采集次数参数小于第一扫描协议中的重复采集次数参数。
第二扫描协议具有比第一扫描协议的更大的数据采集范围参数和更小的重复采集次数。例如：第一扫描协议可以为：3mm×3mm R8，第二扫描协议可以为：12mm×12mm R2或R4。也即，第一扫描协议的数据采集范围参数为3mm×3mm，重复采集次数为8；第二扫描协议的数据采集范围参数为12mm×12mm，重复采集次数为2或4。此外，第二扫描协议还可以为26mm×21mm R2，即数据采集范围参数为26mm×21mm，重复采集次数为2。
另外需要说明的是，本实施例中还可以对第一扫描协议获取的数据(例如：178×178的图像)进行分割处理，获得多个更小的图像(例如：128×128的图像)作为训练集中的第一训练血管图像，从而丰富训练集的数据量。
在一些实施例中，可以确定待扫描范围，待扫描范围的区域面积大于第一扫描协议中的数据采集范围参数；对待扫描范围进行分割获得多个位置的目标数据采集范围，目标数据采集范围的区域面积与第一扫描协议中的数据采集范围参数相同；使用第一扫描协议分别对多个目标数据采集范围进行扫描，获得多个第一训练血管图像。
本实施例的多个第一训练血管图像可以对应同一被检眼的多个不同扫描位置，因此在使用去噪模型时，具有对血管子图像的较好的降噪效果。
步骤S504，对第一扫描协议获取的数据进行处理确定训练数据集包括的第二训练血管图像。
在一些实施例中，可以对已经获取的对第一扫描协议获取的数据进行处理，从而确定训练数据集包括的第二训练血管图像。具体地，可以对第一扫描协议获取的数据进行降采样、旋转、平移处理中的至少一种确定训练数据集包括的第二训练血管图像。
也就是说，可以通过降采样、旋转、平移处理中的一种或多种，对第一扫描协议获取的数据进行处理，增加人工错位噪声，从而提高第二扫描协议的数据采集范围，降低第二扫描协议的重复采集次数。
本实施例中可以通过降采样、旋转、平移处理等人为手段模拟眼动带来的位置偏移，从而对第一扫描协议获取的数据增加人工错位噪声，获取第二训练血管图像。
在一些实施例中，可以采集多个年龄阶段的被检眼的血管图像作为训练集数据；和/或，采集多个患有眼部疾病的被检眼的血管图像作为训练集数据。
本实施例中的年龄阶段可以为：0(初生)-6岁为婴幼儿；7-12岁为少儿；13-17岁为青少年；18-45岁为青年；46-69岁为中年；69岁及以上为老年。
本实施例中的眼部疾病可以有：黄斑变性、中心性浆液性脉络膜视网膜病变(central serous chorioretinopathy,CSC)、脉络膜新生血管(choroidalneovascularization,CNV)、息肉样脉络膜血管病变(polypoidal choroidalvasculopathy,PCV)、黄斑毛细血管扩张症等。
因此，本实施例可以采集不同年龄阶段和不同眼部疾病的被检眼的血管图像，提高了训练集数据的丰富性。
步骤S506，基于训练数据集对待训练的去噪模型进行训练，得到训练完成的去噪模型；其中，第一训练血管图像作为训练的标签，第二训练血管图像作为去噪模型的输入。
在训练去噪模型时第二训练图像作为去噪模型的输入，可以将第二训练血管图像输入待训练的去噪模型中，输出预测图像。在训练去噪模型时第一训练血管图像作为训练的标签，可以根据输出的预测图像和第一训练血管图像调整去噪模型的参数，直至训练结束，得到训练完成的去噪模型。
本发明实施例提供的上述方法，可以通过缩小每次采集的范围把单次扫描时间控制在一个很短的时间内，保证了使用高重复采集次数情况下不引入眼动噪声，从而取得了干净的第一训练血管图像；还可以通过降采样、旋转、平移处理中的一种或多种，对第一扫描协议获取的数据进行处理，增加人工错位噪声，从而提高第二扫描协议的数据采集范围，降低第二扫描协议的重复采集次数；还可以采集不同年龄阶段和不同眼部疾病的被检眼的血管图像，提高了训练集数据的丰富性。
实施例三：
本实施例提供了一种去噪模型，该方法在上述实施例的基础上实现，如图6所示的一种去噪模型的结构示意图，本实施例中的去噪模型包括：初始特征提取单元、深度特征提取单元和特征还原单元；其中，特征还原单元包括卷积模块和残差模块。
其中，初始特征提取单元用于提取原始图像的浅层特征，深度特征提取单元用于提取原始图像的深度特征，特征还原单元用于将提取得到的浅层特征、深度特征和原始图像映射得到最后的预测图像。
如图6所示，初始特征提取单元包括的标准的3×3卷积和线性整流(Linearrectification function，ReLU)激活函数(即方块a)。ReLU激活函数通常指代以斜坡函数及其变种为代表的非线性函数。
如图6所示，深度特征提取单元可以包括多个可重复的卷积块(即方框1-方框n)，特征还原单元可以包括标准的3×3卷积和ReLU激活函数(即方块b)以及一个残差连接。去噪模型的输入和输出部分通过长距离的跳跃连接对残差进行学习。这个过程中保持空间尺度不变，即摒弃了传统UNet的先下采样后上采样的结构，在保持空间分辨率不变的情况下，进一步的采用膨胀卷积来扩大模型的感受野，从而使得血管的复原效果得到了提高。
在一些实施例中，深度特征提取单元包括：多个膨胀卷积模块，每个膨胀卷积模块的膨胀系数不同。
参见图7所示的一种深度特征提取单元的示意图，图7中的方块1-方块4均为膨胀卷积模块，其中，上述4个膨胀卷积模块可以具有不同的膨胀系数，例如：方块4的膨胀系数>方块3的膨胀系数>方块2的膨胀系数>方块1的膨胀系数。
如图7所示，图7中的方块5-方块9可以代表3×3的卷积，方块10可以代表1×1的卷积。图7中还设置有3个局部的跳跃连接来进行残差学习。这里需要说明的是，图7仅示出了深度特征提取单元的一种表现形式，本实施例对深度特征提取单元的具体形式不做限定，此后不再赘述。
在一些实施例中，深度特征提取单元还包括：空间注意力模块。如图7所示，图7中可以设置有空间注意力模块，空间注意力模块后作为一种空间注意力机制，可以充分利用位置信息，使得感兴趣的区域能够被准确地捕获，显著提高了去噪模型对于眼动噪声的去除能力。
在一些实施例中，空间注意力模块为坐标注意力模块；坐标注意力模块用于对深度特征图进行横坐标方向和纵坐标方向的池化，得到横坐标方向的聚合特征和纵坐标方向的聚合特征，深度特征图为根据深度特征提取单元中的卷积模块和残差模块获得的初级预测图像。
坐标注意力模块是一种空间注意力模块，常用的空间注意力模块可以把输入通过二维的全局池化转化成单个特征向量对不同通道给予不同的权重，但是在全局池化过程中损失了空间信息。而坐标注意力模块则沿着X和Y方向分别做池化，从而把输入分解为两个不同方向聚合特征的一维特征编码。这样沿着一个空间方向捕获长程依赖，沿着另一个方向保留精确的位置信息，这对于捕获血管图像中的眼动噪声，尤其是横亮线噪声尤其有效，可以进一步提高去噪模型对于眼动噪声的去除能力。
参见图8所示的一种原始图像和预测图像的示意图，如图8所示，去噪后的预测图像与原始图像相比，眼动噪声去除效果明显，图像信噪比提高显著，有助于提高医生读片的效率，并且更容易察觉一些生理结构上的变化。
实施例四：
对应于上述方法实施例，本发明实施例提供了一种基于神经网络的血管图像处理装置，参见图9所示的一种基于神经网络的血管图像处理装置的结构示意图，该基于神经网络的血管图像处理装置包括：
血管图像分割模块91，用于获取被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，被检眼的血管图像由光学相干断层扫描血管成像生成；
去噪模型处理模块92，用于将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像；
去噪血管子图像融合模块93，用于基于多个去噪血管子图像获得融合后的去噪血管图像。
本发明实施例提供了一种基于神经网络的血管图像处理装置，获取由光学相干断层扫描血管成像生成的被检眼的血管图像，将血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像；将多个血管子图像输入训练完成的去噪模型，输出多个去噪血管子图像；基于多个去噪血管子图像获得融合后的去噪血管图像。
该方式中，对于一些患有眼部疾病或者不能配合医生进行稳定的注视的患者，会导致图像模糊或变形，OCT检查需要花费较长的时间，而有些患者可能难以耐受长时间的注视要求，尤其是在眼睛不适或眼部疼痛的情况下，也会导致图像模糊或变形。对于这部分患者，只能拍摄重复采集次数少的协议，因此图像信噪比低，且常存在噪声。
该方式中，可以采用数据采集范围参数较小的第一扫描协议获取第一训练血管图像，避免了长时间采集人眼不能坚持的问题，从而可以获取到信噪比更高的第一训练图像，利用上述第一训练图像训练得到的去噪模型的预测结果也具有更高的信噪比。
在使用去噪模型进行预测时，每个分割得到的血管子图像通过去噪模型可以输出高信噪比的去噪血管子图像作为预测结果，因此，基于多个去噪血管子图像获得的融合后的去噪血管图像也具有更高的信噪比。
上述血管图像分割模块，用于对血管图像的四个边缘进行像素扩展，获得待分割的血管图像；对待分割的血管图像进行分割得到多个血管子图像；分割后获得的多个血管子图像的尺寸等于去噪模型的可输入图像的尺寸；多个血管子图像中相邻的两个血管子图像的边缘重叠预设宽度。上述去噪血管子图像融合模块，用于获取去噪模型输出的去噪血管子图像；从每个输出的去噪血管子图像中的四个边界向内收缩预设宽度的一半，获得目标去噪血管子图像；将多个目标去噪血管子图像融合，获得融合后的去噪血管图像。
上述装置还包括：去噪模型训练模块，用于使用第一扫描协议获取训练数据集包括的第一训练血管图像；对第一扫描协议获取的数据进行处理确定训练数据集包括的第二训练血管图像；基于训练数据集对待训练的去噪模型进行训练，得到训练完成的去噪模型；其中，第一训练血管图像作为训练的标签，第二训练血管图像作为去噪模型的输入。
上述去噪模型训练模块，还用于使用第二扫描协议获取被检眼的血管图像，其中，第二扫描协议中的数据采集范围参数大于第一扫描协议中的数据采集范围参数，第二扫描协议中的重复采集次数参数小于第一扫描协议中的重复采集次数参数。
上述去噪模型训练模块，用于确定待扫描范围，待扫描范围的区域面积大于第一扫描协议中的数据采集范围参数；对待扫描范围进行分割获得多个位置的目标数据采集范围，目标数据采集范围的区域面积与第一扫描协议中的数据采集范围参数相同；使用第一扫描协议分别对多个目标数据采集范围进行扫描，获得多个第一训练血管图像。
上述去噪模型训练模块，用于对第一扫描协议获取的数据进行降采样、旋转、平移处理中的至少一种确定训练数据集包括的第二训练血管图像。
上述去噪模型包括：初始特征提取单元、深度特征提取单元和特征还原单元；其中，特征还原单元包括卷积模块和残差模块；深度特征提取单元包括：多个膨胀卷积模块，每个膨胀卷积模块的膨胀系数不同。
上述深度特征提取单元还包括：空间注意力模块，空间注意力模块为坐标注意力模块；坐标注意力模块用于对深度特征图进行横坐标方向和纵坐标方向的池化，得到横坐标方向的聚合特征和纵坐标方向的聚合特征，深度特征图为根据深度特征提取单元中的卷积模块和残差模块获得的初级预测图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于神经网络的血管图像处理装置的具体工作过程，可以参考前述的基于神经网络的血管图像处理方法的实施例中的对应过程，在此不再赘述。
实施例五：
本发明实施例还提供了一种电子设备，用于运行上述基于神经网络的血管图像处理方法；参见图10所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述基于神经网络的血管图像处理方法。
进一步地，图10所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述基于神经网络的血管图像处理方法，具体实现可参见方法实施例，在此不再赘述。
本发明实施例所提供的基于神经网络的血管图像处理方法和装置，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于神经网络的血管图像处理方法，其特征在于，所述方法包括：
获取被检眼的血管图像，将所述血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，所述被检眼的血管图像由光学相干断层扫描血管成像生成；
将多个所述血管子图像输入训练完成的所述去噪模型，输出多个去噪血管子图像；
基于所述多个去噪血管子图像获得融合后的去噪血管图像。
2.根据权利要求1所述的方法，其特征在于，将所述血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，包括：
对所述血管图像的四个边缘进行像素扩展，获得待分割的血管图像；
对所述待分割的血管图像进行分割得到多个血管子图像；分割后获得的所述多个血管子图像的尺寸等于所述去噪模型的可输入图像的尺寸；所述多个血管子图像中相邻的两个血管子图像的边缘重叠预设宽度。
3.根据权利要求2所述的方法，其特征在于，基于所述多个去噪血管子图像获得融合后的去噪血管图像，包括：
获取所述去噪模型输出的去噪血管子图像；
从每个所述输出的去噪血管子图像中的四个边界向内收缩所述预设宽度的一半，获得目标去噪血管子图像；
将所述多个目标去噪血管子图像融合，获得融合后的去噪血管图像。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
使用第一扫描协议获取训练数据集包括的第一训练血管图像；
对第一扫描协议获取的数据进行处理确定所述训练数据集包括的第二训练血管图像；
基于所述训练数据集对待训练的所述去噪模型进行训练，得到训练完成的所述去噪模型；其中，所述第一训练血管图像作为训练的标签，所述第二训练血管图像作为所述去噪模型的输入。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
使用第二扫描协议获取所述被检眼的血管图像，其中，所述第二扫描协议中的数据采集范围参数大于所述第一扫描协议中的数据采集范围参数，所述第二扫描协议中的重复采集次数参数小于所述第一扫描协议中的重复采集次数参数。
6.根据权利要求5所述的方法，其特征在于，使用第一扫描协议获取训练数据集包括的第一训练血管图像，包括：
确定待扫描范围，所述待扫描范围的区域面积大于第一扫描协议中的数据采集范围参数；
对所述待扫描范围进行分割获得多个位置的目标数据采集范围，所述目标数据采集范围的区域面积与第一扫描协议中的数据采集范围参数相同；
使用第一扫描协议分别对所述多个目标数据采集范围进行扫描，获得多个第一训练血管图像。
7.根据权利要求4所述的方法，其特征在于，对第一扫描协议获取的数据进行处理确定所述训练数据集包括的第二训练血管图像，包括：
对所述第一扫描协议获取的数据进行降采样、旋转、平移处理中的至少一种确定所述训练数据集包括的第二训练血管图像。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述去噪模型包括：初始特征提取单元、深度特征提取单元和特征还原单元；其中，所述特征还原单元包括卷积模块和残差模块；所述深度特征提取单元包括：多个膨胀卷积模块，每个所述膨胀卷积模块的膨胀系数不同。
9.根据权利要求8所述的方法，其特征在于，所述深度特征提取单元还包括：空间注意力模块，所述空间注意力模块为坐标注意力模块；所述坐标注意力模块用于对深度特征图进行横坐标方向和纵坐标方向的池化，得到横坐标方向的聚合特征和纵坐标方向的聚合特征，所述深度特征图为根据深度特征提取单元中的卷积模块和残差模块获得的初级预测图像。
10.一种基于神经网络的血管图像处理装置，其特征在于，所述装置包括：
血管图像分割模块，用于获取被检眼的血管图像，将所述血管图像基于去噪模型的可输入图像尺寸分割为多个血管子图像，所述被检眼的血管图像由光学相干断层扫描血管成像生成；
去噪模型处理模块，用于将多个所述血管子图像输入训练完成的所述去噪模型，输出多个去噪血管子图像；
去噪血管子图像融合模块，用于基于所述多个去噪血管子图像获得融合后的去噪血管图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310801699.0A CN116823663A (zh) | 2023-06-30 | 2023-06-30 | 基于神经网络的血管图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310801699.0A CN116823663A (zh) | 2023-06-30 | 2023-06-30 | 基于神经网络的血管图像处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823663A true CN116823663A (zh) | 2023-09-29 |
Family
ID=88112416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310801699.0A Pending CN116823663A (zh) | 2023-06-30 | 2023-06-30 | 基于神经网络的血管图像处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823663A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118674811A (zh) * | 2024-07-17 | 2024-09-20 | 深圳莫廷医疗科技股份有限公司 | 一种生成去噪血管网图像的方法及相关装置 |
-
2023
- 2023-06-30 CN CN202310801699.0A patent/CN116823663A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118674811A (zh) * | 2024-07-17 | 2024-09-20 | 深圳莫廷医疗科技股份有限公司 | 一种生成去噪血管网图像的方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12040079B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| US11170258B2 (en) | Reducing noise in an image | |
| US20210390696A1 (en) | Medical image processing apparatus, medical image processing method and computer-readable storage medium | |
| US11922601B2 (en) | Medical image processing apparatus, medical image processing method and computer-readable medium | |
| AU2019340215B2 (en) | Methods and systems for ocular imaging, diagnosis and prognosis | |
| Manakov et al. | Noise as domain shift: Denoising medical images by unpaired image translation | |
| CN113557714A (zh) | 医学图像处理装置、医学图像处理方法和程序 | |
| US11830193B2 (en) | Recognition method of intracranial vascular lesions based on transfer learning | |
| CN112562058B (zh) | 一种基于迁移学习的颅内血管模拟三维模型快速建立方法 | |
| JP2020039507A (ja) | 磁気共鳴撮像装置、画像処理装置、及び、画像処理方法 | |
| CN116823663A (zh) | 基于神经网络的血管图像处理方法和装置 | |
| CN112087970A (zh) | 信息处理装置、信息处理方法、计算机程序 | |
| CN117391955A (zh) | 基于多帧光学相干层析图像的凸集投影超分辨率重建方法 | |
| JP7514344B2 (ja) | Ｏｃｔ血管造影のためのｏｃｔ－ｂスキャンの前処理 | |
| CN116228781A (zh) | 冠脉血管分割方法、装置、电子设备及存储介质 | |
| CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
| CN113838557A (zh) | 一种医学影像三维重建模拟方法及系统 | |
| Stankiewicz et al. | Matching 3d oct retina images into super-resolution dataset | |
| CN112949585A (zh) | 一种眼底图像血管的识别方法、装置、电子设备及存储介质 | |
| Tan et al. | A Multi-Scale Fusion and Transformer Based Registration Guided Speckle Noise Reduction for OCT Images | |
| Basiron et al. | Medical image processing using matlab in detecting kidney stones | |
| CN117095137B (zh) | 基于双路图像采集的医疗图像的三维成像方法及系统 | |
| CN117974448B (zh) | 三维医学图像各向同性超分辨方法及装置 | |
| CN112651924B (zh) | 一种数据生成装置、方法、终端和存储介质 | |
| CN118351029A (zh) | 图像处理方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |