CN113160226A - 基于双向引导网络的amd病变oct图像的分类分割方法及系统 - Google Patents
基于双向引导网络的amd病变oct图像的分类分割方法及系统 Download PDFInfo
- Publication number
- CN113160226A CN113160226A CN202110565331.XA CN202110565331A CN113160226A CN 113160226 A CN113160226 A CN 113160226A CN 202110565331 A CN202110565331 A CN 202110565331A CN 113160226 A CN113160226 A CN 113160226A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- network
- neural network
- oct image
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 130
- 230000003902 lesion Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004913 activation Effects 0.000 claims abstract description 84
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 66
- 230000000295 complement effect Effects 0.000 claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 8
- 239000006185 dispersion Substances 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000012886 linear function Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000036285 pathological change Effects 0.000 claims description 3
- 231100000915 pathological change Toxicity 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 210000001525 retina Anatomy 0.000 abstract description 5
- 238000012014 optical coherence tomography Methods 0.000 description 57
- 230000006870 function Effects 0.000 description 35
- 208000005590 Choroidal Neovascularization Diseases 0.000 description 20
- 206010060823 Choroidal neovascularisation Diseases 0.000 description 20
- 206010064930 age-related macular degeneration Diseases 0.000 description 18
- 208000002780 macular degeneration Diseases 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 208000000260 Warts Diseases 0.000 description 2
- 208000000208 Wet Macular Degeneration Diseases 0.000 description 2
- 210000003161 choroid Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002062 proliferating effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 201000010153 skin papilloma Diseases 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 201000004569 Blindness Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001775 bruch membrane Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 208000011325 dry age related macular degeneration Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004379 membrane Anatomy 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004256 retinal image Effects 0.000 description 1
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于双向引导网络的AMD病变OCT图像的分类分割方法及系统，包括以下步骤：获取OCT图像，将所述OCT图像分成训练集、验证集和测试集；构建掩模互补卷积神经网络以用于OCT图像的分类；采用Grad‑CAM算法计算掩模互补卷积神经网络的类激活图，获得类激活图的输出；构建类激活图引导的U型分割网络以用于OCT图像中病变区域的分割；通过训练集和验证集对网络进行训练，获得优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络；将测试集代入优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络中，实现OCT图像的分类和分割。其能够对含有玻璃膜疣、CNV以及正常视网膜OCT图像进行准确的分类，并给出病变区域精确的分割结果。
Description
技术领域
本发明涉及OCT图像处理技术领域，尤其是指一种基于双向引导网络的AMD病变OCT图像的分类分割方法及系统。
背景技术
年龄相关性黄斑变性(Age-related Macular Degeneration，AMD)是世界上第三大致盲眼科疾病，严重危害老年人的视力健康。AMD可分为干性AMD与湿性AMD，玻璃膜疣与脉络膜新生血管分别是这两种类型的表现。光学相干断层成像技术(Optical CoherenceTomography,OCT)常用于观测玻璃膜疣与脉络膜新生血管病灶。
玻璃膜疣是由于视网膜色素上皮层运送营养和废料的能力下降，导致废料在RPE层的下方堆积。在OCT图像中表现为RPE层下方小的毛刺状的突起。早期的玻璃膜病灶区域较小，与正常视网膜图像比较接近，后期随着病变区域的进一步发展，部分患者会发展成为湿性AMD，这使得玻璃膜疣的分类较为困难。而且OCT图像中玻璃膜疣病变区域较小，以及成像过程中光束波长及视网膜内部组织的不同影响，在OCT图像中会存在较多的散斑噪声，对玻璃膜疣病变区域的精确分割具有一定的干扰性。早期对于OCT图像中玻璃膜疣的研究尝试采用阈值法结合二次曲线拟合来分割病变区域，但是这种方法的预处理步骤较为繁琐，且泛化能力较差。之后随着深度学习的快速发展，科研工作者们也考虑采用卷积神经网络(Convolutional Neural Network，CNN)的方法来自动分割OCT图像中玻璃膜疣的病变区域。虽然较传统的图像处理方法来说泛化能力更强，也能较好的分割出病变区域，但是仅仅针对玻璃膜疣这一种疾病设计一种算法，目标单一，适用范围小。
脉络膜新生血管(Choroidal Neovascularization，CNV)是指来自脉络膜的增殖血管穿过布鲁赫膜，长入色素上皮(Retinal Pigment Epithelium，RPE)层下方或者穿过RPE层长入视网膜神经纤维层。随着CNV增殖血管的不断扩大、渗漏以及破裂出血，可导致视力减退、视物变形，出现中心或者旁中心暗点。症状反复发作者，黄斑部分将搜到严重破坏，造成永久视力障碍。OCT图像中脉络膜新生血管的病变区域形态、大小等有所差异，并且伴随着上下边界模糊、内部像素灰度不一致、以及OCT图像中的噪声和其他疾病因素的干扰，为CNV的研究带来了较大的难度。对于OCT图像中脉络膜新生血管的研究，有基于传统的算法，如反应扩散模型结合有限元方法、基于传统特征的随机森林等，也有基于卷积神经网络的多尺度并行分支CNN以及信息注意力CNN等。上述方法为脉络膜新生血管的研究提供了一些解决思路，但在分类精度、分割的可靠性上依然存在提升空间。
近些年来，学者们对于年龄相关性黄斑变性OCT图像的研究主要分为两个方向，第一种方向对年龄相关性黄斑变性中的某一类病灶展开深入的研究，尽可能地取得较高的识别率及准确的病变区域分割，如前面所述；另一种方向是对年龄相关性黄斑变性中多种病灶的分类。支持向量机、随机森林、卷积神经网络等常用算法均被用于AMD的分类，但是无法同时给出精细的病变区域，不利于病变的定量分析。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中支持向量机、随机森林、卷积神经网络等常用算法均被用于AMD的分类，但是无法同时给出精细的病变区域，不利于病变的定量分析的技术缺陷。
为解决上述技术问题，本发明提供了一种基于双向引导网络的AMD病变OCT图像的分类分割方法，包括以下步骤：
S1、获取OCT图像，将所述OCT图像分成训练集、验证集和测试集；
S2、构建掩模互补卷积神经网络以用于OCT图像的分类；
S3、采用Grad-CAM算法计算掩模互补卷积神经网络的类激活图，获得类激活图的输出；
S4、构建类激活图引导的U型分割网络以用于OCT图像中病变区域的分割；
S5、通过训练集和验证集对所述掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，优化参数，获得优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络；
S6、将测试集代入优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络中，实现OCT图像的分类和分割。
作为优选的，所述S2中，构建掩模互补卷积神经网络以用于OCT图像的分类，具体包括：
通过卷积核提取图像的特征，获得大感受野内的特征；
通过残差块和下采样层对大感受野内的特征做进一步的提取，获得图像的语义信息，其中，在掩模互补卷积神经网络最底层的特征记为A；
A经过1×1的卷积与Sigmoid函数得到最底层的病变区域的分割结果S；
将A分别与S、1-S相乘得到掩模互补的特征，将两路掩模互补的特征在通道方向上拼接，再经过卷积层进一步提取特征得到最后的卷积层输出F；
将最后的卷积层输出F送入全连接层进行分类。
作为优选的，所述S3具体包括：
计算掩模互补卷积神经网络的最后输出的C类的预测概率YC对于最后一层中第K张特征图所有像素
的偏导数，即
其中i、j为像素坐标值；
将求出的偏导数在高度和宽度上取全局平均，得到
其中，Z表示特征图的总像素数；
将
与对应的第K张特征图线性组合并送入ReLU激活函数处理，获得类激活图输出
其中，
ReLU函数是分段线性函数，ReLU(x)＝max(0，x)。
作为优选的，所述S4具体包括：
以ResNet18为编码器提取输入图像的特征，获得编码特征；
将类激活图与不同分辨率下的编码特征采用先相乘后相加的方式融合，提取感兴趣区域的特征。
作为优选的，所述S4与S5之间还包括：
构建分类损失函数和分割损失函数；
基于分类损失函数与分割损失函数的和优化掩模互补卷积神经网络；
基于分割损失函数优化类激活图引导的U型分割网络。
作为优选的，分类损失函数Lossclass表示为：
作为优选的，分割的损失函数Lossseg表示为：
Lossseg＝lossBCE+lossDice，其中，tm表示分割标签中第m个像素的值，qm表示模型预测结果图中第m个像素的值，M表示标签图像的总像素数。
作为优选的，所述S5具体包括：
通过训练集对掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，每训练完一次数据，在验证集上进行验证，保存在验证集上分类或分割性能最高的模型参数以更新掩模互补卷积神经网络和类激活图引导的U型分割网络。
作为优选的，所述S1和S2之间还包括：对OCT图像进行预处理，具体包括：
在原OCT图像的四周各扩展一个像素的白边，之后通过阈值分割获得二值图像；
对二值图像做膨胀处理，选择连通域面积最大的连通域作为掩模，取反后与原OCT图像相乘，之后向内收缩一个像素回到原始图像大小；
通过双线性插值将图片大小缩放至目标大小，之后经过离差标准化把图像的像素值映射到[0,1]之间，通过随机水平翻转得到扩充后的数据集。
本发明公开了一种基于双向引导网络的AMD病变OCT图像的分类分割系统，包括：
图像处理模块，所述图像处理模块用于获取OCT图像，将所述OCT图像分成训练集、验证集和测试集；
卷积神经网络构建模块，所述卷积神经网络构建模块用于构建掩模互补卷积神经网络以用于OCT图像的分类；
激活图计算模块，所述激活图计算模块采用Grad-CAM算法计算掩模互补卷积神经网络的类激活图，获得类激活图的输出；
分割网络构建模块，所述分割网络构建模块用于构建类激活图引导的U型分割网络以提取感兴趣区域的特征；
训练模块，所述训练模块通过训练集和验证集对所述掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，优化参数，获得优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络；
测试模块，所述测试模块用于将测试集代入优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络中，实现OCT图像的分类和分割。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明采用双向引导网络实现对AMD病变OCT图像的自动分类分割；双向引导网络包括两个部分：一是互补掩模引导的分类网络CM-CNN，在分类网络中引入分割辅助任务，并将得到的分割结果作为掩模，采用互补的方式增强分类的特征，结果表明取得了较好的分类结果；二是类激活图引导的U型分割网络CAM-UNet，将CM-CNN得到的类激活图作为辅助信息输入，使分割网络更加关注感兴趣区域的特征。
2、本发明中，当训练集同时含有类别标签和病变区域标记时，所设计的网络能够充分利用分类与分割的标签信息，使分类与分割任务两者之间起到互相促进的作用。
3、本发明提出的分类与分割的双向引导网络能够对含有玻璃膜疣、CNV以及正常视网膜OCT图像进行准确的分类，并给出病变区域精确的分割结果。
4、本发明实现对OCT图像中玻璃膜疣与脉络膜新生血管的自动分类与分割，双向引导网络中的CM-CNN引出互补掩模来增强分类任务的性能，CAM-UNet中引入类激活图来提升分类任务的性能，其能够同时给出精细的病变区域，有利于病变的定量分析。
附图说明
图1为本发明中基于双向引导网络的AMD病变OCT图像的分类分割方法的流程图；
图2为CM-CNN的整体网络结构；
图3为基于Grad-CAM算法对含CNV图片的类激活图，其中，(a)原图，(b)原图与类激活图叠加；
图4为CAM-UNet网络结构示意图；
图5为不同方法对脉络膜新生血管的分割结果，其中，(a)原图，(b)金标准，(c)PSPNet，(d)Attention UNet，(e)UNet，(f)CENet，(g)CAM-UNet；
图6为不同方法对玻璃膜疣的分割结果，其中，(a)原图，(b)金标准，(c)PSPNet，(d)Attention UNet，(e)UNet，(f)CENet，(g)CAM-UNet。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1-6所示，本发明公开了一种基于双向引导网络的AMD病变OCT图像的分类分割方法，包括以下步骤：
步骤一、获取OCT图像，将所述OCT图像分成训练集、验证集和测试集。
步骤二、构建掩模互补卷积神经网络以用于OCT图像的分类，具体包括：
通过卷积核提取图像的特征，获得大感受野内的特征；
通过残差块和下采样层对大感受野内的特征做进一步的提取，获得图像的语义信息，其中，在掩模互补卷积神经网络最底层的特征记为A；
A经过1×1的卷积与Sigmoid函数得到最底层的病变区域的分割结果S；
将A分别与S、1-S相乘得到掩模互补的特征，将两路掩模互补的特征在通道方向上拼接，再经过卷积层进一步提取特征得到最后的卷积层输出F；
将最后的卷积层输出F送入全连接层进行分类。
步骤三、采用Grad-CAM算法计算掩模互补卷积神经网络的类激活图，获得类激活图的输出，具体包括：
计算掩模互补卷积神经网络的最后输出的C类的预测概率YC对于最后一层中第K张特征图所有像素
的偏导数，即
其中i、j为像素坐标值；
将求出的偏导数在高度和宽度上取全局平均，得到
其中，Z表示特征图的总像素数；
将
与对应的第K张特征图线性组合并送入ReLU激活函数处理，获得类激活图输出
其中，
ReLU函数是分段线性函数，ReLU(x)＝max(0，x)。
步骤四、构建类激活图引导的U型分割网络以提取感兴趣区域的特征，具体包括：
以ResNet18为编码器提取输入图像的特征，获得编码特征；
将类激活图与不同分辨率下的编码特征采用先相乘后相加的方式融合，提取感兴趣区域的特征。
步骤五、通过训练集和验证集对所述掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，优化参数，获得优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络，具体包括：
通过训练集对掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，每训练完一次数据，在验证集上进行验证，保存在验证集上分类或分割性能最高的模型参数以更新掩模互补卷积神经网络和类激活图引导的U型分割网络。
步骤六、将测试集代入优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络中，实现OCT图像的分类和分割。
所述步骤四与步骤五之间还包括：
构建分类损失函数和分割损失函数；
基于分类损失函数与分割损失函数的和优化掩模互补卷积神经网络；
基于分割损失函数优化类激活图引导的U型分割网络。
分类损失函数Lossclass表示为：
其中，Lc表示图片类别标签，C表示类别，LC＝1表示当前图片是C类，否则LC＝0，YC表示神经网络的预测输出，当前图片类别是C的概率，用N表示类别数。
分割的损失函数Lossseg表示为：
Lossseg＝lossBCE+lossDice，其中，tm表示分割标签中第m个像素的值，qm表示模型预测结果图中第m个像素的值，M表示标签图像的总像素数。
所述步骤一和步骤二之间还包括：对OCT图像进行预处理，具体包括：在原OCT图像的四周各扩展一个像素的白边，之后通过阈值分割获得二值图像；对二值图像做膨胀处理，选择连通域面积最大的连通域作为掩模，取反后与原OCT图像相乘，之后向内收缩一个像素回到原始图像大小；通过双线性插值将图片大小缩放至目标大小，之后经过离差标准化把图像的像素值映射到[0,1]之间，通过随机水平翻转得到扩充后的数据集。
本发明公开了一种基于双向引导网络的AMD病变OCT图像的分类分割系统，包括图像处理模块、卷积神经网络构建模块、激活图计算模块、分割网络构建模块、训练模块和测试模块。
所述图像处理模块用于获取OCT图像，将所述OCT图像分成训练集、验证集和测试集。
所述卷积神经网络构建模块用于构建掩模互补卷积神经网络以用于OCT图像的分类。
所述激活图计算模块采用Grad-CAM算法计算掩模互补卷积神经网络的类激活图，获得类激活图的输出。
所述分割网络构建模块用于构建类激活图引导的U型分割网络以提取感兴趣区域的特征。
所述训练模块通过训练集和验证集对所述掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，优化参数，获得优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络。
所述测试模块用于将测试集代入优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络中，实现OCT图像的分类和分割。
下面，结合具体实施例对本发明的技术方案做进一步说明。
本发明主要包括3个步骤：数据的获取和预处理、网络结构的设计以及模型的训练和测试。
1)数据的获取和预处理
本次实验使用的是公开数据集UCSD中的部分OCT图像，其中2994张用作训练集，300张用于验证集，750张用作测试集。表1为数据集中不同类型OCT图像的数量。
表1
原始UCSD数据集中仅含有分类标签，本发明中用到的数据同时含有类别与病变区域的标签，其中玻璃膜疣与脉络膜新生血管病变区域的分割标签都是在专业医生的指导下标记的。所有的数据在送入模型训练之前，都会经过预处理(阈值分割、最大连通域)去除图像的白边，预处理步骤先在原图四周各扩展一个像素的白边(灰度值为255)，以阈值254进行阈值分割得到二值图像，再用5×5的核对二值图膨胀，选择连通域面积最大的连通域作为掩模，取反后与原图相乘，最后向内收缩一个像素回到原始图像大小。预处理之后通过双线性插值将图片大小缩放至512×512，最后经过离差标准化把图像的像素值映射到[0,1]之间，通过随机水平翻转得到扩充后的数据集。令I表示原始图像，I'表示归一化后的图像，离差标准化函数如式(1)所示：
2)网络结构的设计：
a)掩模互补卷积神经网络CM-CNN
如图2所示，CM-CNN在以ResNet18为基础的分类网络的底端引出了分割辅助任务。Conv表示卷积，GAP表示全局平均池化，FC表示全连接。
具体的，先将输入图片经过卷积核大小为7×7的提取较大感受野内的特征，然后将得到的特征送到4个由残差块与下采样(卷积核为1，步长为2的卷积)组成的层中进一步提取图像中的语义信息。CM-CNN在分类网络提取到的最底层的特征记作A，A经过1×1的卷积与Sigmoid函数得到最底层的病变区域的分割结果S，将A分别与S、1-S相乘得到掩模互补的特征，然后将两路特征在通道方向上拼接，再经过卷积层进一步提取特征得到F，最后送入全连接层进行分类。分割辅助任务得到的掩模S是OCT图像中病变区域，与底层特征A相乘得到的是病变区域的有效特征，这是根据玻璃膜疣、脉络膜新生血管病变区域的不同表现设计的。但是当分割的结果存在误分或者正常OCT图像中没有病变区域的话，直接与掩模S相乘会带走不同类别的重要特征信息。因此，本次实验中将A与S、1-S分别相乘，既可以得到病变区域的特征，也能得到除病变区域之外的特征，同时也能增加网络的非线性，这样分类任务的特征中有了互补掩模的引导，其分类准确率得到了较好的提升。
b)类激活图(CAM)计算
Grad-CAM是用来解释卷积神经网络分类依据的一种方法，其生成的类激活图CAM能够解释输入图像中哪些区域对于预测为某一类的重要性。如图2中所示，以F表示CM-CNN中最后的卷积层的输出，FK表示F中第K张特征图，，
表示第K张特征图在(i，j)位置处的像素值。用YC表示网络预测的输入图像是C类的概率值，
表示F中第K张特征图对卷积神经网络预测为C类的重要性权重，
值越大，表明FK对卷积神经网络的贡献越大。
采用Grad-CAM算法计算类激活图，首先，计算网络最后输出的C类的预测概率YC对于最后一层中第K张特征图所有像素
的偏导数，即
然后将求出的偏导数在高度和宽度上取全局平均，得到
其中Z表示特征图的总像素数。
最后将
与对应的第K张特征图线性组合起来送入ReLU激活函数处理得到最终的类激活图输出
其中，ReLU函数是分段线性函数，它能把所有的负值都变为0，而正值不变。具体计算公式如公式4所示：
ReLU(x)＝max(0，x) (4)
本发明中得到的CAM图能初步给出OCT图像中粗略的病变区域定位，如图3所示。图3(b)中像素值越大的区域表示对神经网络预测为CNV的贡献越大。
c)类激活图引导的U型分割网络(CAM-UNet)
如图4所示，CAM-UNet以ResNet18为编码器提取输入图像的特征。编码器得到的特征通过反卷积和跳跃连接恢复出与输入图片同样大小的分割结果。CAM-UNet将分类网络的类激活图与不同分辨率下的编码特征先相乘后相加的方式融合，提取感兴趣区域的特征。由于CM-CNN中得到的类激活图的尺寸大小为16×16，在相乘之前采用不同尺度的上采样，保证相乘之前类激活图的尺寸与编码部分特征的尺寸相同。类激活图与编码部分的特征相乘，提取编码特征中类激活图高响应区域的特征，为了避免丢失类激活图中低响应区域的特征，将相乘后的特征与原来的编码特征点对点相加，既突出分类网络感兴趣区域的特征，也保留了原始的编码特征中的信息，有利于取得更精确的分割结果。
d)损失函数
CM-CNN的主要任务是将输入的图像预测为玻璃膜疣、脉络膜新生血管、正常三类。采用交叉熵作为损失函数。用LC表示图片类别标签，其中C表示类别，LC＝1表示当前图片是C类，否则LC＝0。用YC表示神经网络的预测输出，即当前图片类别是C的概率，用N表示类别数。分类损失函数Lossclass可以表示为：
CM-CNN中的底层辅助分割任务与CAM-UNet的损失函数都采用二进制交叉熵lossBCE与Dice损失lossDice之和。令tm表示分割标签中第m个像素的值，qm表示模型预测结果图中第m个像素的值，M表示标签图像的总像素数。分割的损失函数Lossseg的具体计算公式如下：
Lossseg＝lossBCE+lossDice (8)
掩模互补卷积神经网络中包含分类及辅助分割两个子任务，整个损失函数采用分类损失Lossclass与分割损失Lossseg的和，而在CAM-UNet中采用分割损失函数Lossseg来优化网络参数。
3)模型的训练和测试
本次实验使用Python语言编写，在Pytorch框架下运行调试。实验硬件使用NVIDIAGeForce RTX 2080Ti的显卡，显存容量为11GB，并使用GPU对模型训练进行加速。训练过程中采用学习率为0.0001的Adam优化器对网络中的权重参数进行优化，每次训练送入网络的图片个数为8，共训练了50次。每训练完一次数据，就在验证集上进行验证，保存在验证集上分类或者分割性能最高的模型参数，最后在测试集上计算相关性能指标。先训练分类网络CM-CNN，接着根据CM-CNN得到每张图像的类激活图，之后再训练CAM-UNet分割病变区域。
4)实验结果
由于双向引导网络分为分类和分割两个任务，因此实验结果也分为分类结果和分割结果两部分：
一、分类结果
AMD中玻璃膜疣、CNV视网膜及正常的视网膜OCT图像分类的任务当中，采用的评价指标有ROC曲线下面积(Area Under Curve，AUC)、单类准确率(single Accuracy，sAcc)、灵敏度(Sensitivity，Sen)、特异度(Specificity，Spe)以及总准确率(Accuracy，Acc)和Kappa系数。其中AUC、sAcc、Sen、Spe是衡量网络二分类的性能(例如将玻璃膜疣看作正类，CNV和正常看作负类)，刻画了模型对于当前类型图片的识别能力，Acc和Kappa系数衡量的是网络多分类的性能。
在二分类性能指标中，记标签为正类的图片被预测成正类的图片数TP，正类被预测成负类的图片数FN，负类被预测成正类的图片数FP，负类被预测成负类的图片数TN。则sAcc、Sen、Spe的计算公式为：
多分类衡量性能指标采用的是准确率Acc和Kappa系数，假设测试集中每一类真实样本个数分别为n1，n2，n3，而预测出来的每一类的样本数分别为m1，m2，m3，总体分类准确率Acc可表示为：
Kappa系数的计算公式如下：
其中：
表2为传统卷积神经网络VGG16、网络结构上优化过的MobileNet、引入注意力机制的SeNet、以及IncetionV3等不同分类网络的分类结果。
表2
与其他分类网络相比，引入了互补掩模的引导后，不论是两分类的相关指标还是多分类的相关指标，CM-CNN总体都表现出更好的性能。证明了分割辅助信息对分类任务的促进作用。。
二分割结果
采用戴斯相似系数(Dice)、交并比(IoU)、灵敏度(Sen)、特异度(Spe)以及像素精度(Acc)五个分割指标衡量分割网络的性能。记TP，TN，FP，FN分别是指手动标注病变区域的金标准中前景被正确标记为前景的像素数，前景被误分为背景像素数，背景像素被误分为前景的像素数以及背景像素被正确标注为背景的像素数。则上述五个评价指标的计算公式如下：
表3给出了不同分割网络的分割结果，包括PSP-Net、Attention-UNet、UNet、CENet和CAM-UNet的分割结果.
表3
| Dice | IoU | Sen | Spe | Acc | |
| PSPNet | 0.6318 | 0.5128 | 0.6052 | 0.9957 | 0.9899 |
| Attention-UNet | 0.7543 | 0.6447 | 0.7373 | 0.9962 | 0.9913 |
| UNet | 0.7575 | 0.6439 | 0.7620 | 0.9953 | 0.9910 |
| CENet | 0.7661 | 0.6541 | 0.7618 | 0.9961 | 0.9919 |
| CAM-UNet | 0.7751 | 0.6638 | 0.7610 | 0.9963 | 0.9923 |
从表3中可以看出，除了灵敏度稍微比UNet低一些，其他指标都是CAM-UNet取得最佳性能。表明了引入分类任务的类激活图的有效性。图5与图6给出了具体的脉络膜新生血管以及玻璃膜疣病变区域的分割结果图，从具体的分割结果图中可以看出，不论是形态大小各异、上下边界模糊不清、内部灰度不一致的脉络膜新生血管的病变区域，还是相互靠近且病变区域较小的玻璃膜疣病变区域，CAM-UNet能够较为准确的分割出OCT图像中的病变区域。
本发明采用双向引导网络实现对AMD病变OCT图像的自动分类分割。双向引导网络包括两个部分：一是互补掩模引导的分类网络CM-CNN，在分类网络中引入分割辅助任务，并将得到的分割结果作为掩模，采用互补的方式增强分类的特征，结果表明取得了较好的分类结果。二是类激活图引导的U型分割网络CAM-UNet，将CM-CNN得到的类激活图作为辅助信息输入，使分割网络更加关注感兴趣区域的特征。实验表明，当训练集同时含有类别标签和病变区域标记时，所设计的网络能够充分利用分类与分割的标签信息，使分类与分割任务两者之间起到互相促进的作用。本发明提出的分类与分割的双向引导网络能够对含有玻璃膜疣、CNV以及正常视网膜OCT图像进行准确的分类，并给出病变区域精确的分割结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，包括以下步骤：
S1、获取OCT图像，将所述OCT图像分成训练集、验证集和测试集；
S2、构建掩模互补卷积神经网络以用于OCT图像的分类；
S3、采用Grad-CAM算法计算掩模互补卷积神经网络的类激活图，获得类激活图的输出；
S4、构建类激活图引导的U型分割网络以用于OCT图像中病变区域的分割；
S5、通过训练集和验证集对所述掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，获得优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络；
S6、将测试集代入优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络中，实现OCT图像的分类和分割。
2.根据权利要求1所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，所述S2中构建掩模互补卷积神经网络以用于OCT图像的分类，具体包括：
通过卷积核提取图像的特征，获得大感受野内的特征；
通过残差块和下采样层对大感受野内的特征做进一步的提取，获得图像的语义信息，其中，在掩模互补卷积神经网络最底层的特征记为A；
A经过1×1的卷积与Sigmoid函数得到最底层的病变区域的分割结果S；
将A分别与S、1-S相乘得到掩模互补的特征，将两路掩模互补的特征在通道方向上拼接，再经过卷积层进一步提取特征得到最后的卷积层输出F；
将最后的卷积层输出F送入全连接层进行分类。
3.根据权利要求2所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，所述S3具体包括：
计算掩模互补卷积神经网络的最后输出的C类的预测概率YC对于最后一层中第K张特征图所有像素
的偏导数，即
其中i、j为像素坐标值。
将求出的偏导数在高度和宽度上取全局平均，得到
其中，Z表示特征图的总像素数；
将
与对应的第K张特征图线性组合并送入ReLU激活函数处理，获得类激活图输出
其中，
ReLU函数是分段线性函数，ReLU(x)＝max(0，x)。
4.根据权利要求1所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，所述S4具体包括：
以ResNet18为编码器提取输入图像的特征，获得编码特征；
将类激活图与不同分辨率下的编码特征采用先相乘后相加的方式融合，提取感兴趣区域的特征。
5.根据权利要求1所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，所述S4与S5之间还包括：
构建分类损失函数和分割损失函数；
基于分类损失函数与分割损失函数的和优化掩模互补卷积神经网络；
基于分割损失函数优化类激活图引导的U型分割网络。
6.根据权利要求5所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，
分类损失函数Lossclass表示为：
7.根据权利要求5所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，
分割的损失函数Lossseg表示为：
Lossseg＝lossBCE+lossDice，其中，tm表示分割标签中第m个像素的值，qm表示模型预测结果图中第m个像素的值，M表示标签图像的总像素数。
8.根据权利要求1所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，所述S5具体包括：
通过训练集对掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，每训练完一次数据，在验证集上进行验证，保存在验证集上分类或分割性能最高的模型参数以更新掩模互补卷积神经网络和类激活图引导的U型分割网络。
9.根据权利要求1所述的基于双向引导网络的AMD病变OCT图像的分类分割方法，其特征在于，所述S1和S2之间还包括：对OCT图像进行预处理，具体包括：
在原OCT图像的四周各扩展一个像素的白边，之后通过阈值分割获得二值图像；
对二值图像做膨胀处理，选择连通域面积最大的连通域作为掩模，取反后与原OCT图像相乘，之后向内收缩一个像素回到原始图像大小；
通过双线性插值将图片大小缩放至目标大小，之后经过离差标准化把图像的像素值映射到[0,1]之间，通过随机水平翻转得到扩充后的数据集。
10.一种基于双向引导网络的AMD病变OCT图像的分类分割系统，其特征在于，包括：
图像处理模块，所述图像处理模块用于获取OCT图像，将所述OCT图像分成训练集、验证集和测试集；
卷积神经网络构建模块，所述卷积神经网络构建模块用于构建掩模互补卷积神经网络以用于OCT图像的分类；
激活图计算模块，所述激活图计算模块采用Grad-CAM算法计算掩模互补卷积神经网络的类激活图，获得类激活图的输出；
分割网络构建模块，所述分割网络构建模块用于构建类激活图引导的U型分割网络以提取感兴趣区域的特征；
训练模块，所述训练模块通过训练集和验证集对所述掩模互补卷积神经网络和类激活图引导的U型分割网络进行训练，优化参数，获得优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络；
测试模块，所述测试模块用于将测试集代入优化后的掩模互补卷积神经网络和类激活图引导的U型分割网络中，实现OCT图像的分类和分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110565331.XA CN113160226A (zh) | 2021-05-24 | 2021-05-24 | 基于双向引导网络的amd病变oct图像的分类分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110565331.XA CN113160226A (zh) | 2021-05-24 | 2021-05-24 | 基于双向引导网络的amd病变oct图像的分类分割方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113160226A true CN113160226A (zh) | 2021-07-23 |
Family
ID=76877088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110565331.XA Pending CN113160226A (zh) | 2021-05-24 | 2021-05-24 | 基于双向引导网络的amd病变oct图像的分类分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160226A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610842A (zh) * | 2021-08-27 | 2021-11-05 | 苏州大学 | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 |
| CN114141339A (zh) * | 2022-01-26 | 2022-03-04 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
| CN114332133A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统 |
| CN114358144A (zh) * | 2021-12-16 | 2022-04-15 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114494891A (zh) * | 2022-04-15 | 2022-05-13 | 中国科学院微电子研究所 | 一种基于多尺度并行检测的危险品识别装置和方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109493954A (zh) * | 2018-12-20 | 2019-03-19 | 广东工业大学 | 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 |
| CN109726743A (zh) * | 2018-12-12 | 2019-05-07 | 苏州大学 | 一种基于三维卷积神经网络的视网膜oct图像分类方法 |
| CN111292338A (zh) * | 2020-01-22 | 2020-06-16 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 |
| CN111598894A (zh) * | 2020-04-17 | 2020-08-28 | 哈尔滨工业大学 | 基于全局信息卷积神经网络的视网膜血管图像分割系统 |
-
2021
- 2021-05-24 CN CN202110565331.XA patent/CN113160226A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726743A (zh) * | 2018-12-12 | 2019-05-07 | 苏州大学 | 一种基于三维卷积神经网络的视网膜oct图像分类方法 |
| CN109493954A (zh) * | 2018-12-20 | 2019-03-19 | 广东工业大学 | 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 |
| CN111292338A (zh) * | 2020-01-22 | 2020-06-16 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 |
| CN111598894A (zh) * | 2020-04-17 | 2020-08-28 | 哈尔滨工业大学 | 基于全局信息卷积神经网络的视网膜血管图像分割系统 |
Non-Patent Citations (2)
| Title |
|---|
| 梁礼明;黄朝林;石霏;吴健;江弘九;陈新建;: "融合形状先验的水平集眼底图像血管分割", 计算机学报, no. 07, 25 November 2016 (2016-11-25) * |
| 许冬;李浩;周利晓;吕梁;: "基于卷积神经网络UNet构建糖尿病性黄斑水肿自动识别模型", 眼科新进展, no. 04, 5 April 2020 (2020-04-05) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610842A (zh) * | 2021-08-27 | 2021-11-05 | 苏州大学 | 基于CAS-Net的OCT图像视网膜脱离和劈裂自动分割方法 |
| CN114358144A (zh) * | 2021-12-16 | 2022-04-15 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114358144B (zh) * | 2021-12-16 | 2023-09-26 | 西南交通大学 | 一种图像分割质量评估方法 |
| CN114332133A (zh) * | 2022-01-06 | 2022-04-12 | 福州大学 | 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统 |
| CN114141339A (zh) * | 2022-01-26 | 2022-03-04 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
| CN114141339B (zh) * | 2022-01-26 | 2022-08-05 | 杭州未名信科科技有限公司 | 膜性肾病的病理图像分类方法、装置、设备及存储介质 |
| CN114494891A (zh) * | 2022-04-15 | 2022-05-13 | 中国科学院微电子研究所 | 一种基于多尺度并行检测的危险品识别装置和方法 |
| CN114494891B (zh) * | 2022-04-15 | 2022-07-22 | 中国科学院微电子研究所 | 一种基于多尺度并行检测的危险品识别装置和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197493B (zh) | 眼底图像血管分割方法 | |
| CN110120047B (zh) | 图像分割模型训练方法、图像分割方法、装置、设备及介质 | |
| CN113160226A (zh) | 基于双向引导网络的amd病变oct图像的分类分割方法及系统 | |
| US20230255478A1 (en) | Automated determination of arteriovenous ratio in images of blood vessels | |
| US11295178B2 (en) | Image classification method, server, and computer-readable storage medium | |
| US9779492B1 (en) | Retinal image quality assessment, error identification and automatic quality correction | |
| CN111259982A (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN111784671B (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN112132817B (zh) | 一种混合注意力机制的眼底图像视网膜血管分割方法 | |
| CN112016626B (zh) | 基于不确定度的糖尿病视网膜病变分类系统 | |
| Chen et al. | PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation | |
| CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
| Li et al. | Retinal vessel detection and measurement for computer-aided medical diagnosis | |
| CN113689954A (zh) | 高血压风险预测方法、装置、设备及介质 | |
| CN117058676B (zh) | 一种基于眼底检查影像的血管分割方法、装置和系统 | |
| US20210153738A1 (en) | Noninvasive techniques for identifying choroidal neovascularization in retinal scans | |
| CN115578783B (zh) | 基于眼部图像进行眼部疾病识别的装置、方法及相关产品 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| Sun et al. | Automatic detection of retinal regions using fully convolutional networks for diagnosis of abnormal maculae in optical coherence tomography images | |
| Zhao et al. | Attention residual convolution neural network based on U-net (AttentionResU-Net) for retina vessel segmentation | |
| CN113012093A (zh) | 青光眼图像特征提取的训练方法及训练系统 | |
| CN114972365A (zh) | 结合先验掩膜的oct图像脉络膜分割模型构建方法及应用 | |
| CN117409030B (zh) | 基于动态管状卷积的octa图像血管分割方法及其系统 | |
| CN113362360B (zh) | 基于流体速度场的超声颈动脉斑块分割方法 | |
| US11974811B2 (en) | Detecting avascular and signal reduction areas in retinas using neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220310 Address after: 215011 Building 2, No. 209, Zhuyuan Road, high tech Zone, Suzhou, Jiangsu Applicant after: SUZHOU BIGVISION MEDICAL TECHNOLOGY Co.,Ltd. Address before: No. 188, Shihu West Road, Wuzhong District, Suzhou City, Jiangsu Province Applicant before: SOOCHOW University |
|
| TA01 | Transfer of patent application right |