CN116091519A - 一种脉络膜新生血管生长预测方法、装置及存储介质 - Google Patents
一种脉络膜新生血管生长预测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116091519A CN116091519A CN202211644781.9A CN202211644781A CN116091519A CN 116091519 A CN116091519 A CN 116091519A CN 202211644781 A CN202211644781 A CN 202211644781A CN 116091519 A CN116091519 A CN 116091519A
- Authority
- CN
- China
- Prior art keywords
- feature map
- image
- ith
- follow
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 208000005590 Choroidal Neovascularization Diseases 0.000 title claims abstract description 34
- 206010060823 Choroidal neovascularisation Diseases 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000012010 growth Effects 0.000 claims abstract description 43
- 230000003902 lesion Effects 0.000 claims abstract description 19
- 238000010586 diagram Methods 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 43
- 230000011218 segmentation Effects 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 19
- 238000012014 optical coherence tomography Methods 0.000 claims description 18
- 230000002207 retinal effect Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000011282 treatment Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 210000001525 retina Anatomy 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 6
- 239000000049 pigment Substances 0.000 claims description 6
- 210000005081 epithelial layer Anatomy 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 210000004379 membrane Anatomy 0.000 claims description 4
- 239000012528 membrane Substances 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 210000000981 epithelium Anatomy 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 2
- 238000009472 formulation Methods 0.000 claims 1
- 238000013527 convolutional neural network Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000002347 injection Methods 0.000 description 8
- 239000007924 injection Substances 0.000 description 8
- 239000003814 drug Substances 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 206010064930 age-related macular degeneration Diseases 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 229940079593 drug Drugs 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 208000008069 Geographic Atrophy Diseases 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000003583 retinal pigment epithelium Anatomy 0.000 description 3
- 206010012688 Diabetic retinal oedema Diseases 0.000 description 2
- 108010041308 Endothelial Growth Factors Proteins 0.000 description 2
- 102000005789 Vascular Endothelial Growth Factors Human genes 0.000 description 2
- 108010019530 Vascular Endothelial Growth Factors Proteins 0.000 description 2
- 230000002137 anti-vascular effect Effects 0.000 description 2
- 210000003161 choroid Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 201000011190 diabetic macular edema Diseases 0.000 description 2
- 208000002780 macular degeneration Diseases 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000035755 proliferation Effects 0.000 description 2
- 208000004644 retinal vein occlusion Diseases 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 206010029113 Neovascularisation Diseases 0.000 description 1
- 108091008605 VEGF receptors Proteins 0.000 description 1
- 108010073929 Vascular Endothelial Growth Factor A Proteins 0.000 description 1
- 102000009484 Vascular Endothelial Growth Factor Receptors Human genes 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229960002833 aflibercept Drugs 0.000 description 1
- 108010081667 aflibercept Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229960000397 bevacizumab Drugs 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000001775 bruch membrane Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000004709 cell invasion Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 229960003876 ranibizumab Drugs 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000008728 vascular permeability Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及深度学习技术领域，尤其是指一种脉络膜新生血管生长预测方法、装置及存储介质。本发明提出了一种基于卷积神经网络的CNV生长预测方法，将采集到的图像分割出感兴趣的CNV病变区域，并将其与原图进行拼接，作为生长预测的输入，保证CNV生长预测的准确性，所提出的基于注意力的门控递归单元，由于集成了纵向数据的空间注意力和通道注意力，着重关注时空序列图像的空间位置的变化，在减少计算量的同时，能够在多维数据中执行卷积操作来捕获时空序列图像的空间特征，在生长预测方面具有更好的性能。
Description
技术领域
本发明涉及深度学习技术领域，尤其是指一种脉络膜新生血管生长预测方法、装置及存储介质。
背景技术
疾病预测被广泛应用于肿瘤领域，帮助量化肿瘤侵袭性、估计患者的生存期并改善治疗方案。现有的方法可分为两种：第一种是基于数学建模的方法，例如反应扩散模型、超弹性生物力学模型、反应扩散模型和生物力学模型的耦合方法。通过建立这些数学模型，捕获肿瘤细胞在周围组织中的扩散和增殖，以此模拟肿瘤的生长。第二种是基于机器学习的方法，利用卷积神经网络学习肿瘤生长的两个基本过程——细胞侵袭和质量效应，充分利用患者的纵向数据，联合学习多个时间点图像的各个切片的上下文信息以及动态变化。这些方法也被扩展到眼科领域，如老年性黄斑变性(Age-related Macular Degeneration,AMD)、糖尿病性黄斑水肿(Diabetic Macular Edema,DME)、视网膜静脉阻塞(Retinal VeinOcclusion,RVO)和脉络膜新生血管(Choroid Neovascularization,CNV)等疾病的定性或定量预测。
脉络膜新生血管又称为视网膜下新生血管，由来自脉络膜的毛细血管通过布鲁赫膜的裂口扩展增殖而引起，多发于黄斑部。目前，在玻璃体内注射抗血管内皮生长因子(anti-VEGF)药物已成为治疗CNV的重要途径，抗VEGF药物包括哌加他尼、阿柏西普、贝伐单抗和雷珠单抗等，通过结合、阻断VEGF受体，降低血管通透性，减少RPE以下的流体面积，从而抑制CNV的生长。注射抗VEGF药物目前有两种方案，一种是PRN(Pro-Re-Nata)方案，即每月注射一次，连续注射三次后，根据患者的病情来决定是否继续注射。第二种是T&E(Treatand Extend)方案，即每月注射一次，连续注射三次后，根据病情逐渐延长注射间隔。由于抗VEGF药物的疗效因人而异，并且该药物的高频注射和高昂的成本给患者带来了巨大的负担。此外，由于眼内注射药物是侵入性的，所以注射后可能会引起一些严重的副作用，如眼内炎症。通过在治疗初期预测疾病未来的发展趋势以及预测个体对治疗的反应，眼科医生就可以提前进行定量分析，制定个性化的治疗方案。在保证疗效的前提下，尽可能减少给药次数，降低治疗风险和成本，减轻社会的经济负担，促进资源管理。
发明专利《本构模型与有限元结合的脉络膜新生血管生长预测方法，专利号CN106844994B》将反应扩散模型与超弹性生物力学模型相结合，预测患者抗血管内皮生长因子(Vascular Endothelial Growth Factor,VEGF)治疗后CNV的生长形态以及体积变化。
传统的数学模型只能独立地考虑每个受试者的病变区域生长，无法学习到整个研究人群中CNV的共同生长模式，并且优化算法非常耗时，在大样本集上的预测性能还有待验证。
文献Zhang Y,Ma X,Li M,et al,“LamNet:A Lesion Attention Maps-GuidedNetwork for the Prediction of Choroidal Neovascularization Volume in SD-OCTImages,”IEEE Journal of Biomedical and Health Informatics,26(4):1660-71(2022)基于三维SD-OCT图像提出了一个病变注意力图引导网络，根据生成的注意力图自动预测治疗后下一次随访的CNV体积。
相比于分割出病变区域，用分类网络生成病变注意力图则对数据的要求很高，如高质量的图像和明显的CNV特征。然而，大多数医院采集的数据不符合这两个条件，它们通常有很多噪音，并且CNV形状各异，边界不明显，这都会导致生成的注意力图偏离实际的CNV区域，导致预测不够精确。
因此如何提高脉络膜新生血管生长预测方法的预测性能是目前待解决的问题。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中脉络膜新生血管生长预测方法预测性能和准确性低的问题。
为解决上述技术问题，本发明提供了一种脉络膜新生血管生长预测方法，包括：
获取接收治疗前的视网膜oct图像，将其作为基准图像，并获取接收治疗后多次随访的视网膜oct图像；
对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割，得到n个分割图像；
对所述n个分割图像分别与对应的原始图像拼接后进行多次卷积和下采样，得到n个高维特征图；
将第i-1个门控递归单元输出的第i-1个空间特征图和第i个高维特征图输入第i个门控递归单元中，得到第i个空间特征图，i∈0...n-1，其中，第i个门控递归单元中的具体操作为：
将第i-1个空间特征图和第i个高维特征图分别进行3×3卷积操作后相加并经过sigmoid函数的处理，得到重置门的输出；将第i-1个空间特征图和第i个高维特征图相减后经过1×1卷积和跨通道平均池化操作，得到空间注意力图；将第i-1个空间特征图和第i个高维特征图相减后分别进行平均池化和最大池化操作，将二者的输出分别经过两个连续的全连接层处理后进行叠加，得到通道注意力图；将所述空间注意力图和所述通道注意力图逐元素相乘后经过s igmo id函数归一化，得到更新门的输出；将经过3×3卷积操作后的第i-1个空间特征图与所述重置门的输出进行哈达玛乘积，并在与经过3×3卷积操作后的第i个高维特征图相加后经过tanh函数处理，得到候选状态；将1与所述更新门的输出相减后与第i-1个空间特征图进行哈达玛乘积，并与和所述更新门的输出进行哈达玛乘积后的候选状态相加，得到隐藏状态，即为第i个空间特征图；
将第n-1个空间特征图经多个反卷积运算单元处理，并与与对应原始图像拼接后的第n-1个分割图像在多次下采样中生成的特征图进行跳跃连接，得到目标特征图；
将所述目标特征图经过1×1卷积操作和softmax函数处理后，得到CNV生长预测结果。
优选地，所述门控递归单元中具体操作的公式表示为：
重置门的输出Rn＝Greset(Xn,Hn-1)＝σ(Wxr*Xn+Whr*Hn-1)
更新门的输出
候选状态
隐藏状态
其中，Wxr、Whr、Wxh和Whh都为3×3大小的权重矩阵，“*”是卷积操作，
是哈达玛乘积，σ和tanh分别代表sigmoid函数和tanh函数，FSA表示1×1卷积操作和跨通道平均池化，FCA表示为输入引入了全局平均池化和全局最大池化，然后分别用两个全连接层来获得通道注意力图，并进行叠加。
优选地，所述获取视网膜oct图像包括：
对眼科oct图像进行各向异性滤波；
对滤波后图像中视网膜层的边界进行分割，所述视网膜层的边界为内界膜层和视网膜色素上皮层，并利用OCT Explorer软件调整视网膜色素上皮层至正确位置。
优选地，所述对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割前还包括：
对每个随访图像与所述基准图像进行配准。
优选地，所述配准的具体操作为：
利用ResNet-18网络对在通道上拼接后的基准图像和随访图像进行特征提取后，输入输出通道数为3的全连接层，得到三个变换参数：旋转角度θ、水平位移Tx和垂直位移Ty；
根据所述三个变换参数得到刚性变换矩阵Tr：
其中，(x0,y0)是随访图像中心点的坐标；
根据所述刚性变换矩阵对随访图像进行重采样；
对随访图像的掩膜同样执行如上述的变换，得到配准后的随访图像。
优选地，所述配准过程的损失函数定义为：
其中，
为基准图像的关键点，所述关键点为视网膜色素上皮层上的点，g为关键点总数，配准后随访图像的关键点
为配准前随访图像的关键点。
优选地，所述对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割，得到n个分割图像包括：
对所述基准图像和多个随访图像分别经过编码器进行特征提取得到n个编码特征图，所述编码器为去掉最后平均池化层和全连接层的ResNet-34网络；
将第i-1个编码特征图和第i个编码特征图输入相关性注意力引导模块，得到第i个重建特征图，第0个重建特征图为第0个编码特征图，其中，相关性注意力引导模块的具体操作为：
将第i-1个编码特征图
和第i个编码特征图
进行降维，得到特征图
和特征图
其中，C、H和W表示输入特征的通道数、高度和宽度；
对特征图FAD进行重组并转置得到特征图
对特征图FBD进行重组得到特征图
计算特征图FAR和特征图FBR之间的比较矩阵
其中，softmax()表示采用softmax函数对权重进行归一化，fAR(i,j)表示特征图FAR中(i,j)位置处的灰度值，
表示特征图FAR的平均灰度值，fBR(j,i)表示特征图FBR中(j,i)位置处的灰度值，
表示特征图FBR的平均灰度值；
将所述比较矩阵MNCC进行转置后与特征图FBR相乘，并进行重组和上采样至
大小，在和尺度参数α相乘后与特征图FB执行逐元素求和运算，得到空间注意力输出
对特征图FA通过全局平均池化操作后，通过多层感知器以及sigmoid激活函数来获得通道上的权重，并将该权重和特征图FB相乘，得到通道注意力输出
对所述空间注意力输出和所述通道注意力输出进行逐元素求和运算，生成所述第i个重建特征图
将所述第i个重建特征图输入解码器，进行多次上采样，并与编码器在生成第i个编码特征图过程中产生的多个浅层特征进行跳跃连接，得到第i个分割图像。
优选地，所述分割过程的损失函数定义为：
总损失
联合损失Lsigle＝LDice+LBCE
Dice损失
二进制交叉熵损失LBCE＝-∑h,w(1-Y)log(1-P)+Ylog(P)
其中，P和Y分别表示分割结果和对应的金标准，h和w是P和Y中的像素点坐标。
本发明还提供了一种脉络膜新生血管生长预测装置，用于实现如上述的脉络膜新生血管生长预测方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种脉络膜新生血管生长预测方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明提出了一种基于卷积神经网络的CNV生长预测方法，将采集到的图像分割出感兴趣的CNV病变区域，并将其与原图进行拼接，作为生长预测的输入，保证CNV生长预测的准确性，所提出的基于注意力的门控递归单元，由于集成了纵向数据的空间注意力和通道注意力，着重关注时空序列图像的空间位置的变化，在减少计算量的同时，能够在多维数据中执行卷积操作来捕获时空序列图像的空间特征，在生长预测方面具有更好的性能。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1是本发明脉络膜新生血管生长预测方法的实现流程图；
图2是本发明所设计的生长预测网络的整体结构示意图；
图3是本发明设计的基于注意力的门控递归单元AGRU中的更新门结构示意图；
图4是本发明所设计的刚性配准网络的整体结构示意图；
图5是本发明所设计的协同分割网络的整体结构示意图；
图6是本发明设计的相关性注意力引导CAG模块示意图；
图7是本发明配准前后对比图；
图8是大面积CNV区域下本发明与其他优秀网络的分割结果对比图；
图9是小面积CNV区域下本发明与其他优秀网络的分割结果对比图；
图10是示例一的本发明与TAPred和基线网络的生长预测结果对比图；
图11是示例二的本发明与TAPred和基线网络的生长预测结果对比图。
具体实施方式
本发明的核心是提供一种脉络膜新生血管生长预测方法、装置及计算机存储介质，提高了预测准确度及预测性能。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的脉络膜新生血管生长预测方法的实现流程图；具体操作步骤如下：
S101:获取接收治疗前的视网膜oct图像，将其作为基准图像，并获取接收治疗后多次随访的视网膜oct图像；
所述获取视网膜oct图像包括：
由于OCT图像具有较多的散斑噪声，首先需要对眼科oct图像进行各向异性滤波；
对滤波后图像中视网膜层的边界进行分割来提取感兴趣的视网膜区域，所述视网膜层的边界为内界膜(Inner Limiting Membrane,ILM)层和视网膜色素上皮(RetinalPigment Epithelium,RPE)层；
由于一些病变区域太大，其造成的阴影覆盖了脉络膜，使得难以使用自动的算法分割RPE层,利用OCT Explorer软件调整视网膜色素上皮层的位置。
S102:对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割，得到n个分割图像；
为了实现CNV的生长预测,将得到的分割结果分别和原图进行拼接后输入到生长预测网络中，本发明提出了一种编码器-递归网络-解码器的框架来预测CNV的未来形状，如图2所示，具体如下：
S103:对所述n个分割图像分别与对应的原始图像拼接后进行多次卷积和下采样，得到n个高维特征图；
使用UNet作为编码器的主干网络，四个卷积层都使用步长为1的3×3卷积、ReLU激活函数和零填充。池化层采用步长为2的2×2大小的滤波器进行最大池化，下采样时神经元的数量依次为16、32、64、128。
S104:将第i-1个门控递归单元输出的第i-1个空间特征图和第i个高维特征图输入第i个门控递归单元中，得到第i个空间特征图，i∈0...n-1；其中，第i个门控递归单元中的具体操作为：
将第i-1个空间特征图和第i个高维特征图分别进行3×3卷积操作后相加并经过sigmoid函数的处理，得到重置门的输出；将第i-1个空间特征图和第i个高维特征图相减后经过1×1卷积和跨通道平均池化操作，来获得每个空间位置的总体响应，得到空间注意力图；将第i-1个空间特征图和第i个高维特征图相减后分别进行平均池化和最大池化操作，将二者的输出分别经过两个连续的全连接层处理后进行叠加，得到通道注意力图；将所述空间注意力图和所述通道注意力图逐元素相乘后经过s igmoid函数归一化，得到更新门的输出；将经过3×3卷积操作后的第i-1个空间特征图与所述重置门的输出进行哈达玛乘积，并在与经过3×3卷积操作后的第i个高维特征图相加后经过tanh函数处理，得到候选状态；将1与所述更新门的输出相减后与第i-1个空间特征图进行哈达玛乘积，并与和所述更新门的输出进行哈达玛乘积后的候选状态相加，得到隐藏状态，即为第i个空间特征图；
所述门控递归单元(AGRU)中具体操作的公式表示为：
重置门的输出Rn＝Greset(Xn,Hn-1)＝σ(Wxr*Xn+Whr*Hn-1)
更新门的输出
候选状态
隐藏状态
其中，Wxr、Whr、Wxh和Whh都为3×3大小的权重矩阵，为了简化公式，此处省略了偏置，“*”是卷积操作，
是哈达玛乘积，σ和tanh分别代表sigmoid函数和tanh函数，FSA表示1×1卷积操作和跨通道平均池化，FCA表示为输入引入了全局平均池化和全局最大池化，然后分别用两个全连接层来获得通道注意力图，并进行叠加。由于CNV的形态一直在改变，利用注意力机制可以帮助决定哪些先前的信息应该保留在Hn，哪些新信息应该从
中得到更新，以此充分地预测保持不变的区域以及将要改变的区域。本发明使用Hn-1-Xn作为更新门的输入，来学习两者之间的差异，图3为提出的更新门架构。
S105:将第n-1个空间特征图经多个反卷积运算单元处理，并与与对应原始图像拼接后的第n-1个分割图像在多次下采样中生成的特征图进行跳跃连接，得到目标特征图；
跳跃连接弥补图像下采样过程导致的信息损失。
S106:将所述目标特征图经过1×1卷积操作和softmax函数处理后，得到CNV生长预测结果。
最后采用1×1卷积作为输出层分类器的特征提取器，通过softmax函数后将图像的每个像素分为两类，即背景和CNV区域。
生长预测在训练过程中的损失函数采用分割时所用的联合损失函数。
本发明提出了一种基于卷积神经网络的CNV生长预测方法，将采集到的图像分割出感兴趣的CNV病变区域，并将其与原图进行拼接，作为生长预测的输入，保证CNV生长预测的准确性，所提出的基于注意力的门控递归单元，由于集成了纵向数据的空间注意力和通道注意力，着重关注时空序列图像的空间位置的变化，在减少计算量的同时，能够在多维数据中执行卷积操作来捕获时空序列图像的空间特征，在生长预测方面具有更好的性能。
基于以上实施例，在步骤S102前还包括对每个随访图像与所述基准图像进行配准，具体如下：
为了保证CNV生长预测的准确性，有必要解决纵向数据的偏移问题，将随访OCT图像配准到基线图像上，使得CNV区域保持在相同的位置。考虑到非刚性配准可能影响CNV的形状和尺寸，本发明采用刚性配准。此外，传统的基于灰度相似性的配准方法对OCT图像中常见的散斑噪声非常敏感。因此，本发明提出了一种基于关键点的配准网络，如图4所示：
在训练期间，将基准图像(固定图像)(If)、随访图像(浮动图像)(Im)及其对应的关键点输入到回归网络中。关键点是RPE层上的4个点，横坐标值分别为102、204、306和408。回归网络使用ResNet-18作为其特征提取器，四次下采样的通道数分别为64、128、256、512，最后的全连接层输出通道数为3。
通过回归网络获得三个变换参数：旋转角度θ、水平位移Tx和垂直位移Ty。这三个参数构成了刚性变换矩阵Tr：
其中，(x0,y0)是随访图像中心点的坐标；
根据以下公式对浮动图像的关键点
进行变换，可以获得变换后的关键点
损失函数定义为
和
之间的均方根误差(Root Mean SquareError,RMSE)：
其中，
为基准图像的关键点，所述关键点为视网膜色素上皮层上的点，g为关键点总数，配准后随访图像的关键点
为配准前随访图像的关键点。
最后，根据所述刚性变换矩阵对随访图像进行重采样来获得配准后的图像。在测试阶段不需要输入关键点，只需要输入固定图像和浮动图像，就可以自动回归出变换参数来生成配准后的图像。然后，对浮动图像的掩模执行相同的变换可以获取配准后的CNV掩模，这为下一步的分割准备了输入。
基于以上实施例，本实施例对步骤S102进行进一步详细说明：
为了研究CNV的生长过程，需要对配准后的OCT图像进行分割，提取出感兴趣的CNV病变区域，这些区域可以用作生长预测的输入，图5展示了本发明提出的协同分割网络，主要由三部分组成：孪生编码器、相关性注意力引导(CAG)模块和孪生解码器，其中孪生编码器和孪生解码器是权值共享的。前者用于从输入图像中提取空间特征，而后者用于从特征中生成分割图。此外，CAG模块被设计用来获得两个输入图像中的共同关注点，如图6所示。
对所述基准图像和多个配准后的随访图像分别经过编码器进行特征提取得到n个编码特征图，所述编码器为去掉最后平均池化层和全连接层的ResNet-34网络，ResNet-34共有五个阶段，第一个阶段包括步长为2的7×7卷积、批归一化和ReLU激活函数。后四个阶段分别包含3、4、6、3个残差模块，每个阶段下采样一次、通道数增大一倍，输出的通道数分别为64、64、128、256、512；
将第i-1个编码特征图和第i个编码特征图输入相关性注意力引导模块，得到第i个重建特征图，第0个重建特征图为第0个编码特征图，其中，相关性注意力引导(CAG)模块的具体操作为：
为了减少权重的维度并加快计算速度，输入的图像传递到一个降维层，该降维层包括1×1卷积、批归一化和ReLU激活函数，将第i-1个编码特征图
和第i个编码特征图
进行降维，得到特征图
和特征图
其中，C、H和W表示输入特征的通道数、高度和宽度；
对特征图FAD进行重组并转置得到特征图
对特征图FBD进行重组得到特征图
计算特征图FAR和特征图FBR之间的比较矩阵
来比较两幅特征图每个空间位置(i,j)处的局部描述符。考虑到归一化互相关(Normalized CrossCorrelation,NCC)相比于其他简单的相关性指标更加鲁棒，本发明采用NCC定义两幅特征的相关性。然后采用softmax函数对权重进行归一化：
其中，softmax()表示采用softmax函数对权重进行归一化，fAR(i,j)表示特征图FAR中(i,j)位置处的灰度值，
表示特征图FAR的平均灰度值，fBR(j,i)表示特征图FBR中(j,i)位置处的灰度值，
表示特征图FBR的平均灰度值；
将所述比较矩阵MNCC进行转置后与特征图FBR相乘，并进行重组和上采样至
大小，在和上尺度参数α相乘后与特征图FB执行逐元素求和运算，得到空间注意力输出
对特征图FA通过全局平均池化操作后，通过多层感知器以及sigmoid激活函数来获得通道上的权重，并将该权重和特征图FB相乘，得到通道注意力输出
值得注意的是，若FA在通道i上没有高响应，那么FB在通道i上由于初始的激活量很小也不会被激活。
对所述空间注意力输出和所述通道注意力输出进行逐元素求和运算，生成所述第i个重建特征图
将所述第i个重建特征图输入解码器，进行多次上采样(使用反卷积作为上采样的方法，即一次上采样包括一个1×1卷积、一个3×3反卷积和一个1×1卷积操作)以恢复高级的语义特征，并与编码器在生成第i个编码特征图过程中产生的多个浅层特征进行跳跃连接，为上采样过程补充细节信息，得到与原图分辨率一致的第i个分割图像。
本发明采用联合损失Lsingle来计算每个分割结果Pi和相对应的金标准Yi的差异程度，该损失函数由Dice损失LDice和二进制交叉熵损失LBCE组成：
Lsingle＝LDice+LBCE
其中Dice损失函数用来计算每个类别目标和金标准的重合度，其计算方法为：
二进制交叉熵损失函数通过逐个对比分割结果和金标准的每个像素得到损失值，其计算方法为：
其中P和Y分别表示分割结果和对应的金标准，h和w是P和Y中的像素点坐标。
因此，LDice和LBCE能够分别在图像级和像素级水平上优化模型。总体的损失函数Ltotal为：
基于以上实施例，本实施例为了验证本发明方法的有效性，在配准、分割和生长预测三个部分分别与经典的方法进行了对比：
数据集来自上海市第一人民医院，共有63例CNV患者，每例患者都有4个时间点的OCT随访图像(时间间隔在30±7天(平均值±标准差)内)。所有的SD-OCT图像均由海德堡扫描仪获得，大小为512×496×19个体素(12.38μm×3.87μm×261.9μm)，体积为6mm×2mm×5mm。
配准实验结果：
将数据按照患者随机划分，43/11/9名患者的图像分别用于训练/验证/测试。在对比实验中，将本发明方法与传统的图像配准算法SimpleElastix进行了比较，并采用RMSE、NMI和测试时间作为配准的评价指标，如表1所示：
表1.本发明和传统算法的配准结果比较
| 方法 | RMSE | NMI | 测试时间(s) |
| 未配准 | 43.182±28.114 | 0.161±0.094 | - |
| SimpleElastix | 12.026±22.757 | 0.632±0.134 | 14.705 |
| 本发明配准方法 | 6.754±5.292 | 0.666±0.043 | 0.083 |
相比于未配准的图像，配准后的图像大大减少了偏移量，且两张图像对应位置的像素更为相近。此外，相比于传统的SimpleElastix，本发明的配准方法在RMSE、NMI和测试时间三个指标上都有较大优势，特别是计算的时间减小了将近3个量级。
附图7展示了一名随机选择的患者配准前后的B-scan对比。第一行的B-scan是未配准的，从中可以看出不同的随访中视网膜存在较大的位移偏差，而第二行的B-scan已经完成了配准，在一定程度上减少了由不同的拍摄位置或患者眼球旋转引起的CNV区域偏移。基于以上分析，这种配准方法可以避免非刚性配准导致的CNV形态变化，有利于观察同一位置病变区域的变化，从而减少后续CNV生长预测的障碍。
分割实验结果：
分割的所有实验均采用四折交叉验证策略，前三折每一折中有16名患者的数据，最后一折包括15名患者的数据。为了防止过拟合并提高模型的鲁棒性，使用在线数据增强策略，包括水平翻转、位移和-20度至20度的旋转。采用Dice相似性系数(Dice SimilarityCoefficient,DSC)、Jaccard指数(Jaccard index,Jac)、灵敏度(Sensitivity,Sen)参数数量和测试时间作为分割的评价指标。
将本发明提出的协同分割网络与单输入的分割方法，以及一种常见的协同分割模型进行了比较。基于U形的分割网络，如U-Net、CE-Net、CPFNet和Swin-Unet作为单输入的分割方法进行训练。表2列出了定量性的实验结果：
附表2.CNV分割的对比实验和消融实验
首先，与单输入的分割方法相比，提出的方法获得了更好的分割性能，Dsc、Jac和Sen分别提高了0.55％、0.61％和1.01％，并且参数数量更少。此外，与文献Chen H,HuangY,Nakayama H,“Semantic aware attention based deep object co-segmentation,”arXiv preprint arXiv:1810.06859(2018)中提出的一种基于语义感知注意力的协同分割模型进行了对比，所提出的方法在大部分的指标上都得到了整体改进。
总体而言，SwinUnet表现最差，可能是因为Transformer缺乏提取复杂病理特征的能力。在图8中，CNV的面积很大，并且边界不明显，这对分割任务构成了很大的障碍。在这些分割结果中，U-Net存在严重的误分割问题，而CENet和CPFNet的性能优于U-Net，这可能得益于上下文信息的融合。然而，它们仍然存在一些假阴性分割和假阳性分割。Chen的结果表明，当两幅图像中存在较大变化时，只有通道方向的注意力可能会低估它们之间的相关性，从而降低通道权重，并导致了一些误分割。值得注意的是，借助于相关性注意力引导机制，本发明的方法可以根据现有特征引导下一个时间点特征的提取，从而尽量避免错误分割。此外，本发明的方法也适用于CNV区域较小的情况，如图9所示。
生长预测实验结果：
使用的训练策略同分割实验。采用Dice相似性系数(Dice SimilarityCoefficient,DSC)、Jaccard指数(Jaccard index,Jac)、精确率(Precision,Pre)、特异性(Specificity,Spe)和准确率(Accuracy,Acc)作为生长预测的评价指标。
表3列出了生长预测对比实验和消融实验：
表3.CNV生长预测的对比实验和消融实验
其中TAPred是文献Zhang Y,Zhang X,Ji Z,et al,“An integrated timeadaptive geographic atrophy prediction model for SD-OCT images,”Medical ImageAnalysis；68(1):101893(2021)中提出的方法，用于自动预测地理性萎缩(Geographicatrophy,GA)的生长，调整该模型以适应CNV生长预测任务。此外，本发明的基线方法是拼接编码器底部生成的三个特征图来取代递归神经网络。基线+CLSTM、基线+CGRU和基线+AGRU代表分别将ConvLSTM、ConvGRU和AGRU用作递归神经网络。从表3中可以看出，与TAPred方法相比，本发明的方法使得Dsc、Jac、Pre、Spre和Acc分别提高了4.00％、4.10％、0.85％、0.05％和0.08％，主要指标Dsc和Jac分别达到83.69％和78.85％，这表明本发明的预测结果更接近实际随访。此外，与基线相比，递归神经网络能够捕捉输入的动态变化，这对于生长预测任务至关重要。而在这些递归神经网络中，提出的AGRU由于集成了纵向数据的空间注意力和通道注意力，着重关注时空序列图像的空间位置的变化，在生长预测方面具有更好的性能。
图10和图11展示了CNV生长预测结果的两个示例。第一行是患者的随访OCT B-scan，第二行是输入的分割结果，随后的是预测结果。从图10和图11可以看出，预测的结果与分割结果密切相关。与TAPred方法相比，本发明的模型能够很好地学习CNV面积的细微减小和强烈增长，与基线方向相比，提出的AGRU在预测CNV区域未来走向方面具有更大的优势。
至此，一种基于深度学习的CNV生长预测方法已经实现并完成验证。本发明包括三个步骤：配准、协同分割和生长预测。首先，通过匹配关键点来训练配准模型，将随访图像配准到参考图像。然后，嵌入CAG模块的协同分割网络协同地分割纵向OCT图像。最后，设计了一种集成CNN和AGRU模块的生长预测模型，CNN用来提取每帧B-scan的特征，AGRU模块用来学习纵向数据的时空信息。实验结果表明，本发明得到的CNV预测结果与实际情况基本一致，根据预测的CNV形态，再结合一些临床指标，主治医生可以判断药物的疗效，并决定下个月是否继续注射药物或改变治疗方案。
本发明首次提出了一种基于卷积神经网络的CNV生长预测方法的全过程，可以准确预测出CNV的生长区域。本发明的技术关键点包括：(1)首次设计了一个刚性配准网络，将每个患者不同时间点的SD-OCT B-scan进行配准，以消除纵向数据的视网膜偏移；(2)首次提出了一个带有相关性注意力引导(CAG)模块的协同分割网络，来协同地分割一组随访图像的CNV病变区域，该模块可以增强共同的抽象特征并抑制其他无关的语义信息，以便指导下一个时间点图像的分割；(3)首次提出了用于CNV生长预测的编码器-递归网络-解码器框架，在这其中设计了基于注意力的门控递归单元(AGRU)作为递归神经网络，来递归地学习特征的鲁棒表示。
本发明还提供一种脉络膜新生血管生长预测装置，用于实现上述脉络膜新生血管生长预测方法。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种脉络膜新生血管生长预测方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种脉络膜新生血管生长预测方法，其特征在于，包括：
获取接收治疗前的视网膜oct图像，将其作为基准图像，并获取接收治疗后多次随访的视网膜oct图像；
对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割，得到n个分割图像；
对所述n个分割图像分别与对应的原始图像拼接后进行多次卷积和下采样，得到n个高维特征图；
将第i-1个门控递归单元输出的第i-1个空间特征图和第i个高维特征图输入第i个门控递归单元中，得到第i个空间特征图，i∈0...n-1，其中，第i个门控递归单元中的具体操作为：
将第i-1个空间特征图和第i个高维特征图分别进行3×3卷积操作后相加并经过sigmoid函数的处理，得到重置门的输出；将第i-1个空间特征图和第i个高维特征图相减后经过1×1卷积和跨通道平均池化操作，得到空间注意力图；将第i-1个空间特征图和第i个高维特征图相减后分别进行平均池化和最大池化操作，将二者的输出分别经过两个连续的全连接层处理后进行叠加，得到通道注意力图；将所述空间注意力图和所述通道注意力图逐元素相乘后经过sigmoid函数归一化，得到更新门的输出；将经过3×3卷积操作后的第i-1个空间特征图与所述重置门的输出进行哈达玛乘积，并在与经过3×3卷积操作后的第i个高维特征图相加后经过tanh函数处理，得到候选状态；将1与所述更新门的输出相减后与第i-1个空间特征图进行哈达玛乘积，并与和所述更新门的输出进行哈达玛乘积后的候选状态相加，得到隐藏状态，即为第i个空间特征图；
将第n-1个空间特征图经多个反卷积运算单元处理，并与与对应原始图像拼接后的第n-1个分割图像在多次下采样中生成的特征图进行跳跃连接，得到目标特征图；
将所述目标特征图经过1×1卷积操作和softmax函数处理后，得到CNV生长预测结果。
2.根据权利要求1所述的脉络膜新生血管生长预测方法，其特征在于，所述门控递归单元中具体操作的公式表示为：
重置门的输出Rn＝Greset(Xn，Hn-1)＝σ(Wxr*Xn+Whr*Hn-1)
更新门的输出
候选状态
隐藏状态
其中，Wxr、Whr、Wxh和Whh都为3×3大小的权重矩阵，“*”是卷积操作，
是哈达玛乘积，σ和tanh分别代表sigmoid函数和tanh函数，FSA表示1×1卷积操作和跨通道平均池化，FCA表示为输入引入了全局平均池化和全局最大池化，然后分别用两个全连接层来获得通道注意力图，并进行叠加。
3.根据权利要求1所述的脉络膜新生血管生长预测方法，其特征在于，所述获取视网膜oct图像包括：
对眼科oct图像进行各向异性滤波；
对滤波后图像中视网膜层的边界进行分割，所述视网膜层的边界为内界膜层和视网膜色素上皮层，并利用OCT ExpIorer软件调整视网膜色素上皮层至正确位置。
4.根据权利要求1所述的脉络膜新生血管生长预测方法，其特征在于，所述对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割前还包括：
对每个随访图像与所述基准图像进行配准。
5.根据权利要求4所述的脉络膜新生血管生长预测方法，其特征在于，所述配准的具体操作为：
利用ResNet-18网络对在通道上拼接后的基准图像和随访图像进行特征提取后，输入输出通道数为3的全连接层，得到三个变换参数：旋转角度θ、水平位移Tx和垂直位移Ty；
根据所述三个变换参数得到刚性变换矩阵Tr：
其中，(x0,y0)是随访图像中心点的坐标；
根据所述刚性变换矩阵对随访图像进行重采样；
对随访图像的掩膜同样执行如上述的变换，得到配准后的随访图像。
6.根据权利要求5所述的脉络膜新生血管生长预测方法，其特征在于，所述配准过程的损失函数定义为：
其中，
为基准图像的关键点，所述关键点为视网膜色素上皮层上的点，g为关键点总数，配准后随访图像的关键点
为配准前随访图像的关键点。
7.根据权利要求4所述的脉络膜新生血管生长预测方法，其特征在于，所述对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割，得到n个分割图像包括：
对所述基准图像和多个随访图像分别经过编码器进行特征提取得到n个编码特征图，所述编码器为去掉最后平均池化层和全连接层的ResNet-34网络；
将第i-1个编码特征图和第i个编码特征图输入相关性注意力引导模块，得到第i个重建特征图，第0个重建特征图为第0个编码特征图，其中，相关性注意力引导模块的具体操作为：
将第i-1个编码特征图
和第i个编码特征图
进行降维，得到特征图
和特征图
其中，C、H和W表示输入特征的通道数、高度和宽度；
对特征图FAD进行重组并转置得到特征图
对特征图FBD进行重组得到特征图
计算特征图FAR和特征图FBR之间的比较矩阵
其中，softmax()表示采用softmax函数对权重进行归一化，fAR(i，j)表示特征图FAR中(i，j)位置处的灰度值，
表示特征图FAR的平均灰度值，fBR(j,i)表示特征图FBR中(j，i)位置处的灰度值，
表示特征图FBR的平均灰度值；
将所述比较矩阵MNCC进行转置后与特征图FBR相乘，并进行重组和上采样至
大小，在和尺度参数α相乘后与特征图FB执行逐元素求和运算，得到空间注意力输出
对特征图FA通过全局平均池化操作后，通过多层感知器以及sigmoid激活函数来获得通道上的权重，并将该权重和特征图FB相乘，得到通道注意力输出
对所述空间注意力输出和所述通道注意力输出进行逐元素求和运算，生成所述第i个重建特征图
将所述第i个重建特征图输入解码器，进行多次上采样，并与编码器在生成第i个编码特征图过程中产生的多个浅层特征进行跳跃连接，得到第i个分割图像。
8.根据权利要求1所述的脉络膜新生血管生长预测方法，其特征在于，所述分割过程的损失函数定义为：
总损失
联合损失Lsingle＝LDice+LBCE
Dice损失
二进制交叉熵损失LBCE＝-∑h，w(1-Y)log(1-P)+Ylog(P)
其中，P和Y分别表示分割结果和对应的金标准，h和w是P和Y中的像素点坐标。
9.一种脉络膜新生血管生长预测装置，其特征在于，用于实现如权利要求1-8任一项所述的脉络膜新生血管生长预测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述一种脉络膜新生血管生长预测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211644781.9A CN116091519B (zh) | 2022-12-20 | 2022-12-20 | 一种脉络膜新生血管生长预测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211644781.9A CN116091519B (zh) | 2022-12-20 | 2022-12-20 | 一种脉络膜新生血管生长预测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091519A true CN116091519A (zh) | 2023-05-09 |
| CN116091519B CN116091519B (zh) | 2024-09-06 |
Family
ID=86211291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211644781.9A Active CN116091519B (zh) | 2022-12-20 | 2022-12-20 | 一种脉络膜新生血管生长预测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091519B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524191A (zh) * | 2023-05-11 | 2023-08-01 | 山东省人工智能研究院 | 融入测地线投票算法的深度学习网络的血管分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170113251A (ko) * | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
| CN111292338A (zh) * | 2020-01-22 | 2020-06-16 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 |
| US20210153738A1 (en) * | 2019-11-27 | 2021-05-27 | Oregon Health & Science University | Noninvasive techniques for identifying choroidal neovascularization in retinal scans |
| CN114881968A (zh) * | 2022-05-07 | 2022-08-09 | 中南大学 | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 |
| CN115294075A (zh) * | 2022-08-11 | 2022-11-04 | 重庆师范大学 | 一种基于注意力机制的octa图像视网膜血管分割方法 |
| CN115330807A (zh) * | 2022-07-12 | 2022-11-11 | 国电南瑞科技股份有限公司 | 一种基于混合卷积网络的脉络膜新生血管图像分割方法 |
-
2022
- 2022-12-20 CN CN202211644781.9A patent/CN116091519B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170113251A (ko) * | 2016-03-24 | 2017-10-12 | 재단법인 아산사회복지재단 | 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 |
| US20210153738A1 (en) * | 2019-11-27 | 2021-05-27 | Oregon Health & Science University | Noninvasive techniques for identifying choroidal neovascularization in retinal scans |
| CN111292338A (zh) * | 2020-01-22 | 2020-06-16 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 |
| CN114881968A (zh) * | 2022-05-07 | 2022-08-09 | 中南大学 | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 |
| CN115330807A (zh) * | 2022-07-12 | 2022-11-11 | 国电南瑞科技股份有限公司 | 一种基于混合卷积网络的脉络膜新生血管图像分割方法 |
| CN115294075A (zh) * | 2022-08-11 | 2022-11-04 | 重庆师范大学 | 一种基于注意力机制的octa图像视网膜血管分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴晨;易本顺;章云港;黄松;冯雨;: "基于改进卷积神经网络的视网膜血管图像分割", 光学学报, no. 11, 27 June 2018 (2018-06-27) * |
| 梁礼明;盛校棋;蓝智敏;杨国亮;陈新建: "自适应尺度信息的U型视网膜血管分割算法", 《光学学报》, 8 May 2019 (2019-05-08) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524191A (zh) * | 2023-05-11 | 2023-08-01 | 山东省人工智能研究院 | 融入测地线投票算法的深度学习网络的血管分割方法 |
| CN116524191B (zh) * | 2023-05-11 | 2024-01-19 | 山东省人工智能研究院 | 融入测地线投票算法的深度学习网络的血管分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091519B (zh) | 2024-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sathananthavathi et al. | Encoder enhanced atrous (EEA) unet architecture for retinal blood vessel segmentation | |
| Vigueras-Guillén et al. | Fully convolutional architecture vs sliding-window CNN for corneal endothelium cell segmentation | |
| Mahmoud et al. | An automatic detection system of diabetic retinopathy using a hybrid inductive machine learning algorithm | |
| Akil et al. | Detection of retinal abnormalities in fundus image using CNN deep learning networks | |
| Sousa et al. | Automatic segmentation of retinal layers in OCT images with intermediate age-related macular degeneration using U-Net and DexiNed | |
| Xue et al. | Deep ensemble neural-like P systems for segmentation of central serous chorioretinopathy lesion | |
| CN116091519B (zh) | 一种脉络膜新生血管生长预测方法、装置及存储介质 | |
| Sun et al. | Contextual information enhanced convolutional neural networks for retinal vessel segmentation in color fundus images | |
| Baid et al. | Detection of pathological myopia and optic disc segmentation with deep convolutional neural networks | |
| Almustafa et al. | STARC: Deep learning Algorithms’ modelling for STructured analysis of retina classification | |
| Tripathi et al. | MTCD: Cataract detection via near infrared eye images | |
| Jiang et al. | MFI-Net: A multi-resolution fusion input network for retinal vessel segmentation | |
| Kepp et al. | Segmentation of retinal low-cost optical coherence tomography images using deep learning | |
| Jayachandran et al. | Multi-dimensional cascades neural network models for the segmentation of retinal vessels in colour fundus images | |
| Lachinov et al. | Learning spatio-temporal model of disease progression with NeuralODEs from longitudinal volumetric data | |
| Li et al. | AMD-Net: Automatic subretinal fluid and hemorrhage segmentation for wet age-related macular degeneration in ocular fundus images | |
| Bar-David et al. | Impact of data augmentation on retinal OCT image segmentation for diabetic macular edema analysis | |
| Alsaih et al. | Retinal fluids segmentation using volumetric deep neural networks on optical coherence tomography scans | |
| Maier et al. | A line to align: deep dynamic time warping for retinal OCT segmentation | |
| Kamran et al. | Swinvftr: A novel volumetric feature-learning transformer for 3d oct fluid segmentation | |
| Chakravarty et al. | Morph-SSL: Self-Supervision with Longitudinal Morphing for Forecasting AMD Progression from OCT Volumes | |
| Harithalakshmi et al. | EfficientNet-based Diabetic Retinopathy Classification Using Data Augmentation | |
| Siregar et al. | Optic Disc Segmentation on Eye Retinal Image with U-Net Convolutional Neural Network Architecture | |
| Shen et al. | Morphological prognosis prediction of choroid neovascularization from longitudinal SD‐OCT images | |
| Melinščak et al. | Retinal OCT Image Segmentation: How Well do Algorithms Generalize or How Transferable are the Data? |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |