CN116128811A - 一种基于递归神经网络的眼底萎缩弧区域变化预测方法 - Google Patents
一种基于递归神经网络的眼底萎缩弧区域变化预测方法 Download PDFInfo
- Publication number
- CN116128811A CN116128811A CN202211621638.8A CN202211621638A CN116128811A CN 116128811 A CN116128811 A CN 116128811A CN 202211621638 A CN202211621638 A CN 202211621638A CN 116128811 A CN116128811 A CN 116128811A
- Authority
- CN
- China
- Prior art keywords
- atrophy
- prediction
- arc
- moment
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010003694 Atrophy Diseases 0.000 title claims abstract description 92
- 230000037444 atrophy Effects 0.000 title claims abstract description 92
- 230000008859 change Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 230000000306 recurrent effect Effects 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000004379 myopia Effects 0.000 claims abstract description 15
- 208000001491 myopia Diseases 0.000 claims abstract description 15
- 230000002265 prevention Effects 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims description 41
- 238000012795 verification Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 210000004204 blood vessel Anatomy 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 210000001525 retina Anatomy 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 208000001749 optic atrophy Diseases 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 208000032436 Retinal depigmentation Diseases 0.000 description 1
- 206010038848 Retinal detachment Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004402 high myopia Effects 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000004515 progressive myopia Effects 0.000 description 1
- 230000004264 retinal detachment Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，属于图像处理技术领域。本方法采用特征提取器输出的特征作为输入，网络训练时加入对于输入特征和输出特征的相似性约束，解决预测时序序列输入数据缺失的问题，降低数据带来的影响；通过在预测网络中加入注意力机制，充分利用历史输入特征，保持输入时间因果性，进一步提升网络预测性能；在进行预测网络训练前进行配准操作，排除不同时刻图像采集角度和分辨率的影响，能够进行不同时刻萎缩弧面积的比较，提升对眼底萎缩弧区域变化预测的准确性；本发明适用于眼科医疗等领域，通过萎缩弧增长趋势，提供精确且有针对性地辅助近视预测和防控。
Description
技术领域
本发明涉及一种基于递归神经网络的眼底萎缩弧区域变化预测方法，属于图像处理技术领域。
背景技术
眼底视盘萎缩弧是一种反应视网膜层和视网膜色素上皮萎缩的临床发现，其与儿童青少年近视、青光眼视网膜脱落和密集型白内障高度相关，因此视盘萎缩弧可以作为上述眼病的生物标志物。根据世界卫生组织的研究报告显示，我国近视患者人数多达6亿，青少年近视率居世界第一，儿童青少年中高度近视比例呈上升趋势。目前已有研究表明，视盘萎缩弧的面积与近视程度呈现正相关，因此若能预测未来视盘萎缩弧的变化，则可以实施干预以防止近视的快速发展。
现有针对于视盘萎缩弧预测的研究，主要是预测未来是否会出现视盘萎缩弧。而当前研究主要是进行分类操作，并不能细化到像素级别的预测。现有的预测方法主要利用前一时刻的特征来预测当前时刻的结果，对于历史时刻的特征并不能够充分的利用。若能充分利用历史检查的眼底图像预测出未来的视盘萎缩弧，并与已有眼底图像的萎缩弧分割结果对比，根据萎缩弧面积和宽度的变化能够做到早发现、早干预、早治疗，对于近视防控具有十分重要的意义。
发明内容
针对于现有视盘萎缩弧预测方法只进行分类而不能细化到像素级预测，且不能充分利用历史数据特征的问题，本发明的主要目的是通过提出一种基于递归神经网络的眼底萎缩弧区域变化预测方法，采用卷积长短期记忆递归神经网络,并在网络中加入了注意力机制,来提升对眼底萎缩弧区域变化的预测准确度，从而有针对性地辅助近视预测和防控。
本发明的目的是通过以下技术方案实现的：
本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，本方法在进行预测网络训练前进行配准操作，排除不同时刻图像采集角度和分辨率的影响，能够进行不同时刻萎缩弧面积的比较，提升预测的准确性；采用特征提取器输出的特征作为输入，网络训练时加入对于输入特征和输出特征的相似性约束，解决预测时序序列输入数据缺失的问题，降低数据带来的影响；通过在预测网络中加入注意力机制，充分利用历史输入特征，保持输入时间因果性，进一步提升网络预测性能；采用萎缩弧区域预测模型，实现萎缩弧未来区域像素级预测，提升对眼底萎缩弧区域变化的预测准确度，有针对性地辅助近视预测和防控。
本发明公开了一种基于递归神经网络的眼底萎缩弧区域变化预测方法，包括以下步骤：
步骤1：对历史图像进行配准操作，构建数据集并提取感兴趣区域；
步骤1.1、对于同一病人同只眼睛历年拍摄的眼底图像，以初始检查图像为基准，进行配准操作，输出配准后的图像，保证同一病人同只眼睛历年眼底图像的视盘位置与血管分布逐像素对应。
步骤1.2、构建训练集、验证集和测试集，其中数据集为多组病人单眼历年临床采集的视网膜眼底图像序列。对于训练集和验证集，除了包含临床图像还包括医生进行的视盘和萎缩弧的标注，测试集数据无需医生进行标注。
步骤1.3、截取以视盘为中心的感兴趣区域，具体步骤如下：
步骤1.3.1、采用步骤1.2构建的训练集和验证集，以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证，其中训练时只采用训练集，根据验证集上结果选取验证集上损失最小的模型作为最终采用的分割模型。
步骤1.3.2、利用步骤1.3.1中得到的模型对于所有图像进行视盘和萎缩弧区域分割。
步骤1.3.3、以病人单眼为组，将分割的视盘结果取并集，计算最小外切圆，得到圆心和半径。
步骤1.3.4、根据步骤1.3.3得到的圆心和半径截取感兴趣区域，其中感兴趣区域的中心为圆心，边长为P倍半径的矩形，若截取的区域超出图像尺寸则进行补零操作。
步骤1.4、将截取的图像尺寸变换到指定大小，缩放后图片的大小为H1*W1，由于后续网络训练时需要输入图像大小相同，因此将图像进行缩放操作。
步骤1.5、对步骤1.4得到的图片按照步骤1.2的数据集分组对图像进行分组得到后续使用的数据集。
步骤2：采用步骤1得到的训练集和验证集，以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证，根据验证集上的结果，选取验证集上损失最低的模型作为最终采用的分割模型。
步骤3：根据步骤2得到的分割模型，构建萎缩弧区域预测模型，并采用步骤1的数据集进行训练；
步骤3.1、将步骤2得到的分割模型去除最后的卷积层作为特征提取器，特征提取器输入为图像。
步骤3.2、构建时序预测网络中的基本模块；
基本模块结构为卷积长短期记忆递归单元，如(1)所示：
t表示时刻；X为基本模块的输入；H为隐藏状态；C为记忆单元状态；tan()和σ()表示不同的激活函数；其中σ为sigmoid函数；*表示卷积操作；°表示哈达玛积；W为模型参数，通过网络学习得到。
步骤3.3、构建注意力模块，充分利用历史时刻的信息；
对于t＝1时不进行任何处理。对于t≠1的时刻，将时刻t看作查询时刻，前t-1个时刻均为历史时刻。首先将查询的特征
分别经过两个卷积层，从而获得两个特征，将其称为
和
再将历史时刻特征分别经过两个卷积层，将两个卷积层的输出分别沿着时间维度进行级联，得到的特征称为
和
然后进行维度变换，将KQ变换成
KM变换成
VM变换成
通过将KM中每个时空位置与KQ的每个空间位置进行比较以进行相似性匹配。然后使用softmax加权求和来检索VM，得到的特征Fout维度变换回
再与VQ进行级联得到最终输出特征。
步骤3.4、构建时序预测网络的模块组合；
模块组合由Q个基本模块，Q/2-1个下采样和Q/2-1个上采样层和一个注意力模块组成。其中前Q/2个模块间通过下采样层连接，后Q/2个模块间通过上采样层连接，第Q/2个模块的输出通过注意力模块处理后输出的结果再输入到第Q/2+1个模块。对于后Q/2个模块，其隐藏状态和记忆单元状态为上一时刻的状态和当前时刻前面对应模块输出的隐藏状态和记忆单元状态相加构成。其中Q为偶数。
步骤3.5、构建空间时序预测模型；
空间时序预测模型由T个模块组合构成，其中T表示序列组中历史时刻数，T个模块组合中的参数共享。对于时刻1，前一时刻的隐藏状态和记忆单元状态均置为零。对于其他时刻，前一时刻的隐藏状态和记忆单元状态的输出为当前时刻的输入。对于第一层基本模块，输入为步骤3.1输出的特征。对于其他层模块，输入为前一层输出经过下采样或上采样或注意力模块输出的特征图。
步骤3.6、构建分割端口；
分割端口由一个卷积层和一个softmax激活层组成。分割端口的输入包含步骤3.1的输出特征和步骤3.5中最后一层基本模块输出的隐藏状态，输出视盘和萎缩弧的分割结果。
步骤3.7、训练萎缩弧区域预测模型；
网络采用步骤1得到的数据集进行训练，使用的损失函数由交叉熵损失，前景的Dice损失和均方误差损失组成。
交叉熵损失表示为
表示，如(2)所示：
此时
为分割端口输出的视盘和萎缩弧预测结果，y为其对应的医生标注真值，N为图像数量，Cls为类别数量(包含背景)。
Dice损失表示为
如(3)所示：
此时y，
N,Cls定义与之前相同，∈为一个趋近于0的数，在计算Dice损失时，不考虑背景，只计算视盘和萎缩弧。
均方误差表示为
如(4)所示：
最终构建的损失函数如(5)所示：
验证集上损失最小的模型选取为最终采用的预测模型。
步骤4：应用步骤3得到的模型，对实际临床数据进行预测，提升对眼底萎缩弧区域未来变化的预测准确度，优化近视防控及治疗方案；
步骤4.1、将临床数据进行配准和提取感兴趣区域操作，临床数据可以存在输入数据某一时刻的缺失。
步骤4.2、将处理后的数据输入步骤3得到的预测模型，输出未来的预测结果和当前时刻的视盘和萎缩弧分割结果，计算各个时刻的萎缩弧面积。对于存在输入数据缺失的情况，缺失时刻采用上一时刻的输出特征作为缺失时刻的输入。
步骤4.3、将预测出未来时刻的萎缩弧面积与历史时刻的萎缩弧分割面积变化按照时间顺序绘成折线图，有针对性地辅助近视预测和防控。
有益效果：
一种基于递归神经网络的眼底萎缩弧区域变化预测方法，与现有眼底萎缩弧预测网络相比，具有如下有益效果：
1、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，采用特征提取器输出的特征作为输入，网络训练时加入对于输入特征和输出特征的相似性约束，能够解决预测时序序列输入数据缺失的问题，降低数据带来的影响。
2、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，通过在预测网络中加入注意力机制，充分利用历史输入特征，保持输入时间因果性，进一步提升网络预测性能。
3、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，在进行预测网络训练前进行配准操作，排除不同时刻图像采集角度和分辨率的影响，能够进行不同时刻萎缩弧面积的比较，提升对萎缩弧区域变化预测的准确性。
4、本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，采用萎缩弧区域预测模型，既能够预测出未来时刻的视盘和萎缩弧区域，也能够对历史各时刻的输入进行视盘和萎缩弧区域的分割，将历史时刻和未来时刻的萎缩弧面积预测结果绘制成折线图，更利于医生通过萎缩弧增长趋势，有针对性地辅助近视预测和防控。
附图说明
图1是本发明公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法的流程示意图；
图2是本实施例中一种基于递归神经网络的眼底萎缩弧区域变化预测方法及实施例中视盘和萎缩弧分割模型的结构示意图；
图3是本实施例中一种基于递归神经网络的眼底萎缩弧区域变化预测方法及实施例中视盘和萎缩弧区域未来预测模型的结构示意图；
图4是本实施例中一种基于递归神经网络的眼底萎缩弧区域变化预测方法及实施例中视盘和萎缩弧区域未来预测模型中注意力模块的结构示意图；
图5是本实施例中一种基于递归神经网络的眼底萎缩弧区域变换预测方法及实施例中病人萎缩弧面积变化折线图。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
本实施例阐述了本发明所述一种基于递归神经网络的眼底萎缩弧区域变化预测方法，采用一年级到五年级的眼底图像，预测第六年的视盘和萎缩弧区域，并根据变化曲线辅助医生优化近视防控及干预治疗方案。
本实施例公开的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，如图(1)所示，具体包括如下步骤
步骤1：对历史图像进行配准操作，构建数据集并提取感兴趣区域；
步骤1.1对于病人序列数据以初始检查眼底图像为基准进行配准操作，输出配准后的图像。采用基于Harris-PIIFD特征点的眼底图像配准方法。首先利用Harris检测器来检测图像的特征角点，并通过向中心缩进的方式剔除视网膜与黑色背景边界处的背景点。然后采用平均平方梯度的方法，为特征角点指派主方向。以特征角点为中心，提取该特征角点邻域内的PIIFD特征向量。接下来采用BBF算法，对序列数据组中不同特征角点提取的PIIFD特征向量进行匹配，非初始检查图像中的特征角点为基准点，初始检查图像对应的特征角点为匹配点。通过特征角点的主方向以及几何分布，对误匹配点剔除。对匹配点位置进行微调，搜索匹配点周围5*5像素范围内所有特征角点，比较基准点与匹配点的PIIFD特征向量，选取匹配点最高的点代替原匹配点。最后根据匹配点个数选择对非初始检查数据进行几何变换。至此，配准后的图像和基准图像的视盘以及血管在图像中的位置逐像素对应。
步骤1.2构建训练集、验证集和测试集。临床收集的327组病人单眼一年级到六年级的所有临床检查的眼底图像为原始数据集，其中250组数据作为训练集，27组数据作为验证集，50组数据作为测试集。训练集和验证集包括医生对于采集图像标注的视盘和萎缩弧标签。
步骤1.3截取以视盘为中心的感兴趣区域，具体步骤如下：
步骤1.3.1采用步骤1.2中构建的训练集(1500张图像)和验证集(162张图像)以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证。本实例中采用U-Net网络进行分割任务，U-Net结构如图2所示，由于分割网络的输入需要固定大小，因此将输入图像首先进行大小调整，将图像缩放到512*512*3，缩放时保持图像的长宽比不变，对于空白区域采取补零操作。网络共进行4次下采样操作和与之对应的4次上采样操作，网络中除去最后一个卷积操作中卷积核大小为1*1，其余的卷积核大小为3*3。网络的输入为配准后的图像，输出为分割的视盘和萎缩弧区域。其中训练时只采用训练集，根据验证集上结果选取验证集上损失最小的模型作为最终采用的分割模型。
步骤1.3.2利用步骤1.3.1中得到的模型对于所有图像，共1962张图像进行视盘和萎缩弧区域分割。
步骤1.3.3以病人单眼为组，将分割的视盘结果取并集，计算最小外切圆，得到圆心和半径。由于分割网络的输入进行了缩放操作，萎缩弧区域在原图上占比较小，缩放后会丢失信息，导致萎缩弧分割结果较差，但视盘分割结果较好，因此这里只采用视盘分割结果。
步骤1.3.4根据步骤1.3.3得到的圆心和半径截取感兴趣区域，感兴趣区域为正方形，其中感兴趣区域的中心为圆心，边长为5倍半径，若截取的区域超出图像尺寸则进行补零。
步骤1.4将截取的图像尺寸变换到指定大小，缩放后图片的大小为512*512，由于后续网络训练时需要输入图像大小相同，因此我们将图像进行缩放操作。
步骤1.5：对步骤1.4得到的图片按照步骤1.2的数据集分组对图像进行分组得到后续使用的数据集。
步骤2：采用步骤1中训练集和验证集以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证。这里分割模型与步骤1.3.1相同，均为U-Net结构，如图2所示。根据验证集上的结果，选取验证集上损失最小的模型作为最终采用的分割模型。
步骤3：根据步骤2得到的分割模型，进行萎缩弧区域预测模型构建与训练。此模型采用一年级到五年级的眼底图像预测第六年的视盘和萎缩弧区域，并对前五年眼底图像进行视盘和萎缩弧分割，具体包含如下子步骤：
步骤3.1：将步骤2得到的分割模型去除最后的卷积层作为特征提取器，此部分参数在后续实验中固定。训练时将一年级到六年级眼底图像均经过此特征提取器，测试时只输入一年级到五年级眼底图像。
步骤3.2：构建时序预测网络；如图3中虚线框所示结构，将特征提取器提取的特征(一年级到五年级提取的特征)按照时间顺序依次输入，每一时刻的特征均经过6个RNN模块，期间进行2次下采样，1次注意力操作和2次上采样操作。其中前3个模块间通过下采样层连接，后3个模块间通过上采样层连接，第3个模块的输出通过注意力模块处理后输出的结果再输入到第4个模块。对于后三个模块，其隐藏状态和记忆单元状态为上一时刻的状态和当前时刻前面对应模块输出的隐藏状态和记忆单元状态相加构成，对应模块连接如图3中曲线箭头所示。实例中优选的RNN模块为卷积长短期记忆递归单元(ConvLSTM)，ConvLSTM具体公式如(1)所示：
t表示时刻；X为基本模块的输入；H为隐藏状态；C为记忆单元状态；tan()和σ()表示不同的激活函数；其中σ为sigmoid函数；*表示卷积操作；°表示哈达玛积；W为模型参数，通过网络学习得到。
注意力模块中需要对于当前序列组输入的每一时刻特征进行记录，注意力模块的目的是对于当前时刻进行处理时，充分利用历史时刻的信息，具体操作如图4所示。对于t＝1时不进行任何处理，对于t≠1的时刻，将时刻t看作查询时刻，前t-1个时刻均为历史时刻，首先将查询的特征
分别经过两个卷积层从而获得两个特征将其称为
和
再将历史时刻特征分别经过两个卷积层，将两个卷积层的输出分别沿着时间维度进行级联，得到的特征称为
和
为了降低计算量提高计算速度，将KM,VM和KQ均进行2倍下采样，再进行维度变换，变换后
通过将KM中每个时空位置与KQ的每个空间位置进行比较以进行相似性匹配，然后使用softmax加权求和来检索VM，得到的特征Fout变换回
对其进行2倍上采样操作，得到的Fout与VQ进行级联得到最终输出特征。
步骤3.3：构建分割端口；
分割端口由一个卷积层和一个softmax激活层组成。分割端口的输入为步骤2.1的输出特征(一年级到六年级编码后的特征)和步骤2.2中最后一层RNN模块输出的隐藏状态特征，输出视盘和萎缩弧的预测结果。
步骤3.4：训练萎缩弧区域预测模型；
网络使用的损失函数由交叉熵损失，前景的Dice损失和均方误差损失组成。
交叉熵损失表示为
表示，其计算公式如(2)所示：
此时
为分割端口输出的视盘和萎缩弧预测结果，y为其对应的医生标注真值，N为图像数量，Cls为类别数量(包含背景)。
Dice损失表示为
其计算公式如(3)所示：
此时y和
定义与之前相同，∈为一个趋近于0的数，再计算Dice损失时，不考虑背景，只计算视盘和萎缩弧。
均方误差表示为
其计算公式如(4)所示：
最终构建的损失函数如公式(5)所示：
取验证集上预测损失最小的模型为最终采用的预测模型。
步骤4：应用步骤3得到的模型，对实际临床数据进行预测，提升对眼底萎缩弧区域变化的预测精确度，有针对性地辅助近视预测和防控。具体操作如下：
步骤4.1将临床数据进行配准和提取感兴趣区域操作。
步骤4.2将处理后的数据输入步骤3得到的预测模型，输出未来的预测结果和当前时刻的视盘和萎缩弧分割结果，计算各个时刻的萎缩弧面积。
步骤4.3将预测出未来时刻的萎缩弧面积与历史时刻的萎缩弧分割面积变化绘成折线图，折线图如图5所示，根据变化曲线有针对性地辅助近视预测和防控。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于递归神经网络的眼底萎缩弧区域变化预测方法，其特征在于：包括如下步骤，
步骤1：对历史图像进行配准操作，构建数据集并提取感兴趣区域；
步骤2：采用步骤1得到的训练集和验证集，以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证，根据验证集上的结果，选取验证集上损失最低的模型作为最终采用的分割模型；
步骤3：根据步骤2得到的分割模型，构建萎缩弧区域预测模型，并采用步骤1的数据集进行训练；
步骤4：应用步骤3得到的模型，对实际临床数据进行预测，提升对眼底萎缩弧区域变化的预测准确度，有针对性地辅助近视预测和防控。
2.如权利要求1所述的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，其特征在于：步骤1的实现方法为，
步骤1.1、对于同一病人同只眼睛历年拍摄的眼底图像，以初始检查图像为基准，进行配准操作，输出配准后的图像，保证同一病人同只眼睛历年眼底图像的视盘位置与血管分布逐像素对应；
步骤1.2、构建训练集、验证集和测试集，其中数据集为多组病人单眼历年临床采集的视网膜眼底图像序列；对于训练集和验证集，除了包含临床图像还包括医生进行的视盘和萎缩弧的标注，测试集数据无需医生进行标注；
步骤1.3、截取以视盘为中心的感兴趣区域，具体步骤如下：
步骤1.3.1、采用步骤1.2构建的训练集和验证集，以图片为单位进行视盘和萎缩弧区域分割模型的训练与验证，其中训练时只采用训练集，根据验证集上结果选取验证集上损失最小的模型作为最终采用的分割模型；
步骤1.3.2、利用步骤1.3.1中得到的模型对于所有图像进行视盘和萎缩弧区域分割；
步骤1.3.3、以病人单眼为组，将分割的视盘结果取并集，计算最小外切圆，得到圆心和半径；
步骤1.3.4、根据步骤1.3.3得到的圆心和半径截取感兴趣区域，其中感兴趣区域的中心为圆心，边长为P倍半径的矩形，若截取的区域超出图像尺寸则进行补零操作；
步骤1.4、将截取的图像尺寸变换到指定大小，缩放后图片的大小为H1*W1，由于后续网络训练时需要输入图像大小相同，因此将图像进行缩放操作；
步骤1.5、对步骤1.4得到的图片按照步骤1.2的数据集分组对图像进行分组得到后续使用的数据集。
3.如权利要求2所述的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，其特征在于：步骤3的实现方法为，
步骤3.1、将步骤2得到的分割模型去除最后的卷积层作为特征提取器，特征提取器输入为图像；
步骤3.2、构建时序预测网络中的基本模块；
基本模块结构为卷积长短期记忆递归单元，如(1)所示：
t表示时刻；X为基本模块的输入；H为隐藏状态；C为记忆单元状态；tan()和σ()表示不同的激活函数；其中σ为sigmoid函数；*表示卷积操作；
表示哈达玛积；W为模型参数，通过网络学习得到；
步骤3.3、构建注意力模块，充分利用历史时刻的信息；
对于t＝1时不进行任何处理；对于t≠1的时刻，将时刻t看作查询时刻，前t-1个时刻均为历史时刻；首先将查询的特征
分别经过两个卷积层，从而获得两个特征，将其称为
和
再将历史时刻特征分别经过两个卷积层，将两个卷积层的输出分别沿着时间维度进行级联，得到的特征称为
和
然后进行维度变换，将KQ变换成
KM变换成
VM变换成
通过将KM中每个时空位置与KQ的每个空间位置进行比较以进行相似性匹配；然后使用softmax加权求和来检索VM，得到的特征Fout维度变换回
再与VQ进行级联得到最终输出特征；
步骤3.4、构建时序预测网络的模块组合；
模块组合由Q个基本模块，Q/2-1个下采样和Q/2-1个上采样层和一个注意力模块组成，其中前Q/2个模块间通过下采样层连接，后Q/2个模块间通过上采样层连接，第Q/2个模块的输出通过注意力模块处理后输出的结果再输入到第Q/2+1个模块，对于后Q/2个模块，其隐藏状态和记忆单元状态为上一时刻的状态和当前时刻前面对应模块输出的隐藏状态和记忆单元状态相加构成；其中Q为偶数；
步骤3.5、构建空间时序预测模型；
空间时序预测模型由T个模块组合构成，其中T表示序列组中历史时刻数，T个模块组合中的参数共享，对于时刻1，前一时刻的隐藏状态和记忆单元状态均置为零，对于其他时刻，前一时刻的隐藏状态和记忆单元状态的输出为当前时刻的输入；对于第一层基本模块，输入为步骤3.1输出的特征，对于其他层模块，输入为前一层输出经过下采样或上采样或注意力模块输出的特征图；
步骤3.6、构建分割端口；
分割端口由一个卷积层和一个softmax激活层组成；分割端口的输入为步骤3.1的输出特征和步骤3.5中最后一层输出的隐藏状态特征，输出视盘和萎缩弧的预测结果；
步骤3.7、训练萎缩弧区域预测模型；
网络采用步骤1得到的数据集进行训练，使用的损失函数由交叉熵损失，前景的Dice损失和均方误差损失组成；
交叉熵损失表示为
表示，如(2)所示：
此时
为分割端口输出的视盘和萎缩弧预测结果，y为其对应的医生标注真值，N为图像数量，Cls为类别数量(包含背景)；
Dice损失表示为
如(3)所示：
此时y，
N,Cls定义与之前相同，∈为一个趋近于0的数，在计算Dice损失时，不考虑背景，只计算视盘和萎缩弧；
均方误差表示为
如(4)所示：
最终构建的损失函数如(5)所示：
验证集上损失最小的模型选取为最终采用的预测模型。
4.如权利要求3所述的一种基于递归神经网络的眼底萎缩弧区域变化预测方法，其特征在于：步骤4的实现方法为，
步骤4.1、将临床数据进行配准和提取感兴趣区域操作；临床数据可以存在输入数据某一时刻的缺失；
步骤4.2、将处理后的数据输入步骤3得到的预测模型，输出未来的预测结果和当前时刻的视盘和萎缩弧分割结果，计算各个时刻的萎缩弧面积；对于存在输入数据缺失的情况，缺失时刻采用上一时刻的输出特征作为缺失时刻的输入；
步骤4.3、将预测出未来时刻的萎缩弧面积与历史时刻的萎缩弧分割面积变化按照时间顺序绘成折线图，有针对性地辅助近视预测和防控。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211621638.8A CN116128811A (zh) | 2022-12-16 | 2022-12-16 | 一种基于递归神经网络的眼底萎缩弧区域变化预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211621638.8A CN116128811A (zh) | 2022-12-16 | 2022-12-16 | 一种基于递归神经网络的眼底萎缩弧区域变化预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116128811A true CN116128811A (zh) | 2023-05-16 |
Family
ID=86300036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211621638.8A Pending CN116128811A (zh) | 2022-12-16 | 2022-12-16 | 一种基于递归神经网络的眼底萎缩弧区域变化预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128811A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437231A (zh) * | 2023-12-21 | 2024-01-23 | 依未科技(北京)有限公司 | 近视眼底结构改变的定位方法及装置、图像处理方法 |
-
2022
- 2022-12-16 CN CN202211621638.8A patent/CN116128811A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437231A (zh) * | 2023-12-21 | 2024-01-23 | 依未科技(北京)有限公司 | 近视眼底结构改变的定位方法及装置、图像处理方法 |
| CN117437231B (zh) * | 2023-12-21 | 2024-04-26 | 依未科技(北京)有限公司 | 近视眼底结构改变的定位方法及装置、图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| EP3674968B1 (en) | Image classification method, server and computer readable storage medium | |
| CN109671094B (zh) | 一种基于频域分级的眼底图像血管分割方法 | |
| CN109345538A (zh) | 一种基于卷积神经网络的视网膜血管分割方法 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN114565620B (zh) | 一种基于骨架先验和对比损失的眼底图像血管分割方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN113066025B (zh) | 一种基于增量学习与特征、注意力传递的图像去雾方法 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN111161271A (zh) | 一种超声图像分割方法 | |
| CN104933415B (zh) | 一种实时可见光遥感影像云区检测方法 | |
| CN116128811A (zh) | 一种基于递归神经网络的眼底萎缩弧区域变化预测方法 | |
| Wu et al. | Continuous refinement-based digital pathology image assistance scheme in medical decision-making systems | |
| Huang et al. | DBFU-Net: Double branch fusion U-Net with hard example weighting train strategy to segment retinal vessel | |
| CN110189299B (zh) | 一种基于MobileNet的脑血管事件自动识别方法及系统 | |
| Chowdhury et al. | Transfer learning approach for diabetic retinopathy detection using efficient network with 2 phase training | |
| Arpacı et al. | LUPU-Net: a new improvement proposal for encoder-decoder architecture | |
| Khan et al. | Retinal image analysis to detect neovascularization using deep segmentation | |
| Alsuwat et al. | Prediction of Diabetic Retinopathy using Convolutional Neural Networks | |
| Sun et al. | Retinal vessel segmentation method based on RSP-SA Unet network | |
| Xu et al. | MCPA: Multi-scale Cross Perceptron Attention Network for 2D Medical Image Segmentation | |
| CN114140381A (zh) | 一种基于MDP-net的玻璃体混浊分级筛查方法及装置 | |
| Wan et al. | A new segmentation algorithm for peripapillary atrophy and optic disk from ultra-widefield Photographs | |
| CN111932486A (zh) | 一种基于3d卷积神经网络的脑胶质瘤分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |