三维脉络膜新生血管生长预测方法、装置及定量分析方法
技术领域
本发明涉及一种三维脉络膜新生血管生长预测方法、装置及定量分析方法,属于图像处理分析技术领域。
背景技术
脉络膜新生血管(Choroidal Neovascularization, CNV)是指来自脉络膜毛细血管的增殖血管,通过Bruch膜的裂口而扩展,在Bruch膜与视网膜色素上皮之间,或神经视网膜与视网膜色素上皮之间、或位于视网膜色素上皮与脉络膜之间的增殖形成,许多累及RPE-Bruch膜-脉络膜毛细血管复合体的疾病均可导致CNV的形成,又称视网膜下新生血管,多见于黄斑部,CNV疾病损害中心视力。
检查CNV疾病的主要手段是采用光学相干断层扫描技术(Optical CoherenceTomography, OCT),检查人员通常采用依次检查OCT中每张二维图像的方式来诊断CNV疾病是否存在以及其病灶区域的位置。
目前现有的以黄斑为中心的OCT图像分析方法,特别是OCT一些CNV区域分割方法主要是依赖于人工手动的识别、以及凭借经验进行预测,OCT包含上百张的切片扫描,限制了检查人员正确检查CNV的效率;每张切片中的CNV病灶区域分布不尽明显,对检查人员的技术水平要求严苛,检查结果的准确率因操作员的认知水平存在差异,造成OCT上的包括CNV等一系列病灶区域识别分割并预测速度慢、不精确的问题。同时,目前国内外少数已有的OCT图像中对CNV区域的识别并分割及CNV的生长预测算法都只能依靠单slice作为信息源并缺乏对时序信息上的挖掘,而且算法的鲁棒性及准确率都不理想。
发明内容
本发明的目的在于提供一种三维脉络膜新生血管生长预测方法、装置及定量分析方法,以解决现有技术中导致的上述多项缺陷或缺陷之一。
为达到上述目的,本发明是采用下述技术方案实现的:
本发明提供了一种三维脉络膜新生血管生长预测方法,所述方法包括如下步骤:
将原始OCT序列送入三维分割模型中,分割出原始CNV区域;
随机选择原始CNV区域的序列中的一个作为配准基准,将原始OCT序列和所述配准基准依次配对,送入三维配准模型,获取配准参数序列;
使用获取的配准参数序列,对原始OCT序列依次进行图像变换,获取配准后的OCT序列;
将配准后的OCT序列送入三维CNV生长预测模型,获取三维预测CNV生长区域。
训练三维分割模型的方法包括如下步骤:
选择多批以黄斑为中心的三维视网膜OCT图像和相对应的金标准作为数据集;
优选的,随机选择数据集的70%作为训练集,选择数据集的30%作为验证集,采用该训练集训练三维分割模型;
优选的,训练三维分割模型所用的训练损失函数采用多类加权的方式,选择使验证集正确率最高的迭代步时的参数作为三维分割模型的模型参数。
训练三维配准模型的方法包括如下步骤:
选择原始OCT序列和CNV分割区域为训练集;
随机选择训练集中的CNV分割区域,将所述CNV分割区域按照随机数进行三维图像变换,获取配准后的CNV区域;
将配准后的CNV区域及其对应的原始OCT序列作为输入,随机值作为标签,训练三维配准模型使三维配准模型学习到两个三维图像中关于CNV关键点的相对位置信息,不断生成随机数;
循环上述步骤完成三维配准模型的训练。
优选的,取t时刻的配准后OCT序列和(t-1)时刻的配准后的CNV区域序列的相交部分作为训练集,采用该训练集训练三维CNV生长预测模型。
本发明提供了一种三维脉络膜新生血管生长预测的定量分析方法,所述方法包括如下步骤:
采用上述方法对CNV生长区域进行预测;
统计三维预测CNV生长区域包含的像素量,将三维预测CNV生长区域包含的像素量乘以每个像素点对应的实际体积,获取CNV生长预测体积;
统计三维预测CNV生长区域包含的像素量,将三维预测CNV生长区域包含的像素量乘以每个像素点对应的实际面积,获取CNV生长预测表面积。
本发明提供了一种三位脉络膜新生血管生长预测装置,所述装置包括:
第一获取模块:用于将原始OCT序列送入三维分割模型中,分割出原始CNV区域;
第二获取模块:用于将随机选择原始CNV区域的序列中的一个作为配准基准,将原始OCT序列和所述配准基准依次配对,送入三维配准模型,获取配准参数序列;
图像变换模块:用于使用获取的配准参数序列,对原始OCT序列依次进行图像变换,获取配准后的OCT序列;
第三获取模块:用于将配准后的OCT序列送入三维CNV生长预测模型,获取三维预测CNV生长区域。
进一步的,所述三维脉络膜新生血管生长预测装置还包括:用于训练三维三维分割模型的三维分割模型训练模块,用于训练三维配准模型的三维配准训练模块,用于训练三维CNV生长预测模型的三维CNV生长预测模块。
更进一步的,所述三维配准模型训练模块包括用于选择原始OCT序列和CNV分割区域为训练集的第四获取模块,用于随机选择训练集中的CNV分割区域,将所述CNV分割-区域按照随机数进行三维图像变换,获取配准后的CNV区域的第五获取模块,用于将配准后的CNV区域及其对应的原始OCT序列作为输入,随机值作为标签,训练三维配准模型使三维配准模型学习到两个三维图像中关于CNV关键点的相对位置信息,不断生成随机数的随机数生成模块。
本发明提供的一种三维脉络膜新生血管生长预测方法、装置及定量分析方法,采用多类加权的损失函数训练三维分割模型,加速收敛模型对CNV区域的学习曲线,使OCT中三维CNV像素级分割效果更加准确,进一步将空间模型结合时间模型,利用四维信息搭建CNV生长预测模型,使本发明提供的三维脉络膜新生血管生长预测方法具有良好的准确率。
附图说明
图1是根据本发明实施例提供的三维脉络膜新生血管生长预测方法的流程图;
图2是根据本发明实施例提供的训练三维分割模型的模型结构图;
图3是根据本发明实施例提供的分割的原始CNV区域及金标准对比图;
图4是根据本发明实施例提供的训练三维配准模型的流程图;
图5是根据本发明实施例提供的三位配准参数示意图;
图6是根据本发明实施例提供的原始OCT序列中的一张切片和与其对应的配准后的OCT序列对比图;
图7是根据本发明实施例提供的训练三维CNV生长预测模型的模型结构图;
图8是根据本发明实施例提供的三维CNV生长预测结果和金标准对比图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
第一方面,本实施例提供的三维脉络膜新生血管生长预测方法,所述方法流程图如图1所示:
步骤1:训练三维分割模型,所述训练三维分割模型的方法包括如下步骤:
使用多批以黄斑为中心的三维视网膜OCT图像和相对应的金标准作为数据集,随机选择总数据量的70%作为训练集,30%作为验证集,训练三维分割模型;
图2所示为训练三维分割模型的模型结构图,下采样运算单元由3×3卷积层、残差层和下采样层组成,反卷积运算单元由3×3卷积层、残差层和反卷积层组成,所述模型结构由三个下采样运算单元和三个反卷积运算单元以及分类器依次组成,并将其中每个进入下采样层前的特征层汇入相应反卷积层的输出;模型的下采样运算单元的神经元数量依次为[8, 16, 32],模型的反卷积运算单元的神经元数量依次为[64, 32, 16];每个卷积层采用的激活函数为线性整流函数(Rectified Linear Unit, ReLU),又称修正线性单元,残差层、下采样层、反卷积层均为线性激活函数。模型结构最后采用3×3的卷积作为输出层分类器的特征提取器,模型将原始OCT的每个像素分为两类,即背景和CNV区域,采用的分类器为归一化指数函数SoftMax;
训练三维分割模型所用的训练损失函数采用多类加权的方式以避免由于样本不均匀带来的收敛缓慢的问题,选择使验证集正确率最高的迭代步时的参数作为三维分割模型的模型参数,完成三维分割模型的训练。
所述三维分割模型的优势在于:多个下采样层的堆叠实现了网络对图像特征的多尺度特征识别,像素级精确高效分割较大或较小的CNV区域;将二维切片信息拓展到三维,以更高维度的信息量作为模型输入以判别每个切片中的像素是否属于CNV区域。图3所示为分割出的原始CNV区域及金标准对比图,左侧图为分割出的原始CNV区域,右侧图为金标准。
步骤2:将原始OCT序列送入训练好的三维分割模型,分割出原始CNV区域。
步骤3:根据如图4所示的一种训练三维配准模型的流程图,所述训练三维配准模型的方法包括如下步骤:
选择原始OCT序列和CNV分割区域为训练集;
随机选择训练集中的CNV分割区域,将所述CNV分割区域按照随机数进行三维图像变换,获取配准后的CNV区域;
将配准后的CNV区域及其对应的原始OCT序列作为输入,随机值作为标签,训练三维配准模型使三维配准模型学习到两个三维图像中关于CNV关键点的相对位置信息;
循环上述步骤完成三维配准模型的训练;
训练三维配准模型所用的训练策略为Adam算法 (Adaptive Moment Estimation,自适应矩估计)。Adam 算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。
步骤4:随机选择原始CNV区域的序列中的一个作为配准基准,将原始OCT序列和所述配准基准依次配对,送入如步骤3所述的三维配准模型中,获取配准参数序列;
所述配准参数如图5所示,图中θ∈[0,1]表示垂直切片方向(Z轴)的旋转角度,x∈[0,1]表示切片方向的平移距离,y∈[0,1]表示垂直于切片方向的水平平移距离,z∈[0,1]表示垂直于切片方向的竖直平移距离。
步骤5:使用步骤4中获取的配准参数序列,对原始OCT序列先按照参数θ进行图像旋转,再按照参数x,y,z进行平移变换,OCT序列在图像旋转和平移变换的过程中,保持图像中心点不变,最终获取配准后的OCT序列。
根据如图6所示的原始OCT序列中的一张切片和与其对应的配准后的OCT序列对比图,未配准图和基准图中的CNV目标位置差异大,配准图基本与基准图CNV位置相吻合。
步骤6:训练三维CNV生长预测模型,所述训练三维CNV生长预测模型的方法包括如下步骤:
训练三维CNV生长预测模型的模型结构图如图7所示,图7中区域I表示如步骤1所述的三维分割模型,如图7所示,将三维空间分割模型在时间维度上立体化,每个空间分割模型之间的连接点可以融合多个时间及多个尺度的特征,使下一个时间点对CNV生长的预测结果具有充足的信息来源。
将配准后的OCT序列和与其对应的配准后的CNV序列对齐,并将CNV序列沿CNV序列时间轴反向平移一个时刻,取t时刻的配准后OCT序列和(t-1)时刻的配准后的CNV区域序列的相交部分作为训练集,采用该训练集训练三维CNV生长预测模型;
训练所述三维CNV生长预测模型所用的训练策略为:在时间连接点中设置 “遗忘门”,用于决定当前时间点应丢弃的信息,该门会读取当前OCT的特征层以及上一时刻OCT的相应特征层,输出一个在0到1之间的数值,作为当前OCT特征层每个特征通道的遗忘程度,0即全部遗忘,1即全部保留。
步骤7:将配准后的OCT序列送入训练好的三维CNV生长预测模型,获取CNV预测区域。
图8所示为三维CNV生长预测结果和金标准对比图,左侧图为三维预测CNV生长区域图,右侧图为金标准,预测结果与金标准所示的生长趋势基本一致,可以表明模型可以通过学习得到CNV的生长规律,并具备预测下一时间点CNV型态的能力。
第二方面,本实施例还提供了一种定量分析三维脉络膜新生血管生长预测的方法,所述方法包括如下步骤:
根据步骤1至步骤7所述方法对三维CNV生长区域进行预测;
统计三维预测CNV生长区域包含的像素量,将三维预测CNV生长区域包含的像素量乘以每个像素点对应的实际体积,获取CNV生长预测体积;
统计三维预测CNV生长区域包含的像素量,将三维预测CNV生长区域包含的像素量乘以每个像素点对应的实际面积,获取CNV生长预测表面积。
第三方面,本发明实施例提供了一种三维脉络新生血管生长预测装置,所述装置包括:
用于训练三维分割模型的三维分割模型训练模块;
用于将原始OCT序列送入三维分割模型中,分割出原始CNV区域的第一获取模块;
用于训练三维配准模型的三维配准训练模块;
用于将随机选择原始CNV区域的序列中的一个作为配准基准,将原始OCT序列和所述配准基准依次配对,送入三维配准模型,获取配准参数序列的第二获取模块;
用于使用获取的配准参数序列,对原始OCT序列依次进行图像变换,获取配准后的OCT序列的图像变换模块;
用于训练三维CNV生长预测模型的三维CNV生长预测模块;
用于将配准后的OCT序列送入三维CNV生长预测模型,获取三维CNV生长预测区域的第三获取模块。
进一步的,所述三维配准模型训练模块包括:
第四获取模块:用于选择原始OCT序列和CNV分割区域为训练集;
第五获取模块:用于随机选择训练集中的CNV分割区域,将所述CNV分割-区域按照随机数进行三维图像变换,获取配准后的CNV区域;
随机数生成模块:将配准后的CNV区域及其对应的原始OCT序列作为输入,随机值作为标签,训练三维配准模型使三维配准模型学习到两个三维图像中关于CNV关键点的相对位置信息,不断生成随机数。
本发明提供的一种三维脉络膜新生血管生长预测方法、装置及定量分析方法,采用多类加权的损失函数训练三维分割模型,加速收敛模型对CNV区域的学习曲线,是OCT中三维CNV像素级分割效果更加准确,进一步将空间模型结合时间模型,利用四维信息搭建CNV生长预测模型,使CNV生长预测模型的准确率更高。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。