CN113096137B - 一种oct视网膜图像领域适应分割方法及系统 - Google Patents
一种oct视网膜图像领域适应分割方法及系统 Download PDFInfo
- Publication number
- CN113096137B CN113096137B CN202110375473.XA CN202110375473A CN113096137B CN 113096137 B CN113096137 B CN 113096137B CN 202110375473 A CN202110375473 A CN 202110375473A CN 113096137 B CN113096137 B CN 113096137B
- Authority
- CN
- China
- Prior art keywords
- domain
- data
- segmentation model
- image
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种OCT视网膜图像领域适应分割方法及系统,方法包括以下步骤:步骤1、获取OCT视网膜图像数据,并进行图像预处理;步骤2、结合特征提取网络、特征分类网络和特征鉴别网络分别构建域内分割模型和跨域分割模型;步骤3、根据域内分割模型和跨域分割模型分别获得目标域的伪标签;步骤4、利用自选择主动学习策略选择有效的伪标签和原始图像,加入源域丰富图像数据,再次训练跨域分割模型;步骤5、利用训练的跨域分割模型对目标域OCT视网膜图像进行分割。通过本发明技术方案,能有效提升分割模型的泛化性能,为临床眼科疾病诊断提供可靠的量化数据,实现计算机辅助的个性化治疗。
Description
技术领域
本发明涉及人工智能和医学影像处理交叉领域,具体涉及一种OCT视网膜图像领域适应分割方法及系统。
背景技术
视网膜病变是一种常见的眼科疾病,严重危害着人类的视觉感官系统。光学相干断层扫描(Optical Coherence Tomography,OCT)成像技术能够清晰的呈现视网膜的各个细胞层,临床眼科医生可以通过观察视网膜组织层结构的变化来对疾病进行诊断,而OCT图像视网膜病变区域的精确分割是开展疾病诊断的重要前提和保障。最近,深度卷积神经网络成为了医学图像分割的主流方法,并且成功应用于视网膜图像分割。然而,由于各厂商设备(如海德堡、蔡司等)或各医院的相同设备的成像参数不同,导致采集的数据具有不同的数据分布,使用在一种设备(源域)采集的数据上训练好的模型测试另一种设备(目标域)采集的数据时,模型性能会显著下降。
现有的跨域解决方法大体可分为两类。(1)将源域特征与目标域特征之间的距离度量引入到神经网络的目标函数当中。通过拉近源域和目标域特征间的距离来缩小数据分布差异,但这种方法需要人为设计特征距离度量,加大了工作量。(2)将生成对抗网络的思想引入到跨域问题当中,域鉴别网络通过学习来区分源域特征与目标域特征,而特征提取网络通过学习具有领域不变性的特征表示来混淆域鉴别网络。但这类方法都是学习源域和目标域的共有的特征,而忽略了目标域所独有的特征。
发明内容
本发明的目的是为克服上述现有技术的不足,提供一种OCT视网膜图像领域适应分割方法及系统,能够在学习源域和目标域共有特征的同时也能够捕获目标域数据的特征,进而提升现有领域适应方法的泛化性能,提高OCT视网膜图像分割准确度。
为实现上述目的,本发明采用下述技术方案:
第一方面,本发明实施例提供的一种OCT视网膜图像领域适应分割方法,包括以下步骤:
步骤1、获取OCT视网膜图像数据,数据来自各厂商的设备(如海德堡、蔡司)或各医院的相同设备,并进行图像预处理;
步骤2、结合特征提取网络、特征分类网络和特征鉴别网络分别构建域内分割模型和跨域分割模型;
步骤3、根据域内分割模型和跨域分割模型分别测试目标域数据,并获得目标域的伪标签;
步骤4、利用自选择主动学习策略选择有效的伪标签和原始图像,加入源域丰富图像数据,再次训练跨域分割模型;
步骤5、利用训练的跨域分割模型对目标域OCT视网膜图像进行分割,即将目标域数据作为跨域分割模型的输入,使用特征提取网络和特征分类网络提取特征然后分类,得到目标域分割结果。
作为本实施例一种可能的实现方式,所述步骤1包括以下步骤:
步骤11,利用OCT设备采集视网膜图像数据,视网膜图像为三维体数据,将所述三维体数据切分为二维图像数据,所述二维图像数据为单通道灰度图,取值范围0-255;
步骤12,对二维图像数据进行尺寸缩放处理。
作为本实施例一种可能的实现方式,所述步骤12中处理方法如下:
其中,D(x,y)表示缩放后的图像中对应的像素点,x和y表示像素点的坐标,S表示原始图像,Sw和Sh表示原始图像的宽和高,Dw和Dh表示缩放后图像的宽和高。
作为本实施例一种可能的实现方式,所述步骤2包括以下步骤:
步骤21,结合编码-解码网络思想,分别构建特征提取网络以及特征分类网络,其中特征提取网络包含1个卷积层和4组残差块,特征分类网络包含一个空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling,ASPP);
步骤22,将特征提取网络的输出作为特征分类网络的输入,构建域内分割模型;
步骤23,结合对抗生成网络思想,构建特征鉴别网络,特征鉴别网络包括3个独立的卷积层以及1组并列的卷积层;
步骤24,将特征提取网络的输出作为特征分类网络和特征鉴别网络的输入,构建跨域分割模型。
作为本实施例一种可能的实现方式,所述步骤3包括以下步骤:
步骤31,利用带有标签的源域数据对域内分割模型进行监督训练,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤32,利用广义Dice损失作为目标函数f(θ′)计算域内模型的输出与标签之间的损失:
步骤33,使用自适应矩估计(Adam)优化算法对域内分割模型的参数进行优化:
初始化算法参数m0=0,υ0=0,t=0,其中m0为初始第一矩估计,υ0为第二矩估计,t为时间步;计算梯度的第一矩估计和第二矩估计:
更新分割模型参数:
其中,α为步长,即学习率,ε是一个较小值,用于防止被零除;
步骤34,利用带有标签的源域数据和无标签的目标域数据训练跨域分割模型,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤35,利用二进制交叉熵损失和广义Dice损失作为目标函数g(θ″)计算跨域模型的输出与标签之间的损失:
步骤36,使用自适应矩估计优化算法对跨域分割模型的参数进行优化,过程同步骤33;
作为本实施例一种可能的实现方式,所述步骤4包括以下步骤:
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
第二方面,本发明实施例提供的一种OCT视网膜图像领域适应分割系统,包括:
图像获取模块,用于采集病人的OCT视网膜图像,数据采集自各厂商的设备(如海德堡、蔡司)或各医院的相同设备;
图像预处理模块,用于对OCT视网膜图像进行预处理并构造数据集,所述数据集包含源域和目标域数据集;
模型构建模块,用于结合特征提取网络,特征分类网络和特征鉴别网络分别构建OCT视网膜图像域内以及跨域分割模型;
模型训练模块,用于利用源域和目标域数据训练OCT视网膜图像域内以及跨域分割模型;
自选择主动学习模块,用于选择有效的目标域伪标签和对应的原始图像,放入源域中丰富图像数据,再次训练跨域分割模型;
OCT视网膜图像测试模块,用于利用训练的跨域分割模型对目标域OCT视网膜图像进行分割。
作为本实施例一种可能的实现方式,所述图像预处理模块包括:
数据切片模块,用于将病人的OCT视网膜图像三维体数据切分为若干二维图像数据;
数据缩放模块,用于对二维图像数据进行尺寸缩放处理:
其中,D(x,y)表示缩放后的图像中对应的像素点,x和y表示像素点的坐标,S表示原始图像,Sw和Sh表示原始图像的宽和高,Dw和Dh表示缩放后图像的宽和高;
数据集构造模块,用于构建源域和目标域数据集,采用随机策略从源域和目标域中选择一定比例的二维图像数据作为训练集,剩余的数据作为测试集。
作为本实施例一种可能的实现方式,所述模型构建模块包括:
域内分割模型构建模块,用于结合编码-解码网络思想,分别构建特征提取网络以及特征分类网络,其中特征提取网络包含1个卷积层和4组残差块,特征分类网络包含一个空洞空间卷积池化金字塔;将特征提取网络的输出作为特征分类网络的输入,构建域内分割模型;
跨域分割模型构建模块,用于结合对抗生成网络思想,构建特征鉴别网络,其中特征鉴别网络包括3个独立的卷积层以及1组并列的卷积层;将特征提取网络的输出作为特征分类网络和特征鉴别网络的输入,构建跨域分割模型。
作为本实施例一种可能的实现方式,所述模型训练模块包括:
域内分割模型训练模块,用于利用带有标签的源域数据训练域内分割模型,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
跨域分割模型训练模块,用于利用带有标签的源域数据和无标签的目标域数据训练跨域分割模型,输入图像数据和标签数据格式同域内分割模型训练模块;
目标函数计算模块,用于计算域内模型和跨域模型的目标损失函数f(θ′)和g(θ″);
网络优化模块,用于利用自适应矩估计优化算法对域内分割模型和跨域分割模型进行优化训练。
作为本实施例一种可能的实现方式,所述自选择主动学习模块包括:
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
跨域分割模型训练模块,用于利用新构建的源域数据集和目标域数据集对跨域分割模型进行第二次训练。
作为本实施例一种可能的实现方式,所述OCT视网膜图像测试模块用于将目标域数据作为跨域分割模型的输入,使用特征提取网络和特征分类网络提取特征然后分类,得到目标域分割结果。
本发明的有益效果是:
本发明通过获取多种设备的OCT视网膜图像,经过预处理后构造了OCT视网膜图像数据集;结合特征提取网络,特征分类网络和特征鉴别网络构建OCT视网膜图像域内以及跨域分割模型;利用源域和目标域数据训练域内分割模型和跨域分割模型,并分别测试目标域数据,获得目标域的伪标签;然后利用自选择主动学习策略选择有效的目标域伪标签和对应的原始图像,放入源域中丰富数据,再次训练跨域分割模型;最后利用训练好的跨域分割模型对新的目标域OCT视网膜图像进行分割。本发明不仅能提升分割模型的泛化性能,有效的分割无标签的目标域图像,而且为临床眼科疾病诊断提供可靠的量化数据,实现计算机辅助的个性化治疗。
附图说明
图1是根据一示例性实施例示出的一种OCT视网膜图像领域适应分割方法的流程图;
图2是根据一示例性实施例示出的一种OCT视网膜图像领域适应分割系统的结构图;
图3是利用本发明进行OCT视网膜图像跨域分割系统的流程图;
图4a、图4b是根据一示例性实施例示出的一种OCT视网膜图像的示意图;
图5a、图5b、图5c、图5d是根据一示例性实施例示出的一种原始OCT视网膜图像;
图6a、图6b、图6c、图6d是依次对图5a、图5b、图5c、图5d使用域内分割模型测试目标域得到的分割结果(没有进行领域适应);
图7a、图7b、图7c、图7d是依次对图5a、图5b、图5c、图5d使用第一次训练的跨域分割模型测试目标域得到的分割结果(没有加入自选择主动学习模块);
图8a、图8b、图8c、图8d是依次对图5a、图5b、图5c、图5d使用第二次训练的跨域分割模型测试目标域得到的分割结果(加入自选择主动学习模块);
图9a、图9b、图9c、图9d是依次对图5a、图5b、图5c、图5d使用人工标注的分割结果。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
图1是根据一示例性实施例示出的一种OCT视网膜图像领域适应分割方法的流程图,如图1所示,本发明实施例提供的一种OCT视网膜图像领域适应分割方法,包括以下步骤:
步骤1、获取OCT视网膜图像数据,数据来自各厂商的设备(如海德堡、蔡司)或各医院的相同设备,并进行图像预处理;
步骤11,利用OCT设备采集视网膜图像数据,视网膜图像为三维体数据,将所述三维体数据切分为二维图像数据,所述二维图像数据为单通道灰度图,取值范围0-255;
步骤12,对二维图像数据进行尺寸缩放处理。
作为本实施例一种可能的实现方式,所述步骤12中处理方法如下:
其中,D(x,y)表示缩放后的图像中对应的像素点,x和y表示像素点的坐标,S表示原始图像,Sw和Sh表示原始图像的宽和高,Dw和Dh表示缩放后图像的宽和高;
步骤2、结合特征提取网络、特征分类网络和特征鉴别网络分别构建域内分割模型和跨域分割模型;
步骤21,结合编码-解码网络思想,分别构建特征提取网络以及特征分类网络,其中特征提取网络包含1个卷积层和4组残差块,特征分类网络包含一个空洞空间卷积池化金字塔;
步骤22,将特征提取网络的输出作为特征分类网络的输入,构建域内分割模型;
步骤23,结合对抗生成网络思想,构建特征鉴别网络,特征鉴别网络包括3个独立的卷积层以及1组并列的卷积层;
步骤24,将特征提取网络的输出作为特征分类网络和特征鉴别网络的输入,构建跨域分割模型;
步骤3、根据域内分割模型和跨域分割模型分别测试目标域数据,并获得目标域的伪标签;
步骤31,利用带有标签的源域数据对域内分割模型进行监督训练,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤32,利用广义Dice损失作为目标函数f(θ′)计算域内模型的输出与标签之间的损失:
步骤33,使用自适应矩估计(Adam)优化算法对域内分割模型的参数进行优化:
初始化算法参数m0=0,υ0=0,t=0,其中m0为初始第一矩估计,υ0为第二矩估计,t为时间步;计算梯度的第一矩估计和第二矩估计:
更新分割模型参数:
其中,α为步长,即学习率,ε是一个较小值,用于防止被零除;
步骤34,利用带有标签的源域数据和无标签的目标域数据训练跨域分割模型,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤35,利用二进制交叉熵损失和广义Dice损失作为目标函数g(θ″)计算跨域模型的输出与标签之间的损失:
步骤36,使用自适应矩估计优化算法对跨域分割模型的参数进行优化,过程同步骤33;
步骤4、利用自选择主动学习策略选择有效的伪标签和原始图像,加入源域丰富图像数据,再次训练跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
步骤5、利用训练的跨域分割模型对目标域OCT视网膜图像进行分割,即将目标域数据作为跨域分割模型的输入,使用特征提取网络和特征分类网络提取特征然后分类,得到目标域分割结果。
图2是根据一示例性实施例示出的一种OCT视网膜图像领域适应分割系统的结构图。
如图2所示,本发明还实施例提供的一种OCT视网膜图像领域适应分割系统,包括:
图像获取模块,用于采集病人的OCT视网膜图像,数据采集自各厂商的设备(如海德堡、蔡司)或各医院的相同设备;
图像预处理模块,用于对OCT视网膜图像进行预处理并构造数据集,所述数据集包含源域和目标域数据集,图像预处理模块具体包括:
数据切片模块,用于将病人的OCT视网膜图像三维体数据切分为若干二维图像数据,
数据缩放模块,用于对二维图像数据进行尺寸缩放处理:
其中,D(x,y)表示缩放后的图像中对应的像素点,x和y表示像素点的坐标,S表示原始图像,Sw和Sh表示原始图像的宽和高,Dw和Dh表示缩放后图像的宽和高,
数据集构造模块,用于构建源域和目标域数据集,采用随机策略从源域和目标域中选择一定比例的二维图像数据作为训练集,剩余的数据作为测试集;
模型构建模块,用于结合特征提取网络,特征分类网络和特征鉴别网络分别构建OCT视网膜图像域内以及跨域分割模型,模型构建模块具体包括:
域内分割模型构建模块,用于结合编码-解码网络思想,分别构建特征提取网络以及特征分类网络,其中特征提取网络包含1个卷积层和4组残差块,特征分类网络包含一个空洞空间卷积池化金字塔;将特征提取网络的输出作为特征分类网络的输入,构建域内分割模型,
跨域分割模型构建模块,用于结合对抗生成网络思想,构建特征鉴别网络,其中特征鉴别网络包括3个独立的卷积层以及1组并列的卷积层;将特征提取网络的输出作为特征分类网络和特征鉴别网络的输入,构建跨域分割模型;
模型训练模块,用于利用源域和目标域数据训练OCT视网膜图像域内以及跨域分割模型,模型训练模块具体包括:
域内分割模型训练模块,用于利用带有标签的源域数据训练域内分割模型,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小,
跨域分割模型训练模块,用于利用带有标签的源域数据和无标签的目标域数据训练跨域分割模型,输入图像数据和标签数据格式同域内分割模型训练模块,
目标函数计算模块,用于计算域内模型和跨域模型的目标损失函数f(θ′)和g(θ″),
网络优化模块,用于利用自适应矩估计优化算法对域内分割模型和跨域分割模型进行优化训练;
自选择主动学习模块,用于选择有效的目标域伪标签和对应的原始图像,放入源域中丰富图像数据,再次训练跨域分割模型,自选择主动学习模块具体包括:
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型,
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型,
跨域分割模型训练模块,用于利用新构建的源域数据集和目标域数据集对跨域分割模型进行第二次训练;
OCT视网膜图像测试模块,用于利用训练的跨域分割模型对目标域OCT视网膜图像进行分割,OCT视网膜图像测试模块用于将目标域数据作为跨域分割模型的输入,使用特征提取网络和特征分类网络提取特征然后分类,得到目标域分割结果。
如图3所示,利用本发明一种OCT视网膜图像领域适应分割系统进行OCT视网膜图像分割的过程如下:
步骤1,获取多种设备的OCT视网膜图像数据,并将图像数据加载到系统。
步骤2,对OCT视网膜图像进行数据预处理操作,具体为:
步骤21,利用OCT设备采集视网膜图像数据,视网膜图像为三维体数据,将所述三维体数据切分为二维图像数据,所述二维图像数据为单通道灰度图,取值范围0-255;
步骤22,对二维图像数据进行尺寸缩放处理:
其中,D(x,y)表示缩放后的图像中对应的像素点,x和y表示像素点的坐标,S表示原始图像,Sw和Sh表示原始图像的宽和高,Dw和Dh表示缩放后图像的宽和高。
步骤3,结合特征提取网络,特征分类网络和特征鉴别网络构建OCT视网膜图像域内以及跨域分割模型,具体为;
步骤31,结合编码-解码网络思想,分别构建特征提取网络以及特征分类网络,将特征提取网络的输出作为特征分类网络的输入,形成域内分割模型。其中特征提取网络包含1个卷积层和4组残差块,用来对输入数据进行特征提取,特征图的通道数从1变为1024,图像尺寸从512×512变为64×64。分类网络包含一个空洞空间卷积池化金字塔,用来对特征进行解码,特征图的通道数从1024变为1,图像尺寸从64×64变为512×512,完成OCT视网膜图像的分割;
步骤32,结合对抗生成网络思想,构建特征鉴别网络,将特征提取网络的输出作为特征分类网络和特征鉴别网络的输入,构建跨域分割模型。其中特征鉴别网络包括3个独立的卷积层以及1组并列的卷积层,用来鉴别所提取的特征是来自源域还是目标域。
步骤4-1,利用带有标签的源域数据对域内分割模型进行监督训练,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤4-2,利用广义Dice损失作为目标函数f(θ′)计算域内模型的输出与标签之间的损失:
步骤4-3,使用自适应矩估计(Adam)优化算法对域内分割模型的参数进行优化:
初始化算法参数m0=0,υ0=0,t=0,其中m0为初始第一矩估计,υ0为第二矩估计,t为时间步;计算梯度的第一矩估计和第二矩估计:
更新分割模型参数:
其中,α为步长,即学习率,ε是一个较小值,用于防止被零除;
步骤4-4,利用带有标签的源域数据和无标签的目标域数据训练跨域分割模型,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤4-5,利用二进制交叉熵损失和广义Dice损失作为目标函数g(θ″)计算跨域模型的输出与标签之间的损失:
步骤4-6,使用自适应矩估计优化算法对跨域分割模型的参数进行优化,过程同步骤33;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
步骤6,利用训练好的跨域分割模型对目标域OCT视网膜图像数据进行测试,具体为:
步骤6-1,将目标域数据作为跨域分割模型的输入,使用特征提取网络和特征分类网络提取特征然后分类,得到目标域分割结果。
算例:本发明以OCT视网膜图像作为输入,采用本发明公开的OCT视网膜图像跨域分割方法进行图像跨域分割。
本算例的流程图如图3所示,OCT视网膜图像数据为病人独立的三维体数据,源域和目标域的三维体数据分辨率分别为1024×512×128以及496×512×49,图4a和图4b显示了两个域的三维体数据及病变区域。第一步要对原始数据进行预处理,先将三维体数据切分为二维图像数据,然后统一进行尺寸缩放,分辨率处理为512×512×1。采用随机策略从源域和目标域中选择一定比例的二维图像数据作为训练集,剩余的数据作为测试集;
将源域和目标域的数据输入本发明公开的OCT视网膜图像领域适应分割方法进行域内分割模型和跨域分割模型的训练;
训练完成后,对目标域数据进行测试,得到最终的分割结果,结果如图5a-图9d所示,其中图5a-图5d为原始OCT视网膜图像;图6a-图6d为使用域内分割模型测试目标域得到的分割结果(没有进行领域适应);图7a-图7d为使用第一次训练的跨域分割模型测试目标域得到的分割结果(没有加入自选择主动学习模块);图8a-图8d为使用第二次训练的跨域分割模型测试目标域得到的分割结果(加入自选择主动学习模块);图9a-图9d为人工标注的结果。从以上各图对比可以看出我们方法的分割结果(图7a-图7d、图8a-图8d)相比于无领域适应的分割结果有了很大的改善,同时我们提出的自选择主动学习模块在一定程度上再次提升了分割的效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (6)
1.一种OCT视网膜图像领域适应分割方法,其特征是,包括以下步骤:
步骤1、获取OCT视网膜图像数据,数据来自各厂商的设备或各医院的相同设备,并进行图像预处理;
步骤2、结合特征提取网络、特征分类网络和特征鉴别网络分别构建域内分割模型和跨域分割模型;
步骤21、结合编码-解码网络思想,分别构建特征提取网络以及特征分类网络,其中特征提取网络包含1个卷积层和4组残差块,特征分类网络包含一个空洞空间卷积池化金字塔;
步骤22、将特征提取网络的输出作为特征分类网络的输入,构建域内分割模型;
步骤23、结合对抗生成网络思想,构建特征鉴别网络,特征鉴别网络包括3个独立的卷积层以及1组并列的卷积层;
步骤24、将特征提取网络的输出作为特征分类网络和特征鉴别网络的输入,构建跨域分割模型;
步骤3、根据域内分割模型和跨域分割模型分别测试目标域数据,并获得目标域的伪标签;
步骤4、利用自选择主动学习策略选择有效的伪标签和原始图像,加入源域丰富图像数据,再次训练跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
步骤5、利用训练的跨域分割模型对目标域OCT视网膜图像进行分割,即将目标域数据作为跨域分割模型的输入,使用特征提取网络和特征分类网络提取特征然后分类,得到目标域分割结果。
2.如权利要求1所述的OCT视网膜图像领域适应分割方法,其特征是,所述步骤1包括以下步骤:
步骤11,利用OCT设备采集视网膜图像数据,视网膜图像为三维体数据,将所述三维体数据切分为二维图像数据,所述二维图像数据为单通道灰度图,取值范围0-255;
步骤12,对二维图像数据进行尺寸缩放处理。
4.如权利要求1所述的OCT视网膜图像领域适应分割方法,其特征是,所述步骤3包括以下步骤:
步骤31,利用带有标签的源域数据对域内分割模型进行监督训练,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤32,利用广义Dice损失作为目标函数f(θ′)计算域内模型的输出与标签之间的损失:
步骤33,使用自适应矩估计优化算法对域内分割模型的参数进行优化:
初始化算法参数m0=0,υ0=0,t=0,其中m0为初始第一矩估计,υ0为第二矩估计,t为时间步;计算梯度的第一矩估计和第二矩估计:
更新分割模型参数:
其中,α为步长,即学习率,ε是一个数值,用于防止被零除;
步骤34,利用带有标签的源域数据和无标签的目标域数据训练跨域分割模型,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
步骤35,利用二进制交叉熵损失和广义Dice损失作为目标函数g(θ″)计算跨域模型的输出与标签之间的损失:
步骤36,使用自适应矩估计优化算法对跨域分割模型的参数进行优化,过程同步骤33;
5.一种OCT视网膜图像领域适应分割系统,其特征是,包括:
图像获取模块,用于采集病人的OCT视网膜图像,数据采集自各厂商的设备或各医院的相同设备;
图像预处理模块,用于对OCT视网膜图像进行预处理并构造数据集,所述数据集包含源域和目标域数据集;
模型构建模块,用于结合特征提取网络,特征分类网络和特征鉴别网络分别构建OCT视网膜图像域内以及跨域分割模型;
结合编码-解码网络思想,分别构建特征提取网络以及特征分类网络,其中特征提取网络包含1个卷积层和4组残差块,特征分类网络包含一个空洞空间卷积池化金字塔;
将特征提取网络的输出作为特征分类网络的输入,构建域内分割模型;
结合对抗生成网络思想,构建特征鉴别网络,特征鉴别网络包括3个独立的卷积层以及1组并列的卷积层;
将特征提取网络的输出作为特征分类网络和特征鉴别网络的输入,构建跨域分割模型;
模型训练模块,用于利用源域和目标域数据训练OCT视网膜图像域内以及跨域分割模型;
域内分割模型训练模块,用于利用带有标签的源域数据训练域内分割模型,输入图像数据和标签数据格式为[b,c,h,w],其中b为批处理数据的数量,c为数据通道数,所述数据通道数为1,h和w为图像的尺寸大小;
跨域分割模型训练模块,用于利用带有标签的源域数据和无标签的目标域数据训练跨域分割模型,输入图像数据和标签数据格式同域内分割模型训练模块;
目标函数计算模块,用于计算域内模型和跨域模型的目标损失函数f(θ′)和g(θ″);
网络优化模块,用于利用自适应矩估计优化算法对域内分割模型和跨域分割模型进行优化训练;
自选择主动学习模块,用于选择有效的目标域伪标签和对应的原始图像,放入源域中丰富图像数据,再次训练跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
其中,s代表源域,t代表目标域,M为目标域数据集图像数量,C为分割的类别数,s→s表示域内分割模型,s→t表示跨域分割模型;
跨域分割模型训练模块,用于利用新构建的源域数据集和目标域数据集对跨域分割模型进行第二次训练;
OCT视网膜图像测试模块,用于利用训练的跨域分割模型对目标域OCT视网膜图像进行分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110375473.XA CN113096137B (zh) | 2021-04-08 | 2021-04-08 | 一种oct视网膜图像领域适应分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110375473.XA CN113096137B (zh) | 2021-04-08 | 2021-04-08 | 一种oct视网膜图像领域适应分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113096137A CN113096137A (zh) | 2021-07-09 |
CN113096137B true CN113096137B (zh) | 2022-04-12 |
Family
ID=76674919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110375473.XA Active CN113096137B (zh) | 2021-04-08 | 2021-04-08 | 一种oct视网膜图像领域适应分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113096137B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113724203B (zh) * | 2021-08-03 | 2024-04-23 | 唯智医疗科技(佛山)有限公司 | 应用于oct图像中目标特征分割的模型训练方法及装置 |
CN114220003B (zh) * | 2021-11-26 | 2022-10-21 | 三峡大学 | 一种大范围地物分割的多目标无监督域自适应方法 |
CN116206108B (zh) * | 2023-02-16 | 2024-09-20 | 苏州大学 | 一种基于域自适应的oct图像脉络膜分割系统及方法 |
CN115880310B (zh) * | 2023-03-03 | 2023-05-05 | 北京心联光电科技有限公司 | 一种视网膜oct断层分割方法、装置及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647718A (zh) * | 2018-05-10 | 2018-10-12 | 江苏大学 | 一种不同材料金相组织自动分类评级的方法 |
CN109726690A (zh) * | 2018-12-30 | 2019-05-07 | 陕西师范大学 | 基于DenseCap网络的学习者行为图像多区域描述方法 |
CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
CN111898507A (zh) * | 2020-07-22 | 2020-11-06 | 武汉大学 | 一种预测无标签遥感影像地表覆盖类别的深度学习方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109580215B (zh) * | 2018-11-30 | 2020-09-29 | 湖南科技大学 | 一种基于深度生成对抗网络的风电传动系统故障诊断方法 |
CN110070535A (zh) * | 2019-04-23 | 2019-07-30 | 东北大学 | 一种基于实例迁移学习的视网膜血管图像分割方法 |
CN111191732B (zh) * | 2020-01-03 | 2021-05-14 | 天津大学 | 一种基于全自动学习的目标检测方法 |
CN111292338B (zh) * | 2020-01-22 | 2023-04-21 | 苏州大学 | 一种从眼底oct图像中分割脉络膜新生血管的方法及系统 |
CN111402257B (zh) * | 2020-03-11 | 2023-04-07 | 华侨大学 | 一种基于多任务协同跨域迁移的医学图像自动分割方法 |
CN111881714B (zh) * | 2020-05-22 | 2023-11-21 | 北京交通大学 | 一种无监督跨域行人再识别方法 |
CN111476805B (zh) * | 2020-05-22 | 2023-06-23 | 南京大学 | 一种基于多重约束的跨源无监督域适应分割模型 |
CN112258486B (zh) * | 2020-10-28 | 2023-04-07 | 汕头大学 | 基于进化神经架构搜索的眼底图像视网膜血管分割方法 |
CN112396588A (zh) * | 2020-11-23 | 2021-02-23 | 中国人民大学 | 一种基于对抗网络的眼底图像识别方法、系统及可读介质 |
CN112465842B (zh) * | 2020-12-22 | 2024-02-06 | 杭州电子科技大学 | 基于U-net网络的多通道视网膜血管图像分割方法 |
-
2021
- 2021-04-08 CN CN202110375473.XA patent/CN113096137B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647718A (zh) * | 2018-05-10 | 2018-10-12 | 江苏大学 | 一种不同材料金相组织自动分类评级的方法 |
CN109726690A (zh) * | 2018-12-30 | 2019-05-07 | 陕西师范大学 | 基于DenseCap网络的学习者行为图像多区域描述方法 |
CN110322446A (zh) * | 2019-07-01 | 2019-10-11 | 华中科技大学 | 一种基于相似性空间对齐的域自适应语义分割方法 |
CN111898507A (zh) * | 2020-07-22 | 2020-11-06 | 武汉大学 | 一种预测无标签遥感影像地表覆盖类别的深度学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113096137A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113096137B (zh) | 一种oct视网膜图像领域适应分割方法及系统 | |
WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
Shahzadi et al. | CNN-LSTM: Cascaded framework for brain tumour classification | |
CN107492099B (zh) | 医学图像分析方法、医学图像分析系统以及存储介质 | |
CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
CN111047594A (zh) | 肿瘤mri弱监督学习分析建模方法及其模型 | |
KR20210048523A (ko) | 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 기억 매체 | |
CN107993221B (zh) | 心血管光学相干断层oct图像易损斑块自动识别方法 | |
KR102458324B1 (ko) | 학습 모델을 이용한 데이터 처리 방법 | |
CN107730542B (zh) | 锥束计算机断层扫描图像对应与配准方法 | |
CN110415234A (zh) | 基于多参数磁共振成像的脑部肿瘤分割方法 | |
JP2013537445A (ja) | 内科医が直接用いるのに適応したビジュアライゼーション | |
CN112365980A (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
CN115147600A (zh) | 基于分类器权重转换器的gbm多模态mr图像分割方法 | |
CN106127783A (zh) | 一种基于深度学习的医疗影像识别系统 | |
CN110503636B (zh) | 参数调整方法、病灶预测方法、参数调整装置及电子设备 | |
CN113782184A (zh) | 一种基于面部关键点与特征预学习的脑卒中辅助评估系统 | |
CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
Ahmed et al. | Human skin diseases detection and classification using cnn | |
CN117476237B (zh) | 一种用于老年人手术的模拟评估系统及方法 | |
CN113822323A (zh) | 脑部扫描图像的识别处理方法、装置、设备及存储介质 | |
Fan et al. | Graph Reasoning Module for Alzheimer’s Disease Diagnosis: A Plug-and-Play Method | |
CN116958705A (zh) | 基于图神经网络的医学影像归类系统 | |
CN116485853A (zh) | 一种基于深度学习神经网络的医学图像配准方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |