CN112669331A - 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统 - Google Patents

目标数据迁移迭代学习方法及目标数据迁移迭代学习系统 Download PDF

Info

Publication number
CN112669331A
CN112669331A CN202011568270.4A CN202011568270A CN112669331A CN 112669331 A CN112669331 A CN 112669331A CN 202011568270 A CN202011568270 A CN 202011568270A CN 112669331 A CN112669331 A CN 112669331A
Authority
CN
China
Prior art keywords
view
segmentation
target
target view
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011568270.4A
Other languages
English (en)
Other versions
CN112669331B (zh
Inventor
张立箎
李彤
钱大宏
宣锴
薛忠
沈定刚
陈磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011568270.4A priority Critical patent/CN112669331B/zh
Publication of CN112669331A publication Critical patent/CN112669331A/zh
Application granted granted Critical
Publication of CN112669331B publication Critical patent/CN112669331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种目标数据迁移迭代学习方法及目标数据迁移迭代学习系统。目标数据迁移迭代学习方法包括源视图及目标视图获取、源视图分割训练、目标视图识别分割标注、目标视图分割训练、目标视图分割标注更新、第一卷积神经网络模型迭代训练以及第二卷积神经网络模型迭代训练等步骤。本发明实现了从单视图分割标签得到多视图分割标签的迁移,并且采用相互交替学习的方式,进一步提升了分割标签的准确性,可以使分割结果更加连续和光滑。

Description

目标数据迁移迭代学习方法及目标数据迁移迭代学习系统
技术领域
本发明涉及基于人工智能方法评估膝关节功能和实现疾病诊断领域,具体地说,涉及一种目标数据迁移迭代学习方法及目标数据迁移迭代学习系统。
背景技术
膝关节的磁共振(MR)图像通常采集轴位、冠状面和矢状面,并有较大的层间距的厚层图像用于临床研究和诊断。而对MR图像进行膝关节的组织结构分割是自动化评估膝关节功能和结构的重要步骤。临床医生从三个不同的角度评估膝关节的结构,进行综合诊断,其中矢状面可用于大部分膝关节损伤的评估,轴向面和冠状面可联合用于诊断一些疾病,如冠状位可见撕裂的内侧副韧带,而轴位是观察髌骨软骨外观的最佳方位。
大多数自动实现膝关节诊断或分割的方法只关注矢状视图。这是与临床诊断不一致的评估程序,因此,有必要开发一种结合多个视图分割技术来辅助膝关节的临床评估。除此之外,分割标注很耗费人力,而目前大多数的标注都只存在于矢状位,很少有在冠状位和轴向位数据标注的,因此不能够实现利用仅有一个视图的标注信息得到三个视图的分割结果。
发明内容
本发明的目的在于,提供一种目标数据迁移迭代学习方法及目标数据迁移迭代学习系统,以解决现有人工智能方法中关注矢状视图不能结合多个视图分割技术来辅助膝关节的临床评估的技术问题,以解决目前大多数的标注都只存在于矢状位,很少有在冠状位和轴向位数据标注的,因此不能够实现利用仅有一个视图的标注信息得到三个视图的分割结果的技术问题。
为实现上述目的,本发明提供一种目标数据迁移迭代学习方法,包括如下步骤:
源视图及目标视图获取步骤,采集一源视图及目标视图,所述源视图与所述目标视图为同一部位在不同角度的三维视图图像,仅在所述源视图中对该部位的组成部件的分布区域进行分割标注作为第一源视图分割标签;
源视图分割训练步骤,基于第一卷积神经网络模型,由所述源视图作为输入,所述第一源视图分割标签作为监督信息,利用梯度下降算法进行训练;
目标视图识别分割标注步骤,采用被训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得第一目标视图分割标签;
目标视图分割训练步骤,基于第二卷积神经网络模型,由所述目标视图作为输入,所述第一目标视图分割标签作为监督信息,利用梯度下降算法进行训练;
目标视图分割标注更新步骤,采用被训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得第二目标视图分割标签;
第一卷积神经网络模型迭代训练步骤,基于被训练后的所述第一卷积神经网络模型,由所述源视图和目标视图作为输入,所述源视图标注分割标签、第二目标视图分割标签、源视图和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化迭代训练;采用被迭代训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得第三目标视图分割标签并进行输出;以及
第二卷积神经网络模型迭代训练步骤,采用被迭代训练后的所述第二卷积神经网络模型,由目标视图作为输入,更新后的第一目标视图分割标签和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化训练。
进一步地,完成一次第一卷积神经网络模型迭代训练步骤和第二神经网络模型迭代训练步骤为一个迭代周期。
进一步地,在所述第一卷积神经网络模型迭代训练步骤中,所述监督信息还包括在所述目标视图中对所述部位的组成部件的分布区域进行分割标注的分割标签;所述源视图为所述部位沿着第一方向为第一层间距的平面切片的集合;所述目标视图为所述部位沿着第二方向为第二层间距的平面切片的集合;所述第一方向与所述第二方向不同;所述源视图所包含的信息与所述目标视图不完全一致,有部分重叠,这部分重叠的分割标签称为共享部分分割标签。
进一步地,所述第一方向与所述第二方向包括垂直于所述部位的轴位、冠状面或矢状面的方向。
进一步地,所述梯度下降算法为adam算法。
进一步地,所述第一卷积神经网络模型与所述第二卷积神经网络模型采用2DUNet架构,使用cross-entropy和dice loss损失函数。
进一步地,所述部位包括膝关节组织结构;所述膝关节组织结构的组成部件包括股骨、股骨软骨、胫骨软骨、胫骨、半月板。
本发明还提供一种目标数据迁移迭代学习系统,包括:源视图及目标视图获取模块,用于采集一源视图及目标视图,所述源视图与所述目标视图为同一部位在不同角度的视图图像,仅在所述源视图中对该部位的组成部件的分布区域进行人工分割标注作为第一源视图分割标签;基于源视图训练的目标视图分割伪标签生成模块,用于执行以下步骤:源视图分割训练步骤,基于第一卷积神经网络模型,由所述源视图作为输入,所述第一源视图分割标签作为监督信息,利用梯度下降算法进行训练;目标视图识别分割标注步骤,用于采用被训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得第一目标视图分割标签;目标视图分割标签优化模块,用于执行以下步骤:目标视图分割训练步骤,基于第二卷积神经网络模型,由所述目标视图作为输入,所述第一目标视图分割标签作为监督信息,利用梯度下降算法进行训练;目标视图分割标注更新步骤,用于采用被训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得第二目标视图分割标签;其中,所述基于源视图训练的目标视图分割伪标签生成模块和所述目标视图分割标签优化模块的交替迭代训练,完成一次训练为一次迭代训练过程,该迭代训练过程包括:第一卷积神经网络模型迭代训练过程,用于基于被训练后的所述第一卷积神经网络模型,由所述源视图和目标视图作为输入,所述源视图分割标注、第二目标视图分割标签、共享部分分割标签作为监督信息,利用梯度下降算法进行迭代训练;采用被迭代训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第一目标视图分割标签;第二卷积神经网络模型迭代训练过程,采用被迭代训练后的所述第二卷积神经网络模型,由目标视图作为输入,更新后的第一目标视图分割标签和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化训练;目标视图分割标注更新过程,用于采用经过迭代训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第二目标视图分割标签;在得到比较稳定的第二目标视图的分割标签时结束训练。
进一步地,在所述目标数据迁移迭代学习系统中,所述梯度下降算法为adam算法。
进一步地,在所述目标数据迁移迭代学习系统中,所述第一卷积神经网络模型与所述第二卷积神经网络模型采用2D UNet架构,使用cross-entropy和dice loss损失函数。
本发明的有益效果在于,提供一种目标数据迁移迭代学习方法及目标数据迁移迭代学习系统,实现了从单视图分割标签得到多视图分割标签的迁移,并且采用相互交替学习的方式,进一步提升了分割标签的准确性,可以使分割结果更加连续和光滑。
附图说明
图1为本发明实施例中所述目标数据迁移迭代学习方法的流程图;
图2为本发明实施例中所述目标数据迁移迭代学习系统的结构示意图;
图3为本发明实施例中所述目标数据迁移迭代学习系统的训练过程的算法流程图。
具体实施方式
以下参考说明书附图完整介绍本发明的优选实施例,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,其保护范围并非仅限于文中提到的实施例。
如图1所示,本发明实施例提供一种目标数据迁移迭代学习方法,包括如下步骤S1-S7。
S1、源视图及目标视图获取步骤,采集一源视图及目标视图,所述源视图与所述目标视图为同一部位在不同角度的三维视图图像,仅在所述源视图中对该部位的组成部件的分布区域进行分割标注作为第一源视图分割标签。
S2、源视图分割训练步骤,基于第一卷积神经网络模型,由所述源视图作为输入,所述第一源视图分割标签作为监督信息,利用梯度下降算法进行训练;
S3、目标视图识别分割标注步骤,采用被训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得第一目标视图分割标签。
S4、目标视图分割训练步骤,基于第二卷积神经网络模型,由所述目标视图作为输入,所述第一目标视图分割标签作为监督信息,利用梯度下降算法进行训练。
S5、目标视图分割标注更新步骤,采用被训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得第二目标视图分割标签。
S6、第一卷积神经网络模型迭代训练步骤,基于被训练后的所述第一卷积神经网络模型,由所述源视图和目标视图作为输入,所述源视图标注分割标签、第二目标视图分割标签、源视图和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化迭代训练;采用被迭代训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第一目标视图分割标签并进行输出。
S7、第二卷积神经网络模型迭代训练步骤,采用被迭代训练后的所述第二卷积神经网络模型,由目标视图作为输入,更新后的第一目标视图分割标签和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化训练。
完成一次第一卷积神经网络模型迭代训练步骤和第二神经网络模型迭代训练步骤为一个迭代周期。其中可也理解上述步骤分为训练阶段和迭代阶段,迭代阶段为不断更新过程,尤其是对前面的第一卷积神经网络模型也迭代训练,故也可理解为向前传播阶段。
本实施例中,在所述第一卷积神经网络模型迭代训练步骤中,所述监督信息还包括在所述目标视图中对所述部位的组成部件的分布区域进行分割标注的分割标签;所述源视图为所述部位沿着第一方向为第一层间距的平面切片的集合;所述目标视图为所述部位沿着第二方向为第二层间距的平面切片的集合;所述第一方向与所述第二方向不同;其中所述第一层间距、所述第二层间距是指视图里的切片之间的间距;所述源视图所包含的信息与所述目标视图不完全一致,有部分重叠,这部分重叠的分割标签称为共享部分分割标签。
本实施例中,所述第一方向与所述第二方向包括垂直于所述部位的轴位、冠状面或矢状面的方向。
本实施例中,所述梯度下降算法为adam算法。
本实施例中,所述第一卷积神经网络模型与所述第二卷积神经网络模型采用2DUNet架构,使用cross-entropy和dice loss损失函数。
本实施例中,所述部位包括膝关节组织结构;所述膝关节组织结构的组成部件包括股骨、股骨软骨、胫骨软骨、胫骨、半月板。
基于前文所述的目标数据迁移迭代学习方法,如图2所示,本发明还提供一种目标数据迁移迭代学习系统10,包括:源视图及目标视图获取模块1,用于采集一源视图及目标视图,所述源视图与所述目标视图为同一部位在不同角度的视图图像,仅在所述源视图中对该部位的组成部件的分布区域进行人工分割标注作为第一源视图分割标签;基于源视图训练的目标视图分割伪标签生成模块2,用于执行以下步骤:源视图分割训练步骤,基于第一卷积神经网络模型,由所述源视图作为输入,所述第一源视图分割标签作为监督信息,利用梯度下降算法进行训练;目标视图识别分割标注步骤,用于采用被训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得第一目标视图分割标签;目标视图分割标签优化模块3,用于执行以下步骤:目标视图分割训练步骤,基于第二卷积神经网络模型,由所述目标视图作为输入,所述第一目标视图分割标签作为监督信息,利用梯度下降算法进行训练;目标视图分割标注更新步骤,用于采用被训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得第二目标视图分割标签;其中,所述基于源视图训练及的目标视图分割伪标签生成模块和所述目标视图分割标签优化模块的交替迭代训练,完成一次训练为一次迭代训练过程,该迭代训练过程包括:第一卷积神经网络模型迭代训练过程,用于基于被训练后的所述第一卷积神经网络模型,由所述源视图和目标视图作为输入,所述源视图分割标注、第二目标视图分割标签、共享部分分割标签作为监督信息,利用梯度下降算法进行迭代训练;采用被迭代训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第一目标视图分割标签;第二卷积神经网络模型迭代训练过程,采用被迭代训练后的所述第二卷积神经网络模型,由目标视图作为输入,更新后的第一目标视图分割标签和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化训练;目标视图分割标注更新过程,用于采用经过迭代训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第二目标视图分割标签;在得到比较稳定的第二目标视图的分割标签时结束训练。
可理解的是,所述源视图为所述部位沿着第一方向为第一层间距的平面切片;所述目标视图为所述部位沿着第二方向为第二层间距的平面切片;所述第一层间距小于所述第二层间距,所述第一方向与所述第二方向不同。其中所述第一层间距、所述第二层间距是指视图里的切片之间的间距,亦即表示所述源视图为高分辨率图像,所述目标视图为低分辨率图像。对应的,采用所述第一卷积神经网络模型的目标视图识别分割标注模块3为低分辨率分割模块,采用所述第二卷积神经网络模型的目标视图分割训练模块4为上下文学习模块。在所述目标数据迁移迭代学习系统10中实现的目标数据迁移迭代学习方法是通过低分辨分割模块和上下文学习模块进行迭代学习来进行的。为实现所述目标数据迁移迭代学习方法,所述目标数据迁移迭代学习系统10分为所述第一卷积神经网络模型(亦即为低分辨率分割模块)、所述第二卷积神经网络模型(亦即为上下文学习模块)以及通过迭代训练低分辨率模块和上下文转移模块学习三个部分。
其中,低分辨率分割模块(low-resolution segmentation,LR-Seg模块),旨在通过在低分辨率切片上进行分割,从源视图(矢状位视图)的已知标签中获得目标视图(轴向或冠状视图)的初始粗略分割掩膜。由于源视图三维数据沿着矢状方向的2D切片为高分辨图像,而目标视图的矢状方向切片图像都是低分辨率(三个视图均为厚层MR数据,层间距较大)。低分辨率模块由源视图作为输入和对应的分割标注作为监督信息,通过基于卷积神经网络的模型,利用梯度下降算法训练而得。要该模块既能应用于目标视图,我们将高分辨率的源视图2D矢状切片进行降采样作为输入,使其分辨率与目标视图矢状切片的分辨率一致。LR-Seg模块主要有两个过程:训练过程和前向传播过程。训练过程是利用基于一种改进的梯度下降算法adam算法进行优化的过程,由于整个的算法框架是基于迭代式的训练,低分辨分割模块也分为初始训练阶段和后续迭代阶段。在初始训练阶段,仅使用矢状视图作为输入。在以后的迭代阶段,目标视图也将被添加到训练数据中,由上一次迭代得到的预测伪分割标签作为监督信息参与优化。三维的源视图表示为
Figure BDA0002861655210000091
其中每一个高分辨切片表示为
Figure BDA0002861655210000092
其中1<i<n,i表示切片的数目,上标s表示源视图(source)的数据,下标s1-sn表示为矢状方向,即源视图扫描方向,其中下标s1-sn表示3D图像的切片方向。目标视图图像表示为
Figure BDA0002861655210000093
其中每一个低分辨切片表示为
Figure BDA0002861655210000094
其中1<i<m,i表示切片的数目,上标t表示目标视图(target)的数据,下标t1至tn表示为矢状方向,即目标视图扫描方向,其中下标t1至tm表示3D图像的切片方向。源视图可使用的分割标注表示为
Figure BDA0002861655210000095
在初始训练阶段,LR-Seg模块写作MLR。在本文使用cross-entropy和dice损失函数,使用Adam算法进行梯度下降优化,区别于经典的随机梯度下降法,随机梯度下降保持一个固定的学习速率,更新所有的权重,Adam算法是从梯度的第一次和第二次矩的预算来计算不同参数的自适应学习速率。LR-Seg模块(具有目标视图识别分割标注模块3及目标视图分割训练模块4)的算法流程如图3所示,使用的分割网络模型是一个处理低分辨图像的2D U-Net,输入的2D图像大小为224×18,区别于传统2DU-Net,设计的池化层是各向异性的。池化层(Pooling)也称为欠采样或下采样,主要用于特征降维,压缩数据和参数的数量,减小过拟合,同时提高模型的容错性。网络包含四次降采样和四次上采样。前向传播过程中,是为了得到目标视图的预测分割标签(也称伪标签,即第二目标视图分割标签),是利用已经训练好的网络模型参数,进行一次前向计算,输入为目标视图的矢状方向切片,输出为预测的分割标签,可以将这些切片组合起来形成三维的结果,从目标视图的高分辨切片方向观察。在完成每一个模块训练之后会有一次前向传播进行更新,来作为下一个模块的监督信息参与训练。
其中,上下文转移模块,用于学习包括体素强度和形状在内的上下文关系,来细化通过上一个低分辨分割模块的前向传播过程得到的目标视图的伪标签图。低分辨率模块只能粗略地学习低分辨率矢状图像的特征,而目标视图高分辨切片的上下文纹理形状特征可用于细化完善伪分割标签。该模块使用目标视图的高分辨率切片作为输入,作为监督信息进行优化。网络模型采用传统2D UNet架构,用到的损失函数是cross-entropy和dice loss损失函数,采用Adam算法进行优化。考虑到优化过程中使用了伪标签作为监督信息,为了减少可能存在的负优化,我们也在损失函数中加入了源视图和目标视图重合体素的真实分割标注,作为额外的监督信息。由于源视图和目标视图的部分体素是重合的,把源视图的分割标注通过空间插值的方式映射到目标视图,可以获得这些重合像素的真实标注。所以训练阶段的损失函数包含两部分,一部分是由低分辨分割模块得到的目标视图的伪标签,另一部分是来自源视图和目标图重合体素的真实标注。上下文学习模块的训练过程结束以后,经过前向传播过程得到更新后的目标视图伪分割标签,用于下一轮的迭代训练。
其中通过迭代训练低分辨率模块和上下文转移模块学习,可以逐步更新目标视图的伪标签,直到得到目标视图上稳定且接近真实标注的分割结果,从而实现将源视图分割标注转移到其他的目标视图,进而可以获得膝关节磁共振图像的多视角分割结果,并用于后续的诊断分析。一次迭代训练包括一次低分辨分割模块和一次上下文转移模块训练,每经过一个模块训练更新一次目标视图的伪分割标签,用于下个模块的训练。之前提到的在LR-Seg后面的迭代训练阶段,来自目标视图和伪标签回加入到训练中。所述目标数据迁移迭代学习系统10训练过程如图3所示的算法流程。这两个模块交替学习,低分辨分割模块使用源视图真实的分割标注严格约束模型的优化,但由于其学到的只是低分辨矢状位图像的特征,需要利用上下文转移模块中对目标视图高分辨率切片下的形状纹理特征学习,可以使分割结果更加连续和光滑。在低分辨率分割模块部分说的,后续迭代训练阶段,目标视图和其伪分割标签也会加入低分辨分割模型的训练中,由于目标视图两端的几个切片可能并不存在于源视图,仅有源视图数据训练出的模型对这部分切片无法得到很好的分割效果,需要加入目标视图和上下文迁移模块预测的伪标签对其进行学习,增强低分辨率模块对目标视图的分割能力。两个模块相当于依次从两个不同的视角学习特征,通过将上一个视角的预测结果作为标签去学习,从而互相弥补,互相促进。由于每次模块训练都会更新目标视图的伪标签,而伪标签又会被假定为真实监督信息参与网络模型的优化,每次更新使得伪标签越准确,对于下一个模块的训练越有利,进而预测结果逐渐接近真实的目标视图分割结果。
本实施例中,我们比较的膝关节组织结构包括股骨(FB),股骨软骨(FC),胫骨软骨(TC),胫骨(TB),半月板(Meniscus)。使用dice系数的均值和标准差表示量化结果,它是用于计算像素级的预测分割标签和真实人工标注之间的相似度。我们以从矢状位迁移到冠状位为例,使用26例人工标注的冠状位PD模态的MR图像来定量评估算法的效果。
表1中,我们比较的方法结果在后三行,分别为目标视图仅使用低分辨率模块学习的预测结果(LR-Seg),经过一次低低分辨率分割和上下文迁移模块训练的结果(ContextTrans.),经过两个模块迭代训练的结果(Iterative Context Trans.)。可以看到对于较大的目标类别比如股骨、胫骨,我们的方法最高可以达到98%,对于比较小、薄的组织结构,比如股骨软骨、胫骨软骨,最高可以达到88%以上,半月板的分割性能也比较好,能够很好的将源视图分割标注迁移到目标视图上。我们也比较了方法中设计的两种模块及迭代训练的作用,与初始低分辨率分割模块的结果相比,经过上下文迁移训练后各类别的dice分数都有了很大提高,尤其是在股骨软骨(FC)和胫骨软骨(TC)。之后的迭代学习可以将这两类dice分数提高2%至4%,并获得最好的性能。表明我们设计的模块及迭代训练都可以提升整个迁移过程的表现结果。
表1分割结果的dice值和方差展示
Figure BDA0002861655210000121
我们也将可视化了从矢状图迁移到冠状图的预测结果。对比了第一次低分辨率分割模块训练(initial LR-Seg)、第一次上下文迁移训练(context transfer)、迭代上下文迁移训练(iterative context transfer)和真值标注(GT)。低分辨率模块的预测分割结果产生了很多不连续的区域,包括边缘的一些毛刺和中间的孔洞部分,图像的两侧部分没有分割出来,这是由于之前所说的目标视图的两端的切片可能不在源视图的覆盖范围内。加入了上下文的迁移训练之后,这些空洞和毛刺分割错误的区域被很好的纠正了,分割结果变得更加光滑准确。经过迭代之后,图像两侧的分割更加贴近边缘了,优化了分割结果。说明我们的方法是有效的,可以实现比较好的利用一个视图标注信息去推断其他视图的分割标签。
我们还对比了三个可替代的方法,并也将他们的结果列在表1:1)使用最近邻插值得到目标视图分割标签(Nearest Interp.)2)使用源视图三维分割网络到目标视图(Cross-view Seg)3)先将厚层数据经过三线性插值到薄层数据,再进行分割(Interp.Seg)。相对比我们的结果,这三种可替代的方案的量化指标均低于我们的方法,尤其是在股骨软骨和胫骨软骨两个类别。对比我们所提出的两个模块各自的效果,以及经过迭代训练之后,可以有很大的提升。
本发明的有益效果在于,提供一种目标数据迁移迭代学习方法及目标数据迁移迭代学习系统,实现了从单视图分割标签得到多视图分割标签的迁移,并且采用相互交替学习的方式,进一步提升了分割标签的准确性,可以使分割结果更加连续和光滑。
以上所述仅是本发明的优选实施方式,使本领域的技术人员更清楚地理解如何实践本发明,这些实施方案并不是限制本发明的范围。对于本技术领域的普通技术人员,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种目标数据迁移迭代学习方法,其特征在于,包括如下步骤:
源视图及目标视图获取步骤,采集一源视图及目标视图,所述源视图与所述目标视图为同一部位在不同角度的三维视图图像,仅在所述源视图中对该部位的组成部件的分布区域进行分割标注作为第一源视图分割标签;
源视图分割训练步骤,基于第一卷积神经网络模型,由所述源视图作为输入,所述第一源视图分割标签作为监督信息,利用梯度下降算法进行训练;
目标视图识别分割标注步骤,采用被训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得第一目标视图分割标签;
目标视图分割训练步骤,基于第二卷积神经网络模型,由所述目标视图作为输入,所述第一目标视图分割标签作为监督信息,利用梯度下降算法进行训练;
目标视图分割标注更新步骤,采用被训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得第二目标视图分割标签;
第一卷积神经网络模型迭代训练步骤,基于被训练后的所述第一卷积神经网络模型,由所述源视图和目标视图作为输入,所述源视图标注分割标签、第二目标视图分割标签、源视图和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化迭代训练;采用被迭代训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第一目标视图分割标签并进行输出;以及
第二卷积神经网络模型迭代训练步骤,采用被迭代训练后的所述第二卷积神经网络模型,由目标视图作为输入,更新后的第一目标视图分割标签和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化训练。
2.如权利要求1所述的目标数据迁移迭代学习方法,其特征在于,完成一次第一卷积神经网络模型迭代训练步骤和第二神经网络模型迭代训练步骤为一个迭代周期。
3.如权利要求1所述的目标数据迁移迭代学习方法,其特征在于,
在所述第一卷积神经网络模型迭代训练步骤中,所述监督信息还包括在所述目标视图中对所述部位的组成部件的分布区域进行分割标注的分割标签;所述源视图为所述部位沿着第一方向为第一层间距的平面切片的集合;所述目标视图为所述部位沿着第二方向为第二层间距的平面切片的集合;所述第一方向与所述第二方向不同;其中所述第一层间距、所述第二层间距是指视图里的切片之间的间距;所述源视图所包含的信息与所述目标视图不完全一致,有部分重叠,这部分重叠的分割标签称为共享部分分割标签。
4.如权利要求3所述的目标数据迁移迭代学习方法,其特征在于,
所述第一方向与所述第二方向包括垂直于所述部位的轴位、冠状面或矢状面的方向。
5.如权利要求1所述的目标数据迁移迭代学习方法,其特征在于,
所述梯度下降算法为adam算法。
6.如权利要求1所述的目标数据迁移迭代学习方法,其特征在于,
所述第一卷积神经网络模型与所述第二卷积神经网络模型采用2D UNet架构,使用cross-entropy 和dice loss损失函数。
7.如权利要求1所述的目标数据迁移迭代学习方法,其特征在于,
所述部位包括膝关节组织结构;所述膝关节组织结构的组成部件包括股骨、股骨软骨、胫骨软骨、胫骨、半月板。
8.一种目标数据迁移迭代学习系统,其特征在于,包括:
源视图及目标视图获取模块,用于采集一源视图及目标视图,所述源视图与所述目标视图为同一部位在不同角度的视图图像,仅在所述源视图中对该部位的组成部件的分布区域进行人工分割标注作为第一源视图分割标签;
基于源视图训练的目标视图分割伪标签生成模块,用于执行以下步骤:
源视图分割训练步骤,基于第一卷积神经网络模型,由所述源视图作为输入,所述第一源视图分割标签作为监督信息,利用梯度下降算法进行训练;
目标视图识别分割标注步骤,用于采用被训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得第一目标视图分割标签;
目标视图分割标签优化模块,用于执行以下步骤:
目标视图分割训练步骤,基于第二卷积神经网络模型,由所述目标视图作为输入,所述第一目标视图分割标签作为监督信息,利用梯度下降算法进行训练;
目标视图分割标注更新步骤,用于采用被训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得第二目标视图分割标签;
其中,所述基于源视图训练的目标视图分割伪标签生成模块和所述目标视图分割标签优化模块的交替迭代训练,完成一次训练为一次迭代训练过程,该迭代训练过程包括:
第一卷积神经网络模型迭代训练过程,用于基于被训练后的所述第一卷积神经网络模型,由所述源视图和目标视图作为输入,所述源视图分割标注、第二目标视图分割标签、共享部分分割标签作为监督信息,利用梯度下降算法进行迭代训练;采用被迭代训练后的所述第一卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第一目标视图分割标签;
第二卷积神经网络模型迭代训练过程,采用被迭代训练后的所述第二卷积神经网络模型,由目标视图作为输入,更新后的第一目标视图分割标签和共享的部分分割标签作为监督信息,利用梯度下降算法进行优化训练;
目标视图分割标注更新过程,用于采用经过迭代训练后的所述第二卷积神经网络模型对所述目标视图进行分割标注,获得更新后的第二目标视图分割标签;
在得到比较稳定的第二目标视图的分割标签时结束训练。
9.如权利要求7所述的目标数据迁移迭代学习系统,其特征在于,
所述梯度下降算法为adam算法。
10.如权利要求7所述的目标数据迁移迭代学习系统,其特征在于,
所述第一卷积神经网络模型与所述第二卷积神经网络模型采用2D UNet架构,使用cross-entropy 和dice loss损失函数。
CN202011568270.4A 2020-12-25 2020-12-25 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统 Active CN112669331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011568270.4A CN112669331B (zh) 2020-12-25 2020-12-25 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011568270.4A CN112669331B (zh) 2020-12-25 2020-12-25 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统

Publications (2)

Publication Number Publication Date
CN112669331A true CN112669331A (zh) 2021-04-16
CN112669331B CN112669331B (zh) 2023-04-18

Family

ID=75409683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011568270.4A Active CN112669331B (zh) 2020-12-25 2020-12-25 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统

Country Status (1)

Country Link
CN (1) CN112669331B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学(深圳) 基于无监督学习的行人重识别方法、装置及介质
CN110647904A (zh) * 2019-08-01 2020-01-03 中国科学院信息工程研究所 一种基于无标记数据迁移的跨模态检索方法及系统
CN111222339A (zh) * 2020-01-13 2020-06-02 华南理工大学 一种基于对抗多任务学习的医疗咨询命名实体识别方法
CN111709315A (zh) * 2020-05-27 2020-09-25 西安交通大学 一种基于领域适配的水声目标辐射噪声识别方法
CN111738295A (zh) * 2020-05-22 2020-10-02 南通大学 图像的分割方法及存储介质
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948648A (zh) * 2019-01-31 2019-06-28 中山大学 一种基于元对抗学习的多目标域适应迁移方法及系统
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学(深圳) 基于无监督学习的行人重识别方法、装置及介质
CN110647904A (zh) * 2019-08-01 2020-01-03 中国科学院信息工程研究所 一种基于无标记数据迁移的跨模态检索方法及系统
CN111222339A (zh) * 2020-01-13 2020-06-02 华南理工大学 一种基于对抗多任务学习的医疗咨询命名实体识别方法
CN111738295A (zh) * 2020-05-22 2020-10-02 南通大学 图像的分割方法及存储介质
CN111709315A (zh) * 2020-05-27 2020-09-25 西安交通大学 一种基于领域适配的水声目标辐射噪声识别方法
CN112070779A (zh) * 2020-08-04 2020-12-11 武汉大学 一种基于卷积神经网络弱监督学习的遥感影像道路分割方法

Also Published As

Publication number Publication date
CN112669331B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
Khalili et al. Automatic brain tissue segmentation in fetal MRI using convolutional neural networks
CN109584244B (zh) 一种基于序列学习的海马体分割方法
CN111798462A (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN111524170B (zh) 一种基于无监督深度学习的肺部ct图像配准方法
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN114897780B (zh) 一种基于mip序列的肠系膜上动脉血管重建方法
CN112837274A (zh) 一种基于多模态多站点数据融合的分类识别方法
CN115457020B (zh) 一种融合残差图像信息的2d医学图像配准方法
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
CN112669331B (zh) 目标数据迁移迭代学习方法及目标数据迁移迭代学习系统
Cui et al. Automatic Segmentation of Kidney Volume Using Multi-Module Hybrid Based U-Shape in Polycystic Kidney Disease
CN116934965A (zh) 基于可控生成扩散模型的脑血管三维图像生成方法及系统
Ji et al. A dense-gated U-Net for brain lesion segmentation
Qian et al. Unet#: a Unet-like redesigning skip connections for medical image segmentation
CN111369662A (zh) Ct图像中血管的三维模型重建方法及系统
Liu et al. Attention Based Cross-Domain Synthesis and Segmentation From Unpaired Medical Images
Tong et al. Abdominal adiposity quantification at MRI via fuzzy model-based anatomy recognition
Sousa et al. Learning to segment the lung volume from CT scans based on semi-automatic ground-truth
Jiang et al. Patient-specific modeling of pelvic system from MRI for numerical simulation: Validation using a physical model
CN113538451B (zh) 一种深静脉血栓的磁共振图像分割方法及装置,电子设备及存储介质
Guo et al. Controllable fundus image generation based on conditional generative adversarial networks with mask guidance
CN111489381A (zh) 一种婴幼儿脑部核磁共振图像群配准方法及其装置
Duan et al. HCPSNet: heterogeneous cross-pseudo-supervision network with confidence evaluation for semi-supervised medical image segmentation
Bongratz et al. Meshes meet voxels: Abdominal organ segmentation via diffeomorphic deformations
Mathlouthi et al. A Novel Deep Learning Model for Knee Cartilage 3D Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant