CN110033848A - 一种基于无监督学习的三维医学影像z轴插值方法 - Google Patents
一种基于无监督学习的三维医学影像z轴插值方法 Download PDFInfo
- Publication number
- CN110033848A CN110033848A CN201910305088.0A CN201910305088A CN110033848A CN 110033848 A CN110033848 A CN 110033848A CN 201910305088 A CN201910305088 A CN 201910305088A CN 110033848 A CN110033848 A CN 110033848A
- Authority
- CN
- China
- Prior art keywords
- network
- image
- feature
- unsupervised
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Abstract
一种基于无监督学习的三维医学影像z轴插值方法,涉及图像处理领域。能够有效的提高三维医学影像z轴分辨率,很大程度上解决了三维医学影像x、y、z轴上分辨率不够匹配的问题,对医生的诊断具有辅助意义。方法包括:A、通过特征偏移对无监督学习网络进行优化的方法;B、对数据进行退化处理辅助指导无监督学习网络优化方向的方法;C、一种评估特征偏移的评价方法。建立在深度学习模型的基础上,能够实现很好的z轴数据插值效果。
Description
技术领域
本发明涉及图像处理领域,尤其是涉及一种基于无监督学习的三维医学影像z轴插值方法。
背景技术
三维医学影像数据在日常医疗诊断中有着极其重要的作用,可以帮助医生对病患的病灶位置进行精确的诊断。在深度学习的快速发展过程中,智能辅助诊断系统的出现缓解了医生的诊断压力。通过对三维医学影像的智能分析,智能辅助诊断系统精准的判断影像区域的病情,给予医生相应的病灶区域候选建议、病情分析建议和辅助诊疗意见,由医生做最终诊断判别。
然而,智能辅助诊断系统依托于深度学习强大的非线性拟合能力,同时需要大量数据的训练学习。传统扫描获得的三维医学影像数据在x、y轴上的分辨率与z轴上的分辨率有所不同,网络在z轴上学习到的映射关系相较于x、y轴上的映射关系更弱,不能很好的反映客观规律。因此在z轴上的插值可以提高z轴分辨率,进而提升网络学习效果,增强系统的性能。
由于三维医学影像的特殊性,在获得数据的过程中无法获取训练监督学习网络的z轴插值标签;使用下采样的数据模拟退化过程可以获取模拟的数据及标签,但无法客观的反映退化的真实规律;因此在此背景下,我们提出了基于无监督学习的三维医学影像z轴插值方法,通过特征约束进行网络优化,并使用退化数据对网络优化方向进行校正。
发明内容
本发明的目的在于提供能改善获取的三维医学影像数据z轴分辨率,提高智能辅助诊断系统性能的一种基于无监督学习的三维医学影像z轴插值方法。
本发明包括以下步骤:
1)基于特征偏移对无监督学习网络进行优化的方法;
2)对数据进行退化处理辅助指导无监督学习网络优化方向的方法;
3)一种评估特征偏移的评价方法。
在步骤1)中,所述基于特征偏移对无监督学习网络进行优化的方法的具体步骤可为:
在无标签数据情况下,通过对输出图像的特征偏移约束优化无监督学习网络;由于三维医学影像的特殊性,在采集过程中无法获取直接的标签数据,即z轴上无法直接获得两帧图像的中间图像,因此,监督学习的标签约束无法被应用到网络学习过程中,三维医学影像数据由于其连贯性,相邻帧之间特征变化不明显,即在相邻帧中,结构特性和病理特性变化不大。基于这一特点,提出一种基于图像特偏移约束网络优化的方法,其优化过程由以下表达式确定:
其中,xin为输入图像组,xnear为所求插值帧的相邻帧,fθ(·)为由参数组θ给参的无监督网络,AlexNet(·)为AlexNet特征抽取网络,该表达式的含义在于,在无监督网络输出图像的特征逼近相邻帧特征的约束下优化网络参数θ,使得网络收敛。
在步骤2)中,所述对数据进行退化处理辅助指导无监督学习网络优化方向的方法的具体步骤可为:
由于特征约束网络优化不能完整约束整个网络的优化方向,提出一种以退化的数据对网络进行优化方向约束的方法;在通过提出的退化数据获取方法获取退化的数据组后,使用该数据组对无监督网络进行监督优化,辅助无监督网络约束优化方向,该优化过程由以下表达式确定:
其中,为退化的输入数据组,为退化的输入数据组标签,该表达式描述为:无监督网络输入退化的数据组,在输出图像逼近退化数据组的标签的约束下,对网络优化方向进行辅助约束;
具体步骤如下:
第一步:对数据做退化处理,对三维医学影像进行等奇数间隔抽取,即每隔奇数帧对图像进行抽取,组成退化后的数据组,该数据组模拟z轴插值的退化过程,同时由于等奇数间隔抽取,退化数据组的标签帧得到保留;
第二步:使用退化的数据组对无监督网络进行带标签的监督训练,辅助无监督网络约束优化方向。
在步骤3)中,所述一种评估特征偏移的评价方法的具体方法可为:
在获得z轴插值后的图像后,需要一种评价指标反映插值图像的优劣,提出一种基于图像特征偏移的指标评估方法DoFS,通过衡量特征的变化反映z轴插值效果;
该评价指标由以下表达式表示:
其中,FeatureShifts表示处理前后特征的实际变化量,Features表示处理前特征总量;
DoFS定量的衡量网络对于输入输出图像的特征影响程度,反映图像在经过网络处理后的特征偏移情况;
具体步骤如下:
第一步:获取输入图像的特征,获取输出图像的特征,计算两者之间的差值;
第二步:通过DoFS表达式计算DoFS;
第三步:通过计算所得DoFS评估系统对特征的偏移。
本发明能够在没有标签数据的情况下通过学习,对三维医学影像数据进行z轴上的数据插值,能够有效的提高三维医学影像z轴分辨率,很大程度上解决了三维医学影像x、y、z轴上分辨率不够匹配的问题,对医生的诊断具有辅助意义。本发明提供的方法包括:A、通过特征偏移对无监督学习网络进行优化的方法;B、对数据进行退化处理辅助指导无监督学习网络优化方向的方法;C、一种评估特征偏移的评价方法。本发明建立在深度学习模型的基础上,能够实现很好的z轴数据插值效果。
附图说明
图1为本发明三维医学影像数据z轴插值过程的整体流程图。
图2为本发明无监督数据组与退化数据组的组成方式。
具体实施方式
以下实施例将结合附图对本发明实施方式作进一步地详细描述。
根据图1,三维医学影像数据z轴插值的实现方法主要有三个步骤:
步骤1:根据图1:Stage1,基于特征变化对网络进行无监督优化。
该阶段网络优化过程由以下表达式展现:
其中,AlexNet为特征提取网络,具体实现参见参考文献[1];fθ为深度网络,具体实现参见参考文献[2]。与参考文献[1]不同,采取的AlexNet网络去除了后续的全连接层,仅保留前续的卷积层。与参考文献[2]不同,使用的fθ采取无监督的优化方式优化参数簇θ。
具体步骤如下:
1、将连续的四帧图像xin作为网络输入送入网络。
2、通过编解码结构fθ获取输入图像对应的蒙版图像Mask=fθ(xin)。
3、将蒙版图像与输入图像进行点乘操作,获得最终的输出图像,即:
y=Mask·xin=fθ(xin)·xin
4、对输出图像y提取特征AlexNet[fθ(xin)·xin],并对输入图像的中间两帧图像提取特征AlexNet(xnear),并计算特征之间的损失:
5、利用特征差值diffunsupervised对网络参数簇θ进行优化。
其中,fθ为四层卷积、四层解卷积与最后一层卷积组成的编解码网络,负责提取输入数据xin特征并将特征融合成一个与输入数据同样大小、相同通道数的蒙版图像Mask。输入图像xin与Mask相乘继而得到最终的输出图像y。AlexNet(·)负责提取图像特征,为预训练好的AlexNet前继卷积层。
网络具体设置详见图1。
步骤2:根据图1:Stage2,使用退化的数据组对网络优化方向进行约束。
该阶段网络优化过程可以由以下表达式展现:
退化的数据组及其标签可由获取方式的具体步骤如下:
1、确定抽取间距d。
2、根据抽取间距d对图像进行等间隔抽取,例如起始图像标号为1,抽取间距为d=3,则抽取的退化的图像标号为1/5/9/13,标签标号为7。
3、将抽取好的退化的图像送入网络中获取输出图像
4、计算输出图像与对应标签的损失
5、根据差值diffsupervised更新网络参数θ。
数据抽取过程见图2。
步骤3:评价网络性能指标。
评价网络性能优劣由以下指标判定:
训练完后的网络进行测试,得到测试输入xtest的插值结果ytest。将ytest和xtest的相邻帧送入AlexNet,计算两者之间的DoFS。具体步骤如下:
1、将测试图像组xtest作为网络输入送入网络中。
2、通过训练好的编解码结构fθ获取输入图像对应的蒙版图像Masktest=fθ(xtest)。
3、将蒙版图像与输入图像进行点乘操作,获得最终的输出图像,即
ytest=Masktest·xtest=fθ(xtest)·xtest
4、对输出图像ytest提取特征AlexNet[fθ(xtest)·xtest],并对输入图像的相邻图像提取特征并计算特征之间的差值FeatureShifts。
5、根据公式计算DoFS。
表1给出实验结果SSR表示提出的使用退化数据对网络进行约束的方法,其中,w/表示使用提出的使用退化数据对网络进行约束的方法,w/o表示不使用提出的使用退化数据对网络进行约束的方法。
表1
抽取距离d | 平均内容损失ACL | 平均特征偏移AFS | DoFS |
1,w/SSR | 5.90921 | 0.226326 | 3.06741×10<sup>-3</sup> |
1,w/o SSR | 7.76315 | 0.30541 | 3.98364×10<sup>-3</sup> |
3,w/SSR | 7.06056 | 0.243712 | 3.26244×10<sup>-3</sup> |
3,w/o SSR | 10.0865 | 0.353206 | 4.59499×10<sup>-3</sup> |
5,w/SSR | 9.14361 | 0.253018 | 3.38214×10<sup>-3</sup> |
5,w/o SSR | 13.4465 | 0.383361 | 5.20329×10<sup>-3</sup> |
7,w/SSR | 10.1216 | 0.277129 | 3.50100×10<sup>-3</sup> |
7,w/o SSR | 16.8693 | 0.454309 | 5.93390×10<sup>-3</sup> |
本发明的突出技术效果在于:首次提出一种基于无监督学习的三维医学影像插值方法,利用前后图像特征对网络做约束来达到网络优化的目的,并同时应用退化的图像数据对网络进行辅助的优化约束,促进网络向正确的方向进行优化。在该方法的基础上提出了一种基于特征偏移的衡量指标,反映经过网络前后图像特征的定量变化程度。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (4)
1.一种基于无监督学习的三维医学影像z轴插值方法,其特征在于包括以下步骤:
1)基于特征偏移对无监督学习网络进行优化的方法;
2)对数据进行退化处理辅助指导无监督学习网络优化方向的方法;
3)一种评估特征偏移的评价方法。
2.如权利要求1所述一种基于无监督学习的三维医学影像z轴插值方法,其特征在于在步骤1)中,所述基于特征偏移对无监督学习网络进行优化的方法的具体步骤为:
在无标签数据情况下,通过对输出图像的特征偏移约束优化无监督学习网络;由于三维医学影像的特殊性,在采集过程中无法获取直接的标签数据,即z轴上无法直接获得两帧图像的中间图像;监督学习的标签约束无法被应用到网络学习过程中,提出一种基于图像特偏移约束网络优化的方法,其优化过程由以下表达式确定:
其中,xin为输入图像组,xnear为所求插值帧的相邻帧,fθ(·)为由参数组θ给参的无监督网络,AlexNet(·)为AlexNet特征抽取网络,该表达式的含义在于,在无监督网络输出图像的特征逼近相邻帧特征的约束下优化网络参数θ,使得网络收敛。
3.如权利要求1所述一种基于无监督学习的三维医学影像z轴插值方法,其特征在于在步骤2)中,所述对数据进行退化处理辅助指导无监督学习网络优化方向的方法的具体步骤为:
由于特征约束网络优化不能完整约束整个网络的优化方向,提出一种以退化的数据对网络进行优化方向约束的方法;在通过提出的退化数据获取方法获取退化的数据组后,使用该数据组对无监督网络进行监督优化,辅助无监督网络约束优化方向,该优化过程由以下表达式确定:
其中,为退化的输入数据组,为退化的输入数据组标签,该表达式描述为:无监督网络输入退化的数据组,在输出图像逼近退化数据组的标签的约束下,对网络优化方向进行辅助约束;
具体步骤如下:
第一步:对数据做退化处理,对三维医学影像进行等奇数间隔抽取,即每隔奇数帧对图像进行抽取,组成退化后的数据组,该数据组模拟z轴插值的退化过程,同时由于等奇数间隔抽取,退化数据组的标签帧得到保留;
第二步:使用退化的数据组对无监督网络进行带标签的监督训练,辅助无监督网络约束优化方向。
4.如权利要求1所述一种基于无监督学习的三维医学影像z轴插值方法,其特征在于在步骤3)中,所述一种评估特征偏移的评价方法的具体方法为:
在获得z轴插值后的图像后,需要一种评价指标反映插值图像的优劣,提出一种基于图像特征偏移的指标评估方法DoFS,通过衡量特征的变化反映z轴插值效果;
该评价指标由以下表达式表示:
其中,FeatureShifts表示处理前后特征的实际变化量,Features表示处理前特征总量;
DoFS定量的衡量网络对于输入输出图像的特征影响程度,反映图像在经过网络处理后的特征偏移情况;
具体步骤如下:
第一步:获取输入图像的特征,获取输出图像的特征,计算两者之间的差值;
第二步:通过DoFS表达式计算DoFS;
第三步:通过计算所得DoFS评估系统对特征的偏移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910305088.0A CN110033848B (zh) | 2019-04-16 | 2019-04-16 | 一种基于无监督学习的三维医学影像z轴插值方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910305088.0A CN110033848B (zh) | 2019-04-16 | 2019-04-16 | 一种基于无监督学习的三维医学影像z轴插值方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110033848A true CN110033848A (zh) | 2019-07-19 |
CN110033848B CN110033848B (zh) | 2021-06-29 |
Family
ID=67238735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910305088.0A Expired - Fee Related CN110033848B (zh) | 2019-04-16 | 2019-04-16 | 一种基于无监督学习的三维医学影像z轴插值方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110033848B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751183A (zh) * | 2019-09-24 | 2020-02-04 | 东软集团股份有限公司 | 影像数据分类模型的生成方法、影像数据分类方法及装置 |
CN114693897A (zh) * | 2021-04-28 | 2022-07-01 | 上海联影智能医疗科技有限公司 | 用于医学图像的无监督层间超分辨率 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
CN102647607A (zh) * | 2012-05-03 | 2012-08-22 | 四川虹微技术有限公司 | 一种对3d half格式图像进行插值的方法 |
CN106169173A (zh) * | 2016-06-30 | 2016-11-30 | 北京大学 | 一种图像插值方法 |
US20180330185A1 (en) * | 2015-06-05 | 2018-11-15 | Deepmind Technologies Limited | Spatial transformer modules |
CN109146785A (zh) * | 2018-08-02 | 2019-01-04 | 华侨大学 | 一种基于改进稀疏自动编码器的图像超分辨率方法 |
CN109191425A (zh) * | 2018-07-23 | 2019-01-11 | 中国科学院自动化研究所 | 医学影像分析方法 |
CN109492668A (zh) * | 2018-10-10 | 2019-03-19 | 华中科技大学 | 基于多通道卷积神经网络的mri不同期多模图像表征方法 |
CN109598695A (zh) * | 2017-09-29 | 2019-04-09 | 南京大学 | 一种基于深度学习网络的无参考图像模糊程度估计方法 |
-
2019
- 2019-04-16 CN CN201910305088.0A patent/CN110033848B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080292194A1 (en) * | 2005-04-27 | 2008-11-27 | Mark Schmidt | Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images |
CN102647607A (zh) * | 2012-05-03 | 2012-08-22 | 四川虹微技术有限公司 | 一种对3d half格式图像进行插值的方法 |
US20180330185A1 (en) * | 2015-06-05 | 2018-11-15 | Deepmind Technologies Limited | Spatial transformer modules |
CN106169173A (zh) * | 2016-06-30 | 2016-11-30 | 北京大学 | 一种图像插值方法 |
CN109598695A (zh) * | 2017-09-29 | 2019-04-09 | 南京大学 | 一种基于深度学习网络的无参考图像模糊程度估计方法 |
CN109191425A (zh) * | 2018-07-23 | 2019-01-11 | 中国科学院自动化研究所 | 医学影像分析方法 |
CN109146785A (zh) * | 2018-08-02 | 2019-01-04 | 华侨大学 | 一种基于改进稀疏自动编码器的图像超分辨率方法 |
CN109492668A (zh) * | 2018-10-10 | 2019-03-19 | 华中科技大学 | 基于多通道卷积神经网络的mri不同期多模图像表征方法 |
Non-Patent Citations (2)
Title |
---|
XUELI ZHOU等: "A Novel Interpolation Algorithm for 3D Reconstruction of Medical Images", 《2010 INTERNATIONAL CONFERENCE ON AUDIO, LANGUAGE AND IMAGE PROCESSING》 * |
马建林等: "一种基于ROI的自适应3维医学图像插值方法", 《中国图象图形学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751183A (zh) * | 2019-09-24 | 2020-02-04 | 东软集团股份有限公司 | 影像数据分类模型的生成方法、影像数据分类方法及装置 |
CN114693897A (zh) * | 2021-04-28 | 2022-07-01 | 上海联影智能医疗科技有限公司 | 用于医学图像的无监督层间超分辨率 |
Also Published As
Publication number | Publication date |
---|---|
CN110033848B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
CN110889853B (zh) | 基于残差-注意力深度神经网络的肿瘤分割方法 | |
CN106127684B (zh) | 基于双向递归卷积神经网络的图像超分辨率增强方法 | |
WO2019104767A1 (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
CN112597985B (zh) | 一种基于多尺度特征融合的人群计数方法 | |
CN108304755A (zh) | 用于图像处理的神经网络模型的训练方法和装置 | |
CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
CN111145206A (zh) | 肝脏图像分割质量评估方法、装置及计算机设备 | |
US8965093B2 (en) | Method for registering functional MRI data | |
CN106339998A (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
CN112001928B (zh) | 一种视网膜血管分割方法及系统 | |
CN108764342B (zh) | 一种对于眼底图中视盘和视杯的语义分割方法 | |
CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
CN114266939B (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
CN111178392B (zh) | 基于深度神经网络的航空发动机孔探图像损伤分割方法 | |
CN111325750A (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
CN109767459A (zh) | 新型眼底图配准方法 | |
CN110033848A (zh) | 一种基于无监督学习的三维医学影像z轴插值方法 | |
CN116524062B (zh) | 一种基于扩散模型的2d人体姿态估计方法 | |
CN112102332A (zh) | 基于局部分类神经网络的癌症wsi的分割方法 | |
US20150324994A1 (en) | Method of Automatically Calculating Linking Strength of Brain Fiber Tracts | |
CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
CN108305268A (zh) | 一种图像分割方法及装置 | |
Schwarz et al. | A deformable registration method for automated morphometry of MRI brain images in neuropsychiatric research | |
Talavera-Martínez et al. | An encoder-decoder CNN for hair removal in dermoscopic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210629 |
|
CF01 | Termination of patent right due to non-payment of annual fee |