CN110570416B - 多模态心脏图像的可视化和3d打印的方法 - Google Patents

多模态心脏图像的可视化和3d打印的方法 Download PDF

Info

Publication number
CN110570416B
CN110570416B CN201910863927.0A CN201910863927A CN110570416B CN 110570416 B CN110570416 B CN 110570416B CN 201910863927 A CN201910863927 A CN 201910863927A CN 110570416 B CN110570416 B CN 110570416B
Authority
CN
China
Prior art keywords
net
cardiac
heart
segmentation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910863927.0A
Other languages
English (en)
Other versions
CN110570416A (zh
Inventor
杨光
牛张明
陆纬
江荧辉
李劳
王承嘉
叶旭炯
董豪
姜敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.
Hangzhou hailui Boyan Technology Co.,Ltd.
Original Assignee
Hangzhou Hailui Boyan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hailui Boyan Technology Co ltd filed Critical Hangzhou Hailui Boyan Technology Co ltd
Priority to CN201910863927.0A priority Critical patent/CN110570416B/zh
Publication of CN110570416A publication Critical patent/CN110570416A/zh
Application granted granted Critical
Publication of CN110570416B publication Critical patent/CN110570416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明公开了一种多模态心脏图像的可视化方法，包括：基于多模态心脏图像进行心脏组织结构分割；基于多模态心脏图像进行心脏病变分割；以及将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像；并且通过心脏组织结构及其病变的全自动解析控制3D打印机，使用弹性体材料打印3D心脏的腔室和瓣膜并结合混合现实进行直观展示。

Description

多模态心脏图像的可视化和3D打印的方法
技术领域
本发明涉及图像处理领域，更具体而言，本发明涉及多模态心脏图像的可视化、3D打印和混合现实展示的方法。
背景技术
在2015年，全球有4.227亿心血管疾病患者，其中1792万人因心血管疾病死亡。心脏核磁共振成像对评估心室功能具有重要的临床意义，包括计算左心室的舒张末期容量和收缩末期容量。在计算这些容量时，通常都需要划分左心室心肌边界。因此左心室内膜的精准分割是评估左心室功能的先决条件，而手动分割是一项漫长而乏味的过程，一个医生手动分割一组病例需要花费20分钟。
为了减轻医生的工作负担，近年来国内外学者对于左心室自动分割方法进行了更加深入的研究。尽管不断进步的医学造影技术为我们提供了越来越丰富与细致的医学影像，但是由于心脏医学影像中不可避免的灰度不均匀性和心脏本身解剖结构的复杂性，使得精准的心脏图像分割问题仍然是一个巨大的挑战。
传统的2D分析方法包括超声心动图(EKG)，心脏计算机断层扫描(CT)或磁共振成像(MRI)扫描。虽然这些方法足以分析正常心脏病，但是在将这些图像转换成理解患病心脏以及其他感兴趣器官内发生的3D空间关系时面临相当大的挑战。
发明内容
本发明旨在实现心脏图像的全自动解析、可视化、3D打印和混合现实。首先辅助医生最大程度地分割心脏组织结构和病变组织，并且将分割的心脏组织结构与病变组织同时显现出来，极大程度地实现全自动解析和可视化。另外，通过3D打印心脏模型展示含有患者个性化病灶纹理特征的解剖结构给医生和患者直观的感受。这种特定情况下，3D心脏模型允许医生在真实3D空间中检查，操纵心脏。这种与患者器官的亲密接触使得外科医生能够决定确切的方法、切口、插管技术和其他必要的手术方法。再有，通过结合虚拟现实VR、增强现实AR和混合现实MR给医生更好的交互式体验，通过患者特定解剖结构和生理学的3D复制品，医生能够在手术前制定一个更细致的计划，实现更短的手术时间，更少的术后并发症，更短的心肺分流时间，更少的残留病变以及更快的患者恢复时间的效果。
根据本发明的一个方面，提供一种多模态心脏图像的可视化方法，包括：
基于多模态心脏图像进行心脏组织结构分割；
基于多模态心脏图像进行心脏病变分割；以及
将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像。
在本发明的一个实施例中，基于多模态心脏图像进行心脏组织结构分割包括使用两阶段U-Net框架对多模态心脏图像进行图像分割。
在本发明的一个实施例中，所述两阶段U-Net框架包括：
第一U-Net，所述第一U-Net使用下采样的3D体积来对体素标签进行粗略预测；
第二U-Net，所述第二U-Net的输入是由第一U-Net的输出和原始数据组成的双通道4D卷，
其中所述第一和第二U-Net的压缩和扩展路径都包括4个基本的U-Net块，所述基本的U-Net块由两个卷积层和一个池化层组成，所述第一和第二U-Net的最终输出由softmax分类层产生，形成心脏组织结构的立体分割结构。
在本发明的一个实施例中，所述第一U-Net使用略微扩张的5×5×5卷积核和保留了特征映射的形状的零填充。
在本发明的一个实施例中，所述第二U-Net收缩路径中的卷积核大小为3×3×3，在扩展路径中为5×5×5，收缩路径中3D合并内核的大小为2×2×1，在扩展路径之前引入具有1×1×(K-1)卷积核的3D-2D切片卷积块，其中K是用于标记单个轴向切片的相邻切片的数量。
在本发明的一个实施例中，基于多模态心脏图像进行心脏病变分割包括使用递归神经网络对多模态心脏图像进行心脏病变分割。
在本发明的一个实施例中，使用递归神经网络对多模态心脏图像进行心脏病变分割包括：
基于原始三维图像，构建第一多个二维轴向切片图；
通过对多个二维轴向切片图进行卷积运算获得高分辨率特征图，并将特征图堆叠成三维特征图，再将三维特征图切割成轴向、矢状和冠状视图；
通过顺序学习网络处理轴向视图，生成轴向顺序学习特征图；
通过扩张残余网络处理矢状视图，生成矢状学习特征图；
通过扩张残余网络处理冠状视图，生成冠状学习特征图；
基于矢状学习特征图创建第一三维体，并切割成第二多个二维轴向切片；
基于冠状学习特征图创建第二三维体，并切割成第三多个二维轴向切片；
将轴向顺序学习特征图、第二多个二维轴向切片及第三多个二维轴向切片级联形成级联特征映射；
将卷积运算应用于所述级联特征映射以获得融合的多视图特征；以及
将融合的多视图特征与高分辨率特征图结合，进行心脏病变分割分割。
在本发明的另一个实施例中，提供一种多模态心脏图像的3D打印的方法，包括：
基于多模态心脏图像进行心脏组织结构分割；
基于多模态心脏图像进行心脏病变分割；
将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像；以及
通过心脏组织结构及其病变的全自动解析控制3D打印。
在本发明的另一个实施例中，通过心脏组织结构及其病变的全自动解析控制3D打印包括：
将获取的成像数据集导出为医学数字成像和通信格式；
创建分割掩模，使得具有相同强度范围的像素被分组并指定使用单一材料打印；
使用渲染技术将分割掩模转换为3D数字模型，并且将这些患者特定的3D数字模型保存为立体平版印刷文件；以及
进行多材料3D打印。
在本发明的另一个实施例中，使用弹性体材料打印3D心脏的腔室和瓣膜。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的多模态心脏图像的可视化的过程的流程图。
图2示出根据本发明的一个实施例的两阶段U-Net框架200的示意图。
图3示出根据本发明的一个实施例的第一U-Net的体系结构。
图4示出根据本发明的一个实施例的第二U-Net的体系结构。
图5示出根据本发明的一个实施例的基于递归神经网络的心脏核磁共振图像分析方法的流程图。
图6示出根据本发明的一个实施例的顺序学习网络600的架构图。
图7示出根据本发明的一个实施例的注意力模型将在不同尺度下由低分辨率图像到高分辨率图像进行心房疤痕的识别。
图8示出根据本发明的一个实施例的进行3D打印心脏的流程图。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
图1示出根据本发明的一个实施例的多模态心脏图像的可视化的过程的流程图。首先，在步骤110，基于多模态心脏图像进行心脏组织结构分割。输入的多模态心脏图像可以是心脏超声、心脏CT或者是心脏核磁采集的图像。
具体而言，可采用深度学习架构进行多模态心脏图像的心脏组织结构分割。在本发明的一个实施例中，通过两阶段U-Net框架对多模态心脏图像进行图像分割。图2示出根据本发明的一个实施例的两阶段U-Net框架200的示意图。如图2所示，两阶段U-Net框架200包括第一U-Net、与第一U-Net级联的第二U-Net。该两阶段U-Net框架200的基本块由两个卷积层和一个2×2×2的池化层组成，每个卷积层之后是非线性激活层。图3示出根据本发明的一个实施例的第一U-Net的体系结构。图4示出根据本发明的一个实施例的第二U-Net的体系结构。两个U-Net的压缩和扩展路径都有4个基本的U-Net块，其中为了进行清晰的演示，图3和图4中没有显示每个块中的激活层和池化层。两个U-Net的最终输出由softmax分类层产生，形成心脏组织结构的立体分割结构。
如图3所示，第一U-Net使用下采样的3D体积来对体素标签进行粗略预测。然后，将生成的标签卷重新采样为原始分辨率。为了从更大的有效接收域中捕获信息，可以使用略微扩张的5×5×5卷积核和保留了特征映射的形状的零填充。在收缩路径的第n个块中，卷积核的扩张率为2n。这种模式在扩张路径中是相反的。每个卷积层之后是一个整数线性单元(ReLU)，并且每个U-Net块附有一个具有0.2丢失率的丢失层。在测试阶段，在第一U-Net和第二U-Net之间引入动态切片层，以从第一U-Net的输入和输出量中裁剪出感兴趣区域(ROI)。执行端到端培训时，将删除此层以简化实施。
第二U-Net的架构灵感来自具有跳过连接和递归单元的深度超分辨率卷积神经网络(SRCNN)。第二U-Net的输入是由第一U-Net的输出和原始数据组成的双通道4D卷。收缩路径中的卷积核大小为3×3×3，在扩展路径中为5×5×5。与第一U-Net不同，收缩路径中3D合并内核的大小为2×2×1，以保持轴向切片的数量。在扩展路径之前引入具有1×1×(K-1)卷积核的3D-2D切片卷积块，其中K是用于标记单个轴向切片的相邻切片的数量。不使用零填充，以便每个K输入切片将生成一个单轴向特征图。此外，K始终应为奇数，以防止为插值切片生成标签。第二U-Net输出之前的以下后续层执行2D卷积和池化。
两阶段U-Net框架200的两个类似U-Net的深度卷积神经网络足够灵活，可以单独地或端到端地训练输入数据的大小变化。在本发明的一个实施例中，使用四步训练程序进行训练。在开始时，第一U-Net被预先训练用于对象的初始定位。然后使用第一U-Net和第二U-Net损失函数的不同组合对整个框架进行训练，使其快速收敛。表1列出了不同步骤中使用的培训批次和损失函数的详细信息。
Figure BDA0002200675860000061
表1培训过程中每个步骤的目的和损失函数
单类分割常用的相似度指标是Dice得分。令
Figure BDA0002200675860000062
表示体素属于类c，c∈{0，...，C}的概率，由softmax函数给出，并且tn，c∈{0，1}表示真实的one-hot标签。Dice得分可以通过以下方式定义：
Figure BDA0002200675860000063
其中Nc是标记为c类的体素数，∈是平滑因子。为了执行多类分割，简单起见，可使用加权Dice得分来加权损失函数，由体素计数加权：
Figure BDA0002200675860000071
即便如此，更复杂的损失函数也不可避免会使用。在训练过程的不同步骤中，两个U-Net的损失被组合用于不同的阶段目标。
在第一步中，使用完整的体积数据训练第一U-Net以粗略地定位前景，或者使用软ROI(即分段对象)。数据中的其他内容被视为背景。初始化后，第二U-Net的参数被冻结。输入数据首先被重新采样到非常粗糙的分辨率，例如，使用的3×3×3。为了促进前景定位，通过将前景Dice得分与多类Dice得分组合来定义损失函数。从第一U-Net输出计算的前景Dice得分
Figure BDA0002200675860000072
定义为：
Figure BDA0002200675860000073
其中N0是背景点的数量，因为背景定义为0级。相应的前景丢失是：
Figure BDA0002200675860000074
可使用反向标签来计算前景得分而不是背景的Dice得分，以减少大背景引入的不平衡。训练第一U-Net以最小化损失
Figure BDA0002200675860000075
以快速指定对象的前景。
在使用
Figure BDA0002200675860000076
进行预训练之后，在第二步中，使用
Figure BDA0002200675860000077
作为粗多类分割的损失，其中
Figure BDA0002200675860000078
是由等式2定义的Dice损失。在第二步中，使用数据的子体积训练第一U-Net。作为增强策略，数据的维度在不同的训练批次中变化。在第三步中，整个框架(第一U-Net和第二U-Net)都是端到端训练，损失
Figure BDA0002200675860000079
以进行粗略3D分割和精细级别轴向切片分割。由于两个网络都是完全卷积的，输入数据的采样策略与第二步保持相同。在第四步中，框架的输入是子体积，每个子体积由K个完整的轴向切片组成。第二U-Net的输出是输入子体积的(K+1)/2切片的分割。在此步骤中第一U-Net的参数被冻结，第二U-Net使用损失
Figure BDA00022006758600000710
进行净化。
返回图1，在步骤120，基于多模态心脏图像进行心脏病变分割。
具体而言，可采用深度学习架构进行多模态心脏图像的心脏病变分割。在本发明的一个实施例中，全自动多视图多任务(MVTT)递归注意力模型用于直接从多模态心脏图像分割左心房和心房疤痕，从而避免需要额外的数据采集用于解剖学分割并随后注册。本发明的实施例公开的全自动多视图多任务方法包括顺序学习和扩展深度残差学习，以分割左心房，而心房疤痕可以通过创新的注意力模型同时描绘。
本发明公开的全自动多视图多任务递归注意力模型的工作流程如图5所示，可同时完成左心房和心房疤痕的分割。
图5示出根据本发明的一个实施例的基于递归神经网络的心脏图像分析方法的流程图。基于多视图的方法来描绘左心房模拟放射科医师的检查程序，放射科医师通过逐步扫描2D轴向切片来查看图像，以获得轴向视图中的相关信息(具有更好的空间分辨率)同时也使用矢状和冠状视图的补充信息(空间分辨率较低)。图5所示的方法通过顺序学习模拟从轴视图中提取的信息，并且对于矢状和冠状视图，设计了扩张的残差学习。
首先，在步骤510，基于原始三维图像，构建多个二维轴向切片图。输入的原始三维图像可以是延时钆增强心脏核磁共振成像(LGE-CMRI)数据。例如，基于该数据进行重建可生成具有60-68个2D轴向切片的体积，空间分辨率为(0.7-0.75)×(0.7-0.75)×2mm3。本领域的技术人员应该理解，本发明的保护范围不限于此，在本发明的其他实施例中，可对其他类型的三维数据进行重建，并且可根据实际需要设置切片的尺寸和个数。
接下来，在步骤521，通过对多个二维轴向切片图进行卷积运算获得高分辨率特征图，并将特征图堆叠成三维特征图。例如，使用具有12个内核的3×3卷积层来提取高分辨率特征。然后将获得的特征图堆叠到3D图上，再将它们分别切割成轴向、矢状和冠状视图，用于执行多视图学习。
在步骤531，通过顺序学习网络处理轴向视图，生成轴向顺序学习特征图。
在本发明的具体实施例中，如图6所示，顺序学习网络600可包括编码器610、解码器620以及嵌入的卷积长短期存储器ConvLSTM层。编码器路径和解码器路径分别包括六个卷积层。在编码器路径中，每个卷积层之后是修正线性单元(ReLU)层和局部响应归一化(LRN)层，以对特征映射进行归一化。此外，三个最大池化层用于减少特征图的尺寸。在解码器路径中，通过双线性插值实现三个上采样层以恢复原始图像大小，并且解码器还包含卷积和局部响应归一化层。每个卷积层包含12个内核，大小为3×3像素。此外，卷积长短期存储器(ConvLSTM)层被嵌入到编码器-解码器网络中以考虑片间相关性。卷积长短期存储器是一种特殊的递归神经网络架构，可以在数学上定义为：
Figure BDA0002200675860000091
Figure BDA0002200675860000092
Figure BDA0002200675860000093
Figure BDA0002200675860000094
Figure BDA0002200675860000095
其中*代表卷积算子，
Figure BDA0002200675860000096
表示Hadamard乘积，W术语表示权重矩阵，b术语表示偏向量，σ表示S型函数，修正线性单元代替tanh。卷积长短期存储器使用三个门，包括输入门it，遗忘门ft和输出门ot，存储器单元ct表示状态信息的累加器，而ht表示隐藏状态。
在步骤532，通过扩张残余网络处理矢状视图，生成矢状学习特征图。
在步骤533，通过扩张残余网络处理冠状视图，生成冠状学习特征图。
在步骤532和步骤533中，为了从矢状视图和冠状视图中获得互补信息，使用扩张的残余网络。在该网络中，采用扩张卷积并移除最大池化层以避免在池化操作期间丢失有用信息。该网络由四个基于剩余架构的3×3扩张卷积层组成，每个层有12个内核，后面是修正线性单元层和局部响应归一化层。通过使用扩张卷积，保留了特征图的大小。
接下来，在步骤541，创建第一三维体，以存储矢状学习特征图，并切割成多个二维轴向切片图。
在步骤542，创建第二三维体，以存储冠状学习特征图，并切割成多个二维轴向切片图。
在步骤550，将步骤531生成的轴向顺序学习特征图与步骤541和542生成的多个二维轴向切片图级联形成级联特征映射。
在步骤560，将卷积运算应用于这些级联特征映射以获得融合的多视图特征。
在步骤571，将融合的多视图特征与步骤521生成的高分辨率特征图结合，然后进行图像分割，例如左心房和心房疤痕定位。具体而言，使用三个卷积层执行左心房分割。其中两个卷积层包含24个大小为3×3的内核，每个内核后面跟着一个修正线性单元层和一个局部响应归一化层。在最后一个卷积层，使用3×3卷积将每个像素映射到所需的段，并使用S型激活函数。
由于心房疤痕的区域相对较小且离散，因此，在图5所示的方法中，使用注意机制来解决心房疤痕的描绘，迫使模型专注于心房疤痕的位置，并增强这些位置的心房疤痕的表现。此外，传统的汇集操作很容易丢失这些小型心房疤痕区域的信息。因此，在图5所示的方法中，增加了一种新的扩散注意网络，将前馈注意结构与扩张卷积相结合，以保存心房疤痕的新信息。在步骤522，通过扩张注意力网络处理轴向视图，生成注意力特征图。
在扩张注意力网络中，注意力由掩模分支提供，掩模分支根据融合的多视图特征自适应地改变。掩模分支有四个卷积层，前三个层中的每个层后面是修正线性单元层和局部响应归一化层，第四个卷积层连接至S型层，所述S型层将输出标准化为每个通道和空间位置的[0,1]范围，以获得注意力掩模。该S型层可以定义如下：
Figure BDA0002200675860000101
其中i在所有空间位置上取值，c在所有通道上取值。
因为软注意掩模可能潜在地影响多视图学习的性能，所以还应用残余架构来减轻这种影响。注意力模型的输出O可以表示为：
O(xi，x)＝(1+AM(xi，c))·F(xi，c) (7)
其中i在所有空间位置上取值，c在所有通道上取值，AM(xi；c)是范围从[0,1]的注意掩码，F(xi；c)表示融合的多视图特征，·表示点积。
在本发明的一个实施例中，可以使用多层级的注意力模型，如图7所示，即将原图首先预处理成多尺度图像，然后在每一层图像上应用上述注意力模型，如此由低分辨率到高分辨率迭代，可以保证注意力模型可以更加有利的分析出不同尺度下的心房疤痕，并且提高识别效率。
在步骤572，基于生成的注意力图，在末端连接三个卷积层以执行心房疤痕描绘，类似于步骤571的左心房的分割。
结合图5介绍了左心房和心房疤痕介绍了心脏组织和心脏病变区域的分割方法，其中左心房对应于心脏组织，而心房疤痕对应于的心脏病变区域。结合图5描述的全自动多视图多任务递归注意力模型的工作流程同样可用于其他心脏病变的分割，例如当病人群里是心梗病人时，使用同样的流程可进行分割心室(即心脏组织结构)和分割心室纤维化(即病变区域分割)。
返回图1，在步骤130，将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像。具体而言，通过不同颜色对心脏不同的组织结构进行编码后显示，分割后的心脏病变区域以高亮红色进行现实直接叠加在分割好的心脏组织结构上。
在获得虚拟现实的可视化心脏图像之后，可以通过心脏组织结构及其病变的全自动解析控制3D打印。3D打印的时候也是使用不同颜色的材料对病变区域进行高亮，提示医生进行关注。图8示出根据本发明的一个实施例的进行3D打印心脏的流程图。
首先，在步骤810，将获取的成像数据集导出为医学数字成像和通信(DICOM)格式。根据DICOM数据集，基于灰度二维(2D)图像投影(轴向，矢状和冠状)中的像素的阈值强度来识别和分割目标解剖几何。在步骤820，创建分割掩模，使得具有相同强度范围的像素被分组并指定使用单一材料打印。在步骤830，使用渲染技术将分割掩模转换为3D数字模型，并且将这些患者特定的3D数字模型保存为立体平版印刷文件。通常，可以在计算机辅助设计(CAD)软件中进一步修改该3D数字模型，例如，对感兴趣区域进行颜色编码，对混合材料进行纹理处理或添加耦合可进一步评估流动循环中3D打印模型的组件。在步骤840，进行多材料3D打印。3D打印心脏由于需要观察到心脏纹理、病变组织以及模拟心脏本身的直观感受，对打印材料的选择极为苛刻。目前打印材料可以采用弹性体(橡胶状)和柔性材料。包括用于PolyJet印刷的光聚合物TangoTM系列(Stratasys)，或用于熔融沉积成型(FDM)印刷的热塑性弹性体(TPE)长丝，例如
Figure BDA0002200675860000111
(NinjaTek)，SemiFlexTM(NinjaTek)和PolyFlexTM(Polymaker)。与具有弹性的TPE长丝相比，橡胶是具有网络结构的热固性聚合物。这些热固性网络聚合物不适用于FDM印刷，因为聚合物链运动在加热后受到高度交联的极大限制，使得它们在初始热成形后不能再制造。与其他3D打印材料相比，3D可打印弹性体(橡胶状)材料具有低杨氏模量和良好的柔韧性。这些材料的弹性和柔韧性归因于聚合物长链的重新配置和共价交联。与刚性塑料材料相比，由这种材料制造的3D打印器官模型提供更接近实际器官的触感。因此，它们允许外科医生对它们执行不同的排练操作，例如切割和按压。
针对3D心脏模型，考虑到心脏不同腔室与瓣膜间硬度的差别，同时基于相关3D打印公司的咨询调研，使用弹性体(橡胶类)材料(TangoPlus和VeroPlus)打印3D心脏的腔室和瓣膜，通过调节上述两种材料的混合比例来控制模型的硬度。Stratasys公司现有的3D打印技术能够将不同材料打印在一个模型内。
3D模型打印出来后，使用混合现实全息影像技术对3D模型进行投影渲染，使用不同颜色对心脏不同组织结构和病变进行区分。在现有的全息影像技术中，医生无法接触到实体，即没有触觉，而且心脏内部诸如瓣膜等结构无法显示。本发明将3D模型打印出来后，使用混合现实全息影像技术对3D模型进行投影渲染，当医生需要观察瓣膜等内部结构可以随时关闭渲染，对3D实体进行观测，而当医生需要观测心动周期时，则可单独对全息影像技术生成的影像进行观测。尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (9)

1.一种多模态心脏图像的可视化方法，包括：
基于多模态心脏图像进行心脏组织结构分割，基于多模态心脏图像进行心脏组织结构分割包括使用两阶段U-Net框架对多模态心脏图像进行图像分割；
基于多模态心脏图像进行心脏病变分割；以及
将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像，
其中所述两阶段U-Net框架包括：第一U-Net，所述第一U-Net使用下采样的3D体积来对体素标签进行粗略预测；第二U-Net，所述第二U-Net的输入是由第一U-Net的输出和原始数据组成的双通道4D卷，
其中所述第一和第二U-Net的压缩和扩展路径都包括4个基本的U-Net块，所述基本的U-Net块由两个卷积层和一个池化层组成，所述第一和第二U-Net的最终输出由softmax分类层产生，形成心脏组织结构的立体分割结构，
其中所述第一和第二U-Net使用四步训练程序进行训练，第一步训练的输入为完整的体积数据，用于前景定位；第二步训练的输入为部分体积数据，用于第一多类分割；第三步训练的输入为部分体积数据，用于第一和第二分割；第四步训练的输入为完整的轴向切片，用于第二多类分割。
2.如权利要求1所述的多模态心脏图像的可视化方法，其特征在于，所述第一U-Net使用略微扩张的5×5×5卷积核和保留了特征映射的形状的零填充。
3.如权利要求1所述的多模态心脏图像的可视化方法，其特征在于，所述第二U-Net收缩路径中的卷积核大小为3×3×3，在扩展路径中为5×5×5，收缩路径中3D合并内核的大小为2×2×1，在扩展路径之前引入具有1×1×(K-1)卷积核的3D-2D切片卷积块，其中K是用于标记单个轴向切片的相邻切片的数量。
4.如权利要求1所述的多模态心脏图像的可视化方法，其特征在于，基于多模态心脏图像进行心脏病变分割包括使用递归神经网络对多模态心脏图像进行心脏病变分割。
5.如权利要求4所述的多模态心脏图像的可视化方法，其特征在于，使用递归神经网络对多模态心脏图像进行心脏病变分割包括：
基于原始三维图像，构建第一多个二维轴向切片图；
通过对多个二维轴向切片图进行卷积运算获得高分辨率特征图，并将特征图堆叠成三维特征图，再将三维特征图切割成轴向、矢状和冠状视图；
通过顺序学习网络处理轴向视图，生成轴向顺序学习特征图；
通过扩张残余网络处理矢状视图，生成矢状学习特征图；
通过扩张残余网络处理冠状视图，生成冠状学习特征图；
基于矢状学习特征图创建第一三维体，并切割成第二多个二维轴向切片；
基于冠状学习特征图创建第二三维体，并切割成第三多个二维轴向切片；
将轴向顺序学习特征图、第二多个二维轴向切片及第三多个二维轴向切片级联形成级联特征映射；
将卷积运算应用于所述级联特征映射以获得融合的多视图特征；以及
将融合的多视图特征与高分辨率特征图结合，进行心脏病变分割。
6.一种多模态心脏图像的3D打印的方法，包括：
基于多模态心脏图像进行心脏组织结构分割，基于多模态心脏图像进行心脏组织结构分割包括使用两阶段U-Net框架对多模态心脏图像进行图像分割；
基于多模态心脏图像进行心脏病变分割；
将获得的心脏组织结构和心脏病变进行叠加，得到虚拟现实的三维可视化心脏图像；以及
通过心脏组织结构及其病变的全自动解析控制3D打印，
其中所述两阶段U-Net框架包括：第一U-Net，所述第一U-Net使用下采样的3D体积来对体素标签进行粗略预测；第二U-Net，所述第二U-Net的输入是由第一U-Net的输出和原始数据组成的双通道4D卷，
其中所述第一和第二U-Net的压缩和扩展路径都包括4个基本的U-Net块，所述基本的U-Net块由两个卷积层和一个池化层组成，所述第一和第二U-Net的最终输出由softmax分类层产生，形成心脏组织结构的立体分割结构，
其中所述第一和第二U-Net使用四步训练程序进行训练，第一步训练的输入为完整的体积数据，用于前景定位；第二步训练的输入为部分体积数据，用于第一多类分割；第三步训练的输入为部分体积数据，用于第一和第二分割；第四步训练的输入为完整的轴向切片，用于第二多类分割。
7.如权利要求6所述的多模态心脏图像的3D打印的方法，其特征在于，通过心脏组织结构及其病变的全自动解析控制3D打印包括：
将获取的成像数据集导出为医学数字成像和通信格式；
创建分割掩模，使得具有相同强度范围的像素被分组并指定使用单一材料打印；
使用渲染技术将分割掩模转换为3D数字模型，并且将这些患者特定的3D数字模型保存为立体平版印刷文件；以及
进行多材料3D打印。
8.如权利要求7所述的多模态心脏图像的3D打印的方法，还包括使用混合现实技术对3D数字模型进行投影渲染，使用不同颜色对心脏不同组织结构和病变进行区分。
9.如权利要求6所述的多模态心脏图像的3D打印的方法，其特征在于，使用弹性体材料打印3D心脏的腔室和瓣膜并结合混合现实进行直观展示。
CN201910863927.0A 2019-09-12 2019-09-12 多模态心脏图像的可视化和3d打印的方法 Active CN110570416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863927.0A CN110570416B (zh) 2019-09-12 2019-09-12 多模态心脏图像的可视化和3d打印的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863927.0A CN110570416B (zh) 2019-09-12 2019-09-12 多模态心脏图像的可视化和3d打印的方法

Publications (2)

Publication Number Publication Date
CN110570416A CN110570416A (zh) 2019-12-13
CN110570416B true CN110570416B (zh) 2020-06-30

Family

ID=68779525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863927.0A Active CN110570416B (zh) 2019-09-12 2019-09-12 多模态心脏图像的可视化和3d打印的方法

Country Status (1)

Country Link
CN (1) CN110570416B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667488B (zh) * 2020-04-20 2023-07-28 浙江工业大学 一种基于多角度U-Net的医学图像分割方法
CN113362223B (zh) * 2021-05-25 2022-06-24 重庆邮电大学 基于注意力机制和双通道网络的图像超分辨率重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9931790B2 (en) * 2015-04-16 2018-04-03 Siemens Healthcare Gmbh Method and system for advanced transcatheter aortic valve implantation planning
CN105574871A (zh) * 2015-12-16 2016-05-11 深圳市智影医疗科技有限公司 在放射图像中检测肺部局部性病变的分割分类方法和系统
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging
CN109727270B (zh) * 2018-12-10 2021-03-26 杭州帝视科技有限公司 心脏核磁共振图像的运动机理和纹理特征分析方法和系统
CN109598722B (zh) * 2018-12-10 2020-12-08 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN110163876B (zh) * 2019-05-24 2021-08-17 山东师范大学 基于多特征融合的左心室分割方法、系统、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537793A (zh) * 2018-04-17 2018-09-14 电子科技大学 一种基于改进的u-net网络的肺结节检测方法

Also Published As

Publication number Publication date
CN110570416A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
US11806189B2 (en) Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
CN104573309B (zh) 用于计算机辅助诊断的设备和方法
CN109598722B (zh) 基于递归神经网络的图像分析方法
CN105760874B (zh) 面向尘肺的ct图像处理系统及其ct图像处理方法
CN112258456B (zh) 一种基于卷积神经网络监督的三维图像分割方法
CN110751651B (zh) 基于多尺度迁移学习的mri胰腺图像分割方法
WO2014178705A1 (en) A method for manufacturing a three-dimensional anatomical structure
CN110570416B (zh) 多模态心脏图像的可视化和3d打印的方法
Yang et al. Improving catheter segmentation & localization in 3d cardiac ultrasound using direction-fused fcn
US20220147768A1 (en) Image data processing apparatus and method, a model training apparatus and a training method
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
Sengan et al. Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning
Badano et al. The stochastic digital human is now enrolling for in silico imaging trials—methods and tools for generating digital cohorts
Singh et al. Semantic segmentation of bone structures in chest X-rays including unhealthy radiographs: A robust and accurate approach
Buoso et al. MRXCAT2. 0: Synthesis of realistic numerical phantoms by combining left-ventricular shape learning, biophysical simulations and tissue texture generation
CN111127636A (zh) 一种智能的复杂关节内骨折桌面级三维诊断系统
Ratul A Class-Conditioned Deep Neural Network to Reconstruct CT Volumes from X-Ray Images: Depth-Aware Connection and Adaptive Feature Fusion
Pepe et al. Deep learning and generative adversarial networks in oral and maxillofacial surgery
Kumari et al. Data efficient deep learning for medical image analysis: A survey
Sindhura et al. Synthetic Vertebral Column Fracture Image Generation by Deep Convolution Generative Adversarial Networks
Staffa et al. How to increase and balance current DBT datasets via an Evolutionary GAN: preliminary results
Ghosh Predicting Uterine Deformation Due to Applicator Insertion in Pre-Brachytherapy MRI Using Deep Learning
Li Data-efficient deep learning algorithms for computer-aided medical diagnosis
Galeano et al. 3D reconstruction of organ from CT images and visualization in a virtual reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200709

Address after: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Co-patentee after: DIGONG (HANGZHOU) SCIENCE AND TECHNOLOGY INDUSTRY Co.,Ltd.

Patentee after: Hangzhou hailui Boyan Technology Co.,Ltd.

Address before: 310018 room 1003-1, building 15, No.57, Keji Garden Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Zhejiang Province

Patentee before: Hangzhou hailui Boyan Technology Co.,Ltd.

TR01 Transfer of patent right
CB03 Change of inventor or designer information

Inventor after: Yang Guang

Inventor after: Niu Zhangming

Inventor after: Lu Wei

Inventor after: Jiang Yinghui

Inventor after: Li Lao

Inventor after: Wang Chengjia

Inventor after: Ye Xujiong

Inventor after: Dong Hao

Inventor after: Jiang Min

Inventor before: Yang Guang

Inventor before: Niu Zhangming

Inventor before: Lu Wei

Inventor before: Jiang Yinghui

Inventor before: Li Lao

Inventor before: Wang Chengjia

Inventor before: Ye Xujiong

Inventor before: Dong Hao

Inventor before: Jiang Min

CB03 Change of inventor or designer information