CN110070546B - 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 - Google Patents

一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 Download PDF

Info

Publication number
CN110070546B
CN110070546B CN201910313994.5A CN201910313994A CN110070546B CN 110070546 B CN110070546 B CN 110070546B CN 201910313994 A CN201910313994 A CN 201910313994A CN 110070546 B CN110070546 B CN 110070546B
Authority
CN
China
Prior art keywords
risk
segmentation
boundary
deep learning
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910313994.5A
Other languages
English (en)
Other versions
CN110070546A (zh
Inventor
李登旺
赵承倩
吴敬红
孔问问
刘英超
虞刚
陆华
刘丹华
薛洁
黄浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN201910313994.5A priority Critical patent/CN110070546B/zh
Publication of CN110070546A publication Critical patent/CN110070546A/zh
Application granted granted Critical
Publication of CN110070546B publication Critical patent/CN110070546B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的多目标危及器官自动分割方法、装置及系统,该方法包括:接收患者输入图像;将患者输入图像进行格式转换,转换为JPEG格式数据;将JPEG格式数据输入根据物理师手工分割结果训练的Overfeat定位检测网络,自动选取包含多目标危及器官的感兴趣区;将自动选取的感兴趣区输入FCN初始化分割网络,进行轮廓推断;将轮廓推断得到的初始边界轮廓和接收的人工标记边界进行坐标化,映射到输入图像,提取DAISY特征,得到DAISY特征图像;将DAISY特征图像输入根据物理师手工分割结果训练的深度信念网络,得到危及器官的精确分割边界,即分割结果。

Description

一种基于深度学习的多目标危及器官的自动分割方法、装置 及系统
技术领域
本公开属于危及器官分割检测的技术领域,涉及一种基于深度学习的多目标危及器官自动分割方法、装置及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
垂体瘤是一组从垂体前叶和后叶及颅咽管上皮残余细胞发生的肿瘤,垂体瘤对人体最主要的危害是压迫蝶安区结构,如视交叉、视神经、海绵窦、脑干、脑底动脉等,导致相应功能的严重障碍。其中,视神交叉、视神经和脑干受垂体瘤压迫最为常见。垂体瘤压迫视交叉和视神经,导致患者视力低下、视野改变、失明等障碍;垂体瘤压迫脑干,严重影响患者的呼吸和心跳,危及患者的生命。通常采用伽马刀治疗手术进行治疗。
伽马刀治疗手术前,在制定手术计划阶段精确分割出受保护的危及器官是至关重要的。一方面,能将伽马射线对危及器官的伤害降到最低;另一方面,能计算最佳剂量分布,更有效的控制肿瘤,达到最佳治疗效果。垂体瘤向上方生长可将鞍膈顶高或突破鞍膈向上压迫视神经交叉而产生视力、视野改变等;向后长入脚间他、斜坡压迫脑干,可出现交叉性麻痹,昏迷等。在伽马刀治疗垂体瘤手术前,精确分割出视神经和脑干,特别是受垂体瘤压迫的视神经,对放射剂量的计算、伽马刀靶区的准确性和患者的有效保护等方面具有重要意义。传统的手动分割有很多限制:(1)物理师的专业背景和丰富经验难以继承或创新,以至于初级医院和诊所缺乏熟练的物理师;(2)繁琐的任务很耗时;(3)病理学家过度疲劳可能导致较大的人为误差。
因此,使用计算机实现危及器官的自动分割是非常紧迫和重要的,这可以减少物理师的繁重工作量,并有助于避免人为误差。基于卷积神经网络的医学图像分割主要有两种框架,一个是基于CNN的,另一个就是基于FCN的。然而,发明人在研发过程中发现,CNN网络主要有两大缺点:1)冗余太大,由于每个像素点都需要取一个patch,那么相邻的两个像素点的patch相似度非常高,这就导致了非常多的冗余,导致网络训练很慢。2)感受野和定位精度不可兼得,当感受野选取比较大的时候,后面对应的池化层的降维倍数就会增大,这样就会导致定位精度降低,但是如果感受野比较小,那么分类精度就会降低。因此,传统的图像分割算法用于危及器官的自动分割存在诸多问题:由于视神经和视交叉解剖结构的不规则性,传统的图像分割算法轮廓信息模糊,与物理师的手动分割结果相差甚远;此外,每一层图像上,左右视神经的不连续性,导致传统的图像分割算法极易出现漏分割的现象。
发明内容
针对现有技术中存在的需要人工选择特征和算法鲁棒性较差的不足,本公开的一个或多个实施例提供了一种基于深度学习的多目标危及器官自动分割方法、装置及系统,接收患者的MR图像,利用先进的深度学习神经网络自动定位检测危及器官的位置,然后利用自动分割网络学习物理师的手动分割结果进行初始化分割,再利用精确分割,获得危及器官的位置与轮廓信息,能够同时自动地分割出视交叉、视神经和脑干,并将输出结果传送到物理师的手术计划系统,辅助垂体瘤的伽马刀放射治疗。
根据本公开的一个或多个实施例的一个方面,提供一种基于深度学习的多目标危及器官自动分割方法。
一种基于深度学习的多目标危及器官自动分割方法,该方法包括:
接收患者输入图像;
将患者输入图像进行格式转换,转换为JPEG格式数据;
将JPEG格式数据输入根据物理师手工分割结果训练的Overfeat 定位检测网络,自动选取包含多目标危及器官的感兴趣区;
将自动选取的感兴趣区输入FCN初始化分割网络,进行轮廓推断;
将轮廓推断得到的初始边界轮廓和接收的人工标记边界进行坐标化,映射到输入图像,提取DAISY特征,得到DAISY特征图像;
将DAISY特征图像输入根据物理师手工分割结果训练的深度信念网络,得到危及器官的精确分割边界,即分割结果。
进一步地,在该方法中,所述患者输入图像为患者MR T1平扫序列数据;所述患者MR T1平扫序列数据为DICM格式数据。
进一步地,在该方法中,所述自动选取包含多目标危及器官的感兴趣区的具体步骤包括:
以物理师手工分割结果中的脑干和眼球为标签;
接收人工标记边界根据物理师手工分割结果的Overfeat定位检测网络选取同时包含多目标危及器官的感兴趣区,所述人工标记边界为定位脑干的中心,添加左右眼球为约束,以三者的中心坐标为边界,所述多目标危及器官包括视交叉、视神经和脑干;
将包含多目标危及器官的感兴趣区进行尺寸归一化处理。
进一步地,在该方法中,所述进行轮廓推断的具体步骤包括:
将自动选取的感兴趣区输入FCN初始化分割网络;
通过FCN初始化分割网络的全卷积层在输出端得到密集的预测,即每个像素所属的类别,推断出危及器官的大致轮廓。
进一步地,在该方法中,所述得到危及器官的精确分割边界的具体步骤包括:采用深度信念网络通过整体回归输入和整体回归输出的方式进行精确分割,即使用完整DAISY特征图像作为输入,以物理师手工分割结果的危及器官的边界点坐标作为标签,同时回归所有边界点。所述深度信念网络的回归输出为危及器官的边界。
进一步地,该方法还包括接收物理师的手术计划系统反馈的鉴定与修正后的最终分割结果,进行网络优化。
根据本公开的一个或多个实施例的一个方面,提供一种计算机可读存储介质。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种基于深度学习的多目标危及器官自动分割方法。
根据本公开的一个或多个实施例的一个方面,提供一种终端设备。
一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种基于深度学习的多目标危及器官自动分割方法。
根据本公开的一个或多个实施例的一个方面,提供一种基于深度学习的多目标危及器官自动分割装置。
一种基于深度学习的多目标危及器官自动分割装置,基于所述的一种基于深度学习的多目标危及器官自动分割方法,包括:
数据采集模块,被配置为接收患者输入图像;
数据转换模块,被配置为将患者输入图像进行格式转换,转换为 JPEG格式数据;
感兴趣区选取模块,被配置为将JPEG格式数据输入根据物理师手工分割结果训练的Overfeat定位检测网络,自动选取包含多目标危及器官的感兴趣区;
轮廓推断模块,被配置为将自动选取的感兴趣区输入FCN初始化分割网络,进行轮廓推断;
特征提取模块,被配置为将轮廓推断得到的初始边界轮廓和接收的人工标记边界进行坐标化,映射到输入图像,提取DAISY特征,得到DAISY特征图像;
精确分割模块,被配置为将DAISY特征图像输入根据物理师手工分割结果训练的深度信念网络,得到危及器官的精确分割边界,即分割结果。
根据本公开的一个或多个实施例的一个方面,提供一种基于深度学习的多目标危及器官自动分割系统。
一种基于深度学习的多目标危及器官自动分割系统,包括:
MR打印设备,被配置为采集患者输入图像,并发送至服务器;
服务器,被配置为接收所述MR打印机的患者输入图像,执行所述的一种基于深度学习的多目标危及器官自动分割方法,并将得到的分割结果发送至手术计划系统,并接收所述手术计划系统反馈的鉴定与修正后的最终分割结果;
手术计划系统,被配置为接收所述服务器的分割结果,并将鉴定与修正后的最终分割结果反馈至所述服务器。
本公开的有益效果:
本公开提供的一种基于深度学习的多目标危及器官自动分割方法、装置及系统,使用计算机自动检测、定位、分割垂体瘤周围的危及器官,采用GPU和深度学习神经网络,有效减少计算机耗时。采用自动定位检测的预处理技术,自动选取有效信息更多的感兴趣区。此外,该发明将粗分割作为精确分割的初始值,获取更多轮廓与边缘信息,有效提高了分割结果。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。
图1是根据一个或多个实施例的一种基于深度学习的多目标危及器官自动分割方法流程图。
具体实施方式:
下面将结合本公开的一个或多个实施例中的附图,对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本公开的一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本实施例使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是,附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意,在有些作为备选的实现中,方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,或者它们有时也可以按照相反的顺序执行,这取决于所涉及的功能。同样应当注意的是,流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合,可以使用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合,下面结合附图与实施例对本公开作进一步说明。
根据本公开的一个或多个实施例的一个方面,提供一种基于深度学习的多目标危及器官自动分割方法。
如图1所示,一种基于深度学习的多目标危及器官自动分割方法,该方法包括:
步骤S1:接收患者输入图像;
步骤S2:将患者输入图像进行格式转换,转换为JPEG格式数据;
步骤S3:将JPEG格式数据输入根据物理师手工分割结果训练的 Overfeat定位检测网络,自动选取包含多目标危及器官的感兴趣区;
步骤S4:将自动选取的感兴趣区输入FCN初始化分割网络,进行轮廓推断;
步骤S5:将轮廓推断得到的初始边界轮廓和接收的人工标记边界进行坐标化,映射到输入图像,提取DAISY特征,得到DAISY特征图像;实现边界坐标化及特征提取;
步骤S6:将DAISY特征图像输入根据物理师手工分割结果训练的深度信念网络,得到危及器官的精确分割边界,即分割结果。
本实施例的方法接收患者的MR图像,利用先进的深度学习神经网络自动定位检测危及器官的位置,然后利用自动分割网络学习物理师的手动分割结果进行初始化分割,再利用精确分割,获得危及器官的位置与轮廓信息,同时自动地分割出视交叉、视神经和脑干,传送到物理师的手术计划系统,辅助垂体瘤的伽马刀放射治疗。
在本实施例的步骤S1中,接收医院影像科获取患者MR T1平扫序列。所述患者输入图像为患者MR T1平扫序列数据;所述患者MR T1 平扫序列数据为DICM格式数据。
在本实施例的步骤S2中,利用程序代码将DICM格式数据转换为 JPEG格式数据。
在本实施例的步骤S3中,所述自动选取包含多目标危及器官的感兴趣区的具体步骤包括:
步骤S301:以物理师手工分割结果中的脑干和眼球为标签;
步骤S302:接收人工标记边界根据物理师手工分割结果的 Overfeat定位检测网络选取同时包含多目标危及器官的感兴趣区,所述人工标记边界为定位脑干的中心,添加左右眼球为约束,以三者的中心坐标为边界,所述多目标危及器官包括视交叉、视神经和脑干;
步骤S303:将包含多目标危及器官的感兴趣区进行尺寸归一化处理。
在本实施例的步骤S4中,所述进行轮廓推断的具体步骤包括:
步骤S401:将自动选取的感兴趣区输入FCN初始化分割网络;
步骤S402:通过FCN初始化分割网络的全卷积层在输出端得到密集的预测,即每个像素所属的类别,推断出危及器官的大致轮廓。
在本实施例的步骤S6中,所述得到危及器官的精确分割边界的具体步骤包括:采用深度信念网络通过整体回归输入和整体回归输出的方式进行精确分割,即使用完整DAISY特征图像作为输入,以物理师手工分割结果的危及器官的边界点坐标作为标签,同时回归所有边界点。所述深度信念网络的回归输出为危及器官的边界。回归输出为危及器官的边界,这些边界由一组点表示,并量化为坐标。
进一步地,该方法还包括接收物理师的手术计划系统反馈的鉴定与修正后的最终分割结果,进行网络优化。在本实施例中,引导手术计划。分割结果传送到手术计划系统,物理师接收结果并进行鉴定与修正,保存最终分割结果。根据最终分割结果定期训练改进网络。
实施例二
根据本公开的一个或多个实施例的一个方面,提供一种计算机可读存储介质。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种基于深度学习的多目标危及器官自动分割方法。
实施例三
根据本公开的一个或多个实施例的一个方面,提供一种终端设备。
一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种基于深度学习的多目标危及器官自动分割方法。
这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。
在本实施例中,计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波 (例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开内容的各个方面。
实施例四
根据本公开的一个或多个实施例的一个方面,提供一种基于深度学习的多目标危及器官自动分割装置。
一种基于深度学习的多目标危及器官自动分割装置,基于所述的一种基于深度学习的多目标危及器官自动分割方法,包括:
数据采集模块,被配置为接收患者输入图像;
数据转换模块,被配置为将患者输入图像进行格式转换,转换为 JPEG格式数据;
感兴趣区选取模块,被配置为将JPEG格式数据输入根据物理师手工分割结果训练的Overfeat定位检测网络,自动选取包含多目标危及器官的感兴趣区;
轮廓推断模块,被配置为将自动选取的感兴趣区输入FCN初始化分割网络,进行轮廓推断;
特征提取模块,被配置为将轮廓推断得到的初始边界轮廓和接收的人工标记边界进行坐标化,映射到输入图像,提取DAISY特征,得到DAISY特征图像;
精确分割模块,被配置为将DAISY特征图像输入根据物理师手工分割结果训练的深度信念网络,得到危及器官的精确分割边界,即分割结果。
应当注意,尽管在上文的详细描述中提及了设备的若干模块或子模块,但是这种划分仅仅是示例性而非强制性的。实际上,根据本公开的实施例,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
实施例五
根据本公开的一个或多个实施例的一个方面,提供一种基于深度学习的多目标危及器官自动分割系统。
一种基于深度学习的多目标危及器官自动分割系统,包括:
MR打印设备,被配置为采集患者输入图像,并发送至服务器;
服务器,被配置为接收所述MR打印机的患者输入图像,执行所述的一种基于深度学习的多目标危及器官自动分割方法,并将得到的分割结果发送至手术计划系统,并接收所述手术计划系统反馈的鉴定与修正后的最终分割结果;
手术计划系统,被配置为接收所述服务器的分割结果,并将鉴定与修正后的最终分割结果反馈至所述服务器。
本实施例搭建了一种基于深度学习的多目标危及器官(例如视交叉、视神经和脑干)的自动分割系统;在所述服务器搭建硬件平台。配置一台带GPU的计算机,连接到物理师的手术计划系统和MR打印设备。配置运行环境。安装Visual Studio 2015和CUDA 8.0,配置Tensorflow、Python和Matlab,执行所述的一种基于深度学习的多目标危及器官自动分割方法。
本公开的有益效果:
本公开提供的一种基于深度学习的多目标危及器官自动分割方法、装置及系统,使用计算机自动检测、定位、分割垂体瘤周围的危及器官,采用GPU和深度学习神经网络,有效减少计算机耗时。采用自动定位检测的预处理技术,自动选取有效信息更多的感兴趣区。此外,该发明将粗分割作为精确分割的初始值,获取更多轮廓与边缘信息,有效提高了分割结果。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于深度学习的多目标危及器官自动分割方法,其特征在于,该方法包括:
接收患者输入图像;
将患者输入图像进行格式转换,转换为JPEG格式数据;
将JPEG格式数据输入根据物理师手工分割结果训练的Overfeat定位检测网络,自动选取包含多目标危及器官的感兴趣区;具体步骤包括:以物理师手工分割结果中的脑干和眼球为标签;接收人工标记边界根据物理师手工分割结果的Overfeat定位检测网络选取同时包含多目标危及器官的感兴趣区,所述人工标记边界为定位脑干的中心,添加左右眼球为约束,以三者的中心坐标为边界,所述多目标危及器官包括视交叉、视神经和脑干;将包含多目标危及器官的感兴趣区进行尺寸归一化处理;
将自动选取的感兴趣区输入FCN初始化分割网络,进行轮廓推断;
将轮廓推断得到的初始边界轮廓和接收的人工标记边界进行坐标化,映射到输入图像,提取DAISY特征,得到DAISY特征图像;
将DAISY特征图像输入根据物理师手工分割结果训练的深度信念网络,得到危及器官的精确分割边界,即分割结果。
2.如权利要求1所述的一种基于深度学习的多目标危及器官自动分割方法,其特征在于,在该方法中,所述患者输入图像为患者MR T1平扫序列数据;所述患者MR T1平扫序列数据为DICM格式数据。
3.如权利要求1所述的一种基于深度学习的多目标危及器官自动分割方法,其特征在于,在该方法中,所述进行轮廓推断的具体步骤包括:
将自动选取的感兴趣区输入FCN初始化分割网络;
通过FCN初始化分割网络的全卷积层在输出端得到密集的预测,即每个像素所属的类别,推断出危及器官的大致轮廓。
4.如权利要求1所述的一种基于深度学习的多目标危及器官自动分割方法,其特征在于,在该方法中,所述得到危及器官的精确分割边界的具体步骤包括:采用深度信念网络通过整体回归输入和整体回归输出的方式进行精确分割,即使用完整DAISY特征图像作为输入,以物理师手工分割结果的危及器官的边界点坐标作为标签,同时回归所有边界点;所述深度信念网络的回归输出为危及器官的边界。
5.如权利要求1所述的一种基于深度学习的多目标危及器官自动分割方法,其特征在于,该方法还包括接收物理师的手术计划系统反馈的鉴定与修正后的最终分割结果,进行网络优化。
6.一种计算机可读存储介质,其中存储有多条指令,其特征在于,所述指令适于由终端设备的处理器加载并执行如权利要求1-5任一项所述的一种基于深度学习的多目标危及器官自动分割方法。
7.一种终端设备,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行如权利要求1-5任一项所述的一种基于深度学习的多目标危及器官自动分割方法。
8.一种基于深度学习的多目标危及器官自动分割装置,其特征在于,基于如权利要求1-5任一项所述的一种基于深度学习的多目标危及器官自动分割方法,包括:
数据采集模块,被配置为接收患者输入图像;
数据转换模块,被配置为将患者输入图像进行格式转换,转换为JPEG格式数据;
感兴趣区选取模块,被配置为将JPEG格式数据输入根据物理师手工分割结果训练的Overfeat定位检测网络,自动选取包含多目标危及器官的感兴趣区;
轮廓推断模块,被配置为将自动选取的感兴趣区输入FCN初始化分割网络,进行轮廓推断;
特征提取模块,被配置为将轮廓推断得到的初始边界轮廓和接收的人工标记边界进行坐标化,映射到输入图像,提取DAISY特征,得到DAISY特征图像;
精确分割模块,被配置为将DAISY特征图像输入根据物理师手工分割结果训练的深度信念网络,得到危及器官的精确分割边界,即分割结果。
9.一种基于深度学习的多目标危及器官自动分割系统,其特征在于,包括:
MR打印设备,被配置为采集患者输入图像,并发送至服务器;
服务器,被配置为接收所述MR打印设备的患者输入图像,执行如权利要求1-5任一项所述的一种基于深度学习的多目标危及器官自动分割方法,并将得到的分割结果发送至手术计划系统,并接收所述手术计划系统反馈的鉴定与修正后的最终分割结果;
手术计划系统,被配置为接收所述服务器的分割结果,并将鉴定与修正后的最终分割结果反馈至所述服务器。
CN201910313994.5A 2019-04-18 2019-04-18 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 Expired - Fee Related CN110070546B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910313994.5A CN110070546B (zh) 2019-04-18 2019-04-18 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910313994.5A CN110070546B (zh) 2019-04-18 2019-04-18 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110070546A CN110070546A (zh) 2019-07-30
CN110070546B true CN110070546B (zh) 2021-08-27

Family

ID=67368182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910313994.5A Expired - Fee Related CN110070546B (zh) 2019-04-18 2019-04-18 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110070546B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517243B (zh) * 2019-08-23 2022-03-25 强联智创(北京)科技有限公司 一种基于dsa图像的定位方法及系统
CN110517244B (zh) * 2019-08-23 2023-04-28 首都医科大学宣武医院 一种基于dsa图像的定位方法及系统
CN110517257B (zh) * 2019-08-30 2020-08-11 北京推想科技有限公司 危及器官标注信息处理方法及相关装置
CN110867233B (zh) * 2019-11-19 2023-05-05 西安邮电大学 用于生成电子喉镜医学检测报告的系统和方法
CN112950647B (zh) * 2019-12-10 2023-08-18 杭州海康威视数字技术股份有限公司 图像分割方法、装置、设备及存储介质
CN113763388B (zh) * 2021-07-29 2022-12-09 山东师范大学 一种用于脑转移瘤混合监督学习的深度凝聚种群p系统和方法
CN113744271B (zh) * 2021-11-08 2022-02-11 四川大学 基于神经网络的视神经自动分割和受压迫程度测算方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107194929A (zh) * 2017-06-21 2017-09-22 太原理工大学 一种基于深度信念网络的肺结节良恶性分类方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108447551A (zh) * 2018-02-09 2018-08-24 北京连心医疗科技有限公司 一种基于深度学习的靶区自动勾画方法、设备和存储介质
CN108665461A (zh) * 2018-05-09 2018-10-16 电子科技大学 一种基于fcn和迭代声影校正的乳腺超声图像分割方法
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107194929A (zh) * 2017-06-21 2017-09-22 太原理工大学 一种基于深度信念网络的肺结节良恶性分类方法
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技(昆山)有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107680678A (zh) * 2017-10-18 2018-02-09 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节自动诊断系统
CN108447551A (zh) * 2018-02-09 2018-08-24 北京连心医疗科技有限公司 一种基于深度学习的靶区自动勾画方法、设备和存储介质
CN108665461A (zh) * 2018-05-09 2018-10-16 电子科技大学 一种基于fcn和迭代声影校正的乳腺超声图像分割方法
CN108776969A (zh) * 2018-05-24 2018-11-09 复旦大学 基于全卷积网络的乳腺超声图像肿瘤分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Deep Regression Segmentation for Cardiac Bi-Ventricle MR Images》;Xiuquan Du et.al;《IEEE Access》;20180103;第06卷;第3829页右栏第1-3段及图2 *

Also Published As

Publication number Publication date
CN110070546A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
CN110070546B (zh) 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统
Sobhaninia et al. Brain tumor segmentation using deep learning by type specific sorting of images
US11100647B2 (en) 3-D convolutional neural networks for organ segmentation in medical images for radiotherapy planning
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
US9811906B1 (en) Method and data processing unit for segmenting an object in a medical image
CN114037726A (zh) 使用深度学习的基于图谱集的分割
WO2020246996A1 (en) Sct image generation using cyclegan with deformable layers
EP3910584A1 (en) Method and device for correcting brain image by using brain structure
CN110310280B (zh) 肝胆管及结石的图像识别方法、系统、设备及存储介质
US20230154007A1 (en) Few-shot semantic image segmentation using dynamic convolution
CN110110723A (zh) 一种图像中目标区域自动提取的方法及装置
US20180268549A1 (en) Optimization of parameters for segmenting an image
EP3828829A1 (en) Method and apparatus for determining mid-sagittal plane in magnetic resonance images
CN112150470A (zh) 图像分割方法、装置、介质及电子设备
Wang et al. Left atrial appendage segmentation based on ranking 2-D segmentation proposals
CN114596934A (zh) 一种宫颈癌近距离治疗剂量预测系统
CN113205488B (zh) 血流特性预测方法、装置、电子设备及存储介质
CN113012144A (zh) 一种肺部肿瘤的自动勾画方法、勾画系统、计算设备和存储介质
Cheng et al. MCSTransWnet: A new deep learning process for postoperative corneal topography prediction based on raw multimodal data from the Pentacam HR system
Ip et al. Current landscape and potential future applications of artificial intelligence in medical physics and radiotherapy
Zhang Machine Learning-Based Techniques For Automating Image-Guided Cochlear Implant Programming
Nizamani et al. Feature-enhanced fusion of U-NET-based improved brain tumor images segmentation
CN110503655B (zh) 一种基于稀疏贝叶斯模型和多图谱融合的mri神经胶质瘤分割方法及系统
CN118593125A (zh) 血管介入路径确定方法、装置及电子设备
US20240153094A1 (en) Systems and methods for annotating tubular structures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210827