CN112116989A - 一种多器官勾画方法及装置 - Google Patents
一种多器官勾画方法及装置 Download PDFInfo
- Publication number
- CN112116989A CN112116989A CN202010953707.XA CN202010953707A CN112116989A CN 112116989 A CN112116989 A CN 112116989A CN 202010953707 A CN202010953707 A CN 202010953707A CN 112116989 A CN112116989 A CN 112116989A
- Authority
- CN
- China
- Prior art keywords
- organ
- delineation
- data
- patient
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 210000000056 organ Anatomy 0.000 claims abstract description 214
- 238000012549 training Methods 0.000 claims abstract description 73
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 63
- 230000001360 synchronised effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000010276 construction Methods 0.000 claims description 10
- 239000011229 interlayer Substances 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 210000003484 anatomy Anatomy 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 238000012805 post-processing Methods 0.000 claims description 2
- 238000001959 radiotherapy Methods 0.000 abstract description 10
- 239000010410 layer Substances 0.000 description 25
- 210000000920 organ at risk Anatomy 0.000 description 16
- 210000004072 lung Anatomy 0.000 description 15
- 210000002784 stomach Anatomy 0.000 description 14
- 210000004185 liver Anatomy 0.000 description 12
- 210000002216 heart Anatomy 0.000 description 10
- 210000000952 spleen Anatomy 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种多器官勾画方法及装置，涉及医疗器械领域，所述方法包括：构建包含多个患者的历史数据的多分类训练集，其中，每个患者的历史数据包括该患者的历史三维CT影像数据及对应的多器官勾画数据；利用包含多个患者的历史数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，得到已训练的用于同步勾画多器官的卷积神经网络；利用已训练的用于同步勾画多器官的卷积神经网络，对待勾画的三维CT影像数据进行多器官同步勾画处理，得到包含已勾画多器官的三维CT图像。本发明基于构建的包含多个患者的历史三维CT影像数据及对应的多器官勾画数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，进而利用已训练的用于同步勾画多器官的卷积神经网络，进行多器官同步勾画处理，不仅器官勾画结果准确率更高，而且器官勾画速度更快，能够大大提高放疗治疗效率。
Description
技术领域
本发明涉及医疗器械领域，尤其涉及一种多器官勾画方法及装置。
背景技术
放疗是治疗癌症的有力手段，CT影像由于其成像快，分辨率高等特点经常被医生用来制定周密的放疗计划。为了保证放疗的疗效，避免对正常组织器官的放射损伤，医生需要精确勾画CT影像中的危及器官，然而手动勾画一套CT需要花费3-4小时，导致放疗治疗效率极低。
发明内容
本发明实施例的主要目的在于一种多器官勾画方法及装置，旨在快速准确地在CT影像中勾画多个器官。
为实现上述目的，本发明实施例提供了一种多器官勾画方法，所述方法包括以下步骤：
构建包含多个患者的历史数据的多分类训练集，其中，每个患者的历史数据包括该患者的历史三维CT影像数据及对应的多器官勾画数据；
利用包含多个患者的历史数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，得到已训练的用于同步勾画多器官的卷积神经网络；
利用已训练的用于同步勾画多器官的卷积神经网络，对待勾画的三维CT影像数据进行多器官同步勾画处理，得到包含已勾画多器官的三维CT图像。
优选地，所述构建包含多个患者的历史数据的多分类训练集包括：
根据实际需求，确定需要同时勾画的多个器官；
获取多个患者的历史三维CT影像数据；
对于任一患者的历史三维CT影像数据，根据需要同时勾画的多个器官，获取该患者的单器官勾画数据；
将该患者的单器官勾画数据进行合成，得到该患者的多器官勾画数据，其中，所述多器官勾画数据与所述历史三维CT影像数据的尺寸相同；
将该患者的历史三维CT影像数据及对应的多器官勾画数据保存至多分类训练集。
优选地，所述根据需要同时勾画的多个器官，获取该患者的单器官勾画数据包括：
对于任一患者的历史三维CT影像数据，获取所述历史三维CT影像数据对应的医生勾画数据；
对于需要同时勾画的多个器官中的任一器官，从医生勾画数据中查找该器官的勾画数据；
若找到，则将该器官的医生勾画数据确定为该器官的单器官勾画数据；
若未找到，则利用该器官的勾画模型对所述历史三维CT影像数据进行处理，得到该器官的单器官勾画数据。
优选地，所述利用该器官的勾画模型对该患者的历史三维CT影像数据进行处理，得到该器官的单器官勾画数据包括：
利用该器官的勾画模型对该患者的历史三维CT影像数据进行处理，得到该器官的预测勾画数据；
按照医学影像解剖学上为该器官指定的保留体积最大的连通域的数量，对该器官的预测勾画数据进行后处理，得到该器官的单器官勾画数据。
优选地，所述将该患者的单器官勾画数据进行合成，得到该患者的多器官勾画数据包括：
创建与所述历史三维CT影像数据的尺寸相同的三维空数组；
利用该患者的单器官勾画数据，对三维空数组进行赋值，得到该患者的多器官勾画数据，其中，不同器官对应不同赋值。
优选地，所述利用该患者的单器官勾画数据，对三维空数组进行赋值，得到该患者的多器官勾画数据包括：
根据单器官的勾画准确率和勾画体积中的至少一个，确定该患者的单器官勾画数据的优先级；
根据该患者的单器官勾画数据的优先级顺序，依次对三维空数组进行赋值，得到该患者的多器官勾画数据。
优选地，所述确定该患者的单器官勾画数据的优先级包括：
根据勾画准确率和勾画体积中的至少一个，确定该患者的单器官勾画数据的优先级。
优选地，所述构建包含多个患者的历史数据的多分类训练集还包括：
对多分类训练集中的任一患者的多器官勾画数据依次进行数据增强处理和层间插值处理，以便利用已进行数据增强处理和层间插值处理的多器官勾画数据训练用于同步勾画多器官的卷积神经网络。
为实现上述目的，本发明实施例还提供了一种多器官勾画装置，其特征在于，所述装置包括：
多器官同步勾画训练集构建模块，用于构建包含多个患者的历史数据的多分类训练集，其中，每个患者的历史数据包括该患者的历史三维CT影像数据及对应的多器官勾画数据；
多器官同步勾画模型训练模块，用于利用包含多个患者的历史数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，得到已训练的用于同步勾画多器官的卷积神经网络；
多器官同步勾画模块，用于利用已训练的用于同步勾画多器官的卷积神经网络，对待勾画的三维CT影像数据进行多器官同步勾画处理，得到包含已勾画多器官的三维CT图像。
本发明基于构建的包含多个患者的历史三维CT影像数据及对应的多器官勾画数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，进而利用已训练的用于同步勾画多器官的卷积神经网络，进行多器官同步勾画处理，不仅器官勾画结果准确率更高，而且器官勾画速度更快，能够大大提高放疗治疗效率。
附图说明
图1是本发明实施例一提供的一种多器官勾画方法的示意性流程图；
图2是本发明实施例二提供的一种多器官勾画装置的结构示意图；
图3是本发明实施例三提供的一种多器官勾画方法的详细流程图；
图4是图3中步骤3的详细流程图；
图5是图3中步骤4的详细流程图；
图6是步骤4中对勾画两个单器官进行融合的简图；
图7是用于同步勾画多个危及器官的卷积神经网络的结构图；
图8是某一患者的CT图片；
图9是医生基于图8手动勾画“胃”的示意图；
图10是以CT影像为底的手动勾画“胃”的示意图；
图11是单器官“肺”CNN模型基于图8预测的“肺”的勾画结果示意图；
图12是按LN中label的顺序，依次将LTi中的勾画结果填充在Ii的同尺寸三维空数组中，填充到一半时的勾画结果示意图；
图13是最终Li的结果示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一
图1是本发明实施例一提供的一种多器官勾画方法的示意性流程图，如图1所示，所述方法可以包括以下步骤：
步骤一：构建包含多个患者的历史数据的多分类训练集，其中，每个患者的历史数据包括该患者的历史三维CT影像数据及对应的多器官勾画数据。
步骤二：利用包含多个患者的历史数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，得到已训练的用于同步勾画多器官的卷积神经网络；
步骤三：利用已训练的用于同步勾画多器官的卷积神经网络，对待勾画的三维CT影像数据进行多器官同步勾画处理，得到包含已勾画多器官的三维CT图像。
上述步骤一可以包括：根据实际需求，确定需要同时勾画的多个器官；获取多个患者的历史三维CT影像数据；对于任一患者的历史三维CT影像数据，根据需要同时勾画的多个器官，获取该患者的单器官勾画数据；将该患者的单器官勾画数据进行合成，得到该患者的多器官勾画数据，其中，所述多器官勾画数据与所述历史三维CT影像数据的尺寸相同；将该患者的历史三维CT影像数据及对应的多器官勾画数据保存至多分类训练集。例如，如果需要同时勾画心脏、肝脏、肺、胃、脾，则获取心脏的勾画数据、肝脏的勾画数据、肺的勾画数据、胃的勾画数据、脾的勾画数据，然后将心脏的勾画数据、肝脏的勾画数据、肺的勾画数据、胃的勾画数据、脾的勾画数据合成为具有心脏、肝脏、肺、胃、脾的勾画数据的多器官勾画数据，将其存入多分类训练集。
其中，所述根据需要同时勾画的多个器官，获取该患者的单器官勾画数据可以包括：对于任一患者的历史三维CT影像数据，获取所述历史三维CT影像数据对应的医生勾画数据；对于需要同时勾画的多个器官中的任一器官，从医生勾画数据中查找该器官的勾画数据；若找到，则将该器官的医生勾画数据确定为该器官的单器官勾画数据；若未找到，则利用该器官的勾画模型对所述历史三维CT影像数据进行处理，得到该器官的单器官勾画数据。或者，对于需要同时勾画的多个器官中的任一器官，利用该器官的勾画模型对该患者的历史三维CT影像数据进行处理，得到该器官的单器官勾画数据。也就是说，本实施例可以仅使用医生勾画数据，例如医生勾画数据中已包含需要同时勾画的多个器官的勾画数据，则可以从医生勾画数据中得到需要同时勾画的每个器官的勾画数据。也可以使用单器官的勾画模型，利用各个单器官的勾画模型对历史三维CT影像数据进行处理，得到各个单器官勾画数据，当然，采用这种方式时，各个单器官的勾画模型应当是已训练的能够处理三维CT影像数据的单器官CNN模型。还可以将医生勾画数据与单器官的勾画模型相结合，例如，当医生勾画数据中不存在需要同时勾画的多个器官中的至少一个器官的勾画数据时，可以利用单器官勾画模型对三维CT影像数据进行处理，得到缺失单器官勾画数据。
在利用单器官的勾画模型对患者的历史三维CT影像数据进行处理时，单器官的勾画模型将输出单器官的预测勾画数据，本实施例按照医学影像解剖学上为该器官指定的保留体积最大的连通域的数量，对该器官的预测勾画数据进行后处理，得到该器官的单器官勾画数据，例如医学影像解剖学上为某一器官指定的保留体积最大的连通域的数量为2，则保留体积最大的2个连通域。
其中，所述将该患者的单器官勾画数据进行合成，得到该患者的多器官勾画数据可以包括：创建与所述历史三维CT影像数据的尺寸相同的三维空数组；利用该患者的单器官勾画数据，对三维空数组进行赋值，得到该患者的多器官勾画数据，其中，不同器官对应不同赋值。在进行赋值时，可以确定该患者的单器官勾画数据的优先级，例如根据单器官的勾画准确率和勾画体积中的至少一个，确定该患者的单器官勾画数据的优先级，然后根据该患者的单器官勾画数据的优先级顺序，依次对三维空数组进行赋值，得到该患者的多器官勾画数据。显然，在本实施例中，当两个或以上单器官勾画数据均可以对三维空数组中的同一元素进行赋值时，以优先级高的单器官勾画数据为准，对该元素进行赋值。
上述步骤二中：用于同步勾画多器官的卷积神经网络的输入为多分类数据集T中的三维CT图像，通过不断调整用于同步勾画多器官的卷积神经网络的参数，使其输出不断趋近于多分类数据集T中的多器官勾画图像。
其中，所述用于同步勾画多器官的卷积神经网络采用深度学习分割网络(UNeT)，其包括输入层、卷积层、归一化层和激活层、输出层。
本发明实施例提供的多器官勾画方法基于构建的包含多个患者的历史三维CT影像数据及对应的多器官勾画数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，进而利用已训练的用于同步勾画多器官的卷积神经网络，进行多器官同步勾画处理，不仅器官勾画结果准确率更高，而且器官勾画速度更快，能够大大提高放疗治疗效率。
实施例二
图2是本发明实施例二提供的一种多器官勾画装置的结构示意图，如图2所示，所述装置可以包括多器官同步勾画训练集构建模块、多器官同步勾画模型训练模块和多器官同步勾画模块，其中：
1、多器官同步勾画训练集构建模块
所述多器官同步勾画训练集构建模块用于构建包含多个患者的历史数据的多分类训练集，其中，每个患者的历史数据包括该患者的历史三维CT影像数据及对应的多器官勾画数据。
具体地说，所述多器官同步勾画训练集构建模块可以根据实际需求，确定需要同时勾画的多个器官；获取多个患者的历史三维CT影像数据；对于任一患者的历史三维CT影像数据，根据需要同时勾画的多个器官，获取该患者的单器官勾画数据；将该患者的单器官勾画数据进行合成，得到该患者的多器官勾画数据，其中，所述多器官勾画数据与所述历史三维CT影像数据的尺寸相同；将该患者的历史三维CT影像数据及对应的多器官勾画数据保存至多分类训练集。例如，如果需要同时勾画心脏、肝脏、肺、胃、脾，则获取心脏的勾画数据、肝脏的勾画数据、肺的勾画数据、胃的勾画数据、脾的勾画数据，然后将心脏的勾画数据、肝脏的勾画数据、肺的勾画数据、胃的勾画数据、脾的勾画数据合成为具有心脏、肝脏、肺、胃、脾的勾画数据的多器官勾画数据，将其存入多分类训练集。进一步地，所述多器官同步勾画训练集构建模块还可以进一步对多分类训练集中的任一患者的多器官勾画数据依次进行数据增强处理和层间插值处理，以便利用已进行数据增强处理和层间插值处理的多器官勾画数据训练用于同步勾画多器官的卷积神经网络。
其中，对于任一患者的历史三维CT影像数据，所述多器官同步勾画训练集构建模块获取所述历史三维CT影像数据对应的医生勾画数据；对于需要同时勾画的多个器官中的任一器官，从医生勾画数据中查找该器官的勾画数据；若找到，则将该器官的医生勾画数据确定为该器官的单器官勾画数据；若未找到，则利用该器官的勾画模型对所述历史三维CT影像数据进行处理，得到该器官的单器官勾画数据。或者，对于需要同时勾画的多个器官中的任一器官，利用该器官的勾画模型对该患者的历史三维CT影像数据进行处理，得到该器官的单器官勾画数据。也就是说，本实施例的所述多器官同步勾画训练集构建模块可以仅使用医生勾画数据，例如医生勾画数据中已包含需要同时勾画的多个器官的勾画数据，则可以从医生勾画数据中得到需要同时勾画的每个器官的勾画数据。也可以使用单器官的勾画模型，利用各个单器官的勾画模型对历史三维CT影像数据进行处理，得到各个单器官勾画数据，当然，采用这种方式时，各个单器官的勾画模型应当是已训练的能够处理三维CT影像数据的单器官CNN模型。还可以将医生勾画数据与单器官的勾画模型相结合，例如，当医生勾画数据中不存在需要同时勾画的多个器官中的至少一个器官的勾画数据时，可以利用单器官勾画模型对三维CT影像数据进行处理，得到缺失单器官勾画数据。所述多器官同步勾画训练集构建模块在利用单器官的勾画模型对患者的历史三维CT影像数据进行处理时，单器官的勾画模型将输出单器官的预测勾画数据，本实施例按照医学影像解剖学上为该器官指定的保留体积最大的连通域的数量，对该器官的预测勾画数据进行后处理，得到该器官的单器官勾画数据。
其中，所述多器官同步勾画训练集构建模块创建与所述历史三维CT影像数据的尺寸相同的三维空数组；利用该患者的单器官勾画数据，对三维空数组进行赋值，得到该患者的多器官勾画数据，其中，不同器官对应不同赋值。所述多器官同步勾画训练集构建模块在进行赋值时，可以确定该患者的单器官勾画数据的优先级，例如根据单器官的勾画准确率和勾画体积中的至少一个，确定该患者的单器官勾画数据的优先级，然后根据该患者的单器官勾画数据的优先级顺序，依次对三维空数组进行赋值，得到该患者的多器官勾画数据。显然，在本实施例中，当两个或以上单器官勾画数据均可以对三维空数组中的同一元素进行赋值时，以优先级高的单器官勾画数据为准，对该元素进行赋值。
2、多器官同步勾画模型训练模块
所述多器官同步勾画模型训练模块用于利用包含多个患者的历史数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，得到已训练的用于同步勾画多器官的卷积神经网络。
具体地说，所述多器官同步勾画模型训练模块将多分类数据集T中的三维CT图像输入同步勾画多器官的卷积神经网络，通过不断调整用于同步勾画多器官的卷积神经网络的参数，使用于同步勾画多器官的卷积神经网络的输出不断趋近于多分类数据集T中的多器官勾画图像。
3、多器官同步勾画模块
所述多器官同步勾画模块，用于利用已训练的用于同步勾画多器官的卷积神经网络，对待勾画的三维CT影像数据进行多器官同步勾画处理，得到包含已勾画多器官的三维CT图像。
其中，所述用于同步勾画多器官的卷积神经网络采用深度学习分割网络(UNeT)，其包括输入层、卷积层、归一化层和激活层、输出层。
本发明实施例提供的多器官勾画装置基于构建的包含多个患者的历史三维CT影像数据及对应的多器官勾画数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，进而利用已训练的用于同步勾画多器官的卷积神经网络，进行多器官同步勾画处理，不仅器官勾画结果准确率更高，而且器官勾画速度更快，能够大大提高放疗治疗效率。
实施例三
在实际工作中，医生需要勾画多个器官，而已有技术中多为单器官模型，即运行一个模型只能预测出对应的单个器官区域，因此如果需要勾画多个器官，则需要运行多个器官对应的单器官模型，同时运行多个器官对应的单器官模型，会耗费大量显存，而分批次运行单器官模型，消耗时间变长。
深度学习中卷积神经网络(CNN)是解释图像的一种常用方法，在图像分类、语义分割、目标检测和图像理解等领域已经有大量的实例应用。U型CNN(或称UNeT)通过对CT图像进行多层下采样，提取出抽象特征，再上采样回原始尺寸，实现器官区域的勾画。本发明的用于同步勾画多器官的卷积神经网络可以将勾画时间缩短到1分钟以内。
图3是本发明实施例三提供的一种多器官勾画方法的详细流程图，如图3所示，多个危及器官同时自动勾画方法可以包括以下步骤：
(1)根据实际需求，例如，需要同时勾画小肠、胃、股骨、膀胱这些器官，则生成包含需同时勾画的多个危及器官的集合LN，并从1开始对所选取的危及器官进行编号，本实施例以符号j表示器官，j的取值范围为[1,m]，m为需同时勾画的危及器官的数量。
(2)处理患者三维CT图像数据，一个经过医生手动勾画的患者三维CT影像可以分离出训练图像image和多个器官j的勾画结果集合LS。对于LS中的每一个真实勾画结果(label)，如果label∈LN，则保留该label，存入该image Ii的LTi中。如果LN中有不包含于LTi的label，表明该label是没有医生手动勾画结果的。
一个训练集里面包含输入数据image，输出数据label的真实值。该image是一个患者的三维CT影像。这个训练集用于训练多分类神经网络(即用于同步勾画多器官的卷积神经网络)。
对于一个病人的CT，医生会手动勾画出多个器官，这些器官的真实勾画结果集合就是LS。但是对于训练目标来说，不是LS里的每一个器官都在LN里，本实施例只需要将在LS中且属于LN的器官的真实勾画结果存到image Ii的LTi里面。本实施例以符号i表示患者，i的取值范围为[1,n]，n为患者数量，因此image Ii指第i个患者的CT影像，LTi指对第i个患者的CT影像来说，各个单器官的真实勾画数据的集合。
(3)为了在训练集中添加LN中不包含于LTi的label，本实施例引入半监督深度学习方法。如图4所示，先训练出单器官的CNN模型，即labelj模型。对于缺少的label(即LN中有不包含于LTi的labelj)，将CT image输入该器官的CNN模型，得到label的预测结果Pij。因为单模型预测的误差，Pij中会出现离散的点和小区域。对Pij做后处理，根据label特性，只保留Pij的最大1个或者2个连通域。将处理过的Pij存入LTi中。现在完成了一个患者i的包含完整LTi和Ii的训练数据Ti。
单器官CNN模型可以是利用已有数据训练好的模型，其输入是CT Image，输出是单器官的label。比如训练肝脏的CNN模型，仅采用CT Image和医生勾画出的肝脏的勾画数据即可。
在实际使用中，如果数据量不够，可以先用同批数据训练单器官的CNN模型，再用同批数据制作多分类训练集，进而训练多分类模型。
(4)融合LTi中各器官处理成一个最终训练标签Li。
创建一个Ii同尺寸的三维空数组Li，对于LTi中每个器官LTij，如图5所示，将LTij中值为1的像素点坐标对应到Li上并赋值为j。因为手动勾画的误差、软组织边缘模糊等问题，会导致不同器官的勾画结果之间有重叠，即Li中某个像素点可能在多个LTij都有对应赋值。为此，本实施例根据label的勾画准确率、label体积等因素确定优先次序，将优先级最高的j赋值给该像素点，如图6所示。I与L作为最终的训练T，I指多个患者的三维CT影像，L指多个患者的三维CT图像中的各器官勾画数据。
其中，在实际使用中，若医生勾画结果之间出现重叠，则根据临床放射治疗学靶区及危及器官标准，判断已有的各器官的医生勾画数据与此标准的符合度，符合度高的优先级更高；若模型预测结果之间出现重叠，则根据各器官模型在医科院的测试集上的Dice值确定优先级，Dice系数高的优先级更高。若医生勾画结果与模型预测结果之间出现重叠，则以医生勾画的结果为准。
其中，单器官的labelmap里只有两种值0和1，0表示背景，1表示该器官。在多器官的labelmap里，有多个值，例如0，1，2，...，n，表示n个器官。0表示背景，1，2，...，n仅指代不同器官，数值本身没有意义。
(5)优选地，可以对步骤(4)生成的多分类数据集T进行数据增强，包括旋转与缩放，增加高斯噪声与高斯模糊，调整图像对比度和亮度，伽马增强等。除此之外，CT影像还有一个特质，像素间物理间距(voxel spacing)，三维数组之间的相邻像素点之间的实际距离并不是单位1，而是根据扫描机器设定的层间距，一般以mm为单位。这导致，若直接将原数组输入训练CNN会丢失大量细节，需要对三维数组的各个方向进行层间插值，例如可以使用已有的spline插值方法。
公式如下所示，区间[a,b]的数据点{x1,x2,x3.....xn}，对应函数值{y1,y2,y3.....yn}，函数在[xj,xj+1]上有表达式S(x)，hj＝xj+1-xj。
其中：
不同仪器扫描出的CT影像voxel spacing不同，用spline插值到同一目标像素间物理间距(tartget spacing)。此target spacing的选取需要在图形处理器(GPU)的限制下，确保从Li剪裁出一个patch size的输入三维数组，既能有大量的细节，也有足够的上下层结构信息。
(6)训练用于同步勾画多个危及器官的卷积神经网络。
本发明使用UNet作为CNN的基本骨架，如图7所示，其具有对称的下采样、上采样结构。默认使用(3，3，3)的卷积核，(2，2，2)的池化核，但是由于x、y、z轴的初始分辨率差异，为保证spacing比值不大于2，高分辨率轴被单独下采样。卷积层后还跟着归一化层和激活层，归一化层使用实例正则化(instance normalization，IN)，分别对输入单个通道的单个patch size做归一化处理，使得输出符合均值为0，方差为1的正态分布，公式如下：
激活层使用leaky ReLU函数，对IN层的输出做非线性转换，公式如下：
其中，ai是大于1的固定参数。
Patch size为MxNxC的输入三维数组经过下采样、上采样层后得到维度为MxNxCxN的输出yc，其中N是训练的多分类label个数。yc需要通过softmax层转换为更直观的语义分割概率图，第n个通道的MxNxC数组表示每一个像素属于label n的概率。对每一个像素点，取概率最大的n为其所属label，生成最终的多器官语义分割结果。Softmax层的公式如下：
(7)将待预测的image输入训练好的多分类CNN网络，对预测出的区域进行边缘提取，得到自动同步勾画的多个危及器官的勾画数据，勾画速度快，准确率高。
应用实例
步骤1、选择需同时勾画的器官，LN＝["Breast","Spleen","Cord","Esophagus","Heart","Lung","Stomach","Liver"]。
步骤2、从患者i的ct影像数据img(li)中，选取其中第116层做演示，如图8所示。
步骤3、对于该ct影像数据，有医生手动勾画结果集合LS，其中包含的已勾画器官中Stomach，Heart，Spleen,Liver是属于LN的，这些勾画结果组成初始LTi。
以勾画该患者i的器官j“胃”为例，医生手动勾画的Stomach(label j)的结果(LTij)如图9所示，以CT影像为底医生手动勾画的Stomach(label j)的结果(LTij)如图10所示。
步骤4、根据LN和LS，确定还需要勾画Breast，Cord，Esophagus，Lung，并利用已训练好的4个单器官勾画模型(或称语义分割模型)分别对该CT影像数据进行处理，预测出Breast，Cord，Esophagus，Lung 4个器官的勾画结果以利用已训练好的肺的语义分割模型对该ct影像数据进行处理为例，肺的语义分割模型预测出的肺勾画结果Pij，如图11所示。
步骤5、通过把这些预测出的勾画结果放入初始LTi，得到当前LTi。此时，当前LTi中包括LN中全部8个器官的勾画结果。
步骤6、按照LN中标识的各个器官的顺序，依次将当前LTi中的勾画结果填充在与CT影像数据img(li)同尺寸的3维空数组中。
填充到一半时的结果如图12所示，最终的填充结果Li如图13所示，即得到基于患者i的ct影像数据img(li)的训练样本。
通过重复上述步骤1-6，可以得到基于多个患者的ct影像数据img(li)的训练样本，形成最终的包含多个患者的ct影像数据img(li)及对应的训练样本的训练集。
步骤7、利用训练集训练用于勾画多个危及器官的卷积神经网络，得到已训练的用于勾画多个危及器官的卷积神经网络。
步骤8、将待勾画的ct影像数据img(lx)输入至已训练的用于勾画多个危及器官的卷积神经网络，得到已训练的用于勾画多个危及器官的卷积神经网络输出的多个危及器官的勾画结果。
在实施本发明时，也可以使用各个器官的单分类模型分别预测出label，然后根据步骤(4)的方式整合这些单分类预测label，进而生成最终的多分类预测label，达到多个危及器官的勾画的目的。但是这种实现方式要在勾画一个image时，加载运行多个模型，将平均花费超过10倍的时间或者内存。本实施例通过上述步骤2-8可以大大降低耗费的时间或者内存。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本发明具有以下有益效果：
1、本发明基于深度学习技术，提供一种用于同步勾画多器官的多分类卷积神经网络，用于准确和快速的对CT影像中的多个危及器官同时进行全自动分割，本发明经过临床试验，被证明能够有效的在临床中辅助医生进行危及器官的勾画。
2、本发明考虑到限制CNN模型准确率的一大因素是数据量，而由于实际放疗中准确手动勾画了所有器官(例如胸腹部)的训练集往往较少，本发明可以采用半监督的深度学习方法，有效增加训练集的数量，使模型充分迭代寻找最优解。
3、现存模型大多以三维数据作为输入，将原本三维的CT影像进行z轴切片后分片处理，然后训练二维模型，再将输出整合到三维，在此过程中会丢失大量三维的上下层结构信息，并造成层间误差，例如z轴方向大量不连续散点，而本发明中，所有的输入以及数据处理，模型训练均基于三维数据，因而能够得到准确率更高、更贴合实际器官结构的勾画结果。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。
Claims (9)
1.一种多器官勾画方法，其特征在于，所述方法包括以下步骤：
构建包含多个患者的历史数据的多分类训练集，其中，每个患者的历史数据包括该患者的历史三维CT影像数据及对应的多器官勾画数据；
利用包含多个患者的历史数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，得到已训练的用于同步勾画多器官的卷积神经网络；
利用已训练的用于同步勾画多器官的卷积神经网络，对待勾画的三维CT影像数据进行多器官同步勾画处理，得到包含已勾画多器官的三维CT图像。
2.根据权利要求1所述的方法，其特征在于，所述构建包含多个患者的历史数据的多分类训练集包括：
根据实际需求，确定需要同时勾画的多个器官；
获取多个患者的历史三维CT影像数据；
对于任一患者的历史三维CT影像数据，根据需要同时勾画的多个器官，获取该患者的单器官勾画数据；
将该患者的单器官勾画数据进行合成，得到该患者的多器官勾画数据，其中，所述多器官勾画数据与所述历史三维CT影像数据的尺寸相同；
将该患者的历史三维CT影像数据及对应的多器官勾画数据保存至多分类训练集。
3.根据权利要求2所述的方法，其特征在于，所述根据需要同时勾画的多个器官，获取该患者的单器官勾画数据包括：
对于任一患者的历史三维CT影像数据，获取所述历史三维CT影像数据对应的医生勾画数据；
对于需要同时勾画的多个器官中的任一器官，从医生勾画数据中查找该器官的勾画数据；
若找到，则将该器官的医生勾画数据确定为该器官的单器官勾画数据；
若未找到，则利用该器官的勾画模型对所述历史三维CT影像数据进行处理，得到该器官的单器官勾画数据。
4.根据权利要求3所述的方法，其特征在于，所述利用该器官的勾画模型对该患者的历史三维CT影像数据进行处理，得到该器官的单器官勾画数据包括：
利用该器官的勾画模型对该患者的历史三维CT影像数据进行处理，得到该器官的预测勾画数据；
按照医学影像解剖学上为该器官指定的保留体积最大的连通域的数量，对该器官的预测勾画数据进行后处理，得到该器官的单器官勾画数据。
5.根据权利要求2所述的方法，其特征在于，所述将该患者的单器官勾画数据进行合成，得到该患者的多器官勾画数据包括：
创建与所述历史三维CT影像数据的尺寸相同的三维空数组；
利用该患者的单器官勾画数据，对三维空数组进行赋值，得到该患者的多器官勾画数据，其中，不同器官对应不同赋值。
6.根据权利要求5所述的方法，其特征在于，所述利用该患者的单器官勾画数据，对三维空数组进行赋值，得到该患者的多器官勾画数据包括：
根据单器官的勾画准确率和勾画体积中的至少一个，确定该患者的单器官勾画数据的优先级；
根据该患者的单器官勾画数据的优先级顺序，依次对三维空数组进行赋值，得到该患者的多器官勾画数据。
7.根据权利要求6所述的方法，其特征在于，所述确定该患者的单器官勾画数据的优先级包括：
根据勾画准确率和勾画体积中的至少一个，确定该患者的单器官勾画数据的优先级。
8.根据权利要求1或2所述的方法，其特征在于，所述构建包含多个患者的历史数据的多分类训练集还包括：
对多分类训练集中的任一患者的多器官勾画数据依次进行数据增强处理和层间插值处理，以便利用已进行数据增强处理和层间插值处理的多器官勾画数据训练用于同步勾画多器官的卷积神经网络。
9.一种多器官勾画装置，其特征在于，所述装置包括：
多器官同步勾画训练集构建模块，用于构建包含多个患者的历史数据的多分类训练集，其中，每个患者的历史数据包括该患者的历史三维CT影像数据及对应的多器官勾画数据；
多器官同步勾画模型训练模块，用于利用包含多个患者的历史数据的多分类训练集，训练用于同步勾画多器官的卷积神经网络，得到已训练的用于同步勾画多器官的卷积神经网络；
多器官同步勾画模块，用于利用已训练的用于同步勾画多器官的卷积神经网络，对待勾画的三维CT影像数据进行多器官同步勾画处理，得到包含已勾画多器官的三维CT图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010953707.XA CN112116989A (zh) | 2020-09-11 | 2020-09-11 | 一种多器官勾画方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010953707.XA CN112116989A (zh) | 2020-09-11 | 2020-09-11 | 一种多器官勾画方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112116989A true CN112116989A (zh) | 2020-12-22 |
Family
ID=73801922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010953707.XA Pending CN112116989A (zh) | 2020-09-11 | 2020-09-11 | 一种多器官勾画方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116989A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536575A (zh) * | 2021-07-20 | 2021-10-22 | 深圳市联影高端医疗装备创新研究院 | 器官轮廓勾画方法、医学影像系统以及存储介质 |
| CN115995289A (zh) * | 2023-03-20 | 2023-04-21 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 基于神经网络模型对医学图像的勾画方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090022375A1 (en) * | 2007-07-20 | 2009-01-22 | General Electric Company | Systems, apparatus and processes for automated medical image segmentation |
| CN109461161A (zh) * | 2018-10-22 | 2019-03-12 | 北京连心医疗科技有限公司 | 一种基于神经网络对医学影像中人体器官进行分割的方法 |
| CN109583576A (zh) * | 2018-12-17 | 2019-04-05 | 上海联影智能医疗科技有限公司 | 一种医学图像处理装置及方法 |
| CN110097557A (zh) * | 2019-01-31 | 2019-08-06 | 卫宁健康科技集团股份有限公司 | 基于3D-UNet的医学图像自动分割方法及系统 |
| WO2020028352A1 (en) * | 2018-07-31 | 2020-02-06 | Washington University | Methods and systems for segmenting organs in images using a cnn-based correction network |
| CN110874842A (zh) * | 2019-10-10 | 2020-03-10 | 浙江大学 | 一种基于级联残差全卷积网络的胸腔多器官分割方法 |
| CN110992373A (zh) * | 2019-11-25 | 2020-04-10 | 杭州电子科技大学 | 一种基于深度学习的胸腔器官分割方法 |
| CN111415359A (zh) * | 2020-03-24 | 2020-07-14 | 浙江明峰智能医疗科技有限公司 | 一种自动化分割医学影像多器官的方法 |
| CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
-
2020
- 2020-09-11 CN CN202010953707.XA patent/CN112116989A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090022375A1 (en) * | 2007-07-20 | 2009-01-22 | General Electric Company | Systems, apparatus and processes for automated medical image segmentation |
| WO2020028352A1 (en) * | 2018-07-31 | 2020-02-06 | Washington University | Methods and systems for segmenting organs in images using a cnn-based correction network |
| CN109461161A (zh) * | 2018-10-22 | 2019-03-12 | 北京连心医疗科技有限公司 | 一种基于神经网络对医学影像中人体器官进行分割的方法 |
| CN109583576A (zh) * | 2018-12-17 | 2019-04-05 | 上海联影智能医疗科技有限公司 | 一种医学图像处理装置及方法 |
| CN110097557A (zh) * | 2019-01-31 | 2019-08-06 | 卫宁健康科技集团股份有限公司 | 基于3D-UNet的医学图像自动分割方法及系统 |
| CN110874842A (zh) * | 2019-10-10 | 2020-03-10 | 浙江大学 | 一种基于级联残差全卷积网络的胸腔多器官分割方法 |
| CN110992373A (zh) * | 2019-11-25 | 2020-04-10 | 杭州电子科技大学 | 一种基于深度学习的胸腔器官分割方法 |
| CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
| CN111415359A (zh) * | 2020-03-24 | 2020-07-14 | 浙江明峰智能医疗科技有限公司 | 一种自动化分割医学影像多器官的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 慕光睿 等: "基于多尺度三维卷积神经网络的头颈部危及器官分割方法", 南方医科大学学报, vol. 40, no. 4, pages 491 - 498 * |
| 邓金城 等: "深度卷积神经网络在放射治疗计划图像分割中的应用", 中国医学物理学杂志, vol. 35, no. 6, pages 621 - 627 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536575A (zh) * | 2021-07-20 | 2021-10-22 | 深圳市联影高端医疗装备创新研究院 | 器官轮廓勾画方法、医学影像系统以及存储介质 |
| CN115995289A (zh) * | 2023-03-20 | 2023-04-21 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 基于神经网络模型对医学图像的勾画方法和装置 |
| CN115995289B (zh) * | 2023-03-20 | 2023-06-30 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 基于神经网络模型对医学图像的勾画方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108022238B (zh) | 对3d图像中对象进行检测的方法、计算机存储介质和系统 | |
| JP7248832B2 (ja) | 画像処理のためのシステム及び方法 | |
| US20210406591A1 (en) | Medical image processing method and apparatus, and medical image recognition method and apparatus | |
| CN110176012B (zh) | 图像中的目标分割方法、池化方法、装置及存储介质 | |
| US9092852B2 (en) | Generating an anatomical model using a rule-based segmentation and classification process | |
| US20200265632A1 (en) | System and method for real-time rendering of complex data | |
| CN111340682A (zh) | 利用深度神经网络将医学图像转换为不同样式图像的方法和系统 | |
| CN111476793B (zh) | 动态增强磁共振成像处理方法、系统、存储介质、终端 | |
| US20210383534A1 (en) | System and methods for image segmentation and classification using reduced depth convolutional neural networks | |
| EP2620909B1 (en) | Method, system and computer readable medium for automatic segmentation of a medical image | |
| US10580181B2 (en) | Method and system for generating color medical image based on combined color table | |
| US9129391B2 (en) | Semi-automated preoperative resection planning | |
| CN101576997A (zh) | 基于二次三维区域生长的腹部器官分割方法 | |
| CN107688783B (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
| CN112348818B (zh) | 一种图像分割方法、装置、设备以及存储介质 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN112116989A (zh) | 一种多器官勾画方法及装置 | |
| CN115239716B (zh) | 一种基于形状先验U-Net的医学图像分割方法 | |
| CN111127487B (zh) | 一种实时多组织医学图像的分割方法 | |
| CN112955934A (zh) | 识别医学图像中的介入设备 | |
| CN111028134A (zh) | 图像处理方法、装置、系统及介质 | |
| CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
| US20240013391A1 (en) | Systems and methods for image processing | |
| WO2022214093A1 (en) | Systems and methods for image processing | |
| CN113379691B (zh) | 一种基于先验引导的乳腺病灶深度学习分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |