CN113288193B - 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统 - Google Patents

基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统 Download PDF

Info

Publication number
CN113288193B
CN113288193B CN202110772940.2A CN202110772940A CN113288193B CN 113288193 B CN113288193 B CN 113288193B CN 202110772940 A CN202110772940 A CN 202110772940A CN 113288193 B CN113288193 B CN 113288193B
Authority
CN
China
Prior art keywords
target area
data
area
mask
breast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110772940.2A
Other languages
English (en)
Other versions
CN113288193A (zh
Inventor
魏军
蒋雪
田孟秋
谢培梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception Vision Medical Technology Co ltd
Original Assignee
Perception Vision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception Vision Medical Technology Co ltd filed Critical Perception Vision Medical Technology Co ltd
Priority to CN202110772940.2A priority Critical patent/CN113288193B/zh
Publication of CN113288193A publication Critical patent/CN113288193A/zh
Application granted granted Critical
Publication of CN113288193B publication Critical patent/CN113288193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，包括：数据采集：首先从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区的轮廓数据；数据预处理：对采集的临床靶区的轮廓数据进行预处理后，按照8:2的比例划分为训练集和测试集；模型训练：将预处理之后的训练集送入搭建的卷积神经网络中进行模型训练，当测试集的损失函数达到最小时，停止训练；以及预测结果融合：利用上述模型进行预测可得到颈部引流区的掩膜、乳房靶区的掩膜及内乳引流区的掩膜，将上述三个掩膜进行后处理融合成一个整体的乳腺癌临床靶区。本发明的自动勾画系统能够减少放疗时医生勾画乳腺癌靶区的时间，并可提高医生勾画结果的一致性。

Description

基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统
技术领域
本发明是关于医学图像处理技术领域，特别是关于一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统。
背景技术
据全球统计数据显示，乳腺癌已经成为全球女性多发的恶性肿瘤之一，且随着生活水平的提高，乳腺癌的发病率逐年提升且发病年龄日益年轻化。随着医疗手段的进步，放射治疗技术已经成为乳腺癌主要治疗手段之一，乳腺癌放疗可以大大提高病人的生活质量，同时提高患者的生存率。然而靶区勾画是放射治疗的关键点也是难点，靶区勾画耗费医生大量的时间和精力，且完全依赖医生的临床经验，主观性较强，因此靶区自动勾画应运而生。
目前乳腺癌临床靶区的勾画主要存在以下几种技术：第一种为医生手动勾画，这种技术关键点在于医生，临床医生根据经验进行靶区勾画，一致性较差，且耗费医生大量的时间和精力。第二种为模板匹配，这种技术需要医生挑选模板，在勾画时，先进行图像配准，然后将模板的靶区通过配准矩阵融合到病人图像上。第三种为利用深度学习进行乳房靶区自动勾画，这种技术需要收集大量数据，训练网络模型，利用训练较好的模型进行靶区自动勾画。
医生手动勾画靶区，一方面，CT影像的层数较多，导致医生手动勾画耗费较长时间，加重医生负担。另一方面，每个病人独特的解剖结构以及拍摄CT影像时不同摆位的差异，还有放疗医生的主观经验，这些因素都导致靶区勾画的结果过于主观，不同医生勾画的靶区存在较大差异，对放疗效果评估会产生非常不利的影响。
基于模板匹配的乳腺癌临床靶区勾画主要依赖医生选择的模板以及配准算法的精度。在进行靶区勾画时，需要首先进行图像配准，图像配准的精度直接影响靶区勾画的准确度，并且图像配准对图像的完整性要求较高，缺层以及不同层厚拼接的CT影像都会导致配准失败进而导致靶区勾画失败。
目前现有的基于深度学习的乳腺癌临床靶区勾画方法主要集中在勾画乳房区域的靶区，然而忽略了内乳引流区和颈部引流区，其次，现存的多种方法仅考虑到二维区域上乳房靶区的勾画，忽略了三维上靶区的连续性，导致靶区三维连续性较差，进而导致放疗时剂量的差异较大。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其能够减少乳腺癌病人放疗时医生勾画靶区的时间，并可提高医生勾画的一致性。
为实现上述目的，本发明提供了一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，包括：数据采集：首先从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区的轮廓数据；数据预处理：对采集的临床靶区的轮廓数据进行预处理后，按照8:2的比例划分为训练集和测试集；其中，数据预处理的方法包括：利用合适的灰度阈值对CT影像的身体进行分割之后，保留身体掩膜的三维最大连通域；将CT影像的相邻三层定义为一个块，以一个块的身体掩膜的中心点为中心，截取像素区域，并通过线性插值归一化到相同尺寸的像素区域；提取临床靶区的轮廓点，并将其插值成为掩膜，以一个块的身体掩膜的中心点为中心，截取相同的像素区域，并通过线性插值归一化；及利用数据翻转、加入噪声的方法对上述步骤之后的数据进行增广；模型训练：将预处理之后的训练集送入搭建的卷积神经网络中进行模型训练，当测试集的损失函数达到最小时，停止训练；其中，使用的卷积神经网络在卷积模块中加入了残差模块和通道注意力机制，并将第一个卷积模块设置为三维卷积模块，其余均为二维卷积模块；以及预测结果融合：利用上述模型进行预测可得到的颈部引流区的掩膜、乳房靶区的掩膜及内乳引流区的掩膜，将上述三个掩膜进行后处理融合成一个整体的乳腺癌临床靶区。
在一优选的实施方式中，乳腺癌的临床靶区包括颈部引流区、乳房靶区以及内乳引流区。
在一优选的实施方式中，数据预处理还包括CT影像身体分割步骤：首先根据CT影像的图像灰度选择合适的阈值，将CT影像中低于阈值的区域置为1，其余区域置为0，能够得到与CT影像相对应的二维掩膜；其次在二维掩膜中，保留二维层面上的最大连通域，最后保留二维掩膜中为0的区域的三维最大连通域即能够得到CT影像的身体掩膜。
在一优选的实施方式中，数据预处理还包括感兴趣区域的裁剪步骤：以CT影像的相邻三层为一个块，以每个块为单位，选取每个块对应的身体掩膜的中心点为中心，截取固定像素大小的感兴趣区域，之后将固定像素大小的感兴趣区域通过线性插值归一化到像素为320×320区域。
在一优选的实施方式中，数据预处理还包括CTV(临床靶区)轮廓数据预处理步骤：根据CTV轮廓数据，将CTV轮廓数据的轮廓点数据提取出来，并生成掩膜，在掩膜上，同样以感兴趣区域的裁剪步骤截取得到像素为320×320的掩膜区域。
在一优选的实施方式中，数据翻转为将数据和掩膜数据同时进行上下翻转及左右翻转；加入噪声包括高斯噪声或椒盐噪声；旋转为将数据和掩膜进行相同角度的旋转，旋转角度介于0-180度之间。
在一优选的实施方式中，在原先卷积模块的基础上加入残差模块；在残差模块的基础上加入通道注意力机制，通道注意力机制能通过反向传播逐渐对不同通道分配不同的权重，从而利用相关位置的空间信息建模通道之间的相关性，使网络更快的收敛；将网络的第一个特征提取层设置为三维卷积层，其余均设置为二维残差层。
在一优选的实施方式中，对颈部引流区的输出通道、乳房靶区的输出通道以及内乳引流区的输出通道的dice相似系数设置不同的权重，权重分别为0.2、0.2、0.6；采用加权随机采样方式进行数据加载在训练过程中为保证数据的均衡性；将训练数据送入神经网络，经过前向计算得到预测结果，将预测结果与训练数据中的掩膜计算损失函数，并将该损失函数按照递进反向传入神经网络，并不断优化神经网络的参数以及不断重复上述训练过程；在此训练过程中，根据测试集的损失函数评估网络的学习能力，当测试集的损失函数最小且稳定时，即结束训练。
在一优选的实施方式中，预测结果融合步骤中采用的乳房靶区和内乳引流区后处理融合方式如下：首先计算内乳引流区的掩膜的中心点，然后计算内乳引流区的掩膜的中心点与乳房靶区的边界点的欧式距离，选择其中最短的欧氏距离做为核半径，然后对乳房靶区进行闭操作，最后即能将乳房靶区和内乳引流区融合。
在一优选的实施方式中，基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统还包括：当需要预测CT影像的乳腺癌临床靶区时，依照数据预处理步骤对CT影像进行预处理，然后将影像输入模型训练步骤中经过训练的卷积神经网络，能够得到颈部引流区、乳房靶区以及内乳引流区的预测结果，接着进行预测结果融合步骤的后处理融合即能够得到临床靶区，最后根据数据预处理步骤的逆步骤，将其恢复到原始CT影像矩阵的尺寸。
与现有技术相比，本发明的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统具有以下有益效果：相对于医生手动勾画乳腺癌临床靶区，本发明的自动勾画系统可以明显缩短靶区勾画时间，减轻医生负担，提高靶区的一致性；医生手动勾画靶区通常需要1-2小时，而本自动勾画系统可将勾画时间缩短至3分钟以内，大大提高医生靶区勾画的效率。相对于模板匹配，本发明的自动勾画系统适应性更广，对缺层数据以及不同层厚拼接的数据依然可以进行靶区勾画；深度学习网络在训练过程中会进行大量的数据增广，因此本发明的自动勾画系统不依赖与图像配准的精度，对不同CT影像具有较强的适应性。相对于其他基于深度学习的靶区自动勾画技术，本发明的自动勾画系统的靶区勾画范围更广，更贴合临床需求，其靶区包括颈部引流区、乳房靶区以及内乳引流区；其次，本发明的自动勾画系统在训练数据预处理上，以相邻三层为一个块输入网络，加强靶区三维上的连续性。最后，在后处理上，本自动勾画系统采用融合算法将内乳引流区与靶区引流区进行了合成，最终输出了完整的乳腺癌临床靶区；经过测试，本发明自动勾画系统预测的临床靶区与医生手动勾画的靶区其dice系数可达0.85，且预测时间更短。
附图说明
图1是根据本发明一实施方式的自动勾画系统的步骤流程图；
图2是根据本发明一实施方式的自动勾画系统的网络结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1至图2所示，根据本发明优选实施方式的一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统。其技术步骤如图1所示，自动勾画系统的详细阐述如下：
(1)数据采集步骤：本发明的自动勾画系统中所指的临床靶区(简称CTV)包括颈部引流区、乳房靶区以及内乳引流区。基于以上说明，本发明的自动勾画系统首先需要从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区轮廓数据。
(2)数据预处理步骤：本步骤需要将采集得到的CT影像和医生勾画的临床靶区轮廓数据进行预处理后，按照8：2的比例划分为训练集和测试集，以便进行下一步的模型训练。其预处理步骤主要包括以下技术：
(2.1)在CT影像上进行身体(简称body)分割。首先需要根据图像灰度选择合适的阈值，将CT影像中低于阈值的区域置为1，其余区域置为0，可得到与CT影像相对应的二维掩膜(简称mask)。其次在上述mask中，保留二维层面上的最大连通域，最后保留上述mask中为0的区域的三维最大连通域即可得到CT影像的body掩膜。
(2.2)感兴趣区域裁剪。以CT影像的相邻三层为一个块(block)，以每个block为单位，选取其对应body掩膜的中心点为中心，截取固定像素大小的感兴趣区域，本发明的自动勾画系统中选择的固定像素大小为480*480。之后将固定像素大小的感兴趣区域通过线性插值归一化到像素为320*320的区域。
(2.3)CTV轮廓数据预处理步骤：根据CTV轮廓数据(包括颈部引流区、乳房靶区、内乳引流区)，将其轮廓点数据提取出来，并生成掩膜。在其掩膜上，同样以2.2的步骤截取得到像素为320*320的掩膜区域。
(2.4)数据增广步骤：将2.2步骤和2.3步骤得到的对应的感兴趣区域进行数据增广，增广手段包括但不限于数据翻转(即将数据和掩膜数据同时进行上下翻转以及左右翻转)、加入噪声(该噪声可包括高斯噪声、椒盐噪声等)、旋转(即将数据和掩膜进行相同角度的旋转，角度可选0-180度)
(3)模型训练步骤：由步骤(2)得到一批可用于训练神经网络的数据，根据数据量，可将该批数据按照8：2分成训练集和测试集。本发明的自动勾画系统中采用的卷积神经网络为引入通道注意力机制的残差网络(简称Attention_ResUNet)，该网络结构图如图2，该网络的主要特点在于，第一，在原先卷积模块的基础上加入残差模块，加入残差模块可使反向传播过程中梯度更容易传播，网络更容易优化。第二，在残差模块基础上，本发明还加入了通道注意力机制，该注意力机制可通过反向传播逐渐对不同通道分配不同的权重，从而利用相关位置的空间信息建模通道之间的相关性，使网络更快的收敛。第三，由于本发明的数据是一个三层数据的block，为了使网络能够学习到三维上靶区的连续性特征，本发明将网络第一个特征提取层设置为三维卷积层，其余均为二维残差层。接着，本发明使用的损失函数主要为加权dice相似系数。Dice相似系数是分割网络常用的损失函数，其计算方式为：
Figure GDA0003500017330000071
p为网络输出的结果，G为金标准矩阵。由于本发明的自动勾画系统的输出通道为多通道(三个通道，颈部引流区、乳房靶区、内乳引流区)，因此需要对每个通道的dice相似系数设置不同的权重，本发明的自动勾画系统中设置的权重分别为0.2、0.2、0.6。在训练过程中为保证数据的均衡性，可采用加权随机采样方式进行数据加载。根据本发明的网络和损失函数以及训练方法，将训练数据送入神经网络，经过前向计算得到预测结果，将预测结果与训练数据中的掩膜计算损失函数，并将该损失按照递进反向传入神经网络，并不断优化神经网络的参数，不断重复上述训练过程。在此训练过程中，根据测试集的损失函数评估网络的学习能力，当测试集的损失函数最小且稳定时，可结束训练。
(4)预测结果融合步骤：根据步骤(3)可得到三个预测掩膜，分别是颈部引流区、乳房靶区以及内乳引流区，在临床治疗中，这三个区域需要进行后处理融合成一个整体乳腺癌临床靶区(CTV)。由于本发明的自动勾画系统中输入为一个block(相邻三层组成一个block)，保证靶区在三维上的连续性，因此颈部引流区和乳房靶区在三维上具有连续性，需要后处理融合的两个区域为乳房靶区和内乳引流区。本发明自动勾画系统所采用的后处理融合方式如下，首先计算内乳引流区掩膜的中心点，然后计算该中心点与乳房靶区边界点的欧式距离，选择其中最短的欧氏距离做为核半径，然后对乳房靶区进行闭操作，最后即可将乳房靶区和内乳引流区融合。
在一些实施方式中，本发明的自动勾画系统还包括：当需要预测CT影像的乳腺癌临床靶区时，依照步骤(2)对CT影像进行预处理，然后将影像输入步骤(3)中经过训练的卷积神经网络，可得到颈部引流区、乳房靶区以及内乳引流区的预测结果，接着进行步骤(4)的后处理融合即可得到临床靶区(CTV)，最后根据步骤(2)的逆步骤，将其恢复到原始CT影像矩阵的尺寸。
在一些实施方式中，本发明的自动勾画系统旨在利用卷积神经网络实现CT影像上乳腺癌临床靶区的自动勾画，其临床靶区包括颈部引流区、乳房靶区以及内乳引流区。根据国际乳腺癌引流区勾画标准(RTOG)，颈部引流区主要包括锁骨上引流区、颈后引流区以及腋窝引流区。根据乳腺癌的治疗手段，进行乳房根治术的病人其乳房靶区包括乳腺区域、胸大肌、胸小肌以及胸壁区域；进行保乳术的病人其乳腺靶区仅包括乳腺区域。现有的乳腺癌临床靶区自动勾画系统，其临床靶区仅包括上述乳房靶区。
综上所述，本发明的基基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统具有以下优点：其主要步骤包括数据采集、数据预处理、模型训练、预测结果融合。首先需要从医院采集合适的经过临床放射治疗的乳腺癌患者CT影像以及靶区轮廓数据，数据预处理则需要分割CT影像的身体，主要利用合适的阈值将其分成0和1的掩膜，然后利用保留最大连通域的方法得到身体的掩膜，其次将相邻三层做为一个块，以其身体掩膜的中心点为中心，裁剪固定大小的感兴趣区域。这种预处理后的数据，输入网络，经过三维卷积模块，可以保证靶区在三维上的连通性。在模型训练阶段，本发明的自动勾画系统采用的是引入注意力机制的残差网络，该网络有利于反向传播过程中梯度的传播，加快网络优化，同时还能为不同通道分配不同的权重，使网络收敛的更优。在预测结果融合模块，则利用区域之间的最短欧氏距离做为形态学操作闭操作的核，进而得到融合之后的乳腺癌临床靶区。
本发明的自动勾画系统相对于医生手动勾画乳腺癌临床靶区，可以明显缩短靶区勾画时间，减轻医生负担，提高靶区的一致性；医生手动勾画靶区通常需要1-2小时，而本自动勾画系统可将勾画时间缩短至3分钟以内，大大提高医生靶区勾画的效率。相对于模板匹配，本发明的自动勾画系统适应性更广，对缺层数据以及不同层厚拼接的数据依然可以进行靶区勾画；深度学习网络在训练过程中会进行大量的数据增广，因此本发明的自动勾画系统不依赖与图像配准的精度，对不同CT影像具有较强的适应性。相对于其他基于深度学习的靶区自动勾画技术，本发明的自动勾画系统的靶区勾画范围更广，更贴合临床需求，其靶区包括颈部引流区、乳房靶区以及内乳引流区；其次，本发明的自动勾画系统在训练数据预处理上，以相邻三层为一个块输入网络，加强靶区三维上的连续性。最后，在后处理上，本自动勾画系统采用融合算法将内乳引流区与靶区引流区进行了合成，最终输出了完整的乳腺癌临床靶区；经过测试，本发明自动勾画系统预测的临床靶区与医生手动勾画的靶区其dice系数可达0.85，且预测时间更短。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (8)

1.一种基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，包括：
数据采集模块：首先从医院采集乳腺癌患者接受放疗前的CT影像以及医生手动勾画的临床靶区的轮廓数据；
数据预处理模块：对采集的所述临床靶区的轮廓数据进行预处理后，按照8:2的比例划分为训练集和测试集；
其中，所述数据预处理模块的处理方法包括：
利用合适的灰度阈值对所述CT影像的身体进行分割之后，保留身体掩膜的三维最大连通域；
将所述CT影像的相邻三层定义为一个块，以一个块的身体掩膜的中心点为中心，截取感兴趣区域，并通过线性插值归一化到相同尺寸的像素区域；
提取所述临床靶区的轮廓点，并将其插值成为掩膜，以所述一个块的身体掩膜的中心点为中心，截取相同的像素区域，并通过线性插值归一化；及
利用数据翻转、加入噪声及旋转的方法对上述步骤之后的数据进行增广；
模型训练模块：将预处理之后的训练集送入搭建的卷积神经网络中进行模型训练，当测试集的损失函数达到最小时，停止训练；其中，使用的卷积神经网络在卷积模块中加入了残差模块和通道注意力机制，并将第一个卷积模块设置为三维卷积模块，其余均为二维残差卷积模块；以及
预测结果融合模块：利用上述模型进行预测可得到颈部引流区的掩膜、乳房靶区的掩膜及内乳引流区的掩膜，将上述三个掩膜进行后处理融合成一个整体的乳腺癌临床靶区；
其中乳腺癌的所述临床靶区包括颈部引流区、乳房靶区以及内乳引流区；
其中所述模型训练模块中的损失函数为dice相似系数；
其中所述dice相似系数的计算方式为：
Figure FDA0003503727950000021
P为网络输出的结果，G为金标准矩阵；
其中对所述颈部引流区的输出通道、所述乳房靶区的输出通道以及所述内乳引流区的输出通道的dice相似系数设置不同的权重，所述权重分别为0.2、0.2、0.6；在训练过程中为保证数据的均衡性，采用加权随机采样方式进行数据加载；
将训练数据送入神经网络，经过前向计算得到预测结果，将所述预测结果与所述训练数据中的掩膜计算损失函数，并将该损失函数按照递进反向传入神经网络，并不断优化神经网络的参数以及不断重复上述训练过程；在此训练过程中，根据测试集的损失函数评估网络的学习能力，当测试集的损失函数最小且稳定时，即结束训练。
2.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，所述数据预处理模块的处理方法还包括CT影像身体分割步骤：首先根据所述CT影像的图像灰度选择合适的阈值，将所述CT影像中低于阈值的像素值置为1，其余像素置为0，能够得到与所述CT影像相对应的二维掩膜；其次在所述二维掩膜中，保留二维层面上的最大连通域，最后保留所述二维掩膜中像素值为0的区域的三维最大连通域即能够得到所述CT影像的身体掩膜。
3.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，所述数据预处理模块的处理方法还包括感兴趣区域的裁剪步骤：以所述CT影像的相邻三层为一个块，以每个所述块为单位，选取每个所述块对应的所述身体掩膜的中心点为中心，截取固定像素尺寸的感兴趣区域，之后将所述固定像素尺寸的感兴趣区域通过线性插值归一化到320像素。
4.如权利要求3所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，所述数据预处理模块的处理方法还包括所述临床靶区的轮廓数据的预处理步骤：根据所述临床靶区的轮廓数据，将所述临床靶区的轮廓数据的轮廓点数据提取出来，并生成掩膜，在所述掩膜上，同样以所述感兴趣区域的裁剪步骤截取得到像素尺寸为320×320的掩膜区域。
5.如权利要求4所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，所述数据翻转为将根据权利要求3获取的感兴趣区域的裁剪数据和根据权利要求4获取的掩膜区域数据同时进行上下翻转及左右翻转；所述加入噪声包括加入高斯噪声或椒盐噪声；所述旋转为将所述感兴趣区域的裁剪数据和所述掩膜区域数据进行相同角度的旋转，旋转角度介于0-180度之间。
6.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，在原先卷积模块的基础上加入残差模块；在所述残差模块的基础上加入通道注意力机制，所述通道注意力机制能通过反向传播逐渐对不同通道分配不同的权重，从而利用相关位置的空间信息建模通道之间的相关性，使卷积神经网络更快的收敛。
7.如权利要求1所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，因为CT影像的相邻三层组成一个块保证了靶区在三维上的连续性，因此，所述颈部引流区和所述乳房靶区在三维上具有连续性，所以后处理融合的两个区域为所述乳房靶区和所述内乳引流区，所述预测结果融合模块即所述乳房靶区和所述内乳引流区的后处理融合方式如下：首先计算所述内乳引流区的掩膜的中心点，然后计算所述内乳引流区的掩膜的中心点与所述乳房靶区的边界点的欧式距离，选择其中最短的欧氏距离做为核半径，然后对所述乳房靶区进行闭操作，最后即能将所述乳房靶区和所述内乳引流区融合。
8.如权利要求2所述的基于深度学习的CT影像乳腺癌临床靶区的自动勾画系统，其特征在于，还包括：当需要预测所述CT影像的乳腺癌临床靶区时，依照所述数据预处理步骤对所述CT影像进行预处理，然后将影像输入所述模型训练步骤中经过训练的卷积神经网络，能够得到所述颈部引流区、所述乳房靶区以及所述内乳引流区的预测结果，接着进行所述预测结果融合步骤的后处理融合即能够得到临床靶区，最后根据所述数据预处理步骤的逆步骤，将其恢复到原始CT影像矩阵的尺寸。
CN202110772940.2A 2021-07-08 2021-07-08 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统 Active CN113288193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110772940.2A CN113288193B (zh) 2021-07-08 2021-07-08 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110772940.2A CN113288193B (zh) 2021-07-08 2021-07-08 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统

Publications (2)

Publication Number Publication Date
CN113288193A CN113288193A (zh) 2021-08-24
CN113288193B true CN113288193B (zh) 2022-04-01

Family

ID=77330654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110772940.2A Active CN113288193B (zh) 2021-07-08 2021-07-08 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统

Country Status (1)

Country Link
CN (1) CN113288193B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018809B (zh) * 2022-06-28 2024-09-10 华中科技大学 Ct图像的靶区分割识别方法及系统
CN115187577B (zh) * 2022-08-05 2023-05-09 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统
CN117476219B (zh) * 2023-12-27 2024-03-12 四川省肿瘤医院 基于大数据分析的定位ct断层图像的辅助方法和辅助系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517254A (zh) * 2019-08-29 2019-11-29 清华大学 基于深度学习的临床靶区自动勾画方法、装置及相关设备
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
CN112950651A (zh) * 2021-02-02 2021-06-11 广州柏视医疗科技有限公司 基于深度学习网络的纵隔淋巴引流区的自动勾画方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517254A (zh) * 2019-08-29 2019-11-29 清华大学 基于深度学习的临床靶区自动勾画方法、装置及相关设备
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
CN112950651A (zh) * 2021-02-02 2021-06-11 广州柏视医疗科技有限公司 基于深度学习网络的纵隔淋巴引流区的自动勾画方法

Also Published As

Publication number Publication date
CN113288193A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113288193B (zh) 基于深度学习的ct影像乳腺癌临床靶区的自动勾画系统
WO2023221954A1 (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
EP3913576A1 (en) Deep-learning-based method for predicting morphological change of liver tumor after ablation
CN107403201A (zh) 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN111105424A (zh) 淋巴结自动勾画方法及装置
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN108053417A (zh) 一种基于混合粗分割特征的3DU-Net网络的肺分割装置
CN110570432A (zh) 一种基于深度学习的ct图像肝脏肿瘤分割方法
CN109636806B (zh) 一种基于多步学习的三维核磁共振胰腺图像分割方法
CN114037714B (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN111681210A (zh) 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
CN109255354B (zh) 面向医用ct的计算机图像处理方法和装置
CN110008992B (zh) 一种用于前列腺癌辅助诊断的深度学习方法
Wu et al. Ultrasound image segmentation method for thyroid nodules using ASPP fusion features
CN103544695B (zh) 一种高效的基于博弈框架的医学图像分割方法
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
CN112950611A (zh) 一种基于ct图像的肝脏血管分割方法
CN115439650A (zh) 基于ct图像跨模态迁移学习的肾脏超声图像分割方法
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN113744215B (zh) 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
CN111915698B (zh) 一种脉管浸润检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant