CN114022491A - 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 - Google Patents

基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 Download PDF

Info

Publication number
CN114022491A
CN114022491A CN202111252246.4A CN202111252246A CN114022491A CN 114022491 A CN114022491 A CN 114022491A CN 202111252246 A CN202111252246 A CN 202111252246A CN 114022491 A CN114022491 A CN 114022491A
Authority
CN
China
Prior art keywords
target area
convolution
image
esophageal cancer
cancer tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111252246.4A
Other languages
English (en)
Other versions
CN114022491B (zh
Inventor
黄晓雨
黄勇
汪琦
张梅
吴齐兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Medical University
Second Peoples Hospital of Hefei
Original Assignee
Anhui Medical University
Second Peoples Hospital of Hefei
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Medical University, Second Peoples Hospital of Hefei filed Critical Anhui Medical University
Priority to CN202111252246.4A priority Critical patent/CN114022491B/zh
Publication of CN114022491A publication Critical patent/CN114022491A/zh
Application granted granted Critical
Publication of CN114022491B publication Critical patent/CN114022491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，与现有技术相比解决了难以针对小数据集的食管癌肿瘤靶区影像进行自动勾画的缺陷。本发明包括以下步骤：小数据训练集的获取和预处理；食管癌肿瘤靶区影像自动勾画模型的建立；食管癌肿瘤靶区影像自动勾画模型的训练；待勾画影像的获取；食管癌肿瘤靶区影像勾画结果的获得。本发明可有效解决小数据集带来的过拟合问题，以及食管癌CT图像肿瘤靶区较小、形状多变所导致的分割精度不高等问题，从而提高目标靶区的分割效果，更加准确的自动分割食管癌肿瘤靶区，使得食管癌肿瘤靶区勾画更具有普适性。

Description

基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自 动勾画方法
技术领域
本发明涉及医学影像处理技术领域，具体来说是一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法。
背景技术
食管癌(esophageal cancer，EC)是一种侵袭性很强的恶性肿瘤，其发病率在世界范围内呈上升趋势，尤其是在中国。目前，5年生存率仅为15％至25％。手术切除是食管癌的首选治疗方法，但根治性切除后的复发率仍然很高。局部复发是治疗失败的主要原因，术后放疗是控制局部复发和延长生存期的主要治疗方法。
电子计算机断层扫描(Computed Tomography，CT)基本原理是图像重建，根据人体各种组织(包括正常和异常组织)对X射线吸收不等这一特性，将人体某一选定层面分成许多立方体小块(也称体素)X射线穿过体素后，测得的密度或灰度值称为象素。X射线束穿过选定层面，探测器接收到沿X射线束方向排列的各体素吸收X射线后衰减值的总和，为已知值，形成该总量的各体素X射线衰减值为未知值，当X射线发生源和探测器围绕人体做圆弧或圆周相对运动时。用迭代方法求出每一体素的X射线衰减值并进行图像重建，得到该层面不同密度组织的黑白图像。
传统食管癌靶区勾画主要来源于医生手工操作，这严重依赖于医生的经验以及工作态，对于同样的病例，不同的医生可能会给出不同的勾画。不仅如此，目前国内的医生工作量很大，巨大的工作压力使勾画很容易出错，这将给患者的后续治疗带来严重后果。
现有的自动辅助系统中,大多采用的是“模板匹配”方法，但这种方法无法自适应影像做出勾画结果，需要人工提前设置病人的体重、身高等参数，无法有效降低工作量提高工作效率。这种方法还需要在数据库中保存数据巨大的模板,在对新的病例进行处理时，需要通过数据库模板和新病例做比对得到结论，而大量的数据模板则增加了工作量。此外,即使有一定数量的模板,模板匹配是一种自适应性低的解决方法,在遇到新的病例时,很难提高勾画的正确率,仍需要花费很大的工作量进行再次人工勾画及修改。
因此，如何设计出一种针对这种小数据集的食管癌肿瘤靶区(CT)影像进行自动勾画的方法已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以针对小数据集的食管癌肿瘤靶区影像进行自动勾画的缺陷，提供一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，包括以下步骤：
11)小数据训练集的获取和预处理：获取经过调强放疗的食管癌患者CT影像数据，并导出其肿瘤靶区作为Mask文件；对CT影像数据进行归一化、数据增强预处理；
12)食管癌肿瘤靶区影像自动勾画模型的建立：基于改进空间金字塔模型构建食管癌肿瘤靶区影像自动勾画模型；
13)食管癌肿瘤靶区影像自动勾画模型的训练：将预处理后的CT影像数据输入食管癌肿瘤靶区影像自动勾画模型，得到训练后的食管癌肿瘤靶区影像自动勾画模型；
14)待勾画影像的获取：获取待勾画的食管癌肿瘤靶区CT影像数据并进行预处理；
15)食管癌肿瘤靶区影像勾画结果的获得：将预处理后的待勾画食管癌肿瘤靶区CT影像数据输入训练后的食管癌肿瘤靶区影像自动勾画模型，获得食管癌肿瘤靶区影像勾画结果。
所述小数据训练集的获取和预处理包括以下步骤：
21)读取原始的Dicom格式的CT图片；
22)根据其Dicom文件信息生成食管癌肿瘤靶区Mask图片；
23)检索获取食管癌肿瘤靶区的像素值范围(Min,Max)，其具体步骤如下：
231)通过遍历Mask图片的像素值获取食管癌肿瘤靶区位置的像素点，从而得到食管癌肿瘤靶区位置索引；
232)通过遍历CT图像的全部像素点获取各个位置上的像素值；
233)根据Mask图片的食管癌肿瘤靶区位置索引得到CT图片上食管癌肿瘤靶区位置的所有像素值，并统计最大像素值Max与最小像素值Min，得到食管癌肿瘤靶区的像素值范围(Min,Max)；
24)以食管癌肿瘤靶区的像素值范围(Min,Max)将CT图像的所有像素值映射到0～255之间，公式如下；
Figure BDA0003322760850000031
其中p表示最终像素值，pi表示当前像素值；
25)进行像素值映射，其具体操作步骤如下：
251)遍历CT图像的全部像素；
252)判断当前像素值pi是否在食管癌肿瘤靶区的像素值范围(Min,Max)之间，若在则将当前像素值减去Min除以Max与Min的差值再乘以255得到最终的像素值p；
253)若不在则将当前像素值pi赋值为0；
26)将映射后的CT图片进行数据增广，得到最终的预处理后的图片；数据增广的具体步骤如下：
261)以0.5的概率对图像进行图像旋转，左右最大旋转角度为10度；
262)以0.5的概率对图像进行水平翻转；
263)以0.5的概率对图像进行缩放变换，面积为原始图片的0.85；
264)以0.5的概率对图像进行错切变换，变形程度0.15。
所述食管癌肿瘤靶区影像自动勾画模型的建立包括以下步骤：
31)构建用于提取抽象特征以扩大感受野的下采样结构，其下采样结构包括一个卷积核大小为2x2的池化层，以及两个空洞卷积空间金字塔层；
设定空洞卷积空间金字塔层将其输入分别通过四条路径：
第一条路径对输入执行一次卷积核大小为3x3的普通卷积；
第二条路径对输入执行一次卷积核大小为3x3、空洞率为2、边缘填充也为2的空洞卷积；
第三条路径对输入执行一次卷积核大小为3x3、空洞率为4、边缘填充也为4的空洞卷积；
第四条路径对输入执行一次卷积核大小为3x3、空洞率为6、边缘填充也为6的空洞卷积；
四条路径的结果拼接在一起，再依次执行一次卷积核大小为1x1的普通卷积层、组归一化和线性整流激活函数，得到空洞卷积空间金字塔层的输出；
32)构建用于恢复细节信息的上采样结构，其上采样结构包括一个倍数为2的上采样层以及两个空洞卷积空间金字塔层；
33)构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；
34)构建用于不同尺度的特征融合、提升模型整体的特征提取能力的空间金字塔池化结构；
设定空间金字塔池化结构中有四条路径，其中三条路径分别为池化核大小是3x3、5x5、9x9，边缘填充分别为1、2、4的池化层，之后将这三条路径与第四条路径的输入相加，得到空间金字塔池化结构的输出。
所述食管癌肿瘤靶区影像自动勾画模型的训练包括以下步骤：
41)将预处理后的CT影像数据输入食管癌肿瘤靶区影像自动勾画模型；
42)依次执行两次卷积核大小为3x3的普通卷积层、组归一化、线性整流激活函数；
43)执行一次池化核大小为2x2的全局最大池化下采样；
44)执行第一个两次空洞卷积空间金字塔层，其中，空洞卷积空间金字塔层的输出如下；
第一条路径对输入执行一次卷积核大小为3x3的普通卷积；
第二条路径对输入执行一次卷积核大小为3x3，空洞率为2、边缘填充为2的空洞卷积；
第三条路径对输入执行一次卷积核大小为3x3，空洞率为4、边缘填充为4的空洞卷积；
第四条路径对输入执行一次卷积核大小为3x3，空洞率为6、边缘填充为6的空洞卷积；
之后将四条路径上的结果拼接在一起；
再依次执行卷积核大小为1x1的普通卷积层、组归一化和线性整流激活函数，得到空洞卷积空间金字塔层的输出；
45)执行一次池化核大小为2x2的全局最大池化下采样；
46)执行第二个两次空洞卷积空间金字塔层；
47)执行一次池化核大小为2x2的全局最大池化下采样；
48)执行第三个两次空洞卷积空间金字塔层；
49)执行一次池化核大小为2x2的全局最大池化下采样；
410)执行第四个两次空洞卷积空间金字塔层；
411)执行空间金字塔池化结构，空间金字塔池化结构的输出如下：
第一条路径执行一次池化核大小为3x3、边缘填充为1的全局最大池化；
第二条路径执行一次池化核大小为5x5、边缘填充为2的全局最大池化；
第三条路径执行一次池化核大小为9x9、边缘填充为4的全局最大池化；
最后将最开始的输入与三条路径相加得到空间金字塔池化结构的输出；
412)执行一次倍数为2的上采样并通过跳跃连接结构拼接第三个两次空洞卷积空间金字塔层的输出；
413)执行第五个两次空洞卷积空间金字塔层；
414)执行一次倍数为2的上采样并通过跳跃连接结构拼接第二个两次空洞卷积空间金字塔层的输出；
415)执行第六个两次空洞卷积空间金字塔层；
416)执行一次倍数为2的上采样并通过跳跃连接结构拼接第一个两次空洞卷积空间金字塔层的输出；
417)执行第七个两次空洞卷积空间金字塔层；
418)执行一次倍数为2的上采样并通过跳跃连接结构拼接最开始两次普通卷积的输出；
419)执行第八个两次空洞卷积空间金字塔层；
420)执行一次卷积核大小为3x3的普通卷积层组归一化、线性整流激活函数，得到最终的分割概率；
421)使用带权重的复合损失函数WFocal_DiceLoss对最终的分割概率进行计算得到分割损失；
422)使用分割损失，反向传播更新模型参数；
423)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回41)步重新加载数据继续训练。
有益效果
本发明的一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，与现有技术相比通过基于深度学习的肿瘤靶区分割模型训练方法得到的模型应用于食管癌肿瘤靶区勾画方法中，可有效解决小数据集带来的过拟合问题，以及食管癌CT图像肿瘤靶区较小、形状多变所导致的分割精度不高等问题，从而提高目标靶区的分割效果，更加准确的自动分割食管癌肿瘤靶区，使得食管癌肿瘤靶区勾画更具有普适性。
附图说明
图1为本发明的方法顺序图；
图2为本发明改进空间金字塔模型结构的示意图；
图3为本发明空洞卷积空间金字塔结构的示意图；
图4为本发明空间金字塔池化结构的示意图；
图5为本发明所述方法与人工勾画结果的对比图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，包括以下步骤：
第一步，小数据训练集的获取和预处理：获取经过调强放疗的食管癌患者CT影像数据，并导出其肿瘤靶区作为Mask文件；对CT影像数据进行归一化、数据增强预处理。其具体步骤如下：
(1)读取原始的Dicom格式的CT图片。
(2)根据其Dicom文件信息生成食管癌肿瘤靶区Mask图片。
(3)检索获取食管癌肿瘤靶区的像素值范围(Min,Max)，其具体操作步骤如下：
A1)通过遍历Mask图片的像素值获取食管癌肿瘤靶区位置的像素点，从而得到食管癌肿瘤靶区位置索引；
A2)通过遍历CT图像的全部像素点获取各个位置上的像素值；
A3)根据Mask图片的食管癌肿瘤靶区位置索引得到CT图片上食管癌肿瘤靶区位置的所有像素值，并统计最大像素值Max与最小像素值Min，得到食管癌肿瘤靶区的像素值范围(Min,Max)；
(4)以食管癌肿瘤靶区的像素值范围(Min,Max)将CT图像的所有像素值映射到0～255之间，公式如下；
Figure BDA0003322760850000071
其中p表示最终像素值，pi表示当前像素值。
(5)进行像素值映射，其具体操作步骤如下：
B1)遍历CT图像的全部像素；
B2)判断当前像素值pi是否在食管癌肿瘤靶区的像素值范围(Min,Max)之间，若在则将当前像素值减去Min除以Max与Min的差值在乘以255得到最终的像素值p；
B3)若不在则将当前像素值pi赋值为0。
(6)将映射后的CT图片进行数据增广，得到最终的预处理后的图片；数据增广的具体步骤如下：
C1)以0.5的概率对图像进行图像旋转，左右最大旋转角度为10度；
C2)以0.5的概率对图像进行水平翻转；
C3)以0.5的概率对图像进行缩放变换，面积为原始图片的0.85；
C4)以0.5的概率对图像进行错切变换，变形程度0.15。
第二步，食管癌肿瘤靶区影像自动勾画模型的建立：基于改进空间金字塔模型构建食管癌肿瘤靶区影像自动勾画模型。
通过构建的食管癌肿瘤靶区影像自动勾画模型，可以利用更少的数据从而达到较高的精度，能够自动勾画食管癌肿瘤靶区，同时靶区的勾画标准更加统一，使食管癌肿瘤靶区勾画更具有普适性。并且通过采用一种带权重的复合损失函数WFocal_DiceLoss以及数据增广等方法解决了小数据集带来的过拟合问题。
利用深度学习的方法在小数据集上进行训练，很容易造成过拟合现象，简单的说就是训练集上效果很好，但在测试集上效果却不尽人意，甚至很差。而本发明提出一种基于改进空间金字塔模型，采用一种带权重的复合损失函数WFocal_DiceLoss，并辅以5折交叉验证、数据增广等方法来训练模型，解决了过拟合问题，从而达到较快的速度以及较高的精度。
其具体步骤如下：
(1)构建用于提取抽象特征以扩大感受野的下采样结构，其下采样结构包括一个卷积核大小为2x2的池化层，以及两个空洞卷积空间金字塔层。
设定空洞卷积空间金字塔层将其输入分别通过四条路径，如图3所示：
第一条路径对输入执行一次卷积核大小为3x3的普通卷积；
第二条路径对输入执行一次卷积核大小为3x3、空洞率为2、边缘填充也为2的空洞卷积；
第三条路径对输入执行一次卷积核大小为3x3、空洞率为4、边缘填充也为4的空洞卷积；
第四条路径对输入执行一次卷积核大小为3x3、空洞率为6、边缘填充也为6的空洞卷积；
四条路径的结果拼接在一起，依次执行一次卷积核大小为1x1的普通卷积层、组归一化和线性整流激活函数，得到空洞卷积空间金字塔层的输出。
(2)构建用于恢复细节信息的上采样结构，其上采样结构包括一个倍数为2的上采样层以及两个空洞卷积空间金字塔层。
(3)构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出。
(4)构建用于不同尺度的特征融合、提升模型整体的特征提取能力的空间金字塔池化结构；
设定空间金字塔池化结构中有四条路径，如图4所示，其中三条路径分别为池化核大小是3x3、5x5、9x9，边缘填充分别为1、2、4的池化层，之后将这三条路径与第四条路径的输入相加，得到空间金字塔池化结构的输出。
食管癌肿瘤靶区影像自动勾画模型的总体结构，如图2所示：
经过两次卷积核大小为3x3的普通卷积层(包含组归一化，线性整流激活函数)；四次下采样结构；一次空间金字塔池化结构；通过跳跃连接结构将第三次下采样的输出连接第一次上采样；通过跳跃连接结构将第二次下采样的输出连接第二次上采样；通过跳跃连接结构将第一次下采样的输出连接第三次上采样；通过跳跃连接结构将最开始的两次普通卷积层的输出连接第四次上采样从而完成四次上采样结构；最后经过一次卷积核大小为3x3的普通卷积层(包含组归一化，线性整流激活函数)完成整个模型的搭建。
第三步，食管癌肿瘤靶区影像自动勾画模型的训练：将预处理后的CT影像数据输入食管癌肿瘤靶区影像自动勾画模型，得到训练后的食管癌肿瘤靶区影像自动勾画模型。
在深度学习模型训练时，采用5折交叉验证，数据增广以及提出一种带权重的复合损失函数WFocal_DiceLoss，来防止小数据集带来的过拟合问题，以及一系列方法来提升最终的分割精度。小数据情况下的训练模型容易过拟合，在此，采用一种基于改进空间金字塔模型以及复合损失函数训练模型，解决了过拟合问题，并且勾画迅速，且精度较高。
其具体步骤如下：
(1)将预处理后的CT影像数据输入食管癌肿瘤靶区影像自动勾画模型。
(2)依次执行两次卷积核大小为3x3的普通卷积层、组归一化、线性整流激活函数。
(3)执行一次池化核大小为2x2的全局最大池化下采样。
(4)执行第一个两次空洞卷积空间金字塔层，其中，空洞卷积空间金字塔层的输出如下；
第一条路径对输入执行一次卷积核大小为3x3的普通卷积；
第二条路径对输入执行一次卷积核大小为3x3，空洞率为2、边缘填充为2的空洞卷积；
第三条路径对输入执行一次卷积核大小为3x3，空洞率为4、边缘填充为4的空洞卷积；
四条路径对输入执行一次卷积核大小为3x3，空洞率为6、边缘填充为6的空洞卷积；
之后将四条路径上的结果拼接在一起；
再依次执行卷积核大小为1x1的普通卷积层、组归一化和线性整流激活函数，得到空洞卷积空间金字塔层的输出。
(5)执行一次池化核大小为2x2的全局最大池化下采样。
(6)执行第二个两次空洞卷积空间金字塔层。
(7)执行一次池化核大小为2x2的全局最大池化下采样。
(8)执行第三个两次空洞卷积空间金字塔层。
(9)执行一次池化核大小为2x2的全局最大池化下采样。
(10)执行第四个两次空洞卷积空间金字塔层。
(11)执行空间金字塔池化结构，空间金字塔池化结构的输出如下：
第一条路径执行一次池化核大小为3x3、边缘填充为1的全局最大池化；
第二条路径执行一次池化核大小为5x5、边缘填充为2的全局最大池化；
第三条路径执行一次池化核大小为9x9、边缘填充为4的全局最大池化；
最后将最开始的输入与三条路径相加得到空间金字塔池化结构的输出。
(12)执行一次倍数为2的上采样并通过跳跃连接结构拼接第三个两次空洞卷积空间金字塔层的输出。
(13)执行第五个两次空洞卷积空间金字塔层。
(14)执行一次倍数为2的上采样并通过跳跃连接结构拼接第二个两次空洞卷积空间金字塔层的输出。
(15)执行第六个两次空洞卷积空间金字塔层。
(16)执行一次倍数为2的上采样并通过跳跃连接结构拼接第一个两次空洞卷积空间金字塔层的输出。
(17)执行第七个两次空洞卷积空间金字塔层。
(18)执行一次倍数为2的上采样并通过跳跃连接结构拼接最开始两次普通卷积的输出。
(19)执行第八个两次空洞卷积空间金字塔层.
(20)执行一次卷积核大小为3x3的普通卷积层组归一化、线性整流激活函数，得到最终的分割概率。
(21)使用带权重的复合损失函数WFocal_DiceLoss对最终的分割概率进行计算得到分割损失。
(22)使用分割损失，反向传播更新模型参数。
(23)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回第一步重新加载数据继续训练。
第四步，待勾画影像的获取：获取待勾画的食管癌肿瘤靶区CT影像数据并进行预处理。
第五步，食管癌肿瘤靶区影像勾画结果的获得：将预处理后的待勾画食管癌肿瘤靶区CT影像数据输入训练后的食管癌肿瘤靶区影像自动勾画模型，获得食管癌肿瘤靶区影像勾画结果。
如图5所示，其为食管癌肿瘤靶区影像的人工与自动勾画结果对比图，其中A指向为人工勾画的金标准、B指向为本专利所述方法勾画出的结果，从图5可以看出，利用本发明所述方法所获得的自动勾画结果，与人工基本无异，达到了满足实际应用的效果。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，其特征在于，包括以下步骤：
11)小数据训练集的获取和预处理：获取经过调强放疗的食管癌患者CT影像数据，并导出其肿瘤靶区作为Mask文件；对CT影像数据进行归一化、数据增强预处理；
12)食管癌肿瘤靶区影像自动勾画模型的建立：基于改进空间金字塔模型构建食管癌肿瘤靶区影像自动勾画模型；
13)食管癌肿瘤靶区影像自动勾画模型的训练：将预处理后的CT影像数据输入食管癌肿瘤靶区影像自动勾画模型，得到训练后的食管癌肿瘤靶区影像自动勾画模型；
14)待勾画影像的获取：获取待勾画的食管癌肿瘤靶区CT影像数据并进行预处理；
15)食管癌肿瘤靶区影像勾画结果的获得：将预处理后的待勾画食管癌肿瘤靶区CT影像数据输入训练后的食管癌肿瘤靶区影像自动勾画模型，获得食管癌肿瘤靶区影像勾画结果。
2.根据权利要求1所述的一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，其特征在于，所述小数据训练集的获取和预处理包括以下步骤：
21)读取原始的Dicom格式的CT图片；
22)根据其Dicom文件信息生成食管癌肿瘤靶区Mask图片；
23)检索获取食管癌肿瘤靶区的像素值范围(Min,Max)，其具体步骤如下：
231)通过遍历Mask图片的像素值获取食管癌肿瘤靶区位置的像素点，从而得到食管癌肿瘤靶区位置索引；
232)通过遍历CT图像的全部像素点获取各个位置上的像素值；
233)根据Mask图片的食管癌肿瘤靶区位置索引得到CT图片上食管癌肿瘤靶区位置的所有像素值，并统计最大像素值Max与最小像素值Min，得到食管癌肿瘤靶区的像素值范围(Min,Max)；
24)以食管癌肿瘤靶区的像素值范围(Min,Max)将CT图像的所有像素值映射到0～255之间，公式如下；
Figure FDA0003322760840000021
其中p表示最终像素值，pi表示当前像素值；
25)进行像素值映射，其具体操作步骤如下：
251)遍历CT图像的全部像素；
252)判断当前像素值pi是否在食管癌肿瘤靶区的像素值范围(Min,Max)之间，若在则将当前像素值减去Min除以Max与Min的差值再乘以255得到最终的像素值p；
253)若不在则将当前像素值pi赋值为0；
26)将映射后的CT图片进行数据增广，得到最终的预处理后的图片；数据增广的具体步骤如下：
261)以0.5的概率对图像进行图像旋转，左右最大旋转角度为10度；
262)以0.5的概率对图像进行水平翻转；
263)以0.5的概率对图像进行缩放变换，面积为原始图片的0.85；
264)以0.5的概率对图像进行错切变换，变形程度0.15。
3.根据权利要求1所述的一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，其特征在于，所述食管癌肿瘤靶区影像自动勾画模型的建立包括以下步骤：
31)构建用于提取抽象特征以扩大感受野的下采样结构，其下采样结构包括一个卷积核大小为2x2的池化层，以及两个空洞卷积空间金字塔层；
设定空洞卷积空间金字塔层将其输入分别通过四条路径：
第一条路径对输入执行一次卷积核大小为3x3的普通卷积；
第二条路径对输入执行一次卷积核大小为3x3、空洞率为2、边缘填充也为2的空洞卷积；
第三条路径对输入执行一次卷积核大小为3x3、空洞率为4、边缘填充也为4的空洞卷积；
第四条路径对输入执行一次卷积核大小为3x3、空洞率为6、边缘填充也为6的空洞卷积；
四条路径的结果拼接在一起，再依次执行一次卷积核大小为1x1的普通卷积层、组归一化和线性整流激活函数，得到空洞卷积空间金字塔层的输出；
32)构建用于恢复细节信息的上采样结构，其上采样结构包括一个倍数为2的上采样层以及两个空洞卷积空间金字塔层；
33)构建用于使用低层特征为高层特征补充细节信息的跳跃连接结构，其跳跃连接结构为拼接两个输入为一个输出；
34)构建用于不同尺度的特征融合、提升模型整体的特征提取能力的空间金字塔池化结构；
设定空间金字塔池化结构中有四条路径，其中三条路径分别为池化核大小是3x3、5x5、9x9，边缘填充分别为1、2、4的池化层，之后将这三条路径与第四条路径的输入相加，得到空间金字塔池化结构的输出。
4.根据权利要求1所述的一种基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法，其特征在于，所述食管癌肿瘤靶区影像自动勾画模型的训练包括以下步骤：
41)将预处理后的CT影像数据输入食管癌肿瘤靶区影像自动勾画模型；
42)依次执行两次卷积核大小为3x3的普通卷积层、组归一化、线性整流激活函数；
43)执行一次池化核大小为2x2的全局最大池化下采样；
44)执行第一个两次空洞卷积空间金字塔层，其中，空洞卷积空间金字塔层的输出如下；
第一条路径对输入执行一次卷积核大小为3x3的普通卷积；
第二条路径对输入执行一次卷积核大小为3x3，空洞率为2、边缘填充为2的空洞卷积；
第三条路径对输入执行一次卷积核大小为3x3，空洞率为4、边缘填充为4的空洞卷积；
第四条路径对输入执行一次卷积核大小为3x3，空洞率为6、边缘填充为6的空洞卷积；
之后将四条路径上的结果拼接在一起；
再依次执行卷积核大小为1x1的普通卷积层、组归一化和线性整流激活函数，得到空洞卷积空间金字塔层的输出；
45)执行一次池化核大小为2x2的全局最大池化下采样；
46)执行第二个两次空洞卷积空间金字塔层；
47)执行一次池化核大小为2x2的全局最大池化下采样；
48)执行第三个两次空洞卷积空间金字塔层；
49)执行一次池化核大小为2x2的全局最大池化下采样；
410)执行第四个两次空洞卷积空间金字塔层；
411)执行空间金字塔池化结构，空间金字塔池化结构的输出如下：
第一条路径执行一次池化核大小为3x3、边缘填充为1的全局最大池化；
第二条路径执行一次池化核大小为5x5、边缘填充为2的全局最大池化；
第三条路径执行一次池化核大小为9x9、边缘填充为4的全局最大池化；
最后将最开始的输入与三条路径相加得到空间金字塔池化结构的输出；
412)执行一次倍数为2的上采样并通过跳跃连接结构拼接第三个两次空洞卷积空间金字塔层的输出；
413)执行第五个两次空洞卷积空间金字塔层；
414)执行一次倍数为2的上采样并通过跳跃连接结构拼接第二个两次空洞卷积空间金字塔层的输出；
415)执行第六个两次空洞卷积空间金字塔层；
416)执行一次倍数为2的上采样并通过跳跃连接结构拼接第一个两次空洞卷积空间金字塔层的输出；
417)执行第七个两次空洞卷积空间金字塔层；
418)执行一次倍数为2的上采样并通过跳跃连接结构拼接最开始两次普通卷积的输出；
419)执行第八个两次空洞卷积空间金字塔层；
420)执行一次卷积核大小为3x3的普通卷积层组归一化、线性整流激活函数，得到最终的分割概率；
421)使用带权重的复合损失函数WFocal_DiceLoss对最终的分割概率进行计算得到分割损失；
422)使用分割损失，反向传播更新模型参数；
423)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回41)步重新加载数据继续训练。
CN202111252246.4A 2021-10-27 2021-10-27 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 Active CN114022491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111252246.4A CN114022491B (zh) 2021-10-27 2021-10-27 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111252246.4A CN114022491B (zh) 2021-10-27 2021-10-27 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法

Publications (2)

Publication Number Publication Date
CN114022491A true CN114022491A (zh) 2022-02-08
CN114022491B CN114022491B (zh) 2022-05-10

Family

ID=80057846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111252246.4A Active CN114022491B (zh) 2021-10-27 2021-10-27 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法

Country Status (1)

Country Link
CN (1) CN114022491B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775227A (zh) * 2022-10-12 2023-03-10 浙江吉昌新材料有限公司 防裂匣钵的智能化生产方法及其控制系统
CN116309558A (zh) * 2023-05-16 2023-06-23 四川大学华西医院 一种食管黏膜IPCLs血管区域分割方法、设备及存储介质
CN117934519A (zh) * 2024-03-21 2024-04-26 安徽大学 一种非配对增强合成的食管肿瘤ct图像自适应分割方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008541A (zh) * 2014-05-06 2014-08-27 广州医科大学附属肿瘤医院 一种pet/ct肿瘤靶区自动分割方法
CN109688820A (zh) * 2016-06-24 2019-04-26 科罗拉多州立大学董事会（法人团体） 用于生成条形码化组合文库的方法
CN110120052A (zh) * 2019-05-13 2019-08-13 上海联影医疗科技有限公司 一种靶区图像分割系统及装置
CN110533667A (zh) * 2019-07-29 2019-12-03 西安电子科技大学 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
WO2020238044A1 (zh) * 2019-05-31 2020-12-03 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112634308A (zh) * 2020-12-25 2021-04-09 南方医科大学 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN113077418A (zh) * 2021-03-18 2021-07-06 心医国际数字医疗系统(大连)有限公司 基于卷积神经网络的ct影像骨骼分割方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008541A (zh) * 2014-05-06 2014-08-27 广州医科大学附属肿瘤医院 一种pet/ct肿瘤靶区自动分割方法
CN109688820A (zh) * 2016-06-24 2019-04-26 科罗拉多州立大学董事会（法人团体） 用于生成条形码化组合文库的方法
CN110120052A (zh) * 2019-05-13 2019-08-13 上海联影医疗科技有限公司 一种靶区图像分割系统及装置
WO2020238044A1 (zh) * 2019-05-31 2020-12-03 深圳市前海安测信息技术有限公司 用于检测肿瘤的3D UNet网络模型构建方法、装置及存储介质
CN110533667A (zh) * 2019-07-29 2019-12-03 西安电子科技大学 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法
CN111798462A (zh) * 2020-06-30 2020-10-20 电子科技大学 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
CN112270660A (zh) * 2020-09-30 2021-01-26 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112634308A (zh) * 2020-12-25 2021-04-09 南方医科大学 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN113077418A (zh) * 2021-03-18 2021-07-06 心医国际数字医疗系统(大连)有限公司 基于卷积神经网络的ct影像骨骼分割方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAKAI JIN 等: "DeepTarget: Gross tumor and clinical target volume segmentation in esophageal cancer radiotherapy", 《MEDICAL IMAGE ANALYSIS》 *
KUO MEN 等: "Cascaded atrous convolution and spatial pyramid pooling for more accurate tumor target segmentation for rectal cancer radiotherapy", 《HHS PUBLIC ACCESS》 *
蒋家良等: "特征区域再聚焦提升全卷积神经网络勾画较小靶区准确度", 《中国医学物理学杂志》 *
薛旭东等: "鼻咽癌原发肿瘤放疗靶区的自动分割", 《中国图象图形学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115775227A (zh) * 2022-10-12 2023-03-10 浙江吉昌新材料有限公司 防裂匣钵的智能化生产方法及其控制系统
CN116309558A (zh) * 2023-05-16 2023-06-23 四川大学华西医院 一种食管黏膜IPCLs血管区域分割方法、设备及存储介质
CN116309558B (zh) * 2023-05-16 2023-07-28 四川大学华西医院 一种食管黏膜IPCLs血管区域分割方法、设备及存储介质
CN117934519A (zh) * 2024-03-21 2024-04-26 安徽大学 一种非配对增强合成的食管肿瘤ct图像自适应分割方法
CN117934519B (zh) * 2024-03-21 2024-06-07 安徽大学 一种非配对增强合成的食管肿瘤ct图像自适应分割方法

Also Published As

Publication number Publication date
CN114022491B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN114022491B (zh) 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法
CN108022238B (zh) 对3d图像中对象进行检测的方法、计算机存储介质和系统
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
CN109615636B (zh) Ct影像的肺叶段分割中的血管树构造方法、装置
CN110009669B (zh) 一种基于深度强化学习的3d/2d医学图像配准方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
US8577129B2 (en) System and method for three-dimensional image rendering and analysis
CN112258530A (zh) 基于神经网络的计算机辅助肺结节自动分割方法
US7660451B2 (en) System, method and apparatus for small pulmonary nodule computer aided diagnosis from computed tomography scans
US11776172B2 (en) Tomographic image analysis using artificial intelligence (AI) engines
US20080205717A1 (en) System and method for three-dimensional image rendering and analysis
CN107545584A (zh) 医学图像中定位感兴趣区域的方法、装置及其系统
CN110853038A (zh) 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
US11436766B2 (en) Tomographic image reconstruction using artificial intelligence (AI) engines
CN110599530B (zh) 基于双正则约束的mvct图像纹理增强方法
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN115471470A (zh) 一种食管癌ct图像分割方法
CN112634273A (zh) 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
Liu et al. 3-D prostate MR and TRUS images detection and segmentation for puncture biopsy
CN116503506B (zh) 一种图像重建方法、系统、装置及存储介质
CN116994113A (zh) 一种基于残差UNet和高效的多尺度注意力方法用于CT图像中肝脏和肿瘤的自动分割
Zhu et al. CT metal artifact correction assisted by the deep learning-based metal segmentation on the projection domain
US8335809B2 (en) Procedure for deriving a three-dimensional digital mask starting from a series of two-dimensional masks, plus a device for doing this
CN110570417B (zh) 肺结节分类装置及图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant