CN115294023A - 肝脏肿瘤自动分割方法及装置 - Google Patents

肝脏肿瘤自动分割方法及装置 Download PDF

Info

Publication number
CN115294023A
CN115294023A CN202210788034.6A CN202210788034A CN115294023A CN 115294023 A CN115294023 A CN 115294023A CN 202210788034 A CN202210788034 A CN 202210788034A CN 115294023 A CN115294023 A CN 115294023A
Authority
CN
China
Prior art keywords
data
liver tumor
preset
liver
paddle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210788034.6A
Other languages
English (en)
Inventor
王立扬
吴美龙
杨世忠
冯晓彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing Tsinghua Changgeng Hospital
Original Assignee
Tsinghua University
Beijing Tsinghua Changgeng Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing Tsinghua Changgeng Hospital filed Critical Tsinghua University
Priority to CN202210788034.6A priority Critical patent/CN115294023A/zh
Publication of CN115294023A publication Critical patent/CN115294023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种肝脏肿瘤自动分割方法及装置，其中，方法包括：采集肝癌患者的CT数据；从CT数据中提取肝癌患者的至少一个肝脏肿瘤特征；将至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型，得到肝癌患者的肝脏肿瘤自动分割结果，其中，预设的肝脏肿瘤自动分割模型由后端采用Paddle‑Paddle深度学习框架的预设Transformer神经网络训练得到。由此，解决了相关技术中，依赖专家经验和肝肿瘤特征选取进行肝脏肿瘤分割的效率较低，依靠深度学习算法进行肝脏肿瘤分割的精准度较差的技术问题。

Description

肝脏肿瘤自动分割方法及装置
技术领域
本申请涉及医学影像处理技术领域，特别涉及一种肝脏肿瘤自动分割方法及装置。
背景技术
肝脏肿瘤分割是医学影像分割中的重要领域，其难点主要在于肝肿瘤个体差异明显，无论从大小、形状、纹理、颜色等都存在难以分辨的特征，例如，肝脏肿瘤边界与正常组织边界较为相似，轮廓不清晰；而且相同的病灶区域也常见较大的影像差异，包括纹理不均等。另外，不同的成像设备对采集的影像也影响较大。因此，开发精准、高效、自动的肝脏肿瘤分割方法意义重大。
目前，相关技术中肝脏肿瘤分割主要有手动分割，传统的机器学习分割以及深度学习分割三种方式。其中，手动分割与传统的机器学习分割均依赖专家经验与肝肿瘤特征的选取，无法实现高效、批量化。深度学习分割是最新分割方式，它通过深度神经网络对病灶与组织的像素点进行分类，从而形成分割图像，然而用于肝脏肿瘤分割的深度学习算法，U-Net及其衍生架构，其分割的精准性还有待进一步提升。
综上，相关技术中肝脏肿瘤分割的效率与精准度难以兼得，有待改善。
发明内容
本申请是基于发明人对以下问题的认知和发现作出的：
现代医学成像技术的发展带来大量的医学影像数据，如CT(ComputedTomography，计算机断层扫描)，MRI(Magnetic Resonance Imaging，核磁共振成像)，以及US(Ultrasound，超声成像)等，海量的成像数据为疾病早期筛查、疾病诊断、临床决策以及预后观察等带来极大的帮助。
但是，一般的成像数据往往噪音很大，如含有大量无关组织等，而ROI(region ofinterest，感兴趣区域)仅存在于较小范围，庞大的噪音不仅给后期的数据分析带来极大的计算量，还对分析结果产生影响。因此，医学影像分割技术便显得尤为重要，医学影像分割是将研究关注的感兴趣区域，如病灶等通过一定方式分割出来，后期分析仅对分割后的部分进行，不仅能提高工作效率，还能提升研究的精准性。
传统的医学影像分割主要通过人工进行，该方式虽然识别精度较高，但需耗费大量的时间与劳动力，无法实现高效、批量的作业流程。随着影像组学与人工智能技术的发展，开发半自动甚至全自动的影像分割方法能提高医生的工作效率，方便快速进行系统的分析与判断。
综上所述，基于现代医学成像技术的发展，并为解决传统医学影像的不足，本申请提供一种肝脏肿瘤自动分割方法及装置，以解决相关技术中，依赖专家经验和肝肿瘤特征选取进行肝脏肿瘤分割的效率较低，依靠深度学习算法进行肝脏肿瘤分割的精准度较差的技术问题。
本申请第一方面实施例提供一种肝脏肿瘤自动分割方法，包括以下步骤：采集肝癌患者的CT数据；从所述CT数据中提取所述肝癌患者的至少一个肝脏肿瘤特征；以及将所述至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型，得到所述肝癌患者的肝脏肿瘤自动分割结果，其中，所述预设的肝脏肿瘤自动分割模型由后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络训练得到。
可选地，在本申请的一个实施例中，在将所述至少一个肝脏肿瘤特征输入至所述预设的肝脏肿瘤自动分割模型之前，还包括：收集多个肝癌患者的CT数据，并对所述CT数据中肿瘤区域进行标注，生成训练集和验证集；搭建所述预设Transformer神经网络，其中，所述预设Transformer神经网络的后端采用预设的Paddle-Paddle深度学习框架，以生成深度学习模型；利用所述训练集和所述验证集训练所述深度学习模型，生成所述预设的肝脏肿瘤自动分割模型。
可选地，在本申请的一个实施例中，在对所述CT数据中肿瘤区域进行标注之后，还包括：对标注后的CT数据进行预处理，直至满足预设模型输入条件，得到预处理之后的CT数据。
可选地，在本申请的一个实施例中，所述对标注后的CT数据进行预处理，包括：对所述标注后的CT数据切片，裁剪标注外的剩余部分，得到切片后的CT数据；将所述切片后的CT数据转换为预设格式的数据。
可选地，在本申请的一个实施例中，所述搭建所述预设Transformer神经网络，包括：根据所述预设格式的数据分割成多个子图像，并映射为线性嵌入序列；采用编码器对所述多个子图像编码，其中，所述编码器中的Transformer layer由多头自注意力机制和多层感知机组成；采用解码器将输出的双线性上采样到全图像分辨率，且接着是像素级交叉熵损失的分类层；采用所述Paddle Paddle深度学习框架搭建基于Transformers架构的肝脏肿瘤自动分割模型。
本申请第二方面实施例提供一种肝脏肿瘤自动分割装置，包括：采集模块，用于采集肝癌患者的CT数据；提取模块，用于从所述CT数据中提取所述肝癌患者的至少一个肝脏肿瘤特征；以及分割模块，用于将所述至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型，得到所述肝癌患者的肝脏肿瘤自动分割结果，其中，所述预设的肝脏肿瘤自动分割模型由后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络训练得到。
可选地，在本申请的一个实施例中，还包括：标注模块，用于收集多个肝癌患者的CT数据，并对所述CT数据中肿瘤区域进行标注，生成训练集和验证集；第一建模模块，用于搭建所述预设Transformer神经网络，其中，所述预设Transformer神经网络的后端采用预设的Paddle-Paddle深度学习框架，以生成深度学习模型；第二建模模块，用于利用所述训练集和所述验证集训练所述深度学习模型，生成所述预设的肝脏肿瘤自动分割模型。
可选地，在本申请的一个实施例中，所述标注模块进一步用于对标注后的CT数据进行预处理，直至满足预设模型输入条件，得到预处理之后的CT数据。
可选地，在本申请的一个实施例中，所述标注模块，包括：切片单元，用于对所述标注后的CT数据切片，裁剪标注外的剩余部分，得到切片后的CT数据；转换单元，用于将所述切片后的CT数据转换为预设格式的数据。
可选地，在本申请的一个实施例中，所述第一建模模块包括：映射单元，用于根据所述预设格式的数据分割成多个子图像，并映射为线性嵌入序列；编码单元，用于采用编码器对所述多个子图像编码，其中，所述编码器中的Transformer layer由多头自注意力机制和多层感知机组成；采样单元，用于采用解码器将输出的双线性上采样到全图像分辨率，且接着是像素级交叉熵损失的分类层；建模单元，用于采用所述Paddle Paddle深度学习框架搭建基于Transformers架构的肝脏肿瘤自动分割模型。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的肝脏肿瘤自动分割方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的肝脏肿瘤自动分割装置。
本申请实施例可以利用基于Paddle-Paddle深度学习框架的Transformer神经网络，训练肝脏肿瘤自动分割模型，从而根据肝癌患者的肝脏肿瘤特征，得到该患者的肝脏肿瘤自动分割结果，在保证效率的同时，尽可能的捕获有效的上下文信息，进而提高肝脏肿瘤自动分割点准确度。由此，解决了相关技术中，依赖专家经验和肝肿瘤特征选取进行肝脏肿瘤分割的效率较低，依靠深度学习算法进行肝脏肿瘤分割的精准度较差的技术问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种肝脏肿瘤自动分割方法的流程图；
图2为根据本申请一个实施例的肝脏肿瘤自动分割方法的原理示意图；
图3为根据本申请一个实施例的Transformers深度学习算法模型的架构示意图；
图4为根据本申请一个实施例的肝脏肿瘤自动分割方法的效果示意图；
图5为根据本申请一个实施例的肝脏肿瘤自动分割方法的流程图；
图6为根据本申请实施例提供的一种肝脏肿瘤自动分割装置的结构示意图；
图7为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的肝脏肿瘤自动分割方法及装置。针对上述背景技术中心提到的相关技术中，依赖专家经验和肝肿瘤特征选取进行肝脏肿瘤分割的效率较低，依靠深度学习算法进行肝脏肿瘤分割的精准度较差的技术问题，本申请提供了一种肝脏肿瘤自动分割方法，在该方法中，本申请实施例可以利用基于Paddle-Paddle深度学习框架的Transformer神经网络，训练肝脏肿瘤自动分割模型，从而根据肝癌患者的肝脏肿瘤特征，得到该患者的肝脏肿瘤自动分割结果，在保证效率的同时，尽可能的捕获有效的上下文信息，进而提高肝脏肿瘤自动分割点准确度。由此，解决了相关技术中，依赖专家经验和肝肿瘤特征选取进行肝脏肿瘤分割的效率较低，依靠深度学习算法进行肝脏肿瘤分割的精准度较差的技术问题。
具体而言，图1为本申请实施例所提供的一种肝脏肿瘤自动分割方法的流程示意图。
如图1所示，该肝脏肿瘤自动分割方法包括以下步骤：
在步骤S101中，采集肝癌患者的CT数据。
在实际执行过程中，本申请实施例可以采用上腹部三级增强扫描，扫描范围从肝癌患者的肝脏顶部到两个肾脏的下边缘，具体影像可以包括动脉期、门静脉期和延迟期，进而获得肝癌患者完整的CT数据。
在步骤S102中，从CT数据中提取肝癌患者的至少一个肝脏肿瘤特征。
进一步地，本申请实施例可以从肝癌患者的CT数据中，提取至少一个肝脏肿瘤特征，便于后续利用肝脏肿瘤自动分割模型，得到肝癌患者的肝脏肿瘤自动分割结果，可以在保证效率的同时，提高肝脏肿瘤自动分割结果的准确度。
在步骤S103中，将至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型，得到肝癌患者的肝脏肿瘤自动分割结果，其中，预设的肝脏肿瘤自动分割模型由后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络训练得到。
作为一种可能实现的方式，本申请实施例可以基于后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络，并在经过训练后得到预设的肝脏肿瘤自动分割模型，进而将上述步骤中获得的肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型中，从而得到肝癌患者的肝脏肿瘤自动分割结果，并进行DICOM格式转换与三维重建，相较于相关技术中应用于肝脏肿瘤分割的U-Net及其衍生架构，本申请实施例通过后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络，可以进一步提高分割的准确度。
可选地，在本申请的一个实施例中，在将至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型之前，还包括：收集多个肝癌患者的CT数据，并对CT数据中肿瘤区域进行标注，生成训练集和验证集；搭建预设Transformer神经网络，其中，预设Transformer神经网络的后端采用预设的Paddle-Paddle深度学习框架，以生成深度学习模型；利用训练集和验证集训练深度学习模型，生成预设的肝脏肿瘤自动分割模型。
具体而言，本申请实施例可以收集多个肝癌患者的CT数据，肝癌患者的CT数据的来源可以有多种，如医疗数据库等，其中，肝癌患者的CT数据具体可以包括采用上腹部三级增强扫描，扫描范围从肝癌患者的肝脏顶部到两个肾脏的下边缘，获得的动脉期、门静脉期和延迟期影像。
进一步地，本申请实施例可以对CT数据中的肿瘤区域进行标注，并对原始数据进行预处理，生成训练集和验证集，从而使原始数据符合模型输入标准，其中，在对CT数据中的肿瘤区域进行标注时，可以将本领域技术人员划分为三组人员，第一组手动标记所有原始数据中的肝脏肿瘤区域，第二组可以分别独立使用3D Slicer(Boston，MA，USA)软件对采集到的每位患者CT进行标记，第三组可以对标注结果进行复查，进而保证标注的准确性。
进一步地，本申请实施例可以搭建Transformer神经网络用于肝肿瘤分割，后端采用的是Paddle-Paddle深度学习框架，并使用监督学习方式，对其进行训练，其中，模型输入的是数据集按比例随机划分的训练集、验证集和其对应的人工标注的数据。
进一步地，本申请实施例可以将输入训练集、验证集及对应的标注数据至搭建好的神经网络中，依托Paddle Paddle深度学习框架进行模型训练，并在模型迭代至一定轮次后收敛且验证集达到理想的效果，此时停止训练并保存网络参数，最终生成预设的肝脏肿瘤自动分割模型。
可选地，在本申请的一个实施例中，在对CT数据中肿瘤区域进行标注之后，还包括：对标注后的CT数据进行预处理，直至满足预设模型输入条件，得到预处理之后的CT数据。
可以理解的是，标注后的CT数据无法直接用于肝脏肿瘤自动分割模型的训练，因此，本申请实施例可以对标注后的CT数据进行预处理，直至CT数据满足预设的肝脏肿瘤自动分割模型的输入条件，进而生成训练集和验证集，从而使原始数据符合模型输入标准，便于后续对模型进行训练和验证。
可选地，在本申请的一个实施例中，对标注后的CT数据进行预处理，包括：对标注后的CT数据切片，裁剪标注外的剩余部分，得到切片后的CT数据；将切片后的CT数据转换为预设格式的数据。
在一些实施例中，对标注后的CT数据进行预处理可以具体包括，以预设阈值规范CT扫描，从而实现归一化操作，其中，预设阈值可以为-1000Hu和400Hu；保留CT数据中包含人工标注的CT切片，裁剪剩余部分；将数据进行相应的格式转换，如从NIFIT格式转为PNG格式，图片像素大小可以为512×512；进而以患者为单位，将数据集与上述步骤中标注的数据按8:1:1的比例，随机划分为训练集、验证集和独立测试集，其中，训练集可以执行数据增强操作，以平衡数据类别，其具体可以包括水平翻转、随机旋转和随机模糊。
可选地，在本申请的一个实施例中，搭建预设Transformer神经网络，包括：根据预设格式的数据分割成多个子图像，并映射为线性嵌入序列；采用编码器对多个子图像编码，其中，编码器中的Transformer layer由多头自注意力机制和多层感知机组成；采用解码器将输出的双线性上采样到全图像分辨率，且接着是像素级交叉熵损失的分类层；采用Paddle Paddle深度学习框架搭建基于Transformers架构的肝脏肿瘤自动分割模型。
在实际执行过程中，本申请实施例可以采用Transformers的编码-解码架构，即将经过格式转换后生成的图像分割成小块，并映射成为线性的嵌入序列，进而采用编码器对其编码，其中，编码器中的Transformer layer可以由MSA(multi-headself-attention，多头自注意力机制)和MLP(MultilayerPerceptron，多层感知机)组成。
另外，在解码部分中，解码器可以经过朴素上采样环节，将输出的双线性上采样到全图像分辨率，接着是一个像素级交叉熵损失的分类层。
进一步地，本申请实施例可以采用PaddlePaddle深度学习框架完成搭建基于Transformers架构的肝脏肿瘤自动分割模型，便于后续利用肝脏肿瘤自动分割模型获得高精度的肝脏肿瘤自动分割结果。
此外，对于训练完成的模型，本申请实施例可以通过输入数据集中的独立测试集，对模型进行测试，待测试集达到理想的效果时，可以验证肝脏肿瘤自动分割模型已具备精准的肝脏肿瘤自动分割能力。
下面结合图2至图5所示，以一个具体实施例对本申请实施例的肝脏肿瘤自动分割方法进行详细阐述。
如图2所示，本申请实施例可以包括两个部分：模型训练部分和在线分割部分。
其中，在线分割部分会在下文进行阐述，模型训练部分可以包括以下步骤：
步骤S201：原始CT数据获取。本申请实施例可以回顾性收集接受肝脏手术的肝癌患者的术前CT资料，作为原始CT数据。在实际执行过程中，本申请实施例可以使用德国CT(SOMATOM Definition Flash，Siemens)和美国Discovery CT(GE医疗)的CT扫描设备，扫描方式可以为上腹部三级增强扫描，范围从肝脏顶部到两个肾脏的下边缘，扫描参数可以包括电压120kV、电流200-350mA、扫描层厚5mm、层间距5mm和分辨率像素矩阵大小为512×512。另外，本申请实施例还可以使用压力注射器通过外周静脉以3.0ml/s的流速和1.5ml/kg的剂量注射碘海醇和350mg/m1的碘。
本申请实施例在进行CT扫描时，动脉期、静脉期和平衡期的延迟时间分别可以为30秒、60秒和120秒，进而获取AP(arterial phase，动脉期)、PVP(portal venous phase，门静脉期)和DP(Delay period，延迟期)的影像进行研究。
步骤S202：人工手动标注。在实际执行过程中，本申请实施例可以挑选2位具有15年以上经验的放射科专家，对CT数据中的肿瘤区域进行人工标注，其中1位医师独立使用3DSlicer(Boston,MA,USA)软件对采集到的每位患者CT进行标记，标记方法主要通过专家先验知识对肿瘤边界进行细致勾画；另外1位医师对标注结果进行复查，若无异议则采纳，若有异议则返回进行讨论，需要时重新进行标注。
步骤S203：数据预处理。可以理解的是，CT扫描以Hounsfield单位(HU)存储原始体素强度，本申请实施例可以以-1000Hu与400Hu作为阈值来规范CT扫描,即归一化操作。由于原始数据包含较多不存在肿瘤的切片，从而增加非必要的计算量，因此，本申请实施例可以在人工标注的数据中，寻找肿瘤开始出现至结束的切片，裁剪掉剩余部分；
进一步地，由于本申请实施例的深度学习框架的输入通道为2维，因此数据进行相应的格式转换，从NIFIT格式转为PNG格式，每幅图片像素大小为512×512。
进一步地，本申请实施例可以以患者为单位，数据集与人工标注的数据按8：1：1的比例随机划分训练集、验证集与独立测试集。其中，训练集执行数据增强操作以平衡数据类别，具体包括水平翻转、随机旋转、随机模糊。
步骤S204：Transformers神经网络搭建。具体而言，本申请实施例可以搭建后端采用Paddle-Paddle深度学习框架的Transformers神经网络，用以进行肝脏肿瘤分割，本申请实施例可以将上述步骤中获得的经过预处理的CT数据分割成小块，数量为4×4，并映射成为线性的嵌入序列，进而采用编码器对其编码，其中，编码器中的Transformer layer由MSA和MLP组成。
进一步地，在解码部分中，解码器经过朴素上采样环节将输出的双线性上采样到全图像分辨率，接着是一个像素级交叉熵损失的分类层。具体地，解码器将输出特征映射到类别空间的做法，可以理解为构建一个2层的网络将通道数变为类别数量，其架构为：1×1卷积核+同步BatchNorm(w/ReLU)+1×1卷积核。
进一步地，如图3所示，本申请实施例可以采用Paddle Paddle深度学习框架完成搭建基于Transformers架构的肝脏肿瘤自动分割模型。
步骤S205：深度学习模型训练。本申请实施例可以利用监督学习方式训练深度学习模型，其中，模型的输入为数据集按比例随机划分的训练集、验证集及其对应的人工标注数据。
举例而言，本申请实施例可以在Windows 10操作系统中完成，相关计算设备配置了带有16GB内存的CPU AMD Ryzen 7 5800H，以及两块GPU，分别为
Figure BDA0003729431920000081
GeForceRTX3070与
Figure BDA0003729431920000082
Tesla V100(显存32GB)，二者均由CUDA加速支持，所有工作在编程语言Python 3.8与深度学习框架PaddlePaddle下进行。
在本申请实施例中，模型迭代至100,000次后收敛且验证集的loss值趋于稳定且小于0.001，此时停止训练并保存优化后的模型参数。
经测试，本申请实施例通过步骤S204搭建的深度学习模型执行100,000次迭代，结束时均已收敛且验证集的loss值保持恒定，无出现过拟合现象。
本申请实施例的训练中优化了关键的超参数，其中优化器采用momentum，动量因子设置为0.9，初始学习率设置为0.001，weight_decay为3.0×10-5，batch_size为2。
步骤S206：模型测试与评估。训练停止后，本申请实施例可以采用独立测试集及对应的标记数据对模型进行测试，结果mIoU达到0.9107，说明该模型具有卓越的性能与强大的泛化能力，其中，测试结果可以如图4所示。
在线分割部分如图5所示，本申请实施例可以包括以下步骤：
步骤S501：输入原始上腹部CT数据。在实际执行过程中，本申请实施例可以输入肝癌患者的原始上腹部CT数据，其格式可以为NIFIT。
步骤S502：归一化模型。本申请实施例可以以-1000Hu与400Hu作为阈值来规范CT扫描,即进行归一化操作，对肝癌患者的原始CT数据进行预处理。
步骤S503：数据维度转换。由于本申请实施例的深度学习框架的输入通道为2维，因此数据进行相应的格式转换，将CT数据从NIFIT格式转为PNG格式。
步骤S504：输入训练好的模型中。
步骤S505：加载训练好的参数。
步骤S506：自动分割出肝脏肿瘤区域。
步骤S507：数据格式转换。为便于后续进行三维重建，本申请实施例可以对数据进行DICOM格式转换。
步骤S508：MC算法三维重建。本申请实施例可以结合Python中的VTK库进行三维重建。
根据本申请实施例提出的肝脏肿瘤自动分割方法，本申请实施例可以利用基于Paddle-Paddle深度学习框架的Transformer神经网络，训练肝脏肿瘤自动分割模型，从而根据肝癌患者的肝脏肿瘤特征，得到该患者的肝脏肿瘤自动分割结果，在保证效率的同时，尽可能的捕获有效的上下文信息，进而提高肝脏肿瘤自动分割点准确度。由此，解决了相关技术中，依赖专家经验和肝肿瘤特征选取进行肝脏肿瘤分割的效率较低，依靠深度学习算法进行肝脏肿瘤分割的精准度较差的技术问题。
其次参照附图描述根据本申请实施例提出的肝脏肿瘤自动分割装置。
图6是本申请实施例的肝脏肿瘤自动分割装置的方框示意图。
如图6所示，该肝脏肿瘤自动分割装置10包括：采集模块100、提取模块200和分割模块300。
具体地，采集模块100，用于采集肝癌患者的CT数据。
提取模块200，用于从CT数据中提取肝癌患者的至少一个肝脏肿瘤特征。
分割模块300，用于将至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型，得到肝癌患者的肝脏肿瘤自动分割结果，其中，预设的肝脏肿瘤自动分割模型由后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络训练得到。
可选地，在本申请的一个实施例中，肝脏肿瘤自动分割装置10还包括：标注模块、第一建模模块和第二建模模块。
其中，标注模块，用于收集多个肝癌患者的CT数据，并对CT数据中肿瘤区域进行标注，生成训练集和验证集。
第一建模模块，用于搭建预设Transformer神经网络，其中，预设Transformer神经网络的后端采用预设的Paddle-Paddle深度学习框架，以生成深度学习模型。
第二建模模块，用于利用训练集和验证集训练深度学习模型，生成预设的肝脏肿瘤自动分割模型。
可选地，在本申请的一个实施例中，标注模块进一步用于对标注后的CT数据进行预处理，直至满足预设模型输入条件，得到预处理之后的CT数据。
可选地，在本申请的一个实施例中，标注模块包括：切片单元和转换单元。
其中，切片单元，用于对标注后的CT数据切片，裁剪标注外的剩余部分，得到切片后的CT数据。
转换单元，用于将切片后的CT数据转换为预设格式的数据。
可选地，在本申请的一个实施例中，第一建模模块包括：映射单元、编码单元、采样单元和建模单元。
其中，映射单元，用于根据预设格式的数据分割成多个子图像，并映射为线性嵌入序列。
编码单元，用于采用编码器对多个子图像编码，其中，编码器中的Transformerlayer由多头自注意力机制和多层感知机组成。
采样单元，用于采用解码器将输出的双线性上采样到全图像分辨率，且接着是像素级交叉熵损失的分类层。
建模单元，用于采用Paddle Paddle深度学习框架搭建基于Transformers架构的肝脏肿瘤自动分割模型。
需要说明的是，前述对肝脏肿瘤自动分割方法实施例的解释说明也适用于该实施例的肝脏肿瘤自动分割装置，此处不再赘述。
根据本申请实施例提出的肝脏肿瘤自动分割装置，本申请实施例可以利用基于Paddle-Paddle深度学习框架的Transformer神经网络，训练肝脏肿瘤自动分割模型，从而根据肝癌患者的肝脏肿瘤特征，得到该患者的肝脏肿瘤自动分割结果，在保证效率的同时，尽可能的捕获有效的上下文信息，进而提高肝脏肿瘤自动分割点准确度。由此，解决了相关技术中，依赖专家经验和肝肿瘤特征选取进行肝脏肿瘤分割的效率较低，依靠深度学习算法进行肝脏肿瘤分割的精准度较差的技术问题。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的肝脏肿瘤自动分割方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的肝脏肿瘤自动分割方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种肝脏肿瘤自动分割方法，其特征在于，包括以下步骤：
采集肝癌患者的CT数据；
从所述CT数据中提取所述肝癌患者的至少一个肝脏肿瘤特征；以及
将所述至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型，得到所述肝癌患者的肝脏肿瘤自动分割结果，其中，所述预设的肝脏肿瘤自动分割模型由后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络训练得到。
2.根据权利要求1所述的方法，其特征在于，在将所述至少一个肝脏肿瘤特征输入至所述预设的肝脏肿瘤自动分割模型之前，还包括：
收集多个肝癌患者的CT数据，并对所述CT数据中肿瘤区域进行标注，生成训练集和验证集；
搭建所述预设Transformer神经网络，其中，所述预设Transformer神经网络的后端采用预设的Paddle-Paddle深度学习框架，以生成深度学习模型；
利用所述训练集和所述验证集训练所述深度学习模型，生成所述预设的肝脏肿瘤自动分割模型。
3.根据权利要求2所述的方法，其特征在于，在对所述CT数据中肿瘤区域进行标注之后，还包括：
对标注后的CT数据进行预处理，直至满足预设模型输入条件，得到预处理之后的CT数据。
4.根据权利要求3所述的方法，其特征在于，所述对标注后的CT数据进行预处理，包括：
对所述标注后的CT数据切片，裁剪标注外的剩余部分，得到切片后的CT数据；
将所述切片后的CT数据转换为预设格式的数据。
5.根据权利要求2所述的方法，其特征在于，所述搭建所述预设Transformer神经网络，包括：
根据所述预设格式的数据分割成多个子图像，并映射为线性嵌入序列；
采用编码器对所述多个子图像编码，其中，所述编码器中的Transformer layer由多头自注意力机制和多层感知机组成；
采用解码器将输出的双线性上采样到全图像分辨率，且接着是像素级交叉熵损失的分类层；
采用所述Paddle Paddle深度学习框架搭建基于Transformers架构的肝脏肿瘤自动分割模型。
6.一种肝脏肿瘤自动分割装置，其特征在于，包括：
采集模块，用于采集肝癌患者的CT数据；
提取模块，用于从所述CT数据中提取所述肝癌患者的至少一个肝脏肿瘤特征；以及
分割模块，用于将所述至少一个肝脏肿瘤特征输入至预设的肝脏肿瘤自动分割模型，得到所述肝癌患者的肝脏肿瘤自动分割结果，其中，所述预设的肝脏肿瘤自动分割模型由后端采用Paddle-Paddle深度学习框架的预设Transformer神经网络训练得到。
7.根据权利要求6所述的装置，其特征在于，还包括：
标注模块，用于收集多个肝癌患者的CT数据，并对所述CT数据中肿瘤区域进行标注，生成训练集和验证集；
第一建模模块，用于搭建所述预设Transformer神经网络，其中，所述预设Transformer神经网络的后端采用预设的Paddle-Paddle深度学习框架，以生成深度学习模型；
第二建模模块，用于利用所述训练集和所述验证集训练所述深度学习模型，生成所述预设的肝脏肿瘤自动分割模型。
8.根据权利要求7所述的装置，其特征在于，所述标注模块进一步用于对标注后的CT数据进行预处理，直至满足预设模型输入条件，得到预处理之后的CT数据。
9.根据权利要求8所述的装置，其特征在于，所述标注模块，包括：
切片单元，用于对所述标注后的CT数据切片，裁剪标注外的剩余部分，得到切片后的CT数据；
转换单元，用于将所述切片后的CT数据转换为预设格式的数据。
10.根据权利要求7所述的装置，其特征在于，所述第一建模模块包括：
映射单元，用于根据所述预设格式的数据分割成多个子图像，并映射为线性嵌入序列；
编码单元，用于采用编码器对所述多个子图像编码，其中，所述编码器中的Transformer layer由多头自注意力机制和多层感知机组成；
采样单元，用于采用解码器将输出的双线性上采样到全图像分辨率，且接着是像素级交叉熵损失的分类层；
建模单元，用于采用所述Paddle Paddle深度学习框架搭建基于Transformers架构的肝脏肿瘤自动分割模型。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6任一项所述的肝脏肿瘤自动分割方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-6任一项所述的肝脏肿瘤自动分割方法。
CN202210788034.6A 2022-07-04 2022-07-04 肝脏肿瘤自动分割方法及装置 Pending CN115294023A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210788034.6A CN115294023A (zh) 2022-07-04 2022-07-04 肝脏肿瘤自动分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210788034.6A CN115294023A (zh) 2022-07-04 2022-07-04 肝脏肿瘤自动分割方法及装置

Publications (1)

Publication Number Publication Date
CN115294023A true CN115294023A (zh) 2022-11-04

Family

ID=83823242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210788034.6A Pending CN115294023A (zh) 2022-07-04 2022-07-04 肝脏肿瘤自动分割方法及装置

Country Status (1)

Country Link
CN (1) CN115294023A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012388A (zh) * 2023-03-28 2023-04-25 中南大学 急性缺血性脑卒中三维医学影像分割方法及成像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012388A (zh) * 2023-03-28 2023-04-25 中南大学 急性缺血性脑卒中三维医学影像分割方法及成像方法

Similar Documents

Publication Publication Date Title
CN111709953B (zh) Ct影像的肺叶段分割中的输出方法、装置
Huang et al. Coronary artery segmentation by deep learning neural networks on computed tomographic coronary angiographic images
US10304198B2 (en) Automatic medical image retrieval
US10997466B2 (en) Method and system for image segmentation and identification
CN105760874B (zh) 面向尘肺的ct图像处理系统及其ct图像处理方法
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
EP3722996A2 (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
US20230206447A1 (en) Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, image decoding program, image processing device, learning device, learning method, learning program, similar image search device, similar image search method, and similar image search program
CN115908449A (zh) 一种基于改进UNet模型的2.5D医学CT影像分割方法及装置
CN110738633A (zh) 一种机体组织的三维图像处理方法及相关设备
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
US20230222771A1 (en) Method and system for automatic classification of radiographic images having different acquisition characteristics
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN114913174B (zh) 用于血管系统变异检测的方法、装置和存储介质
AU2019204365B1 (en) Method and System for Image Segmentation and Identification
CN112950552B (zh) 一种基于卷积神经网络的肋骨分割标记方法及系统
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN115131280A (zh) 一种融合注意力机制的改进YOLO v4肺结节检测方法
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法
EP4156021A1 (en) A method and system for annotation of medical images
CN117726633B (zh) 基于特征融合的双分支冠状动脉图像的分割方法、系统
US20230162493A1 (en) Method for the automatic detection of aortic disease and automatic generation of an aortic volume
Lin Segmentation of Cardiac MRI Images Based on nnU-Net
WO2023089589A1 (en) A contrast enhancing agent for diagnostic imaging methods and systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination