CN116468741B - 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法 - Google Patents

基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法 Download PDF

Info

Publication number
CN116468741B
CN116468741B CN202310683656.7A CN202310683656A CN116468741B CN 116468741 B CN116468741 B CN 116468741B CN 202310683656 A CN202310683656 A CN 202310683656A CN 116468741 B CN116468741 B CN 116468741B
Authority
CN
China
Prior art keywords
spiral
domain
decomposition
layer
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310683656.7A
Other languages
English (en)
Other versions
CN116468741A (zh
Inventor
葛荣骏
杨董莹
张道强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202310683656.7A priority Critical patent/CN116468741B/zh
Publication of CN116468741A publication Critical patent/CN116468741A/zh
Application granted granted Critical
Publication of CN116468741B publication Critical patent/CN116468741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及基于3D物理空间域和螺旋分解空间域的胰腺癌分割方法，具体如下：利用临床先验知识对腹部CT进行预处理；将预处理后的图像进行粗分割获得肿瘤大致位置信息；利用粗分割的位置对预处理后的CT图像进行进行螺旋分解和3D局部区域裁剪；将螺旋分解图和3D区域图像同时输入到训练好的模型中进行细分割得到螺旋分割结果；对螺旋分割结果进行3D重建，获得最终分割结果。利用三维物理空间和螺旋分解空间两个分支进行特征提取，并通过构建螺纹升角注意力模块和信息融合模块，保持胰腺肿瘤的空间相关性，缓解胰腺肿瘤边界不清晰、周围组织结构复杂、以及切片组织结构连续性差的特性，给分割模型带来的干扰，提高胰腺肿瘤的分割精度。

Description

基于3D物理空间域和螺旋分解空间域的胰腺癌分割方法
技术领域
本发明属于医学图像处理技术领域，涉及胰腺癌病灶的分割，尤其涉及一种基于3D物理空间域和螺旋分解空间域的胰腺癌分割方法。
背景技术
胰腺癌是消化道常见恶性肿瘤之一，在消化道肿瘤领域中有“癌症之王”的称号。胰腺癌在临床中症状表现隐匿、不典型且癌细胞转移迅速，因此给胰腺癌的诊断和治疗带来了困难。同时胰腺癌一旦确诊后五年生存率约10%，早期确诊率不高，手术死亡率较高，治愈率低，预后差。因此，在腹部图像中准确的观测胰腺肿瘤的位置、大小、形状、体积空间信息给胰腺癌临床诊断和治疗带来了巨大的价值。然而由于胰腺肿瘤在计算机断层扫描（CT）中存在周围结构复杂、边界结构不清晰、2D平面上不连续以及个体差异性大多个挑战，给胰腺癌的手动分割以及自动分割技术的发展带来了巨大的困难。
为了解决胰腺癌的本身特性带来的挑战，腹部CT自动分割技术正不断发展。胰腺癌自动分割的目的是以更高的效率、更高的准确度获得患者胰腺癌的病理特性用于临床诊断，其中3D物理实体空间体素相关性的充分利用是胰腺癌分割中的重要任务。
胰腺癌通常占整个CT体积的比例不到5%，这样在分割的过程中，会面临严重的类别不平衡、背景混乱的干扰以及非刚性几何特征的的巨大挑战，因此Zhu Z提出了一种两阶段学习框架（DSN）。在该框架中，粗分割阶段根据粗分割结果，采用启发式种植策略，大致裁剪出胰腺区域，然后，精细化分割阶段学习另一个分割网络，将粗化的定位结果作为输入，最后输出精细化的分割结果。该粗到细分割的想法能够消除网络中的部分冗余特征，缓解因胰腺肿瘤较小而带来类别不平衡、背景混乱问题带来的干扰，在一定程度上提高了胰腺癌分割的准确地。
胰腺癌在CT图像中是3D立体的空间结构，每个体素和空间26个角度中的体素间均存在一定相关性，使用单张切片进行分割方便简单、易于实现、且2D网络分割速度快、效率高，但是却割裂了体素和空间中前后18个角度下的体素相关性，使得最终肿瘤结构连续性差，位置、大小、形状、体积存在较大偏差，严重影响医生对患者病情判断。使用3D图像块进行分割，空间利用率得到提升，但是全局性差，边缘体素值之间存在间断性，且分割模型中存在大量的冗余信息不易消除给结果带来巨大干扰。针对于胰腺癌分割中的种种问题，少量研究学者结合上述两种方法的特点，提出了各种3D空间变换深度学习算法。例如，ChenXH等通过螺旋变换，将3D物理实体空间域投影变换到螺旋分解空间域中，实现模型驱动的胰腺癌分割（spiral-transformation and model-driven segmentation），螺旋分解能在很大程度上保留胰腺肿瘤周围空间体素值间的相关性，从一定程度上在提高了肿瘤分割准确度。
然而，目前存在的算法忽略掉了肿瘤在物理实体空间域中体素相关性和3D变换域中的连续性和全局性，这限制了分割效能进一步得到提升。
发明内容
为解决上述现有胰腺分割过程中存在的问题，本发明提供一种基于3D物理空间域和螺旋分解空间域的胰腺癌分割方法，包括如下步骤：
S1：预处理：将CT图像像素值进行归一化并利用临床先验知识对获取到的3D CT图像的窗宽窗位进行设置；
S2：将步骤S1中预处理CT图像切片输入训练好的粗分割网络模型中得到胰腺肿瘤的位置信息；
S3：根据步骤S2中的粗分割结果，以肿瘤为中心建立球坐标系，对CT图像进行螺旋分解得到螺旋分解图；
S4：建立物理空间并行分支，根据步骤S2中的粗分割结果，裁剪以肿瘤为中心CT区域图像块；
S5：根据步骤S3中的螺旋分解图的连续性，利用螺纹升角注意力模块（LAA)获取螺旋分解图中的不同螺纹升角之间的相互关系；
S6：将步骤S4和步骤S5中的3D区域图像块和螺旋块相关性特征输入到不同的编码中提取到不同分辨率下的物理空间域特征和螺旋空间域特征；
S7：将步骤S6中的双域特征输入到信息融合模块中，信息融合模块包含两个部分：对不同分辨率下的物理空间域特征进行螺旋特征分解、利用域-域特征融合机制将螺旋分解域特征和物理螺旋域特征融合；
S8：对步骤S7中的融合特征进行解码，获得螺旋分割结果，利用逆螺旋分解对多角度下的螺旋分割结果进行3D图像重建，获得最终胰腺肿瘤3D分割结果。
进一步地，所述步骤S1预处理部分包含：（1）根据胰腺肿瘤临床先验信息，设置腹部CT窗宽：200HU，窗位：100HU，从而在一定程度上增强肿瘤和周围组织结构对比度，缓解肿瘤边界不清晰导致准确率低的问题；（2）对腹部CT图像中像素值进行归一化，提升模型的收敛速度，增加模型的分割精度。
进一步地，所述步骤S2粗分割过程包含CT切片裁剪和分割两个阶段，切片裁剪：根据CT中胰腺肿瘤的先验位置信息，对CT切片进行裁剪，裁剪区域对应坐标为长：100~400、宽：120~480（以像素为单位），减少因胰腺肿瘤较小而带来类别不平衡、背景混乱以及非刚性几何特征问题带来的干扰，提高肿瘤位置信息准确度。粗分割：粗分割网络为编码-解码结构，其中编解码中每层包含两个模块，每个模块包含积核大小为5X5的2D卷积层、BatchNormalization的归一化层以及激活函数为Relu的激活层，编码器在每层最后加入最大池化层，解码器在每层最后加入上采样层，粗分割模型的深度为4层，最后将CT切片按照初始时序结合，得到粗分割结果。粗分割作为后续步骤的基础，既为螺旋分解和3D区域裁剪确定中心区域，又能减少细分割模型中冗余信息带来的干扰，从而增强模型分割的准确度。
进一步地，所述步骤S3中的螺旋分解包括建立球坐标系、初始化参数以及确定取值范围、螺旋空间映射三个组成部分。建立球坐标系：根据步骤S2得到的粗分割结果，获取肿瘤标签非零域中心点作为球坐标系中心O，并根据CT图像的维度，
建立球坐标系：根据步骤S2得到的粗分割结果获得肿瘤标签非零域中心点，将该点作为球坐标系中心O，并根据CT图像的维度，设置x、y、z轴的方向/>、/>、，不同的方向能获得CT图像冠状面、矢状面以及横切面的螺旋分解图，实现数据增强，扩充训练样本，提高模型泛化能力。初始化：CT图像中任何一点均能用球坐标系表示，具体如下：
，
其中x，y，z代表CT图像中坐标，半径(r)的取值范围在-R到R之间（以体素为单位），其中R是中心点和六个面的最小距离之间，极角的取值范围是0到/>，方位角/>的取值范围是0到/>，极角和方位角均用弧度制表示，不同的初始化极角/>和方位角/>会获取同一球面中不同的螺旋线，实现数据增强，提高逆螺旋分解的准确度，增强模型泛化能力，缓解个体差异性大给分割带来的干扰。映射：在某半径下，通过同时增大极角和方位角，在球面上进行螺旋式采样，并按照采样次序排列到直角坐标系的同一行中，得到该半径对应的螺旋线，因此获得不同半径下的多条螺旋线，并按照半径的采样次序排列到直角坐标系的列中，从而获得螺旋分解图/>，实现物理空间体素相关性向螺旋分解域中的转化，直角坐标可用球坐标系参数表示：
，
其中，/>代表螺旋分解图中坐标，/>公式中的/>，/>能用/>，/>表示，其中/>，/>，/>，/>，/>，/>代表球坐标系中的半径、半径的最大取值、方位角、方位角初始化值、极角、极角初始化值。螺旋分解提高肿瘤及其周围信息的交互，缓解肿瘤边界不清晰、周围组织结构复杂、切片不连续以及个体差异性大的问题带来的干扰，同时不同的初始化值，能获得不同的角度和切面下的螺旋分解图，对小样本的数据集进行数据增强，从而提高网络模型的泛化能力。
进一步地，所述步骤S4中3D区域裁剪过程：根据步骤S2中的粗分割结果，将标签的非零域中心点作为裁剪中心O’，并根据CT中胰腺肿瘤的先验位置信息，裁剪坐标为长：-50~50，宽：-50~50，高：-20~20（均以中心点为相对坐标，单位为体素）的区域，得到肿瘤及其周围部分组织结构的图像块。3D区域裁剪减少后续特征提取中的参数量，提高模型分割效率，且只保留肿瘤和其周围部分组织结构，减少冗余信息的干扰，提高编码器对有效特征的提取。
进一步地，所述步骤S5中螺纹升角注意力模块（LAA)包含螺旋分解图的裁剪和图像块相关性获取两个部分。裁剪：螺旋分解图很大程度上保留了肿瘤空间连续性，普通的图像块裁剪方式，会破坏螺旋分解得到的肿瘤连续性，因此按列裁剪一定长度的螺旋分解图，得到螺旋图像块（i=0，1，2，……，n-1，n为裁剪数量）。相关性获取：计算图像块之间相似性获取不同图像块之间的相关性，具体用公式表示如下：
，
其中i=0，1，2，……，n-1（n为裁剪数量），LN代表全连接层，通过与不同图像块的键值相乘，获得对应图像块和其他图像块间的相似性，并利用将相似性分布到0-1之间，再和对应图像块相乘，并加入残差结构，获得信息交互之后的螺旋图像块，在此基础上，采用多头注意力机制，最后将/>连接在一起得到螺旋分解相关性特征/>。LAA模块特殊的裁剪和信息交互的方式能够更好获取螺旋分解图中全局相关性，增强后续编码器特征提取效能，提高模型分割准确度。
进一步地，所述步骤S6包含螺旋特征提取和物理空间域特征提取：螺旋特征提取：编码器由3层2D CNN组成，其中每层由两个相同的模块组成，每个模块依次包含卷积核大小为5X5的卷积层、Batch Normalization的归一化层、激活函数为Relu的激活层以及最大池化层，此外每层还加入了残差结构，避免梯度问题，保证网络训练过程中的稳定性，网络更容易被优化，增强特征提取能力。通过编码器得到不同分辨率下的螺旋分解域特征（i=0，1，2，为对应的特征层数）。物理空间域特征提取：编码器由3层3D CNN组成，其中每层由两个相同的模块组成，每个模块依次包含卷积核大小为3X3的卷积层、BatchNormalization的归一化层、激活函数为Relu的激活层以及最大池化层。通过编码器得到不同分辨率下的物理空间域特征/>（i=0，1，2，为对应的特征层数）。
进一步地，步骤S7中信息融合模块包含螺旋特征分解和域-域特征融合两个部分。（1）螺旋特征分解包括建立球坐标系、初始化参数以及取值范围、螺旋特征映射三个组成部分。建立球坐标系：螺旋特征分解以特征中心点为球坐标系中心点，根据特征长、宽、以及时间序列的维度，设置x、y、z轴的方向/>、/>、/>。初始化：半径的取值范围在到/>之间，其中/>是中心点和对应x，y，z轴六个面的最小距离之间，极角的取值范围是0到/>，方位角的取值范围是0到/>，极角和方位角的初始化为/>和/>。映射：在某半径下，通过同时增大极角和方位角，在球面上进行螺旋式采样，并按照采样次序排列到直角坐标系的同一行中，得到该半径对应的螺旋线，因此获得不同半径的多条螺旋线，并按照半径的采样次序排列到直角坐标系的列中，从而得到对应通道的螺旋分解特征，再按照通道的次序依次分解，从而获得螺旋特征分解。对每层物理空间域特征进行螺旋特征分解得到相同通道数的4维张量：/>（i=0，1，2，为对应的特征层数）。（2）域-域特征融合：将步骤S6得到螺旋分解特征/>和螺旋特征分解后的物理螺旋空间特征/>融合，通过计算域间相似性，进行域间的信息融合，具体表示如下：
，
其中LN代表全连接层，i=0，1，2，表示不同分辨率下的融合特征，同过不同域之间特征进行点乘，得到域-域之间的相似性，利用函数，将相似性映射到0-1之间，并和域特征相乘得到对应域的权重相关性/>，在此基础上加入了残差连接，得到信信息融合后的结果/>。螺旋特征分解，能够按照螺旋分解方式对3D特征进行降维，为后续域-域特征融合实现特征对齐。而域-域特征融合能够结合螺旋分解特征和物理空间特征之间的相关性，增加特征空间全局信息的利用。
进一步地，步骤S8包含解码阶段和逆螺旋分解两个部分。解码：解码器由4层2DCNN组成，其中每层由两个相同的模块组成，每个模块依次包含卷积核大小为5×5的卷积层、Batch Normalization的归一化层以及激活函数为Relu的激活层，并在每层最后进行上采样，在解码过程中，还加入了跳跃连接，将编码层和解码层进行连接，对模型信息进一步补充，网络模型更加稳定，此外还加入了残差结构，满足反向传播的基础上，使得网络更容易学习。再利用逆螺旋分解对螺旋分割结果进行3D重建，逆螺旋分解包含：建立球坐标系、初始化参数以及确定取值范围、螺旋特征还原三个部分。建立球坐标系：根据步骤S2中的粗分割结果，将球坐标系中心点O，设置x、y、z轴的方向。初始化：半径取值范围在-R到R之间，极角的取值范围是0到/>，方位角的取值范围是0到/>，极角和方位角的初始化为/>和/>。映射还原：将直角坐标系的一行按照采样的次序还原到球坐标系中对应半径下的螺旋线中，并按照列的次序进行不同半径下螺旋线的还原，从而获得最终胰腺肿瘤3D分割结果，同时将多张不同初始化极角和方位角下的螺旋分解图进行映射还原，能够提高3D分割结果的准确度。
有益效果：本发明与现有技术相比，具备如下优点：
1、本发明充分利用3D物理空间域信息，提出了一种基于3D物理空间域和螺旋分解空间域的胰腺癌分割方法；
2、本发明使用粗-细分割的方法，定位胰腺肿瘤大致区域，缓解肿瘤占CT图像较小问题，减少网络模型中冗余信息带来的干扰；
3、本发明使用螺旋分解，将3D物理空间域映射到螺旋分解域中，既保留肿瘤空间体素间相关性又保证模型分割效率，缓解肿瘤特性给分割带来的干扰；
4、本发明针对于螺旋分解下的连续性，采用LAA模块提取不同螺纹升角之间的相关性，突出重点信息，抑制冗余信息的干扰；
5、本发明使用3D物理并行分支，增加螺旋空间域特征提取过程中的3D物理空间域信息，从而提升模型分割准确度。
附图说明
图1为本发明提供的基于3D物理空间域和螺旋分解空间域的胰腺癌分割模型的拓扑结构示意图；
图2为本发明提供的一种螺旋分解的拓扑结构示意图；
图3为本发明提供的一种相关性LAA模块的拓扑结构示意图；
图4为本发明提供的一种域-域信息融合模块的拓扑结构示意图；
图5为本发明提供的一种基于3D物理空间域和螺旋分解空间域的胰腺癌分割方法的流程示意图；
图6为本发明测试图像在3D分割方法中肿瘤边缘对比结果图；
图7为本发明测试图像在2D分割方法中肿瘤空间结构对比结果图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
实施例：在腹部CT分割的过程中，3D物理空间域中体素间相关性能很好的帮助解决病灶本身固有特性带来的挑战，然而现有的方法专注于2D切片中的体素相关性和3D图像块的局部信息，忽略了立体空间上的相关性。因此，本方法使用螺旋分解，将体素间26个角度下的相关性映射到螺旋分解图中，既保留了部分物理空间域中的信息，还保持网络的分割效率；同时螺旋分解保留了胰腺肿瘤的连续性，因此利用LAA模块探索不同导程角之间的相关性；为了充分发挥物理空间域中体素的相关性，本发明建立了3D物理并行分支，并使用螺旋特征分解和域-域信息融合模块，增加空间中体素块之间的相互作用，使最终的结果更加符合真实立体的肿瘤形态。
图1为本发明的拓扑结构示意图，其中DS模块包含卷积层、归一化层、激活层以及最大池化层，US模块包含卷积层、归一化层，激活层以及上采样层，，为物理螺旋空间域特征，/>为螺旋分解域特征，/>为域-域特征融合机制，/>为逆螺旋分解；
如图5所示，为本发明的流程示意图，一种基于3D物理空间域和螺旋分解空间域的胰腺癌分割方法，包括如下步骤：
S1：预处理部分包含：（1）根据胰腺肿瘤临床先验信息，设置腹部CT窗宽：200HU，窗位：100HU，从而在一定程度上增强肿瘤和周围组织结构对比度，缓解肿瘤边界不清晰导致准确率低的问题。（2）对腹部CT图像中像素值进行归一化，提升模型的收敛速度，增加模型的分割精度。
S2：对预处理之后的CT 切片进行粗分割，首先为了缓解因胰腺肿瘤较小而带来类别不平衡、背景混乱以及非刚性几何特征问题带来的干扰，根据胰腺位置先验知识，对CT切片进行裁剪，范围是长：100~400、宽：120~480（均以像素为单位），在此基础上，对切片进行粗分割，模型由编码-解码结构构成，其中编解码中每层包含积核大小为5X5的卷积层、Batch Normalization的归一化以及激活函数为Relu的激活层，编码块在每层最后加入最大池化层，解码块在每层最后加入上采样层，粗分割模型的深度为4层，最后将CT切片按照初始时序结合，得到粗分割结果。
S3：将步骤S1中设置窗宽窗位的之后的CT图像，作为螺旋分解模块的输入，将3D物理空间域映射到螺旋分解域中，以实现跨域信息利用。
如图2所示，螺旋分解包括建立球坐标系、初始化参数以及确定取值范围、螺旋空间映射三个组成部分。建立球坐标系：如图2中第一步所示，根据步骤S2得到的粗分割结果获得肿瘤标签非零域中心点，将该点作为球坐标系中心O，并根据CT图像的维度，设置x、y、z轴的方向。初始化：CT图像中任何一点均能通过球坐标系表示，具体如下：
，
其中x，y，z代表CT图像中坐标，半径r的取值范围在-R到R之间（以体素为单位），其中R是中心点和六个面的最小距离之间，极角的取值范围是0到/>，方位角/>的取值范围是0到2/>，极角和方位角均用弧度制表示，极角和方位角的初始化为/>和/>。不同的初始化会获取同一球面下不同的螺旋线。映射：如图2中第二步所示，在某半径下，通过不断循环增加极角和方位角，得到该半径对应的螺旋线，将该螺旋线按照采样的次序排列到直角坐标系的同一行中，因此获得不同半径下的多条螺旋线，并按照采样的次序排列到直角坐标系的列中，从而获得螺旋分解图/>，实现物理空间域体素相关性向螺旋分解域中的转化，直角坐标可用球坐标系表示，具体如下：
，
其中，/>代表螺旋分解图中坐标，/>公式中的/>，/>能用/>，/>表示，其中/>，/>，/>，/>，/>，/>代表球坐标系中的半径、半径的最大取值、方位角、方位角初始化值、极角、极角初始化值。使用螺旋分解优点：1、在很大程度上改善了肿瘤的本身特性给分割过程带来的挑战；2、很大程度上保留了3D物理空间中体素的相关性；3、使用2D网络分割螺旋分解图保持了分割效率。
S4：如图1所示，将步骤S2中的坐标系中心点O作为3D分支图像块裁剪的中心点O’，再根据先验知识，设定裁剪的长宽高三个部分，得到以肿瘤为中心的CT图像块I3D，3D区域裁剪减少后续特征提取中的参数量，提高模型分割效率，且只保留肿瘤和其周围部分组织结构，减少冗余信息的干扰，提高编码器对有效特征的提取。建立3D并行分支，增强分割模型中物理空间域信息相关性，以更好的解决肿瘤本身特性带来的挑战，使得最终的分割结果更加准确。
S5：根据步骤S2得到的螺旋分解图，利用LAA模块得到不同螺纹升角之间的相互关系。
如图1所示，首先需要对螺旋分解图裁剪，再通过多头信息融合模块获取不同螺纹升角间全局和局部相关性。图3展示了LAA模块的拓扑结构。首先，对螺旋分解图进行裁剪，图中每列来源于CT图像不同序列中的体素块，因此按列裁剪，既增强空间信息的利用，还能保留肿瘤螺旋空间连续性，其次，为了增强螺纹升角图像块（i=0,1,……，n-1，n为裁剪数量）之间的信息交互，减少冗余信息带来的干扰,我们采用图3中多头注意力机制所示的连接方式，具体表示如下：
，
其中i=0，1，2，……，n-1（n为裁剪数量），LN代表全连接层，其中多头信息融合模块是在此基础上进行多头注意力机制，同时，为了防止出现过拟合现象，在LN层后面加入层，并在最后将/>连接并和螺旋分解图进行残差相加，得到初步特征提取结果。
S6：如图1所示，对螺旋域特征和物理空间域特征进行提取，螺旋域编码器由3层2DCNN组成，其中每层由DS模块组成，DS模块由两个相同的结构构成，每个结构依次包含卷积核大小为5X5的卷积层、Batch Normalization的归一化层、激活函数为Relu的激活层以及最大池化层每层还加入了残差结构，保证网络训练过程中的稳定性，增强特征提取能力。通过编码器得到不同分辨率下的螺旋分解域特征（i=0，1，2，为对应的特征层数）。物理域编码器由3层3D CNN组成，其中每层由DS模块组成，DS模块由两个相同的结构构成，每个结构包含卷积核大小为3X3的卷积层、Batch Normalization的归一化层、激活函数为Relu的激活层以及最大池化层。通过编码器得到不同分辨率下的物理空间域特征/>（i=0，1，2，为对应的特征层数）。
S7：步骤S6获得了螺旋分解域特征和物理空间域特征，为了实现特征的更好交互，我们设计信息融合模块，模块包含螺旋特征分解和域-域特征融合两个部分。
如图1所示，针对于不同分辨率下3D物理空间域中的特征，需要使用螺旋分解对特征进行采样，以实现特征对齐和降维的目的，具体包括建立球坐标系、初始化参数以及确定取值范围、螺旋特征映射三个组成部分。（1）以特征的中心点为坐标建立球坐标系，根据特征长、宽、以及时间序列的维度，设置x、y、z轴的方向/> 。（2）半径的取值范围在/>到/>之间，其中/>是中心点和对应x，y，z轴六个面的最小距离之间，极角/>的取值范围是0到/>，方位角/>的取值范围是0到2/>，极角和方位角均用弧度制表示，极角和方位角的初始化为/>和/>。（3）在某半径下，通过同时增大极角和方位角，在球面上进行螺旋式采样，并按照采样次序排列到直角坐标系的同一行中，得到该半径对应的螺旋线，因此获得不同半径的多条螺旋线，并按照半径的采样次序排列到直角坐标系的列中，从而得到对应通道的螺旋分解特征，再按照通道的次序依次分解，从而获得螺旋特征分解。对每层物理空间域特征进行螺旋特征分解得到相同通道数的4维张量：/>，i=0，1，2，为对应的特征层数。
如图1所示，经过3D卷积层特征提取后的物理螺旋特征包含了物理空间域中的体素和周围26个角度之间的信息交互结果，因此为了将物理螺旋特征更好的发挥空间作用，减少冗余特征带来的干扰，分别对同一分辨率下的特征进行信息融合，融合方式如图4所示，具体公式表示如下：
，
其中LN为全连接层，i=0，1，2，表示不同分辨率下的融合特征，通过不同域之间特征进行点乘，得到域-域之间的相似性，为物理螺旋空间域特征，/>为螺旋分解域特征，利用/>函数，将相似性映射到0-1之间，并和域特征相乘得到对应域的权重相关性/>，并加入残差连接，得到信息融合后的结果/>。螺旋特征分解，能够按照螺旋分解方式对3D特征进行降维，为后续域-域特征融合实现特征对齐。而域-域特征融合能够结合螺旋分解特征和物理空间特征之间的相关性，增加特征空间信息的利用。
S8：如图1所示，为了获得腹部CT分割的最终结果，需要融合特征进行解码获得螺旋分割结果，并将多角度螺旋分割结果进行逆螺旋分解，获得腹部CT的最终分割结果。
解码阶段：解码器由4层2D CNN组成，其中每层由US模块组成，US模块由两个相同的结构构成，每个结构依次包含卷积核大小为5×5的卷积层、Batch Normalization的归一化层以及激活函数为Relu的激活层，并在每层最后进行上采样，在解码过程中，还加入了跳跃连接和残差结构，得到螺旋分割结果。再利用逆螺旋分解对螺旋分割结果进行3D重建，逆螺旋分解包含：建立球坐标系、初始化参数以及确定可选择的范围、螺旋特征还原三个部分。建立球坐标系：根据步骤S2得到的粗分割结果，获取肿瘤标签非零域中心点作为球坐标系中心O，并根据CT图像的维度，设置x、y、z轴的方向/> 。初始化：半径(r)的取值范围在-R到R之间（以体素为单位），极角/>的取值范围是0到/>，方位角/>的取值范围是0到2/>，极角和方位角均用弧度制表示，极角和方位角的初始化为/>和/>。映射还原：将直角坐标系的一行按照采样的次序还原到球坐标系中对应半径下的螺旋线中，并按照列的次序进行不同半径下螺旋线的还原，从而获得最终胰腺肿瘤3D分割结果，同时将多张不同初始化极角和方位角下的螺旋分解图进行映射还原，能够提高3D分割结果的准确度。
为了证明本发明的有效性，本发明还提供了下述对比实验：
具体的，本发明选取来自71名患者腹部CT图像，其中，38例图像用于训练，16例图像用于验证，17例图像用于测试。在经过所述步骤一中的预处理之后，图像被用于模型的训练和测试。上述所述的粗分割网络以及螺旋分割网络损失函数均为交叉熵损失函数和Dice损失函数之和，同时加上λ超参数进行正则化，减少过拟合出现的可能性。
消融实验中将本方法的实验结果与不增加3D分支和不增加LAA模块方法对比，对比结果如表1所示，
表1：
其中ST代表螺旋分解，3D代表3D物理并行分支，LAA代表导程角注意力模块，观察到3D物理并行分支和LAA模块在分割网络中都发挥了重要作用。
对比实验中将本方法的实验结果UNet++、DenseBiasNet、MsFF、ResDSN方法对比，对比结果如表2所示，
表2：
其中为保证实验结果公平性，上述实验均在粗分割基础上进行细分割。如图6所示，相比于其他3D算法，本发明提出的方法能够更准确分割肿瘤边缘信息。如图7所示，相对于2D算法，本发明提出的方法在空间上具有更好的连续性。
需要说明的是上述实施例，并非用来限定本发明的保护范围，在上述技术方案的基础上所作出的等同变换或替代均落入本发明权利要求所保护的范围。

Claims (7)

1.一种基于3D物理空间域和螺旋分解空间域的胰腺肿瘤分割方法，其特征在于，所述方法包括以下步骤：
S1：预处理：将CT图像像素值进行归一化并利用临床先验知识对获取到的3D CT图像的窗宽窗位进行设置；
S2：将步骤S1中预处理CT图像切片输入训练好的粗分割网络模型中得到胰腺肿瘤的位置信息；
S3：根据步骤S2中的粗分割结果，以肿瘤为中心建立球坐标系，对CT图像进行螺旋分解得到螺旋分解图；
S4：建立物理空间并行分支，根据步骤S2中的粗分割结果，裁剪以肿瘤为中心CT区域图像块；所述步骤S4中3D区域裁剪过程：根据步骤S2中的粗分割结果，将肿瘤标签的非零域中心点作为裁剪中心O’，并根据CT中胰腺肿瘤的先验位置信息，裁剪坐标为长：-50～50，宽：-50～50，高：-20～20的区域，得到肿瘤及其周围部分组织结构的3D区域图像块；
S5：根据步骤S3中的螺旋分解图的连续性，利用螺纹升角注意力模块Lead AngleAttention即LAA获取螺旋分解图中的不同螺纹升角之间的相互关系；步骤S5中螺纹升角注意力模块LAA包含螺旋分解图的裁剪和图像块相关性获取两个部分；
其中，螺旋分解图裁剪：按列裁剪螺旋分解图，得到不同区间的螺纹升角图像块Ispiral- ii-0，1，2，……n-1，n为裁剪数量；
图像块相关性获取：利用注意力机制，计算图像块之间相似性获取不同图像块之间的相关性，具体用公式表示如下：
其中i＝0，1，2，……，n-1，n为裁剪数量；LN代表全连接层，通过与不同图像块的键值相乘，获得对应图像块和其他图像块间的相似性，再和对应图像块相乘，并加入残差结构，获得信息交互之后的螺旋图像块，在此基础上，采用多头注意力机制，将Outputi连接在一起得到螺旋分解相关性特征FLAA；
S6：将步骤S4和步骤S5中的3D区域图像块和螺旋块相关性特征输入到不同的编码中提取到不同分辨率下的物理空间域特征和螺旋空间域特征；
S7：将步骤S6中的双域特征输入到信息融合模块中，信息融合模块包含两个部分：对不同分辨率下的物理空间域特征进行螺旋特征分解、利用域-域特征融合机制将螺旋分解域特征和物理螺旋域特征融合；
S8：对步骤S7中的融合特征进行解码，获得螺旋分割结果，利用逆螺旋分解对多角度下的螺旋分割结果进行3D图像重建，获得最终胰腺肿瘤3D分割结果。
2.根据权利要求1所述基于3D物理空间域和螺旋分解空间域的胰腺肿瘤分割方法，其特征在于：所述步骤S1中预处理包括：(1)根据胰腺肿瘤临床先验信息，设置腹部CT窗宽：200HU，窗位：100HU，(2)对腹部CT图像中像素值进行归一化。
3.根据权利要求1所述基于3D物理空间域和螺旋分解空间域的胰腺肿瘤分割方法，其特征在于：步骤S2中粗分割过程包含以下步骤：首先根据3D CT中胰腺肿瘤的先验位置信息，对CT切片进行裁剪，裁剪区域对应坐标为长：100～400、宽：120～480，均以像素为单位，在此基础上，对裁剪后的每张CT切片进行粗分割，粗分割网络为编码-解码结构，其中编码解码中每层均包含积核大小为5X5的2D卷积层、Batch Normalization的归一化层以及激活函数为Relu的激活层，编码器在每层最后加入最大池化层，解码器在每层最后加入上采样层，粗分割模型的深度为4层，最后将CT切片按照初始时序结合，得到粗分割结果Icoarse。
4.根据权利要求1所述基于3D物理空间域和螺旋分解空间域的胰腺肿瘤分割方法，其特征在于：步骤S3中所述螺旋分解过程包括建立球坐标系、初始化参数以及确定取值范围、螺旋空间映射三个组成部分；
建立球坐标系：根据步骤S2得到的粗分割结果Icoarse获得肿瘤标签非零域中心点，将该点作为球坐标系中心O，并根据CT图像的维度，设置x、y、z轴的方向directx、directy、directz，不同的方向能获得CT图像冠状面、矢状面以及横切面的螺旋分解图；
初始化：CT中任何一点均能用球坐标系表示，具体如下：
其中x，y，z代表CT图像中坐标，半径r的取值范围在-R到R之间，以体素为单位，其中R是中心点和六个面的最小距离之间，极角α的取值范围是0到Π，方位角β的取值范围是0到2Π，极角和方位角均用弧度制表示，不同的初始化极角α0和方位角β0会获取同一球面中不同的螺旋线；
映射：在某半径下，通过同时增大极角和方位角，在球面上进行螺旋式采样，并按照采样次序排列到直角坐标系的同一行中，得到该半径对应的螺旋线，因此获得不同半径的多条螺旋线，并根据半径的采样次序按列排列到直角坐标系，从而获得螺旋分解图Ispiral，实现物理空间体素相关性向螺旋分解域中的转化。
5.根据权利要求1所述基于3D物理空间域和螺旋分解空间域的胰腺肿瘤分割方法，其特征在于：所述步骤S6包含螺旋空间域特征提取和物理空间域特征提取；其中，螺旋空间域特征：编码器由3层2D CNN组成，其中每层由两个相同的模块组成，每个模块依次包含卷积核大小为5X5的卷积层、Batch Normalization的归一化层、激活函数为Relu的激活层以及最大池化层，此外每层还加入了残差结构，通过编码器得到不同分辨率下的螺旋分解域特征Fspiral-i，i＝0，1，2，为对应的特征层数；
物理空间域特征提取：编码器由3层3D CNN组成，其中每层由两个相同的模块组成，每个模块依次包含卷积核大小为3X3的卷积层、Batch Normalization的归一化层、激活函数为Relu的激活层以及最大池化层，通过编码器得到不同分辨率下的物理空间域特征F3D-i，i＝0，1，2，为对应的特征层数。
6.根据权利要求1所述基于3D物理空间域和螺旋分解空间域的胰腺肿瘤分割方法，其特征在于：步骤S7中信息融合模块包含螺旋特征分解和域-域特征融合两个部分，其中，螺旋特征分解包括建立球坐标系、初始化参数以及确定取值范围、螺旋特征映射三个组成部分；
域-域特征融合：将步骤S6得到螺旋分解特征Fspiral-i和螺旋特征分解后的物理螺旋空间特征F3D-spiral-i融合，通过计算域间相似性，进行域间信息融合，具体表示如下：
其中LN代表全连接层，i＝0，1，2，表示不同分辨率下的融合特征，融合机制通过计算域间相似性，并利用softmax函数，将其映射到0-1之间，并和域特征相乘得到对应域的权重相关性attentioni，在此基础上加入了残差连接，得到信息融合后的结果Outputi。
7.根据权利要求1所述基于3D物理空间域和螺旋分解空间域的胰腺肿瘤分割方法，其特征在于：将步骤S7中融合特征进行解码，解码器由4层2D CNN组成，其中每层由两个相同的模块组成，每个模块依次包含卷积核大小为5×5的卷积层、Batch Normalization的归一化层以及激活函数为Relu的激活层，并在每层最后进行上采样，在解码过程中，还加入了跳跃连接和残差结构，得到螺旋分割结果Ispiral-segmentation，再利用逆螺旋分解对螺旋分割结果进行3D重建，逆螺旋分解包含：建立球坐标系、初始化参数以及确定可选择的范围、螺旋特征还原三个部分。
CN202310683656.7A 2023-06-09 2023-06-09 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法 Active CN116468741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310683656.7A CN116468741B (zh) 2023-06-09 2023-06-09 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310683656.7A CN116468741B (zh) 2023-06-09 2023-06-09 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法

Publications (2)

Publication Number Publication Date
CN116468741A CN116468741A (zh) 2023-07-21
CN116468741B true CN116468741B (zh) 2023-09-22

Family

ID=87181038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310683656.7A Active CN116468741B (zh) 2023-06-09 2023-06-09 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法

Country Status (1)

Country Link
CN (1) CN116468741B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351489B (zh) * 2023-12-06 2024-03-08 四川省肿瘤医院 面向全身pet/ct扫描的头颈肿瘤靶区的勾画系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN114663431A (zh) * 2022-05-19 2022-06-24 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN114708283A (zh) * 2022-04-21 2022-07-05 推想医疗科技股份有限公司 图像目标的分割方法、装置、电子设备及存储介质
CN116012320A (zh) * 2022-12-26 2023-04-25 南开大学 基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN114708283A (zh) * 2022-04-21 2022-07-05 推想医疗科技股份有限公司 图像目标的分割方法、装置、电子设备及存储介质
CN114663431A (zh) * 2022-05-19 2022-06-24 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN116012320A (zh) * 2022-12-26 2023-04-25 南开大学 基于深度学习的小而形状不规则胰腺肿瘤的图像分割方法

Also Published As

Publication number Publication date
CN116468741A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
Xiao et al. Transformers in medical image segmentation: A review
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN113870258A (zh) 一种基于对抗学习的无标签胰腺影像自动分割系统
CN110853038A (zh) 一种用于肝脏肿瘤CT图像分割技术的DN-U-net网络方法
Zhou et al. LAEDNet: a lightweight attention encoder–decoder network for ultrasound medical image segmentation
CN111429474A (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN116468741B (zh) 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法
Tursynova et al. 3D U-Net for brain stroke lesion segmentation on ISLES 2018 dataset
Guo et al. A transformer-based network for anisotropic 3D medical image segmentation
Li et al. Study on strategy of CT image sequence segmentation for liver and tumor based on U-Net and Bi-ConvLSTM
CN117455906B (zh) 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法
Lin et al. Variance‐aware attention U‐Net for multi‐organ segmentation
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
CN113012164A (zh) 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质
Li et al. Scribformer: Transformer makes cnn work better for scribble-based medical image segmentation
Li et al. Cross-shaped windows transformer with self-supervised pretraining for clinically significant prostate cancer detection in Bi-parametric MRI
Zhang et al. FAFS-UNet: Redesigning skip connections in UNet with feature aggregation and feature selection
Wang et al. MF-Net: Multiple-feature extraction network for breast lesion segmentation in ultrasound images
Huang et al. Medical image segmentation based on dynamic positioning and region-aware attention
Tu et al. Segmentation of lesion in dermoscopy images using dense-residual network with adversarial learning
Wang et al. Multi-scale boundary neural network for gastric tumor segmentation
Yang et al. RA-SIFA: Unsupervised domain adaptation multi-modality cardiac segmentation network combining parallel attention module and residual attention unit
Yin et al. DFBU-Net: Double-branch flat bottom U-Net for efficient medical image segmentation
Wang et al. FSOU-Net: Feature supplement and optimization U-Net for 2D medical image segmentation
Kuang et al. Hepatic vein and arterial vessel segmentation in liver tumor patients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant