CN114463456A - 基于pet/mr成像系统的自动脑区分割方法及装置 - Google Patents

基于pet/mr成像系统的自动脑区分割方法及装置 Download PDF

Info

Publication number
CN114463456A
CN114463456A CN202111683008.9A CN202111683008A CN114463456A CN 114463456 A CN114463456 A CN 114463456A CN 202111683008 A CN202111683008 A CN 202111683008A CN 114463456 A CN114463456 A CN 114463456A
Authority
CN
China
Prior art keywords
image
convolution
brain region
pet
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111683008.9A
Other languages
English (en)
Inventor
胡战利
黄振兴
刘涵
郑海荣
梁栋
刘新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111683008.9A priority Critical patent/CN114463456A/zh
Publication of CN114463456A publication Critical patent/CN114463456A/zh
Priority to PCT/CN2022/137720 priority patent/WO2023124888A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于PET/MR成像系统的自动脑区分割方法及装置，将MRI图像和PET图像特征进行融合，提高脑区分割精度与准确率。所述方法将同一人的MRI图像和PET图像作为一个样本；将每个样本中的MRI图像进行去颅骨、绘制标签处理后，将其作为模板对PET图像进行配准处理，使得PET图像与MRI图像共用标签；对配准后的图像，按照横断面进行切片处理，并对切片图像进行数据归一化处理以及对标签进行独热编码；建立一个具有两个输入通道一个输出通道的Unet模型；将MRI图像与PET图像的切片作为Unet模型的输入，得到特征融合后的脑区分割结果。本发明通过融合PET/MR双模态的特征，保留个体特异性，提高脑区分割精度与准确率。

Description

基于PET/MR成像系统的自动脑区分割方法及装置
技术领域
本公开涉及医学图像分割，具体涉及一种基于PET/MR成像系统的自动脑区分割方法及装置。
背景技术
一体化正电子发射断层成像(PET)/核磁共振成像(MRI)是将PET和MRI整合成一体的新型多模态影像系统。它实现了两种不同设备在相同空间内同时采集，既结合了MRI系统的软组织高分辨率与多参数多功能成像特性，又结合了PET系统的放射性示踪剂代谢高灵敏度以及数据定量化特性。脑区分割的准确与否对临床诊断影响重大，对于脑血管疾病、老年痴呆、癫痫、帕金森、神经退行性疾病的诊断以及神经精神药物研究与脑功能研究等具有重要价值。
传统方法和分割工具采取标准脑模板的方法，忽略了个体差异。大部分算法基于少数脑区或者脑肿瘤分割，将这些算法用于对整个脑区分割时，算法鲁棒性差。当前由于PET分辨率远低于MRI，大多数脑区分割算法研究都集中在MRI上，少有研究用PET实现脑区分割的算法，但是PET属于功能成像，侧重于细胞活动的病例检测应用，对其脑区分割有非常大的实际应用价值。
发明内容
有鉴于此，本发明的主要目的是提出一种基于PET/MRI成像系统的自动脑区分割的方法或者装置，该方法或者装置能够保留个体特异性，并具有PET图像和MRI图像各自的优点，有利于提高整体的分割准确率。
第一方面，本发明提出的一种基于PET/MRI成像系统的自动脑区分割方法，所述方法包括下述步骤：
S100、将同一人的MRI图像和PET图像作为一个样本；在将每个样本中的MRI图像进行去颅骨、绘制标签处理后，将其作为模板对PET图像进行配准处理，使得PET图像与MRI图像共用标签；
S200、对配准后的图像，按照横断面进行切片处理，并对切片图像进行数据归一化处理以及对标签进行独热编码；
S300、建立一个具有两个输入通道的Unet模型；
S400、将MRI图像与PET图像的切片作为Unet模型的输入，得到特征融合后的脑区分割结果。
优选地，在所述方法中，所述Unet模型为7层Unet模型；
所述7层Unet模型包括14个卷积模块；前6个卷积模块中，每个卷积模块后面设置一个下采样模块；从第8个卷积模块到第13个卷积模块，每个卷积模块前面设置一个上采样模块；
所述下采样模块采用最大池化对输入图像进行压缩处理；
所述上采样模块采用逆卷积对输入图像进行放大处理；
前13个卷积模块中，每个卷积模块有两个卷积层用于特征提取，在每个卷积层依次增加归一化层和激活层；
第14个卷积模块只有一个卷积层，用于输出各类脑区分割结果。
所述归一化层采用的归一化方法为实例归一化，所述激活层的函数选择LeakyReLU激活函数。
优选地，在所述方法中，所述脑区标签为43个，包括42个脑区分割标签和1个背景。
优选地，在所述方法中，所述7层Unet模型采用下述损失函数来衡量每次模型训练的效果，损失函数越小，表明当前模型对PET图像的脑区分割结果越接近MRI图像标签对应的值；
Loss＝αLde+βLce
Figure BDA0003453105860000031
Figure BDA0003453105860000032
上式中：
α，β分别是交叉熵损失函数和Dice损失函数的权重，都设置为1；M是脑区分割类别的数量；N为每张切片上的像素点总数；
pi，j是输出图像的第i个像素在第j个脑区分割类别上的预测值；
gi，j是MRI的切片图像的第i个像素在第j个脑区分割类别上的真实值。
优选地，在所述方法中，所述损失函数使用Adam优化器来优化。
第二方面，本发明提出了一种基于PET/MR成像系统的自动脑区分割装置，所述装置包括预处理模块、Unet模块；
所述预处理模块包括配准单元、切片单元、数据归一化单元以及独热编码单元；
所述配准单元：将同一人的MRI图像和PET图像作为一个样本；在将每个样本中的MRI图像进行去颅骨、绘制标签处理后，将其作为模板对PET图像进行配准处理，使得PET图像与MRI图像共用标签；
所述切片单元：将配准后的图像，按照横断面进行切片处理；
所述数据归一化单元：将MRI切片图像、PET切片图像进行归一化处理；
所述独热编码单元：将标签类别对应的通道数所在的位置设置为1，其它位置设置为0；
所述Unet模块：将MRI图像与PET图像的切片作为Unet模型的输入，得到特征融合后的脑区分割结果。
优选地，在所述装置中，所述Unet模块为7层Unet模型；
所述7层Unet模型包括14个卷积模块；前6个卷积模块中，每个卷积模块后面设置一个下采样模块；从第8个卷积模块到第13个卷积模块，每个卷积模块前面设置一个上采样模块；
所述下采样模块采用最大池化对输入图像进行压缩处理；
所述上采样模块采用逆卷积对输入图像进行放大处理；
前13个卷积模块中，每个卷积模块有两个卷积层用于特征提取，在每个卷积层依次增加归一化层和激活层；
第14个卷积模块只有一个卷积层，用于输出脑区分割结果；
所述归一化层采用的归一化方法为实例归一化，所述激活层的函数选择LeakyReLU激活函数。
优选地，在所述装置中，所述脑区标签为43个，包括42个脑区分割标签和1个背景。
优选地，在所述装置中，所述7层Unet模型采用下述损失函数来衡量每次模型训练的效果，损失函数越小，表明当前模型对PET图像的脑区分割结果越接近MRI图像标签对应的值；
Loss＝αLde+βLce
Figure BDA0003453105860000051
Figure BDA0003453105860000052
上式中：
α，β分别是交叉熵损失函数和Dice损失函数的权重，都设置为1；M是脑区分割类别的数量；N为每张切片上的像素点总数；
pi，j是输出图像的第i个像素在第j个脑区分割类别上的预测值；
gi，j是MRI的切片图像的第i个像素在第j个脑区分割类别上的真实值。
优选地，在所述装置中，所述损失函数使用Adam优化器来优化。
与现有技术相比：
本发明通过将MRI图像处理成模板，保留个体特异性；通过将标签作为模型输入，提高算法的泛化能力；通过融合PET/MR的特征，可以提高整体的分割准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一个实施例中的Unet模型示意图；
其中：①为进行2次卷积输入；②为最大池化层；③逆卷积④进行1次卷积后输出；
图2为本公开一个实施例中关于金标准对应的全类标签冠状面的横断面切片；
图3为本公开一个实施例中关于单通道MRI图像对应的全类标签冠状面的横断面切片；
图4为本公开一个实施例中关于单通道MRI图像对应的全类标签冠状面的横断面切片；
图5为本公开一个实施例中关于PET/MR双输入对应的全类标签冠状面的横断面切片。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或设备的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或设备，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或设备。
为使本申请的目的、技术方案和优点更加清楚，下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
在一个实施例中，使用的新型多模态影像系统是一体化正电子发射断层成像(PET)/核磁共振成像(MRI)，它将PET和MRI整合成一体，实现了两种不同设备在相同空间内同时采集，既结合了MRI系统的软组织高分辨率与多参数多功能成像特性，又结合了PET系统的放射性示踪剂代谢高灵敏度以及数据定量化特性。
这种系统可以同时获取两种图像。通过采用下述方法，可以将MRI图像的特征和PET图像的特征进行融合，可以保留个体差异特征的同时，提高PET的脑区分割精度与准确率，具体实施步骤如下：
S100、将同一人的MRI图像和PET图像作为一个样本；在将每个样本中的MRI图像进行去颅骨、绘制标签处理后，将其作为模板对PET图像进行配准处理，使得PET图像与MRI图像共用标签；
S200、对配准后的图像，按照横断面进行切片处理，并对切片图像进行数据归一化处理以及对标签进行独热编码；
S300、建立一个具有两个输入通道的Unet模型；
S400、将MRI图像与PET图像的切片作为Unet模型的输入，得到特征融合后的脑区分割结果。
由于不同的人，脑部结构有不同的差异，如果采用脑模板，会忽略掉个体个异性。因此在这个实施例中，使用同一脑的MRI图像作为模板，对该脑的PET图像进行脑区分割，保留个体各异性。通过配准后的PET图像，与MRI图像共用相同标签。具体地，在MRI图像中进行标签处理时，在脑区设置42个标签，1个背景标签，配准后的PET图像共享这些标签。将PET和MR图像切片作为7层Unet模型的输入，进行训练学习，能够用于提高模型的泛化能力，提高对脑区分割的准确性。
7层Unet模型一方面学习PET分子成像功能以及MRI软组织高分辨率这些特征，另一方面将MRI图像和PET图像进行特征融合，输出脑区分割结果。
在一个优选地实施例中，将Unet模型设计为一个7层Unet模型，如图1所示。该模型的左边用于特征提取，右边用于融合特征。需要理解的是，术语“左”、“右”等仅是为了便于描述本申请和简化描述，不能理解为对本申请的限制。所述7层Unet模型使用14个卷积模块、6个下采样模块以及6个上采样模块。具体地，前6个卷积模块中，每个卷积模块后面设置一个下采样模块；从第8个卷积模块到第13个卷积模块，每个卷积模块前面设置一个上采样模块。所述下采样模块采用最大池化对输入图像进行压缩处理；所述上采样模块采用逆卷积对输入图像进行放大处理。前13个卷积模块中，每个卷积模块有两个卷积层用于特征提取。为了加速神经网络训练，加速收敛速度及稳定性，在每个卷积层后面增加归一化层，归一化方法为实例归一化。为了加快收敛速度以及解决梯度消失的问题，在归一层后面添加激活层，所述激活层的函数选择Leaky ReLU激活函数。为了方便快速地计算每类标签的Dice损失函数值，在第13个卷积模块之后，增加一个卷积模块，该模块仅有一个卷积层，用于将各个脑区分割标签作为对应通道输出，该卷积模块的输出通道数设置为43，包括42类标签以及1个背景标签。该7层Unet模型和1个卷积模型的参数设置如表1所示。
表1
模块 核大小 步长 填充 输入通道 输出通道
第1个卷积模块 3×3 1×1 1×1 2 32
第1个下采样模块 2×2 1×1 - 32 32
第2个卷积模块 3×3 1×1 1×1 32 64
第2个下采样模块 2×2 1×1 - 64 64
第3个卷积模块 3×3 1×1 1×1 64 128
第3个下采样模块 2×2 1×1 - 128 128
第4个卷积模块 3×3 1×1 1×1 128 256
第4个下采样模块 2×2 1×1 - 256 256
第5个卷积模块 3×3 1×1 1×1 256 480
第5个下采样模块 2×2 1×1 - 480 480
第6个卷积模块 3×3 1×1 1×1 480 480
第6个下采样模块 2×2 1×1 - 480 480
第7个卷积模块 3×3 1×1 1×1 480 480
第1个上采样模块 2×1 2×1 - 480 480
第8个卷积模块 3×3 1×1 1×1 960 480
第2个上采样模块 2×2 1×1 - 480 480
第9个卷积模块 3×3 1×1 1×1 960 480
第3个上采样模块 2×2 1×1 - 480 256
第10个卷积模块 3×3 1×1 1×1 512 256
第4个上采样模块 2×2 1×1 - 256 128
第11个卷积模块 3×3 1×1 1×1 256 128
第5个上采样模块 2×2 1×1 - 128 64
第12个卷积模块 3×3 1×1 1×1 128 64
第6个上采样模块 2×2 1×1 - 64 32
第13个卷积模块 3×3 1×1 1×1 64 32
第14个卷积模块 1×1 1×1 - 32 43
从上表看出，在本实施例中，7层Unet模型每一层的左右卷积模块都各包括一个3×3的卷积核，左侧用于提取两种图像特征进行学习，右侧用于融合两种图像特征。第一层的右侧卷积模块还包括一个1×1的卷积核，由于对应的标签已经过独热编码，因而可以方便快速地计算每一类标签的dice值，从而提高7层Unet模型的脑区分割速度。
图1中，①为进行2次卷积输入；②为最大池化层；③逆卷积④进行1次卷积后输出；在7层Unet模型的左侧，每一层输入时首先要通过卷积模块的两次卷积运算，进行特征提取，然后进行下采样模块下采样处理。按表1参数配置，将大小为256×192的MRI图像和PET图像作为输入，经过第一层卷积模块提取特征信息、下采样模块压缩特征信息之后，得到第二层的输入，图像大小变为128×96。对于左侧第二层到左侧第六层，每层经过卷积模块和下采样模块处理后，得到的图片大小依次为64×48，32×24，16×12，8×6，4×6。
将大小为4×6的图像经第七个卷积模块卷积运算之后，进行上采样模块上采样处理，上采样用于放大图像。将放大后的图像特征和左侧的第六层得到的特征图像输入右侧的卷积模块，可以得到右侧第五层的输入图像，得到的图像大小为8×6。接下来，对于右侧第五层到右侧第一层，每层依次经过上采样模块放大图像处理以及和对应层的特征图像进行卷积模块处理后，得到的图片大小依次为16×12，32×24，64×48，128×96，256×192。最后经第14个卷积模块进行卷积操作，得到43个脑区分割结果。
在7层Unet模型进行训练时，用于优化模型的损失函数如下：
Loss＝αLde+βLce
Figure BDA0003453105860000111
Figure BDA0003453105860000112
上式中：
α，β分别是交叉熵损失函数和Dice损失函数的权重，都设置为1；M是脑区分割类别的数量43；N为每张切片上的像素点总数；
Pi，j是输出图像的第i个像素在第j个脑区分割类别上的预测值；
gi，j是MRI的切片图像的第i个像素在第j个脑区分割类别上的真实值。
损失函数越小，表明当前模型对PET图像的脑区分割结果越接近MRI图像标签对应的值。优选地，损失函数使用Adam优化器来优化。
在一个实施例中，同时获取了病例的MRI图像、PET图像，使用现有技术分别对MRI图像、PET图像进行脑区分割，以及本发明的方法获取脑区分割图像。图2-图5为全类标签冠状面横断面切片，图2为金标准示意图，图3为仅MRI图像作为输入相应输出的横断面切片示意图，图4为仅PET图像作为输入相应输出的横断面切片示意图，图5为本发明中将MRI图像、PET图像作为共同输入相应输出的横断面切片示意图。
在一个实施例中，根据本发明方法实现了一种基于PET/MR成像系统的自动脑区分割装置，所述装置包括预处理模块、Unet模块；所述预处理模块包括配准单元、切片单元、数据归一化单元以及独热编码单元；所述配准单元：将同一人的MRI图像和PET图像作为一个样本；在将每个样本中的MRI图像进行去颅骨、绘制标签处理后，将其作为模板对PET图像进行配准处理，使得PET图像与MRI图像共用标签；所述切片单元：将配准后的图像，按照横断面进行切片处理；所述数据归一化单元：将MRI切片图像、PET切片图像、标签进行归一化处理；所述独热编码单元：将标签类别对应通道数所在的位置设置为1，其它位置设置为0；所述Unet模块：将MRI图像与PET图像的切片作为Unet模型的输入，得到特征融合后的脑区分割结果。。
优选地，所述Unet模块采用7层Unet模型；所述7层Unet模型包括14个卷积模块；前6个卷积模块中，每个卷积模块后面设置一个下采样模块；从第8个卷积模块到第13个卷积模块，每个卷积模块前面设置一个上采样模块；所述下采样模块采用最大池化对输入图像进行缩小处理；所述上采样模块采用逆卷积对输入图像进行放大处理；前13个卷积模块中，每个卷积模块有两个卷积层用于特征提取，在每个卷积层依次增加归一化层和激活层；第14个卷积模块只有一个卷积层，用于输出各脑区分割结果；所述归一化层采用的归一化方法为实例归一化，所述激活层的函数选择Leaky ReLU激活函数。脑区标签为43个，分别为42个脑区分割标签和1个背景。具体地，所述7层Unet模型，以及1个卷积模型的参数设置同表1相同。
优选地，在所述装置中，所述7层Unet模型采用下述损失函数来衡量每次模型训练的效果，损失函数越小，表明当前模型对PET图像的脑区分割结果越接近MRI图像标签对应的值；
Loss＝αLde+βLce
Figure BDA0003453105860000131
Figure BDA0003453105860000132
上式中：α，β分别是交叉熵损失函数和Dice损失函数的权重，都设置为1；M是脑区分割类别的数量；N为每张切片上的像素点总数；pi，j是输出图像的第i个像素在第j个脑区分割类别上的预测值；gi，j是MRI的切片图像的第i个像素在第j个脑区分割类别上的真实值。
优选地，在所述装置中，所述损失函数使用Adam优化器来优化。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本公开可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本公开而言更多情况下，软件程序实现是更佳的实施方式。
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (10)

1.一种基于PET/MR成像系统的自动脑区分割方法，其特征在于，所述方法包括下述步骤：
S100、将同一人的MRI图像和PET图像作为一个样本；在将每个样本中的MRI图像进行去颅骨、绘制标签处理后，将其作为模板对PET图像进行配准处理，使得PET图像与MRI图像共用标签；
S200、对配准后的图像，按照横断面进行切片处理，并对切片图像进行数据归一化处理以及对标签进行独热编码；
S300、建立一个具有两个输入通道的Unet模型；
S400、将MRI图像与PET图像的切片作为Unet模型的输入，得到特征融合后的脑区分割结果。
2.根据权利要求1所述的方法，其特征在于，所述Unet模型为7层Unet模型；
所述7层Unet模型包括14个卷积模块；前6个卷积模块中，每个卷积模块后面设置一个下采样模块；从第8个卷积模块到第13个卷积模块，每个卷积模块前面设置一个上采样模块；
所述下采样模块采用最大池化对输入图像进行缩小处理；
所述上采样模块采用逆卷积对输入图像进行放大处理；
前13个卷积模块中，每个卷积模块有两个卷积层用于特征提取，在每个卷积层依次增加归一化层和激活层；
第14个卷积模块只有一个卷积层，用于输出脑区分割标签；
所述归一化层采用的归一化方法为实例归一化，所述激活层的函数选择Leaky ReLU激活函数。
3.根据权利要求2所述的方法，其特征在于，所述脑区标签为43个，包括42个脑区分割标签和1个背景。
4.根据权利要求2所述的方法，其特征在于，所述7层Unet模型采用下述损失函数来衡量每次模型训练的效果，损失函数越小，表明当前模型对PET图像的脑区分割结果越接近MRI图像标签对应的值；
Loss＝αLde+βLce
Figure FDA0003453105850000021
Figure FDA0003453105850000022
上式中：
α，β分别是交叉熵损失函数和Dice损失函数的权重，都设置为1；M是脑区分割类别的数量；N为每张切片上的像素点总数；
pi，j是输出图像的第i个像素在第j个脑区分割类别上的预测值；
gi，j是MRI的切片图像的第i个像素在第j个脑区分割类别上的真实值。
5.根据权利要求6所述的方法，其特征在于，所述损失函数使用Adam优化器来优化。
6.一种基于PET/MR成像系统的自动脑区分割装置，其特征在于，所述装置包括预处理模块、Unet模块；
所述预处理模块包括配准单元、切片单元、数据归一化单元以及独热编码单元；
所述配准单元：将同一人的MRI图像和PET图像作为一个样本；在将每个样本中的MRI图像进行去颅骨、绘制标签处理后，将其作为模板对PET图像进行配准处理，使得PET图像与MRI图像共用标签；
所述切片单元：将配准后的图像，按照横断面进行切片处理；
所述数据归一化单元：将MRI切片图像、PET切片图像进行归一化处理；
所述独热编码单元：将标签类别对应通道数所在的位置设置为1，其它位置设置为0；
所述Unet模块：将MRI图像与PET图像的切片作为Unet模型的输入，得到特征融合后的脑区分割结果。
7.根据权利要求6所述的装置，其特征在于，所述Unet模块为7层Unet模型；
所述7层Unet模型包括14个卷积模块；前6个卷积模块中，每个卷积模块后面设置一个下采样模块；从第8个卷积模块到第13个卷积模块，每个卷积模块前面设置一个上采样模块；
所述下采样模块采用最大池化对输入图像进行压缩处理；
所述上采样模块采用逆卷积对输入图像进行放大处理；
前13个卷积模块中，每个卷积模块有两个卷积层用于特征提取，在每个卷积层依次增加归一化层和激活层；
第14个卷积模块只有一个卷积层，用于输出各类脑区分割结果；
所述归一化层采用的归一化方法为实例归一化，所述激活层的函数选择Leaky ReLU激活函数。
8.根据权利要求6所述的装置，其特征在于，所述脑区标签为43个，包括42个脑区分割标签和1个背景。
9.根据权利要求6所述的装置，其特征在于，所述7层Unet模型采用下述损失函数来衡量每次模型训练的效果，损失函数越小，表明当前模型对PET图像的脑区分割结果越接近MRI图像标签对应的真实值；
Loss＝αLde+βLce
Figure FDA0003453105850000041
Figure FDA0003453105850000042
上式中：
α，β分别是交叉熵损失函数和Dice损失函数的权重，都设置为1；M是脑区分割类别的数量；N为每张切片上的像素点总数；
pi，j是输出图像的第i个像素在第j个脑区分割类别上的预测值；
gi，j是MRI的切片图像的第i个像素在第j个脑区分割类别上的真实值。
10.根据权利要求6所述的装置，其特征在于，所述损失函数使用Adam优化器来优化。
CN202111683008.9A 2021-12-31 2021-12-31 基于pet/mr成像系统的自动脑区分割方法及装置 Pending CN114463456A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111683008.9A CN114463456A (zh) 2021-12-31 2021-12-31 基于pet/mr成像系统的自动脑区分割方法及装置
PCT/CN2022/137720 WO2023124888A1 (zh) 2021-12-31 2022-12-08 基于pet/mr成像系统的自动脑区分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111683008.9A CN114463456A (zh) 2021-12-31 2021-12-31 基于pet/mr成像系统的自动脑区分割方法及装置

Publications (1)

Publication Number Publication Date
CN114463456A true CN114463456A (zh) 2022-05-10

Family

ID=81407794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111683008.9A Pending CN114463456A (zh) 2021-12-31 2021-12-31 基于pet/mr成像系统的自动脑区分割方法及装置

Country Status (2)

Country Link
CN (1) CN114463456A (zh)
WO (1) WO2023124888A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018836A (zh) * 2022-08-08 2022-09-06 四川大学 一种癫痫病灶自动分割与预测方法、系统及设备
WO2023124888A1 (zh) * 2021-12-31 2023-07-06 深圳先进技术研究院 基于pet/mr成像系统的自动脑区分割方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949318B (zh) * 2019-03-07 2023-11-14 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法
CN113096166B (zh) * 2019-12-17 2023-08-18 上海美杰医疗科技有限公司 一种医学影像配准的方法和装置
CN113538495A (zh) * 2020-04-17 2021-10-22 成都连心医疗科技有限责任公司 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质
AU2020103905A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning
CN112508775A (zh) * 2020-12-10 2021-03-16 深圳先进技术研究院 基于循环生成对抗网络的mri-pet图像模态转换方法及系统
CN114463456A (zh) * 2021-12-31 2022-05-10 深圳先进技术研究院 基于pet/mr成像系统的自动脑区分割方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124888A1 (zh) * 2021-12-31 2023-07-06 深圳先进技术研究院 基于pet/mr成像系统的自动脑区分割方法及装置
CN115018836A (zh) * 2022-08-08 2022-09-06 四川大学 一种癫痫病灶自动分割与预测方法、系统及设备

Also Published As

Publication number Publication date
WO2023124888A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
EP3432784B1 (en) Deep-learning-based cancer classification using a hierarchical classification framework
CN114463456A (zh) 基于pet/mr成像系统的自动脑区分割方法及装置
EP2481349B1 (en) Method, device, and program for processing images obtained from asl mri
CN113711271A (zh) 用于通过正电子发射断层摄影进行肿瘤分割的深度卷积神经网络
CN112348785B (zh) 一种癫痫病灶定位方法及系统
Somasundaram et al. Brain segmentation in magnetic resonance human head scans using multi-seeded region growing
Pai et al. BRAHMA: Population specific T1, T2, and FLAIR weighted brain templates and their impact in structural and functional imaging studies
CN114202524A (zh) 多模态医学图像的性能评价方法与系统
CN112950644A (zh) 基于深度学习的新生儿大脑图像分割方法及模型构建方法
CN110458869B (zh) 一种新生儿磁共振结构脑影像的配准方法及其系统
Srikrishna et al. Deep learning from MRI-derived labels enables automatic brain tissue classification on human brain CT
CN114881914A (zh) 基于医学影像确定三维功能肝段的系统及方法
Nayan et al. A deep learning approach for brain tumor detection using magnetic resonance imaging
Lou et al. Segmentation of infrared breast images using multiresunet neural networks
CN106023236B (zh) 基于截断Dirichlet过程无限Student’s t混合模型的脑部核磁共振图像分割方法
Ahmad et al. Determination of affected brain regions at various stages of Alzheimer's disease
CN111047523A (zh) 一种处理pet图像的方法、装置以及计算机存储介质
Gao et al. Automatic rat brain image segmentation using triple cascaded convolutional neural networks in a clinical PET/MR
CN112102327A (zh) 一种图像处理方法、装置及计算机可读存储介质
Chansuparp et al. The automated skull stripping of brain magnetic resonance images using the integrated method
EP4315238A1 (en) Methods and systems for biomedical image segmentation based on a combination of arterial and portal image information
Grimm et al. Whole-body Diffusion-weighted MR Image Analysis with syngo. via Frontier MR Total Tumor Load
Rajan et al. Focal Cortical Dysplasia (FCD) lesion analysis with complex diffusion approach
Fatima et al. Evaluation of multi-modal mri images for brain tumor segmentation
Saraswathi Recognition and Classification of Fetal Brain Abnormalities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination