CN115019041A - 基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品 - Google Patents

基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品 Download PDF

Info

Publication number
CN115019041A
CN115019041A CN202210625216.1A CN202210625216A CN115019041A CN 115019041 A CN115019041 A CN 115019041A CN 202210625216 A CN202210625216 A CN 202210625216A CN 115019041 A CN115019041 A CN 115019041A
Authority
CN
China
Prior art keywords
semantic features
image
fusion
pet
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210625216.1A
Other languages
English (en)
Inventor
刘兆邦
王飞飞
杨晓冬
郑健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202210625216.1A priority Critical patent/CN115019041A/zh
Publication of CN115019041A publication Critical patent/CN115019041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及基于PET/CT成像的病灶分割融合校准方法、设备、介质及产品，该方法包括步骤：提取语义特征，融合语义特征，解码语义特征，校准语义特征，生成概率图，生成像素分类。本发明在特征编码阶段，利用多个编码器提取不同模态图像的语义特征；同时，利用融合下采样模块提取融合语义特征，减小单模态语义特征中错误信息的干扰。在解码阶段，通过跳连接的方式融合不同尺度的语义特征，然后通过多模态校准模块融合CT和PET图像的语义特征，实现不同模态信息之间的相互校准。

Description

基于PET/CT成像的病灶分割融合校准方法、设备、介质及产品
技术领域
本发明涉及医学图像处理技术领域，特别涉及基于PET/CT成像的病灶分割融合校准方法、设备、介质及产品。
背景技术
F-FDG正电子发射断层扫描和计算机断层扫描(PET-CT)目前被广泛应用于肿瘤学。由于病变组织的高葡萄糖代谢，其通常在PET图像中显示出更高的F-FDG摄取。而CT图像可以提供异常摄取部位的解剖学结构。因此PET-CT图像整合了二者优点而在临床中(诊断，分期)得到广泛应用。与此同时，基于PET-CT图像的定量研究在临床中显示出巨大潜力，例如疗效预测、影像组学分析、治疗计划和预后评估等。语义分割在医学图像定量分析中至关重要，因为他是这些任务的先驱。然而目前大多数研究都是基于放射科医师手动勾画的病灶区域。手动分割病灶是非常费力和耗时的，并且易受到观察者之间以及观察者自身影响。因此，设计一种自动以及准确的肿瘤分割方法具有重要的临床应用价值。
基于PET-CT图像的肿瘤自动分割方法得到了广泛关注。由于PET图像本身高灵敏度的特点，最初的研究关注于单模态图像的肿瘤分割。在临床实践中使用最广泛的分割方法是基于SUV的阈值方法以及相关改进算法。除此之外，研究者们还将区域生长算法以及基于图论的分割算法应用于PET肿瘤图像分割。然而，尽管PET图像显示出对肿瘤的高度敏感性，但由于18F-FDG的非特异性，在许多具有高度代谢(大脑)的健康组织中也会出现高摄取。并且，18F-FDG在肾脏和膀胱中的累积导致PET图像的高摄取状态。此外，由于肿瘤的异质性，部分患者的肿瘤会在PET图像上显示为低摄取状态。这对上述分割算法来说也是个极大的挑战。而CT图像属于低剂量平扫图像，基于CT图像来定位病灶区域几乎是不可能的。
研究表明，在医学图像处理中多模态图像相结合可以提供更多的信息，所以设计有效的多模态融合分割网络是准确分割的关键。
发明内容
为了实现根据本发明的上述目的和其他优点，本发明的第一目的是提供基于PET/CT成像的病灶分割融合校准方法，包括以下步骤：
提取语义特征，通过多模态融合分割网络中的第一编码器提取CT图像的语义特征，通过多模态融合分割网络中的第二编码器提取PET图像的语义特征；
融合语义特征，通过多模态融合分割网络中的融合下采样模块提取所述CT图像的语义特征和所述PET图像的语义特征的融合语义特征，得到CT图像的融合语义特征和PET图像的融合语义特征；
解码语义特征，通过多模态融合分割网络中的第一解码器对CT图像的融合语义特征进行上采样，将CT图像的融合语义特征的上采样结果与CT图像的语义特征进行连接，并对连接后的特征进行解码，通过多模态融合分割网络中的第二解码器对PET图像的融合语义特征进行上采样，将PET图像的语义特征的上采样结果与PET图像的融合语义特征进行连接，并对连接后的特征进行解码；
校准语义特征，通过多模态融合分割网络中的多模态校准块对解码得到的CT图像的语义特征和PET图像的语义特征进行校准，并将校准后的CT图像的语义特征和PET图像的语义特征与原始的CT图像的语义特征和PET图像的语义特征融合，获得更新的CT图像的语义特征和PET图像的语义特征；
生成概率图，将所述第一解码器和所述第二解码器分支重建的病变图像相加，通过激活函数生成病变的输出概率图；
生成像素分类，通过设置概率图阈值生成每个像素的分类。
进一步地，所述第一编码器和所述第二编码器均包括若干卷积层，所述融合下采样模块设置于所述第一编码器的相邻卷积层之间，及所述第二编码器的相邻卷积层之间，将所述第一编码器的当前卷积层与所述第二编码器对应的卷积层的输出作为所述融合下采样模块的输入，将所述融合下采样模块的输出作为所述第一编码器的下一卷积层与所述第二编码器对应的卷积层的输入。
进一步地，所述融合语义特征步骤包括以下步骤：
将所述第一编码器的当前卷积层的输出、所述第二编码器对应的卷积层的输出经所述融合下采样模块进行融合；
将融合后的特征经所述融合下采样模块的第一卷积层减少融合后的特征通道数，然后经所述融合下采样模块的第二卷积层减少特征图，再经带泄露修正线性单元和若干卷积层改善模型的非线性表示，得到输出特征；
将所述第一编码器的当前卷积层的输出经所述融合下采样模块的第一最大池化层进行下采样，将下采样结果与所述输出特征相加，得到第一融合特征，将所述第二编码器对应的卷积层的输出经所述融合下采样模块的第二最大池化层进行下采样，将下采样结果与所述输出特征相加，得到第二融合特征；
将所述第一融合特征、所述第二融合特征分别输入所述第一编码器的下一卷积层与所述第二编码器对应的卷积层。
进一步地，所述第一解码器和所述第二解码器均包括上采样层和若干卷积层，所述多模态校准模块设置于所述第一解码器的相邻卷积层之间，及所述第二解码器的相邻卷积层之间，将所述第一解码器的当前卷积层与所述第二解码器对应的卷积层的输出作为所述多模态校准模块的输入，将所述多模态校准模块的输出作为所述第一解码器的下一卷积层与所述第二解码器对应的卷积层的输入。
进一步地，所述校准语义特征步骤包括以下步骤：
将所述第一解码器的当前卷积层的输出经所述多模态校准模块的第一激活函数进行激活，得到激活的CT图像的语义特征，将所述第二解码器对应的卷积层的输出经所述多模态校准模块的第二激活函数进行激活，得到激活的PET图像的语义特征；
将激活的CT图像的语义特征和PET图像的语义特征馈送至所述多模态校准模块的多尺度特征提取块进行当前PET图像的语义特征的校准；
将激活的PET图像的语义特征和CT图像的语义特征馈送至所述多模态校准模块的多尺度特征提取块进行当前CT图像的语义特征的校准；
将校准后的PET图像的语义特征与原始的PET图像的语义特征进行融合，获得更新的PET图像的语义特征；
将校准后的CT图像的语义特征与原始的CT图像的语义特征进行融合，获得更新的CT图像的语义特征。
进一步地，所述多尺度特征提取块包括若干并行卷积层，将激活的PET图像的语义特征和CT图像的语义特征经所述多尺度特征提取块的带泄露修正线性单元、所述并行卷积层和组归一化处理后进行融合；将激活的CT图像的语义特征和PET图像的语义特征经所述多尺度特征提取块的带泄露修正线性单元、所述并行卷积层和组归一化处理后进行融合。
进一步地，所述生成像素分类步骤中，设置概率图阈值为0.5，生成每个像素的二元分类。
本发明的第二目的是提供一种电子设备，包括：存储器，其上存储有程序代码；处理器，其与所述存储器联接，并且当所述程序代码被所述处理器执行时，实现基于PET/CT成像的病灶分割融合校准方法。
本发明的第三目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现基于PET/CT成像的病灶分割融合校准方法。
本发明的第四目的是提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现基于PET/CT成像的病灶分割融合校准方法。
与现有技术相比，本发明的有益效果是：
本发明采用基于卷积神经网络的深度分割技术，采用双分支编码-解码结构，既保留了CT图像的解剖结构特征，又保留了PET图像包含的生理信息，进而改善单个CNN网络自动分割的精度和鲁棒性。
在融合多模态语义信息时如果没有经过筛选，可能会带来一些无关信息，甚至是错误信息，从而影响模型的性能。因此，本发明提出了一种新的网络结构用于PET-CT图像中病灶的分割，该网络可以实现多模态信息的融合与校准。在特征编码阶段，利用多个编码器提取不同模态图像的语义特征。同时，利用融合下采样模块提取融合语义特征，减小单模态语义特征中错误信息的干扰。在解码阶段，通过跳连接的方式融合不同尺度的语义特征。然后通过多模态校准模块融合CT和PET图像的语义特征，实现不同模态信息之间的相互校准。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为实施例1的基于PET/CT成像的病灶分割融合校准方法流程图；
图2为实施例1的基于U-Net架构的3D双分支分割网络示意图；
图3为实施例1的编码器的前两个卷积层示意图；
图4为实施例1的编码器的后三个卷积层示意图；
图5为实施例1的解码器模块示意图；
图6为实施例1的卷积块示意图；
图7为实施例1的融合下采样模块示意图；
图8为实施例1的多模态校准模块示意图；
图9为实施例1的多模式交互模块示意图；
图10为实施例2的电子设备示意图；
图11为实施例3的计算机可读存储介质示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例1
基于PET/CT成像的病灶分割融合校准方法，采用多模态融合分割网络，如图1所示，包括以下步骤：
提取语义特征，通过多模态融合分割网络中的第一编码器提取CT图像的语义特征，通过多模态融合分割网络中的第二编码器提取PET图像的语义特征；本实施例中，多模态融合分割网络是基于U-Net架构的3D双分支分割网络。UNet网络中的跳跃连接可以实现高级语义特征和低级语义特征的融合，从而提高模型的准确性。正如医生做出临床决策一样，既要考虑病变的全局信息，又要观察局部位置以提供详细信息，U-Net结构符合临床思维，因此，选择它作为本实施例的基础网络。
如图2所示，基于U-Net架构的3D双分支分割网络由四部分组成：编码器Encoder、解码器Decoder、融合下采样模块FDSB和多模态校准块MMCB。使用两个并行编码器分别在编码器部分提取PET的语义特征图像和CT图像的语义特征。
第一编码器和第二编码器均包括若干卷积层，融合下采样模块设置于第一编码器的相邻卷积层之间，及第二编码器的相邻卷积层之间，将第一编码器的当前卷积层与第二编码器对应的卷积层的输出作为融合下采样模块的输入，将融合下采样模块的输出作为第一编码器的下一卷积层与第二编码器对应的卷积层的输入。
如图2所示，编码器包含五个卷积层，如图3所示，前两个卷积层包含两个卷积，内核大小为3*3*3，步幅为1。如图4所示，最后三个卷积层的每个卷积层都设计为一个残差块，其中包含三个卷积，内核大小为3*3*3，步幅为1。
对于多编码器图像分割网络，目前常用的方法是使用多个编码器分支独立提取每个模态图像的信息。然而，这种方法在特征提取过程中很难让PET图像和CT图像相互受益。此外，PET图像的假阳性和CT图像(组织中的病灶和非病灶区域)的低对比度可能面临病灶定位错误的挑战，导致整个网络无法准确分割病灶。因此，本实施例设计了融合下采样模块，与单模态图像特征下采样相比，FDSB可以通过融合其他模态信息来减少错误信息的影响。在PET图像语义特征提取中，多模态信息的融合有助于快速准确地定位PET图像的病变区域。对于CT图像语义特征的提取，多模态信息的融合有助于区分CT特征图中与周围组织具有相似解剖特征的病灶区域。
融合语义特征，通过多模态融合分割网络中的融合下采样模块提取CT图像的语义特征和PET图像的语义特征的融合语义特征，得到CT图像的融合语义特征和PET图像的融合语义特征；具体地，包括以下步骤：
将第一编码器的当前卷积层的输出、第二编码器对应的卷积层的输出经融合下采样模块进行融合；图2中，左侧的图像为CT图像，右侧的图像为PET图像，CT图像经编码器模块Encoder1输入融合下采样模块FDSB，PET图像经解码器模块Decoder1输入融合下采样模块FDSB，融合下采样模块FDSB输出至编码器模块Encoder2和解码器模块Decoder2，以此类推。如图7所示，融合下采样模块FDSB首先将CT图像的语义特征和PET图像的语义特征进行连接。
将融合后的特征经融合下采样模块的第一卷积层减少融合后的特征通道数，然后经融合下采样模块的第二卷积层减少特征图，再经带泄露修正线性单元LeakyReLU和若干卷积层改善模型的非线性表示，得到输出特征；如图7所示，首先使用1×1×1卷积减少concatenation后的特征通道数，便于跨模态信息交互，然后使用2×2×2卷积减少特征图，再经过带泄露修正线性单元LeakyReLU，最后经过2个1×1×1卷积改善模型的非线性表示。
将第一编码器的当前卷积层的输出经融合下采样模块的第一最大池化层进行下采样，将下采样结果与输出特征相加，得到第一融合特征，将第二编码器对应的卷积层的输出经融合下采样模块的第二最大池化层进行下采样，将下采样结果与输出特征相加，得到第二融合特征；如图7所示，使用最大池化层MaxPool分别对PET图像和CT图像的编码特征进行下采样(非共享参数)，最后将其与卷积下采样的结果相加得到最终的融合特征图。
将第一融合特征、第二融合特征分别输入第一编码器的下一卷积层与第二编码器对应的卷积层。
解码语义特征，通过多模态融合分割网络中的第一解码器对CT图像的融合语义特征进行上采样，将CT图像的融合语义特征的上采样结果与CT图像的语义特征进行连接，并对连接后的特征进行解码，通过多模态融合分割网络中的第二解码器对PET图像的融合语义特征进行上采样，将PET图像的语义特征的上采样结果与PET图像的融合语义特征进行连接，并对连接后的特征进行解码；
第一解码器和第二解码器均包括上采样层和若干卷积层，多模态校准模块设置于第一解码器的相邻卷积层之间，及第二解码器的相邻卷积层之间，将第一解码器的当前卷积层与第二解码器对应的卷积层的输出作为多模态校准模块的输入，将多模态校准模块的输出作为第一解码器的下一卷积层与第二解码器对应的卷积层的输入。
如图2所示，基于U-Net架构的3D双分支分割网络包含两个解码器分支。如图5所示，每个解码器模块包含一个上采样层和两个卷积层。编码的特征在上采样层中使用内核大小为2的转置卷积进行上采样。然后，通过跳跃连接模块将编码特征和反卷积特征连接起来。最后，使用两个内核大小为3*3*3的卷积进行解码。卷积块的具体结构如图6所示。在每次卷积操作之后，使用LeakyReLU作为激活函数，将其在负分量处的斜率设置为0.01，有助于防止模型在反向传播时过度拟合和梯度消失。由于使用3D卷积并且批量大小为1，因此使用GroupNorm来保持输入数据分布的一致性。
鉴于输入网络的PET-CT图像已配准，这些病变应位于图像中的相同位置。然而，由于PET图像的部分体积效应，所获得的病灶面积往往并不完全正确。因此，在传统的人工分割过程中，放射科医师首先根据PET图像中的高摄取区域确定病变范围，并根据CT图像的解剖结构调整病变的边缘细节。基于此，本实施例设计了一种即插即用的多模态校准模块。
校准语义特征，通过多模态融合分割网络中的多模态校准块对解码得到的CT图像的语义特征和PET图像的语义特征进行校准，并将校准后的CT图像的语义特征和PET图像的语义特征与原始的CT图像的语义特征和PET图像的语义特征融合，获得更新的CT图像的语义特征和PET图像的语义特征；具体地，包括以下步骤：
将第一解码器的当前卷积层的输出经多模态校准模块的第一激活函数进行激活，得到激活的CT图像的语义特征，将第二解码器对应的卷积层的输出经多模态校准模块的第二激活函数进行激活，得到激活的PET图像的语义特征；
如图8所示，在多模态校准模块中，将Sigmoid激活的CT图像语义特征(Feature-CT)与来自PET图像的语义特征(Features-PET)一起馈送到多尺度特征提取块MSFB。多尺度特征提取块校准当前PET图像的语义特征以提高分割精度。
同样，Feature-CT也执行类似的更新特征流程；将激活的PET图像的语义特征和CT图像的语义特征馈送至多模态校准模块的多尺度特征提取块进行当前CT图像的语义特征的校准。
将校准后的PET图像的语义特征与原始的PET图像的语义特征进行融合，获得更新的PET图像的语义特征；
将校准后的CT图像的语义特征与原始的CT图像的语义特征进行融合，获得更新的CT图像的语义特征。
多尺度特征提取块包括若干并行卷积层，将激活的PET图像的语义特征和CT图像的语义特征经多尺度特征提取块的带泄露修正线性单元LeakyReLU、并行卷积层和组归一化处理后进行融合；将激活的CT图像的语义特征和PET图像的语义特征经多尺度特征提取块的带泄露修正线性单元LeakyReLU、并行卷积层和组归一化处理后进行融合。如图9所示，MSFB由一系列并行卷积组成，这些卷积由卷积核大小为1*1*1、3*3*3和5*5*5的卷积组成。
网络输出的概率图大小与输入PET-CT图像的宽度、高度、层数、通道数一致。
生成概率图，将第一解码器和第二解码器分支重建的病变图像相加，通过激活函数如Sigmoid函数，生成病变的输出概率图；
生成像素分类，通过设置概率图阈值生成每个像素的分类。如设置概率图阈值为0.5，生成每个像素的二元分类(病变与非病变)。
本发明采用基于卷积神经网络的深度分割技术，采用双分支编码-解码结构，既保留了CT图像的解剖结构特征，又保留了PET图像包含的生理信息，进而改善单个CNN网络自动分割的精度和鲁棒性。
在融合多模态语义信息时如果没有经过筛选，可能会带来一些无关信息，甚至是错误信息，从而影响模型的性能。因此，本发明提出了一种新的网络结构用于PET-CT图像中病灶的分割，该网络可以实现多模态信息的融合与校准。在特征编码阶段，利用多个编码器提取不同模态图像的语义特征。同时，利用融合下采样模块提取融合语义特征，减小单模态语义特征中错误信息的干扰。在解码阶段，通过跳连接的方式融合不同尺度的语义特征。然后通过多模态校准模块融合CT和PET图像的语义特征，实现不同模态信息之间的相互校准。
实施例2
一种电子设备200，如图10所示，包括但不限于：存储器201，其上存储有程序代码；处理器202，其与存储器联接，并且当程序代码被处理器执行时，实现基于PET/CT成像的病灶分割融合校准方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
实施例3
一种计算机可读存储介质，如图11所示，其上存储有程序指令，程序指令被执行时实现的基于PET/CT成像的病灶分割融合校准方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
实施例4
一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现基于PET/CT成像的病灶分割融合校准方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上仅为本说明书实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变换。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。本说明书一个或多个实施例本说明书一个或多个实施例本说明书一个或多个实施例本说明书一个或多个实施例。

Claims (10)

1.基于PET/CT成像的病灶分割融合校准方法，其特征在于，包括以下步骤：
提取语义特征，通过多模态融合分割网络中的第一编码器提取CT图像的语义特征，通过多模态融合分割网络中的第二编码器提取PET图像的语义特征；
融合语义特征，通过多模态融合分割网络中的融合下采样模块提取所述CT图像的语义特征和所述PET图像的语义特征的融合语义特征，得到CT图像的融合语义特征和PET图像的融合语义特征；
解码语义特征，通过多模态融合分割网络中的第一解码器对CT图像的融合语义特征进行上采样，将CT图像的融合语义特征的上采样结果与CT图像的语义特征进行连接，并对连接后的特征进行解码，通过多模态融合分割网络中的第二解码器对PET图像的融合语义特征进行上采样，将PET图像的语义特征的上采样结果与PET图像的融合语义特征进行连接，并对连接后的特征进行解码；
校准语义特征，通过多模态融合分割网络中的多模态校准块对解码得到的CT图像的语义特征和PET图像的语义特征进行校准，并将校准后的CT图像的语义特征和PET图像的语义特征与原始的CT图像的语义特征和PET图像的语义特征融合，获得更新的CT图像的语义特征和PET图像的语义特征；
生成概率图，将所述第一解码器和所述第二解码器分支重建的病变图像相加，通过激活函数生成病变的输出概率图；
生成像素分类，通过设置概率图阈值生成每个像素的分类。
2.根据权利要求1所述的基于PET/CT成像的病灶分割融合校准方法，其特征在于：所述第一编码器和所述第二编码器均包括若干卷积层，所述融合下采样模块设置于所述第一编码器的相邻卷积层之间，及所述第二编码器的相邻卷积层之间，将所述第一编码器的当前卷积层与所述第二编码器对应的卷积层的输出作为所述融合下采样模块的输入，将所述融合下采样模块的输出作为所述第一编码器的下一卷积层与所述第二编码器对应的卷积层的输入。
3.根据权利要求2所述的基于PET/CT成像的病灶分割融合校准方法，其特征在于，所述融合语义特征步骤包括以下步骤：
将所述第一编码器的当前卷积层的输出、所述第二编码器对应的卷积层的输出经所述融合下采样模块进行融合；
将融合后的特征经所述融合下采样模块的第一卷积层减少融合后的特征通道数，然后经所述融合下采样模块的第二卷积层减少特征图，再经带泄露修正线性单元和若干卷积层改善模型的非线性表示，得到输出特征；
将所述第一编码器的当前卷积层的输出经所述融合下采样模块的第一最大池化层进行下采样，将下采样结果与所述输出特征相加，得到第一融合特征，将所述第二编码器对应的卷积层的输出经所述融合下采样模块的第二最大池化层进行下采样，将下采样结果与所述输出特征相加，得到第二融合特征；
将所述第一融合特征、所述第二融合特征分别输入所述第一编码器的下一卷积层与所述第二编码器对应的卷积层。
4.根据权利要求1所述的基于PET/CT成像的病灶分割融合校准方法，其特征在于：所述第一解码器和所述第二解码器均包括上采样层和若干卷积层，所述多模态校准模块设置于所述第一解码器的相邻卷积层之间，及所述第二解码器的相邻卷积层之间，将所述第一解码器的当前卷积层与所述第二解码器对应的卷积层的输出作为所述多模态校准模块的输入，将所述多模态校准模块的输出作为所述第一解码器的下一卷积层与所述第二解码器对应的卷积层的输入。
5.根据权利要求4所述的基于PET/CT成像的病灶分割融合校准方法，其特征在于，所述校准语义特征步骤包括以下步骤：
将所述第一解码器的当前卷积层的输出经所述多模态校准模块的第一激活函数进行激活，得到激活的CT图像的语义特征，将所述第二解码器对应的卷积层的输出经所述多模态校准模块的第二激活函数进行激活，得到激活的PET图像的语义特征；
将激活的CT图像的语义特征和PET图像的语义特征馈送至所述多模态校准模块的多尺度特征提取块进行当前PET图像的语义特征的校准；
将激活的PET图像的语义特征和CT图像的语义特征馈送至所述多模态校准模块的多尺度特征提取块进行当前CT图像的语义特征的校准；
将校准后的PET图像的语义特征与原始的PET图像的语义特征进行融合，获得更新的PET图像的语义特征；
将校准后的CT图像的语义特征与原始的CT图像的语义特征进行融合，获得更新的CT图像的语义特征。
6.根据权利要求5所述的基于PET/CT成像的病灶分割融合校准方法，其特征在于：所述多尺度特征提取块包括若干并行卷积层，将激活的PET图像的语义特征和CT图像的语义特征经所述多尺度特征提取块的带泄露修正线性单元、所述并行卷积层和组归一化处理后进行融合；将激活的CT图像的语义特征和PET图像的语义特征经所述多尺度特征提取块的带泄露修正线性单元、所述并行卷积层和组归一化处理后进行融合。
7.根据权利要求1所述的基于PET/CT成像的病灶分割融合校准方法，其特征在于：所述生成像素分类步骤中，设置概率图阈值为0.5，生成每个像素的二元分类。
8.一种电子设备，其特征在于，包括：存储器，其上存储有程序代码；处理器，其与所述存储器联接，并且当所述程序代码被所述处理器执行时，实现如权利要求1至7中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现如权利要求1至7中任意一项所述的方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1至7中任意一项所述的方法。
CN202210625216.1A 2022-06-02 2022-06-02 基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品 Pending CN115019041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210625216.1A CN115019041A (zh) 2022-06-02 2022-06-02 基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210625216.1A CN115019041A (zh) 2022-06-02 2022-06-02 基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品

Publications (1)

Publication Number Publication Date
CN115019041A true CN115019041A (zh) 2022-09-06

Family

ID=83072951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210625216.1A Pending CN115019041A (zh) 2022-06-02 2022-06-02 基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN115019041A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116115915A (zh) * 2023-02-16 2023-05-16 北京医智影科技有限公司 基于多级模态交叉融合网络的剂量验证方法
CN116665215A (zh) * 2023-05-25 2023-08-29 北京航星永志软件技术有限公司 图像显著性区域提取方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116115915A (zh) * 2023-02-16 2023-05-16 北京医智影科技有限公司 基于多级模态交叉融合网络的剂量验证方法
CN116115915B (zh) * 2023-02-16 2023-07-14 北京医智影科技有限公司 基于多级模态交叉融合网络的剂量验证方法
CN116665215A (zh) * 2023-05-25 2023-08-29 北京航星永志软件技术有限公司 图像显著性区域提取方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Zhu et al. AnatomyNet: deep learning for fast and fully automated whole‐volume segmentation of head and neck anatomy
US11869202B2 (en) Method and system for processing multi-modality image
CN115019041A (zh) 基于pet/ct成像的病灶分割融合校准方法、设备、介质及产品
CN110009598B (zh) 用于图像分割的方法和图像分割设备
CN109966662A (zh) 一种验证放射治疗剂量的方法及系统
US9098912B2 (en) Method, system and computer readable medium for automatic segmentation of a medical image
CN112561877B (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN111325714A (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
Oza et al. Machine learning applications for computer-aided medical diagnostics
Zhang et al. Brain tumor segmentation from multi-modal MR images via ensembling UNets
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN112150470A (zh) 图像分割方法、装置、介质及电子设备
Agarwal et al. Weakly supervised lesion co-segmentation on ct scans
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Foo et al. Interactive segmentation for COVID-19 infection quantification on longitudinal CT scans
Javaid et al. Semantic segmentation of computed tomography for radiotherapy with deep learning: compensating insufficient annotation quality using contour augmentation
Che et al. Co-neighbor multi-view spectral embedding for medical content-based retrieval
US7379576B2 (en) Method and system for patient identification in 3D digital medical images
Masood et al. Multi-scale swin transformer enabled automatic detection and segmentation of lung metastases using CT images
CN114334104A (zh) 耗材消耗稽核方法、系统及相应设备和存储介质
Stebani et al. Towards fully automated inner ear analysis with deep-learning-based joint segmentation and landmark detection framework
Bi et al. Automated thresholded region classification using a robust feature selection method for PET-CT
Guo et al. Automatic multi-modality segmentation of gross tumor volume for head and neck cancer radiotherapy using 3D U-Net
Moreno et al. Ali Arab1, 10, Betty Chinda2, 3, 10, George Medvedev4, William Siu5, Hui Guo3, 6, Tao Gu3, 7
Fontanella et al. Challenges of building medical image datasets for development of deep learning software in stroke

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination