CN117474890A - 双模态配准与勾画联合的放射治疗勾画方法及装置 - Google Patents

双模态配准与勾画联合的放射治疗勾画方法及装置 Download PDF

Info

Publication number
CN117474890A
CN117474890A CN202311494395.0A CN202311494395A CN117474890A CN 117474890 A CN117474890 A CN 117474890A CN 202311494395 A CN202311494395 A CN 202311494395A CN 117474890 A CN117474890 A CN 117474890A
Authority
CN
China
Prior art keywords
image
registered
target
delineation
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311494395.0A
Other languages
English (en)
Inventor
徐晨阳
何潋
颜子夜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception Vision Medical Technology Co ltd
Original Assignee
Perception Vision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception Vision Medical Technology Co ltd filed Critical Perception Vision Medical Technology Co ltd
Priority to CN202311494395.0A priority Critical patent/CN117474890A/zh
Publication of CN117474890A publication Critical patent/CN117474890A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103—Treatment planning systems
    • A61N5/1039—Treatment planning systems using functional images, e.g. PET or MRI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种双模态配准与勾画联合的放射治疗勾画方法及装置，其中所述双模态配准与勾画联合的放射治疗勾画方法包括：获取初始图像和初始手动勾画结果；对所述初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜；对所述预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。借此，本发明的双模态配准与勾画联合的放射治疗勾画方法，可以满足放疗计划对靶区勾画的需求，同时保持了配准与分割互相促进的优点，提高了模型性能及整体召回率，且提高了靶区勾画的准确性。

Description

双模态配准与勾画联合的放射治疗勾画方法及装置
技术领域
本发明实施例涉及医学图像处理技术领域，尤其涉及一种双模态配准与勾画联合的放射治疗勾画方法及装置。
背景技术
在制定放疗计划时，肿瘤靶区的准确勾画是非常重要的，一方面可以确保有效杀死肿瘤细胞，同时还能最大程度减小辐射对周围正常组织造成的损伤。基于氟脱氧葡萄糖正电子体层扫描(PET)和计算机断层扫描(CT)的双模态医学影像能提供肿瘤组织代谢水平和形态结构的有效信息，能显著提高肿瘤组织较周围正常组织的对比度，从而提高靶区勾画的准确性。
目前大多数医院放疗计划的制定是基于计划CT(pCT)或核磁影像等单模态图像，若病人前期有拍摄PET-CT用于肿瘤诊断，做放疗靶区勾画时会参考诊断PET-CT影像以提高准确度。但由于昂贵的费用和稀缺的设备，很少直接要求病人拍摄PET-CT用于放疗计划的制定。
配准和分割是最常进行的医学图像处理方法，近年来基于深度学习的模型在配准和分割的准确率和效率已优于传统算法，这里所提到的不同功能的模型的建立通常是独立进行的。由于分割产生的结果可以为配准提供约束从而提高配准准确度，同时配准的结果可以为作为一种图像增广的手段为分割模型提供更多的手工标注，所以近年来逐渐出现了一些配准和分割的联合模型。
发表于2019年的DeepAtlas模型是一种基于深度学习的配准和分割的联合模型。该模型在训练时联动优化配准和分割模型的参数(如图1所示)，在应用阶段可以独立使用任一任务的模型。少量的配对或未配对的分割内容的手工标注就可促进两个模型的训练效果，其效果比单独训练两个模型更好。
基于DeepAtlas的模型能为单一模态图像提供配准与分割的功能，不能应用于不同模态的图像。在DeepAtlas的分割模型训练中，输入的待配准和目标图像不需要配对输入，且两者都会产生各自的分割结果。目前在放疗领域，经常需要结合诊断PET-CT和制定放疗计划时的pCT图像进行病灶分割，最终产生一套基于pCT解剖结构且充分参考PET功能成像细节的分割结果。这一过程包括PET-CT作为待配准图像和pCT作为目标图像的配准及基于融合图像的分割。因此目前缺少一种适用于放疗靶区勾画的双模态图像的配准与分割的联合模型。
发明内容
本发明实施例提供一种双模态配准与勾画联合的放射治疗勾画方法及装置，可以满足放疗计划对靶区勾画的需求，同时保持了配准与分割互相促进的优点，提高了模型性能及整体召回率，且提高了靶区勾画的准确性。
为实现上述目的，第一方面，本发明提供了一种双模态配准与勾画联合的放射治疗勾画方法及装置，其中所述双模态配准与勾画联合的放射治疗勾画方法包括：
获取初始图像和初始手动勾画结果；
对所述初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜；
对所述预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
在本发明的一实施方式中，所述初始图像包括第一待配准图像、第二待配准图像和目标图像，且所述初始手动勾画结果包括待配准图靶区勾画结果和目标图靶区勾画结果。
在本发明的一实施方式中，所述对初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜包括：
将所述第一待配准图像、所述第二待配准图像、所述目标图像、所述待配准图靶区勾画结果及所述目标图靶区勾画结果输入至预配准模块；
所述预配准模块对所述第一待配准图像、所述第二待配准图像和所述目标图像进行预处理，生成预处理后的图像，其中，所述预处理后的图像包括预处理后的第一待配准图像、预处理后的第二待配准图像和预处理后的目标图像；
所述预配准模块对所述待配准图靶区勾画结果和所述目标图靶区勾画结果进行预处理，生成预处理后的掩膜，其中，所述预处理后的掩膜包括待配准图靶区掩膜和目标图靶区掩膜。
在本发明的一实施方式中，所述对预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果包括：
将预处理后的第二待配准图像和预处理后的目标图像输入至配准模型，生成形变场；
将所述形变场应用于预处理后的第一待配准图像中，生成形变后的第一待配准图像和形变后的第二待配准图像；
将所述形变场应用于所述待配准图靶区掩膜和所述目标图靶区掩膜中，生成形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜；
将形变后的第一待配准图像、形变后的第二待配准图像、形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜输入至分割模型进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
第二方面，本发明提供了一种双模态配准与勾画联合的放射治疗勾画装置，包括：获取模块、第一生成模块以及第二生成模块。获取模块用于获取初始图像和初始手动勾画结果；第一生成模块用于对所述初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜；以及第二生成模块用于对所述预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
在本发明的一实施方式中，所述初始图像包括第一待配准图像、第二待配准图像和目标图像，且所述初始手动勾画结果包括待配准图靶区勾画结果和目标图靶区勾画结果。
在本发明的一实施方式中，所述第一生成模块包括：第一输入单元、第一生成单元以及第二生成单元。第一输入单元用于将所述第一待配准图像、所述第二待配准图像、所述目标图像、所述待配准图靶区勾画结果及所述目标图靶区勾画结果输入至预配准模块；第一生成单元用于所述预配准模块对所述第一待配准图像、所述第二待配准图像和所述目标图像进行预处理，生成预处理后的图像，其中，所述预处理后的图像包括预处理后的第一待配准图像、预处理后的第二待配准图像和预处理后的目标图像；以及第二生成单元用于所述预配准模块对所述待配准图靶区勾画结果和所述目标图靶区勾画结果进行预处理，生成预处理后的掩膜，其中，所述预处理后的掩膜包括待配准图靶区掩膜和目标图靶区掩膜。
在本发明的一实施方式中，所述第二生成模块包括：第二输入单元、第三生成单元、第四生成单元以及第五生成单元。第二输入单元用于将预处理后的第二待配准图像和预处理后的目标图像输入至配准模型，生成形变场；第三生成单元用于将所述形变场应用于预处理后的第一待配准图像中，生成形变后的第一待配准图像和形变后的第二待配准图像；第四生成单元用于将所述形变场应用于所述待配准图靶区掩膜和所述目标图靶区掩膜中，生成形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜；第五生成单元用于将形变后的第一待配准图像、形变后的第二待配准图像、形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜输入至分割模型进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
第三方面，本发明提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的双模态配准与勾画联合的放射治疗勾画方法。
第四方面，本发明提供了一种计算机可读存储介质，包括计算机程序和指令，当所述计算机程序或所述指令在计算机上运行时，使得所述计算机执行如上所述的双模态配准与勾画联合的放射治疗勾画方法。
与现有技术相比，根据本发明的双模态配准与勾画联合的放射治疗勾画方法及装置，可以满足放疗计划对靶区勾画的需求，同时保持了配准与分割互相促进的优点，提高了模型性能及整体召回率，且提高了靶区勾画的准确性。
附图说明
图1是现有DeepAtlas联合模型的训练流程示意图；
图2是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的流程示意图；
图3是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的逻辑流程示意图；
图4是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的预配准模块的逻辑流程示意图；
图5是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的双模态联合模型的训练流程示意图；
图6是本发明实施例二中的一种双模态配准与勾画联合的放射治疗勾画装置的结构示意图；
图7是本发明实施例三中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
为了方便理解，首先将本发明各实施例的主要实现构思进行简单表述。
现有技术的双模态分割模型是对待配准图像和目标图像分别预测分割结果，分割过程中不可进行两者信息的融合。而本发明在分割模型中会融合两种模态图形的特征，增加勾画目标的可识别度，从而提高分割精度。其他独立的双模态分割模型，不存在从配准增加的标注信息，因此效果没有该模型好。
现有技术的联动配准是对单模态图像进行的，无法进行双模态配准。其他独立的用CT作为媒介进行PET和pCT图像双模态配准的模型，都采用传统配准方式，只考虑仿射变换，耗时多，精度低，无法从分割模型得到反馈从而优化配准精度。因此本发明的基于深度学习的双模态配准模型在时间和精度上都更优。
本发明提出的联合模型利用PET与CT已配准的特点，巧妙将CT与pCT配准后的形变场应用于PET图像达到不同模态间配准的目的，同时提出融合双模态特征的分割方法，产生能直接用于pCT且兼顾诊断PET图像特点的自动分割模型。该模型能满足现有放疗计划对靶区勾画的需求，同时保持配准与分割互相促进的优点，提高模型性能及整体召回率。
实施例一
图2是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的流程示意图；图3是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的逻辑流程示意图；图4是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的预配准模块的逻辑流程示意图；图5是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的双模态联合模型的训练流程示意图；图6是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的配准网络架构的示意图；图7是本发明实施例一中的一种双模态配准与勾画联合的放射治疗勾画方法的分割网络架构的示意图。
如图2至图7所示，实施例一提供了一种双模态配准与勾画联合的放射治疗勾画方法及装置，其中所述双模态配准与勾画联合的放射治疗勾画方法包括：
步骤S100，获取初始图像和初始手动勾画结果；
步骤S200，对所述初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜；
步骤S300，对所述预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
在本实施例中，所述初始图像包括第一待配准图像、第二待配准图像和目标图像，且所述初始手动勾画结果包括待配准图靶区勾画结果和目标图靶区勾画结果。
具体的，所述第一待配准图像为PET图像、所述第二待配准图像为CT图像、所述目标图像为pCT图像。
在本实施例中，所述步骤S200包括：
步骤S201，将所述第一待配准图像、所述第二待配准图像、所述目标图像、所述待配准图靶区勾画结果及所述目标图靶区勾画结果输入至预配准模块；
步骤S202，所述预配准模块对所述第一待配准图像、所述第二待配准图像和所述目标图像进行预处理，生成预处理后的图像，其中，所述预处理后的图像包括预处理后的第一待配准图像、预处理后的第二待配准图像和预处理后的目标图像；
步骤S203，所述预配准模块对所述待配准图靶区勾画结果和所述目标图靶区勾画结果进行预处理，生成预处理后的掩膜，其中，所述预处理后的掩膜包括待配准图靶区掩膜和目标图靶区掩膜。
在本实施例中，所述步骤S300包括：
步骤S301，将预处理后的第二待配准图像和预处理后的目标图像输入至配准模型，生成形变场；
步骤S302，将所述形变场应用于预处理后的第一待配准图像中，生成形变后的第一待配准图像和形变后的第二待配准图像；
步骤S303，将所述形变场应用于所述待配准图靶区掩膜和所述目标图靶区掩膜中，生成形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜；
步骤S304，将形变后的第一待配准图像、形变后的第二待配准图像、形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜输入至分割模型进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
在一具体实施例中，本实施例的双模态配准与勾画联合的放射治疗勾画方法应用于一种放射治疗勾画系统中(如图3所示)，所述放射治疗勾画系统包括通信连接的预配准模块和基于深度学习的配准与分割双模态联合模型(配准模型和分割模型)；在获得病人的诊断PET-CT，pCT和对靶区的手动勾画结果后首先送入预配准模块对所有影像进行预配准(如图4所示)，以提高后续基于深度学习的配准效果。输出的结果再送入基于深度学习的配准与分割双模态联合模型(如图5所示)，从而最终输出配准后的PET图像及基于双模态的靶区分割结果。
在预配准模块中(如图4所示)，首先根据手动勾画的结果对病灶的部位进行自动判定，并截取相应图像块，再对图像的灰度值做归一化处理及统一重采样，且自动去除采集医疗影像时包括的床架或头盔等硬件。对于PET图像将采用z-score进行灰度值归一化，而CT及pCT图像则根据窗宽窗位对其进行归一化处理。对于手工勾画的靶区轮廓，算法将散点轮廓转化为二值化掩膜(采用python库)，截取和影像相同的图像块，并转化成相同分辨率。基于Ants的开源软件包将用于CT和pCT图像进行基于仿射变换的配准，产生的形变矩阵将应用于PET、CT及预处理后的待配准图像的掩膜。
通过对每个像素按照形变矩阵的值进行平移旋转达到形变的目的，形变后的第一待配准图像、第二待配准图像和目标图像将具有初步的匹配度，形变后的待配准图靶区分割和目标图靶区分割的配准度也将比配准前有所提高。该模块的输出为待配准图像提供了快速粗匹配，为后续基于深度学习的精细配准提供了基础。
在基于深度学习的配准与分割联合模型中(如图5所示)，配准模型和双模态分割模型是独立交替训练的，因此现有的大部分独立训练模型都可以被该流程采用。本发明对于配准模型，采用基于Transformer和CNN卷积神经网络融合的构架(如图6所示)；对于分割模型，采用基于3D-UNet的网络框架并加入压缩-激发和残差模块(如图7所示)。配准的目标图像为pCT，待配准图像为CT，产生的形变场将应用于PET，将形变后的PET和pCT一起输入分割网络产生靶区自动勾画结果。
具体来说，第一待配准图像(PET)、第二待配准图像(CT)、目标图像(pCT)、pCT手动分割GTV，PET-CT手动分割GTV均来自预处理模块(图4)，作为联合模型的输入。基于图像灰度和解剖结构的相似性，第二待配准图像和目标图像将在配准模型中进行配准。配准模型最终将产生优化的配准网络，该配准网络针对每一组第二待配准图像和目标图像都将迅速生成一个配准形变场，该形变场能直接作用于第一待配准图像，使之与目标图像迅速配准，达到不同模态图像间的配准。在分割网络中，来自配准模型的形变后第一待配准图像(PET)将和目标图像一起输入网络进行GTV分割，产生的自动分割结果将和来自预处理模块的手动分割结果进行比较，通过减小差距获得优化的分割网络。在网络训练结束后，将得到优化的分割网络和配准网络，在输入预处理过的第一待配准图像、第二待配准图像和目标图像后能将第二待配准图像和目标图像迅速配准，同时在图像上自动定义出靶区轮廓。
为了更好地利用联合模型配准和分割相互促进的能力，算法定义总损失函数为配准网络的损失函数与分割网络的损失函数/>之和：
其中，If和Im分别为经过仿射变换预配准后的目标图像pCT和待配准图像CT，φ为通过深度学习获得的形变场，通过Im,φ将待配准图像进行形变。配准网络的损失函数由形变后的待配准图像和目标图像的相似度和形变场正则化损失函数/>组合而成：
这里，用两幅图的结构相似性SSIM来衡量：
其中，C1和C2是非常小的任意常数，σf和σd分别是形变后的图像及目标图像的局部平均值和均方差；为了使形变场保持平滑，/>采取形变场梯度的L2范数计算：
分割模型的损失函数则通过计算分割模型预测的掩膜和手动分割形成的掩膜之间的轮廓Dice值差异来衡量；手动分割的掩膜如果来自pCT可直接参与Dice值计算，如果是来自PET-CT图像则需要经过应用形变场再参与计算。
其中，si代表图上每一个像素对应的手动分割结果，代表对应像素的模型预测结果；通过计算配准和分割模型各自的损失函数(正则化损失函数和分割损失函数)，反向传播计算参数的梯度值，从而优化两个网络的参数，进行下一轮迭代。基于DeepAtlas的模型是基于单模态的图像分割，在计算分割损失函数时分别计算待配准和目标图像各自的/>而本发明提出的方法在计算/>时，应用形变场后的PET-CT图像的手动分割GTV也会计入，增加了配准和分割模型的联动，能促进模型的优化。
该联合模型通过将每一次配准训练形成的形变场作用于图像和手动分割的掩膜再输入分割模型，达到分割模型促进配准模型的作用。同时，由于待配准图像和目标图像的手动分割掩膜都可以用于分割模型，增加了分割模型的标注数据量，促进了分割模型的训练精度。双模态的分割模型能有效利用PET图像的功能信息和pCT图像的解剖信息，通过将PET和pCT图像作为双通道叠加输入模型提取特征实现将两者的特征融合在一起，提高了靶区勾画的准确性。
实施例二
图6是本发明实施例二中的一种双模态配准与勾画联合的放射治疗勾画装置的结构示意图，如图6所示，实施例二提供了一种双模态配准与勾画联合的放射治疗勾画装置，包括：获取模块601、第一生成模块602以及第二生成模块603。获取模块601用于获取初始图像和初始手动勾画结果；第一生成模块602用于对所述初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜；以及第二生成模块603用于对所述预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
在本实施例中，所述初始图像包括第一待配准图像、第二待配准图像和目标图像，且所述初始手动勾画结果包括待配准图靶区勾画结果和目标图靶区勾画结果。
在本实施例中，所述第一生成模块602包括：第一输入单元、第一生成单元以及第二生成单元。第一输入单元用于将所述第一待配准图像、所述第二待配准图像、所述目标图像、所述待配准图靶区勾画结果及所述目标图靶区勾画结果输入至预配准模块；第一生成单元用于所述预配准模块对所述第一待配准图像、所述第二待配准图像和所述目标图像进行预处理，生成预处理后的图像，其中，所述预处理后的图像包括预处理后的第一待配准图像、预处理后的第二待配准图像和预处理后的目标图像；以及第二生成单元用于所述预配准模块对所述待配准图靶区勾画结果和所述目标图靶区勾画结果进行预处理，生成预处理后的掩膜，其中，所述预处理后的掩膜包括待配准图靶区掩膜和目标图靶区掩膜。
在本实施例中，所述第二生成模块603包括：第二输入单元、第三生成单元、第四生成单元以及第五生成单元。第二输入单元用于将预处理后的第二待配准图像和预处理后的目标图像输入至配准模型，生成形变场；第三生成单元用于将所述形变场应用于预处理后的第一待配准图像中，生成形变后的第一待配准图像和形变后的第二待配准图像；第四生成单元用于将所述形变场应用于所述待配准图靶区掩膜和所述目标图靶区掩膜中，生成形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜；第五生成单元用于将形变后的第一待配准图像、形变后的第二待配准图像、形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜输入至分割模型进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
实施例一提供的双模态配准与勾画联合的放射治疗勾画方法的各种变化方式和具体实例同样适用于本实施例提供的双模态配准与勾画联合的放射治疗勾画装置，通过前述对一种双模态配准与勾画联合的放射治疗勾画方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种双模态配准与勾画联合的放射治疗勾画装置的实施方式，所以为了说明书的简洁，在此不再详述。
实施例三
图7是本发明实施例三中的一种电子设备的结构示意图。如图7所示，实施例三还提供一种电子设备700，该电子设备可以包括：处理器701和存储器702。
存储器702，用于存储程序；存储器702，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random AccessMemory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatilememory)，例如快闪存储器(英文：flash memory)。存储器702用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器702中。并且上述的计算机程序、计算机指令、数据等可以被处理器701调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器702中。并且上述的计算机程序、计算机指据等可以被处理器701调用。
处理器701，用于执行存储器702存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器701和存储器702可以是独立结构，也可以是集成在一起的集成结构。当处理器701和存储器702是独立结构时，存储器702、处理器701可以通过总线703耦合连接。
本实施例的电子设备可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
实施例四
实施例四还提供一种计算机可读存储介质，包括计算机程序和指令，当计算机程序或指令在计算机上运行时，使得计算机执行本发明任意实施例的确定弱联通网络链路的方法。
计算机可读取存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明公开中记载的各步骤可以并行地执行，也可以顺序地执行也可以不同的次序执行，
只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
总之，本发明的双模态配准与勾画联合的放射治疗勾画方法及装置，具有如下有益效果：
1、实现了双模态的放疗勾画，本发明能满足结合诊断PET-CT和pCT图像信息两种模态的需求，在确定靶区范围时参考肿瘤解剖结构和分子新陈代谢水平的双重考量，同时不需要病人额外拍摄昂贵的PET-CT影像；这一优点是由于结合了双模态分割和配准的技术，现有技术只能在单模态上进行；
2、实现配准与分类的联动，现有技术有独立的双模态分割和配准功能，不具备联动模型具备的互相促进的能力，且对数据的需求更多；且本发明由全自动化基于深度学习的模型完成，相比现有技术精度更高，时间更短，手续更简单。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种双模态配准与勾画联合的放射治疗勾画方法，其特征在于，包括：
获取初始图像和初始手动勾画结果；
对所述初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜；
对所述预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
2.如权利要求1所述的双模态配准与勾画联合的放射治疗勾画方法，其特征在于，所述初始图像包括第一待配准图像、第二待配准图像和目标图像，且所述初始手动勾画结果包括待配准图靶区勾画结果和目标图靶区勾画结果。
3.如权利要求2所述的双模态配准与勾画联合的放射治疗勾画方法，其特征在于，所述对初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜包括：
将所述第一待配准图像、所述第二待配准图像、所述目标图像、所述待配准图靶区勾画结果及所述目标图靶区勾画结果输入至预配准模块；
所述预配准模块对所述第一待配准图像、所述第二待配准图像和所述目标图像进行预处理，生成预处理后的图像，其中，所述预处理后的图像包括预处理后的第一待配准图像、预处理后的第二待配准图像和预处理后的目标图像；
所述预配准模块对所述待配准图靶区勾画结果和所述目标图靶区勾画结果进行预处理，生成预处理后的掩膜，其中，所述预处理后的掩膜包括待配准图靶区掩膜和目标图靶区掩膜。
4.如权利要求3所述的双模态配准与勾画联合的放射治疗勾画方法，其特征在于，所述对预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果包括：
将预处理后的第二待配准图像和预处理后的目标图像输入至配准模型，生成形变场；
将所述形变场应用于预处理后的第一待配准图像中，生成形变后的第一待配准图像和形变后的第二待配准图像；
将所述形变场应用于所述待配准图靶区掩膜和所述目标图靶区掩膜中，生成形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜；
将形变后的第一待配准图像、形变后的第二待配准图像、形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜输入至分割模型进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
5.一种双模态配准与勾画联合的放射治疗勾画装置，其特征在于，包括：
获取模块，用于获取初始图像和初始手动勾画结果；
第一生成模块，用于对所述初始图像和所述初始手动勾画结果进行预配准，生成预配准后图像及掩膜；以及
第二生成模块，用于对所述预配准后图像及所述掩膜进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
6.如权利要求5所述的双模态配准与勾画联合的放射治疗勾画装置，其特征在于，所述初始图像包括第一待配准图像、第二待配准图像和目标图像，且所述初始手动勾画结果包括待配准图靶区勾画结果和目标图靶区勾画结果。
7.如权利要求6所述的双模态配准与勾画联合的放射治疗勾画装置，其特征在于，所述第一生成模块包括：
第一输入单元，用于将所述第一待配准图像、所述第二待配准图像、所述目标图像、所述待配准图靶区勾画结果及所述目标图靶区勾画结果输入至预配准模块；
第一生成单元，用于所述预配准模块对所述第一待配准图像、所述第二待配准图像和所述目标图像进行预处理，生成预处理后的图像，其中，所述预处理后的图像包括预处理后的第一待配准图像、预处理后的第二待配准图像和预处理后的目标图像；以及
第二生成单元，用于所述预配准模块对所述待配准图靶区勾画结果和所述目标图靶区勾画结果进行预处理，生成预处理后的掩膜，其中，所述预处理后的掩膜包括待配准图靶区掩膜和目标图靶区掩膜。
8.如权利要求7所述的双模态配准与勾画联合的放射治疗勾画装置，其特征在于，所述第二生成模块包括：
第二输入单元，用于将预处理后的第二待配准图像和预处理后的目标图像输入至配准模型，生成形变场；
第三生成单元，用于将所述形变场应用于预处理后的第一待配准图像中，生成形变后的第一待配准图像和形变后的第二待配准图像；
第四生成单元，用于将所述形变场应用于所述待配准图靶区掩膜和所述目标图靶区掩膜中，生成形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜；
第五生成单元，用于将形变后的第一待配准图像、形变后的第二待配准图像、形变后的待配准图靶区掩膜和形变后的目标图靶区掩膜输入至分割模型进行配准及分割，生成配准后的图像及基于双模态的靶区分割结果。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的双模态配准与勾画联合的放射治疗勾画方法。
10.一种计算机可读存储介质，其特征在于，包括计算机程序和指令，当所述计算机程序或所述指令在计算机上运行时，使得所述计算机执行如权利要求1-4中任一项所述的双模态配准与勾画联合的放射治疗勾画方法。
CN202311494395.0A 2023-11-10 2023-11-10 双模态配准与勾画联合的放射治疗勾画方法及装置 Pending CN117474890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311494395.0A CN117474890A (zh) 2023-11-10 2023-11-10 双模态配准与勾画联合的放射治疗勾画方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311494395.0A CN117474890A (zh) 2023-11-10 2023-11-10 双模态配准与勾画联合的放射治疗勾画方法及装置

Publications (1)

Publication Number Publication Date
CN117474890A true CN117474890A (zh) 2024-01-30

Family

ID=89637694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311494395.0A Pending CN117474890A (zh) 2023-11-10 2023-11-10 双模态配准与勾画联合的放射治疗勾画方法及装置

Country Status (1)

Country Link
CN (1) CN117474890A (zh)

Similar Documents

Publication Publication Date Title
US11944463B2 (en) Pseudo-CT generation from MR data using a feature regression model
US10769791B2 (en) Systems and methods for cross-modality image segmentation
US11710241B2 (en) Atlas-based segmentation using deep-learning
CN109272443B (zh) 一种基于全卷积神经网络的pet与ct图像配准方法
CN106920234B (zh) 一种复合式自动放疗计划的方法
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
Li et al. DenseX-net: an end-to-end model for lymphoma segmentation in whole-body PET/CT images
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
US9098912B2 (en) Method, system and computer readable medium for automatic segmentation of a medical image
CN111105472B (zh) Pet图像的衰减校正方法、装置、计算机设备和存储介质
CN110751187B (zh) 异常区域图像生成网络的训练方法和相关产品
US20220222873A1 (en) Devices and process for synthesizing images from a source nature to a target nature
Vu et al. Deep convolutional neural networks for automatic segmentation of thoracic organs‐at‐risk in radiation oncology–use of non‐domain transfer learning
US11776128B2 (en) Automatic detection of lesions in medical images using 2D and 3D deep learning networks
Sokooti et al. Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans
CN116071401A (zh) 基于深度学习的虚拟ct图像的生成方法及装置
CN111445550A (zh) Pet图像的迭代重建方法、装置和计算机可读存储介质
CN112150378B (zh) 基于自逆卷积生成对抗网络的低剂量全身pet图像增强方法
EP3608872B1 (en) Image segmentation method and system
CN117474890A (zh) 双模态配准与勾画联合的放射治疗勾画方法及装置
CN114612656A (zh) 基于改进ResU-Net神经网络的MRI图像分割方法及系统
US20220270256A1 (en) Compensation of organ deformation for medical image registration
Cao et al. Improved CyeleGAN for MR to CT synthesis
Astaraki et al. Fully automatic segmentation of gross target volume and organs-at-risk for radiotherapy planning of nasopharyngeal carcinoma
US20240046453A1 (en) Semi-supervised learning leveraging cross-domain data for medical imaging analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination