CN115100185A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115100185A
CN115100185A CN202210867623.3A CN202210867623A CN115100185A CN 115100185 A CN115100185 A CN 115100185A CN 202210867623 A CN202210867623 A CN 202210867623A CN 115100185 A CN115100185 A CN 115100185A
Authority
CN
China
Prior art keywords
image
dose distribution
images
delineation
sketching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210867623.3A
Other languages
English (en)
Inventor
刘焰飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Original Assignee
Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen United Imaging Research Institute of Innovative Medical Equipment filed Critical Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Priority to CN202210867623.3A priority Critical patent/CN115100185A/zh
Publication of CN115100185A publication Critical patent/CN115100185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：获取至少一种模态的影像；将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。采用本方法能够有效利用各个模态下影像的特征信息，提高勾画图像和剂量分布图像的准确性；至少一种模态的影像同时处理能够提高剂量分布图像的获取效率；勾画图像和剂量分布图像在影像输入识别模型后一起得到，进一步提高了剂量分布图像的获取效率。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及深度学习技术领域，特别是涉及一种图像处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
放射治疗是癌症的重要治疗方法之一，放射治疗要求在肿瘤靶区获得特定剂量的同时，正常组织器官所受剂量尽可能低，在对剂量分布进行计划之前，医生需要对影像上的治疗靶区和危及器官进行勾画，并对勾画区域给定剂量分布的处方，以进行下一步的放疗计划。
为获取影像上的治疗靶区和危及器官所对应的剂量分布图像，现有的图像处理方法是先对影像处理获得勾画图像，再根据给定勾画图像获得预测的剂量分布图像，由于预测的剂量分布图像的获取需要在勾画图像获取之后才能进行，因此，目前的图像处理方法存在预测剂量分布图像获取效率低的问题。
发明内容
基于此，有必要针对传统图像处理方法存在剂量分布图像获取效率低的技术问题，提供一种能够提高剂量分布图像获取效率的图像处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种图像处理方法。方法包括：
获取至少一种模态的影像；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
在其中一个实施例中，识别模型包括至少一个编码器、勾画解码器以及剂量分布解码器；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，包括：
将至少一种模态的影像分别输入至少一个编码器，得到至少一种模态的影像各自对应的特征图；
在模态种类大于一种的情况下，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图；
将融合特征图输入勾画解码器，得到勾画图像；
将勾画图像通过特征提取，获得勾画图像对应的特征图；
将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像。
在其中一个实施例中，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图，包括：
对至少一种模态的影像各自对应的特征图进行加权和处理，得到融合特征图；
或者，从每种模态的影像中提取出多个通道的特征图，将相同通道下的至少一种模态的影像分别对应的特征图进行加权和处理，得到多个通道的加权和特征图，并将多个通道的加权和特征图作为融合特征图。
在其中一个实施例中，识别模型的训练步骤，包括：
确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数；
根据第一损失函数、第二损失函数以及第三损失函数，确定模型损失函数；
基于模型损失函数，对初始模型进行训练，得到识别模型。
在其中一个实施例中，基于模型损失函数，对初始模型进行训练，得到识别模型，包括：
获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同；
将至少一种模态的影像样本中的图像输入初始模型，得到勾画预测结果和剂量分布预测结果；
基于勾画预测结果、标准勾画图像、剂量分布预测结果、标准剂量分布图像和模型损失函数，计算模型损失，基于模型损失，对初始模型的参数进行更新，得到识别模型。
在其中一个实施例中，图像处理方法还包括：
获取目标区域的初始勾画图像；
将勾画图像与目标区域的初始勾画图像进行比对；
若勾画图像与目标区域的初始勾画图像的相似程度超出预设范围，则将目标区域的初始勾画图像通过特征提取，获得目标区域的初始勾画图像对应的特征图；将融合特征图和目标区域的初始勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像。
第二方面，本申请还提供了一种图像处理装置。装置包括：
获取模块，用于获取至少一种模态的影像；
处理模块，用于将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
第三方面，本申请还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取至少一种模态的影像；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
第四方面，本申请还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取至少一种模态的影像；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
第五方面，本申请还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取至少一种模态的影像；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品，通过获取至少一种模态的影像，将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量，能够有效利用各个模态下影像的特征信息，提高勾画图像和剂量分布图像的准确性；至少一种模态的影像同时处理能够提高剂量分布图像的获取效率；勾画图像和剂量分布图像在影像输入识别模型后一起得到，进一步提高了剂量分布图像的获取效率。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中步骤S400的一种可实施方式的流程示意图；
图4为一个实施例中识别模型的训练步骤的流程示意图；
图5为一个实施例中步骤S160的一种可实施方式的子流程示意图；
图6为又一个实施例中图像处理方法的流程示意图；
图7为一个具体实施例中图像处理方法的流程示意图；
图8为一个具体实施例中M个编码器时图像处理方法的流程示意图；
图9为一个实施例中图像处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储终端102需要处理的数据。数据存储系统可以集成在终端102上，也可以放在云上或其他网络服务器上。终端102获取至少一种模态的影像；将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
S200，获取至少一种模态的影像。
其中，影像指的是对治疗靶区和危及器官采集的医学图像，至少一种模态的影像指的是来自至少一个数据源的影像，包括单一模态的影像，或者多模态的影像，来自同一数据源的影像为同一种模态的影像，每种模态的影像具有不同的形态表现，单一模态的影像由于无法充分细分影像中相关区域，在对影像中治疗靶区和危及器官的处理上存在信息不足的问题，而多模态的影像能够信息互补，有效提升图像处理的准确性。至少一种模态的影像包括但不限于CT(Computed Tomography，电子计算机断层扫描)影像、MRI(MagneticResonance Imaging，磁共振成像)影像以及PET(Positron Emission ComputedTomography，正电子发射型计算机断层显像)影像。至少一种模态的影像可以为三维图像或者二维图像。
S400，将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
其中，识别模型指的是初始的机器学习模型经过模型训练，得到的机器学习模型，可以为医学领域常见的图像处理模型，识别模型的类型通常为卷积神经网络模型，可选地，识别模型的种类包括但不限于U-Net、Res-U-Net、nnUnet。影像通常为医学影像，在影像中勾画出的目标区域往往属于同一治疗靶区或者危及器官，针对该治疗靶区或者危及器官的不同位置，需要设置不同的剂量，勾画图像是用于指示影像中目标区域的轮廓的图像，剂量分布图像用于指示目标区域各个位置处的剂量，目标区域包括以下至少一种：治疗靶区或者危及器官，优选地，勾画图像可以为二值图，勾画图像中像素值为1的像素点属于目标区域的点，勾画图像中像素值为0的像素点属于目标区域之外的点，剂量分布图像可以为热力图，剂量分布图像中不同颜色的区块能够反映剂量的大小以及剂量分布的位置。勾画图像和剂量分布图像可以用于放疗计划设计，放疗计划设计主要是通过目标约束项对机器参数进行优化，以获得满足临床目标的放疗计划过程，临床目标包括但不限于靶区覆盖率或者危及器官的DVH(Dose Volume Histogram，剂量体积直方图)。勾画图像和剂量分布用于放疗计划是指通过建立过往放疗计划数据库，采用识别模型对影像和勾画图像可达的最佳放疗计划对应的剂量分布图像进行预测，从而从剂量分布图像中提取三维点剂量分布、二维点剂量分布或DVH等，DVH中包含治疗靶区或者危及器官的平均剂量、最大剂量等指标，可作为放疗计划优化过程的约束项。
上述图像处理方法中，通过获取至少一种模态的影像，将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量，能够有效利用各个模态下影像的特征信息，提高勾画图像和剂量分布图像的准确性；至少一种模态的影像同时处理能够提高剂量分布图像的获取效率；勾画图像和剂量分布图像在影像输入识别模型后一起得到，进一步提高了剂量分布图像的获取效率。
在一个实施例中，如图3所示，识别模型包括至少一个编码器、勾画解码器以及剂量分布解码器；将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，包括：
S410，将至少一种模态的影像分别输入至少一个编码器，得到至少一种模态的影像各自对应的特征图；
S420，在模态种类大于一种的情况下，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图；
S430，将融合特征图输入勾画解码器，得到勾画图像；
S440，将勾画图像通过特征提取，获得勾画图像对应的特征图；
S450，将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像。
本实施例中，识别模型包括至少一个编码器，每个编码器的结构相似，且每个编码器的输入数据种类不同，输入数据分别为每种模态的影像，每种模态的影像对应一个编码器，识别模型还包括勾画解码器和剂量分布解码器，勾画解码器是用于输出勾画图像的解码器，剂量分布解码器是用于输出剂量分布的解码器。编码器和解码器是深度学习中的模型框架，编码器将输入的至少一种模态的影像编码为中间表达形式，主要由普通卷积层和下采样层将至少一种模态的影像的特征图尺寸缩小，使至少一种模态的影像的特征图成为更低维度的表征，目的是尽可能多的提取至少一种模态的影像的低级特征和高级特征，从而利用提取到的空间信息和全局信息对至少一种模态的影像精确分割。解码器将编码器输出的中间表达解码成输出图像，主要由普通卷积层、上采样层和融合层组成，利用上采样操作逐步恢复空间维度，融合编码过程中提取到的特征，在尽可能减少信息损失的前提下输出与输入影像同尺寸的图像。
将至少一种模态的影像分别输入至少一个编码器，得到至少一种模态的影像各自对应的特征图，具体地，编码器的数量等于最多能支持的模态种类的数量，获取至少一种模态的影像时，还可以获取至少一种模态的影像的模态种类数量，至少一种模态的影像包括一种模态的影像或者多种模态的影像，若至少一种模态的影像包括一种模态的影像，且编码器的数量大于1，则将一种模态的影像输入与该模态的影像对应的编码器，得到与该模态的影像对应的特征图；若至少一种模态的影像包括多种模态的影像，且多种模态的影像的模态种类数量小于或者等于编码器的数量，则将每种模态的影像分别输入该模态的影像对应的编码器，获得每种模态的影像对应的特征图；另外，若至少一种模态的影像包括多种模态的影像，且多种模态的影像的模态种类数量等于编码器的数量，则还可以将多种模态的影像通过串联输入到任意一个编码器中，得到一张特征图，该特征图包含了多种模态的影像的特征。这种在不同的模态种类数量下，采用该模态的影像对应的编码器进行编码处理，能够保证得到的影像特征图的准确性；另外，在影像的模态种类不缺失的情况下，若采用多种模态的影像串联输入到任意一个编码器的方法，能够提高剂量分布图像的获取效率。
在模态种类大于一种的情况下，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图，具体地，融合方法指的是卷积神经网络中的图像融合方法，包括但不限于加权和(add)或者串联(concat)，将至少一种模态的影像各自对应的特征图进行加权和处理或者串联处理，得到融合特征图。
将融合特征图输入勾画解码器，勾画解码器输出的图像即为勾画图像，将勾画图像通过特征提取，获得勾画图像对应的特征图，将融合特征图和勾画图像对应的特征图输入剂量分布解码器，剂量分布解码器输出的图像即为剂量分布图像。另外，还可以将融合特征图输入剂量分布解码器，得到剂量分布图像，这种不需要对勾画图像进行特征提取，直接利用融合特征图输入剂量分布解码器，能够进一步提高剂量分布图像的获取效率。
上述实施例的方案，通过将至少一种模态的影像分别输入至少一个编码器，再通过特征图融合，将得到的融合特征图分别输入勾画解码器以及剂量分布解码器，得到勾画图像和剂量分布图像的方法，采用至少一种模态的影像进行图像处理，能够有效利用各个模态下影像的特征信息，提高勾画图像和剂量分布图像的准确性；至少一种模态的影像同时处理能够提高剂量分布图像的获取效率；在不同的模态种类数量下，采用该模态的影像对应的编码器进行编码处理，能够保证得到的影像特征图的准确性；另外，在影像的模态种类不缺失的情况下，若采用多种模态的影像串联输入到任意一个编码器的方法，能够提高剂量分布图像的获取效率；至少一个编码器对至少一种模态的影像进行特征提取和特征融合，能够保证得到的影像特征图的准确性；勾画图像和剂量分布图像在影像输入识别模型后一起得到，进一步提高了剂量分布图像的获取效率。
在一个实施例中，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图，包括：对至少一种模态的影像各自对应的特征图进行加权和处理，得到融合特征图；或者，从每种模态的影像中提取出多个通道的特征图，将相同通道下的至少一种模态的影像分别对应的特征图进行加权和处理，得到多个通道的加权和特征图，并将多个通道的加权和特征图作为融合特征图。
本实施例中，加权和是给予特征图一定的权重，再相加的特征图融合方法，对至少一种模态的影像各自对应的特征图进行加权和处理，得到融合特征图，具体地，对至少一种模态的影像各自对应的特征图中处于相同位置的特征值乘以预设权值，不同位置的特征值乘以不同的预设权值，得到相应位置处的权值处理后的特征值，再将相同位置处的权值处理后的特征值相加，得到相应位置处的加权和特征值，进而得到融合特征图，融合特征图中各个位置处的特征值等于相应位置处的加权和特征值。
或者，还可以将至少一种模态的影像各自对应的特征图进行均值处理，得到融合特征图，具体地，将对至少一种模态的影像各自对应的特征图中处于相同位置的特征值乘以预设权值，不同位置的特征值乘以相同的预设值，得到相应位置处的权值处理后的特征值，再将相同位置处的权值处理后的特征值相加，得到相应位置处的加权和特征值，进而得到融合特征图，融合特征图中各个位置处的特征值等于相应位置处的加权和特征值。
或者，还可以从每种模态的影像中提取出多个通道的特征图；在同一通道下，将至少一种模态的影像各自对应的特征图中处于相同位置的特征值乘以预设权值，不同位置的特征值乘以不同的预设权值，得到相应位置处的权值处理后的特征值，再将相同位置处的权值处理后的特征值相加，得到相应位置处的加权和特征值，进而得到融合特征图，融合特征图中各个位置处的特征值等于相应位置处的加权和特征值；在多个通道下，分别得到多个通道对应的融合特征图，即为多个通道的加权和特征图，并将多个通道的加权和特征图作为融合特征图。
上述实施例的方案，通过将至少一种模态的影像各自对应的特征图进行加权和处理或者均值处理，得到融合特征图的方法，经过加权和或者均值处理，特征图中的信息量增多了，但是描述影像的维度本身没有增加，只是每一维度下的信息量增加，有利于提高图像的分类效果，提高后续得到勾画图像的准确性；通过从每种模态的影像中提取出多个通道的特征图，将相同通道下的至少一种模态的影像分别对应的特征图进行加权和处理，得到多通道的加权和特征图即为融合特征图的方法，不同通道的特征图合并后，每一特征下的信息没有增加，而特征图中的特征值数量增加了，有利于提高勾画图像和剂量分布图像的准确性。
在一个实施例中，如图4所示，识别模型的训练步骤，包括：
S120，确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数；
S140，根据第一损失函数、第二损失函数以及第三损失函数，确定模型损失函数；
S160，基于模型损失函数，对初始模型进行训练，得到识别模型。
本实施例中，损失函数是反映识别模型性能的指标，即反映当前识别模型在多大程度上不拟合，在多大程度上不一致的指标，编码器和解码器分别对应的损失函数可以相同或者不同，勾画解码器和剂量分布解码器分别对应的损失函数可以相同或者不同，确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数，模型损失函数为第一损失函数、第二损失函数以及第三损失函数的加权和，第一损失函数、第二损失函数以及第三损失函数分别对应的权值可以不同。初始模型为机器学习模型，可以为医学领域常见的图像处理模型，初始模型的类型通常为卷积神经网络模型，可选地，初始模型的种类包括但不限于U-Net、Res-U-Net、nnUnet，采用模型损失函数对初始模型进行训练，得到识别模型，训练停止的条件可以为损失函数收敛到预设阈值，或者训练轮数达到预设轮数。
上述实施例的方案，通过将编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数分别给予相同或者不同的权值，加权得到的模型损失的方法，能够将模型损失按照比例分配到编码器、勾画解码器以及剂量分布解码器，基于模型损失训练得到的识别模型能够降低识别模型预测值和真实值的误差，提高识别模型的稳定性。
在一个实施例中，如图5所示，基于模型损失函数，对初始模型进行训练，得到识别模型，包括：
S162，获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同；
S164，将至少一种模态的影像样本中的图像分别输入初始模型，得到勾画预测结果和剂量分布预测结果；
S166，基于勾画预测结果、标准勾画图像、剂量分布预测结果、标准剂量分布图像和模型损失函数，计算模型损失，基于模型损失，对初始模型的参数进行更新，得到识别模型。
本实施例中，初始模型包括至少一个初始编码器、初始勾画解码器以及初始剂量分布解码器，获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同，每种模态的影像样本对应一个初始编码器，至少一种模态的影像样本的模态种类数量等于初始编码器的数量，将至少一种模态的影像样本中的图像分别输入初始模型，得到勾画预测结果和剂量分布预测结果包括：将至少一种模态的影像样本中的图像分别输入至少一个初始编码器，得到至少一种模态的影像样本各自对应的特征图；在模态种类大于一种的情况下，将至少一种模态的影像样本各自对应的特征图进行融合，得到融合特征样本图；将融合特征样本图输入初始勾画解码器，得到勾画预测结果；将勾画预测结果通过特征提取，获得勾画预测结果对应的特征图；将融合特征样本图和勾画预测结果对应的特征图输入初始剂量分布解码器，得到剂量分布预测结果。其中，将至少一种模态的影像样本中的图像分别输入至少一个初始编码器，得到至少一种模态的影像样本各自对应的特征图包括，将至少一种模态的影像样本中任意N种模态的影像样本中的图像分别输入与这N种模态的影像样本对应的初始编码器，得到与这N种模态的影像样本对应的特征图，N大于等于1，且小于等于至少一种模态的影像样本的模态种类数量；还可以将至少一种模态的影像样本进行排列组合，得到多组影像样本，将多组中的任一组影像样本中的图像分别输入与该组影像样本对应的初始编码器，得到多组影像样本对应的特征图，例如，至少一种模态的影像样本包括3种模态的影像样本，将3种模态的影像样本进行排列组合，得到7组影像样本，分别为3组单模态的影像样本、3组2种模态的影像样本和1组3种模态的影像样本，将7组影像样本中的任一组影像样本分别输入与该组影像样本对应的初始编码器，得到7组影像样本对应的特征图，其中，对于3组2种模态的影像样本中的1组影像样本，将该组影像样本中的2种模态影像样本中的图像分别输入2种模态影像样本对应的初始编码器，得到的2组特征图，分别为2种模态影像样本对应的特征图；对于1组3种模态的影像样本，将该组影像样本中的3种模态影像样本中的图像分别输入3种模态影像样本对应的初始编码器，得到的3组特征图，分别为3种模态影像样本对应的特征图；对于1组3种模态的影像样本，还可以将该组影像样本中的3种模态影像样本中的图像串联输入任一初始编码器，得到的1组特征图，该特征图包含了3种模态的影像的特征。这种将至少一种模态的影像样本进行排列组合，再输入初始编码器得到特征图的方法，能够保证提取出的多种模态影像样本中的特征尽可能相似，基于多种模态的影像样本对应的特征图训练的识别模型，保证了在模态种类缺失的情况下仍能对多种模态的影像进行处理；而在影像的模态种类不缺失的情况下，若采用多种模态的影像串联输入到任一初始编码器的方法，能够提高剂量分布图像的获取效率。在模态种类大于一种的情况下，将至少一种模态的影像样本各自对应的特征图进行融合，得到融合特征样本图，具体地，将至少一种模态的影像样本各自对应的特征图进行加权和处理、均值处理或者串联处理，得到融合特征样本图；将融合特征样本图输入初始勾画解码器，初始勾画解码器输出的结果即为勾画预测结果，将勾画预测结果通过特征提取，获得勾画预测结果对应的特征图，将融合特征样本图和勾画预测结果对应的特征图输入初始剂量分布解码器，初始剂量分布解码器输出的结果即为剂量分布预测结果。将编码预测结果、标准勾画图像、勾画预测结果、标准剂量分布图像和剂量分布预测结果带入到模型损失函数，计算模型损失，采用模型损失，对初始模型的参数进行更新，直到损失函数收敛到预设阈值，停止对初始模型的参数更新，得到识别模型。
上述实施例的方案，通过获取至少一种模态的影像样本，将至少一种模态的影像样本中的图像分别输入至少一个初始编码器，得到至少一种模态的影像样本各自对应的特征图，经过特征图融合后，将融合特征样本图分别输入初始勾画解码器和初始剂量分布解码器，分别得到勾画预测结果和剂量分布预测结果，这种将至少一种模态的影像样本进行排列组合，再输入初始编码器得到特征图的方法，能够保证提取出的多种模态影像样本中的特征尽可能相似，基于多种模态的影像样本对应的特征图训练的识别模型，保证了在模态种类缺失的情况下仍能对多种模态的影像进行处理；而在影像的模态种类不缺失的情况下，若采用多种模态的影像串联输入到任一初始编码器的方法，能够提高剂量分布图像的获取效率；将勾画预测结果、标准勾画图像、剂量分布预测结果和标准剂量分布图像带入到模型损失函数，计算模型损失，基于模型损失对初始模型的参数进行更新，得到识别模型的方法，采用至少一种模态的影像样本进行图像处理，能够有效利用各个模态下影像样本的特征信息，提高识别模型的准确性；至少一个初始编码器对至少一种模态的影像样本进行特征提取和特征融合，能够保证识别模型的准确性；基于模型损失对初始模型的参数进行更新，得到识别模型，能够降低识别模型预测值和真实值的误差，提高识别模型的稳定性；通过识别模型的训练同时得到勾画预测结果和剂量分布预测结果的方法，通过共同编码器，减少了识别模型的数据量，同时得到勾画预测结果和剂量分布预测结果采用多任务学习的思想，能够缩短预测时间。
在一个实施例中，确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数，包括：
将平均绝对误差MAE、均方误差MSE或者交叉熵作为第一损失函数；将骰子损失、豪斯多夫距离或者交并比IoU作为第二损失函数；将平均绝对误差MAE或者均方误差MSE作为第三损失函数。
本实施例中，编码器对应的第一损失函数的类型包括以下任意一种：平均绝对误差MAE、均方误差MSE或者交叉熵；勾画解码器对应的第二损失函数的类型包括以下任意一种：骰子损失、豪斯多夫距离或者交并比IoU；剂量分布解码器对应的第三损失函数的类型包括以下任意一种：平均绝对误差MAE或者均方误差MSE。
上述实施例的方案，通过将平均绝对误差MAE、均方误差MSE或者交叉熵作为第一损失函数；将骰子损失、豪斯多夫距离或者交并比IoU作为第二损失函数；将平均绝对误差MAE或者均方误差MSE作为第三损失函数，有利于根据编码器、勾画解码器和剂量分布解码器的实际损失情况，为编码器、勾画解码器和剂量分布解码器选择不同类型的损失函数，基于不同的损失函数，能够提高识别模型的准确性。
在一个实施例中，如图6所示，图像处理方法还包括：
S620，获取目标区域的初始勾画图像；
S640，将勾画图像与目标区域的初始勾画图像进行比对；
S660，若勾画图像与目标区域的初始勾画图像的相似程度超出预设范围，则将目标区域的初始勾画图像通过特征提取，获得目标区域的初始勾画图像对应的特征图；将融合特征图和目标区域的初始勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像。
本实施例中，目标区域的初始勾画图像可以为医生对目前区域进行勾画得到的勾画图像，目标区域的初始勾画图像与识别模型输出的勾画图像进行比对，若勾画图像与目标区域的初始勾画图像的相似程度在预设范围内，则将勾画图像通过特征提取，获得勾画图像对应的特征图，将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像；若勾画图像与目标区域的初始勾画图像的相似程度超出预设范围，说明识别模型输出的勾画图像与目标区域的初始勾画图像差异较大，则将目标区域的初始勾画图像通过特征提取，获得目标区域的初始勾画图像对应的特征图，将融合特征图和目标区域的初始勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像，即更新后的剂量分布图像是在识别模型输出的勾画图像与目标区域的初始勾画图像差异较大时，基于目标区域的初始勾画图像对应的特征图得到的，在识别模型输出的勾画图像与目标区域的初始勾画图像差异较大时，得到的更新后的剂量分布图像将具有更高的准确性。
上述实施例的方案，通过获取目标区域的初始勾画图像，将勾画图像与目标区域的初始勾画图像进行比对，在勾画图像与目标区域的初始勾画图像的相似程度超出预设范围的情况下，采用目标区域的初始勾画图像对应的特征图得到更新后的剂量分布图像，由于勾画图像与目标区域的初始勾画图像的相似程度超出预设范围的情况下，若仍采用勾画图像对应的特征图获得剂量分布图像，则存在剂量分布图像不准确的问题，此时，采用目标区域的初始勾画图像对应的特征图获得更新后的剂量分布图像将具有更高的准确性。
为详细说明本方案中图像处理方法及效果，下面以一个最详细实施例进行说明，其中，初始模型选择U-Net神经网络模型：
初始模型包括3个初始编码器、初始勾画解码器以及初始剂量分布解码器；将平均绝对误差MAE、均方误差MSE或者交叉熵作为初始编码器对应的第一损失函数；将骰子损失、豪斯多夫距离或者交并比IoU作为初始勾画解码器对应的第二损失函数；将平均绝对误差MAE或者均方误差MSE作为初始剂量分布解码器对应的第三损失函数；将第一损失函数、第二损失函数以及第三损失函数经过加权平均，确定模型损失函数，第一损失函数、第二损失函数以及第三损失函数分别对应的权值可以不同。
将至少一种模态的影像样本输入初始模型中进行训练，得到勾画预测结果和剂量分布预测结果，具体地，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同，至少一种模态的影像样本中包括3种模态的影像样本，将3种模态的影像样本进行排列组合，得到7组影像样本，分别为3组单模态的影像样本、3组2种模态的影像样本和1组3种模态的影像样本，将7组影像样本中的任一组影像样本分别输入与该组影像样本对应的初始编码器，得到7组影像样本对应的特征图，其中，对于3组2种模态的影像样本中的1组影像样本，将该组影像样本中的2种模态影像样本中的图像分别输入2种模态影像样本对应的初始编码器，得到的2组特征图，分别为2种模态影像样本对应的特征图；对于3组单模态的影像样本中的1组影像样本，将该组影像样本中的单模态影像样本中的图像输入该模态影像样本对应的初始编码器，得到的1组特征图，即为该单模态影像样本对应的特征图；对于1组3种模态的影像样本，将该组影像样本中的3种模态影像样本中的图像分别输入3种模态影像样本对应的初始编码器，得到的3组特征图，分别为3种模态影像样本对应的特征图；另外，对于1组3种模态的影像样本，还可以将该组影像样本中的3种模态影像样本中的图像串联输入任一种模态影像样本对应的初始编码器，得到的3组特征图，分别为3种模态影像样本对应的特征图。将至少一种模态的影像样本各自对应的特征图进行加权和处理、均值处理或者串联处理，得到融合特征样本图，将融合特征样本图输入初始勾画解码器，初始勾画解码器输出的结果即为勾画预测结果，将勾画预测结果通过特征提取，获得勾画预测结果对应的特征图，将融合特征样本图和勾画预测结果对应的特征图输入初始剂量分布解码器，初始剂量分布解码器输出的结果即为剂量分布预测结果，将编码预测结果、标准勾画图像、勾画预测结果、标准剂量分布图像和剂量分布预测结果带入到模型损失函数，计算模型损失，采用模型损失，对初始模型的参数进行更新，直到损失函数收敛到预设阈值，停止对初始模型的参数更新，得到识别模型，识别模型包括3个编码器、勾画解码器以及剂量分布解码器。
如图7所示为图像处理方法的流程示意图，获取3种模态的影像，3种模态的影像分别是对目标区域拍摄的CT影像、MRI影像和PET影像，目标区域为肿瘤治疗靶区；将CT影像输入识别模型中CT影像对应的编码器，即编码器1，得到CT影像对应的特征图，将MRI影像输入MRI影像对应的编码器，即编码器2，得到MRI影像对应的特征图，将PET影像输入PET影像对应的编码器，即编码器3，得到PET影像对应的特征图；对3种模态的影像各自对应的特征图采用加权和方法进行特征融合，得到融合特征图；若获取2种模态的影像，分别是对目标区域拍摄的CT影像和PET影像，则将CT影像输入识别模型中CT影像对应的编码器，即编码器1，得到CT影像对应的特征图，将PET影像输入PET影像对应的编码器，即编码器3，得到PET影像对应的特征图，对2种模态的影像各自对应的特征图采用加权和方法进行特征融合，得到融合特征图；若获取2种模态的影像，分别是对目标区域拍摄的MRI影像和PET影像，则将MRI影像输入MRI影像对应的编码器，即编码器2，得到MRI影像对应的特征图，将PET影像输入PET影像对应的编码器，即编码器3，得到PET影像对应的特征图，对2种模态的影像各自对应的特征图采用加权和方法进行特征融合，得到融合特征图。将融合特征图输入勾画解码器，得到勾画图像；将勾画图像通过特征提取，获得勾画图像对应的特征图；将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
进一步地，本申请中初始模型还可以包括M个初始编码器，M大于等于1，识别模型还可以包括M个编码器，相应地，至少一种模态的影像样本可以包括M种模态的影像样本，在识别模型的训练过程中可以将M种模态的影像样本进行排列组合，得到多组影像样本，再将多组影像样本中的任一组影像样本中的图像分别输入到与该组影像样本对应的初始编码器，得到勾画预测结果和剂量分布预测结果，还可以将多组影像样本中的每组影像样本串联输入到任一初始编码器中，得到一张特征图，该特征图包含了M种模态的影像的特征，进而得到勾画预测结果和剂量分布预测结果，基于勾画预测结果、标准勾画图像、剂量分布预测结果、标准剂量分布图像和模型损失函数，计算模型损失，基于模型损失，对初始模型的参数进行更新，得到识别模型。如图8所示为识别模型包括M个编码器时的图像处理方法的流程示意图，获取M种模态的影像，M种模态的影像分别是对目标区域拍摄的模态1影像、模态2影像以及模态M影像，将M种模态的影像分别输入至对应的解码器，分别得到M种模态的影像对应的特征图，其中模态1影像输入解码器1，得到模态1影像对应的特征图，模态2影像输入解码器2，得到模态2影像对应的特征图，模态M影像输入解码器M，得到模态M影像对应的特征图，对M种模态的影像各自对应的特征图采用加权和或者串联方法进行特征融合，得到融合特征图；将融合特征图输入勾画解码器，得到勾画图像；将勾画图像通过特征提取，获得勾画图像对应的特征图；将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
另外，勾画图像还可以经过修改，得到修改后的勾画图像，并判断修改后的勾画图像跟勾画图像的相似程度是否在预设范围内，若勾画图像未进行修改，或者勾画图像经过修改，且修改后的勾画图像跟勾画图像的相似程度在预设范围内，则勾画图像和剂量分布图像可直接用于放疗计划设计；若勾画图像经过修改，且修改后的勾画图像跟勾画图像的相似程度超出预设范围，则将修改后的勾画图像通过特征提取，获得修改后的勾画图像对应的特征图，将融合特征图和修改后的勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像，将修改后的勾画图像和更新后的剂量分布图像用于放疗计划设计。
上述图像处理方法，通过获取至少一种模态的影像，将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量，能够有效利用各个模态下影像的特征信息，提高勾画图像和剂量分布图像的准确性；至少一种模态的影像同时处理能够提高剂量分布图像的获取效率；勾画图像和剂量分布图像在影像输入识别模型后一起得到，通过共同编码器，减少了识别模型的数据量，同时得到勾画图像和剂量分布图像，能够缩短预测时间，进一步提高了剂量分布图像的获取效率。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种图像处理装置700，包括：获取模块720和处理模块740，其中：
获取模块720，用于获取至少一种模态的影像。
处理模块740，用于将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
上述图像处理装置，通过获取至少一种模态的影像，将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量，能够有效利用各个模态下影像的特征信息，提高勾画图像和剂量分布图像的准确性；至少一种模态的影像同时处理能够提高剂量分布图像的获取效率；勾画图像和剂量分布图像在影像输入识别模型后一起得到，进一步提高了剂量分布图像的获取效率。
在一个实施例中，在识别模型包括至少一个编码器、勾画解码器以及剂量分布解码器；将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像方面，处理模块740还用于：将至少一种模态的影像分别输入至少一个编码器，得到至少一种模态的影像各自对应的特征图；在模态种类大于一种的情况下，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图；将融合特征图输入勾画解码器，得到勾画图像；将勾画图像通过特征提取，获得勾画图像对应的特征图；将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像。
在一个实施例中，在将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图方面，处理模块740还用于：对至少一种模态的影像各自对应的特征图进行加权和处理，得到融合特征图；或者，从每种模态的影像中提取出多个通道的特征图，将相同通道下的至少一种模态的影像分别对应的特征图进行加权和处理，得到多个通道的加权和特征图，并将多个通道的加权和特征图作为融合特征图。
在一个实施例中，在识别模型的训练方面，图像处理装置700还包括训练模块710，训练模块710还用于：确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数；根据第一损失函数、第二损失函数以及第三损失函数，确定模型损失函数；基于模型损失函数，对初始模型进行训练，得到识别模型。
在一个实施例中，训练模块710还用于：获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同；将至少一种模态的影像样本中的图像输入初始模型，得到勾画预测结果和剂量分布预测结果；基于勾画预测结果、标准勾画图像、剂量分布预测结果、标准剂量分布图像和模型损失函数，计算模型损失，基于模型损失，对初始模型的参数进行更新，得到识别模型。
在一个实施例中，在确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数方面，训练模块710还用于：将平均绝对误差MAE、均方误差MSE或者交叉熵作为第一损失函数；将骰子损失、豪斯多夫距离或者交并比IoU作为第二损失函数；将平均绝对误差MAE或者均方误差MSE作为第三损失函数。
在一个实施例中，图像处理装置700还用于获取目标区域的初始勾画图像；将勾画图像与目标区域的初始勾画图像进行比对；若勾画图像与目标区域的初始勾画图像的相似程度超出预设范围，则将目标区域的初始勾画图像通过特征提取，获得目标区域的初始勾画图像对应的特征图；将融合特征图和目标区域的初始勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储至少一种模态的影像、识别模型、勾画图像、剂量分布图像、至少一种模态的影像各自对应的特征图、融合特征图、勾画图像对应的特征图、初始模型、至少一种模态的影像样本、融合特征样本图、勾画预测结果、勾画预测结果对应的特征图、剂量分布预测结果以及模型损失。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取至少一种模态的影像；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
识别模型包括至少一个编码器、勾画解码器以及剂量分布解码器；将至少一种模态的影像分别输入至少一个编码器，得到至少一种模态的影像各自对应的特征图；在模态种类大于一种的情况下，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图；将融合特征图输入勾画解码器，得到勾画图像；将勾画图像通过特征提取，获得勾画图像对应的特征图；将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对至少一种模态的影像各自对应的特征图进行加权和处理，得到融合特征图；或者，从每种模态的影像中提取出多个通道的特征图，将相同通道下的至少一种模态的影像分别对应的特征图进行加权和处理，得到多个通道的加权和特征图，并将多个通道的加权和特征图作为融合特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数；根据第一损失函数、第二损失函数以及第三损失函数，确定模型损失函数；基于模型损失函数，对初始模型进行训练，得到识别模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同；将至少一种模态的影像样本中的图像输入初始模型，得到勾画预测结果和剂量分布预测结果；基于勾画预测结果、标准勾画图像、剂量分布预测结果、标准剂量分布图像和模型损失函数，计算模型损失，基于模型损失，对初始模型的参数进行更新，得到识别模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将平均绝对误差MAE、均方误差MSE或者交叉熵作为第一损失函数；将骰子损失、豪斯多夫距离或者交并比IoU作为第二损失函数；将平均绝对误差MAE或者均方误差MSE作为第三损失函数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取目标区域的初始勾画图像；将勾画图像与目标区域的初始勾画图像进行比对；若勾画图像与目标区域的初始勾画图像的相似程度超出预设范围，则将目标区域的初始勾画图像通过特征提取，获得目标区域的初始勾画图像对应的特征图；将融合特征图和目标区域的初始勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取至少一种模态的影像；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
识别模型包括至少一个编码器、勾画解码器以及剂量分布解码器；将至少一种模态的影像分别输入至少一个编码器，得到至少一种模态的影像各自对应的特征图；在模态种类大于一种的情况下，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图；将融合特征图输入勾画解码器，得到勾画图像；将勾画图像通过特征提取，获得勾画图像对应的特征图；将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对至少一种模态的影像各自对应的特征图进行加权和处理，得到融合特征图；或者，从每种模态的影像中提取出多个通道的特征图，将相同通道下的至少一种模态的影像分别对应的特征图进行加权和处理，得到多个通道的加权和特征图，并将多个通道的加权和特征图作为融合特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数；根据第一损失函数、第二损失函数以及第三损失函数，确定模型损失函数；基于模型损失函数，对初始模型进行训练，得到识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同；将至少一种模态的影像样本中的图像输入初始模型，得到勾画预测结果和剂量分布预测结果；基于勾画预测结果、标准勾画图像、剂量分布预测结果、标准剂量分布图像和模型损失函数，计算模型损失，基于模型损失，对初始模型的参数进行更新，得到识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将平均绝对误差MAE、均方误差MSE或者交叉熵作为第一损失函数；将骰子损失、豪斯多夫距离或者交并比IoU作为第二损失函数；将平均绝对误差MAE或者均方误差MSE作为第三损失函数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取目标区域的初始勾画图像；将勾画图像与目标区域的初始勾画图像进行比对；若勾画图像与目标区域的初始勾画图像的相似程度超出预设范围，则将目标区域的初始勾画图像通过特征提取，获得目标区域的初始勾画图像对应的特征图；将融合特征图和目标区域的初始勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取至少一种模态的影像；
将至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，勾画图像用于指示目标区域的轮廓，剂量分布图像用于指示目标区域各个位置处的剂量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
识别模型包括至少一个编码器、勾画解码器以及剂量分布解码器；将至少一种模态的影像分别输入至少一个编码器，得到至少一种模态的影像各自对应的特征图；在模态种类大于一种的情况下，将至少一种模态的影像各自对应的特征图进行融合，得到融合特征图；将融合特征图输入勾画解码器，得到勾画图像；将勾画图像通过特征提取，获得勾画图像对应的特征图；将融合特征图和勾画图像对应的特征图输入剂量分布解码器，得到剂量分布图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对至少一种模态的影像各自对应的特征图进行加权和处理，得到融合特征图；或者，从每种模态的影像中提取出多个通道的特征图，将相同通道下的至少一种模态的影像分别对应的特征图进行加权和处理，得到多个通道的加权和特征图，并将多个通道的加权和特征图作为融合特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
确定编码器对应的第一损失函数、勾画解码器对应的第二损失函数以及剂量分布解码器对应的第三损失函数；根据第一损失函数、第二损失函数以及第三损失函数，确定模型损失函数；基于模型损失函数，对初始模型进行训练，得到识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同；将至少一种模态的影像样本中的图像输入初始模型，得到勾画预测结果和剂量分布预测结果；基于勾画预测结果、标准勾画图像、剂量分布预测结果、标准剂量分布图像和模型损失函数，计算模型损失，基于模型损失，对初始模型的参数进行更新，得到识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将平均绝对误差MAE、均方误差MSE或者交叉熵作为第一损失函数；将骰子损失、豪斯多夫距离或者交并比IoU作为第二损失函数；将平均绝对误差MAE或者均方误差MSE作为第三损失函数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取目标区域的初始勾画图像；将勾画图像与目标区域的初始勾画图像进行比对；若勾画图像与目标区域的初始勾画图像的相似程度超出预设范围，则将目标区域的初始勾画图像通过特征提取，获得目标区域的初始勾画图像对应的特征图；将融合特征图和目标区域的初始勾画图像对应的特征图输入剂量分布解码器，得到更新后的剂量分布图像。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取至少一种模态的影像；
将所述至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，所述勾画图像用于指示目标区域的轮廓，所述剂量分布图像用于指示所述目标区域各个位置处的剂量。
2.根据权利要求1所述的方法，其特征在于，所述识别模型包括至少一个编码器、勾画解码器以及剂量分布解码器；
所述将所述至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，包括：
将所述至少一种模态的影像分别输入所述至少一个编码器，得到所述至少一种模态的影像各自对应的特征图；
在模态种类大于一种的情况下，将所述至少一种模态的影像各自对应的特征图进行融合，得到融合特征图；
将所述融合特征图输入所述勾画解码器，得到所述勾画图像；
将所述勾画图像通过特征提取，获得所述勾画图像对应的特征图；
将所述融合特征图和所述勾画图像对应的特征图输入所述剂量分布解码器，得到所述剂量分布图像。
3.根据权利要求2所述的方法，其特征在于，所述将所述至少一种模态的影像各自对应的特征图进行融合，得到融合特征图，包括：
对所述至少一种模态的影像各自对应的特征图进行加权和处理，得到所述融合特征图；
或者，从每种模态的影像中提取出多个通道的特征图，将相同通道下的所述至少一种模态的影像分别对应的特征图进行加权和处理，得到多个通道的加权和特征图，并将所述多个通道的加权和特征图作为所述融合特征图。
4.根据权利要求2-3任一项所述的方法，其特征在于，所述识别模型的训练步骤，包括：
确定所述编码器对应的第一损失函数、所述勾画解码器对应的第二损失函数以及所述剂量分布解码器对应的第三损失函数；
根据所述第一损失函数、所述第二损失函数以及所述第三损失函数，确定模型损失函数；
基于所述模型损失函数，对初始模型进行训练，得到所述识别模型。
5.根据权利要求4所述的方法，其特征在于，所述基于所述模型损失函数，对初始模型进行训练，得到所述识别模型，包括：
获取至少一种模态的影像样本，每种模态的影像样本包括对应模态的图像、标准勾画图像以及标准剂量分布图像，各种模态的影像样本中的标准勾画图像相同，各种模态的影像样本中标准剂量分布图像相同；
将至少一种模态的影像样本中的图像输入所述初始模型，得到勾画预测结果和剂量分布预测结果；
基于所述勾画预测结果、所述标准勾画图像、所述剂量分布预测结果、所述标准剂量分布图像和所述模型损失函数，计算模型损失，基于所述模型损失，对所述初始模型的参数进行更新，得到所述识别模型。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述目标区域的初始勾画图像；
将所述勾画图像与所述目标区域的初始勾画图像进行比对；
若所述勾画图像与所述目标区域的初始勾画图像的相似程度超出预设范围，则将所述目标区域的初始勾画图像通过特征提取，获得所述目标区域的初始勾画图像对应的特征图；将所述融合特征图和所述目标区域的初始勾画图像对应的特征图输入所述剂量分布解码器，得到更新后的剂量分布图像。
7.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取至少一种模态的影像；
处理模块，用于将所述至少一种模态的影像输入识别模型，得到勾画图像和剂量分布图像，所述勾画图像用于指示目标区域的轮廓，所述剂量分布图像用于指示所述目标区域各个位置处的剂量。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210867623.3A 2022-07-22 2022-07-22 图像处理方法、装置、计算机设备和存储介质 Pending CN115100185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210867623.3A CN115100185A (zh) 2022-07-22 2022-07-22 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210867623.3A CN115100185A (zh) 2022-07-22 2022-07-22 图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115100185A true CN115100185A (zh) 2022-09-23

Family

ID=83298339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210867623.3A Pending CN115100185A (zh) 2022-07-22 2022-07-22 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115100185A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994919A (zh) * 2023-03-23 2023-04-21 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的膀胱壁自动分割工具和方法
CN116013475A (zh) * 2023-03-24 2023-04-25 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态医学图像的勾画方法和装置、存储介质及电子设备
CN116052840A (zh) * 2023-03-31 2023-05-02 福建自贸试验区厦门片区Manteia数据科技有限公司 基于放疗的剂量分布数据处理装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238438A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
CN113963155A (zh) * 2021-10-21 2022-01-21 上海联影医疗科技股份有限公司 自动计划方法、装置和计算机可读存储介质
CN114681813A (zh) * 2020-12-28 2022-07-01 北京医智影科技有限公司 放射治疗自动计划系统、自动计划方法及计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238438A1 (zh) * 2020-05-29 2021-12-02 京东方科技集团股份有限公司 肿瘤图像的处理方法和装置、电子设备、存储介质
CN114681813A (zh) * 2020-12-28 2022-07-01 北京医智影科技有限公司 放射治疗自动计划系统、自动计划方法及计算机程序产品
WO2022142770A1 (zh) * 2020-12-28 2022-07-07 北京医智影科技有限公司 放射治疗自动计划系统、自动计划方法及计算机程序产品
CN113963155A (zh) * 2021-10-21 2022-01-21 上海联影医疗科技股份有限公司 自动计划方法、装置和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢军;李建彬;刘娟;卢洁;范廷勇;邵倩;: "PET-CT图像融合在食管癌精确放疗中的应用", 实用癌症杂志, no. 03, 25 May 2007 (2007-05-25) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994919A (zh) * 2023-03-23 2023-04-21 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的膀胱壁自动分割工具和方法
CN116013475A (zh) * 2023-03-24 2023-04-25 福建自贸试验区厦门片区Manteia数据科技有限公司 多模态医学图像的勾画方法和装置、存储介质及电子设备
CN116052840A (zh) * 2023-03-31 2023-05-02 福建自贸试验区厦门片区Manteia数据科技有限公司 基于放疗的剂量分布数据处理装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN115100185A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111429460B (zh) 图像分割方法、图像分割模型训练方法、装置和存储介质
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111161279B (zh) 医学图像分割方法、装置及服务器
CN111145147B (zh) 多模态医学图像的分割方法及终端设备
CN112614144A (zh) 一种图像分割方法、装置、设备及存储介质
CN113159056A (zh) 图像分割方法、装置、设备及存储介质
CN109410189B (zh) 图像分割方法以及图像的相似度计算方法、装置
CN117115339B (zh) 一种基于NeRF 5D神经辐射场的建筑三维重建与损伤识别方法
CN112884820A (zh) 一种影像初始配准及神经网络的训练方法、装置和设备
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
Jia et al. 3D global convolutional adversarial network\\for prostate MR volume segmentation
CN112150470A (zh) 图像分割方法、装置、介质及电子设备
CN115375897A (zh) 图像处理方法、装置、设备及介质
Lin et al. Scale-Prior Deformable Convolution for Exemplar-Guided Class-Agnostic Counting.
CN110992310A (zh) 一种确定纵隔淋巴结所在分区的方法及装置
CN111192320A (zh) 一种位置信息确定方法、装置、设备和存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
CN108597589B (zh) 模型生成方法、目标检测方法及医学成像系统
CN114066905A (zh) 一种基于深度学习的医学图像分割方法、系统、装置
CN117635444A (zh) 基于辐射差和空间距离的深度补全方法、装置和设备
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN115860802A (zh) 产品价值预测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination