CN116452801A - 一种多模态图像分割方法、装置、设备及存储介质 - Google Patents

一种多模态图像分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116452801A
CN116452801A CN202310244022.1A CN202310244022A CN116452801A CN 116452801 A CN116452801 A CN 116452801A CN 202310244022 A CN202310244022 A CN 202310244022A CN 116452801 A CN116452801 A CN 116452801A
Authority
CN
China
Prior art keywords
layer
module
sampling
modules
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310244022.1A
Other languages
English (en)
Inventor
戴亚康
周志勇
耿辰
胡冀苏
钱旭升
郑毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Guoke Kangcheng Medical Technology Co ltd
Original Assignee
Suzhou Guoke Kangcheng Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Guoke Kangcheng Medical Technology Co ltd filed Critical Suzhou Guoke Kangcheng Medical Technology Co ltd
Priority to CN202310244022.1A priority Critical patent/CN116452801A/zh
Publication of CN116452801A publication Critical patent/CN116452801A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请是一种多模态图像分割方法、装置、设备及存储介质，具体涉及图像检测技术领域。所述方法包括：获取至少两种模态的目标图像数据；针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；将各层图像特征按照层级进行融合，获得各层融合特征；基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。基于上述方案，提高了目标检测模型的图像分割准确度。

Description

一种多模态图像分割方法、装置、设备及存储介质
技术领域
本申请涉及图像检测领域，具体涉及一种多模态图像分割方法、装置、设备及存储介质。
背景技术
磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术。深度学习是机器学习的一种，目的是学习样本数据的内在规律和表示层次，从而对目标数据进行识别。
传统方法中通过专家对磁共振图像进行观察，以判断磁共振图像中是否包含病灶信息。近年来，深度学习逐渐运用在磁共振图像分割任务中，此方法需要通过人工将磁共振图像中的病灶信息进行标注，以对目标检测模型进行训练，获取磁共振图像分割结果。
然而，上述方法在进行磁共振图像分割任务时需要大量的样本且识别准确度不高。
发明内容
本申请提供了一种多模态图像分割方法、装置、设备及存储介质，在进行图像分割时，识别准确度高，该技术方案如下。
一方面，提供了一种多模态图像分割方法，所述方法包括：
获取至少两种模态的目标图像数据；
针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
将各层图像特征按照层级进行融合，获得各层融合特征；
基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。
又一方面，提供了一种多模态图像分割方法，所述方法包括：
获取至少两种模态的样本图像数据；所述样本图像数据上包含有数据标注；
针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
将各层样本图像特征按照层级进行融合，获得各层样本融合特征；
基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；
根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
又一方面，提供了一种多模态图像分割装置，所述装置包括：
第一数据获取模块，用于获取至少两种模态的目标图像数据；
第一下采样模块，用于针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
第一特征融合模块，用于将各层图像特征按照层级进行融合，获得各层融合特征；
第一上采样模块，用于基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。
在一种可能的实现方式中，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；
所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：
所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；
针对每个中间层上采样模块，将所述中间层上采样模块的下层上采样模块输出的上采样结果，与所述中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过所述中间层上采样模块，对所述中间融合特征进行上采样处理，获得所述中间层上采样模块输出的上采样结果；
将所述顶层上采样模块的下层上采样模块输出的上采样结果，与所述顶层上采样模块对应层级的融合特征进行融合，并通过所述顶层上采样模块对融合后的特征进行处理，获得所述目标分割结果。
在一种可能的实现方式中，每层所述下采样模块中都具有至少两种下采样分支；
所述针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：
针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。
在一种可能的实现方式中，所述下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；
所述第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；
所述第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；
所述激活模块用于对所述第一结果与第二结果的融合结果进行处理，以得到所述下采样模块对应层级的图像特征。
在一种可能的实现方式中，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。
又一方面，提供了一种多模态图像分割装置，所述装置包括：
第二数据获取模块，用于获取至少两种模态的样本图像数据；所述样本图像数据上包含有数据标注；
第二下采样模块，用于针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
第二特征融合模块，用于将各层样本图像特征按照层级进行融合，获得各层样本融合特征；
第二上采样模块，用于基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；
训练模块，用于根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
在一种可能的实现方式中，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；
所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：
所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；
针对每个中间层上采样模块，将所述中间层上采样模块的下层上采样模块输出的上采样结果，与所述中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过所述中间层上采样模块，对所述中间融合特征进行上采样处理，获得所述中间层上采样模块输出的上采样结果；
将所述顶层上采样模块的下层上采样模块输出的上采样结果，与所述顶层上采样模块对应层级的融合特征进行融合，并通过所述顶层上采样模块对融合后的特征进行处理，获得所述目标分割结果。
在一种可能的实现方式中，每层所述下采样模块中都具有至少两种下采样分支；
所述针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：
针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。
在一种可能的实现方式中，所述下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；
所述第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；
所述第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；
所述激活模块用于对所述第一结果与第二结果的融合结果进行处理，以得到所述下采样模块对应层级的图像特征。
在一种可能的实现方式中，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的多模态图像分割方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的多模态图像分割方法。
再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述多模态图像分割方法。
本申请提供的技术方案可以包括以下有益效果：
本申请先获取至少两种模态的目标图像数据；再针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；目标检测模型中还包括与各层下采样模块分别对应的各层上采样模块；再将各层图像特征按照层级进行融合，获得各层融合特征；最后基于各层上采样模块对应层级的融合特征，将各层融合特征中的底层融合特征，依次通过各层上采样模块进行处理，获得目标分割结果。上述方案，通过各层图像特征按照层级进行融合，获得各层融合特征，再基于融合特征以及各层上采样模块进行上采样得到的特征获取目标分割结果，一定程度上弥补了下采样过程中损失的信息，从而提高了目标检测模型的图像分割准确度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种多模态图像分割系统的结构示意图。
图2是根据一示例性实施例示出的一种多模态图像分割方法的流程图。
图3是根据一示例性实施例示出的一种多模态图像分割方法的流程图。
图4是根据一示例性实施例示出的一种多模态图像分割方法的流程图。
图5示出了本申请实施例涉及的目标检测模型的结构示意图。
图6示出了本申请实施例涉及的下采样模块的结构示意图。
图7示出了本申请实施例涉及的特征融合示例图。
图8是根据一示例性实施例示出的一种多模态图像分割装置的结构方框图。
图9是根据一示例性实施例示出的一种多模态图像分割装置的结构方框图。
图10是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
本申请实施例中，“预定义”可以通过在设备(例如，包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
图1是根据一示例性实施例示出的一种多模态图像分割系统的结构示意图。该图像分割系统中包含服务器110以及终端设备120。其中，该终端设备120中可以包含数据处理设备以及数据存储模块。
可选的，该终端设备120通过传输网络(如无线通信网络)与服务器110实现通信连接，该终端设备120可以通过无线通信网络，将数据存储模块中存储的各个数据(如图像数据)上传至服务器110，以便服务器110对获取到的图像数据进行处理，例如通过上传的图像数据对应用于图像分割等方面的卷积神经网络模型进行训练。
可选的，该终端设备120中还包括有指令输入组件，如鼠标、键盘、触控屏等组件(图1未示出)，该指令输入组件接收到用户输入的指定指令后，可以在终端设备上输入对应的数据。例如当终端设备上安装有图像分割软件时，用户可以通过指令输入组件向终端设备输入对应的指令，以控制该图像分割软件输出对应的图像分割结果。
可选的，该终端设备可以将该图像文件上传至服务器110，以便服务器110对应用于图像分割等方面的卷积神经网络模型进行训练。
可选的，该终端设备中还包含有数据处理设备，该数据处理设备可以在终端设备120打开图像文件时，通过服务器下发的卷积神经网络模型对图像文件进行分割。
可选的，该服务器110可以获取到各个终端设备上传的图像文件，并通过人工等方式对图像文件进行标注，以通过上传的图像文件以及标注信息对卷积神经网络模型进行训练，当训练完成后可以将训练后的卷积神经网络模型传输至终端设备中，以便终端设备对图像文件进行图像分割。
可选的，当该终端设备接收并打开图像文件后，终端设备可以将该图像文件上传至服务器110中，以便服务器110中训练好的卷积神经网络模型对图像文件进行分割，得到分割结果并返回至终端设备，以实现图像文件的在线分割。
可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。
可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理(如管理各个模块与服务器之间的连接状态等)，该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2是根据一示例性实施例示出的一种多模态图像分割方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的终端设备与服务器中的一者。如图2所示，该图像分割方法可以包括如下步骤：
步骤201，获取至少两种模态的目标图像数据。
磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术。深度学习深度是机器学习的一种方法，通过多层非线性变换学习输入数据的特征表示，从而实现各种任务的自动化。
在本申请实施例中，由于磁共振图像具有多模态特点，不同模态的磁共振图像因数据分布差异会影响分割的准确性，本申请实施例可以先获取到不同模态的磁共振图像(也就是至少两种模态的目标图像数据)再选择合适的方法对不同模态的磁共振图像进行特征融合，以提高分割的准确性。
步骤202，针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征。
该目标检测模型中还包括与该各层下采样模块分别对应的各层上采样模块。
下采样即缩小图像，下采样的主要目的是生成图像的缩略图且符合需要的大小。将每一种模态的目标图像数据单独进行目标层数的下采样，且获得对应模态、对应层级的图像特征。
步骤203，将各层图像特征按照层级进行融合，获得各层融合特征。
特征融合是指将来自不同层或分支的特征进行组合。将每个层级的各个模态的图像特征进行融合，获得每个层级的融合特征。
步骤204，基于该各层上采样模块对应层级的融合特征，将该各层融合特征中的底层融合特征，依次通过该各层上采样模块进行处理，获得目标分割结果。
上采样即放大图像，上采样的主要目的是生成图像的放大图且符合需要的大小。
可选的，只将底层融合特征依次通过各层上采样模块进行处理。
可选的，将底层融合特征经过底层的上一层(倒数第二层)的上采样模块进行上采样，再与倒数第二层对应的融合特征进行融合得到倒数第二层中间融合特征，再将倒数第二层中间融合特征依次通过后续的各层(倒数第二层之上的各层)上采样模块进行处理。
可选的，设置目标层级，目标层级中均将该目标层级前一层的中间融合特征与该目标层级对应的融合特征进行融合后再进行上采样。该目标层级可以是连续的层级，也可以是相隔一定数量的层级，还可以是随机层级。
综上所述，本申请先获取至少两种模态的目标图像数据；再针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；目标检测模型中还包括与各层下采样模块分别对应的各层上采样模块；再将各层图像特征按照层级进行融合，获得各层融合特征；最后基于各层上采样模块对应层级的融合特征，将各层融合特征中的底层融合特征，依次通过各层上采样模块进行处理，获得目标分割结果。上述方案，通过各层图像特征按照层级进行融合，获得各层融合特征，再基于融合特征以及各层上采样模块进行上采样得到的特征获取目标分割结果，一定程度上弥补了下采样过程中损失的信息，从而提高了目标检测模型的图像分割准确度。
图3是根据一示例性实施例示出的一种多模态图像分割方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的终端设备与服务器中的一者。如图3所示，该图像分割方法可以包括如下步骤：
步骤301，获取至少两种模态的样本图像数据。
该样本图像数据上包含有数据标注。
磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术。深度学习深度是机器学习的一种方法，通过多层非线性变换学习输入数据的特征表示，从而实现各种任务的自动化。
在本申请实施例中，由于磁共振图像具有多模态特点，不同模态的磁共振图像因数据分布差异会影响分割的准确性，本申请实施例可以先获取到不同模态的磁共振图像(也就是至少两种模态的目标图像数据)再选择合适的方法对不同模态的磁共振图像进行特征融合，以提高分割的准确性。
可选的，该数据标注可以通过专家手动标注，也可以由专家借助标注工具进行标注。该数据标注可标出样本图像中的目标物体，与目标检测模型的识别结果进行比较，以使得目标检测模型的识别结果更接近该数据标注。
可选的，在后处理步骤中生成二值检测标签或值为病灶内最高置信度的检测图。
可选的，利用simpleitk包(一种医学图像处理工具)中的算法Getboundingbox(目的是获取医学图像ROI的外接矩形框)提取数据标注的boundingbox(医学图像ROI的外接矩形框)，并依此确定ROI区域来裁剪序列和病灶标签。其中，ROI为感兴趣区域。
可选的，将样本图像数据划分为训练集、验证集和测试集，例如按照6∶2∶2的比例划分训练集、验证集和测试集，一个小批量(minibatch)包含两例阴性的样本图像数据和两例阳性的样本图像数据。
步骤302，针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征。
该目标检测模型中还包括与该各层下采样模块分别对应的各层上采样模块。
下采样即缩小图像，下采样的主要目的是生成图像的缩略图且符合需要的大小。将每一种模态的目标图像数据单独进行目标层数的下采样，且获得对应模态、对应层级的图像特征。
步骤303，将各层样本图像特征按照层级进行融合，获得各层样本融合特征。
特征融合是指将来自不同层或分支的特征进行组合。将每个层级的各个模态的图像特征进行融合，获得每个层级的融合特征。
步骤304，基于该各层上采样模块对应层级的样本融合特征，将该各层样本融合特征中的底层样本融合特征，依次通过该各层上采样模块进行处理，获得样本输出结果。
上采样即放大图像，上采样的主要目的是生成图像的放大图且符合需要的大小。
可选的，只将底层融合特征依次通过各层上采样模块进行处理。
可选的，将底层融合特征经过底层的上一层(倒数第二层)的上采样模块进行上采样，再与倒数第二层对应的融合特征进行融合得到倒数第二层中间融合特征，再将倒数第二层中间融合特征依次通过后续的各层(倒数第二层之上的各层)上采样模块进行处理。
可选的，设置目标层级，目标层级中均将该目标层级前一层的中间融合特征与该目标层级对应的融合特征进行融合后再进行上采样。该目标层级可以是连续的层级，也可以是相隔一定数量的层级，还可以是随机层级。
可选的，在上采样过程中还可以在目标层级中设置深监督(deep supervision)，例如设置三层深监督。深监督就是在深度神经网络的某些中间隐藏层加了一个辅助的分类器作为一种网络分支来对主干网络进行监督的技巧，用来解决深度神经网络训练梯度消失和收敛速度过慢等问题。
步骤305，根据该样本输出结果以及数据标注，对该目标检测模型进行训练，得到训练后的目标检测模型。
该训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
由于数据集中含有部分阴性病例(阴性的样本图像数据)，阴性病例对应的病灶标签(数据标注)为全0。在网络训练的后期，这部分图像的预测标签为全0，损失为0，对于整个网络的学习已经不起作用。可选的，为了充分利用这部分数据，设计了一种记忆学习策略：先将网络的输入调整为全阴病例，使用focaloss(γ＝2)预训练网络至收敛；再将网络的输入调整为有阴有阳，构造两个dataloader(神经网络框架pytorch的数据读取机制)分别载入阳性和阴性病例，保证每个minibatch(小批量)输入网络中都有阳性样本，防止训练到后期，随机的minibatch中为全阴病例，损失为0，造成梯度紊乱。载入上阶段训练完成的模型，此时的模型对于阳性样本敏感度较高，有助于提高病灶检出率，使用focaloss训练模型直至收敛，保存最优模型。其中，focaloss是一种损失函数，γ为focaloss的参数。
综上所述，本申请先获取至少两种模态的目标图像数据；再针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；目标检测模型中还包括与各层下采样模块分别对应的各层上采样模块；再将各层图像特征按照层级进行融合，获得各层融合特征；最后基于各层上采样模块对应层级的融合特征，将各层融合特征中的底层融合特征，依次通过各层上采样模块进行处理，获得目标分割结果。上述方案，通过各层图像特征按照层级进行融合，获得各层融合特征，再基于融合特征以及各层上采样模块进行上采样得到的特征获取目标分割结果，一定程度上弥补了下采样过程中损失的信息，从而提高了目标检测模型的图像分割准确度。
图4是根据一示例性实施例示出的一种多模态图像分割方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的终端设备与服务器中的一者。如图4所示，该图像分割方法可以包括如下步骤：
步骤401，获取至少两种模态的目标图像数据。
磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术。深度学习深度是机器学习的一种方法，通过多层非线性变换学习输入数据的特征表示，从而实现各种任务的自动化。通过深度学习对磁共振图像进行分割，能够从磁共振图像中识别出目标器官处的病灶，例如临床显著性前列腺癌病变。
在本申请实施例中，由于磁共振图像具有多模态特点，不同模态的磁共振图像因数据分布差异会影响分割的准确性，本申请实施例可以先获取到不同模态的磁共振图像(也就是至少两种模态的目标图像数据)再选择合适的方法对不同模态的磁共振图像进行特征融合，以提高分割的准确性。
为了通过深度学习对不同模态的磁共振图像进行分割，首先需要获取至少两种模态的目标图像数据。例如，分别获取目标器官(例如前列腺)横断面的T2W(T2加权像，T2是用于测量电磁波的物理量)模态、ADC(Apparent Diffusion Coefficient，表观弥散系数)模态以及DWI(Diffusion Weighted Imaging，弥散加权成像)模态的目标图像数据。
可选的，对目标图像数据进行预处理。例如，首先通过配准工具elastix对目标图像数据进行刚性配准，将T2W模态的目标图像数据作为固定图像，将ADC模态的目标图像数据和DWI模态的目标图像数据作为浮动图像，保证各个模态的目标图像数据的空间对齐，并进行重采样。重采样是指对采样后形成的由离散数据组成的数字图像按所需的像元位置或像元间距重新采样,以构成几何变换后的新图像。
进一步的，对刚性配准后的目标图像数据进行数据增强。数据增强的目的是增加样本量，通过各种随机变换增强之后的目标图像数据训练得到的目标检测模型具有更强的鲁棒性，可以达到更好的分割效果。可选的，通过旋转、归一化、随机缩放以及随机仿射变换进行数据增强，并通过pytorch(一种神经网络框架)中的dataloader(pytorch的数据读取机制)读入进行数据增强后的目标图像数据。
步骤402，针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征。
该目标检测模型中还包括与该各层下采样模块分别对应的各层上采样模块。图5示出了本申请实施例涉及的目标检测模型的结构示意图。其中，fusion表示融合。
可选的，每层该下采样模块中都具有至少两种下采样分支。
例如，利用dynUnet作为目标检测模型的基线网络，为了能够处理数据分布有差异的多模态影像序列(至少两种模态的目标图像数据)，提升性能上限，将其扩展到三个编码器(下采样分支)，分别提取模态独立特征。
进一步的，针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。
可选的，该下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；
该第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；
该第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；
该激活模块用于对该第一结果与第二结果的融合结果进行处理，以得到该下采样模块对应层级的图像特征。
可选的，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。由于各个模态的目标图像数据的表现形式不同，但目标器官处的病灶的相对位置是固定的，但是某些情况下部分模态的目标图像数据中的病灶区域并不明显，因此可以对各个下采样分支进行下采样卷积硬参数共享，将各个下采样分支中对应的目标模块的参数设置为相同的参数。也就是说，各个下采样分支中存在参数相同的对应模块，而其他模块的参数不一定相同。在对各个模态的目标图像数据进行下采样的过程中，遵循相同的规则，保留病灶在目标图像数据中的相对位置，包含了隐式的模态相互监督。
图6示出了本申请实施例涉及的下采样模块的结构示意图(对应图5中的①部分)。其中，encoder1、encoder2以及encoder3分别为一个下采样分支(编码器)，Fi为目标层的图像特征，经过下采样后变为目标层的下一层的图像特征Fi+1，尺寸变为原来的1/2。三条下采样分支(encoder1、encoder2以及encoder3)分布提取模态独立特征，虽然不同模态的特征表现不同，但经过配准后，图像在空间结构上是一致的，将同层的stride(步幅)为2的下采样卷积进行硬参数共享，能够利用不同模态相互监督，强制不同的下采样分支共同学习相同的空间结构信息，进行参数共享的模块学习空间结构信息，其他模块的模态独立，学习不同的模态特征表现。应说明的是，图中norm表示归一化，leakyrelu是一种激活函数，第一卷积模块即3×3×3stride2模块，第二卷积模块即1×1×1stride2模块。
步骤403，将各层图像特征按照层级进行融合，获得各层融合特征。
为解决不同模态的目标图像数据因数据分布差异引起的信息不共享的问题，可以通过注意力图增强多模态的目标图像数据的关联性，在目标检测模型的跳连接处(对应图5中的②部分)对同层的图像特征进行融合。
图7示出了本申请实施例涉及的特征融合示例图。如图7所示，分别对三个模态的图像特征求取3D空间注意力图，对计算得到的三幅空间注意力图进行逐元素混合，最终得到混合激活响应图，强迫网络提高不同模态上的同一空间位置的关注度，在关注到模态共同的高响应区域的同时适当调整模态独立特征高响应区域的关注度，进一步共同学习相同的空间信息，精确定位病灶体素。其中，Ft2w、Fadc以及Fdwi分别表示三个模态的图像特征，Spital attention为空间注意力，As(t2w)、As(adc)以及As(dwi)分别表示三个模态的注意力图，fuse表示混合，As(fuse)表示混合激活图(fused spatial attention)，pre-act表示预激活，逐元素add(element-wise add)即逐元素混合，矩阵相乘即Hadamardproduct，concatenate表示特征联合，像素归一化即instance norm，3D空间注意力图即3Dspital attentionmap，逐元素取最大值即element-wise max。
空间注意力图为CBAM(Convolutional Block Attention Module，混合注意力机制)中的部件，混合激活响应图As(m)的求取按照以下的公式：
As(m)＝sigmoid(conv(AvgPool(Fm)||MaxPool(Fm)))，m∈[t2w,adc,dwi]
其中，Fm为模态m，sigmoid激活函数，conv为卷积，AvgPool为平均池化，MaxPool为最大池化。通过编码器得到某一层的图像特征，对于单个模态，空间注意力图的求取通过全局平均池化global average pooling和全局最大池化global max pooling，拼接后通过1*1卷积计算得到概率图，最后通过sigmoid映射到[0,1]的范围。空间注意力图注重的是图像的空间结构信息，分别获得三个模态的空间注意力图后，按照以下公式计算混合激活图As(fuse)：
As(fuse)＝∏(1+As(m))，m∈[t2w,adc,dwi]
步骤404，底层上采样模块对该底层融合特征进行上采样处理，获得该底层上采样模块输出的上采样结果。
可选的，各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块。
在获得各层融合特征后，由于本申请的上采样过程是先进行上采样，再将上采样的结果与对应层的融合特征融合得到对应层的中间融合特征，再将对应层的中间融合特征进行上采样的过程，由于底层上采样模块是直接对底层融合特征进行上采样，而顶层上采样模块需要获得目标分割结果，因此将各层上采样模块分为底层上采样模块、顶层上采样模块以及中间层上采样模块。
步骤405，针对每个中间层上采样模块，将该中间层上采样模块的下层上采样模块输出的上采样结果，与该中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过该中间层上采样模块，对该中间融合特征进行上采样处理，获得该中间层上采样模块输出的上采样结果。
各个中间层上采样模块进行的步骤类似，都是将该中间层上采样模块下一层的上采样结果与该中间层上采样模块对应层级的融合特征进行融合后再进行上采样。
步骤406，将该顶层上采样模块的下层上采样模块输出的上采样结果，与该顶层上采样模块对应层级的融合特征进行融合，并通过该顶层上采样模块对融合后的特征进行处理，获得该目标分割结果。
顶层上采样模块不仅要对其下一层的上采样结果和其对应层级的融合特征的融合结果(融合后的特征)进行上采样，而且要进行进一步的处理获得目标分割结果，因此与中间层上采样模块进行的步骤不同。
应说明的是，图5中的deep supervision对应的是图3实施例里在训练目标检测模型的过程中增加的深监督部分，图3实施例的目标检测模型的其他结构均与图4实施例的目标检测模型的对应结构相同。
综上所述，本申请先获取至少两种模态的目标图像数据；再针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；目标检测模型中还包括与各层下采样模块分别对应的各层上采样模块；再将各层图像特征按照层级进行融合，获得各层融合特征；最后基于各层上采样模块对应层级的融合特征，将各层融合特征中的底层融合特征，依次通过各层上采样模块进行处理，获得目标分割结果。上述方案，通过各层图像特征按照层级进行融合，获得各层融合特征，再基于融合特征以及各层上采样模块进行上采样得到的特征获取目标分割结果，一定程度上弥补了下采样过程中损失的信息，从而提高了目标检测模型的图像分割准确度。
图8是根据一示例性实施例示出的一种多模态图像分割装置的结构方框图。该图像分割装置包括：
第一数据获取模块801，用于获取至少两种模态的目标图像数据；
第一下采样模块802，用于针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；该目标检测模型中还包括与该各层下采样模块分别对应的各层上采样模块；
第一特征融合模块803，用于将各层图像特征按照层级进行融合，获得各层融合特征；
第一上采样模块804，用于基于该各层上采样模块对应层级的融合特征，将该各层融合特征中的底层融合特征，依次通过该各层上采样模块进行处理，获得目标分割结果。
在一种可能的实现方式中，该各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；
该基于该各层上采样模块对应层级的融合特征，将该各层融合特征中的底层融合特征，依次通过该各层上采样模块进行处理，获得目标分割结果，包括：
该底层上采样模块对该底层融合特征进行上采样处理，获得该底层上采样模块输出的上采样结果；
针对每个中间层上采样模块，将该中间层上采样模块的下层上采样模块输出的上采样结果，与该中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过该中间层上采样模块，对该中间融合特征进行上采样处理，获得该中间层上采样模块输出的上采样结果；
将该顶层上采样模块的下层上采样模块输出的上采样结果，与该顶层上采样模块对应层级的融合特征进行融合，并通过该顶层上采样模块对融合后的特征进行处理，获得该目标分割结果。
在一种可能的实现方式中，每层该下采样模块中都具有至少两种下采样分支；
该针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：
针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。
在一种可能的实现方式中，该下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；
该第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；
该第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；
该激活模块用于对该第一结果与第二结果的融合结果进行处理，以得到该下采样模块对应层级的图像特征。
在一种可能的实现方式中，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。
综上所述，本申请先获取至少两种模态的目标图像数据；再针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；目标检测模型中还包括与各层下采样模块分别对应的各层上采样模块；再将各层图像特征按照层级进行融合，获得各层融合特征；最后基于各层上采样模块对应层级的融合特征，将各层融合特征中的底层融合特征，依次通过各层上采样模块进行处理，获得目标分割结果。上述方案，通过各层图像特征按照层级进行融合，获得各层融合特征，再基于融合特征以及各层上采样模块进行上采样得到的特征获取目标分割结果，一定程度上弥补了下采样过程中损失的信息，从而提高了目标检测模型的图像分割准确度。
图9是根据一示例性实施例示出的一种多模态图像分割装置的结构方框图。该图像分割装置包括：
第二数据获取模块901，用于获取至少两种模态的样本图像数据；该样本图像数据上包含有数据标注；
第二下采样模块902，用于针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；该目标检测模型中还包括与该各层下采样模块分别对应的各层上采样模块；
第二特征融合模块903，用于将各层样本图像特征按照层级进行融合，获得各层样本融合特征；
第二上采样模块904，用于基于该各层上采样模块对应层级的样本融合特征，将该各层样本融合特征中的底层样本融合特征，依次通过该各层上采样模块进行处理，获得样本输出结果；
训练模块905，用于根据该样本输出结果以及数据标注，对该目标检测模型进行训练，得到训练后的目标检测模型；该训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
在一种可能的实现方式中，该各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；
该基于该各层上采样模块对应层级的融合特征，将该各层融合特征中的底层融合特征，依次通过该各层上采样模块进行处理，获得目标分割结果，包括：
该底层上采样模块对该底层融合特征进行上采样处理，获得该底层上采样模块输出的上采样结果；
针对每个中间层上采样模块，将该中间层上采样模块的下层上采样模块输出的上采样结果，与该中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过该中间层上采样模块，对该中间融合特征进行上采样处理，获得该中间层上采样模块输出的上采样结果；
将该顶层上采样模块的下层上采样模块输出的上采样结果，与该顶层上采样模块对应层级的融合特征进行融合，并通过该顶层上采样模块对融合后的特征进行处理，获得该目标分割结果。
在一种可能的实现方式中，每层该下采样模块中都具有至少两种下采样分支；
该针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：
针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。
在一种可能的实现方式中，该下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；
该第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；
该第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；
该激活模块用于对该第一结果与第二结果的融合结果进行处理，以得到该下采样模块对应层级的图像特征。
在一种可能的实现方式中，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。
综上所述，本申请先获取至少两种模态的目标图像数据；再针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；目标检测模型中还包括与各层下采样模块分别对应的各层上采样模块；再将各层图像特征按照层级进行融合，获得各层融合特征；最后基于各层上采样模块对应层级的融合特征，将各层融合特征中的底层融合特征，依次通过各层上采样模块进行处理，获得目标分割结果。上述方案，通过各层图像特征按照层级进行融合，获得各层融合特征，再基于融合特征以及各层上采样模块进行上采样得到的特征获取目标分割结果，一定程度上弥补了下采样过程中损失的信息，从而提高了目标检测模型的图像分割准确度。
图10示出了本申请一示例性实施例示出的计算机设备1000的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器(Random Access Memory，RAM)1002和只读存储器(Read-Only Memory，ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括用于存储操作系统1009、应用程序1010和其他程序模块1011的大容量存储设备1006。
所述大容量存储设备1006通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1006及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，所述大容量存储设备1006可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储其技术，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1006可以统称为存储器。
根据本公开的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1007连接到网络1008，或者说，也可以使用网络接口单元1007来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条计算机程序，所述至少一条计算机程序存储于存储器中，中央处理单元1001通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2、图3或图4任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种多模态图像分割方法，其特征在于，所述方法包括：
获取至少两种模态的目标图像数据；
针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
将各层图像特征按照层级进行融合，获得各层融合特征；
基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。
2.根据权利要求1所述的方法，其特征在于，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；
所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：
所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；
针对每个中间层上采样模块，将所述中间层上采样模块的下层上采样模块输出的上采样结果，与所述中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过所述中间层上采样模块，对所述中间融合特征进行上采样处理，获得所述中间层上采样模块输出的上采样结果；
将所述顶层上采样模块的下层上采样模块输出的上采样结果，与所述顶层上采样模块对应层级的融合特征进行融合，并通过所述顶层上采样模块对融合后的特征进行处理，获得所述目标分割结果。
3.根据权利要求2所述的方法，其特征在于，每层所述下采样模块中都具有至少两种下采样分支；
所述针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：
针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。
4.根据权利要求3所述的方法，其特征在于，所述下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；
所述第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；
所述第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；
所述激活模块用于对所述第一结果与第二结果的融合结果进行处理，以得到所述下采样模块对应层级的图像特征。
5.根据权利要求4所述的方法，其特征在于，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。
6.一种多模态图像分割方法，其特征在于，所述方法包括：
获取至少两种模态的样本图像数据；所述样本图像数据上包含有数据标注；
针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
将各层样本图像特征按照层级进行融合，获得各层样本融合特征；
基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；
根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
7.一种多模态图像分割装置，其特征在于，所述装置包括：
第一数据获取模块，用于获取至少两种模态的目标图像数据；
第一下采样模块，用于针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
第一特征融合模块，用于将各层图像特征按照层级进行融合，获得各层融合特征；
第一上采样模块，用于基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。
8.一种多模态图像分割装置，其特征在于，所述装置包括：
第二数据获取模块，用于获取至少两种模态的样本图像数据；所述样本图像数据上包含有数据标注；
第二下采样模块，用于针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；
第二特征融合模块，用于将各层样本图像特征按照层级进行融合，获得各层样本融合特征；
第二上采样模块，用于基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；
训练模块，用于根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至6任一所述的多模态图像分割方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至6任一所述的多模态图像分割方法。
CN202310244022.1A 2023-03-14 2023-03-14 一种多模态图像分割方法、装置、设备及存储介质 Pending CN116452801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310244022.1A CN116452801A (zh) 2023-03-14 2023-03-14 一种多模态图像分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310244022.1A CN116452801A (zh) 2023-03-14 2023-03-14 一种多模态图像分割方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116452801A true CN116452801A (zh) 2023-07-18

Family

ID=87124652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310244022.1A Pending CN116452801A (zh) 2023-03-14 2023-03-14 一种多模态图像分割方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116452801A (zh)

Similar Documents

Publication Publication Date Title
US20210174543A1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
EP3511942A2 (en) Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
CN110570426A (zh) 使用深度学习的图像联合配准和分割
CN110490927B (zh) 用于为图像中的对象生成中心线的方法、装置和系统
CN112927799B (zh) 融合多示例学习和多任务深度影像组学的生存期分析系统
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及系统
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
US20200372654A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN109740515A (zh) 一种评阅方法及装置
CN112785632A (zh) 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
CN116469545A (zh) 使用医学图像进行辅助疾病预测的方法、装置及设备
CN117274599A (zh) 一种基于组合双任务自编码器的脑磁共振分割方法及系统
CN115375897A (zh) 图像处理方法、装置、设备及介质
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
Zhu et al. Few-shot medical image segmentation via a region-enhanced prototypical transformer
CN116452801A (zh) 一种多模态图像分割方法、装置、设备及存储介质
CN116051813A (zh) 全自动智能腰椎定位与识别方法及应用
CN116342446A (zh) 多聚焦图像融合方法及装置、电子设备、存储介质
CN116188396A (zh) 一种图像分割方法、装置、设备及介质
CN113255756B (zh) 图像融合方法、装置、电子设备及存储介质
Jia et al. A multi-style interior floor plan design approach based on generative adversarial networks
CN116013475B (zh) 多模态医学图像的勾画方法和装置、存储介质及电子设备
CN111612762A (zh) Mri脑肿瘤图像生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination