CN117710227A - 一种基于多模态医学图像的模态融合方法及装置 - Google Patents

一种基于多模态医学图像的模态融合方法及装置 Download PDF

Info

Publication number
CN117710227A
CN117710227A CN202311719666.8A CN202311719666A CN117710227A CN 117710227 A CN117710227 A CN 117710227A CN 202311719666 A CN202311719666 A CN 202311719666A CN 117710227 A CN117710227 A CN 117710227A
Authority
CN
China
Prior art keywords
feature map
fusion
image
extraction
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311719666.8A
Other languages
English (en)
Other versions
CN117710227B (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202311719666.8A priority Critical patent/CN117710227B/zh
Publication of CN117710227A publication Critical patent/CN117710227A/zh
Application granted granted Critical
Publication of CN117710227B publication Critical patent/CN117710227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种基于多模态医学图像的模态融合方法及装置，所述方法包括：将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；将第二模态图像输入第二粗提取结构，得到第二粗提取特征图；将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；将所述融合特征图输入特征提取结构，得到融合参数。本申请中，通过对第一模态图像和第二模态图像进行粗提取，从而将模态图像转换为低维度的特征图，在一定程度上排除图像失真的干扰；然后通过交叉融合的方式，对不同维度的特征图进行融合，从而排除空间位置、图像失真、分辨率等的影响，提高模态融合的准确性。

Description

一种基于多模态医学图像的模态融合方法及装置
技术领域
本申请涉及医疗图像处理技术领域，具体而言，涉及一种基于多模态医学图像的模态融合方法及装置。
背景技术
根据数据获取方式的不同，医学图像具有多种模态，如CT图像(ComputedTomography)，是利用精确准直的线束对人体进行断层扫描得到的，磁共振成像MRI(Magnetic resonance imaging，磁共振成像)是利用高场的磁场进行图像重建得到的。不同模态的医学图像，由于成像原理的不同，所能获取的人体组织的信息不同，因此可以进行不同模态的融合，以结合在一起，为诊断等提供更准确、更多元化的信息。
但是，由于不同模态的医学图像的获取方式的差异性，以及获取时间的差异性，导致其在空间位置上具有偏差，同时由于人体动态变换等，医学图像本身还会出现图像失真、图像分辨率等问题，这些会使得模态融合的准确性降低。
发明内容
本申请解决的问题是当前多模态医学图像的模态融合结果的准确率较低。
为解决上述问题，本申请第一方面提供了基于多模态医学图像的模态融合方法，包括：
将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
本申请第二方面提供了基于多模态医学图像的模态融合装置，其包括：
第一粗提取模块，其用于将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
第二粗提取模块，其用于将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
交叉融合模块，其用于将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
特征提取模块，其用于将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于多模态医学图像的模态融合方法。
本申请中，通过对第一模态图像和第二模态图像进行粗提取，从而将模态图像转换为低维度的特征图，在一定程度上排除图像失真的干扰；然后通过交叉融合的方式，对不同维度的特征图进行融合，从而排除空间位置、图像失真、分辨率等的影响，提高模态融合的准确性。
附图说明
图1为根据本申请实施例的模态融合方法的模型架构图；
图2为根据本申请实施例的模态融合方法的流程图；
图3为根据本申请实施例的模态融合方法模型训练的流程图；
图4为根据本申请实施例的模态融合方法融合结构处理的流程图；
图5为根据本申请实施例的模态融合方法第一提取单元处理的流程图；
图6为根据本申请实施例的模态融合方法多维度注意力模块的架构图；
图7为根据本申请实施例的模态融合装置的结构框图；
图8为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
根据数据获取方式的不同，医学图像具有多种模态，如CT图像(ComputedTomography)，是利用精确准直的线束对人体进行断层扫描得到的，磁共振成像MRI(Magnetic resonance imaging，磁共振成像)是利用高场的磁场进行图像重建得到的。不同模态的医学图像，由于成像原理的不同，所能获取的人体组织的信息不同，因此可以进行不同模态的融合，以结合在一起，为诊断等提供更准确、更多元化的信息。
但是，由于不同模态的医学图像的获取方式的差异性，以及获取时间的差异性，导致其在空间位置上具有偏差，这会使得模态融合的准确性降低。
针对上述问题，本申请提供一种新的基于多模态医学图像的模态融合方案，能够通过对粗提取特征图进行交叉融合的方式，通过融合提高模态融合的准确性，解决当前模态融合结果的准确率较低的问题。
本申请实施例提供了基于多模态医学图像的模态融合方法，该方法的具体方案由图1-图6所示，该方法可以由基于多模态医学图像的模态融合装置来执行，该基于多模态医学图像的模态融合装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本申请一个实施例的基于多模态医学图像的模态融合方法的流程图；其中，所述基于多模态医学图像的模态融合方法，包括：
S200，将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
S300，将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
本申请中，所述第二粗提取结构与所述第一粗提取结构的结构相同，但具体参数不同；通过相同结构的粗提取结构对第一模态图像和第二模态图像进行特征提取，从而提高第一粗提取特征图和第二粗提取特征图的同源性。
本申请中，多模态医学图像的模态至少包括磁共振MRI成像、CT成像、超声波成像。
需要说明的是，多模态医学图像为MRI图像，其具有不同的加权方式，例如T1，T2、C+、Fluid attenuated等加权(T1、T2是用于测量电磁波的物理量，他们可以作为成像的数据.根据T1来成像，就叫"T1加权成像")。不同加权方式所能展现的病灶不同，比如有的可以更好的呈现水肿，有的能更好的展现出血。本申请中，将不同的加权方式获取的MRI图像称为不同模态图像(可以对应称为T1，T2、C+、Fluid attenuated等模态)；也即是说，T1加权的MRI图像为一种模态的医学图像，T2加权的MRI图像为另一种模态的医学图像。
需要说明的是，所述第一模态图像、第二模态图像为单独加权方式的MRI图像时，所述第一模态图像、第二模态图像的加权方式固定不变(即是为单一加权方式)，以避免不同加权方式造成的无法配准的情况。例如，所述第一模态图像/第二模态图像的加权方式可以分别为T1，T2、C+和Fluid attenuated中的任意两种(第一模态图像为一种，第二模态图像为另一种)，但是不能为T1，T2、C+或Fluid attenuated的组合(第一模态图像/第二模态图像为两种加权方式的组合)。实际处理时，若第一模态图像/第二模态图像的加权方式为T1/T2，则在模型训练过程中也使用加权方式为T1/T2的MRI图像样本进行训练。
即是多模态医学图像的模态至少包括T1加权的MRI成像、T2加权的MRI图像、C+加权的MRI图像、Fluid attenuated加权的MRI图像、CT成像、超声波成像。
需要说明的是，所述第一模态图像与所述第二模态图像的解剖方向相同，也即是同时为横断面、冠状面或矢状面图像。若获取的第一模态图像与第二模态图像的解剖方向不同，则需要将其转换为相同解剖方向的图像后再进行模态融合，具体转换方式可以为深度卷积转换、投影转换等，本申请中不再赘述。
需要说明的是，所述第一模态图像与所述第二模态图像的解剖方向相同，若第一模态图像与第二模态图像无法转换为相同解剖方向的图像，则其无法作为本申请中多模态医学图像的模态进行选择。
例如，模态A仅具有横断面图像，模态B仅具有矢状面图像，且模态A无法通过多个连续的横断面图像生成三维图像，进而通过投影得到矢状面图像，模态B也无法通过任何方式获取横断面图像，则模态A与模态B不可以同时作为多模态医学图像中的一组可选组合。若在上述基础上，模态C可以转换为横断面图像与矢状面图像，则模态A与模态C可以作为一组可选组合，模态B与模态C可以作为一组可选组合。
本申请中，所述第一模态图像与所述第二模态图像为同一对象的同一部位的医学图像。
S400，将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
本申请中，融合结构可以是直接交叉融合，也即是将第一粗提取特征图和第二粗提取特征图进行相加或添加权重后相加，也可以是通过其他方式进行交叉融合，从而得到融合特征图。
S500，将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
本申请中，通过对第一模态图像和第二模态图像进行粗提取，从而将模态图像转换为低维度的特征图，在一定程度上排除图像失真的干扰；然后通过交叉融合的方式，对不同维度的特征图进行融合，从而排除空间位置等的影响，提高模态融合的准确性。
在一种实施方式中，结合图3所示，所述S200，将第一模态图像输入粗提取结构，得到第一粗提取特征图之前，还包括：
S101，获取样本图像，所述样本图像由一第一模态样本图像和一第二模态样本图像组成，且标注有融合矩阵；所述第一模态样本图像与所述第一模态图像的模态相同，所述第二模态样本图像与所述第二模态图像的模态相同；
本申请中，第一模态样本图像与所述第一模态图像的解剖方向及具体模态相同，所述第二模态样本图像与所述第二模态图像的解剖方向及具体模态相同。
S102，将所述第一模态样本图像输入第一粗提取结构，得到第一样本提取特征图；
S103，将所述第二模态样本图像输入第二粗提取结构，得到第二样本提取特征图；
S104，将第一样本提取特征图和第二样本提取特征图输入融合结构进行交叉融合，得到样本融合特征图；
S105，将所述样本融合特征图输入特征提取结构，得到所述第一模态样本图像和所述第二模态样本图像的预测融合参数；
本申请中，S102-S105为模型训练过程中的深度卷积模型对输入的样本数据的训练过程；前述的S200-S500为实际处理过程中的深度卷积模型对输入的模态图像进行的融合过程；其具体处理过程相同，不同之处仅在于使用的深度卷积模型的参数不同，基于此，S102-S105的详细情况可以参考前述及下述的S200-S500的具体过程，本申请中不再赘述。
S106，根据所述预测融合参数和标注的所述融合矩阵，计算整体损失；
S107，根据所述整体损失对所述第一粗提取结构、所述第二粗提取结构、所述融合结构、所述特征提取结构进行迭代，直至整体损失收敛为止。
在一种实施方式中，所述整体损失的计算公式为：
Loss＝α×HLoss+(1-α)×CLoss
其中，Loss为整体损失，HLoss为分类损失，CLoss为分布损失，y为实际标签值，为预测值，α为损失函数权重，δ为惩罚阈值。
本申请中，通过设置整体损失，以获取配准矩阵与预测配准参数之间的偏差，从而基于该偏差对模型进行迭代，保障模态融合模型的鲁棒性。
本申请中，通过设置分类损失，从而排除多模态的图像信息中包含的不同信息之间的混淆造成的干扰；通过设置分布损失，从而有效衡量预测的概率分布与实际标签之间的差异；通过设置不同损失函数的权重，从而得到更恰当的整体损失。
在一种实施方式中，结合图4所示，所述S400，将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图，包括：
S410，将第一粗提取特征图、第二交叉特征图输入第一提取单元，得到第一单元特征图和第一交叉特征图；
S420，将第二粗提取特征图和第一交叉特征图输入第二提取单元，得到第二单元特征图和第二交叉特征图；
本申请中，所述第二提取单元与所述第一提取单元的结构相似(结构区别之处仅在于与第一交叉特征图/第二交叉特征图的结合方式)，但具体参数不同；通过相同结构的提取单元对第一粗提取特征图和第二粗提取特征图进行特征交叉融合，从而提高第一单元特征图和第二单元特征图的同源性。
S430，将第一粗提取特征图和第二粗提取特征图相加，得到相加特征图；
本申请中，所述相加，为Add操作，其为简单的像素叠加，为描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加。通过该相加操作，从而增加了相同维度下的信息量，从而增加后续处理的准确性。
S440，将所述第一单元特征图、所述第二单元特征图和所述相加特征图依次进行下采样，并相加处理，得到所述融合特征图。
本申请中，第一单元特征图为经过交叉融合特征提取的第一粗提取特征图；第二单元特征图为经过交叉融合特征提取的第二粗提取特征图；相加特征图为第一粗提取特征图和第二粗提取特征图的相加合并图；该三者进行下采样后再相加处理，得到融合特征图；从而对第一粗提取特征图和第二粗提取特征图分别进行交叉融合后，获取不同维度特征的交叉后，再与第一粗提取特征图和第二粗提取特征图的相加合并图进行二次相加，以进一步获取第一粗提取特征图和第二粗提取特征图的高维特征。
在一种实施方式中，结合图5所示，所述S410，将第一粗提取特征图、第二交叉特征图输入第一提取单元，得到第一单元特征图和第一交叉特征图，包括：
S411，将所述第一粗提取特征图输入多维度注意力模块，得到第一交叉特征图；
结合图1所示，所述虚线框内的即分别为第一提取单元与第二提取单元的具体架构；其中，第一提取单元与第二提取单元的架构相似，不同之处在于，第一提取单元中的第一交叉特征图输入第二提取单元中，第二提取单元中的第二交叉特征图输入第一提取单元中；另外，在具体训练及模型使用过程中，第一提取单元与第二提取单元的具体参数也会有所不同。
基于上述描述，本申请中以第一提取单元为例进行说明，第二提取单元的具体训练及使用过程参照第一提取单元即可，本申请中不再赘述。
S412，将第一交叉特征图与所述第二交叉特征图相加，得到多维度交叉特征图；
其中，第一交叉特征图是通过第一提取单元的多维度注意力模块对第一粗提取特征图处理后得到的，第二交叉特征图是通过第二提取单元的多维度注意力模块对第二粗提取特征图处理后得到的，通过两者的相加处理，从而使得多维度交叉特征图中同时包含第一模态样本图像和第二模态样本图像的对应特征，从而对重要特征进行加强的同时降低噪音特征，提高多维度特性。
在一种实施方式中，第一提取单元中，将设置权重的第一交叉特征图与设置权重的第二交叉特征图相加，通过设置权重的方式，从而对多维度交叉特征图的重点特征进行突出。
其中，将设置权重的第一交叉特征图与设置权重的第二交叉特征图相加，即是β×第一交叉特征图⊕(1-γ)×第二交叉特征图，得到第一提取单元中的多维度交叉特征图；同时，第二提取单元中的对应设置为(1-β)×第一交叉特征图⊕γ×第二交叉特征图，得到第二提取单元中的多维度交叉特征图，其中，β与γ的取值根据实际情况选取。
S413，将所述多维度交叉特征图与所述第一粗提取特征图相乘，得到多维度点积特征图；
本申请中，通过对多维度交叉特征图与所述第一粗提取特征图进行相乘操作，从而对多维度交叉特征图与所述第一粗提取特征图的共同特征进行加强，并对非共同特征的不重要特征进行减弱，进一步突出重点特性。
S414，对多维度相乘特征图进行下采样，得到所述第一单元特征图。
本申请中，通过下采样操作，从而降低对应的数据量，提高处理速度。
本申请中，通过第一处理单元对第一粗提取特征图、第二交叉特征图进行处理，从而逐次增加第一粗提取特征图、第二交叉特征图的关键特征，减弱/降低噪声及其他特性。
在一种实施方式中，结合图6所示，所述S411，将所述第一粗提取特征图输入多维度注意力模块，得到第一交叉特征图，包括：
对所述第一粗提取特征图依次进行通道池化、深度池化、宽度池化、高度池化处理，得到通道特征图、深度特征图、宽度特征图、高度特征图；
通过1x1卷积对所述通道特征图、深度特征图、宽度特征图、高度特征图进行维度调整，得到维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图；
对维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图分别进行类SoftMax操作，得到对应的通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数；
对所述通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数进行点积操作，得到多维度注意力系数；
对所述多维度注意力系数与所述第一粗提取特征图进行点积操作，得到第一交叉特征图。
结合图6所示，接收到第一粗提取特征图后，通过四种分支路径对其进行处理：第一路径对其进行通道池化后，进行1x1卷积处理及类SoftMax操作，得到通道注意力系数；第深度路径对其进行深度池化后，进行1x1卷积处理及类SoftMax操作，得到深度注意力系数；第三路径对其进行宽度池化后，进行1x1卷积处理及类SoftMax操作，得到宽度注意力系数；第四路径对其进行高度池化后，进行1x1卷积处理及类SofiMax操作，得到高度注意力系数。
对上述四种注意力系数进行点积，得到多维度注意力系数；该多维度注意力系数与第一粗提取特征图进行点积，得到第一交叉特征图。
本申请中，所述深度池化，即是仅改变深度的池化方式，例如池化之前的特征图为w*h*d，则池化之后的w值与h值仍然保持不变，但是深度d＝1；类似地，所述通道池化、宽度池化与高度池化也是对应的池化方式。
本申请中，通过对第一粗提取特征图进行不同的池化支路，以从不同维度进行常规的特征消除，然后进行点积合成的方式，进一步强化保留关键特征，消除非关键及噪声，大大提高计算速度及准确度。
类似地，将第二粗提取特征图进行上述类似操作，得到第二交叉特征图；具体处理方式参照上述所述所示即可，本申请中不再赘述。
在一种实施方式中，所述类SoftMax操作的激活函数为：
其中，SoftMax1(x)为激活函数，xi、xj为输入向量中的元素，i、j为元素序号。
本申请中，SoftMax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0,1]之间的概率值，因为SoftMax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，SoftMax将其变为小概率，如果输入很大，则将其变为大概率，但它将始终保持在0到1之间。
但是，对于标准的SoftMax函数而言，由于输入都会被映射到0到1之间，并且所有的输出值之和为1，这意味着即使某些输入值非常小，它们在SoftMax函数处理后也会有一个非零的输出值。这也就会导致噪声会放大，从而导致最终的输出结果收到了更大的噪声影响。
本申请中，通过在类SoftMax函数的分母中添加了一个1；这个改变意味着当输入值非常小的时候，它们的输出值可以更接近于零。这就允许在没有有价值的信息可以添加时，对应输出可以趋向于零，因此可以大大减少不必要的噪声。
本申请实施例提供了基于多模态医学图像的模态融合装置，用于执行本申请上述内容所述的基于多模态医学图像的模态融合方法，以下对所述基于多模态医学图像的模态融合装置进行详细描述。
如图7所示，所述基于多模态医学图像的模态融合装置，包括：
第一粗提取模块101，其用于将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
第二粗提取模块102，其用于将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
交叉融合模块103，其用于将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
特征提取模块104，其用于将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
在一种实施方式中，所述装置还包括模型训练模块，其用于：
获取样本图像，所述样本图像由一第一模态样本图像和一第二模态样本图像组成，且标注有融合矩阵；所述第一模态样本图像与所述第一模态图像的模态相同，所述第二模态样本图像与所述第二模态图像的模态相同；将所述第一模态样本图像输入第一粗提取结构，得到第一样本提取特征图；将所述第二模态样本图像输入第二粗提取结构，得到第二样本提取特征图；将第一样本提取特征图和第二样本提取特征图输入融合结构进行交叉融合，得到样本融合特征图；将所述样本融合特征图输入特征提取结构，得到所述第一模态样本图像和所述第二模态样本图像的预测融合参数；根据所述预测融合参数和标注的所述融合矩阵，计算整体损失；根据所述整体损失对所述第一粗提取结构、所述第二粗提取结构、所述融合结构、所述特征提取结构进行迭代，直至整体损失收敛为止。
在一种实施方式中，所述整体损失的计算公式为：
Loss＝α×HLoss+(1-α)×CLoss
其中，Loss为整体损失，HLoss为分类损失，CLoss为分布损失，y为实际标签值，为预测值，α为损失函数权重，δ为惩罚阈值。
在一种实施方式中，交叉融合模块103还用于：
将第一粗提取特征图、第二交叉特征图输入第一提取单元，得到第一单元特征图和第一交叉特征图；将第二粗提取特征图和第一交叉特征图输入第二提取单元，得到第二单元特征图和第二交叉特征图；将第一粗提取特征图和第二粗提取特征图相加，得到相加特征图；将所述第一单元特征图、所述第二单元特征图和所述相加特征图依次进行下采样，并相加处理，得到所述融合特征图。
在一种实施方式中，交叉融合模块103还用于：
将所述第一粗提取特征图输入多维度注意力模块，得到第一交叉特征图；将第一交叉特征图与所述第二交叉特征图相加，得到多维度交叉特征图；将所述多维度交叉特征图与所述第一粗提取特征图相乘，得到多维度点积特征图；对多维度相乘特征图进行下采样，得到所述第一单元特征图。
在一种实施方式中，交叉融合模块103还用于：
对所述第一粗提取特征图依次进行通道池化、深度池化、宽度池化、高度池化处理，得到通道特征图、深度特征图、宽度特征图、高度特征图；通过1x1卷积对所述通道特征图、深度特征图、宽度特征图、高度特征图进行维度调整，得到维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图；对维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图分别进行类SoftMax操作，得到对应的通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数；对所述通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数进行点积操作，得到多维度注意力系数；对所述多维度注意力系数与所述第一粗提取特征图进行点积操作，得到第一交叉特征图。
在一种实施方式中，所述类SofiMax操作的激活函数为：
其中，S0ftMax1(x)为激活函数，xi、xj为输入向量中的元素，i、j为元素序号。
本申请的上述实施例提供的基于多模态医学图像的模态融合装置与本申请实施例提供的基于多模态医学图像的模态融合方法具有对应关系，因此该装置中的具体内容与模态融合方法具有对应关系，具体内容可以参照模态融合方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的基于多模态医学图像的模态融合装置与本申请实施例提供的基于多模态医学图像的模态融合方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于多模态医学图像的模态融合装置的内部功能和结构，如图8所示，实际中，该基于多模态医学图像的模态融合装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
在一种实施方式中，处理器303还用于：
获取样本图像，所述样本图像由一第一模态样本图像和一第二模态样本图像组成，且标注有融合矩阵；所述第一模态样本图像与所述第一模态图像的模态相同，所述第二模态样本图像与所述第二模态图像的模态相同；将所述第一模态样本图像输入第一粗提取结构，得到第一样本提取特征图；将所述第二模态样本图像输入第二粗提取结构，得到第二样本提取特征图；将第一样本提取特征图和第二样本提取特征图输入融合结构进行交叉融合，得到样本融合特征图；将所述样本融合特征图输入特征提取结构，得到所述第一模态样本图像和所述第二模态样本图像的预测融合参数；根据所述预测融合参数和标注的所述融合矩阵，计算整体损失；根据所述整体损失对所述第一粗提取结构、所述第二粗提取结构、所述融合结构、所述特征提取结构进行迭代，直至整体损失收敛为止。
在一种实施方式中，所述整体损失的计算公式为：
Loss＝α×HLiss+(1-α)×CLoss
其中，Loss为整体损失，HLoss为分类损失，CLoss为分布损失，y为实际标签值，为预测值，α为损失函数权重，δ为惩罚阈值。
在一种实施方式中，处理器303还用于：
将第一粗提取特征图、第二交叉特征图输入第一提取单元，得到第一单元特征图和第一交叉特征图；将第二粗提取特征图和第一交叉特征图输入第二提取单元，得到第二单元特征图和第二交叉特征图；将第一粗提取特征图和第二粗提取特征图相加，得到相加特征图；将所述第一单元特征图、所述第二单元特征图和所述相加特征图依次进行下采样，并相加处理，得到所述融合特征图。
在一种实施方式中，处理器303还用于：
将所述第一粗提取特征图输入多维度注意力模块，得到第一交叉特征图；将第一交叉特征图与所述第二交叉特征图相加，得到多维度交叉特征图；将所述多维度交叉特征图与所述第一粗提取特征图相乘，得到多维度点积特征图；对多维度相乘特征图进行下采样，得到所述第一单元特征图。
在一种实施方式中，处理器303还用于：
对所述第一粗提取特征图依次进行通道池化、深度池化、宽度池化、高度池化处理，得到通道特征图、深度特征图、宽度特征图、高度特征图；通过1x1卷积对所述通道特征图、深度特征图、宽度特征图、高度特征图进行维度调整，得到维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图；对维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图分别进行类SoftMax操作，得到对应的通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数；对所述通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数进行点积操作，得到多维度注意力系数；对所述多维度注意力系数与所述第一粗提取特征图进行点积操作，得到第一交叉特征图。
在一种实施方式中，所述类SoftMax操作的激活函数为：
其中，SoftMax1(x)为激活函数，xi、xj为输入向量中的元素，i、j为元素序号。
本申请中，处理器还具体用于执行上述基于多模态医学图像的模态融合方法的所有流程及步骤，具体内容可参照模态融合方法中的记录，本申请中对此不再赘述。
本申请中，图8中仅示意性给出部分组件，并不意味着电子设备只包括图8所示组件。
本实施例提供的电子设备，与本申请实施例提供的基于多模态医学图像的模态融合方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于多模态医学图像的模态融合方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于多模态医学图像的模态融合方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于多模态医学图像的模态融合方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于多模态医学图像的模态融合方法，其特征在于，包括：
将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
2.根据权利要求1所述的模态融合方法，其特征在于，所述将第一模态图像输入粗提取结构，得到第一粗提取特征图之前，还包括：
获取样本图像，所述样本图像由一第一模态样本图像和一第二模态样本图像组成，且标注有融合矩阵；所述第一模态样本图像与所述第一模态图像的模态相同，所述第二模态样本图像与所述第二模态图像的模态相同；
将所述第一模态样本图像输入第一粗提取结构，得到第一样本提取特征图；
将所述第二模态样本图像输入第二粗提取结构，得到第二样本提取特征图；
将第一样本提取特征图和第二样本提取特征图输入融合结构进行交叉融合，得到样本融合特征图；
将所述样本融合特征图输入特征提取结构，得到所述第一模态样本图像和所述第二模态样本图像的预测融合参数；
根据所述预测融合参数和标注的所述融合矩阵，计算整体损失；
根据所述整体损失对所述第一粗提取结构、所述第二粗提取结构、所述融合结构、所述特征提取结构进行迭代，直至整体损失收敛为止。
3.根据权利要求2所述的模态融合方法，其特征在于，所述整体损失的计算公式为：
Loss＝α×HLoss+(1-α)×CLoss
其中，Loss为整体损失，HLoss为分类损失，CLoss为分布损失，y为实际标签值，为预测值，α为损失函数权重，δ为惩罚阈值。
4.根据权利要求1-3中任一项所述的模态融合方法，其特征在于，所述将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图，包括：
将第一粗提取特征图、第二交叉特征图输入第一提取单元，得到第一单元特征图和第一交叉特征图；
将第二粗提取特征图和第一交叉特征图输入第二提取单元，得到第二单元特征图和第二交叉特征图；
将第一粗提取特征图和第二粗提取特征图相加，得到相加特征图；
将所述第一单元特征图、所述第二单元特征图和所述相加特征图依次进行下采样，并相加处理，得到所述融合特征图。
5.根据权利要求4所述的模态融合方法，其特征在于，所述将第一粗提取特征图、第二交叉特征图输入第一提取单元，得到第一单元特征图和第一交叉特征图，包括：
将所述第一粗提取特征图输入多维度注意力模块，得到第一交叉特征图；
将第一交叉特征图与所述第二交叉特征图相加，得到多维度交叉特征图；
将所述多维度交叉特征图与所述第一粗提取特征图相乘，得到多维度点积特征图；
对多维度相乘特征图进行下采样，得到所述第一单元特征图。
6.根据权利要求5所述的模态融合方法，其特征在于，所述将所述第一粗提取特征图输入多维度注意力模块，得到第一交叉特征图，包括：
对所述第一粗提取特征图依次进行通道池化、深度池化、宽度池化、高度池化处理，得到通道特征图、深度特征图、宽度特征图、高度特征图；
通过1x1卷积对所述通道特征图、深度特征图、宽度特征图、高度特征图进行维度调整，得到维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图；
对维度调整后的通道特征图、深度特征图、宽度特征图、高度特征图分别进行类SoftMax操作，得到对应的通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数；
对所述通道注意力系数、深度注意力系数、宽度注意力系数、高度注意力系数进行点积操作，得到多维度注意力系数；
对所述多维度注意力系数与所述第一粗提取特征图进行点积操作，得到第一交叉特征图。
7.根据权利要求6所述的模态融合方法，其特征在于，所述类SoftMax操作的激活函数为：
其中，SoftMax1(x)为激活函数，xi、xj为输入向量中的元素，i、j为元素序号。
8.基于多模态医学图像的模态融合装置，其特征在于，包括：
第一粗提取模块，其用于将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
第二粗提取模块，其用于将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
交叉融合模块，其用于将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
特征提取模块，其用于将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
将第一模态图像输入第一粗提取结构，得到第一粗提取特征图；
将第二模态图像输入第二粗提取结构，得到第二粗提取特征图，所述第一模态图像和第二模态图像为多模态医学图像中的任意两个模态；
将第一粗提取特征图和第二粗提取特征图输入融合结构进行交叉融合，得到融合特征图；
将所述融合特征图输入特征提取结构，得到所述第一模态图像和所述第二模态图像的融合参数。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的基于多模态医学图像的模态融合方法。
CN202311719666.8A 2023-12-14 2023-12-14 一种基于多模态医学图像的模态融合方法及装置 Active CN117710227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311719666.8A CN117710227B (zh) 2023-12-14 2023-12-14 一种基于多模态医学图像的模态融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311719666.8A CN117710227B (zh) 2023-12-14 2023-12-14 一种基于多模态医学图像的模态融合方法及装置

Publications (2)

Publication Number Publication Date
CN117710227A true CN117710227A (zh) 2024-03-15
CN117710227B CN117710227B (zh) 2024-06-11

Family

ID=90161822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311719666.8A Active CN117710227B (zh) 2023-12-14 2023-12-14 一种基于多模态医学图像的模态融合方法及装置

Country Status (1)

Country Link
CN (1) CN117710227B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496495A (zh) * 2021-06-25 2021-10-12 华中科技大学 可缺失输入的医学图像分割模型建立方法及分割方法
WO2022257345A1 (zh) * 2021-06-07 2022-12-15 刘星宇 医学图像融合方法及系统、模型训练方法及存储介质
US20230196528A1 (en) * 2020-12-11 2023-06-22 Huazhong University Of Science And Technology Multimodal medical image fusion method based on darts network
CN116757982A (zh) * 2023-06-21 2023-09-15 合肥工业大学 一种基于多尺度编解码器的多模态医学图像融合方法
US20230342918A1 (en) * 2021-01-09 2023-10-26 Shenzhen Institutes Of Advanced Technology Image-driven brain atlas construction method, apparatus, device and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230196528A1 (en) * 2020-12-11 2023-06-22 Huazhong University Of Science And Technology Multimodal medical image fusion method based on darts network
US20230342918A1 (en) * 2021-01-09 2023-10-26 Shenzhen Institutes Of Advanced Technology Image-driven brain atlas construction method, apparatus, device and storage medium
WO2022257345A1 (zh) * 2021-06-07 2022-12-15 刘星宇 医学图像融合方法及系统、模型训练方法及存储介质
CN113496495A (zh) * 2021-06-25 2021-10-12 华中科技大学 可缺失输入的医学图像分割模型建立方法及分割方法
CN116757982A (zh) * 2023-06-21 2023-09-15 合肥工业大学 一种基于多尺度编解码器的多模态医学图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUIBIN YAN ET AL.: "A Multi-modal Medical Image Fusion Method in Spatial Domain", 2019 IEEE 3RD INFORMATION TECHNOLOGY, NETWORKING, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (ITNEC), 6 June 2019 (2019-06-06), pages 597 - 601 *
张俊杰 等: "特征级多模态医学图像融合技术的研究与进展", 生物医学工程学杂志, no. 02, 25 April 2016 (2016-04-25), pages 200 - 205 *

Also Published As

Publication number Publication date
CN117710227B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
Duan et al. VS-Net: Variable splitting network for accelerated parallel MRI reconstruction
CN109345575B (zh) 一种基于深度学习的图像配准方法及装置
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN114972756B (zh) 一种医学图像的语义分割方法及装置
CN111476719B (zh) 图像处理方法、装置、计算机设备及存储介质
CN113920213B (zh) 基于长距离注意力模型重建的多层磁共振成像方法及装置
CN111462264A (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN114387317B (zh) Ct图像和mri三维图像的配准方法、装置
Liao et al. Joint image quality assessment and brain extraction of fetal MRI using deep learning
CN115578427A (zh) 基于深度学习的无监督单模态医学图像配准方法
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN114926479A (zh) 图像处理方法及装置
CN117670951B (zh) 基于多模态交叉注意力机制的膝关节图像配准方法及装置
CN112862738B (zh) 多模态图像的合成方法、装置、存储介质及处理器
CN118037615A (zh) 一种肿瘤分割引导的磁共振图像翻译方法、系统、设备及介质
CN117333371A (zh) 基于生成对抗网络的自适应域医学图像跨模态转换方法
CN117710227B (zh) 一种基于多模态医学图像的模态融合方法及装置
Lim et al. Automatic artifact detection algorithm in fetal MRI
CN116894844A (zh) 一种髋关节图像分割与关键点联动识别方法及装置
CN116071270A (zh) 基于可变形卷积生成对抗网络的电子数据生成方法及系统
CN113012204B (zh) 多模态图像的配准方法、装置、存储介质及处理器
CN115115722A (zh) 图像重建模型生成及图像重建方法、装置、设备和介质
CN113223008A (zh) 基于多尺度引导注意网络的眼底图像分割方法及系统
CN116433795B (zh) 基于对抗生成网络的多模态影像生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant