CN116385274A - 多模态影像引导的脑血管造影质量增强方法和装置 - Google Patents

多模态影像引导的脑血管造影质量增强方法和装置 Download PDF

Info

Publication number
CN116385274A
CN116385274A CN202310659964.6A CN202310659964A CN116385274A CN 116385274 A CN116385274 A CN 116385274A CN 202310659964 A CN202310659964 A CN 202310659964A CN 116385274 A CN116385274 A CN 116385274A
Authority
CN
China
Prior art keywords
image
quality enhancement
student
quality
teacher
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310659964.6A
Other languages
English (en)
Other versions
CN116385274B (zh
Inventor
崔玥
黎诚译
余山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202310659964.6A priority Critical patent/CN116385274B/zh
Publication of CN116385274A publication Critical patent/CN116385274A/zh
Application granted granted Critical
Publication of CN116385274B publication Critical patent/CN116385274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及计算机视觉领域，提供一种多模态影像引导的脑血管造影质量增强方法和装置，其中方法包括：获取待增强的单模态脑血管影像；基于脑血管影像质量增强模型，对单模态脑血管影像进行质量增强，得到质量增强图像；脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，脑血管样本图像包括第一样本图像和第二样本图像，第一样本图像包括多模态低质量子块，第二样本图像包括多模态低质量子块对应的多模态高质量子块；基于学生质量增强总损失，对学生模型进行参数迭代，得到脑血管影像质量增强模型。本发明提供的多模态影像引导的脑血管造影质量增强方法和装置，可以增强血管影像质量，提高血管造影效果。

Description

多模态影像引导的脑血管造影质量增强方法和装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种多模态影像引导的脑血管造影质量增强方法和装置。
背景技术
磁共振血管造影，如时间飞跃法磁共振血管成像（time of flight MRA，TOF-MRA）、磁敏感加权成像（susceptibility weighted imaging，SWI）和定量磁化率成像（quantitative susceptibility mapping，QSM）等，具有无创、安全和经济的特点，被越来越多地应用在科研和临床领域。
在磁共振血管造影中，由于技术和设备等条件限制，相关技术中的脑血管造影数据使用低分辨率或低场强磁共振机器采集，采集的图像质量较差。
发明内容
本发明提供一种多模态影像引导的脑血管造影质量增强方法和装置，用以解决现有技术中血管造影图像质量差的缺陷，提高血管造影的图像质量。
本发明提供一种多模态影像引导的脑血管造影质量增强方法，包括：
获取待增强的单模态脑血管影像；
基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述确定教师质量增强损失，包括：
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用L1损失，计算所述教师质量增强损失的第一损失；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用MS-SSIM损失，计算所述教师质量增强损失的第二损失；
基于所述第一损失和所述第二损失，确定教师质量增强损失；
所述确定学生质量增强损失，包括：
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用L1损失，计算所述学生质量增强损失的第三损失；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用MS-SSIM损失，计算所述学生质量增强损失的第四损失；
基于所述第三损失和所述第四损失，确定学生质量增强损失。
根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，
所述获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像，包括：
基于所述教师模型中的教师网络，确定第一样本图像中多模态低质量子块的教师特征图；
基于所述教师模型中的第一全连接层，获取所述教师特征图的教师质量增强图像。
根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，
所述获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像，包括：
基于所述学生模型中的学生网络，获取所述第一样本图像中单模态低质量子块的学生特征图；
基于所述学生模型中的第二全连接层，确定所述学生特征图的学生质量增强图像。
根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述确定学生模型总损失基于如下公式确定：
Figure SMS_1
；
式中，
Figure SMS_2
表示学生模型总损失，/>
Figure SMS_3
表示学生质量增强损失，/>
Figure SMS_4
表示对比知识蒸馏损失，/>
Figure SMS_5
表示正则化知识蒸馏损失，/>
Figure SMS_6
和/>
Figure SMS_7
表示控制损失大小的超参数。
根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述获取脑血管样本图像数据集，包括：
获取初始脑血管样本图像数据集；
基于FSL软件，对同一受试者的初始脑血管样本图像数据集进行模态间配准；
将所述初始脑血管样本图像数据集在通道维度上拼接，并切分为相同大小的图像块，得到所述脑血管样本图像数据集，所述脑血管样本图像数据集用于训练所述初始脑血管影像质量增强模型。
根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，
所述对所述教师模型进行参数迭代，得到教师质量增强模型，包括：
在反向传播过程中，更新所述教师模型的权重；
所述对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型，包括：
在反向传播过程中，更新所述学生模型的权重，不更新所述教师模型的权重，直至完成参数迭代，得到所述脑血管影像质量增强模型。
本发明还提供一种多模态影像引导的脑血管造影质量增强装置，包括：
影像获取单元，用于获取待增强的单模态脑血管影像；
质量增强单元，用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态影像引导的脑血管造影质量增强方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态影像引导的脑血管造影质量增强方法。
本发明提供的多模态影像引导的脑血管造影质量增强方法和装置，通过采用多模态训练-单模态推理框架，增强血管影像质量，充分利用不同模态的血管互补信息指导血管影像的质量增强，教师模型可以学习到多种模态之间的互补信息，而在推断时只需获取单模态低质量图像，就能使学生模型利用从教师模型中学到的多模态信息得到质量增强图像，既能保证在训练时丰富的模态信息得以利用，又能避免在推断时获取多种模态图像的困难；并通过计算质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失，提高血管造影效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之一；
图2是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之二；
图3是本发明提供的教师模型训练方法的流程示意图；
图4是本发明提供的学生模型训练方法的流程示意图；
图5是本发明提供的多模态影像引导的脑血管造影质量增强装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对以下内容进行介绍：
脑血管造影技术主要包括磁共振血管造影（Magnetic resonance angiography，MRA）、计算机断层血管造影（Computed tomography angiography，CTA）以及基于X射线的数字减影血管造影（Digital subtraction angiography，DSA）等。DSA是血管造影的金标准，但是需要临床医生做有创手术才能完成，CTA需要注射造影剂，可能会给患者带来不良影响。
相比之下，磁共振血管造影具有无创、安全、经济的特点，被越来越多地应用在科研和临床领域。在磁共振血管造影中，7T超高场强磁共振血管造影相比3T磁共振血管造影，信噪比和对比度噪声比更高。但是由于技术和设备等条件限制，相关技术中的脑血管造影数据使用低分辨率或低场强磁共振机器采集，存在细小血管对比度不高以及空间连续性较差等问题，给血管精准分割、血管骨架提取以及血管指标分析等多种下游任务带来了不利影响。
针对上述缺陷，可以利用模式识别算法提高低分辨率和低信噪比图像的质量，使其接近高分辨率设备类似的造影效果。目前有的研究组已经开展血管造影的超分辨研究：一项研究利用生成对抗网络（Generative Adversarial Networks，GAN）提升了低分辨率TOF-MRA的图像质量和血管能见度；另一项研究将注意力机制和多尺度残差与GAN结合起来，提高了CTA的信噪比。相关技术中的血管影像质量增强方法局限于单一模态影像，然而多模态血管造影可以提供全面互补的丰富血管信息，对改善血管图像质量很有前景，但目前没有研究涉及。
值得注意的是，虽然在训练模型时使用多模态图像有望提高重建图像的质量，但如没有特别设计，在使用模型时也需要获取所有相应模态的低质量图像，给模型的使用带来了局限性。本发明采用知识蒸馏机制，将教师模型学到的多模态互补信息迁移到单模态学生模型，既使学生模型能够使用单模态低质量图像达到接近多模态模型的质量增强效果，又避免了使用模型时需要获取多种模态图像的困难。
图1是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之一，该方法中各步骤的执行主体可以是多模态影像引导的脑血管造影质量增强装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备（如智能手机、个人电脑等），也可以是服务器（如本地服务器或云端服务器，也可以为服务器集群等），也可以是处理器，也可以是芯片等。如图1所示，该方法可以包括如下步骤：
步骤100，获取待增强的单模态脑血管影像。
具体地，待增强的单模态脑血管影像是指后续用于质量增强的图像，具体可以是TOF-MRA图像，也可以是SWI图像，还可以是QSM图像，本发明实施例对此不作具体限定。
需要说明的是，本文中的术语“影像”和“图像”可以相互替换。
步骤110，基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像。
具体地，为了实现对脑血管影像进行质量增强，可以预先训练得到脑血管影像质量增强模型。在此基础上，将待增强的单模态脑血管影像输入训练完成的脑血管影像质量增强模型，得到脑血管影像质量增强模型输出的质量增强图像。
其中，脑血管影像质量增强模型可以基于如下步骤训练得到：
步骤210，获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块。
可选地，为了训练模型，可以获取一组受试者多种模态的高质量血管影像和低质量血管影像，并对其进行预处理，得到脑血管样本图像数据集。
可选地，脑血管样本图像数据集的模态可以包括TOF-MRA图像，SWI图像，QSM图像，CTA图像，以及DSA图像等，本发明实施例对此不作具体限定。
可选地，第一样本图像可以包括多模态低质量血管影像，具体可以包括3T TOF-MRA，3T SWI，3T QSM, 以及低分辨率CTA等，本发明实施例对此不作具体限定。
可选地，第二样本图像可以包括多模态高质量血管影像，具体可以包括7T TOF-MRA，7T SWI，7T QSM，高分辨率CTA，以及高分辨率DSA等，本发明实施例对此不作具体限定。
可选地，训练数据集中所有受试者的高质量血管影像模态和低质量血管影像模态的数量和种类需要保持一致。
可选地，高质量血管影像模态和低质量血管影像模态可以不用一一对应，但其中至少要有一个模态需要兼具高质量和低质量影像，即学生模型对应的单个模态，也即模型推理时质量增强的模态；其余模态则不要求兼具高质量和低质量影像。
步骤220，基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像。
具体地，获取脑血管样本图像数据集之后，可以构建初始脑血管影像质量增强模型。初始脑血管影像质量增强模型可以采用多模态训练-单模态推理框架，可以先将教师模型作为多模态训练模型，对教师模型进行多模态训练，然后对学生模型进行单模态训练，最后可以将训练后的学生模型作为单模态推理模型，多模态训练-单模态推理框架可以由两个神经网络组成，其架构可以相同也可以不同。
可选地，教师模型可以采用单一的神经网络，也可以采用多个神经网络的组合，具体涉及的神经网络可以包括GAN、变分自编码器（Variational Autoencoder，VAE）、深度网络模型U-Net、和变换神经网络（Transformer）等，本发明实施例对此不作具体限定。
可选地，可以将第一样本图像输入初始脑血管影像质量增强模型中的教师模型，得到教师特征图；然后基于教师特征图，得到教师模型输出的质量增强图像，可以称为教师质量增强图像。
步骤230，基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失。
具体地，得到教师模型输出的教师质量增强图像之后，可以基于教师质量增强图像和第二样本图像之间的差异，确定教师质量增强损失。基于教师质量增强损失更新教师模型的权重，可以利用多模态互补信息增强图像质量，以使输出的教师质量增强图像的图像质量接近于第二样本图像的图像质量。
步骤240，基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型。
具体地，确定教师质量增强损失之后，可以根据计算的教师质量增强损失，对教师模型进行参数迭代，使教师模型学到多模态互补信息。
步骤250，基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像。
具体地，获取教师质量增强模型之后，可以将教师模型学到的多模态互补信息迁移到学生模型中，以使学生模型可以基于单模态低质量图像得到对应模态的质量增强图像。
具体地，可以将第一样本图像中单模态低质量子块输入初始脑血管影像质量增强模型中的学生模型，得到学生特征图；然后基于学生特征图，得到学生模型输出的质量增强图像，可以称为学生质量增强图像。
可选地，学生模型可以采用单一的神经网络，也可以采用多个神经网络的组合，具体涉及的神经网络可以包括GAN、VAE、U-Net、和Transformer等，本发明实施例对此不作具体限定。
可选地，学生模型可以采用与教师模型相同的架构，也可以采用与教师模型不同的架构，本发明实施例对此不作具体限定。
步骤260，基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失。
具体地，得到学生模型输出的学生质量增强图像之后，可以基于学生质量增强图像和第二样本图像中单模态高质量子块之间的差异，确定学生质量增强损失。学生质量增强损失可以用于使输出的学生质量增强图像的图像质量接近于第二样本图像中单模态高质量子块的图像质量。
步骤270，基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失。
具体地，确定学生质量增强损失之后，可以基于教师特征图和学生特征图之间的差异，确定对比知识蒸馏损失（contrastive knowledge distillation loss），以使教师模型和学生模型具有内容敏感性，区别图像的潜在表示；并基于教师质量增强图像、学生质量增强图像、教师特征图和学生特征图之间的差异，确定正则化知识蒸馏损失（regularization knowledge distillation loss），以使学生模型的输出接近教师模型的输出。结合对比知识蒸馏损失和正则化知识蒸馏损失，使教师模型中的多模态知识有效迁移至学生模型。
步骤280，基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失。
具体地，确定对比知识蒸馏损失和正则化知识蒸馏损失之后，可以结合学生质量增强损失，将三者按照一定比例相加，得到学生模型总损失。学生模型总损失具体可以用于更新学生模型的权重，使输出的学生质量增强图像的图像质量接近于第二样本图像中单模态高质量子块的图像质量。
步骤290，基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
具体地，确定学生模型总损失之后，可以基于学生模型总损失，对学生模型进行参数迭代，更新学生模型权重，得到脑血管影像质量增强模型。
图2是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之二，如图2所示，该方法可以包括如下步骤：
步骤200，引入脑血管样本图像数据集。
具体地，为了训练模型，首先可以引入一组受试者的多种模态的高质量脑血管影像和低质量脑血管影像，作为脑血管样本图像数据集，并对其进行预处理，得到脑血管样本图像数据集。
步骤201，基于多模态高质量脑血管影像和多模态低质量脑血管影像，训练教师模型，将多模态低质量脑血管影像输入教师模型生成教师质量增强脑血管影像。
具体地，可以采用多模态训练-单模态推理框架，将教师模型作为多模态训练模型，可以将多模态低质量脑血管影像输入教师模型生成教师质量增强脑血管影像，通过计算教师质量增强损失，对教师模型进行参数迭代，使教师模型学到多模态互补信息。
步骤202，基于教师模型和单模态高-低质量脑血管影像对，通过知识蒸馏训练学生模型，将单模态低质量脑血管影像输入学生模型生成学生质量增强脑血管影像。
具体地，可以通过知识蒸馏，将教师模型学到的多模态互补信息迁移到学生模型中，以使学生模型可以基于单模态低质量图像得到对应模态的质量增强图像。
步骤203，使用训练后的学生模型进行推理，将单模态低质量脑血管影像输入训练后的学生模型，获取对应的单模态质量增强脑血管影像。
具体地，可以将训练后的学生模型作为脑血管影像质量增强模型，然后将相应模态的低质量图像切分成图像patch输入训练完成的学生模型，得到质量增强图像patch后按照原顺序拼接，即可得到完整的质量增强图像。
本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用多模态训练-单模态推理框架，增强血管影像质量，充分利用不同模态的血管互补信息指导血管影像的质量增强，教师模型可以学习到多种模态之间的互补信息，而在推断时只需获取单模态低质量图像，就能使学生模型利用从教师模型中学到的多模态信息得到质量增强图像，既能保证在训练时丰富的模态信息得以利用，又能避免在推断时获取多种模态图像的困难；并通过计算质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失，提高血管造影效果。
可选地，所述确定教师质量增强损失，包括：
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用L1损失，计算所述教师质量增强损失的第一损失；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用MS-SSIM损失，计算所述教师质量增强损失的第二损失；
基于所述第一损失和所述第二损失，确定教师质量增强损失；
所述确定学生质量增强损失，包括：
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用L1损失，计算所述学生质量增强损失的第三损失；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用MS-SSIM损失，计算所述学生质量增强损失的第四损失；
基于所述第三损失和所述第四损失，确定学生质量增强损失。
可以基于如下公式确定教师质量增强损失或学生质量增强损失：
Figure SMS_8
（1.1）
Figure SMS_9
（1.2）
Figure SMS_10
（1.3）
式中，
Figure SMS_13
可以表示教师质量增强损失或学生质量增强损失，/>
Figure SMS_16
可以表示L1损失，/>
Figure SMS_18
可以表示MS-SSIM损失，/>
Figure SMS_12
可以表示教师质量增强图像或学生质量增强图像，/>
Figure SMS_17
可以表示第二样本图像，/>
Figure SMS_19
可以表示尺度因子（原图像的尺度因子可以为1），
Figure SMS_20
、/>
Figure SMS_11
和/>
Figure SMS_14
分别可以表示在尺度/>
Figure SMS_15
下的亮度、对比度和结构的相似性。
具体地，可以将教师质量增强图像和第二样本图像中多模态高质量子块代入式（1.2）中，计算两者的L1损失，即教师质量增强损失的第一损失；然后可以将教师质量增强图像和第二样本图像中多模态高质量子块代入式（1.3）中，计算两者的MS-SSIM损失，即教师质量增强损失的第二损失；最后可以根据式（1.1），将第一损失和第二损失相加，得到教师质量增强损失。
具体地，可以将学生质量增强图像和第二样本图像中单模态高质量子块代入式（1.2）中，计算两者的L1损失，即学生质量增强损失的第三损失；然后可以将学生质量增强图像和第二样本图像中单模态高质量子块代入式（1.3）中，计算两者的MS-SSIM损失，即学生质量增强损失的第四损失；最后可以根据式（1.1），将第三损失和第四损失相加，得到学生质量增强损失。
L1损失可以比L2损失生成更清晰的图像，并具有更好的收敛性；而MS-SSIM损失是一种在多尺度基础上考虑亮度、对比度和结构信息的指标的损失，它在恢复精细血管的细节方面优于L1损失和L2损失，且相比L1或L2损失，MS-SSIM损失与L1损失可以更好地恢复血管组织的细节部分。
本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用MS-SSIM损失与L1损失计算教师质量增强损失和学生质量增强损失，可以生成更清晰的图像，并具有更好的收敛性，同时可以更好地恢复血管组织的细节部分。
可选地，所述获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像，包括：
基于所述教师模型中的教师网络，确定第一样本图像中多模态低质量子块的教师特征图；
基于所述教师模型中的第一全连接层，获取所述教师特征图的教师质量增强图像。
可以基于如下公式确定第一样本图像中多模态低质量子块的教师特征图和教师质量增强图像：
Figure SMS_21
（2.1）
Figure SMS_22
（2.2）
式中，
Figure SMS_23
可以表示教师特征图，/>
Figure SMS_24
可以表示教师网络，/>
Figure SMS_25
可以表示教师模型中的第一全连接层。
图3是本发明提供的教师模型训练方法的流程示意图，如图3所示，可以将第一样本图像中多模态低质量子块（低质量多模态图像）
Figure SMS_26
输入教师模型，基于教师模型中的教师网络/>
Figure SMS_27
，得到教师特征图（第一特征图）/>
Figure SMS_28
，基于教师模型中的第一全连接层/>
Figure SMS_29
，获取教师质量增强图像（质量增强多模态图像）/>
Figure SMS_30
。
本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用训练教师模型，使其学习到多种模态之间的互补信息，为后续将多模态互补信息迁移至学生模型做准备。
可选地，所述获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像，包括：
基于所述学生模型中的学生网络，获取所述第一样本图像中单模态低质量子块的学生特征图；
基于所述学生模型中的第二全连接层，确定所述学生特征图的学生质量增强图像。
可以基于如下公式确定第一样本图像中单模态低质量子块的学生特征图和学生质量增强图像：
Figure SMS_31
（3.1）
Figure SMS_32
（3.2）
式中，
Figure SMS_33
可以表示学生特征图，/>
Figure SMS_34
可以表示学生网络，/>
Figure SMS_35
可以表示学生模型中的第二全连接层。
图4是本发明提供的学生模型训练方法的流程示意图，如图4所示，可以将第一样本图像中单模态低质量子块（低质量单模态图像）
Figure SMS_36
输入学生模型，基于学生模型中的学生网络/>
Figure SMS_37
，得到学生特征图（第二特征图）/>
Figure SMS_38
，基于学生模型中的第二全连接层
Figure SMS_39
，获取学生质量增强图像（质量增强单模态图像）/>
Figure SMS_40
。
可选地，计算学生质量增强损失之后，可以基于
Figure SMS_41
和/>
Figure SMS_42
计算对比知识蒸馏损失。
可以基于如下公式确定对比知识蒸馏损失：
Figure SMS_43
（3.3）
Figure SMS_44
（3.4）
式中，
Figure SMS_45
可以表示模态/>
Figure SMS_48
图像/>
Figure SMS_49
通过学生模型/>
Figure SMS_47
得到的低维嵌入，由特征图/>
Figure SMS_50
通过全局平均值池化（global average pooling，GAP）得到；相应地，/>
Figure SMS_51
可以表示多模态图像/>
Figure SMS_52
通过教师模型得到的低维嵌入。对比知识蒸馏损失可以使相同图像分别通过教师网络和学生网络得到的低维嵌入互相接近，使不同图像的低维嵌入互相远离，可以使用/>
Figure SMS_46
控制互相远离的程度。
可选地，计算对比知识蒸馏损失之后，可以基于
Figure SMS_53
、/>
Figure SMS_54
、/>
Figure SMS_55
和/>
Figure SMS_56
计算正则化知识蒸馏损失。
可以基于如下公式确定正则化知识蒸馏损失：
Figure SMS_57
（3.5）
Figure SMS_58
（3.6）
式中，
Figure SMS_60
可以表示正则化因子，用于调控在图像不同位置学生模型向教师模型学习的程度；/>
Figure SMS_63
和/>
Figure SMS_69
可以分别表示学生模型和教师模型在位置/>
Figure SMS_61
的误差，若学生模型在位置/>
Figure SMS_64
的误差小于教师模型在位置/>
Figure SMS_66
的误差，则学生模型的质量增强效果优于教师模型的质量增强效果；若分子为0，则学生模型在该位置不需要向教师模型学习；若学生模型的质量增强效果越来越差于教师模型的质量增强效果，则分子越大，/>
Figure SMS_68
越大，即学生模型越需要向教师学习。同时，若教师模型的质量增强效果越好，则分母越小，/>
Figure SMS_59
越大，即学生模型越需要向教师模型学习。/>
Figure SMS_62
可以表示交叉熵损失，用于使学生模型得到的特征分布接近教师模型得到的特征分布；/>
Figure SMS_65
可以表示softmax函数；/>
Figure SMS_67
可以表示温度超参数，温度越低，两个分布越相似，使学生模型的输出越接近于教师模型的输出。/>
本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用训练学生模型，得到学生质量增强图像，为后续迁移教师模型中的多模态互补信息做准备。
可选地，所述确定学生模型总损失基于如下公式确定：
Figure SMS_70
；
式中，
Figure SMS_71
表示学生模型总损失，/>
Figure SMS_72
表示学生质量增强损失，/>
Figure SMS_73
表示对比知识蒸馏损失，/>
Figure SMS_74
表示正则化知识蒸馏损失，/>
Figure SMS_75
和/>
Figure SMS_76
表示控制损失大小的超参数。
具体地，在计算学生质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失后，可以设置合适的
Figure SMS_77
和/>
Figure SMS_78
，控制损失大小，获取合适的学生模型总损失，调整学生模型的权重大小，得到脑血管影像质量增强模型。
本发明提供的多模态影像引导的脑血管造影质量增强方法，通过设置合适的超参数，获取合适的学生模型总损失，提高训练后的脑血管影像质量增强模型的质量增强效果。
可选地，所述获取脑血管样本图像数据集，包括：
获取初始脑血管样本图像数据集；
基于FSL软件，对同一受试者的初始脑血管样本图像数据集进行模态间配准；
将所述初始脑血管样本图像数据集在通道维度上拼接，并切分为相同大小的图像块，得到所述脑血管样本图像数据集，所述脑血管样本图像数据集用于训练所述初始脑血管影像质量增强模型。
具体地，首先可以获取一组受试者多种模态的高质量血管影像和低质量血管影像，将其作为初始脑血管样本图像数据集。然后可以使用FSL软件执行同一受试者多模态血管影像对之间的配准，然后将多模态图像在通道维度上拼接，并随机切分成相同大小的图像块（patch）。
可选地，可以将全部模态的低质量图像patch和高质量图像patch分别作为教师网络的输入和监督信号，而单模态的低质量图像patch和高质量图像patch则分别作为学生网络的输入和监督信号。
本发明提供的多模态影像引导的脑血管造影质量增强方法，通过对初始脑血管样本图像数据集进行预处理，获取训练模型的图像块，为后续训练教师模型和学生模型做准备。
可选地，所述对所述教师模型进行参数迭代，得到教师质量增强模型，包括：
在反向传播过程中，更新所述教师模型的权重；
所述对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型，包括：
在反向传播过程中，更新所述学生模型的权重，不更新所述教师模型的权重，直至完成参数迭代，得到所述脑血管影像质量增强模型。
可选地，得到教师质量增强损失后，可以进行梯度反向传播，计算损失函数的梯度，用于更新教师模型的全部权重，以使教师质量增强损失最小化。
可选地，得到学生质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失后，可以进行误差反向传播，通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而更新学生模型的权重，此时冻结教师模型的权重。
可选地，可以通过不断更新学生模型的权重，完成参数迭代，得到脑血管影像质量增强模型，用于脑血管影像质量增强。
可选地，在脑血管影像质量增强模型训练完成之后，可以将相应模态的低质量图像切分成图像patch输入所述脑血管影像质量增强模型，得到质量增强图像patch后按照原顺序拼接，即可得到完整的质量增强图像。
本发明提供的多模态影像引导的脑血管造影质量增强方法，通过不断更新教师模型和学生模型的权重，完成参数迭代，得到脑血管影像质量增强模型，用于脑血管影像质量增强。
下面对本发明提供的多模态影像引导的脑血管造影质量增强装置进行描述，下文描述的多模态影像引导的脑血管造影质量增强装置与上文描述的多模态影像引导的脑血管造影质量增强方法可相互对应参照。
图5是本发明提供的多模态影像引导的脑血管造影质量增强装置的结构示意图，如图5所示，该装置包括影像确定单元510和质量增强单元520，其中：
影像获取单元510，用于获取待增强的单模态脑血管影像；
质量增强单元520，用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
具体地，多模态影像引导的脑血管造影质量增强装置通过影像获取单元510用于确定待增强的单模态脑血管影像，然后通过质量增强单元520用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像。其中，脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
本发明提供的多模态影像引导的脑血管造影质量增强装置，通过采用多模态训练-单模态推理框架，增强血管影像质量，充分利用不同模态的血管互补信息指导血管影像的质量增强，教师模型可以学习到多种模态之间的互补信息，而在推断时只需获取单模态低质量图像，就能使学生模型利用从教师模型中学到的多模态信息得到质量增强图像，既能保证在训练时丰富的模态信息得以利用，又能避免在推断时获取多种模态图像的困难；并通过计算质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失，提高血管造影效果。
图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行多模态影像引导的脑血管造影质量增强方法，该方法包括：
获取待增强的单模态脑血管影像；
基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多模态影像引导的脑血管造影质量增强方法，该方法包括：
获取待增强的单模态脑血管影像；
基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多模态影像引导的脑血管造影质量增强方法，该方法包括：
获取待增强的单模态脑血管影像；
基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多模态影像引导的脑血管造影质量增强方法，其特征在于，包括：
获取待增强的单模态脑血管影像；
基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
2.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述确定教师质量增强损失，包括：
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用L1损失，计算所述教师质量增强损失的第一损失；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用MS-SSIM损失，计算所述教师质量增强损失的第二损失；
基于所述第一损失和所述第二损失，确定教师质量增强损失；
所述确定学生质量增强损失，包括：
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用L1损失，计算所述学生质量增强损失的第三损失；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用MS-SSIM损失，计算所述学生质量增强损失的第四损失；
基于所述第三损失和所述第四损失，确定学生质量增强损失。
3.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像，包括：
基于所述教师模型中的教师网络，确定第一样本图像中多模态低质量子块的教师特征图；
基于所述教师模型中的第一全连接层，获取所述教师特征图的教师质量增强图像。
4.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像，包括：
基于所述学生模型中的学生网络，获取所述第一样本图像中单模态低质量子块的学生特征图；
基于所述学生模型中的第二全连接层，确定所述学生特征图的学生质量增强图像。
5.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述确定学生模型总损失基于如下公式确定：
Figure QLYQS_1
；
式中，
Figure QLYQS_2
表示学生模型总损失，/>
Figure QLYQS_3
表示学生质量增强损失，/>
Figure QLYQS_4
表示对比知识蒸馏损失，/>
Figure QLYQS_5
表示正则化知识蒸馏损失，/>
Figure QLYQS_6
和/>
Figure QLYQS_7
表示控制损失大小的超参数。
6.根据权利要求1-5任一项所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述获取脑血管样本图像数据集，包括：
获取初始脑血管样本图像数据集；
基于FSL软件，对同一受试者的初始脑血管样本图像数据集进行模态间配准；
将所述初始脑血管样本图像数据集在通道维度上拼接，并切分为相同大小的图像块，得到所述脑血管样本图像数据集，所述脑血管样本图像数据集用于训练所述初始脑血管影像质量增强模型。
7.根据权利要求1-5任一项所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述对所述教师模型进行参数迭代，得到教师质量增强模型，包括：
在反向传播过程中，更新所述教师模型的权重；
所述对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型，包括：
在反向传播过程中，更新所述学生模型的权重，不更新所述教师模型的权重，直至完成参数迭代，得到所述脑血管影像质量增强模型。
8.一种多模态影像引导的脑血管造影质量增强装置，其特征在于，包括：
影像获取单元，用于获取待增强的单模态脑血管影像；
质量增强单元，用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；
所述脑血管影像质量增强模型的训练步骤包括：
获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；
基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；
基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；
基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；
基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；
基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多模态影像引导的脑血管造影质量增强方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多模态影像引导的脑血管造影质量增强方法。
CN202310659964.6A 2023-06-06 2023-06-06 多模态影像引导的脑血管造影质量增强方法和装置 Active CN116385274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310659964.6A CN116385274B (zh) 2023-06-06 2023-06-06 多模态影像引导的脑血管造影质量增强方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310659964.6A CN116385274B (zh) 2023-06-06 2023-06-06 多模态影像引导的脑血管造影质量增强方法和装置

Publications (2)

Publication Number Publication Date
CN116385274A true CN116385274A (zh) 2023-07-04
CN116385274B CN116385274B (zh) 2023-09-12

Family

ID=86967914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310659964.6A Active CN116385274B (zh) 2023-06-06 2023-06-06 多模态影像引导的脑血管造影质量增强方法和装置

Country Status (1)

Country Link
CN (1) CN116385274B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087066A1 (en) * 2007-10-02 2009-04-02 Odry Benjamin L Method and system for vessel enhancement and artifact reduction in TOF MR angiography of brain
CN113379627A (zh) * 2021-06-07 2021-09-10 北京百度网讯科技有限公司 图像增强模型的训练方法和对图像进行增强的方法
WO2022057078A1 (zh) * 2020-09-21 2022-03-24 深圳大学 基于集成知识蒸馏的实时肠镜影像分割方法及装置
CN114529551A (zh) * 2022-01-11 2022-05-24 浙江大学 一种面向ct图像分割的知识蒸馏方法
CN114897160A (zh) * 2022-05-18 2022-08-12 四川云从天府人工智能科技有限公司 模型训练方法、系统及计算机存储介质
CN115908253A (zh) * 2022-10-18 2023-04-04 中科(黑龙江)数字经济研究院有限公司 一种基于知识蒸馏的跨域医学影像分割方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087066A1 (en) * 2007-10-02 2009-04-02 Odry Benjamin L Method and system for vessel enhancement and artifact reduction in TOF MR angiography of brain
WO2022057078A1 (zh) * 2020-09-21 2022-03-24 深圳大学 基于集成知识蒸馏的实时肠镜影像分割方法及装置
CN113379627A (zh) * 2021-06-07 2021-09-10 北京百度网讯科技有限公司 图像增强模型的训练方法和对图像进行增强的方法
CN114529551A (zh) * 2022-01-11 2022-05-24 浙江大学 一种面向ct图像分割的知识蒸馏方法
CN114897160A (zh) * 2022-05-18 2022-08-12 四川云从天府人工智能科技有限公司 模型训练方法、系统及计算机存储介质
CN115908253A (zh) * 2022-10-18 2023-04-04 中科(黑龙江)数字经济研究院有限公司 一种基于知识蒸馏的跨域医学影像分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王伟亮;: "小脑血管母细胞瘤CT、MR影像诊断", 影像技术, no. 05 *

Also Published As

Publication number Publication date
CN116385274B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
Sedai et al. Semi-supervised segmentation of optic cup in retinal fundus images using variational autoencoder
US20210249142A1 (en) Simulating abnormalities in medical images with generative adversarial networks
Xu et al. Low-dose chest X-ray image super-resolution using generative adversarial nets with spectral normalization
Bao et al. Undersampled MR image reconstruction using an enhanced recursive residual network
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
Jiang et al. Cola-diff: Conditional latent diffusion model for multi-modal mri synthesis
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
Ma et al. MRI image synthesis with dual discriminator adversarial learning and difficulty-aware attention mechanism for hippocampal subfields segmentation
Ye Estimation of tissue microstructure using a deep network inspired by a sparse reconstruction framework
Xu et al. Semi-supervised learning for fetal brain MRI quality assessment with ROI consistency
Yang et al. DBAN: Adversarial network with multi-scale features for cardiac MRI segmentation
Hong et al. Fetal cortical plate segmentation using fully convolutional networks with multiple plane aggregation
Randhawa et al. Deep learning for liver tumour classification: enhanced loss function
Ben-Cohen et al. Anatomical data augmentation for CNN based pixel-wise classification
Lu et al. S2q-net: Mining the high-pass filtered phase data in susceptibility weighted imaging for quantitative susceptibility mapping
CN116385467B (zh) 基于自监督学习的脑血管分割方法及相关设备
Wang et al. Multi-task curriculum learning for semi-supervised medical image segmentation
Hu et al. AutoGAN-synthesizer: neural architecture search for cross-modality MRI synthesis
Chen et al. Dilated convolution network with edge fusion block and directional feature maps for cardiac MRI segmentation
CN116385274B (zh) 多模态影像引导的脑血管造影质量增强方法和装置
Zhang et al. Multi-scale network with the deeper and wider residual block for MRI motion artifact correction
Tu et al. Segmentation of lesion in dermoscopy images using dense-residual network with adversarial learning
Gao et al. Plug-and-Play latent feature editing for orientation-adaptive quantitative susceptibility mapping neural networks
Arega et al. Using polynomial loss and uncertainty information for robust left atrial and scar quantification and segmentation
Guo et al. Controllable fundus image generation based on conditional generative adversarial networks with mask guidance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant