CN116309431A - 一种基于医学影像的视觉解释方法 - Google Patents

Abstract

本发明公开了一种基于医学影像的视觉解释方法，涉及图像识别技术领域，包括以下步骤：获取医学图像；将医学图像输入至基于子区域的融合预测模型，输出可视化解释；根据可视化解释对医学图像进行视觉解释；将医学图像输入至基于子区域的融合预测模型，输出可视化解释，包括：基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，基于骨干网络的渐进卷积结构对基于高分辨率的多尺度特征进行提取；基于融合颈部对提取的多个多尺度特征进行融合；基于预测头输出可视化解释。本发明提供的一种基于医学影像的视觉解释方法，在分类方面优于大多数强基线模型，并且可视化结果缓解了低分辨率和注意力漂移的问题，大大改善了主流的可视化方法。

Description

一种基于医学影像的视觉解释方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于医学影像的视觉解释方法。

背景技术

基于术前图像的肿瘤分类任务可以有效地辅助治疗决策，被认为是计算机诊断的重要任务。许多基于数字图像和人工智能的方法已经被用于胶质瘤分级，卷积神经网络可以被认为是实现优异性能的有效方法。然而，确保预测的鲁棒性和生成基于卷积神经网络的分类器的良好可视化仍然是困难的。

清晰的可视化解释对于深度学习模型在医疗领域的应用具有重要价值。高分辨率的可视化解释可以展示模型用于预测的肿瘤部位(如水肿或坏死区域)，从而有效地说服临床医生，并为他们带来一些不同的影像学见解。

目前，已经提出的cam(类激活映射)，如Grad-CAM和Grad-CAM++，用于生成分类输出的可视化解释。由于多层卷积后的特征图包含丰富的空间和语义信息，这些方法往往在权重上引入梯度，并融合每个特征图来生成可视化解释。但是模型的语义相关的高级特征往往与低分辨率相关，这些“模型后”方法难以结合高分辨率特征。此外，由于“模型后”方法仅是近似的，不能准确地显示特征图的权重，低分辨率的特征图往往会导致视觉解释的漂移。

几乎所有的可视化方法都试图解释训练完成模型的预测结果，但在很多情况下，模型的设计可能已经导致了不合理的可视化解释。

发明内容

本发明实施例提供了一种基于医学影像的视觉解释方法，可以解决现有模型导致的不合理的可视化解释问题。

本发明提供一种基于医学影像的视觉解释方法，包括以下步骤：

获取医学图像；

将医学图像输入至基于子区域的融合预测模型，输出可视化解释；

根据可视化解释对医学图像进行视觉解释；

所述将医学图像输入至基于子区域的融合预测模型，输出可视化解释，包括：

基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，基于骨干网络的渐进卷积结构对基于高分辨率的多尺度特征进行提取；

基于融合颈部对提取的多个多尺度特征进行融合；

基于预测头输出可视化解释。

优选的，所述医学图像包括CT、MRI和超声图像。

优选的，所述基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，具体包括以下步骤：

输入医学图像F，并生成一个初步的注意力图M_S(F)；

通过聚类的方法将所述医学图像F分割为多个同质子区域P_λ；

通过同质子区域P_λ对注意力图M_S(F)进行矫正，获得基于子区域的注意力图M_C(M_S(F),P_λ)；

将基于子区域的注意力图M_C(M_S(F),P_λ)与医学图像F点乘，得到基于子区域的多尺度特征F′，公式如下所示：

式中，

表示具有广播机制的点乘法。

优选的，采用k-means和Felzenszwalb将所述医学图像分割为多个灰度分布一致的同质子区域。

优选的，所述渐进卷积结构包括3个重复的MBConvs，MBConvs包括深度可分离卷积和压缩激励模块；

所述渐进卷积结构用于对基于高分辨率的多尺度特征进行提取，公式如下所示：

F_γ＝MBconv_{dilation＝γ}(θ,F_γ-1)

式中，F_γ为高分辨率的多尺度特征，θ是对应MBConv模块的参数，γ是每个渐进卷积结构的特征映射层的数量。

优选的，所述基于融合颈部对提取的多个多尺度特征进行融合，包括以下步骤：

对于每个尺度，提取医学图像F的特征映射，

通过平均池化将特征映射从MC×H×W转换为C×H×W；

将每个级别的特征插值到相同的分辨率，并加权融合得到特征图Z。

优选的，通过下式进行加权融合：

式中，F_λ表示λ级别的特征图，α_λ是相应的权重，∑_λα_λ＝1。

优选的，所述基于预测头输出可视化解释，包括以下步骤：

通过基于子区域的注意力对特征图Z进行修正并生成可解释图

计算公式如下：

式中，M_H表示以预分割子区域为最小单位对注意力图谱进行矫正。

优选的，所述预测头还用于对医学图像进行预测分类，包括以下步骤：

基于可解释图

采用空间部分池化计算预测分数；

根据预测分数对医学图像进行预测分类；

所述计算预测分数的公式如下：

式中，S^c为针对分类C最终的预测分数，D为所有d的集合，d∈{0,1}且∑_i,jd_i,j＝k，k⁺or k^-是Z的最大或最小的元素的集合，α为部分权重系数，

为针对每个通道C的注意力图谱矩阵上(i,j)的元素值。

与现有技术相比，本发明的有益效果是：

本发明提供的一种基于医学影像的视觉解释方法，设计了一套端对端的基于子区域的融合预测模型。该模型由维持高分辨率表示和基于子区域的注意力的主干、融合多尺度多图谱信息的融合颈部和在预测分类时基于子区域清晰边界产生高分辨率可视化的预测头组成。本发明在分类方面优于大多数强基线模型，并且可视化结果缓解了低分辨率和注意力漂移的问题，大大改善了主流的可视化方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本发明的一种基于医学影像的视觉解释方法的流程图；

图2本发明的基于子区域的融合预测模型的总体架构图；

图3为本发明的基于子区域的注意力机制架构图；

图4为针对胶质瘤的视觉解释使用本发明的方法与现有方法的比较结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明提供了一种基于医学影像的视觉解释方法，提出了基于子区域的混合网络，该网络可以提高分类性能并生成高分辨率的视觉解释。同时，我们提出了一种新的基于子区域的约束，作为可视化判读和预测分类的基础。包括以下步骤：

第一步：获取医学图像，医学图像为通过医学影像采集设备获取的CT图像、MRI图像或超声图像。

第二步：参照图2，构建基于子区域的融合预测模型。

基于子区域的融合预测模型包括轻量级的骨干网络、多尺度多图谱的融合颈部和预测头。

骨干网络由基于子区域的限制前向激活的注意力结构和重复的渐进卷积结构组成。

参照图3，本发明包含的基于子区域的注意力结构主要包括两个部分。对于特征图

首先生成一个初步的注意图/>

通过聚类的方法将医学图像分割为多个同质子区域/>

λ对应不同尺度，聚类的方法为k-means、Felzenszwalb等算法。然后，基于子区域的分割(/>

)对该注意图进行校正，以获得基于子区域的注意力/>

整个注意过程可以总结如下:

其中

表示具有广播机制的点乘法；因此，该结构运算时可以在不相等的维度中进行复制。

本发明使用了一个基于高分辨率特征提取的模块，即渐进卷积层，渐进卷积层与注意力机制共同组成模型骨干。因此，渐进卷积结构的提出是为了在高分辨率下保证足够的感受野。渐进卷积结构是由3个重复MBConvs叠加而成，采用渐进式扩张卷积来增加卷积的感受野。MBConv是一种轻量级的卷积运算，由深度可分离卷积和压缩激励模块组成。在这个模块中，逐步改变每个MBConv的深度卷积的扩张大小；具体来说，渐进卷积结构中扩张卷积的大小依次为1、2和3，并表示为MBconv_{dilation＝γ},γ＝{1,2,3}，则

F_γ＝MBconv_{dilation＝γ}(θ,F_γ-1)

其中θ是对应MBConv模块的参数，而γ是每个渐进卷积结构的特征映射层的数量。

在提取出多尺度特征后，需要一种有效的多尺度特征集成方法。为此，本发明提出了一种多尺度多图谱融合颈部来完成特征映射的聚合。在这个模块中，执行了两个步骤:多图谱池化和多尺度融合。

对于每个尺度F_λ，提取特征图

中的特征映射，随后，平均池化用于将特征映射从MC×H×W转换为C×H×W:

在提取每个比例尺的特征后，每个级别的特征将被插值到相同的分辨率并加权以融合:

其中F_λ表示λ级别的特征图，α_λ是相应的权重。α是一个可学习参数，∑_λα_λ＝1。

经过一个预测头在上一步融合特征的基础上基于子区域给出视觉解释以及预测。对于预测头收集的特征图

首先使用基于子区域的注意来完成对特征图的修正并生成可解释图:

这种模型的细粒度转换将被推广到基于子区域的判断，也将迫使模型在子区域尺度上学习，因为像素级的变化很难改变预测。然后，一个部分池化被用于基于视觉解释进行预测：

其中，d∈{0,1}且∑_i,j d_i,j＝k,k⁺or k^-是Z的最大或最小的元素的集合。S^c为最终的预测分数。根据预测分数对医学图像进行预测分类。

第三步：将医学图像输入至基于子区域的融合预测模型，输出可视化解释，根据可视化解释对医学图像进行视觉解释。

实施例1

利用基于医学影像的智能诊断与视觉解释方法对以胶质瘤影像进行分级和视觉解释。

分析来自脑肿瘤分割比赛(Brain Tumor Segmentation,BraTs2019)的335例胶质瘤患者和对应的病理高低级别，并检索这些患者的磁共振影像数据，要求包含T1增强、T1、T2和FLAIR序列。

利用Felzenszwalb算法将整个多模影像分割成为多个同质子区域。根据实际的分辨率和精度需求，在本实例中，选择20mm²为最小子区域面积。即对于一张影像，该算法会生成子区域分割

其中每个通道c代表一个子区域，/>

且

同时，根据每个阶段的注意力图谱，将会优化子区域。

将子区域输入至基于子区域的融合预测模型，输出可解释图以及预测分数。根据可解释图得到可视化解释，根据预测分数对医学图像进行预测分类。

参照图4，为了和主流的视觉解释方法比较，本发明选取了Grad-CAM++，LayerCAM以及AblationCAM作为基线方法，根据图4可知，本发明可以生成更加精准细致的视觉解释，因此有助于深度分类模型的临床应用，并为临床医师提供更多关于肿瘤空间异质性的见解。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于医学影像的视觉解释方法，其特征在于，包括以下步骤：

获取医学图像；

将医学图像输入至基于子区域的融合预测模型，输出可视化解释；

根据可视化解释对医学图像进行视觉解释；

所述将医学图像输入至基于子区域的融合预测模型，输出可视化解释，包括：

基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，基于骨干网络的渐进卷积结构对基于高分辨率的多尺度特征进行提取；

基于融合颈部对提取的多个多尺度特征进行融合；

基于预测头输出可视化解释。

2.如权利要求1所述的一种基于医学影像的视觉解释方法，其特征在于，所述医学图像包括CT、MRI和超声图像。

3.如权利要求1所述的一种基于医学影像的视觉解释方法，其特征在于，所述基于骨干网络的注意力机制对基于子区域的多尺度特征进行提取，具体包括以下步骤：

输入医学图像F，并生成一个初步的注意力图M_S(F)；

通过聚类的方法将所述医学图像F分割为多个同质子区域P_λ；

通过同质子区域P_λ对注意力图M_S(F)进行矫正，获得基于子区域的注意力图M_C(M_S(F),P_λ)；

将基于子区域的注意力图M_C(M_S(F),P_λ)与医学图像F点乘，得到基于子区域的多尺度特征F^′，公式如下所示：

式中，

表示具有广播机制的点乘法。

4.如权利要求3所述的一种基于医学影像的视觉解释方法，其特征在于，采用k-means和Felzenszwalb将所述医学图像分割为多个灰度分布一致的同质子区域。

5.如权利要求3所述的一种基于医学影像的视觉解释方法，其特征在于，所述渐进卷积结构包括3个重复的MBConvs，MBConvs包括深度可分离卷积和压缩激励模块；

所述渐进卷积结构用于对基于高分辨率的多尺度特征进行提取，公式如下所示：

式中，F_γ为高分辨率的多尺度特征，θ是对应MBConv模块的参数，γ是每个渐进卷积结构的特征映射层的数量。

6.如权利要求5所述的一种基于医学影像的视觉解释方法，其特征在于，所述基于融合颈部对提取的多个多尺度特征进行融合，包括以下步骤：

对于每个尺度，提取医学图像F的特征映射，

通过平均池化将特征映射从MC×H×W转换为C×H×W；

将每个级别的特征插值到相同的分辨率，并加权融合得到特征图Z。

7.如权利要求6所述的一种基于医学影像的视觉解释方法，其特征在于，通过下式进行加权融合：

式中，F_λ表示λ级别的特征图，α_λ是相应的权重，∑_λα_λ＝1。

8.如权利要求7所述的一种基于医学影像的视觉解释方法，其特征在于，所述基于预测头输出可视化解释，包括以下步骤：

通过基于子区域的注意力对特征图Z进行修正并生成可解释图

计算公式如下：

式中，M_H表示以预分割子区域为最小单位对注意力图谱进行矫正。

9.如权利要求8所述的一种基于医学影像的视觉解释方法，其特征在于，所述预测头还用于对医学图像进行预测分类，包括以下步骤：

基于可解释图

采用空间部分池化计算预测分数；

根据预测分数对医学图像进行预测分类；

所述计算预测分数的公式如下：

式中，S^c为针对分类C最终的预测分数，D为所有d的集合，d∈{0,1}且∑_i,jd_i,j＝k，k⁺ork^-是Z的最大或最小的元素的集合，α为部分权重系数，

为针对每个通道C的注意力图谱矩阵上(i,j)的元素值。

Images