CN112419313B - 一种基于先心病超声的多切面的分类方法 - Google Patents

Abstract

本发明公开了一种针对先心病的超声多切面数据分类方法，其特征在于，包括以下步骤：步骤1、进行训练数据及预处理，选取正常人切面数据和先天性心脏病房间隔缺损病人切面数据若干份；步骤2、设置单帧超声图像分类模型，以ResNet18网络作为基础，设计基于单帧超声图像的单帧超声图像分类模型；步骤3、设置通道注意力模块，在单帧超声图像分类模型的训练中，对各个通道分配不同的权重，并在网络中通过训练得到权重的参数；步骤4、设置单点注意力模块，网络聚焦在关键区域的特征中进行分类；步骤5、设置联合注意力模块，充分融合特征图的区域权重信息和通道权重信息等。该方法利用人工智能的方式提高了超声图像的识别效率，降低了医生的劳动强度。

Description

一种基于先心病超声的多切面的分类方法

技术领域

本发明涉及一种基于先心病超声多切面的分类方法，特别涉及到利用多尺度检测网络、多尺度特征提取模块和焦点区域检测模块分类的方法。

背景技术

先天性心脏病是中国和其他许多国家新生儿中最常见的疾病之一。先天性心脏病占我国出生婴儿的8‰-12‰，意味着我国每年有12万～20 万的先天性心脏病患儿出生，其中复杂的、目前治疗手段尚不能达到良好治疗效果的或易出生后早期死亡的先天性心脏病约占20％，是新生儿及儿童期的主要死亡原因之一。

虽然先天性心脏病十分常见，但目前对新生儿和儿童的心脏超声检查水平参差不齐，对超声图像的处理能力亟待提高。因此，相关领域的专家和学者提出了使用人工智能对相关超声图像进行处理。Perrin等人提出了一种基于卷积神经网络对先天性心脏病图像进行分类的方法。Abdi 等人则开发了一种基于心尖四腔回声切面质量评估的深度卷积神经网络。 Dezaki等人则设计了一个提取超声心动图的时间相关性的神经网络。

上述工作为人工智能在先天性心脏病中图像识别应用打下了坚实的基础，但目前仍然尚无通过超声心动图进行人工智能图像处理系统。

发明内容

本发明的目的在于提供一种基于先心病超声的多切面的分类方法，该方法建立在临床的基础需求上，提高超声图像的识别效率。

本发明提供了一种针对先心病的超声多切面数据分类方法，其特征在于，包括以下步骤：

步骤1、进行训练数据及预处理，选取正常人切面数据和先天性心脏病房间隔缺损病人切面数据若干份；

步骤2、设置单帧超声图像分类模型，以ResNet18网络作为基础，设计基于单帧超声图像的单帧超声图像分类模型；

步骤3、设置通道注意力模块，在单帧超声图像分类模型的训练中，对各个通道分配不同的权重，并在网络中通过训练得到权重的参数；

步骤4、设置单点注意力模块，网络聚焦在关键区域的特征中进行分类；

步骤5、设置联合注意力模块，充分融合特征图的区域权重信息和通道权重信息；

步骤6、设置多帧超声图像分类模型，在设计了单帧超声图像分类模型，并在单帧超声图像分类模型中加入了联合注意力模块以获取各个特征通道以及特征区域的权重之后，利用多帧超声图像分类模型进行特征采集。

进一步地，单帧超声图像分类模型考虑残差结构的短连接方式，同样保存了图像中的浅层特征，对于网络中的卷积模块，采用残差结构的设计方式。

进一步地，输入的大小为B×C×H×W，其中B为批数据大小， C为通道数，H为高度，W为宽度的特征，首先通过全局池化层，在 W维度上取最大值，得到B×C×H×1大小的特征图；然后通过第一个全连接层，在H维度上进行挤压，得到B×C×H/r×1的特征，其中r为设定的倍数，在此处为4。

进一步地，输入的特征同时输入单点注意力模块和通道注意力模块中，输出的特征相乘之后，通过sigmoid激活函数后，将权重映射到[0,1] 之间。

进一步地，在多帧超声图像分类模型结构中，对12张超声图像通过单帧图像分类网络，得到特征后通过池化层进行融合，获取全局特征，然后对全局特征进行分类，得到综合的分类结果

本发明的有益效果在于：利用人工智能的方式提高了超声图像的识别效率，降低了医生的劳动强度。

附图说明

图1多切面分类模型结构图。

图2单帧超声图像分类模型结构图。

图3通道注意力模块结构示意图。

图4单点注意力模块结构示意图。

图5联合注意力模块结构示意图。

图6加入联合注意力模块的单帧图像分类网络结构示意图。

图7多帧超声图像分类模型结构图。

具体实施方式

以下结合附图1-7对本发明的技术方案进行详细说明。

该实施例提供了一种针对先心病的超声多切面数据分类方法，包括以下步骤：

步骤1、进行训练数据及预处理，选取正常人切面数据和先天性心脏病房间隔缺损病人切面数据若干份。

该实施例选择研究基于多切面超声数据的先心病影像图像处理研究，减轻临床影像科医生的工作压力。该实施例中，采用超声心动图共有30 个动态切面和5张频谱图，每个切面分为黑白图像和彩色的血流图像。从左到右，从上到下分别为胸骨旁大动脉短轴切面、心尖部四腔心切面、剑突下双心房切面、胸骨旁左心长轴切面、升主动脉长轴切面和心尖部五腔心切面的彩色血流图像。

该实施中，模型训练数据共310例，其中正常人切面数据61例，先天性心脏病房间隔缺损病人切面数据104例，先天性心脏病室间隔缺损病人切面数据145例。均由武汉亚洲心脏病医院提供，并由武汉亚洲心脏病医院的超声科专业医生进行分类，保证了切面数据分类的准确性。训练数据按照表1中的顺序，以DICOM格式进行储存，且各个切面的帧数不同，因此需经过预处理方可进行训练。

表1超声心动图切面各分类名称表

步骤2、构建单帧超声图像分类模型，以ResNet18网络作为基础，设计基于单帧超声图像的单帧超声图像分类模型。

如图2所示，该实施例中，设计的单帧超声图像分类模型考虑了残差结构的短连接方式，同样保存了图像中的浅层特征，因此对于网络中的卷积模块，该实施例采用了残差结构的设计方式。而由于对总层数的考虑，该实施例仅使用了4个卷积模块。对于每个切面数据的每张图片，该实施例都将其输入到图3所示的网络中。

步骤2.1、在图像预处理操作中改变图片的大小，将图片变为适合输入网络的224×224的大小，将图片通过7×7的卷积层，其图片大小变为112×112；之后，通过一个3×3、步长为2的最大池化层，将图片大小变为56×56，然后通过4个卷积模块，每个卷积模块包含2个 3×3卷积层，且在通过2个3×3卷积层后都需要通过批标准化层 (BatchNormalization层，简称BN层)和ReLu激活层，以使各个通道的特征保持相同的分布。

步骤2.2、每个卷积模块的输出前，将输入的特征与卷积后的特征相加，通过第二个ReLu激活层后输出，以避免梯度消失问题。

该结构参考了He等人的工作。在输入的图像通过了4个卷积模块后，该实施例使用softmax层对得到的特征进行分类，softmax函数，是将一组数用指数表示后再进行归一化的函数，又称归一化指数函数，公式如(1)所示：

即对于每个类别，使用指数的方式计算其权重，得到该特征属于第j 个分类的概率。由于指数函数的特点，在进行归一化时可以抑制概率低的分类，提高概率高的分类，在多分类问题中有较为广泛的应用。使用softmax函数后，可以得到一个1×10的向量，其中每个位置i表示该单帧图片属于第i个分类的概率，选取这个向量中最大的值，判定为该单帧图片的分类。

步骤3、设置通道注意力模块，在单帧超声图像分类模型的训练中，对各个通道分配不同的权重，并在网络中通过训练得到权重的参数。

该实施例发现由于特征图中的通道数量较多，且各通道所表述的特征信息各不相同，导致网络训练时许多通道的特征作用是较小的，这些作用较小的特征掩盖了少数几个通道中作用较大的特征的表达，导致分类准确度无法进一步提升。

该实施例考虑对各个通道分配不同的权重，并在网络中通过训练得到权重的参数。因此，该实施例在网络中加入了通道注意力模块，通道注意力模块结构如图3所示。

该步骤中，对输入的大小为B×C×H×W，其中B为批数据大小， C为通道数，H为高度，W为宽度的特征，首先通过全局池化层，在 W维度上取最大值，得到B×C×H×1大小的特征图。然后通过第一个全连接层，在H维度上进行挤压，得到B×C×H/r×1的特征，其中r为设定的倍数，在此处为4。

在通过ReLu激活后，再通过第二个全连接层，重新将特征变回 B×C×H×1的大小。最后通过sigmoid激活函数后，将权重映射到 [0,1]之间。

输出的特征与原有的特征图作按位的相乘操作，就可以得到经过加权之后的特征图。而为了保留原有的特征信息，需要将加权后的特征图与原来的特征图进行按位相加的操作。在这个过程中，对于每个通道内部，首先在W维度上取最大值，然后对H维度进行挤压，提取出单通道内部的信息比例，然后将该信息作为权重与原有特征相乘，可以达到更好的特征利用效果。通过加入通道注意力模块，可以令网络更好地找到关键的通道特征，提高了分类的准确率。

步骤4、设置单点注意力模块，获取特征图中H或W维度的权重。

在单帧超声图像分类模型的训练中，除了各通道间特征的信息作用各不相同之外，在特征的各个区域的信息也各不相同，一般来说，在特征图中间部分的信息重要程度要高于边缘区域的特征信息。

该实施例参考通道注意力模块，设计了单点注意力模块，以获取特征图中H或W维度的权重。由于图像可以旋转，因此H维度和W 维度是等价的，在单点注意力模块中，该实施例选择获取H维度的权重。单点注意力模块结构如图4所示。

该步骤中，与通道注意力模块类似，对输入的大小为B×C×H×W， B为批数据大小，C为通道数，H为高度，W为宽度的特征，首先通过全局池化层。由于是对图像维度进行注意力聚焦，因此池化层对C维度取最大值，得到B×1×H×W的特征图。然后通过第一个全连接层，得到B×1×H×W/r的特征，其中r为设定的倍数，在此处为4。在通过ReLu激活函数后，再通过第二个全连接层，重新将特征变回 B×1×H×W的大小。最后通过sigmoid激活函数后，将权重映射到 [0,1]之间。输出的特征与原有的特征图作按位的相乘操作，就可以得到经过加权之后的特征图。而为了保留原有的特征信息，需要将加权后的特征图与原来的特征图进行按位相加的操作。

在这个过程中，首先在C维度上取最大值，排除了通道间的影响，然后对W维度进行挤压，提取出特征图位置上的信息比例，然后将该信息作为权重与原有特征相乘，可以达到更好的特征利用效果。单点注意力模块的结构与通道注意力模块相同，但在不同的维度上进行操作，获取的权重信息也不同。通过加入单点注意力模块，可以令网络聚焦在关键区域的特征中进行分类，提高了分类的准确率。

步骤5、设置联合注意力模块，充分融合特征图的区域权重信息和通道权重信息。

该步骤中，通道注意力模块和单点注意力模块都具有帮助网络更好地分析特征的能力，将通道注意力模块和单点注意力模块融合，可以得到联合注意力模块，同时提供通道特征权重与区域特征权重，更好地提升分类效果。

如图5所示，输入的特征同时输入单点注意力模块和通道注意力模块中，输出的特征相乘之后，通过sigmoid激活函数后，将权重映射到[0,1]之间。与单点注意力模块和通道注意力模块类似地，为了保留原有的特征信息，需要将加权后的特征图与原来的特征图进行按位相加的操作。然后即可得到输出的特征。

加入联合注意力模块的单帧图像分类网络结构如图5所示，在每个卷积模块后，均加入一个联合注意力模块，以充分融合特征图的区域权重信息和通道权重信息。

在联合注意力模块中，通过单点注意力模块提取了特征图的区域权重信息，通过通道注意力模块提取了特征图的通道权重信息，将这些信息融合后加入到原始的特征内，可以帮助模型更好地使用特征进行超声心动图的分类。

步骤6、设置多帧超声图像分类模型，在设计了单帧超声图像分类模型，并在单帧超声图像分类模型中加入了联合注意力模块以获取各个特征通道以及特征区域的权重之后，利用多帧超声图像分类模型进行特征采集。

该实施例考虑到在超声图像的采集中，由于病人生理特征或仪器问题，往往会有一些噪声较大、较难判断其分类的帧。因此对单帧的超声图像进行分类具有较大的偶然性和不确定性。基于这一思想，该实施例设计了如图6所示的多帧超声图像分类模型结构，同时对多帧的超声图像进行特征采集，并共同进行分类，以降低单帧图像造成的误差影响。

如图7所示，n组的黑白和彩色图片分别输入到卷积网络，即单帧超声图像分类模型中。在经过单帧超声图像分类结构后，将输出的特征图通过一个批标准化层，使输出的特征图具有相同的分布。之后，将2n 张特征图统一通过切面池化层，融合为一组向量。然后再通过一层的卷积网络后，用全连接层变为1×1024的向量。最后，与单帧超声图像分类模型的分类方式一样，该实施例同样使用softmax分类器输出分类结果，在训练过程中，该实施例取n＝12，即对于每个病人切面的超声随机选取12帧进行组合分类。

在多帧超声图像分类模型结构中，该实施例对12张超声图像通过单帧图像分类网络，得到特征后通过池化层进行融合，获取全局特征。然后对全局特征进行分类，得到综合的分类结果。这样的方式有效地降低了单帧的偶然性带来的误差，提高了分类准确度。该实施例设计了基于先心病超声的多切面分类模型的结构。该模型建立在临床的基础需求上，由于对网络速度的要求，没有选用非常复杂的网络结构，而依照这一标准构建的模型也达到了临床要求的精度标准。

在单帧超声图像分类模型结构中，该实施例采用了残差结构来传递浅层的纹理、颜色等信息，同时避免了梯度消失的问题。由于速度的限制，该实施例采用了4个卷积模块，每个模块内部2个卷积层、2个批标准化层和2个激活函数的设计，而没有选用层数较深的复杂网络。总体而言，每张超声图像仅需通过18层的网络结构，适合用于对速度要求较高的临床切面分类任务中。当然，由于网络参数数量的限制，该实施例在切面分类任务上的精度尚未达到最高，仍有改进空间。

在该实施例创新性地引入的联合注意力模块中，该实施例考虑到超声图像的特征有着众多的通道数量，而在超声切面分类问题中，各通道之间所承载的信息量大小各不相同，因此需要考虑为各个通道赋予不同的权重，因此加入了通道注意力模块以提取通道间的权重信息。而类似地，超声图像中各个区域所承载的信息量大小也各不相同，因此同样需要考虑为长或宽维度赋予不同的权重，因此加入了单点注意力模块以提取图像维度上的权重信息。

在多帧超声图像分类模型结构中，该实施例将12帧超声图像输入的信息通过单帧图像分类网络，获取全局特征，有效地降低了单帧的偶然性带来的误差。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (3)

1.一种针对先心病的超声多切面数据分类方法，其特征在于，包括以下步骤：

步骤1、进行训练数据及预处理，选取正常人切面数据和先天性心脏病房间隔缺损病人切面数据若干份；

采用超声心动图共有30个动态切面和5张频谱图，每个切面分为黑白图像和彩色的血流图像；从左到右，从上到下分别为胸骨旁大动脉短轴切面、心尖部四腔心切面、剑突下双心房切面、胸骨旁左心长轴切面、升主动脉长轴切面和心尖部五腔心切面的彩色血流图像；

步骤2、设置单帧超声图像分类模型，以ResNet18网络作为基础，设计基于单帧超声图像的单帧超声图像分类模型；

步骤2.1、在图像预处理操作中改变图片的大小，将图片变为适合输入网络的224×224的大小，将图片通过7×7的卷积层，其图片大小变为112×112；之后，通过一个3×3、步长为2的最大池化层，将图片大小变为56×56，然后通过4个卷积模块，每个卷积模块包含2个3×3卷积层，且在通过2个3×3卷积层后都需要通过批标准化层和ReLu激活层，以使各个通道的特征保持相同的分布；

步骤2.2、每个卷积模块的输出前，将输入的特征与卷积后的特征相加，通过第二个ReLu激活层后输出，以避免梯度消失问题；

在输入的图像通过了4个卷积模块后，使用softmax层对得到的特征进行分类，softmax函数，是将一组数用指数表示后再进行归一化的函数，又称归一化指数函数，公式如(1)所示：

即对于每个类别，使用指数的方式计算其权重，得到该特征属于第j个分类的概率,使用softmax函数后，可以得到一个1×10的向量，其中每个位置i表示该单帧超声图像属于第i个分类的概率，选取这个向量中最大的值，判定为该单帧超声图像的分类；

步骤3、设置通道注意力模块，在单帧超声图像分类模型的训练中，对各个通道分配不同的权重，并在网络中通过训练得到权重的参数；

输入的大小为B×C×H×W，其中B为批数据大小，C为通道数，H为高度，W为宽度的特征，首先通过全局池化层，在W维度上取最大值，得到B×C×H×1大小的特征图；然后通过第一个全连接层，在H维度上进行挤压，得到B×C×H/r×1的特征，其中r为设定的倍数，在此处为4；最后通过sigmoid激活函数后，将权重映射到[0,1]之间；

步骤4、设置单点注意力模块，网络聚焦在关键区域的特征中进行分类；

步骤5、设置联合注意力模块，充分融合特征图的区域权重信息和通道权重信息；

在联合注意力模块中，通过单点注意力模块提取了特征图的区域权重信息，通过通道注意力模块提取了特征图的通道权重信息，将这些信息融合后加入到原始的特征内，帮助模型使用特征进行超声心动图的分类；输入的特征同时输入单点注意力模块和通道注意力模块中，输出的特征相乘之后，通过sigmoid激活函数后，将权重映射到[0,1]之间；

步骤6、设置多帧超声图像分类模型，在设计了单帧超声图像分类模型，并在单帧超声图像分类模型中加入了联合注意力模块以获取各个特征通道以及特征区域的权重之后，利用多帧超声图像分类模型进行特征采集。

2.根据权利要求1所述的针对先心病的超声多切面数据分类方法，其特征在于，步骤2中，单帧超声图像分类模型考虑残差结构的短连接方式，同样保存了图像中的浅层特征，对于网络中的卷积模块，采用残差结构的设计方式。

3.根据权利要求1所述的针对先心病的超声多切面数据分类方法，其特征在于，步骤6中，在多帧超声图像分类模型结构中，对12张超声图像通过单帧图像分类网络，得到特征后通过池化层进行融合，获取全局特征，然后对全局特征进行分类，得到综合的分类结果。