CN115908920B - 基于卷积神经网络的急性主动脉综合征ct图像分类方法 - Google Patents

Abstract

基于卷积神经网络的急性主动脉综合征CT图像分类方法，包括：1)躯干CT平扫和CT增强图像数据集收集；2)主动脉检测图像数据和急性主动脉综合征分类图像数据标注；3)获取主动脉CT检测图像；4)主动脉CT图像分类网络初始训练；5)高置信度样本梯度通道模式聚合；6)基于高置信度样本梯度通道模式进行梯度约束的主动脉CT图像分类网络重训练；7)对CT图像整体分类。本发明可以对急性主动脉综合征的CT增强图像甚至CT平扫图像进行分类。本发明采用两阶段方法，将主动脉部分CT图像从整体躯干扫描CT图像中分离出来，减少无关部分的干扰，并使用高置信度主动脉CT图像引导低置信度主动脉CT图像的学习进程，增加主动脉CT图像分类准确度，具有较强的实用性，有助于减轻医生工作量。

Description

基于卷积神经网络的急性主动脉综合征CT图像分类方法

技术领域

本发明属于医学CT图像分类领域，针对急性主动脉综合征的平扫CT图像容易被误诊和漏诊以及诊断进程受限于医生阅片速度的问题，提出了一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，使用卷积神经网络自动在CT图像定位主动脉部分图像，并对其进行分类，提出的聚合梯度约束策略能够提升分类网络的分类性能进而提升整体分类效果。

背景技术

急性主动脉综合征是最常见的急性主动脉疾病，包括急性主动脉夹层、主动脉壁内血肿和穿透性动脉粥样硬化性溃疡，其中主动脉夹层较为常见。有文献表明主动脉夹层的发生率为每年每百万人中5—30例。主动脉夹层的特点是发病突然，病情发展迅速，死亡率极高，20％的患者在入院前就已死亡，30％的患者在住院期间死亡。

计算机断层扫描(CT)是诊断急性主动脉综合征的可靠手段，但一般情况下最终诊断要依靠对比剂增强的CT即CTA。在某些情况下没有条件进行CTA检查，比如病人对造影剂过敏，或者病人已经做过平扫CT检查但病情突然恶化不便于进行CTA检查。有时一些病人可能会出现非典型的症状，此时医生在阅读平扫CT检查影像时容易产生漏诊。并且在平扫CT图像上，主动脉壁内血肿和主动脉夹层症状较为相似，可能会产生误诊。因此，对急性主动脉综合征的平扫CT图像进行分类具有重要临床意义。

近年来随着计算机技术的不断发展，深度学习技术在计算机的许多领域中取得了突破性进展。其中卷积神经网络被广泛应用在许多计算机视觉任务上，如图像分类、目标检测和图像分割等，并且性能远超传统方法。卷积神经网络也被广泛应用在医学图像处理任务上，辅助影像学和病理学诊断，如基于病理图像的乳腺癌识别、基于CT图像的肝癌识别等，并取得了显著成效。卷积神经网络也被应用在了主动脉夹层的诊断中，但现有的工作大部分是基于较为容易诊断的CTA图像进行的，并且只针对主动脉夹层这一单一疾病，而忽略了急性主动脉综合征中的其他类别的疾病。对急性主动脉综合征的平扫CT图像进行分类目前仍处于空白阶段。

发明内容

本发明要解决急性主动脉综合征的平扫CT图像分类的问题，提供基于卷积神经网络的急性主动脉综合征CT图像分类方法。

在平扫CT图像上，由于造影剂的缺失，主动脉的病变可能会不明显，此时若病人的症状不典型，则医生仅凭平扫CT图像容易造成对急性主动脉综合征的漏诊，耽误诊疗进程。另一方面，在进行CT或CTA检查之后，需要医生人工对影响进行审查，受限于医生的经历和经验，阅片过程需要消耗一定的时间，这对急症病人并不友好。本发明针对上述问题，设计了一种基于卷积神经网络的急性主动脉综合征CT图像计算机分类方法，在CT检查图像生成时，对急性主动脉综合征CT图像进行检测和分类，帮助医生发现潜在病例，减轻医生工作量，并为急性主动脉综合征的CT图像提供客观的诊断标准。

基于卷积神经网络的急性主动脉综合征CT图像分类方法，包括如下步骤：

1)躯干CT平扫和CT增强图像数据集收集；

2)主动脉检测图像数据和急性主动脉综合征分类图像数据标注；

3)获取主动脉CT检测图像；

4)对主动脉CT图像分类；

5)高置信度样本梯度通道模式聚合；

6)基于高置信度样本梯度通道模式进行梯度约束的CT图像分类网络重训练；

7)对CT图像整体分类。

进一步，步骤1)具体包括：

由于神经网络需要大量数据来取得优异的性能，本发明首先需要收集大量急性主动脉综合征阳性及阴性病例的躯干CT平扫和CT增强图像数据，并且对收集到的数据进行整理和清洗，去除掉不符合要求的数据，如伪影过于严重的CT扫描图像。最后对数据进行脱敏，去掉病人的个人信息。

进一步，步骤2)具体包括：

对于收集到的图像数据，需要进行两种标注，一种是主动脉位置标注，另一种是主动脉类别标注，分别用来训练主动脉图像检测网络和主动脉图像分类网络。使用边界框对主动脉图像的位置进行标注。由于主动脉是一个连续管腔，因此只需要对关键帧进行标注，其他帧使用线性差值对边界框的位置和大小进行补全即可，这样可以显著减少标注工作量。对于主动脉图像类别标注，由专家对CT扫描图像中属于急性主动脉综合征的图像帧号进行标注，并且标注详细疾病类别，阴性样本则不需要标注。

进一步，步骤3)具体包括：

选取YOLOv5作为检测网络架构，检测全部CT检查图像中的主动脉CT图像。使用窗宽600、窗位200将CT检查图像转换为256级灰度图像，将灰度图像经过随机水平翻转、随机缩放、随机旋转、随机平移和随机明度变换等数据增强，使用有限数据模拟临床上病人的各种姿势。将被检测到的主动脉CT图像部分从原始图像上切下形成只包含主动脉的CT图像块。在原始的轴向CT图像上，主动脉作为一个连续的管腔，是按顺序纵向分布的。因此，被检测出的主动脉CT图像切片，可以按照在原始CT图像上的顺序，拼合成图像块序列，作为接下来的CT图像分类的输入。

进一步，步骤4)具体包括：

使用三维的ResNet34作为分类网络架构。对于一张被检测到的主动脉CT图像块，将其序列上前后各三张CT图像块与该图像块一同按顺序组合起来，作为分类网络的输入。分类网络使用这七张CT图像块的序列来预测中间CT图像块的类别。这是由于主动脉具有连续性，相邻的主动脉CT图像块其类别通常是相同的，这有助于对某些困难样本进行正确分类。将CT图像块调整到统一大小，并经过随机水平反转，随机垂直反转，随机旋转，随机明度调整等数据增强后，输入到分类卷积神经网络中，使用交叉熵损失函数对神经网络进行训练。网络将CT图像块分为阴性、主动脉夹层、壁内血肿、穿透性溃疡等四种类别。

进一步，步骤5)具体包括：

使用训练好的分类卷积神经网络，遍历整个训练集，为每个类别挑选出置信度最高的500个样本。对于类别为k的其中某个样本i，分类卷积神经网络在该类别上的输出logit记为分类网络最后一层卷积层的输出特征图记为mⁱ，其是形状为(c,d,h,w)的张量，其中c表示特征图的通道，d,h,w分别表示特征图的深度、高度和宽度。计算/>对mⁱ的一阶偏导数/>并将其通过ReLU函数，该函数定义为ReLU(x)＝max(0,x),然后在d,h,w三个维度上进行求和，获得/> 为形状为c的张量，对于类别k的500个高置信度样本，求得/>然后计算/>作为类别k的梯度通道模式，其中mean表示求平均值函数，I表示指示函数，满足条件的元素相应位置输出为1，否则为0。不同类别的梯度通道模式/>是不同的，这说明特定类别仅和最后一层卷积层中的某些特定卷积核有关。

进一步，步骤6)具体包括：

在生成了各个类别的梯度通道模式后，在使用交叉熵函数对分类网络进行训练的基础上，添加通道层面和空间层面的梯度约束，对分类网络进行重训练。

对于通道层面的梯度约束，为每个训练样本i及其真实类别k使用上一步骤中提到的计算方式计算出然后将/>中和/>里值为0的通道相同的通道的值求和，作为通道层面梯度约束的损失函数的一部分。每个样本还有一个最易混合的类别/>对于那些分类网络预测正确的样本，/>指的是置信度第二高的类别，对于那些分类网络预测错误的样本，/>指的是置信度最高的类别。以同样的方式计算出/>将/>中对应着/>中值为1的通道的值求和，作为通道层面梯度约束的损失函数的另一部分。这两部分加和作为整体的通道层面梯度约束损失函数。

不相关的背景特征会干扰分类网络的预测，因此我们引出了空间层面的梯度约束来消除不相关的背景特征的干扰。急性主动脉综合征下的每种疾病都有独特的特征，比如主动脉夹层会有明显的内膜片将主动脉分为真腔和假腔两部分，壁内血肿会在主动脉外围形成月牙形的血肿部分等。我们挑选少量样本，对其独有特征的位置进行大致的分割标注。在重训练中，对于有标注样本，将空间位置处于标注外的的值求和作为空间层面梯度约束的损失函数来抑制背景区域的无关特征；对于无标注样本则不做处理。

进一步，步骤7)具体包括：

对于某一例CT检查，首先使用主动脉CT图像检测网络检测出其中所有的主动脉CT图像，然后将切出的主动脉CT图像块送入分类网络进行分类。若有连续n张主动脉CT图像块属于同一类别，则将这一例检查的CT图像整体分类为这一类别。

实施本发明的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法的系统，包括：

CT图像数据集收集模块，用于躯干CT平扫和CT增强图像数据集收集；

分类图像数据标注模块，用于主动脉检测图像数据和急性主动脉综合征分类图像数据标注；

主动脉CT检测图像获取模块，用于获取主动脉CT检测图像；

主动脉CT图像分类模块，用于对主动脉CT图像分类；

样本梯度通道模式聚合模块，用于高置信度样本梯度通道模式聚合；

CT图像分类网络重训练模块，用于基于高置信度样本梯度通道模式进行梯度约束的CT图像分类网络重训练；

CT图像整体分类模块，用于对CT图像整体分类。

本发明的方法是一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，用于对急性主动脉综合征的平扫CT图像进行快速准确的分类。该方法首先使用卷积神经网络对CT图像上的主动脉图像块进行检测，并将检测到的主动脉图像块从原始躯干CT扫描图像上单独切出。然后对切出的仅包含主动脉的CT图像块使用卷积神经网络进行分类。提出了一种聚合梯度约束优化策略来提高分类网络的分类性能。

本发明的有益效果是：可以对急性主动脉综合征的平扫CT图像进行快速准确的分类，加快急性主动脉综合征的诊疗进程，减少对于急性主动脉综合征的误诊和漏诊，减轻医生的工作量，为急性主动脉综合征平扫CT图像提供客观诊断标准。此外，该方法也可直接应用在增强CT图像上，进行快速诊断。

附图说明

图1是本发明方法的流程图。

具体实施方式

本发明的基于卷积神经网络的急性主动脉综合征CT图像分类方法，包括如下步骤：

1)躯干CT平扫和CT增强图像数据集收集；

由于神经网络需要大量数据来取得优异的性能，本发明首先需要收集大量急性主动脉综合征阳性及阴性病例的躯干CT平扫和CT增强图像数据，并且对收集到的数据进行整理和清洗，去除掉不符合要求的数据，如伪影过于严重的CT扫描图像。最后对数据进行脱敏，去掉病人的个人信息。

2)主动脉检测图像数据和急性主动脉综合征分类图像数据标注；

对于收集到的图像数据，需要进行两种标注，一种是主动脉位置标注，另一种是主动脉类别标注，分别用来训练主动脉图像检测网络和主动脉图像分类网络。使用边界框对主动脉图像的位置进行标注。由于主动脉是一个连续管腔，因此只需要对关键帧进行标注，其他帧使用线性差值对边界框的位置和大小进行补全即可，这样可以显著减少标注工作量。对于主动脉图像类别标注，由专家对CT扫描图像中属于急性主动脉综合征的图像帧号进行标注，并且标注详细疾病类别，阴性样本则不需要标注。

3)获取主动脉CT检测图像；

选取YOLOv5作为检测网络架构来检测全部CT检查图像中的主动脉CT图像，YOLO是一阶段检测网络的代表结构之一。使用窗宽600、窗位200将CT检查图像转换为256级灰度图像，将灰度图像经过随机水平翻转、随机缩放、随机旋转、随机平移和随机明度变换等数据增强，使用有限数据模拟临床上病人的各种姿势。将被检测到的主动脉CT图像部分从原始图像上切下形成只包含主动脉的CT图像块。在原始的轴向CT图像上，主动脉作为一个连续的管腔，是按顺序纵向分布的。因此，被检测出的主动脉CT图像切片，可以按照在原始CT图像上的顺序，拼合成图像块序列，作为接下来的CT图像分类的输入。

4)对主动脉CT图像分类；

使用三维的ResNet34作为分类网络架构。对于一张被检测到的主动脉CT图像块，将其序列上前后各三张CT图像块与该图像块一同按顺序组合起来，作为分类网络的输入。分类网络使用这七张CT图像块的序列来预测中间CT图像块的类别。这是由于主动脉具有连续性，相邻的主动脉CT图像块其类别通常是相同的，这有助于对某些困难样本进行正确分类。将CT图像块调整到统一大小，并经过随机水平反转，随机垂直反转，随机旋转，随机明度调整等数据增强后，输入到分类卷积神经网络中，使用交叉熵损失函数对神经网络进行训练。网络将CT图像块分为阴性、主动脉夹层、壁内血肿、穿透性溃疡等四种类别。

5)高置信度样本梯度通道模式聚合；

使用训练好的分类卷积神经网络，遍历整个训练集，为每个类别挑选出置信度最高的500个样本。对于类别为k的其中某个样本i，分类卷积神经网络在该类别上的输出logit记为分类网络最后一层卷积层的输出特征图记为mⁱ，其是形状为(c,d,h,w)的张量，其中c表示特征图的通道，d,h,w分别表示特征图的深度、高度和宽度。计算/>对mⁱ的一阶偏导数/>并将其通过ReLU函数，该函数定义为ReLU(x)＝max(0,x),然后在d,h,w三个维度上进行求和，获得/> 为形状为c的张量，对于类别k的500个高置信度样本，求得/>然后计算/>作为类别k的梯度通道模式，其中mean表示求平均值函数，I表示指示函数，满足条件的元素相应位置输出为1，否则为0。不同类别的梯度通道模式/>是不同的，这说明特定类别仅和最后一层卷积层中的某些特定卷积核有关。

6)基于高置信度样本梯度通道模式进行梯度约束的CT图像分类网络重训练；

在生成了各个类别的梯度通道模式后，在使用交叉熵函数对分类网络进行训练的基础上，添加通道层面和空间层面的梯度约束，对分类网络进行重训练。

对于通道层面的梯度约束，为每个训练样本i及其真实类别k使用上一步骤中提到的计算方式计算出然后将/>中和/>里值为0的通道相同的通道的值求和，作为通道层面梯度约束的损失函数的一部分。每个样本还有一个最易混合的类别/>对于那些分类网络预测正确的样本，/>指的是置信度第二高的类别，对于那些分类网络预测错误的样本，/>指的是置信度最高的类别。以同样的方式计算出/>将/>中对应着/>中值为1的通道的值求和，作为通道层面梯度约束的损失函数的另一部分。这两部分加和作为整体的通道层面梯度约束损失函数。

不相关的背景特征会干扰分类网络的预测，因此我们引出了空间层面的梯度约束来消除不相关的背景特征的干扰。急性主动脉综合征下的每种疾病都有独特的特征，比如主动脉夹层会有明显的内膜片将主动脉分为真腔和假腔两部分，壁内血肿会在主动脉外围形成月牙形的血肿部分等。我们挑选少量样本，对其独有特征的位置进行大致的分割标注。在重训练中，对于有标注样本，将空间位置处于标注外的的值求和作为空间层面梯度约束的损失函数来抑制背景区域的无关特征；对于无标注样本则不做处理。

7)对CT图像整体分类；

对于某一例CT检查，首先使用主动脉CT图像检测网络检测出其中所有的主动脉CT图像，然后将切出的主动脉CT图像块送入分类网络进行分类。若有连续n张主动脉CT图像块属于同一类别，则将这一例检查的CT图像整体分类为这一类别。

通过上述步骤，可以实现对急性主动脉综合征的平扫CT图像进行快速准确的分类，加快急性主动脉综合征的诊疗进程，减少对于急性主动脉综合征的误诊和漏诊，减轻医生的工作量，为急性主动脉综合征提供客观诊断标准。

实施本发明的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法的系统，包括：

CT图像数据集收集模块，用于躯干CT平扫和CT增强图像数据集收集；

分类图像数据标注模块，用于主动脉检测图像数据和急性主动脉综合征分类图像数据标注；

主动脉CT检测图像获取模块，用于获取主动脉CT检测图像；

主动脉CT图像分类模块，用于对主动脉CT图像分类；

样本梯度通道模式聚合模块，用于高置信度样本梯度通道模式聚合；

CT图像分类网络重训练模块，用于基于高置信度样本梯度通道模式进行梯度约束的CT图像分类网络重训练；

CT图像整体分类模块，用于对CT图像整体分类。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (8)

1.一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，包括下列步骤：

1)躯干CT平扫和CT增强图像数据集收集；

2)主动脉检测图像数据和急性主动脉综合征分类图像数据标注；

3)获取主动脉CT检测图像；

4)对主动脉CT图像分类；

5)高置信度样本梯度通道模式聚合；具体包括：

使用训练好的分类卷积神经网络，遍历整个训练集，为每个类别挑选出置信度最高的500个样本；对于类别为k的其中某个样本i，分类卷积神经网络在该类别上的输出logit记为分类网络最后一层卷积层的输出特征图记为mⁱ，其是形状为(c，d，h，w)的张量，其中c表示特征图的通道，d，h，w分别表示特征图的深度、高度和宽度；计算/>对mⁱ的一阶偏导数并将其通过ReLU函数，该函数定义为ReLU(x)＝max(0，x),然后在d，h，w三个维度上进行求和，获得/> 为形状为c的张量，对于类别k的500个高置信度样本，求得/>然后计算/>作为类别k的梯度通道模式，其中mean表示求平均值函数，I表示指示函数，满足条件的元素相应位置输出为1，否则为0；不同类别的梯度通道模式/>是不同的；

6)基于高置信度样本梯度通道模式进行梯度约束的CT图像分类网络重训练；

7)对CT图像整体分类。

2.如权利要求1所述的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，其特征在于步骤1)具体包括：

收集大量急性主动脉综合征阳性及阴性病例的躯干CT平扫和CT增强图像数据，并且对收集到的数据进行整理和清洗，去除掉不符合要求的数据；最后对数据进行脱敏，去掉病人的个人信息。

3.如权利要求1所述的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，其特征在于步骤2)具体包括：

对于收集到的图像数据，需要进行两种标注，一种是主动脉位置标注，另一种是主动脉类别标注，分别用来训练主动脉图像检测网络和主动脉图像分类网络；使用边界框对主动脉图像的位置进行标注；由于主动脉是一个连续管腔，因此只需要对关键帧进行标注，其他帧使用线性差值对边界框的位置和大小进行补全即可；对于主动脉图像类别标注，对CT扫描图像中属于急性主动脉综合征的图像帧号进行标注，并且标注详细疾病类别，阴性样本则不需要标注。

4.如权利要求1所述的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，其特征在于步骤3)具体包括：

选取YOLOv5作为检测网络架构，检测全部CT检查图像中的主动脉CT图像；使用窗宽600HU、窗位200HU将CT检查图像转换为256级灰度图像，将灰度图像经过随机水平翻转、随机缩放、随机旋转、随机平移和随机明度变换，使用有限数据模拟临床上病人的各种姿势；将被检测到的主动脉CT图像部分从原始图像上切下形成只包含主动脉的CT图像块；在原始的轴向CT图像上，主动脉作为一个连续的管腔，是按顺序纵向分布的；因此，被检测出的主动脉CT图像切片，按照在原始CT图像上的顺序，拼合成图像块序列，作为接下来的CT图像分类的输入。

5.如权利要求1所述的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，其特征在于步骤4)具体包括：

使用三维的ResNet34作为分类网络架构；对于一张被检测到的主动脉CT图像块，将其序列上前后各三张CT图像块与该图像块一同按顺序组合起来，作为分类网络的输入；分类网络使用这七张CT图像块的序列来预测中间CT图像块的类别；将CT图像块调整到统一大小，并经过随机水平反转，随机垂直反转，随机旋转，随机明度调整后，输入到分类卷积神经网络中，使用交叉熵损失函数对神经网络进行训练；网络将CT图像块分为阴性、主动脉夹层、壁内血肿、穿透性溃疡四种类别。

6.如权利要求1所述的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，其特征在于步骤6)具体包括：

在生成了各个类别的梯度通道模式后，在使用交叉熵函数对分类网络进行训练的基础上，添加通道层面和空间层面的梯度约束，对分类网络进行重训练；

对于通道层面的梯度约束，为每个训练样本i及其真实类别k使用步骤5)中提到的计算方式计算出然后将/>中和/>里值为0的通道相同的通道的值求和，作为通道层面梯度约束的损失函数的一部分；每个样本还有一个最易混合的类别/>对于那些分类网络预测正确的样本，/>指的是置信度第二高的类别，对于那些分类网络预测错误的样本，/>指的是置信度最高的类别；将/>代入/>的计算公式计算出/>将/>中对应着/>中值为1的通道的值求和，作为通道层面梯度约束的损失函数的另一部分；这两部分加和作为整体的通道层面梯度约束损失函数；

挑选少量样本，对其独有特征的位置进行分割标注；在重训练中，对于有标注样本，将空间位置处于标注外的的值求和作为空间层面梯度约束的损失函数来抑制背景区域的无关特征；对于无标注样本则不做处理。

7.如权利要求1所述的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法，其特征在于步骤7)具体包括：

对于某一例CT检查，首先使用主动脉CT图像检测网络检测出其中所有的主动脉CT图像，然后将切出的主动脉CT图像块送入分类网络进行分类；若有连续n张主动脉CT图像块属于同一类别，则将这一例检查的CT图像整体分类为这一类别。

8.实施如权利要求1所述的一种基于卷积神经网络的急性主动脉综合征CT图像分类方法的系统，其特征在于，包括：

CT图像数据集收集模块，用于躯干CT平扫和CT增强图像数据集收集；

分类图像数据标注模块，用于主动脉检测图像数据和急性主动脉综合征分类图像数据标注；

主动脉CT检测图像获取模块，用于获取主动脉CT检测图像；

主动脉CT图像分类模块，用于对主动脉CT图像分类；

样本梯度通道模式聚合模块，用于高置信度样本梯度通道模式聚合；

CT图像分类网络重训练模块，用于基于高置信度样本梯度通道模式进行梯度约束的CT图像分类网络重训练；

CT图像整体分类模块，用于对CT图像整体分类。