CN112784924A - 基于分组聚合深度学习模型的肋骨骨折ct图像分类方法 - Google Patents

Abstract

本发明公开了一种基于分组聚合深度学习模型的肋骨骨折CT图像分类方法，其获取干净数据集，从干净数据集中的每幅经脱敏处理后的肋骨骨折CT图像中连续取80张切片，将各自包含80张切片的肋骨骨折CT图像及对应的标签构成训练样本数据；构建分组聚合深度学习网络，包括切片分组阶段、特征提取阶段和聚合决策阶段；训练样本数据输入到分组聚合深度学习网络中进行训练，通过计算损失函数值得到分组聚合深度学习网络分类模型；包含80张切片的测试图像输入到分组聚合深度学习网络分类模型中得到分类分数；优点是在高分辨率的轴向平面上更充分的提取信息，且信息提取过程简单，在低分辨率的轴向平面上，防止信息的过度提取，从而使得分类准确。

Description

基于分组聚合深度学习模型的肋骨骨折CT图像分类方法

技术领域

本发明涉及一种肋骨骨折的辅助诊断技术，尤其是涉及一种基于分组聚合深度学习模型的肋骨骨折CT(Computed Tomography，X线计算机断层摄影)图像分类方法。

背景技术

肋骨骨折是临床上常见的一种胸部创伤，跌落、交通事故、打架斗殴等情况均可能会造成肋骨骨折。肋骨骨折除了会引起疼痛和不适，还可能引发严重的并发症，如低通气(连枷胸综合征)、肺炎、肺挫伤气胸、血胸和死亡等。此外，影像学检查是目前临床上诊断肋骨骨折的主要方法，以往常采用X-ray影像，现在逐渐被CT影像替代。CT图像是一组连续的2D图像切片序列，每个病人的胸部CT图像的薄层有几百张切片，医生在进行肋骨骨折诊断时需要连续观察CT图像的薄层中的几百张切片，这容易产生视觉上和心理上的双重疲劳，从而会增加误诊或漏诊的概率。此外，肋骨骨折通常没有明确体征定位，医生在诊断时需要对病人的24根肋骨全部进行筛查，这种没有重点的筛查方式也容易导致漏诊。肋骨骨折漏诊不仅会影响患者后续的治疗，而且容易引起医患纠纷。

针对医生在肋骨骨折诊断时容易疲劳以及观察时没有重点等主观原因导致的漏诊，目前的解决途径分为两种。

一种途径是通过容积重建或展开显示等方式对原始的肋骨骨折CT图像进行重建，方便医生进行观察，使其一眼能看到尽可能多的信息，进而缓解医生诊断时视觉和心理上的疲劳。但是重建过程可能会漏掉部分的细微骨折，无法完全可靠，因此目前医生在诊断肋骨骨折时主要的依据还是原始的肋骨骨折CT图像的薄层中的切片。

另一种途径是通过计算机辅助诊断肋骨骨折。虽然自动诊断的结果也不能确保完全正确，但是在具有较高正确率的前提下，计算机辅助诊断可以在以下几种情况下发挥重要作用：首先，将医生诊断与计算机辅助诊断相结合，二者不一致的诊断结果作为疑似漏诊或误诊案例进行重新检查，从而降低漏诊的概率。其次，当医生资源不足时，计算机辅助诊断可以作为肋骨骨折病患的初步筛选，并将有限医生资源用于优先诊断骨折概率高的病人，提高就诊的时效性。最后，主任级医师在检查普通医生诊断报告时，报告数量很大，计算机的辅助诊断可以帮助筛选重点的检查对象，提高检查的有效性。

近些年来，随着深度学习技术的发展，深度学习在医学影像分析中的应用越来越广泛，其中面向CT图像的深度学习应用包括各种疾病的分类预测、检测以及器官组织的分割等，但是应用于肋骨骨折辅助诊断的研究较少，目前利用深度学习的肋骨骨折辅助诊断存在以下几个难点及特点：(1)目前没有公开的基于CT的肋骨骨折大型数据集，只能从医院采集，新采集的数据集往往存在脏数据，而清洗数据的时间和人力成本又很高，需要一个合适的数据清洗方法。(2)CT图像是3D医学图像，处理3D数据的模型通常存在占用显存大、计算速度慢、易过拟合等问题。(3)原始的CT图像中轴向分辨率要远低于轴向平面分辨率，这为提取3D的CT图像中的判别信息增加了难度。因此，有必要研究一种能够解决上述技术难点的方法。

发明内容

本发明所要解决的技术问题是提供一种基于分组聚合深度学习模型的肋骨骨折CT图像分类方法，其构建的分组聚合深度学习网络采用了分组和聚合的方式，使得训练得到的分组聚合深度学习网络分类模型在高分辨率的轴向平面上提取信息，保证信息提取充分，且信息提取过程简单，在低分辨率的轴向平面上，防止信息的过度提取，从而使得肋骨骨折CT图像分类准确。

本发明解决上述技术问题所采用的技术方案为：一种基于分组聚合深度学习模型的肋骨骨折CT图像分类方法，其特征在于包括以下步骤：

步骤1：获取一个干净数据集，该干净数据集中包含N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的标签；其中，N≥100，标签的值为1或0，标签的值为1时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨未出现骨折现象，标签的值为0时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨出现骨折现象；

步骤2：从干净数据集中的每幅经脱敏处理后的肋骨骨折CT图像中连续取80张切片，将N幅各自包含80张切片的肋骨骨折CT图像及对应的标签构成训练样本数据；其中，训练样本数据中的切片的长和宽对应为L和W，L和W均能够被4整除；

步骤3：构建一个分组聚合深度学习网络：该分组聚合深度学习网络包括切片分组阶段、特征提取阶段和聚合决策阶段，切片分组阶段由第1个3D卷积块、第2个3D卷积块、第1个3D的bottleneck模块、第2个3D的bottleneck模块、第3个3D卷积层依次连接组成，第1个3D卷积块由第1个3D卷积层和第1个batch normalization层组成，第2个3D卷积块由第2个3D卷积层和第2个batch normalization层组成，特征提取阶段由第1个2D的basicblock模块、第2个2D的basicblock模块、第3个2D的basicblock模块、第4个2D的basicblock模块依次连接组成；聚合决策阶段由第1个3D的basicblock模块、第2个3D的basicblock模块、第4个3D卷积层、1个全局平均池化层和1个全连接层组成；

对于切片分组阶段，第1个3D卷积层的输入端接收单通道的大小为80×L×W的肋骨骨折CT图像，第1个3D卷积层的输出端输出64通道的大小为

的特征图，将第1个3D卷积层的输出端输出的所有特征图构成的集合记为J1_3D；第1个batch normalization层的输入端接收J1_3D中的所有特征图经过一个relu激活函数后得到的所有特征图，第1个batch normalization层的输出端输出64通道的大小为

的特征图，将第1个batchnormalization层的输出端输出的所有特征图构成的集合记为Ba1；第2个3D卷积层的输入端接收Ba1中的所有特征图，第2个3D卷积层的输出端输出64通道的大小为

的特征图，将第2个3D卷积层的输出端输出的所有特征图构成的集合记为J2_3D；第2个batchnormalization层的输入端接收J2_3D中的所有特征图经过一个relu激活函数后得到的所有特征图，第2个batch normalization层的输出端输出64通道的大小为

的特征图，将第2个batch normalization层的输出端输出的所有特征图构成的集合记为Ba2；第1个3D的bottleneck模块的输入端接收Ba2中的所有特征图，第1个3D的bottleneck模块的输出端输出64通道的大小为

的特征图，将第1个3D的bottleneck模块的输出端输出的所有特征图构成的集合记为BN1_3D；第2个3D的bottleneck模块的输入端接收BN1_3D中的所有特征图，第2个3D的bottleneck模块的输出端输出64通道的大小为

的特征图，将第2个3D的bottleneck模块的输出端输出的所有特征图构成的集合记为BN2_3D；第3个3D卷积层的输入端接收BN2_3D中的所有特征图，第3个3D卷积层的输出端输出64通道的大小为

的特征图，将第3个3D卷积层的输出端输出的所有特征图构成的集合记为J3_3D；对J3_3D中的所有特征图按顺序分组，分成20个切片组，每个切片组包含64通道的大小为

的特征图；

对于特征提取阶段，第1个2D的basicblock模块的输入端接收第i个切片组中的所有特征图，第1个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第1个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第2个2D的basicblock模块的输入端接收

中的所有特征图，第2个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第2个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第3个2D的basicblock模块的输入端接收

中的所有特征图，第3个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第3个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第4个2D的basicblock模块的输入端接收

中的所有特征图，第4个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第4个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

对于聚合决策阶段，将

中的所有特征图聚合成64通道的大小为

的特征图；第1个3D的basicblock模块的输入端接收聚合得到的所有特征图，第1个3D的basicblock模块的输出端输出64通道的大小为

的特征图，将第1个3D的basicblock模块的输出端输出的所有特征图构成的集合记为BB1_3D；第2个3D的basicblock模块的输入端接收BB1_3D中的所有特征图，第2个3D的basicblock模块的输出端输出64通道的大小为

的特征图，将第2个3D的basicblock模块的输出端输出的所有特征图构成的集合记为BB2_3D；将J3_3D中的每张特征图乘以权值，将得到的所有特征图构成的集合记为J3'_3D；对J3'_3D中的所有特征图与BB2_3D中的所有特征图进行对应元素相加操作，将对应元素相加操作后得到的所有特征图构成的集合记为Add；第4个3D卷积层的输入端接收Add中的所有特征图，第4个3D卷积层的输出端输出32通道的大小为

的特征图，将第4个3D卷积层的输出端输出的所有特征图构成的集合记为J4_3D；全局平均池化层的输入端接收J4_3D中的所有特征图，全局平均池化层的输出端输出32通道的特征；全连接层的输入端接收全局平均池化层的输出端输出的所有特征，全连接层的输出端输出2通道的特征；对全连接层的输出端输出的所有特征进行Softmax函数操作，得到分类分数，分类分数为区间[0,1]内的数；

其中，第1个3D卷积层和第2个3D卷积层的通道数均为64、卷积核大小均为3×3×3、卷积步长均为2，第3个3D卷积层的通道数为64、卷积核大小为3×3×3、卷积步长为1，1≤i≤20，

表示第1个2D的basicblock模块的输入端接收第1个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，

表示第1个2D的basicblock模块的输入端接收第2个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，

表示第1个2D的basicblock模块的输入端接收第20个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，聚合的过程与分组的过程相反，权值为区间(0,1]内的数，第4个3D卷积层的通道数为32、卷积核大小为3×3×3、卷积步长为1，第1个3D的bottleneck模块、第2个3D的bottleneck模块、第1个2D的basicblock模块、第2个2D的basicblock模块、第3个2D的basicblock模块、第4个2D的basicblock模块、第1个3D的basicblock模块、第2个3D的basicblock模块的通道数均为64，全连接层的输入通道数为32，全连接层的输出通道数为2；

步骤4：将训练样本数据随机平均分成多个batch；然后将每个batch中的多幅单通道的大小为80×L×W的肋骨骨折CT图像作为输入参数，输入到分组聚合深度学习网络中进行训练，在训练过程中计算每个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像的分类分数的损失函数值，将损失函数值记为Loss，

其中，β_q和β_p是权重参数，

N_q表示一个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像对应的标签的值为1的数量，N_p表示一个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像对应的标签的值为0的数量，α是为了防止分母为0的固定参数，y表示一个batch中的每幅单通道的大小为80×L×W的肋骨骨折CT图像对应的标签，H表示分类分数；

步骤5：重复执行步骤4共Num次，训练得到分组聚合深度学习网络分类模型；其中，Num≥100；

步骤6：获取任意一幅经脱敏处理后的肋骨骨折CT图像作为测试图像；然后按步骤2中取切片的方式从测试图像中连续取80张切片；再将包含80张切片的测试图像作为输入参数，输入到分组聚合深度学习网络分类模型中，得到测试图像的分类分数；其中，测试图像中的切片的长和宽对应为L和W；

步骤7：判断测试图像的分类分数是否大于0.5，如果是，则判定测试图像中的肋骨未出现骨折现象；否则，判定测试图像中的肋骨出现骨折现象。

所述的步骤1中，干净数据集的获取过程为：

步骤1_1：采集N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签；其中，原始的标签的值为1或0，原始的标签的值为1时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨原始判定为未出现骨折现象，原始的标签的值为0时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨原始判定为出现骨折现象；

步骤1_2：将N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签作为训练数据，输入到3D的HR-net模型中进行训练；在经过M轮训练后停止训练，得到每幅经脱敏处理后的肋骨骨折CT图像在每轮训练下的分类结果；其中，50≤M≤70，分类结果为1或0，分类结果为1时表示认为对应的经脱敏处理后的肋骨骨折CT图像中的肋骨未出现骨折现象，分类结果为0时表示认为对应的经脱敏处理后的肋骨骨折CT图像中的肋骨出现骨折现象；

步骤1_3：针对每幅经脱敏处理后的肋骨骨折CT图像，统计在第

轮至第M轮训练下的所有分类结果中值为0的分类结果的个数，如果统计的个数大于n，且该幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签为1，则判定该幅经脱敏处理后的肋骨骨折CT图像为疑似脏数据，然后执行步骤1_4；而其余情况下，判定该幅经脱敏处理后的肋骨骨折CT图像为干净数据；其中，符号

为向下取整运算符号，10≤n≤20；

步骤1_4：对于每个疑似脏数据，由主治级医生重新判定该疑似脏数据中的肋骨是否出现骨折现象，如果判定该疑似脏数据中的肋骨出现骨折现象，则将该疑似脏数据对应的原始的标签修改为0，并将标签修改后的经脱敏处理后的肋骨骨折CT图像作为干净数据；如果判定该疑似脏数据中的肋骨未出现骨折现象，则保持该疑似脏数据对应的原始的标签不变，并将该疑似脏数据作为干净数据；至此得到干净数据集。

所述的步骤4中，利用分组聚合深度学习网络训练时优化器采用Adam，学习率设置为0.001～0.01。

与现有技术相比，本发明的优点在于：

1)构建的分组聚合深度学习网络采用了分组和聚合的方式，使得训练得到的分组聚合深度学习网络分类模型在高分辨率的轴向平面上更充分的提取信息，且信息提取过程简单，在低分辨率的轴向平面上，防止信息的过度提取，使得分组聚合深度学习网络分类模型更契合肋骨骨折CT数据分辨方面的特点，从而使得肋骨骨折CT图像分类更为准确。

2)肋骨骨折CT图像的主要特征之一是肋骨的轮廓，也就是纹理信息，本发明方法构建的分组聚合深度学习网络在聚合决策阶段通过带权值的对应元素相加实现了跨层长链接，将低层的纹理信息融入高层的语义特征中，使得训练得到的分组聚合深度学习网络分类模型对任务更具有针对性。

3)在构建分组聚合深度学习网络时，不仅采用了3D卷积块和3D卷积层、3D的bottleneck模块、3D的basicblock模块，而且还采用了2D的basicblock模块，即采用了2D卷积与3D卷积相结合的方式，与全3D卷积的神经网络相比，在一定程度上缓解了3D卷积占用显存大、计算速度慢、易过拟合等问题。

4)本发明方法在数据清洗方面，与全部使用人力检查的方法相比，更节省人力资源，二次检查的样本对象更具有针对性，且可以根据现有的人力资源动态调节人力资源消耗与清洗精度之间的权值。

附图说明

图1为本发明方法的总体实现框图；

图2为本发明方法构建的分组聚合深度学习网络的组成结构示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于分组聚合深度学习模型的肋骨骨折CT图像分类方法，其总体实现框图如图1所示，其包括以下步骤：

步骤1：获取一个干净数据集，该干净数据集中包含N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的标签；其中，N≥100，如取N＝1000，标签的值为1或0，标签的值为1时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨未出现骨折现象，标签的值为0时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨出现骨折现象。

在此具体实施例中，步骤1中，干净数据集的获取过程为：

步骤1_1：采集N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签；其中，原始的标签的值为1或0，原始的标签的值为1时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨原始判定为未出现骨折现象，原始的标签的值为0时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨原始判定为出现骨折现象。

由于目前没有公开的肋骨骨折CT图像数据集，因此本发明采集的数据为来源于医院的临床数据经脱敏处理后的肋骨骨折CT图像。

由于一些主观因素与客观因素，采集的所有经脱敏处理后的肋骨骨折CT图像中可能存在部分脏数据，而脏数据的存在会对最终的分类产生负面的影响，这也是在医学图像处理中的一个常见的问题，因此需要对采集的经脱敏处理后的肋骨骨折CT图像进行清洗，过程如下：

步骤1_2：将N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签作为训练数据，输入到3D的HR-net模型中进行训练；在经过M轮训练后停止训练，得到每幅经脱敏处理后的肋骨骨折CT图像在每轮训练下的分类结果；其中，HR-net模型为现有的模型，其引用自文献Sun K,Zhao Y,Jiang B,et al.High-resolutionrepresentations for labeling pixels and regions[J].arXiv preprint arXiv:1904.04514,2019.(基于高分辨表示的区域像素标记)，HR-net模型本身为2D的HR-net模型，而本发明使用3D的HR-net模型，利用常规技术对2D的HR-net模型进行处理可改成3D的HR-net模型；50≤M≤70，如取M＝60，分类结果为1或0，分类结果为1时表示认为对应的经脱敏处理后的肋骨骨折CT图像中的肋骨未出现骨折现象，分类结果为0时表示认为对应的经脱敏处理后的肋骨骨折CT图像中的肋骨出现骨折现象。

步骤1_3：在一个数据集中大部分样本标注正确的情况下，错误标注的样本在模型训练时拟合较慢或者无法拟合的概率较大。基于该结论，本发明采用了类似酒精蒸馏的策略，类似于酒精的沸点较低容易挥发，标注正确的样本容易拟合，模型大概率能正确分类此类样本，而标注错误的样本类似于水，沸点较高不易挥发，相较于标注正确的样本拟合较慢，模型大概率无法正确分类此类样本(分类结果大概率与标注不一致)，通过这一点就可以筛选出疑似错误标注的样本交给医生重新检查。若M＝60，即经过60轮训练后停止训练，得到每幅经脱敏处理后的肋骨骨折CT图像在每轮训练下的分类结果，即每幅经脱敏处理后的肋骨骨折CT图像有60个分类结果，由于单个分类结果的判断存在偶然性，需要通过多个分类结果共同进行判断，因此取后30轮训练下的分类结果。由于医生判定为骨折通常有较充足的依据，将非骨折的病例标记为骨折的概率很低，因此只需针对标签为非骨折的样本进行重新判定。对于每一个非骨折样本用上述的30个分类结果进行判断，最终进行投票，如果票数高于n则认定其为疑似漏诊数据，交由医生二次判定，其中，n可以根据实验的精度需求以及现有的时间人力成本预算来动态确定，从而实现了清洗精度和人力成本的权衡。一方面，大幅缩减了需要二次判定的数据量，减少了人力资源方面的消耗，为此，在固定时间内，医生二次判定时工作密集程度也大幅下降，从而在一定程度提高了二次判定的准确率。另一方面，二次判定的数据集中样本分布更加不均衡这个问题也得到了很大的改善，这也在一定程度上提高了二次判定的准确率。具体为：本发明针对每幅经脱敏处理后的肋骨骨折CT图像，统计在第

轮至第M轮训练下的所有分类结果中值为0的分类结果的个数，如果统计的个数大于n，且该幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签为1，则判定该幅经脱敏处理后的肋骨骨折CT图像为疑似脏数据，然后执行步骤1_4；而其余情况下(有三种情况，第一种情况为统计的个数大于n且原始的标签为0；第二种情况为统计的个数小于或等于n且原始的标签为1；第三种情况为统计的个数小于或等于n且原始的标签为0)，判定该幅经脱敏处理后的肋骨骨折CT图像为干净数据；其中，符号

为向下取整运算符号，10≤n≤20，如取n＝15。

步骤1_4：对于每个疑似脏数据，由主治级医生重新判定该疑似脏数据中的肋骨是否出现骨折现象，如果判定该疑似脏数据中的肋骨出现骨折现象，则将该疑似脏数据对应的原始的标签修改为0，并将标签修改后的经脱敏处理后的肋骨骨折CT图像作为干净数据；如果判定该疑似脏数据中的肋骨未出现骨折现象，则保持该疑似脏数据对应的原始的标签不变，并将该疑似脏数据作为干净数据；至此得到干净数据集。

步骤2：从干净数据集中的每幅经脱敏处理后的肋骨骨折CT图像中连续取80张切片，将N幅各自包含80张切片的肋骨骨折CT图像及对应的标签构成训练样本数据；其中，训练样本数据中的切片的长和宽对应为L和W，L和W均能够被4整除，在本实施例中L＝W＝256，若经脱敏处理后的肋骨骨折CT图像中的切片的长和宽不为256，则可以对切片进行缩放处理。

在实际操作时可以从头开始连续取80张切片，如果存在不足80张切片的情况下，那么可以补像素值全为0的图片作为切片，补在最后。

步骤3：在肋骨骨折CT图像中，一根肋骨一般会被分为几段分别成像在若干张连续的切片上，因此在判断肋骨骨折时需要注重相邻切片之间的联系，而距离过远的切片之间的关系对于诊断的意义不大，基于上述考虑，本发明提出了构建一个分组聚合深度学习网络：如图2所示，该分组聚合深度学习网络包括用于减少特征图的大小并完成切片间的分组的切片分组阶段、用于进一步提取融合相邻切片信息的切片组上的高层语义特征的特征提取阶段和用于聚合多个切片组间高层语义信息的聚合决策阶段，切片分组阶段由第1个3D卷积块、第2个3D卷积块、第1个3D的bottleneck模块、第2个3D的bottleneck模块、第3个3D卷积层依次连接组成，第1个3D卷积块由第1个3D卷积层和第1个batch normalization层组成，第2个3D卷积块由第2个3D卷积层和第2个batch normalization层组成，特征提取阶段由第1个2D的basicblock模块、第2个2D的basicblock模块、第3个2D的basicblock模块、第4个2D的basicblock模块依次连接组成；聚合决策阶段由第1个3D的basicblock模块、第2个3D的basicblock模块、第4个3D卷积层、1个全局平均池化层和1个全连接层组成。

对于切片分组阶段，第1个3D卷积层的输入端接收单通道的大小为80×L×W的肋骨骨折CT图像，第1个3D卷积层的输出端输出64通道的大小为

的特征图，将第1个3D卷积层的输出端输出的所有特征图构成的集合记为J1_3D；第1个batch normalization层的输入端接收J1_3D中的所有特征图经过一个relu激活函数后得到的所有特征图，第1个batch normalization层的输出端输出64通道的大小为

的特征图，将第1个batchnormalization层的输出端输出的所有特征图构成的集合记为Ba1；第2个3D卷积层的输入端接收Ba1中的所有特征图，第2个3D卷积层的输出端输出64通道的大小为

的特征图，将第2个3D卷积层的输出端输出的所有特征图构成的集合记为J2_3D；第2个batchnormalization层的输入端接收J2_3D中的所有特征图经过一个relu激活函数后得到的所有特征图，第2个batch normalization层的输出端输出64通道的大小为

的特征图，将第2个batch normalization层的输出端输出的所有特征图构成的集合记为Ba2；第1个3D的bottleneck模块的输入端接收Ba2中的所有特征图，第1个3D的bottleneck模块的输出端输出64通道的大小为

的特征图，将第1个3D的bottleneck模块的输出端输出的所有特征图构成的集合记为BN1_3D；第2个3D的bottleneck模块的输入端接收BN1_3D中的所有特征图，第2个3D的bottleneck模块的输出端输出64通道的大小为

的特征图，将第2个3D的bottleneck模块的输出端输出的所有特征图构成的集合记为BN2_3D；第3个3D卷积层的输入端接收BN2_3D中的所有特征图，第3个3D卷积层的输出端输出64通道的大小为

的特征图，将第3个3D卷积层的输出端输出的所有特征图构成的集合记为J3_3D；对J3_3D中的所有特征图按顺序分组，分成20个切片组，每个切片组包含64通道的大小为

的特征图。

对于特征提取阶段，第1个2D的basicblock模块的输入端接收第i个切片组中的所有特征图，第1个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第1个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第2个2D的basicblock模块的输入端接收

中的所有特征图，第2个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第2个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第3个2D的basicblock模块的输入端接收

中的所有特征图，第3个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第3个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第4个2D的basicblock模块的输入端接收

中的所有特征图，第4个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第4个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

对于聚合决策阶段，将

中的所有特征图聚合成64通道的大小为

的特征图；第1个3D的basicblock模块的输入端接收聚合得到的所有特征图，第1个3D的basicblock模块的输出端输出64通道的大小为

的特征图，将第1个3D的basicblock模块的输出端输出的所有特征图构成的集合记为BB1_3D；第2个3D的basicblock模块的输入端接收BB1_3D中的所有特征图，第2个3D的basicblock模块的输出端输出64通道的大小为

的特征图，将第2个3D的basicblock模块的输出端输出的所有特征图构成的集合记为BB2_3D；将J3_3D中的每张特征图乘以权值，将得到的所有特征图构成的集合记为J3'_3D；对J3'_3D中的所有特征图与BB2_3D中的所有特征图进行对应元素相加操作，将对应元素相加操作后得到的所有特征图构成的集合记为Add；第4个3D卷积层的输入端接收Add中的所有特征图，第4个3D卷积层的输出端输出32通道的大小为

的特征图，将第4个3D卷积层的输出端输出的所有特征图构成的集合记为J4_3D；全局平均池化层的输入端接收J4_3D中的所有特征图，全局平均池化层的输出端输出32通道的特征；全连接层的输入端接收全局平均池化层的输出端输出的所有特征，全连接层的输出端输出2通道的特征；对全连接层的输出端输出的所有特征进行Softmax函数操作，得到分类分数，分类分数为区间[0,1]内的数。

其中，第1个3D卷积层和第2个3D卷积层的通道数均为64、卷积核大小均为3×3×3、卷积步长均为2，第3个3D卷积层的通道数为64、卷积核大小为3×3×3、卷积步长为1，1≤i≤20，

表示第1个2D的basicblock模块的输入端接收第1个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，

表示第1个2D的basicblock模块的输入端接收第2个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，

表示第1个2D的basicblock模块的输入端接收第20个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，聚合的过程与分组的过程相反，权值为区间(0,1]内的数，在本实施例中取权值为0.5，对应元素相加操作是一种现有操作，第4个3D卷积层的通道数为32、卷积核大小为3×3×3、卷积步长为1，第1个3D的bottleneck模块、第2个3D的bottleneck模块、第1个2D的basicblock模块、第2个2D的basicblock模块、第3个2D的basicblock模块、第4个2D的basicblock模块、第1个3D的basicblock模块、第2个3D的basicblock模块的通道数均为64，全连接层的输入通道数为32，全连接层的输出通道数为2。

步骤4：将训练样本数据随机平均分成多个batch；然后将每个batch中的多幅单通道的大小为80×L×W的肋骨骨折CT图像作为输入参数，输入到分组聚合深度学习网络中进行训练，在训练过程中计算每个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像的分类分数的损失函数值，将损失函数值记为Loss，Loss的计算采用了带权重的BCELoss，

其中，β_q和β_p是为了缓解样本不均衡的问题而设置的权重参数，

N_q表示一个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像对应的标签的值为1的数量，N_p表示一个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像对应的标签的值为0的数量，α是为了防止分母为0的固定参数，在本实施例中α取值为0.018，y表示一个batch中的每幅单通道的大小为80×L×W的肋骨骨折CT图像对应的标签，H表示分类分数。

在此具体实施例中，步骤4中，利用分组聚合深度学习网络训练时优化器采用Adam，学习率设置为0.001～0.01，在本实施例中学习率设置为0.006。

步骤5：重复执行步骤4共Num次，训练得到分组聚合深度学习网络分类模型；其中，Num≥100，如取Num＝150。

步骤6：获取任意一幅经脱敏处理后的肋骨骨折CT图像作为测试图像；然后按步骤2中取切片的方式从测试图像中连续取80张切片；再将包含80张切片的测试图像作为输入参数，输入到分组聚合深度学习网络分类模型中，得到测试图像的分类分数；其中，测试图像中的切片的长和宽对应为L和W。

步骤7：判断测试图像的分类分数是否大于0.5，如果是，则判定测试图像中的肋骨未出现骨折现象；否则，判定测试图像中的肋骨出现骨折现象。

为进一步说明本发明方法的可行性和有效性，对本发明方法进行实验。

本发明方法中的分组聚合深度学习网络通过Pytorch框架实现，在NVIDIA2080ti上运行，优化器采用Adam，学习率为0.006，训练迭代次数为Num＝150次。为了减少实验时显存的开销，训练前切片的大小被resize为256×256。为了保持输入到分组聚合深度学习网络中的切片的大小统一，需要对所有切片的大小进行统一。根据观察，所有病例中，只有极少数的病例超过80张切片，并且超出的部分中一般不包括肋骨，因此本发明方法将所有病人的肋骨骨折CT图像中的切片数统一为80张，多于80张的部分直接删除，少于80张的部分补像素值全为0的图片。

1)综合考虑现有的人力资源和清洗力度的需求，本发明方法将获取干净数据集的过程中数据的清洗的阈值n设置为15。对1101幅经脱敏处理后的肋骨骨折CT图像(原始的标签为1)进行清洗，得到111例疑似脏数据，由主治级医生重新判定后确认，其中70例疑似脏数据中的肋骨未出现骨折现象，保持这些疑似脏数据对应的原始的标签不变，并将这些疑似脏数据作为干净数据；41例疑似脏数据中的肋骨出现骨折现象，将这些疑似脏数据对应的原始的标签修改为0，并将标签修改后的经脱敏处理后的肋骨骨折CT图像作为干净数据。

为了评价数据清洗操作对于分组聚合深度学习网络训练的帮助，分别用清洗前的数据集和清洗后的干净数据集对分组聚合深度学习网络进行训练，根据正确率、精准性、敏感性(召回率)、特异性以及F1分数这5个指标对比了两者的精度。结果如表1所示。

表1清洗效果评价

从表1中可以看出，与使用清洗前的数据集训练的分组聚合深度学习网络分类模型对比，使用清洗后的干净数据集训练的分组聚合深度学习网络分类模型在精度方面表现更为优秀，且效果提升明显。数据清洗后，标签中错误的标签比例大幅减少，标签中的类别分布情况更接近于实际的类别分布情况，大幅度缓解了标签错误的样本对于分组聚合深度学习网络训练产生的不良影响。

2)对比实验：为了评价本发明方法中的分组聚合深度学习网络分类模型的有效性，将其与其他几个现有的分类模型进行了比较。现有的分类模型分别为第一种：Resnet(Kaiming He,Xiangyu Zhang,Shaoqing Ren,el al.Deep Residual Learning for ImageRecognition[C]//IEEE Conference on Computer Vision&Pattern Recognition.IEEEComputer Society,2016.，基于深度残差学习的图像识别)，第二种：Densenet(Huang G,Liu Z,Van Der Maaten L,et al.Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2017:4700-4708.，密集连接卷积网络)，第三种：R(2+1)D(D.Tran,H.Wang,L.Torresani,J.Ray,Y.LeCun,and M.Paluri,“A closer look at spatiotemporalconvolutions for action recognition,”in Proceedings of the IEEE conference onComputer Vision and Pattern Recognition,pp.6450–6459,2018.，基于时空卷积的动作识别)，第四种：CSN(D.Tran,H.Wang,L.Torresani,and M.Feiszli,“Videoclassification with channel-separated convolutional networks,”in Proceedingsof the IEEE International Conference on Computer Vision,pp.5552–5561,2019.，基于通道分组卷积网络的视频分类)。在实验中，将经过清洗操作后的389幅经脱敏处理后的肋骨骨折CT图像(骨折样本)各自包含80张切片的肋骨骨折CT图像及对应的标签、712幅经脱敏处理后的肋骨骨折CT图像(非骨折样本)各自包含80张切片的肋骨骨折CT图像及对应的标签构成训练集，用于分组聚合深度学习网络的训练；将117幅经脱敏处理后的肋骨骨折CT图像(骨折样本)各自包含80张切片的肋骨骨折CT图像及对应的标签、227幅经脱敏处理后的肋骨骨折CT图像(非骨折样本)各自包含80张切片的肋骨骨折CT图像及对应的标签构成验证集，用于选定最佳的分组聚合深度学习网络分类模型参数；将88幅经脱敏处理后的肋骨骨折CT图像(骨折样本)各自包含80张切片的肋骨骨折CT图像及对应的标签、164幅经脱敏处理后的肋骨骨折CT图像(非骨折样本)各自包含80张切片的肋骨骨折CT图像及对应的标签构成测试集，用于评估分组聚合深度学习网络分类模型的最终效果；根据正确率、精准性、敏感性(召回率)、特异性以及F1分数这5个指标对比了它们的精度，通过参数量以及计算量(FLOPs)对比了它们的计算资源开销。结果如表2所示。

表2不同分类模型的精度对比

从表2中可以看到，针对肋骨骨折CT图像分类任务，本发明方法的分组聚合深度学习网络分类模型在性能总体上要优于其他4个分类模型。

3)消融实验：为了验证本发明方法构建的分组聚合深度学习网络中的分组和聚合方式的有效性，在此测试了没有采用分组和聚合的网络(全部采用3D卷积，中间没有经过2D卷积进行分组聚合)的效果，命名为SGANet-no Grouping Aggregation(SGANet-NGA)。为了测试跨层长链接的有效性，在此测试了本发明方法构建的分组聚合深度学习网络中去掉跨层长链接(未将J3'_3D与BB2_3D中的特征图对应元素相加)的效果，命名为SGAN-no Cross-layer long connection(SGANet-NCLC)。消融实验所使用的数据集与对比实验一致。并通过正确率、精准性、敏感性(召回率)、特异性以及F1分数这5个指标对比了三种分类模型的精度，通过参数量和FLOPs对比了三种分类模型计算资源的开销。结果如表3所示。

表3消融实验

如表3所示，对于分组和聚合方式的有效性验证，对比于不使用分组和聚合的全3D卷积分类模型，使用分组和聚合的分组聚合深度学习网络分类模型(本发明)在精度上的表现更为出色。本发明的分组聚合深度学习网络分类模型更适用于CT图像的分辨率特点，并且避免了模型过度提取过远切片之间的无用信息。此外，本发明的分组聚合深度学习网络分类模型采用了2D+3D的卷积方式不但提高了分组聚合深度学习网络分类模型的分类精度，而且还降低了分组聚合深度学习网络分类模型的参数量，缓解了3D卷积所存在的不足。此外，从表3中可以看出，去掉跨层长链接后精度有所下降，验证了跨层长链接设计方式的有效性。

Claims (3)

1.一种基于分组聚合深度学习模型的肋骨骨折CT图像分类方法，其特征在于包括以下步骤：

步骤1：获取一个干净数据集，该干净数据集中包含N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的标签；其中，N≥100，标签的值为1或0，标签的值为1时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨未出现骨折现象，标签的值为0时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨出现骨折现象；

步骤2：从干净数据集中的每幅经脱敏处理后的肋骨骨折CT图像中连续取80张切片，将N幅各自包含80张切片的肋骨骨折CT图像及对应的标签构成训练样本数据；其中，训练样本数据中的切片的长和宽对应为L和W，L和W均能够被4整除；

步骤3：构建一个分组聚合深度学习网络：该分组聚合深度学习网络包括切片分组阶段、特征提取阶段和聚合决策阶段，切片分组阶段由第1个3D卷积块、第2个3D卷积块、第1个3D的bottleneck模块、第2个3D的bottleneck模块、第3个3D卷积层依次连接组成，第1个3D卷积块由第1个3D卷积层和第1个batch normalization层组成，第2个3D卷积块由第2个3D卷积层和第2个batch normalization层组成，特征提取阶段由第1个2D的basicblock模块、第2个2D的basicblock模块、第3个2D的basicblock模块、第4个2D的basicblock模块依次连接组成；聚合决策阶段由第1个3D的basicblock模块、第2个3D的basicblock模块、第4个3D卷积层、1个全局平均池化层和1个全连接层组成；

对于切片分组阶段，第1个3D卷积层的输入端接收单通道的大小为80×L×W的肋骨骨折CT图像，第1个3D卷积层的输出端输出64通道的大小为

的特征图，将第1个3D卷积层的输出端输出的所有特征图构成的集合记为J1_3D；第1个batch normalization层的输入端接收J1_3D中的所有特征图经过一个relu激活函数后得到的所有特征图，第1个batchnormalization层的输出端输出64通道的大小为

的特征图，将第1个batchnormalization层的输出端输出的所有特征图构成的集合记为Ba1；第2个3D卷积层的输入端接收Ba1中的所有特征图，第2个3D卷积层的输出端输出64通道的大小为

的特征图，将第2个3D卷积层的输出端输出的所有特征图构成的集合记为J2_3D；第2个batchnormalization层的输入端接收J2_3D中的所有特征图经过一个relu激活函数后得到的所有特征图，第2个batch normalization层的输出端输出64通道的大小为

的特征图，将第2个batch normalization层的输出端输出的所有特征图构成的集合记为Ba2；第1个3D的bottleneck模块的输入端接收Ba2中的所有特征图，第1个3D的bottleneck模块的输出端输出64通道的大小为

的特征图，将第1个3D的bottleneck模块的输出端输出的所有特征图构成的集合记为BN1_3D；第2个3D的bottleneck模块的输入端接收BN1_3D中的所有特征图，第2个3D的bottleneck模块的输出端输出64通道的大小为

的特征图，将第2个3D的bottleneck模块的输出端输出的所有特征图构成的集合记为BN2_3D；第3个3D卷积层的输入端接收BN2_3D中的所有特征图，第3个3D卷积层的输出端输出64通道的大小为

的特征图，将第3个3D卷积层的输出端输出的所有特征图构成的集合记为J3_3D；对J3_3D中的所有特征图按顺序分组，分成20个切片组，每个切片组包含64通道的大小为

的特征图；

对于特征提取阶段，第1个2D的basicblock模块的输入端接收第i个切片组中的所有特征图，第1个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第1个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第2个2D的basicblock模块的输入端接收

中的所有特征图，第2个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第2个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第3个2D的basicblock模块的输入端接收

中的所有特征图，第3个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第3个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

第4个2D的basicblock模块的输入端接收

中的所有特征图，第4个2D的basicblock模块的输出端输出64通道的大小为

的特征图，将第4个2D的basicblock模块的输出端输出的所有特征图构成的集合记为

对于聚合决策阶段，将

中的所有特征图聚合成64通道的大小为

的特征图；第1个3D的basicblock模块的输入端接收聚合得到的所有特征图，第1个3D的basicblock模块的输出端输出64通道的大小为

的特征图，将第1个3D的basicblock模块的输出端输出的所有特征图构成的集合记为BB1_3D；第2个3D的basicblock模块的输入端接收BB1_3D中的所有特征图，第2个3D的basicblock模块的输出端输出64通道的大小为

的特征图，将第2个3D的basicblock模块的输出端输出的所有特征图构成的集合记为BB2_3D；将J3_3D中的每张特征图乘以权值，将得到的所有特征图构成的集合记为J3'_3D；对J3'_3D中的所有特征图与BB2_3D中的所有特征图进行对应元素相加操作，将对应元素相加操作后得到的所有特征图构成的集合记为Add；第4个3D卷积层的输入端接收Add中的所有特征图，第4个3D卷积层的输出端输出32通道的大小为

的特征图，将第4个3D卷积层的输出端输出的所有特征图构成的集合记为J4_3D；全局平均池化层的输入端接收J4_3D中的所有特征图，全局平均池化层的输出端输出32通道的特征；全连接层的输入端接收全局平均池化层的输出端输出的所有特征，全连接层的输出端输出2通道的特征；对全连接层的输出端输出的所有特征进行Softmax函数操作，得到分类分数，分类分数为区间[0,1]内的数；

其中，第1个3D卷积层和第2个3D卷积层的通道数均为64、卷积核大小均为3×3×3、卷积步长均为2，第3个3D卷积层的通道数为64、卷积核大小为3×3×3、卷积步长为1，1≤i≤20，

表示第1个2D的basicblock模块的输入端接收第1个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，

表示第1个2D的basicblock模块的输入端接收第2个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，

表示第1个2D的basicblock模块的输入端接收第20个切片组中的所有特征图时第4个2D的basicblock模块的输出端输出的所有特征图构成的集合，聚合的过程与分组的过程相反，权值为区间(0,1]内的数，第4个3D卷积层的通道数为32、卷积核大小为3×3×3、卷积步长为1，第1个3D的bottleneck模块、第2个3D的bottleneck模块、第1个2D的basicblock模块、第2个2D的basicblock模块、第3个2D的basicblock模块、第4个2D的basicblock模块、第1个3D的basicblock模块、第2个3D的basicblock模块的通道数均为64，全连接层的输入通道数为32，全连接层的输出通道数为2；

步骤4：将训练样本数据随机平均分成多个batch；然后将每个batch中的多幅单通道的大小为80×L×W的肋骨骨折CT图像作为输入参数，输入到分组聚合深度学习网络中进行训练，在训练过程中计算每个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像的分类分数的损失函数值，将损失函数值记为Loss，

其中，β_q和β_p是权重参数，

N_q表示一个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像对应的标签的值为1的数量，N_p表示一个batch中的所有单通道的大小为80×L×W的肋骨骨折CT图像对应的标签的值为0的数量，α是为了防止分母为0的固定参数，y表示一个batch中的每幅单通道的大小为80×L×W的肋骨骨折CT图像对应的标签，H表示分类分数；

步骤5：重复执行步骤4共Num次，训练得到分组聚合深度学习网络分类模型；其中，Num≥100；

步骤6：获取任意一幅经脱敏处理后的肋骨骨折CT图像作为测试图像；然后按步骤2中取切片的方式从测试图像中连续取80张切片；再将包含80张切片的测试图像作为输入参数，输入到分组聚合深度学习网络分类模型中，得到测试图像的分类分数；其中，测试图像中的切片的长和宽对应为L和W；

步骤7：判断测试图像的分类分数是否大于0.5，如果是，则判定测试图像中的肋骨未出现骨折现象；否则，判定测试图像中的肋骨出现骨折现象。

2.根据权利要求1所述的基于分组聚合深度学习模型的肋骨骨折CT图像分类方法，其特征在于所述的步骤1中，干净数据集的获取过程为：

步骤1_1：采集N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签；其中，原始的标签的值为1或0，原始的标签的值为1时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨原始判定为未出现骨折现象，原始的标签的值为0时表示对应的经脱敏处理后的肋骨骨折CT图像中的肋骨原始判定为出现骨折现象；

步骤1_2：将N幅经脱敏处理后的肋骨骨折CT图像及每幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签作为训练数据，输入到3D的HR-net模型中进行训练；在经过M轮训练后停止训练，得到每幅经脱敏处理后的肋骨骨折CT图像在每轮训练下的分类结果；其中，50≤M≤70，分类结果为1或0，分类结果为1时表示认为对应的经脱敏处理后的肋骨骨折CT图像中的肋骨未出现骨折现象，分类结果为0时表示认为对应的经脱敏处理后的肋骨骨折CT图像中的肋骨出现骨折现象；

步骤1_3：针对每幅经脱敏处理后的肋骨骨折CT图像，统计在第

轮至第M轮训练下的所有分类结果中值为0的分类结果的个数，如果统计的个数大于n，且该幅经脱敏处理后的肋骨骨折CT图像对应的原始的标签为1，则判定该幅经脱敏处理后的肋骨骨折CT图像为疑似脏数据，然后执行步骤1_4；而其余情况下，判定该幅经脱敏处理后的肋骨骨折CT图像为干净数据；其中，符号

为向下取整运算符号，10≤n≤20；

步骤1_4：对于每个疑似脏数据，由主治级医生重新判定该疑似脏数据中的肋骨是否出现骨折现象，如果判定该疑似脏数据中的肋骨出现骨折现象，则将该疑似脏数据对应的原始的标签修改为0，并将标签修改后的经脱敏处理后的肋骨骨折CT图像作为干净数据；如果判定该疑似脏数据中的肋骨未出现骨折现象，则保持该疑似脏数据对应的原始的标签不变，并将该疑似脏数据作为干净数据；至此得到干净数据集。

3.根据权利要求1或2所述的基于分组聚合深度学习模型的肋骨骨折CT图像分类方法，其特征在于所述的步骤4中，利用分组聚合深度学习网络训练时优化器采用Adam，学习率设置为0.001～0.01。

Images