CN112785591B - 一种ct影像中肋骨骨折的检测与分割方法及装置 - Google Patents

Abstract

本发明提供一种CT影像中肋骨骨折的检测与分割方法及装置，结合分类和分割方法分步进行，通过分类方法判断像素块的阴阳性后进行聚类得到骨折的近似位置，再基于骨折近似位置通过分割方法对局部图像进行分割获取确定的骨折位置，直接在三维空间中进行CT影像中骨折位置的自动检测，无需将CT影像展开为二维图像，且采用分类、聚类、分割结合的方式克服单纯目标检测方法存在的缺陷，使得该检测与分割方法可兼备假阳性低以及检出率高的技术效果。

Description

一种CT影像中肋骨骨折的检测与分割方法及装置

技术领域

本发明涉及医学影像处理领域，特别涉及一种CT影像中肋骨骨折的检测与分割方法及装置。

背景技术

骨折是指骨结构的连续性完全或部分断裂，多见于儿童及老年人，中青年人也时有发生。对病患拍摄CT影像是骨折诊断的重要医疗辅助手段，然而CT影像具有图片较多，人工阅片耗时耗力的缺陷，不仅加大了骨科医务人员的工作量，同时也极大程度地影响骨折诊断的效率和精度。特别的，肋骨骨折的病患往往是多根肋骨同时出现问题，针对这种情况，若是采用传统的人工阅片的方式，仅仅寻找定位骨折区域的动作就需要耗费骨科医务人员大量的时间，且骨科医务人员还需要逐一判别每个骨折的类型和程度。

近年来，以人工智能为基础的目标检测方法使得计算机自动检测骨折位置成为可能，医务人员仅需将CT影像或者其他医学影像输入到经训练的目标检测模型中，即可自动获取骨折位置，极大程度地减少了医务人员的工作量。

现有技术大部分针对针对肋骨的检测是采用将肋骨转换为二维图像，在二维图像中进行骨折位置的检测并最终定位到三维肋骨中的方式，比如CN110458799A,CN109035141A，在这种方式下现有技术采用单纯的目标检测方法进行骨折位置的检测，而单纯的目标检测方法存在假阳性和检出率无法兼顾的缺陷，若是控制假阳数量则对应的检出率就较低，若是提高检出率则对应的假阳数量也会增多。且肋骨影像在展开为二维影像，折叠回三维影像的过程中难免会造成影像数据的变形或丢失，且加大了骨折位置检测的计算处理工作。

发明内容

本发明的目的在于提供一种CT影像中肋骨骨折的检测与分割方法及装置，该方法直接在三维空间的CT影像中通过截取像素块的方式检测和分割骨折点，结合了分类、聚类、分割等方式规避单纯检测方法存在的问题，可兼备假阳性数量少，检出率高的效果。

为实现以上目的，本技术方案提供一种CT影像中肋骨骨折的检测与分割方法，包括：

获取肋骨CT影像，其中肋骨CT影像包括多张肋骨CT图像；

获取肋骨CT图像的肋骨三维中心线；

沿肋骨三维中心线间隔取像素块中心点，并以像素块中心点为中心在肋骨CT图像上截取像素块，遍历肋骨三维中心线，得到分类样本；

分类样本输入分类模块中获取阳性中心点坐标，聚类阳性中心点坐标得到类中心坐标，以类中心坐标为中心截取肋骨CT图像中的骨折像素块，骨折像素块输入分割模块中获取分割结果；

复位分割结果到肋骨CT图像中，获取肋骨骨折位置。

根据第二方面，提供一种CT影像中肋骨骨折的检测与分割装置，包括：

数据处理模块，用于获取肋骨CT图像以及对肋骨mask，进行骨架化处理得到肋骨三维中心线；基于肋骨三维中心线上间隔位置的像素块中心点截取像素块，得到分类样本；

分类模块，用于分类分类样本得到阳性中心点坐标；

聚类模块，用于聚类阳性中心点坐标并获取骨折像素块；

分割模块，用于基于骨折像素块获取分割结果；

复位模块，用于依据分割结果的中心点位置复位到肋骨CT图像中，获取肋骨骨折位置及骨折mask。

相较现有技术，本技术方案具有以下特点和有益效果：

1.本方案结合分类、聚类以及分割方法，先沿着肋骨的三维影像截取像素块，通过分类方式辨别像素块的阳性，再通过聚类方法进行聚类获取肋骨中骨折的近似定位区域，减少了假阳性的数量，利用分割方法对局部进行分割获取骨折的标记位置，以其克服单纯检测方法存在的问题，该方法可兼顾假阳性和检出率。

2.本方案直接在三维空间的肋骨CT影像中自动检测获取骨折位置，减少了将CT影像展开为二维影像的步骤，避免了影像在展开和折叠过程中可能出现的损失。

附图说明

图1是根据本发明的一实施例的CT影像中肋骨骨折的检测与分割方法的流程示意图。

图2是根据本发明的一实施例的CT影像中肋骨骨折的检测与分割方法的示例示意图，展示一组CT图像的示意图。

图3A和图3B是根据本发明的一实施例的CT影像中肋骨骨折的检测与分割方法的示例示意图，展示肋骨标记区的示意图。

图4是根据本发明的一实施例的CT影像中肋骨骨折的检测与分割方法的示例示意图，展示肋骨中心线的示意图。

图5A到图5C是根据本发明的一实施例的CT影像中肋骨骨折的检测与分割方法的示例示意图，展示截取的像素块的示意图。

图6A到图6D是根据本发明的一实施例的CT影像中肋骨骨折的检测与分割方法的示例示意图，展示分割结果的示意图。

图7A和图7B是根据本发明的一实施例的CT影像中肋骨骨折的检测与分割方法的示例示意图，展示全肋骨的骨折区的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的第一方面，本方案提供一种CT影像中肋骨骨折的检测与分割方法，该检测与分割方法直接在三维空间中进行CT影像中骨折位置的自动检测，无需将CT影像展开为二维图像，且采用分类、聚类、分割结合的方式克服单纯目标检测方法存在的缺陷，使得该检测与分割方法可兼备假阳性低以及检出率高的技术效果。

该CT影像中肋骨骨折的检测与分割方法包括以下步骤：

获取肋骨CT影像，其中肋骨CT影像包括多张肋骨CT图像；

对多张肋骨CT图像进行骨架化处理，获取肋骨的肋骨三维中心线；

沿肋骨的肋骨三维中心线间隔取像素块中心点，并以像素块中心点为中心在肋骨CT图像上截取像素块，遍历肋骨的肋骨三维中心线，得到分类样本；

分类样本输入训练好的分类模块中进行像素块的阴阳性判断，获取阳性中心点坐标，聚类阳性中心点坐标得到类中心坐标，以类中心坐标为中心截取肋骨CT图像中的骨折像素块，骨折像素块输入分割模块中获取分割结果；

依据分割结果的中心点坐标复位到肋骨CT图像中，获取肋骨骨折位置。

具体的，本方案提供的CT影像中肋骨骨折的检测与分割方法结合分类和分割方法分步进行，通过分类方法判断像素块的阴阳性后进行聚类得到骨折的近似位置，再基于骨折近似位置通过分割方法对局部图像进行分割获取确定的骨折位置。

另，为了便于后续算法对肋骨CT图像进行处理，本方案的肋骨CT影像的分辨率被统一调整，使肋骨CT图像的像素点在各个方向上所表示的距离统一，示例性的，肋骨CT影像的分辨率为0.5mm。

为了实现以上效果，在一些情况下需要对肋骨CT图像进行重采样：重采样使得肋骨CT图像的分辨率为设定值，每个像素点在各个方向上所表示的距离统一。

本方案的“对多张肋骨CT图像进行骨架化处理，获取肋骨的肋骨三维中心线”中，肋骨三维中心线对应三维空间的肋骨的骨架线，为三维结构。传统的二维展开图的方式会在过程中产生不必要的损失，然而本方案在三维空间完成所有的操作可避免信息的损失。

为了实现以上效果，利用经训练后的分割网络(U-Net)处理肋骨CT图像获取肋骨mask，并基于肋骨mask获取肋骨三维中心线。具体的，在肋骨CT图像上标记肋骨mask并训练分割网络，以使得分割网络可获取肋骨mask，基于肋骨mask进行骨架化处理，得到肋骨三维中心线。值得一提的是，肋骨三维中心线仅为肋骨中间的一条线。

本方案的“沿肋骨三维中心线间隔取像素块中心点，并以像素块中心点为中心在肋骨CT图像上截取像素块，遍历肋骨的肋骨三维中心线，得到分类样本”中的分类样本为包括多个像素块的肋骨CT图像，且每个像素块的块大小一致。

本方案的“沿肋骨三维中心线间隔取像素块中心点，并以像素块中心点为中心在肋骨CT图像上截取像素块，遍历肋骨的肋骨三维中心线，得到分类样本”包括：沿着肋骨三维中心线每间隔两个点取像素块中心点，以该像素块中心点为中心截取经过重采样的肋骨CT图像中的像素块，其中像素块为立方块。在本方案的实施例中，像素块的尺寸可以为：64*64*64。

示例性的，将原肋骨mask重采样到1.5mm分辨率后进行骨架化处理得到肋骨三维中心线，将肋骨三维中心线上各个点的坐标乘3即可获取肋骨三维中心线上间隔两个点的所有像素块中心点的点坐标，遍历所有点坐标取像素块即可，同时记录像素块中心点的点坐标。

由于本方案中肋骨三维中心线为三维结构，像素块也为三维结构，故得到的分类样本依旧为三维结构，使得本方案可在三维空间内完成所有的操作。

本方案的“分类样本输入训练好的分类模块中进行像素块的阴阳性判断，获取阳性中心点坐标”中的阳性中心点坐标为：阳性像素块的中心点的坐标，阳性像素块为阳性的像素块。在本方案中分类模块通过比对像素块的中心点是否位于内置骨折mask内来判断该像素块是否为阳性像素块。

分类模块的主要目的是判断输入的像素块的中心位置附近是否有骨折发生，即做二分类，该分类模块采用卷积神经网络3D resNet。示例性的，分类模块为18层卷积的3DresNet。

该分类模块的训练方式如下：

准备训练集：标注骨折mask以及肋骨三维中心线上的像素块，若肋骨三维中心线上的像素块中心点位于骨折mask内，则该像素块为阳性，否者为阴性；

设计分类模块模型：设计18层卷积的3D resNet；

训练分类模块模型：利用训练集训练分类模块模型，训练时使用交叉熵作为损失函数，使用Adam优化器，最终得到训练后的分类模块。

本方案的“分类样本输入训练好的分类模块中进行像素块的阴阳性判断，获取阳性中心点坐标”包括：将分类样本输入训练好的分类模块中，分类模块给出阳性像素块判定。

本方案的“聚类阳性中心点坐标得到类中心坐标，以类中心坐标为中心截取肋骨CT图像中的骨折像素块”中的聚类阳性中心点采用层次聚类法，设定类间距小于肋骨三维中心线中线与线之间的间隔，并将元素小于设定阈值的类删除，筛选得到不同组类，计算每组类的均值得到类中心坐标，该类中心坐标为骨折位置的粗略估计。

聚类阳性中心点的目的在于根据阳性中心点的位置进行聚类，且在聚类过程中采用欧式距离，通过将聚类的类间距设置的比肋骨间隙更小，以及将元素很少的组类进行删除以减少假阳性。

示例性的，设计聚类的类间距为20mm，小于肋骨间隔；将类别元素小于3个的类别删除，得到不同的组类，对每个组类取平均值得到类中心坐标，该类中心坐标作为骨折位置的粗略估计。

本方案的“以类中心坐标为中心截取肋骨CT图像中的骨折像素块，骨折像素块输入分割模块中获取分割结果”中，此时的骨折像素块依旧为立方块，分割结果为与骨折像素块大小一致的矩阵块，该矩阵块为局部位置的骨折mask。

本方案的“以类中心坐标为中心截取肋骨CT图像中的骨折像素块，骨折像素块输入分割模块中获取分割结果”包括：分割模块判断骨折像素块是否为骨折区域，输出与骨折像素块同样大小的矩阵，若矩阵内点的置信度大于设定阈值，则判断该骨折像素块内该点为骨折区域，当单个矩阵内出现多于一个连通域时，则可能该矩阵块出现了假阳性，对矩阵块内的每个连通域求和，得到网络confidence的和，保留confidence和最大的一个连通域的矩阵块，该矩阵块为该局部位置的骨折mask。

本方案通过聚类获取的骨折像素块为局部区域的大概结果，通过分割分割该骨折区域即可获取精准的骨折mask，骨折mask是一个带有清晰边缘的区域(形状比较复杂)，能够显示所分割物体的范围和清晰的边界。

示例性的，以每个类中心坐标为中心截取重采样后的肋骨CT图像得到64*64*64的骨折像素块，骨折像素块输入分割模块中，输出与骨折像素块同样大小的矩阵，若矩阵内点的置信度大于0.9则认为是骨折区域内的点置信度的为1，该矩阵块作为该局部位置的骨折mask。

分割模块的主要目的是根据聚类模块提供的骨折像素块获取确定的肋骨骨折mask。分割模块采用全卷积神经网络3D U-Net。

该分割模块的训练方式如下：

准备训练集：若骨折像素块的像素中心点位于骨折mask内，则截取骨折mask矩阵内同样位置同样大小的矩阵块，作为训练集；

设计分割模块模型：设计全卷积神经网络3D U-Net；

训练分割模块模型：利用训练集训练分割模块模型，训练使用损失函数为dice，优化器使用Adam；。

本方案的“依据分割结果的中心点位置复位到肋骨CT图像中，获取肋骨骨折位置”中的分割结果为矩阵块，获取矩阵块的中心点位置并复位到肋骨CT图像中，得到整个肋骨CT图像中所有的骨折位置及骨折mask。

示例性的，本方案结合实施例附图介绍本方案的CT影像中肋骨骨折的检测与分割方法的全过程：

如图2所示是肋骨CT图像，如图3A和图3B所示为肋骨mask，如图4所示是肋骨三维中心线的示意图，首先对肋骨CT图像进行重采样以使图像中的像素点在各个方向的距离一致，并统一调整CT图像的分辨率；依据肋骨mask骨架化获取肋骨三维中心线，图3仅提供截面示意图，实质上肋骨三维中心线为三维结构图。

如图5A到图5C所示，沿着肋骨三维中心线上的像素块中心点截取设定大小的像素块，在本方案中截取64*64*64的像素块。

如图6A到图6D所示，像素块经过分类模块后得到阳性分类块，阳性分类块的阳性中心点坐标被聚类后得到类中心坐标，基于类中心坐标截取骨折像素块，骨折像素块输入分割模块中得到分割结果，其中阴影部分为分割结果。

如图7A到7B所示，分割结果被复位到肋骨CT影像中以获取骨骨折位置。

根据本发明的第二方面，本方案提供一种CT影像中肋骨骨折的检测与分割装置，包括：

数据处理模块，用于获取肋骨CT图像以及对肋骨mask进行骨架化处理得到肋骨三维中心线；基于肋骨三维中心线上间隔位置的像素块中心点截取像素块，得到分类样本；

分类模块，用于分类分类样本得到阳性中心点坐标；

聚类模块，用于聚类阳性中心点坐标并获取骨折像素块；

分割模块，用于基于骨折像素块从肋骨CT图像中获取分割结果；

复位模块，用于依据分割结果的中心点位置复位到肋骨CT图像中，获取肋骨骨折位置。

值得一提的是，数据处理模块主要用于完成数据预处理、训练数据的获取以及配合其他模块进行运作，关于数据处理模块的数据处理方法参见第一方面所述的步骤介绍。

分类模块内置经训练得到的模型，其目的主要是依据输入的像素块判定此像素块的中心位置附近是否有骨折发生，即做二分类。模型为18层3D resNet，关于分类模块的数据处理方法参考第一方面所述的步骤介绍。

聚类模块采用层次聚类法，其目的主要是根据分类模块给出的结果，对分类阳性的阳性像素块中心所在的位置进行聚类，得到多个组类，理论上组类的中心即为骨折位置，但是因为分类中常常出现假阳性，所以聚类也是去除假阳性的重要步骤。聚类所获得的假阳性的组类一般较小可能只有一两个孤立的点。因此聚类后将小的组类去掉以去掉部分假阳，聚类距离采用欧式距离，将聚类的最大间距设置到比肋骨间隙更小基本可以实现上述目的，关于聚类模块的数据处理方法参考第一方面所述的步骤介绍。

分割模块的目的主要是根据聚类模块提供的骨折粗略位置获取肋骨骨折处的mask，根据骨折粗略位置截取原图中64X64X64的块，输入分割模块，得到骨折mask。模型采用3D U-Net，关于分割模块的数据处理方法参考第一方面所述的步骤介绍。

根据本发明的第三方面，提供一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行CT影像中肋骨骨折的检测与分割方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的CT影像中肋骨骨折的检测与分割方法系统中上述功能。

用于实现本方案实施例一种CT影像中肋骨骨折的检测与分割方法的服务器的计算机系统包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以上CT影像中肋骨骨折的检测与分割方法所对应过的流程步骤。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种CT影像中肋骨骨折的检测与分割方法，其特征在于，包括：

获取肋骨CT影像，其中肋骨CT影像包括多张肋骨CT图像；

获取肋骨CT图像的肋骨三维中心线；

沿肋骨三维中心线间隔取像素块中心点，并以像素块中心点为中心在肋骨CT图像上截取像素块，遍历肋骨三维中心线，得到分类样本；

分类样本输入分类模块中获取阳性中心点坐标，聚类阳性中心点坐标得到类中心坐标，以类中心坐标为中心截取肋骨CT图像中的骨折像素块，骨折像素块输入分割模块中获取分割结果，所述阳性中心点为阳性像素块的中心点；

复位分割结果到肋骨CT图像中，获取肋骨骨折位置。

2.根据权利要求1所述的CT影像中肋骨骨折的检测与分割方法，其特征在于，“获取肋骨CT影像，其中肋骨CT影像包括多张肋骨CT图像”包括统一调整肋骨CT影像的分辨率，使肋骨CT图像的像素点在各个方向上所表示的距离统一。

3.根据权利要求1所述的CT影像中肋骨骨折的检测与分割方法，其特征在于，“获取肋骨CT图像的肋骨三维中心线”包括：基于肋骨CT图像获取肋骨mask，基于肋骨mask进行骨架化处理，得到肋骨三维中心线。

4.根据权利要求1所述的CT影像中肋骨骨折的检测与分割方法，其特征在于，“得到分类样本”中的分类样本为包括多个像素块的肋骨CT图像，且每个像素块的块大小一致。

5.根据权利要求1所述的CT影像中肋骨骨折的检测与分割方法，其特征在于，“聚类阳性中心点坐标得到类中心坐标，以类中心坐标为中心截取肋骨CT图像中的骨折像素块”中的聚类方法采用层次聚类法，设定类间距小于肋骨三维中心线中线与线之间的间隔。

6.根据权利要求5所述的CT影像中肋骨骨折的检测与分割方法，其特征在于，将元素小于设定阈值的组类删除。

7.根据权利要求1所述的CT影像中肋骨骨折的检测与分割方法，其特征在于，“以类中心坐标为中心截取肋骨CT图像中的骨折像素块，骨折像素块输入分割模块中获取分割结果”中的骨折像素块为立方块，分割结果为与骨折像素块大小一致的矩阵块。

8.根据权利要求7所述的CT影像中肋骨骨折的检测与分割方法，其特征在于，“获取分割结果”包括：当单个矩阵块内出现多于一个连通域时，则可能该矩阵块出现了假阳性，对矩阵块的每个连通域内的confidence求和，得到网络confidence的和，保留confidence和最大的一个连通域的矩阵块。

9.一种CT影像中肋骨骨折的检测与分割装置，其特征在于，包括：

数据处理模块，用于获取肋骨CT图像以及肋骨mask,基于肋骨mask进行骨架化处理得到肋骨三维中心线；基于肋骨三维中心线上间隔位置的像素块中心点截取像素块，得到分类样本；

分类模块，用于分类分类样本得到阳性中心点坐标，所述阳性中心点为阳性像素块的中心点；

聚类模块，用于聚类阳性中心点坐标并获取骨折像素块；

分割模块，用于基于骨折像素块获取分割结果；

复位模块，用于依据分割结果的中心点位置复位到肋骨CT图像中，获取肋骨骨折位置及骨折mask。

Images