CN116091469B - 骨折检测方法、装置、电子设备及介质 - Google Patents
骨折检测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN116091469B CN116091469B CN202310118971.5A CN202310118971A CN116091469B CN 116091469 B CN116091469 B CN 116091469B CN 202310118971 A CN202310118971 A CN 202310118971A CN 116091469 B CN116091469 B CN 116091469B
- Authority
- CN
- China
- Prior art keywords
- fracture
- detection
- image
- result
- bone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 230000011218 segmentation Effects 0.000 claims abstract description 85
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 80
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000002980 postoperative effect Effects 0.000 claims description 3
- 206010017076 Fracture Diseases 0.000 description 127
- 208000010392 Bone Fractures Diseases 0.000 description 126
- 238000002591 computed tomography Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 13
- 210000000038 chest Anatomy 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 4
- 210000001562 sternum Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 210000001991 scapula Anatomy 0.000 description 2
- 208000006670 Multiple fractures Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开实施例提供了一种骨折检测方法、装置、电子设备及介质。该骨折检测方法包括获得待处理图像;采用骨骼分割模型处理所述待处理图像,得到骨骼分割结果;采用骨折检测模型处理所述待处理图像,得到第一检测结果;以及基于所述骨骼分割结果处理所述第一检测结果,得到第二检测结果。
Description
技术领域
本公开涉及医学影像处理领域,尤其涉及一种骨折检测方法、装置、电子设备及介质。
背景技术
随着医学影像技术的不断发展,人工智能水平的不断进步,人工智能和医学影像的结合越来越深,通过人工智能算法的医学影像处理技术得到飞跃发展。通过深度学习算法对医学影像进行处理,可以实现对骨折的检测。然而,现有骨折检测方法的检测性能有待提高,且无法精准定位骨折位置,不利于医生做出诊断。
发明内容
为解决相关技术中的问题,本公开实施例提供了一种骨折检测方法、装置、电子设备及介质。
本公开实施例的一个方面提供了一种骨折检测方法,包括获得待处理图像;采用骨骼分割模型处理待处理图像,得到骨骼分割结果;采用骨折检测模型处理待处理图像,得到第一检测结果;以及基于骨骼分割结果处理第一检测结果,得到第二检测结果。
根据本公开实施例,骨骼分割模型的框架为3D U-Net网络结构,其中,下采样和上采样的卷积层采用残差块结构,激活函数采用Leaky ReLU,归一化层采用Instance Norm。
根据本公开实施例,采用骨骼分割模型处理待处理图像,得到骨骼分割结果包括,采用骨骼分割模型处理待处理图像,得到初步分割结果;对初步分割结果进行连通域分析,去除满足预定条件的连通域,得到骨骼分割结果。
根据本公开实施例,该预定条件包括:面积或体积小于第一阈值的连通域;并且/或者,与其他连通域的距离大于第二阈值。
根据本公开实施例,骨折检测模型包括特征提取部和骨折检测部,其中,特征提取部采用ResNet-50的特征提取部分,骨折检测部采用3D-FCOS网络结构。
根据本公开实施例,骨骼分割结果包括至少一个骨骼区域,第一检测结果包括至少一个骨折区域,基于骨骼分割结果处理第一检测结果,得到第二检测结果包括,从至少一个骨折区域中,去除与任一骨骼区域之间不存在位置对应关系的骨折区域;在骨折区域与至少一个骨骼区域之间存在位置对应关系的情况下,确定骨折区域对应的骨骼区域,以便生成第二检测结果。
根据本公开实施例,该骨折检测方法还包括,采用骨折分类模型处理第二检测结果,得到骨折分类结果,其中,骨折分类结果包括新鲜期骨折、陈旧期骨折、术后、疑似骨折和其他异常中的一种或多种。
根据本公开实施例,骨折分类模型的骨干网络采用ResNet-34的特征提取部分,在多尺度特征图的输出后接入多头自注意力模块、平均池化层和全连接层。
本公开实施例的另一个方面提供了一种骨折检测装置,包括获得模块、分割模块、检测模块以及处理模块。获得模块,被配置为获得待处理图像;分割模块,被配置为采用骨骼分割模型处理待处理图像,得到骨骼分割结果;检测模块,被配置为采用骨折检测模型处理待处理图像,得到第一检测结果;处理模块,被配置为基于骨骼分割结果处理第一检测结果,得到第二检测结果。
本公开实施例的另一个方面提供了一种电子设备,包括至少一个处理器;以及,与至少一个处理器通信连接的存储器。其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使得处理器实现如上所述的方法。
本公开实施例的另一个方面提供了一种计算机可读存储介质,其上存储有计算机可读指令,指令被处理器执行时使得处理器实现如上所述的方法。
本公开实施例的另一个方面提供了一种计算机程序,其被处理器执行时使得处理器实现如上所述的方法。
根据本公开实施例的技术方案,通过获得待处理图像;采用骨骼分割模型处理待处理图像,得到骨骼分割结果;采用骨折检测模型处理待处理图像,得到第一检测结果;以及基于骨骼分割结果处理第一检测结果,得到第二检测结果,从而可以提高检测性能,同时能够准确定位骨折位置。
附图说明
结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:
图1示意性示出应用本公开实施例的骨折检测方法的系统架构示意图;
图2示意性示出本公开实施例的骨折检测方法的流程图;
图3示意性示出本公开实施例的骨骼分割的流程图;
图4示意性示出本公开实施例的处理第一检测结果的流程图;
图5示意性示出本公开另一实施例的骨折检测方法的流程图;
图6示意性示出本公开实施例的骨折分类模型的示意图;
图7示意性示出本公开实施例的骨折检测装置的框图;以及
图8示意性示出适于实现本公开实施例的骨折检测方法和装置的计算机系统的结构示意图。
具体实施方式
下文中,将参考附图详细描述本公开的示例性实施例,以使本领域技术人员更容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施例无关的部分。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
应当注意的是,本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。
本公开实施例提供了一种骨折检测方法,包括获得待处理图像;采用骨骼分割模型处理所述待处理图像,得到骨骼分割结果;采用骨折检测模型处理所述待处理图像,得到第一检测结果;以及基于所述骨骼分割结果处理所述第一检测结果,得到第二检测结果,从而可以提高检测性能,同时能够准确定位骨折位置。
以下结合附图,详细说明本公开各实施例提供的技术方案。
图1示意性示出应用本公开实施例的骨折检测方法的系统架构示意图。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如具有医学影像显示、病灶显示和编辑、报告生成等功能的专用应用程序。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种专用或通用的电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现为多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现为单个软件或软件模块。
服务器105可以是提供各种服务的服务器,例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。例如,服务器可以训练并运行骨骼分割模型和骨折检测模型,实现骨骼分割和骨折检测功能,以便将自动检测的结果显示在终端设备101、102、103上。
服务器105可以是硬件,也可以是软件。当服务器105为硬件时,可以实现为多个服务器组成的分布式服务器集群,也可以实现为单个服务器。当服务器105为软件时,可以实现为多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现为单个软件或软件模块。
本公开实施例提供的骨折检测方法例如可以由服务器105执行,也可以由终端设备101、102、103执行。或者,本公开实施例的骨折检测方法可以部分地由终端设备101、102、103执行,其他部分由服务器105执行。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出本公开实施例的骨折检测方法的流程图。
如图2所示,该骨折检测方法包括操作S210-S240。
在操作S210,获得待处理图像。
在操作S220,采用骨骼分割模型处理所述待处理图像,得到骨骼分割结果。
在操作S230,采用骨折检测模型处理所述待处理图像,得到第一检测结果。
在操作S240,基于所述骨骼分割结果处理所述第一检测结果,得到第二检测结果。
根据本公开实施例,待处理图像为能够用于检测骨折的医学图像,例如可以是CT图像。CT(Computed Tomography),即电子计算机断层扫描,它是利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描,具有扫描时间快,图像清晰等特点,可用于多种疾病的检查。
根据本公开实施例,骨骼分割模型的训练数据可以来自专家对若干CT图像标注,训练时对输入数据加入多种图像增强方式,包含顺逆时针随机旋转0-30度、一定尺度的随机缩放、随机左右镜像、一定尺度的随机裁剪。训练过程中的损失函数可以采用Dice Loss。
根据本公开实施例,骨骼分割模型可以选用已有的分割模型。优选地,本公开实施例提供的骨骼分割模型可以采用3D U-Net网络结构的框架,将其中下采样和上采样的卷积层替换为残差块结构,其中的激活函数由ReLU替换为Leaky ReLU,归一化层由Batch Norm替换为Instance Norm。输出层可以包括多个输出通道,例如,在胸部CT的场景下,输出通道可以包括24根肋骨、24节脊椎、胸骨、左右锁骨和左右肩胛骨的分割结果,以掩码的形式表示。以Dice指标评估分割质量,在经过样本增强后使用如上所述的骨骼分割模型,其相对于普通的3DU-net而言,Dice值由0.84上升至0.95,表现出更好的分割能力。
根据本公开实施例,可以采用交叉验证的训练方法,并在预测过程中利用多个模型进行集成预测,由此可以进一步提高骨骼分割的精度。
根据本公开实施例,骨骼分割模型在训练和预测过程中均可以采用滑窗机制,以特定大小和特定重叠度大小的正方体滑窗在预处理CT图像上滑动进行采样,将采样图像作为网络模型的输入进行训练和推理。由此可以降低系统的处理负担。
根据本公开实施例,待处理图像在输入骨骼分割模型之前,可以进行一定的预处理。例如,对于CT图像而言,由于不同设备采集到的CT图像分辨率和体素尺寸不同,可以将分辨率和体素尺寸统一;由于CT图像像素的CT值范围很宽,可以对CT影像进行骨窗归一化处理,例如可以设定窗宽值为2000,窗位值为700,并将处理后的值归一化为-1到1之间。
图3示意性示出本公开实施例的骨骼分割的流程图。
如图3所示,操作S220可以包括操作S310和S320。
在操作S310,采用骨骼分割模型处理所述待处理图像,得到初步分割结果。
在操作S320,对所述初步分割结果进行连通域分析,去除满足预定条件的连通域,得到骨骼分割结果。
根据本公开实施例,该预定条件可以包括面积或体积小于第一阈值的连通域。对于二维图像,可以定义面积阈值;对于三维图像,可以定义体积阈值。例如,在CT影像中,某钙化结节可能以一个较高的测量值被采集到,然而由于其体积相对于骨骼而言明显较小,可以通过体积阈值处理进行去除。
根据本公开实施例,该预定条件可以包括,与其他连通域的距离大于第二阈值。例如,某些骨折可能在一块骨骼的附近产生多个较小的连通域,相对于肺部钙化结节而言,这些较小的连通域距离其他连通域的距离很近,通过距离阈值的设定,可以在剔除肺部钙化结节的同时,保留因骨折导致的骨骼碎片的部分。
根据本公开实施例提供的技术方案,通过连通域处理和配套规则的设置,可以针对性地去除某些噪声,并保留感兴趣的部分。
根据本公开实施例提供的技术方案,通过骨骼分割模型可以确定每个骨骼的位置,例如,对于胸部骨骼检测场景,通过使用骨骼分割模型对待处理的CT图像进行处理,可以得到待处理CT图像中胸部骨骼分割结果,包含24根肋骨、24节脊椎、胸骨、左右锁骨和左右肩胛骨的分割结果。
根据本公开实施例,骨折检测模型可以选用已有的模型。优选地,本公开实施例的骨折检测模型包括特征提取部和骨折检测部,其中,特征提取部采用ResNet-50的特征提取部分,骨折检测部采用3D-FCOS网络结构。例如,该模型采用ResNet-50作为骨干网络提取特征,移除其中的全局平局池化层和全连接层,可以得到分辨率由高到低共5阶段特征图C1-C5,将特征图C3-C5进行上采样结合横向连接构建p3-p5特征图,特征图p6由特征图p5降采样得到,特征图p7由特征图p6降采样得到,特征图p3-p7构造特征金字塔(FPN),FPN结合多尺度多层级信息,FPN后接FCOS Head模块输出检测框位置和置信度的信息。
根据本公开实施例提供的技术方案,该骨折检测模型能够充分利用骨折区段的空间连续性,更好地适应各种不同的骨折病例,克服现有二维深度学习网络在严重程度较大的骨折区段和术后区段容易出现漏层检出问题。
根据本公开实施例,骨折检测模型可以采用与骨骼分割模型相同或类似的预处理方法,此处不再赘述。特别地,分辨率统一化可以采用多尺度方式,将待处理图像的分辨率统一到不同的目标尺度,例如可以采用3种不同的目标尺度。通过上述方式,可以更好地检测不同尺度的骨折目标。
根据本公开实施例,骨折检测模型可以采用滑窗机制,以特定大小和特定重叠度大小的正方体滑窗在多尺度预处理CT图像上滑动进行采样,对采样图像利用骨折检测模型进行处理,可以得到多尺度CT图像中的骨折检测结果。在检测完成后,将各尺度CT图像中的骨折检测结果对齐到原始CT图像大小。如此可以降低系统的运算负担。
根据本公开实施例,在检测完成后,可以对所有的骨折检测结果进行非极大值抑制(NMS)处理,消除冗余检测框。
根据本公开实施例,在操作S230步骤,通过骨折检测模型得到的骨折检测结果为第一检测结果。需要结合骨骼分割结果进一步生成最终的第二检测结果。
根据本公开实施例,骨骼分割结果可以包括至少一个骨骼区域,第一检测结果可以包括至少一个骨折区域。例如,骨骼分割结果可以表示为一个或多个掩码图像,每个掩码图像表示一块骨骼所在的区域。第一检测结果可以包括一个或多个骨折检测框,每个骨折检测框表示一个骨折位置。
根据本公开实施例,骨骼分割结果和第一检测结果之间具有一定的相关性,可以利用骨骼分割结果处理第一检测结果,得到第二检测结果,如此得到的骨折检测结果更加准确。
图4示意性示出本公开实施例的处理第一检测结果的流程图。
如图4所示,操作S240可以包括操作S410和S420。
在操作S410,从所述至少一个骨折区域中,去除与任一所述骨骼区域之间不存在位置对应关系的骨折区域。
在操作S420,在所述骨折区域与至少一个所述骨骼区域之间存在位置对应关系的情况下,确定所述骨折区域对应的骨骼区域,以便生成第二检测结果。
根据本公开实施例,利用之前得到的待处理CT图像对应的骨骼分割结果,计算各骨折区域中骨骼分割结果的分布。例如,某个骨折区域内可以包含一个或多个骨骼区域,可以选择面积或体积占比最多的骨骼区域,确定骨折发生的骨骼位置,从而可以将骨折落实在具体的骨骼位置上,例如骨折发生在某根肋骨,第几节脊椎,或者左右哪根锁骨上。
根据本公开实施例,如果某个骨折区域内,不包含任一骨骼分割结果确定的骨骼区域,说明该位置不可能产生骨折,视为假阳性进行去除。
根据本公开实施例提供的技术方案,可以实现骨折检测的精准定位,将骨折检测结果精准地定位在具体的骨骼上。
本公开实施例的技术方案尤其可以应用于CT医学影像的胸部骨折检测,相较于现有技术具有如下优势:
1)通过本技术方案提出的一种用于CT医学影像的胸部骨折处理方法,可以一站式实现对胸部骨骼的精细分割,以及骨折的精准检测定位和分类识别,通过深度学习方法,有效地结合骨折病灶区域的空间连续性信息,对待处理CT图像的精细预处理方法以及模型训练过程中丰富的图像增强方法,极大地提高了胸部骨骼的分割、骨折检测定位和分类识别的精度。
2)本技术方案可以实现对CT图像中胸部骨骼的精细分割,包含24根肋骨、24节脊椎、胸骨、左右锁骨和左右肩胛骨,可以实现对CT图像中胸部骨折的全方位检测,通过检测框结合骨分割结果可以实现骨折的精准定位,具体在第几根肋骨、第几节脊椎或者胸骨等位置。
图5示意性示出本公开另一实施例的骨折检测方法的流程图。
如图5所示,该骨折检测方法在图2所示意的实施例的基础上,还可以包括操作S510。
在操作S510,采用骨折分类模型处理所述第二检测结果,得到骨折分类结果。其中,所述骨折分类结果包括新鲜期骨折、陈旧期骨折、术后、疑似骨折和其他异常中的一种或多种。
根据本公开实施例,对待处理的CT图像利用骨折检测模型处理,可以得到骨折检测结果,利用骨折分类模型对骨折检测框内的骨折图像进行处理,可以实现对骨折的分类识别。
根据本公开实施例,骨折分类模型可以选用已有的分类模型。优选地,本公开实施例的骨折分类模型的骨干网络可以采用ResNet-34的特征提取部分,并在多尺度特征图的输出后接入多头自注意力模块、平均池化层和全连接层。
图6示意性示出本公开实施例的骨折分类模型的示意图。
如图6所示,该模型中的输入图像为骨折区域图像,骨折区域图像的确定依赖于第二检测结果。可以将原始CT图像中骨折检测框中的图像进行提取,得到骨折区域图像。
根据本公开实施例,提取得到的骨折区域图像可以进行预处理,预处理包含分辨率统一化和骨窗归一化处理,与上文描述的预处理方式相同或类似。分辨率统一化的目标大小例如可以为48*48*48的正方体像素大小。
根据本公开实施例,骨折区域图像经过ResNet-34骨干网络提取特征,其中,ResNet-34中已经移除了全局平均池化层和全连接层。将提取得到的特征图C2-C5后接多头自注意力模块,可以得到特征图H1-H4。将特征图H1-H4分别进行平均池化操作,然后将4个特征图合并,最终通过全连接层进行预测类别输出,可以得到最终预测的骨折分类结果。
根据本公开实施例,骨折分类模型的训练数据可以来自专家对若干包含多种骨折的CT图像进行骨折类别标注。训练时对输入数据加入多种图像增强方式,包含顺逆时针随机旋转0-90度、随机镜像、一定尺度的随机缩放,一定尺度的随机裁剪。训练损失为类别损失,可采用交叉熵损失进行计算。
根据本公开实施例提供的技术方案,精准的骨折定位有利于准确地分类,在骨折检测后进行类别预测,包含定位信息和分类信息的骨折预测具有更大的参考价值,能够更好地辅助医生的工作。
基于同一发明构思,本公开还提供了一种骨折检测装置,下面参照图7对本公开实施例的骨折检测装置进行说明。
图7示意性示出本公开实施例的骨折检测装置700的框图。其中,该装置700可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图7所示,该骨折检测装置700包括获得模块710、分割模块720、检测模块730和处理模块740。该骨折检测装置700可以执行上文描述的各种方法。
获得模块710,被配置为获得待处理图像。
分割模块720,被配置为采用骨骼分割模型处理所述待处理图像,得到骨骼分割结果。
检测模块730,被配置为采用骨折检测模型处理所述待处理图像,得到第一检测结果。
处理模块740,被配置为基于所述骨骼分割结果处理所述第一检测结果,得到第二检测结果。
图8示意性示出适于实现本公开实施例的骨折检测方法和装置的计算机系统的结构示意图。
如图8所示,计算机系统800包括处理单元801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行上述实施例中的各种处理。在RAM803中,还存储有系统800操作所需的各种程序和数据。处理单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。其中,所述处理单元801可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地,根据本公开的实施例,上文描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行本公开实施例的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (7)
1.一种骨折检测方法,其特征在于,包括:
获得待处理图像;
采用骨骼分割模型处理所述待处理图像,得到骨骼分割结果,所述骨骼分割结果包括至少一个骨骼区域,所述骨骼分割模型的框架为3D U-Net网络结构,其中,下采样和上采样的卷积层采用残差块结构,激活函数采用Leaky ReLU,归一化层采用Instance Norm;
采用骨折检测模型处理所述待处理图像,得到第一检测结果,所述第一检测结果包括至少一个骨折区域,所述骨折检测模型包括特征提取部和骨折检测部,其中,特征提取部采用ResNet-50的特征提取部分,骨折检测部采用3D-FCOS网络结构;以及
基于所述骨骼分割结果处理所述第一检测结果,得到第二检测结果,包括:从所述至少一个骨折区域中,去除与任一所述骨骼区域之间不存在位置对应关系的骨折区域;在所述骨折区域与至少一个所述骨骼区域之间存在位置对应关系的情况下,确定所述骨折区域对应的骨骼区域,以便生成第二检测结果。
2.根据权利要求1所述的方法,其特征在于,所述采用骨骼分割模型处理所述待处理图像,得到骨骼分割结果,包括:
采用骨骼分割模型处理所述待处理图像,得到初步分割结果;
对所述初步分割结果进行连通域分析,去除满足预定条件的连通域,得到骨骼分割结果,
其中,所述预定条件包括:
面积或体积小于第一阈值的连通域;并且/或者
与其他连通域的距离大于第二阈值。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
采用骨折分类模型处理所述第二检测结果,得到骨折分类结果,其中,所述骨折分类结果包括新鲜期骨折、陈旧期骨折、术后、疑似骨折和其他异常中的一种或多种。
4.根据权利要求3所述的方法,其特征在于,所述骨折分类模型的骨干网络采用ResNet-34的特征提取部分,在多尺度特征图的输出后接入多头自注意力模块、平均池化层和全连接层。
5.一种骨折检测装置,其特征在于,包括:
获得模块,被配置为获得待处理图像;
分割模块,被配置为采用骨骼分割模型处理所述待处理图像,得到骨骼分割结果,所述骨骼分割结果包括至少一个骨骼区域,所述骨骼分割模型的框架为3D U-Net网络结构,其中,下采样和上采样的卷积层采用残差块结构,激活函数采用Leaky ReLU,归一化层采用Instance Norm;
检测模块,被配置为采用骨折检测模型处理所述待处理图像,得到第一检测结果,所述第一检测结果包括至少一个骨折区域,所述骨折检测模型包括特征提取部和骨折检测部,其中,特征提取部采用ResNet-50的特征提取部分,骨折检测部采用3D-FCOS网络结构;以及
处理模块,被配置为基于所述骨骼分割结果处理所述第一检测结果,得到第二检测结果,包括:从所述至少一个骨折区域中,去除与任一所述骨骼区域之间不存在位置对应关系的骨折区域;在所述骨折区域与至少一个所述骨骼区域之间存在位置对应关系的情况下,确定所述骨折区域对应的骨骼区域,以便生成第二检测结果。
6.一种电子设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质,其上存储有计算机可读指令,所述指令被处理器执行时使得处理器执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310118971.5A CN116091469B (zh) | 2023-01-31 | 2023-01-31 | 骨折检测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310118971.5A CN116091469B (zh) | 2023-01-31 | 2023-01-31 | 骨折检测方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116091469A CN116091469A (zh) | 2023-05-09 |
CN116091469B true CN116091469B (zh) | 2023-11-21 |
Family
ID=86200717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310118971.5A Active CN116091469B (zh) | 2023-01-31 | 2023-01-31 | 骨折检测方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116091469B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117679643A (zh) * | 2024-01-05 | 2024-03-12 | 天津大学 | 用于脊髓损伤康复的多脊髓节段协同电刺激方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325745A (zh) * | 2020-03-09 | 2020-06-23 | 北京深睿博联科技有限责任公司 | 骨折区域分析方法和装置、电子设备及可读存储介质 |
CN112489005A (zh) * | 2020-11-26 | 2021-03-12 | 推想医疗科技股份有限公司 | 骨分割方法及装置、骨折检出方法及装置 |
CN112819811A (zh) * | 2021-02-24 | 2021-05-18 | 上海商汤智能科技有限公司 | 图像分析方法及相关装置、电子设备、存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9480439B2 (en) * | 2012-11-01 | 2016-11-01 | Virginia Commonwealth University | Segmentation and fracture detection in CT images |
-
2023
- 2023-01-31 CN CN202310118971.5A patent/CN116091469B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325745A (zh) * | 2020-03-09 | 2020-06-23 | 北京深睿博联科技有限责任公司 | 骨折区域分析方法和装置、电子设备及可读存储介质 |
CN112489005A (zh) * | 2020-11-26 | 2021-03-12 | 推想医疗科技股份有限公司 | 骨分割方法及装置、骨折检出方法及装置 |
CN112819811A (zh) * | 2021-02-24 | 2021-05-18 | 上海商汤智能科技有限公司 | 图像分析方法及相关装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116091469A (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11710233B2 (en) | Three-dimensional medical image analysis method and system for identification of vertebral fractures | |
EP3511942B1 (en) | Cross-domain image analysis using deep image-to-image networks and adversarial networks | |
US11403750B2 (en) | Localization and classification of abnormalities in medical images | |
US20130136322A1 (en) | Image-Based Detection Using Hierarchical Learning | |
CN111210897A (zh) | 处理医学图像 | |
US10366488B2 (en) | Image processing used to estimate abnormalities | |
CN111192248B (zh) | 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法 | |
CN110599421A (zh) | 模型训练方法、视频模糊帧转换方法、设备及存储介质 | |
US11935213B2 (en) | Laparoscopic image smoke removal method based on generative adversarial network | |
CN116091469B (zh) | 骨折检测方法、装置、电子设备及介质 | |
EP3722996A2 (en) | Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof | |
CN113506308A (zh) | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 | |
EP3107031A1 (en) | Method, apparatus and system for spine labeling | |
Shen et al. | 3D Gabor wavelets for evaluating SPM normalization algorithm | |
Koh et al. | Automatic spinal canal detection in lumbar MR images in the sagittal view using dynamic programming | |
CN115439453A (zh) | 一种脊椎椎体定位方法、装置、电子设备及存储介质 | |
CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
CN115131301A (zh) | 基于深度学习的智能识别骨关节炎的方法及系统 | |
CN112233126B (zh) | 医学图像的加窗方法及装置 | |
CN113450306A (zh) | 提供骨折检测工具的方法 | |
CN115984229B (zh) | 模型训练方法、乳腺测量方法、装置、电子设备及介质 | |
Bilgot et al. | Edge detection and classification in X-ray images. Application to interventional 3D vertebra shape reconstruction | |
CN116309751B (zh) | 影像处理方法、装置、电子设备及介质 | |
CN116310627B (zh) | 模型训练方法、轮廓预测方法、装置、电子设备及介质 | |
Jagadeeshwar et al. | Medical Image Contrast Enhancement using Tuned Fuzzy Logic Intensification for COVID-19 Detection Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000 Applicant after: Zhejiang Yizhun Intelligent Technology Co.,Ltd. Address before: No. 301, 3rd Floor, Zhizhen Building, No. 7 Zhichun Road, Haidian District, Beijing, 100000 Applicant before: Beijing Yizhun Intelligent Technology Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |