CN111513743A - 一种骨折检测方法及装置 - Google Patents

一种骨折检测方法及装置 Download PDF

Info

Publication number
CN111513743A
CN111513743A CN202010278205.1A CN202010278205A CN111513743A CN 111513743 A CN111513743 A CN 111513743A CN 202010278205 A CN202010278205 A CN 202010278205A CN 111513743 A CN111513743 A CN 111513743A
Authority
CN
China
Prior art keywords
rib
fracture
detection
determining
probability value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010278205.1A
Other languages
English (en)
Other versions
CN111513743B (zh
Inventor
郭又文
李其花
孟祥水
田广野
韩月乔
吴乙荣
庞晓磊
陈永健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Medical Equipment Co Ltd
Original Assignee
Qingdao Hisense Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Medical Equipment Co Ltd filed Critical Qingdao Hisense Medical Equipment Co Ltd
Priority to CN202010278205.1A priority Critical patent/CN111513743B/zh
Publication of CN111513743A publication Critical patent/CN111513743A/zh
Application granted granted Critical
Publication of CN111513743B publication Critical patent/CN111513743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请公开了一种骨折检测方法及装置,用以提高骨折自动检测准确率以及工作效率。本申请提供的一种骨折检测方法,包括:确定骨折患者胸腔图像的肋骨检测框;确定每一肋骨检测框内肋骨发生骨折的概率值;基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。

Description

一种骨折检测方法及装置
技术领域
本申请涉及医学图像处理技术领域,尤其涉及一种骨折检测方法及装置。
背景技术
当胸部受到直接或者间接应力时,肋骨骨折是最常见的症状,约占胸廓骨折的90%,儿童的肋骨富有弹性,不易折断,而成年人尤其是老年人,肋骨弹性减弱,容易发生骨折;因此随着老龄化的加剧,肋骨骨折患者会呈现不断上升的趋势。计算机断层扫描(Computed Tomography,CT)影像是目前临床上肋骨骨折诊断常用影像,具备大范围、薄层、高分辨率等优势,可以有效地展示肋骨全貌或肋骨全貌的3/4,避免由于X光片中肋骨骨折患者病变部位影像重叠导致的某些病变模糊而难以准确诊断的情况,但是由于肋骨数量多、空间关系复杂,且人体薄层CT扫描动辄7、8百张,且肋骨骨折存在多发、隐匿性骨折,医生需要逐张排查并跟踪每根肋骨在CT图像序列中的动态变化,工作量巨大。
现有的采用CT图像进行肋骨骨折自动检测方法,多数为采用传统的计算机视觉方法对三维图像进行重建或者展开,处理时间长且准确率较低(据资料显示准确率为0.71AUC,AUC是一种评价二分类算法性能的指标,表示受试者曲线(ROC)下面积,AUC取值范围[0,1],且越接近1表示分类准确率越高)。基于深度学习的肋骨骨折自动检测算法,目前各公司也均在摸索尝试中,但是由于部分肋骨骨折的隐匿性,使得人工标记的标签并不是十分准确,具体来说是对于标记为骨折的肋骨都是真阳性的,但是对于标记对正常的肋骨,存在一定的假阴性,这会对模型性能造成严重影响,会出现错检、漏检的情形。
综上所述,现有肋骨骨折检测技术准确率和效率都很低。
发明内容
本申请实施例提供了一种骨折检测方法及装置,用以提高骨折自动检测准确率以及工作效率。
本申请实施例提供的一种骨折检测方法,包括:
确定骨折患者胸腔图像的肋骨检测框;
确定每一肋骨检测框内肋骨发生骨折的概率值;
基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。
通过该方法,确定骨折患者胸腔图像的肋骨检测框;确定每一肋骨检测框内肋骨发生骨折的概率值;基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息,从而提高了骨折自动检测准确率以及工作效率。
可选地,确定骨折患者胸腔图像的肋骨检测框,具体包括:
获取骨折患者胸腔的计算机断层扫描CT原始图像;
按照临床骨窗要求对CT原始图像进行图像处理,得到骨窗图像;
确定所述骨窗图像上的肋骨检测框的位置信息。
可选地,确定每一肋骨检测框内肋骨发生骨折的概率值,具体包括:
利用预先训练得到的模型,和所述骨窗图像,确定每一肋骨检测框内肋骨发生骨折的概率值。
可选地,所述基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,具体包括:
将所述每一肋骨检测框内肋骨发生骨折的概率值,与预设阈值进行比较,确定发生骨折的肋骨检测框信息。
可选地,所述模型是采用如下方式训练得到的:
确定训练数据,所述训练数据包括多张胸腔CT原始图像;
确定所述训练数据的骨折概率值;
将所述骨折概率值作为训练数据的骨折标签。
可选地,确定所述训练数据的骨折概率值,具体包括:针对每一肋骨检测框,将该肋骨检测框内肋骨发生骨折的概率值与医生预先标记的骨折标签值进行平均,将得到的平均值作为该肋骨检测框内肋骨发生骨折的用于模型训练的最终标签的概率值,利用此概率值再次训练,得到最终的骨折判断模型。
可选地,该方法还包括:
确定每一肋骨检测框内肋骨所处的解剖学位置信息;
所述骨折检测结果中还包括每一肋骨检测框内肋骨所处的解剖学位置信息。
可选地,确定每一肋骨检测框内肋骨所处的解剖学位置信息,具体包括:
通过确定不同层图像中同一连通区域的肋骨检测框,确定不同层图像中的肋骨是否为同一肋骨;
对于同一肋骨,通过判断肋骨的中心点,实现对每一肋骨自上而下进行排序,得到所有肋骨检测框内的肋骨所处的解剖学位置信息,其中包括检测框所检测出的肋骨属于左侧或者右侧第几根肋骨的信息。
可选地,所述骨折检测结果中还包括肋骨检测框的编号。
本申请实施例提供的一种骨折检测装置,包括:
第一单元,用于确定骨折患者胸腔图像的肋骨检测框;
第二单元,用于确定每一肋骨检测框内肋骨发生骨折的概率值;
第三单元,用于基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。
本申请另一实施例提供了一种计算设备,其包括存储器和处理器,其中,所述存储器用于存储程序指令,所述处理器用于调用所述存储器中存储的程序指令,按照获得的程序执行上述任一种方法。
本申请另一实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的肋骨骨折患者原始的胸腔CT影像的原始图像示意图;
图2为本申请实施例提供的在胸腔CT影像的原始图像上标记有肋骨检测框的示意图;
图3为本申请实施例提供的患者胸腔的肋骨图像示意图;
图4为本申请实施例提供的将每根肋骨映射2D平面上并给予高亮,将其他肋骨设置背景,同时采用多标签(multi-label)的网络模型,判断其左右和是否为肋骨的示意图;
图5为本申请实施例提供的骨折检测方法的处理结果示意图;
图6为本申请实施例提供的骨折检测方法的具体流程示意图;
图7为本申请实施例提供的骨折检测方法的流程示意图;
图8为本申请实施例提供的骨折检测装置的结构示意图;
图9为本申请实施例提供的另一骨折检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种骨折检测方法及装置,用以提高骨折自动检测准确率以及工作效率。
其中,方法和装置是基于同一申请构思的,由于方法和装置解决问题的原理相似,因此装置和方法的实施可以相互参见,重复之处不再赘述。
下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是,本申请实施例的展示顺序仅代表实施例的先后顺序,并不代表实施例所提供的技术方案的优劣。
为了降低人工标注标签不准确对肋骨骨折自动检测模型的影响,本申请实施例提供的技术方案,对人工标记为正常的标签进行模糊处理,并对模型输出的检测结果进行相应的后处理,最大可能的规避假阴性,降低假阳性。具体实现步骤如下:
步骤一、获取肋骨骨折患者薄层胸腔CT原始医学数字成像和通信(DigitalImaging and Communications in Medicine,DICOM,是医学图像和相关信息的国际标准(ISO 12052))影像,临床专家在原始CT影像中逐层标注肋骨检测框,并为检测框内为骨折的肋骨样本打上骨折标签;其中,所述骨折标签即对于有骨折的矩形框给出的提示标签,比如每个矩形框会有一个是骨折还是非骨折的说明信息。
步骤二、基于肋骨骨折患者原始的胸腔CT影像及临床专家在CT影像的原始图像上人工标注的肋骨标签(肋骨标签即所有肋骨的矩形框状的标签,例如图5中矩形框的坐标信息),将CT原始DICOM影像像素的灰度值按照(式1)转换成HU值,按照临床骨窗(窗位400HU,窗宽1500HU,所述临床骨窗是临床上观察不同部位,选定的特定窗宽和窗位)要求处理为适用于观察骨骼状态的图像(即骨窗图像),具体地就是将原始胸部CT图像,通过调整至预设的窗宽和窗位,以达到观察骨骼最佳分辨率(调整图像显示的窗宽和窗位,就是在调整图像显示的分辨率)。然后,例如,可以使用目前效果最好的目标检测模型Center Net深度神经网络,但不局限于该网络模型,如图1和图2所示,获得所有肋骨检测框在图1所示原始图像上的位置信息,例如检测框四个顶点坐标,所述检测框即图2中所示的矩形框;
其中,CT值是测定人体某一局部组织或器官密度大小的一种计量单位,通常称亨氏单位(Hounsfield Unit,HU),用来衡量人体组织对X射线的吸收率,范围是-1024~3071。以水的HU值为0,作为基准参照。CT图像中,我们常见到的像素值或者灰度值,但是由于我们的图像来源于不同的医院,因此要将灰度值转换成人体组织原始的CT值,即HU值,进行统一处理。
HU=pixel_value*RescaleSlope+RescaleIntercept (式1)
式1中:pixel_value为CT原始DICOM影像中每个像素的灰度值,RescaleSlope和RescaleIntercept取自DICOM影像头文件信息。CT图像的头文件信息中都会有RescaleSlope和RescaleIntercept这两项,表示了CT图像重建过程中,是如何将CT值(即HU值)转换成像素值进行存储的。具体地,RescaleSlope为缩放斜率,RescaleIntercept为缩放截距。
参见图1和图2,本申请实施例在步骤一和步骤二首先会进行肋骨目标的定位,即确定肋骨检测框的位置信息,为后面做肋骨编号和判断肋骨是否骨折做准备。
步骤三、基于上述骨窗图像及肋骨检测框的位置信息,鉴于专家所标注的肋骨骨折标签不够精准,将未标注为异常(骨折)的肋骨检测框(默认为正常肋骨标签)标签进行模糊处理,即将这部分标签作为软标签(soft-label)。
其中,本申请实施例中,对于肋骨骨折的自动判断分为2个阶段:
阶段1:去找到CT序列中每一层的肋骨截面,即图2中矩形框框出的部分。
阶段2:判断这些矩形框中的肋骨是否为骨折的片段。
这里所说的专家标注的肋骨骨折标签不够精准的,例如专家标注的时候虽然给出了矩形框的信息,但是这个框体内的肋骨截面是否为骨折的信息有时候是错的,也就是说有些是骨折的框体,专家给出的标签是无骨折之类。
该步骤三具体的做法包括:
步骤a、先用一大型的深度学习网络去训练现有的训练数据,具体的训练构成例如包括:
200例患者的CT胸腔序列,每例胸腔序列包括500张以上的连续断层扫描;
在连续断层扫描上的每一层上会包含肋骨截面的位置信息,和是否为骨折截面的信息;
利用训练数据训练模型,使得模型可以自动的给出新数据(没有任何标签的患者CT胸腔序列)上每一层的肋骨截面位置,以及是否为骨折截面的信息。
所以,这里所述的训练数据,例如指的是200*500张胸腔CT数据。
步骤b、用训练好的网络推理出所有训练数据的骨折概率值。
步骤c、随后用该骨折概率值作为训练数据的新的骨折标签。本申请实施例在实际实验中将此骨折概率值和实际医生给处的标签做了一个加权和处理。
本申请实施例对于每个框体内肋骨截面是否为骨折的判断,来自求出来的骨折概率值。一般来说概率高于0.5会认为被模型判断为骨折,而医生对于这个肋骨截面也会给出一个是否为骨折的判断(例如0为正常,1为骨折)。
本申请实施例中,将所有的训练数据通过训练好的模型计算出骨折概率值,这个骨折概率值是0~1之间的任何浮点数,再和医生给出的标签平均。例如,对于一肋骨截面图,通过所述模型判断出骨折概率为0.8,医生给出的标签为1(是骨折),那么求平均,得到对该数据所求的新的骨折标签信息为0.9。
接着可以将新的骨折标签和骨窗图像(即原始的训练数据图像)一起输入骨折分类模型深度神经网络,该过程推荐使用EfficientNet-B1网络,但不局限于该网络模型,得到每个检测框(即图2所示矩形框)内肋骨发生骨折的概率值;根据训练数据的分类性能评价指标变化,选择合适的阈值,得到判定为骨折的肋骨检测框信息。
其中,此处所述的概率值就是最后的概率值了,前面的概率值是为了纠正医生所给的标签有错误的问题。
其中,具体如何选择合适的阈值,例如是通过统计骨折在不同概率下的敏感度和特异性(一般敏感度越高特异性越低)选择的,因为不太希望有漏检,所以敏感度要求较高,最后选择可以接受的敏感度对应的阈值。
其中,得到判定为骨折的肋骨检测框信息,是利用目标检测网络CenterNet达到的,其效果就如图2中所示的矩形框体的位置。
步骤四(步骤四可以与步骤三同步进行,先后顺序不限)、基于步骤二所获取的所有肋骨检测框在原始图像上的位置信息,判断不同层的肋骨检测框的连通性,基于标注的每个连通区域是否为肋骨及其解剖位置的左右侧,通过深度学习模型(该过程例如可以使用ShuffleNet网络结构),判定检测框内是否为肋骨及其所处的解剖位置左右侧;
判定不同层的图像中检测框内肋骨是否为同一根肋骨(因为检测框是对CT序列中每一层的肋骨截面的定位,当前层和下一层是相邻的,同一根肋骨的截面在层间是有重叠区域的),选用的是计算相邻层肋骨检测框连通区域的方法,因为不同层的同一根肋骨检测框差异较大,因此采用(式2)计算相邻层同侧检测框两两之间的ratio_cross值(用于表示不同层的图像中检测框内肋骨是否为同一根肋骨),即假设当前层(k层)的右侧第i个检测框Di,k,计算其与下一层(k+1层)中右侧第j个检测框Dj,k+1的ratio_crossi,j值,然后如(式3)所示选择所有的ratio_crossk,i,j中值最大的ratio_crossk,i作为检测框Di,k与k+1层检测框的ratio_cross值,若该值大于预设阈值(如0.5),则相应的该ratio_cross值所对应的k+1层的检测框作为与检测框Di,k为同一连通区域的检测框,若相应的该ratio_cross值小于所设定的阈值,则k+1层没有与Di,k为同一连通区域的检测框;依此方法得到所有检测框所组成的所有连通区域。但是,连通区域的计算只能提供每根肋骨独立连通区域,尚无法知道其具体是在胸腔的左侧还是右侧,以及是第几根肋骨的信息(如图3所示)。其中,所述连通区域(Connected Component)一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域(Region,Blob)。在该处的作用就是判定不同图层的肋骨是否为同一根肋骨。
因此,本申请实施例将每根肋骨映射2D平面上并给予高亮,将其他肋骨设置背景,同时采用多标签(multi-label)的网络模型,判断其左右和是否为肋骨,如图4所示。有了以上信息之后,再通过判断每根肋骨的中心点,进而自上而下的进行排序,从而得到检测框内所有肋骨所处解剖学位置信息,即检测框所检测出的肋骨属于左侧或者右侧第几根肋骨的信息。
Figure BDA0002445545240000091
式2中i,j的取值为从1开始的自然数,最大值为其所在图像层中单侧的检测框数目;Di,k为第k层单侧第i个检测框;Dj,k+1为第k+1层与Di,k同侧的第j个检测框;Di,k∩Dj,k+1为检测框Di,k与检测框Dj,k+1的所包含的区域的交集;
Figure BDA0002445545240000092
为Di,k∩Dj,k+1与Di,k的比值,该值∈[0,1];ratio_crossk,i,j为第k层第i个检测框与第k+1层第j个检测框的ratio_cross值。
ratio_crossk,i=max(ratio_crossk,i,j) (式3)
图3通过计算连通区域,得到每根肋骨的独立连通区域,在图3中可以用不同的颜色表示出来,以及一些因算法得到的杂质区域,但是并不知道肋骨的左右以及编号信息。因此,图4通过将数据映射到2维,并给予当前需要做判断的肋骨高亮,同时设计multi-label的深度神经网络来同时判断肋骨的左右边以及是否为肋骨。图4为肋骨编号实施的中间过程图,需要根据这一图示,对高亮部分进行人工标注,图4中白色部分是指明当前需要标注的部分;是不是肋骨,以及若是肋骨具体是哪侧的肋骨,是需要人工进行标注的内容;例如:图4中第一个图高亮的部分的标签应为(1,0)表示是肋骨,右侧;第二个图中高亮部分标签应为(1,1)表示是肋骨,左侧;第三个图中高亮部分标签应为(0,0)表示不是肋骨,右侧;第四个图中高亮部分标签应为(0,1)表示不是肋骨,左侧。
步骤五、结合上述步骤三和步骤四的输出结果,给出肋骨骨折自动检测结果,医生参照系统给出的检测结果,着重关注判定为骨折的肋骨部分,审核后给出最终诊断报告以及图像信息的显示,如图5所示,该图中包括肋骨检测框(包括正常肋骨和骨折肋骨的不同矩形框示意),以及每个检测框的编号、肋骨位置、骨折概率值等信息。即图5为本申请实施例提供的骨折检测方法的处理结果图,例如绿色框为正常肋骨,红色框为骨折肋骨,框体的上方给出的是当前框体的编号和骨折概率,下方给出的是当前框体所在的肋骨是属于左侧(L)还是右侧(R),并且是第几根肋骨。
综上,图6为本申请实施例提供的上述骨折检测方法的流程图。具体地:一、肋骨检测模块执行如下操作:
获取肋骨骨折患者薄层胸腔CT原始DICOM影像数据;
将CT原始DICOM影像像素的灰度值按照式1转换成HU值,按照临床骨窗要求处理为适用于观察骨骼状态的骨窗图像;
基于临床专家在CT影像的原始图像上人工标注的肋骨标签(即临床专家在原始CT影像中逐层标注肋骨检测框,并为检测框内为骨折的肋骨样本打上骨折标签;其中,所述骨折标签即对于有骨折的矩形框给出的提示标签,比如每个矩形框会有一个是骨折还是非骨折的说明信息),使用肋骨检测深度神经网络Center Net,获得骨窗图像中的肋骨检测框(即图2中所示的矩形框)的坐标信息。
二、肋骨骨折检测模块执行如下操作:
基于骨窗图像及肋骨检测框坐标,将未标注为骨折的肋骨检测框标签(即正常标签)处理为软标签(soft-label)。
将新的骨折标签和骨窗图像一起输入肋骨正异常分类网络,例如EfficientNet-B1网络,得到每个肋骨检测框内肋骨发生骨折的概率值;
对得到的每个肋骨检测框内肋骨发生骨折的概率值进行后处理,即:将同一根肋骨上的所有截面的概率做平滑处理,因为一根肋骨实际上是由若干个连续的小截面构成,每个截面在模型分类后都有一个骨折概率值,因为假设相邻截面之间的骨折概率值会有一个互相影响的关系,所以可以进行一个简单的平滑处理。
三、肋骨骨折检测模块执行如下操作:
基于所有肋骨检测框在原始图像上的位置信息,判断不同层的图像上肋骨检测框的连通性,即获取肋骨检测框的连通域信息,从而判断不同层的图像中检测框内肋骨是否为同一根肋骨;
基于每个连通区域是否为肋骨及其解剖位置的左右侧,通过深度学习模型ShuffleNet,进行自上而下排查和排序,从而确定肋骨检测框内肋骨编号(第几根肋骨)及其所处人体的左右侧;
最后,输出肋骨骨折自动检测结果,即检测结果图像,上面带有正异常肋骨检测框(正常肋骨和骨折肋骨采用不同矩形框示意),并且可以输出带有骨折检测框解剖位置信息的诊断报告。
综上所述,本申请实施例提供的技术方案具有以下有益效果:
快速:通过对胸腔CT序列的快速扫描,结合大量的优化算法,使得完成一例病患的检测控制在30秒内,而医生的平均时长为1~2个小时一例。这一辅助能力极大的降低了医生的工作负荷,增加了医生的工作效率。并且对于偏远地区的医疗资源普及也具有极大的意义。
准确:通过调整对于骨折敏感度的容忍度,使得几乎不会漏诊存在骨折的患者,而搭配的假阳性抑制策略,将每一例的平均假阳性个数控制在不到2处的水平。准确性更高,使得医生能更放心的使用。
对于标签质量的不敏感:医疗数据的标签数量和质量对于人工智能算法的结果影响深远,但是高质量和大量的医疗标签数据的获取门槛很高,本申请实施例采用对有限人工标注的模糊处理以及检测结果的后处理,大大提高了检测的准确度。
综上所述,参见图7,本申请实施例提供的一种肋骨检测方法包括:
S101、确定骨折患者胸腔图像的肋骨检测框;
其中,所述骨折患者胸腔图像,例如可以是上述的骨窗图像。
所述的肋骨检测框,例如可以是图2所示的矩形框,该矩形框内即为肋骨图像,有的是正常肋骨,有的可能是骨折肋骨。矩形框的显示样式可以有多种,可以采用不同颜色、不同线条样式等,本申请实施例不做限定。
S102、确定每一肋骨检测框内肋骨发生骨折的概率值;
其中,所述确定每一肋骨检测框内肋骨发生骨折的概率值,例如上述的步骤三。所述的确定每一肋骨检测框内肋骨所处的解剖学位置信息,例如上述的步骤四。
S103、基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。
其中,所述的骨折检测结果,例如图5所示的结果,该图像包括了肋骨检测框信息,其中正常肋骨可以用绿色框显示,骨折肋骨可以用红色框显示,每个肋骨检测框外还可以有该检测框内肋骨所处的解剖学位置信息(左/右侧的第几根肋骨,以及肋骨的编号等,该编号可以按照预设顺序进行编号,例如按照从上到下、从左到右的顺序,依次编号),以及肋骨发生骨折的概率值等。例如,图5中的R表示右侧,L表示左侧,n表示编号。
可选地,确定骨折患者胸腔图像的肋骨检测框,具体包括:
获取骨折患者胸腔的计算机断层扫描CT原始图像;
按照临床骨窗要求对CT原始图像进行图像处理,得到骨窗图像;
确定所述骨窗图像上的肋骨检测框的位置信息。
可选地,确定每一肋骨检测框内肋骨发生骨折的概率值,具体包括:
利用预先训练得到的模型,和所述骨窗图像,确定每一肋骨检测框内肋骨发生骨折的概率值。
其中,所述的预先训练得到的模型,例如上述步骤a中训练得到的模型。
可选地,所述基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,具体包括:
将所述每一肋骨检测框内肋骨发生骨折的概率值,与预设阈值进行比较,确定发生骨折的肋骨检测框信息。
可选地,所述模型是采用如下方式训练得到的:
确定训练数据,所述训练数据包括多张胸腔CT原始图像;
确定所述训练数据的骨折概率值;
将所述骨折概率值作为训练数据的骨折标签。
可选地,确定所述训练数据的骨折概率值,具体包括:
针对每一肋骨检测框,将该肋骨检测框内肋骨发生骨折的概率值与医生预先标记的骨折标签值进行平均,将得到的平均值作为该肋骨检测框内肋骨发生骨折的用于模型训练的最终标签的概率值,利用此概率值再次训练,得到最终的骨折判断模型。
可选地,该方法还包括:
确定每一肋骨检测框内肋骨所处的解剖学位置信息;
所述骨折检测结果中还包括每一肋骨检测框内肋骨所处的解剖学位置信息。
可选地,确定每一肋骨检测框内肋骨所处的解剖学位置信息,具体包括:
通过确定不同层图像中同一连通区域的肋骨检测框,确定不同层图像中的肋骨是否为同一肋骨;
对于同一肋骨,通过判断肋骨的中心点,实现对每一肋骨自上而下进行排序,得到所有肋骨检测框内的肋骨所处的解剖学位置信息,其中包括检测框所检测出的肋骨属于左侧或者右侧第几根肋骨的信息。
可选地,所述骨折检测结果中还包括肋骨检测框的编号。。
与上述方法相对应地,下面介绍一下本申请实施例提供的装置,重复之处不再赘述。
参见图8,本申请实施例提供的一种肋骨检测装置包括:存储器21和处理器22,其中,所述存储器21用于存储程序指令,所述处理器22用于调用所述存储器中存储的程序指令,按照获得的程序执行:
确定骨折患者胸腔图像的肋骨检测框;
确定每一肋骨检测框内肋骨发生骨折的概率值;
基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。
可选地,确定骨折患者胸腔图像的肋骨检测框,具体包括:
获取骨折患者胸腔的计算机断层扫描CT原始图像;
按照临床骨窗要求对CT原始图像进行图像处理,得到骨窗图像;
确定所述骨窗图像上的肋骨检测框的位置信息。
可选地,确定每一肋骨检测框内肋骨发生骨折的概率值,具体包括:
利用预先训练得到的模型,和所述骨窗图像,确定每一肋骨检测框内肋骨发生骨折的概率值。
可选地,所述基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,具体包括:
将所述每一肋骨检测框内肋骨发生骨折的概率值,与预设阈值进行比较,确定发生骨折的肋骨检测框信息。
可选地,所述模型是采用如下方式训练得到的:
确定训练数据,所述训练数据包括多张胸腔CT原始图像;
确定所述训练数据的骨折概率值;
将所述骨折概率值作为训练数据的骨折标签。
可选地,确定所述训练数据的骨折概率值,具体包括:针对每一肋骨检测框,将该肋骨检测框内肋骨发生骨折的概率值与医生预先标记的骨折标签值进行平均,将得到的平均值作为该肋骨检测框内肋骨发生骨折的用于模型训练的最终标签的概率值,利用此概率值再次训练,得到最终的骨折判断模型。
可选地,所述处理器还用于:
确定每一肋骨检测框内肋骨所处的解剖学位置信息;
所述骨折检测结果中还包括每一肋骨检测框内肋骨所处的解剖学位置信息。
可选地,确定每一肋骨检测框内肋骨所处的解剖学位置信息,具体包括:
通过确定不同层图像中同一连通区域的肋骨检测框,确定不同层图像中的肋骨是否为同一肋骨;
对于同一肋骨,通过判断肋骨的中心点,实现对每一肋骨自上而下进行排序,得到所有肋骨检测框内的肋骨所处的解剖学位置信息,其中包括检测框所检测出的肋骨属于左侧或者右侧第几根肋骨的信息。
可选地,所述骨折检测结果中还包括肋骨检测框的编号。
参见图9,本申请实施例提供的一种肋骨检测装置包括:
第一单元11,用于确定骨折患者胸腔图像的肋骨检测框;
第二单元12,用于确定每一肋骨检测框内肋骨发生骨折的概率值;
第三单元13,用于基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种计算设备,该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)等。该计算设备可以包括中央处理器(Center Processing Unit,CPU)、存储器、输入/输出设备等,输入设备可以包括键盘、鼠标、触摸屏等,输出设备可以包括显示设备,如液晶显示器(Liquid Crystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中,存储器可以用于存储本申请实施例提供的任一所述方法的程序。
处理器通过调用存储器存储的程序指令,处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。
本申请实施例提供了一种计算机存储介质,用于储存为上述本申请实施例提供的装置所用的计算机程序指令,其包含用于执行上述本申请实施例提供的任一方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
上述方法处理流程可以用软件程序实现,该软件程序可以存储在存储介质中,当存储的软件程序被调用时,执行上述方法步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种骨折检测方法,其特征在于,该方法包括:
确定骨折患者胸腔图像的肋骨检测框;
确定每一肋骨检测框内肋骨发生骨折的概率值;
基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。
2.根据权利要求1所述的方法,其特征在于,确定骨折患者胸腔图像的肋骨检测框,具体包括:
获取骨折患者胸腔的计算机断层扫描CT原始图像;
按照临床骨窗要求对CT原始图像进行图像处理,得到骨窗图像;
确定所述骨窗图像上的肋骨检测框的位置信息。
3.根据权利要求2所述的方法,其特征在于,确定每一肋骨检测框内肋骨发生骨折的概率值,具体包括:
利用预先训练得到的模型,和所述骨窗图像,确定每一肋骨检测框内肋骨发生骨折的概率值。
4.根据权利要求3所述的方法,其特征在于,所述基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,具体包括:
将所述每一肋骨检测框内肋骨发生骨折的概率值,与预设阈值进行比较,确定发生骨折的肋骨检测框信息。
5.根据权利要求3所述的方法,其特征在于,所述模型是采用如下方式训练得到的:
确定训练数据,所述训练数据包括多张胸腔CT原始图像;
确定所述训练数据的骨折概率值;
将所述骨折概率值作为训练数据的骨折标签。
6.根据权利要求5所述的方法,其特征在于,确定所述训练数据的骨折概率值,具体包括:针对每一肋骨检测框,将该肋骨检测框内肋骨发生骨折的概率值与医生预先标记的骨折标签值进行平均,将得到的平均值作为该肋骨检测框内肋骨发生骨折的用于模型训练的最终标签的概率值,利用此概率值再次训练,得到最终的骨折判断模型。
7.根据权利要求1所述的方法,其特征在于,该方法还包括:
确定每一肋骨检测框内肋骨所处的解剖学位置信息;
所述骨折检测结果中还包括每一肋骨检测框内肋骨所处的解剖学位置信息。
8.根据权利要求1所述的方法,其特征在于,确定每一肋骨检测框内肋骨所处的解剖学位置信息,具体包括:
通过确定不同层图像中同一连通区域的肋骨检测框,确定不同层图像中的肋骨是否为同一肋骨;
将每一肋骨映射到二维平面上,并且对于每一肋骨:将该肋骨给予高亮显示,将其他肋骨设置为背景,采用多标签网络模型,确定该肋骨位于人体左侧或者右侧;
对于同一肋骨,通过判断肋骨的中心点,实现对每一肋骨自上而下进行排序,得到所有肋骨检测框内的肋骨所处的解剖学位置信息,其中包括检测框所检测出的肋骨属于左侧或者右侧第几根肋骨的信息。
9.根据权利要求1所述的方法,其特征在于,所述骨折检测结果中还包括肋骨检测框的编号。
10.一种骨折检测装置,其特征在于,包括:
第一单元,用于确定骨折患者胸腔图像的肋骨检测框;
第二单元,用于确定每一肋骨检测框内肋骨发生骨折的概率值;
第三单元,用于基于所述每一肋骨检测框内肋骨发生骨折的概率值,输出骨折检测结果,其中包括用于表示肋骨是否发生骨折的肋骨检测框信息。
11.一种计算设备,其特征在于,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行权利要求1至9任一项所述的方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,所述计算机可执行指令用于使所述计算机执行权利要求1至9任一项所述的方法。
CN202010278205.1A 2020-04-10 2020-04-10 一种骨折检测方法及装置 Active CN111513743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010278205.1A CN111513743B (zh) 2020-04-10 2020-04-10 一种骨折检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010278205.1A CN111513743B (zh) 2020-04-10 2020-04-10 一种骨折检测方法及装置

Publications (2)

Publication Number Publication Date
CN111513743A true CN111513743A (zh) 2020-08-11
CN111513743B CN111513743B (zh) 2023-08-11

Family

ID=71902821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010278205.1A Active CN111513743B (zh) 2020-04-10 2020-04-10 一种骨折检测方法及装置

Country Status (1)

Country Link
CN (1) CN111513743B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112349391A (zh) * 2020-11-10 2021-02-09 山东大学齐鲁医院(青岛) 一种优化肋骨自动标号方法
CN112381762A (zh) * 2020-10-19 2021-02-19 深圳视见医疗科技有限公司 一种基于深度学习算法的ct肋骨骨折辅助诊断系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1819794A (zh) * 2003-06-19 2006-08-16 计算医学公司 利用dicom格式的骨骼x-射线图像分析骨骼状况的方法及系统
US20120106810A1 (en) * 2010-10-29 2012-05-03 Siemens Corporation Automated Rib Ordering and Pairing
CN108520519A (zh) * 2018-04-11 2018-09-11 上海联影医疗科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN108596877A (zh) * 2018-03-28 2018-09-28 苏州科技城医院 肋骨ct数据分析系统
CN110310723A (zh) * 2018-03-20 2019-10-08 青岛海信医疗设备股份有限公司 骨骼图像处理方法、电子设备及存储介质
CN110619621A (zh) * 2018-06-04 2019-12-27 青岛海信医疗设备股份有限公司 识别图像中肋骨区域的方法、装置、电子设备和存储介质
CN110910342A (zh) * 2018-09-12 2020-03-24 西门子医疗有限公司 通过使用深度学习来分析骨骼创伤

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1819794A (zh) * 2003-06-19 2006-08-16 计算医学公司 利用dicom格式的骨骼x-射线图像分析骨骼状况的方法及系统
US20120106810A1 (en) * 2010-10-29 2012-05-03 Siemens Corporation Automated Rib Ordering and Pairing
CN110310723A (zh) * 2018-03-20 2019-10-08 青岛海信医疗设备股份有限公司 骨骼图像处理方法、电子设备及存储介质
CN108596877A (zh) * 2018-03-28 2018-09-28 苏州科技城医院 肋骨ct数据分析系统
CN108520519A (zh) * 2018-04-11 2018-09-11 上海联影医疗科技有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110619621A (zh) * 2018-06-04 2019-12-27 青岛海信医疗设备股份有限公司 识别图像中肋骨区域的方法、装置、电子设备和存储介质
CN110910342A (zh) * 2018-09-12 2020-03-24 西门子医疗有限公司 通过使用深度学习来分析骨骼创伤

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周清清,王佳硕,唐雯,张荣国: "基于卷积神经网络成人肋骨骨折CT 自动检测和分类的应用研究", 影像诊断与介入放射学 *
周清清; 王佳硕; 唐雯; 张荣国: "基于卷积神经网络成人肋骨骨折CT自动检测和分类的应用研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381762A (zh) * 2020-10-19 2021-02-19 深圳视见医疗科技有限公司 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
CN112349391A (zh) * 2020-11-10 2021-02-09 山东大学齐鲁医院(青岛) 一种优化肋骨自动标号方法

Also Published As

Publication number Publication date
CN111513743B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
Yun et al. Improvement of fully automated airway segmentation on volumetric computed tomographic images using a 2.5 dimensional convolutional neural net
Singh et al. Machine learning in cardiac CT: basic concepts and contemporary data
US10176408B2 (en) Systems and methods for analyzing pathologies utilizing quantitative imaging
Gan et al. Toward accurate tooth segmentation from computed tomography images using a hybrid level set model
US8194965B2 (en) Method and system of providing a probability distribution to aid the detection of tumors in mammogram images
US8867822B2 (en) Model-based coronary artery calcium scoring
WO2019000455A1 (zh) 图像分割的方法及系统
CN107886514A (zh) 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
JP2016116843A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Gündel et al. Robust classification from noisy labels: Integrating additional knowledge for chest radiography abnormality assessment
EP3971830B1 (en) Pneumonia sign segmentation method and apparatus, medium and electronic device
Liu et al. Automatic delineation of ribs and clavicles in chest radiographs using fully convolutional DenseNets
Chang et al. Development of a deep learning-based algorithm for the automatic detection and quantification of aortic valve calcium
Zhou et al. Detection and semiquantitative analysis of cardiomegaly, pneumothorax, and pleural effusion on chest radiographs
CN111513743B (zh) 一种骨折检测方法及装置
EP2208183A2 (en) Computer-aided detection (cad) of a disease
CN110555860A (zh) 医学图像中肋骨区域标注的方法、电子设备和存储介质
Yuan et al. Hybrid method combining superpixel, random walk and active contour model for fast and accurate liver segmentation
US11935234B2 (en) Method for detecting abnormality, non-transitory computer-readable recording medium storing program for detecting abnormality, abnormality detection apparatus, server apparatus, and method for processing information
Mohd Noor et al. Segmentation of the lung anatomy for high resolution computed tomography (HRCT) thorax images
CN111784652A (zh) 基于强化学习多尺度神经网络的mri分割方法
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质
KR20120017356A (ko) 흉부 방사선 이미지 분석을 통한 심비대 자동탐지 방법 및 그 기록매체
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
Kang et al. Interactive Liver Segmentation Algorithm Based on Geodesic Distance and V-Net

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant