CN112699869A - 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 - Google Patents
基于深度学习的肋骨骨折辅助检测方法及图像识别方法 Download PDFInfo
- Publication number
- CN112699869A CN112699869A CN202011497567.6A CN202011497567A CN112699869A CN 112699869 A CN112699869 A CN 112699869A CN 202011497567 A CN202011497567 A CN 202011497567A CN 112699869 A CN112699869 A CN 112699869A
- Authority
- CN
- China
- Prior art keywords
- rib
- image
- chest
- model
- rib fracture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000027790 Rib fracture Diseases 0.000 title claims abstract description 90
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 238000013136 deep learning model Methods 0.000 claims description 20
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 238000002591 computed tomography Methods 0.000 description 62
- 210000000038 chest Anatomy 0.000 description 53
- 238000000605 extraction Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 208000010392 Bone Fractures Diseases 0.000 description 4
- 206010017076 Fracture Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及医疗技术领域，尤其涉及一种基于深度学习算法的肋骨骨折辅助检测方法及图像识别方法，其包括：选取一定数量的胸部CT图像作为训练集，并标注图像中的肋骨骨折区域和肋骨编号；对该图像进行数据归一化处理；将处理后的图像作为输入，标注的图像中的肋骨骨折区域和肋骨编号作为输出进行模型训练，该训练模型包括：肋骨检测模型、肋骨骨折分割模型以及肋骨编号及分段模型；将待检测的胸部CT图像经过处理后输入至训练好的所述肋骨骨折检测模型中，输出检测结果。本发明实施例提供的基于深度学习算法的肋骨骨折辅助检测方法有效的降低了肋骨骨折检测的假阳和假阴，并且该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。
Description
技术领域
本发明涉及医疗技术领域，尤其涉及一种基于深度学习的肋骨骨折辅助检测方法及图像识别方法。
背景技术
计算机断层扫描(CT)是用于诊断胸部的肋骨骨折的主要方法。CT胸部检查肋骨骨折是个耗时耗力的过程，因为肋骨解剖形态独特，每一根肋骨自后上至前下，需对多个CT横断层面进行反复观察，依次完成对左右两侧逐一肋骨的评价，费时耗力，给诊断带来了困难。
现有出现的智能辅助检测肋骨骨折系统，其结合传统检测模型，可以得到疑似病灶区域，来辅助医生诊断。随着深度学习的发展，众多计算机视觉任务由于深度学习的兴起而快速发展，以数据驱动的深度学习模型取得了比传统检测模型更好的效果，越来越多的深度卷积神经网络算法技术被应用到了医学中。以数据驱动的深度学习模型用于辅助检测的方式为首先收集原始CT影像，然后基于影像中根肋骨得到相应的展开图，然后将每个肋骨的展开图作为自动检测模型的输入，得到疑似肋骨骨折的病灶区，然后将其在系统中标出，提示医生此处有可疑病灶区。
然而该方法只能标示出可疑病灶区，缺少可疑病灶的定位分析，例如标出在左/右侧的第几根肋骨的什么段位出现骨折，这就导致报告医生在写报告的时候还需要根据影像做进一步判断，这也是耗时耗力的过程；另外，传统的检测算法假阴假阳很高。
发明内容
针对上述技术问题，本发明实施例提供了一种基于深度学习算法的肋骨骨折辅助检测方法及图像识别方法，以解决传统的深度学习模型用于CT肋骨骨折辅助检测时，无法对病灶区域定位分析，检测不准确的一种或者多种问题。
本发明实施例的第一方面提供一种基于深度学习算法的肋骨骨折辅助检测方法，其包括如下步骤：选取一定数量的胸部CT图像作为训练集，并标注所述胸部CT图像中的肋骨骨折区域和肋骨编号；对所述胸部CT图像进行数据归一化处理；将归一化处理过后的所述胸部CT图像作为输入，标注的所述胸部CT图像中的肋骨骨折区域和肋骨编号作为输出进行肋骨骨折检测模型训练，所述肋骨骨折检测模型包括：肋骨检测模型、肋骨骨折分割模型以及肋骨编号及分段模型；将待检测的胸部CT图像经过处理后输入至训练好的所述肋骨骨折检测模型中，输出检测结果。
本发明实施例的第二方面提供一种基于深度学习算法的图像识别方法，其包括如下步骤：选取一定数量的胸部CT图像作为训练集，并标注所述胸部CT图像中的肋骨骨折区域和肋骨编号；对所述胸部CT图像进行数据归一化处理；将归一化处理过后的所述胸部CT图像作为输入，标注的所述胸部CT图像中的肋骨骨折区域和肋骨编号作为输出进行深度学习模型训练，所述深度学习模型包括：检测模型、分割模型以及编号及分段模型；将待检测的胸部CT图像经过处理后输入至训练好的所述深度学习模型中，输出图像识别结果。
可选地，所述检测模型为Faster-RCNN深度神经网络模型，所述Faster-RCNN深度神经网络模型的输出为肋骨的分割模板。
可选地，所述分割模型为UNet分割神经网络模型，所述UNet分割神经网络模型的输出为标注的所述肋骨骨折区域。
可选地，所述编号及分段模型的输出为所述肋骨骨折区域的位置信息。
可选地，所述肋骨骨折区域的位置信息包括以下一种或多种：左侧肋骨、右侧肋骨、第N根肋骨、腋下肋骨、肋骨前段以及肋骨后段，N为正整数。
可选地，所述深度学习模型的输出包括：待检测的胸部CT图像为肋骨骨折的概率。
可选地，所述方法还包括：设置置信度阈值，若所述待检测的胸部CT图像为肋骨骨折的概率大于所述置信度阈值则确定所述待检测的胸部CT图像的图像识别结果为肋骨骨折。
可选地，所述对所述胸部CT图像进行数据归一化处理，具体包括：读取每一张所述胸部CT图像的像素参数，所述像素参数代表每个像素与其对应的胸部CT的实际距离；根据所述像素参数，将所述胸部CT图像进行放大或缩小以实现物理尺寸的归一化。
可选地，所述方法还包括：对所述胸部CT图像进行翻转和/或镜像操作，扩充所述训练集。
本发明实施例提供的基于深度学习的肋骨骨折辅助检测方法及图像识别方法，一方面有效的降低了肋骨骨折检测的假阳和假阴，另一方面该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1为本发明实施例的一种基于深度学习算法的肋骨骨折辅助检测方法的流程示意图；
图2是本发明实施例提供的训练之前对训练集中的数据进行肋骨骨折区域标注的示意图；
图3是本发明实施例提供的训练之前对每张图像中的肋骨进行像素级的标注的示意图；
图4是本发明实施例提供的深度学习模型输入的胸部CT图像示意图；
图5是本发明实施例提供的深度学习模型输出的识别结果示意图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本发明基于定制化的深度卷积神经网络模型，可以实现对胸部CT图像中含疑似肋骨骨折区域，及肋骨骨折的位置信息展示给医生，以给出结构化的影像所见及诊断意见，供医生参考，以下对本发明进行详细说明。
本发明实施例首先提供一种基于深度学习算法的肋骨骨折辅助检测方法，该方法包括如下步骤：选取一定数量的胸部CT图像作为训练集，并标注所述胸部CT图像中的肋骨骨折区域和肋骨编号；对所述胸部CT图像进行数据归一化处理；将归一化处理过后的所述胸部CT图像作为输入，标注的所述胸部CT图像中的肋骨骨折区域和肋骨编号作为输出进行肋骨骨折检测模型训练，所述肋骨骨折检测模型包括：肋骨检测模型、肋骨骨折分割模型以及肋骨编号及分段模型；将待检测的胸部CT图像经过处理后输入至训练好的所述肋骨骨折检测模型中，输出检测结果。该方法一方面有效的降低了肋骨骨折检测的假阳和假阴，另一方面该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。
本实施例提供的于深度学习算法的肋骨骨折辅助检测方法与下述图像识别方法的具体实施方式相似，下述对基于深度学习算法的图像识别方法的实施例同样适用于所述基于深度学习算法的肋骨骨折辅助检测方法，以下对基于深度学习算法的肋骨骨折辅助检测方法进行详细描述。
请参阅图1，本发明实施例还提供一种基于深度学习算法的图像识别方法，如图1所示，该方法包括如下步骤：
步骤101、选取一定数量的胸部CT图像作为训练集，并标注所述胸部CT图像中的肋骨骨折区域和肋骨编号。
本发明基于深度学习构建卷积神经网络进行胸部CT图像识别，深度学习是基于大量样本，通过反向传播算法对大量样本进行特征提取和模型参数调整的技术。本发明在数据准备阶段首先构建一个包含11527例的胸部CT图像，其中肋骨骨折阳性数据(每例数据中含有至少一处骨折)3261例，阴性数据(诊断报告显示图像中未发现肋骨骨折)8266例。
针对11527例数据集，在操作过程中，随机挑选2425例阳性数据用作模型训练，构成胸部CT图像的训练数据集，剩下的9102例数据则作为本发明的测试数据集。其中，该作为训练集的胸部CT图像为是通过DICOM协议从医院的PACS系统(Picture Archiving andCommunication Systems，影像归档和通信系统)或者DR、CR设备上获取胸部CT图像。
在训练之前对训练集中的数据进行标注的方式如下：
针对2425例训练集中的阳性数据，采取slice-wise的矩形标注方式，具体由医生1首先对胸部CT图像逐层进行标注，标注的时候矩形标注的轮廓尽可能完整覆盖肋骨骨折区域，并且完整记录每个矩形的顶点坐标位置。
医生1标注完成后，由医生2对医生1的标注进行审核，若医生1出现漏标或者误标，则由医生2进行修正，最后将医生2修正后的标注如图2所示，作为金标准。
由于最终需要确认肋骨骨折区域的位置信息，因此还需要针对肋骨进行编号，亦即进行编号训练，本发明针对肋骨编号使用的训练集，由医生3采取slice-wise的标注方式，对每张图像中的肋骨进行像素级的标注。标注的时候掩膜的轮廓尽量覆盖相应的肋骨区域，完整的记录肋骨的像素点坐标，标注结果如图3所示。
步骤102、对所述胸部CT图像进行数据归一化处理。
由于胸部CT图像来源于不同的中心，作为训练集的胸部CT图像可能由于不同软件参数设置以及后处理算法，导致图像单像素代表的实际物理尺寸有不同，此处数据归一化的目的在于尽可能保证使训练集中的图像具有相近的物理尺寸。本发明将所有胸部CT图像的z方向上的间距统一归一化为3mm，来减少差异化给模型带来的影响。在下述模型在部署和应用场景中，也应该对输入数据进行同样的归一化处理。
为了利用有限的训练数据使模型的泛化能力更强，可以将训练集中的胸部CT图像进行翻转和/或镜像等操作，实现对训练集数据的扩充。在本发明中，进行训练集数据扩充的包括如下步骤：
垂直镜像：随机对训练数据集及其标注图像进行垂直镜像；
水平镜像：随机对训练数据集及其标注图像进行水平镜像；
翻转：随机对训练数据集及其标注图像进行顺时针翻转，翻转角度为0度、90度、180度或270度。
通过上述方式进行扩充后的训练集为3个训练神经网络所使用的训练数据。需要说明的是，上述镜像再翻转只是本发明其中一种扩充训练集的实施方式，在其他实施例中还可以通过翻转再镜像或者只进行镜像、只进行镜像等方式扩充训练集。
步骤103、将归一化处理过后的所述胸部CT图像作为输入，标注的所述胸部CT图像中的肋骨骨折区域和肋骨编号作为输出进行深度学习模型训练。
在本发明中，深度学习模型的输入如图4所示为1024*1024*3的胸部CT切片图像，输出如图5所示(同附图2中医生对肋骨骨折区域的标注)为每张切片图像的一个矩形框列表，每个列表含有多个矩形框(矩形框覆盖肋骨区域)，每个矩形框有中心坐标、长宽以及概率等三个属性值，亦即深度学习模型的输出包括：待检测的胸部CT图像为肋骨骨折的概率。本发明将预测概率最高且高于阈值0.5的区域被视为模型最终输出。
在本发明实施例中，深度学习模型包括：检测模型、分割模型以及分段模型，以下对该3个模型进行分别说明。
其中，检测模型为Faster-RCNN模型，Faster-RCNN模型是基于卷积神经网络的图像分割模型，该模型利用大量标注数据，对模型进行训练即可获得很好的分类效果。
在本发明实施例中，Faster-RCNN模型共包括以下4个结构：特征提取网络、区域选取网络、分类网络和2D分割网络。
1、特征提取网络。
特征提取网络为由重复堆砌的卷积层、采样层及非线性激活层组成的神经网络架构，该神经网络架构基于深度学习中的反向传播算法，用大量图像数据和图像所含物体类别标签预训练，总结提取图像抽象特征，输出图像的高维特征张量。在本发明中，特征提取网络为修改过的Resnet-50分类网络的特征提取网络，其输入为1024*1024*3的胸部CT切片图像，输出为32*32*2048的高维张量。
2、区域选取网络。
区域选取网络由全连接层和非线性激活层组成，区域选取网络通过在特征提取网络输出的高维张量上进行滑窗分类和物体边界框坐标回归，分类结果为判断当前该窗口位置包含肋骨骨折的概率及估计当前窗口所含细胞的尺寸和长宽比，当前窗口位置即对应原胸部CT切片图像中相应坐标位置。经过区域选取网络，可以对肋骨骨折的位置，大小，外接矩形框的长宽比进行估计。
在本发明中，区域选取网络可以采用特征金字塔网络FPN，金字塔网络FPN能够融合多尺度的特征信息，对小目标的检测起到了显著的提升作用。
FPN网络的输入为32x*32*2048的高维张量，中间层为256维的特征向量，分类输出层为全连接层，256维向量全连接输出当前区域包含目标的类别，各个类别分别有一个2位的稀疏向量表征(肋骨骨折+背景)，矩形框位置回归样同是全连接层，由256维向量全连接输出当前区域包含目标相对于子张量坐标中心的外接矩形框左上角坐标的橫，纵，长，宽的归一化在[0，1]之间的浮点值。通过区域选取网络可以得到肋骨骨折在特征提取网络输出的高维特征张量中对应该骨折位置对应的特征子张量。
3、分类网络。
分类网络由堆砌的全连接层和非线性激活层组成，分类网络对区域选取网络输出中，包含肋骨骨折的位置所对应的高维特征张量进行分类，判断该区域中所包含的目标是骨折或是背景。
4、2D分割网络。
2D分割网络由重复堆砌的卷积层组成，分割网络通过卷积及转置卷积。输入为区域选取网络中分类结果包含细胞和细胞核的区域所对应的特征提取网络输出结果中的高维张量的子张量。该子张量包含对原图像中细胞及细胞核的形状，特征的抽象编码；2D分割网络对该子张量中图像的抽象编码进行解码和重构，输出重构后的分割模板，从而完成胸部CT图像中肋骨的像素级分类。
在本发明中，2D分割网络首先对FPN中的高维张量进行双线性差值，获得固定尺寸为512*512*4的特征张量，将其作为分割网络的输入，2D分割网络由一个卷积核为3*3*256常规卷积层和一个卷积核为2*2*256，步长为2的转置卷积层(接非线性激活层)和一个卷积核为1*1*1的卷积输出层组成，输出的结果为对应肋骨的分割模板，获得分割好的模板后，通过双线性差将模板放大为原CT图像区域大小，从而获得肋骨的分割输出，亦即所述Faster-RCNN深度神经网络模型的输出为肋骨的分割模板。
本发明的分割模型为UNet分割神经网络模型，该UNet分割神经网络模型的输出为标注的肋骨骨折区域。
UNet分割神经网络的输入为256*256*48大小的三维patch，该网络结构主要由编码器和译码器组成，其中编码器由一系列重复堆砌的卷积层和池化层构成，而译码器由一系列卷积层和转置卷积层组成。在整个网络流程中，高层特征与底层特征逐层进行融合，语义信息与空间信息相辅相成，最后输出肋骨的三维分割模板，即肋骨骨折区域。
本发明的分段模型由编号和分段算法组成。其具体实施方式为：首先在肋骨掩膜中寻找联通域集合记为L，然后利用中心线切割法将L分为L1和L2(左右)两大集合，最后针对每个集合中的联通域，根据其质心在z方向上的大小进行排序，得到肋骨编号的掩膜。针对联通域集和L，对每个联通域寻找其左右端点，然后根据最近邻算法将每个联通域(即每根肋骨)分为前段、腋段和后段，得到肋骨骨折区域的位置信息。
本发明实施例利用深度学习中的反向传播算法，训练获得模型参数。其中，分类网络及区域选择网络以目标真实类别向量和输入区域相对于输入张量坐标中心的坐标为标签，损失函数为交叉熵函数。
在本发明实施例中，特征提取网络的参数由在ImageNet分类网络预训练的网络去除全连接层的参数进行初始化，其它相关的网络参数从[0,1]之间服从截断正态分布的参数中随机初始化选择。利用随机梯度下降反向传播算法在经过增强的训练集中以0.001的学习律训练360个周期。
在完成上述训练后，可以通过得到的模型在验证集(剩下的9102例数据作为测试数据集进行验证)上统计分割结果，即将每张验证集中的图像的所有分割结果叠加在一起构成该图像的分割模板。接着，计算分割模板与实际标注的欧几里德距离，该欧几里德距离为单张图像的推断误差；最后，将验证集中所有图片的推断误差加在一起即得到验证集误差，本发明实施例选取训练过程中，令验证集误差最低的模型作为最终训练获得的模型。
在本发明实施例中，深度学习模型的输出是该目标区域为肋骨骨折的概率。本发明将预测概率最高且高于阈值0.5的区域被视为模型最终输出。模型输出的全部目标通过非最大值抑制(Non-maximum suppression,NMS)算法，以消除高度重叠的检测结果。
在本发明实施例中，分割模型的输出是标注的肋骨骨折区域；然后，经过分段模型的后处理算法后可得到肋骨编号和肋骨分段的分割模板，最后将检测框与编号模板以及分段模板相结合，最终得到肋骨骨折的细定位。
步骤104、将待检测的胸部CT图像经过处理后输入至训练好的所述深度学习模型中，输出图像识别结果。
所述深度学习模型包括所述检测模型、所述分割模型以及分段模型中，在应用时，将待检测的胸部CT图像输入至训练好的所述检测模型、所述分割模型以及分段模型中，输出识别结果。该识别结果为肋骨骨折区域和肋骨骨折的位置信息。其中，肋骨骨折的位置包括：左侧肋骨、右侧肋骨、第N根肋骨、腋下肋骨、肋骨前段以及肋骨后段，N为正整数。
需要说明的是，本发明实施例中的模型训练方式为本领域技术人员付出创造性劳动的成果，凡是在本发明实施例基础上对本发明中数据增强方式，神经网络架构，超参数和损失函数的改变、调整或替换方案，应视为等同于本方案。
通过本发明实施例提供的基于深度学习算法的CT肋骨骨折辅助检测方法，输入任意胸部CT图像至步骤103获得的模型中可得到目标是图像是否骨折，以及骨折的区域骨折的位置等信息。本发明实施例提供的基于深度学习算法的CT肋骨骨折辅助检测方法有效的降低了肋骨骨折检测的假阳和假阴，并且该检测结果提供了疑似肋骨骨折的位置信息，可以辅助医生诊断。在此基础上，在输出结果时，还可以通过提供格式化的影像所见及诊断意见的文字，以为医生写诊断报告提供素材。
本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示例性的双光图像整合方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。
本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于深度学习算法的肋骨骨折辅助检测方法，其特征在于，包括如下步骤：
选取一定数量的胸部CT图像作为训练集，并标注所述胸部CT图像中的肋骨骨折区域和肋骨编号；
对所述胸部CT图像进行数据归一化处理；
将归一化处理过后的所述胸部CT图像作为输入，标注的所述胸部CT图像中的肋骨骨折区域和肋骨编号作为输出进行肋骨骨折检测模型训练，所述肋骨骨折检测模型包括：肋骨检测模型、肋骨骨折分割模型以及肋骨编号及分段模型；
将待检测的胸部CT图像经过处理后输入至训练好的所述肋骨骨折检测模型中，输出检测结果。
2.一种基于深度学习算法的图像识别方法，其特征在于，包括如下步骤：
选取一定数量的胸部CT图像作为训练集，并标注所述胸部CT图像中的肋骨骨折区域和肋骨编号；
对所述胸部CT图像进行数据归一化处理；
将归一化处理过后的所述胸部CT图像作为输入，标注的所述胸部CT图像中的肋骨骨折区域和肋骨编号作为输出进行深度学习模型训练，所述深度学习模型包括：检测模型、分割模型以及编号及分段模型；
将待检测的胸部CT图像经过处理后输入至训练好的所述深度学习模型中，输出图像识别结果。
3.根据权利要求2所述的方法，其特征在于，所述检测模型为Faster-RCNN深度神经网络模型，所述Faster-RCNN深度神经网络模型的输出为肋骨的分割模板。
4.根据权利要求2所述的方法，其特征在于，所述分割模型为UNet分割神经网络模型，所述UNet分割神经网络模型的输出为标注的所述肋骨骨折区域。
5.根据权利要求2所述的方法，其特征在于，所述编号及分段模型的输出为所述肋骨骨折区域的位置信息。
6.根据权利要求5所述的方法，其特征在于，所述肋骨骨折区域的位置信息包括以下一种或多种：
左侧肋骨、右侧肋骨、第N根肋骨、腋下肋骨、肋骨前段以及肋骨后段，N为正整数。
7.根据权利要求2所述的方法，其特征在于，所述深度学习模型的输出包括：待检测的胸部CT图像为肋骨骨折的概率。
8.根据权利要求5所述的方法，其特征在于，所述方法还包括：设置置信度阈值，若所述待检测的胸部CT图像为肋骨骨折的概率大于所述置信度阈值则确定所述待检测的胸部CT图像的图像识别结果为肋骨骨折。
9.根据权利要求2所述的方法，其特征在于，所述对所述胸部CT图像进行数据归一化处理，具体包括：
读取每一张所述胸部CT图像的像素参数，所述像素参数代表每个像素与其对应的胸部CT的实际距离；
根据所述像素参数，将所述胸部CT图像进行放大或缩小以实现物理尺寸的归一化。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：对所述胸部CT图像进行翻转和/或镜像操作，扩充所述训练集。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011497567.6A CN112699869A (zh) | 2020-12-17 | 2020-12-17 | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 |
| US17/189,194 US20220198230A1 (en) | 2020-12-17 | 2021-03-01 | Auxiliary detection method and image recognition method for rib fractures based on deep learning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011497567.6A CN112699869A (zh) | 2020-12-17 | 2020-12-17 | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112699869A true CN112699869A (zh) | 2021-04-23 |
Family
ID=75508873
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011497567.6A Pending CN112699869A (zh) | 2020-12-17 | 2020-12-17 | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220198230A1 (zh) |
| CN (1) | CN112699869A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780207A (zh) * | 2021-09-16 | 2021-12-10 | 中国农业科学院草原研究所 | 一种羊脸识别的系统及方法 |
| CN113822231A (zh) * | 2021-11-08 | 2021-12-21 | 中国人民解放军陆军特色医学中心 | 一种基于深度学习图像识别的转子间骨折手术辅助系统 |
| CN114494192A (zh) * | 2022-01-26 | 2022-05-13 | 西南交通大学 | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 |
| CN116385756A (zh) * | 2022-12-19 | 2023-07-04 | 中国医学科学院北京协和医院 | 基于增强标注和深度学习的医学图像识别方法及相关装置 |
| CN116703837A (zh) * | 2023-05-24 | 2023-09-05 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于mri图像的肩袖损伤智能识别方法及装置 |
| CN116843674A (zh) * | 2023-07-25 | 2023-10-03 | 中国中医科学院望京医院(中国中医科学院骨伤科研究所) | 胫骨骨折的检测方法、装置、设备及介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102510221B1 (ko) * | 2020-12-24 | 2023-03-15 | 연세대학교 산학협력단 | 골절 위험 예측 방법 및 장치 |
| CN116128940B (zh) * | 2023-01-13 | 2023-08-15 | 北京医准智能科技有限公司 | 一种肋骨骨折检出假阳性的抑制方法、装置及设备 |
| CN116563237B (zh) * | 2023-05-06 | 2023-10-20 | 大连工业大学 | 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法 |
| CN117455925B (zh) * | 2023-12-26 | 2024-05-17 | 杭州健培科技有限公司 | 一种胸部多器官和肋骨分割方法及装置 |
| CN117994251B (zh) * | 2024-04-03 | 2024-06-14 | 华中科技大学同济医学院附属同济医院 | 基于人工智能的糖尿病足溃疡严重程度评估方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019041262A1 (en) * | 2017-08-31 | 2019-03-07 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE SEGMENTATION |
| EP3660785A1 (en) * | 2018-11-30 | 2020-06-03 | Laralab UG | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ |
| US11315242B2 (en) * | 2019-04-10 | 2022-04-26 | International Business Machines Corporation | Automated fracture detection using machine learning models |
| US11436725B2 (en) * | 2019-11-15 | 2022-09-06 | Arizona Board Of Regents On Behalf Of Arizona State University | Systems, methods, and apparatuses for implementing a self-supervised chest x-ray image analysis machine-learning model utilizing transferable visual words |
-
2020
- 2020-12-17 CN CN202011497567.6A patent/CN112699869A/zh active Pending
-
2021
- 2021-03-01 US US17/189,194 patent/US20220198230A1/en not_active Abandoned
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780207A (zh) * | 2021-09-16 | 2021-12-10 | 中国农业科学院草原研究所 | 一种羊脸识别的系统及方法 |
| CN113822231A (zh) * | 2021-11-08 | 2021-12-21 | 中国人民解放军陆军特色医学中心 | 一种基于深度学习图像识别的转子间骨折手术辅助系统 |
| CN114494192A (zh) * | 2022-01-26 | 2022-05-13 | 西南交通大学 | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 |
| CN116385756A (zh) * | 2022-12-19 | 2023-07-04 | 中国医学科学院北京协和医院 | 基于增强标注和深度学习的医学图像识别方法及相关装置 |
| CN116385756B (zh) * | 2022-12-19 | 2023-10-17 | 中国医学科学院北京协和医院 | 基于增强标注和深度学习的医学图像识别方法及相关装置 |
| CN116703837A (zh) * | 2023-05-24 | 2023-09-05 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于mri图像的肩袖损伤智能识别方法及装置 |
| CN116703837B (zh) * | 2023-05-24 | 2024-02-06 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于mri图像的肩袖损伤智能识别方法及装置 |
| CN116843674A (zh) * | 2023-07-25 | 2023-10-03 | 中国中医科学院望京医院(中国中医科学院骨伤科研究所) | 胫骨骨折的检测方法、装置、设备及介质 |
| CN116843674B (zh) * | 2023-07-25 | 2024-01-26 | 中国中医科学院望京医院(中国中医科学院骨伤科研究所) | 胫骨骨折的检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220198230A1 (en) | 2022-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112699869A (zh) | 基于深度学习的肋骨骨折辅助检测方法及图像识别方法 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| Gecer et al. | Detection and classification of cancer in whole slide breast histopathology images using deep convolutional networks | |
| EP3770850B1 (en) | Medical image identifying method, model training method, and computer device | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN105574859B (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
| CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
| EP4345746A2 (en) | Method and system for image segmentation and identification | |
| US20220092789A1 (en) | Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
| US7583831B2 (en) | System and method for using learned discriminative models to segment three dimensional colon image data | |
| CN112381762A (zh) | 一种基于深度学习算法的ct肋骨骨折辅助诊断系统 | |
| US8319793B2 (en) | Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects | |
| US11158047B2 (en) | System and method for segmentation and visualization of medical image data | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN111462071B (zh) | 一种图像处理方法和系统 | |
| CN101366059A (zh) | 用于多个器官系统的cad检测系统 | |
| Mridha et al. | A comprehensive survey on the progress, process, and challenges of lung cancer detection and classification | |
| Tan et al. | A lightweight network guided with differential matched filtering for retinal vessel segmentation | |
| AU2020223750B2 (en) | Method and System for Image Annotation | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| CN112862786B (zh) | Cta影像数据处理方法、装置及存储介质 | |
| CN112862785B (zh) | Cta影像数据识别方法、装置及存储介质 | |
| CN112862787B (zh) | Cta影像数据处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |