CN114494160B - 一种基于完全融合集成网络候选框的骨折检测方法 - Google Patents

一种基于完全融合集成网络候选框的骨折检测方法 Download PDF

Info

Publication number
CN114494160B
CN114494160B CN202210023607.6A CN202210023607A CN114494160B CN 114494160 B CN114494160 B CN 114494160B CN 202210023607 A CN202210023607 A CN 202210023607A CN 114494160 B CN114494160 B CN 114494160B
Authority
CN
China
Prior art keywords
candidate frame
candidate
fracture
segmentation
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210023607.6A
Other languages
English (en)
Other versions
CN114494160A (zh
Inventor
章琛曦
何学才
宋志坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210023607.6A priority Critical patent/CN114494160B/zh
Publication of CN114494160A publication Critical patent/CN114494160A/zh
Application granted granted Critical
Publication of CN114494160B publication Critical patent/CN114494160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于医学影像检测技术领域，具体为一种基于完全融合集成网络候选框的骨折检测方法。本发明针对骨折检测时，网络模型因骨间灰度相似性而生成大量假阳性预测，且检测效果不佳等问题，提出集成目标检测网络(ED‑Net)以提高骨折检测结果，设计全新的加权融合候选框算法(CBF)消除大量的冗余框，得到定位更为精准、置信度更准确的骨折候选框，同时结合Unet针对上述候选框进行分割，进一步地提升骨折检测效果。本发明具有实施简单、精确的特点，级联ED‑Net，CBF，Unet模块有效解决上述问题，从而很好地提高了骨折的检测效果。

Description

一种基于完全融合集成网络候选框的骨折检测方法
技术领域
本发明属于医学影像检测技术领域，具体涉及一种基于完全融合集成网络候选框的骨折检测方法。
背景技术
医学图像检测任务是临床问题中一个重要且必不可少的工作，随着硬件算力和医学图像处理技术的快速发展，已有大量的优秀算法在医学影像中得到应用，特别是在骨折检测领域。例如，利用3D重建或多平面重组等方法，从观察角度上协助医生做出准确诊断，但此重建过程中容易丢失信息，导致微小骨折漏诊率较高。同时，也有学者提出基于机器学习骨折自动监测，通过定量分析人工设计的断裂变形特征与局部纹理特征进行诊断，但此类方法往往存在过拟合，模型泛化不佳等问题，临床应用价值不高。
随着深度学习技术的发展，现有文献提出了很多技术方法通过学习骨折高级特征，实现更优的骨折检测结果和网络泛化性。通常具体实现为利用单一目标检测网络或单一分割网络对病灶区域进行预测，根据交并比判断是否检测正确，但由于骨间灰度相似性与微小骨折变形不明显等问题，导致网络难以学习到对应特征，最终骨折检测效果不佳。同时，由于不同网络对于不同类型的骨折敏感性不同，单一网络模型往往难以实现最优检测结果。
因此，本申请的发明人拟提供一种基于完全融合集成网络候选框的骨折检测方法，从而提高3D医学图像病灶检测性能。
与本发明相关的现有技术有如下参考文献：
[1]HU J,ZHENG Z F,WANG S H,et al.Missed rib fractures on initialchest CT in trauma patients:time patterns,clinical and forensic significance[J].European Radiology,2021,31(4):2332-2339.
[2]JIN L,YANG J C,KUANG K M,et al.Deep-learning-assisted detectionand segmentation of rib fractures from CT scans:Development and validation ofFracNet[J].Ebiomedicine,2020,62.
[3]JOLIVET E,SANDOZ B,LAPORTE S,et al.Fast 3D reconstruction of therib cage from biplanar radiographs[J].Medical&Biological Engineering&Computing,2010,48(8):821–828.
[4]MENG X H,WU D J,WANG Z,et al.A fully automated rib fracturedetection system on chest CT images and its impact on radiologist performance[J].Skeletal Radiology,2021,50(9):1821-1828.
[5]ZHOU Q Q,TANG W,WANG J S,et al.Automatic detection andclassification of rib fractures based on patients’CT images and clinicalinformation via convolutional neural network[J].European Radiology,2021,31(6):3815-3825。
发明内容
本发明的目的在于提出一种基于完全融合集成网络候选框的骨折检测方法，以提升骨折的检测性能。
本发明提出的基于完全融合集成网络候选框的骨折检测方法，采用集成目标检测网络
(ED-Net，EnsembleDetectionNet)，以提高骨折检测结果；设计全新的加权融合候选框算法(CBF，CompleteBoxFusion)，以消除大量的冗余框，得到定位更为精准、置信度更准确的骨折候选框；结合分割模型Unet对上述候选框进行分割，进一步地提升骨折检测效果。
本发明中，加权融合候选框算法的设计原则是：IoU越小的候选框权重越小，中心点距离越小的候选框权重越大，置信度越小的候选框权重越小，与其重叠的候选框数量越少的候选框的权重越小；这样，可有效融合存在重叠性质的候选框，同时生成定位更精准、置信度更合理的候选框。
本发明提供的基于完全融合集成网络候选框的骨折检测方法，具体步骤如下。
步骤1，首先对于图像进行预处理；包括：强度归一化，直方图均衡化，利用分割标注生成检测框标注，形成目标检测算法的监督信息；
具体地，把整个图像分成许多小块像素，进行非线性拉伸，使局部的灰度直方图均匀分布；采用三阶样条插值法将所有体素重新采样为统一大小；采用最近邻插值法用于相应的分割标注；(在每次训练迭代中)采用包括随机旋转、剪切、缩放、翻转操作的随机变换以增强数据；利用算法生成围绕分割标注的真实框标注，与分割标注同时作为目标检测算法的监督信息。
步骤2，将预处理过后的图像缩放输入ED-Net；ED-Net由RetinaUnet、UFRCNN+、MaskRCNN三个目标检测模型构成(参见：JAEGER P F,KOHL S A A,BICKELHAUPT S,etal.Retina U-Net:Embarrassingly Simple Exploitation of SegmentationSupervision for Medical Object Detection[C],2019)；其中，3个目标检测模型分别训练学习预处理后的输入图像；其中，由多层卷积生成多层特征层(图2左，白色方块所示)；由特征金字塔网络FPN(图2中，橙色方块所示)将由多层卷积生成多层特征层的相邻特征层相加得到P1-P5等层级的新特征层；由区域选取网络RPN对特征金字塔网络FPN的P2-P5层特征进行预测，筛选出骨折候选区域；由预测网络predict层得到最终的候选框坐标(boxcoordinates)与候选框置信度(classification confidence)；另外，分割预测P0层为网络对P1特征层进行骨折分割预测，随后将分割结果与真实分割标注(图2中，底部绿色方块所示)计算分割损失，并通过P1层反向传播至P2-P5层的预测网络，由此实现对后续的RPN层与predict层的语义监督。
在ED-Net中训练学习骨折特征，同时使用方框和语义两个监督信息，使得目标检测网络预测结果更为精准，生成大量骨折候选框。
进一步地，在ED-Net训练中，RetinaUnet、UFRCNN+通过在特征金字塔网络FPN(参见LIN T Y,DOLLAR P,GIRSHICK R,et al.Feature Pyramid Networks for ObjectDetection:IEEE Conference on Computer Vision and Pattern Recognition[C],2017.)的P0层计算全局语义损失，反向传播至P2-P5层，提升该层的分类与回归的子网络的检测效果；其中，P0层损失函数定义如下：
Figure BDA0003463587420000031
Figure BDA0003463587420000032
L＝LCE+Ldice；
损失函数L由LCE与Ldice构成，LCE为体素级的分类交叉熵损失函数，Ldice为体素级的分割损失函数；Ldice能够有效地解决医学图像中正负样本不均衡的问题，通过对背景区域监督学习，使得训练过程更加侧重于前景区域的挖掘。上式中yi∈{±1}，表示真实标注中体素i的类别，
Figure BDA0003463587420000035
代表体素i预测为前景的概率，N表示像素总数。
Mask RCNN所采用的语义监督方案不同，其仅用候选框内的语义信息实现对子网络的局部监督作用，以此提升子网络的检测精度。
步骤3，由CBF算法重新生成定位更精准、置信度更合理的候选框，此算法融合存在重叠性质的候选框，有效去除大量冗余框，得到更合理的检测效果，具体步骤如下：
(1)首先将每个模型的预测框存储在总候选框B中，根据置信度C进行降序排序；
(2)统计每个候选框与其存在交并比的候选框的数量n，将其放入重叠数量N中，根据
Figure BDA0003463587420000033
重新计算比例值r，将其存储至重叠比例R中；
(3)每次从总候选框B中取出最高分数的候选框b，存至候选框P中，再遍历剩余列表，计算b与剩余候选框bi的IoU，若b与bi的IoU大于设定的阈值THR(本发明可设定为THR＝0.3)，则将该bi存至候选框P中；
(4)计算候选框P中每个bi与b的IoU和中心点距离d，得到对应d、IoU在高斯分布函数中的数值d*、IoU*，并查找bi在重叠比例R中对应的比例值r，将这三个指标与bi的置信度相乘当做bi的权重，根据此权重调整b的坐标位置，生成新的候选框f；同时在总候选框B中剔除大于IoU阈值的bi；
Figure BDA0003463587420000034
Figure BDA0003463587420000041
Figure BDA0003463587420000042
Figure BDA0003463587420000043
Figure BDA0003463587420000044
(5)遍历候选框P中所有候选框在重叠比例R中的比例值r，根据权重r重新计算b的置信度c；
c＝r*c，
(6)将新生成的候选框f以及对应置信度c存储在融合框F中；
(7)重复上述步骤，直至处理完所有候选框。
步骤4，采用分割模型Unet对上述候选框进行分割，即将CBF生成的候选框中心裁剪固定尺寸CT输入至Unet中，进行分割，得到完整的分割结果，实现骨折的精准检测定位。
进一步地，在Unet对候选框进行分割过程中，采用负斜率0.01的Leaky Relu作为激活函数，采用Ranger优化器，其结合了两个存在不同优势的优化器：RAdam与LookAhead，RAdam可有效稳定开始训练时的方差变化，避免进入局部最优状态，LookAhead减少训练过程中的方差，降低对超参数调优的需要，加快了深度学习任务的收敛；由此，Ranger优化器可避免进入局部最优值且更快地达到更稳定的最优值；模型训练采用的损失函数为Tversky loss，通过调整损失函数中的参数α和β控制假阳性和假阴性之间的平衡，公式如下：
Figure BDA0003463587420000045
其中，y0i当体素i为前景体素时等于1，为背景像素时等于0，y1i则反之；
Figure BDA0003463587420000046
体素i预测为前景体素的概率，
Figure BDA0003463587420000047
体素i预测为背景体素的概率。
围绕上述CBF生成的候选框中心裁剪固定尺寸CT输入至Unet中进行分割。从而得到完整的分割结果，实现骨折的精准检测定位。
本发明中，CBF后处理算法，减少ED-Net预测时产生的大量冗余框，并重新生成定位更精准、置信度更合理的候选框，结合Unet的进一步分割结果，从而提升整体网络的检测性能。
本发明的基于完全融合集成网络候选框的骨折检测方法与现有技术相比，具有以下优点：
(1)同时利用真实框标注和分割标注作为监督，可有效提升检测结果；
(2)集成多个目标检测网络模型，进一步有效提升网络检测结果；
(3)CBF算法有效减少冗余框，生成检测性能更准确的候选框；
(4)Unet分割实现骨折的进一步精准定位。
附图说明
图1本发明流程图，包含ED-Net网络，CBF算法和分割网络。
图2本发明ED-Net网络模型架构图。
图3肋骨骨折分割结果，红色表示分割结果，蓝色表示真实标注。
具体实施方式
实施例1，采用本发明方法进行肋骨骨折检测定位。
本发明提供的基于完全融合集成网络候选框的骨折检测方法具体实现过程如下：
步骤1，训练集数据共420例，来自RibFracDataset数据集。首先对于图像先进行强度归一化以及直方图均衡化。把整个图像分成许多小块像素进行非线性拉伸，使局部的灰度直方图均匀分布。为了使网络能够正确学习空间语义，采用三阶样条插值法将所有CT体素重新采样为统一大小。采用最近邻插值法用于相应的分割标注。在每次训练迭代中主要包括随机旋转，剪切，缩放和翻转操作的随机变换以增强数据。利用算法生成围绕分割标注的真实框标注，与分割标注同时作为目标检测算法的监督信息。
步骤2，裁剪128*128*96的胸部CT输入ED-Net，ED-Net由RetinaUnet、UFRCNN+、MaskRCNN三个目标检测模型构成，在ED-Net训练学习骨折特征，同时使用两个监督信息使得目标检测网络预测结果更为精准，生成大量骨折候选框。RetinaUnet、UFRCNN+通过在FPN网络的P0层计算全局语义损失，反向传播至P2-P5层，提升该层的分类与回归的子网络检测效果。
Mask RCNN所采用的语义监督方案不同，其仅用候选框内的语义信息实现对子网络的局部监督作用，以此提升子网络的检测精度。
步骤3，由CBF算法重新生成定位更精准，置信度更合理的候选框，此算法融合存在重叠性质的候选框，有效去除大量冗余框，得到更合理的检测效果，具体步骤如下：
(1)首先将每个模型的预测框存储在总候选框B中，根据置信度C进行降序排序；
(2)统计每个候选框与其存在交并比的候选框的数量n，将其放入重叠数量N中，根据
Figure BDA0003463587420000051
重新计算比例值r，将其存储至重叠比例R中；
(3)每次从总候选框B中取出最高分数的候选框b，存至候选框P中，再遍历剩余列表，计算b与剩余候选框bi的IoU，若b与bi的IoU大于设定的阈值THR(本发明可设定为THR＝0.3)，则将该bi存至P中；
(4)计算P中每个bi与b的IoU和中心点距离d，得到对应d、IoU在高斯分布函数中的数值d*、IoU*，并查找bi在R中对应的比例值r，将这三个指标与bi的置信度相乘当做bi的权重，根据此权重调整b的坐标位置，生成新的候选框f；同时在B中剔除大于IoU阈值的bi；
(5)遍历候选框P中所有候选框在重叠比例R中的比例值r，根据权重r重新计算b的置信度c；
(6)将新生成的候选框f以及对应置信度c存储在融合框F中；
(7)重复上述步骤，直至处理完所有候选框。
步骤4，采用分割模型Unet，采用负斜率0.01的Leaky Relu作为激活函数，优化器采用Ranger优化器，其结合了两个存在不同优势的优化器：RAdam与LookAhead，RAdam可有效稳定开始训练时的方差变化，避免进入局部最优状态，LookAhead减少训练过程中的方差，降低了对超参数调优的需要，加快了深度学习任务的收敛，由此，Ranger优化器可避免进入局部最优值且更快地达到更稳定的最优值；模型训练采用的损失函数为Tverskyloss，通过调整损失函数中的参数α和β控制假阳性和假阴性之间的平衡。
将上述CBF生成的候选框中心裁剪固定尺寸CT输入至Unet中进行分割。从而得到完整的分割结果，实现骨折的精准检测定位。
真实标注与本发明设计的网络检测结果比较如图3所示。该测试集由160例病人组成，测试结果如表1所示。
表1
Figure BDA0003463587420000061
本实施例的实验结果表明，本发明方法检测性能更好；本发明的集成模型ED-Net能够有效地提升最终检测结果，CBF模块能够有效去除冗余框并提升候选框的定位准确度，配合Unet可实现最优的骨折检测效果。且本方法实施简单，可同理应用于其他类型的骨折检测中。

Claims (4)

1.一种基于完全融合集成网络候选框的骨折检测方法，其特征在于，采用集成目标检测网络ED-Net，以提高骨折检测结果；设计加权融合候选框算法CBF，以消除大量的冗余框，得到定位更为精准、置信度更准确的骨折候选框；结合分割模型Unet对上述候选框进行分割，进一步地提升骨折检测效果；
加权融合候选框算法的设计原则是：IoU越小的候选框权重越小，中心点距离越小的候选框权重越大，置信度越小的候选框权重越小，与其重叠的候选框数量越少的候选框的权重越小；这样，可有效融合存在重叠性质的候选框，同时生成定位更精准、置信度更合理的候选框；
具体步骤如下：
步骤1，首先对于图像进行预处理；包括强度归一化，直方图均衡化等，并利用分割标注生成检测框标注，形成目标检测算法的监督信息；
步骤2，将预处理过后的图像缩放输入ED-Net，ED-Net由RetinaUnet、UFRCNN+、MaskRCNN三个目标检测模型构成；三个目标检测模型分别训练学习预处理后的输入图像；其中，由多层卷积生成多层特征层；由特征金字塔网络FPN将由多层卷积生成多层特征层中的相邻特征层相加得到P1-P5等层级的新特征层；由区域选取网络RPN对特征金字塔网络FPN的P2-P5层特征进行预测，筛选出骨折候选区域；由预测网络predict层得到最终的候选框坐标与候选框置信度；另外，分割预测P0层为网络对P1特征层进行骨折分割预测，随后将分割结果与真实分割标注计算分割损失，并通过P1层反向传播至P2-P5层的预测网络，由此实现对后续的RPN层与predict层的语义监督；
在ED-Net中训练学习骨折特征，同时使用方框和语义两个监督信息，使得目标检测网络预测结果更为精准，生成大量骨折候选框；
步骤3，由CBF算法重新生成定位更精准、置信度更合理的候选框，具体步骤如下：
(1)首先将每个模型的预测框存储在总候选框B中，根据置信度C进行降序排序；
(2)统计每个候选框与其存在交并比的候选框的数量n，将其放入重叠数量N中，根据
Figure FDA0004072215990000011
重新计算比例值r，将其存储至重叠比例R中；
(3)每次从总候选框B中取出最高分数的候选框b，存至候选框P中，再遍历剩余列表，计算b与剩余候选框bi的IoU，若b与bi的IoU大于设定的阈值THR，则将该bi存至候选框P中；
(4)计算候选框P中每个bi与b的IoU和中心点距离d，得到对应d、IoU在高斯分布函数中的数值d*、IoU*，并查找bi在重叠比例R中对应的比例值r，将这三个指标与bi的置信度相乘当做bi的权重，根据此权重调整b的坐标位置，生成新的候选框f；同时在总候选框B中剔除大于IoU阈值的bi；
Figure FDA0004072215990000021
Figure FDA0004072215990000022
Figure FDA0004072215990000023
Figure FDA0004072215990000024
Figure FDA0004072215990000027
(5)遍历候选框P中所有候选框在重叠比例R中的比例值r，根据权重r重新计算b的置信度c；
c＝r*c，
(6)将新生成的候选框f以及对应置信度c存储在融合框F中；
(7)重复上述步骤，直至处理完所有候选框；
步骤4，采用分割模型Unet对上述候选框进行分割，即将上述CBF生成的候选框中心裁剪固定尺寸CT输入至Unet中，得到完整的分割结果，实现骨折的精准检测定位。
2.根据权利要求1所述的骨折检测方法，其特征在于，步骤1中所述对于图像进行预处理，包括：把整个图像分成许多小块像素，进行非线性拉伸，使局部的灰度直方图均匀分布；采用三阶样条插值法将所有体素重新采样为统一大小；采用最近邻插值法用于相应的分割标注；采用包括随机旋转、剪切、缩放、翻转操作的随机变换以增强数据；利用算法生成围绕分割标注的真实框标注，与分割标注同时作为目标检测算法的监督信息。
3.根据权利要求1所述的骨折检测方法，其特征在于，步骤2中所述在ED-Net中训练学习骨折特征，生成大量骨折候选框；其中：
RetinaUnet、UFRCNN+通过在特征金字塔网络FPN的P0层计算全局语义损失，反向传播至P2-P5层，提升该层的分类与回归的子网络的检测效果；其中，P0层损失函数L定义如下：
Figure FDA0004072215990000025
Figure FDA0004072215990000026
L＝LCE+Ldice；
其中，LCE为体素级的分类交叉熵损失函数，Ldice为体素级的分割损失函数；Ldice能够有效地解决医学图像中正负样本不均衡的问题，通过对背景区域监督学习，使得训练过程更加侧重于前景区域的挖掘；yi∈{±1}，表示真实标注中体素i的类别，
Figure FDA0004072215990000034
代表体素i预测为前景的概率，N表示像素总数；
Mask RCNN仅用候选框内的语义信息实现对子网络的局部监督作用，以此提升子网络的检测精度。
4.根据权利要求3所述的骨折检测方法，其特征在于，步骤4中所述采用分割模型Unet对上述候选框进行分割，其中，采用负斜率0.01的Leaky Relu作为激活函数，采用Ranger优化器，其结合有两个存在不同优势的优化器：RAdam与LookAhead，RAdam用于稳定开始训练时的方差变化，避免进入局部最优状态；LookAhead用于减少训练过程中的方差，降低对超参数调优的需要，加快深度学习任务的收敛；由此，Ranger优化器可避免进入局部最优值且更快地达到更稳定的最优值；模型训练采用的损失函数为Tversky loss，通过调整损失函数中的参数α和β控制假阳性和假阴性之间的平衡，公式如下：
Figure FDA0004072215990000031
其中，y0i当体素i为前景体素时等于1，为背景像素时等于0，y1i则反之；
Figure FDA0004072215990000032
体素i预测为前景体素的概率，
Figure FDA0004072215990000033
体素i预测为背景体素的概率。
CN202210023607.6A 2022-01-10 2022-01-10 一种基于完全融合集成网络候选框的骨折检测方法 Active CN114494160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210023607.6A CN114494160B (zh) 2022-01-10 2022-01-10 一种基于完全融合集成网络候选框的骨折检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210023607.6A CN114494160B (zh) 2022-01-10 2022-01-10 一种基于完全融合集成网络候选框的骨折检测方法

Publications (2)

Publication Number Publication Date
CN114494160A CN114494160A (zh) 2022-05-13
CN114494160B true CN114494160B (zh) 2023-04-18

Family

ID=81510698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210023607.6A Active CN114494160B (zh) 2022-01-10 2022-01-10 一种基于完全融合集成网络候选框的骨折检测方法

Country Status (1)

Country Link
CN (1) CN114494160B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578564B (zh) * 2022-10-25 2023-05-23 北京医准智能科技有限公司 实例分割模型的训练方法、装置、电子设备及存储介质
CN116363056B (zh) * 2023-01-16 2023-09-05 北京医准智能科技有限公司 胸部ct骨折检测优化的方法、装置及设备
CN116543189B (zh) * 2023-06-29 2023-09-26 天津所托瑞安汽车科技有限公司 一种目标检测方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288271A (zh) * 2018-02-06 2018-07-17 上海交通大学 基于三维残差网络的图像检测系统及方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN111524106A (zh) * 2020-04-13 2020-08-11 北京推想科技有限公司 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN112837297A (zh) * 2021-02-08 2021-05-25 福建医科大学附属协和医院 一种渐进式多尺度的颅面骨骨折检测方法
CN113378786A (zh) * 2021-07-05 2021-09-10 广东工业大学 一种超轻量目标检测网络和方法
CN113409267A (zh) * 2021-06-17 2021-09-17 西安热工研究院有限公司 一种基于深度学习的路面裂缝检测与分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7876938B2 (en) * 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
US10582907B2 (en) * 2016-10-31 2020-03-10 Siemens Healthcare Gmbh Deep learning based bone removal in computed tomography angiography

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288271A (zh) * 2018-02-06 2018-07-17 上海交通大学 基于三维残差网络的图像检测系统及方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN111524106A (zh) * 2020-04-13 2020-08-11 北京推想科技有限公司 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN111814741A (zh) * 2020-07-28 2020-10-23 四川通信科研规划设计有限责任公司 一种基于注意力机制的遮挡胚胎原核及卵裂球检测方法
CN112837297A (zh) * 2021-02-08 2021-05-25 福建医科大学附属协和医院 一种渐进式多尺度的颅面骨骨折检测方法
CN113409267A (zh) * 2021-06-17 2021-09-17 西安热工研究院有限公司 一种基于深度学习的路面裂缝检测与分割方法
CN113378786A (zh) * 2021-07-05 2021-09-10 广东工业大学 一种超轻量目标检测网络和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIN L.Deep-learning-assisted detectionand segmentation of rib fractures from CT scans.《Development and validation of FracNet》.2020,第第62卷卷全文. *

Also Published As

Publication number Publication date
CN114494160A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114494160B (zh) 一种基于完全融合集成网络候选框的骨折检测方法
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
Liu et al. A cascaded deep convolutional neural network for joint segmentation and genotype prediction of brainstem gliomas
Choi et al. Genetic programming-based feature transform and classification for the automatic detection of pulmonary nodules on computed tomography images
Ye et al. Weakly supervised lesion localization with probabilistic-cam pooling
CN109345527B (zh) 一种基于MaskRcnn的膀胱肿瘤检测方法
Ozdemir et al. Propagating uncertainty in multi-stage bayesian convolutional neural networks with application to pulmonary nodule detection
Taie et al. CSO-based algorithm with support vector machine for brain tumor's disease diagnosis
Costa et al. Evaluating the performance of convolutional neural networks with direct acyclic graph architectures in automatic segmentation of breast lesion in US images
Feng et al. Deep learning for chest radiology: a review
Mobiny et al. Lung cancer screening using adaptive memory-augmented recurrent networks
Qu et al. COVID-19 detection using CT image based on YOLOv5 network
CN116884623A (zh) 基于激光扫描成像的医疗康复预测系统
Zhu et al. Detecting scatteredly-distributed, small, andcritically important objects in 3d oncologyimaging via decision stratification
Deng et al. Automated CT pancreas segmentation for acute pancreatitis patients by combining a novel object detection approach and U-Net
Lahoti et al. Whole Tumor Segmentation from Brain MR images using Multi-view 2D Convolutional Neural Network
Wang et al. Instance segmentation of anatomical structures in chest radiographs
Wei et al. Automatic recognition of major fissures in human lungs
Shariaty et al. Severity and progression quantification of covid-19 in ct images: a new deep-learning approach
Peng et al. Lung contour detection in chest X-ray images using mask region-based convolutional neural network and adaptive closed polyline searching method
Tyagi et al. An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation
Hassen et al. A fuzzy approach to chest radiography segmentation involving spatial relations
Gupta et al. Detection and Staging of Lung Cancer from CT scan Images by Deep Learning
Sobhaninia et al. Brain tumor classification by cascaded multiscale multitask learning framework based on feature aggregation
Zhang et al. Oriented Cascade Mask R-CNN for Biomedical Image Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant