CN116168029A - 一种用于评估肋骨骨折的方法、设备和介质 - Google Patents
一种用于评估肋骨骨折的方法、设备和介质 Download PDFInfo
- Publication number
- CN116168029A CN116168029A CN202310451101.XA CN202310451101A CN116168029A CN 116168029 A CN116168029 A CN 116168029A CN 202310451101 A CN202310451101 A CN 202310451101A CN 116168029 A CN116168029 A CN 116168029A
- Authority
- CN
- China
- Prior art keywords
- rib
- fracture
- image
- level
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000027790 Rib fracture Diseases 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 44
- 206010017076 Fracture Diseases 0.000 claims abstract description 95
- 208000010392 Bone Fractures Diseases 0.000 claims abstract description 89
- 230000011218 segmentation Effects 0.000 claims abstract description 78
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000012795 verification Methods 0.000 claims abstract description 19
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000004140 cleaning Methods 0.000 claims abstract description 4
- 238000003745 diagnosis Methods 0.000 claims abstract description 4
- 238000010200 validation analysis Methods 0.000 claims abstract 2
- 238000013527 convolutional neural network Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000003902 lesion Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000008602 contraction Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 238000005452 bending Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000005489 elastic deformation Effects 0.000 claims description 3
- 238000011423 initialization method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000001054 cortical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 206010019027 Haemothorax Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 208000005530 hemopneumothorax Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种用于评估肋骨骨折的方法、设备和介质。所述方法包括：获取多张临床胸部CT原图并执行归一化预处理获取预处理图像；基于肋骨CT影像数据集对预处理图像进行数据清洗，将清洗后的肋骨CT影像数据集分为肋骨训练集和肋骨验证集；使用肋骨分割模型对肋骨训练集进行训练，并使用肋骨验证集验证经训练的肋骨分割模型；迭代执行以上训练和验证直至正确率达到阈值水平，从而获取经验证的肋骨分割模型；将患者的临床CT原图输入到经验证的肋骨分割模型中，确定患者肋骨是否存在裂缝，从而判断患者骨折是否为真阳性，输出肋骨裂缝和感兴趣区域进行整合，生成医学影像诊断报告。实现了肋骨骨折的精准评估。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种用于评估肋骨骨折的方法、设备和介质。
背景技术
现有技术中骨折的鉴别采用人工观察，鉴别效率低，与医务人员的经验直接相关。目前医院里的医生根据经验通过看CT扫描和X光图像的目测来判断骨折，有些实习生积累这种经验需要很长的时间。每个医生的经验和技术水平不同，有可能获得不同的结果。而且这种目测方法具有一定的主观性，很难避免误差。
医用CT是最常用和最有效的成像检查之一，它使用X射线准直系统获得清晰的横截面图像，精确的层厚，高密度分辨率，并且没有层外结构的干扰数据。随着医学CT的广泛使用，肋骨CT图像数据“爆炸性”增长，肋骨骨折一般具有体积小的特点，边缘模糊，肉眼难以分辨，从而从CT图像中难以识别骨折及其位置，大大增加了医生的工作量，对医生的专业水平和经验也有很高的要求，不同的医生判断结果可能不同，并且肋骨骨折往往合并血胸、血气胸等危急情况，需要即时发现和处理。
综上，传统的评估肋骨骨折的不足之处在于：评估结果因存在主观性、缺乏统一解释等原因而使得分析结果的准确性欠佳，因此需要一种用于评估肋骨骨折的方法、设备和介质，来帮助医生快速、准确地识别肋骨骨折及其位置。
发明内容
本发明的目的在于提供一种用于评估肋骨骨折的方法、设备和介质，以解决背景技术中提出的传统的肋骨骨折评估结果因存在主观性、缺乏统一解释等原因而使得分析结果的准确性欠佳的问题。
为实现上述目的，本发明提供了一种用于评估肋骨骨折的方法，所述方法包括：
获取多张临床胸部CT原图并且对所述CT原图执行归一化预处理，以获取包括肋骨的预处理图像；
基于肋骨CT影像数据集对所述预处理图像进行数据清洗，将清洗后的肋骨CT影像数据集分为肋骨训练集和肋骨验证集；
使用肋骨分割模型对肋骨训练集进行自动分割工作，从而获取经过训练的肋骨分割模型，并且使用所述肋骨验证集验证经过训练的肋骨分割模型；
所述肋骨分割模型包括两个并联的RB-Net模型，一个RB-Net模型用于执行体素级肋骨分割并且将存在骨折边界的肋骨标记标注，另一个RB-Net模型用于将标注的肋骨体素与其余未骨折的肋骨体素分开；所述RB-Net模型包括收缩层和扩展层，所述收缩层和扩展层均包括多个Residual残差模块和多个Bottleneck瓶颈模块，所述Residual残差模块和Bottleneck瓶颈模块均基于CBR块构建而成，所述CBR块基于三维U-Net算法模块构建，所述CBR块包括卷积层、正则化层和激活函数层；
迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平，从而获取经验证的肋骨分割模型；
将患者的临床CT原图输入到所述经验证的肋骨分割模型中，确定患者肋骨是否存在裂缝，从而判断患者骨折是否为真阳性；患者骨折为真阳性则输出肋骨裂缝和感兴趣区域并且对所述裂缝和感兴趣区域进行整合，生成医学影像诊断报告。
在一种具体的实施方式中，所述确定患者肋骨是否存在裂缝的步骤包括：
将肋骨分割模型中评估患者肋骨骨折概率的级别分为骨折级别、肋骨级别以及患者级别；分别采用骨折级别、肋骨级别以及患者级别的评估标准对肋骨分割模型输出的肋骨裂缝进行评估；综合骨折级别、肋骨级别以及患者级别的评估结果来判断患者骨折是否为真阳性；
对肋骨分割模型输出的肋骨裂缝进行评估还包括：采用五级评分来评估肋骨骨折区域预测分类的相关程度，所述肋骨骨折区域预测分类包括真阳性、真阴性、假阳性和假阴性，真阳性代表被正确识别为肋骨骨折的样本，真阴性代表被正确分类的非肋骨骨折样本，假阳性代表被错误分类为非肋骨骨折样本，假阴性代表被错误分类为肋骨骨折样本；评估预测分类相关程度的五级评分中，5分表示肋骨在该预测分类中无相关性、4分表示肋骨在该预测分类中具有低相关性、3分表示肋骨在该预测分类中具有中相关性、2分表示肋骨在该预测分类中具有高相关性、1分表示肋骨在该预测分类中具有非常高相关性。
在一种具体的实施方式中，所述CBR块还包括：用于输入的数据层、用于降低网络参数的池化层、全连接层、舍弃层、用于计算训练和验证数据集精度的精度层和用于计算训练阶段的数据丢失的损失层。
在一种具体的实施方式中，所述Residual残差模块包括2个3×3×3的CBR块逐元素依次相加而成，所述Bottleneck瓶颈模块包括1个1×1×1的CBR块、2个3×3×3的CBR块和1个1×1×1的CBR块逐元素依次相加而成；
形成两个并联的RB-Net模型包括：使用Kaming初始化方法初始化RB-Net模型的模型参数；
所述收缩层和扩展层均是基于对多个Residual残差模块和多个Bottleneck瓶颈模块执行上采样和下采样来获取的。
在一种具体的实施方式中，所述CBR块基于三维U-Net算法模块构建的过程包括：将肋骨CT影像数据的图片裁剪为128×3体素的图像块，并将裁剪的图像块均匀重新采样为0.3~0.9毫米/体素的各向同性间距。
在一种具体的实施方式中，所述迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平包括：使用数据增强对肋骨分割模型进行训练，使用数据增强包括执行裁剪0~2mm的随机弹性变形、执行0.9~1.1倍的小随机缩放和-5°~+5°的小随机旋转；
所述迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平还包括：使用深度学习中的Adam优化器对RB-Net模型进行优化，最小化的目标损失函数设置为初始学习率=10-4，β1=0.9，β2=0.999，训练批量大小设置为8~64，焦点损失设置为α=0.75，γ=2，其中β1、β2、α、γ均为损失函数中的参数。
在一种具体的实施方式中，所述归一化预处理包括图像重定位、图像重采样、像素归一化中的至少一种；像素归一化包括在选取的窗宽窗位的基础上，将像素值调整至预设范围内；图像重定位包括将图像的方向调整至与单位矩阵一致，包括通过旋转、插值的调整操作来实现图像重定位；
通过k折交叉验证的方法将清洗后的肋骨CT影像数据集分为肋骨训练集和肋骨验证集。
本发明还提供了一种计算设备，所述计算设备包括：
至少一个处理器；以及与至少一个处理器通信连接的存储器；
所述存储器存储设置有可被至少一个处理器执行的程序，所述程序被处理器执行时实现如前所述的用于评估肋骨骨折的方法。
在一种具体的实施方式中，所述程序包括图像初检模块和病灶筛选模块；
图像初检模块由3D卷积神经网络构成，负责检出疑似存在骨折的病灶区域；所述3D卷积神经网络包括主干网络、特征金字塔网络、检测组件、分类网络和分割网络；所述主干网络用于对输入图像通过卷积和下采样进行高层次抽象特征的提取，得到不同尺度的特征图，不同尺度的特征图包括特征图为原图尺寸的1/4、1/8、1/16、1/32；所述特征金字塔网络用于将主干网络得到的特征图经过上采样后，和上一层的特征图进行融合、卷积，得到新的不同尺度的特征图；所述检测组件用于对输入特征图进行卷积、下采样、全连接，得到感兴趣区域；所述分类网络用于对输入特征图进行卷积、下采样、全连接，得到不同类别目标的相应概率；所述分割网络用于对输入特征图进行卷积、上采样、融合，得到最终分割结果；
病灶筛选模块由2D分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果及区分骨折类型；2D分类卷积神经网络将由图像初检模块得到的3D病灶区域处理成对应的2D切片图像集，并由2D分类卷积神经网络对每一个切片图像进行分类，输出结果为切片图像对应预设骨折的概率；所述预设骨折包括弯曲骨折、移位骨折、无移位骨折和节段性骨折；输出结果是指当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在此类骨折；弯曲骨折、移位骨折、无移位骨折和节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域；
所述程序还包括精细分割模块，精细分割模块由3D分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
本发明还提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的用于评估肋骨骨折的方法。
相比于现有技术，本发明具有以下有益效果：
本发明设计了一种用于评估肋骨骨折的方法，构建了一种新的肋骨分割模型，采用了并联两个RB-Net模型的方式，一个RB-Net模型用于执行体素级肋骨分割并且将存在骨折边界的肋骨标记标注，另一个RB-Net模型用于将标注的肋骨体素与其余未骨折的肋骨体素分开；肋骨分割模型通过训练和验证达标后，能使目标医学图像中对肋骨骨折的解读规范化、统一化，也提高了肋骨骨折检测的效率，解决了传统的肋骨骨折评估结果因存在主观性、缺乏统一解释等原因而使得分析结果的准确性欠佳的问题。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明用于评估肋骨骨折的方法的流程图。
实施方式
以下结合附图对本发明的实施例进行详细说明，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
本发明提供了一种用于评估肋骨骨折的方法，所述方法包括：
获取多张临床胸部CT原图并且对所述CT原图执行归一化预处理，以获取包括肋骨的预处理图像。
为了使临床胸部CT原图规范化、统一化，以便于对临床胸部CT原图进行检测，提高检测的效率。因此，在对临床胸部CT原图进行检测，得到目标骨部位属于各预设类别的预测概率之前，要先对临床胸部CT原图进行预处理。所述归一化预处理包括图像重定位、图像重采样、像素归一化中的至少一种；像素归一化包括在选取的窗宽窗位的基础上，将像素值调整至预设范围内，例如，选取的窗宽窗位为[1500，450]，将图像的像素值归一化至[-1,1]之间；图像重定位包括将图像的方向调整至与单位矩阵一致，包括通过旋转、插值的调整操作来实现图像重定位；
通过k折交叉验证的方法将清洗后的肋骨CT影像数据集分为肋骨训练集和肋骨验证集。
基于肋骨CT影像数据集对所述预处理图像进行数据清洗，将清洗后的肋骨CT影像数据集分为肋骨训练集和肋骨验证集。
使用肋骨分割模型对肋骨训练集进行自动分割工作，从而获取经过训练的肋骨分割模型，并且使用所述肋骨验证集验证经过训练的肋骨分割模型。
所述肋骨分割模型包括两个并联的RB-Net模型，一个RB-Net模型用于执行体素级肋骨分割并且将存在骨折边界的肋骨标记标注，另一个RB-Net模型用于将标注的肋骨体素与其余未骨折的肋骨体素分开。在该处使用分割网络而不是如 Faster R-CNN 和 YOLO等传统的对象检测模型来处理肋骨骨折检测任务。选择的理由主要有两个：分割算法通过消除大小和形状不同的anchor boxes来降低搜索空间的维度，从而简化训练并缓解过拟合问题；更重要的是，通常通过观察局部皮质不连续性来识别肋骨骨折，而不是识别具有定义形状和边界的整个病变。
所述RB-Net模型包括收缩层和扩展层，所述收缩层和扩展层均包括多个Residual残差模块和多个Bottleneck瓶颈模块，所述Residual残差模块和Bottleneck瓶颈模块均基于CBR块构建而成，所述CBR块基于三维U-Net算法模块构建，所述CBR块包括卷积层、正则化层和激活函数层。卷积层即CONV层，正则化层即BN层，激活函数层即RELU层。CBR块指的是将神经网络的卷积层、正则化层和激活函数层融合为一个层的神经网络计算矩阵，CBR块可以根据需求定义为1×1，3×3，5×5等单位。
Bottleneck瓶颈模块也可简称为B模块，B模块使用1×1的卷积层作为神经网络的运算瓶颈，在本发明的神经网络计算中使用B模块能大幅减少计算量。Residual残差模块又可以简称为R模块，R模块使用残差层在卷积神经网络中执行残差学习，在本发明的神经网络计算中使用R模块能解决梯度弥散和训练集训练精度下降的问题。RB-Net模型指由一系列R模块和B模块级联、上采样和下采样而构建的卷积神经网络。R模块和B模块通过获得的噪声映射和给出的噪声图像可以重构干净的图像并且节省大量计算内存。
所述CBR块还包括：用于输入的数据层、用于降低网络参数的池化层、全连接层、舍弃层、用于计算训练和验证数据集精度的精度层和用于计算训练阶段的数据丢失的损失层。
所述Residual残差模块包括2个3×3×3的CBR块逐元素依次相加而成，所述Bottleneck瓶颈模块包括1个1×1×1的CBR块、2个3×3×3的CBR块和1个1×1×1的CBR块逐元素依次相加而成；
所述CBR块基于三维U-Net算法模块构建的过程包括：将肋骨CT影像数据的图片裁剪为128×3体素的图像块，并将裁剪的图像块均匀重新采样为0.3~0.9毫米/体素的各向同性间距，优选为重新采样为0.6毫米/体素的各向同性间距，以保持发现小裂缝（如带扣断裂）的能力。
形成两个并联的RB-Net模型包括：使用Kaming初始化方法初始化RB-Net模型的模型参数。
所述收缩层和扩展层均是基于对多个Residual残差模块和多个Bottleneck瓶颈模块执行上采样和下采样来获取的。
收缩层和扩展层都重复应用了一系列多个Residual残差模块和多个Bottleneck瓶颈模块，其中包括卷积、批量归一化和带有跳跃连接的ReLU，以缓解梯度消失问题。作为Residual残差模块的变体，Bottleneck瓶颈模块采用1×1卷积来相应地减少特征通道的数量和模型的复杂性。
使用300次胸部CT扫描和手动肋骨分割进行训练，这是用于训练肋骨骨折检测模型的总共10580次扫描的随机子集。
迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平，从而获取经验证的肋骨分割模型。
所述迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平包括：使用数据增强对肋骨分割模型进行训练，使用数据增强包括执行裁剪0~2mm的随机弹性变形、执行0.9~1.1倍的小随机缩放和-5°~+5°的小随机旋转；数据增强提高模型的泛化性能。
所述迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平还包括：使用深度学习中的Adam优化器对RB-Net模型进行优化，最小化的目标损失函数设置为初始学习率=10-4，β1=0.9，β2=0.999，训练批量大小设置为8~64，优选为32，训练时期根据验证数据的最小损失来选择。焦点损失设置为α=0.75，γ=2，其中β1、β2、α、γ均为损失函数中的参数。输出概率图s通过连通分量分析进行阈值化，以定位检测到的肋骨骨折。为了抑制分割网络产生的误报，移除了尺寸小于8体素的小连接组件。在配备4个NVIDIA TITANXp GPU 和 Intel Xeon 4210R CPU的机器上，总训练时间约为140小时，每个案例的平均推理时间约为27秒。
将患者的临床CT原图输入到所述经验证的肋骨分割模型中，确定患者肋骨是否存在裂缝，从而判断患者骨折是否为真阳性。
所述确定患者肋骨是否存在裂缝的步骤包括：
将肋骨分割模型中评估患者肋骨骨折概率的级别分为骨折级别、肋骨级别以及患者级别；分别采用骨折级别、肋骨级别以及患者级别的评估标准对肋骨分割模型输出的肋骨裂缝进行评估；综合骨折级别、肋骨级别以及患者级别的评估结果来判断患者骨折是否为真阳性；
对肋骨分割模型输出的肋骨裂缝进行评估还包括：采用五级评分来评估肋骨骨折区域预测分类的相关程度，所述肋骨骨折区域预测分类包括真阳性、真阴性、假阳性和假阴性，真阳性代表被正确识别为肋骨骨折的样本，真阴性代表被正确分类的非肋骨骨折样本，假阳性代表被错误分类为非肋骨骨折样本，假阴性代表被错误分类为肋骨骨折样本；评估预测分类相关程度的五级评分中，5分表示肋骨在该预测分类中无相关性、4分表示肋骨在该预测分类中具有低相关性、3分表示肋骨在该预测分类中具有中相关性、2分表示肋骨在该预测分类中具有高相关性、1分表示肋骨在该预测分类中具有非常高相关性。
患者骨折为真阳性则输出肋骨裂缝和感兴趣区域并且对所述裂缝和感兴趣区域进行整合，生成医学影像诊断报告。
本发明提供的用于评估肋骨骨折的方法同时运用2D分类卷积神经网络和3D卷积神经网络，使得病灶区域分割结果更优，分割方法更加鲁棒。而且在2D分类卷积神经网络训练过程中，进一步判断剔除采样的方法能够提高神经网络的训练效率和精度。
本发明还提供了一种计算设备，所述计算设备包括：
至少一个处理器；以及与至少一个处理器通信连接的存储器；
所述存储器存储设置有可被至少一个处理器执行的程序，所述程序被处理器执行时实现如前所述的用于评估肋骨骨折的方法。
所述程序包括图像初检模块和病灶筛选模块；
图像初检模块由3D卷积神经网络构成，负责检出疑似存在骨折的病灶区域；所述3D卷积神经网络包括主干网络、特征金字塔网络、检测组件、分类网络和分割网络；所述主干网络用于对输入图像通过卷积和下采样进行高层次抽象特征的提取，得到不同尺度的特征图，不同尺度的特征图包括特征图为原图尺寸的1/4、1/8、1/16、1/32；所述特征金字塔网络用于将主干网络得到的特征图经过上采样后，和上一层的特征图进行融合、卷积，得到新的不同尺度的特征图；所述检测组件用于对输入特征图进行卷积、下采样、全连接，得到感兴趣区域；所述分类网络用于对输入特征图进行卷积、下采样、全连接，得到不同类别目标的相应概率；所述分割网络用于对输入特征图进行卷积、上采样、融合，得到最终分割结果；
病灶筛选模块由2D分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果及区分骨折类型；2D分类卷积神经网络将由图像初检模块得到的3D病灶区域处理成对应的2D切片图像集，并由2D分类卷积神经网络对每一个切片图像进行分类，输出结果为切片图像对应预设骨折的概率；所述预设骨折包括弯曲骨折、移位骨折、无移位骨折和节段性骨折。弯曲骨折（Buckle）：内侧或外侧皮质破裂，而另一个皮质没有可观察到的骨折。无移位骨折（Non-displaced）：皮质完全破坏，但仍保持对齐的骨折。由于没有发生皮层偏移，医生很难从X光片中检测到非移位骨折；此类损伤只有在表现出愈合迹象后才能在X光片下呈现。移位骨折（Displaced）：此类骨折可观察到明显的皮层破裂和对齐异常，可能会伤害周围的组织和结构。节段性骨折（Segmental）：属于高度损伤，在同一肋骨中至少有两处单独的完整骨折；节段性骨折可能在解剖学上保持对准，但经常在一或两处骨折部位出现部分或大幅度移位。
输出结果是指当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在此类骨折；弯曲骨折、移位骨折、无移位骨折和节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域；
所述程序还包括精细分割模块，精细分割模块由3D分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
本发明还提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的用于评估肋骨骨折的方法。非瞬时计算机可读存储介质包括电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。非瞬时计算机可读存储介质的更具体的例子包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
以上内容是结合具体的优选实施方式对本发明作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种用于评估肋骨骨折的方法，其特征在于，所述方法包括：
获取多张临床胸部CT原图并且对所述CT原图执行归一化预处理，以获取包括肋骨的预处理图像；
基于肋骨CT影像数据集对所述预处理图像进行数据清洗，将清洗后的肋骨CT影像数据集分为肋骨训练集和肋骨验证集；
使用肋骨分割模型对肋骨训练集进行自动分割工作，从而获取经过训练的肋骨分割模型，并且使用所述肋骨验证集验证经过训练的肋骨分割模型；
所述肋骨分割模型包括两个并联的RB-Net模型，一个RB-Net模型用于执行体素级肋骨分割并且将存在骨折边界的肋骨标记标注，另一个RB-Net模型用于将标注的肋骨体素与其余未骨折的肋骨体素分开；所述RB-Net模型包括收缩层和扩展层，所述收缩层和扩展层均包括多个Residual残差模块和多个Bottleneck瓶颈模块，所述Residual残差模块和Bottleneck瓶颈模块均基于CBR块构建而成，所述CBR块基于三维U-Net算法模块构建，所述CBR块包括卷积层、正则化层和激活函数层；
迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平，从而获取经验证的肋骨分割模型；
将患者的临床CT原图输入到所述经验证的肋骨分割模型中，确定患者肋骨是否存在裂缝，从而判断患者骨折是否为真阳性；患者骨折为真阳性则输出肋骨裂缝和感兴趣区域并且对所述裂缝和感兴趣区域进行整合，生成医学影像诊断报告。
2.根据权利要求1所述的用于评估肋骨骨折的方法，其特征在于，所述确定患者肋骨是否存在裂缝的步骤包括：
将肋骨分割模型中评估患者肋骨骨折概率的级别分为骨折级别、肋骨级别以及患者级别；分别采用骨折级别、肋骨级别以及患者级别的评估标准对肋骨分割模型输出的肋骨裂缝进行评估；综合骨折级别、肋骨级别以及患者级别的评估结果来判断患者骨折是否为真阳性；
对肋骨分割模型输出的肋骨裂缝进行评估还包括：采用五级评分来评估肋骨骨折区域预测分类的相关程度，所述肋骨骨折区域预测分类包括真阳性、真阴性、假阳性和假阴性，真阳性代表被正确识别为肋骨骨折的样本，真阴性代表被正确分类的非肋骨骨折样本，假阳性代表被错误分类为非肋骨骨折样本，假阴性代表被错误分类为肋骨骨折样本；评估预测分类相关程度的五级评分中，5分表示肋骨在该预测分类中无相关性、4分表示肋骨在该预测分类中具有低相关性、3分表示肋骨在该预测分类中具有中相关性、2分表示肋骨在该预测分类中具有高相关性、1分表示肋骨在该预测分类中具有非常高相关性。
3.根据权利要求1所述的用于评估肋骨骨折的方法，其特征在于，所述CBR块还包括：用于输入的数据层、用于降低网络参数的池化层、全连接层、舍弃层、用于计算训练和验证数据集精度的精度层和用于计算训练阶段的数据丢失的损失层。
4.根据权利要求1所述的用于评估肋骨骨折的方法，其特征在于，所述Residual残差模块包括2个3×3×3的CBR块逐元素依次相加而成，所述Bottleneck瓶颈模块包括1个1×1×1的CBR块、2个3×3×3的CBR块和1个1×1×1的CBR块逐元素依次相加而成；
形成两个并联的RB-Net模型包括：使用Kaming初始化方法初始化RB-Net模型的模型参数；
所述收缩层和扩展层均是基于对多个Residual残差模块和多个Bottleneck瓶颈模块执行上采样和下采样来获取的。
5.根据权利要求1所述的用于评估肋骨骨折的方法，其特征在于，所述CBR块基于三维U-Net算法模块构建的过程包括：将肋骨CT影像数据的图片裁剪为128×3体素的图像块，并将裁剪的图像块均匀重新采样为0.3~0.9毫米/体素的各向同性间距。
6.根据权利要求1所述的用于评估肋骨骨折的方法，其特征在于，所述迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平包括：使用数据增强对肋骨分割模型进行训练，使用数据增强包括执行裁剪0~2mm的随机弹性变形、执行0.9~1.1倍的小随机缩放和-5°~+5°的小随机旋转；
所述迭代执行以上训练和验证直至所训练的肋骨分割模型正确率达到阈值水平还包括：使用深度学习中的Adam优化器对RB-Net模型进行优化，最小化的目标损失函数设置为初始学习率=10-4，β1=0.9，β2=0.999，训练批量大小设置为8~64，焦点损失设置为α=0.75，γ=2，其中β1、β2、α、γ均为损失函数中的参数。
7.根据权利要求1所述的用于评估肋骨骨折的方法，其特征在于，所述归一化预处理包括图像重定位、图像重采样、像素归一化中的至少一种；像素归一化包括在选取的窗宽窗位的基础上，将像素值调整至预设范围内；图像重定位包括将图像的方向调整至与单位矩阵一致，包括通过旋转、插值的调整操作来实现图像重定位；
通过k折交叉验证的方法将清洗后的肋骨CT影像数据集分为肋骨训练集和肋骨验证集。
8.一种计算设备，其特征在于，所述计算设备包括：
至少一个处理器；以及与至少一个处理器通信连接的存储器；
所述存储器存储设置有可被至少一个处理器执行的程序，所述程序被处理器执行时实现如权利要求1-7中任意一项所述的用于评估肋骨骨折的方法。
9.根据权利要求8所述的计算设备，其特征在于，所述程序包括图像初检模块和病灶筛选模块；
图像初检模块由3D卷积神经网络构成，负责检出疑似存在骨折的病灶区域；所述3D卷积神经网络包括主干网络、特征金字塔网络、检测组件、分类网络和分割网络；所述主干网络用于对输入图像通过卷积和下采样进行高层次抽象特征的提取，得到不同尺度的特征图，不同尺度的特征图包括特征图为原图尺寸的1/4、1/8、1/16、1/32；所述特征金字塔网络用于将主干网络得到的特征图经过上采样后，和上一层的特征图进行融合、卷积，得到新的不同尺度的特征图；所述检测组件用于对输入特征图进行卷积、下采样、全连接，得到感兴趣区域；所述分类网络用于对输入特征图进行卷积、下采样、全连接，得到不同类别目标的相应概率；所述分割网络用于对输入特征图进行卷积、上采样、融合，得到最终分割结果；
病灶筛选模块由2D分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果及区分骨折类型；2D分类卷积神经网络将由图像初检模块得到的3D病灶区域处理成对应的2D切片图像集，并由2D分类卷积神经网络对每一个切片图像进行分类，输出结果为切片图像对应预设骨折的概率；所述预设骨折包括弯曲骨折、移位骨折、无移位骨折和节段性骨折；输出结果是指当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在此类骨折；弯曲骨折、移位骨折、无移位骨折和节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域；
所述程序还包括精细分割模块，精细分割模块由3D分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
10.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的用于评估肋骨骨折的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310451101.XA CN116168029A (zh) | 2023-04-25 | 2023-04-25 | 一种用于评估肋骨骨折的方法、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310451101.XA CN116168029A (zh) | 2023-04-25 | 2023-04-25 | 一种用于评估肋骨骨折的方法、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116168029A true CN116168029A (zh) | 2023-05-26 |
Family
ID=86416707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310451101.XA Pending CN116168029A (zh) | 2023-04-25 | 2023-04-25 | 一种用于评估肋骨骨折的方法、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116168029A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777926A (zh) * | 2023-08-21 | 2023-09-19 | 华侨大学 | 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897760A (zh) * | 2021-10-29 | 2022-08-12 | 北京富通东方科技有限公司 | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 |
-
2023
- 2023-04-25 CN CN202310451101.XA patent/CN116168029A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114897760A (zh) * | 2021-10-29 | 2022-08-12 | 北京富通东方科技有限公司 | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| SHUHAO WANG等: "Assessment of automatic rib fracture detection on chest CT using a deep learning algorithm", EUROPEAN RADIOLOGY, pages 1825 - 1833 * |
| 张善文等: "图像模式识别", 西安电子科技大学出版社, pages: 16 - 17 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777926A (zh) * | 2023-08-21 | 2023-09-19 | 华侨大学 | 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置 |
| CN116777926B (zh) * | 2023-08-21 | 2023-10-31 | 华侨大学 | 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| KR101740464B1 (ko) | 뇌졸중 진단 및 예후 예측 방법 및 시스템 | |
| CN109636808B (zh) | 一种基于全卷积神经网络的肺叶分割方法 | |
| US20030095692A1 (en) | Method and system for lung disease detection | |
| CN111340827A (zh) | 一种肺部ct影像数据处理分析方法及系统 | |
| Cerrolaza et al. | Deep learning with ultrasound physics for fetal skull segmentation | |
| CN112365973B (zh) | 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统 | |
| CN112184684A (zh) | 一种改进的YOLO-v3算法及其在肺结节检测中的应用 | |
| US20070223807A1 (en) | Medical imaging visibility index system and method for cancer lesions | |
| CN116934743B (zh) | 医学影像肿瘤恶性风险评估方法、系统、设备和存储介质 | |
| EP4241239A1 (en) | Methods and systems for analyzing ultrasound images | |
| CN111508004B (zh) | 基于深度学习的室壁运动异常超声处理方法、系统和设备 | |
| US12046018B2 (en) | Method for identifying bone images | |
| CN116168029A (zh) | 一种用于评估肋骨骨折的方法、设备和介质 | |
| Kumar et al. | IOT enabled Intelligent featured imaging Bone Fractured Detection System | |
| CN114972266A (zh) | 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法 | |
| Singh et al. | Deep learning based fetal face detection and visualization in prenatal ultrasound | |
| CN111481233B (zh) | 胎儿颈项透明层厚度测量方法 | |
| CN110738633A (zh) | 一种机体组织的三维图像处理方法及相关设备 | |
| Piętka et al. | Role of radiologists in CAD life-cycle | |
| CN114897760A (zh) | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 | |
| CN116862930B (zh) | 适用于多模态的脑血管分割方法、装置、设备和存储介质 | |
| CN116363104A (zh) | 一种具有影像医学用自动诊断设备及系统 | |
| J. Lado, Pablo G. Tahoces, Arturo J. Méndez, Miguel Souto, Juan J. Vidal | Evaluation of an automated wavelet-based system dedicated to the detection of clustered microcalcifications in digital mammograms | |
| CN113450306B (zh) | 提供骨折检测工具的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230526 |