CN114897760A - 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 - Google Patents

一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 Download PDF

Info

Publication number
CN114897760A
CN114897760A CN202111268686.9A CN202111268686A CN114897760A CN 114897760 A CN114897760 A CN 114897760A CN 202111268686 A CN202111268686 A CN 202111268686A CN 114897760 A CN114897760 A CN 114897760A
Authority
CN
China
Prior art keywords
image
fracture
slice
segmentation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111268686.9A
Other languages
English (en)
Inventor
李瑞瑞
孙世豪
赵伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Futong Oriental Technology Co ltd
Original Assignee
Beijing Futong Oriental Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Futong Oriental Technology Co ltd filed Critical Beijing Futong Oriental Technology Co ltd
Priority to CN202111268686.9A priority Critical patent/CN114897760A/zh
Publication of CN114897760A publication Critical patent/CN114897760A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法及系统，包括：S1：用户输入初始的CT影像；S2：数据预处理模块对输入的CT影像进行切片和切块处理，得到2D、3D切块序列图像数据集，进行数据增强和数据划分；S3：将得到的3D切块序列图像数据集作为输入，得到初步疑似骨折区域作为病灶区域；S4：将得到的病灶区域映射至对应的2D切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域并输出骨折概率；S5：将保留的真阳性区域，按比例映射至主干网络、FPN的不同尺度特征图上，由精细分割模块得到最终的3D分割结果；通过上述方式，本发明能够提高CT影像排查的效率，提高诊断准确率的同时有效降低医生工作量。

Description

一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法 及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法及系统。
背景技术
近年来对于医学影像诊断的需求不断攀升，CT影像即为一种常见的3D医学影像。而由于CT影像的层厚、层间距较小，一例患者的CT影像可能会产生上百张扫描图像。为了准确地进行诊断，医生需要对这些图像逐张进行排查，寻找病灶，工作量大，耗时耗力，给医生带来较为沉重的工作负担。
已公开的专利CN113077419A，公开了一种用于髋关节CT影像识别的信息处理方法，首先对CT影像进行预处理，后将预处理后的图像输入至2DDenseUnet神经网络模型中，对骨折区域进行识别，而后将识别的骨折区域的影像数据输入至MaskRCNN网络模型，由该MaskRCNN对骨折区域进行分割，生成骨折块区域的影像数据；最后将骨折区域的影像映射到CT影像的原始影像尺度，但上述专利只对解决骨折区域识别不准确的问题，无法系统的解决骨折类型的判别，同时只在二维图像上进行肺结节检测，无法利用CT影像的空间信息，存在准确率较低和假阳性率较高的缺陷。已公开的专利CN113077418A，基于卷积神经网络的CT影像骨骼分割方法，通过足够的数据量以及参数量，使得骨骼识别模型可以学习到更加复杂以及更高维度的特征，但存在常见检测网络框架结构冗余，参数量大造成网络训练周期长，模型无法小型化的缺陷。
发明内容
本发明主要解决的技术问题是提供一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法及系统，能够提高CT影像排查的效率，并能为医生提供预诊断结果，提高诊断准确率的同时有效降低医生工作量。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法，包括以下步骤：
S1：CT影像输入：用户通过输入模块输入初始的CT影像；
S2：CT影像预处理：由数据预处理模块对输入的CT影像进行切片和切块处理，得到2D切片序列图像数据集和3D切块序列图像数据集，并进行数据增强以及数据划分；
S3：3D初检：将S1得到的3D切块序列图像数据集作为输入，由图像初检模块得到初步的疑似骨折区域，作为病灶区域；
S4：2D筛选：将S2得到的病灶区域映射至对应的2D切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域并输出骨折概率；
S5：3D分割：将S3保留的真阳性区域，按比例映射至主干网络、FPN的不同尺度特征图上，由精细分割模块得到最终的3D分割结果；
S6：阅片结果输出：将骨折检测结果输出给用户；
所述骨折检测结果，包括由S5得到的3D分割结果所对应的2D切片图像，及骨折区域、骨折类型的标注。
并提供一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，包括：CT影像输入模块，数据预处理模块，图像初检模块，病灶筛选模块，精细分割模块，结果输出模块。
进一步的，所述数据预处理模块，包括：切片预处理功能，切块预处理功能，数据增强功能，数据划分功能；
所述切片预处理功能，将获取的原始CT影像按指定方向、指定图像大小转换为2D切片序列图像数据集；
所述切块预处理功能，将获取的原始CT影像按指定图块大小转换为3D切块序列图像数据集；
所述数据增强功能，包括图像旋转、图像翻转、图像缩放；
所述数据划分功能，通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
进一步的，所述图像旋转，包括：
对于2D切片图像数据，以图像中心为旋转中心，按逆时针方向旋转90°、180°或270°；
对于3D切块图像数据，以xy平面中心绕z轴逆时针旋转90°、180°或270°；
所述图像翻转，包括：
对于2D切片图像数据，以图像中心进行水平翻转或垂直翻转；
对于3D切块图像数据，以yz平面绕x轴翻转或xz平面绕y轴进行翻转；
所述图像缩放，包括：
对于2D切片图像数据，将图像进行0.7~1.3倍的缩放；
对于3D切块图像数据，保持z方向图像不变，将xy方向进行0.7~1.3倍的缩放。
进一步的，所述图像初检模块，包括：由3D卷积神经网络构成，负责检出疑似存在骨折的病灶区域；
所述3D卷积神经网络，分为主干网络、特征金字塔网络及检测组件。
进一步的，所述病灶筛选模块，由2D分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果，及区分骨折类型；
所述2D分类卷积神经网络，获得由图像初检模块得到的3D病灶区域，并处理成对应的2D切片图像集，由2D分类卷积神经网络对每一个切片图像进行分类，分类结果为切片图像对应预设骨折的概率；
所述预设骨折，包括：弯曲骨折、移位骨折、无移位骨折、节段性骨折。
进一步的，所述分类结果，当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在骨折；
所述阈值，弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；
当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域。
进一步的，所述概率值，计算公式为：
Figure 987450DEST_PATH_IMAGE001
其中，i表示第i种类型骨折，Xi表示第i种类型骨折的特征值；
所述特征值，由2D切片图像经过2D分类卷积神经网络卷积后会得到的四维向量，分别代表各预设骨折的特征值。
进一步的，所述精细分割模块，由3D分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
本发明的有益效果是：
1、能够实现CT影像的快速排查，有效降低医生工作量；
2、能够实现对骨折的四种类型进行检测并分析，作为预诊断反馈给医生；
3、采用3D—2D—3D的检测方法，在保证检测效率的同时有效提升准确度。
附图说明
图1是本发明一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法的流程图。
图2是一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统的网络流程示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法，其特征在于，包括以下步骤：
S1，CT影像预处理：由数据预处理模块对输入的CT影像进行切片和切块处理，得到2D切片序列图像数据集和3D切块序列图像数据集，并进行数据增强以及数据划分；
S2，3D初检：将S1得到的3D切块序列图像数据集作为输入，由图像初检模块得到初步的疑似骨折区域，作为病灶区域；
S3，2D筛选：将S2得到的病灶区域映射至对应的2D切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域；
S4，3D分割：将S3保留的真阳性区域，按比例映射至主干网络、FPN的不同尺度特征图上，由精细分割模块得到最终的3D分割结果，计算概率值，
经过网络卷积后会得到一个四维的向量，分别代表各类骨折的特征值，使用softmax进行归一化即得到每种类型骨折的概率，概率值计算公式：
Figure 741779DEST_PATH_IMAGE002
其中i表示第i种类型骨折，Xi表示第i种类型骨折的特征值。
当连续的若干个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域。
进一步的，当最终的概率值为0.6时，表示存在弯曲骨折；当最终的概率值为0.7时，表示存在移位骨折；当最终的概率值为0.6时，表示存在无移位骨折；当最终的概率值为0.8时，表示存在节段性骨折；
在另一个实施例中，
步骤S1：切片处理为保持Z方向物理间距不变，将XY方向的图像重采样至大小512*512，得到2D切片；切块处理为按照步长50*50*50，提取大小为128*128*64且有相互重叠的3D立方块；数据增强方式有随机旋转、水平翻转、垂直翻转和随机缩放；训练集与验证集的划分依据5折交叉验证法进行划分。
步骤S2：根据步骤S1得到的一系列图像输入到3D 卷积神经网络中，得到初步检出疑似存在骨折的区域；
步骤S3：根据筛选出的病灶区域图像映射至对应的2D切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域，在感兴趣的区域按照步长为50*50*50，提取大小为128*128*64且有相互重叠的片块(Patch)；
步骤S4：3D分割：将S3保留的真阳性区域，按比例映射至主干网络、FPN的不同尺度特征图上，由精细分割模块计算。
CT影像骨折检测分割辅助阅片系统，其特征在于，包括：CT影像输入模块，数据预处理模块，图像初检模块，病灶筛选模块，精细分割模块，结果输出模块。
数据预处理模块，用于将输入CT影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域ROI(Region of interest)，并根据肺部感兴趣的区域将肺部区域图像从CT影像中筛选出来；包括：切片预处理功能，切块预处理功能，数据增强功能，数据划分功能；所述切片预处理功能，将获取的原始CT影像按指定方向、指定图像大小转换为2D切片序列图像数据集。
进一步的，所述切块预处理功能，将获取的原始CT影像按指定图块大小转换为3D切块序列图像数据集。
进一步的，所述数据增强功能，包括图像旋转、图像翻转、图像缩放；所述图像旋转，包括：对于2D切片图像数据，以图像中心为旋转中心，按逆时针方向旋转90°、180°或270°；对于3D切块图像数据，以xy平面中心绕z轴逆时针旋转90°、180°或270°；所述图像翻转，包括：对于2D切片图像数据，以图像中心进行水平翻转或垂直翻转；对于3D切块图像数据，以yz平面绕x轴翻转或xz平面绕y轴进行翻转；所述图像缩放，包括：对于2D切片图像数据，将图像进行0.7~1.3倍的缩放；对于3D切块图像数据，保持z方向图像不变，将xy方向进行0.7~1.3倍的缩放。
所述数据划分功能，本实施例通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
图像初检模块，包括：由3D卷积神经网络构成，负责检出疑似存在骨折的病灶区域；所述3D卷积神经网络，分为主干网络、特征金字塔网络及检测组件，
病灶筛选模块，由2D分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果，及区分骨折类型，通过查阅医学资料，可得知现有医学领域中，将骨折的大致类型分为四类，分别是弯曲骨折、移位骨折、无移位骨折、节段性骨折，1、弯曲骨折（Buckle）：内侧或外侧皮质破裂，而另一个皮质没有可观察到的骨折；2、无移位骨折（Non-displaced）：皮质完全破坏，但仍保持对齐。由于没有发生皮层偏移，医生很难从X光片中检测到非移位骨折。这类损伤只有在表现出愈合迹象后才能在X光片下呈现，因此放射科医生应寻找相关的损伤；3、移位骨折（Displaced）：此类骨折可观察到明显的皮层破裂和对齐异常，可能会伤害周围的组织和结构；4、节段性骨折（Segmental）：属于高度损伤，在同一肋骨中至少有两处单独的完整骨折。节段性骨折可能在解剖学上保持对准，但经常在一或两处骨折部位出现部分或大幅度移位；
所述2D分类卷积神经网络，获得由图像初检模块得到的3D病灶区域，并处理成对应的2D切片图像集，由2D分类卷积神经网络对每一个切片图像进行分类，输出结果为切片图像对应预设骨折的概率；
进一步的，所述预设骨折，包括：弯曲骨折、移位骨折、无移位骨折、节段性骨折。
进一步的，所述输出结果，当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在骨折；
进一步的，所述阈值，弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；
当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域。
精细分割模块，由3D分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
综上所述，本发明实施例提供的基于深度学习的CT影像肺气管的分割方法及系统同时运用2D分类卷积神经网络和3D卷积神经网络，使得病灶区域分割结果更优，分割方法更加鲁棒。而且在2D分类卷积神经网络训练过程中，进一步判断剔除采样的方法能够提高网络的训练效率和精度。
如图2所示，本发明实施例的深度学习网络包括：
主干网络：对输入图像通过卷积和下采样进行高层次抽象特征的提取，得到不同尺度（原图尺寸的1/4、1/8、1/16、1/32）的特征图。
特征金字塔网络：将主干网络得到的特征图经过上采样后，和上一层的特征图进行融合、卷积，得到新的不同尺度的特征图。
检测组件：对输入特征图进行卷积、下采样、全连接，得到感兴趣区域。
分类网络：对输入特征图进行卷积、下采样、全连接，得到不同类别目标的相应概率。
分割网络：对输入特征图进行卷积、上采样、融合，得到最终分割结果。
通过以上的实施方式的描述，本领域的技术人员本发明提供了一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统方法及系统，通过2D分离卷积神经网络和3D卷积神经网络对CT影像进行文字标注和图像标注，有效地提高了标注效率和准确性，使得医生可以对医学影像进行快速准确地标注，提高了疾病诊断的效率，降低医生的工作量，运用计算机通信技术与设备、医疗技术与设备，通过文字、语音和图像资料可以精准的判断出病人存在的骨折类型，便于后续医生的应对和辅助诊疗。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法，其特征在于，包括以下步骤：
S1：CT影像输入：用户通过输入模块输入初始的CT影像；
S2：CT影像预处理：由数据预处理模块对输入的CT影像进行切片和切块处理，得到2D切片序列图像数据集和3D切块序列图像数据集，并进行数据增强以及数据划分；
S3：3D初检：将S1得到的3D切块序列图像数据集作为输入，由图像初检模块得到初步的疑似骨折区域，作为病灶区域；
S4：2D筛选：将S2得到的病灶区域映射至对应的2D切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域并输出骨折概率；
S5：3D分割：将S3保留的真阳性区域，按比例映射至主干网络、FPN的不同尺度特征图上，由精细分割模块得到最终的3D分割结果；
S6：阅片结果输出：将骨折检测结果输出给用户；
所述骨折检测结果，包括由S5得到的3D分割结果所对应的2D切片图像，及骨折区域、骨折类型的标注。
2.一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，包括：CT影像输入模块，数据预处理模块，图像初检模块，病灶筛选模块，精细分割模块，结果输出模块。
3.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，所述数据预处理模块，包括：切片预处理功能，切块预处理功能，数据增强功能，数据划分功能；
所述切片预处理功能，将获取的原始CT影像按指定方向、指定图像大小转换为2D切片序列图像数据集；
所述切块预处理功能，将获取的原始CT影像按指定图块大小转换为3D切块序列图像数据集；
所述数据增强功能，包括图像旋转、图像翻转、图像缩放；
所述数据划分功能，通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
4.如权利要求3所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，所述图像旋转，包括：
对于2D切片图像数据，以图像中心为旋转中心，按逆时针方向旋转90°、180°或270°；
对于3D切块图像数据，以xy平面中心绕z轴逆时针旋转90°、180°或270°；
所述图像翻转，包括：
对于2D切片图像数据，以图像中心进行水平翻转或垂直翻转；
对于3D切块图像数据，以yz平面绕x轴翻转或xz平面绕y轴进行翻转；
所述图像缩放，包括：
对于2D切片图像数据，将图像进行0.7~1.3倍的缩放；
对于3D切块图像数据，保持z方向图像不变，将xy方向进行0.7~1.3倍的缩放。
5.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，所述图像初检模块，包括：由3D卷积神经网络构成，负责检出疑似存在骨折的病灶区域；
所述3D卷积神经网络，分为主干网络、特征金字塔网络及检测组件。
6.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，所述病灶筛选模块，由2D分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果，及区分骨折类型；
所述2D分类卷积神经网络，获得由图像初检模块得到的3D病灶区域，并处理成对应的2D切片图像集，由2D分类卷积神经网络对每一个切片图像进行分类，分类结果为切片图像对应预设骨折的概率；
所述预设骨折，包括：弯曲骨折、移位骨折、无移位骨折、节段性骨折。
7.如权利要求6所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，所述分类结果，当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在骨折；
所述阈值，弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；
当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域。
8.如权利要求7所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，所述概率值，计算公式为：
Figure 428040DEST_PATH_IMAGE001
其中，
Figure 13742DEST_PATH_IMAGE002
表示第
Figure 443587DEST_PATH_IMAGE002
种类型骨折，
Figure 685212DEST_PATH_IMAGE003
表示第
Figure 22653DEST_PATH_IMAGE002
种类型骨折的特征值；
所述特征值，由2D切片图像经过2D分类卷积神经网络卷积后会得到的四维向量，分别代表各预设骨折的特征值。
9.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统，其特征在于，所述精细分割模块，由3D分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
CN202111268686.9A 2021-10-29 2021-10-29 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 Pending CN114897760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111268686.9A CN114897760A (zh) 2021-10-29 2021-10-29 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111268686.9A CN114897760A (zh) 2021-10-29 2021-10-29 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统

Publications (1)

Publication Number Publication Date
CN114897760A true CN114897760A (zh) 2022-08-12

Family

ID=82714402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111268686.9A Pending CN114897760A (zh) 2021-10-29 2021-10-29 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统

Country Status (1)

Country Link
CN (1) CN114897760A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731212A (zh) * 2022-11-29 2023-03-03 中国人民解放军总医院第四医学中心 一种骨科影像的辅助检测方法及系统
CN116168029A (zh) * 2023-04-25 2023-05-26 中南大学 一种用于评估肋骨骨折的方法、设备和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115731212A (zh) * 2022-11-29 2023-03-03 中国人民解放军总医院第四医学中心 一种骨科影像的辅助检测方法及系统
CN115731212B (zh) * 2022-11-29 2023-08-18 中国人民解放军总医院第四医学中心 一种骨科影像的辅助检测方法及系统
CN116168029A (zh) * 2023-04-25 2023-05-26 中南大学 一种用于评估肋骨骨折的方法、设备和介质

Similar Documents

Publication Publication Date Title
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
Cai et al. Multi-modal vertebrae recognition using transformed deep convolution network
Tilve et al. Pneumonia detection using deep learning approaches
US9480439B2 (en) Segmentation and fracture detection in CT images
EP2948062B1 (en) Method for identifying a specific part of a spine in an image
EP3806746B1 (en) Second reader suggestion
US20050152591A1 (en) System and method for filtering a medical image
US8285013B2 (en) Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns
Székely et al. A hybrid system for detecting masses in mammographic images
CN114494192B (zh) 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法
CN111986189B (zh) 一种基于ct影像的多类别肺炎筛查深度学习装置
CN114897760A (zh) 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统
Basha et al. Computer aided fracture detection system
EP3657433A1 (en) Medical image data
CN110580948A (zh) 医学影像的显示方法及显示设备
CN112381762A (zh) 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
Rao et al. An effective bone fracture detection using bag-of-visual-words with the features extracted from sift
Kumar et al. IOT enabled Intelligent featured imaging Bone Fractured Detection System
CN110738633A (zh) 一种机体组织的三维图像处理方法及相关设备
CN113674251A (zh) 基于多模态影像的腰椎图像分类识别系统、设备和介质
Giv et al. Lung segmentation using active shape model to detect the disease from chest radiography
CN116168029A (zh) 一种用于评估肋骨骨折的方法、设备和介质
Arzhaeva et al. Global and local multi-valued dissimilarity-based classification: application to computer-aided detection of tuberculosis
CN111724356A (zh) 一种用于ct影像肺炎识别的图像处理方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination