CN114897760A - 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 - Google Patents
一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 Download PDFInfo
- Publication number
- CN114897760A CN114897760A CN202111268686.9A CN202111268686A CN114897760A CN 114897760 A CN114897760 A CN 114897760A CN 202111268686 A CN202111268686 A CN 202111268686A CN 114897760 A CN114897760 A CN 114897760A
- Authority
- CN
- China
- Prior art keywords
- image
- fracture
- slice
- segmentation
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 230000003902 lesion Effects 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000005452 bending Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 208000010392 Bone Fractures Diseases 0.000 claims 33
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 238000011835 investigation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000001054 cortical effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法及系统,包括:S1:用户输入初始的CT影像;S2:数据预处理模块对输入的CT影像进行切片和切块处理,得到2D、3D切块序列图像数据集,进行数据增强和数据划分;S3:将得到的3D切块序列图像数据集作为输入,得到初步疑似骨折区域作为病灶区域;S4:将得到的病灶区域映射至对应的2D切片序列图像数据上,由病灶筛选模块进行分类,保留真阳性区域并输出骨折概率;S5:将保留的真阳性区域,按比例映射至主干网络、FPN的不同尺度特征图上,由精细分割模块得到最终的3D分割结果;通过上述方式,本发明能够提高CT影像排查的效率,提高诊断准确率的同时有效降低医生工作量。
Description
技术领域
本发明涉及图像处理领域,特别是涉及一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法及系统。
背景技术
近年来对于医学影像诊断的需求不断攀升,CT影像即为一种常见的3D医学影像。而由于CT影像的层厚、层间距较小,一例患者的CT影像可能会产生上百张扫描图像。为了准确地进行诊断,医生需要对这些图像逐张进行排查,寻找病灶,工作量大,耗时耗力,给医生带来较为沉重的工作负担。
已公开的专利CN113077419A,公开了一种用于髋关节CT影像识别的信息处理方法,首先对CT影像进行预处理,后将预处理后的图像输入至2DDenseUnet神经网络模型中,对骨折区域进行识别,而后将识别的骨折区域的影像数据输入至MaskRCNN网络模型,由该MaskRCNN对骨折区域进行分割,生成骨折块区域的影像数据;最后将骨折区域的影像映射到CT影像的原始影像尺度,但上述专利只对解决骨折区域识别不准确的问题,无法系统的解决骨折类型的判别,同时只在二维图像上进行肺结节检测,无法利用CT影像的空间信息,存在准确率较低和假阳性率较高的缺陷。已公开的专利CN113077418A,基于卷积神经网络的CT影像骨骼分割方法,通过足够的数据量以及参数量,使得骨骼识别模型可以学习到更加复杂以及更高维度的特征,但存在常见检测网络框架结构冗余,参数量大造成网络训练周期长,模型无法小型化的缺陷。
发明内容
本发明主要解决的技术问题是提供一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法及系统,能够提高CT影像排查的效率,并能为医生提供预诊断结果,提高诊断准确率的同时有效降低医生工作量。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法,包括以下步骤:
S1:CT影像输入:用户通过输入模块输入初始的CT影像;
S2:CT影像预处理:由数据预处理模块对输入的CT影像进行切片和切块处理,得到2D切片序列图像数据集和3D切块序列图像数据集,并进行数据增强以及数据划分;
S3:3D初检:将S1得到的3D切块序列图像数据集作为输入,由图像初检模块得到初步的疑似骨折区域,作为病灶区域;
S4:2D筛选:将S2得到的病灶区域映射至对应的2D切片序列图像数据上,由病灶筛选模块进行分类,保留真阳性区域并输出骨折概率;
S5:3D分割:将S3保留的真阳性区域,按比例映射至主干网络、FPN的不同尺度特征图上,由精细分割模块得到最终的3D分割结果;
S6:阅片结果输出:将骨折检测结果输出给用户;
所述骨折检测结果,包括由S5得到的3D分割结果所对应的2D切片图像,及骨折区域、骨折类型的标注。
并提供一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,包括:CT影像输入模块,数据预处理模块,图像初检模块,病灶筛选模块,精细分割模块,结果输出模块。
进一步的,所述数据预处理模块,包括:切片预处理功能,切块预处理功能,数据增强功能,数据划分功能;
所述切片预处理功能,将获取的原始CT影像按指定方向、指定图像大小转换为2D切片序列图像数据集;
所述切块预处理功能,将获取的原始CT影像按指定图块大小转换为3D切块序列图像数据集;
所述数据增强功能,包括图像旋转、图像翻转、图像缩放;
所述数据划分功能,通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
进一步的,所述图像旋转,包括:
对于2D切片图像数据,以图像中心为旋转中心,按逆时针方向旋转90°、180°或270°;
对于3D切块图像数据,以xy平面中心绕z轴逆时针旋转90°、180°或270°;
所述图像翻转,包括:
对于2D切片图像数据,以图像中心进行水平翻转或垂直翻转;
对于3D切块图像数据,以yz平面绕x轴翻转或xz平面绕y轴进行翻转;
所述图像缩放,包括:
对于2D切片图像数据,将图像进行0.7~1.3倍的缩放;
对于3D切块图像数据,保持z方向图像不变,将xy方向进行0.7~1.3倍的缩放。
进一步的,所述图像初检模块,包括:由3D卷积神经网络构成,负责检出疑似存在骨折的病灶区域;
所述3D卷积神经网络,分为主干网络、特征金字塔网络及检测组件。
进一步的,所述病灶筛选模块,由2D分类卷积神经网络构成,负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果,及区分骨折类型;
所述2D分类卷积神经网络,获得由图像初检模块得到的3D病灶区域,并处理成对应的2D切片图像集,由2D分类卷积神经网络对每一个切片图像进行分类,分类结果为切片图像对应预设骨折的概率;
所述预设骨折,包括:弯曲骨折、移位骨折、无移位骨折、节段性骨折。
进一步的,所述分类结果,当某种预设骨折的概率值最高且大于相应的阈值,则表示该切片图像存在此类骨折,否则表示该切片不存在骨折;
所述阈值,弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8;
当连续的n个切片图像的输出结果都表示存在同一类预设骨折时,则认为该病灶区域存在此类骨折,作为真阳性区域并保留该病灶区域。
其中,i表示第i种类型骨折,Xi表示第i种类型骨折的特征值;
所述特征值,由2D切片图像经过2D分类卷积神经网络卷积后会得到的四维向量,分别代表各预设骨折的特征值。
进一步的,所述精细分割模块,由3D分割卷积神经网络构成,负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
本发明的有益效果是:
1、能够实现CT影像的快速排查,有效降低医生工作量;
2、能够实现对骨折的四种类型进行检测并分析,作为预诊断反馈给医生;
3、采用3D—2D—3D的检测方法,在保证检测效率的同时有效提升准确度。
附图说明
图1是本发明一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法的流程图。
图2是一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统的网络流程示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1,本发明实施例包括:一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法,其特征在于,包括以下步骤:
S1,CT影像预处理:由数据预处理模块对输入的CT影像进行切片和切块处理,得到2D切片序列图像数据集和3D切块序列图像数据集,并进行数据增强以及数据划分;
S2,3D初检:将S1得到的3D切块序列图像数据集作为输入,由图像初检模块得到初步的疑似骨折区域,作为病灶区域;
S3,2D筛选:将S2得到的病灶区域映射至对应的2D切片序列图像数据上,由病灶筛选模块进行分类,保留真阳性区域;
S4,3D分割:将S3保留的真阳性区域,按比例映射至主干网络、FPN的不同尺度特征图上,由精细分割模块得到最终的3D分割结果,计算概率值,
经过网络卷积后会得到一个四维的向量,分别代表各类骨折的特征值,使用softmax进行归一化即得到每种类型骨折的概率,概率值计算公式:
其中i表示第i种类型骨折,Xi表示第i种类型骨折的特征值。
当连续的若干个切片图像的输出结果都表示存在同一类预设骨折时,则认为该病灶区域存在此类骨折,作为真阳性区域并保留该病灶区域。
进一步的,当最终的概率值为0.6时,表示存在弯曲骨折;当最终的概率值为0.7时,表示存在移位骨折;当最终的概率值为0.6时,表示存在无移位骨折;当最终的概率值为0.8时,表示存在节段性骨折;
在另一个实施例中,
步骤S1:切片处理为保持Z方向物理间距不变,将XY方向的图像重采样至大小512*512,得到2D切片;切块处理为按照步长50*50*50,提取大小为128*128*64且有相互重叠的3D立方块;数据增强方式有随机旋转、水平翻转、垂直翻转和随机缩放;训练集与验证集的划分依据5折交叉验证法进行划分。
步骤S2:根据步骤S1得到的一系列图像输入到3D 卷积神经网络中,得到初步检出疑似存在骨折的区域;
步骤S3:根据筛选出的病灶区域图像映射至对应的2D切片序列图像数据上,由病灶筛选模块进行分类,保留真阳性区域,在感兴趣的区域按照步长为50*50*50,提取大小为128*128*64且有相互重叠的片块(Patch);
步骤S4:3D分割:将S3保留的真阳性区域,按比例映射至主干网络、FPN的不同尺度特征图上,由精细分割模块计算。
CT影像骨折检测分割辅助阅片系统,其特征在于,包括:CT影像输入模块,数据预处理模块,图像初检模块,病灶筛选模块,精细分割模块,结果输出模块。
数据预处理模块,用于将输入CT影像的图像灰度值规范化,提取肺的轮廓和肺部感兴趣的区域ROI(Region of interest),并根据肺部感兴趣的区域将肺部区域图像从CT影像中筛选出来;包括:切片预处理功能,切块预处理功能,数据增强功能,数据划分功能;所述切片预处理功能,将获取的原始CT影像按指定方向、指定图像大小转换为2D切片序列图像数据集。
进一步的,所述切块预处理功能,将获取的原始CT影像按指定图块大小转换为3D切块序列图像数据集。
进一步的,所述数据增强功能,包括图像旋转、图像翻转、图像缩放;所述图像旋转,包括:对于2D切片图像数据,以图像中心为旋转中心,按逆时针方向旋转90°、180°或270°;对于3D切块图像数据,以xy平面中心绕z轴逆时针旋转90°、180°或270°;所述图像翻转,包括:对于2D切片图像数据,以图像中心进行水平翻转或垂直翻转;对于3D切块图像数据,以yz平面绕x轴翻转或xz平面绕y轴进行翻转;所述图像缩放,包括:对于2D切片图像数据,将图像进行0.7~1.3倍的缩放;对于3D切块图像数据,保持z方向图像不变,将xy方向进行0.7~1.3倍的缩放。
所述数据划分功能,本实施例通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
图像初检模块,包括:由3D卷积神经网络构成,负责检出疑似存在骨折的病灶区域;所述3D卷积神经网络,分为主干网络、特征金字塔网络及检测组件,
病灶筛选模块,由2D分类卷积神经网络构成,负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果,及区分骨折类型,通过查阅医学资料,可得知现有医学领域中,将骨折的大致类型分为四类,分别是弯曲骨折、移位骨折、无移位骨折、节段性骨折,1、弯曲骨折(Buckle):内侧或外侧皮质破裂,而另一个皮质没有可观察到的骨折;2、无移位骨折(Non-displaced):皮质完全破坏,但仍保持对齐。由于没有发生皮层偏移,医生很难从X光片中检测到非移位骨折。这类损伤只有在表现出愈合迹象后才能在X光片下呈现,因此放射科医生应寻找相关的损伤;3、移位骨折(Displaced):此类骨折可观察到明显的皮层破裂和对齐异常,可能会伤害周围的组织和结构;4、节段性骨折(Segmental):属于高度损伤,在同一肋骨中至少有两处单独的完整骨折。节段性骨折可能在解剖学上保持对准,但经常在一或两处骨折部位出现部分或大幅度移位;
所述2D分类卷积神经网络,获得由图像初检模块得到的3D病灶区域,并处理成对应的2D切片图像集,由2D分类卷积神经网络对每一个切片图像进行分类,输出结果为切片图像对应预设骨折的概率;
进一步的,所述预设骨折,包括:弯曲骨折、移位骨折、无移位骨折、节段性骨折。
进一步的,所述输出结果,当某种预设骨折的概率值最高且大于相应的阈值,则表示该切片图像存在此类骨折,否则表示该切片不存在骨折;
进一步的,所述阈值,弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8;
当连续的n个切片图像的输出结果都表示存在同一类预设骨折时,则认为该病灶区域存在此类骨折,作为真阳性区域并保留该病灶区域。
精细分割模块,由3D分割卷积神经网络构成,负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
综上所述,本发明实施例提供的基于深度学习的CT影像肺气管的分割方法及系统同时运用2D分类卷积神经网络和3D卷积神经网络,使得病灶区域分割结果更优,分割方法更加鲁棒。而且在2D分类卷积神经网络训练过程中,进一步判断剔除采样的方法能够提高网络的训练效率和精度。
如图2所示,本发明实施例的深度学习网络包括:
主干网络:对输入图像通过卷积和下采样进行高层次抽象特征的提取,得到不同尺度(原图尺寸的1/4、1/8、1/16、1/32)的特征图。
特征金字塔网络:将主干网络得到的特征图经过上采样后,和上一层的特征图进行融合、卷积,得到新的不同尺度的特征图。
检测组件:对输入特征图进行卷积、下采样、全连接,得到感兴趣区域。
分类网络:对输入特征图进行卷积、下采样、全连接,得到不同类别目标的相应概率。
分割网络:对输入特征图进行卷积、上采样、融合,得到最终分割结果。
通过以上的实施方式的描述,本领域的技术人员本发明提供了一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统方法及系统,通过2D分离卷积神经网络和3D卷积神经网络对CT影像进行文字标注和图像标注,有效地提高了标注效率和准确性,使得医生可以对医学影像进行快速准确地标注,提高了疾病诊断的效率,降低医生的工作量,运用计算机通信技术与设备、医疗技术与设备,通过文字、语音和图像资料可以精准的判断出病人存在的骨折类型,便于后续医生的应对和辅助诊疗。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法,其特征在于,包括以下步骤:
S1:CT影像输入:用户通过输入模块输入初始的CT影像;
S2:CT影像预处理:由数据预处理模块对输入的CT影像进行切片和切块处理,得到2D切片序列图像数据集和3D切块序列图像数据集,并进行数据增强以及数据划分;
S3:3D初检:将S1得到的3D切块序列图像数据集作为输入,由图像初检模块得到初步的疑似骨折区域,作为病灶区域;
S4:2D筛选:将S2得到的病灶区域映射至对应的2D切片序列图像数据上,由病灶筛选模块进行分类,保留真阳性区域并输出骨折概率;
S5:3D分割:将S3保留的真阳性区域,按比例映射至主干网络、FPN的不同尺度特征图上,由精细分割模块得到最终的3D分割结果;
S6:阅片结果输出:将骨折检测结果输出给用户;
所述骨折检测结果,包括由S5得到的3D分割结果所对应的2D切片图像,及骨折区域、骨折类型的标注。
2.一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,其特征在于,包括:CT影像输入模块,数据预处理模块,图像初检模块,病灶筛选模块,精细分割模块,结果输出模块。
3.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,其特征在于,所述数据预处理模块,包括:切片预处理功能,切块预处理功能,数据增强功能,数据划分功能;
所述切片预处理功能,将获取的原始CT影像按指定方向、指定图像大小转换为2D切片序列图像数据集;
所述切块预处理功能,将获取的原始CT影像按指定图块大小转换为3D切块序列图像数据集;
所述数据增强功能,包括图像旋转、图像翻转、图像缩放;
所述数据划分功能,通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
4.如权利要求3所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,其特征在于,所述图像旋转,包括:
对于2D切片图像数据,以图像中心为旋转中心,按逆时针方向旋转90°、180°或270°;
对于3D切块图像数据,以xy平面中心绕z轴逆时针旋转90°、180°或270°;
所述图像翻转,包括:
对于2D切片图像数据,以图像中心进行水平翻转或垂直翻转;
对于3D切块图像数据,以yz平面绕x轴翻转或xz平面绕y轴进行翻转;
所述图像缩放,包括:
对于2D切片图像数据,将图像进行0.7~1.3倍的缩放;
对于3D切块图像数据,保持z方向图像不变,将xy方向进行0.7~1.3倍的缩放。
5.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,其特征在于,所述图像初检模块,包括:由3D卷积神经网络构成,负责检出疑似存在骨折的病灶区域;
所述3D卷积神经网络,分为主干网络、特征金字塔网络及检测组件。
6.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,其特征在于,所述病灶筛选模块,由2D分类卷积神经网络构成,负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果,及区分骨折类型;
所述2D分类卷积神经网络,获得由图像初检模块得到的3D病灶区域,并处理成对应的2D切片图像集,由2D分类卷积神经网络对每一个切片图像进行分类,分类结果为切片图像对应预设骨折的概率;
所述预设骨折,包括:弯曲骨折、移位骨折、无移位骨折、节段性骨折。
7.如权利要求6所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,其特征在于,所述分类结果,当某种预设骨折的概率值最高且大于相应的阈值,则表示该切片图像存在此类骨折,否则表示该切片不存在骨折;
所述阈值,弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8;
当连续的n个切片图像的输出结果都表示存在同一类预设骨折时,则认为该病灶区域存在此类骨折,作为真阳性区域并保留该病灶区域。
9.如权利要求2所述的一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片系统,其特征在于,所述精细分割模块,由3D分割卷积神经网络构成,负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111268686.9A CN114897760A (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111268686.9A CN114897760A (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114897760A true CN114897760A (zh) | 2022-08-12 |
Family
ID=82714402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111268686.9A Pending CN114897760A (zh) | 2021-10-29 | 2021-10-29 | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114897760A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115731212A (zh) * | 2022-11-29 | 2023-03-03 | 中国人民解放军总医院第四医学中心 | 一种骨科影像的辅助检测方法及系统 |
CN116168029A (zh) * | 2023-04-25 | 2023-05-26 | 中南大学 | 一种用于评估肋骨骨折的方法、设备和介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理系统 |
CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理系统和方法 |
CN112581458A (zh) * | 2020-12-24 | 2021-03-30 | 清华大学 | 一种图像处理方法和装置 |
CN112991269A (zh) * | 2021-02-07 | 2021-06-18 | 复旦大学 | 一种肺部ct图像的识别分类方法 |
-
2021
- 2021-10-29 CN CN202111268686.9A patent/CN114897760A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274402A (zh) * | 2017-06-27 | 2017-10-20 | 北京深睿博联科技有限责任公司 | 一种基于胸部ct影像的肺结节自动检测方法及系统 |
CN107945168A (zh) * | 2017-11-30 | 2018-04-20 | 上海联影医疗科技有限公司 | 一种医学图像的处理方法及医学图像处理系统 |
CN108010021A (zh) * | 2017-11-30 | 2018-05-08 | 上海联影医疗科技有限公司 | 一种医学图像处理系统和方法 |
CN112581458A (zh) * | 2020-12-24 | 2021-03-30 | 清华大学 | 一种图像处理方法和装置 |
CN112991269A (zh) * | 2021-02-07 | 2021-06-18 | 复旦大学 | 一种肺部ct图像的识别分类方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115731212A (zh) * | 2022-11-29 | 2023-03-03 | 中国人民解放军总医院第四医学中心 | 一种骨科影像的辅助检测方法及系统 |
CN115731212B (zh) * | 2022-11-29 | 2023-08-18 | 中国人民解放军总医院第四医学中心 | 一种骨科影像的辅助检测方法及系统 |
CN116168029A (zh) * | 2023-04-25 | 2023-05-26 | 中南大学 | 一种用于评估肋骨骨折的方法、设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520519B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
Tilve et al. | Pneumonia detection using deep learning approaches | |
Cai et al. | Multi-modal vertebrae recognition using transformed deep convolution network | |
EP3806746B1 (en) | Second reader suggestion | |
EP2948062B1 (en) | Method for identifying a specific part of a spine in an image | |
EP1704532B1 (en) | System and method for filtering a medical image | |
US8285013B2 (en) | Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns | |
CN114494192B (zh) | 一种基于深度学习的胸腰椎骨折识别分割与检测定位方法 | |
EP3657433A1 (en) | Medical image data | |
CN111986189B (zh) | 一种基于ct影像的多类别肺炎筛查深度学习装置 | |
CN101551854B (zh) | 不平衡医学影像处理系统及其处理方法 | |
CN114897760A (zh) | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统 | |
Székely et al. | A hybrid system for detecting masses in mammographic images | |
Basha et al. | Computer aided fracture detection system | |
CN110580948A (zh) | 医学影像的显示方法及显示设备 | |
CN112381762A (zh) | 一种基于深度学习算法的ct肋骨骨折辅助诊断系统 | |
Kumar et al. | IOT enabled Intelligent featured imaging Bone Fractured Detection System | |
Rao et al. | An effective bone fracture detection using bag-of-visual-words with the features extracted from sift | |
CN110533120A (zh) | 器官结节的图像分类方法、装置、终端及存储介质 | |
CN112837264B (zh) | 肋骨定位、骨折临床结局预测装置及自动诊断系统 | |
CN113674251A (zh) | 基于多模态影像的腰椎图像分类识别系统、设备和介质 | |
CN107590806A (zh) | 一种基于大脑医学成像的检测方法和系统 | |
CN116168029A (zh) | 一种用于评估肋骨骨折的方法、设备和介质 | |
Giv et al. | Lung segmentation using active shape model to detect the disease from chest radiography | |
Arzhaeva et al. | Global and local multi-valued dissimilarity-based classification: application to computer-aided detection of tuberculosis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |