CN110766713A - 肺部图像分割方法、装置和肺部病变区域识别设备 - Google Patents
肺部图像分割方法、装置和肺部病变区域识别设备 Download PDFInfo
- Publication number
- CN110766713A CN110766713A CN201911046434.4A CN201911046434A CN110766713A CN 110766713 A CN110766713 A CN 110766713A CN 201911046434 A CN201911046434 A CN 201911046434A CN 110766713 A CN110766713 A CN 110766713A
- Authority
- CN
- China
- Prior art keywords
- lung
- image
- mask
- region
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 454
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000003709 image segmentation Methods 0.000 title claims abstract description 57
- 230000003902 lesion Effects 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000006870 function Effects 0.000 claims description 50
- 238000000605 extraction Methods 0.000 claims description 48
- 230000004913 activation Effects 0.000 claims description 33
- 238000013527 convolutional neural network Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 6
- 238000005260 corrosion Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000002685 pulmonary effect Effects 0.000 claims 8
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 210000002569 neuron Anatomy 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 5
- 208000019693 Lung disease Diseases 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 230000003628 erosive effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000010339 dilation Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010006458 Bronchitis chronic Diseases 0.000 description 1
- 206010014561 Emphysema Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 206010006451 bronchitis Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000007451 chronic bronchitis Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000016273 neuron death Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种肺部图像分割方法、装置和肺部病变区域识别设备,所述方法包括:根据预设灰度阈值,将待分割肺部图像转换为第一二值化图像;对第一二值化图像进行取反处理,以得到第二二值化图像;对第二二值化图像进行孔洞填充,并进行取反处理,以得到第三二值化图像;去除第三二值化图像中的干扰区域,以得到第一掩膜;对第一掩膜进行填充,以得到第二掩膜;对第二掩膜和第一掩膜进行减操作,以得到肺部区域掩膜;对肺部区域掩膜和待分割肺部图像进行乘操作,以得到肺实质图像。本发明可以快速准确地提取出肺实质图像并利用三维图像进行肺部病变区域识别,从而更好辅助医生,提高工作效率。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种肺部图像分割方法、装置、电子设备、存储介质和肺部病变区域识别设备。
背景技术
慢阻肺(COPD)全称慢性阻塞性肺疾病,是一种常见的以持续性呼吸道症状和气流受限为特征的肺部疾病,由于肺气道或肺泡异常导致呼吸不畅和气流受限。拒不完全统计,全球每年有超过300万人死于此病,慢阻肺已成为第三大死亡疾病。
但是,慢阻肺也是一种可以提前预防、提前诊断的疾病,其有两大症状,分别是慢性支气管炎和肺气肿。通过早期肺部CT影像可以诊断出肺部是否存在病变区域,以便于医生进一步诊断患者是否患有肺部疾病或是否存在患病风险。
对于医学影像处理的肺实质分割能够缩小肺部检测的搜索区域,缩短肺部检测的算法运行时间并提高检出率及准确性,是肺部检测的关键步骤。常用于肺实质分割的算法有基于阈值、边缘检测、区域合并生长等。
阈值法用一个或几个阈值将图像的灰度直方图分成几类,认为灰度值在同一类别的像素属于同一个物体,由于CT图像具有较高的密度分辨率,成像后的灰度差异很明显,因此阈值分割对于CT图像分割具有较好的效果,且其算法简单、计算速度快。但在选择阈值时需要依据经验判断,或者先做多次尝试性分割后再对阈值进行调整,直至效果满意,所需时间较长。
边缘检测的本质是根据邻域像素间的灰度跳变梯度来对边缘进行检测,进而进行分割等处理,考虑梯度的计算方法,逐渐引入sobel、canny、roberts、高斯算子等局部微分或梯度算子,这种方法对于边缘的检测比较有效,但往往由于梯度检测阈值的存在而可能造成目标边界断续,边界不闭合,以及边缘杂乱,另外由于基于灰度跳变对梯度信息敏感,而不能消除噪声的影响,抗噪性差。
基于区域合并的处理方法是根据像素的相似性比较归类,必须有一个比较的起点和基准,即种子点和合并生长规则,这种方法能够将同类性质的像素合并在同一区域,进而将图像分割为若干个性质差异的不同区域,简单且效率高,一目了然,缺点是种子点的自动化程度不高,需要一定的人为干预。
发明内容
本发明的目的在于提供一种肺部图像分割方法、装置、电子设备、存储介质和肺部病变区域识别设备,可以快速准确地提取出肺实质图像并利用三维图像进行肺部病变区域识别,从而更好辅助医生,提高工作效率。
为达到上述目的,本发明提供一种肺部图像分割方法,包括:
根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像;
对所述第一二值化图像进行取反处理,以得到第二二值化图像;
对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像;
去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜;
对所述第一掩膜进行肺部区域的填充,以得到第二掩膜;
对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜;以及
对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
可选的,在根据预设灰度阈值,对待分割肺部图像进行二值化处理之前,所述方法包括:
对所述待分割肺部图像进行灰度直方图统计,以获取灰度直方图;
确定所述灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;以及
确定所述灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
可选的,在确定所述灰度直方图中的所有极值点之前,所述方法包括包括:
对所述灰度直方图进行高斯平滑,以得到平滑后的灰度直方图;
所述确定灰度直方图中的所有极值点的步骤包括:确定平滑后的灰度直方图中的所有极值点;
所述确定所述灰度直方图中的灰度值最接近于0的最大极大值点的步骤包括:确定所述平滑后的灰度直方图中的灰度值最接近于0的最大极大值点。
可选的,所述对所述第一掩膜进行肺部区域的填充,以得到第二掩膜的步骤包括:
将所述第一掩膜中的肺部区域填充为白色,以得到第二掩膜。
可选的,所述对所述第二二值化图像中的肺部区域进行孔洞填充的步骤包括:
采用先膨胀后腐蚀的形态学闭运算处理对所述第二二值化图像中的肺部区域进行孔洞填充。
可选的,所述去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜的步骤包括:
对所述第三二值化图像进行连通域分析,并提取所述第三二值化图像中的最大连通域,所述最大连通域的内部包含肺部区域,将所述最大连通域作为第一掩膜。
可选的,在对所述肺部区域掩膜和所述待分割肺部图像进行乘操作之前,所述方法包括:
对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点;
所述对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像的步骤包括:
对去噪处理后的所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
可选的,所述对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点的步骤包括:
对所述肺部区域掩膜进行连通域分析;
分别计算每一连通域的面积;以及
根据预设面积阈值,将所述肺部区域掩膜中的面积小于所述预设面积阈值的连通域去除,以去除所述肺部区域掩膜中的噪点。
可选的,所述对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像的步骤包括:
将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0,以得到二值化肺部图像;以及
将所述二值化肺部图像的各像素点的灰度值和所述待分割肺部图像的对应像素点的灰度值相乘,以得到肺实质图像。
为达到上述目的,本发明还提供一种肺部图像分割装置,包括:
二值化模块,用于根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像;
取反模块,用于对所述第一二值化图像进行取反处理,以得到第二二值化图像;
第一填充模块,用于对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像分别进行取反处理,以得到第三二值化图像;
去除模块,用于去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜;
第二填充模块,用于对所述第一掩膜进行肺部区域的填充,以得到第二掩膜;
第一处理模块,用于对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜;以及
第二处理模块,用于对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
可选的,所述装置还包括:
统计模块,用于对所述待分割肺部图像进行灰度直方图统计,以获取灰度直方图;
第一确定模块,用于确定所述灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;以及
第二确定模块,用于确定所述灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
可选的,所述装置还包括:
平滑模块,用于对所述灰度直方图进行高斯平滑,以得到平滑后的灰度直方图;
所述第一确定模块用于:确定所述平滑后的灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;
所述第二确定模块用于:确定所述平滑后的灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
可选的,所述第二填充模块用于:
将所述第一掩膜中的肺部区域填充为白色,以得到第二掩膜。
可选的,所述第一填充模块用于:
采用先膨胀后腐蚀的形态学闭运算处理对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像。
可选的,所述去除模块用于:
对所述第三二值化图像进行连通域分析,并提取所述第三二值化图像中的最大连通域,所述最大连通域的内部包含肺部区域,将所述最大连通域作为第一掩膜。
可选的,所述装置还包括:
去噪模块,用于对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点;
所述第二处理模块用于:对去噪处理后的所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
可选的,所述去噪模块包括:
分析子模块,用于对所述肺部区域掩膜进行连通域分析;
计算子模块,用于分别计算每一连通域的面积;以及
去除子模块,用于根据预设面积阈值,将所述肺部区域掩膜中的面积小于所述预设面积阈值的连通域去除,以去除所述肺部区域掩膜中的噪点。
可选的,所述第二处理模块包括:
第一处理子模块,用于将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0,以得到二值化肺部图像;以及
第二处理子模块,用于将所述二值化肺部图像的各像素点的灰度值和所述待分割肺部图像的对应像素点的灰度值相乘,以得到肺实质图像。
为达到上述目的,本发明还提供一种电子设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现上文所述的肺部图像分割方法。
为达到上述目的,本发明还提供一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上文所述的肺部图像分割方法。
为达到上述目的,本发明还提供一种肺部病变区域识别设备,包括:
第二处理器和第二存储器,所述第二存储器上存储有计算机程序,所述计算机程序被所述第二处理器执行时,实现如下步骤:
获取肺实质图像序列,所述肺实质图像序列包括多个采用如上文所述的肺部图像分割方法对待分割肺部图像进行分割得到的肺实质图像;
对获取的所述肺实质图像序列中的肺实质图像进行堆叠合并,以得到肺实质三维立体图像;以及
根据预先训练好的三维卷积神经网络模型对所述肺实质三维立体图像进行识别,以识别出所述肺实质三维立体图像中是否存在病变区域。
可选的,所述三维卷积神经网络模型包括一个输入层、至少五个级联的特征提取层、至少一个全连接层和一个输出层,每一所述特征提取层均包括卷积层、激活层和最大池化层,其中,上一级特征提取层的输入和输出融合成下一级特征提取层的输入。
可选的,所述设备还包括三维卷积神经网络模型生成部分,其用于:
获取预设数量的标注好的肺实质三维立体图像,作为训练样本;
设置三维卷积神经网络模型的网络参数的初始值;以及
根据所述训练样本和所述网络参数的初始值对预先搭建的三维卷积神经网络模型进行训练,直至满足预设训练结束条件,进而得到三维卷积神经网络模型。
可选的,所述三维卷积神经网络模型生成部分采用截断正态分布设置所述三维卷积神经网络模型的网络参数的初始值。
可选的,所述三维卷积神经网络模型生成部分根据所述训练样本和所述网络参数的初始值采用随机梯度下降法对预先搭建的三维卷积神经网络模型进行训练。
可选的,所述激活层使用的激活函数为最大输出激活函数Maxout。
与现有技术相比,本发明提供的肺部图像分割方法、装置、电子设备、存储介质和肺部病变区域识别设备具有以下优点:
(1)本发明提供的肺部图像分割方法、装置、电子设备和存储介质,通过根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像;对所述第一二值化图像进行取反处理,以得到第二二值化图像;对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像;去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜;对所述第一掩膜进行肺部区域的填充,以得到第二掩膜;对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜;以及对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。由此可见,本发明提供的肺部图像分割方法、装置、电子设备和存储介质可以不依赖于种子点,自动去除人体躯干、床板等干扰因素,从而可以快速准确地提取出肺实质图像,以更好地辅助医生。
(2)本发明提供的肺部病变区域识别设备,包括第二处理器和第二存储器,所述第二存储器上存储有计算机程序,所述计算机程序被所述第二处理器执行时,实现如下步骤:获取肺实质图像序列,所述肺实质图像序列包括多个采用如上文所述的肺部图像分割方法对待分割肺部图像进行分割得到的肺实质图像;对获取的所述肺实质图像序列中的肺实质图像进行堆叠合并,以得到肺实质三维立体图像;以及根据预先训练好的三维卷积神经网络模型对所述肺实质三维立体图像进行识别,以识别出所述肺实质三维立体图像中是否存在病变区域。由此可见,本发明提供的肺部病变区域识别设备,通过采用三维卷积神经网络模型对肺实质三维立体图像进行识别,不仅可以提取图像中的二维特征,还可以提取图像中上下若干层之间的三维特征,由此可以更加准确的识别出肺实质三维立体图像中是否存在病变区域,进而判断出患者是否患有肺部疾病,从而可以更好地辅助医生。
附图说明
图1为本发明一实施方式中的肺部图像分割方法的流程图;
图2(a)为本发明中的第一二值化图像的一具体示意图;
图2(b)为本发明中的第二二值化图像的一具体示意图;
图2(c)为本发明中的第一掩膜的一具体示意图;
图2(d)为本发明中的第二掩膜的一具体示意图;
图2(e)为本发明中的肺部区域掩膜的一具体示意图;
图2(f)为本发明中的肺实质图像的一具体示意图;
图3为本发明中的灰度直方图的一具体示意图;
图4为本发明一实施方式中的肺部图像分割装置的方框结构示意图;
图5为本发明一实施方式中的电子设备的方框结构示意图;
图6为本发明一实施方式中的肺部病变区域识别设备的方框结构示意图;
图7为本发明中的三维卷积神经网络模型的一具体示意图。
其中,附图标记如下:
二值化模块-201;取反模块-202;第一填充模块-203;去除模块-204;第二填充模块-205;第一处理模块-206;第二处理模块-207;第一处理器-301;第一通信接口-302;第一存储器-303;第一通信总线-304;第二处理器-401;第二通信接口-402;第二存储器-403;第二通信总线-404;输入层-510;第一特征提取层-521;第二特征提取层-522;第三特征提取层-523;第四特征提取层-524;第五特征提取层-525;第六特征提取层-526;第一全连接层-531;第二全连接层-532;第三全连接层-533,输出层-540。
具体实施方式
以下结合附图1至7和具体实施方式对本发明提出的肺部图像分割方法、装置、电子设备、存储介质和肺部病变区域识别设备作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需要说明的是,附图采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂,请参阅附图。须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的核心思想在于提供一种肺部图像分割方法、装置、电子设备、存储介质和肺部病变区域识别设备,以快速准确地提取出肺实质图像,并利用图像提取肺部病变区域,进而帮助医生,提高效率以及准确率。
需要说明的是,本发明实施方式的肺部图像分割方法可应用于本发明实施方式的肺部图像分割装置,该肺部图像分割装置可被配置于电子设备上,其中,该电子设备可以是个人计算机、移动终端等,该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。
为实现上述思想,本发明提供一种肺部图像分割方法,请参考图1,示意性地给出了本发明一实施方式提供的肺部图像分割方法的流程图,如图1所示,所述肺部图像分割方法包括如下步骤:
步骤S101:根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像。
在本实施方式中,待分割肺部图像可通过各种模态的成像系统扫描采集获得,也可通过诸如存储系统影像归档和通信系统等内部或外部存储系统传输获得。所述模态包括但不限于磁共振成像(MRI)、计算断层扫描(CT)、正电子发射断层扫描(PET)等一种或多种的组合。多张连续的待分割肺部图像可以组成一待分割肺部图像序列。
在本步骤中,不同的待分割肺部图像的预设灰度阈值根据其各自的图像特性进行设定,由此与单一的阈值分割法相比,可以克服现有技术中阈值点的选择严重依赖人为经验的缺点。通过将每一待分割肺部图像中的灰度值大于其预设灰度阈值的像素点的灰度值置为255,将每一待分割肺部图像中的灰度值大于其预设灰度阈值的像素点的灰度值置为0,由此可以将每一待分割肺部图像中的肺部区域和外界空气转化为黑色,将肺部区域和外界空气以外的区域转换为白色,以得到各自的第一二值化图像。请参考图,2(a),其示意性性地给出了本发明中的第一二值化图像的一具体示意图,从图2(a)中可以清楚的区别出肺部区域和其它区域,例如床板(干扰区域)和躯干,其中肺部区域为黑色,躯干和床板为白色。需要说明的是所述干扰区域还可以为除床板之外的其他干扰区域,本发明对此并不进行限制。
优选的,在执行步骤S101之前,所述方法包括:
对所述待分割肺部图像进行灰度直方图统计,以获取灰度直方图;
确定所述灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;以及
确定所述灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
由于在肺部图像中,肺部区域和外界空气的灰度值接近于0,因此在本实施方式中,将位于灰度值最接近于0的最大极值点右侧的第一个极小值点确定为对应的预设灰度阈值。请参考图3,其示意性地给出了本发明中的灰度直方图的一具体示例。如图3所示,图中的横坐标表示灰度值,纵坐标表示像素点个数,在灰度直方图中,极大值点表示波峰所在的点,极小值点表示波谷所在的点,其中,灰度值最接近于0的最大极值点(灰度值最接近于0的纵坐标最大的点)为图3中的A点,位于A点右侧的第一个极小值点为B点,故B点的灰度值为此图所对应的待分割肺部图像的预设灰度阈值。
由此,本发明中所采用的计算预设灰度阈值的步骤,与自适应阈值法、大津阈值法相比,只需要一次统计计算就可以找出最佳分割点,不需要多次迭代,从而可以节省算法执行时间。同时可以有效克服现有技术中阈值的选择严重依赖人为经验的缺点。
优选的,在确定所述灰度直方图中的所有极值点之前,所述方法包括:
对所述灰度直方图进行高斯平滑,以得到平滑后的灰度直方图;
所述确定灰度直方图中的所有极值点的步骤包括:确定平滑后的灰度直方图中的所有极值点;
所述确定所述灰度直方图中的灰度值最接近于0的最大极大值点的步骤包括:确定所述平滑后的灰度直方图中的灰度值最接近于0的最大极大值。
由此,针对波峰、波谷不明显的灰度直方图,通过对灰度直方图进行高斯平滑处理,可以对灰度直方图进行增强处理,从而可以更方便地在平滑后的灰度直方图中找到极值点,更加利于确定预设灰度阈值。
步骤S102:对所述第一二值化图像进行取反处理,以得到第二二值化图像。
由此,通过对所述第一二值化图像进行取反处理,可以将第一二值化图像中的肺部区域和外界空气由黑色转化为白色,将躯干和床板由白色转化为黑色。请参考图2(b),其示意性地给出了本发明中的第二二值化图像的一具体示意图。如图2(b)所示,在所述第二二值化图像中,白色区域为肺部区域和外界空气,黑色区域为躯干和床板。
步骤S103:对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像。
由此,通过对所述第二二值化图像中的肺部区域进行孔洞填充,可以消除第二二值化图像中的肺部区域的孔洞,通过对完成孔洞填充后的所述第二二值化图像进行取反处理,可以将肺部区域和外界空气由白色转化为黑色,将躯干和床板由黑色转化为白色,即在第三二值化图像中,黑色区域为肺部区域和外界空气,白色区域为躯干和床板。
优选的,在步骤S103中,可采用先膨胀后腐蚀的形态学闭运算处理对所述第二二值化图像中的肺部区域进行孔洞填充。
膨胀和腐蚀是形态学操作的基础,其不同的组合构成了区域填充、开运算和闭运算。
式中,Sxy表示将结构元素S的原点移到点(x,y)时得到的图像,φ表示空集。图像A被结构元素S膨胀得到的图像可以认为是这样的点(x,y)构成的集合;如果结构元素S的原点移到点(x,y)时,S与A的交集不为空集。
图像A被结构元素S腐蚀得到的图像可以认为是这样的点(x,y)构成的集合;如果结构元素S的原点移到点(x,y)时,S完全包含于A中。
区域填充是通过使用数学形态学中的膨胀运算、交集运算、求补运算以及补集运算,填充边缘内部的孔洞。从图像A边缘内部一点X0开始,将其灰度记为1,按照下面的表达式填充整个区域:
式中,S表示结构元素;Ac表示图像A的补集。结束条件为Xk=Xk-1,此时Xk∪A包括图像边缘及内部填充的集合。
闭运算表示为A·S,定义如下:
由此,在本步骤中,采用先膨胀后腐蚀的形态学闭运算处理可以有效去除所述第二二值化图像中的肺部区域中的孔洞。
步骤S104:去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜。
由此,通过去除所述第三二值化图像中的干扰区域,可以有效消除干扰区域的干扰。请参考图2(c),其示意性地给出了本发明中的第一掩膜的一具体示意图,如图2(c)所示,第一掩膜中的白色区域为躯干,黑色区域为肺部区域和外界空气。
优选的,在本步骤中,可对所述第三二值化图像进行连通域分析,并提取所述第三二值化图像中的最大连通域,所述最大连通域的内部包含肺部区域,将所述最大连通域作为对应的第一掩膜。
一个连通域表示具有相同像素点的集合,其中像素点个数最多的即为最大连通域。由于在本实施方式中的第三二值化图像中,白色区域为躯干和床板,因此在第三二值化图像中,只存在躯干和床板这两个连通域,由于躯干体积大于床板体积,因此只需提取最大连通域即可将床板这一干扰区域去除。
步骤S105:对所述第一掩膜进行肺部区域的填充,以得到第二掩膜。
由此,在此步骤中,通过将所述第一掩膜的肺部区域进行填充,从而可以得到第二掩膜。
优选的,在本步骤中,可将所述第一掩膜中的肺部区域填充为白色,以得到第二掩膜。
具体地,在本步骤中,可通过将第一掩膜中的肺部区域的灰度值设置为255,以将肺部区域填充为白色。
请参考图2(d),其示意性地给出了本发明中的第二掩膜的一具体示意图,如图2(d)所示,在所述第二掩膜中,所述肺部区域和所述躯干均为白色。
步骤S106:对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜。
具体地,通过将所述第二掩膜中的各像素点的灰度值减去所述第一掩膜的对应像素点的灰度值,从而得到待分割肺部图像的肺部区域掩膜。请参考图2(e),其示意性地给出了本发明中的肺部区域掩膜的一具体示意图,如图2(e)所示,肺部区域掩膜中的白色区域只剩下肺部区域。
步骤S107:对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
请参考图2(f),其示意性地给出了采用本发明提供的分割方法获得的肺实质图像的一具体示例,如图2(f)所示,通过采用本发明提供的肺部图像分割方法,可以获得纯净的肺实质图像,有效去除人体躯干、床板等干扰因素。
优选的,对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像的方法包括如下步骤:
将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0,以得到二值化肺部图像;以及
将所述二值化肺部图像的各像素点的灰度值和所述待分割肺部图像的对应像素点的灰度值相乘,以得到肺实质图像。
由此,通过将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0,以得到二值化肺部图像,再将所述二值化肺部图像的各像素点的灰度值和所述待分割肺部图像的对应像素点的灰度值相乘,从而将所述二值化肺部图像中的肺实质区域的各像素点的灰度值替换为对应位置处的待分割肺部图像的灰度值,而肺实质区域以外的区域的灰度值仍为0,从而可以得到纯净的肺实质图像。此外,在本实施方式中,通过采用归一化操作(将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0)以及将归一化操作后的二值化肺部图像与原图(待分割肺部图像)进行乘操作,可以避免像素遍历速度慢的问题,可以快速获得肺实质图像,进一步提高本发明提供的肺部图像分割方法的分割速度。
优选的,执行步骤S107之前,本发明提供的肺部图像分割方法,还包括如下步骤:
对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点。
由此,通过对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点,从而可以为获得纯净的肺实质图像打好基础。
则对应的,步骤S107为:对去噪处理后的所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
由此,通过对去噪处理后的所述肺部区域掩膜和所述待分割肺部图像进行乘操作,可以得到更加纯净的肺实质图像。
优选的,所述对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点的步骤包括:
对所述肺部区域掩膜进行连通域分析;
分别计算每一连通域的面积;以及
根据预设面积阈值,将所述肺部区域掩膜中的面积小于所述预设面积阈值的连通域去除,以去除所述肺部区域掩膜中的噪点。
连通域的面积指的是连通域内像素点的个数。需要说明的是,所述预设面积阈值,可以根据具体情况进行设置,例如在优选的实施例中设置为200,当然所述预设面积阈值还可以设置成其他大小,本发明对此并不进行限制。
由此,通过对所述肺部区域掩膜进行连通域分析,并计算每一连通域的面积,从而可以根据预设面积阈值,例如200,将小于预设面积阈值,例如200的连通域去除,从而有效去除肺部区域掩膜中的噪点。
综上所述,本发明提供的肺部图像分割方法,可以不依赖于种子点,自动去除人体躯干、床板等干扰因素,从而可以快速准确地提取出肺实质图像,以更好地辅助医生。
与上述的肺部图像分割方法相对应,本发明还提供一种肺部图像分割装置,请参考图4,示意性地给出了本发明一实施方式的肺部图像分割装置的结构框图,如图4所示,所述肺部图像分割装置包括:
二值化模块201,用于根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像;
取反模块202,用于对所述第一二值化图像进行取反处理,以得到第二二值化图像;
第一填充模块203,用于对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像分别进行取反处理,以得到第三二值化图像;
去除模块204,用于去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜;
第二填充模块205,用于对所述第一掩膜进行肺部区域的填充,以得到第二掩膜;
第一处理模块206,用于对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜;以及
第二处理模块207,用于对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
优选的,所述装置还包括:
统计模块,用于对所述待分割肺部图像进行灰度直方图统计,以获取灰度直方图;
第一确定模块,用于确定所述灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;以及
第二确定模块,用于确定所述灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
优选的,所述装置还包括:
平滑模块,用于对所述灰度直方图进行高斯平滑,以得到平滑后的灰度直方图;
所述第一确定模块用于:确定所述平滑后的灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;
所述第二确定模块用于:确定所述平滑后的灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
优选的,所述第二填充模块205用于:
将所述第一掩膜中的肺部区域填充为白色,以得到第二掩膜。
优选的,所述第一填充模块203用于:
采用先膨胀后腐蚀的形态学闭运算处理对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像。
优选的,所述去除模块204用于:
对所述第三二值化图像进行连通域分析,并提取所述第三二值化图像中的最大连通域,所述最大连通域的内部包含肺部区域,将所述最大连通域作为第一掩膜。
优选的,所述装置还包括:
去噪模块,用于对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点;
所述第二处理模块207,用于对去噪处理后的所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
优选的,所述去噪模块包括:
分析子模块,用于对所述肺部区域掩膜进行连通域分析;
计算子模块,用于分别计算每一连通域的面积;以及
去除子模块,用于根据预设面积阈值,将所述肺部区域掩膜中的面积小于所述预设面积阈值的连通域去除,以去除所述肺部区域掩膜中的噪点。
优选的,所述第二处理模块207包括:
第一处理子模块,用于将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0,以得到二值化肺部图像;以及
第二处理子模块,用于将所述二值化肺部图像的各像素点的灰度值和所述待分割肺部图像的对应像素点的灰度值相乘,以得到肺实质图像。
综上所述,本发明提供的肺部图像分割装置可以不依赖于种子点,自动去除人体躯干、床板等干扰因素,从而可以快速准确地提取出肺实质图像,以更好地辅助医生。
基于同一发明构思,本发明还提供一种电子设备,请参考图5,示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图5所示,所述电子设备包括第一处理器301和第一存储器303,所述第一存储器303上存储有计算机程序,所述计算机程序被所述第一处理器301执行时,实现上文所述的肺部图像分割方法。
如图5所示,所述电子设备还包括第一通信接口302和第一通信总线304,其中所述第一处理器301、所述第一通信接口302、所述第一存储器303通过第一通信总线304完成相互间的通信。所述第一通信总线304可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture,EISA)总线等。该第一通信总线304可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。所述第一通信接口302用于上述电子设备与其他设备之间的通信。
本发明中所称第一处理器301可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述第一处理器301是所述电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分。
所述第一存储器303可用于存储所述计算机程序,所述第一处理器301通过运行或执行存储在所述第一存储器303内的计算机程序,以及调用存储在第一存储器303内的数据,实现所述电子设备的各种功能。
所述第一存储器303可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明提供的电子设备,可以不依赖于种子点,自动去除人体躯干、床板等干扰因素,从而可以快速准确地提取出肺实质图像,以更好地辅助医生。
本发明还提供了一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时可以实现上文所述的肺部图像分割方法。
本发明实施方式的可读存储介质,可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
本发明提供的存储介质可以不依赖于种子点,自动去除人体躯干、床板等干扰因素,从而可以快速准确地提取出肺实质图像,以更好地辅助医生。
为实现上述思想,本发明还提供一种肺部病变区域识别设备。请参考图6,其示意性地给出了本发明一实施方式中的肺部病变区域识别设备的结构框图。如图6所示,所述肺部病变区域识别设备包括:
第二处理器401和第二存储器403,所述第二存储器403上存储有计算机程序,所述计算机程序被所述第二处理器401执行时,实现如下步骤:
获取肺实质图像序列,所述肺实质图像序列包括多个采用如上文所述的肺部图像分割方法对待分割肺部图像进行分割得到的肺实质图像;
对获取的所述肺实质图像序列中的肺实质图像进行堆叠合并,以得到肺实质三维立体图像;以及
根据预先训练好的三维卷积神经网络模型对所述肺实质三维立体图像进行识别,以识别出所述肺实质三维立体图像中是否存在病变区域。
本发明中所称第二处理器401可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器301(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述第二处理器401是所述肺部病变区域识别设备的控制中心,利用各种接口和线路连接整个肺部病变区域识别设备的各个部分。
所述第二存储器403可用于存储所述计算机程序,所述第二处理器401通过运行或执行存储在所述第二存储器403内的计算机程序,以及调用存储在第二存储器403内的数据,实现所述肺部病变区域识别设备的各种功能。
所述第二存储器403可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
如图6所示,所述肺部病变区域识别设备还包括第二通信接口402和第二通信总线404,其中所述第二处理器401、所述第二通信接口402、所述第二存储器403之间通过第二通信总线404完成相互间的通信。所述第二通信总线404可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等。该第二通信总线404可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。所述第二通信接口402用于上述肺部病变区域识别设备与其他设备之间的通信。
本发明提供的肺部病变区域识别设备,通过采用三维卷积神经网络模型对肺实质三维立体图像进行识别,不仅可以提取图像中的二维特征,还可以提取图像中上下若干层之间的三维特征,由此可以更加准确的识别出肺实质三维立体图像中是否存在病变区域,进而可以辅助医生判断患者是否患有肺部疾病或者存在患病风险,优选地,可以辅助医生判断患者是否患有慢阻肺病或者患有此病的风险,从而可以更好地辅助医生。
优选的,所述三维卷积神经网络模型包括一个输入层510、至少五个级联的特征提取层、至少一个全连接层和一个输出层540,每一所述特征提取层均包括卷积层、激活层和最大池化层,其中,上一级特征提取层的输入和输出融合成下一级特征提取层的输入。
由于卷积层是对图像矩阵进行加权求和的线性操作,此层的输出图谱带有明显的线性特征,由于线性特征的表达力不够,通过一些激活函数(激活层)可以将图像特征保留并反映出来,同时去掉冗余数据,使图像特征的表达力更强,完美地解决后向传播过程中梯度消失导致的问题。激活函数有以下几种性质:非线性、可微性、单调性、在原点处近似性等等。
由此,通过输入层510可以接收原始图像,经过交替的卷积层和最大池化层对原始图像进行抽象,随后经过全连接层,最后通过输出层540输出结果。
在本发明中,由于上一级特征提取层的输入和输出融合成下一级特征提取层的输入,从而可以充分提取并利用肺实质图像中的关键信息,进而可以有效提高本发明中的三维卷积神经网络模型对病变区域识别的准确率。
在本实施方式中,原始图像为肺实质三维立体图像,所述肺实质三维立体图像由采用如上所述的肺部图像分割方法获得的多张二维的肺实质图像堆叠合并而成,输入层510接收的二维图像的尺寸可以根据具体情况进行设置,例如优选为512*512像素,若输入的二维的肺实质图像的尺寸不符合要求,可以先对二维的肺实质图像的尺寸进行处理,将其尺寸调整到512*512像素后,再输入所述三维卷积网络模型中。
请参考图7,其示意性地给出了本发明中的三维卷积神经网络模型的一具体示意图,如图7所示,在本实施方式中,所述三维卷积神经网络模型包括一个输入层510、六个级联的特征提取层,三个全连接层和一个输出层540。需要说明的是,本实施方式是以六个特征提取层和三个全连接层为例进行说明,特征提取层的个数优选至少为五个,例如为七个、八个或其他数目,进一步优选为11个以下,全连接层的个数可以为一个、两个或其他数目,本发明对此并不进行限制。
其中这六个级联的特征提取层分别为第一特征提取层521、第二特征提取层522、第三特征提取层523、第四特征提取层524、第五特征提取层525和第六特征提取层526。这三个全连接层分别为第一全连接层531、第二全连接层532和第三全连接层533。所述第一特征提取层521、第二特征提取层522、第三特征提取层523、第四特征提取层524、第五特征提取层525和第六特征提取层526均包括卷积层、激活层和最大池化层。其中第一特征提取层521的输入为原始图像,经过第一特征提取层521中的卷积层三维卷积处理后,得到第一特征图,再通过激活函数得到第一特征映射图,然后通过最大池化层降采样处理,输出第一特征映射图。该第一特征映射图与原始图像进行融合后,作为第二特征提取层522的输入,经过第二特征提取层522中的卷积层三维卷积处理后,得到第二特征图,再通过激活函数得到第二特征映射图,然后通过最大池化层降采样处理,输出第二特征映射图。该第二特征映射图与经过降采样处理后的第一特征映射图进行融合后,作为第三特征提取层523的输入,经过第三特征提取层523中的卷积层三维卷积处理后,得到第三特征图,再通过激活函数得到第三特征映射图,然后通过最大池化层降采样处理,输出第三特征映射图。该第三特征映射图与经过降采样处理后的第二特征映射图进行融合后,作为第四特征提取层524的输入,经过第四特征提取层524中的卷积层三维卷积处理后,得到第四特征图,再通过激活函数得到第四特征映射图,然后通过最大池化层降采样处理,输出第四特征映射图。该第四特征映射图与经过降采样处理后的第二特征映射图进行融合后,作为第五特征提取层525的输入,经过第五特征提取层525中的卷积层三维卷积处理后,得到第五特征图,再通过激活函数得到第五特征映射图,然后通过最大池化层降采样处理,输出第五特征映射图。该第五特征映射图与经过降采样处理后的第四特征映射图进行融合后,作为第六特征提取层526的输入,经过第六特征提取层526中的卷积层三维卷积处理后,得到第六特征图,再通过激活函数得到第六特征映射图,然后通过最大池化层降采样处理,输出第六特征映射图。将该第六特征映射图输入到第一全连接层531中,通过第一全连接层531提取高级特征,输出第一高级特征图至第二全连接层532,通过第二全连接层532提取高级特征,输出第二高级特征图至第三全连接层533,通过第三全连接层533提取高级特征,输出第三高级特征图至输出层540,通过输出层540中的分类器,例如softmax分类器,将高级特征转化为激活概率,从而找出该肺实质三维立体图像存在肺部病变的区间段,最后输出该区间段和置信度。
优选的,所述激活层使用的激活函数为最大输出激活函数Maxout。
常用的激活函数有以下几种:
(1)Sigmoid函数
Sigmoid函数也叫做Logistic函数,是一个连续、单调递增函数,关于(0,0.5)点中心对称,其表达式为:
Sigmoid函数可以将任意的输入实数映射到实数映射区间(0,1)内,因此在浅层网络中是首选,但随着网络深度的加大,Sigmoid函数暴露出了易饱和的缺点,当输入值较大时,输出值趋向于1,输入值较小时时,输出值趋向于0,在反向传播时会导致梯度消失,致使收敛速度缓慢。
(2)Tanh函数
Tanh函数也叫做双曲正切函数,其表达式为:
Tanh函数的优点是解决了Sigmoid函数输出值不为零的问题,在反向传播中,缓解了梯度消失,但仍然存在易饱和的问题,导致收敛缓慢。
(3)ReLU函数
ReLU函数是一种局部线性的分段函数,能够解决非线性激活函数易饱和的问题,其表达式为:
当x>0时,f(x)=x,当x<0时,f(x)=0,说明当x<0时,神经元会消失,ReLU函数的优点是易于求导,收敛速度比Sigmoid、Tanh要快的多,在反向传播过程中,能够减少梯度消失的现象,缺点是训练过程中很容易使神经元消失。
(4)LeakyReLU函数
LeakyReLU函数是修正线性单元的特殊变体,其表达式为:
当没有激活值时,Leaky ReLU仍然会输出非零值,在反向传播的过程中会获得一个小梯度值,这样就避免了ReLU可能会导致神经元“死亡”的现象。
在本实施方式中,激活层所使用的激活函数为最大输出激活函数Maxout,Maxout可以看作在神经网络中加入一个激活函数层,增加了k个神经元,输出激活函数的最大值,其表达式为:
hi(x)=max(Zij),j∈[1,k] (10)
Zij=xTWij+bij,W∈Rd×m×k,b∈Rm×k (11)
式中,hi(x)表示隐含层节点的输出,i表示第i个输出节点,x表示输入的特征向量,Zij为一个中间矩阵,W是一个大小为(d,m,k)的三维矩阵,表示权值矩阵,b是一个大小为(m,k)的二维矩阵,表示偏置参量,d表示输入层510的节点个数,k为每一个隐含层节点所对应的k个“隐含层”节点,m代表隐含层的节点个数。Maxout激活函数是让这k个“隐含层”节点中输出值最大的那个值为每个隐含节点的值。
Maxout激活函数不仅计算简单,而且有很强的拟合能力,可以拟合任意的凸函数。由此,在本发明中,优选地,通过采用Maxout作为激活函数,可以有效解决网络的非线性拟合能力不足和神经元死亡的问题。
优选的,所述设备还包括三维卷积神经网络模型生成部分,其用于:
获取预设数量的标注好的肺实质三维立体图像,作为训练样本;
设置三维卷积神经网络模型的网络参数的初始值;以及
根据所述训练样本和所述网络参数的初始值对预先搭建的三维卷积神经网络模型进行训练,直至满足预设训练结束条件,进而得到三维卷积神经网络模型。
在本实施方式中,作为训练样本的肺实质三维立体图像为多张二维的肺实质图像堆叠而成,所述肺实质图像为通过采用上文所述的肺部分割方法对待分割肺部图像进行分割得到,除此之外,在其它实施方式中,所述肺实质图像为采用其他的图像分割方法,例如区域生长法、阈值法对待分割肺部图像进行分割得到,本发明对此并不进行限制。所述标注好的肺实质三维立体图像为标注有是否存在病变区域的肺实质三维立体图像,例如存在病变区域的肺实质三维立体图像用“1”进行标注,不存在病变区域的肺实质三维立体图像用“0”进行标注。
在本实施方式中,网络参数包括权值矩阵W与偏置变量Bias。所述预设训练结束条件可为迭代次数达到设定迭代次数,例如5万次。所述预设训练结束条件还可为损失函数的值收敛到预设值。
优选的,所述三维卷积神经网络模型生成部分采用截断正态分布设置所述三维卷积神经网络模型的网络参数的初始值。
具体做法为,假设网络参数θ服从正态分布,网络参数θ的取值限制在[a,b]范围内,被修正后的网络参数θ取值由概率密度函数计算得到:
其中,φ(·)表示标准正态分布函数,μ、σ为标准正态分布的期望与方差,Φ(·)为标准正态分布的累积分布函数。
利用概率密度函数f生成取值在已知限定范围内的θ,θ包含权值矩阵W与偏置变量Bias,作为网络参数的初始值。
优选的,所述三维卷积神经网络模型生成部分根据所述训练样本和所述网络参数的初始值采用随机梯度下降法对预先搭建的三维卷积神经网络模型进行训练。
具体地,优选采用反向传播算法来更新权重值。反向传播算法主要包括以下几个步骤:
(1)经由前向计算得到每个神经元的输出值aj,其中j表示网络的第j个神经元;
(3)然后,再计算层级之间相互连接的每个神经元组织的权重Wij的梯度值,其中,Wij为层与层之间从一个神经元到另一个的权重值,即αi表示神经元i的输出。最后,根据梯度下降法来对每层神经元之间的连接权重进行重新计算。
综上所述,与现有技术相比,本发明提供的肺部图像分割方法、装置、电子设备、存储介质和肺部病变区域识别设备具有以下优点:
(1)本发明提供的肺部图像分割方法、装置、电子设备和存储介质,通过根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像;对所述第一二值化图像进行取反处理,以得到第二二值化图像;对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像;去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜;对所述第一掩膜进行肺部区域的填充,以得到第二掩膜;对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜;以及对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。由此可见,本发明提供的肺部图像分割方法、装置、电子设备和存储介质可以不依赖于种子点,自动去除人体躯干、床板等干扰因素,从而可以快速准确地提取出肺实质图像,以更好地辅助医生。
(2)本发明提供的肺部病变区域识别设备,包括第二处理器和第二存储器,所述第二存储器上存储有计算机程序,所述计算机程序被所述第二处理器执行时,实现如下步骤:获取肺实质图像序列,所述肺实质图像序列包括多个采用如上文所述的肺部图像分割方法对待分割肺部图像进行分割得到的肺实质图像;对获取的所述肺实质图像序列中的肺实质图像进行堆叠合并,以得到肺实质三维立体图像;以及根据预先训练好的三维卷积神经网络模型对所述肺实质三维立体图像进行识别,以识别出所述肺实质三维立体图像中是否存在病变区域。由此可见,本发明提供的肺部病变区域识别设备,通过采用三维卷积神经网络模型对肺实质三维立体图像进行识别,不仅可以提取图像中的二维特征,还可以提取图像中上下若干层之间的三维特征,由此可以更加准确的识别出肺实质三维立体图像中是否存在病变区域,进而优选地,可以辅助医生判断出患者是否患有慢阻肺或者是否存在患此病的风险,从而可以更好地辅助医生。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应当注意的是,在本文的实施方式中所揭露的装置和方法,也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的,例如,附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用于执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施方式的描述,并非对本发明范围的任何限定,本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。
Claims (26)
1.一种肺部图像分割方法,其特征在于,包括:
根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像;
对所述第一二值化图像进行取反处理,以得到第二二值化图像;
对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像;
去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜;
对所述第一掩膜进行肺部区域的填充,以得到第二掩膜;
对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜;以及
对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
2.根据权利要求1所述的肺部图像分割方法,其特征在于,在根据预设灰度阈值,对待分割肺部图像进行二值化处理之前,所述方法包括:
对待分割肺部图像进行灰度直方图统计,以获取灰度直方图;
确定所述灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;以及
确定所述灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
3.根据权利要求2所述的肺部图像分割方法,其特征在于,在确定所述灰度直方图中的所有极值点之前,所述方法包括:
对所述灰度直方图进行高斯平滑,以得到平滑后的灰度直方图;
所述确定灰度直方图中的所有极值点的步骤包括:确定平滑后的灰度直方图中的所有极值点;
所述确定所述灰度直方图中的灰度值最接近于0的最大极大值点的步骤包括:确定所述平滑后的灰度直方图中的灰度值最接近于0的最大极大值点。
4.根据权利要求1所述的肺部图像分割方法,其特征在于,所述对所述第一掩膜进行肺部区域的填充,以得到第二掩膜的步骤包括:
将所述第一掩膜中的肺部区域填充为白色,以得到第二掩膜。
5.根据权利要求1所述的肺部图像分割方法,其特征在于,所述对所述第二二值化图像中的肺部区域进行孔洞填充的步骤包括:
采用先膨胀后腐蚀的形态学闭运算处理对所述第二二值化图像中的肺部区域进行孔洞填充。
6.根据权利要求1所述的肺部图像分割方法,其特征在于,所述去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜的步骤包括:
对所述第三二值化图像进行连通域分析,并提取所述第三二值化图像中的最大连通域,所述最大连通域的内部包含肺部区域,将所述最大连通域作为第一掩膜。
7.根据权利要求1所述的肺部图像分割方法,其特征在于,在对所述肺部区域掩膜和所述待分割肺部图像进行乘操作之前,所述方法包括:
对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点;
所述对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像的步骤包括:
对去噪处理后的所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
8.根据权利要求7所述的肺部图像分割方法,其特征在于,所述对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点的步骤包括:
对所述肺部区域掩膜进行连通域分析;
分别计算每一连通域的面积;以及
根据预设面积阈值,将所述肺部区域掩膜中的面积小于所述预设面积阈值的连通域去除,以去除所述肺部区域掩膜中的噪点。
9.根据权利要求1所述的肺部图像分割方法,其特征在于,所述对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像的步骤包括:
将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0,以得到二值化肺部图像;以及
将所述二值化肺部图像的各像素点的灰度值和所述待分割肺部图像的对应像素点的灰度值相乘,以得到肺实质图像。
10.一种肺部图像分割装置,其特征在于,包括:
二值化模块,用于根据预设灰度阈值,对待分割肺部图像进行二值化处理,以得到第一二值化图像;
取反模块,用于对所述第一二值化图像进行取反处理,以得到第二二值化图像;
第一填充模块,用于对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像分别进行取反处理,以得到第三二值化图像;
去除模块,用于去除所述第三二值化图像中的干扰区域,以得到内部包含肺部区域的第一掩膜;
第二填充模块,用于对所述第一掩膜进行肺部区域的填充,以得到第二掩膜;
第一处理模块,用于对所述第二掩膜和所述第一掩膜进行减操作,以得到肺部区域掩膜;以及
第二处理模块,用于对所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
11.根据权利要求10所述的肺部图像分割装置,其特征在于,所述装置包括:
统计模块,用于对所述待分割肺部图像进行灰度直方图统计,以获取灰度直方图;
第一确定模块,用于确定所述灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;以及
第二确定模块,用于确定所述灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
12.根据权利要求11所述的肺部图像分割装置,其特征在于,所述装置包括:
平滑模块,用于对所述灰度直方图进行高斯平滑,以得到平滑后的灰度直方图;
所述第一确定模块用于:确定所述平滑后的灰度直方图中的所有极值点,所述极值点包括极大值点和极小值点;
所述第二确定模块用于:确定所述平滑后的灰度直方图中的灰度值最接近于0的最大极大值点,将位于所述最大极值点右侧的第一个极小值点的灰度值确定为预设灰度阈值。
13.根据权利要求10所述的肺部图像分割装置,其特征在于,所述第二填充模块用于:
将所述第一掩膜中的肺部区域填充为白色,以得到第二掩膜。
14.根据权利要求10所述的肺部图像分割装置,其特征在于,所述第一填充模块用于:
采用先膨胀后腐蚀的形态学闭运算处理对所述第二二值化图像中的肺部区域进行孔洞填充,并对完成孔洞填充后的所述第二二值化图像进行取反处理,以得到第三二值化图像。
15.根据权利要求10所述的肺部图像分割装置,其特征在于,所述去除模块用于:
对所述第三二值化图像进行连通域分析,并提取所述第三二值化图像中的最大连通域,所述最大连通域的内部包含肺部区域,将所述最大连通域作为第一掩膜。
16.根据权利要求10所述的肺部图像分割装置,其特征在于,所述装置包括:
去噪模块,用于对所述肺部区域掩膜进行去噪处理,以去除所述肺部区域掩膜中的噪点;
所述第二处理模块用于:对去噪处理后的所述肺部区域掩膜和所述待分割肺部图像进行乘操作,以得到肺实质图像。
17.根据权利要求16所述的肺部图像分割装置,其特征在于,所述去噪模块包括:
分析子模块,用于对所述肺部区域掩膜进行连通域分析;
计算子模块,用于分别计算每一连通域的面积;以及
去除子模块,用于根据预设面积阈值,将所述肺部区域掩膜中的面积小于所述预设面积阈值的连通域去除,以去除所述肺部区域掩膜中的噪点。
18.根据权利要求10所述的肺部图像分割装置,其特征在于,所述第二处理模块包括:
第一处理子模块,用于将所述肺部区域掩膜中的肺实质区域内的灰度值置为1,将肺实质以外的区域的灰度值置为0,以得到二值化肺部图像;以及
第二处理子模块,用于将所述二值化肺部图像的各像素点的灰度值和所述待分割肺部图像的对应像素点的灰度值相乘,以得到肺实质图像。
19.一种电子设备,其特征在于,包括第一处理器和第一存储器,所述第一存储器上存储有计算机程序,所述计算机程序被所述第一处理器执行时,实现权利要求1至9中任一项所述的方法。
20.一种可读存储介质,其特征在于,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至9中任一项所述的方法。
21.一种肺部病变区域识别设备,其特征在于,包括:
第二处理器和第二存储器,所述第二存储器上存储有计算机程序,所述计算机程序被所述第二处理器执行时,实现如下步骤:
获取肺实质图像序列,所述肺实质图像序列包括多个采用如权利要求1至9中任一项所述的方法对待分割肺部图像进行分割得到的肺实质图像;
对获取的所述肺实质图像序列中的肺实质图像进行堆叠合并,以得到肺实质三维立体图像;以及
根据预先训练好的三维卷积神经网络模型对所述肺实质三维立体图像进行识别,以识别出所述肺实质三维立体图像中是否存在病变区域。
22.根据权利要求21所述的肺部病变区域识别设备,其特征在于,所述三维卷积神经网络模型包括一个输入层、至少五个级联的特征提取层、至少一个全连接层和一个输出层,每一所述特征提取层均包括卷积层、激活层和最大池化层,其中,上一级特征提取层的输入和输出融合成下一级特征提取层的输入。
23.根据权利要求21所述的肺部病变区域识别设备,其特征在于,所述设备包括三维卷积神经网络模型生成部分,其用于:
获取预设数量的标注好的肺实质三维立体图像,作为训练样本;
设置三维卷积神经网络模型的网络参数的初始值;以及
根据所述训练样本和所述网络参数的初始值对预先搭建的三维卷积神经网络模型进行训练,直至满足预设训练结束条件,进而得到三维卷积神经网络模型。
24.根据权利要求23所述的肺部病变区域识别设备,其特征在于,所述三维卷积神经网络模型生成部分采用截断正态分布设置所述三维卷积神经网络模型的网络参数的初始值。
25.根据权利要求23所述的肺部病变区域识别设备,其特征在于,所述三维卷积神经网络模型生成部分根据所述训练样本和所述网络参数的初始值采用随机梯度下降法对预先搭建的三维卷积神经网络模型进行训练。
26.根据权利要求22所述的肺部病变区域识别设备,其特征在于,所述激活层使用的激活函数为最大输出激活函数Maxout。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911046434.4A CN110766713A (zh) | 2019-10-30 | 2019-10-30 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911046434.4A CN110766713A (zh) | 2019-10-30 | 2019-10-30 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110766713A true CN110766713A (zh) | 2020-02-07 |
Family
ID=69334807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911046434.4A Pending CN110766713A (zh) | 2019-10-30 | 2019-10-30 | 肺部图像分割方法、装置和肺部病变区域识别设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110766713A (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292309A (zh) * | 2020-02-13 | 2020-06-16 | 中国人民解放军国防科学技术大学 | 一种肺组织异化程度判断方法及装置 |
CN111311612A (zh) * | 2020-02-17 | 2020-06-19 | 北京推想科技有限公司 | 肺部分割方法、装置、介质及电子设备 |
CN111340756A (zh) * | 2020-02-13 | 2020-06-26 | 北京深睿博联科技有限责任公司 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
CN111369675A (zh) * | 2020-04-14 | 2020-07-03 | 中国医学科学院肿瘤医院 | 基于肺结节脏层胸膜投影的三维可视模型重建方法及装置 |
CN111415340A (zh) * | 2020-03-17 | 2020-07-14 | 中国人民解放军国防科学技术大学 | 一种面向大面积高密度影ct图像的脏器分割方法及装置 |
CN111462270A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 一种基于新型冠状病毒肺炎ct检测的重建系统及方法 |
CN111544021A (zh) * | 2020-05-11 | 2020-08-18 | 徐州医科大学 | 一种基于胸部ct的covid-19疾病进展评价方法及装置 |
CN111666972A (zh) * | 2020-04-28 | 2020-09-15 | 清华大学 | 基于深度神经网络的肝部病例图像分类方法及系统 |
CN112116623A (zh) * | 2020-09-21 | 2020-12-22 | 推想医疗科技股份有限公司 | 图像分割方法及装置 |
CN112884792A (zh) * | 2021-02-02 | 2021-06-01 | 青岛海信医疗设备股份有限公司 | 肺部图像分割的方法、装置、电子设备及存储介质 |
CN112950554A (zh) * | 2021-02-05 | 2021-06-11 | 慧影医疗科技(北京)有限公司 | 一种基于肺分割的肺叶分割优化方法及系统 |
CN113034547A (zh) * | 2021-04-07 | 2021-06-25 | 中国科学院半导体研究所 | 目标追踪方法、数字集成电路芯片、电子设备及存储介质 |
CN113096139A (zh) * | 2021-04-14 | 2021-07-09 | 上海市第一人民医院 | 一种肺实质的图像分割处理方法 |
CN113409306A (zh) * | 2021-07-15 | 2021-09-17 | 推想医疗科技股份有限公司 | 一种检测装置、训练方法、训练装置、设备和介质 |
CN113706541A (zh) * | 2020-05-20 | 2021-11-26 | 青岛海信医疗设备股份有限公司 | 一种图像处理方法及装置 |
CN114066780A (zh) * | 2022-01-17 | 2022-02-18 | 广东欧谱曼迪科技有限公司 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
CN114463279A (zh) * | 2022-01-10 | 2022-05-10 | 东莞理工学院 | 一种基于计算机视觉的肺区区域分割系统 |
CN114757942A (zh) * | 2022-05-27 | 2022-07-15 | 南通大学 | 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法 |
CN115294400A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750538A (zh) * | 2012-05-16 | 2012-10-24 | 南京大学 | 一种基于图像处理技术的围棋比赛结果分析方法 |
CN104599270A (zh) * | 2015-01-18 | 2015-05-06 | 北京工业大学 | 一种基于改进水平集算法的乳腺肿瘤超声图像分割方法 |
CN105761260A (zh) * | 2016-02-15 | 2016-07-13 | 天津大学 | 一种皮肤图像患处分割方法 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN108573491A (zh) * | 2017-03-10 | 2018-09-25 | 南京大学 | 一种基于机器学习的三维超声图像分割方法 |
CN109087296A (zh) * | 2018-08-07 | 2018-12-25 | 东北大学 | 一种提取ct图像中人体区域的方法 |
CN109800758A (zh) * | 2019-01-11 | 2019-05-24 | 北京信息科技大学 | 一种极大值区域检测的自然场景文字检测方法 |
-
2019
- 2019-10-30 CN CN201911046434.4A patent/CN110766713A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750538A (zh) * | 2012-05-16 | 2012-10-24 | 南京大学 | 一种基于图像处理技术的围棋比赛结果分析方法 |
CN104599270A (zh) * | 2015-01-18 | 2015-05-06 | 北京工业大学 | 一种基于改进水平集算法的乳腺肿瘤超声图像分割方法 |
CN105761260A (zh) * | 2016-02-15 | 2016-07-13 | 天津大学 | 一种皮肤图像患处分割方法 |
CN107016665A (zh) * | 2017-02-16 | 2017-08-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN108573491A (zh) * | 2017-03-10 | 2018-09-25 | 南京大学 | 一种基于机器学习的三维超声图像分割方法 |
CN109087296A (zh) * | 2018-08-07 | 2018-12-25 | 东北大学 | 一种提取ct图像中人体区域的方法 |
CN109800758A (zh) * | 2019-01-11 | 2019-05-24 | 北京信息科技大学 | 一种极大值区域检测的自然场景文字检测方法 |
Non-Patent Citations (1)
Title |
---|
楚地少年: "肺实质分割", 《CSDN博客》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292309A (zh) * | 2020-02-13 | 2020-06-16 | 中国人民解放军国防科学技术大学 | 一种肺组织异化程度判断方法及装置 |
CN111340756A (zh) * | 2020-02-13 | 2020-06-26 | 北京深睿博联科技有限责任公司 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
CN111292309B (zh) * | 2020-02-13 | 2023-08-18 | 中国人民解放军国防科学技术大学 | 一种肺组织异化程度判断方法及装置 |
CN111340756B (zh) * | 2020-02-13 | 2023-11-28 | 北京深睿博联科技有限责任公司 | 一种医学图像病变检出合并方法、系统、终端及存储介质 |
CN111311612A (zh) * | 2020-02-17 | 2020-06-19 | 北京推想科技有限公司 | 肺部分割方法、装置、介质及电子设备 |
CN111415340A (zh) * | 2020-03-17 | 2020-07-14 | 中国人民解放军国防科学技术大学 | 一种面向大面积高密度影ct图像的脏器分割方法及装置 |
CN111462270A (zh) * | 2020-04-07 | 2020-07-28 | 广州柏视医疗科技有限公司 | 一种基于新型冠状病毒肺炎ct检测的重建系统及方法 |
CN111369675A (zh) * | 2020-04-14 | 2020-07-03 | 中国医学科学院肿瘤医院 | 基于肺结节脏层胸膜投影的三维可视模型重建方法及装置 |
CN111369675B (zh) * | 2020-04-14 | 2023-07-21 | 中国医学科学院肿瘤医院 | 基于肺结节脏层胸膜投影的三维可视模型重建方法及装置 |
CN111666972A (zh) * | 2020-04-28 | 2020-09-15 | 清华大学 | 基于深度神经网络的肝部病例图像分类方法及系统 |
CN111544021A (zh) * | 2020-05-11 | 2020-08-18 | 徐州医科大学 | 一种基于胸部ct的covid-19疾病进展评价方法及装置 |
CN111544021B (zh) * | 2020-05-11 | 2022-06-17 | 徐州医科大学 | 一种基于胸部ct的covid-19疾病进展评价方法及装置 |
CN113706541A (zh) * | 2020-05-20 | 2021-11-26 | 青岛海信医疗设备股份有限公司 | 一种图像处理方法及装置 |
CN113706541B (zh) * | 2020-05-20 | 2024-04-19 | 青岛海信医疗设备股份有限公司 | 一种图像处理方法及装置 |
CN112116623B (zh) * | 2020-09-21 | 2021-04-23 | 推想医疗科技股份有限公司 | 图像分割方法及装置 |
CN112116623A (zh) * | 2020-09-21 | 2020-12-22 | 推想医疗科技股份有限公司 | 图像分割方法及装置 |
CN112884792A (zh) * | 2021-02-02 | 2021-06-01 | 青岛海信医疗设备股份有限公司 | 肺部图像分割的方法、装置、电子设备及存储介质 |
CN112950554A (zh) * | 2021-02-05 | 2021-06-11 | 慧影医疗科技(北京)有限公司 | 一种基于肺分割的肺叶分割优化方法及系统 |
CN113034547A (zh) * | 2021-04-07 | 2021-06-25 | 中国科学院半导体研究所 | 目标追踪方法、数字集成电路芯片、电子设备及存储介质 |
CN113034547B (zh) * | 2021-04-07 | 2024-02-06 | 中国科学院半导体研究所 | 目标追踪方法、数字集成电路芯片、电子设备及存储介质 |
CN113096139A (zh) * | 2021-04-14 | 2021-07-09 | 上海市第一人民医院 | 一种肺实质的图像分割处理方法 |
CN113409306A (zh) * | 2021-07-15 | 2021-09-17 | 推想医疗科技股份有限公司 | 一种检测装置、训练方法、训练装置、设备和介质 |
CN114463279A (zh) * | 2022-01-10 | 2022-05-10 | 东莞理工学院 | 一种基于计算机视觉的肺区区域分割系统 |
CN114463279B (zh) * | 2022-01-10 | 2024-05-10 | 东莞理工学院 | 一种基于计算机视觉的肺区区域分割系统 |
CN114066780A (zh) * | 2022-01-17 | 2022-02-18 | 广东欧谱曼迪科技有限公司 | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 |
CN114757942A (zh) * | 2022-05-27 | 2022-07-15 | 南通大学 | 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法 |
CN115294400B (zh) * | 2022-08-23 | 2023-03-31 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
CN115294400A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110766713A (zh) | 肺部图像分割方法、装置和肺部病变区域识别设备 | |
CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
CN109685060B (zh) | 图像处理方法和装置 | |
Shen et al. | An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy | |
CN110309860B (zh) | 基于卷积神经网络对肺结节的恶性程度进行分类的方法 | |
CN110310287B (zh) | 基于神经网络的危及器官自动勾画方法、设备和存储介质 | |
Choi et al. | Boosting proximal dental caries detection via combination of variational methods and convolutional neural network | |
CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
Rashid Sheykhahmad et al. | A novel method for skin lesion segmentation | |
CN112561937A (zh) | 基于病变边界信息响应的上下文感知医学图像分割方法 | |
Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
Liu et al. | Extracting lungs from CT images via deep convolutional neural network based segmentation and two-pass contour refinement | |
Ali et al. | Image-selective segmentation model for multi-regions within the object of interest with application to medical disease | |
CN114022462A (zh) | 实现多参数核磁共振图像病灶分割的方法、系统、装置、处理器及其计算机可读存储介质 | |
Debnath et al. | Brain tumour segmentation using memory based learning method | |
Chen et al. | Underwater sonar image segmentation combining pixel-level and region-level information | |
Geetha Pavani et al. | A semantic contour based segmentation of lungs from chest x‐rays for the classification of tuberculosis using Naïve Bayes classifier | |
Teng et al. | Identifying regions of interest in medical images using self-organizing maps | |
Jayachandran et al. | Brain tumor severity analysis using modified multi‐texton histogram and hybrid kernel SVM | |
KR20150059860A (ko) | 형태학적 연산을 이용한 이미지 분할 처리방법 | |
CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
Zhang et al. | Automatic detection and segmentation of lung nodules in different locations from CT images based on adaptive α‐hull algorithm and DenseNet convolutional network | |
Liu et al. | Novel superpixel‐based algorithm for segmenting lung images via convolutional neural network and random forest | |
Rafiee et al. | Using neural network for liver detection in abdominal MRI images | |
Savitha et al. | Lung nodule identification and classification from distorted CT images for diagnosis and detection of lung cancer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210817 Address after: 201203 room 1702, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai (actual floor 15) Applicant after: Shanghai Weiwei Medical Technology Co.,Ltd. Address before: 201203 No. 1601 Zhangdong Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai Applicant before: SHANGHAI MICROPORT MEDICAL (Group) Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |