CN112669312A - 一种基于深度特征对称融合的胸片肺炎检测方法及系统 - Google Patents

一种基于深度特征对称融合的胸片肺炎检测方法及系统 Download PDF

Info

Publication number
CN112669312A
CN112669312A CN202110034700.2A CN202110034700A CN112669312A CN 112669312 A CN112669312 A CN 112669312A CN 202110034700 A CN202110034700 A CN 202110034700A CN 112669312 A CN112669312 A CN 112669312A
Authority
CN
China
Prior art keywords
feature
depth
pneumonia
features
chest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110034700.2A
Other languages
English (en)
Inventor
武红立
陆慧娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202110034700.2A priority Critical patent/CN112669312A/zh
Publication of CN112669312A publication Critical patent/CN112669312A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供了一种基于深度特征对称融合的胸片肺炎检测方法及系统,属于图像处理和模式识别技术领域。该方法为:从胸片中提取深度特征;将深度特征复制一份并逐通道水平翻转;使用卷积核和线性整流函数激活函数将翻转前后的特征融合到一起得到包含对称特征的深度特征;将融合后的深度特征送入检测网络得到肺炎区域检测结果。本发明利用人体左右近似对称的特征,并将其融合到深度特征中,提出了深度特征对称融合方法,能在保留胸片深度特征的同时融入对称特征,得到的特征对健康肺部区域和肺炎区域具有更强的分辨能力,能够提高肺炎检测的精度。

Description

一种基于深度特征对称融合的胸片肺炎检测方法及系统
技术领域
本发明涉及一种基于深度特征对称融合的胸片肺炎检测方法,属于图像处理和模式识别技术领域。
背景技术
肺炎是一种由细菌、病毒或真菌引起的肺部感染。由于感染和身体的免疫反应,肺泡中充满液体。之后由于人体的呼吸,积液在肺的正常气道内扩散。胸片即胸部X光 图像,其原理是利用不同物质对X射线的吸收程度不同进行成像。X射线从人体后方发 射,穿透人体之后在人体前方的检测器上成像。在穿透人体的过程中,正常肺部因为充 满不吸收X射线的空气所以在X光图像中呈现黑色,感染肺炎的肺部因为含有吸收X射 线的积液所以在X光图像中呈模糊玻璃状阴影。在肺部无疾病的胸部X光图像中,两叶 肺呈现相同的黑色和近似的纹理。在患有肺炎的胸部X光图像中,由于感染程度不同, 两叶肺呈现不同位置和深度的模糊玻璃状阴影。
深度学习是机器学习研究中的一个领域,通过对数据的低层特征进行组合和再次提取,形成更加抽象的深层特征和语义特征,进而得到更高的分类和检测准确率。卷积神经网络(Convolutional Neural Networks,CNN)是利用含有可学习参数的卷积核来对图像进行特征提取。CNN在进行特征提取时,使用相同的卷积核对图像不同部位进行卷积,因此卷积后的特征在位置上和原始图像具有对应关系。
深度特征融合即使用一定的方法将CNN提取到的深度特征进行融合,通过对不同深度或不同位置的特征进行融合,提高融合后特征的抽象性和准确性,进而提升分类和检测的准确率。
人的肺部是一个近似左右对称的结构,通过对左右肺叶的对比可以初步判断肺部是否正常,为肺部疾病的诊断提供帮助。在现有基于深度学习的胸片肺炎检测方法中,未有考虑肺部对称性的方法。
发明内容
针对以上问题和改进需求,本发明提供一种基于深度特征对称融合的胸片肺炎检测方法及系统,利用肺部对称的原理,使用卷积进行对称特征融合,该方法能有效利用 图像中的对称特征,提高肺炎检测效率。
一种基于深度特征对称融合的胸片肺炎检测方法,包括训练部分和识别部分;
所述训练部分包括以下步骤:
(S1)使用卷积神经网络从胸片中提取深度特征;
(S2)将深度特征复制一份并逐通道水平翻转;
(S3)将翻转后的深度特征和原始特征堆叠到一起,其中翻转后的深度特征在下,原始深度特征在上;
(S4)训练卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
(S5)使用线性整流函数(Rectified Linear Unit,ReLU)对压缩后的特征进行激活;
(S6)将融合对称特征的深度特征和对应的肺炎区域标注作为输入,训练得到肺炎检测器;
所述识别部分包括以下步骤:
(T1)从待检测的胸片库中取出胸片;
(T2)从待检测的胸片中提取待识别的深度特征;
(T3)将待识别的深度特征复制一份并逐通道水平翻转;
(T4)将水平翻转后的深度特征和待识别特征堆叠到一起,其中翻转后的深度特征在下,待识别深度特征在上;
(T5)使用训练好的卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
(T6)将融合对称特征的待识别深度特征送入肺炎检测器中,肺炎检测器输出是否有肺炎以及检测到的肺炎区域。
一种基于深度特征对称融合的胸片肺炎检测系统,包括训练部分和识别部分;
所述训练部分包括以下模块:
训练第一模块,用于从胸片中提取深度特征;
训练第二模块,用于将深度特征复制一份并逐通道水平翻转;
训练第三模块,用于将翻转后的深度特征和原始特征堆叠到一起,其中翻转后的深度特征在下,原始深度特征在上;
训练第四模块,用于训练卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
训练第五模块,用于使用ReLU对压缩后的特征进行激活;
训练第六模块,用于将融合对称特征的深度特征和对应的肺炎区域标注作为输入,训练得到肺炎检测器;
所述识别部分包括以下模块:
识别第一模块,用于从待检测的胸片库中取出胸片;
识别第二模块,用于从待检测的胸片中提取待识别的深度特征;
识别第三模块,用于将待识别的深度特征复制一份并逐通道水平翻转;
识别第四模块,用于将水平翻转后的深度特征和待识别特征堆叠到一起,其中翻转后的深度特征在下,待识别深度特征在上;
识别第五模块,用于使用训练好的卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
识别第六模块,用于将融合对称特征的待识别深度特征送入目标检测器中,肺炎检测器输出是否有肺炎以及检测到的肺炎区域。
与现有技术相比,本发明的优点和效果在于:
1.本发明将人体左右对称的特性引入深度特征,通过对深度特征翻转融合,能在保留原始特征的同时,引入对称位置的特征,形成对比,进而提高肺炎检测的准确性;
2.本发明的深度特征对称融合方法使用含有可学习参数的卷积核实现,该方法能够根据需要融合的深度特征自动学习参数,不需要繁琐的手动设置参数。
附图说明
图1为本发明基于深度特征对称融合的胸片肺炎检测方法实现流程图;
图2为本发明基于深度特征对称融合的胸片肺炎检测系统网络结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行详细描述,但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
附图1为本发明肺炎检测方法实现流程图。本发明基于深度特征对称融合的胸片肺炎检测方法包括训练部分和识别部分。
所述训练部分包括以下步骤:
(S1)使用CNN从胸片中提取深度特征;
首先将单通道的胸片通过复制拓展为三层通道图像,之后使用残差卷积神经网络ResNet-50或ResNet-101的前四层提取图像的特征。其中输入图像的尺寸为1024像素长、1024像素宽、3通道,提取得到的特征为64像素长、64像素宽、1024通道;
(S2)将深度特征复制一份并逐通道水平翻转;
将得到的深度特征首先复制一份,然后将复制得到的深度特征逐通道进行水平翻转,翻转后通道顺序保持不变;
(S3)将翻转后的深度特征和原始特征堆叠到一起,其中翻转后的深度特征在下,原始深度特征在上;
本法明中的堆叠为按通道堆叠,将翻转后的深度特征放在下面,原始深度特征放在上面,即通道编号从原始特征开始编号,原始深度特征的通道编号不变,翻转后的特征通道编号统一加1024。堆叠后的深度特征为64像素长、64像素宽、2048通道;
(S4)训练卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
使用步长为1大小为5×5的卷积核,边缘补充2个像素宽或高的0值像素,输入通道数为2048,输出通道数为1024,输入和输出尺寸均为64像素长、64像素宽;
(S5)使用ReLU对压缩后的特征进行激活;
(S6)将融合对称特征的深度特征和对应的肺炎区域标注送入目标检测器中,训练得到肺炎检测器;
将融合后的深度特征送入区域生成网络(Region Proposal Network,RPN)得到候选区域,之后将候选区域的深度特征和标注类别送入Fast R-CNN的分类器中,训练得到包含RPN和Fast R-CNN分类器的肺炎检测器。
所述识别部分包括以下步骤:
(T1)从待检测的胸片库中取出胸片;
(T2)从待检测的胸片像中提取待识别的深度特征;
(T3)将待识别的深度特征复制一份并逐通道水平翻转;
(T4)将水平翻转后的深度特征和待识别特征堆叠到一起,其中翻转后的深度特征在下,待识别深度特征在上;
(T5)使用训练好的卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
(T6)将融合对称特征的待识别深度特征送入目标检测器中,肺炎检测器输出是否由肺炎以及检测到的肺炎区域。
实例:
样本库由北美放射学会创建,共有6012张包含肺炎区域的胸片,图像的大小均为1024像素长、1024像素宽,单通道灰度图像。本发明从中选取4509张图像作为训练集、1503张图像作为测试集。具体实现步骤如下:
1.对胸片进行预处理
将DICOM格式的胸片数据加载到内存中,并通过复制的方式将单通道数据拓展为3通道;
2.对胸片进行深度特征提取
将步骤1预处理后的图像送入ResNet-50深度模型,提取模型第四层输出的深度特征,特征维数为1024,长64像素,宽64像素;ResNet-50深度模型来自微软研究院的工作,在大规模自然图像数据集ImageNet上进行了训练,本发明在该深度模型上进行微调;
3.采用Pytorch框架实现对称特征融合
本发明利用开源及其学习库Pytorch中的卷积算法和ReLU激活函数实现对称特征融合。卷积操作的作用为特征提取,通过卷积核参数的学习,卷积能够很好的融合。ReLU激活函数的作用为增加网络的非线性核特征提取能力;
4.用RPN训练候选生成网络
候选区域生成网络是使用简单的神经网络对肺炎区域进行初筛,保留下512个概率最高的肺炎区域;
5.用Fast R-CNN训练候选区域分类网络
Fast R-CNN是一个包含全连接分类器,首先通过卷积神经网络将特征大小缩小到1像素宽、1像素长、然后使用全连接网络实现分类,判定候选区域是否是肺炎区域;
应用上述步骤得到的肺炎检测网络,在测试集上的准确率为36.646%,对比未使用对称特征融合的准确率29.460%,本发明提高了约7%的精度。
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等,均应包含在该技术方案的保护范围之内。

Claims (2)

1.一种基于深度特征对称融合的胸片肺炎检测方法,其特征在于,包括训练部分和识别部分,其特征在于:
所述训练部分包括以下步骤:
(S1)使用卷积神经网络从胸片中提取深度特征;
(S2)将深度特征复制一份并逐通道水平翻转;
(S3)将翻转后的深度特征和原始特征堆叠到一起,其中翻转后的深度特征在下,原始深度特征在上;
(S4)训练卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
(S5)使用线性整流函数对压缩后的特征进行激活;
(S6)将融合对称特征的深度特征和对应的肺炎区域标注作为输入,训练得到肺炎检测器;
所述识别部分包括以下步骤:
(T1)从待检测的胸片库中取出胸片;
(T2)从待检测的胸片中提取待识别的深度特征;
(T3)将待识别的深度特征复制一份并逐通道水平翻转;
(T4)将水平翻转后的深度特征和待识别特征堆叠到一起,其中翻转后的深度特征在下,待识别深度特征在上;
(T5)使用训练好的卷积核对堆叠深度特征进行特征提取,将特征层数压缩一半;
(T6)将融合对称特征的待识别深度特征送入肺炎检测器中,肺炎检测器输出是否有肺炎以及检测到的肺炎区域。
2.根据权利要求1所述的一种基于深度特征对称融合的胸片肺炎检测方法,其特征在于,所诉步骤(S4)的具体实现方式为:
使用步长为1、大小为1×1或3×3或5×5的卷积核,卷积前的特征边缘补充0或1或2个像素宽或高的0值像素,输出特征通道数为输入特征通道数的一半,输出特征的尺寸和输入特征的尺寸相同。
CN202110034700.2A 2021-01-12 2021-01-12 一种基于深度特征对称融合的胸片肺炎检测方法及系统 Pending CN112669312A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110034700.2A CN112669312A (zh) 2021-01-12 2021-01-12 一种基于深度特征对称融合的胸片肺炎检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034700.2A CN112669312A (zh) 2021-01-12 2021-01-12 一种基于深度特征对称融合的胸片肺炎检测方法及系统

Publications (1)

Publication Number Publication Date
CN112669312A true CN112669312A (zh) 2021-04-16

Family

ID=75414321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034700.2A Pending CN112669312A (zh) 2021-01-12 2021-01-12 一种基于深度特征对称融合的胸片肺炎检测方法及系统

Country Status (1)

Country Link
CN (1) CN112669312A (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109064476A (zh) * 2018-07-24 2018-12-21 西安电子科技大学 一种基于水平集的ct胸片肺组织图像分割方法
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法
CN110263786A (zh) * 2019-06-24 2019-09-20 东北大学 一种基于特征维度融合的道路多目标识别系统及方法
CN110310289A (zh) * 2019-06-17 2019-10-08 北京交通大学 基于深度学习的肺部组织图像分割方法
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型
WO2020133636A1 (zh) * 2018-12-27 2020-07-02 武汉唐济科技有限公司 前列腺手术中外包膜智能检测和预警方法及系统
CN111489335A (zh) * 2020-04-07 2020-08-04 广州柏视医疗科技有限公司 基于新型冠状病毒肺炎x射线图像的量化分析系统及方法
CN111626379A (zh) * 2020-07-07 2020-09-04 中国计量大学 肺炎x光图像检测方法
CN111667469A (zh) * 2020-06-03 2020-09-15 北京小白世纪网络科技有限公司 肺部疾病分类方法、装置及设备
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111862075A (zh) * 2020-07-30 2020-10-30 西南医科大学 一种基于深度学习的肺部图像分析系统及其分析方法
CN111951246A (zh) * 2020-08-11 2020-11-17 湖南大学 一种基于深度学习的多方位x光胸片肺炎诊断方法
CN111986177A (zh) * 2020-08-20 2020-11-24 太原科技大学 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN108171232A (zh) * 2017-11-15 2018-06-15 中山大学 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
CN108509978A (zh) * 2018-02-28 2018-09-07 中南大学 基于cnn的多级特征融合的多类目标检测方法及模型
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109064476A (zh) * 2018-07-24 2018-12-21 西安电子科技大学 一种基于水平集的ct胸片肺组织图像分割方法
WO2020133636A1 (zh) * 2018-12-27 2020-07-02 武汉唐济科技有限公司 前列腺手术中外包膜智能检测和预警方法及系统
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110175993A (zh) * 2019-05-27 2019-08-27 西安交通大学医学院第一附属医院 一种基于FPN的Faster R-CNN肺结核征象检测系统及方法
CN110310289A (zh) * 2019-06-17 2019-10-08 北京交通大学 基于深度学习的肺部组织图像分割方法
CN110263786A (zh) * 2019-06-24 2019-09-20 东北大学 一种基于特征维度融合的道路多目标识别系统及方法
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型
CN111489335A (zh) * 2020-04-07 2020-08-04 广州柏视医疗科技有限公司 基于新型冠状病毒肺炎x射线图像的量化分析系统及方法
CN111667469A (zh) * 2020-06-03 2020-09-15 北京小白世纪网络科技有限公司 肺部疾病分类方法、装置及设备
CN111626379A (zh) * 2020-07-07 2020-09-04 中国计量大学 肺炎x光图像检测方法
CN111862075A (zh) * 2020-07-30 2020-10-30 西南医科大学 一种基于深度学习的肺部图像分析系统及其分析方法
CN111951246A (zh) * 2020-08-11 2020-11-17 湖南大学 一种基于深度学习的多方位x光胸片肺炎诊断方法
CN111986177A (zh) * 2020-08-20 2020-11-24 太原科技大学 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DIMPY VARSHNI 等: "Pneumonia Detection Using CNN based Feature Extraction", 《IEEE》, 31 December 2019 (2019-12-31) *
HAO TENG 等: "Applying of Adaptive Threshold Non-maximum Suppression to Pneumonia Detection", 《SPRINGER》, 31 December 2020 (2020-12-31) *
王黎;陆慧娟;叶敏超;严珂;: "Faster-RCNN的癌症影像检测方法", 中国计量大学学报, no. 02, 15 June 2018 (2018-06-15) *
邹文凯;陆慧娟;叶敏超;严珂;: "基于卷积神经网络的乳腺癌组织病理图像分类", 计算机工程与设计, no. 06, 15 June 2020 (2020-06-15) *
闫欢兰;陆慧娟;叶敏超;严珂;金群;徐一格;: "结合Sobel算子和Mask R-CNN的肺结节分割", 小型微型计算机系统, no. 01, 15 January 2020 (2020-01-15) *

Similar Documents

Publication Publication Date Title
Hall et al. Finding covid-19 from chest x-rays using deep learning on a small dataset
Hijazi et al. Ensemble deep learning for tuberculosis detection using chest X-ray and canny edge detected images
WO2021203618A1 (zh) 图像样本生成方法及系统、目标检测方法
US7564999B2 (en) Method for identifying markers in radiographic images
US5862249A (en) Automated method and system for determination of positional orientation of digital radiographic images
Rajaraman et al. Training deep learning algorithms with weakly labeled pneumonia chest X-ray data for COVID-19 detection
CN108428229A (zh) 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
EP0610605A1 (en) Method of recognising an irradiation field
CN105957066A (zh) 基于自动上下文模型的ct图像肝脏分割方法及系统
CN110175979B (zh) 一种基于协同注意力机制的肺结节分类方法
JP2008508028A (ja) 胸部放射線写真の投影ビューと配向
CN111754453A (zh) 基于胸透图像的肺结核检测方法、系统和存储介质
US7912263B2 (en) Method for detecting clipped anatomy in medical images
Li et al. Computer‐aided diagnostic scheme for lung nodule detection in digital chest radiographs by use of a multiple‐template matching technique
CN107578405A (zh) 一种基于深度卷积神经网络的肺部结节自动检测方法
CN109191465A (zh) 一种基于深度学习网络判定、标识人体左右第一肋骨的系统
CN108510489A (zh) 一种基于深度学习的尘肺检测方法与系统
Dovganich et al. Automatic out-of-distribution detection methods for improving the deep learning classification of pulmonary X-ray images
Liu et al. Reducing false positives for lung nodule detection in chest X-rays using cascading CNN
Sangeetha et al. Diagnosis of Pneumonia using Image Recognition Techniques
CN112669312A (zh) 一种基于深度特征对称融合的胸片肺炎检测方法及系统
Fonseca et al. Foreign artifacts detection on pediatric chest x-ray
US11557038B2 (en) Apparatus and method for x-ray data generation
Hijazi et al. Ensemble deep learning for tuberculosis detection
Videla et al. Convolution Neural Networks based COVID-19 Detection using X-ray Images of Human Chest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination