CN111383759A - 一种肺炎自动诊断系统 - Google Patents
一种肺炎自动诊断系统 Download PDFInfo
- Publication number
- CN111383759A CN111383759A CN202010184099.0A CN202010184099A CN111383759A CN 111383759 A CN111383759 A CN 111383759A CN 202010184099 A CN202010184099 A CN 202010184099A CN 111383759 A CN111383759 A CN 111383759A
- Authority
- CN
- China
- Prior art keywords
- image
- pneumonia
- focus
- candidate
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 46
- 238000003745 diagnosis Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 32
- 210000004072 lung Anatomy 0.000 claims abstract description 25
- 230000005764 inhibitory process Effects 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000009467 reduction Effects 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims abstract description 10
- 238000005728 strengthening Methods 0.000 claims abstract description 8
- 238000012546 transfer Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 9
- 230000014759 maintenance of location Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 5
- 230000005012 migration Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 230000001629 suppression Effects 0.000 description 5
- 238000011976 chest X-ray Methods 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000003902 lesion Effects 0.000 description 4
- 208000019693 Lung disease Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000002685 pulmonary effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 201000004813 Bronchopneumonia Diseases 0.000 description 1
- 206010011224 Cough Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 208000000616 Hemoptysis Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Evolutionary Biology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种肺炎自动诊断系统，包括依次相连的图像采集模块、图像预处理模块、肺炎病灶识别模块和诊断结果显示模块。首先对肺部X光片图像进行边界强化和降噪处理，然后多任务深度卷积神经网络预测模型首先提取预处理后的肺部X光片的特征；再在图像特征上使用级联区域候选网络完成候选框推荐，并利用改进的非极大值抑制方法进行抑制筛选，筛选出一批候选框集合；接着针对候选框截取出对应特征区域进行池化并输入到全连接层；最后使用分类层和回归层进行目标分类和边框回归，识别出肺部X光片是否包含病灶以及识别病灶类型。本发明利对现有的基于候选区域的目标识别模型进行改进，提高了小尺度目标识别精度，进而提高肺炎诊断的准确率。
Description
技术领域
本发明属于医疗影像识别技术领域，涉及一种肺炎自动诊断系统，尤其涉及一种基于肺部X光片的肺炎自动诊断系统。
背景技术
肺炎属于肺部疾病的一种，通常呈支气管肺炎影像学表现，如肺炎病灶有斑片影、纤维条索灶的高密度影，或者是斑片渗出影、结节影和肿瘤肿块的占位。对于这种有肺炎的高密度灶，要考虑肺部感染，同时要结合是否有相关肺部感染的临床症状，包括咳嗽、咳痰、咯血、发热、呼吸困难等相关的症状。当前，胸部X光片是最常用的的医疗影像检查工具，在对涵盖肺炎在内的肺部疾病进行筛查诊断和管理的过程中占据着至关重要的地位。然而，由于肺部疾病种类繁多，在胸部X光片上的病灶表现经常难以识别和鉴别，还可能与其他疾病重叠，甚至与其他很多良性异常类似，导致放射科医师对肺炎的诊断存在主观依赖性强、诊断准确率低的问题；此外，临床阅片医生由于长时间工作，难免会出现阅片质量下降等问题。因此从胸部X光片中诊断出肺炎疾病对于放射科医师而言是一个困难的任务。随着近年来深度学习技术在计算机视觉以及图像分类、分割、识别等领域的巨大发展，科研人员在胸部X光片的计算机诊断方面提出了很多辅助诊断方法。
现有技术公开了一种针对肺炎的诊断系统与方法，该技术通过建立深度卷积神经网络VGG预测模型，并通过数据增强迁移学习以及对网络结构进行改进等手段加快了模型训练的收敛速度，提高了肺炎识别的准确率以及模型的泛华能力。然而，X光片医学图像本身相较于常见的图像从形态上就比较难以辨析，也在一定程度上会夹杂相较于一般图像有更多的噪声，或者由于X射线曝光不当以及不同个体之间胸腔的厚度的不同，对比度就相较于正常图像更低，边缘的清晰程度等等都会受到一定程度上的影响，导致肺炎病灶与周围区域的区别不大，这就要求更高的小尺度目标识别精度。目前基于候选区域的目标识别模型已经取得很大的进步，但是小尺度目标识别精度仍然不高。
发明内容
针对上述现有技术存在的缺陷，本发明的目的在于提供一种肺炎自动诊断系统，对现有的基于候选区域的目标识别模型进行改进，提高小尺度目标识别精度，以提高肺炎诊断的精度。
为实现上述目的，本发明采用的技术方案如下：
一种肺炎自动诊断系统，包括依次相连的图像采集模块、图像预处理模块、特征提取模块、肺炎病灶识别模块和诊断结果显示模块；
所述图像采集模块，用于获取肺部X光片图像；
所述图像预处理模块，用于对所述X光片图像进行边界强化和降噪处理；
所述肺炎病灶识别模块，用于通过多任务深度卷积神经网络预测模型识别肺部X光片图像是否包含病灶以及识别病灶类型；
所述诊断结果显示模块，用于显示肺炎诊断结果。
进一步的，所述多任务深度卷积神经网络预测模型的卷积层为包括五条传递链路、五个卷积阶段和101层卷积层的残差网络；所述五条传递链路包括卷积神经网络的前馈计算、自顶向下的信息传递链路、自下而上的分辨率信息传递链路以及两条横向连接链路。
进一步的，所述多任务深度卷积神经网络预测模型的识别流程包括以下步骤：
(1)首先使用残差网络提取预处理后的肺部X光片图像的特征；
(2)在图像特征上使用级联区域候选网络完成候选框推荐，并利用改进的非极大值抑制方法进行抑制筛选，筛选出一批候选框集合；
(3)然后针对候选框截取出对应特征区域，进行池化后成为7×7×512大小输入到全连接层；
(4)最后使用分类层和回归层进行目标分类和边框回归，识别出肺部X光片图像是否包含病灶以及识别病灶类型。
进一步的，所述多任务深度卷积神经网络预测模型采取迁移训练和参数微调的方式进行模型训练。
进一步的，所述边界强化采用下式进行处理：
式中，(xi,yi)*表示边界强化处理后的像素点，NR表示(xi,yi)的邻域像素集合，(xR,yR)表示邻域像素集合点，α表示区域内中心像素点的保留系数，βR表示对应领域灰度值差异系数。
进一步的，所述保留系数α的取值为0.4；当所述(xR,yR)为内层邻域像素集合点时，所述βR取值为0.2；当所述(xR,yR)为外层邻域像素集合点时，所述βR取值为-0.05。
进一步的，所述降噪处理包括以下步骤：
(1)首先对噪声图像进行高斯预平滑；
(2)然后对髙斯预平滑后的图像使用改进的Sobel算子进行边缘检测，得到图像的边缘图像；
(3)利用边缘图像对权值函数进行改进，使用改进的权值函数进行加权平均，得到去噪后的图像。
进一步的，在步骤(2)中，所述改进的Sobel算子通过以下步骤得到：
(1)将8个方向的模板分别与图像f(x，y)进行卷积运算，得到8个方向上的梯度矩阵；
(2)对于毎一个像素点取其运算结果最大值为该点的梯度值，取最大值所对应的模板方向作为该点的边缘方向，即得到f(x，y)的梯度幅值图像G(x，y)。
进一步的，在步骤(1)中，所述8个方向的模板分别是0°，4°，90°，135°，180°，225°，270°，315°。
进一步的，在步骤(3)中，所述改进的权值函数如下式所示：
式中，ed(Nk)表示在边缘图像中k为中心的邻域，||ed(Ni)-ed(Nj)||表示i、j之间的边缘距离，利用标准差为b的高斯核计算得到，Zi为像素i的归一化常数，表示i在搜索窗口中的所有相似度总和，h是控制平巧程度的滤波参数,其大小应该与图像中的噪声强度成正比。
有益效果
与现有技术相比，本发明提供的肺炎自动诊断系统具有如下有益效果：
(1)本发明提供的肺炎诊断系统包括依次相连的图像采集模块、图像预处理模块、肺炎病灶识别模块和诊断结果显示模块。其中图像预处理模块采用对图像进行边界强化处理，该预处理方法在保留中心像素点灰度值的基础上，计算与邻域像素点的差异，并将差异叠加于中心像素点上，通过更新像素点灰度值改善边缘模糊的问题：当邻域内像素点与中心像素点差异较小时，二者差值小，对中心点原有灰度值改变较小；若邻域像素点与中心点像素处于不同区域，即边界附近时，则二者差值大，对中心点原有灰度值改变较大。因此，预处理后的图像边界清晰，区域内图像信息不变，且区域间差异更加突出。
(2)本发明提供的肺炎诊断系统，采用改进的非局部图像降噪算法进行降噪处理，首先对噪声图像进行高斯预平滑，然后对髙斯预平滑后的图像使用改进的Sobel算子进行边缘检测，得到图像的边缘图像，最后利用边缘图像对权值函数进行改进，使用改进的权值函数进行加权平均，得到去噪后的图像。该方法能很好的保留图像的边缘和细节信息，从而提高肺炎诊断结果的准确率和精度。
(3)本发明提供的肺炎诊断系统，对现有的基于候选区域的目标识别模型进行改进，卷积层设计为包括五条传递链路、五个卷积阶段和101层卷积层的残差网络，所述五条传递链路包括卷积神经网络的前馈计算、自顶向下的信息传递链路、自下而上的分辨率信息传递链路以及两条横向连接链路，从而完成特征信息及分辨率信息的融合输出。再在图像特征上使用级联区域候选网络完成候选框推荐，并利用改进的非极大值抑制方法进行抑制筛选，得到一批候选框集合；接着针对候选框截取出对应特征区域进行池化并输入到全连接层；最后使用分类层和回归层进行目标分类和边框回归，识别出肺部X光片是否包含病灶以及识别病灶类型。本发明由于细节信息的保留，以及卷积层多层输出的融合，使得在增强特征的过程中能够保留更多的分辨率信息，从而提高小尺度目标的检测精度，进而提高肺炎诊断结果的精度。
附图说明
图1为本发明提供的肺炎诊断系统组成框图；
图2为本发明提供的肺炎诊断系统的边界强化处理流程框图；
图3为本发明提供的肺炎诊断系统的降噪处理流程框图。
具体实施方式
以下将对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例；基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
由于不同的人体组织结构有着不同的密度，如高密度的骨组织或者钙化病变区域，由于密度大，所以对X线能量的吸收就多，在影像上呈现出白影，而如肺部内包含的气体则由于对X线能量吸收的少，在影像上就呈黑影。由于不同的病理变化，就会导致人体组织的密度的改变。如肺炎就会使得肺组织内部的一些组织密度发生变化，肺炎病灶有斑片影、纤维条索灶的高密度影，或者是斑片渗出影、结节影和肿瘤肿块的占位，这些病变就会导致细胞组织密度由低密度变成高密度，从而使影像的灰度较大。通过这样的原理，就可以根据影像的特点进行判断疾病的整体情况。
由于一般原始图像的图像信息中往往包含了许多与疾病本身无关的信息，如图像的背景，与病变部位无关的组织，这些对于诊断疾病本身无关的信息，反而可能会影响模型的判断，因此往往需要进一步的去除，从原始图像中提取到对图像诊断来说较为关键区域，并进行进一步的图像特征提取工作。
基于此，本发明提供一种肺炎自动诊断系统，请参阅图1所示，包括依次相连的图像采集模块、图像预处理模块、特征提取模块、肺炎病灶识别模块和诊断结果显示模块。
所述图像采集模块，用于获取肺部X光片图像，并发送至图像预处理模块。
所述图像预处理模块，用于对所述X光片图像进行边界强化和降噪处理，得到肺部X光片预处理图像。
医疗影像边界模糊的问题是内部各器官、组织区域间差异性不明显导致的。因此在保留区域内原有信息不变的同时，增强区域间的差异可以达到凸显区域边界的目的。本发明的边界强化采用式(1)进行处理：
式中，(xi,yi)*表示边界强化处理后的像素点，NR表示(xi,yi)的邻域像素集合，(xR,yR)表示邻域像素集合点，α表示区域内中心像素点的保留系数，βR表示对应领域灰度值差异系数。
进一步的，请参阅图2所示，为了得到更优质的肺部X光片影像，本发明的边界强化方法针对5×5邻域进行模糊边缘处理。对于中心像素点而言，邻域像素点的差异对其影响程度自内而外逐渐降低，且处理后所得新像素点与原像素点应为同一量级，因此其它参数选取分别为：保留系数α的取值为0.4；当所述(xR,yR)为内层邻域像素集合点时，所述βR取值为0.2；当所述(xR,yR)为外层邻域像素集合点时，所述βR取值为-0.05。
该预处理方法在保留中心像素点灰度值的基础上，计算与邻域像素点的差异，并将差异叠加于中心像素点上，通过更新像素点灰度值改善边缘模糊的问题：当邻域内像素点与中心像素点差异较小时，二者差值小，对中心点原有灰度值改变较小；若邻域像素点与中心点像素处于不同区域，即边界附近时，则二者差值大，对中心点原有灰度值改变较大。
进一步的，请参阅图3所示，所述降噪处理包括以下步骤：
(1)首先对噪声图像进行高斯预平滑；
(2)然后对髙斯预平滑后的图像使用改进的Sobel算子进行边缘检测，得到图像的边缘图像；
进一步的，所述改进的Sobel算子通过以下步骤得到：
(21)将8个方向的模板分别与图像f(x，y)进行卷积运算，得到8个方向上的梯度矩阵；所述8个方向的模板分别是0°，45°，90°，135°，180°，225°，270°，315°，所述8个方向的卷积结果依次如下：
G1＝f(m+1,n-1)+2f(m+1,n)+f(m+1,n+1)-f(m-1,n-1)-2f(m-1,n)-f(m-1,n+1)
G2＝f(m,n+1)+2f(m+1,n+1)+f(m+1,n)-f(m-1,n)-2f(m-1,n-1)-f(m,n+1)
G3＝f(m-1,n+1)+2f(m,n+1)+f(m+1,n+1)-f(m-1,n-1)-2f(m,n-1)-f(m+1,n-1)
G4＝f(m-1,n)+2f(m-1,n+1)+f(m,n+1)-f(m,n-1)-2f(m+1,n-1)-f(m+1,n)
G5＝f(m-1,n-1)+2f(m-1,n)+f(m-1,n+1)-f(m+1,n-1)-2f(m+1,n)-f(m+1,n+1)
G6＝f(m-1,n)+2f(m-1,n-1)+f(m,n-1)-f(m,n+1)-2f(m+1,n+1)-f(m+1,n)
G7＝f(m-1,n-1)+2f(m,n-1)+f(m+1,n-1)-f(m-1,n)-2f(m-1,n+1)-f(m+1,n+1)
G8＝f(m,n-1)+2f(m+1,n-1)+f(m+1,n)-f(m-1,n)-2f(m-1,n+1)-f(m,n+1)
(22)对于毎一个像素点取其运算结果最大值为该点的梯度值，取最大值所对应的模板方向作为该点的边缘方向，即得到f(x，y)的梯度幅值图像G(x，y)。其中，任意像素点的梯度值表达如式(2)所示：
(3)利用边缘图像对权值函数进行改进，使用改进的权值函数进行加权平均，得到去噪后的图像；所述改进的权值函数如式(3)所示：
式中，ed(Nk)表示在边缘图像中k为中心的邻域，||ed(Ni)-ed(Nj)||表示i、j之间的边缘距离，利用标准差为b的高斯核计算得到，Zi为像素i的归一化常数，表示i在搜索窗口中的所有相似度总和，h是控制平巧程度的滤波参数,其大小应该与图像中的噪声强度成正比。
具体包括以下步骤：
(31)设置一个固定大小的搜索窗口和相似度窗口，将噪声图像和边缘图像作为输入，对噪声图像中的每个点，根据公式(4)计算其与搜索窗口中的所有像素点的高斯加权欧式距离：
其中，ν(Ni)表示以i为中心的灰度值邻域矩阵，ν(Nj)表示以j为中心的灰度值邻域矩阵，Ga是标准差为a的高斯核矩阵，其值由邻域窗口的大小决定，
表示图像内对应元素相乘。在这个公式中Ga的作用是提高邻域窗曰对比块的相似度度量的准确性，
相当于对对比块图像片进行高斯预平滑，这样能减少噪声的干扰，同时进行卷积的时候，使靠近邻域窗口中必像素点起到的作用更大。
(32)将所有欧氏距离代入公式(5)计算其的归一化常数：
(33)将欧氏距离代入公式(3)得到目标像素点与搜索窗口中的所有像素点之间的权值。
(34)将所有权值代入公式(6)进行全权平均得到目标像素点的新灰度值：
W(i,j)表示i、j之间的权值，满足0≤W(i,j)≤1。
(35)对噪声图像中的每一个点都重复步骤(31)-(34)，最后得到新的去噪图像。
所述肺炎病灶识别模块，用于通过多任务深度卷积神经网络预测模型识别肺部X光片图像是否包含病灶以及识别病灶类型。
进一步的，所述多任务深度卷积神经网络预测模型的卷积层为包括五条传递链路、五个卷积阶段和101层卷积层的残差网络；所述五条传递链路包括卷积神经网络的前馈计算、自顶向下的信息传递链路、自下而上的分辨率信息传递链路以及两条横向连接链路。
所述多任务深度卷积神经网络预测模型的识别流程包括以下步骤：
(1)首先使用残差网络提取预处理后的肺部X光片图像的特征；
(2)在图像特征上使用级联区域候选网络完成候选框推荐，并利用改进的非极大值抑制方法进行抑制筛选，筛选出一批候选框集合；
(3)然后针对候选框截取出对应特征区域，进行池化后成为7×7×512大小输入到全连接层；
(4)最后使用分类层和回归层进行目标分类和边框回归，识别出肺部X光片图像是否包含病灶以及识别病灶类型。
具体如下：
(1)使用包含五条传递链路、五个卷积阶段和101层卷积层的残差网络提取输入图像的特征，同时使用自顶向下的链路完成信息的下传递，使用自底向上链路完成底层分辨率信息的上传递，通过此方法可产生五个特征图，每个特征图处于五个卷积阶段的不同层次，因此，包含的分辨率信息强弱不一，再使用横向连接完成本层特征信息及分辨率信息的融合输出。
在上述步骤(1)中，第一条链路为卷积神经网络的前馈计算，只需要利用卷积计算完成输入图像的特征提取，并将每层特征进行保存。另外四条是自顶向下的信息传递链路和横向连接链路，以及自下而上的分辨率信息传递路径和横向连接链路，信息通过自顶向下的信息传递链路向下传递，从第五层一直传递到第一层。相邻两层的特征融合方式为将上层特征进行上采样，由于残差网络的两层特征输出尺度相差两倍，所以只需要使用反卷积将其2倍上采样，就可以将上层特征的尺度和下层特征的尺度大小一样，同时需要将下层特征通过1×1的卷积计算；
然后，将两层特征按元素加获取特征{C1,C2,C3,C4,C5}。分辨率信息通过自下而上的传递链路从第一层传递到第五层。相邻两层的特征融合方式为将下层特征进行池化，也可以将上层特征的尺度和下层特征的尺度大小一样，同时需要将上层特征通过1×1的卷积计算。然后，将两层特征按元素加获取特征{N1,N2,N3,N4,N5}。最后，对应层的特征进行按元素加运算，获得五层特征{P1,P2,P3,P4,P5}。
(2)使用级联区域候选网络对卷积层输出的特征进行候选框筛选和精修，并利用改进的非极大值抑制方法进行抑制筛选，提高候选框筛选的效率。
在上述步骤(2)中，所述级联区域候选网络包括两个区域候选网络，用于完成候选框的一次框选和二次精修。非极大值抑制方法一方面选取soft-NMS分值压制的方式，另一方面选取softer-NMS方法中的加权调整，将最优候选框的位置坐标适当地按照分数权重进行调整。但是不会从候选框集合中剔除其他提供调整建议的候选框，相反将其继续作为参考候选框进入下一轮。
首先，在第一次使用区域候选网络获取到候选框集合后，使用优化的非极大值抑制方法方法进行边框抑制和位置修正，然后将非极大值抑制方法取得的最终候选框集合中每个候选框作为每个新的锚点再一次输入到第二层区域候选网络中，最后输出优化后的候选框集合。本发明提出的候选框精修方案计算简单，能够有效促进区域候选网络推荐候选框的质量。
(3)针对区域候选网络推荐的每一候选区域，截取对应的特征图片段后将特征图的ROI区域进行ROI Align操作得到降维的特征图，形成7×7×512大小的最终特征，输入全连接层。
其中，将特征图的ROI区域进行ROI Align操作的方法是使用双线性插值可以避免量化造成的精度失配。例如采样点Q在图中对应特征图中四个顶点的坐标为(xi,yi)(i＝1,2,3,4)对应的像素值f(xi,yi)，则利用式(7)可以计算出采样点的像素值f(x,y)：
(4)最后使用分类层和回归层进行目标分类和边框回归，识别出肺部X光片图像是否包含病灶以及识别病灶类型。
本发明采取迁移训练和参数微调的方式对上述多任务深度卷积神经网络预测模型进行训练。首先从残差网络进行迁移，分别用于主干网络和区域框选网络参数初始化。第一步训练区域框选网络分支，固定区域框选网络分支之外的参数，对区域框选网络分支进行训练。第二步使用训练好的区域框选网络推荐候选框集合，固定区域框选网络的参数和主干网络参数。第三步固定区域框选网络之外的其他模型参数，对区域框选网络进行参数微调。第四步固定区域框选网络参数，对整体模型进行参数微调。
进一步的，所述多任务深度卷积神经网络预测模型采取迁移训练和参数微调的方式进行模型训练。
上述步骤得到的肺炎诊断结果通过诊断结果显示模块显示，实现可视化。
综上所述，本发明提供的肺炎诊断系统，首先对肺部X光片图像进行边界强化和降噪处理，然后对现有的基于候选区域的目标识别模型进行改进，设计包含五条传递链路、五个卷积阶段和101层卷积层的残差网络为卷积层，所述五条传递链路包括卷积神经网络的前馈计算、自顶向下的信息传递链路、自下而上的分辨率信息传递链路以及两条横向连接链路，从而完成特征信息及分辨率信息的融合输出。再在图像特征上使用级联区域候选网络完成候选框推荐，并利用改进的非极大值抑制方法进行抑制筛选，得到一批候选框集合；接着针对候选框截取出对应特征区域进行池化并输入到全连接层；最后使用分类层和回归层进行目标分类和边框回归，识别出肺部X光片是否包含病灶以及识别病灶类型。本发明由于细节信息的保留，以及卷积层多层输出的融合，使得在增强特征的过程中能够保留更多的分辨率信息，从而提高小尺度目标的检测精度，进而提高肺炎诊断结果的精度。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种肺炎自动诊断系统，其特征在于，包括依次相连的图像采集模块、图像预处理模块、肺炎病灶识别模块和诊断结果显示模块；
所述图像采集模块，用于获取肺部X光片图像；
所述图像预处理模块，用于对所述X光片图像进行边界强化和降噪处理；
所述肺炎病灶识别模块，用于通过多任务深度卷积神经网络预测模型识别肺部X光片图像是否包含病灶以及识别病灶类型；
所述诊断结果显示模块，用于显示肺炎诊断结果。
2.根据权利要求1所述的一种肺炎自动诊断系统，其特征在于，所述多任务深度卷积神经网络预测模型的卷积层为包括五条传递链路、五个卷积阶段和101层卷积层的残差网络；所述五条传递链路包括卷积神经网络的前馈计算、自顶向下的信息传递链路、自下而上的分辨率信息传递链路以及两条横向连接链路。
3.根据权利要求2所述的一种肺炎自动诊断系统，其特征在于，所述多任务深度卷积神经网络预测模型的识别流程包括以下步骤：
(1)首先使用残差网络提取预处理后的肺部X光片图像的特征；
(2)在图像特征上使用级联区域候选网络完成候选框推荐，并利用改进的非极大值抑制方法进行抑制筛选，筛选出一批候选框集合；
(3)然后针对候选框截取出对应特征区域，进行池化后成为7×7×512大小输入到全连接层；
(4)最后使用分类层和回归层进行目标分类和边框回归，识别出肺部X光片图像是否包含病灶以及识别病灶类型。
4.根据权利要求2所述的一种肺炎自动诊断系统，其特征在于，所述多任务深度卷积神经网络预测模型采取迁移训练和参数微调的方式进行模型训练。
5.根据权利要求1所述的一种肺炎自动诊断系统，其特征在于，所述边界强化采用下式进行处理：
式中，(xi,yi)*表示边界强化处理后的像素点，NR表示(xi,yi)的邻域像素集合，(xR,yR)表示邻域像素集合点，α表示区域内中心像素点的保留系数，βR表示对应领域灰度值差异系数。
6.根据权利要求5所述的一种肺炎自动诊断系统，其特征在于，所述保留系数α的取值为0.4；当所述(xR,yR)为内层邻域像素集合点时，所述βR取值为0.2；当所述(xR,yR)为外层邻域像素集合点时，所述βR取值为-0.05。
7.根据权利要求1所述的一种肺炎自动诊断系统，其特征在于，所述降噪处理包括以下步骤：
(1)首先对噪声图像进行高斯预平滑；
(2)然后对髙斯预平滑后的图像使用改进的Sobel算子进行边缘检测，得到图像的边缘图像；
(3)利用边缘图像对权值函数进行改进，使用改进的权值函数进行加权平均，得到去噪后的图像。
8.根据权利要求7所述的一种肺炎自动诊断系统，其特征在于，在步骤(2)中，所述改进的Sobel算子通过以下步骤得到：
(1)将8个方向的模板分别与图像f(x，y)进行卷积运算，得到8个方向上的梯度矩阵；
(2)对于毎一个像素点取其运算结果最大值为该点的梯度值，取最大值所对应的模板方向作为该点的边缘方向，即得到f(x，y)的梯度幅值图像G(x，y)。
9.根据权利要求8所述的一种肺炎自动诊断系统，其特征在于，在步骤(1) 中，所述8个方向的模板分别是0°，4°，90°，135°，180°，225°，270°，315°。
10.根据权利要求7所述的一种肺炎自动诊断系统，其特征在于，在步骤(3)中，所述改进的权值函数如下式所示：
式中，ed(Nk)表示在边缘图像中k为中心的邻域，||ed(Ni)-ed(Nj)||表示i、j之间的边缘距离，并利用标准差为b的高斯核计算得到；Zi为像素i的归一化常数，表示i在搜索窗口中的所有相似度总和；h是控制平巧程度的滤波参数，其大小应该与图像中的噪声强度成正比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010184099.0A CN111383759A (zh) | 2020-03-16 | 2020-03-16 | 一种肺炎自动诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010184099.0A CN111383759A (zh) | 2020-03-16 | 2020-03-16 | 一种肺炎自动诊断系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111383759A true CN111383759A (zh) | 2020-07-07 |
Family
ID=71222700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010184099.0A Pending CN111383759A (zh) | 2020-03-16 | 2020-03-16 | 一种肺炎自动诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111383759A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915584A (zh) * | 2020-07-29 | 2020-11-10 | 杭州健培科技有限公司 | 一种基于ct影像的病灶随访评估方法及系统 |
| CN112786189A (zh) * | 2021-01-05 | 2021-05-11 | 重庆邮电大学 | 一种基于深度学习的新冠肺炎智能诊断系统 |
| CN113034434A (zh) * | 2021-02-03 | 2021-06-25 | 深圳市第三人民医院(深圳市肝病研究所) | 一种预测covid-19严重程度的多因素人工智能分析方法 |
| CN111915584B (zh) * | 2020-07-29 | 2024-06-07 | 杭州健培科技有限公司 | 一种基于ct影像的病灶随访评估方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346785A (zh) * | 2014-10-31 | 2015-02-11 | 杭州美诺瓦医疗科技有限公司 | x光医学影像局部多参数多画幅动态图像处理及显示方法 |
| CN108596273A (zh) * | 2018-05-09 | 2018-09-28 | 合肥黎曼信息科技有限公司 | 一种皮肤病图像分类方法 |
| CN109003274A (zh) * | 2018-07-27 | 2018-12-14 | 广州大学 | 一种区分肺结核与肿瘤的诊断方法、装置及可读存储介质 |
-
2020
- 2020-03-16 CN CN202010184099.0A patent/CN111383759A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104346785A (zh) * | 2014-10-31 | 2015-02-11 | 杭州美诺瓦医疗科技有限公司 | x光医学影像局部多参数多画幅动态图像处理及显示方法 |
| CN108596273A (zh) * | 2018-05-09 | 2018-09-28 | 合肥黎曼信息科技有限公司 | 一种皮肤病图像分类方法 |
| CN109003274A (zh) * | 2018-07-27 | 2018-12-14 | 广州大学 | 一种区分肺结核与肿瘤的诊断方法、装置及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 佟宇琪: ""基于肺部CT 的医疗影像处理与识别优化研究"", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 * |
| 周进凡 等: ""基于卷积神经网络的肺炎检测系统"", 《现代电子技术》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111915584A (zh) * | 2020-07-29 | 2020-11-10 | 杭州健培科技有限公司 | 一种基于ct影像的病灶随访评估方法及系统 |
| CN111915584B (zh) * | 2020-07-29 | 2024-06-07 | 杭州健培科技有限公司 | 一种基于ct影像的病灶随访评估方法及系统 |
| CN112786189A (zh) * | 2021-01-05 | 2021-05-11 | 重庆邮电大学 | 一种基于深度学习的新冠肺炎智能诊断系统 |
| CN112786189B (zh) * | 2021-01-05 | 2022-07-01 | 重庆邮电大学 | 一种基于深度学习的新冠肺炎智能诊断系统 |
| CN113034434A (zh) * | 2021-02-03 | 2021-06-25 | 深圳市第三人民医院(深圳市肝病研究所) | 一种预测covid-19严重程度的多因素人工智能分析方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN109493308B (zh) | 基于条件多判别生成对抗网络的医疗图像合成与分类方法 | |
| CN109242844B (zh) | 基于深度学习的胰腺癌肿瘤自动识别系统、计算机设备、存储介质 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN105957063B (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
| CN111161273B (zh) | 一种基于深度学习的医学超声图像分割方法 | |
| CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN113643261B (zh) | 一种基于频率注意网络的胸肺部疾病诊断方法 | |
| CN112820399A (zh) | 自动诊断甲状腺结节良恶性的方法及装置 | |
| CN111062953A (zh) | 一种超声图像中甲状旁腺增生的识别方法 | |
| CN111383759A (zh) | 一种肺炎自动诊断系统 | |
| CN113012086A (zh) | 一种跨模态图像的合成方法 | |
| CN113989551A (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN116884623A (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| CN113362360B (zh) | 基于流体速度场的超声颈动脉斑块分割方法 | |
| CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 | |
| CN108447066B (zh) | 胆道图像分割方法、终端、存储介质 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
| CN115797378A (zh) | 基于几何交并比损失的前列腺轮廓分割方法 | |
| CN115661029A (zh) | 基于YOLOv5的肺结节检测与识别系统 | |
| CN115937158A (zh) | 一种基于分层注意力机制的胃癌病灶区域分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 430000 Huada Jiayuan, no.328 Luoshi Road, Hongshan District, Wuhan City, Hubei Province Applicant after: Guo Hongmei Address before: 250014 Shandong Provincial Center for Disease Control and prevention, No. 16992, Jingshi Road, Lixia District, Jinan City, Shandong Province Applicant before: Guo Hongmei |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |
|
| RJ01 | Rejection of invention patent application after publication |