CN114463278B - 基于深度学习和数字图像结合的肺区尘肺分期系统 - Google Patents
基于深度学习和数字图像结合的肺区尘肺分期系统 Download PDFInfo
- Publication number
- CN114463278B CN114463278B CN202210021432.5A CN202210021432A CN114463278B CN 114463278 B CN114463278 B CN 114463278B CN 202210021432 A CN202210021432 A CN 202210021432A CN 114463278 B CN114463278 B CN 114463278B
- Authority
- CN
- China
- Prior art keywords
- module
- lung
- sub
- region
- dark channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004072 lung Anatomy 0.000 title claims abstract description 90
- 206010035653 pneumoconiosis Diseases 0.000 title claims abstract description 35
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 17
- 239000000428 dust Substances 0.000 claims abstract description 11
- 244000144992 flock Species 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000002834 transmittance Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000011282 treatment Methods 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 3
- 238000002601 radiography Methods 0.000 description 3
- 210000000845 cartilage Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- QTCANKDTWWSCMR-UHFFFAOYSA-N costic aldehyde Natural products C1CCC(=C)C2CC(C(=C)C=O)CCC21C QTCANKDTWWSCMR-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005189 flocculation Methods 0.000 description 2
- 230000016615 flocculation Effects 0.000 description 2
- ISTFUJWTQAMRGA-UHFFFAOYSA-N iso-beta-costal Natural products C1C(C(=C)C=O)CCC2(C)CCCC(C)=C21 ISTFUJWTQAMRGA-UHFFFAOYSA-N 0.000 description 2
- 206010016654 Fibrosis Diseases 0.000 description 1
- 208000028571 Occupational disease Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004761 fibrosis Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011369 optimal treatment Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于深度学习和数字图像结合的肺区尘肺分期的装置及系统；所述系统包括图像数据接入模块，用于获取原始图像的数据；肺区子区域分割模块用于将左右肺区分别划分为上中下三个子区域；对比度增强模块用于对原始图像进行直方图均衡化；暗通道计算模块用于计算子肺区的暗通道；暗通道差值特征抽取模块用来获取暗通道与输入图像差值，以更准确地抽取肺部尘絮的特征；子肺区特征抽取模块用以抽取均衡化后肺区的特征；双分支特征融合模块用以融合暗通道差值特征和对应的子肺区特征；分期模块最后用作分类尘肺所属阶段。本发明能够融合暗通道差值特征进预处理后的图像，且尽可能保留了强化了尘絮特征本身的特征，提高了模型分类的鲁棒性和准确性。
Description
技术领域
本发明涉及医学图像分析与处理技术领域，特别是涉及一种基于深度学习和数字图像结合的肺区尘肺分期系统。
背景技术
随着现代化的建设逐步完善，一些新型的职业病开始出现，比如在材料建筑、工件生产领域，尘肺的出现引起了社会的广泛关注。肺尘，全名肺尘埃沉着病，是由于在职业活动中长期吸入生产性粉尘(灰尘)，并在肺内潴留而引起的以肺组织弥漫性纤维化(瘢痕)为主的全身性疾病。
由于现在医院病人尘肺的判断大都依赖主治医生的经验和与国家标准表的对照，因此难免会出现对尘肺病理的不准确甚至是误判的情况，这可能导致病人错过最佳的治疗时间。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于深度学习和数字图像结合的肺区尘肺分期系统。
为了实现本发明的上述目的，本发明提供了一种基于深度学习和数字图像结合的肺区尘肺分期系统，包括：
图像数据接入模块、肺区子区域分割模块、对比度增强模块、暗通道计算模块、暗通道差值特征抽取模块、子肺区特征抽取模块、双分支特征融合模块、分期模块，
图像数据接入模块的数据输出端与肺区子区域分割模块的数据输入端相连，肺区子区域分割模块的数据输出端与对比度增强模块的数据输入端相连，对比度增强模块的数据输出端分别与暗通道计算模块、子肺区特征抽取模块的数据输入端相连，暗通道计算模块的数据输出端与暗通道差值特征抽取模块的数据输入端相连，
子肺区特征抽取模块的数据输出端、暗通道差值特征抽取模块的数据输出端与双分支特征融合模块的数据输入端相连，双分支特征融合模块的数据输出端与分期模块的数据输入端相连；
图像数据接入模块：用于获取待分割原始图像；
肺区子区域分割模块：用于将左右肺区分别划分为上中下三个子区域；
对比度增强模块：用于对肺区子区域图像进行直方图均衡化；
暗通道计算模块：利用暗通道先验计算均衡化后的子肺区的暗通道；
暗通道差值特征抽取模块：用来获取暗通道与原始图像差值，用于抽取肺部尘絮的特征；
子肺区特征抽取模块：用以抽取均衡化后肺区的特征；
双分支特征融合模块：将暗通道差值特征抽取模块输出的子区域图和子肺区特征抽取模块输出的子肺区特征进行叠加融合；
分期模块：根据双分支特征融合模块的输出值用作分类尘肺所属阶段，所述输出值为尘肺所属各阶段的概率值，概率值最大的就是分期的结果；所述阶段包括正常阶段、一期阶段、二期阶段和三期阶段。
进一步地，所述肺区子区域分割模块包括：
解外接矩阵模块和子区域分割模块，解外接矩阵模块的数据输出端与子区域分割模块的数据输入端相连；
解外接矩阵模块：用于对完整肺区进行外接矩阵裁剪；
子区域分割模块：对裁剪之后的肺区进行三等分处理，左右肺区都将被划分为上中下三部分的子区域。
进一步地，所述对比度增强模块包括：
利用直方图均衡化算法来处理当前肺区子区域每个像素，
通过用一个滑动窗口对该像素周边的区域进行直方图均衡算法，达到扩大局部对比度、显示平滑区域细节的作用。
进一步地，所述直方图均衡化算法包括以下步骤：
S-1，计算直方图；
S-2，修剪直方图；
S-3，进行均衡化。
其中直方图的计算通过是通过统计图像灰度值进行的；修剪直方图是为了防止在增强对比度是增强了某些噪音数据改变局部对比度，以获得更多图像细节；在进行均衡化后，为了避免直方图均衡化后图像出现有些地方很亮而有些地方很暗的情况，从而引入了分块的思想的限制，但这样的限制并可能增强噪声信息，因此我们将图像分为多个矩形块大小，对于每个矩形块子图，来分别计算灰度直方图和对应的累计直方图。
进一步地，所述S-2包括：
对给定的像素(i，j)，利用块水平和垂直位置(s，t)计算块的权重值；为了混合四个查找函数{f00,f01,f10,f11}，将采用双线性混合函数，如下式所示：
fs,t(I)＝(1-s)(1-t)f00(I)+s(1-t)f10(I)+t(1-s)f01(I)+stf11(I)
其中I表示原始输入的图片；
s表示块水平位置；
t表示块垂直位置。
其中查找函数就是查找对应下标的块，是一种递归性质的函数。块是由四个查找函数得到的，位置(s，t)的块是由块的00、01、01、11四部分的块组成，f00,f01,f01,f11分别查找块的00、01、01、11，且所述的块即图像图块、矩形块。
进一步地，所述暗通道计算模块包括：
暗通道先验和计算模块，暗通道先验的数据输出端与计算模块的数据输入端相连，
暗通道先验：通过灰度直方图，统计分析所有肺区子区域的像素信息，发现每个通道切片都有一个非常小的值即每个切片的最小值；
计算模块：根据下式计算暗通道值
Jdark(x)＝minc∈{r,g,b}(miny∈σ(x)Jc(y))
其中Jdark(x)表示图像J在切片x上的暗通道值；
c∈{r,g,b}表示依次选择r,g,b三通道值；
Jc(y)表示去除灰度蒙版信息的图像图块；
收集每个通道切片的最小值，然后进行直方图分析，发现Jdark(x)趋于零，而对每张肺区子区域统计收集得到的各通道切片的最小值，便是肺区子区域对应的暗通道图。
进一步地，所述暗通道差值特征抽取模块包括：
暗通道差值计算模块和特征抽取模块，暗通道差值计算模块的数据输出端与特征抽取模块的数据输入端相连，
暗通道差值计算模块：通过计算肺区子区域和其对应的暗通道之间的差值图，来获取去除暗通道之后的子区域图，具体的计算公式如公式下：
I(x)＝J(x)t(x)+A(1-t(x))
其中I(x)表示原始输入的图片第x位置的像素点；
J(x)表示去除灰度蒙版信息的图像；
t(x)表示透射率；
A表示大气光常数；
特征抽取模块：借助深度学习中的神经网络对去暗通道的肺区子图进行特征抽取。
进一步地，所述透射率t(x)包括：
其中Ac表示在通道c上的大气光常数；
Jc(y)表示去除灰度蒙版信息的图像图块；
M为常数。
进一步地，所述子肺区特征抽取模块、暗通道差值特征抽取模块分别通过两个AlexNet神经网络进行特征提取，
所述AlexNet神经网络包括5层卷积层和3层全连接层。
综上所述，由于采用了上述技术方案，本发明能够根据暗通道去除技术获得更加明显的尘肺尘絮特征，再将尘絮特征融入神经网络中进行并行训练；从而能够更加有效地识别尘肺本身的特征，提高了识别尘肺的准确率。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明的系统流程图。
图2是本发明待分割的原始胸片示意图。
图3是本发明的肺区分割的效果示意图。
图4是肺区子图与其暗通道图的差值示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本方法主要对胸片的肺区区域实现分割和尘肺分期预测。为医生判断病人尘肺情况提供有力的参考。
一种基于深度学习和数字图像结合的肺区尘肺分期系统，如图1所示，包括：
图像数据接入模块：用于获取原始图像的数据；
肺区子区域分割模块：按照《中华人名共和国国家职业卫生标准》——分别以第二、第四肋软骨下缘为界，将左右肺区分别划分为上中下三个子区域；有助于更准确地分期。
对比度增强模块：用于对肺区子区域图像进行直方图均衡化；
暗通道计算模块：用于计算子肺区的暗通道；
暗通道差值特征抽取模块：用来获取暗通道与输入图像差值，以更准确地抽取肺部尘絮的特征；
子肺区特征抽取模块：用以抽取均衡化后肺区的特征；
双分支特征融合模块：将暗通道差值特征抽取模块输出的子区域图和子肺区特征抽取模块输出的子肺区特征进行叠加融合，用以融合暗通道差值特征和对应的子肺区特征；
分期模块：最后用作分类尘肺所属阶段，根据双分支特征融合模块的输出值用作分类尘肺所属阶段，所述输出值为尘肺所属各阶段的概率值，概率值最大的就是分期的结果；所述阶段包括正常阶段、一期阶段、二期阶段和三期阶段。例如，输出值为：正常阶段的概率值为85％，一期阶段的概率值为8％、二期阶段的概率值为5％和三期阶段的概率值为2％，则分期结果为正常阶段。
进一步地，所述肺区子区域分割模块包括：
解外接矩阵模块和子区域分割模块，解外接矩阵模块的数据输出端与子区域分割模块的数据输入端相连；
解外接矩阵模块：用于对完整肺区进行外接矩阵裁剪；
子区域分割模块：对裁剪之后的肺区进行三等分处理，左右肺区都将被划分为上中下三部分的子区域。
进一步地，所述的对比度增强模块利用直方图均衡化算法来对当前处理肺区子区域每个像素，通过用一个滑动窗口对该像素周边的一个矩形区域进行直方图均衡，达到扩大局部对比度、显示平滑区域细节的作用。滑动窗口的尺寸理论上只要小于图像尺寸都可以，但在具体实施的数据集里，经过实验发现最好是15*15的尺寸(在本发明具体实施中最原始的X线胸片图的尺寸是3488*4256，划分出来的左右肺区是1419*2562，将左右肺区划分为的子肺区尺寸是256，256)。同时，由于本发明是基于对比度受限的直方图均衡化，是以块为单位，首先计算直方图，之后修剪直方图，最后进行均衡化。这样处理的目的是在肺区区域处理过程中限制噪声放大的情形。进一步地，所述修剪直方图包括：对给定的像素(i，j)，利用块水平和垂直位置(s，t)计算其权重值。为了混合四个查找函数{f00,f01,f10,f11}，将采用双线性混合函数，如下式所示：
fs,t(I)＝(1-s)(1-t)f00(I)+s(1-t)f10(I)+t(1-s)f01(I)+stf11(I) (1)
其中I表示原始输入的图片；
s表示块水平位置；
t表示块垂直位置；
这样做的目的是改变局部对比度，以获得更多图像细节。
为了避免在使用拉普拉斯算法去除噪声时带来的细节丢失和出现鬼影等这样的缺点，于是本发明采用直方图均衡化的方式。
进一步地，所述暗通道计算模块包括：
暗通道先验和计算模块，暗通道先验的数据输出端与计算模块的数据输入端相连，
暗通道先验：通过灰度直方图，统计分析所有肺区子区域的像素信息，发现每个通道切片都有一个非常小的值即每个切片的最小值；
计算模块：以暗通道先验为基础，根据公式(2)，通过对每个切片的最小值收集，进行直方图分析，可以发现Jdark(x)趋于零。而对每张肺区子区域(图像)统计收集得到的各通道最小值，便是肺区子区域对应的暗通道图。
Jdark(x)＝minc∈{r,g,b}(miny∈σ(x)Jc(y)) (2)
其中Jdark(x)表示图像J在切片x上的暗通道值；
c∈{r,g,b}表示依次选择r,g,b三通道值；
Jc(y)表示去除灰度蒙版信息的图像图块。
进一步地，所述暗通道差值特征抽取模块包括：
暗通道差值计算模块和特征抽取模块，暗通道差值计算模块的数据输出端与特征抽取模块的数据输入端相连，
暗通道差值计算模块：通过计算肺区子区域和其对应的暗通道之间的差值图(通过对原图和原图对应的暗通道图做三维矩阵的差值运算)，来获取去除暗通道之后的子区域图(肺区子区域)。由于暗通道信息近似等同于原始图像中的灰度蒙版信息(指在胸片成像的过程中，由于仪器等原因造成的肺区特征不明显，进而导致视觉上模糊的图像信息)，因此，去除暗通道的子区域图将得到仅包含大部分肺部的尘絮信息和肋骨特征的子区域图，具体的计算公式如公式(3)所示：
I(x)＝J(x)t(x)+A(1-t(x)) (3)
其中I(x)表示原始输入的图片第x位置的像素点；
J(x)表示去除灰度蒙版信息的图像；
t(x)表示透射率；
A表示大气光常数；
对于公式(3)，我们对子肺区图的每个图像图块(patch)进行最小值运算，得到公式(4)：
其中上标c表示在c通道上的指标，Ac就是在通道c上的大气光常数；
Ic(y)就是输入图像图块的c通道图像；
Jc(y)就是去除灰度蒙版信息的图像图块；
为图块的透射率。值得注意的是，公式(4)上的最小化操作在三个颜色通道上是相互独立的。而公式(4)又等价于公式(5)：
进一步地，对公式(5)中的三个颜色通道取最小值，得到公式(6)：
根据图3的灰度直方图，我们可以知道，对于尘肺区域，其暗通道值都趋于一个常数m，即
Jdark(x)＝minc(miny∈σ(x)Jc(y))＝m (7)
而Ac总是正数，因此有公式(8)：
其中，M为常数。将公式(8)代回公式(6)中，可以得到公式(9)：
通过对比原始暗通道算法和公式(9)发现，两者的区别仅仅在于，我们在计算时需要额外除以一个常数项。通过将/>赋值为t(x)，我们可以求解出公式(3)。
特征抽取模块：借助深度学习中的神经网络对去暗通道的肺区子图进行特征抽取；本发明中神经网络的作用仅用作特征抽取，而作为特征抽取器，自然可以替换为其它网络层次更深的模型。
所述的对去暗通道肺区子图进行特征抽取，是通过一个名为AlexNet的神经网络架构，其包括5层卷积层和3层全连接层。在本发明中，特征的抽取到第一层全连接层结束为止；
第一层全连接层结束后，卷积层得到的感受野信息已经全部包含在一个向量里了。
进一步地，所述子肺区特征抽取模块通过AlexNet神经网络架构进行特征提取，
所述AlexNet神经网络架构包括5层卷积层和三层全连接层。
在本发明中，特征的抽取到第一层全连接层结束为止；
进一步地，所述双分支特征融合模块包括：
将暗通道差值特征抽取模块输出的子区域图和子肺区特征抽取模块输出的子肺区特征进行叠加融合，若是训练模型阶段，则还要将融合之后的特征通过两层256个神经元的全连接层继续训练，得到一个用强化了尘絮特征的尘肺分期模型。
所述叠加融合是利用计算框架中的add操作，是一种张量加法。
所述尘肺分期模型包括：
采用AlexNet神经网络架构，包括5层卷积层和3层全连接层。
5层卷积层和第1层全连接层用于特征抽取：子肺区特征抽取模块、暗通道差值特征抽取模块分别采用两个AlexNet神经网络用于特征抽取；
第2、3层全连接层用于特征融合：双分支特征融合模块采用任意一个AlexNet神经网络进行特征融合。
在传统的神经网络图像分类算法中，通常只是通过一个线性的网络架构进行的，本发明利用了一个特征融合代替，能够有效地避免传统神经网络学习不到需要学习的特征，或者可解释性差带来的弊端。
本方法能直接在现有的医学影像框架下使用，实现了“即插即用”；即直接将算法移植进器材后，医生可以马上使用。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (9)
1.一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，包括：
图像数据接入模块、肺区子区域分割模块、对比度增强模块、暗通道计算模块、暗通道差值特征抽取模块、子肺区特征抽取模块、双分支特征融合模块、分期模块，
图像数据接入模块的数据输出端与肺区子区域分割模块的数据输入端相连，肺区子区域分割模块的数据输出端与对比度增强模块的数据输入端相连，对比度增强模块的数据输出端分别与暗通道计算模块、子肺区特征抽取模块的数据输入端相连，暗通道计算模块的数据输出端与暗通道差值特征抽取模块的数据输入端相连，
子肺区特征抽取模块的数据输出端、暗通道差值特征抽取模块的数据输出端与双分支特征融合模块的数据输入端相连，双分支特征融合模块的数据输出端与分期模块的数据输入端相连；
图像数据接入模块：用于获取待分割原始图像；
肺区子区域分割模块：用于将左右肺区分别划分为上中下三个子区域；
对比度增强模块：用于对肺区子区域图像进行直方图均衡化；
暗通道计算模块：利用暗通道先验计算均衡化后的子肺区的暗通道；
暗通道差值特征抽取模块：用来获取暗通道与原始图像差值，用于抽取肺部尘絮的特征；
子肺区特征抽取模块：用以抽取均衡化后肺区的特征；
双分支特征融合模块：将暗通道差值特征抽取模块输出的子区域图和子肺区特征抽取模块输出的子肺区特征进行叠加融合；
分期模块：根据双分支特征融合模块的输出值用作分类尘肺所属阶段，所述输出值为尘肺所属各阶段的概率值，概率值最大的就是分期的结果；所述阶段包括正常阶段、一期阶段、二期阶段和三期阶段。
2.根据权利要求1所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述肺区子区域分割模块包括：
解外接矩阵模块和子区域分割模块，解外接矩阵模块的数据输出端与子区域分割模块的数据输入端相连；
解外接矩阵模块：用于对完整肺区进行外接矩阵裁剪；
子区域分割模块：对裁剪之后的肺区进行三等分处理，左右肺区都将被划分为上中下三部分的子区域。
3.根据权利要求1所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述对比度增强模块包括：
利用直方图均衡化算法来处理当前肺区子区域每个像素，
通过用一个滑动窗口对该像素周边的区域进行直方图均衡算法，达到扩大局部对比度、显示平滑区域细节的作用。
4.根据权利要求3所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述直方图均衡化算法包括以下步骤：
S-1，计算直方图；
S-2，修剪直方图；
S-3，进行均衡化。
5.根据权利要求4所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述S-2包括：
对给定的像素(i，j)，利用块水平和垂直位置(s，t)计算块的权重值；为了混合四个查找函数{f00,f01,f10,f11}，将采用双线性混合函数，如下式所示：
fs,t(I)＝(1-s)(1-t)f00(I)+s(1-t)f10(I)+t(1-s)f01(I)+stf11(I)
其中I表示原始输入的图片；
s表示块水平位置；
t表示块垂直位置。
6.根据权利要求1所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述暗通道计算模块包括：
暗通道先验和计算模块，暗通道先验的数据输出端与计算模块的数据输入端相连，
暗通道先验：通过灰度直方图，统计分析所有肺区子区域的像素信息，发现每个通道切片都有一个非常小的值即每个切片的最小值；
计算模块：根据下式计算暗通道值
Jdark(x)＝minc∈{r,g,b}(miny∈σ(x)Jc(y))
其中Jdark(x)表示图像J在切片x上的暗通道值；
c∈{r,g,b}表示依次选择r,g,b三通道值；
Jc(y)表示去除灰度蒙版信息的图像图块；
收集每个通道切片的最小值，然后进行直方图分析，发现Jdark(x)趋于零，而对每张肺区子区域统计收集得到的各通道切片的最小值，便是肺区子区域对应的暗通道图。
7.根据权利要求1所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述暗通道差值特征抽取模块包括：
暗通道差值计算模块和特征抽取模块，暗通道差值计算模块的数据输出端与特征抽取模块的数据输入端相连，
暗通道差值计算模块：通过计算肺区子区域和其对应的暗通道之间的差值图，来获取去除暗通道之后的子区域图，具体的计算公式如公式下：
I(x)＝J(x)t(x)+A(1-t(x))
其中I(x)表示原始输入的图片第x位置的像素点；
J(x)表示去除灰度蒙版信息的图像；
t(x)表示透射率；
A表示大气光常数；
特征抽取模块：借助深度学习中的神经网络对去暗通道的肺区子图进行特征抽取。
8.根据权利要求7所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述透射率t(x)包括：
其中Ac表示在通道c上的大气光常数；
Jc(y)表示去除灰度蒙版信息的图像图块；
M为常数。
9.根据权利要求1所述的一种基于深度学习和数字图像结合的肺区尘肺分期系统，其特征在于，所述子肺区特征抽取模块、暗通道差值特征抽取模块分别通过两个AlexNet神经网络进行特征提取，
所述AlexNet神经网络包括5层卷积层和3层全连接层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021432.5A CN114463278B (zh) | 2022-01-10 | 2022-01-10 | 基于深度学习和数字图像结合的肺区尘肺分期系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021432.5A CN114463278B (zh) | 2022-01-10 | 2022-01-10 | 基于深度学习和数字图像结合的肺区尘肺分期系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114463278A CN114463278A (zh) | 2022-05-10 |
| CN114463278B true CN114463278B (zh) | 2024-05-28 |
Family
ID=81408978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210021432.5A Active CN114463278B (zh) | 2022-01-10 | 2022-01-10 | 基于深度学习和数字图像结合的肺区尘肺分期系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463278B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460743A (zh) * | 2018-03-19 | 2018-08-28 | 西安因诺航空科技有限公司 | 一种基于暗通道的无人机航拍图像去雾算法 |
| CN111080596A (zh) * | 2019-12-11 | 2020-04-28 | 浙江工业大学 | 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及系统 |
| CN112819819A (zh) * | 2021-02-26 | 2021-05-18 | 泰康保险集团股份有限公司 | 基于深度学习的尘肺分级方法、装置、介质及设备 |
| WO2021173826A1 (en) * | 2020-02-25 | 2021-09-02 | The Board Of Regents Of The University Of Texas System | Systems and methods for screening and staging of pneumoconiosis |
-
2022
- 2022-01-10 CN CN202210021432.5A patent/CN114463278B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108460743A (zh) * | 2018-03-19 | 2018-08-28 | 西安因诺航空科技有限公司 | 一种基于暗通道的无人机航拍图像去雾算法 |
| CN111080596A (zh) * | 2019-12-11 | 2020-04-28 | 浙江工业大学 | 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及系统 |
| WO2021173826A1 (en) * | 2020-02-25 | 2021-09-02 | The Board Of Regents Of The University Of Texas System | Systems and methods for screening and staging of pneumoconiosis |
| CN112819819A (zh) * | 2021-02-26 | 2021-05-18 | 泰康保险集团股份有限公司 | 基于深度学习的尘肺分级方法、装置、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114463278A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nadkarni et al. | Detection of lung cancer in CT images using image processing | |
| CN110008832A (zh) | 基于深度学习人物图像自动分割方法、信息数据处理终端 | |
| Nee et al. | White blood cell segmentation for acute leukemia bone marrow images | |
| CN111488921A (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| CN110852396A (zh) | 一种宫颈图像的样本数据处理方法 | |
| CN109410166A (zh) | 用于肺实质ct图像的全自动分割方法 | |
| CN109993173B (zh) | 一种基于种子生长及边界约束的弱监督图像语义分割方法 | |
| CN109064437A (zh) | 一种基于引导滤波和在线字典学习的图像融合方法 | |
| CN111080596A (zh) | 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及系统 | |
| CN102346911A (zh) | 在数字减影血管造影图像序列中分割血管的方法 | |
| CN108629773B (zh) | 建立训练识别心脏血管类型的卷积神经网络数据集的方法 | |
| CN111476794A (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN113450305A (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| CN113724235B (zh) | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 | |
| Schenk et al. | Automatic high-speed video glottis segmentation using salient regions and 3D geodesic active contours | |
| CN109063557B (zh) | 快速构建心脏冠脉血管识别数据集的方法 | |
| CN114463278B (zh) | 基于深度学习和数字图像结合的肺区尘肺分期系统 | |
| CN111667469B (zh) | 肺部疾病分类方法、装置及设备 | |
| CN114463279B (zh) | 一种基于计算机视觉的肺区区域分割系统 | |
| CN111667419A (zh) | 一种基于Vibe算法的移动目标鬼影消除方法及系统 | |
| Thamilarasi et al. | Automatic thresholding for segmentation in chest X-ray images based on green channel using mean and standard deviation | |
| Soni et al. | Automatic Pulmonary Cancer Detection using Prewitt & Morphological Dilation | |
| CN114882282A (zh) | 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法 | |
| CN106815848A (zh) | 基于grubcut和人工智能的人像背景分离及轮廓提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |