CN107945144A

CN107945144A - 基于深度神经网络的结核杆菌荧光痰涂片识别方法

Info

Publication number: CN107945144A
Application number: CN201711160738.4A
Authority: CN
Inventors: 刘炳宪; 谢菊元; 王焱辉; 王克惠; 胡涵
Original assignee: Konfoong Biotech International Co Ltd
Current assignee: Konfoong Biotech International Co Ltd
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2018-04-20
Anticipated expiration: 2037-11-20
Also published as: CN107945144B

Abstract

本发明涉及一种基于深度神经网络的结核杆菌荧光痰涂片识别方法，包括以下步骤：步骤S1、输入数字杆菌图像；步骤S2、对所述数字杆菌图像进行自动分割，获得只含有杆菌的优化图像；步骤S3、将所述优化图像与预设的候选杆菌进行匹配；若匹配失败，则进行步骤S5；步骤S4、对匹配成功的所述优化图像进行杆菌自动识别；步骤S5、输出所述数字杆菌图像的杆菌信息。其优点在于，能够快速对杆菌图像中的疑似杆菌目标进行定位，有效减少冗余信息，减少识别工作量；有效替代人工统计的方法，辅助人工诊断过程，提高人工诊断效率，提高诊断精度；利用深度神经网络，通过不同构造处理进行结合，提高训练结果，快速识别杆菌图像类型。

Description

基于深度神经网络的结核杆菌荧光痰涂片识别方法

技术领域

本发明涉及杆菌图片识别技术领域，尤其涉及一种基于深度神经网络的结核杆菌荧光痰涂片识别方法。

背景技术

肺结核病是由于结核杆菌感染引起的一种人畜共患的慢性传染病。结核杆菌是一种单一传染致死细菌。近年来，随着多恶心肿瘤病例的增加及多重抗药性菌株的显现，大大增加了预防结核杆菌感染的难度。快速诊断是控制肺结核病传播和扩散的关键一环。

进行肺结核病诊断时，医师需要观察切片，每例样本需要2-3张切片，每张切片的检查视野需要大于100个。因此，检验医师需要花费较长时间检查样本，每天平均痰样本数为20例。检查医师专业水平高低、结核杆菌在痰内的含量多少等因素均会影响检查的阳性率。一般而言，结核杆菌的阳性率在20～60％左右。

现有的结核杆菌诊断流程为：采集痰液，并均与涂抹在玻片上，自然干燥，加热固定后染色，最后通过酸性酒精脱色和复染；将痰涂片放入陷入经中，在20倍物镜下寻找杆菌可能的分布区域；在40倍物镜下根据20倍观察到的可能位置进行查找并对杆菌进行计数；根据《传染性肺结核诊断标准及处理原则GB15987-1995》对切片样本进行分类；总结诊断报告。

然而这种诊断流程存在一些缺陷：如医师需要观察整个切片的所有区域，耗时耗力；当阳性2+以上时，单个视野内的杆菌数可能超过50个，人工难以精确记录统计；当杆菌分布零散时，如0～9条，易出现漏判。

因此，为了提高结核杆菌的检出率，许多研究团队致力于研发结核杆菌荧光痰涂片识别算法来对杆菌图像进行自动识别。通过结核杆菌荧光图片识别算法，可以对荧光杆菌数字图像进行自动分割识别。对比人工诊断，该识别算法识别结核杆菌的准确率达到90％，且全过程无须人工干预。此算法是全自动杆菌扫描中最重要的一环，对降低结核病的死亡率，节省的医疗成本都有重要现实意义，能够创造巨大的经济和社会效益。

因此，亟需一种能够对数字图像有效分割，快速识别并对疑似病菌进行定位，提高诊断效率的结核杆菌数字图片识别算法，而目前关于这种算法还未见报道。

发明内容

本发明的目的是针对现有技术中的不足，提供一种基于深度神经网络的结核杆菌荧光痰涂片识别方法。

为实现上述目的，本发明采取的技术方案是：

本发明的一种基于深度神经网络的结核杆菌荧光痰涂片识别方法，包括以下步骤：

步骤S1、输入数字杆菌图像；

步骤S2、对所述数字杆菌图像进行自动分割，获得只含有杆菌的优化图像；

步骤S3、将所述优化图像与预设的候选杆菌进行匹配；若匹配失败，则进行步骤S5；

步骤S4、对匹配成功的所述优化图像进行杆菌自动识别；

步骤S5、输出所述数字杆菌图像的杆菌信息。

优选的，所述步骤S2中，图像自动分割的步骤为：

步骤S21、输入一预设的图像初始化阈值；

步骤S22、对所述数字杆菌图像进行自适应阈值二值化；

步骤S23、对进行自适应阈值二值化处理后的所述数字杆菌图像进行形态学梯度处理；

步骤S24、对形态学梯度处理后的所述数字杆菌图像进行轮廓化处理，获取所述数字杆菌图像的轮廓数量及轮廓信息；

步骤S25、将所述轮廓数量与一预设的轮廓数量阈值进行对比；若所述轮廓数量大于所述轮廓数量阈值，则减少所述图像初始化阈值，重复步骤S22-S24；

步骤S26、输出所述轮廓信息。

优选的，所述步骤S22中，利用局部像素灰度均值法对所述数字杆菌图像进行自适应阈值二值化，其计算公式如下：

其中，i、j是图像坐标，s、t是图像领域中的位置，f代表图像灰度值，α是阈值化系数。

优选的，所述步骤S23中，所述形态学梯度处理包括进行形态学腐蚀处理和形态学膨胀处理。

优选的，所述步骤S24中，利用凸包算法对所述数字杆菌图像进行轮廓化处理。

优选的，所述步骤S25中，减少所述图像初始化阈值的方法是提高所述阈值化系数。

优选的，提高所述阈值化系数的计算公式如下：α＝α*1.2。

优选的，所述步骤S4中，杆菌自动识别的步骤为：

步骤S41、输入优化图像；

步骤S42、对所述优化图像进行重采样处理；

步骤S43、对重采样处理后的所述优化图像进行打包处理；

步骤S44、对打包处理后的所述优化图像进行深度神经网络处理，对所述优化图像中的杆菌进行分类并获得标记；

步骤S45、输出所述标记。

优选的，所述深度神经网络包括多个巻积层、多个混合层、降采样层、隐藏层、全连接层。

本发明采用以上技术方案，与现有技术相比，具有如下技术效果：

本发明的一种基于深度神经网络的杆菌荧光痰涂片识别方法，能够快速对杆菌图像中的疑似杆菌目标进行定位，有效减少冗余信息，减少识别工作量；有效替代人工方式对数字杆菌图像进行统计的方法，辅助人工诊断过程，提高人工诊断效率，提高诊断精度；利用深度神经网络，通过不同构造处理进行结合，控制深度神经网络训练过拟合，提高训练结果，快速识别杆菌图像类型。

附图说明

图1是本发明的一个优选实施例的流程图。

图2是本发明的图像自动分割的一个优选实施例的流程图。

图3是本发明的图像自动识别的一个优选实施例的流程图。

图4是第一混合层处理的一个优选实施例的流程图。

图5是第二混合层处理的一个优选实施例的流程图。

图6是第三混合层处理的一个优选实施例的流程图。

图7是第四混合层处理的一个优选实施例的流程图。

图8是第五混合层处理的一个优选实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

一个优选的实施例，如图1所示，本发明的一种基于深度神经网络的结核杆菌荧光痰涂片识别方法，包括以下步骤：

步骤S1、输入数字杆菌图像；

步骤S4、对匹配成功的所述优化图像进行杆菌自动识别；

步骤S5、输出所述数字杆菌图像的杆菌信息。

作为一个优选的实施例，如图2所示，在步骤S2中，对数字杆菌图像自动分割的步骤如下：

步骤S21、确定一个图像初始化阈值，并将其输入；

步骤S22、对数字杆菌图像进行自适应阈值二值化，通过局部图像像素灰度均值对图像进行二值化，其计算公式为

其中，i、j是图像坐标，s、t是图像领域中的位置，f代表图像灰度值，α是阈值化系数，利用该过程，可通过对邻域图像灰度进行统计消除局部光照不均匀对二值化的影响；

步骤S23、对进行自适应阈值二值化处理后的所述数字杆菌图像进行形态学梯度处理，获取二值图边缘；

步骤S231、对所述数字杆菌图像进行形态学腐蚀处理，其计算公式为：

其中，x、y是图像坐标，src表示原图，dst表示结果，min表示取最小值；

步骤S232、对形态学腐蚀处理后的所述数字杆菌图像进行形态学膨胀处理，其计算公式为：

其中，x、y是图像坐标，src表示原图，dst表示结果，max表示取最大值；

步骤S233、对进行形态膨胀处理后的所述数字杆菌图像进行形态学梯度处理，其计算公式为：

dst＝morph_grad(src，element)＝dilate(src，element)-erode(src，element)

其中dilate表示形态学膨胀操作，erode表示形态学腐蚀操作

步骤S24、对形态学梯度处理后的所述数字杆菌图像进行轮廓化处理，获取所述数字杆菌图像的轮廓数量及轮廓信息，利用凸包算法进行处理，其代码如下：

Let N＝number of points

Let points[N+1]＝the array of points

Swap points[1]with the point with the lowest y-coordinate

Let points[0]＝points[1]

Let M＝1

For i＝2to N:

While ccw(points[M-1],points[M],points[i])<＝0:

If M>1:

M-＝1

else if I＝＝N:

break

else i+＝1

M+＝1

Swap points[M]with points[i]

其中，N表示二值化图像非零的像素点，points中包括轮廓点，利用此过程可找到杆菌轮廓；

步骤S25、将所述轮廓数量与一预设的轮廓数量阈值进行对比；若所述轮廓数量大于所述轮廓数量阈值，则减少所述图像初始化阈值，重复步骤S22；

步骤S26、输出轮廓信息，轮廓信息包括杆菌数量、杆菌位置、单个杆菌大小。

采用上述技术方案，当轮廓数量大于阈值时，表明图像亮度过大，须调高步骤S22中阈值化系数α，每次进行调整时，α＝α*1.2。

作为一个较佳的实施例，如图3所示，在步骤S4中，对杆菌自动识别的步骤如下：

步骤S41、输入优化图像；

步骤S42、对所述优化图像进行重采样处理；

步骤S43、对重采样处理后的所述优化图像进行打包处理；

步骤S45、输出所述标记。

其中，所述深度神经网络包括多个巻积层、多个混合层、降采样层、隐藏层、全连接层。

作为一个优选的实施例，所述步骤S44中，对打包处理后的所述优化图像进行深度神经网络处理的步骤如下：

步骤S441、对打包处理后的所述数字杆菌图像在第一巻积层进行处理；

步骤S442、对经步骤S441处理后的所述数字杆菌图像在第二巻积层进行处理；

步骤S443、对经步骤S442处理后的所述数字杆菌图像在第一混合层进行处理；

步骤S444、对经步骤S443处理后的所述数字杆菌图像在第二混合层进行处理；

步骤S445、对经步骤S444处理后的所述数字杆菌图像在第三混合层进行处理；

步骤S446、对经步骤S445处理后的所述数字杆菌图像在第四混合层进行处理；

步骤S447、对经步骤S446处理后的所述数字杆菌图像在第五混合层进行处理；

步骤S448、对经步骤S447处理后的所述数字杆菌图像在降采样层进行处理；

步骤S449、对经步骤S448处理后的所述数字杆菌图像在隐藏层进行处理；

步骤S4410、对经步骤S449处理后的所述数字杆菌图像在全连接层进行处理。

需要说明的是，以下技术方案中的“输入层”均为上一步骤处理后得到的处理结果。

采用上述技术方案，如图4所示，在步骤S443中，在第一混合层进行处理时，需要分别同时进行4次处理，其处理步骤如下：

S4431、将输入层进行输入，并同时进行步骤S4432a-S4432d；

S4432a、对输入层进行1×1卷积；

S4432b、对输入层先进行1×1卷积，再进行5×5卷积；

S4432c、对输入层先进行3×3池化，再进行1×1卷积；

S4432d、对输入层先进行1×1卷积，再进行3×3卷积，最终进行3×3卷积；

S4433、将步骤S4432a-S4432d的结果进行层数归并；

S4434、将输出层进行输出。

采用上述技术方案，如图5所示，在步骤S444中，在第二混合层进行处理时，需要分别同时进行3次处理，其处理步骤如下：

S4441、将输入层进行输入,并同时进行步骤S4442a-S4442c；

S4442a、对输入层进行1×1卷积；

S4442b、对输入层先进行1×1卷积，再进行5×5卷积；

S4442c、对输入层先进行1×1卷积，再进行3×3卷积，最终进行3×3卷积；

S4443、将步骤S4442a-S4442c的结果进行层数归并；

S4444、将输出层进行输出。

采用上述技术方案，如图6所示，在步骤S445中，在第三混合层进行处理时，需要分别同时进行4次处理，其处理步骤如下：

S4451、将输入层进行输入,并同时进行步骤S4452a-S4452d；

S4452a、对输入层进行1×1卷积；

S4452b、对输入层先进行2×2池化，再进行1×1卷积；

S4452c、对输入层先进行1×1卷积，再进行5×1卷积，最终进行1×5卷积；

S4452d、对输入层先进行1×1卷积，再进行7×1卷积，最终进行1×7卷积；

S4453、将步骤S4452a-S4452d的结果进行层数归并；

S4454、将输出层进行输出。

采用上述技术方案，如图7所示，在步骤S446中，在第四混合层进行处理时，需要分别同时进行3次处理，其处理步骤如下：

S4461、将输入层进行输入，并同时进行步骤S4462a-S4462c；

S4462a、对输入层进行2×2池化；

S4462b、对输入层先进行1×1卷积，再进行2×2卷积；

S4462c、对输入层先进行1×1卷积，再进行7×1卷积，再进行1×7卷积，最终进行2×2卷积；

S4463、将步骤S4462a-S4462c的结果进行层数归并；

S4464、将输出层进行输出。

采用上述技术方案，如图8所示，在步骤S447中，在第五混合层进行处理时，需要分别同时进行3次处理，其处理步骤如下：

S4471、将输入层进行输入，并同时进行步骤S4472a-S4472c；

S4472a、对输入层进行1×1卷积；

S4472b、对输入层先进行2×2池化，再进行1×1卷积；

S4472c、对输入层先进行1×1卷积，再分别进行2×1卷积和1×2卷积；

S4473、将步骤S4472a-S4472c的结果进行层数归并；

S4474、将输出层进行输出。

采用上述技术方案，所述深度神经网络包括多个巻积层、多个混合层、降采样层、隐藏层、全连接层，利用该深度神经网络，通过不同构造处理进行结合，控制深度神经网络训练过拟合，提高训练结果，快速识别杆菌图像类型。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims

1.一种基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，包括以下步骤：

步骤S1、输入数字杆菌图像；

步骤S4、对匹配成功的所述优化图像进行杆菌自动识别；

步骤S5、输出所述数字杆菌图像的杆菌信息。

2.根据权利要求1所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，所述步骤S2中，图像自动分割的步骤为：

步骤S21、输入一预设的图像初始化阈值；

步骤S22、对所述数字杆菌图像进行自适应阈值二值化；

步骤S26、输出所述轮廓信息。

3.根据权利要求2所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，所述步骤S22中，利用局部像素灰度均值法对所述数字杆菌图像进行自适应阈值二值化，其计算公式如下：

<mrow> <msub> <mi>m</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>4</mn> <msup> <mi>p</mi> <mn>2</mn> </msup> </mrow> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>s</mi> <mo>=</mo> <mo>-</mo> <mi>p</mi> </mrow> <mi>p</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mo>-</mo> <mi>p</mi> </mrow> <mi>p</mi> </munderover> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>s</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>t</mi> </mrow> </msub> </mrow>

<mrow> <msub> <mi>v</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>4</mn> <msup> <mi>p</mi> <mn>2</mn> </msup> </mrow> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>s</mi> <mo>=</mo> <mo>-</mo> <mi>p</mi> </mrow> <mi>p</mi> </munderover> <munderover> <mo>&Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mo>-</mo> <mi>p</mi> </mrow> <mi>p</mi> </munderover> <mo>|</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>s</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mi>t</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&alpha;m</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> </mrow>

4.根据权利要求2所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，所述步骤S23中，所述形态学梯度处理包括进行形态学腐蚀处理和形态学膨胀处理。

5.根据权利要求2所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，所述步骤S24中，利用凸包算法对所述数字杆菌图像进行轮廓化处理。

6.根据权利要求3所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，所述步骤S25中，减少所述图像初始化阈值的方法是提高所述阈值化系数。

7.根据权利要求6所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，提高所述阈值化系数的计算公式如下：α＝α*1.2。

8.根据权利要求1所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，所述步骤S4中，杆菌自动识别的步骤为：

步骤S41、输入优化图像；

步骤S42、对所述优化图像进行重采样处理；

步骤S43、对重采样处理后的所述优化图像进行打包处理；

步骤S45、输出所述标记。

9.根据权利要求8所述的基于深度神经网络的结核杆菌荧光痰涂片识别方法，其特征在于，所述深度神经网络包括多个巻积层、多个混合层、降采样层、隐藏层、全连接层。