CN110322438A - 结核分枝杆菌自动检测模型的训练方法及自动检测系统 - Google Patents

结核分枝杆菌自动检测模型的训练方法及自动检测系统 Download PDF

Info

Publication number
CN110322438A
CN110322438A CN201910563610.5A CN201910563610A CN110322438A CN 110322438 A CN110322438 A CN 110322438A CN 201910563610 A CN201910563610 A CN 201910563610A CN 110322438 A CN110322438 A CN 110322438A
Authority
CN
China
Prior art keywords
sample
mycobacterium tuberculosis
network model
candidate frame
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910563610.5A
Other languages
English (en)
Other versions
CN110322438B (zh
Inventor
周复
赵雁林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Upper Pool Technology Co Ltd
Original Assignee
Hangzhou Upper Pool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Upper Pool Technology Co Ltd filed Critical Hangzhou Upper Pool Technology Co Ltd
Priority to CN201910563610.5A priority Critical patent/CN110322438B/zh
Publication of CN110322438A publication Critical patent/CN110322438A/zh
Application granted granted Critical
Publication of CN110322438B publication Critical patent/CN110322438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结核分枝杆菌自动检测模型的训练方法及自动检测系统，该检测模型包括检测器网络和计数器网络；检测方法包括利用检测器网络提取结核分枝杆菌团块所在的候选区域和计数器网络对候选区域的杆菌数量进行计数两个阶段；首先在结核分枝杆菌涂片图像的RGB图像空间中嵌入色调空间信息，得到RGBH样本图像；从RGBH样本图像上提取出样本框并进行标记，生成训练集合；通过该训练集合对结核分枝杆菌自动检测模型进行训练；本发明通过颜色嵌入实现对结核分枝杆菌颜色性质的显性表征，便于检测器网络进行特征提取；计数器网络在检测器网络的基础上提取并融合图像的多尺度特征，进一步对候选框进行筛选，提高预测精确度和计数可靠性。

Description

结核分枝杆菌自动检测模型的训练方法及自动检测系统
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种结核分枝杆菌自动检测模型的训练方法及自动检测系统。
背景技术
结核病是由结核杆菌感染引起的慢性传染病，每年患病人数高达150万人次，现已成为威胁人类生命安全的“头号杀手”之一，早期的发现对结核病的治疗有着重要的意义。
目前的结核病的主要检测手段是涂片染色镜检，一般采用Z-N染色法对涂片进行染色，然后由检测人员采用一定放大倍数的光学显微镜观察染色涂片并统计结核分枝杆菌的数量，从而得到检测结果；但是这种人为检测的方法需要依赖检测人员的经验，检测速度慢、费时费力，且易发生检测人员视觉疲劳而漏诊的情况，检测精度低；因此，研究一种自动化的结核分枝杆菌检测方法是十分重要的。
发明内容
针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于深度学习的结核分枝杆菌自动检测模型的训练方法及自动检测系统，其目的在于解决现有的检测方法存在的检测精度低、费时费力的问题。
为实现上述目的，按照本发明的一个方面，提供了一种结核分枝杆菌自动检测模型的训练方法，包括以下步骤：
S1：将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；
S2：从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；
S3：将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；
S4：根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；
S5：将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；
S6：根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成；
S7：根据检测器网络模型和计数器网络模型得到结核分枝杆菌自动检测模型。
优选的，上述结核分枝杆菌自动检测模型的训练方法，其步骤S14中还包括以下步骤：
计算候选框相对于样本框的重叠度，将所述重叠度小于预设的重叠度阈值的候选框作为负样本；将所述负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将所述top-k难例的剩余部分输入检测器网络模型继续迭代训练。
按照本发明的另一个方面，还提供了一种结核分枝杆菌自动检测系统，包括颜色嵌入模块、标记模块、第一预测模块、第一损失计算模块、第二预测模块和第二损失计算模块；
所述颜色嵌入模块用于将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；
所述标记模块用于从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；
所述第一预测模块用于将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；
所述第一损失计算模块用于根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；
所述第二预测模块用于将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；
所述第二损失计算模块用于根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成。
优选的，上述结核分枝杆菌自动检测系统还包括难例筛选模块；
所述难例筛选模块用于计算候选框相对于样本框的重叠度，将所述重叠度小于预设的重叠度阈值的候选框作为负样本；将所述负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将所述top-k难例的剩余部分输入检测器网络模型继续迭代训练。
优选的，上述结核分枝杆菌自动检测系统还包括候选框筛选模块；
所述候选框筛选模块用于将第一预测模块输出的候选框的类别置信度与预设的置信度阈值进行比较，删除类别置信度小于预设的置信度阈值的候选框。
优选的，上述结核分枝杆菌自动检测系统，其候选框筛选模块还用于对所述候选框进行非最大值抑制，按照类别置信度从大到小的顺序对候选框进行排序，依次计算排序后相邻两个候选框的重叠度，当所述重叠度大于预设的重叠度阈值时舍弃类别置信度低的候选框。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，提出了一种颜色嵌入的图像数据处理方式，将色调通道H联合RGB通道共同构成检测器网络的输入空间，色调通道H的加入使结核分枝杆菌的颜色更加显著，比较本质地表征了结核分枝杆菌在Z-N染色后偏红这一颜色性质，利于检测器网络的特征提取；计数器网络在检测器网络的基础上，基于图像金字塔融合特征的计数方法，提取了并融合了图像多尺度特征，进一步对候选框进行了筛选，提高了预测精确度和计数的可靠性，同时还统计了杆菌总数，辅助医生对患者的病情判断。
(2)本发明提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，提出的基于置信度的难例和半难例挖掘方法，在线选取相对困难的半难例样本加入模型继续训练，解决了检测中正负样本不均衡及标签中的噪声问题，加快了网络训练的收敛速度；
(3)本发明提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，检测器网络模型对同一位置产生的大量候选框进行非极大值抑制，丢弃置信度较低的候选框，通过非极大值抑制去除冗余的候选框，提升检测精度，并可减少计数器网络模型的计算量。
(4)本发明提供的结核分枝杆菌自动检测模型的训练方法及自动检测系统，计数器网络模型在计数之前以类别置信度位指标对候选框进行进一步筛选，舍弃属于正样本的概率较低的候选框，减小后续计数过程的计算量，有利于提高计数效率，缩短检测过程。
附图说明
图1是本发明实施例提供的候选区域检测过程的网络结构示意图；
图2是本发明实施例提供的计数过程的网络结构示意图；
图3是本发明实施例提供的结核分枝杆菌自动检测模型的训练方法的流程图；
图4是本发明实施例提供的划窗采集训练数据的示意图；
图5是本发明实施例提供的对样本框进行标记的示意图；
图6是本发明实施例提供的检测器网络模型的结构详图；
图7是本发明实施例提供的半难例挖掘过程的示意图；
图8是本发明实施例提供的计数器网络模型的结构详图；
图9是本发明实施例提供的结核分枝杆菌自动系统的逻辑框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
显微图像中结核分枝杆菌主要具有如下特征：(1)经过Z-N法染色后，结核分枝杆菌呈现红色，背景呈现蓝色；(2)结核分枝杆菌多呈现聚集分布现象，即多个结核分枝杆菌会粘连在一起；(3)结核分枝杆菌图像区域具有很大的尺度变化；(4)结核分枝杆菌整体分布呈现局部密集、全局稀疏的特点。
针对上述特征，本实施例提供了一种结核分枝杆菌自动检测模型及其训练方法，该结核分枝杆菌自动检测模型中包括检测器网络模型和计数器网络模型；以及利用训练好的模型对结核分枝杆菌图像进检测和计数的检测方法和检测系统，其中检测方法主要分为两个阶段，第一阶段利用检测器网络模型提取结核分枝杆菌团块所在的候选区域，图1是本发明实施例提供的候选区域检测过程的网络结构示意图；第二阶段采用计数器网络模型对候选区域的结核分枝杆菌数量进行计数，图2是本发明实施例提供的计数过程的网络结构示意图。
首先，本实施例对构建的结核分枝杆菌自动检测模型以及该模型的训练方法进行详细说明，图3是本发明实施例提供的结核分枝杆菌自动检测模型的训练方法的流程图，如图3所示，该训练方法主要包括以下步骤：
S1：获取样本图像：获取染色后的结核分枝杆菌涂片图像，将该结核分枝杆菌涂片图像由RGB图像空间投影到HSV颜色空间，获取色调(Hue)空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；基于结核分枝杆菌染色后与背景之间的颜色差异，本实施例通过颜色嵌入方案，实现对结核分枝杆菌颜色性质的显性表征，便于后续特征提取。
S2：数据预处理：从RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；其中，对检测器网络模型进行训练时，仅需要使用样本框的真实标签和位置信息两种标记信息；对计数器网络模型进行训练时，仅需要使用样本框的真实标签和结核分枝杆菌条数两种标记信息；
如图4所示，本实施例采用划窗方式从RGBH样本图像原图中获取训练数据，因为这种方式可以根据裁剪patch(图像小块)的性质，有针对性的增广或舍弃，更加适应结核分枝杆菌局部密集、全局稀疏的分布特点。具体实现方法为：采用大小为360*360、步长为120的滑动窗口在原图上裁剪；为了尽可能保证结核分枝杆菌在一个patch里面的完整性，本实施例选择重叠的裁剪方式，另外，裁剪后的图像大小(360*360)略大于检测器网络模型真正的输入尺寸256*256，这是为了方便后续通过随机裁剪、随机旋转的方式进行数据增强，改善网络对图像旋转和平移的不变性。对裁剪得到的RGBH图像小块进行标记，包括真实标签、位置信息和结核分枝杆菌条数；如图5所示，位置信息具体包括RGBH图像小块的中心坐标、宽度和高度；标记后的RGBH图像小块采用hdf5格式存储，训练时再随机划分为训练集、验证集。
S3：将训练集合输入检测器网络模型中，生成多尺度的候选框并预测候选框的类别置信度和位置信息；
检测器网络模型定义：本实施例中检测器网络的主干部分采用的是残差网络ResNet结构，并基于YOLO实现候选区域检测算法；传统检测方法通过产生大量的候选区域，然后再经过一个分类器筛选掉大量伪区域来实现检测目的，耗时耗力；YOLO检测器基于Anchor机制，把检测问题转化为了一个分类问题。
由于检测器网络采用嵌入后四通道图像作为输入，所以需要自定义第一个卷积层；中间部分截取ResNet18的三层网络，并使用预训练ImageNet参数进行初始化；自定义最后一个卷积层，输出2*5张特征图；尺度为256*256的RGBH图像小块经过四次池化变成16*16的特征图，如图6所示；特征图的每个小格负责原图相应区域的杆菌检测，每个小格初始化两个候选框分别为25*25和60*60，每个候选框都有自己的类别置信度，中心坐标(cx，cy)，宽度w和高度h。通过自定义损失函数，即可通过网络直接得到候选区域的类别置信度及坐标信息。该类别置信度的取值范围在[0,1]之间，类别置信度越接近1，表明候选框为正样本的概率越大；类别置信度越接近0，表明候选框为负样本的概率越大；
S4：根据样本框的真实标签、位置信息以及候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使损失函数最小化，检测器网络模型训练完成；
检测器网络模型的损失函数主要包含两部分：分类损失(Lcls)与定位损失(Lloc)，分别定义如下所示：
Ltotal(p,u,tu,v)＝Lcls(p,u)+Lloc(tu,v)
其中，
Lcls(p,u)＝-ulogp+(1-u)log(1-p)
式中，Ltotal代表损失函数；Lcls代表分类损失；Lloc代表定位损失；u代表样本框的真实标签；p代表候选框的类别置信度；v代表样本框的真实平移缩放参数，v＝(vx，vy，vw，vh)，(vx，vy)为样本框的中心坐标，vw，vh分别为样本框的宽度和高度；tu代表候选框的预测平移缩放参数，为候选框的中心坐标，分别为候选框的宽度和高度；x代表预测平移缩放参数tu与真实平移缩放参数v中对应的参数之差。
本实施例采用SmoothL1Loss函数计算候选框的定位损失，累加预测平移缩放参数tu与真实平移缩放参数v中对应的参数损失得到Lloc(tu,v)；若候选框与样本框无重叠，则不需要计算定位损失，只需计算分类损失。采用交叉熵作为二分类损失函数，计算分类损失(Lcls)；最终的损失函数(Ltotal)为分类损失(Lcls)与定位损失(Lloc)相加；然后利用反向传播算法对检测器网络模型进行迭代训练，使得损失函数最小化，得到最优的检测器网络模型。
作为本实施例的一个优选，在对检测器网络模型进行迭代训练的过程中还包括难例和半难例挖掘的步骤，该步骤主要是为了解决正负样本极不均衡以及标签中的噪声问题导致模型难以收敛，训练过程拉长的问题；如图7所示，根据候选框与样本框计算重叠度获得负样本索引，然后按类别置信度降序排列获得所有负样本中的top-k难例id索引，随机丢弃掉一半，将剩余部分加入网络模型继续训练。具体的：计算候选框相对于样本框的重叠度，将重叠度小于预设的重叠度阈值的候选框作为负样本；将负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将top-k难例的剩余部分输入检测器网络模型继续迭代训练；其中，K的初始大小取决于训练集的大小并且根据训练情况动态调整，本实施例中K取值100。
由于结核分枝杆菌的尺寸极小，显微拍摄的图像能够体现的特征很少，训练的过程中不仅需要大量数据，更需要有针对性的难例数据，本实施例提供的半难例挖掘可加快网络训练的收敛速度。
S5：将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；
本实施例将样本框的大小调整为32*32、64*64、96*96三个尺度作为计数器网络模型的输入；计数器网络模型采用了图像金字塔策略，融合了每个尺度的特征对检测器网络提取的候选框进行进一步筛除和分类，有效提升了预测精度和计数可靠性；具体实施如下：
如图8所示，该计数器网络模型包括三个子网络，分别接收32*32、64*64、96*96三个尺度的样本框图像，主干均选取Resnet18的前三层；分别定义三个网络最后一个卷积层，即用与特征图同等大小的卷积核作平均池化，步长等于卷积核大小。由此，每个子网络得到128个1*1的特征值，然后融合三个尺度的图像特征作为全连接层输入，全连接层预测并输出类别置信度以及图像对应的结核分枝杆菌条数。
S6：根据样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使损失函数最小化，计数器网络模型训练完成；
计数器网络模型的损失函数主要包含两部分：分类损失(Lcls)与计数损失(Lnum)，分别定义如下所示：
Ltotal(p,u,n,c)＝Lcls(p,u)+Lnum(n,c)
其中，
Lcls(p,u)＝-ulogp+(1-u)log(1-p)
Lnum(n,c)＝SmoothL1(n-c)
式中，Ltotal代表损失函数；Lcls代表分类损失；Lnum代表计数损失；u代表样本框的真实标签；p代表预测的类别置信度；c代表样本框中的结核分枝杆菌条数；n代表预测的结核分枝杆菌条数；x代表n与c的差值。
采用SmoothL1Loss函数计算回归损失Lnum，采用交叉熵作为分类损失函数，将p和u输入该函数计算类别损失Lcls；最终损失(Ltotal)为分类损失(Lcls)和计数损失(Lnum)的叠加；然后利用反向传播算法对计数器网络模型进行迭代训练，使得所述损失函数最小化，得到最优的计数器网络模型。
计数器网络在检测器网络的基础上，进一步对候选框进行了筛选，提高了预测精确度，同时还统计了杆菌总数，辅助医生对患者的病情判断。
在对计数器网络模型进行迭代训练的过程中同样包括难例和半难例挖掘的步骤，将挖掘的top-k难例随机丢弃掉一半，将剩余部分加入计数器网络模型继续训练，加快计数器网络模型的收敛速度。
检测器网络模型和计数器网络模型训练完成后，通过验证集对其分类和技术效果进行验证，结果如表1、2所示；
表1检测器网络实验结果
召回率 精确率
93.1％ 81.2％
表2计数器网络实验结果
相对误差 准确率
22.9％ 90.1％
表1中，召回率是指标记为结核分枝杆菌且被判断正确的数量占所有标记为结核分枝杆菌的比例；精确率是指标记为杆菌且被判断正确的数量占所有被判断为杆菌的比例；
表2中，相对误差是预测杆菌总数与实际杆菌总数的差值在实际杆菌总数中的占比；准确率是判断正确的样本(包括正样本和负样本)占所有被判断样本(从检测器网络输出到计数器网络的样本)的比例；
从实验结果可知，可体现检测器网络模型的分类性能的召回率指标大于90％，可体现计数器网络模型的计数性能的准确率指标也大于90％，至此，结核分枝杆菌自动检测模型训练完成，可用于结核分枝杆菌的自动检测和计数。
本实施例还提供了一种结核分枝杆菌自动检测系统，如图9所示，包括颜色嵌入模块、标记模块、第一预测模块、第一损失计算模块、第二预测模块和第二损失计算模块；
颜色嵌入模块用于将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；基于结核分枝杆菌染色后与背景之间的颜色差异，本实施例通过颜色嵌入方案，实现对结核分枝杆菌颜色性质的显性表征，便于后续特征提取。
标记模块用于从RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；位置信息具体包括RGBH图像小块的中心坐标、宽度和高度；
第一预测模块用于将训练集合输入检测器网络模型中，生成多尺度的候选框并预测候选框的类别置信度和位置信息；该类别置信度的取值范围在[0,1]之间，类别置信度越接近1，表明候选框为正样本的概率越大；类别置信度越接近0，表明候选框为负样本的概率越大；
第一损失计算模块用于根据样本框的真实标签、位置信息以及候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使损失函数最小化，检测器网络模型训练完成；
检测器网络模型的损失函数主要包含两部分：分类损失(Lcls)与定位损失(Lloc)，分别定义如下所示：
Ltotal(p,u,tu,v)＝Lcls(p,u)+Lloc(tu,v)
其中，
Lcls(p,u)＝-ulogp+(1-u)log(1-p)
式中，Ltotal代表损失函数；Lcls代表分类损失；Lloc代表定位损失；u代表样本框的真实标签；p代表候选框的类别置信度；v代表样本框的真实平移缩放参数，v＝(vx，vy，vw，vh)，(vx，vy)为样本框的中心坐标，vw，vh分别为样本框的宽度和高度；tu代表候选框的预测平移缩放参数，为候选框的中心坐标，分别为候选框的宽度和高度；x代表预测平移缩放参数tu与真实平移缩放参数v中对应的参数之差。
本实施例第一损失计算模块采用SmoothL1Loss函数计算候选框的定位损失，累加预测平移缩放参数tu与真实平移缩放参数v中对应的参数损失得到Lloc(tu,v)；若候选框与样本框无重叠，则不需要计算定位损失，只需计算分类损失；采用交叉熵作为二分类损失函数，计算分类损失(Lcls)；第一损失计算模块累加分类损失(Lcls)与定位损失(Lloc)得到最终的损失函数(Ltotal)；然后利用反向传播算法对检测器网络模型进行迭代训练，使得损失函数最小化，得到最优的检测器网络模型。
第二预测模块用于对训练集合中的样本框进行不同尺度裁剪后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；本实施例将样本框裁剪为成32*32、64*64、96*96三个尺度作为计数器网络模型的输入；计数器网络模型采用了图像金字塔策略，融合了每个尺度的特征对检测器网络提取的候选框进行进一步筛除和分类，有效提升了预测精度和计数可靠性；
第二损失计算模块用于根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成；
计数器网络模型的损失函数主要包含两部分：分类损失(Lcls)与计数损失(Lnum)，分别定义如下所示：
Ltotal(p,u,n,c)＝Lcls(p,u)+Lnum(n,c)
其中，
Lcls(p,u)＝-ulogp+(1-u)log(1-p)
Lnum(n,c)＝SmoothL1(n-c)
式中，Ltotal代表损失函数；Lcls代表分类损失；Lnum代表计数损失；u代表样本框的真实标签；p代表预测的类别置信度；c代表样本框中的结核分枝杆菌条数；n代表预测的结核分枝杆菌条数；x代表n与c的差值。
第二损失计算模块采用SmoothL1Loss函数计算回归损失Lnum，采用交叉熵作为分类损失函数，将p和u输入该函数计算类别损失Lcls；最终损失(Ltotal)为分类损失(Lcls)和计数损失(Lnum)的叠加；然后利用反向传播算法对计数器网络模型进行迭代训练，使得损失函数最小化，得到最优的计数器网络模型。
作为本实施例的一个优选，该结核分枝杆菌自动检测系统还包括难例筛选模块；该难例筛选模块用于计算候选框相对于样本框的重叠度，将重叠度小于预设的重叠度阈值的候选框作为负样本；将负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将top-k难例的剩余部分输入检测器网络模型继续迭代训练。
由于结核分枝杆菌的尺寸极小，显微拍摄的图像能够体现的特征很少，训练的过程中不仅需要大量数据，更需要有针对性的难例数据，本实施例提供的半难例挖掘可加快网络训练的收敛速度。
作为本实施例的一个优选，该结核分枝杆菌自动检测系统还包括候选框筛选模块，该候选框筛选模块主要用于将第一预测模块输出的多个候选框的类别置信度与预设的置信度阈值进行比较，若类别置信度小于给定阈值则舍弃；在计数之前以类别置信度位指标对候选框进行进一步筛选，舍弃属于正样本的概率较低的候选框，减小后续计数过程的计算量，有利于提高计数效率，缩短检测过程。
另外，根据类别置信度对候选框进行初步筛选后，该候选框筛选模块还对候选框进行非最大值抑制，具体的：候选框筛选模块按照类别置信度从大到小的顺序对保留的各候选框进行排序，依次计算排序后相邻两个候选框的重叠度，当重叠度大于预设的重叠度阈值时舍弃类别置信度低的候选框。筛选原则为若两个候选框的重叠度大于0.3，则只选取置信度较高的候选框。然后根据非极大值抑制后的候选框坐标从原始图像中截取给定大小的图像块送到计数器网络模型中。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种结核分枝杆菌自动检测模型的训练方法，其特征在于，所述结核分枝杆菌自动检测模型包括检测器网络模型和计数器网络模型，所述训练方法包括以下步骤：
S1：将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；
S2：从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；
S3：将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；
S4：根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；
S5：将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；
S6：根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成。
2.如权利要求1所述的结核分枝杆菌自动检测模型的训练方法，其特征在于，步骤S14中还包括以下步骤：
计算候选框相对于样本框的重叠度，将所述重叠度小于预设的重叠度阈值的候选框作为负样本；将所述负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将所述top-k难例的剩余部分输入检测器网络模型继续迭代训练。
3.如权利要求1或2所述的结核分枝杆菌自动检测模型的训练方法，其特征在于，所述检测器网络模型的损失函数为：
Ltotal(p,u,tu,v)＝Lcls(p,u)+Lloc(tu,v)
其中，
Lcls(p,u)＝-ulogp+(1-u)log(1-p)
式中，Ltotal代表损失函数；Lcls代表分类损失；Lloc代表定位损失；u代表样本框的真实标签；p代表候选框的类别置信度；v代表样本框的真实平移缩放参数，v＝(vx，vy，vw，vh)，(vx，vy)为样本框的中心坐标，vw，vh分别为样本框的宽度和高度；tu代表候选框的预测平移缩放参数， 为候选框的中心坐标，分别为候选框的宽度和高度；x代表预测平移缩放参数tu与真实平移缩放参数v中对应的位置参数之差。
4.如权利要求3所述的结核分枝杆菌自动检测模型的训练方法，其特征在于，所述计数器网络模型的损失函数为：
Ltotal(p,u,n,c)＝Lcls(p,u)+Lnum(n,c)
其中，
Lcls(p,u)＝-ulogp+(1-u)log(1-p)
Lnum(n,c)＝SmoothL1(n-c)
式中，Ltotal代表损失函数；Lcls代表分类损失；Lnum代表计数损失；u代表样本框的真实标签；p代表预测的类别置信度；c代表样本框中的结核分枝杆菌条数；n代表预测的结核分枝杆菌条数；x代表n与c的差值。
5.一种结核分枝杆菌自动检测系统，其特征在于，包括颜色嵌入模块、标记模块、第一预测模块、第一损失计算模块、第二预测模块和第二损失计算模块；
所述颜色嵌入模块用于将染色后的结核分枝杆菌涂片图像从RGB图像空间投影到HSV颜色空间，获取色调空间信息并将其嵌入RGB图像空间中，得到RGBH样本图像；
所述标记模块用于从所述RGBH样本图像上提取出多个样本框并进行标记，生成训练集合；标记信息包括样本框的真实标签、位置信息和结核分枝杆菌条数；若样本框中包含结核分枝杆菌则该样本框的真实标签为正样本，否则为负样本；
所述第一预测模块用于将所述训练集合输入检测器网络模型中，生成多尺度的候选框并预测所述候选框的类别置信度和位置信息；
所述第一损失计算模块用于根据所述样本框的真实标签、位置信息以及所述候选框的类别置信度和位置信息计算检测器网络模型的损失函数；对检测器网络模型进行迭代训练以使所述损失函数最小化，检测器网络模型训练完成；
所述第二预测模块用于将训练集合中的每一个样本框调整为多个尺度后输入计数器网络模型中，得到不同尺度样本框的特征值；将不同尺度的特征值进行融合并预测其类别置信度和对应的结核分枝杆菌条数；
所述第二损失计算模块用于根据所述样本框的真实标签、结核分枝杆菌条数以及预测的类别置信度和杆菌条数计算计数器网络模型的损失函数；对计数器网络模型进行迭代训练以使所述损失函数最小化，计数器网络模型训练完成。
6.如权利要求5所述的结核分枝杆菌自动检测系统，其特征在于，还包括难例筛选模块；
所述难例筛选模块用于计算候选框相对于样本框的重叠度，将所述重叠度小于预设的重叠度阈值的候选框作为负样本；将所述负样本按照类别置信度降序排列，获取前K个候选框作为top-k难例并随机丢弃部分，将所述top-k难例的剩余部分输入检测器网络模型继续迭代训练。
7.如权利要求5或6所述的结核分枝杆菌自动检测系统，其特征在于，还包括候选框筛选模块；
所述候选框筛选模块用于将第一预测模块输出的候选框的类别置信度与预设的置信度阈值进行比较，删除类别置信度小于预设的置信度阈值的候选框。
8.如权利要求7所述的结核分枝杆菌自动检测系统，其特征在于，所述候选框筛选模块还用于对所述候选框进行非最大值抑制，按照类别置信度从大到小的顺序对候选框进行排序，依次计算排序后相邻两个候选框的重叠度，当所述重叠度大于预设的重叠度阈值时舍弃类别置信度低的候选框。
CN201910563610.5A 2019-06-26 2019-06-26 结核分枝杆菌自动检测模型的训练方法及自动检测系统 Active CN110322438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910563610.5A CN110322438B (zh) 2019-06-26 2019-06-26 结核分枝杆菌自动检测模型的训练方法及自动检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910563610.5A CN110322438B (zh) 2019-06-26 2019-06-26 结核分枝杆菌自动检测模型的训练方法及自动检测系统

Publications (2)

Publication Number Publication Date
CN110322438A true CN110322438A (zh) 2019-10-11
CN110322438B CN110322438B (zh) 2021-09-14

Family

ID=68121271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910563610.5A Active CN110322438B (zh) 2019-06-26 2019-06-26 结核分枝杆菌自动检测模型的训练方法及自动检测系统

Country Status (1)

Country Link
CN (1) CN110322438B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079620A (zh) * 2019-12-10 2020-04-28 北京小蝇科技有限责任公司 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111105422A (zh) * 2019-12-10 2020-05-05 北京小蝇科技有限责任公司 一种网织红细胞分类计数模型构建方法及应用
CN111160406A (zh) * 2019-12-10 2020-05-15 北京达佳互联信息技术有限公司 图像分类模型的训练方法、图像分类方法及装置
CN111489369A (zh) * 2020-03-24 2020-08-04 玖壹叁陆零医学科技南京有限公司 幽门螺杆菌的定位方法、装置和电子设备
CN112669261A (zh) * 2020-12-08 2021-04-16 山东省科学院海洋仪器仪表研究所 一种水体菌落总数的自动计数方法
CN113033719A (zh) * 2021-05-27 2021-06-25 浙江啄云智能科技有限公司 目标检测处理方法、装置、介质及电子设备
CN113051961A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 深度图人脸检测模型训练方法、系统、设备及存储介质
CN113066078A (zh) * 2021-04-15 2021-07-02 上海找钢网信息科技股份有限公司 管状物计数、模型的训练方法、设备及存储介质
CN113240640A (zh) * 2021-05-13 2021-08-10 广东粤港供水有限公司 菌落计数方法、装置及计算机可读存储介质
WO2021159774A1 (zh) * 2020-02-13 2021-08-19 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN115578553A (zh) * 2022-11-22 2023-01-06 河南知微生物工程有限公司 一种基于时序图像序列的甲醛的快速检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006116029A2 (en) * 2005-04-21 2006-11-02 Pareskevakos, Theodore, G. System and method for intelligent currency validation
CN102184420A (zh) * 2011-04-18 2011-09-14 四川大学 一种免疫组化数字图像处理方法
US20160189381A1 (en) * 2014-10-27 2016-06-30 Digimarc Corporation Signal detection, recognition and tracking with feature vector transforms
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法
WO2018102748A1 (en) * 2016-12-01 2018-06-07 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
CN108376400A (zh) * 2018-02-12 2018-08-07 华南理工大学 一种骨髓细胞自动分类方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CN108830858A (zh) * 2018-06-20 2018-11-16 天津大学 一种基于红外和光学影像双模成像信息的活体菌落计数方法
CN109102515A (zh) * 2018-07-31 2018-12-28 浙江杭钢健康产业投资管理有限公司 一种基于多列深浅卷积神经网络的细胞计数方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN109903282A (zh) * 2019-02-28 2019-06-18 安徽省农业科学院畜牧兽医研究所 一种细胞计数方法、系统、装置和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006116029A2 (en) * 2005-04-21 2006-11-02 Pareskevakos, Theodore, G. System and method for intelligent currency validation
CN102184420A (zh) * 2011-04-18 2011-09-14 四川大学 一种免疫组化数字图像处理方法
US20160189381A1 (en) * 2014-10-27 2016-06-30 Digimarc Corporation Signal detection, recognition and tracking with feature vector transforms
CN106600577A (zh) * 2016-11-10 2017-04-26 华南理工大学 一种基于深度反卷积神经网络的细胞计数方法
WO2018102748A1 (en) * 2016-12-01 2018-06-07 Berkeley Lights, Inc. Automated detection and repositioning of micro-objects in microfluidic devices
CN108376400A (zh) * 2018-02-12 2018-08-07 华南理工大学 一种骨髓细胞自动分类方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CN108830858A (zh) * 2018-06-20 2018-11-16 天津大学 一种基于红外和光学影像双模成像信息的活体菌落计数方法
CN109166100A (zh) * 2018-07-24 2019-01-08 中南大学 基于卷积神经网络的多任务学习细胞计数方法
CN109102515A (zh) * 2018-07-31 2018-12-28 浙江杭钢健康产业投资管理有限公司 一种基于多列深浅卷积神经网络的细胞计数方法
CN109886286A (zh) * 2019-01-03 2019-06-14 武汉精测电子集团股份有限公司 基于级联检测器的目标检测方法、目标检测模型及系统
CN109903282A (zh) * 2019-02-28 2019-06-18 安徽省农业科学院畜牧兽医研究所 一种细胞计数方法、系统、装置和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHAO LI等: "DeepMitosis: Mitosis detection via deep detection, verification and segmentation networks", 《MEDICAL IMAGE ANALYSIS》 *
JUSTIN L. WANG ET AL.: "Classification of White Blood Cells with PatternNet-fused Ensemble of Convolutional Neural Networks (PECNN)", 《2018 IEEE INTERNATIONAL SYMPOSIUM ON SIGNAL PROCESSING AND INFORMATION TECHNOLOGY(ISSPIT)》 *
WEIDI XIE等: "Microscopy cell counting and detection with fully convolutional regression networks", 《COMPUTER METHODS IN BIOMECHANICS AND BIOMEDICAL ENGINEERING: IMAGING & VISUALIZATION》 *
XING WANG等: "SO-YOLO Based WBC Detection With Fourier", 《IEEE ACCESS》 *
刘树杰: "基于卷积神经网络的红细胞检测和计数方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105422A (zh) * 2019-12-10 2020-05-05 北京小蝇科技有限责任公司 一种网织红细胞分类计数模型构建方法及应用
CN111160406A (zh) * 2019-12-10 2020-05-15 北京达佳互联信息技术有限公司 图像分类模型的训练方法、图像分类方法及装置
CN111105422B (zh) * 2019-12-10 2024-03-08 北京小蝇科技有限责任公司 一种网织红细胞分类计数模型构建方法及应用
CN111079620B (zh) * 2019-12-10 2023-10-17 北京小蝇科技有限责任公司 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN111079620A (zh) * 2019-12-10 2020-04-28 北京小蝇科技有限责任公司 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN113051961A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 深度图人脸检测模型训练方法、系统、设备及存储介质
WO2021159774A1 (zh) * 2020-02-13 2021-08-19 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
CN111489369B (zh) * 2020-03-24 2024-02-13 玖壹叁陆零医学科技南京有限公司 幽门螺杆菌的定位方法、装置和电子设备
CN111489369A (zh) * 2020-03-24 2020-08-04 玖壹叁陆零医学科技南京有限公司 幽门螺杆菌的定位方法、装置和电子设备
CN112669261A (zh) * 2020-12-08 2021-04-16 山东省科学院海洋仪器仪表研究所 一种水体菌落总数的自动计数方法
CN113066078A (zh) * 2021-04-15 2021-07-02 上海找钢网信息科技股份有限公司 管状物计数、模型的训练方法、设备及存储介质
CN113240640A (zh) * 2021-05-13 2021-08-10 广东粤港供水有限公司 菌落计数方法、装置及计算机可读存储介质
CN113033719A (zh) * 2021-05-27 2021-06-25 浙江啄云智能科技有限公司 目标检测处理方法、装置、介质及电子设备
CN115578553A (zh) * 2022-11-22 2023-01-06 河南知微生物工程有限公司 一种基于时序图像序列的甲醛的快速检测方法

Also Published As

Publication number Publication date
CN110322438B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN110322438A (zh) 结核分枝杆菌自动检测模型的训练方法及自动检测系统
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN109886307A (zh) 一种基于卷积神经网络的图像检测方法及系统
CN109685776A (zh) 一种基于ct图像的肺结节检测方法及系统
CN107133955B (zh) 一种多层次结合的协同显著性检测方法
CN109977790A (zh) 一种基于迁移学习的视频烟雾检测与识别方法
CN105844621A (zh) 一种印刷品质量检测方法
CN108389201A (zh) 基于3d卷积神经网络与深度学习的肺结节良恶性分类方法
CN107123123A (zh) 基于卷积神经网络的图像分割质量评价方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN110378232B (zh) 改进的ssd双网络的考场考生位置快速检测方法
CN109767422A (zh) 基于深度学习的管道检测识别方法、存储介质及机器人
CN107832802A (zh) 基于人脸比对的人脸图像质量评价方法及装置
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN105243356B (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN110874577B (zh) 一种基于深度学习的证件照的自动审核方法
CN107688786A (zh) 一种基于级联卷积神经网络的人脸检测方法
CN109766936A (zh) 基于信息传递和注意力机制的图像变化检测方法
CN109670405A (zh) 一种基于深度学习的复杂背景行人检测方法
CN101364263A (zh) 对图像进行皮肤纹理检测的方法及系统
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN108460790A (zh) 一种基于一致性预测器模型的视觉跟踪方法
CN107480607A (zh) 一种智能录播系统中站立人脸检测定位的方法
CN108765409A (zh) 一种基于ct图像的候选结节的筛选方法
CN111080596A (zh) 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant