CN108021903A - 基于神经网络的人工标注白细胞的误差校准方法及装置 - Google Patents

基于神经网络的人工标注白细胞的误差校准方法及装置 Download PDF

Info

Publication number
CN108021903A
CN108021903A CN201711374057.8A CN201711374057A CN108021903A CN 108021903 A CN108021903 A CN 108021903A CN 201711374057 A CN201711374057 A CN 201711374057A CN 108021903 A CN108021903 A CN 108021903A
Authority
CN
China
Prior art keywords
cell
image
cells
classification
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711374057.8A
Other languages
English (en)
Other versions
CN108021903B (zh
Inventor
曹汛
洪羽萌
沈瀚
闫锋
张丽敏
杨程
蔡悦
夏永泉
李智洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201711374057.8A priority Critical patent/CN108021903B/zh
Publication of CN108021903A publication Critical patent/CN108021903A/zh
Application granted granted Critical
Publication of CN108021903B publication Critical patent/CN108021903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种基于神经网络的人工标注白细胞的误差校准方法及装置。校准方法包括：S1获取原始图像；S2对图像做预处理；S3分割白细胞并提取细胞的边缘像素点坐标；S4挑选特征明显的细胞作为训练数据，其余细胞为测试数据，训练网络；S5用softmax分类器为测试细胞打分，根据得分情况将测试细胞分成具体类别和子分类；S6对训练细胞和子分类细胞做极坐标数据增强；S7将增强后的训练图像重新训练，用子分类图像测试并打分；S8根据得分情况，剔除不在指定类别中的细胞并将其他细胞划分到具体类别。本发明在分类过程中能剔除对分类无意义的干扰细胞，并且能将外周血白细胞分成若干小类，大大增加了细胞分类的准确率。

Description

基于神经网络的人工标注白细胞的误差校准方法及装置
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于神经网络的人工标注白细胞的误差校准方法及装置。
背景技术
近年来，随着人工智能在各个领域的迅猛发展，在医学病理检测中，如何利用人工智能代替医生的手动操作来检测并分类各种细胞，成为广泛关注的热点问题。人工智能检测并分类细胞的过程如下：首先获取待检测细胞的已标记训练样本，经过神经网络的训练，学习到各个分类的特征，再将测试细胞输入网络中，网络即可根据学习到的参数，对细胞进行智能分类。
目前，在医学检验科，现有的血液检测过程大致分为两个步骤：
第一步是采用血液分析仪。该仪器可将白细胞分成淋巴细胞、单核细胞、嗜酸性细胞、嗜碱性细胞和中性粒细胞五大类。目前用作五分类的检测技术有四种,即电阻抗、高频电导和激光散射联合检测法(即VCS技术)；电阻抗和射频电导联合检测法；激光散射和细胞化学染色联合检测法；以及多角度激光偏振光散射检测法。在VCS技术中，细胞壁、细胞和与细胞内颗粒对电流的阻抗不同，因此可以用来区分白细胞；激光散射对细胞颗粒的构型和密度的区别能力强,可以借此将粒细胞区分开。电阻抗和射频电导联合检测法在细胞悬浮液中加入特定的溶血剂使红细胞溶解,对白细胞进行电阻抗法(测量细胞体积)和射频电导法(检测细胞核和颗粒密度)的联合检测,从而将白细胞分成淋巴细胞、单核细胞和中性粒细胞三个群体。在激光散射和细胞化学染色联合检测法中，不同细胞的着色强度不同，借助于对着色强度和激光散射的检测并结合特异性溶血剂,不仅可对白细胞分类,还可检出异常白细胞。多角度激光偏振光散射检测法仪器同时从四个角度测量通过激光束的细胞所产生的散射光,根据光散射角度的大小分类不同细胞。
第二步是采用流式细胞仪。经过血液分析仪的粗略筛选，大致分类出5类白细胞，然后将指标异常的血液样本输入流式细胞计中，精确检测某一特定分类的细胞，如淋巴细胞，从而检测淋巴性白血病等疾病。流式细胞仪主要由四部分组成：流动室和液流系统；激光源和光学系统；光电管和检测系统；计算机和分析系统。该仪器的判断信息主要来自特异性荧光信号及非荧光散射信号。
上述血液检测过程具有以下缺点：检测血细胞的步骤繁琐，需先要粗略检测5类细胞，再针对某一特定细胞重新检测，且检测的误诊率高。并且细胞分类数目太少，只能分出5大类，对影响疾病检测的某些小分类细胞无法识别；如果要增加对某一小分类的识别，需要增加染剂等一系列措施，造价高昂，程序繁琐。
发明内容
针对上述现有技术中存在的缺陷，为了提高外周血白细胞分类的准确度、扩大分类数目、改进分类结构，本发明的目的是提供一种基于神经网络的人工标注白细胞的误差校准方法，能够在大量的测试细胞中，排除无用细胞的干扰，并且能准确高效地把外周血白细胞分成9类。本发明的另外一个目的是提供实现该方法的装置。
为了实现上述发明目的，本发明方法采用的技术方案如下：
基于神经网络的人工标注白细胞的误差校准方法，包括如下步骤：
S1，获取染色血细胞的原始RGB图像；
S2，将原始RGB图像映射到HSV空间中，分离出S通道；
S3，绘制S通道图像的直方图，根据阈值范围将S通道图像二值化，得到细胞的二值图像；
S4，将二值图像进行一系列形态学处理；
S5，用连通域的方法提取经形态学处理后的细胞图像的边缘像素点，找到细胞上下左右的边缘像素点，然后分割细胞；
S6，挑选分割后细胞的图像，将每一类中特征明显的细胞图像作为训练细胞输入深度残差网络中，训练网络；
S7，将挑选后剩余的细胞作为测试细胞，用softmax分类器为测试细胞打分；如果最大分数大于或等于设定阈值，则归为某类；如果最大分数小于设定阈值，则归入子分类中；
S8，取步骤S6中训练细胞以及子分类中细胞边缘的任一像素点为极点，建立极坐标系，将所有像素点用极坐标变换一一映射到直角坐标系中；
S9，对于训练细胞，遍历细胞的边缘像素点，每个像素点产生一张变换后的图像，每张图像有n个像素点，即变换n次；对于子分类中细胞，每张图像只变换一次；
S10，将训练细胞变换后的图像作为子分类网络的输入，重新训练深度残差网络，并保存网络参数；将子分类中细胞变换后的图像作为测试数据，用softmax分类器再次打分：如果细胞图像的最大得分大于或等于设定阈值，则该细胞图像归为某一子分类；如果最大得分小于设定阈值，则该细胞图像归为未分类细胞。
本发明装置采用的技术方案如下：
基于神经网络的人工标注白细胞的误差校准装置，包括：原始图像获取模块，用于获取血细胞的原始图像；图像预处理模块，用于定位血细胞原始图像中的白细胞部分；细胞分割模块，用于把白细胞从背景中分割出来，去除周围的红细胞，保留细胞浆和细胞核；细胞边缘提取模块，用于提取白细胞的边缘像素点信息，放大子分类细胞特征；数据标注模块，用于把指定类别中特征明显的白细胞挑选出来并标注，作为网络的训练数据，剩余白细胞作为测试数据，无需标注；细胞边缘提取模块，用于提取白细胞的边缘像素点信息，放大子分类细胞特征；神经网络训练模块，用于学习已标记样本的特征；Softmax分类器打分模块，用于对白细胞的综合特征打分，以此判断所属类别；图像数据增强模块，用于增大训练样本数，放大子分类细胞的边缘特征，平衡已标记细胞的数据量；子分类重分类模块，用于对归到子分类的细胞重新分类；白细胞分类模块，用于对白细胞总体数据做分类。
本发明提供了一种基于多分类神经网络结构的人工标注白细胞的误差校准方法，能将外周血白细胞的分类从现有的5分类扩大为9分类或以上，同时在分类过程中剔除对分类无意义的干扰细胞；并且能把原本不能有效分类的淋巴类细胞和中性粒细胞分成若干小类，大大增加了细胞分类的准确率，为疾病检测提供了更为精确的判断依据，减少了人工判断的时间。同时，利用神经网络训练并分类细胞，方便快捷，与现有方法比较，在人工成本和造价方面，有显著优势。
附图说明
图1是本发明实施例中外周血白细胞分类结构图。
图2是本发明实施例中分类网络的流程示意图。
图3是本发明实施例中深度残差网络的结构示意图。
图4是本发明实施例中softmax分类器的计算示意图。
图5是本发明实施例中细胞在分类过程中的处理结果示意图。
图6是本发明校准方法的流程图。
图7是本发明校准装置的结构示意图。
具体实施方式
为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。
实施例1
本实施例提供了一种基于神经网络的人工标注白细胞的误差校准方法，参见图6，具体包括：
S1：将原始的RGB图像映射到HSV空间中，分离出S通道。
外周血涂片在显微镜下的图像中包括白细胞、红细胞和血小板等。经过染色，白细胞核与血小板呈紫色，白细胞浆呈淡紫色，红细胞呈淡粉色。用DP27相机拍摄血细胞图片传到计算机中，获取原始的RGB图像。
首先尝试分离RGB通道，发现在这三个通道下，图像中的各类细胞无法有效区分。将RGB图像映射到HSV空间中，并且分离H、S、V三个通道，发现在S通道中，各类血细胞的区分度最高。
S2：绘制S通道图像的直方图，根据阈值范围将S通道图像二值化，得到细胞的二值图像。
白细胞(包括紫色细胞核与淡紫色细胞浆)为前景，其余细胞为背景。根据S通道直方图的波峰和波谷，找到分离前景与背景的临界点为0.229和0.184，像素值大于0.184且小于0.229的点为背景，将其设为0；像素值小于或等于0.184的点为白细胞浆所在点，为前景，将其设为255；像素值大于或等于0.229的点为白细胞核所在点，为前景，将其设为255；
S3：对上述图像进行一系列形态学运算，提取细胞边缘像素坐标信息。
具体地，先对二值图像进行填充运算，填补由于染色不均形成的漏洞。然后用bwareaopen函数去除小块，将颜色与细胞核相同的血小板去掉。再用1×1的模板进行闭运算处理，平滑细胞边缘区域。最后再次填充细胞，防止空洞。
S4：对经过步骤S3处理后的图像进行分割，得到带有边缘红细胞的细胞图像，图像大小为n*n。
具体地，在外周血白细胞的分类结构中，参见图1，各大类细胞形态差别较大，而子分类细胞形态差别较小。在淋巴类细胞中，大颗粒淋巴细胞和异型淋巴细胞最难区分，目前的血液分析仪等检测器不能有效分类这两种淋巴类细胞，造成很大误诊率，需要医生的人工判断。而上述两种细胞的差别在于细胞浆与红细胞的接触边缘有无变形和颜色是否加深。因此，单纯分割出淋巴类细胞并不能进行有效分类。本方法保留淋巴类细胞和红细胞接触的边缘区域。
采用连通域的方法提取处理后的细胞图像的边缘像素点，找到细胞上下左右的边缘像素点，分割细胞，这里采用8邻域连通，具体为：
(1)首先从上往下、从左往右对图像进行扫描，找到连通区域的第一个目标段，标记该段并且压入堆栈，作为“区域增长”的种子段；
(2)检查当前段的上下两行是否有重叠且未标记的目标段；如果不存在重叠的目标段，则把当前段弹出堆栈；如果存在重叠且未标记的目标段，则标记该段并且压入堆栈，作为新的“种子段”；本行目标段(Xs1,Xe1)和上下两行目标段(Xs2,Xe2)重叠的准则是：
Xs1-1≤Xe2并且Xe1+1≥Xs2；
其中，Xs1表示本行目标段的起始坐标，Xe1表示本行目标段的结束坐标。Xs2表示上下两行目标段的起始坐标，Xe2表示上下两行目标段的结束坐标。
(3)后续操作不断从堆栈中取出种子段，重复步骤(2)直到堆栈为空，即标记完一个连通区域；
(4)接着搜索图像中下一个未标记的连通区域，重复上述步骤(1)-(3)直到图像中所有的连通区域标记完毕。
设连通区域总数为num，则对每一个区域inum，找出行的最小值与最大值：x1，x2，找出列的最小值与最大值：y1，y2。考虑到神经网络的输入，将图片大小统一设置成224×224。这样既能保留边缘的红细胞信息，又能利于网络的计算。
S5，将分割后的图像作为深度残差网络(ResNet)的输入，训练网络。
具体地，本方法采用的神经网络为深度残差网络，即ResNet，层数为152层。网络结构参见图3。这个网络的优点是，随着层数的增加，网络的精度不断上升，不会出现梯度爆炸和梯度弥散的现象。网络中的残差模块如图3所示，其中H(x)是某一层原始的期望输出，x是输入。通过在输入和输出之间引入一个恒等映射，可以让输入直达输出，而优化的目标由原来的拟合输出H(x)变成输出与输入的差H(x)-x，网络学习的难度下降，由原本学习一个新函数变成学习一个趋近于零的数，这样加快了收敛速度，对细胞间微小的差异更加敏感。
经医学检验科确认，目前对外周血白细胞的分类为5分类，而更理想的类别数为9类。在此类别之外的细胞对疾病的检测无重大影响，可以忽略。因此，挑选分割后的细胞数据，标注指定类别中特征明显的细胞，将这些特征明显的细胞作为训练数据，占总数据的2/3，剩余未标注的细胞为测试数据，占总数据的1/3。将训练数据输入深度残差网络中，经过网络的学习，得到checkpoint文件，该文件存储了网络模型的各类参数。
S6，用softmax分类器为测试细胞打分，如果分数大于或等于设定阈值，则归为某类；如果分数小于设定阈值，则归入子分类中。
在深度残差网络的末端接上softmax分类器作为输出层。Softmax分类器在多分类过程中，将每个神经元的输出，映射到(0,1)区间内，所有的输出之和为1。这样，每个神经元的输出就代表了输入图片是某一类细胞的概率。在选取输出节点时，将概率最大的输出作为输入图片的预测分类。对每一张输入细胞图像来说，设输入细胞图像的分类总数为V，Vi表示第i个分类，那么这个图像的softmax值Si为
其中，1≤i≤V。
比较所有的Si值，找出其中最大的值Smax，当Smax大于设定阈值时，Smax所在分类即为输入细胞图像的正确分类；当Smax小于设定阈值时，将该细胞图像归为子分类中，作为下一层网络的输入数据。
S7：取步骤S6中训练细胞以及子分类中细胞边缘任一坐标点为极点，建立极坐标系，将其余像素点通过极坐标变换得到直角坐标，得到新图像。
在一张M×N大小的图像I中，取直角坐标系中细胞边缘的任一像素点(m,n)为极点，建立极坐标系；用M条射线将2π划分成M个角度，单位角度为2π/M；那么在极坐标射线上的每个像素都可以用直角坐标表示为(m+x，n+y)，也可以用极坐标表示为(θu,v)，其中，
θu＝2π·u/M
x＝v·cos(θu)
y＝v·sin(θu)
设变换后的图像为如果满足条件0≤m+x＜M且0≤n+y＜V，即确保点(m+x,n+y)落在图像I内，则
即可得到变换后的新图像作为数据增强的结果。
S8：对于训练细胞，每张训练图像对该图像中所有边缘像素点做极坐标变换，产生若干张变换后的图像，如果有n个像素点，就会产生n张变换的图像，作为扩充训练量的方法。对于子分类中的细胞，仅做一次极坐标变换，产生一张变换后图像，用作测试即可。
S9，将训练细胞变换后的图像作为子分类网络的输入，重新训练网络，并保存网络参数。将子分类细胞变换后的图像作为测试数据，用softmax分类器再次打分：如果子分类中的图像的得分大于或等于设定阈值，则归为某一子分类；如果得分小于设定阈值，则归为未分类细胞。
对于子分类中的数据，因为其在上一层网络中没有达到确定分类的临界值，无法归为某一类细胞，所以将训练数据做极坐标变换数据增强，放大边缘特征。将放大特征后的数据作为子分类网络的输入数据，重新训练并学习细胞的特征。重复S9，继续用softmax分类器为每张测试细胞图像打分，如果最大得分超过设定阈值，则将该细胞分类到产生最大得分的类别下；如果最大得分没有超过设定阈值，则说明该细胞没有明显的指定类别的特征，不属于任何指定类别。将其作为分类过程中的干扰项，划分到未分类细胞中。
实施例2
参见图7，本实施例提供了一种基于神经网络的人工标注白细胞的误差校准装置，包括：
原始图像获取模块201，用于获取白细胞的原始显微图像；
本装置采用Olympus显微镜和DP27相机的组合获取原始图像。在400倍放大条件下，加入镜油后采集图像，得到分辨率为2448×1920的tif图像。
图像预处理模块202，用于定位血细胞显微图像中的白细胞部分；
具体地，以400倍显微镜拍摄的血涂片为例，一张图片有数个白细胞和无数红细胞。先从大图中利用阈值粗略分割出白细胞，保存为指定大小的图片，每张图片中只有一个白细胞。再对图像做二值化、填充、开运算、去除小块等运算，将白细胞准确定位在图片中心位置。
细胞分割模块203，用于把白细胞从背景中分割出来，去除周围的红细胞和血小板，保留细胞浆和细胞核；
细胞边缘提取模块204，用于提取白细胞的边缘像素点信息，放大子分类细胞特征；
具体地，在外周血白细胞分类结构中，处于子分类的细胞为各大类细胞中的子类，或者是指定类别外的干扰细胞。各大类细胞中的子类细胞的形态十分相似，而这些细胞的差别在于边缘区域。将细胞的边缘区域像素点信息提取出来，有利于子分类细胞的判断。
数据标注模块，用于把指定类别中特征明显的白细胞挑选出来并标注，作为网络的训练数据，剩余白细胞作为测试数据，无需标注；
具体地，经过上述几个模块的处理，计算机可以采集到数以万计的白细胞图像，在这些图像中，有对疾病诊断至关重要的细胞，也有不影响诊断结果的细胞。因此，先通过人工标注，挑选出对疾病检测有影响的9类细胞，这部分细胞要求特征明显，便于网络的学习。其他细胞则作为测试细胞，让网络来分类。
神经网络训练模块205，用于学习已标记样本的特征；
具体地，本实例采用深度残差网络ResNet进行学习。将输入图片向量化，每张图片默认大小为224×224，输入50层的ResNet中，迭代次数为1000次，初始学习率为0.001。网络末端用softmax分类器连接。训练参数保存在checkpoint文件中。
Softmax分类器打分模块206，用于对测试细胞的综合特征打分，以此判断所属类别；
具体地，若一张细胞图片的特征明显，则softmax分类器的打分情况为：细胞所属类别的打分无限趋近于1，其他类别的打分无限趋近于0。如果打分情况与上述不符，说明该细胞的特征不明显，将其归为下一层网络的测试数据中。
图像数据增强模块207，用于增大训练样本数，放大细胞的边缘特征，平衡已标记细胞的数据量；
具体地，由于子分类中的细胞区分点在于边缘特征，所以对于训练细胞来说，遍历保留的每一个边缘像素点，以该像素点为极点，做极坐标变换，将图像投射到极坐标系中，由于极坐标变换的特点，靠近极点的区域过采样，远离极点的区域欠采样。这样放大了细胞边缘的特征。对于子分类细胞来说，也要将细胞图像映射到极坐标系中，与训练数据对应。
另外，在细胞人工采集阶段，由于人体血液内各类细胞的含量不同，采集到的各类细胞个数也有很大差距。将所有细胞做数据增强，有利于平衡各类细胞的数据量。
子分类重分类模块208，用于对归到子分类的细胞重新分类；
白细胞分类模块209，用于对白细胞总体数据做分类。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。

Claims (7)

1.基于神经网络的人工标注白细胞的误差校准方法，其特征在于，包括如下步骤：
S1，获取染色血细胞的原始RGB图像；
S2，将原始RGB图像映射到HSV空间中，分离出S通道；
S3，绘制S通道图像的直方图，根据阈值范围将S通道图像二值化，得到细胞的二值图像；
S4，将二值图像进行一系列形态学处理；
S5，用连通域的方法提取经形态学处理后的细胞图像的边缘像素点，找到细胞上下左右的边缘像素点，然后分割细胞；
S6，挑选分割后细胞的图像，将每一类中特征明显的细胞图像作为训练细胞输入深度残差网络中，训练网络；
S7，将挑选后剩余的细胞作为测试细胞，用softmax分类器为测试细胞打分；如果最大分数大于或等于设定阈值，则归为某类；如果最大分数小于设定阈值，则归入子分类中；
S8，取步骤S6中训练细胞以及子分类中细胞边缘的任一像素点为极点，建立极坐标系，将所有像素点用极坐标变换一一映射到直角坐标系中；
S9，对于训练细胞，遍历细胞的边缘像素点，每个像素点产生一张变换后的图像，每张图像有n个像素点，即变换n次；对于子分类中细胞，每张图像只变换一次；
S10，将训练细胞变换后的图像作为子分类网络的输入，重新训练深度残差网络，并保存网络参数；将子分类中细胞变换后的图像作为测试数据，用softmax分类器再次打分：如果细胞图像的最大得分大于或等于设定阈值，则该细胞图像归为某一子分类；如果最大得分小于设定阈值，则该细胞图像归为未分类细胞。
2.根据权利要求1所述的基于神经网络的人工标注白细胞的误差校准方法，其特征在于，所述步骤S3中，确定阈值范围的具体方法为：以白细胞为前景，其余细胞为背景，根据S通道直方图的波峰和波谷，找到分离前景与背景的临界点为0.229和0.184；大于0.184且小于0.229的点为背景，将其像素值设为0；小于或等于0.184的点为白细胞浆所在点，为前景，将其像素值设为255；大于或等于0.229的点为白细胞核所在点，为前景，将其像素值设为255。
3.根据权利要求1所述的基于神经网络的人工标注白细胞的误差校准方法，其特征在于，所述步骤S4中，将二值图像进行一系列形态学处理的具体方法为：先对二值图像进行填充运算，填补由于染色不均形成的漏洞；然后用bwareaopen函数去除小块，将颜色与细胞核相同的血小板去掉；再用1×1的模板进行闭运算处理，平滑细胞边缘区域；最后再次填充细胞，防止空洞。
4.根据权利要求1所述的基于神经网络的人工标注白细胞的误差校准方法，其特征在于，所述步骤S6中，训练细胞占总细胞数的2/3，训练细胞经过深度残差网络学习后，得到checkpoint文件，该文件存储了网络模型的各类参数。
5.根据权利要求1所述的基于神经网络的人工标注白细胞的误差校准方法，其特征在于，所述步骤S7中，具体实现方法为：在深度残差网络的末端接上softmax分类器作为输出层，Softmax分类器在多分类过程中，将每个神经元的输出，映射到(0,1)区间内，所有的输出之和为1，这样，每个神经元的输出就代表了输入图片是某一类细胞的概率；在选取输出节点时，将概率最大的输出作为输入图片的预测分类；对每一张输入的测试细胞图像来说，设输入细胞图像的分类总数为V，Vi表示第i个分类，那么这个图像的softmax值Si为
<mrow> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msup> <mi>e</mi> <msub> <mi>V</mi> <mi>i</mi> </msub> </msup> <mrow> <msub> <mi>&amp;Sigma;</mi> <mi>j</mi> </msub> <msup> <mi>e</mi> <msub> <mi>V</mi> <mi>j</mi> </msub> </msup> </mrow> </mfrac> </mrow>
其中，1≤i≤V；
比较所有的Si值，找出其中最大的值Smax，当Smax大于设定阈值时，Smax所在分类即为输入细胞图像的预测分类；当Smax小于设定阈值时，将该细胞图像归为子分类中。
6.根据权利要求1所述的基于神经网络的人工标注白细胞的误差校准方法，其特征在于，所述步骤S8中，具体实现方法为：在一张M×N大小的图像I中，取直角坐标系中细胞边缘的任一像素点(m,n)为极点，建立极坐标系；用M条射线将2π划分成M个角度，单位角度为2π/M；那么在极坐标射线上的每个像素都可以用直角坐标表示为(m+x，n+y)，也可以用极坐标表示为(θu,v)；其中，
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;theta;</mi> <mi>u</mi> </msub> <mo>=</mo> <mn>2</mn> <mi>&amp;pi;</mi> <mo>&amp;CenterDot;</mo> <mi>u</mi> <mo>/</mo> <mi>M</mi> </mrow> </mtd> <mtd> <mrow> <mo>&amp;ForAll;</mo> <mi>u</mi> <mo>&amp;Element;</mo> <mo>{</mo> <mn>0</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <mi>M</mi> <mo>-</mo> <mn>1</mn> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>
x＝v·cos(θu)
y＝v·sin(θu)
设变换后的图像为如果满足条件0≤m+x＜M且0≤n+y＜V，即确保点(m+x,n+y)落在图像I内，则
<mrow> <msub> <mover> <mi>I</mi> <mo>~</mo> </mover> <mrow> <mi>u</mi> <mo>,</mo> <mi>v</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>I</mi> <mrow> <mi>m</mi> <mo>+</mo> <mi>x</mi> <mo>,</mo> <mi>n</mi> <mo>+</mo> <mi>y</mi> </mrow> </msub> </mrow>
即可得到变换后的新图像作为数据增强的结果。
7.基于神经网络的人工标注白细胞的误差校准装置，其特征在于，包括：
原始图像获取模块，用于获取血细胞的原始图像；
图像预处理模块，用于定位血细胞原始图像中的白细胞部分；
细胞分割模块，用于把白细胞从背景中分割出来，去除周围的红细胞，保留细胞浆和细胞核；
数据标注模块，用于把指定类别中特征明显的白细胞挑选出来并标注，作为网络的训练数据，剩余白细胞作为测试数据，无需标注；
细胞边缘提取模块，用于提取白细胞的边缘像素点信息，放大子分类细胞特征；
神经网络训练模块，用于学习已标记样本的特征；
Softmax分类器打分模块，用于对白细胞的综合特征打分，以此判断所属类别；
图像数据增强模块，用于增大训练样本数，放大子分类细胞的边缘特征，平衡已标记细胞的数据量；
子分类重分类模块，用于对归到子分类的细胞重新分类；
白细胞分类模块，用于对白细胞总体数据做分类。
CN201711374057.8A 2017-12-19 2017-12-19 基于神经网络的人工标注白细胞的误差校准方法及装置 Active CN108021903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711374057.8A CN108021903B (zh) 2017-12-19 2017-12-19 基于神经网络的人工标注白细胞的误差校准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711374057.8A CN108021903B (zh) 2017-12-19 2017-12-19 基于神经网络的人工标注白细胞的误差校准方法及装置

Publications (2)

Publication Number Publication Date
CN108021903A true CN108021903A (zh) 2018-05-11
CN108021903B CN108021903B (zh) 2021-11-16

Family

ID=62074268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711374057.8A Active CN108021903B (zh) 2017-12-19 2017-12-19 基于神经网络的人工标注白细胞的误差校准方法及装置

Country Status (1)

Country Link
CN (1) CN108021903B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272495A (zh) * 2018-09-04 2019-01-25 北京慧影明图科技有限公司 图像分析方法及装置、电子设备、存储介质
CN109360198A (zh) * 2018-10-08 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习的骨髓细胞分类方法及分类装置
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN109554432A (zh) * 2018-11-30 2019-04-02 苏州深析智能科技有限公司 一种细胞类型分析方法、分析装置及电子设备
CN109740668A (zh) * 2018-12-29 2019-05-10 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质
CN109975196A (zh) * 2019-03-01 2019-07-05 深圳大学 一种网织红细胞检测方法及其系统
CN110059656A (zh) * 2019-04-25 2019-07-26 山东师范大学 基于卷积对抗生成神经网络的白细胞分类方法及系统
CN110136149A (zh) * 2019-05-21 2019-08-16 闽江学院 基于深度神经网络的白细胞定位与分割方法
CN110415795A (zh) * 2019-08-02 2019-11-05 杭州智团信息技术有限公司 一种荧光染色ctc图像的识别方法
CN111127434A (zh) * 2019-12-25 2020-05-08 志诺维思（北京）基因科技有限公司 染色分离方法及装置
CN113139405A (zh) * 2020-01-19 2021-07-20 桂林优利特医疗电子有限公司 一种基于多峰拟合解析的细胞分类结果校正方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274339A1 (en) * 2006-11-22 2011-11-10 Drvision Technologies Llc Method for kinetic characterization from temporal image sequence
CN103473739A (zh) * 2013-08-15 2013-12-25 华中科技大学 一种基于支持向量机的白细胞图像精确分割方法与系统
CN103985119A (zh) * 2014-05-08 2014-08-13 山东大学 一种彩色血细胞图像中白细胞的细胞质和细胞核分割方法
CN104834914A (zh) * 2015-05-15 2015-08-12 广西师范大学 宫颈细胞图像特征识别方法及宫颈细胞特征识别装置
CN106248559A (zh) * 2016-07-14 2016-12-21 中国计量大学 一种基于深度学习的白细胞五分类方法
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法
CN106940889A (zh) * 2017-03-30 2017-07-11 福建师范大学 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274339A1 (en) * 2006-11-22 2011-11-10 Drvision Technologies Llc Method for kinetic characterization from temporal image sequence
CN103473739A (zh) * 2013-08-15 2013-12-25 华中科技大学 一种基于支持向量机的白细胞图像精确分割方法与系统
CN103985119A (zh) * 2014-05-08 2014-08-13 山东大学 一种彩色血细胞图像中白细胞的细胞质和细胞核分割方法
CN104834914A (zh) * 2015-05-15 2015-08-12 广西师范大学 宫颈细胞图像特征识别方法及宫颈细胞特征识别装置
CN106248559A (zh) * 2016-07-14 2016-12-21 中国计量大学 一种基于深度学习的白细胞五分类方法
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法
CN106940889A (zh) * 2017-03-30 2017-07-11 福建师范大学 基于像素邻域特征聚类的淋巴结he染色病理图像分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TSALIS ROSYADI等: "Classification of Leukocyte Images Using K-Means Clustering Based on Geometry Features", 《INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS》 *
刘晶: "自动化血细胞形态学分析及分类关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李一安: "全血细胞成像五分类算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272495A (zh) * 2018-09-04 2019-01-25 北京慧影明图科技有限公司 图像分析方法及装置、电子设备、存储介质
CN109360198A (zh) * 2018-10-08 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习的骨髓细胞分类方法及分类装置
CN109389557A (zh) * 2018-10-20 2019-02-26 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN109389557B (zh) * 2018-10-20 2023-01-06 南京大学 一种基于图像先验的细胞图像超分辨方法及装置
CN109554432A (zh) * 2018-11-30 2019-04-02 苏州深析智能科技有限公司 一种细胞类型分析方法、分析装置及电子设备
CN109740668A (zh) * 2018-12-29 2019-05-10 北京市商汤科技开发有限公司 深度模型训练方法及装置、电子设备及存储介质
CN109975196B (zh) * 2019-03-01 2021-10-08 深圳大学 一种网织红细胞检测方法及其系统
CN109975196A (zh) * 2019-03-01 2019-07-05 深圳大学 一种网织红细胞检测方法及其系统
CN110059656A (zh) * 2019-04-25 2019-07-26 山东师范大学 基于卷积对抗生成神经网络的白细胞分类方法及系统
CN110136149A (zh) * 2019-05-21 2019-08-16 闽江学院 基于深度神经网络的白细胞定位与分割方法
CN110415795A (zh) * 2019-08-02 2019-11-05 杭州智团信息技术有限公司 一种荧光染色ctc图像的识别方法
CN111127434A (zh) * 2019-12-25 2020-05-08 志诺维思（北京）基因科技有限公司 染色分离方法及装置
CN111127434B (zh) * 2019-12-25 2024-03-08 志诺维思（北京）基因科技有限公司 染色分离方法及装置
CN113139405A (zh) * 2020-01-19 2021-07-20 桂林优利特医疗电子有限公司 一种基于多峰拟合解析的细胞分类结果校正方法
CN113139405B (zh) * 2020-01-19 2024-03-05 桂林优利特医疗电子有限公司 一种基于多峰拟合解析的细胞分类结果校正方法

Also Published As

Publication number Publication date
CN108021903B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN108021903B (zh) 基于神经网络的人工标注白细胞的误差校准方法及装置
CN107977682B (zh) 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
Kazemi et al. Automatic recognition of acute myelogenous leukemia in blood microscopic images using k-means clustering and support vector machine
US6947586B2 (en) Multi-neural net imaging apparatus and method
Yang et al. Rapid detection of rice disease using microscopy image identification based on the synergistic judgment of texture and shape features and decision tree–confusion matrix method
US20190195774A1 (en) High accuracy 5-part differential with digital holographic microscopy and untouched leukocytes from peripheral blood
CN109117836A (zh) 一种基于焦点损失函数的自然场景下文字检测定位方法和装置
WO2013037119A1 (zh) 红细胞形态学分析装置及其方法
CN112580748B (zh) 一种对染色图像的分类细胞计数的方法
Anwar et al. A convolutional neural network–based learning approach to acute lymphoblastic leukaemia detection with automated feature extraction
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
CN114283407A (zh) 一种自适应的白细胞自动分割、亚类检测方法及系统
KR102624956B1 (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
US20220383629A1 (en) Label-free cell classification and screening system based on hybrid transfer learning
CN111652095A (zh) 一种基于人工智能的ctc图像识别方法和系统
CN113435493A (zh) 一种基于深度迁移学习的无标记白细胞分类系统及方法
CN113450317A (zh) 一种针对妇科临床微生物感染的免疫荧光图像检测方法
Angulo et al. Ontology-based lymphocyte population description using mathematical morphology on colour blood images
Madhloom et al. Computer-aided acute leukemia blast cells segmentation in peripheral blood images
CN114387596A (zh) 细胞病理涂片自动判读系统
Tikkanen et al. Training based cell detection from bright-field microscope images
Hurst et al. Neural net‐based identification of cells expressing the p300 tumor‐related antigen using fluorescence image analysis
Chen et al. Instance segmentation of nematode cysts in microscopic images of soil samples
EP1301894B1 (en) Multi-neural net imaging apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant