CN111062346A - 一种白细胞自动定位检测及分类识别系统及方法 - Google Patents

一种白细胞自动定位检测及分类识别系统及方法 Download PDF

Info

Publication number
CN111062346A
CN111062346A CN201911331261.0A CN201911331261A CN111062346A CN 111062346 A CN111062346 A CN 111062346A CN 201911331261 A CN201911331261 A CN 201911331261A CN 111062346 A CN111062346 A CN 111062346A
Authority
CN
China
Prior art keywords
image
white blood
module
focusing
leukocyte
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911331261.0A
Other languages
English (en)
Inventor
王瑜
李迅波
蔡吴缺
魏宏才
曾毅星
董一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911331261.0A priority Critical patent/CN111062346A/zh
Publication of CN111062346A publication Critical patent/CN111062346A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种白细胞自动定位检测及分类识别系统及方法，其特点是采用低倍物镜和高倍物镜轮换拍摄白细胞显微图像，依据白细胞显微图像的颜色属性和分布稀疏性，利用HSV变换和投影分割方法，自动定位白细胞在低倍物镜所拍摄的图像中的位置；通过区域包围盒碰撞检测，确定高倍物镜拍摄时，载物台的行走路径和拍摄位置，提高数据采集速度，减少载物台运动位置和路长，保证拍摄到完整的白细胞图像；采用深度可分离卷积神经网络模型对白细胞进行分类识别，提高网络运行效率。本发明提出的方法具有白细胞定位检测精度高，数据采集效率高，分类识别准确率高等优点。

Description

一种白细胞自动定位检测及分类识别系统及方法
技术领域
本发明涉及属于医学器械检测技术领域，具体地说，是一种采用图像分析的白细胞检测及分类识别系统及方法。
背景技术
人体血液中的白细胞包含单核、淋巴、嗜碱性粒、嗜中性粒和嗜酸性粒五类细胞。在健康情况下，白细胞的浓度和各种白细胞的比例保持相对稳定。一旦出现病理，可引起白细胞的浓度比例、形状和细胞纹理上的改变。例如：机体遭受细菌感染，中性粒细胞增多；体内免疫机能出现问题或出现癌变时，淋巴细胞的生物活性物质会发生改变。因此，在医学临床应用中，白细胞的数量、形态和比例等方面的变化能够反映机体的病理情况，可对病情做出合理预测，是人体健康状况的重要表征。白细胞分类计数是临床检验的一项重要内容，有助于医生作出正确诊断，制定治疗方案和观察疗效。
目前，白细胞分类技术主要方法有：人工目测计数法和自动计数法。前者易造成检测人员疲劳和计数误差。后者主要有阻抗、激光散射检测法和荧光染色技术。电阻抗法用于测量细胞体积大小，电阻抗和射频电导联合检测法需要采用四个检测系统来检测不同类型的细胞；多角度激光偏振光散射检测法，从四个角度来检测通过激光束的细胞所产生的散射光，不同的散射角度识别不同类型的白细胞。这两种方法需要加入溶血剂，红细胞的碎片会对白细胞的分类和计数产生影响，导致计数结果不准确。荧光染色技术用含有扫描镜头的显微镜扫描血涂片每个视野，利用计算机和图像分析技术来分类细胞种类。与人对细胞种类的判断分析方法非常接近，及时发现细微的血液形态学改变，有非常直观性和简单操作性。由于待识别目标的复杂性和多样性，细胞的定位和分类存在一定困难。
经对现有技术的文献检索发现，申请号为201010216839.1的发明专利申请公开基于深层卷积神经网络的多类白细胞自动识别方法。该方法属于利用深度学习进行细胞分类并融合了inception模块的多尺度的特征，增加了squeeze和excitation操作，从而提高白细胞分类的准确性。在卷积过程中，加入两个操作，实际降低了网络执行效率。此外卷积神经网络需要大量的样本文件进行训练，该发明假定样本图片已从医疗人员获取、分类及标识，并未指出显微图片是自动还是手工获取方式。
本文在现有技术基础上，提出了针对血液白细胞显微图像的自动定位检测与分类识别方法。血液经染色、清洗等操作制成血涂片。显微镜先用低倍物镜拍摄血液细胞图像，所获得的图像背景为浅色，红细胞偏红，白细胞偏蓝紫色，因血液稀释，白细胞离散分布。利用颜色属性和图像投影方法，定位白细胞的位置，采用模拟退火算法遍历白细胞的行走路径；然后镜头转换成高倍物镜，沿规划好路线，聚焦并拍摄包含一个细胞影像，最后利用深度可分离卷积神经网络进行白细胞的分类识别。
发明内容
因此，为了解决上述不足，本发明在此提供一种白细胞自动定位检测及分类识别系统及方法，其特点是采用低倍物镜和高倍物镜轮换拍摄白细胞显微图像，依据白细胞显微图像的颜色属性和分布稀疏性，利用HSV变换和投影分割方法，自动定位白细胞在低倍物镜所拍摄的图像中的位置；通过区域包围盒碰撞检测，确定高倍物镜拍摄时，载物台的行走路径和拍摄位置，提高数据采集速度，减少载物台运动位置和路长，保证拍摄到完整的白细胞图像；采用深度可分离卷积神经网络模型对白细胞进行分类识别，提高网络运行效率。本发明提出的方法具有白细胞定位检测精度高，数据采集效率高，分类识别准确率高等优点。
本发明是这样实现的，构造一种白细胞图像自动检测和分类识别系统，其特征在于；包括显微镜检测系统、数据采集及控制装置和计算机系统；显微镜检测系统中，血涂片被夹在载物台上，转换器绕镜筒转动，使低倍物镜和高倍物镜的中心与光轴同轴，粗准焦螺旋和细准焦螺旋旋转控制载物台沿镜头方向的微运动；数据采集及控制装置中转换器控制模块可控制转换器的旋转运动，平移控制模块控制载物台的微平移运动，对焦控制模块控制粗准焦螺旋和细准焦螺旋运动，数据采集模块将采集到图像数据输入计算机系统；计算机系统的预处理模块判断数据来源，若输入的图像目的是调焦，转到对焦模块，计算对焦参数，结果会传回对焦控制模块，以便拍摄高清图像；若输入的图像目的是定位白细胞的位置以确定高倍物镜的拍摄位置和行走路线，转到低倍图像处理模块，计算的结果会转入到平移控制模块，以便连续拍摄图像；若输入的图像目的是对白细胞分类识别，则转入分类识别模块，利用卷积神经网络模型进行分类识别，识别结果输入到显示模块显示分类识别结果，供医护人员浏览观察。
一种白细胞自动定位检测及分类识别方法，其特征在于；所述其成像方法的步骤包括：显微镜检测系统中，血涂片被夹在载物台上，转换器控制模块控制转换器的转动，使低倍物镜与光轴同轴，对焦控制模块控制粗准焦螺旋运动，数据采集模块采集图像数据，输入到计算机系统中，经预处理模块的判别转到对焦模块，计算对焦参数，传回对焦控制模块，控制粗准焦螺旋到确定位置；平移控制模块控制载物台的微平移运动，数据采集模块采集图像数据，输入到计算机系统，经预处理模块的判别转到低倍图像处理模块，定位白细胞，确定高倍物镜的拍摄位置，获取载物台优化的行走路线，结果传回到平移控制模块；转换器控制模块控制转换器的转动，使高倍物镜与光轴同轴，对焦控制模块控制细准焦螺旋运动，数据采集模块采集图像数据，输入到计算机系统中，经预处理模块的判别转到对焦模块，计算对焦参数，传回对焦控制模块，控制粗准焦螺旋到确定位置；平移控制模块根据优化的行走路线，控制载物台的微平移运动，数据采集模块采集图像数据，输入到计算机系统中，经预处理模块的判别转到分类识别模块，分割白细胞图像，归一化处理，输入到已训练好的深度可分离卷积神经网络模型，获取分类识别参数，存储结果，所有白细胞采集完成后，经由图像显示模块分类识别参数。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的定位白细胞是指原始的RGB图像经过HSV变换，提取S分量，根据直方图统计结果设置阈值，再利用投影法，确定白细胞包围盒中心点在图像的位置。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的高倍物镜106的拍摄位置是指根据白细胞的位置，在每个白细胞中心出标定与高倍视野大小相同矩形框，利用包围盒间碰撞检测算法，合并可一同拍摄包围盒，重新定位包围盒的中心，该中心为多个白细胞的中心位置。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的载物台优化的行走路线是指将所有的拍摄位置看作顶点，顶点之间边的权值是两者的距离。通过建立带约束的优化问题，利用模拟退火算法实现最小路径遍历所有高倍物镜拍摄图像区域位置。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的分割白细胞图像是指利用HSV变换，提取S分量，根据直方图统计结果设置阈值，再利用投影法实现白细胞从背景中的分割，分割过程丢弃太小或太大的分割图像，获得原图像中包含白细胞的子图像后。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的归一化是指分割后的白细胞图像统一缩放到同一像素规格大小。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的已训练好的深度可分离卷积神经网络模型是指利用分割的白细胞，进行在线标签类型，其R分量数值，用HSV变换中的S分量值替换，作为输入图像输入到神经网络模型中，修改神经网络中深度卷积核和逐点卷积核参数，全连接层参数。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的输入到已训练好的深度可分离卷积神经网络模型是指输入实时从系统中分割出来的白细胞图像，其R分量数值，用HSV变换中的S分量值替换，输入深度可分离卷积神经网络模型，经过网络层运算，获得分类结果。
根据本发明所述白细胞自动定位检测及分类识别方法，其特征在于；所述的深度可分离卷积神经网络模型是指经典卷积神经网络中卷积拆分成一个深度卷积和一个逐点卷积。
本发明具有如下优点：本发明适合白细胞自动检测和分类识别方法，该技术方案采用低和高倍物镜轮换拍摄显微照片，规划高倍物镜的行走路线，保证高倍物镜视野自动捕捉白细胞，具有自动捕捉、定位精度高特点，减少人工操作，实现白细胞检测过程的自动化；采用深度可分离卷积神经网络进行白细胞的分类识别，减少网络参数量和运算量，同时不损失网络性能。
附图说明
图1是白细胞图像自动检测和分类识别系统框图；
其中：1显微镜检测系统，
101血涂片，102载物台，103转换器，104镜筒，105低倍物镜，106高倍物镜，107光轴，108粗准焦螺旋，109细准焦螺旋，
2数据采集及控制装置，
201转换器控制模块，202平移控制模块，203对焦控制模块，204数据采集模块，
3计算机系统，
301预处理模块，302对焦模块，303低倍图像处理模块，304分类识别模块，305显示器，
图2低倍白细胞图像HSV变换结果示意示意图；
图3高倍物镜拍摄区域及位置示意图；
图4高倍物镜下载物台运动路径规划示意图；
图5高倍物镜下白细胞分割示意图((a)高倍物镜下白细胞阈值二值化结果示意图；(b)白细胞二值化图像水平投影分割示意图；(c)白细胞二值化图像竖直投影分割示意图)；
图6深度可分离卷积神经网络结构示意图。
具体实施方式
下面将结合附图1-图6对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了白细胞图像自动检测和分类识别系统框图系统框图，包括显微镜检测系统1中，血涂片101被夹在载物台102上，转换器103绕镜筒104转动，使低倍物镜105和高倍物镜106的中心与光轴107同轴，粗准焦螺旋108和细准焦螺旋109旋转控制载物台沿镜头方向的微运动；数据采集及控制装置2中转换器控制模块201可控制转换器103的旋转运动，平移控制模块202控制载物台102的微平移运动，对焦控制模块203控制粗准焦螺旋108和细准焦螺旋109运动，数据采集模块204将采集到图像数据输入计算机系统3；计算机系统3的预处理模块301判断数据来源，若输入的图像目的是调焦，转到对焦模块302，计算对焦参数，结果会传回对焦控制模块203，以便拍摄高清图像；若输入的图像目的是定位白细胞的位置以确定高倍物镜106的拍摄位置和行走路线，转到低倍图像处理模块303，计算的结果会转入到平移控制模块202，以便连续拍摄图像；若输入的图像目的是对白细胞分类识别，则转入分类识别模块304，利用卷积神经网络模型进行分类识别，识别结果输入到显示模块305显示分类识别结果，供医护人员浏览观察。
图2示出了低倍RGB白细胞图像的HSV变换结果示意图。RGB和HSV颜色空间是彩色图像处理中最常用的颜色空间。RGB从颜色发光的原理来设计的，将红、绿、蓝三分量混合分辨物体的色彩，RGB颜色空间不符合人眼的视觉特性。HSV是一种比较直观的颜色模型，由色调H，饱和度S，明度V来描述色彩。其中度S表示颜色接近光谱色的程度，谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。倍染色的血涂片上白细胞呈蓝紫色，提取S分量在白细胞区呈高亮状态，并且比较均匀，与背景和红细胞的对比度高，很容易获取仅保留白细胞位置的二值化图像。图中黑点表示白细胞的位置，可以看出在整个图片上白细胞是离散分布的。
图3示出了高倍物镜拍摄区域及位置示意图。放大倍数越高，视野越小，若整片拍摄，时间长，行走的路程长。图2已显示白细胞在血涂片上的分布是离散的，可以定位白细胞的位置，将白细胞定在物镜中心，逐一而拍。然而，多个白细胞可能位于高倍物镜下同一视野，这样进行拍摄可提高拍摄效率，减少高倍物镜相对行走路径规划的难度，但要保证同一细胞不能重复拍摄。为了确定区域和位置，先利用投影方法，分两步向图像长度和宽度方向进行求和，从而确定白细胞的中心位置；然后，在每个白细胞中心出标定与高倍视野大小相同矩形框，利用包围盒间碰撞检测算法，合并可一同拍摄包围盒，重新定位包围盒的中心，该中心为多个白细胞的中心位置。图2给出的48个白细胞位置，通过包围盒与或操作后确定为25个高倍物镜的拍摄区域和位置，优化了拍摄区域，减少了图像拍摄个数，避免了重复拍摄。
图4示出了高倍物镜下载物台运动路径规划示意图。图3所示的优化的拍摄区域及位置，区域间排列不是有序，不能简单从左到右，从上到下进行拍摄。载物台的行走路径需要规划，这属于路径规划问题，其实质上是要在一个赋权连通图上找到一个包含所有位置点的回路，且使此回路的权值小，这个问题与经典的旅行商问题类似。结合实际情况，基于用高倍镜扫描观察白细胞的特点，将该问题抽象为图论问题。将所有的拍摄位置看作一个个顶点，每两个顶点之间均有一条边，并且边的权值是顶点与顶点之间的距离。由于拍摄完一个区域视野后，可以去拍摄其他任意还没有拍摄的区域视野，即每一个拍摄区域都与拍摄区域有路径，形成图论中的完全图。利用模拟退火算法对此完全图进行求解，可以建立以下模型：
设区域位置个数为N，集合M＝{1,2,..N}，dij(i,j∈1,2,..N)为任意两点的距离。xij是值为0或1的变量，若取1则表示需要经过位置i和j构成的路，若为0则表示不经过。所以路径规划问题就转化为优化问题，即：
Figure BDA0002329637120000071
Figure BDA0002329637120000072
Figure BDA0002329637120000073
其中，
Figure BDA0002329637120000074
表示从每个位置只能进来一次，
Figure BDA0002329637120000075
表示从每个位置只能出发一次。dij由下式确定：
Figure BDA0002329637120000076
通过求解上述问题，得到高倍物镜下载物台运动规划图。载物台运动过程中，高倍物镜经过对焦拍摄
图5高倍物镜下白细胞分割示意图。高倍物镜拍摄的图像包含了一个或者多个白细胞，需要将白细胞从图像分割出来，本发明主要利用HSV变换，阈值二值化，投影分割法来实现白细胞从背景中的分割。
图5(a)示出了高倍物镜下白细胞阈值二值化结果示意图。高倍物镜下白细胞图像三种主要颜色，染色后的白细胞核主要呈蓝紫色。利用HSV变换，提取蓝紫色特征颜色，进行阈值二值化，使无关的背景信息为0，而细胞核的颜色为1。图5(a)的示意图为方便显示，进行二值反转显示。
图5(b)示出了白细胞二值化图像水平投影分割示意图。将白细胞二值图像，沿长度方向投影，因为是二值图像，绝大多数白细胞呈离散分布，在水平方向上仅有若干区域的投影值不为0，将获得不为0的区域边界值，若边界值大于某一阈值，提取原图像位于该边界区域内的图像。
图5(c)示出了白细胞二值化图像投影分割示意图。同水平投影分割原理相似，竖直投影分割后即可获得白细胞的分割图像。若分割后的图像长或宽大于某一阈值，认为是重合图像，系统不处理，直接丢弃。将原始图像的R分量数值，用HSV变换中的S分量值替换。
图6示出了深度可分离卷积神经网络示意图。卷积神经网络是一种多层神经网络，典型的卷积神经网络由卷积层、池化层、激活函数、全连接层组成。卷积是一个滑动窗口，卷积核与对应的图像像素乘积然后求和，过滤个小区域，得到这些小区域的特征值。卷积核的值是学习过程中学到的。每个卷积和代表了一种图像模式，可以增强原信号特征，降低噪音，降低传统神经网络参数的数量级；池化层是每相邻四个像素求和，变为一个像素，可使用最大值池化和平均值池化；池化后的数据进行标量加权，通过激活函数，产生一个比原图所小四倍的特征映射图，图像变小，训练的参数变小，降低了数据维度，避免了过拟合。卷积与池化层配合，组合多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。卷积神经网络模型的深度越深，分类更准确。然而大而复杂的模型响应速度慢，难以实用化。本发明采用深度可分离卷积卷积神经网络来实现白细胞的分类识别。将传统的卷积神经网络中的卷积拆分成一个深度卷积和一个逐点卷积。该网络结构首先使用核为3×3的深度卷积提取特征，平均值池化，经过ReLU(6)非线性激活函数运算，再执行核为1×1的逐点卷积操作，最大值池化，经过ReLU非线性激活函数运算。其中3×3的卷积核和1×1的卷积核由网络训练而来，非线性激活函数ReLU(6)表达为：
ReLU(6)＝min(max(0,x),6)
当输入值大于6的时候，返回6，ReLU(6)非线性激活函数具有一个边界。在训练过程中，网络深度分为四层，深度卷积采用3×3卷积核，逐点卷积核数分别采用16，32，64，128。经过训练后，获得网络参数。
分类时原始图像进来以后，先进入深度可分离卷积网络后，再通过全连接层，完成分类。最后分类识别的结果送到显示器305进行显示。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种白细胞图像自动检测和分类识别系统，其特征在于；包括显微镜检测系统(1)、数据采集及控制装置(2)和计算机系统(3)；显微镜检测系统(1)中，血涂片(101)被夹在载物台(102)上，转换器(103)绕镜筒(104)转动，使低倍物镜(105)和高倍物镜(106)的中心与光轴(107)同轴，粗准焦螺旋(108)和细准焦螺旋(109)旋转控制载物台沿镜头方向的微运动；数据采集及控制装置(2)中转换器控制模块(201)可控制转换器(103)的旋转运动，平移控制模块(202)控制载物台(102)的微平移运动，对焦控制模块(203)控制粗准焦螺旋(108)和细准焦螺旋(109)运动，数据采集模块(204)将采集到图像数据输入计算机系统(3)；计算机系统(3)的预处理模块(301)判断数据来源，若输入的图像目的是调焦，转到对焦模块(302)，计算对焦参数，结果会传回对焦控制模块(203)，以便拍摄高清图像；若输入的图像目的是定位白细胞的位置以确定高倍物镜(106)的拍摄位置和行走路线，转到低倍图像处理模块(303)，计算的结果会转入到平移控制模块(202)，以便连续拍摄图像；若输入的图像目的是对白细胞分类识别，则转入分类识别模块(304)，利用卷积神经网络模型进行分类识别，识别结果输入到显示模块(305)显示分类识别结果，供医护人员浏览观察。
2.一种白细胞自动定位检测及分类识别方法，其特征在于；所述其成像方法的步骤包括：显微镜检测系统(1)中，血涂片(101)被夹在载物台(102上，转换器控制模块(201)控制转换器(103)的转动，使低倍物镜(105)与光轴(107)同轴，对焦控制模块(203)控制粗准焦螺旋(108)运动，数据采集模块(204)采集图像数据，输入到计算机系统(3)中，经预处理模块(301)的判别转到对焦模块(302)，计算对焦参数，传回对焦控制模块(203)，控制粗准焦螺旋(108)到确定位置；平移控制模块(202)控制载物台(102)的微平移运动，数据采集模块(204)采集图像数据，输入到计算机系统(3)，经预处理模块(301)的判别转到低倍图像处理模块(303)，定位白细胞，确定高倍物镜(106)的拍摄位置，获取载物台优化的行走路线，结果传回到平移控制模块(202)；转换器控制模块(201)控制转换器(103)的转动，使高倍物镜(106)与光轴(107)同轴，对焦控制模块(203)控制细准焦螺旋(108)运动，数据采集模块(204)采集图像数据，输入到计算机系统(3)中，经预处理模块(301)的判别转到对焦模块(302)，计算对焦参数，传回对焦控制模块(203)，控制粗准焦螺旋(108)到确定位置；平移控制模块(202)根据优化的行走路线，控制载物台(102)的微平移运动，数据采集模块(204)采集图像数据，输入到计算机系统(3)中，经预处理模块(301)的判别转到分类识别模块(304)，分割白细胞图像，归一化处理，输入到已训练好的深度可分离卷积神经网络模型，获取分类识别参数，存储结果，所有白细胞采集完成后，经由图像显示模块(305)分类识别参数。
3.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的定位白细胞是指原始的RGB图像经过HSV变换，提取S分量，根据直方图统计结果设置阈值，再利用投影法，确定白细胞包围盒中心点在图像的位置。
4.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的高倍物镜106的拍摄位置是指根据白细胞的位置，在每个白细胞中心出标定与高倍视野大小相同矩形框，利用包围盒间碰撞检测算法，合并可一同拍摄包围盒，重新定位包围盒的中心，该中心为多个白细胞的中心位置。
5.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的载物台优化的行走路线是指将所有的拍摄位置看作顶点，顶点之间边的权值是两者的距离。通过建立带约束的优化问题，利用模拟退火算法实现最小路径遍历所有高倍物镜拍摄图像区域位置。
6.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的分割白细胞图像是指利用HSV变换，提取S分量，根据直方图统计结果设置阈值，再利用投影法实现白细胞从背景中的分割，分割过程丢弃太小或太大的分割图像，获得原图像中包含白细胞的子图像后。
7.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的归一化是指分割后的白细胞图像统一缩放到同一像素规格大小。
8.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的已训练好的深度可分离卷积神经网络模型是指利用分割的白细胞，进行在线标签类型，其R分量数值，用HSV变换中的S分量值替换，作为输入图像输入到神经网络模型中，修改神经网络中深度卷积核和逐点卷积核参数，全连接层参数。
9.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的输入到已训练好的深度可分离卷积神经网络模型是指输入实时从系统中分割出来的白细胞图像，其R分量数值，用HSV变换中的S分量值替换，输入深度可分离卷积神经网络模型，经过网络层运算，获得分类结果。
10.根据权利要求2所述白细胞自动定位检测及分类识别方法，其特征在于；所述的深度可分离卷积神经网络模型是指经典卷积神经网络中卷积拆分成一个深度卷积和一个逐点卷积。
CN201911331261.0A 2019-12-21 2019-12-21 一种白细胞自动定位检测及分类识别系统及方法 Pending CN111062346A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911331261.0A CN111062346A (zh) 2019-12-21 2019-12-21 一种白细胞自动定位检测及分类识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911331261.0A CN111062346A (zh) 2019-12-21 2019-12-21 一种白细胞自动定位检测及分类识别系统及方法

Publications (1)

Publication Number Publication Date
CN111062346A true CN111062346A (zh) 2020-04-24

Family

ID=70301405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911331261.0A Pending CN111062346A (zh) 2019-12-21 2019-12-21 一种白细胞自动定位检测及分类识别系统及方法

Country Status (1)

Country Link
CN (1) CN111062346A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111458269A (zh) * 2020-05-07 2020-07-28 厦门汉舒捷医疗科技有限公司 一种外周血淋巴微核细胞图像人工智能识别方法
CN112634243A (zh) * 2020-12-28 2021-04-09 吉林大学 一种强干扰因素下基于深度学习的图像分类识别系统
WO2022041149A1 (zh) * 2020-08-28 2022-03-03 苏州迈瑞科技有限公司 尿液分析仪、检测尿液中细菌的方法及存储介质
WO2022041210A1 (zh) * 2020-08-31 2022-03-03 深圳迈瑞生物医疗电子股份有限公司 定位血涂片上血膜的感兴趣区域的方法和细胞图像分析仪
CN114152610A (zh) * 2021-11-02 2022-03-08 桂林优利特医疗电子有限公司 一种基于可视化目标标记的玻片细胞扫描方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050130230A1 (en) * 2003-09-23 2005-06-16 Antoni Davalos Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
CN104040719A (zh) * 2011-11-11 2014-09-10 冷泉港实验室 一种药物筛选方法及其用途
CN106295588A (zh) * 2016-08-17 2017-01-04 电子科技大学 一种白带显微图像中白细胞的自动识别方法
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CN108780032A (zh) * 2016-03-16 2018-11-09 西门子保健有限责任公司 使用数字全息显微术和来自外周血的未接触白细胞的高准确度五部分区分
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109754398A (zh) * 2019-01-14 2019-05-14 武汉兰丁医学高科技有限公司 一种基于计算机的骨髓白细胞自动标记方法及系统
CN109978771A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 基于内容分析的细胞图像快速融合方法
CN110059568A (zh) * 2019-03-21 2019-07-26 中南大学 基于深层卷积神经网络的多类白细胞自动识别方法
CN110068693A (zh) * 2018-01-24 2019-07-30 上海澜澈生物科技有限公司 一种自动涂片镜检机和涂片镜检方法
CN110084150A (zh) * 2019-04-09 2019-08-02 山东师范大学 一种基于深度学习的白细胞自动分类方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050130230A1 (en) * 2003-09-23 2005-06-16 Antoni Davalos Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof
EP1792178A2 (en) * 2004-09-22 2007-06-06 Prediction Sciences LLC Cellular fibronectin as a diagnostic marker in stroke and methods of use thereof
CN104040719A (zh) * 2011-11-11 2014-09-10 冷泉港实验室 一种药物筛选方法及其用途
CN103914841A (zh) * 2014-04-03 2014-07-09 深圳大学 基于超像素和深度学习的细菌分割与分类方法及其应用
CN108780032A (zh) * 2016-03-16 2018-11-09 西门子保健有限责任公司 使用数字全息显微术和来自外周血的未接触白细胞的高准确度五部分区分
CN106295588A (zh) * 2016-08-17 2017-01-04 电子科技大学 一种白带显微图像中白细胞的自动识别方法
CN106897682A (zh) * 2017-02-15 2017-06-27 电子科技大学 一种基于卷积神经网络的白带中白细胞自动识别方法
CN110068693A (zh) * 2018-01-24 2019-07-30 上海澜澈生物科技有限公司 一种自动涂片镜检机和涂片镜检方法
CN108596046A (zh) * 2018-04-02 2018-09-28 上海交通大学 一种基于深度学习的细胞检测计数方法及系统
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109754398A (zh) * 2019-01-14 2019-05-14 武汉兰丁医学高科技有限公司 一种基于计算机的骨髓白细胞自动标记方法及系统
CN110059568A (zh) * 2019-03-21 2019-07-26 中南大学 基于深层卷积神经网络的多类白细胞自动识别方法
CN109978771A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 基于内容分析的细胞图像快速融合方法
CN110084150A (zh) * 2019-04-09 2019-08-02 山东师范大学 一种基于深度学习的白细胞自动分类方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MERL JAMES MACAWILE等: "White blood cell classification and counting using convolutional neural network", 《IEEE》 *
王亚品等: "基于深度卷积神经网络的人体外周血白细胞显微图像分类", 《光电子·激光》 *
钟金亮: "面向白细胞显微成像的自聚焦算法设计与实现研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 *
陈畅等: "基于卷积神经网络的外周血白细胞分类", 《中国生物医学工程学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111458269A (zh) * 2020-05-07 2020-07-28 厦门汉舒捷医疗科技有限公司 一种外周血淋巴微核细胞图像人工智能识别方法
WO2022041149A1 (zh) * 2020-08-28 2022-03-03 苏州迈瑞科技有限公司 尿液分析仪、检测尿液中细菌的方法及存储介质
WO2022041210A1 (zh) * 2020-08-31 2022-03-03 深圳迈瑞生物医疗电子股份有限公司 定位血涂片上血膜的感兴趣区域的方法和细胞图像分析仪
CN112634243A (zh) * 2020-12-28 2021-04-09 吉林大学 一种强干扰因素下基于深度学习的图像分类识别系统
CN112634243B (zh) * 2020-12-28 2022-08-05 吉林大学 一种强干扰因素下基于深度学习的图像分类识别系统
CN114152610A (zh) * 2021-11-02 2022-03-08 桂林优利特医疗电子有限公司 一种基于可视化目标标记的玻片细胞扫描方法
CN114152610B (zh) * 2021-11-02 2023-06-27 桂林优利特医疗电子有限公司 一种基于可视化目标标记的玻片细胞扫描方法

Similar Documents

Publication Publication Date Title
CN111062346A (zh) 一种白细胞自动定位检测及分类识别系统及方法
Ramesh et al. Isolation and two-step classification of normal white blood cells in peripheral blood smears
Maitra et al. Detection and counting of red blood cells in blood cell images using Hough transform
US8280140B2 (en) Classifying image features
US8600143B1 (en) Method and system for hierarchical tissue analysis and classification
Shirazi et al. Efficient leukocyte segmentation and recognition in peripheral blood image
Embleton et al. Automated counting of phytoplankton by pattern recognition: a comparison with a manual counting method
Mohammed et al. An efficient CAD system for ALL cell identification from microscopic blood images
Shahin et al. A novel white blood cells segmentation algorithm based on adaptive neutrosophic similarity score
Shirazi et al. Extreme learning machine based microscopic red blood cells classification
CN110120056A (zh) 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
El-Melegy et al. Identification of tuberculosis bacilli in ZN-stained sputum smear images: A deep learning approach
Harun et al. Unsupervised segmentation technique for acute leukemia cells using clustering algorithms
Rachna et al. Detection of Tuberculosis bacilli using image processing techniques
CN112784767A (zh) 基于白细胞显微图像的细胞实例分割算法
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
RU2308745C1 (ru) Способ микроскопического исследования образца, содержащего микрообъекты с разнородными зонами
Barpanda Use of image processing techniques to automatically diagnose sickle-cell anemia present in red blood cells smear
US8538122B2 (en) Localization of a valid area of a blood smear
KR20200136004A (ko) 세포 샘플 내에서 적어도 하나의 기형을 가지는 세포를 검출하기 위한 방법
Shihabuddin et al. Multi CNN based automatic detection of mitotic nuclei in breast histopathological images
Ding et al. Classification of chromosome karyotype based on faster-rcnn with the segmatation and enhancement preprocessing model
Crossman et al. A multiple covariance approach for cell detection of Gram-stained smears images
Li et al. A recognition method of urine cast based on deep learning
RU2659217C1 (ru) Способ распознавания структуры ядер бластов крови и костного мозга с применением световой микроскопии в сочетании с компьютерной обработкой данных для определения В- и Т-линейных острых лимфобластных лейкозов

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424