CN103604737B - 一种自动化血细胞识别装置及工作方法 - Google Patents

Abstract

本发明提供一种自动化血细胞识别装置，包括分别与计算机相连的激光光源部、显微镜采集部和载物台部；无需染色或利用细胞表面的抗体/抗原反应就能够自动识别血细胞，利用高光谱图像实现利用细胞形态学及光谱特征变化进行血细胞识别。该系统为技术特点为自动化无损的人体血细胞识别技术。

Description

一种自动化血细胞识别装置及工作方法

技术领域

本发明涉及一种自动化血细胞识别装置及工作方法，属于血细胞的识别的技术领域。

背景技术

计算机辅助血细胞分析技术经过近50年的发展，目前已经不仅局限在进行常规血细胞分析，近年来它增加了许多扩展的功能，如对网织红细胞（RET）的计数和分析（BayerADVIA120型；SysmexSE-9000/SE-9500/XE-2100型；CoulterMAXM/STKS/HmX/GEN.S型;AbbottCELL-DYN3200/3500R/4000型等）、幼稚细胞分析和有核红细胞分析功能（SysmexSF-3000/SE-9000/SE-9500/XE-2100;BayerADVIA120;AbbottCELL-DYN3500/4000；CoulterHmX/LH750/GEN.SSystem2型等），更有一些仪器把流式细胞分析仪的某些功能合并到血细胞分析仪上，这样在进行常规血细胞分析时就可以得到某些淋巴细胞亚群的分析结果（如CoulterSTKS上可以同时测定CD4和CD8，在AbbottCELL-DYN4000上可以测定CD3、CD4、CD8和CD61。

这些细胞分析仪器的血细胞测定和分析的方法多集中于电阻抗法或激光散射法，此外，在白细胞分类上，一些厂家采用了多种方法结合的思路，例如Coutler采用了VCS技术，即体积测量、射频高频传导性和激光散射技术；在红细胞和血小板分析上采用了光学和电阻法结合的处理方法，以期得到更准确的结果；对血红蛋白测定不仅使用比色法，同时还使用激光散射法进行单个红细胞血红蛋白量的分析，以尽量减少高白细胞、乳糜血、高胆红素等对血红蛋白比色的影响等等。这些方法的综合使用在一定程度上提高了细胞识别分析的精度，但同时也带来分析过程复杂度和使用成本的极大提高，例如：这些仪器往往需要6种以上的试剂联合使用，BayerADVIA120型需要多达11种试剂，而这些试剂由于技术含量较高，专用性强，生产技术要求高，且各厂家产品之间不能混用，从而造成检测成本居高不下。更为重要的是，目前这些技术无论是五分类还是更多的分类，大多针对外周血正常细胞，而对外周血异常细胞及骨髓细胞的识别仍然主要依赖人工。

随着计算机模式识别技术和人工智能研究的不断发展，人们把目光投向了对细胞图像的自动识别上，希望计算机能做到与医学专家一样快速准确地识别各类外周血细胞及各阶段骨髓细胞并做出相应的诊断，这样将大大的提高检查效率，减少人为误差。现有的基于显微图像的血细胞自动诊断分析中，基本都是以在显微镜下拍摄的血液涂片的两维彩色或者灰度图像为研究对象，由于这些图像只能够提供灰度或者色彩等有限的信息，使得血细胞的自动分析算法相对复杂，而且只能从形态、颜色角度对血细胞进行分析，不能从生化角度对病变细胞进行更为深入的分析。且由于图像中细胞形态复杂、细胞常重叠，标本制作时染色不好等原因，给基于传统成像技术的血细胞自动图像识别带来诸多困难，血细胞种类较多、形态学差别细微是识别准确率难以提高的瓶颈。

在典型的流式细胞仪中，使用鞘液内悬浮颗粒的流体动力聚焦获得细胞单列，并且其光源是特定波长的激光器。

人体血细胞光谱特性的深入研究以及显微高光谱成像技术的发展,为血细胞检测识别及分析提供了新的技术手段。高光谱成像技术开创了光谱和图像合一进行观测的新方向，高光谱图像序列的每一帧都是对应于某一特定谱段上对同一场景的成像，每个像素点位置对应一个观测向量，这个观测向量的数值按照不同波段依次排列就可以近似连成一条光谱曲线，因而可以说高光谱图像是在二维空间图像的基础上增加了一个光谱维，它既包含了观测目标的空间信息也包含了其光谱信息。较之传统成像方式，高光谱显微成像将为细胞检测及分析提供空间形态信息及所含生化成分的光谱信息，从而为提高识别率及识别速度并降低分析成本提供了条件。此技术对白血病细胞识别更具优势，如急性白血病，不同的白血病细胞除了具有其独特的形态学特征外，还含有大量的不同的化学成分（如过氧化酶、特异性酯酶、非特异性酯酶等酶类物质）。可对细胞大小、形状、内部复杂性等物理特征做出判断。

发明内容

针对现有技术的不足，本发明提供一种自动化血细胞识别装置。

本发明还提供一种上述自动化血细胞识别装置的工作方法。该识别方法是基于透射光光谱变化及形态分析来对血细胞进行识别的方法，无需染色或利用细胞表面的抗体/抗原反应就能够自动识别血细胞的识别。

本发明的技术方案如下：

一种自动化血细胞识别装置，包括分别与计算机相连的激光光源部、显微镜采集部和载物台部；

所述的激光光源部包括光源控制模块和超连续激光光源；

所述显微镜采集部包括与计算机顺次连接的近红外敏感感光部件、声光调制分光器和显微镜；在超连续激光照射下血细胞切片经显微镜的物镜及目镜光路进入显微镜的分光器，之后由近红外敏感部件实现成像，其中所述分光器用于将混合光分解为个波段的单纯光；

所述载物台部包括载物台控制模块和载物台，所述载物台控制模块通过RS-232链路与计算机通信，接受计算机指令：计算机通过RS-232链路控制载物台上下左右前后移动，使显微镜的目镜对准血细胞切片上的待检测区域。

根据本发明优选的，所述光源控制模块包括单片机PIC16F628a、恒流驱动电路和RS-485通信链路，所述恒流驱动电路用以驱动超连续激光光源向所述显微镜提供400nm-2500nm的连续光谱的照明；所述单片机通过USB接口与计算机进行通信联络，以获取对光源启停的指令；计算机可通过USB接口经所述单片机控制光源启停及光源亮度。该型号单片机体积小、功耗低、价格便宜。

根据本发明优选的，所述近红外敏感感光部件的型号为JAIBM-141GE。

根据本发明优选的，所述载物台控制模块包括51系列单片机。

一种上述自动化血细胞识别装置的工作方法，包括步骤如下：

（1）所述近红外敏感感光部件由显微镜获取到的血细胞的高光谱图像经传输链路至计算机；所述的传输链路为以太网；

（2）为克服动态干扰，利用计算机上对获取的高光谱图像进行电子稳相操作，具体过程如下：

Step1.将每一幅图像分成宏块，优选的，所述宏块的大小为16×16像素；

Step2.以第一幅图像做为参考帧，对于第一幅图像中的每一宏块，在其后的每一幅图像中相应搜索区域中，按照匹配准则，搜索最佳匹配块，即按照平均灰度差值最小的匹配快；计算出与参考帧中宏块对应的后续帧中宏块与参考帧宏块之间的相对位移，即该宏块的运动矢量；

所述的匹配准则为MAD平均绝对误差准则:

$\mathrm{MAD}(d_1,d_2)=\frac{1}{N_1{N}_2}\underset{(n_1,n_2\∈B)}{\mathrm{\Σ}}|s(n_1,n_2,k)-s(n_1+d_1,n_2+d_2,k+1)|---\left(I\right)$

在公式（I）中，s(n₁,n₂,k)为参考帧中的参考宏块中(n₁,n₂)处的像素值，所述(n₁,n₂)为坐标值，s(n₁+d₁,n₂+d₂,k+1)为当前宏块中相应点的像素值，N₁,N₂为宏块的大小，所谓宏块大小即宏块所含像素个数；

Step3.进行参考帧补偿，选定第一幅图像作为参考帧，假设参考图像中的以（i，j）为起点的某一宏块，与当前图像中相应最佳匹配块的运动矢量为（dx，dy），即当前块的起点为:（currentX，currentY）；所述currentX=i+dx，currentY=j+dy；

对当前块进行补偿：

imageComp(i:i+mbSize-1,j:j+mbSize-1)=imgI(currentX:currentX+mbSize-1,currentY:currentY+mbSize-1)(II)；

在公式（II）中，imageComp为当前图像的补偿图像，imgI为当前图像，mbSize为宏块大小；

（3）对血细胞主要分布区域的选取：通过计算平均灰度值设置阈值进行二值化，而后，利用形态学算子去除高光谱图像中的孔洞噪声，并将邻域合并，对经显微镜获得的高光谱图像进行分块，同时定义局部密度跟踪算子R用以确定视野内感兴趣的区域，其中局部密度跟踪算子R定义如下：

R=检测到的类细胞区域个数/检测区域面积；

（4）光谱分解：

光谱分解以被观测到的光谱曲线可由多种单纯物质的光谱曲线线性叠加而成为前提；使用的光谱分解方法为非负矩阵分解，分解得到的蛋白质，脂类，糖类，核酸各种特征光谱并对这些特征光谱进行分类，分类方法为与已有的蛋白质，脂类，糖类，核酸的标准光谱曲线进行比较，与哪个标准光谱曲线波形最为相近，即认定为是那一类，从而确定分解得到光谱曲线的类别；

（5）光谱丰度及细胞成分区分：

由步骤4）得到的不同生化成分的光谱曲线进行光谱丰度计算，定义光谱丰度SA如下:

在公式（III）中其中i表示第i个光谱波段，λ_i即表示第i个波段的成像灰度值，亦即第i个波段的光谱幅值；

由于细胞核以及细胞浆间各种生化成分光谱丰度不同，故将具有相似光谱丰度的像素聚类，实现细胞核细胞浆以及细胞膜的区分，并辅以伪彩色识别；更为具体的，由于细胞核核仁部分含有大量蛋白质成分，故蛋白质光谱丰度值高的区域被认定为细胞核，而细胞浆部分含水量达80%，故水光谱丰度值高的区域被认定为细胞浆；对细胞核及细胞浆用不同颜色表示即伪彩色；

（6）细胞类型识别：

在完成步骤（5）添加伪彩色之后，采用稀疏表示的方法实现血细胞高光谱图像的空间域和光谱域的联合特征提取，高光谱图像内的各种血细胞根据其光谱丰度值判断哪些是血细胞，并根据形态模板确定其为何种血细胞；所谓形态模板即通过已有的粒细胞、单核细胞、淋巴细胞，红细胞、血小板以及早幼粒血细胞、中幼粒血细胞、晚幼粒血细胞的大小及形状的模板对其进行分类；

（7）对各类型血细胞进行计数；

（8）将各种血细胞计数结果显示于计算机屏幕。

本发明的优势在于：

本发明提供一种自动化血细胞识别装置及工作方法，本发明无需染色或利用细胞表面的抗体/抗原反应就能够自动识别血细胞的识别装置和识别方法。血细胞识别装置包括:光源部分：为超连续激光光源,用于对切片上的血细胞进行照射；成像部分，为多波段敏感成像CCD，对血细胞实现高光谱成像；控制部分，经主程序计算通过伺服电机控制定位切片观察区域；识别部分：利用高光谱图像实现利用细胞形态学及光谱特征变化进行血细胞识别。该系统为技术特点为自动化无损的人体血细胞识别技术。

附图说明

图1为本发明所述装置的结构图；

图2为本发明所述方法的流程图。

具体实施方式

下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。

实施例1、

如图1所示。

一种自动化血细胞识别装置，包括分别与计算机相连的激光光源部、显微镜采集部和载物台部；

所述的激光光源部包括光源控制模块和超连续激光光源；

所述显微镜采集部包括与计算机顺次连接的近红外敏感感光部件、声光调制分光器和显微镜；在超连续激光照射下血细胞切片经显微镜的物镜及目镜光路进入显微镜的分光器，之后由近红外敏感部件实现成像，其中所述分光器用于将混合光分解为个波段的单纯光；

所述载物台部包括载物台控制模块和载物台，所述载物台控制模块通过RS-232链路与计算机通信，接受计算机指令：计算机通过RS-232链路控制载物台上下左右前后移动，使显微镜的目镜对准血细胞切片上的待检测区域。

所述光源控制模块包括单片机PIC16F628a、恒流驱动电路和RS-485通信链路，所述恒流驱动电路用以驱动超连续激光光源向所述显微镜提供400nm-2500nm的连续光谱的照明；所述单片机通过USB接口与计算机进行通信联络，以获取对光源启停的指令；计算机可通过USB接口经所述单片机控制光源启停及光源亮度。

所述近红外敏感感光部件的型号为JAIBM-141GE。

所述载物台控制模块包括51系列单片机。

实施例2、

如图2所示。

一种如实施例1所述自动化血细胞识别装置的工作方法，包括步骤如下：

（1）所述近红外敏感感光部件由显微镜获取到的血细胞的高光谱图像经传输链路至计算机；所述的传输链路为以太网；

（2）为克服动态干扰，利用计算机上对获取的高光谱图像进行电子稳相操作，具体过程如下：

Step1.将每一幅图像分成宏块，优选的，所述宏块的大小为16×16像素；

Step2.以第一幅图像做为参考帧，对于第一幅图像中的每一宏块，在其后的每一幅图像中相应搜索区域中，按照匹配准则，搜索最佳匹配块，即按照平均灰度差值最小的匹配快；计算出与参考帧中宏块对应的后续帧中宏块与参考帧宏块之间的相对位移，即该宏块的运动矢量；

所述的匹配准则为MAD平均绝对误差准则:

$\mathrm{MAD}(d_1,d_2)=\frac{1}{N_1{N}_2}\underset{(n_1,n_2\∈B)}{\mathrm{\Σ}}|s(n_1,n_2,k)-s(n_1+d_1,n_2+d_2,k+1)|---\left(I\right)$

在公式（I）中，s(n₁,n₂,k)为参考帧中的参考宏块中(n₁,n₂)处的像素值，所述(n₁,n₂)为坐标值，s(n₁+d₁,n₂+d₂,k+1)为当前宏块中相应点的像素值，N₁,N₂为宏块的大小，所谓宏块大小即宏块所含像素个数；

Step3.进行参考帧补偿，选定第一幅图像作为参考帧，假设参考图像中的以（i，j）为起点的某一宏块，与当前图像中相应最佳匹配块的运动矢量为（dx，dy），即当前块的起点为:（currentX，currentY）；所述currentX=i+dx，currentY=j+dy；

对当前块进行补偿：

imageComp(i:i+mbSize-1,j:j+mbSize-1)=imgI(currentX:currentX+mbSize-1,currentY:currentY+mbSize-1)(II)；

在公式（II）中，imageComp为当前图像的补偿图像，imgI为当前图像，mbSize为宏块大小；

（3）对血细胞主要分布区域的选取：通过计算平均灰度值设置阈值进行二值化，而后，利用形态学算子去除高光谱图像中的孔洞噪声，并将邻域合并，对经显微镜获得的高光谱图像进行分块，同时定义局部密度跟踪算子R用以确定视野内感兴趣的区域，其中局部密度跟踪算子R定义如下：

R=检测到的类细胞区域个数/检测区域面积；

（4）光谱分解：

光谱分解以被观测到的光谱曲线可由多种单纯物质的光谱曲线线性叠加而成为前提；使用的光谱分解方法为非负矩阵分解，分解得到的蛋白质，脂类，糖类，核酸各种特征光谱并对这些特征光谱进行分类，分类方法为与已有的蛋白质，脂类，糖类，核酸的标准光谱曲线进行比较，与哪个标准光谱曲线波形最为相近，即认定为是那一类，从而确定分解得到光谱曲线的类别；

（5）光谱丰度及细胞成分区分：

由步骤4）得到的不同生化成分的光谱曲线进行光谱丰度计算，定义光谱丰度SA如下:

在公式（III）中其中i表示第i个光谱波段，λ_i即表示第i个波段的成像灰度值，亦即第i个波段的光谱幅值；

由于细胞核以及细胞浆间各种生化成分光谱丰度不同，故将具有相似光谱丰度的像素聚类，实现细胞核细胞浆以及细胞膜的区分，并辅以伪彩色识别；更为具体的，由于细胞核核仁部分含有大量蛋白质成分，故蛋白质光谱丰度值高的区域被认定为细胞核，而细胞浆部分含水量达80%，故水光谱丰度值高的区域被认定为细胞浆；对细胞核及细胞浆用不同颜色表示即伪彩色；

（6）细胞类型识别：

在完成步骤（5）添加伪彩色之后，采用稀疏表示的方法实现血细胞高光谱图像的空间域和光谱域的联合特征提取，高光谱图像内的各种血细胞根据其光谱丰度值判断哪些是血细胞，并根据形态模板确定其为何种血细胞；所谓形态模板即通过已有的粒细胞、单核细胞、淋巴细胞，红细胞、血小板以及早幼粒血细胞、中幼粒血细胞、晚幼粒血细胞的大小及形状的模板对其进行分类；

（7）对各类型血细胞进行计数；

（8）将各种血细胞计数结果显示于计算机屏幕。

Claims (2)

1.一种自动化血细胞识别装置的工作方法，其中，所述装置包括分别与计算机相连的激光光源部、显微镜采集部和载物台部；

所述的激光光源部包括光源控制模块和超连续激光光源；

所述显微镜采集部包括与计算机顺次连接的近红外敏感感光部件、声光调制分光器和显微镜；在超连续激光照射下血细胞切片经显微镜的物镜及目镜光路进入显微镜的分光器，之后由近红外敏感部件实现成像，其中所述分光器用于将混合光分解为个波段的单纯光；

所述载物台部包括载物台控制模块和载物台，所述载物台控制模块通过RS-232链路与计算机通信，接受计算机指令：计算机通过RS-232链路控制载物台上下左右前后移动，使显微镜的目镜对准血细胞切片上的待检测区域；

所述光源控制模块包括单片机PIC16F628a、恒流驱动电路和RS-485通信链路，所述恒流驱动电路用以驱动超连续激光光源向所述显微镜提供400nm-2500nm的连续光谱的照明；所述单片机通过USB接口与计算机进行通信联络，以获取对光源启停的指令；计算机可通过USB接口经所述单片机控制光源启停及光源亮度；

所述近红外敏感感光部件的型号为JAIBM-141GE；

所述载物台控制模块包括51系列单片机；

其特征在于，所述自动化血细胞识别装置的工作方法，包括步骤如下：

(1)所述近红外敏感感光部件将显微镜获取到的血细胞的高光谱图像经传输链路至计算机；所述的传输链路为以太网；

(2)为克服动态干扰，利用计算机上对获取的高光谱图像进行电子稳相操作，具体过程如下：

Step1.将每一幅图像分成宏块，

Step2.以第一幅图像做为参考帧，对于第一幅图像中的每一宏块，在其后的每一幅图像中相应搜索区域中，按照匹配准则，搜索最佳匹配块，即按照平均灰度差值最小的匹配快；计算出与参考帧中宏块对应的后续帧中宏块与参考帧宏块之间的相对位移，即该宏块的运动矢量；

所述的匹配准则为MAD平均绝对误差准则:

$MAD(d_1,d_2)=\frac{1}{N_1{N}_2}\underset{(n_1,n_2\∈B)}{\Σ}|s(n_1,n_2,k)-s(n_1+d_1,n_2+d_2,k+1)|---\left(I\right)$

在公式(I)中，s(n₁,n₂,k)为参考帧中的参考宏块中(n₁,n₂)处的像素值，所述(n₁,n₂)为坐标值，s(n₁+d₁,n₂+d₂,k+1)为当前宏块中相应点的像素值，N₁,N₂为宏块的大小，所谓宏块大小即宏块所含像素个数；

Step3.进行参考帧补偿，选定第一幅图像作为参考帧，假设参考图像中的以(i，j)为起点的某一宏块，与当前图像中相应最佳匹配块的运动矢量为(dx，dy)，即当前块的起点为:(currentX，currentY)；所述currentX＝i+dx，currentY＝j+dy；

对当前块进行补偿：

imageComp(i:i+mbSize-1,j:j+mbSize-1)＝imgI(currentX:currentX+mbSize-1,currentY:currentY+mbSize-1)(II)；

在公式(II)中，imageComp为当前图像的补偿图像，imgI为当前图像，mbSize为宏块大小；

(3)对血细胞主要分布区域的选取：通过计算平均灰度值设置阈值进行二值化，而后，利用形态学算子去除高光谱图像中的孔洞噪声，并将邻域合并，对经显微镜获得的高光谱图像进行分块，同时定义局部密度跟踪算子R用以确定视野内感兴趣的区域，其中局部密度跟踪算子R定义如下：

R＝检测到的类细胞区域个数/检测区域面积；

(4)光谱分解：

使用的光谱分解方法为非负矩阵分解，分解得到的蛋白质，脂类，糖类，核酸各种特征光谱并对这些特征光谱进行分类，分类方法为与已有的蛋白质，脂类，糖类，核酸的标准光谱曲线进行比较，与哪个标准光谱曲线波形最为相近，即认定为是那一类，从而确定分解得到光谱曲线的类别；

(5)光谱丰度及细胞成分区分：

由步骤4)得到的不同生化成分的光谱曲线进行光谱丰度计算，定义光谱丰度SA如下:

在公式(III)中其中i表示第i个光谱波段，λ_i即表示第i个波段的成像灰度值，亦即第i个波段的光谱幅值；

由于细胞核以及细胞浆间各种生化成分光谱丰度不同，故将具有相似光谱丰度的像素聚类，实现细胞核细胞浆以及细胞膜的区分，并辅以伪彩色识别；

(6)细胞类型识别：

在完成步骤(5)添加伪彩色之后，采用稀疏表示的方法实现血细胞高光谱图像的空间域和光谱域的联合特征提取，高光谱图像内的各种血细胞根据其光谱丰度值判断哪些是血细胞，并根据形态模板确定其为何种血细胞；

(7)对各类型血细胞进行计数；

(8)将各种血细胞计数结果显示于计算机屏幕。

2.根据权利要求1所述一种自动化血细胞识别装置的工作方法，其特征在于，所述步骤(2)中，所述宏块的大小为16×16像素。