CN111504885A - 一种基于机器视觉的全自动血涂片形态分析装置 - Google Patents

一种基于机器视觉的全自动血涂片形态分析装置 Download PDF

Info

Publication number
CN111504885A
CN111504885A CN202010261704.XA CN202010261704A CN111504885A CN 111504885 A CN111504885 A CN 111504885A CN 202010261704 A CN202010261704 A CN 202010261704A CN 111504885 A CN111504885 A CN 111504885A
Authority
CN
China
Prior art keywords
scale
image
sliding seat
connecting plate
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010261704.XA
Other languages
English (en)
Other versions
CN111504885B (zh
Inventor
刘霖
于腾
李佼
傅小明
张静
刘娟秀
杜晓辉
倪光明
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010261704.XA priority Critical patent/CN111504885B/zh
Publication of CN111504885A publication Critical patent/CN111504885A/zh
Application granted granted Critical
Publication of CN111504885B publication Critical patent/CN111504885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00584Control arrangements for automatic analysers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1486Counting the particles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1488Methods for deciding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1497Particle shape
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Dispersion Chemistry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种基于机器视觉的全自动血涂片形态分析系统,涉及医疗器械技术领域,包括光学系统单元、上位机软件处理单元、下位机硬件单元。光学系统单元包括生物显微成像系统和CCD生物相机。上位机软件处理单元包括用户控制界面模块、血涂片图像处理模块、上下位机通信模块。下位机硬件单元包括对焦运动模块、图像采集运动模块。通过光学系统单元进行自动对焦,采集血涂片数字图像,经过上位机软件处理单元的机器学习算法识别处理血涂片图像特征,分类不同类型的白细胞并进行计数,通过图形用户界面显示处理结果。单筒显微镜配反射式光源,极大简化了光学结构,实现快速成像;提供了一种工作效率高、精确度高、自动化水平高的全自动血涂片形态分析系统。

Description

一种基于机器视觉的全自动血涂片形态分析装置
技术领域
本发明涉及智能医疗器械技术领域,具体涉及机械结构和图像处理领域。
背景技术
血液细胞分析是最为重要和普及的临床检验项目之一,对许多疾病的预防、诊断、鉴别诊断及预后判断起着重要作用。血常规检验时,比较常用的检验方式就是全自动血细胞分析仪,该检验方式具有比较高的精度,操作简单,反应速度快,所以临床中使用比较多,可是单纯依靠全自动血细胞分析仪来进行检验,对细胞形态的识别准确度比较低。所以,该检验方式只能作为形态学的初步筛查方式。对于全自动血细胞分析仪筛选的异常样本,再使用显微镜复查,获得更加精确的结果,降低临床误诊和漏诊的几率。
随着技术日新月异的发展,单纯依靠血液分析仪来进行检测已经逐渐不满足医疗需求,医院对于血涂片细胞形态智能分析系统的需求日益强烈,随着计算机技术和人工智能的发展,模拟人通过显微镜看到细胞图片进行分析的仪器已经具备了诞生的技术条件。早期白细胞形态学分析及分类方法主要依赖于医学专家,首先人工方法抽取人体血液,经染色制成血涂片,然后医学专家在显微镜油镜下对血涂片进行白细胞形态学分析和分类,最后依据分析和分类的结果来判断疾病。这种传统的镜检方法效率比较低,对医学专家的要求比较高,识别结果依赖人的主观判断,在临床血液病诊断上,存在很大的局限性。目前的医院中,对白细胞分类主要借助于自动化血液分析仪和血涂片的手工镜检,通过自动化血液分析仪采集图像自动分析,然后在人工复核下进行细胞分类。自动化血液分析仪减轻了细胞室检验人员的劳动量,但其检测速度慢且白细胞的分类精度需进一步的提高;手工镜检具有巨大的工作量,用自动化血细胞形态学分析及分类设备代替手工镜检的呼声日渐高涨。目前针对血涂片的观察自动化程度不够高,成本高,所需人力资源比较多,无法满足中国广大患者的治疗需求。
发明内容
针对上面的问题,为了弥补上述传统血液分析仪缺点,急需一种具有自动获取白细胞图像、自动识别白细胞、自动分类和计数白细胞的全自动血涂片形态分析系统。
本发明的目的是通过下列技术方案来实现的:
一种基于机器视觉的全自动血涂片形态分析装置,该装置包括:底座、下位机硬件单元、光学系统单元、上位机软件处理单元;底座包括座体和竖直设置于座体上的杆体;光学系统单元获取数据并传输数据给上位机软件处理单元,上位机软件处理单元控制下位机硬件单元运动,下位机硬件单元承载光学系统单元进行采图;
所述的光学系统单元包括:CCD生物相机、单筒显微成像系统、光源支架;所述光源支架为环装结构,环绕于竖直设置的单筒显微成像系统外壁;沿光源支架的下表面设置一圈光源,用于照射血涂片;所述CCD生物相机设置于单筒显微成像系统的尾部,用于拍摄放大的显微图像,CCD生物相机上设置有数据线接口,用于传输数据各上位机软件处理单元;
所述的下位机硬件单元包括:对焦运动模块、图像采集运动模块;所述对焦运动模块包括:单筒滑动座、调焦机构;单筒滑动座一端与光源支架固定,另一端与调焦机构滑动连接,且只可沿竖直滑动;调焦机构设置于底座的杆体上,通过移动单筒滑座显现单筒显微成像系统的对焦;
图像采集运动模块包括:载物台、Y向移动机构、X向移动机构、血涂片夹持机构;
所述Y向移动机构包括:Y向电机、Y向丝杆滑套、Y向滑块连接板、Y向光电挡板、标尺Y滑座、Y向标尺基座、Y向传感器、Y向电机固定板;Y向电机通过Y向电机固定板固定于载物台的一角,Y向电机的输出轴为Y向的丝杆,Y向丝杆滑套与Y向电机的丝杆配合,Y向丝杆滑套与Y向滑块连接板的一端固定连接,Y向滑块连接板的另一端固定于标尺Y滑座的上表面,Y向标尺基座固定于载物台上,标尺Y滑座下表面与Y向标尺基座的上表面滑动连接且只可沿Y向滑动,标尺Y滑座在Y向的长度长于Y向标尺基座;Y向传感器为U形固定于载物台上,Y向光电挡板为L形的片状结构,长边紧靠Y向滑块连接板固定于标尺Y滑座的上表面,短边朝下,随着标尺Y滑座的滑动带动Y向光电挡板移动的过程中正好从Y向传感器的U形口中穿过,Y向传感器用于确定Y向移动的位置;
所述X向移动机构包括:X向电机、X向丝杆滑套、X向滑块连接板、X向光电挡板、X向传感器、X向标尺基座、X向电机固定板、标尺X滑座、标尺横向连接板;X向电机通过X向电机固定板固定于标尺Y滑座的上表面,X向电机的输出轴为X向的丝杆,X向丝杆滑套与X向电机的丝杆配合,X向丝杆滑套与X向滑块连接板固定连接;X向传感器为U形固定于标尺Y滑座的上表面,位于X向电机固定板和Y向光电挡板之间,X向光电挡板固定于X向滑块连接板上,其伸出的光电挡板竖直朝向X向传感器,X向光电挡板沿X向移动过程中正好从X向传感器的U形口中穿过;X向标尺基座下表面紧贴于载物台的上表面,X向标尺基座上表面与Y向光电挡板末端的下表面固定连接;标尺X滑座下表面紧贴于载物台上表面,标尺横向连接板一端与X向滑块连接板固定连接,另一端与标尺X滑座固定连接;标尺X滑座的前侧壁与X向标尺基座的后侧壁滑动连接,且只可沿X向滑动;
血涂片夹持机构包括:左压片、右压片、压刀、档片,左压片和右压片分别设置于标尺X滑座的左、右两侧,左压片和右压片结构相同,包括横杆部和弹性部,弹性部为波状的弹性片,波的顶点为施压点,弹性片设置于横杆部下表面的一侧,横杆部下表面的另一侧与标尺X滑座固定连接;压刀为獠牙形的弹性片状结构,獠牙形结构的根部设置于标尺X滑座的左侧且根部下表面不与载物台上表面接触,其尖部下表面紧贴于载物台上表面;档片设置于标尺X滑座的右侧且其下表面紧贴于载物台上表面。
进一步的,调焦机构包括:本体、调焦电机、调焦电机固定板、细准焦螺旋、光传感器、调焦光电挡板,本体固定于底座的杆体上,调焦电机通过调焦电机固定板固定于本体上,调焦电机的输出轴通过皮带与细准焦螺旋传动连接,光传感器设置于本体上,调焦光电挡板设置于单筒滑动座上,单筒滑动座内有词条与细准焦螺旋上的齿轮啮合,随着单筒滑动座的滑动调焦光电挡板可触发光传感器。
进一步的,X向丝杆滑套和Y向丝杆滑套结构相同,包括三角板和圆筒,圆筒底面设置于三角板的一侧的中心,三角板的三个顶点处设置安装孔,通过该安装孔与X向滑块连接板或Y向滑块连接板固定;X向滑块连接板或Y向滑块连接板上设有圆弧形凹槽,与X向丝杆滑套和Y向丝杆滑套的圆筒啮合。
进一步的,标尺X滑座为长条形,其上表面中段的一侧进行挖除,但不挖到底,挖除后标尺X滑座的中段为台阶状,该台阶状底部外侧开设弧形的槽,方便血涂片的取出;标尺横向连接板为L形,L形长边的上表面与X向滑块连接板的下表面固定连接,L形长边短边的内壁与标尺X滑座中段台阶状的竖壁固定连接。
进一步的,上位机软件处理单元中的处理方法为:
步骤1:上位机软件处理单元通过CCD生物相机获取血涂片中样本的图像,并对图像进行拼接,获取一幅完整的全局图像;
步骤2:对全局图像转换到HIS色彩空间,在HIS空间中通过像素计算得到H分量的直方图,可以明显看出,由于染色的原因血涂片的H分量直方图中色度范围很窄,取色度范围的下限作为阈值,大于等于阈值的像素颜色置为白色,小于阈值的像素颜色置为黑色,实现对图像进行二值化处理,最后得到只包含黑白两色的图像,图像中的白色部分即为白细胞或红细胞,黑色部分为血涂片的背景,最终得到包含红细胞和白细胞的图像;
步骤3:将步骤1获得的全局图像转换到CMYK空间,然后选出Y通道的子图,可以看出,红细胞与白细胞的细胞核区域在CMYK空间的Y分量中与周围的环境具有较强的对比度,利用CMYK中的Y分量将红细胞与细胞核区域提取出来,将每一个像素当作样本,使用K均值聚类将所有像素分为2个类,其中一类即为红细胞与细胞核区域,另一类则为背景与白细胞细胞质区域,得到包含红细胞与细胞核的图像;
步骤4:采用步骤2得到的红细胞和白细胞的图像减去步骤3得到的红细胞与细胞核的图像,得到白细胞细胞质的图像;
步骤5:对步骤3得到的包含红细胞与细胞核的图像进行细胞核的分割;
步骤6:对每个白细胞图像的颜色特征、纹理特征、形态学特征进行特征提取,其中颜色特征主要包括:均值、方差、峰度、偏度,纹理特征包括:均值、平滑度、标准偏差、熵,形态学特征包括:细胞核的面积和周长、细胞质的面积和周长、核质比、分叶数、圆度、周长比、偏心率、质心距离,形态学特征中的数据采用步骤5得到的细胞核数据进行计算;
步骤7:采用步骤6的特征,训练一个SVM分类器,将白细胞分为5类分别为:嗜中性白细胞、嗜酸性白细胞、嗜碱性白细胞、淋巴细胞和单核细胞;实际检测过程中采用训练好的SVM分类器对识别出的白细胞进行分类。
进一步的,所述步骤5的具体方法为:
步骤5.1:对细胞核进行增强处理;
在步骤3中获得了包含红细胞与细胞的区域的图像,由于红细胞区域与细胞核区域的灰度值不同,采用空域图像增强的方式,对像素灰度值进行运算处理,采用分段线性变换的方式进行灰度拉伸,改变细胞核部分的灰度动态范围,提高红细胞区域与细胞核区域的对比度;
步骤5.2:然后使用最大类间方差自适应阈值法分割细胞核区域,大于等于阈值的像素为细胞核区域,小于阈值的像素为红细胞区域;
步骤5.3:对得到的白细胞细胞核图像进行开操作,断开细小连接处并平滑轮廓,对细胞核边界进行优化,再通过对每一个连通域的面积进行计算并求得所有连通域面积的平均值,由于噪点与核区域面积相差较大,所以面积小于平均值的连通域为噪点,实现细胞核的分割。
本发明的有益效果如下:
a.诊断结果客观
人工诊断对医学专家的要求比较高,识别结果依赖人的主观判断。本发明利用图像处理以及机器学习等技术对血涂片数字图像进行自动、准确地处理与分析,对计算机辅助诊断技术的发展,具有重要意义。
b.图像分割算法速度有较大提升
传统的白细胞分割一般将被分割物中的成分置于一个颜色模式下处理,基于聚类分析和边缘检测,往往由于图片中的杂质影响分割准确性。本发明采用一种将不同的被检测物体至于不同颜色模式下的方法进行阈值分割,然后通过图像相减的方法将白细胞分割出来,在保证了精确度的条件下,分割速度较快,提高了系统整体的效率。
c.提高治疗的精准度和精细度
传统的白细胞形态学分析及分类,通常需要通过医生在生物显微镜下观察制成的血涂片,在传统的分类计数过程中存在人工定位操作,使得检测区域只能依靠人的主观经验控制,无法达到均匀计数的效果。本发明能够科学自动采集数字信息,通过清晰度评价算法,控制显微成像系统准确定位,摆脱主观因素。
d.系统结构简单轻便,精度较高
本系统采用反射光的形式对待测物进行照明,将光源安置在镜筒一侧,减小了系统的体积,解决了利用透射光源的显微镜结构复杂的问题。系统采用步进电机与丝杠搭配的结构,在原有运动精度上有了较大的提升。
e.减轻医生工作量提高工作效率
早期的白细胞形态学分析及分类方法主要依赖于医学专家,由医学专家在显微镜油镜下对血涂片进行白细胞形态学分析和分类,最后依据分析和分类的结果来判断疾病,往往历时较长。全自动血涂片形态分析系统利用计算机技术实现自动化检测,大大减少了医生的工作量,提高了工作效率。
附图说明
图1是本发明软件模块工作流程图;
图2是本发明白细胞分割算法工作流程图;
图3是本发明白细胞分类识别算法工作流程图;
图4是本发明全自动血涂片细胞形态智能识别分析系统的系统框图;
图5是本发明底座、下位机硬件单元、光学系统单元组合的结构示意图;
图6是本发明调焦机构结构示意图;
图7和图8是本发明图像采集运动模块不同视角的结构示意图;
图中:1.底座,2.图像采集运动模块,3.细准焦螺旋,4.调焦电机,5.调焦光电挡板,6.单筒滑动座;7.光传感器,8.调焦电机固定板9.X向丝杆滑套,10.X向滑块连接板,11.X向光电挡板,12.X向传感器,13.X向电机,14.Y向光电挡板,15.Y向滑块连接板,16.Y向丝杆滑套,17.Y向电机,18.标尺Y滑座,19.Y向标尺基座,20.Y向传感器,21.载物台,22.X向标尺基座;23.Y向电机固定板,24.X向电机固定板,25.标尺X滑座,26.标尺横向连接板,27.压片,28.压刀,29.档片。
具体实施方式
为了更加清楚明白地阐述本发明的目的、技术方案及优点,对本发明将结合附图及实例进一步详细说明。但是,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
请参阅图5全自动血涂片细胞形态智能识别分析系统的系统框图,系统包括:上位机软件处理系统,下位机硬件运动控制装置,主控板,运动限位传感器,光学系统,CCD生物相机;光学系统通过CCD生物相机与上位机软件处理系统相连,将血涂片图像转换为数字信息传输到上位机软件处理系统,上位机软件处理系统与下位机硬件运动控制装置通过主控板相连,血涂片数字图像经过上位机软件单元分析处理,产生一系列运动控制指令,指令通过主控板解析后发送给下位机硬件运动控制装置;下位机硬件运动控制装置用于实现控制指令,用于精确的对显微镜进行对焦,获取运动图像等,当运动即将越位,下位机硬件运动控制装置通过运动限位传感器告知上位机停止运动或者改变路线;最后上位机软件处理系统将分类计数结果呈现出来。
对焦控制模块通过对Z方向运动采集图片的清晰度进行判定,确定对焦最好的位置,控制光学系统单元在Z方向单独运动实现自动对焦;图像采集控制模块通过上位机对血涂片上细胞位置分析,规划运动路径,通过控制X,Y向步进电机动态获取血涂片数字图像。
请参阅图1,所述的光学系统单元采用LED照明方式搭配单筒显微镜结构,其中显微成像系统的照明系统采用LED反射式打光方式,LED光源和镜筒相连,分布在镜筒的两侧,光阑位于镜筒内中间像平面位置,单筒显微镜成像系统使用双交合镜片校正球差、色差、正弦差,利用彩色CCD生物相机将显微成像系统产生的光信号转为数字信号,并传送给上位机软件处理单元,所述CCD生物相机要求帧率大于等于20帧。
请参阅图1,图2,图3,所述的上位机软件处理单元中血涂片图像处理模块接收来自光学系统单元的图像输入,利用数字图像处理技术对数字图像进行预处理,并对白细胞进行分割,然后针对分割后的图像进行特征提取,再使用机器学习技术识别进行白细胞的五分类并且计数。
所述的图像采集运动模块主要包括两个步进电机,三个限位传感器,两个丝杠,两个压片夹,运动平台,三枚滑动轴,主控板,载物台,金属底座等,本发明的图像采集运动模块利用主控板控制步进电机搭配丝杠进行X,Y方向的运动,实现微米级数字图像采集,所述步进电机精度要求大于等于10微米。所述运动平台应使用表面光滑,阻力较小的材料。所述X向限位传感器位于滑动轴两端,Y向限位传感器位于Y向两滑动轴之间与运动支架相连位置,两者分别对步进电机运动进行X,Y向限位。
全自动血涂片细胞形态智能识别分析系统,包括CCD相机,单筒显微镜镜筒,光源支架,X向步进电机,Y向步进电机,Y向丝杠,X向丝杠,数据线,数据线接口,Z向限位传感器,Z向步进电机,细准焦螺旋,主控板,上位机。操作主要包括以下步骤:
1、给系统各个模块通电,保证各个模块通信正常。此时LED光源对血涂片进行打光照明,单筒显微镜将血涂片上的细胞进行放大成像,CCD相机将显微系统放大的图像获取到,经由数据线将产生的血涂片图像信号传输给上位机,点击上位机软件的复位按钮,使仪器进入初始化等待状态。
2、点击上位机软件自动对焦按钮,上位机根据获取到的图像,通过清晰度评价函数计算出图像的清晰度,判断具有最佳清晰度的位置,然后将位置结果通过主控板将运动信号传递给Z向步进电机,Z向步进电机通过带动细准焦螺旋转动进行Z方向的运动,实现自动对焦功能。
3、点击上位机软件的拍摄按钮,X向步进电机,Y向步进电机分别通过控制X向丝杠,Y向丝杠按照规划好的路径对血涂片进行拍图并存储,运动路径规划由上位机软件的进行设置,等待图像获取完成。
4、点击上位机软件的图像分析按钮,上位机软件处理系统将会对刚才采集到的清晰图像分别进行图像预处理,白细胞图像分割,白细胞分类计数等操作,然后将本次操作中所有的白细胞种类和数量呈现出来。
本发明应用于临床检验领域,基于机器视觉的全自动血涂片形态分析系统具有高分辨率血涂片图像的数字采集,智能化血涂片图像识别与分析,科学规划拍图的区域与路径,友好的人机交互界面,高精度、高速率的定位对焦等优势,是人工智能领域与医疗器械领域的深度融合,具有重要意义。
以上所述仅为本发明的较佳具体实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于机器视觉的全自动血涂片形态分析装置,该装置包括:底座、下位机硬件单元、光学系统单元、上位机软件处理单元;底座包括座体和竖直设置于座体上的杆体;光学系统单元获取数据并传输数据给上位机软件处理单元,上位机软件处理单元控制下位机硬件单元运动,下位机硬件单元承载光学系统单元进行采图;
所述的光学系统单元包括:CCD生物相机、单筒显微成像系统、光源支架;所述光源支架为环装结构,环绕于竖直设置的单筒显微成像系统外壁;沿光源支架的下表面设置一圈光源,用于照射血涂片;所述CCD生物相机设置于单筒显微成像系统的尾部,用于拍摄放大的显微图像,CCD生物相机上设置有数据线接口,用于传输数据各上位机软件处理单元;
所述的下位机硬件单元包括:对焦运动模块、图像采集运动模块;所述对焦运动模块包括:单筒滑动座、调焦机构;单筒滑动座一端与光源支架固定,另一端与调焦机构滑动连接,且只可沿竖直滑动;调焦机构设置于底座的杆体上,通过移动单筒滑座显现单筒显微成像系统的对焦;
图像采集运动模块包括:载物台、Y向移动机构、X向移动机构、血涂片夹持机构;
所述Y向移动机构包括:Y向电机、Y向丝杆滑套、Y向滑块连接板、Y向光电挡板、标尺Y滑座、Y向标尺基座、Y向传感器、Y向电机固定板;Y向电机通过Y向电机固定板固定于载物台的一角,Y向电机的输出轴为Y向的丝杆,Y向丝杆滑套与Y向电机的丝杆配合,Y向丝杆滑套与Y向滑块连接板的一端固定连接,Y向滑块连接板的另一端固定于标尺Y滑座的上表面,Y向标尺基座固定于载物台上,标尺Y滑座下表面与Y向标尺基座的上表面滑动连接且只可沿Y向滑动,标尺Y滑座在Y向的长度长于Y向标尺基座;Y向传感器为U形固定于载物台上,Y向光电挡板为L形的片状结构,长边紧靠Y向滑块连接板固定于标尺Y滑座的上表面,短边朝下,随着标尺Y滑座的滑动带动Y向光电挡板移动的过程中正好从Y向传感器的U形口中穿过,Y向传感器用于确定Y向移动的位置;
所述X向移动机构包括:X向电机、X向丝杆滑套、X向滑块连接板、X向光电挡板、X向传感器、X向标尺基座、X向电机固定板、标尺X滑座、标尺横向连接板;X向电机通过X向电机固定板固定于标尺Y滑座的上表面,X向电机的输出轴为X向的丝杆,X向丝杆滑套与X向电机的丝杆配合,X向丝杆滑套与X向滑块连接板固定连接;X向传感器为U形固定于标尺Y滑座的上表面,位于X向电机固定板和Y向光电挡板之间,X向光电挡板固定于X向滑块连接板上,其伸出的光电挡板竖直朝向X向传感器,X向光电挡板沿X向移动过程中正好从X向传感器的U形口中穿过;X向标尺基座下表面紧贴于载物台的上表面,X向标尺基座上表面与Y向光电挡板末端的下表面固定连接;标尺X滑座下表面紧贴于载物台上表面,标尺横向连接板一端与X向滑块连接板固定连接,另一端与标尺X滑座固定连接;标尺X滑座的前侧壁与X向标尺基座的后侧壁滑动连接,且只可沿X向滑动;
血涂片夹持机构包括:左压片、右压片、压刀、档片,左压片和右压片分别设置于标尺X滑座的左、右两侧,左压片和右压片结构相同,包括横杆部和弹性部,弹性部为波状的弹性片,波的顶点为施压点,弹性片设置于横杆部下表面的一侧,横杆部下表面的另一侧与标尺X滑座固定连接;压刀为獠牙形的弹性片状结构,獠牙形结构的根部设置于标尺X滑座的左侧且根部下表面不与载物台上表面接触,其尖部下表面紧贴于载物台上表面;档片设置于标尺X滑座的右侧且其下表面紧贴于载物台上表面。
2.如权利要求1所述的一种基于机器视觉的全自动血涂片形态分析装置,其特征在于调焦机构包括:本体、调焦电机、调焦电机固定板、细准焦螺旋、光传感器、调焦光电挡板,本体固定于底座的杆体上,调焦电机通过调焦电机固定板固定于本体上,调焦电机的输出轴通过皮带与细准焦螺旋传动连接,光传感器设置于本体上,调焦光电挡板设置于单筒滑动座上,单筒滑动座内有词条与细准焦螺旋上的齿轮啮合,随着单筒滑动座的滑动调焦光电挡板可触发光传感器。
3.如权利要求1所述的一种基于机器视觉的全自动血涂片形态分析装置,其特征在于X向丝杆滑套和Y向丝杆滑套结构相同,包括三角板和圆筒,圆筒底面设置于三角板的一侧的中心,三角板的三个顶点处设置安装孔,通过该安装孔与X向滑块连接板或Y向滑块连接板固定;X向滑块连接板或Y向滑块连接板上设有圆弧形凹槽,与X向丝杆滑套和Y向丝杆滑套的圆筒啮合。
4.如权利要求1所述的一种基于机器视觉的全自动血涂片形态分析装置,其特征在于标尺X滑座为长条形,其上表面中段的一侧进行挖除,但不挖到底,挖除后标尺X滑座的中段为台阶状,该台阶状底部外侧开设弧形的槽,方便血涂片的取出;标尺横向连接板为L形,L形长边的上表面与X向滑块连接板的下表面固定连接,L形长边短边的内壁与标尺X滑座中段台阶状的竖壁固定连接。
5.如权利要求1所述的一种基于机器视觉的全自动血涂片形态分析装置,其特征在于上位机软件处理单元中的处理方法为:
步骤1:上位机软件处理单元通过CCD生物相机获取血涂片中样本的图像,并对图像进行拼接,获取一幅完整的全局图像;
步骤2:对全局图像转换到HIS色彩空间,在HIS空间中通过像素计算得到H分量的直方图,可以明显看出,由于染色的原因血涂片的H分量直方图中色度范围很窄,取色度范围的下限作为阈值,大于等于阈值的像素颜色置为白色,小于阈值的像素颜色置为黑色,实现对图像进行二值化处理,最后得到只包含黑白两色的图像,图像中的白色部分即为白细胞或红细胞,黑色部分为血涂片的背景,最终得到包含红细胞和白细胞的图像;
步骤3:将步骤1获得的全局图像转换到CMYK空间,然后选出Y通道的子图,可以看出,红细胞与白细胞的细胞核区域在CMYK空间的Y分量中与周围的环境具有较强的对比度,利用CMYK中的Y分量将红细胞与细胞核区域提取出来,将每一个像素当作样本,使用K均值聚类将所有像素分为2个类,其中一类即为红细胞与细胞核区域,另一类则为背景与白细胞细胞质区域,得到包含红细胞与细胞核的图像;
步骤4:采用步骤2得到的红细胞和白细胞的图像减去步骤3得到的红细胞与细胞核的图像,得到白细胞细胞质的图像;
步骤5:对步骤3得到的包含红细胞与细胞核的图像进行细胞核的分割;
步骤6:对每个白细胞图像的颜色特征、纹理特征、形态学特征进行特征提取,其中颜色特征主要包括:均值、方差、峰度、偏度,纹理特征包括:均值、平滑度、标准偏差、熵,形态学特征包括:细胞核的面积和周长、细胞质的面积和周长、核质比、分叶数、圆度、周长比、偏心率、质心距离,形态学特征中的数据采用步骤5得到的细胞核数据进行计算;
步骤7:采用步骤6的特征,训练一个SVM分类器,将白细胞分为5类分别为:嗜中性白细胞、嗜酸性白细胞、嗜碱性白细胞、淋巴细胞和单核细胞;实际检测过程中采用训练好的SVM分类器对识别出的白细胞进行分类。
6.如权利要求5所述的一种基于机器视觉的全自动血涂片形态分析装置,其特征在于所述步骤5的具体方法为:
步骤5.1:对细胞核进行增强处理;
在步骤3中获得了包含红细胞与细胞的区域的图像,由于红细胞区域与细胞核区域的灰度值不同,采用空域图像增强的方式,对像素灰度值进行运算处理,采用分段线性变换的方式进行灰度拉伸,改变细胞核部分的灰度动态范围,提高红细胞区域与细胞核区域的对比度;
步骤5.2:然后使用最大类间方差自适应阈值法分割细胞核区域,大于等于阈值的像素为细胞核区域,小于阈值的像素为红细胞区域;
步骤5.3:对得到的白细胞细胞核图像进行开操作,断开细小连接处并平滑轮廓,对细胞核边界进行优化,再通过对每一个连通域的面积进行计算并求得所有连通域面积的平均值,由于噪点与核区域面积相差较大,所以面积小于平均值的连通域为噪点,实现细胞核的分割。
CN202010261704.XA 2020-04-04 2020-04-04 一种基于机器视觉的全自动血涂片形态分析装置的分析方法 Active CN111504885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010261704.XA CN111504885B (zh) 2020-04-04 2020-04-04 一种基于机器视觉的全自动血涂片形态分析装置的分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010261704.XA CN111504885B (zh) 2020-04-04 2020-04-04 一种基于机器视觉的全自动血涂片形态分析装置的分析方法

Publications (2)

Publication Number Publication Date
CN111504885A true CN111504885A (zh) 2020-08-07
CN111504885B CN111504885B (zh) 2022-03-15

Family

ID=71869067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010261704.XA Active CN111504885B (zh) 2020-04-04 2020-04-04 一种基于机器视觉的全自动血涂片形态分析装置的分析方法

Country Status (1)

Country Link
CN (1) CN111504885B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687157A (zh) * 2021-01-12 2021-04-20 上海理工大学 一种流式细胞分析技术的教学实验仪器
CN113192080A (zh) * 2021-04-27 2021-07-30 北京大学 一种基于边缘计算的便携式细胞成像与智能分析系统
CN113420653A (zh) * 2021-06-22 2021-09-21 深圳跃美生物医学科技有限公司 一种细菌细胞形态学综合检测分析方法、装置及可读介质
CN113984765A (zh) * 2021-11-15 2022-01-28 东莞市迈聚医疗科技有限公司 一种血液或寄生虫的检测分析方法
WO2023220913A1 (zh) * 2022-05-17 2023-11-23 京东方科技集团股份有限公司 细胞图像处理方法、电子设备以及存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553166A (zh) * 2003-12-19 2004-12-08 武汉大学 显微多光谱骨髓及外周血细胞自动分析仪和方法
CN1793919A (zh) * 2005-12-09 2006-06-28 天津理工大学 一种对血液显微图像中白细胞个数自动计数方法
CN101221118A (zh) * 2007-12-07 2008-07-16 东华大学 一种智能识别与计数痰涂片显微图像结核菌的系统和方法
CN103745210A (zh) * 2014-01-28 2014-04-23 爱威科技股份有限公司 一种白细胞分类方法及装置
CN103985119A (zh) * 2014-05-08 2014-08-13 山东大学 一种彩色血细胞图像中白细胞的细胞质和细胞核分割方法
CN104198355A (zh) * 2014-07-16 2014-12-10 电子科技大学 一种粪便中红细胞自动检测方法
CN104392460A (zh) * 2014-12-12 2015-03-04 山东大学 一种基于胞核标记分水岭变换的粘连白细胞分割方法
CN104881679A (zh) * 2015-05-22 2015-09-02 电子科技大学 一种基于改进模糊识别的白带中红细胞自动检测方法
CN105181538A (zh) * 2015-10-20 2015-12-23 丹东百特仪器有限公司 带有扫描、拼接的动态颗粒图像粒度粒形分析仪及方法
CN205787338U (zh) * 2016-07-12 2016-12-07 江苏赛尔蒂扶医疗科技有限公司 一种载物台机构
CN106248559A (zh) * 2016-07-14 2016-12-21 中国计量大学 一种基于深度学习的白细胞五分类方法
CN106295588A (zh) * 2016-08-17 2017-01-04 电子科技大学 一种白带显微图像中白细胞的自动识别方法
CN207036049U (zh) * 2016-12-30 2018-02-23 上海察微电子技术有限公司 一种光栅自动测量显微镜移动平台
CN108519665A (zh) * 2018-07-04 2018-09-11 殷跃锋 一种细胞检测显微镜
CN108961208A (zh) * 2018-05-21 2018-12-07 江苏康尚生物医疗科技有限公司 一种聚集白细胞分割计数系统及方法
CN110146974A (zh) * 2019-05-29 2019-08-20 电子科技大学 一种智能生物显微镜
CN110764245A (zh) * 2019-11-14 2020-02-07 武汉呵尔医疗科技发展有限公司 显微镜xy轴丝杆移动平台

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1553166A (zh) * 2003-12-19 2004-12-08 武汉大学 显微多光谱骨髓及外周血细胞自动分析仪和方法
CN1793919A (zh) * 2005-12-09 2006-06-28 天津理工大学 一种对血液显微图像中白细胞个数自动计数方法
CN101221118A (zh) * 2007-12-07 2008-07-16 东华大学 一种智能识别与计数痰涂片显微图像结核菌的系统和方法
CN103745210A (zh) * 2014-01-28 2014-04-23 爱威科技股份有限公司 一种白细胞分类方法及装置
CN103985119A (zh) * 2014-05-08 2014-08-13 山东大学 一种彩色血细胞图像中白细胞的细胞质和细胞核分割方法
CN104198355A (zh) * 2014-07-16 2014-12-10 电子科技大学 一种粪便中红细胞自动检测方法
CN104392460A (zh) * 2014-12-12 2015-03-04 山东大学 一种基于胞核标记分水岭变换的粘连白细胞分割方法
CN104881679A (zh) * 2015-05-22 2015-09-02 电子科技大学 一种基于改进模糊识别的白带中红细胞自动检测方法
CN105181538A (zh) * 2015-10-20 2015-12-23 丹东百特仪器有限公司 带有扫描、拼接的动态颗粒图像粒度粒形分析仪及方法
CN205787338U (zh) * 2016-07-12 2016-12-07 江苏赛尔蒂扶医疗科技有限公司 一种载物台机构
CN106248559A (zh) * 2016-07-14 2016-12-21 中国计量大学 一种基于深度学习的白细胞五分类方法
CN106295588A (zh) * 2016-08-17 2017-01-04 电子科技大学 一种白带显微图像中白细胞的自动识别方法
CN207036049U (zh) * 2016-12-30 2018-02-23 上海察微电子技术有限公司 一种光栅自动测量显微镜移动平台
CN108961208A (zh) * 2018-05-21 2018-12-07 江苏康尚生物医疗科技有限公司 一种聚集白细胞分割计数系统及方法
CN108519665A (zh) * 2018-07-04 2018-09-11 殷跃锋 一种细胞检测显微镜
CN110146974A (zh) * 2019-05-29 2019-08-20 电子科技大学 一种智能生物显微镜
CN110764245A (zh) * 2019-11-14 2020-02-07 武汉呵尔医疗科技发展有限公司 显微镜xy轴丝杆移动平台

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687157A (zh) * 2021-01-12 2021-04-20 上海理工大学 一种流式细胞分析技术的教学实验仪器
CN112687157B (zh) * 2021-01-12 2022-10-14 上海理工大学 一种流式细胞分析技术的教学实验仪器
CN113192080A (zh) * 2021-04-27 2021-07-30 北京大学 一种基于边缘计算的便携式细胞成像与智能分析系统
CN113420653A (zh) * 2021-06-22 2021-09-21 深圳跃美生物医学科技有限公司 一种细菌细胞形态学综合检测分析方法、装置及可读介质
CN113984765A (zh) * 2021-11-15 2022-01-28 东莞市迈聚医疗科技有限公司 一种血液或寄生虫的检测分析方法
WO2023220913A1 (zh) * 2022-05-17 2023-11-23 京东方科技集团股份有限公司 细胞图像处理方法、电子设备以及存储介质

Also Published As

Publication number Publication date
CN111504885B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN111504885B (zh) 一种基于机器视觉的全自动血涂片形态分析装置的分析方法
DK2973397T3 (en) Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
Kaewkamnerd et al. An automatic device for detection and classification of malaria parasite species in thick blood film
Tek et al. Computer vision for microscopy diagnosis of malaria
CN110146974B (zh) 一种智能生物显微镜
JPH10506206A (ja) 医・生物学標本の自動焦点装置
JP2016517515A (ja) 細胞診標本を観察および解析するためのシステムおよび方法
Hortinela et al. Identification of abnormal red blood cells and diagnosing specific types of anemia using image processing and support vector machine
CN111340798A (zh) 深度学习在产品外观瑕疵检测中的应用
CN113781455B (zh) 宫颈细胞图像异常检测方法、装置、设备及介质
CN107525768B (zh) 一种dna倍体分析设备的质量控制方法
CN111062346A (zh) 一种白细胞自动定位检测及分类识别系统及方法
CN107543788A (zh) 一种尿红细胞畸形率检测方法及系统
WO2016189469A1 (en) A method for medical screening and a system therefor
CN111579466B (zh) 一种家用型精子检测装置和检测方法
Caya et al. Detection and counting of red blood cells in human urine using canny edge detection and circle hough transform algorithms
CN112432902A (zh) 一种外周血细胞形态学判别细胞数目的自动检测系统及方法
CN117576103B (zh) 集成电控显微镜和深度学习算法的尿沉渣镜检分析系统
US8965098B2 (en) Cell-image analyzing apparatus
Evangeline et al. Computer aided system for human blood cell identification, classification and counting
CN113470041B (zh) 免疫组化细胞图像细胞核分割与计数方法和系统
CN112992336A (zh) 一种病理智能诊断系统
CN112924452A (zh) 一种血液检查辅助系统
CN113139485A (zh) 一种基于深度学习的骨髓细胞分类识别方法、装置及系统
Zhong et al. Efficient Malaria Parasite Detection From Diverse Images of Thick Blood Smears for Cross-Regional Model Accuracy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant