CN110967302A - 微生物全景涂片检测装置及检测方法 - Google Patents

微生物全景涂片检测装置及检测方法 Download PDF

Info

Publication number
CN110967302A
CN110967302A CN201911076199.5A CN201911076199A CN110967302A CN 110967302 A CN110967302 A CN 110967302A CN 201911076199 A CN201911076199 A CN 201911076199A CN 110967302 A CN110967302 A CN 110967302A
Authority
CN
China
Prior art keywords
smear
panoramic
pictures
view
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911076199.5A
Other languages
English (en)
Inventor
赵孔亚
何浩
高鹏
刘孙相与
张鑫焱
李贵涛
王有政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911076199.5A priority Critical patent/CN110967302A/zh
Publication of CN110967302A publication Critical patent/CN110967302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Abstract

本发明公开了一种微生物全景涂片检测装置及检测方法，其中，装置包括：显微镜；数据采集系统，用于采集微生物涂片单视野图片；控制器，用于对微生物涂片单视野图片进行数据增强和预处理，输入第一最终识别模型，得到单视野的检测结果，并保存视野的位置信息，将每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列，依次进行非线性映射，得到M*N*P的第二全景图片，将第二全景图片进行数据增强和预处理，输入第二最终识别模型，得到全景的检测结果。根据本申请的检测装置，可以实现基于人工智能的微生物全景涂片检测目的，提升检测的准确率。

Description

微生物全景涂片检测装置及检测方法
技术领域
本发明涉及生物医疗检测分析技术领域，特别涉及一种微生物全景涂片检测装置及检测方法。
背景技术
相关技术，微生物涂片的检测和识别对人类健康和生活水平具有重要意义，是很多疾病诊断的主要依据。
相关技术中，微生物涂片的检测和识别在临床上主要依赖于人工检查。具体地，检验人员拿到微生物样本后，进行人工涂片、染色，然后放置到显微镜下进行检测。在检测过程中，需要对显微镜进行调焦，并通过不断切换视野，察看涂片中的形态学检测指标，进行分类和数目统计。
然而，人工镜检的方式，不仅需要不断地切换视野计数，还要进行人工判断，耗时费力，检测效率低，而且计数与判断过程容易出错，由人为误差造成误诊和漏诊，亟待改进。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种微生物全景涂片检测装置，可以基于人工智能的微生物全景涂片进行获取及识别，提升检测的准确率，简单易实现。
本发明的另一个目的在于提出一种微生物全景涂片检测方法。
为达到上述目的，本发明一方面实施例提出了一种微生物全景涂片检测装置，包括：显微镜；数据采集系统，用于采集微生物涂片单视野图片；控制器，用于根据每张图片单视野多光谱图片的数量构建第一识别模型，将待训练的所述微生物涂片单视野多光谱图片进行标注，且对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第一识别模型，得到第一最终识别模型，根据每张涂片M行*N列个视野图片的全景区域构建全景图像的第二识别模型，且将所述每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列以依次进行非线性映射，生成M*N*P的第一全景图片，将待训练的所述第一全景图片进行标注，对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第二识别模型，得到第二最终识别模型，并且对所述微生物涂片单视野图片进行数据增强和预处理，输入所述第一最终识别模型，得到单视野的检测结果，并保存视野的位置信息，将每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列，依次进行非线性映射，得到M*N*P的第二全景图片，将所述第二全景图片进行数据增强和预处理，输入所述第二最终识别模型，得到全景的检测结果。
本发明实施例的微生物全景涂片检测装置，可以自动扫描全部视野并合成全景照片，充分利用涂片在显微镜下不同视野及全景的检测结果和位置信息，并结合人工智能的方法实现微生物涂片的自动化镜检以提升检测的准确率。
另外，根据本发明上述实施例的微生物全景涂片检测方法还可以具有以下附加的技术特征：
进一步的，在本发明的一个实施例中，还包括：图像传感器；电调谐波滤光器系统，所述电调谐波滤光器系统包括滤光器控制器和电调谐滤光器，用于与所述图像传感器和所述数据采集系统配合进行显微光谱图像的采集。
进一步的，在本发明的一个实施例中，还包括：Z轴对焦控制系统和物镜转换系统，用于在所述物镜转换系统确定物镜时，所述Z轴对焦控制系统选择对应距离以进行自动聚焦。
进一步的，在本发明的一个实施例中，还包括：XY轴自动扫描系统，用于设置X轴和Y轴的运动参数。
进一步的，在本发明的一个实施例中，还包括：XY轴手动控制台，用于接收用户的控制指令，以设置XY轴的运动参数。
进一步的，在本发明的一个实施例中，还包括：自动载物台，所述自动载物台包括X轴移动驱动机构、Y轴移动驱动机构、Z轴移动驱动机构和切片放置组件。
进一步的，在本发明的一个实施例中，还包括：照明系统和聚光系统，用于对微生物涂片进行光照处理。
进一步的，在本发明的一个实施例中，还包括：三维移动控制系统，用于控制微生物涂片进行三维运动。
进一步的，在本发明的一个实施例中，还包括：可视化设备和图像分析系统，用于对所述单视野的检测结果和所述全景的检测结果进行可视化和结果分析。
为达到上述目的，本发明另一方面实施例提出了一种微生物全景涂片检测装置，包括以下步骤：根据每张图片单视野多光谱图片的数量构建第一识别模型；将待训练的所述微生物涂片单视野多光谱图片进行标注，且对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第一识别模型，得到第一最终识别模型；根据每张涂片M行*N列个视野图片的全景区域构建全景图像的第二识别模型，且将所述每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列以依次进行非线性映射，生成M*N*P的第一全景图片；将待训练的所述第一全景图片进行标注，对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第二识别模型，得到第二最终识别模型；对显微镜采集的微生物涂片单视野图片进行数据增强和预处理，输入所述第一最终识别模型，得到单视野的检测结果，并保存视野的位置信息；将每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列，依次进行非线性映射，得到M*N*P的第二全景图片；将所述第二全景图片进行数据增强和预处理，输入所述第二最终识别模型，得到全景的检测结果。
本发明实施例的微生物全景涂片检测方法，可以自动扫描全部视野并合成全景照片，充分利用涂片在显微镜下不同视野及全景的检测结果和位置信息，并结合人工智能的方法实现微生物涂片的自动化镜检以提升检测的准确率。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的微生物全景涂片检测装置的结构示意图；
图2为根据本发明一个实施例的微生物全景涂片检测装置的原理示意图；
图3为根据本发明一个实施例的微生物全景涂片检测装置的原理结构示意图；
图4为根据本发明一个实施例的自动载物台的侧视图；
图5为根据本发明一个实施例的自动载物台的俯视图；
图6为根据本发明一个实施例的XY轴手动控制台俯视图；
图7为根据本发明实施例的微生物全景涂片检测方法的流程图；
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面描述根据本发明实施例提出的微生物全景涂片检测方法及检测装置之前，先来简单描述一下现有技术的缺陷。
例如，现有技术的扫描多光谱显微成像方法及其装置，把多光谱成像技术应用于显微镜中，可同时用计算机获取样品的多个波段的光谱像，还可对图像进行增强、相减、识别等多种运算，使显微镜走向自动化和智能化，但是其还是使用传统的分析方法，分析误差较大。
又例如，现有技术的临床微生物鉴别方法，通过镜下图像与数据库中的三位分析图像对比来确定病原微生物，该方法操作简便、易标准化、对实验室要求不高，但其鉴别方法未考虑光谱信息，且使用传统的图像分析方法，分析误差较大，不利于实现微生物检测的自动化。
又例如，现有技术的阴道分泌物形态学自动分析方法和系统，先对低分辨率涂片图像进行超分辨率放大重建，再应用神经网络技术对重建后的高分辨率图像进行图像判断和识别，实现了微生物图片形态学的自动分析，但它未从硬件上改进涂片的识别过程，没有充分考虑涂片的不同视野信息，容易造成误诊和漏诊。
又例如，现有技术的多功能智能妇科分泌物检查装置，提供了一种可以同时检测图像和光谱的检测装置，可以一次性获取大量的图像信息，但没有提出具体地图像分析和识别算法，不能实现真正的微生物自动化检测。
又例如，现有技术的阴道分泌物检测装置及方法，将干化学检测结果和显微镜镜检结果综合判断，并利用卷积神经网络的方法给出了涂片在显微镜下单个视野图片中有形成分的检测方法，提高了识别的准确率，却没有利用光谱信息，也没有给出涂片在不同视野有形成分检测结果的结合方法。
本发明正是基于上述问题，而提出了一种微生物全景涂片检测方法及检测装置。
下面参照附图描述根据本发明实施例提出的微生物全景涂片检测方法及检测装置，首先将参照附图描述根据本发明实施例提出的微生物全景涂片检测方法。
图1为根据本发明实施例的微生物全景涂片检测装置的结构示意图
如图1所示，该微生物全景涂片检测装置10包括：显微镜100、数据采集系统200和控制器300(如计算机)。
其中，数据采集系统200用于采集微生物涂片单视野图片。
控制器300用于根据每张图片单视野多光谱图片的数量构建第一识别模型，将待训练的微生物涂片单视野多光谱图片进行标注，且对标注后的图片进行数据增强和预处理，以将处理后的图片输入第一识别模型，得到第一最终识别模型，根据每张涂片M行*N列个视野图片的全景区域构建全景图像的第二识别模型，且将每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列以依次进行非线性映射，生成M*N*P的第一全景图片，将待训练的第一全景图片进行标注，对标注后的图片进行数据增强和预处理，以将处理后的图片输入第二识别模型，得到第二最终识别模型，并且对微生物涂片单视野图片进行数据增强和预处理，输入第一最终识别模型，得到单视野的检测结果，并保存视野的位置信息，将每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列，依次进行非线性映射，得到M*N*P的第二全景图片，将第二全景图片进行数据增强和预处理，输入第二最终识别模型，得到全景的检测结果。根据本发明实施例的检测装置10可以基于人工智能的微生物全景涂片进行获取及识别，提升检测的准确率，简单易实现。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：图像传感器如面阵CCD系统和电调谐波滤光器系统。其中，电调谐波滤光器系统包括滤光器控制器和电调谐滤光器，用于与图像传感器和数据采集系统配合进行显微光谱图像的采集。也就是说，电调谐滤光器系统包括滤光器控制器和电调谐滤光器，与图像传感器和数据采集系统配合可以实现显微多光谱图像的快速采集。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：Z轴对焦控制系统和物镜转换系统。其中，在物镜转换系统确定物镜时，Z轴对焦控制系统选择对应距离以进行自动聚焦。即言，Z轴对焦控制系统是和物镜转换系统进行配合使用的，当物镜转换系统确定好物镜时，Z轴对焦控制系统会选择与之相配的距离进行自动聚焦。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：XY轴自动扫描系统。其中，XY轴自动扫描系统用于设置X轴和Y轴的运动参数。具体地，XY轴自动扫描系统可以包含一个可执行的脚本文件，可以对X轴和Y轴所有的运动参数进行设置，包括X轴和Y轴零点、速度、加速度、扫描范围的配置。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：XY轴手动控制台。其中，XY轴手动控制台用于接收用户的控制指令，以设置XY轴的运动参数。也就是说，XY轴手动控制台可以实现对XY轴所有运动参数的手动设置，包括XY轴的初始化、XY轴的归零、XY轴不同操作速度的设置和XY轴移动距离的控制，便于检验人员对感兴趣区域手动观察。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：自动载物台。其中，自动载物台包括X轴移动驱动机构、Y轴移动驱动机构、Z轴移动驱动机构和切片放置组件(以将切片放置于对应切片放置位)。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：照明系统和聚光系统。其中，照明系统和聚光系统用于对微生物涂片进行光照处理。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：三维移动控制系统。其中，三维移动控制系统用于控制微生物涂片进行三维运动。
进一步的，在本发明的一个实施例中，本发明实施例的检测装置10还包括：可视化设备和图像分析系统。其中，可视化设备和图像分析系统用于对单视野的检测结果和全景的检测结果进行可视化和结果分析。
下面对本发明实施例的检测装置的工作原理进行详细描述。
具体地，如图2所示，本发明实施例包括以下步骤：
步骤1：设定每张涂片单视野多光谱图片的数量为Q张，其中Q为整数，且Q≥1；
步骤2：根据Q值构建单视野图像的识别模型，可选的识别模型主要包括端到端的卷积神经网络方法，比如但不限于VGG、GoogleNet、ResNet和DenseNet等；
步骤3：将待训练的微生物涂片单视野多光谱图片进行标注，对标注后的图片进行数据增强和预处理，并将处理后的图片输入识别模型进行多次的模型的训练；
步骤4：设定全景区域为每张涂片M行*N列个视野图片，叠片率为a，其中M和N大于等于1且为整数，0<a<1；
步骤5：设定映射数为P，其中P为整数且P≥1；
步骤6：构建M*N*P全景图像的识别模型，可选的识别模型主要包括端到端的卷积神经网络方法，比如但不限于VGG、GoogleNet、ResNet和DenseNet；
步骤7：把每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列好，依次进行非线性映射，得到一个M*N*P的全景图片；
步骤8：将待训练的全景图片进行标注，对标注后的图片进行数据增强和预处理，并将处理后的图片输入全景图像识别模型进行多次的模型的训练；
步骤9：对显微镜采集的微生物涂片单视野图片进行数据增强和预处理，输入训练好的单视野图像识别模型进行运算，得到单视野的检测结果，并保存视野的位置信息；
步骤10：把每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列好，依次进行非线性映射，得到一个M*N*P的全景图片；
步骤11：将该全景图像进行数据增强和预处理，输入训练好的M*N*P全景图像识别模型进行运算，得到最终的检测结果。
综上，本发明实施例的检测装置10包括：照明系统、聚光系统、自动载物台、显微镜、电调谐波滤光器系统、图像传感器、三维移动控制系统、物镜转换系统、数据采集系统、控制器、可视化设备、图像分析系统、Z轴对焦控制系统、XY轴自动扫描系统和XY轴手动控制台，不但可以自动获取涂片的全景图片，充分考虑涂片不同视野之间的位置信息，且通过在传统可见光谱段信息的基础上，增加了多光谱的观察手段，获取到涂片在不同光学谱段下的信息，并且自动化了微生物涂片的镜检流程，极大地提高了临床检测效率，以及将单视野信息和全景信息相互结合，提高了识别的准确率，避免了人为带来的错误，减少了误诊率和漏诊率。
实施例1：
如图3所示，其包括照明系统、聚光系统、自动载物台、显微镜、电调谐波滤光器系统、图像传感器、三维移动控制系统、物镜转换系统、数据采集系统、控制器、可视化设备、图像分析系统、Z轴对焦控制系统、XY轴自动扫描系统和XY轴手动控制台。其中，电调谐滤光器系统包括滤光器控制器和电调谐滤光器，与图像传感器和数据采集系统配合可以实现显微光谱图像的快速采集；Z轴对焦控制系统是和物镜转换系统进行配合使用的，当物镜转换系统确定好物镜时，Z轴对焦控制系统会选择与之相配的距离进行自动聚焦；XY轴自动扫描系统包含一个可执行的脚本文件，可以对X轴和Y轴所有的运动参数进行设置，包括X轴和Y轴零点、速度、加速度、扫描范围的配置。
进一步地，自动载物台侧视图如图4所示，自动载物台俯视图如图5所示，包括X轴移动驱动机构、Y轴移动驱动机构、Z轴移动驱动机构和切片放置组件。
进一步地，XY轴手动控制台俯视图如图6所示，其包括8个按钮和1个操作手柄，8个按钮分别代表不同的功能，包括XY轴的初始化、X轴归零、Y轴归零和XY轴5档不同操作速度的设置，1个操作手柄负责XY轴前后左右的控制，XY轴手动控制台可以实现对XY轴所有运动参数的手动设置，便于检验人员对感兴趣区域手动观察。
检验人员拿到微生物涂片后，先进行固定、染色，然后放置到微生物全景涂片获取装置中的自动载物台。对于该装置，首先打开照明系统和聚光系统，控制器控制电调谐滤光器系统选择合适的滤光器，控制器控制物镜转换系统选择合适的物镜，根据物镜的放大倍数，控制器控制Z轴对焦系统进行对焦、接下来，设定XY轴自动扫描系统的运动参数，固定扫描区域、扫描速度、扫描加速度和零点，显微镜、电调谐滤光器系统、图像传感器和数据采集系统共同作用采集涂片全景的光谱图像。选择电调谐滤光器系统中不同的滤光器，重复上述过程，可以采集涂片不同谱段下的光谱图像。
实施例2：
如图5所示，包括以下步骤：
步骤1：设定每张涂片单视野多光谱图片的数量为Q张，其中Q为整数，且Q≥1；
假设在实施例1中选择的光谱种类为3种，则此处的Q为3。
步骤2：根据Q值构建单视野图像的识别模型，可选的识别模型主要包括端到端的卷积神经网络方法，比如但不限于VGG、GoogleNet、ResNet和DenseNet；
在步骤1中，Q为3，可以构建单视野图像的识别模型，现有的VGG、GoogleNet、ResNet和DenseNet都是基于RGB图像构造的，层数为3，而我们这里的Q为3，所以可以直接复用现有的模型，这里选择GoogleNet Inception v3模型。
步骤3：将待训练的微生物涂片单视野多光谱图片进行标注，对标注后的图片进行数据增强和预处理，并将处理后的图片输入识别模型进行多次的模型的训练；
将在实施例1中采集到的微生物涂片单视野多光谱图片进行标注，对标注后的图片进行数据增强和预处理，常用的数据增强的方法包括旋转、平移、水平翻转、随机裁剪和尺度变化，将处理后的图片输入到Inception v3模型中进行多次的模型训练；
步骤4：设定全景区域为每张涂片M行*N列个视野图片，叠片率为a，其中M和N大于等于1且为整数，0<a<1；
假设M＝N，均为299，设定全景区域为每张涂片299行*299列个视野图片。
步骤5：设定映射数为P，其中P为整数且P≥1，如假定P为3，可直接复用现有的模型；
步骤6：构建M*N*P全景图像的识别模型，可选的识别模型主要包括端到端的卷积神经网络方法，比如但不限于VGG、GoogleNet、ResNet和DenseNet；
构建299*299*3全景图像的识别模型，这里依然选择GoogleNet Inception v3模型，因为Inception v3模型的输入尺寸为299*299*3，所以可以直接复用。
步骤7：把每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列好，依次进行非线性映射，得到一个M*N*P的全景图片；
把每张涂片299*299个单视野的图片的检测结果按照视野的相对位置信息排列好，依次进行非线性映射，可以得到一个299*299*3的全景图片；
步骤8：将待训练的全景图片进行标注，对标注后的图片进行数据增强和预处理，并将处理后的图片输入全景图像识别模型进行多次的模型的训练；
将步骤7中待训练的全景图片进行标注，对标注后的图片进行数据增强和预处理，常用的数据增强的方法包括旋转、平移、水平翻转、随机裁剪和尺度变化，并将处理后的图片输入全景图像识别模型Inception v3模型中进行多次的模型的训练；
步骤9：对显微镜采集的微生物涂片单视野图片进行数据增强和预处理，输入训练好的单视野图像识别模型进行运算，得到单视野的检测结果，并保存视野的位置信息；
将在实施例1中采集到的待测试的微生物涂片单视野多光谱图片进行数据增强和预处理，输入训练好的单视野图像识别模型Inception v3模型进行运算，得到单视野的检测结果，并保存视野的位置信息；
步骤10：把每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列好，依次进行非线性映射，得到一个M*N*P的全景图片；
把待测试的微生物涂片中299*299个单视野图片的检测结果按照视野的相对位置信息排列好，依次进行非线性映射，得到一个299*299*3的全景图片；
步骤11：将该全景图像进行数据增强和预处理，输入训练好的M*N*P全景图像识别模型进行运算，得到最终的检测结果。
将步骤10得到的待测试微生物涂片的全景图像进行数据增强和预处理，输入训练好的299*299*3全景图像识别模型Inception v3模型进行运算，得到最终的检测结果。
通过本发明的一种微生物全景涂片获取装置和一种基于人工智能的微生物全景涂片识别方法相互配合，可以实现微生物全景涂片的获取和自动识别。
根据本发明实施例的微生物全景涂片检测装置，可以自动扫描全部视野并合成全景照片，充分利用涂片在显微镜下不同视野及全景的检测结果和位置信息，并结合人工智能的方法实现微生物涂片的自动化镜检以提升检测的准确率。
其次参照附图描述根据本发明实施例提出的微生物全景涂片检测方法。
图7是本发明实施例的微生物全景涂片检测方法的流程图。
如图7所示，该微生物全景涂片检测方法包括：
步骤S701中，根据每张图片单视野多光谱图片的数量构建第一识别模型。
步骤S702中，将待训练的微生物涂片单视野多光谱图片进行标注，且对标注后的图片进行数据增强和预处理，以将处理后的图片输入第一识别模型，得到第一最终识别模型。
步骤S703中，根据每张涂片M行*N列个视野图片的全景区域构建全景图像的第二识别模型，且将每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列以依次进行非线性映射，生成M*N*P的第一全景图片。
步骤S704中，将待训练的第一全景图片进行标注，对标注后的图片进行数据增强和预处理，以将处理后的图片输入第二识别模型，得到第二最终识别模型。
步骤S705中，对显微镜采集的微生物涂片单视野图片进行数据增强和预处理，输入第一最终识别模型，得到单视野的检测结果，并保存视野的位置信息。
步骤S706中，将每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列，依次进行非线性映射，得到M*N*P的第二全景图片。
步骤S707中，将第二全景图片进行数据增强和预处理，输入第二最终识别模型，得到全景的检测结果。
需要说明的是，前述对微生物全景涂片检测装置实施例的解释说明也适用于该实施例的微生物全景涂片检测方法，此处不再赘述。
根据本发明实施例的微生物全景涂片检测方法，可以自动扫描全部视野并合成全景照片，充分利用涂片在显微镜下不同视野及全景的检测结果和位置信息，并结合人工智能的方法实现微生物涂片的自动化镜检以提升检测的准确率。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体地限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体地示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种微生物全景涂片检测装置，其特征在于，包括：
显微镜；
数据采集系统，用于采集微生物涂片单视野图片；以及
控制器，用于根据每张图片单视野多光谱图片的数量构建第一识别模型，将待训练的所述微生物涂片单视野多光谱图片进行标注，且对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第一识别模型，得到第一最终识别模型，根据每张涂片M行*N列个视野图片的全景区域构建全景图像的第二识别模型，且将所述每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列以依次进行非线性映射，生成M*N*P的第一全景图片，将待训练的所述第一全景图片进行标注，对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第二识别模型，得到第二最终识别模型，并且对所述微生物涂片单视野图片进行数据增强和预处理，输入所述第一最终识别模型，得到单视野的检测结果，并保存视野的位置信息，将每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列，依次进行非线性映射，得到M*N*P的第二全景图片，将所述第二全景图片进行数据增强和预处理，输入所述第二最终识别模型，得到全景的检测结果。
2.根据权利要求1所述的系统，其特征在于，还包括：
图像传感器；
电调谐波滤光器系统，所述电调谐波滤光器系统包括滤光器控制器和电调谐滤光器，用于与所述图像传感器和所述数据采集系统配合进行显微光谱图像的采集。
3.根据权利要求1所述的系统，其特征在于，还包括：
Z轴对焦控制系统和物镜转换系统，用于在所述物镜转换系统确定物镜时，所述Z轴对焦控制系统选择对应距离以进行自动聚焦。
4.根据权利要求1所述的系统，其特征在于，还包括：
XY轴自动扫描系统，用于设置X轴和Y轴的运动参数。
5.根据权利要求1所述的系统，其特征在于，还包括：
XY轴手动控制台，用于接收用户的控制指令，以设置XY轴的运动参数。
6.根据权利要求1所述的系统，其特征在于，还包括：
自动载物台，所述自动载物台包括X轴移动驱动机构、Y轴移动驱动机构、Z轴移动驱动机构和切片放置组件。
7.根据权利要求1所述的系统，其特征在于，还包括：
照明系统和聚光系统，用于对微生物涂片进行光照处理。
8.根据权利要求1所述的系统，其特征在于，还包括：
三维移动控制系统，用于控制微生物涂片进行三维运动。
9.根据权利要求1所述的系统，其特征在于，还包括：
可视化设备和图像分析系统，用于对所述单视野的检测结果和所述全景的检测结果进行可视化和结果分析。
10.一种微生物全景涂片检测方法，其特征在于，包括以下步骤：
根据每张图片单视野多光谱图片的数量构建第一识别模型；
将待训练的所述微生物涂片单视野多光谱图片进行标注，且对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第一识别模型，得到第一最终识别模型；
根据每张涂片M行*N列个视野图片的全景区域构建全景图像的第二识别模型，且将所述每张涂片M*N个单视野的图片的检测结果按照视野的相对位置信息排列以依次进行非线性映射，生成M*N*P的第一全景图片；
将待训练的所述第一全景图片进行标注，对标注后的图片进行数据增强和预处理，以将处理后的图片输入所述第二识别模型，得到第二最终识别模型；
对显微镜采集的微生物涂片单视野图片进行数据增强和预处理，输入所述第一最终识别模型，得到单视野的检测结果，并保存视野的位置信息；
将每张涂片M*N个单视野图片的检测结果按照视野的相对位置信息排列，依次进行非线性映射，得到M*N*P的第二全景图片；以及
将所述第二全景图片进行数据增强和预处理，输入所述第二最终识别模型，得到全景的检测结果。
CN201911076199.5A 2019-11-06 2019-11-06 微生物全景涂片检测装置及检测方法 Pending CN110967302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911076199.5A CN110967302A (zh) 2019-11-06 2019-11-06 微生物全景涂片检测装置及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911076199.5A CN110967302A (zh) 2019-11-06 2019-11-06 微生物全景涂片检测装置及检测方法

Publications (1)

Publication Number Publication Date
CN110967302A true CN110967302A (zh) 2020-04-07

Family

ID=70030234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911076199.5A Pending CN110967302A (zh) 2019-11-06 2019-11-06 微生物全景涂片检测装置及检测方法

Country Status (1)

Country Link
CN (1) CN110967302A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696086A (zh) * 2020-05-27 2020-09-22 梅州市青塘实业有限公司 生殖道分泌物的检测方法、装置、控制单元及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5273877A (en) * 1985-12-24 1993-12-28 Massachusetts Institute Of Technology Non-histological cell type determination
CN101923037A (zh) * 2010-07-27 2010-12-22 浙江大学 基于荧光图像的抗肿瘤转移药物的筛选方法及应用
CN101982775A (zh) * 2010-10-09 2011-03-02 浙江大学 一种基于细胞荧光图像的药物筛选方法
CN102306374A (zh) * 2011-08-30 2012-01-04 西安交通大学 一种位置块非线性映射的人脸图像超分辨率重建方法
CN102304472A (zh) * 2011-05-18 2012-01-04 东华大学 一种快速检测痰涂片结核菌的装置与方法
CN103940790A (zh) * 2013-01-17 2014-07-23 阿自倍尔株式会社 微生物检测系统以及微生物检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5273877A (en) * 1985-12-24 1993-12-28 Massachusetts Institute Of Technology Non-histological cell type determination
CN101923037A (zh) * 2010-07-27 2010-12-22 浙江大学 基于荧光图像的抗肿瘤转移药物的筛选方法及应用
CN101982775A (zh) * 2010-10-09 2011-03-02 浙江大学 一种基于细胞荧光图像的药物筛选方法
CN102304472A (zh) * 2011-05-18 2012-01-04 东华大学 一种快速检测痰涂片结核菌的装置与方法
CN102306374A (zh) * 2011-08-30 2012-01-04 西安交通大学 一种位置块非线性映射的人脸图像超分辨率重建方法
CN103940790A (zh) * 2013-01-17 2014-07-23 阿自倍尔株式会社 微生物检测系统以及微生物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨元年: "全景宫颈细胞图像拼接方法及应用系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696086A (zh) * 2020-05-27 2020-09-22 梅州市青塘实业有限公司 生殖道分泌物的检测方法、装置、控制单元及存储介质

Similar Documents

Publication Publication Date Title
EP3776458B1 (en) Augmented reality microscope for pathology with overlay of quantitative biomarker data
CN108982500B (zh) 一种宫颈液基细胞学智能辅助阅片方法和系统
US8116543B2 (en) System for and method of intelligently directed segmentation analysis for automated microscope systems
US7587078B2 (en) Automated image analysis
CN111275016B (zh) 一种玻片扫描影像采集与分析方法及装置
CN101592653B (zh) 全自动大便常规检验操作仪
CN110146974B (zh) 一种智能生物显微镜
WO2005036451A1 (en) Automated microspcope slide tissue sample mapping and image acquisition
CN208766110U (zh) 病理多靶点智能辅助诊断系统
CN104459172A (zh) 一种自动化骨髓样本处理装置及其自动化分析、阅片方法
CN102788756A (zh) 多模态生物显微分析仪
US20200311931A1 (en) Method for analyzing image of biopsy specimen to determine cancerous probability thereof
CN108918523A (zh) 病理多靶点智能辅助诊断系统
CN110967302A (zh) 微生物全景涂片检测装置及检测方法
JP4085338B1 (ja) 画像処理方法
CN113139485A (zh) 一种基于深度学习的骨髓细胞分类识别方法、装置及系统
CN201203611Y (zh) 全自动大便常规检验操作仪
JP2008304205A (ja) 分光特性推定装置および分光特性推定プログラム
JP6277702B2 (ja) 画像処理方法、画像処理装置、臨床検査システム、およびプログラム
CN202916287U (zh) 分泌物分析工作站
CN115629072A (zh) 一种骨髓涂片图像分析诊断方法及病理切片扫描仪装置
WO2018198253A1 (ja) 画像処理装置、撮像システム、画像処理方法、及び画像処理プログラム
CN102914661A (zh) 分泌物分析工作站
CN116088158A (zh) 一种细胞图像处理系统、方法、自动读片装置与存储介质
JP4004663B2 (ja) 赤外顕微鏡

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200407

RJ01 Rejection of invention patent application after publication