CN116879291A - 一种用于生物涂片自动检测识别的分析系统和方法 - Google Patents

Abstract

本发明公开了一种用于生物涂片自动检测识别分析系统和方法。所述检测系统包括第一模块，包括自动移动部件和显微成像拍照部件、第二模块，包括电脑硬件、继电器、PLC和控制软件，用于连续自动扫描放大拍照涂片的图像，第三模块，包括深度学习算法图像识别软件及其硬件，第四模块，包括数理统计分析软件及其硬件。所述检测方法包括使用染色液染色生物涂片，利用所述检测系统放大、拍照、识别、分析生物涂片，提供细胞、蛋白质或者其他成分的数量或者含量。还公开了可用于本发明的部件。

Description

一种用于生物涂片自动检测识别的分析系统和方法

技术领域

本发明涉及显微成像拍照和图像识别分析，涉及一种全自动涂片显微成像拍照系统和人工智能深度学习算法图像识别软件和硬件系统。

背景技术

显微成像系统，包括显微镜，是由一个透镜或几个透镜的组合构成的一种光学仪器，主要用于放大微小物体成为人的肉眼所能看到的仪器。显微成像分光学显微成像和电子显微成像（电子显微镜）。现在医疗等行业通用的显微成像装置，结构简单，自动化程度不高，成像速度很慢，主要人工操作，工作效率低下。目前市场上也存在一些全自动的显微镜成像装，但制造成本很高。因此，自动显微成像技术的普及，还有待于更进一步的改进和发展。

现有多种方法用于细胞和蛋白质及其他成分分析，包括经由光或荧光显微成像进行视觉和/或自动检查，这些检查包括，获得关于样品中细胞谱系、成熟阶段、细胞计数、蛋白质及其他成分含量的信息。

对于血细胞，这些方法通常用于区分和/或识别样品中的单个血细胞、计数样品中的单个血细胞、并且在一些情况下估计样品中单个血细胞的尺寸。如果这些结果(例如，异常全血细胞计数(CBC)结果)指示存在异常白细胞(WBC)、红细胞(RBC)、和/或血小板，或者如果有理由怀疑存在异常细胞，则可以制作和检查血液涂片。通常检查血液涂片来分类和/或识别影响一种或多种血细胞类型的病症并监测正在经受这些病症治疗的个体。有许多疾病、障碍、和缺陷可影响产生的血细胞数量和类型、它们的功能和它们的寿命。示例包括贫血症、骨髓增殖性肿瘤、骨髓疾病、和白血病。

对于蛋白质及其糖链，这些方法通常用于，利用特定染色液，区分和/或识别涂片上正常和/或异常蛋白质和/或蛋白质的异常糖链、并且在一些情况下估计涂片上正常和/或异常蛋白质和/或异常糖链糖蛋白的含量。通常检查这些正常、异常蛋白质、和/或异常糖链糖蛋白的含量，来分类和/或识别影响一种或多种病症并监测正在经受这些病症治疗的个体。有许多疾病、障碍、和缺陷可影响产生的正常和/或异常蛋白质数量和类型。示例包括，男性不育与精子核蛋白、实体性肿瘤与异常糖链糖蛋白（TAP）。

传统的方法包括，将一滴血或精液薄薄地分散到玻片上，然后染色；有资质的实验室人员使用显微镜手动肉眼检查经过染色的涂片。近些年，图像识别自动数字系统已经开始用于帮助更高效地分析各种涂片。

随着计算机芯片算力的不断增强，从大约2015年开始，以统计学（statistics）为理论基础的深度学习算法在图像识别领域的效果，逐渐超过传统的图像识别算法，使图像识别技术准确性大幅度提高。经过对深度学习图像识别算法相关参数的精选和调整，深度学习图像识别算法技术已经可以超过人工肉眼、凭经验观察分析。由于有实际效果的深度学习算法和必须的硬件，包括英伟达公司的显卡（GPU），这几年才出现，由于深度学习算法涉及数学领域的专门理论，并且算法参数选择和调试十分复杂，现在市场上，特别是在医疗领域，还没有比较实用的产品和方法。

发明内容

本发明公开的方面包括系统和方法。根据某些实施方式，提供了一种生物涂片自动检测识别和数理分析系统，其包括第一模块，第一模块包括自动移动部件，即自动改变涂片与显微成像拍照部件相对位置的部件，和自动显微成像拍照部件。系统还包括第二模块，第二模块包括电脑硬件、继电器、人工开关和控制软件，用于连续自动扫描放大拍照涂片。系统还包括第三模块，第三模块包括深度学习算法的图像识别软件及其硬件模块，包括英伟达显卡。系统还包括第四模块，第四模块包括数理统计分析软件及其硬件；还提供了在本发明公开的系统内使用的部件。

附图说明

图1示出了根据本发明公开的实施方式的分析系统的第一模块包括自动移动部件和自动显微成像拍照部件的侧视图。

图2示出了根据本发明公开的实施方式的分析系统的第一模块包括自动移动部件和自动显微成像拍照部件的另一方向的侧视图。

图3示出了根据本发明公开的实施方式的分析系统的自动显微成像拍照部件的侧视图。

图4示出了根据本发明公开的实施方式的分析系统的自动移动部件的侧视图。

图5示出了根据本发明公开的实施方式的分析系统的自动移动部件的，电机与载物台中间层及连接零件的侧视图。

图6示出了根据本发明公开的实施方式的分析系统的自动移动部件的，电机与载物台中间层连接零件的侧视图。

图7示出了根据本发明公开的实施方式的分析系统的自动移动部件的，电机与载物台中间层连接零件的另一方向的侧视图。

图8示出了根据本发明公开的实施方式的分析系统和方法的“深度学习算法训练”操作流程图。

图9示出了根据本发明公开的实施方式的分析系统和方法的电脑主机。

实施方式

本发明公开的方面包括分析系统和方法。根据某些实施方式，提供了一种用于生物涂片的自动检测识别的分析系统，包括第一模块，第一模块包括自动移动部件，即自动载物台部件，和自动显微成像拍照部件。系统还包括第二模块，第二模块包括电脑硬件、继电器、人工开关和控制软件，用于连续自动扫描放大拍照涂片。系统还包括第三模块，第三模块包括深度学习算法的图像识别软件及其硬件模块，包括英伟达显卡。系统还包括第四模块，第四模块包括数理统计分析软件及其硬件。第二、第三、第四模块集成为一台电脑主机。第一模块和电脑主机定位成彼此相邻，使得第一模块与第二模块可以通过数据线连接。还提供了在本发明公开的系统内使用的部件。

在更详细地描述本系统和方法之前，应当理解，本公开不限于所描述的特定实施方式，因而当然可以做出改变。还应当理解，本文使用的术语仅用于描述特定实施方式，没有任何，本发明权利要求范围被限制于该术语的意思。

除非另外定义，否则本文使用的所有技术和科学术语含义与本公开所属领域的普通技术人员通常理解的含义相同。

在阅读本公开时对于本领域技术人员将显而易见的是，本文中描述和示出的每个单独实施方式具有分立的部件和特征，其可以容易地与任何其它数个实施方式的特征的分开或组合，而不背离本系统和方法的范围或精神。任何记载的方法都可以按照记载的事件顺序或以逻辑上可能的任何其它顺序来执行。

本公开的方面包括涂片分析系统。分析系统可适于执行多种感兴趣的分析及其组合。在某些方面，分析系统是自动的，这意味着系统能够在无需用户干预的情况下执行涂片分析。

根据某些实施方式，分析系统是自动涂片分析系统。现在将描述根据本公开的实施方式的自动涂片分析系统的方面。

自动涂片分析系统被设计为执行自动精液、血液测试。系统可以是可扩展的并且处理全血和体液样品以产生包含相关参数信息的血液学结果。系统可以对全血样品和体液执行测试以确定红细胞(RBC)、血小板(PLT)和白细胞(WBC)的计数，测量血红蛋白(Hgb)，计数未成熟的红细胞，正常/异常蛋白质及其含量，以及感兴趣的任何其它血液或体液参数。

系统可以用作单独的自动精液、血液学分析系统，或者用作具有一个或多个其它这样的自动血液学分析系统、或者其组合的集成系统的一部分(例如，配置在各个部件中)。

图1中示出了根据一个实施方式的第一模块的自动移动部件和显微成像拍照部件。在该示例配置中，

101是长方形零件，被固定在载物台中间层106一侧，并且，连结电机大支架117；

102是底座，由自动载物台部件和显微成像拍照部件的共用；

103是LED灯，被固定在底座102上；

104是聚光镜，被固定在载物台下层122上孔洞中；

105是物镜，被固定在镜筒111的下端；

106是载物台的中间层；

107是涂片架，被放置在载物台上层108的上面；

108是载物台上层；

109是涂片架107的一侧凹槽，与107另一侧凹槽110对应，用于放置被检测的涂片；

110是涂片架107的一侧凹槽，与107另一侧凹槽109对应，用于放置被检测的涂片；

111是镜筒，其下端连结物镜105，其上端连结照相机112；

112是照相机，与镜筒111上端连结；

113是镜筒支架一，通过其他零件与立臂116连结；

114是第一A型蜗杆，连结第一电机119的转轴；

115是第一涡轮，受第一A型蜗杆114驱动，连结载物台前后移动的旋钮轴；

116是立臂；

117是电机大支架，是两侧都有沉降的异形零件，连结101，连结横跨载物台的连杆，固定第一电机119和第二电机118；

118是第二电机，被固定在117的沉降中；

119是第一电机，被固定在117的沉降中；

120是载物台托架一，固定在底座102上，连结载物台托架三121；

121是载物台托架三，固定在底座102上，连结载物台托架一120，支撑载物台下层122；

122是载物台下层，连结载物台托架二、三。

图2中示出了根据一个实施方式的第一模块的自动移动部件和显微成像拍照部件。在该示例配置中，

201是第三涡轮，驱动处于其中心轴的L型蜗杆203，被第三A型蜗杆202驱动；

202是第三A型蜗杆，连结第三电机225的转轴，驱动第三涡轮201；

203是L型蜗杆，中心轴与第三涡轮201的中心轴在一条直线上，驱动第四涡轮206；

204是L型蜗杆支架，固定在底座222上面，支撑L型蜗杆的前端；

205是立臂208的旋钮杆，中轴线与第四涡轮206的中轴线在一个直线上，穿过第四涡轮206的中心；

206是第四涡轮，与立臂208的旋钮杆205连结；

207是载物台托架一，固定在底座222上，连结载物台托架二223和托架三；

208是立臂，图1中的116；

209是第二电机，图1中的118；

210是第一电机，图1中的119；

211是镜筒支架一，图1中的113；

212是照相机，图1中的112；

213是镜筒，图1中的111；

214是涂片架，图1中的107；

215是物镜，图1中的105；

216是聚光镜，图1中的104；

217是涂片架214的一侧凹槽，图1中的109；

218是载物台上层，图1中的108；

219是载物台中间层，图1中的106；

220是异形零件，通过横跨载物台的连杆224与图1中的117连结，连结228；

221是LED灯，图1中的103；

222是底座，图1中的102；

223是载物台托架二，连结载物台托架一207，支撑载物台下层；

224是横跨载物台的连杆，连结220和图1中的117；

225是第三电机，被固定在电机小支架226上，电机轴连结202；

226是电机小支架，固定第三电机225，被固定在电机台227上面；

227是电机台，被固定在底座222上面；

228是长方形零件，被固定在载物台中间层219一侧，并且，连结220。

图3中示出了根据一个实施方式的第一模块的显微成像拍照部件。在该示例配置中，

301是电机小支架，图2中的226；

302是第三电机，图2中的225；

303是电机台，图2中的227；

304是L型蜗杆支架，图2中的204；

305是，图2中的206；

306是，图2中的208；

307是立臂滑块，在立臂208内部；

308是镜筒支架二，连结镜筒支架一310和立臂滑块307；

309是照相机，图2中的212；

310是镜筒支架一，图2中的211；

311是镜筒，图2中的213；

312是物镜，图2中的215；

313是聚光镜，图2中的216；

314是LED灯，图2中的221；

315是底座，图2中的222；

316是LED灯314的旋钮；

317是第三A型蜗杆，图2中的202；

318是是L型蜗杆，图2中的203；

319是第三涡轮，图2中的202；

320是立臂滑块307。

图4中示出了根据一个实施方式的第一模块的自动移动部件。在该示例配置中，

401是，图2中的207；

402是401上的沉降，支撑L型蜗杆203；

403是横跨载物台的连杆，图2中的224；

404是，图1中的101；

405是，图1中的117；

406是第二A型蜗杆，连结第二电机407的电机轴；

407是第二电机，图2中的209；

408是第一电机，图2中的210；

409是第一涡轮，图1中的115；

410是第一A型蜗杆，图1中的114；

411是载物台上层，图2中的218；

412是，图1中的122；

413是，图2中的214；

414是，图2中的217；

415是载物台中间层，图2中的219；

416是，图2中的228；

417是，图2中的220；

418是LED灯，图2中的221；

419是，图2中的223；

420是底座，图2中的222。

图5中示出了根据一个实施方式的第一模块的自动移动部件中，载物台中间层和电机及其连结部分。在该示例配置中，

501是，图4中的416；

502是，图4中的403；

503是，图4中的404；

504是，图4中的405；

505是，图4中的406；

506是，图4中的407；

507是，图4中的408；

508是，图4中的409；

509是，图4中的410；

510是第二涡轮，驱动载物台左右方向运动旋钮杆，中心轴与载物台旋钮杆中心轴在一条直线上；

511是，图4中的415；

512是，图4中的417；

513是，512上螺钉孔，连结501；

514是，512上螺钉孔，连结502。

图6中示出了根据一个实施方式的第一模块的自动移动部件中，载物台中间层和电机及其连结部分的零件，电机大支架。在该示例配置中，

601是固定电机的螺丝孔，两组共12个，每组各6个，呈正六角形，分布在电机大支架602；

602是电机大支架，图5中的504；

603、604是贯穿孔，用于通过电机轴，共2个，分布在电机大支架602；

605是沉降一，用于容纳载物台中间层511；

606是螺钉孔，连结501，共4个；

607是螺钉孔，连结502。

图7中示出了根据一个实施方式的第一模块的自动移动部件中，载物台中间层和电机及其连结部分的零件，电机大支架。在该示例配置中，

701是沉降一，图6中的605；

702是，图6中的601；

703是沉降二，用于容纳第一电机507；

704是电机大支架，图5中的504；

705是，图6中的603；

706是，图6中的604；

707是，图6中的601；

708是沉降三，用于容纳第二电机506；

709是，图6中的607；

710是，图6中的606。

图8中示出了“深度学习算法训练”操作流程示例。

图9中示出了根据一个实施方式的电脑主机。在该示例配置中，

901是电脑主机外壳；

902是电源按钮；

903、904、905是数据线接口；

906是重启按钮。

本发明公开的自动涂片分析系统适于精液、血液和体液样品的自动处理以进行血液学分析。

在日常操作之前，需要针对关联特定种类疾病的异常细胞、异常蛋白质或者其他成分的图像，做“深度学习算法训练”，以获得相应的参数文件。

图8是，“深度学习算法训练”操作流程：

（1）针对特定种类疾病相关联的精液、血液或体液和其中的细胞、蛋白质或其他成分，制作成涂片，用相应的染色液染色涂片；

（2）利用第一模块拍照，形成所述涂片的照片，发送到第二模块；

（3）利用第二模块将所述照片转换为特定格式的图片；图片格式示例包括，png；

（4）有资质的医学检验人员，从上述图片中寻找具有关联所述疾病图像的图片，用标注软件标注，形成标注图片与被标注图片形成，图片对；

（5）启动第三模块基于深度学习算法的软件，利用所述图片对，训练出相应的参数，得到参数文件。

以下是，日常操作的本发明公开的系统的工作流程示例：

（1）制作成涂片，用相应的染色液染色涂片；

（2）用户将涂片放置到系统涂片架109、122、217、412、414；

（3）用户手动按钮开关，启动系统第二模块自动调整载物台上层108、208、411，使得涂片的左上角对准聚光镜04、216、313和物镜105、215、312等的中心轴；

（4）用户手动按钮开关，启动系统第二模块，自动移动载物台上层108、208、411，在每次移动的停顿期间系统第二模块控制照相机112、212、309拍照一次并且计算照片清晰度、调整物镜105、215、312与涂片距离的直到照片足够清晰；第二模块控制载物台移动的位置与照片覆盖涂片的面积和位置相互配合，使得对每个涂片的移动-拍照过程完成之后，多张照片可以共同覆盖涂片的全部，包含涂片的所有图形和颜色信息；

（5）与上述（4）同时，照相机发送照片到电脑主机；

（6）电脑主机中的第二模块处理收到的照片，转换成特定的格式图片，格式示例包括，png，发送到第三模块；

（7）第三模块，利用经过“深度学习算法训练”获得的参数文件，扫描从第二模块发来的图片，识别关联特定疾病的区域，形成标注图片；发送标注图片到达第四模块；

（8）第四模块，扫描第三模块发来的标注图片，数理分析其中关联特定细胞、蛋白质或其他成分的图像的面积、形状和颜色等。

本发明公开的举例说明和示例详细描述，包括权力说明书中的示例，其意图和目的仅仅是，展示本发明公开的可行性，具体体现本发明权利要求的精神，有利于读者清楚理解本发明，不用于限制本发明任何权利要求的范围。

对本领域技术人员显而易见的，对本发明做出任何改变和修改，仍然属于所附权利要求的精神或范围。

因此，上文仅仅说明了本发明的原理。应当理解，本领域技术人员将能够设计出多种布置，尽管这样的布置没有在这里明确地描述或示出，但体现了本发明的原理，仍然属于本发明的精神和范围。

此外，本发明公开的所有示例和条件性语言，包括所附权利要求中的示例，意图在于帮助读者理解本发明的原理和发明人为推进现有技术而贡献的概念，并且应被解释为，本发明不受这些具体描述的示例的限制。

此外，本文记载的本发明的原理、方面、和实施方式以及其具体示例的所有陈述，意图是涵盖其结构和功能的等同物。这样的等同物包括当前已知的等同物和未来所发展的等同物，即，执行相同功能及其衍生功能的任何元件，而不论其结构如何。因此，本发明的范围不限于在此示出和描述的示例。相反，本发明的范围和精神仅仅由所附权利要求来体现。

Claims (10)

1.一种用于生物涂片自动检测识别分析系统，包括：

第一模块，包括自动移动部件，即自动改变涂片与显微成像拍照部件相对位置的部件，自动显微成像拍照部件和；以及

第二模块，包括电脑硬件和其他部件，其他部件示例包括，可编程控制器（PLC）、继电器、人工开关、传感器和控制软件；以及

第三模块，包括深度学习算法的图像识别软件及其硬件模块，硬件模块部件示例包括，英伟达显卡；以及

第四模块，包括数理统计分析软件及其硬件；

其中所述第二模块、所述第三模块和所述第四模块集成于一台电脑主机；

其中所述第一模块和所述电脑主机被定位成彼此相邻，使得所述第一模块通过数据线，连接所述电脑主机；

其中，所述自动改变涂片与成像拍照部件相对位置的部件，包括的部件示例包括，一个或者多个载物台支架、一个或多个普通手动载物台、一个或多个电动机、一个或多个A型蜗杆、一个或多个涡轮、一个或多个电机支架和一个或多个传感器；

其中，所述成像拍照部件，包括的部件示例包括，一个或多个LED灯、一个或多个聚光镜、一个或多个物镜、一个或多个镜筒、一个或多个照相机及其输出线、一个或多个镜筒支架、一个或多个显微镜立臂、一个或多个电机、一个或多个电机台、一个或多个涡轮、一个或多个L型蜗杆、一个或多个A型蜗杆、一个或多个蜗杆支架、一个或多个继电器、一个或多个PLC、一个或多个手动开关。

2.根据权利要求1所述的用于生物涂片自动检测识别分析系统，所述系统示例包括，所述第一模块载物台的两个电机通过所述一个电机支架固定在普通的手动载物台上。两个所述电机通过各一个A型蜗杆和一个涡轮，分别驱动所述手动载物台两个同轴驱动操作杆。涂片放在载物台上面，跟随载物台移动。

3.根据权利要求1所述的用于生物涂片自动检测识别分析系统，所述系统示例包括，载物台的两个电机的支架通过一个横跨载物台的连杆，连接载物台另一侧的支架。

4.根据权利要求1所述的用于生物涂片的自动检测识别分析系统，所述系统示例包括，所述第一模块的一个电机通过一个A型蜗杆、一个涡轮，一个L型蜗杆和一个涡轮，驱动立臂移动部件上下微小移动，加大电机与立臂旋钮的转速比，使得能够精确调整物镜与涂片的距离。

5.一种用于生物涂片的自动检测识别分析方法，包括：

制作特定种类疾病患者涂片，用相应的染色液染色；以及

第一模块拍照经过染色的涂片，移动涂片后继续拍照涂片其他部分。重复上述拍照-移动过程多次，得到多张照片，这些照片包含了涂片所有影像信息；以及

将所述照片传送到第二模块的硬件和软件；以及

第二模块将所述照片转变成特定格式的图片，特定格式示例包括png格式，并且传送到第三模块；以及

第三模块扫描所述图片，利用预先通过“深度学习算法训练”获得的对应特定种类疾病患者涂片的参数文件，识别图片中与这种疾病关联的异常细胞、异常蛋白质、或者其他成分，并且在图片中标注；将标注图片发送到第四模块；

第四模块对标注图片中标出的图像，数理统计，给出所述异常细胞、异常蛋白质、或者其他成分的数量或者含量的计算结果。

6.根据权利要求5所述的用于生物涂片的自动检测识别分析方法，其中所述特定种类疾病患者涂片的示例包括，精液涂片、血液涂片、脊髓液涂片、尿液涂片、大便涂片、白带涂片、胸腹水涂片、宫颈刮片涂片；其中，所述精液涂片、血液涂片的示例包括，包含特定异常蛋白质图像的涂片；其中，所述特定异常蛋白质的示例包括，精子核蛋白、异常糖链糖蛋白（TAP）。

7.根据权利要求5所述的用于生物涂片的自动检测识别分析方法，其中所述数理统计的示例包括，统计细胞数量（细胞计数）、统计蛋白质含量。

8.根据权利要求5所述的用于生物涂片的自动检测识别分析方法，其中所述第三模块的“深度学习算法训练”的操作步骤示例，如下：

（1）制作特定种类疾病患者涂片，用相应的染色液染色；

（2）利用第一模块拍照，形成所述涂片的照片；

（3）利用第二模块将所述照片转换为特定格式的图片：

（4）有资质的医学检验人员，从上述图片中寻找代表所述疾病的图像，并且用标注软件标注，形成标注图片，与被标注图片形成，图片对；所述代表疾病的图像的示例包括，涂片上细胞、蛋白质被染色的图像；

（5）启动第三模块基于深度学习算法的软件，利用所述图片对，训练出相应的参数，得到参数文件；图8示出了上述操作步骤。

9.根据权利要求5所述的用于生物涂片的自动检测识别分析方法，其中所述软件示例包括，windows操作系统的软件、Linux操作系统的软件和它们的组合；其中，Linux操作系统的版本示例包括：Red Hat、Ubuntu、CentOS、SuSE、Gentoo、Debian、Fedora Core、Mandriva。

10.根据权利要求5所述的用于生物涂片的自动检测识别分析方法，其中，编写所述软件源代码的编程语言示例包括：Java、 C / C++、Javascript、php、Python、Ruby。