CN113192080A - 一种基于边缘计算的便携式细胞成像与智能分析系统 - Google Patents

Abstract

本发明提供一种基于边缘计算的便携式细胞成像与智能分析系统。该系统包括照明装置、载物装置、透镜组、设置在透镜组下方用于获取图像的相机、实时显示细胞状态的图像显示装置、基于ARM的微型电脑主板搭载通用计算机操作系统、深度学习模型边缘推理计算加速装置、基于深度学习实例分割算法Mask R‑CNN的智能软件、供电装置及外壳。本发明提供的分析系统，仅需简单的操作即可以实现实时的细胞成像、识别、计数和相关形态学分析。

Description

一种基于边缘计算的便携式细胞成像与智能分析系统

技术领域

本发明涉及一种基于边缘计算的便携式细胞成像与智能分析系统，属于医学、生物学的细胞检测与分析领域。

背景技术

细胞是医学和生物学等领域的重要对象研究。在医学检测中，可以通过细胞形态和数量对疾病进行诊断；在生物学实验中，离体的细胞在培养过程中的生长和增殖状态是科学研究中的重要的指标。对于存在不同种类和形态的混合细胞样本，例如全血细胞计数、尿液细胞检测等，如何在高精度的成像的同时进行准确高效的分析，是非常重要的技术问题。目前细胞常见的分析与计数方法包括显微镜观察法、电阻抗计数法和图像分析法。但是，显微镜观察法需要观察者有一定的专业知识和经验，且需要大量的人力和时间，长时间观察眼睛易导致疲劳和人为误差，难以实现标准化，主观性强，误差很大。电阻抗计数法只能识别特定种类细胞的数量，且准确度较低。虽然图像分析法，特别是成像分析一体化装置，是更加可靠和高效的技术手段，然而图像分析法也有较多的限制因素。其中，主要的限制因素存在于传统装置的成像模块与数据分析模块体积与重量过高，通常只能够在实验室放置，难以满足高便携性和高精度的要求。随着技术的发展，光学成像小型化越来越普及，出现了各种便携式的显微成像设备，例如各种小型化的手持显微镜。然而，虽然成像模块的小型化保持了相当精度的分辨率，但是图像的分析模块却依然需要较大的计算机进行后期的分析，无法做到数据的同步分析，这样就使成像与分析模块分离。虽然目前已经出现了便携式的细胞计数器，但是这类系统的计算硬件一般都是基于单片机和嵌入式系统，运算能力很弱，无法满足复杂运算的需求，通常只能对特定种类的细胞进行计数。

因此，亟需开发改善现有技术中细胞分析与计数设备的缺陷和不足的便携式细胞成像与智能分析系统和方法。

发明内容

本发明旨在改善现有技术中细胞分析与计数设备的缺陷和不足，提出了一种基于边缘计算的便携式细胞成像与智能分析系统，所述系统包括：照明装置、载物装置、透镜组、相机、图像显示装置、ARM微型电脑主板、边缘推理计算加速装置、以及智能分析模块；

所述照明装置设置在所述载物装置的上方；所述透镜组设置在所述载物装置的下方，所述透镜组具有放大和消色差的功能；所述相机设置在所述透镜组的下方，用于将光信号转换成电信号，获取细胞图像；所述图像显示装置用于显示实时细胞图像和细胞分析结果，向用户提供多种操作选项；

所述ARM微型电脑主板作为所述系统的控制、分析与数据存储的核心；

所述边缘推理计算加速装置包括视觉处理单元(VPU)或张量处理器(TPU)，通过所述视觉处理单元或张量处理器对深度神经网络运算进行加速，实现深度学习的边缘计算；

所述智能分析模块基于深度学习目标识别算法Faster R-CNN和细胞实例分割算法Mask R-CNN，对所述图像显示装置中呈现的图像中的细胞进行识别、计数、分割与分类。

根据本发明的实施方案，所述照明装置包括照明光源组，所述照明光源组包括LED点光源、导光扩散柱及准直透镜，实现整个视场均匀的照明。所述照明装置可以作为整个系统成像的照明光源。

根据本发明的实施方案，所述LED点光源、准直透镜、载物装置、透镜组和相机的中心位于同一条直线上。

根据本发明的实施方案，所述透镜组可以为消色差双胶合镜。

根据本发明的实施方案，所述ARM微型电脑主板搭载了通用计算机操作系统，具有完整电脑功能。示例性地，所述ARM微型电脑主板的芯片可以选自树莓派、Google CoralDev Board或nvidia jetson nano。

根据本发明的实施方案，所述相机为显微镜用的相机。由相机拍摄的细胞图像经智能分析模块识别分析后，在图像显示装置中呈现。

根据本发明的实施方案，ARM微型电脑主板的控制包括：对相机的控制、加速深度神经网络运算的视觉处理单元的控制、对智能分析模块的控制。

根据本发明的实施方案，ARM微型电脑主板的分析包括：图像数据的输入，图像滤波降噪，图像空间分辨率的变换，深度神经网络模型的加载，深度神经网络推理运算，图像形态学分析，分析结果的输出。

根据本发明的实施方案，ARM微型电脑主板的数据存储包括：图像数据的存储，深度神经网络模型的存储，图像分析输出的存储。

根据本发明的实施方案，所述边缘推理计算加速装置为深度学习模型边缘推理计算加速装置。

根据本发明的实施方案，所述视觉处理单元包括基于视觉处理单元的神经计算棒。对深度神经网络模型进行计算加速，使复杂算法能够在低功耗的ARM微型电脑上运行，实现深度学习的边缘计算。所述神经计算棒的芯片可以示例性选自Intel MovidiusNeural Compute Stick 2或Google Coral USB Accelerator。

所述神经计算棒，支持使用者根据需求自定义深度学习算法，模型经过训练，转换为中间表示(Intermediate Representation)后，即可通过VPU或TPU在ARM微型电脑进行推理。目前支持的深度学习框架包括Caffe、TensorFlow、MXNet、ONNX和Kaldi。

根据本发明的实施方案，所述边缘推理计算加速装置与ARM微型电脑主板连接，例如通过USB接口或者蓝牙连接，示例性通过USB 3.0Type-A接口与ARM微型电脑主板连接，使复杂深度神经网络模型能够在ARM微型电脑主板中进行实时运算。

根据本发明的实施方案，所述细胞实例分割Mask R-CNN算法基于特征金字塔网络(feature pyramid networks)和主干架构(backbone)inception v2，能够对图像中的细胞进行识别、计数、分割和分类。通过智能分析模块能够对各种混合细胞样本进行识别、计数和形态学分析，比如得到细胞的数目、以及每一个细胞的空间位置、轮廓与形态特征等。

根据本发明的实施方案，所述载物装置为开放式载物装置，具有通用适用性，例如可以为本领域常规的细胞载体，比如为细胞计数板、载玻片、细胞培养皿等。

根据本发明的实施方案，所述系统还包括镜筒，用于放置所述透镜组和隔绝外界光源。

根据本发明的实施方案，所述控制装置包括第一控制装置、第二控制装置和/或第三控制装置，所述第一控制装置用于控制照明装置的光源亮度，所述第二控制装置用于控制载物装置的高度，所述第三控制装置用于控制载物装置的水平位置移动。调节光源亮度和载物装置的位置，能够实现调节亮度及焦距获得清晰图像。其中，对于第一控制装置、第二控制装置和第三控制装置的结构不做特别限定，可以选用本领域已知结构的控制装置来实现上述控制目的。例如，第二控制装置包括位移台、以及支架，所述位移台与所述载物装置连接，所述支架与水平面垂直，所述位移台设置在支架上且能够沿着支架的表面上下移动。优选地，所述第二控制装置还包括驱动器和高度限位器，所述驱动器用于带动位移台移动，所述高度限位器用于使位移台停留在某一位置。

根据本发明的实施方案，所述系统还可以包括独立供电模块，在无外界电源时，所述独立供电模块与ARM微型电脑主板、边缘推理计算加速装置、相机、照明装置及图像显示装置分别电连接，为这些部件供电。例如，所述独立供电模块可以为锂电池。

根据本发明的实施方案，所述系统还包括底座，所述透镜组、相机、ARM微型电脑主板、边缘推理计算加速装置和独立供电模块均设置在所述底座上。

根据本发明的实施方案，所述系统还包括外壳，所述透镜组、相机、ARM微型电脑主板、边缘推理计算加速装置以及智能分析模块设置在外壳内。

根据本发明的实施方案，所述图像显示装置可以为显示器。

根据本发明的实施方案，所述系统还包括大数据管理服务器和大数据库。例如，所述系统通过有线传输或无线传输与大数据管理服务器和大数据库连接，使用者可将拍摄的图片信息上传大数据库，帮助完善深度学习智能软件的功能，提高算法的泛化能力。另外，大数据库可以完全开放，使用者可自由下载数据进行训练和分析。例如，所述无线传输可以为WIFI、蓝牙等方式。

本发明还提供一种细胞成像、分析和计数方法，所述方法通过上述系统实现。

根据本发明的实施方案，所述细胞成像、分析和计数方法包括如下步骤：

使用上述系统对置于载物装置中的细胞进行成像、分析和计数，系统内的ARM微型电脑主板作为控制、分析与数据存储的核心；边缘推理计算加速装置通过视觉处理单元或张量处理器对深度神经网络运算进行加速，实现深度学习的边缘计算；

智能分析模块基于深度学习目标识别算法Faster R-CNN和细胞实例分割算法Mask R-CNN，对图像显示装置中呈现的图像中的细胞进行识别、分割与分类，得到细胞的数目、以及每一个细胞的空间位置、轮廓与形态特征。

本发明的有益效果：

本发明系统采用基于ARM的微型电脑主板(如树莓派，是一种信用卡大小的微型电脑)作为控制核心，搭载通用计算机系统(例如Linux系统)，能进行精确、快速地计算，使用方便、直观，便携度高，可通过接入有线网络接口或者Wi-Fi连入互联网，也可通过USB接口、蓝牙进行设备扩展，是一台具有完整电脑功能的系统；深度学习实例分割目标识别算法Faster R-CNN和Mask R-CNN算法借助VPU或TPU的运算加速功能在低功耗的微型电脑上进行实时推理运算，完成细胞的智能化准确分析：对各种混合细胞样本进行识别(例如种类识别、活性状态识别)、计数和形态学分析；可自行定义和部署不同的深度学习算法，并借助VPU或TPU加速推理；通过与大数据服务器的连接，辅助模型的优化，提升算法的泛化能力；开放式的操作和观察平台，可适用于不同的盛有细胞样本的容器，无需固定耗材；体积小，重量轻，功耗低，有独立供电系统，可实现便捷移动；深度学习算法软件全部开源，方便使用者可自行增加特定功能和二次开发。

附图说明

图1为实施例1中系统的结构示意图。

图2是实施例1系统中的光学部件图。

图3是实施例1系统的内部结构示意图。

附图标记：11-图像显示装置，12-外壳，13-照明装置，14-载物装置，15-载物移动装置，16-把手，17-开关，21-准直器，22-载玻片，23-透镜组，24-相机，31-底座，32-ARM微型电脑主板，33-镜筒，34-位移台，35-固定支架，36-锂电池，37-深度学习模型边缘推理计算加速装置。

图4为低密度HEK293细胞的识别效果。

图5为高密度HEK293细胞的识别效果。

图6为骨髓细胞的细胞识别效果。

图7为细胞识别的接受者操作特性曲线(ROC)。

具体实施方式

下文将结合具体实施例对本发明的技术方案做更进一步的详细说明。应当理解，下列实施例仅为示例性地说明和解释本发明，而不应被解释为对本发明保护范围的限制。凡基于本发明上述内容所实现的技术均涵盖在本发明旨在保护的范围内。

除非另有说明，以下实施例中使用的元件均为已知部件。

实施例1

本实施例提供一种便携式细胞成像与智能分析系统，图1为该系统的外观结构图，其外部可见部分包括图像显示装置11、外壳12、照明装置13、载物装置14、用于控制载物装置14水平方向移动的载物移动装置15、把手16，开关17。图像显示装置11显示实时细胞图像、细胞分析结果并向用户提供多种操作选项，图像显示装置11还可用于控制照明装置13的亮度及载物装置14的高度。

图2为图1内部用于成像的光学部件图，主要包括由上至下依次排列的照明装置13，用于光源准直的准直器21，装有待测样品的载玻片22，具有消色差及放大功能的透镜组23和相机24。照明装置13和载玻片22之间设置合适的距离以保证均匀的点亮整个视场。所有部件中心在同一直线上垂直排列。

图3为该系统的内部结构示意图，主要包括底座31，ARM微型电脑主板32，用于将光信号转换成电信号的相机24，用于放置透镜组并隔绝外界光源的镜筒33，用于调节载物装置14高度以获取清晰图像的位移台34，用于固定位移台34的垂直支架35，高性能的锂电池36，以及深度学习模型边缘推理计算加速装置37。照明装置13设置在载物装置14的上方；透镜组23设置在载物装置14的下方，透镜组23具有放大和消色差的功能；相机24设置在透镜组23的下方，用于将光信号转换成电信号，获取细胞图像；图像显示装置11用于显示实时细胞图像和细胞分析结果，向用户提供多种操作选项。

照明装置13作为整个装置成像的照明光源，由白光LED点光源、导光扩散柱及准直透镜组成。点光源通过导光扩散柱及准直透镜后形成均匀的圆形光斑，点亮整个视场。

载物装置14作为细胞样品的容纳场所，其可适用于不同的细胞溶液盛放装置：专业的细胞计数板、普通的载玻片以及常用的细胞培养皿。若仅需要观察细胞的实时状态，可将培养皿直接放在载物装置上；若需对细胞进行分析，则需要对细胞溶液进行处理，形成细胞悬液，放入细胞计数板或载玻片之后，放在载物装置上，对其进行分析。

本实施例通过采用具有消色差及放大功能的透镜组23而非传统的物镜，该透镜组的一个较佳示例是消色差双胶合透镜，其具有优越的球差和色差校正性能，在保证成像质量的基础上缩小了成像距离，减小了装置的尺寸，实现了系统的便携性，增加了使用场景。

该系统包括相机和智能分析模块，由相机拍摄的细胞图像经智能分析模块识别分析后，在图像显示装置中呈现。相机设置在透镜组的下方。系统采用基于低功耗ARM处理器的ARM微型电脑主板32，作为系统的控制、分析与数据存储核心，具有完整电脑功能，无需外接电脑。通过小型的ARM微型电脑主板32实现了下述控制：相机的控制、加速深度神经网络运算的视觉处理单元的控制、对智能分析软件的控制；以及实现了下述分析：图像的输入与图像的分析、图像滤波降噪、图像空间分辨率的变换、深度神经网络模型的加载、深度神经网络推理运算、图像形态学分析、分析结果的输出；还实现了下述存储：图像数据的存储、深度神经网络模型的存储、图像分析输出的存储。

深度学习边缘推理计算加速装置37与ARM微型电脑主板32通过USB 3.0Type-A接口与ARM微型电脑主板连接，使复杂深度神经网络模型能够在ARM微型电脑主板中进行实时运算。深度学习边缘推理计算加速装置37包括视觉处理单元(VPU)，以实现快速对图像分析，视觉处理单元在ARM微型电脑主板32上接入了，视觉处理单元为基于VPU的神经计算棒，对深度神经网络模型进行计算加速，使复杂算法能够在低功耗的ARM微型电脑主板上运行，这种芯片的示例是Intel Movidius Neural Compute Stick 2。

本系统所使用的智能分析模块(软件)基于神经网络算法，使用Mask R-CNN模型，可实现自动识别细胞是否染色并对图像中的细胞进行分割与分类，得到每一个细胞的空间位置、轮廓与形态特征。

智能分析模块，透镜组23、相机24、ARM微型电脑主板32、深度学习模型边缘推理计算加速装置37以及智能分析模块设置在外壳12内。透镜组23、相机24、ARM微型电脑主板32、深度学习模型边缘推理计算加速装置37和锂电池36均设置在底座31上。

实施例2

使用实施例1提供的系统，将处理好的不同的待测细胞悬液注入载玻片并放置在载物装置上，启动系统，调节位移台和载物移动装置至图像显示装置显示清晰图像即可观测细胞的状态并得到细胞的状态信息。

图4所示为在台盼蓝染色后的低浓度(1.9×10⁶/mL)样本条件下，HEK293细胞的识别效果；图5所示为在高浓度(9.8×10⁶/mL)样本条件下的细胞识别效果。其中根据矩形框颜色不同来区分活细胞和死细胞：图1中活细胞数为463个，死细胞数为33个；图2中活细胞数为2278个，死细胞数为9个。由图1和图2的识别结果可以显示在不同细胞密度条件下，系统通过神经网络算法能够对HEK293细胞进行准确识别并分析其活性状态。

图6显示了人骨髓样本经过氧化酶染色后的细胞识别与分类效果，细胞涂片样本中包括原始粒细胞、原单核细胞、早幼粒细胞、中幼粒细胞、晚幼粒细胞、单核细胞、中性粒细胞、淋巴细胞、原核红细胞和浆细胞等。系统通过神经网络算法可以将经过的细胞后进行识别并分类，结果显示细胞涂片中含有原单核细胞16个、原始粒细胞4个、淋巴细胞4个、破碎细胞15个。由此说明，本系统能够实现对含有多种细胞的样本快速准确分析：细胞识别、分类和计数。

图7为图6细胞识别的接受者操作特性曲线(Receiver OperatingCharacteristic Curve，ROC)，X轴表示召回率(recall)，Y轴表示准确率(accuracy)，ROC曲线下与坐标轴围成的面积(Area Under Curve，AUC)，显示出了非常好的细胞识别效果，并且可以在混合样本中对不同种类的目标进行区分，具有对复杂的混合样本进行分析的能力。

在本文所描述的实施例中，仅需要在使用软件进行细胞识别前，输入目标样本的大致分类以及染色类型，即可实现对细胞的快速识别、分类和计数等分析方法，并将识别结果保存。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边缘计算的便携式细胞成像与智能分析系统，其特征在于，所述系统包括：照明装置、载物装置、透镜组、相机、图像显示装置、ARM微型电脑主板、边缘推理计算加速装置、以及智能分析模块；

所述照明装置设置在所述载物装置的上方；所述透镜组设置在所述载物装置的下方，所述透镜组具有放大和消色差的功能；所述相机设置在所述透镜组的下方，用于将光信号转换成电信号，获取细胞图像；所述图像显示装置用于显示实时细胞图像和细胞分析结果，向用户提供多种操作选项；

所述ARM微型电脑主板作为所述系统的控制、分析与数据存储的核心；

所述边缘推理计算加速装置包括视觉处理单元(VPU)或张量处理器(TPU)，通过所述视觉处理单元或张量处理器对深度神经网络运算进行加速，实现深度学习的边缘计算；

所述智能分析模块基于深度学习目标识别算法Faster R-CNN和细胞实例分割算法Mask R-CNN，对所述图像显示装置中呈现的图像中的细胞进行识别、计数、分割与分类。

2.根据权利要求1所述的系统，其特征在于，所述照明装置包括照明光源组。优选地，所述照明光源组包括LED点光源、导光扩散柱及准直透镜。

优选地，所述LED点光源、准直透镜、载物装置、透镜组和相机的中心位于同一条直线上。

优选地，所述透镜组为消色差双胶合镜。

优选地，所述相机为显微镜用的相机。

3.根据权利要求1或2所述的系统，其特征在于，所述ARM微型电脑主板搭载通用计算机操作系统，具有完整电脑功能。优选地，所述ARM微型电脑主板的芯片选自树莓派、GoogleCoral Dev Board或nvidia jetson nano。

优选地，ARM微型电脑主板的控制包括：对相机的控制、加速深度神经网络运算的视觉处理单元的控制、对智能分析模块的控制。

优选地，ARM微型电脑主板的分析包括：图像数据的输入，图像滤波降噪，图像空间分辨率的变换，深度神经网络模型的加载，深度神经网络推理运算，图像形态学分析，分析结果的输出。

优选地，ARM微型电脑主板的数据存储包括：图像数据的存储，深度神经网络模型的存储，图像分析输出的存储。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述边缘推理计算加速装置为深度学习模型边缘推理计算加速装置。

优选地，所述视觉处理单元包括基于视觉处理单元的神经计算棒。优选地，所述神经计算棒的芯片选自Intel Movidius Neural Compute Stick 2或Google Coral USBAccelerator。

优选地，所述边缘推理计算加速装置与ARM微型电脑主板连接，使复杂深度神经网络模型能够在ARM微型电脑主板中进行实时运算。

优选地，所述细胞实例分割Mask R-CNN算法基于特征金字塔网络(feature pyramidnetworks)和主干架构(backbone)inception v2，能够对图像中的细胞进行识别、计数、分割和分类。

5.根据权利要求1-4任一项所述的系统，其特征在于，所述载物装置为开放式载物装置，例如为细胞计数板、载玻片或细胞培养皿。

优选地，所述系统还包括镜筒，所述透镜组放置在镜筒内。

6.根据权利要求1-5任一项所述的系统，其特征在于，所述控制装置包括第一控制装置、第二控制装置和/或第三控制装置，所述第一控制装置用于控制照明装置的光源亮度，所述第二控制装置用于控制载物装置的高度，所述第三控制装置用于控制载物装置的水平位置移动。

优选地，第二控制装置包括位移台、以及支架，所述位移台与所述载物装置连接，所述支架与水平面垂直，所述位移台设置在支架上且能够沿着支架的表面上下移动。优选地，所述第二控制装置还包括驱动器和高度限位器，所述驱动器用于带动位移台移动，所述高度限位器用于使位移台停留在某一位置。

7.根据权利要求1-6任一项所述的系统，其特征在于，所述系统还包括独立供电模块，所述独立供电模块与ARM微型电脑主板、边缘推理计算加速装置、相机、照明装置及图像显示装置分别电连接。

优选地，所述系统还包括底座，所述透镜组、相机、ARM微型电脑主板、边缘推理计算加速装置和独立供电模块均设置在所述底座上。

优选地，所述系统还包括外壳，所述透镜组、相机、ARM微型电脑主板、边缘推理计算加速装置以及智能分析模块设置在外壳内。

8.根据权利要求1-7任一项所述的系统，其特征在于，所述系统还包括大数据管理服务器和大数据库。

9.一种细胞成像、分析和计数方法，其特征在于，所述方法通过权利要求1-8所述的系统实现。

10.根据权利要求9所述的方法，其特征在于，所述细胞成像、分析和计数方法包括如下步骤：

使用权利要求1-8任一项所述的系统对置于载物装置中的细胞进行成像、分析和计数，系统内的ARM微型电脑主板作为控制、分析与数据存储的核心；边缘推理计算加速装置通过视觉处理单元或张量处理器对深度神经网络运算进行加速，实现深度学习的边缘计算；

智能分析模块基于深度学习目标识别算法Faster R-CNN和细胞实例分割算法Mask R-CNN，对图像显示装置中呈现的图像中的细胞进行识别、分割与分类，得到细胞的数目、以及每一个细胞的空间位置、轮廓与形态特征。

Images