CN110837809A - 血液自动分析方法、系统、血细胞分析仪及存储介质 - Google Patents

血液自动分析方法、系统、血细胞分析仪及存储介质 Download PDF

Info

Publication number
CN110837809A
CN110837809A CN201911098894.1A CN201911098894A CN110837809A CN 110837809 A CN110837809 A CN 110837809A CN 201911098894 A CN201911098894 A CN 201911098894A CN 110837809 A CN110837809 A CN 110837809A
Authority
CN
China
Prior art keywords
trained
network
training
sample
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911098894.1A
Other languages
English (en)
Inventor
郑陆一
胡双
刘蕾
蔡韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Healthy Science And Technology Ltd Of Hunan Yi Hong
Original Assignee
Healthy Science And Technology Ltd Of Hunan Yi Hong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Healthy Science And Technology Ltd Of Hunan Yi Hong filed Critical Healthy Science And Technology Ltd Of Hunan Yi Hong
Priority to CN201911098894.1A priority Critical patent/CN110837809A/zh
Publication of CN110837809A publication Critical patent/CN110837809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种血液自动分析方法、系统、血细胞分析仪及存储介质，所述方法包括：分别获取载物台与物镜的间距为h0‑d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置；将与间距h0‑d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；将融合特征图谱输入至已训练的RPN网络和已训练的FCN网络进行边框回归、分类和掩膜，输出包括分类结果和掩膜的实例分割图；根据分类结果和掩膜，统计待检测样品中待检测目标的数量。本发明解决了基于最佳聚焦显微图像进行细胞识别和统计方法统计出的血细胞数量准确度不高的问题。

Description

血液自动分析方法、系统、血细胞分析仪及存储介质
技术领域
本发明涉及图像识别领域，尤其涉及一种血液自动分析方法、系统、血细胞分析仪及计算机可读存储介质。
背景技术
目前对血液样品中的血细胞进行统计，检验人员基于血涂片对血液样品中的血细胞进行统计，主要通过将血涂片放置在显微镜下，然后采用传统的机器视觉的方法对血涂片在显微镜下观察到的最佳聚焦显微镜图像进行细胞识别和统计，获得最终血涂片中的血细胞数量。但由于血涂片中所有血细胞并不是都处于同一个水平面，其血细胞位置存在高低，故在最佳聚焦显微图像中某些血细胞位置并没有处于聚焦处，在图像中的清晰度较低，导致采用机器视觉中，容易被误认为是背景，从而导致基于最佳聚焦显微图像进行细胞识别和统计方法统计出的血细胞数量比实际血细胞数量较少，准确度不高。
发明内容
本发明的主要目的在于提出一种血液自动分析方法、系统、血细胞分析仪及计算机可读存储介质，旨在解决现有技术中基于最佳聚焦显微图像进行细胞识别和统计方法统计出的血细胞数量准确度不高的问题。
为实现上述目的，本发明提供一种血液自动分析方法，包括步骤：
分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；
将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；
将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；
将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；
将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；
根据分类结果和掩膜，统计待检测样品中待检测目标的数量。
可选地，所述分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像的步骤之前包括：
获取血液样本的原始显微图像，并对所述原始显微图像进行标注，获得期望掩膜、期望分类结果以及期望边框；
对所述原始显微图像进行模糊和特征去除处理，以获得多个已处理显微图像，其中多个已处理显微图像进行特征融合后获得的理论图像为原始显微图像；
将多个已处理显微图像作为待训练特征融合网络的第一训练样本，根据原始显微图像和第一训练样本对待训练特征融合网络进行训练，获得已训练的特征融合网络；
将第一训练样本输入至已训练的特征融合网络中输出第一训练样本的融合特征图谱，并将第一训练样本的融合特征图谱作为待训练RPN网络和待训练FCN网络的第二训练样本；
根据期望掩膜、期望分类结果、期望边框和第二训练样本对待训练RPN网络和待训练FCN网络进行训练，获得已训练的RPN网络和已训练的FCN网络。
可选地，所述将多个已处理显微图像作为待训练特征融合网络的第一训练样本，根据原始显微图像和第一训练样本对待训练特征融合网络进行训练，获得已训练的特征融合网络的步骤包括：
构建一个深度卷积神经模型，其中所述深度卷积神经模型包括待训练特征融合网络和待训练编码层；
将第一训练样本输入至所述深度神经网络的待训练特征融合网络，获得预测融合特征图谱；
将预测融合特征图谱输入至待训练编码层，输出预测融合图像；
根据预设结构差异损失函数、原始显微图像和预测融合图像，获得结构差异损失函数值；
根据获得的结构差异损失函数值，采用反向传播方式和梯度下降算法对待训练特征融合网络和待训练编码层进行训练，获得已训练的特征融合网络。
可选地，所述预设结构差异损失函数为：
L结构＝1-SSIM，其中L结构为预设结构差异损失函数，SSIM为原始显微图像与预测融合图像的结构相似性计算函数值。
可选地，所述根据期望掩膜、期望分类结果、期望边框和第二训练样本对待训练RPN网络和待训练FCN网络进行训练，获得已训练的RPN网络和已训练的FCN网络的步骤包括：
将第二训练样本输入至待训练RPN网络获得训练边框，并根据训练边框和期望边框，获得期望偏移量；
将训练边框同时输入至待训练RPN网络的分类分支和回归分支，进行对应的分类训练和边框回归训练，以对应输出训练边框的第一预测分类结果和第一预测偏移量；
根据第一预测分类结果、第一预测偏移量、期望分类结果和期望偏移量构建第一损失函数；
根据第一损失函数，采用反向传播方式对待训练RPN网络进行迭代训练，获得已训练的RPN网络；
将第二训练样本输入已训练的RPN网络，获得预测ROI；
对预测ROI和第二训练样本进行池化和像素对齐，获得预测ROI特征图谱；
将预测ROI特征图谱输入待训练FCN网络中，输出预测ROI的第二预测分类结果、第二预测偏移量和预测掩膜；
根据预测ROI的第二预测分类结果、第二预测偏移量、预测掩膜、期望分类结果、期望偏移量和期望掩膜构建第二损失函数；
根据第二损失函数，采用反向传播方式和梯度下降算法对待训练FCN网络进行迭代训练，获得已训练的FCN网络。
可选地，所述第一损失函数为：
Figure BDA0002268645410000031
其中L1为第一损失函数值，Ncls、λ和Nreg为预设系数，N1为训练边框的数量，
Figure BDA0002268645410000032
为第i个训练边框的分类对数损失函数值，为第i个训练边框的回归损失函数值，pi为第i个训练边框的第一预测分类结果中属于待检测目标的概率值，
Figure BDA0002268645410000034
是训练边框的期望分类结果对应的预设值，ti为第i个训练边框的第一预测偏移量，
Figure BDA0002268645410000035
为第i个训练边框的期望偏移量。
可选地，所述第二损失函数为：
Figure BDA0002268645410000041
其中L2为第二损失函数值，N2为预测ROI的数量，Ncls、λ和Nreg为预设系数，为第i个预测ROI的分类对数损失函数值，
Figure BDA0002268645410000043
为第i个预测ROI的回归损失函数值，Lmask为掩膜损失函数，Pi为第i个预测ROI的第二预测分类结果中属于待检测目标的概率值，
Figure BDA0002268645410000044
为第i个预测ROI的期望分类结果对应的预设值，Ti为第i个预测ROI的第二预测偏移量，
Figure BDA0002268645410000045
为第i个预测ROI的期望偏移量。
此外，为实现上述目的，本发明还提供一种血液自动分析系统，所述系统包括：
第一获取模块，用于分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；
第一输入模块，用于将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；
第二输入模块，用于将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；
池化模块，用于将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；
第三输入模块，用于将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；
统计模块，用于根据分类结果和掩膜，统计待检测样品中待检测目标的数量。
为实现上述目的，本发明还提供一种血细胞分析仪，所述血细胞分析仪包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的血液自动分析方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的血液自动分析方法的步骤。
本发明提出的一种血液自动分析方法、系统、血细胞分析仪及计算机可读存储介质，通过分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；根据分类结果和掩膜，统计待检测样品中待检测目标的数量。由于待检测样品表面并不是完全的平整，并且待检测样品中的细胞并不全部处于同一个平面内，待检测样品中某些细胞在最佳聚焦位置时显示会比较模糊，反而在偏离聚焦位置时会显示的比较清楚，故在对待检测样品进行分析统计前，除了采集最佳聚焦位置的待检测样品的显微图像，还采集了偏离最佳聚焦位置上下的两个位置的待检测样品的显微图像，并将采集的三张显微图像进行图像融合，获得一张特征图谱，该特征图谱保留了三张显微图像上所有显示清楚的细胞的特征信息，再基于该特征图谱进行识别和实例分割，从而不会出现基于最佳聚焦显微图像进行细胞识别和统计过程中将清晰度较差的细胞被错误识别为是背景的问题，本发明统计出来的血细胞数量更接近待检测样品的实际血细胞数量，其结果准确度更高。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明血液自动分析方法第一实施例的流程示意图；
图3为本发明血液自动分析方法第二实施例的流程示意图；
图4为本发明血液自动分析方法第三实施例中步骤S110的细化流程示意图；
图5为本发明血液自动分析系统的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1为本发明各个实施例中所提供的血细胞分析仪的硬件结构示意图。所述血细胞分析仪包括通信模块01、存储器02及处理器03等部件。本领域技术人员可以理解，图1中所示出的血细胞分析仪还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，所述处理器03分别与所述存储器02和所述通信模块01连接，所述存储器02上存储有计算机程序，所述计算机程序同时被处理器03执行。
通信模块01，可通过网络与外部设备连接。通信模块01可以接收外部设备发出的数据，还可发送数据、指令及信息至所述外部设备，所述外部设备可以是平板电脑、笔记本电脑和台式电脑等电子设备。
存储器02，可用于存储软件程序以及各种数据。存储器02可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(对特征融合网络进行训练)等；存储数据区可存储根据血细胞分析仪的使用所创建的数据或信息等。此外，存储器02可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器03，是血细胞分析仪的控制中心，利用各种接口和线路连接整个血细胞分析仪的各个部分，通过运行或执行存储在存储器02内的软件程序和/或模块，以及调用存储在存储器02内的数据，执行血细胞分析仪的各种功能和处理数据，从而对血细胞分析仪进行整体监控。处理器03可包括一个或多个处理单元；优选的，处理器03可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器03中。
尽管图1未示出，但上述血细胞分析仪还可以包括电路控制模块，电路控制模块用于与市电连接，实现电源控制，保证其他部件的正常工作。
本领域技术人员可以理解，图1中示出的血细胞分析仪结构并不构成对血细胞分析仪的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
根据上述硬件结构，提出本发明方法各个实施例。
参照图2，在本发明血液自动分析方法的第一实施例中，所述血液自动分析方法包括步骤：
步骤S10，分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；
在本方案中，将待检测血液置于透明的检测玻片中形成待检测样品，其待检测目标可以为血液中的血红细胞、血小板或白细胞等。将待检测样品放置在血细胞分析仪的载物台上，移动血细胞分析仪的载物台或物镜以使载物台与物镜的间距为h0，此时待检测样品处于聚焦位置，获得待检测样品在h0位置时显微镜下观察到的第一显微图像，然后再将载物台向上或物镜向下移动预设距离d，以使载物台与物镜的间距为h0-d，获得待测样品在载物台与物镜的间距为h0-d时显微镜下观察到的第二显微图像，最后再将载物台向下或物镜向上移动预设距离2d，以使载物台与物镜的间距为h0+d，获得待测样品在载物台与物镜的间距为h0+d时显微镜下观察到的第三显微图像。根据显微镜工作原理可知，第三显微图像对应待检测样品中的位置处于第一显微图像对应待检测样品中的位置上方，第二显微图像对应待测检测样品中的位置处于第一显微图像对应待检测样品中的位置下方。
步骤S20，将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；
获取待测样品分别在h0-d、h0和h0+d位置时显微镜下观察到的第二显微图像、第一显微图像和第三显微图像后，将第一显微图像、第二显微图像和第三显微图像同时输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱。
该融合特征图谱映射出的图像会保留了这三张显微图像中不相同的部分，而相互重叠部分，则只将三张显微图像中清晰度最大的重叠部分的保留下来，例如在第一显微图像中位置b和位置d分别存在一个血红细胞，第二显微图像中位置a、位置b和位置d分别存在一个血红细胞，第三显微图像中位置b和c存在两个血红细胞，其中第一显微图像中位置b的血红细胞的清晰度均大于在第二显微图像和第三显微图像中位置b的血红细胞的清晰度，第一显微图像中位置d的血红细胞的清晰度小于第二显微图像中位置d的血红细胞的清晰度，将三张显微图像输入特征融合网络中会输出的融合特征图谱，将该融合特征图谱映射的图像的位置a、b和c都存在血红细胞，并且a位置的血红细胞和第二显微图像中的a位置的血红细胞一样(轮廓、清晰度、亮度、RGB值等参数相同)，b位置的血红细胞和第一显微图像中的b位置的血红细胞一样(轮廓、清晰度、亮度、RGB值等参数相同)，c位置的血红细胞和第三显微图像中c位置的血红细胞一样(轮廓、清晰度、亮度、RGB值等参数相同)，d位置的血红细胞和第二显微图像中的d位置的血红细胞一样(轮廓、清晰度、亮度、RGB值等参数相同)。
步骤S30，将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；
将融合特征图谱输入至已训练的RPN网络，首先RPN网络采用滑动窗口对融合特征图谱进行扫描，为每个像素点，生成以该像素点为中心的9种预先设置好长宽比与面积的建议边框，这9种建议边框包含三种面积(128×128，256×256，512×512)，每种面积又包含三种长宽比(1:1，1:2，2:1)。
将生成的所有建议边框输入至已训练的RPN网络的边框回归分支中，对所有建议边框进行第一次边框回归即第一次边框坐标修正，同时将生成的所有建议边框输入至已训练的RPN网络的分类分支中，对所有建议边框中包围的特征进行第一次识别，输出第一次分类结果，即每个建议边框属于待检测目标的概率值和属于非待检测目标的概率值，将其中最大概率值对应的结果作为建议边框对应的识别结果；采用NMS算法(Non-MaximumSuppression，NMS，非极大值抑制算法)对属于待检测目标的建议边框进行筛选，获得最终的ROI(region of interest，感兴趣区域)。
步骤S40，将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；
将获得的各ROI与步骤S20获得的融合特征图谱，采用双线性插值算法进行池化和像素对齐，获得各ROI的特征图谱。
步骤S50，将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；
将获得的各ROI特征图谱分别输入至已训练的FCN网络中的边框回归分支中进行第二次边框回归即第二次边框坐标修正、输入至分类分支中对所有ROI特征图谱进行第二次识别以完成所有ROI的第二次分类以及输入至掩膜生成分支中对每个被识别为待检测目标的部分进行掩膜处理获得待检测目标的掩膜，最终输出包括待检测目标的分类边框、分类结果和掩膜等信息的待检测样品的实例分割图。
步骤S60，根据分类结果和掩膜，统计待检测样品中待检测目标的数量。
血细胞分析仪根据待检测样品的实例分割图中分类结果，统计分类结果为待检测目标的掩膜总量，将待检测目标的掩膜总量确定为检测样品中待检测目标的数量。
本实例通过分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；根据分类结果和掩膜，统计待检测样品中待检测目标的数量。由于待检测样品表面并不是完全的平整，并且待检测样品中的细胞并不全部处于同一个平面内，待检测样品中某些细胞在最佳聚焦位置时显示会比较模糊，反而在偏离聚焦位置时会显示的比较清楚，故在对待检测样品进行分析统计前，除了采集最佳聚焦位置的待检测样品的显微图像，还采集了偏离最佳聚焦位置上下的两个位置的待检测样品的显微图像，并将采集的三张显微图像进行图像融合，获得一张特征图谱，该特征图谱保留了三张显微图像上所有显示清楚的细胞的特征信息，再基于该特征图谱进行识别和实例分割，从而不会出现基于最佳聚焦显微图像进行细胞识别和统计过程中将清晰度较差的细胞被错误识别为是背景的问题，本发明统计出来的血细胞数量更接近待检测样品的实际血细胞数量，其结果准确度更高。
进一步地，请参照图3，图3为根据本申请血液自动分析方法的第一实施例提出本申请血液自动分析方法的第二实施例，在本实施例中，步骤S10之前包括：
步骤S70，获取血液样本的原始显微图像，并对所述原始显微图像进行标注，获得期望掩膜、期望分类结果以及期望边框；
步骤S80，对所述原始显微图像进行模糊和特征去除处理，以获得多个已处理显微图像，其中多个已处理显微图像进行特征融合后获得的理论图像为原始显微图像；
在本实例中，采集多个血液样本，获取多张血液样本对应的原始显微图像。对血液样本的原始显微图像中待检测目标进行标注，其标注过程包括对各待检测目标进行类别标记、为各待检测目标生成掩膜以及为各待检测目标生成边框，从而获得期望掩膜、期望分类结果以及期望边框。同时对血液样本的原始显微图像的部分区域模糊处理以及部分血细胞进行去除处理，获得血液样本的原始显微图像对应的多个已处理的显微图像，其中多个已处理显微图像进行特征融合后获得的理论图像为原始显微图像。
步骤S90，将多个已处理显微图像作为待训练特征融合网络的第一训练样本，根据原始显微图像和第一训练样本对待训练特征融合网络进行训练，获得已训练的特征融合网络；
将多个已处理显微图像作为待训练特征融合网络的第一训练样本。根据第一训练样本和原始显微图像对待训练特征融合网络进行训练，获得已训练的特征融合网络。
在本实例中实施所述对待训练特征融合网络进行训练，获得已训练的特征融合网络的步骤的具体过程为：
步骤S91，构建一个深度卷积神经模型，其中所述深度卷积神经模型包括待训练特征融合网络和待训练编码层；
步骤S92，将第一训练样本输入至所述深度神经网络的待训练特征融合网络，获得预测融合特征图谱；
步骤S93，将预测融合特征图谱输入至待训练编码层，输出预测融合图像；
步骤S94，根据预设结构差异损失函数、原始显微图像和预测融合图像，获得结构差异损失函数值；
步骤S95，根据获得的结构差异损失函数值，采用反向传播方式和梯度下降算法对待训练特征融合网络和待训练编码层进行训练，获得已训练的特征融合网络。
首先构建一个包括待训练的特征融合网络和编码层的深度卷积神经模型，将第一训练样本输入至所述深度神经网络的待训练特征融合网络中，获得的预测的融合特征图谱，将预测融合特征图谱输入至待训练的编码层，输出预测融合图像。然后根据预设的结构差异损失函数、预测融合图像和原始显微图像，获得结构差异损失函数值，其中预设结构差异损失函数为：L结构＝1-SSIM，SSIM为预测融合图像与原始显微图像间的结构差异性计算函数值，通过以下公式获得：
Figure BDA0002268645410000111
μ1为原始显微图像的像素均值，μ2为融合图像的像素均值，σ1为原始显微图像的像素方差，σ2为预测融合图像的像素方差，C1为第一预设系数，C2为第二预设系数。
获得融合图像与原始显微图像的结构差异损失函数值后，根据该结构差异损失函数值，采用反向传播方式和梯度下降算法对待训练的特征融合网络和待训练的编码层中的各参数进行训练，获得已训练的特征融合网络。
步骤S100，将第一训练样本输入至已训练的特征融合网络中输出第一训练样本的融合特征图谱，并将第一训练样本的融合特征图谱作为待训练RPN网络和待训练FCN网络的第二训练样本；
在获得已训练的特征融合网络后，将第一训练样本中的第一显微图像和第二显微图像输入至已训练的特征融合网络中，输出对应的融合特征图谱，将该融合特征图片作为待训练RPN网络和待训练FCN网络的第二训练样本。
步骤S110，根据期望掩膜、期望分类结果、期望边框和第二训练样本对待训练RPN网络和待训练FCN网络进行训练，获得已训练的RPN网络和已训练的FCN网络。
根据期望掩膜、期望分类结果、期望边框和第二训练样本对待训练RPN网络和待训练FCN网络进行训练，获得已训练的RPN网络和已训练的FCN网络。在本实施例中可以采用顺序训练方式即先训练RPN网络，在已训练RPN网络基础上再训练FCN网络，也可以采用近似联合训练法训练RPN网络和FCN网络，或者采用联合训练法训练RPN网络和FCN网络，还或者采用交替训练法训练RPN网络和FCN网络。
具体地，请参照图4，图4为本发明血液自动分析方法第三实施例步骤S110的流程细化示意图，基于第二实施例，基于上述实施例，所述步骤S110包括：
步骤S111，将第二训练样本输入至待训练RPN网络获得训练边框，并根据训练边框和期望边框，获得期望偏移量；
将第二训练样本即通过将第一训练样本输入至已训练的特征融合网络中输出的特征图谱，输入至待训练的RPN网络中，待训练的RPN网络采用滑动窗口对该特征图谱进行扫描，为每个像素点，生成以该像素点为中心的9种预先设置好长宽比与面积的建议边框，这9种建议边框包含三种面积(128×128，256×256，512×512)，每种面积又包含三种长宽比(1:1，1:2，2:1)。
根据生成的所有建议边框的面积和位置，计算各建议边框与在原始显微图像中对应标注的目标边框的重叠度(IoU)，选择重叠度大于第一预设阈值和重叠度小于第二预设阈值的建议边框作为训练边框，其中1＞第一预设阈值≥第二预设阈值。一般第一预设阈值取值为0.7，第二预设阈值取值为0.3。
然后根据训练边框的位置坐标信息和之前获得的对应的期望边框的位置坐标信息，获得训练边框的期望偏移量。
步骤S112，将训练边框输入至待训练的RPN网络的分类分支进行分类训练同时输入回归分支进行边框回归训练，分别输出训练边框的第一预测分类结果和第一预测偏移量；
将筛选的所有训练边框输入至待训练的RPN网络的分类分支中，对所有训练边框中包围的特征进行第一次识别，输出第一预测分类结果，该第一预测分类结果包括每个训练边框属于待检测目标的概率值和属于非待检测目标的概率值，其中属于待检测目标的概率值与属于非待检测目标的概率值的和为1，同时将从所有建议边框中筛选出的训练边框输入至待训练的RPN网络的回归分支中，对所有训练边框进行第一次边框回归即第一次边框坐标修正输出各训练边框的第一预测偏移量。
步骤S113，根据第一预测分类结果、第一预测偏移量、期望分类结果和期望偏移量构建第一损失函数；
步骤S114，根据第一损失函数，采用反向传播方式和梯度下降算法对RPN网络进行迭代训练，获得已训练的RPN网络；
根据各训练边框的第一预测偏移量、第一预测分类结果、期望分类结果和期望偏移量构建第一损失函数中，第一损失函数为：
Figure BDA0002268645410000131
其中L1为第一损失函数值，Ncls、λ和Nreg为预设系数，N1为训练边框的数量，
Figure BDA0002268645410000132
为第i个训练边框分类对数损失函数值，
Figure BDA0002268645410000133
为第i个训练边框的回归损失函数值，pi为第i个训练边框的第一预测分类结果中属于待检测目标的概率值，
Figure BDA0002268645410000134
是训练边框的期望分类结果对应的预设值，ti为第i个训练边框的第一预测偏移量，为第i个训练边框的期望偏移量。
若训练边框的期望分类结果为待检测目标时，
Figure BDA0002268645410000137
若训练边框的期望分类结果不为待检测目标时
Figure BDA0002268645410000138
回归损失函数
Figure BDA0002268645410000139
其中R为smoothL1函数，
Figure BDA00022686454100001310
其中ti＝(tx，ty，tw，th)，tx为第i个训练边框中心在x方向的预测偏移量，ty为第i个训练边框中心在y方向的预测偏移量，tw为第i个训练边框宽的预测放大倍数，th为第i个训练边框长的预测放大倍数，
Figure BDA00022686454100001312
为第i个训练边框中心偏移到对应的目标边框中心在x方向的期望偏移量，为第i个训练边框中心偏移到对应的目标边框中心在y方向的期望偏移量，
Figure BDA00022686454100001314
为第i个训练边框宽的期望放大倍数，
Figure BDA00022686454100001315
为第i个训练边框长的期望放大倍数。
根据第一损失函数采用反向传播方式和梯度下降算法对RPN网络进行迭代训练，获得已训练的RPN网络。
步骤S115，将第二训练样本输入已训练的RPN网络，获得预测ROI；
将第二训练样本即通过将第一训练样本输入至已训练的特征融合网络中输出的特征图谱，输入至已训练的RPN网络中，已训练的RPN网络采用滑动窗口对该特征图谱进行扫描，为每个像素点，生成以该像素点为中心的9种预先设置好长宽比与面积的建议边框，这9种建议边框包含三种面积(128×128，256×256，512×512)，每种面积又包含三种长宽比(1:1，1:2，2:1)。
将生成的所有建议边框输入至已训练的RPN网络的边框回归分支中，对所有建议边框进行第一次边框回归即第一次边框坐标修正，将将将生成的所有建议边框输入至已训练的RPN网络的分类分支中，对所有建议边框中包围的特征进行第一次识别，输出每个建议边框属于待检测目标的概率值和属于非待检测目标的概率值，其中属于待检测目标的概率值加上属于非待检测目标的概率值等于1，将其中最大概率值对应的结果作为建议边框对应的分类结果；采用NMS算法(Non-Maximum Suppression，NMS，非极大值抑制算法)对属于待检测目标的建议边框进行筛选，获得预测ROI(region of interest，感兴趣区域)。
步骤S116，对预测ROI和第二训练样本进行池化和像素对齐，获得预测ROI特征图谱；
将获得的预测ROI与第二样本即融合特征图谱，采用双线性插值算法进行池化和像素对齐，获得各预测ROI的特征图谱。
步骤S117，将预测ROI特征图谱输入待训练的FCN网络中，输出预测ROI的第二预测分类结果、第二预测偏移量和预测掩膜；
将获得的预测ROI特征图谱分别输入至待训练的FCN网络中的边框回归分支中进行第二次边框回归即第二次边框坐标修正输出预测ROI的第二预测偏移量，同时输入至分类分支中对预测ROI特征图谱进行第二次识别以完成预测ROI的第二次分类，输出预测ROI的第二预测分类结果，该第二预测分类结果包括每个预测ROI属于待检测目标的概率值和属于非待检测目标的概率值，其中属于待检测目标的概率值与属于非待检测目标的概率值的和为1，将其中最大概率值对应的结果作为预测ROI对应的识别结果，同时输入至掩膜生成分支对预测ROI进行掩膜处理从而生成预测ROI的预测掩膜。
步骤S118，根据预测ROI的第二预测分类结果、第二预测偏移量、预测掩膜、期望分类结果、期望偏移量和期望掩膜构建第二损失函数；
步骤S119，根据第二损失函数，采用反向传播方式和梯度下降算法对待训练的FCN网络进行迭代训练，获得训练的RPN网络。
根据预测ROI的第二预测分类结果、第二预测偏移量、预测掩膜、期望分类结果、期望偏移量和期望掩膜构建第二损失函数：
Figure BDA0002268645410000141
其中L2为第二损失函数值，N2为预测ROI的数量，Ncls、λ和Nreg为预设系数，
Figure BDA0002268645410000142
为第i个预测ROI的分类对数损失函数值，
Figure BDA0002268645410000143
为第i个预测ROI的回归损失函数值，Lmask为掩膜损失函数，Pi为第i个预测ROI的第二预测分类结果中属于待检测目标的概率值，
Figure BDA0002268645410000151
为第i个预测ROI的期望分类结果对应的预设值，Ti为第i个预测ROI的第二预测偏移量，为第i个ROI的期望偏移量。在第二损失函数中分类对数损失函数和回归损失函数与第一损失函数中的分类对数损失函数和回归损失函数相同，只是各参数输入的值不同。掩膜生成分支采用FCN网络对每个预测ROI进行分割输出维数为K*m*m，即输出K个类别的m*m的二值掩膜，其中，m表示ROI的特征图谱的大小，K为识别出的类别数量，例如若构建的网络的目标是能够同时识别出血红细胞、血小板、白细胞和背景，那么K为4，若构建的网络的目标是能够仅仅就识别出血红细胞，将其他血小板、白细胞都作为背景，则K为2；根据分类网络分支对每个预测ROI的预测分类结果，使用了像素级sigmoi定义的平均二值交叉熵损失函数(average binary cross-entropy loss)对每个预测ROI的预测分类结果对应的m*m的二值掩膜进行损失计算，获得每个预测ROI的损失值，最终获得训练样本对应的掩膜损失值Lmask。例如K为4，某一个预测ROI的预测分类结果为血红细胞，则采用像素级sigmoi定义的平均二值交叉熵损失函数对掩膜生成分支为该预测ROI输出的属于血红细胞的m*m的二值掩膜进行损失计算，获得该预测的掩膜损失值。
构建第二损失函数后，根据第二损失函数，采用反向传播方式和梯度下降算法对待训练的FCN网络进行迭代训练，获得训练的RPN网络。
本实例基于真实的血液样品的显微图像作为训练样本，对构建的特征融合网络、RPN网络和FCN网络进行训练，使得在后续实际使用过程中采用最终训练完成的特征融合网络、RPN网络和FCN网络对待测血液样品进行待检测目标识别的准确率更高。
参见图5，本发明还提供一种血液自动分析系统，所述系统包括：
第一获取模块10，用于分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；
第一输入模块20，用于将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；
第二输入模块30，用于将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；
池化模块40，用于将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；
第三输入模块50，用于将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；
统计模块60，用于根据分类结果和掩膜，统计待检测样品中待检测目标的数量。
进一步，所述系统还包括：
第二获取模块70，用于获取血液样本的原始显微图像，并对所述原始显微图像进行标注，获得期望掩膜、期望分类结果以及期望边框；
处理模块80，用于对所述原始显微图像进行模糊和特征去除处理，以获得多个已处理显微图像，其中多个已处理显微图像进行特征融合后获得的理论图像为原始显微图像；
第一训练模块90，用于将多个已处理显微图像作为待训练特征融合网络的第一训练样本，根据原始显微图像和第一训练样本对待训练特征融合网络进行训练，获得已训练的特征融合网络；
输出模块100，用于将第一训练样本输入至已训练的特征融合网络中输出
第一训练样本的融合特征图谱，并将第一训练样本的融合特征图谱作为待训练RPN网络和待训练FCN网络的第二训练样本；
第二训练模块110，用于根据期望掩膜、期望分类结果、期望边框和第二训练样本对待训练RPN网络和待训练FCN网络进行训练，获得已训练的RPN网络和已训练的FCN网络。
进一步，所述第一训练模块90包括：
第一构建单元91，用于构建一个深度卷积神经模型，其中所述深度卷积神经模型包括待训练特征融合网络和待训练编码层；
第一获得单元92，用于将第一训练样本输入至所述深度神经网络的待训练特征融合网络，获得预测融合特征图谱；
第一输出单元93，用于将预测融合特征图谱输入至待训练编码层，输出预测融合图像；
第二获得单元94，用于根据预设结构差异损失函数、原始显微图像和预测融合图像，获得结构差异损失函数值，其中预设结构差异损失函数为：
L结构＝1-SSIM，其中L结构为结构差异损失函数，SSIM为原始显微图像与预测融合图像的结构相似性计算函数值；
第一训练单元95，用于根据获得的结构差异损失函数值，采用反向传播方式和梯度下降算法对待训练特征融合网络和待训练编码层进行训练，获得已训练的特征融合网络。
进一步，所述第二训练模块110包括：
第一输入单元111，用于将第二训练样本输入至待训练RPN网络获得训练边框，并根据训练边框和期望边框，获得期望偏移量；
第二输出单元112，用于将训练边框同时输入至待训练RPN网络的分类分支和回归分支，进行对应的分类训练和边框回归训练，以对应输出训练边框的第一预测分类结果和第一预测偏移量；
第二构建单元113，用于根据第一预测分类结果、第一预测偏移量、期望分类结果和期望偏移量构建第一损失函数，其中L1为第一损失函数值，Ncls、λ和Nreg为预设系数，N1为训练边框的数量，
Figure BDA0002268645410000171
为第i个训练边框的分类对数损失函数值，
Figure BDA0002268645410000172
为第i个训练边框的回归损失函数值，pi为第i个训练边框的第一预测分类结果中属于待检测目标的概率值，
Figure BDA0002268645410000173
是训练边框的期望分类结果对应的预设值，ti为第i个训练边框的第一预测偏移量，
Figure BDA0002268645410000174
为第i个训练边框的期望偏移量；
第二训练单元114，用于根据第一损失函数，采用反向传播方式对待训练RPN网络进行迭代训练，获得已训练的RPN网络；
第二输入单元115，用于将第二训练样本输入已训练的RPN网络，获得预测ROI；
池化单元116，用于对预测ROI和第二训练样本进行池化和像素对齐，获得预测ROI特征图谱；
第三输出单元117，用于将预测ROI特征图谱输入待训练FCN网络中，输出预测ROI的第二预测分类结果、第二预测偏移量和预测掩膜；
第三构建单元118，用于根据预测ROI的第二预测分类结果、第二预测偏移量、预测掩膜、期望分类结果、期望偏移量和期望掩膜构建第二损失函数，其中
Figure BDA0002268645410000175
其中L2为第二损失函数值，N2为预测ROI的数量，Ncls、λ和Nreg为预设系数，
Figure BDA0002268645410000181
为第i个预测ROI的分类对数损失函数值，
Figure BDA0002268645410000182
为第i个预测ROI的回归损失函数值，Lmask为掩膜损失函数，Pi为第i个预测ROI的第二预测分类结果中属于待检测目标的概率值，为第i个预测ROI的期望分类结果对应的预设值，Ti为第i个预测ROI的第二预测偏移量，
Figure BDA0002268645410000184
为第i个预测ROI的期望偏移量；
第二训练单元119，用于根据第二损失函数，采用反向传播方式和梯度下降算法对待训练FCN网络进行迭代训练，获得已训练的FCN网络。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图1的血细胞分析仪中的存储器02，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干信息用以使得血细胞分析仪执行本发明各个实施例所述的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种血液自动分析方法，其特征在于，包括步骤：
分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；
将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；
将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；
将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；
将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；
根据分类结果和掩膜，统计待检测样品中待检测目标的数量。
2.根据权利要求1所述的血液自动分析方法，其特征在于，所述分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像的步骤之前包括：
获取血液样本的原始显微图像，并对所述原始显微图像进行标注，获得期望掩膜、期望分类结果以及期望边框；
对所述原始显微图像进行模糊和特征去除处理，以获得多个已处理显微图像，其中多个已处理显微图像进行特征融合后获得的理论图像为原始显微图像；
将多个已处理显微图像作为待训练特征融合网络的第一训练样本，根据原始显微图像和第一训练样本对待训练特征融合网络进行训练，获得已训练的特征融合网络；
将第一训练样本输入至已训练的特征融合网络中输出第一训练样本的融合特征图谱，并将第一训练样本的融合特征图谱作为待训练RPN网络和待训练FCN网络的第二训练样本；
根据期望掩膜、期望分类结果、期望边框和第二训练样本对待训练RPN网络和待训练FCN网络进行训练，获得已训练的RPN网络和已训练的FCN网络。
3.根据权利要求2所述的血液自动分析方法，其特征在于，所述将多个已处理显微图像作为待训练特征融合网络的第一训练样本，根据原始显微图像和第一训练样本对待训练特征融合网络进行训练，获得已训练的特征融合网络的步骤包括：
构建一个深度卷积神经模型，其中所述深度卷积神经模型包括待训练特征融合网络和待训练编码层；
将第一训练样本输入至所述深度神经网络的待训练特征融合网络，获得预测融合特征图谱；
将预测融合特征图谱输入至待训练编码层，输出预测融合图像；
根据预设结构差异损失函数、原始显微图像和预测融合图像，获得结构差异损失函数值；
根据获得的结构差异损失函数值，采用反向传播方式和梯度下降算法对待训练特征融合网络和待训练编码层进行训练，获得已训练的特征融合网络。
4.根据权利要求3所述的血液自动分析方法，其特征在于，所述预设结构差异损失函数为：
L结构＝1-SSIM，其中L结构为预设结构差异损失函数，SSIM为原始显微图像与预测融合图像的结构相似性计算函数值。
5.根据权利要求2-4中任一项所述的血液自动分析方法，其特征在于，所述根据期望掩膜、期望分类结果、期望边框和第二训练样本对待训练RPN网络和待训练FCN网络进行训练，获得已训练的RPN网络和已训练的FCN网络的步骤包括：
将第二训练样本输入至待训练RPN网络获得训练边框，并根据训练边框和期望边框，获得期望偏移量；
将训练边框同时输入至待训练RPN网络的分类分支和回归分支，进行对应的分类训练和边框回归训练，以对应输出训练边框的第一预测分类结果和第一预测偏移量；
根据第一预测分类结果、第一预测偏移量、期望分类结果和期望偏移量构建第一损失函数；
根据第一损失函数，采用反向传播方式对待训练RPN网络进行迭代训练，获得已训练的RPN网络；
将第二训练样本输入已训练的RPN网络，获得预测ROI；
对预测ROI和第二训练样本进行池化和像素对齐，获得预测ROI特征图谱；
将预测ROI特征图谱输入待训练FCN网络中，输出预测ROI的第二预测分类结果、第二预测偏移量和预测掩膜；
根据第二预测分类结果、第二预测偏移量、预测掩膜、期望分类结果、期望偏移量和期望掩膜构建第二损失函数；
根据第二损失函数，采用反向传播方式和梯度下降算法对待训练FCN网络进行迭代训练，获得已训练的FCN网络。
6.根据权利要求5所述的血液自动分析方法，其特征在于，所述第一损失函数为：
Figure FDA0002268645400000031
其中L1为第一损失函数值，Ncls、λ和Nreg为预设系数，N1为训练边框的数量，为第i个训练边框分类对数损失函数值，为第i个训练边框的回归损失函数值，pi为第i个训练边框的第一预测分类结果中属于待检测目标的概率值，是训练边框的期望分类结果对应的预设值，ti为第i个训练边框的第一预测偏移量，
Figure FDA0002268645400000035
为第i个训练边框的期望偏移量。
7.根据权利要求5所述的血液自动分析方法，其特征在于，所述第二损失函数为：
Figure FDA0002268645400000036
其中L2为第二损失函数值，N2为预测ROI的数量，Ncls、λ和Nreg为预设系数，Lcls(Pi,Pi *)为第i个预测ROI的分类对数损失函数值，
Figure FDA0002268645400000037
为第i个预测ROI的回归损失函数值，Lmask为掩膜损失函数，Pi为第i个预测ROI的第二预测分类结果中属于待检测目标的概率值，Pi *为第i个预测ROI的期望分类结果对应的预设值，Ti为第i个预测ROI的第二预测偏移量，Ti *为第i个预测ROI的期望偏移量。
8.一种血液自动分析系统，其特征在于，所述系统包括：
第一获取模块，用于分别获取载物台与物镜的间距为h0-d、h0和h0+d时待检测样品的显微图像，其中载物台与物镜间距h0为待检测样品的聚焦位置，d为预设距离；
第一输入模块，用于将与间距h0-d、h0和h0+d对应的待检测样品的显微图像输入至已训练的特征融合网络中进行特征融合，输出融合特征图谱；
第二输入模块，用于将融合特征图谱输入至已训练的RPN网络，获得感兴趣区域ROI；
池化模块，用于将ROI与融合特征图谱进行池化和像素对齐，获得ROI的特征图谱；
第三输入模块，用于将ROI的特征图谱输入至已训练的FCN网络进行边框回归、分类和掩膜生成，输出待检测样品的实例分割图，所述实例分割图包括分类结果和掩膜；
统计模块，用于根据分类结果和掩膜，统计待检测样品中待检测目标的数量。
9.一种血细胞分析仪，其特征在于，所述血细胞分析仪包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的血液自动分析方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的血液自动分析方法的步骤。
CN201911098894.1A 2019-11-11 2019-11-11 血液自动分析方法、系统、血细胞分析仪及存储介质 Pending CN110837809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911098894.1A CN110837809A (zh) 2019-11-11 2019-11-11 血液自动分析方法、系统、血细胞分析仪及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911098894.1A CN110837809A (zh) 2019-11-11 2019-11-11 血液自动分析方法、系统、血细胞分析仪及存储介质

Publications (1)

Publication Number Publication Date
CN110837809A true CN110837809A (zh) 2020-02-25

Family

ID=69576381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911098894.1A Pending CN110837809A (zh) 2019-11-11 2019-11-11 血液自动分析方法、系统、血细胞分析仪及存储介质

Country Status (1)

Country Link
CN (1) CN110837809A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369532A (zh) * 2020-03-05 2020-07-03 北京深睿博联科技有限责任公司 乳腺x射线影像的处理方法和装置
CN113674292A (zh) * 2021-08-17 2021-11-19 厦门理工学院 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法
CN114418995A (zh) * 2022-01-19 2022-04-29 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种基于显微镜图像的级联藻类细胞统计方法
CN115170557A (zh) * 2022-08-08 2022-10-11 中山大学中山眼科中心 结膜杯状细胞成像的图像融合方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013019856A1 (en) * 2011-08-02 2013-02-07 Siemens Healthcare Diagnostics Inc. Automated malignancy detection in breast histopathological images
CN109978771A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 基于内容分析的细胞图像快速融合方法
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110136149A (zh) * 2019-05-21 2019-08-16 闽江学院 基于深度神经网络的白细胞定位与分割方法
CN110232380A (zh) * 2019-06-13 2019-09-13 应急管理部天津消防研究所 基于Mask R-CNN神经网络的火灾夜间场景复原方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013019856A1 (en) * 2011-08-02 2013-02-07 Siemens Healthcare Diagnostics Inc. Automated malignancy detection in breast histopathological images
CN109978771A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 基于内容分析的细胞图像快速融合方法
CN110097528A (zh) * 2019-04-11 2019-08-06 江南大学 一种基于联合卷积自编码网络的图像融合方法
CN110136149A (zh) * 2019-05-21 2019-08-16 闽江学院 基于深度神经网络的白细胞定位与分割方法
CN110232380A (zh) * 2019-06-13 2019-09-13 应急管理部天津消防研究所 基于Mask R-CNN神经网络的火灾夜间场景复原方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
昌晓森: "《刑事科学技术论文集》", 31 May 2015, 沈阳出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369532A (zh) * 2020-03-05 2020-07-03 北京深睿博联科技有限责任公司 乳腺x射线影像的处理方法和装置
CN113674292A (zh) * 2021-08-17 2021-11-19 厦门理工学院 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法
CN113674292B (zh) * 2021-08-17 2023-08-01 厦门理工学院 一种基于部分实例标注的半监督骨髓瘤细胞实例分割方法
CN114418995A (zh) * 2022-01-19 2022-04-29 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 一种基于显微镜图像的级联藻类细胞统计方法
CN115170557A (zh) * 2022-08-08 2022-10-11 中山大学中山眼科中心 结膜杯状细胞成像的图像融合方法及装置

Similar Documents

Publication Publication Date Title
CN110837809A (zh) 血液自动分析方法、系统、血细胞分析仪及存储介质
JP7422825B2 (ja) 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測
US9684958B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
CN109684906B (zh) 基于深度学习的检测红脂大小蠹的方法
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN111462076A (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110443212B (zh) 用于目标检测的正样本获取方法、装置、设备及存储介质
US20220012884A1 (en) Image analysis system and analysis method
CN113962975B (zh) 基于梯度信息对病理玻片数字图像进行质量评估的系统
CN111462075A (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN116542975B (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN104680185B (zh) 基于边界点重分类的高光谱图像分类方法
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN118115496B (zh) 晶圆缺陷检测方法及装置
CN112396575A (zh) 基于影像的分类系统
CN116740652B (zh) 一种基于神经网络模型的锈斑面积扩大的监测方法与系统
CN112464802A (zh) 一种玻片样本信息的自动识别方法、装置和计算机设备
CN117455917B (zh) 一种蚀刻引线框架误报库建立及误报在线判定筛选方法
CN110796117B (zh) 血细胞自动分析方法、系统、血细胞分析仪及存储介质
CN115601564B (zh) 基于图像识别的胶体轮廓检测方法及系统
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
US10146042B2 (en) Image processing apparatus, storage medium, and image processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200225

RJ01 Rejection of invention patent application after publication