CN110530779A - 一种白细胞检测方法及装置 - Google Patents

一种白细胞检测方法及装置 Download PDF

Info

Publication number
CN110530779A
CN110530779A CN201910736590.7A CN201910736590A CN110530779A CN 110530779 A CN110530779 A CN 110530779A CN 201910736590 A CN201910736590 A CN 201910736590A CN 110530779 A CN110530779 A CN 110530779A
Authority
CN
China
Prior art keywords
prediction
image
leucocyte
characteristic
blood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910736590.7A
Other languages
English (en)
Inventor
倪浩
郑永升
石磊
徐梦迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd filed Critical SHANGHAI YIZHI MEDICAL TECHNOLOGY Co Ltd
Priority to CN201910736590.7A priority Critical patent/CN110530779A/zh
Publication of CN110530779A publication Critical patent/CN110530779A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means, e.g. by light scattering, diffraction, holography or imaging
    • G01N15/0227—Investigating particle size or size distribution by optical means, e.g. by light scattering, diffraction, holography or imaging using imaging, e.g. a projected image of suspension; using holography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G01N2015/016—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N2015/0294—Particle shape
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G01N2015/1022—
    • G01N2015/1028—
    • G01N2015/1029—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明实施例提供了一种白细胞检测方法及装置，涉及人工智能技术领域，该方法包括：将血液病理图像输入特征提取网络，确定血液病理图像对应的M张不同尺寸的特征图像，M为大于1的整数。将M张不同尺寸的特征图像输入目标检测网络，确定血液病理图像中的白细胞及其类别。采用特征提取网络提取血液病理图像对应的多张不同尺寸的特征图像，并采用目标检测网络检测不同尺寸的特征图像中的白细胞的类别，相较于基于单个尺寸的特征图像检测白细胞以及白细胞的类别来说，获取的白细胞的特征更加全面，从而提高了白细胞检测和分类的精度。其次，相较于人工对白细胞进行分类的方法来说，避免了依赖人工经验，有效提高了白细胞检测和分类的效率。

Description

一种白细胞检测方法及装置
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种白细胞检测方法及装置。
背景技术
在目前的医学和生物学研究中，对生物细胞的研究已成为了一项关键技术，这是研究发病机理和生物学处理过程的重要工具。通过对生物细胞的处理，例如检测、分割、分类、计数等，帮助医生对疾病进行诊断。
目前细胞的形态学诊断都是基于医学人员在显微镜下观察细胞形态对细胞进行分类，然后统计不同形态的细胞的数量进行疾病诊断。该分类方法依赖于操作医师经验，主观性强，重复性不好，效率低。
发明内容
由于采用人工方式对细胞进行分类的方法依赖人工经验，主观性强，重复性不好，效率低的问题，本发明实施例提供了一种白细胞检测方法及装置。
一方面，本发明实施例提供了一种白细胞检测方法，包括：
获取血液病理图像；
将所述血液病理图像输入特征提取网络，确定所述血液病理图像对应的M张不同尺寸的特征图像，M为大于1的整数；
将所述M张不同尺寸的特征图像输入目标检测网络，确定所述血液病理图像中的白细胞及其类别。
可选地，所述特征提取网络包括P个下采样模块和Q个上采样模块，P和Q为不小于M的整数；
所述将所述血液病理图像输入特征提取网络，确定所述血液病理图像对应的M张不同尺寸的特征图像，包括：
采用所述P个下采样模块逐级对所述血液病理图像进行特征提取，获得每个下采样模块输出的不同尺寸的第一特征图像；
采用所述Q个上采样模块逐级对第P个下采样模块输出的第一特征图像进行特征提取，获得每个上采样模块输出的不同尺寸的第二特征图像；
将尺寸相同的第一特征图像和第二特征图像合并，确定所述血液病理图像对应的M张不同尺寸的特征图像。
可选地，所述目标检测网络包括M个预测框回归子模块和M个分类子模块，所述M张不同尺寸的特征图像中每张特征图像对应一个预测框回归子模块和一个分类子模块；
所述将所述M张不同尺寸的特征图像输入目标检测网络，确定所述血液病理图像中的白细胞及其类别，包括：
针对所述M张不同尺寸的特征图像中的任意一张特征图像，以所述特征图像中每个像素点为中心，向四周扩展确定每个像素点对应的多个不同尺寸和不同长宽比的预测框；
将每个预测框输入所述特征图像对应的预测框回归子模块，确定每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，所述预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的；
将每个预测框输入所述特征图像对应的分类子模块，确定每个预测框对应的白细胞类别以及置信度；
采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框，所述预测目标框对应的置信度为预测框对应的置信度；
根据所述M张不同尺寸的特征图像中的结果预测框确定所述血液病理图像中的白细胞及其类别。
可选地，所述根据所述M张不同尺寸的特征图像中的结果预测框确定所述血液病理图像中的白细胞及其类别，包括：
将所述M张不同尺寸的特征图像中的结果预测框融合；
采用非极大值抑制对融合后的结果预测框进行筛选；
将保留的结果预测框确定为所述血液病理图像中的白细胞，其中，保留的结果预测框的坐标为所述血液病理图像中的白细胞的坐标，基于保留的结果预测框的尺寸和尺寸偏移确定所述血液病理图像中的白细胞的尺寸，保留的结果预测框对应的白细胞类别为所述血液病理图像中的白细胞的类别。
一方面，本发明实施例提供了一种白细胞检测装置，包括：
获取模块，用于获取血液病理图像；
特征提取模块，用于将所述血液病理图像输入特征提取网络，确定所述血液病理图像对应的M张不同尺寸的特征图像，M为大于1的整数；
检测模块，用于将所述M张不同尺寸的特征图像输入目标检测网络，确定所述血液病理图像中的白细胞及其类别。
可选地，所述特征提取网络包括P个下采样模块和Q个上采样模块，P和Q为不小于M的整数；
所述特征提取模块具体用于：
采用所述P个下采样模块逐级对所述血液病理图像进行特征提取，获得每个下采样模块输出的不同尺寸的第一特征图像；
采用所述Q个上采样模块逐级对第P个下采样模块输出的第一特征图像进行特征提取，获得每个上采样模块输出的不同尺寸的第二特征图像；
将尺寸相同的第一特征图像和第二特征图像合并，确定所述血液病理图像对应的M张不同尺寸的特征图像。
可选地，所述目标检测网络包括M个预测框回归子模块和M个分类子模块，所述M张不同尺寸的特征图像中每张特征图像对应一个预测框回归子模块和一个分类子模块；
所述检测模块具体用于：
针对所述M张不同尺寸的特征图像中的任意一张特征图像，以所述特征图像中每个像素点为中心，向四周扩展确定每个像素点对应的多个不同尺寸和不同长宽比的预测框；
将每个预测框输入所述特征图像对应的预测框回归子模块，确定每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，所述预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的；
将每个预测框输入所述特征图像对应的分类子模块，确定每个预测框对应的白细胞类别以及置信度；
采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框，所述预测目标框对应的置信度为预测框对应的置信度；
根据所述M张不同尺寸的特征图像中的结果预测框确定所述血液病理图像中的白细胞及其类别。
可选地，所述检测模块具体用于：
将所述M张不同尺寸的特征图像中的结果预测框融合；
采用非极大值抑制对融合后的结果预测框进行筛选；
将保留的结果预测框确定为所述血液病理图像中的白细胞，其中，保留的结果预测框的坐标为所述血液病理图像中的白细胞的坐标，基于保留的结果预测框的尺寸和尺寸偏移确定所述血液病理图像中的白细胞的尺寸，保留的结果预测框对应的白细胞类别为所述血液病理图像中的白细胞的类别。
一方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现白细胞检测方法的步骤。
一方面，本发明实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行白细胞检测方法的步骤。
本发明实施例中，采用特征提取网络提取血液病理图像对应的多张不同尺寸的特征图像，并采用目标检测网络检测不同尺寸的特征图像中的白细胞并识别白细胞的类别，相较于基于单个尺寸的特征图像检测白细胞以及白细胞的类别来说，获取的白细胞的特征更加全面，从而提高了白细胞检测和分类的精度。其次，相较于人工对白细胞进行分类的方法来说，避免了依赖人工经验，有效提高了白细胞检测和分类的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种白细胞检测方法的流程示意图；
图2为本发明实施例提供的一种血液病理图像的示意图；
图3为本发明实施例提供的一种提取特征图像的方法的流程示意图；
图4为本发明实施例提供的一种提取特征图像的方法的流程示意图；
图5为本发明实施例提供的一种下采样模块的结构示意图；
图6为本发明实施例提供的一种白细胞检测方法的流程示意图；
图7为本发明实施例提供的一种预测框的示意图；
图8为本发明实施例提供的一种白细胞检测方法的流程示意图；
图9为本发明实施例提供的一种白细胞检测装置的结构示意图；
图10为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中的白细胞检测方法可以应用于生物细胞研究、疾病诊断等场景。
场景一、在基于生物细胞研究发病机理和生物学处理过程时，可以采集研究所需的血液病理图像，然后采用本发明实施例中白细胞检测方法确定血液病理图像中的白细胞以及白细胞的类别。研究人员根据识别出的白细胞的类别、形态、数量等特征，研究发病机理和生物学处理过程。
场景二、在基于生物细胞进行疾病诊断时，可以采集患者的血液病理图像，然后采用本发明实施例中白细胞检测方法确定血液病理图像中的白细胞以及白细胞的类别，医生基于识别出的白细胞以及白细胞的类别对病人的疾病进行诊断。
基于上述应用场景，本发明实施例提供了一种白细胞检测方法的流程，该方法的流程可以由白细胞检测装置执行，如图1所示，包括以下步骤：
步骤S101，获取血液病理图像。
具体地，对采集的血样进行处理，然后将处理的血样进行图像表达，获得血液病理图像，血液病理图像具体可以如图2所示。在血液病理图像中包括多个类别的细胞，比如白细胞、红细胞、血小板等，其中，白细胞又可以细分为多个类别，比如中性粒细胞、嗜酸性粒细胞、嗜碱性粒细胞、淋巴细胞和单核细胞等。
在一种可能的实施方式中，对采集的血样进行处理，将处理的血样进行图像表达获得血液病理图像时，可以采用以下方式：采用恒定负压从采血试管中吸取微量血液样品，采用气泡定量法提取定量血液样品，注入已装入定量稀释液和瑞氏染液的样品稀释杯中混匀，将稀释、染色、混匀后的血液样品注入光学组件(显微镜)下的血细胞记数板；通过光学仪器依据预定的放大倍数对被检血样进行放大、聚焦、成像；采用摄像组件采集光学放大后的血细胞样品图像，并以BMP/JPG/PNG等图像格式传输到计算机中形成图像文件，从而得到血液病理图像。
在获得血液病理图像后，将血液病理图像的尺寸调整至512×512。
步骤S102，将血液病理图像输入特征提取网络，确定血液病理图像对应的M张不同尺寸的特征图像，M为大于1的整数。
步骤S103，将M张不同尺寸的特征图像输入目标检测网络，确定血液病理图像中的白细胞及其类别。
具体地，特征提取网络和目标检测网络为深度卷积神经网络，在训练特征提取网络和目标检测网络时，采集多张血液病理图像作为训练样本，由医生标记血液病理图像中的白细胞以及白细胞的类别。在标记白细胞时，可以采用预测框框选出血液病理图像中的白细胞，不需要精确标记白细胞的轮廓。然后将标记后的血液病理图像输入深度卷积神经网络进行训练，在训练过程中获得深度卷积神经网络预测输出血液病理图像中的白细胞及白细胞的类别与血液病理图像中预先标记的白细胞及白细胞的类别的交叉熵，以及白细胞的检测框与白细胞的GT(Ground Truth)框之间的smooth L1loss，将交叉熵与smoothL1loss之和作为目标函数，通过反向传播算法及sgd的优化方法反复迭代至目标函数收敛，确定特征提取网络和目标检测网络。
在本发明实施例中，采用特征提取网络提取血液病理图像对应的多张不同尺寸的特征图像，并采用目标检测网络检测不同尺寸的特征图像中的白细胞并识别白细胞的类别，相较于基于单个尺寸的特征图像检测白细胞以及白细胞的类别来说，获取的白细胞的特征更加全面，从而提高了白细胞检测和分类的精度。其次，相较于人工对白细胞进行分类的方法来说，避免了依赖人工经验，有效提高了白细胞检测和分类的效率。
可选地，在上述步骤S102中，特征提取网络包括P个下采样模块和Q个上采样模块，P和Q为不小于M的整数，其中，每个下采样模块包括多个卷积层和一个池化层，每个上采样模块包括多个卷积层和一个池化层。
在采用特征提取网络提取血液病理图像对应的M张不同尺寸的特征图像时，具体包括以下步骤，如图3所示：
步骤S301，采用P个下采样模块逐级对血液病理图像进行特征提取，获得每个下采样模块输出的不同尺寸的第一特征图像。
具体地，将血液病理图像输入第一个下采样模块，第一个下采样模块对血液病理图像进行特征提取，输出x1尺寸的第一特征图像。然后将x1尺寸的第一特征图像输入第二个下采样模块，第二个下采样模块对x1尺寸的第一特征图像进行特征提取，输出x2尺寸的第一特征图像，依次类推，直到第P个下采样模块输出xP尺寸的第一特征图像。P个下采样模块逐级缩小血液病理图像的尺寸，缩小步长为1/2。比如，血液病理图像的尺寸为512×512，将血液病理图像输入第一个下采样模块后，输出的第一特征图像的尺寸为256×256。具体实施中，每个下采样模块通过多个卷积层提取图像特征，通过池化层缩小图像尺寸。
步骤S302，采用Q个上采样模块逐级对第P个下采样模块输出的第一特征图像进行特征提取，获得每个上采样模块输出的不同尺寸的第二特征图像。
具体地，第P个下采样模块输出的第一特征图像为P个下采样模块输出的第一特征图像中尺寸最小的第一特征图像。采用1*1的卷积核对第P个下采样模块输出的第一特征图像进行降维，降维后的尺寸仍旧为xP尺寸。将降维后的第P个下采样模块输出的xP尺寸的第一特征图像输入第一个上采样模块，第一个上采样模块对第P个下采样模块输出的第一特征图像进行特征提取，输出y1尺寸的第二特征图像。然后将y1尺寸的第二特征图像输入第二个上采样模块，第二个上采样模块对y1尺寸的第二特征图像进行特征提取，输出y2尺寸的第二特征图像，依次类推，直到第Q个上采样模块输出yQ尺寸的第二特征图像。Q个上采样模块逐级增大第P个下采样模块输出的xP尺寸的第一特征图像的尺寸，增大步长为2。比如，第P个下采样模块输出的第一特征图像的尺寸为64×64，将第P个下采样模块输出的第一特征图像输入第一个上采样模块后，输出的第二特征图像的尺寸为128×128。具体实施中，每个上采样模块通过多个卷积层提取图像特征，通过池化层增大图像尺寸。
步骤S303，将尺寸相同的第一特征图像和第二特征图像合并，确定血液病理图像对应的M张不同尺寸的特征图像。
具体地，若x1尺寸与yQ尺寸相同，则将第一个下采样模块输出的x1尺寸的第一特征图像与第Q个上采样模块输出yQ尺寸的第二特征图像进行合并；若x2尺寸与yQ-1尺寸相同，则将第二个下采样模块输出的x2尺寸的第一特征图像与第Q-1个上采样模块输出yQ-1尺寸的第二特征图像进行合并；依次类推，直到获得M张不同尺寸的特征图像。具体实施中，采用1*1的卷积核对第一特征图像进行卷积操作，然后将执行完卷积操作的第一特征图像，与与执行完卷积操作的第一特征图像尺寸相同的第二特征图像合并，即对应的像素点相加。
为了更好的解释上述实施例，下面结合具体的实施场景进行说明，如图4所示，设定血液病理图像的尺寸为512×512，特征提取网络包括3个下采样模块和2个上采样模块，3个下采样模块分别为下采样模块A1、下采样模块A2、下采样模块A3，2个上采样模块分别为上采样模块B1、上采样模块B2。每个下采样模块包括3个卷积层和1个池化层，具体如图5所示。上采样模块与下采样模块的内部结构相同，此处不再赘述。将血液病理图像输入下采样模块A1，下采样模块A1对血液病理图像进行特征提取，输出第一特征图像C1，尺寸为256×256。将第一特征图像C1输入下采样模块A2，下采样模块A2对第一特征图像C1进行特征提取，输出第一特征图像C2，尺寸为128×128。将第一特征图像C2输入下采样模块A3，下采样模块A3对第一特征图像C2进行特征提取，输出第一特征图像C3，尺寸为64×64。采用1*1的卷积核对第一特征图像C3降维，获得第一特征图像C3r，然后将第一特征图像C3r输入上采样模块B1，上采样模块B1对第一特征图像C3r进行特征提取，输出第二特征图像D1，尺寸为128×128。将第二特征图像D1输入上采样模块B2，上采样模块B2对第二特征图像D1进行特征提取，输出第二特征图像D2，尺寸为256×256。采用1*1的卷积核对第一特征图像C1进行卷积操作，然后将执行完卷积操作的第一特征图像C1和第二特征图像D2进行合并，采用1*1的卷积核对第一特征图像C2进行卷积操作，然后将执行完卷积操作的第一特征图像C2和第二特征图像D1进行合并，获得血液病理图像对应的2张不同尺寸的特征图像，分别为特征图像E1和特征图像E2。
采用多个上采样模块逐级对血液病理图像进行特征提取，获得不同尺寸的第一特征图像，采用多个下采样模块逐级对上采样模块输出的尺寸最小的第一特征图像进行特征提取，获得不同尺寸的第二特征图像，将尺寸相同的第一特征图像和第二特征图像合并，使获取的血液病理图像的特征更全面，提高后续检测血液病理图像的白细胞类别的精度。
可选地，在上述步骤S103中，目标检测网络包括M个预测框回归子模块和M个分类子模块，M张不同尺寸的特征图像中每张特征图像对应一个预测框回归子模块和一个分类子模块。具体实施中，预测框回归子模块和分类子模块可以为全卷积网络。
在采用目标检测网络确定血液病理图像中的白细胞及白细胞的类别时，本发明实施例至少提供以下两种实施方式：
在一种可能的实施方式中，具体可以包括以下步骤，如图6所示：
步骤S601，针对M张不同尺寸的特征图像中的任意一张特征图像，以特征图像中每个像素点为中心，向四周扩展确定与每个像素点对应的多个不同尺寸和不同长宽比的预测框。
示例性地，如图7所示，以像素点1为中心设置了三个预测框，分别为预测框A、预测框B、预测框C，其中预测框A的长宽比为1：1，预测框B的长宽比为1：2，预测框C的长宽比为2：1。
步骤S602，将每个预测框输入特征图像对应的预测框回归子模块，确定每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的。
具体地，M张不同尺寸的特征图像中每张特征图像对应一个预测框回归子模块。针对任意一张特征图像，确定该特征图像中的预测框后，将该特征图像中的预测框输入该特征图像对应的预测框回归子模块，确定该特征图像中的预测框对应的尺寸偏移以及预测框对应的预测目标框的坐标。预测目标框的坐标可以是预测目标框的顶点的坐标，也可以是预测目标框的中心坐标。
步骤S603，将每个预测框输入特征图像对应的分类子模块，确定每个预测框对应的白细胞类别以及置信度。
具体地，M张不同尺寸的特征图像中每张特征图像对应一个分类子模块。针对任意一张特征图像，确定该特征图像中的预测框后，将该特征图像中的预测框输入该特征图像对应的分类子模块，确定预测框对应的白细胞类别以及置信度。采用分类子模块可以确定预测框属于每类白细胞的置信度，将置信度最高的白细胞类别确定为预测框对应的白细胞类别。需要说明的是，若置信度最高的白细胞类别为非白细胞，则说明该预测框内不包含白细胞，可以直接去除该预测框。
步骤S604，采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框，预测目标框对应的置信度为预测框对应的置信度。
具体实施中，每个像素点对应多个预测框，将每个预测框分别输入预测框回归子模块后，可以获得每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，其中，预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的，坐标和尺寸偏移都是2维的参数。将每个预测框分别输入分类子模块后，获得每个预测框对应的白细胞类别以及置信度，可以将预测框对应的白细胞类别以及置信度作为预测目标框对应的白细胞类别以及置信度。
在筛选预测目标框时，可以直接采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框；也可以先采用置信度阈值对预测目标框进行初步筛选，具体为：若预测目标框对应的置信度小于置信度阈值，则说明该预测目标框内的细胞可能不是白细胞，故可以直接去除。然后再采用非极大值抑制对留下的预测目标框进行筛选，确定每个像素点对应的结果预测框。
采用非极大值抑制对预测目标框进行筛选的具体过程为：将各预测目标框按照置信度进行排序，然后选出置信度最大的预测目标框。计算置信度最大的预测目标框与其他任一预测目标框的交并比IOU，交并比的计算方式如式(1)所示：
其中，m为置信度最大的预测目标框，n为其他任一预测目标框，IOU为置信度最大的预测目标框与其他任一预测目标框的交并比。
将交并比大于交并比阈值的其他预测目标框删除，然后从剩余的其他预测目标框中确定置信度最大的预测目标框，重复上述步骤，直到没有剩余的其他预测目标框，将保留的预测目标框作为结果预测框。
示例性地，设定置信度阈值为0.6，交并比阈值为0.4，以像素点1为中心设置了三个预测框，分别为预测框A、预测框B、预测框C，将上述三个预测框输入预测框回归子模块后，获得预测框A、预测框B、预测框C对应的尺寸偏移以及预测框A对应的预测目标框A’的坐标、预测框B对应的预测目标框B’的坐标、预测框C对应的预测目标框C’的坐标。预测目标框A’是采用预测框A对应的尺寸偏移对预测框A进行尺寸变换后获得的，预测目标框B’是采用预测框B对应的尺寸偏移对预测框B进行尺寸变换后获得的,预测目标框C’是采用预测框C对应的尺寸偏移对预测框C进行尺寸变换后获得的。将上述三个预测框输入分类子模块后，获得预测框A、预测框B、预测框C对应的白细胞类别均为k类白细胞，置信度分别为P(A)＝0.9、P(B)＝0.8、P(C)＝0.7，上述三个预测框的置信度均大于置信度阈值。将预测框A、预测框B、预测框C对应的置信度分别作为预测目标框A’、预测目标框B’、预测目标框C’对应的置信度，可以得到预测目标框A’对应的置信度P(A’)＝0.9，预测目标框B’对应的置信度P(B’)＝0.8，预测目标框C’对应的置信度P(C’)＝0.7。
进一步地，按照置信度由高到低对三个预测目标框进行排序，确定置信度最高的预测目标框为预测目标框A’。根据公式(1)分别计算预测目标框A’与预测目标框B’的交并比以及预测目标框A’与预测目标框C’的交并比。假设计算获得的预测目标框A’与预测目标框B’的交并比为0.5，预测目标框A’与预测目标框C’的交并比为0.8，由于预测目标框A’与预测目标框B’的交并比以及预测目标框A’与预测目标框C’的交并比均大于交并比阈值，则删除预测目标框B’、预测目标框C’，将预测目标框A’作为像素点1对应的结果预测框。
步骤S605，根据M张不同尺寸的特征图像中的结果预测框确定血液病理图像中的白细胞及其类别。
具体地，特征图像中的结果预测框对应血液病理图像中的白细胞，结果预测框对应的白细胞类别表示血液病理图像中的白细胞的类别。
采用对预测框进行回归和分类的方法确定血液病理图像中的白细胞以及白细胞类别，故在标注训练样本时，可以不需要精细标注细胞轮廓，而只需要标注预测框，从而节约人力成本，其次，标注训练样本时可以采用预测框框选叠加细胞，从而实现对叠加细胞的检测和分类。另外，采用特征图像中预设的多个不同尺寸和不同长宽比的预测框检测血液病理图像中的白细胞以及白细胞类别，故既能检测到大尺寸的白细胞，同时也能检测到小尺寸的白细胞，从而提高了白细胞检测和分类的精度。
在另一种可能的实施方式中，针对M张不同尺寸的特征图像中的任意一张特征图像，以特征图像中每个像素点为中心，向四周扩展确定与每个像素点对应的多个不同尺寸和不同长宽比的预测框。然后将每个预测框输入特征图像对应的预测框回归子模块，确定每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的。之后再将每个预测框对应的预测目标框输入特征图像对应的分类子模块，确定每个预测目标框对应的白细胞类别以及置信度。采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框。最后根据M张不同尺寸的特征图像中的结果预测框确定血液病理图像中的白细胞及其类别。由于先采用预测框回归子模块确定预测框对应的预测目标框，然后采用分类子模块确定预测目标框对应的白细胞以及置信度，使分类和回归任务相辅相成，有效提高了分类和回归的准确性，进一步也提高了白细胞检测和分类的精度。
由于M张不同尺寸的特征图像对应一张血液病理图像，故同一个白细胞可能出现在多张不同尺寸的特征图像中，从而出现一个白细胞被多次分类和计算的情况，故根据M张不同尺寸的特征图像中的结果预测框确定血液病理图像中的白细胞及其类别时，需要对重复分类的白细胞进行筛选。
在一种可能的实施方式中，首先将M张不同尺寸的特征图像中的结果预测框融合，然后采用非极大值抑制对融合后的结果预测框进行筛选。将保留的结果预测框确定为血液病理图像中的白细胞，其中，保留的结果预测框的坐标为血液病理图像中的白细胞的坐标，基于保留的结果预测框的尺寸和尺寸偏移确定血液病理图像中的白细胞的尺寸，保留的结果预测框对应的白细胞类别为血液病理图像中的白细胞的类别。
具体实施中，可以将M张不同尺寸的特征图像转化为同一尺寸的特征图像，在转换特征图像的尺寸时，对应转换特征图像中的结果预测框的尺寸。然后将转化为同一尺寸的M张特征图像中的结果预测框融合，即将转化为同一尺寸的M张特征图像中的结果预测框对应在一张虚拟图像中，该虚拟图像的尺寸为转化后的M张特征图像的尺寸。采用非极大值抑制对融合后的结果预测框进行筛选，具体过程为：
将各结果预测框按照置信度进行排序，然后选出置信度最大的结果预测框。计算置信度最大的结果预测框与其他任一结果预测框的交并比IOU。将交并比大于交并比阈值的其他结果预测框删除，从剩余的其他结果预测框中确定置信度最大的结果预测框，重复上述步骤，直到没有剩余的其他结果预测框。
示例性地，设定置信度阈值为0.6，交并比阈值为0.4，将2张不同尺寸的特征图像都转化为512×512的特征图像，然后将转化为512×512的2张特征图像中的结果预测框融合，即将转化为512×512的2张特征图像中的结果预测框对应在一张虚拟图像中，该虚拟图像的尺寸为512×512。融合后的结果预测框包括结果预测框1、结果预测框2、结果预测框3、结果预测框4、结果预测框5、结果预测框6，按照置信度由高到低对上述六个结果预测框进行排序，获得的排序结果为：结果预测框6、结果预测框2、结果预测框4、结果预测框1、结果预测框3、结果预测框5。选择置信度最高的结果预测框为结果预测框6，分别计算结果预测框6与其他5个结果预测框的交并比。假设结果预测框6与结果预测框2、结果预测框4的交并比均大于0.4，结果预测框6与结果预测框1、结果预测框3、结果预测框5的交并比均不大于0.4，则删除结果预测框2、结果预测框4。
进一步地，将剩余的结果预测框1、结果预测框3、结果预测框5进行排序，选择置信度最高的结果预测框为结果预测框1，分别计算结果预测框1与结果预测框3、结果预测框5的交并比。假设结果预测框1与结果预测框3的交并比大于0.4，结果预测框1与结果预测框5的交并比不大于0.4，则删除结果预测框3，保留的结果预测框为结果预测框6、结果预测框1、结果预测框5。根据保留的结果预测框可以得出血液病理图像中包括3个白细胞，以结果预测框6对应的白细胞为例来说，该白细胞的坐标为结果预测框6的坐标，根据结果预测框6的尺寸以及尺寸偏移确定该白细胞的尺寸，该白细胞的类别为结果预测框6对应的白细胞类别。
通过将不同尺寸的特征图像中的结果预测框融合，然后采用非极大值抑制对融合后的结果预测框进行筛选，实现对同一白细胞对应的多个结果预测框进行去重，从而提高白细胞计数的准确性。
为了更好的解释本发明实施例，下面结合具体的实施场景描述本发明实施例提供的一种白细胞检测方法，设定该分类方法使用的深度卷积神经网络的结构如图8所示，包括特征提取网络和目标检测网络，其中，特征提取网络包括3个下采样模块和2个上采样模块，目标检测网络包括2个预测框回归子模块和2个分类子模块。
训练过程：预先采集多张血液病理图像作为训练样本，由医生标记血液病理图像中的白细胞以及白细胞的类别，在标记白细胞时，采用预测框框选出血液病理图像中的白细胞并标记预测框对应的白细胞类别，不需要精确标记白细胞的精确轮廓。然后将标记后的血液病理图像输入深度卷积神经网络进行训练，在训练过程中获得深度卷积神经网络预测输出血液病理图像中的白细胞及白细胞的类别与血液病理图像中预先标记的白细胞及白细胞的类别的交叉熵，以及白细胞的检测框与白细胞的GT(Ground Truth)框之间的smooth L1 loss，将交叉熵与smooth L1 loss之和作为目标函数，通过反向传播算法及sgd的优化方法反复迭代至目标函数收敛，确定特征提取网络和目标检测网络。
白细胞分类过程：采集血液病理图像，将血液病理图像的尺寸调整为512×512，将血液病理图像输入特征提取网络，特征提取网络包括的3个下采样模块分别为下采样模块A1、下采样模块A2、下采样模块A3，2个上采样模块分别为上采样模块B1、上采样模块B2。下采样模块A1对血液病理图像进行特征提取，输出第一特征图像C1，尺寸为256×256。将第一特征图像C1输入下采样模块A2，下采样模块A2对第一特征图像C1进行特征提取，输出第一特征图像C2，尺寸为128×128。将第一特征图像C2输入下采样模块A3，下采样模块A3对第一特征图像C2进行特征提取，输出第一特征图像C3，尺寸为64×64。采用1*1的卷积核对第一特征图像C3降维，获得第一特征图像C3r，然后将第一特征图像C3r输入上采样模块B1，上采样模块B1对第一特征图像C3r进行特征提取，输出第二特征图像D1，尺寸为128×128。将第二特征图像D1输入上采样模块B2，上采样模块B2对第二特征图像D1进行特征提取，输出第二特征图像D2，尺寸为256×256。采用1*1的卷积核对第一特征图像C1进行卷积操作，然后将执行完卷积操作的第一特征图像C1和第二特征图像D2进行合并，采用1*1的卷积核对第一特征图像C2进行卷积操作，然后将执行完卷积操作的第一特征图像C2和第二特征图像D1进行合并，获得血液病理图像对应的2张不同尺寸的特征图像，分别为特征图像E1、特征图像E2。
目标检测网络包括2个预测框回归子模块分别为预测框回归子模块F1和预测框回归子模块F2，2个分类子模块分别为分类子模块G1和分类子模块G2。将特征图像E1分别输入预测框回归子模块F1和分类子模块G1，预测框回归子模块F1输出特征图像E1中的预测框对应的尺寸偏移以及预测框对应的预测目标框的坐标，其中，预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的。分类子模块G1输出特征图像E1中的预测框对应的白细胞类别以及置信度，然后将特征图像E1中的预测框对应的白细胞类别以及置信度作为特征图像E1中的预测目标框对应的白细胞类别以及置信度。采用非极大值抑制对特征图像E1中的预测目标框进行筛选，确定特征图像E1中的结果预测框。采用上述同样的方法可以确定特征图像E2中的结果预测框，此处不再赘述。
将特征图像E1和特征图像E2都转化为512×512的特征图像，然后将转化为512×512的2张特征图像中的结果预测框融合，即将转化为512×512的2张特征图像中的结果预测框对应在一张虚拟图像中，该虚拟图像的尺寸为512×512。采用非极大值抑制融合后的结果预测框进行筛选，输出保留的结果预测框，保留的结果预测框的数量为血液病理图像中白细胞的数量，保留的结果预测框的坐标为血液病理图像中的白细胞的坐标，基于保留的结果预测框的尺寸和尺寸偏移确定血液病理图像中的白细胞的尺寸，保留的结果预测框对应的白细胞类别为血液病理图像中的白细胞的类别。
在本发明实施例中，采用特征提取网络提取血液病理图像对应的多张不同尺寸的特征图像，并采用目标检测网络检测不同尺寸的特征图像中的白细胞并识别白细胞的类别，相较于基于单个尺寸的特征图像检测白细胞以及白细胞的类别来说，获取的白细胞的特征更加全面，从而提高了白细胞检测和分类的精度。其次，相较于人工对白细胞进行分类的方法来说，避免了依赖人工经验，有效提高了白细胞检测和分类的效率。另外，采用特征图像中预设的多个不同尺寸和不同长宽比的预测框检测血液病理图像中的白细胞以及白细胞类别，故既能检测到大尺寸的白细胞，同时也能检测到小尺寸的白细胞，从而提高了白细胞检测和分类的精度。在标注训练样本时，可以不需要精细标注细胞轮廓，而只需要标注预测框，从而节约人力成本，标注训练样本时可以采用预测框框选叠加细胞，从而实现对叠加细胞的检测和分类。
基于相同的技术构思，本发明实施例提供了一种白细胞检测装置，如图9所示，该装置可以执行白细胞检测方法的流程，该装置900包括：
获取模块901，用于获取血液病理图像；
特征提取模块902，用于将所述血液病理图像输入特征提取网络，确定所述血液病理图像对应的M张不同尺寸的特征图像，M为大于1的整数；
检测模块903，用于将所述M张不同尺寸的特征图像输入目标检测网络，确定所述血液病理图像中的白细胞及其类别。
可选地，所述特征提取网络包括P个下采样模块和Q个上采样模块，P和Q为不小于M的整数；
所述特征提取模块902具体用于：
采用所述P个下采样模块逐级对所述血液病理图像进行特征提取，获得每个下采样模块输出的不同尺寸的第一特征图像；
采用所述Q个上采样模块逐级对第P个下采样模块输出的第一特征图像进行特征提取，获得每个上采样模块输出的不同尺寸的第二特征图像；
将尺寸相同的第一特征图像和第二特征图像合并，确定所述血液病理图像对应的M张不同尺寸的特征图像。
可选地，所述目标检测网络包括M个预测框回归子模块和M个分类子模块，所述M张不同尺寸的特征图像中每张特征图像对应一个预测框回归子模块和一个分类子模块；
所述检测模块903具体用于：
针对所述M张不同尺寸的特征图像中的任意一张特征图像，以所述特征图像中每个像素点为中心，向四周扩展确定每个像素点对应的多个不同尺寸和不同长宽比的预测框；
将每个预测框输入所述特征图像对应的预测框回归子模块，确定每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，所述预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的；
将每个预测框输入所述特征图像对应的分类子模块，确定每个预测框对应的白细胞类别以及置信度；
采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框，所述预测目标框对应的置信度为预测框对应的置信度；
根据所述M张不同尺寸的特征图像中的结果预测框确定所述血液病理图像中的白细胞及其类别。
可选地，所述检测模块903具体用于：
将所述M张不同尺寸的特征图像中的结果预测框融合；
采用非极大值抑制对融合后的结果预测框进行筛选；
将保留的结果预测框确定为所述血液病理图像中的白细胞，其中，保留的结果预测框的坐标为所述血液病理图像中的白细胞的坐标，基于保留的结果预测框的尺寸和尺寸偏移确定所述血液病理图像中的白细胞的尺寸，保留的结果预测框对应的白细胞类别为所述血液病理图像中的白细胞的类别。
基于相同的技术构思，本发明实施例提供了一种计算机设备，如图10所示，包括至少一个处理器1001，以及与至少一个处理器连接的存储器1002，本发明实施例中不限定处理器1001与存储器1002之间的具体连接介质，图10中处理器1001和存储器1002之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本发明实施例中，存储器1002存储有可被至少一个处理器1001执行的指令，至少一个处理器1001通过执行存储器1002存储的指令，可以执行前述的白细胞检测方法中所包括的步骤。
其中，处理器1001是计算机设备的控制中心，可以利用各种接口和线路连接计算机设备的各个部分，通过运行或执行存储在存储器1002内的指令以及调用存储在存储器1002内的数据，从而对白细胞进行分类。可选的，处理器1001可包括一个或多个处理单元，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。在一些实施例中，处理器1001和存储器1002可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1001可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器1002作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1002可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1002是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本发明实施例中的存储器1002还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
基于相同的技术构思，本发明实施例提供了一种计算机可读存储介质，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行白细胞检测方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种白细胞检测方法，其特征在于，包括：
获取血液病理图像；
将所述血液病理图像输入特征提取网络，确定所述血液病理图像对应的M张不同尺寸的特征图像，M为大于1的整数；
将所述M张不同尺寸的特征图像输入目标检测网络，确定所述血液病理图像中的白细胞及其类别。
2.如权利要求1所述的方法，其特征在于，所述特征提取网络包括P个下采样模块和Q个上采样模块，P和Q为不小于M的整数；
所述将所述血液病理图像输入特征提取网络，确定所述血液病理图像对应的M张不同尺寸的特征图像，包括：
采用所述P个下采样模块逐级对所述血液病理图像进行特征提取，获得每个下采样模块输出的不同尺寸的第一特征图像；
采用所述Q个上采样模块逐级对第P个下采样模块输出的第一特征图像进行特征提取，获得每个上采样模块输出的不同尺寸的第二特征图像；
将尺寸相同的第一特征图像和第二特征图像合并，确定所述血液病理图像对应的M张不同尺寸的特征图像。
3.如权利要求1所述的方法，其特征在于，所述目标检测网络包括M个预测框回归子模块和M个分类子模块，所述M张不同尺寸的特征图像中每张特征图像对应一个预测框回归子模块和一个分类子模块；
所述将所述M张不同尺寸的特征图像输入目标检测网络，确定所述血液病理图像中的白细胞及其类别，包括：
针对所述M张不同尺寸的特征图像中的任意一张特征图像，以所述特征图像中每个像素点为中心，向四周扩展确定每个像素点对应的多个不同尺寸和不同长宽比的预测框；
将每个预测框输入所述特征图像对应的预测框回归子模块，确定每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，所述预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的；
将每个预测框输入所述特征图像对应的分类子模块，确定每个预测框对应的白细胞类别以及置信度；
采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框，所述预测目标框对应的置信度为预测框对应的置信度；
根据所述M张不同尺寸的特征图像中的结果预测框确定所述血液病理图像中的白细胞及其类别。
4.如权利要求3所述的方法，其特征在于，所述根据所述M张不同尺寸的特征图像中的结果预测框确定所述血液病理图像中的白细胞及其类别，包括：
将所述M张不同尺寸的特征图像中的结果预测框融合；
采用非极大值抑制对融合后的结果预测框进行筛选；
将保留的结果预测框确定为所述血液病理图像中的白细胞，其中，保留的结果预测框的坐标为所述血液病理图像中的白细胞的坐标，基于保留的结果预测框的尺寸和尺寸偏移确定所述血液病理图像中的白细胞的尺寸，保留的结果预测框对应的白细胞类别为所述血液病理图像中的白细胞的类别。
5.一种白细胞检测装置，其特征在于，包括：
获取模块，用于获取血液病理图像；
特征提取模块，用于将所述血液病理图像输入特征提取网络，确定所述血液病理图像对应的M张不同尺寸的特征图像，M为大于1的整数；
检测模块，用于将所述M张不同尺寸的特征图像输入目标检测网络，确定所述血液病理图像中的白细胞及其类别。
6.如权利要求5所述的装置，其特征在于，所述特征提取网络包括P个下采样模块和Q个上采样模块，P和Q为不小于M的整数；
所述特征提取模块具体用于：
采用所述P个下采样模块逐级对所述血液病理图像进行特征提取，获得每个下采样模块输出的不同尺寸的第一特征图像；
采用所述Q个上采样模块逐级对第P个下采样模块输出的第一特征图像进行特征提取，获得每个上采样模块输出的不同尺寸的第二特征图像；
将尺寸相同的第一特征图像和第二特征图像合并，确定所述血液病理图像对应的M张不同尺寸的特征图像。
7.如权利要求5所述的装置，其特征在于，所述目标检测网络包括M个预测框回归子模块和M个分类子模块，所述M张不同尺寸的特征图像中每张特征图像对应一个预测框回归子模块和一个分类子模块；
所述检测模块具体用于：
针对所述M张不同尺寸的特征图像中的任意一张特征图像，以所述特征图像中每个像素点为中心，向四周扩展确定每个像素点对应的多个不同尺寸和不同长宽比的预测框；
将每个预测框输入所述特征图像对应的预测框回归子模块，确定每个预测框对应的尺寸偏移以及每个预测框对应的预测目标框的坐标，所述预测框对应的预测目标框是基于预测框对应的尺寸偏移对预测框进行尺寸变换后获得的；
将每个预测框输入所述特征图像对应的分类子模块，确定每个预测框对应的白细胞类别以及置信度；
采用非极大值抑制对每个像素点对应的预测目标框进行筛选，确定每个像素点对应的结果预测框，所述预测目标框对应的置信度为预测框对应的置信度；
根据所述M张不同尺寸的特征图像中的结果预测框确定所述血液病理图像中的白细胞及其类别。
8.如权利要求7所述的装置，其特征在于，所述检测模块具体用于：
将所述M张不同尺寸的特征图像中的结果预测框融合；
采用非极大值抑制对融合后的结果预测框进行筛选；
将保留的结果预测框确定为所述血液病理图像中的白细胞，其中，保留的结果预测框的坐标为所述血液病理图像中的白细胞的坐标，基于保留的结果预测框的尺寸和尺寸偏移确定所述血液病理图像中的白细胞的尺寸，保留的结果预测框对应的白细胞类别为所述血液病理图像中的白细胞的类别。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1～4任一权利要求所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有可由计算机设备执行的计算机程序，当所述程序在计算机设备上运行时，使得所述计算机设备执行权利要求1～4任一所述方法的步骤。
CN201910736590.7A 2019-08-09 2019-08-09 一种白细胞检测方法及装置 Pending CN110530779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910736590.7A CN110530779A (zh) 2019-08-09 2019-08-09 一种白细胞检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910736590.7A CN110530779A (zh) 2019-08-09 2019-08-09 一种白细胞检测方法及装置

Publications (1)

Publication Number Publication Date
CN110530779A true CN110530779A (zh) 2019-12-03

Family

ID=68662493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910736590.7A Pending CN110530779A (zh) 2019-08-09 2019-08-09 一种白细胞检测方法及装置

Country Status (1)

Country Link
CN (1) CN110530779A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144475A (zh) * 2019-12-22 2020-05-12 上海眼控科技股份有限公司 车厢座位的确定方法、装置、电子设备及可读存储介质
CN114037699A (zh) * 2021-12-07 2022-02-11 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质
CN114152557A (zh) * 2021-11-16 2022-03-08 深圳元视医学科技有限公司 基于图像分析的血细胞计数方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631456A (zh) * 2015-12-15 2016-06-01 安徽工业大学 一种基于粒子群优化itti模型的白细胞区域提取方法
JP2018072240A (ja) * 2016-11-01 2018-05-10 株式会社日立ハイテクノロジーズ 画像診断支援装置及びシステム、画像診断支援方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109948429A (zh) * 2019-01-28 2019-06-28 上海依智医疗技术有限公司 图像分析方法、装置、电子设备及计算机可读介质
CN110060244A (zh) * 2019-04-15 2019-07-26 深圳市麦迪普科技有限公司 基于深度学习神经网络的细胞检测与分割的系统和方法
CN110059656A (zh) * 2019-04-25 2019-07-26 山东师范大学 基于卷积对抗生成神经网络的白细胞分类方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631456A (zh) * 2015-12-15 2016-06-01 安徽工业大学 一种基于粒子群优化itti模型的白细胞区域提取方法
JP2018072240A (ja) * 2016-11-01 2018-05-10 株式会社日立ハイテクノロジーズ 画像診断支援装置及びシステム、画像診断支援方法
CN109034045A (zh) * 2018-07-20 2018-12-18 中南大学 一种基于卷积神经网络的白细胞自动识别方法
CN109948429A (zh) * 2019-01-28 2019-06-28 上海依智医疗技术有限公司 图像分析方法、装置、电子设备及计算机可读介质
CN110060244A (zh) * 2019-04-15 2019-07-26 深圳市麦迪普科技有限公司 基于深度学习神经网络的细胞检测与分割的系统和方法
CN110059656A (zh) * 2019-04-25 2019-07-26 山东师范大学 基于卷积对抗生成神经网络的白细胞分类方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144475A (zh) * 2019-12-22 2020-05-12 上海眼控科技股份有限公司 车厢座位的确定方法、装置、电子设备及可读存储介质
CN114152557A (zh) * 2021-11-16 2022-03-08 深圳元视医学科技有限公司 基于图像分析的血细胞计数方法和系统
CN114152557B (zh) * 2021-11-16 2024-04-30 深圳元视医学科技有限公司 基于图像分析的血细胞计数方法和系统
CN114037699A (zh) * 2021-12-07 2022-02-11 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质
CN114037699B (zh) * 2021-12-07 2022-08-09 中国医学科学院北京协和医院 一种病理图像分类方法、设备、系统及存储介质

Similar Documents

Publication Publication Date Title
Swiderska-Chadaj et al. Learning to detect lymphocytes in immunohistochemistry with deep learning
CN109952614B (zh) 生物粒子的分类系统和方法
CN106248559B (zh) 一种基于深度学习的白细胞五分类方法
Ongun et al. Feature extraction and classification of blood cells for an automated differential blood count system
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN110530779A (zh) 一种白细胞检测方法及装置
CN108629369A (zh) 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法
CN108960069A (zh) 一种用于单阶段物体检测器的增强上下文的方法
CN110135271A (zh) 一种细胞分类方法及装置
AU2018369869B2 (en) Classification of a population of objects by convolutional dictionary learning with class proportion data
CN112215801A (zh) 一种基于深度学习和机器学习的病理图像分类方法及系统
US20130226548A1 (en) Systems and methods for analysis to build predictive models from microscopic cancer images
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
CN109344851A (zh) 图像分类显示方法和装置、分析仪器和存储介质
CN112543934A (zh) 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析系统
Rauf et al. Attention-guided multi-scale deep object detection framework for lymphocyte analysis in IHC histological images
CN110059568A (zh) 基于深层卷积神经网络的多类白细胞自动识别方法
Khoshdeli et al. Deep learning models differentiate tumor grades from H&E stained histology sections
CN111899259A (zh) 一种基于卷积神经网络的前列腺癌组织微阵列分级方法
BenTaieb et al. Deep learning models for digital pathology
Razavi et al. Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images
Wei et al. An Efficient Cervical Whole Slide Image Analysis Framework Based on Multi-scale Semantic and Location Deep Features
RU2732895C1 (ru) Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей
CN114783021A (zh) 一种口罩佩戴智能检测方法、装置、设备及介质
Abdelli et al. Combined datasets for breast cancer grading based on multi-CNN architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination