CN109598224A - 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法 - Google Patents

基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法 Download PDF

Info

Publication number
CN109598224A
CN109598224A CN201811425360.0A CN201811425360A CN109598224A CN 109598224 A CN109598224 A CN 109598224A CN 201811425360 A CN201811425360 A CN 201811425360A CN 109598224 A CN109598224 A CN 109598224A
Authority
CN
China
Prior art keywords
region
network
leucocyte
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811425360.0A
Other languages
English (en)
Inventor
吴健
宋庆宇
雷璧闻
王文哲
陆逸飞
吴福理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micromedicine Yun (hangzhou) Holding Co Ltd
Original Assignee
Micromedicine Yun (hangzhou) Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micromedicine Yun (hangzhou) Holding Co Ltd filed Critical Micromedicine Yun (hangzhou) Holding Co Ltd
Priority to CN201811425360.0A priority Critical patent/CN109598224A/zh
Publication of CN109598224A publication Critical patent/CN109598224A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明公开了一种基于区域推荐卷积的骨髓切片中白细胞检测方法，包括：预处理、白细胞框选和白细胞类别标注、增加数据集数量，作为训练数据集；构建区域推荐卷积神经网络模型，以ResNet50网络和FPN网络作为特征提取网络，FPN网络的输出连接至RPN网络，RPN输出推荐区域至Faster‑RCNN网络，Faster‑RCNN网络输出白细胞区域、与白细胞区域对应的白细胞类别及类别概率作为预测结果；对构建的区域推荐卷积神经网络模型进行训练，调整参数直至收敛，得到训练完成后的区域推荐卷积神经网络模型；以骨髓细胞切片的图片作为输入，训练完成后的区域推荐卷积神经网络模型输出预测结果。本发明提供的检测方法检测白细胞的准确率和精度高，以准确率衡量算法的指标，能够达到90％以上。

Description

基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法
技术领域
本发明属于人工智能领域，具体涉及一种基于区域卷积神经网络的骨髓细胞切片中白细胞检测方法。
背景技术
传统骨髓切片中白细胞由人工进行检测：在显微镜下，由专业的病理医生通过切片的移动，进而肉眼扫描整个切片，统计异常白细胞数量从而诊断白血病，这种工作繁重而耗时，并且随着阅片时间的增长，错误率也随之提高。
随着科技的不断发展，骨髓切片中白细胞的检测可以借助计算机的帮助进行初步筛查。目标检测(object detection)是计算机视觉的一个重要研究方向，其任务是通过计算机算法完成对目标区域的框选以及分类。目标检测任务在自动驾驶，物体追踪，物体识别等场景中都有着重要应用。在医疗影像中，目标检测常常被用于检测图像中的细胞、组织或器官等。
公开号为CN106248559A的中国专利文献公开了一种基于深度学习的白细胞五分类方法。首先利用简单的颜色分量关系及形态学操作将白细胞从显微镜图片中检测出来，然后利用颗粒特征及SVM识别出嗜碱性粒细胞与嗜酸性粒细胞，接着利用卷积神经网络自动提取剩下细胞图片的特征，最后利用随机森林实现剩下的三分类。公开号为CN106897682A的中国专利文献公开了一种基于卷积神经网络的白带中白细胞自动识别方法，属于使用机器视觉方案对医学显微图像进行自动识别。本发明首先人工辨别出多张白细胞图像和非白细胞图像，再见你9层的神经网络，根据人工辨别出的图像来训练9层神经网络，在训练过程中实时的对神经网络的训练参数和学习率进行相应的调整；神经网络完全训练完成后，再对待检测目标图像进行检测。
但是，由于骨髓细胞切片中白细胞形状大小相近，特征不明显，难以区分，目前计算机白细胞检测算法准确率不高，精度较差。
目标检测问题是通过模型对图中需要识别的目标进行框选并预测类别，框选框的位置大小准确性以及分类的准确度是评判目标检测的重要指标，同时使得目标检测问题相当困难。随着近年来深度学习的快速发展，目标检测问题有了一定的突破，但在复杂的医学图像领域，目标检测仍旧是一个较为困难的问题。
发明内容
本发明的目的是提供一种基于区域推荐卷积神经网络的骨髓切片中白细胞的检测方法，检测白细胞的准确率和精度高。
基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，包括：
(1)建立训练数据集：对骨髓细胞切片的图片进行预处理，再进行白细胞框选和白细胞类别标注，同时使用数据增强方法增加数据集数量，作为训练数据集；
(2)区域推荐卷积神经网络模型构建：以依次连接的ResNet50网络和FPN网络作为特征提取网络，输出不同尺度大小的特征图；FPN网络的输出连接至RPN网络，RPN输出推荐区域至Faster-RCNN网络；以推荐区域作为输入，Faster-RCNN网络输出白细胞区域、与白细胞区域对应的白细胞类别及类别概率作为预测结果；
(3)模型训练：使用步骤(1)中的训练数据集对构建的区域推荐卷积神经网络模型进行训练，调整参数直至区域推荐卷积神经网络模型收敛，得到训练完成后的区域推荐卷积神经网络模型；
(4)白细胞检测：以骨髓细胞切片的图片作为输入，训练完成后的区域推荐卷积神经网络模型输出预测结果。
在本发明中，保留置信度高于0.9的预测作为识别结果。
在步骤(1)中，所述的预处理是指筛除低质量(细胞形态破坏、细胞重叠等)视野，对剩下的高质量切片手动进行标注。目标检测网络实质是学习需要检测的目标的特征，因此在训练过程中，训练数据的质量会直接影响模型的学习效果。如果提供的训练目标特征明显，那么模型能够有效的提取该种类别目标的特征，当特征不明显时则对模型具有误导效果，如果使用形态破坏的白细胞作为训练数据，那么模型会将破坏的形态作为某种类别白细胞的特征，从而减少检测准确率，对重叠细胞同理。因此在预处理过程中，人为的筛除低质量骨髓切片图像，能够使得模型能够有效提取目标特征，大规模的提高模型准确率。
所述的预处理为常规操作，包括：
(1-1)将放大100倍的骨髓细胞切片按相同视野大小保存为1024*1024相同大小的图片；
(1-2)人工筛除存在细胞形态破坏、细胞重叠等现象的低质量切片；
(1-3)使用标注工具对图像中白细胞进行手动框选并标注类别；
在步骤(1)中，所述的数据增强方法包括平移、翻转、旋转、镜像、随机噪声扰动或对比度随机变换操作。
数据增强方法可以增加模型的鲁棒性并缓解模型过拟合或欠拟合问题，原因在于：卷积神经网络具有平移不变性等特征，其关注的角度与人关注图像的角度不同，人往往可以直观地观察到图像中的图形、颜色等信息，而卷积神经网络只可以关注到图像中的像素点的值，这样使得对图像进行轻微的变化就可以获得对卷积神经网络来说完全不同的图像，提高模型对该类别目标特有特征的提取效果，提升模型准确度。
所述的数据增强方法，包括以下操作：将上述取得的切片进行水平、垂直翻转、旋转、平移、噪声扰动、对比度变换操作，并将这些操作自由组合，这样同一张切片可以扩展为数十张不同的图像。
在本发明中，区域推荐卷积神经网络模型以ResNet50+FPN作为底层网络骨架，头部网络则以RPN和Faster-RCNN作为基本模块，该区域推荐卷积神经网络模型中FPN作为多尺度特征提取用以提高识别准确率。
所述的ResNet50网络包括残差模块Conv 2、Conv 3、Conv 4和Conv 5，分别输出特征图C2、C3、C4和C5；经过1*1卷积，得到特征图C2＇、C3＇、C4＇和C5＇作为FPN网络的输入；FPN网络通过上采样和低层特征做融合，输出4个不同尺度大小的特征图。
所述的FPN网络使用C5＇上采样并与C4＇逐像素相加得到P4，对P4上采样并与C3＇逐像素相加得到P3，对P3上采样并与C2＇逐像素相加得到P2，C5＇直接作为P5，得到4个不同尺度大小的特征图P5、P4、P3和P2，并经过3*3卷积后作为RPN网络的输入。
所述的FPN网络的输出为4个不同尺度大小的特征图P5、P4、P3和P2，分别为0.5、0.25、0.125、0.0625尺度下的特征图。
因为小尺度下的特征图往往细节明显，有利于细粒度的特征提取，但会忽略全局或周围的环境信息，而大尺度下虽然细节不明显，仅能提取粗粒度特征，但有利于利用周围环境信息。因此在ResNet50+FPN中同时利用了不同尺度的特征图，既能够实现细粒度特征提取，又能够利用周围环境信息，大幅度提高特征提取能力。
所述的RPN网络输出推荐区域的过程为：
对不同尺度大小的特征图分别进行3*3*512卷积、1*1*X卷积，输出共享特征图，其中X＝2*每个像素点预选框数量；
对共享特征图进行尺度变换得到RPN种类得分矩阵；
对RPN种类得分矩阵进行softmax激活得到RPN概率矩阵，RPN概率矩阵包括预选框属于前后景的概率值；
对共享特征图再次进行1*1*Y卷积得到RPN预选框矩阵，其中，Y＝4*每个像素点预选框数量，对预选框按前景概率值排序并进行非最大值抑制，选出前景概率值最高的2000个预选框送入Faster-RCNN网络。
所述的每个像素点预选框的数量为三个，长宽比分别为0.5、1、2。
所述的RPN种类得分矩阵大小为：Z*2，其中，Z＝特征图长*宽*每个像素点预选框数量，2表示每个预选框含有两个得分值，分别为该预选框属于前后景的得分值。
例如对于32*32大小的特征图来说，其得分矩阵为3072*2大小，3072表示共32*32＝1024个像素点，每个像素点预选框为3，该特征图共有1024*3＝3072个预选框。
所述的RPN概率矩阵大小为：W*2，其中，W＝特征图长*宽*每个像素点预选框数量，2表示每个预选框为前后景的概率值。
所述的RPN预选框矩阵大小为U*4，其中，U＝特征图长*宽*每个像素点预选框数量，4表示相对于原预选框大小与位置，RPN网络预测的新预选框位置的长宽变换值(w,h)与纵横坐标位移值(x,y)。
所述的Faster-RCNN网络以共享特征图和预选框作为输入，输出预测结果的过程为：
计算种类得分矩阵，大小为推荐区域数量*白细胞种类数量，表示每个经RPN筛选得出的推荐区域都有白细胞种类数量的值，每个值代表该推荐区域属于该种类的得分值；
计算种类概率，对种类得分矩阵经过softmax处理得到，大小为推荐区域数量*白细胞种类数量，每个值代表该推荐区域属于某种种类的概率值；
计算大小位置调整矩阵，大小为推荐区域数量*白细胞种类数量*4，表示对每个推荐区域都有白细胞种类数量*4的值；
Faster-RCNN网络输出白细胞区域、与白细胞区域对应的白细胞类别以及类别概率。
Faster-RCNN网络主要负责对上述RPN网络产生的推荐区域进行更加精细的位置和大小调整以及预测具体类别(并非笼统的前后景，而是具体白细胞的类别)。计算大小位置调整矩阵，大小为推荐区域数量*白细胞种类数量*4，表示对每个推荐区域都有白细胞种类数量*4的值；即对每种白细胞都有一种位置大小调整值(x，y，w，h)，对原推荐区域赋予具体的白细胞种类再进行更加精细的位置调整，得到精细准确的白细胞检测结果。
在训练过程中，所述的区域推荐卷积神经网络模型的收敛方法，包括：
(1)使用Binary Cross Entropy Loss计算分类损失，smooth l1 loss计算bouding box回归损失；
(2)运用得到的分类损失和回归损失不断更新模型的参数，直至区域推荐卷积神经网络模型收敛。
所述的区域推荐卷积神经网络模型使用Adam或SGD算法更新参数。
本发明所述的白细胞包括多种种类，可以从形态学上直接进行区分。
本发明还提供了上述骨髓细胞切片中白细胞检测方法在医学影像人工智能领域的应用，具体方法如下：
骨髓切片中白细胞的检测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，计算机存储器中存有区域推荐卷积神经网络模型，其网络结构以ResNet50+FPN作为底层骨架，以RPN(RegionProposal Network)和Faster-RCNN为头部基本模块，训练完成后为对应的特征提取模块(ResNet50+FPN网络)、推荐区域模块(RPN网络)和检测模块(Faster-RCNN网络)，组成区域推荐卷积神经网络模型。
计算机处理器执行所述计算机程序时实现以下步骤：
将多个骨髓切片视野作为输入，经过特征提取模块输出不同尺度大小的特征图；以不同尺度大小的特征图作为输入，推荐区域模块输出推荐区域(感兴趣区域)；以推荐区域作为输入，检测模块对推荐区域进行更加精细的位置和大小调整以及预测具体类别，输出白细胞区域、与白细胞区域对应的白细胞类别及类别概率。取置信度0.9以上的预测作为最终检测结果，算法自动统计各类别白细胞的数量自动判断是否患有白血病，同时可以查看输入切片对应的检测结果图像用于人工检验。
本发明提供的骨髓细胞切片中白细胞检测方法达到较好的测试效果，以细胞检测准确率衡量算法的指标，其中准确率能够达到90％以上。
与现有技术相比，本发明具有以下有益效果：
1)本发明能够大量减轻医生繁重的工作量。
2)本发明提供的骨髓细胞切片中白细胞检测方法准确率和精度高，以检测准确率衡量本发明提供的检测方法的指标，该检测方法的准确率能够达到90％以上。
附图说明
图1为本发明实施例中ResNet50的网络结构；
图2为本发明实施例中FPN网络结构；
图3为本发明实施例中RPN网络结构；
图4为本发明实施例中区域推荐卷积神经网络模型的整体结构；
图5为本发明实施例中骨髓细胞切片中白细胞检测方法的流程示意图。
具体实施方式
为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于区域推荐卷积的骨髓切片中白细胞的检测方法进行具体描述，本发明具体实施方式中的骨髓切片以白血病骨髓切片为例进行阐述，但本发明并不受限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。
一种基于区域推荐卷积的骨髓切片中白细胞检测方法，包括以下步骤：
步骤一：建立训练数据集
(1)对骨髓细胞切片进行预处理，筛除低质量切片(细胞形态破坏、细胞重叠等)，对剩下的高质量切片手动进行标注，包括框选白细胞并标注白细胞类别，同时使用数据增强方法增加数据集数量，作为训练数据；
将上述取得的切片进行水平、垂直翻转和90°、180°、270°旋转，平移、噪声扰动、对比度变换操作，并将这些操作自由组合，这样同一张切片可以扩展为数十张不同的图像。
(2)为了提高白细胞检测的准确性，在标注时尽可能保持各种类白细胞数量平衡，如果某种白细胞数量太少，通过数据增强方式增加该种白细胞数量。
步骤二：区域推荐卷积神经网络模型构建
以依次连接的ResNet50网络和FPN网络作为特征提取网络，输出不同尺度大小的特征图；FPN网络的输出连接至RPN网络，RPN输出推荐区域至Faster-RCNN网络；以推荐区域作为输入，Faster-RCNN网络输出白细胞区域、与白细胞区域对应的白细胞类别及类别概率作为预测结果。ResNet50网络、FPN网络、RPN网络和Faster-RCNN网络的结构分别如图1、图2、图3和图4所示。
ResNet50网络和FPN网络用语特征提取，最终输出4个不同尺度下的特征图，因为小尺度下的特征图往往细节明显，有利于细粒度的特征提取，但会忽略全局或周围的环境信息，而大尺度下虽然细节不明显，仅能提取粗粒度特征，但有利于利用周围环境信息。因此在ResNet50+FPN网络中同时利用了不同尺度的特征图，既能够实现细粒度特征提取，又能够利用周围环境信息，大幅度提高特征提取能力。
将步骤一处理过的训练数据集输入到模型中，图像首先经过ResNet50+FPN骨架，在该骨架中，首先进行基本的ResNet50网络操作，残差模块Conv 2、Conv 3、Conv 4和Conv5输出特征图C2、C3、C4、C5，对这些特征图进行1*1卷积得到新的特征图C2＇、C3＇、C4＇和C5＇，使用C5＇上采样并与C4＇逐像素相加得到P4，对P4上采样并与C3＇逐像素相加得到P3，对P3上采样并与C2＇逐像素相加得到P2，C5＇直接作为P5，得到的P5、P4、P3、P2分别进行3*3卷积送入RPN，实现与RPN网络的连接。
由于产生的特征图尺度不一，而推荐区域是逐像素产生的，因此将这些特征图送入RPN(Region Proposal Network)模块生成大小形状不一推荐区域，因为细胞大小形态可能存在不一致，因此使用这种类型的推荐区域能够很好的拟合不同情况下的细胞检测。
每张特征图在RPN网络模块中经过3*3*512卷积，1*1*(2*每个像素点预选框数量)卷积得到共享特征图，先对共享特征图进行尺度变换得到RPN种类得分矩阵，再对该种类得分矩阵进行softmax激活得到RPN概率矩阵；对共享特征图再次进行1*1*(4*每个像素点预选框数量)卷积得到RPN预选框矩阵，对预选框按前景概率值排序并进行非最大值抑制，选出前景概率值最高的2000个预选框送入后续网络。
RPN网络模块中每个点预选框数量为3，因为每个点预先确定0.5、1、2三个长宽比下的预选框；该网络模块中RPN种类得分矩阵大小为(特征图长*宽*每个像素点预选框数量)*2，例如对于32*32大小的特征图来说，其得分矩阵为3072*2大小，3072表示共32*32＝1024个像素点，每个像素点预选框为3，该特征图共有1024*3＝3072个预选框；2表示每个预选框含有两个得分值，分别为该预选框属于前后景的得分值；RPN概率矩阵大小与RPN种类得分矩阵相同，不同的是2表示每个预选框为前后景的概率值；RPN预选框矩阵大小为(特征图长*宽*每个像素点预选框数量)*4，其中4表示相对于原预选框大小与位置，网络预测的新预选框位置的长宽变换值(w,h)与纵横坐标位移值(x,y)。
Faster-RCNN模块主要负责对上述RPN网络模块产生的推荐区域进行更加精细的位置和大小调整以及预测具体类别(并非笼统的前后景，而是具体白细胞的类别)，本模块产生三个矩阵：种类得分矩阵、种类概率以及大小位置调整矩阵。其中种类得分矩阵大小为推荐区域数量*白细胞种类数量，表示每个经RPN筛选得出的推荐区域都有白细胞种类数量的值，每个值代表该推荐区域属于该种类的得分值；对种类得分矩阵经过softmax处理得到种类概率矩阵，其大小与种类得分矩阵相同，不同在于推荐区域的每个值代表该区域属于某种种类的概率值；大小位置调整位置大小为推荐区域数量*白细胞种类数量*4，表示对每个推荐区域都有白细胞种类数量*4的值，即对每种白细胞都有一种位置大小调整值(x，y，w，h)，对原推荐区域赋予具体的白细胞种类再进行更加精细的位置调整，得到精细准确的白细胞检测结果。
步骤三：模型训练
使用Binary Cross Entropy Loss计算分类损失，使用smooth l1 loss计算bouding box回归损失，运用Adam算法或者SGD算法不断更新当前模型中的参数，直至收敛，完成模型的训练，得到收敛的区域推荐卷积白细胞检测模型，其结构如图5所示。
步骤四：白细胞检测
将多个骨髓切片视野输入网络，网络对图片中白细胞进行检测，得到图片中的白细胞区域、与白细胞区域对应的白细胞类别及类别概率，取置信度0.9以上的预测作为最终检测结果。

Claims (10)

1.基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，包括：
(1)建立训练数据集：对骨髓细胞切片的图片进行预处理，再进行白细胞框选和白细胞类别标注，同时使用数据增强方法增加数据集数量，作为训练数据集；
(2)区域推荐卷积神经网络模型构建：以依次连接的ResNet50网络和FPN网络作为特征提取网络，输出不同尺度大小的特征图；FPN网络的输出连接至RPN网络，RPN输出推荐区域至Faster-RCNN网络；以推荐区域作为输入，Faster-RCNN网络输出白细胞区域、与白细胞区域对应的白细胞类别及类别概率作为预测结果；
(3)模型训练：使用步骤(1)中的训练数据集对构建的区域推荐卷积神经网络模型进行训练，调整参数直至区域推荐卷积神经网络模型收敛，得到训练完成后的区域推荐卷积神经网络模型；
(4)白细胞检测：以骨髓细胞切片的图片作为输入，训练完成后的区域推荐卷积神经网络模型输出预测结果。
2.根据权利要求1所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的ResNet50网络包括残差模块Conv 2、Conv 3、Conv 4和Conv 5，分别输出特征图C2、C3、C4和C5；经过1*1卷积，得到特征图C2＇、C3＇、C4＇和C5＇作为FPN网络的输入；FPN网络通过上采样和低层特征做融合，输出4个不同尺度大小的特征图。
3.根据权利要求2所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的FPN网络使用C5＇上采样并与C4＇逐像素相加得到P4，对P4上采样并与C3＇逐像素相加得到P3，对P3上采样并与C2＇逐像素相加得到P2，C5＇直接作为P5，得到4个不同尺度大小的特征图P5、P4、P3和P2，并经过3*3卷积后作为RPN网络的输入。
4.根据权利要求3所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的RPN网络输出推荐区域的过程为：
对不同尺度大小的特征图分别进行3*3*512卷积、1*1*X卷积，输出共享特征图，其中X＝2*每个像素点预选框数量；
对共享特征图进行尺度变换得到RPN种类得分矩阵；
对RPN种类得分矩阵进行softmax激活得到RPN概率矩阵，RPN概率矩阵包括预选框属于前后景的概率值；
对共享特征图再次进行1*1*Y卷积得到RPN预选框矩阵，其中，Y＝4*每个像素点预选框数量，对预选框按前景概率值排序并进行非最大值抑制，选出前景概率值最高的2000个预选框送入Faster-RCNN网络。
5.根据权利要求4所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的每个像素点预选框的数量为三个，长宽比分别为0.5、1、2。
6.根据权利要求4或5所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的RPN种类得分矩阵大小为：Z*2，其中，Z＝特征图长*宽*每个像素点预选框数量，2表示每个预选框含有两个得分值，分别为该预选框属于前后景的得分值。
7.根据权利要求4或5所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的RPN概率矩阵大小为：W*2，其中，W＝特征图长*宽*每个像素点预选框数量，2表示每个预选框为前后景的概率值。
8.根据权利要求4或5所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的RPN预选框矩阵大小为U*4，其中，U＝特征图长*宽*每个像素点预选框数量，4表示相对于原预选框大小与位置，RPN网络预测的新预选框位置的长宽变换值(w,h)与纵横坐标位移值(x,y)。
9.根据权利要求4所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，所述的Faster-RCNN网络以共享特征图和预选框作为输入，输出预测结果的过程为：
计算种类得分矩阵，大小为推荐区域数量*白细胞种类数量，表示每个经RPN筛选得出的推荐区域都有白细胞种类数量的值，每个值代表该推荐区域属于该种类的得分值；
计算种类概率，对种类得分矩阵经过softmax处理得到，大小为推荐区域数量*白细胞种类数量，每个值代表该推荐区域属于某种种类的概率值；
计算大小位置调整矩阵，大小为推荐区域数量*白细胞种类数量*4，表示对每个推荐区域都有白细胞种类数量*4的值；
Faster-RCNN网络输出白细胞区域、与白细胞区域对应的白细胞类别以及类别概率。
10.根据权利要求1所述的基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法，其特征在于，在训练过程中，所述的区域推荐卷积神经网络模型的收敛方法，包括：
(1)使用Binary Cross Entropy Loss计算分类损失，smooth l1 loss计算boudingbox回归损失；
(2)运用得到的分类损失和回归损失不断更新模型的参数，直至区域推荐卷积神经网络模型收敛。
CN201811425360.0A 2018-11-27 2018-11-27 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法 Pending CN109598224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811425360.0A CN109598224A (zh) 2018-11-27 2018-11-27 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811425360.0A CN109598224A (zh) 2018-11-27 2018-11-27 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法

Publications (1)

Publication Number Publication Date
CN109598224A true CN109598224A (zh) 2019-04-09

Family

ID=65960436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811425360.0A Pending CN109598224A (zh) 2018-11-27 2018-11-27 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法

Country Status (1)

Country Link
CN (1) CN109598224A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110675389A (zh) * 2019-09-27 2020-01-10 珠海格力电器股份有限公司 一种食品推荐方法、存储介质以及智能家居设备
CN110705632A (zh) * 2019-09-27 2020-01-17 北京工业大学 一种抗核抗体荧光核型自动标注方法
CN110765855A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理图像处理方法及系统
CN110826483A (zh) * 2019-11-05 2020-02-21 安图实验仪器(郑州)有限公司 白带显微图像细胞识别方法
CN111080700A (zh) * 2019-12-11 2020-04-28 中国科学院自动化研究所 医疗器械图像检测方法及装置
CN111310568A (zh) * 2020-01-16 2020-06-19 武汉大学 基于计算机视觉的多发性骨髓瘤骨髓象识别设备
CN111368872A (zh) * 2019-12-20 2020-07-03 浙江大学 基于融合特征和验证模型的乳腺癌有丝分裂细胞检测方法
CN111582072A (zh) * 2020-04-23 2020-08-25 浙江大学 结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111667472A (zh) * 2020-06-08 2020-09-15 江西卫生职业学院 骨髓细胞形态学人工智能分析方法
CN111738140A (zh) * 2020-06-19 2020-10-02 中国水产科学研究院渔业机械仪器研究所 基于图像识别的养殖虾实时监控方法
CN111815607A (zh) * 2020-07-10 2020-10-23 济南大学 一种面向造血系统的骨髓细胞数据集构建方法及系统
CN112036298A (zh) * 2020-08-28 2020-12-04 复旦大学附属华山医院北院 一种基于双段区块卷积神经网络的细胞检测方法
CN112102232A (zh) * 2020-07-31 2020-12-18 深圳大学 一种诱导多能干细胞菌落质量自动评估方法及装置
CN112233088A (zh) * 2020-10-14 2021-01-15 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN113011306A (zh) * 2021-03-15 2021-06-22 中南大学 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质
CN113129278A (zh) * 2021-04-06 2021-07-16 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法
CN113343975A (zh) * 2021-04-22 2021-09-03 山东师范大学 基于深度学习的白细胞分类系统及方法
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、系统以及存储介质
WO2022012110A1 (zh) * 2020-07-17 2022-01-20 中山大学 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN114187480A (zh) * 2022-01-05 2022-03-15 北京瀚远医药科技有限公司 一种基于深度学习的骨髓象细胞影像图检测分类方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN108537775A (zh) * 2018-03-02 2018-09-14 浙江工业大学 一种基于深度学习检测的癌细胞跟踪方法
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
CN108734705A (zh) * 2018-05-17 2018-11-02 杭州电子科技大学 基于深度学习的数字乳腺断层影像钙化簇自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN108537775A (zh) * 2018-03-02 2018-09-14 浙江工业大学 一种基于深度学习检测的癌细胞跟踪方法
CN108734694A (zh) * 2018-04-09 2018-11-02 华南农业大学 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法
CN108734705A (zh) * 2018-05-17 2018-11-02 杭州电子科技大学 基于深度学习的数字乳腺断层影像钙化簇自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIHANG FU ET.AL.: ""Previewer for Multi-Scale Object Detector"", 《2018 ASSOCIATION FOR COMPUTING MACHINERY》 *
王黎等: ""Faster-RCNN的癌症影像检测方法"", 《中国计量大学学报》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110799B (zh) * 2019-05-13 2021-11-16 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110110799A (zh) * 2019-05-13 2019-08-09 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110765855A (zh) * 2019-09-12 2020-02-07 杭州迪英加科技有限公司 一种病理图像处理方法及系统
CN110705632B (zh) * 2019-09-27 2022-03-22 北京工业大学 一种抗核抗体荧光核型自动标注方法
CN110675389A (zh) * 2019-09-27 2020-01-10 珠海格力电器股份有限公司 一种食品推荐方法、存储介质以及智能家居设备
CN110705632A (zh) * 2019-09-27 2020-01-17 北京工业大学 一种抗核抗体荧光核型自动标注方法
CN110826483A (zh) * 2019-11-05 2020-02-21 安图实验仪器(郑州)有限公司 白带显微图像细胞识别方法
CN111080700A (zh) * 2019-12-11 2020-04-28 中国科学院自动化研究所 医疗器械图像检测方法及装置
CN111368872A (zh) * 2019-12-20 2020-07-03 浙江大学 基于融合特征和验证模型的乳腺癌有丝分裂细胞检测方法
CN111310568A (zh) * 2020-01-16 2020-06-19 武汉大学 基于计算机视觉的多发性骨髓瘤骨髓象识别设备
CN111582072A (zh) * 2020-04-23 2020-08-25 浙江大学 结合ResNet50+FPN+DCN的变电站图片鸟巢检测方法
CN111583198A (zh) * 2020-04-23 2020-08-25 浙江大学 结合FasterR-CNN+ResNet101+FPN的绝缘子图片缺陷检测方法
CN111667472A (zh) * 2020-06-08 2020-09-15 江西卫生职业学院 骨髓细胞形态学人工智能分析方法
CN111738140A (zh) * 2020-06-19 2020-10-02 中国水产科学研究院渔业机械仪器研究所 基于图像识别的养殖虾实时监控方法
CN111815607A (zh) * 2020-07-10 2020-10-23 济南大学 一种面向造血系统的骨髓细胞数据集构建方法及系统
WO2022012110A1 (zh) * 2020-07-17 2022-01-20 中山大学 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN112102232A (zh) * 2020-07-31 2020-12-18 深圳大学 一种诱导多能干细胞菌落质量自动评估方法及装置
CN112102232B (zh) * 2020-07-31 2021-11-02 深圳大学 一种诱导多能干细胞菌落质量自动评估方法及装置
CN112036298A (zh) * 2020-08-28 2020-12-04 复旦大学附属华山医院北院 一种基于双段区块卷积神经网络的细胞检测方法
CN112233088B (zh) * 2020-10-14 2021-08-06 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112233088A (zh) * 2020-10-14 2021-01-15 哈尔滨市科佳通用机电股份有限公司 基于改进的Faster-rcnn的制动软管丢失检测方法
CN112750117A (zh) * 2021-01-15 2021-05-04 重庆邮电大学 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN112750117B (zh) * 2021-01-15 2024-01-26 河南中抗医学检验有限公司 一种基于卷积神经网络的血液细胞图像检测与计数方法
CN113011306A (zh) * 2021-03-15 2021-06-22 中南大学 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质
CN113129278A (zh) * 2021-04-06 2021-07-16 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法
CN113343975A (zh) * 2021-04-22 2021-09-03 山东师范大学 基于深度学习的白细胞分类系统及方法
CN113450338A (zh) * 2021-07-09 2021-09-28 湖南晟瞳科技有限公司 基于深度学习的白带样本自动化检测方法、系统以及存储介质
CN114187480A (zh) * 2022-01-05 2022-03-15 北京瀚远医药科技有限公司 一种基于深度学习的骨髓象细胞影像图检测分类方法及其系统

Similar Documents

Publication Publication Date Title
CN109598224A (zh) 基于区域推荐卷积神经网络的骨髓切片中白细胞检测方法
CN110210463B (zh) 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法
CN106408030B (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN105550678B (zh) 基于全局显著边缘区域的人体动作特征提取方法
Coburn et al. A multiscale texture analysis procedure for improved forest stand classification
CN108830285A (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
KR101995294B1 (ko) 영상 분석 장치 및 방법
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN104952070B (zh) 一种类矩形引导的玉米田遥感图像分割方法
CN108647625A (zh) 一种表情识别方法及装置
CN110175504A (zh) 一种基于多任务级联卷积网络的目标检测和对齐方法
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN109544537A (zh) 髋关节x光图像快速自动分析方法
CN103971106B (zh) 多视角人脸图像性别识别方法及装置
CN105427309A (zh) 面向对象高空间分辨率遥感信息提取的多尺度分层处理方法
CN108021903A (zh) 基于神经网络的人工标注白细胞的误差校准方法及装置
CN110135271A (zh) 一种细胞分类方法及装置
CN107832838A (zh) 评价细胞涂片标本满意度的方法和装置
CN110060273A (zh) 基于深度神经网络的遥感影像滑坡测图方法
CN109145846A (zh) 材料微观结构智能识别分析系统及分析方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN108229551A (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
CN109146890A (zh) 基于滤波器的高光谱图像的异常目标检测方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN109191418A (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409

RJ01 Rejection of invention patent application after publication