CN117649657A - 基于改进Mask R-CNN的骨髓细胞检测系统 - Google Patents
基于改进Mask R-CNN的骨髓细胞检测系统 Download PDFInfo
- Publication number
- CN117649657A CN117649657A CN202311381822.4A CN202311381822A CN117649657A CN 117649657 A CN117649657 A CN 117649657A CN 202311381822 A CN202311381822 A CN 202311381822A CN 117649657 A CN117649657 A CN 117649657A
- Authority
- CN
- China
- Prior art keywords
- cell
- image
- feature
- roi
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002798 bone marrow cell Anatomy 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 210000004027 cell Anatomy 0.000 claims abstract description 108
- 210000003855 cell nucleus Anatomy 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000001000 micrograph Methods 0.000 claims abstract description 35
- 238000012805 post-processing Methods 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 47
- 238000011176 pooling Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000001537 neural effect Effects 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 210000004940 nucleus Anatomy 0.000 claims description 4
- 210000000805 cytoplasm Anatomy 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 230000005859 cell recognition Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 210000001185 bone marrow Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 208000019838 Blood disease Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 208000014951 hematologic disease Diseases 0.000 description 1
- 208000018706 hematopoietic system disease Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进Mask R‑CNN的骨髓细胞检测系统，包括：生成伪标签模块，用于生成细胞核伪标签，用于辅助模型更加关注细胞核信息；复制粘贴模块，挑选种类个数少的细胞，随机复制到另一张显微镜图像中，以解决种类不平衡问题；改进Mask R‑CNN模型，添加语义分割分支，使模型更加关注细胞核信息，输出更准确的分类结果；训练模块，让模型从骨髓细胞数据集和细胞核伪标签中学习到有用特征，训练完成后得到权重文件；推理模块，基于权重文件对骨髓细胞显微镜图像进行检测，检测结果通过后处理模块去除冗余检测结果。本发明可有效提高细胞个数少的种类的识别准确率，解决细胞种类不平衡问题，并使模型更加关注细胞核信息，提高模型的识别准确率。
Description
技术领域
本发明涉及骨髓细胞识别的技术领域，尤其是指一种基于改进Mask R-CNN的骨髓细胞检测系统。
背景技术
骨髓细胞形态学检查在血液病诊断中具有关键作用，可用于诊断、分期、预后评估和治疗监测。该检查包括骨髓采集、制备骨髓涂片、染色、显微镜观察、细胞计数和评估、报告和诊断等六个步骤。其中显微镜观察是核心步骤，医生通过观察细胞的大小、形状、染色性质和核型等特征，确定疾病类型、进展情况和治疗策略。然而该步骤繁琐、费时、依赖医生经验。因此研究骨髓细胞自动识别系统，可减少医生繁琐劳动，辅助医生判断，具有重大意义。
随着计算硬件的快速发展和大规模数据的积累，深度学习开始展现出强大的能力和潜力。基于深度学习的骨髓细胞识别系统有两类：一类是先分割再分类的两步方法；另一类是分割和分类一同进行，即端到端的目标检测方法，而目前这两种方法都没考虑种类不平衡的问题，因此系统对于种类个数较少的细胞种类的识别准确率不理想。对于骨髓细胞的识别，检验科医生主要是基于细胞核的形态进行分类，即细胞核的形态对细胞分类的贡献占比较大。因此，如何让系统平衡细胞种类数量和更加关注细胞核仍是很大的挑战。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于改进Mask R-CNN的骨髓细胞检测系统，可有效提高细胞个数少的种类的识别准确率，解决细胞种类不平衡问题，并更加关注细胞核信息，提高模型的识别准确率。
为实现上述目的，本发明所提供的技术方案为：基于改进Mask R-CNN的骨髓细胞检测系统，该系统是基于改进Mask R-CNN模型实现多种类骨髓细胞的精准定位与分类，其包括：
生成伪标签模块，使用OTSU阈值分割算法和轮廓检测算法从骨髓细胞数据集中检测出一张显微镜图像中所有细胞核的轮廓，并除去噪声轮廓，将所有有效轮廓组成细胞核伪标签图像，对所有显微镜图像生成细胞核伪标签，最终得到作为训练数据集的伪标签数据集；
复制粘贴模块，随机选取两张显微镜图像，把一张图像中种类个数少的细胞复制到另一张图像中，复制过程对所需复制的细胞随机地进行缩放和旋转，增加数据集中细胞种类个数少的数量和多样性；
改进Mask R-CNN模型，在Mask R-CNN模型的基础上，增加语义分割分支，通过特征提取网络和特征金字塔网络提取4种不同分辨率的特征图后，将该4种特征图融合成1个特征图，将该融合后的特征图与细胞核伪标签图像作为语义分割损失的输入，使用交叉熵损失指导模型学习更多细胞核的信息；此外，该融合后的特征图通过区域建议网络和ROI池化层提取ROI特征，该ROI特征与原本的ROI特征进行融合，使原本的ROI特征获取更丰富的细胞核信息；
训练模块，将骨髓细胞数据集和细胞核伪标签数据集送入改进Mask R-CNN模型中进行训练，训练过程在线的使用复制粘贴模块来增加数据集中种类个数少的数量，使模型不倾向于预测种类个数多的细胞，训练完成后得到权重文件；
推理模块，基于得到的权重文件对骨髓细胞显微镜图像进行检测，首先对图像进行同比例缩放到固定尺寸大小，再送入到训练好的改进Mask R-CNN模型中获取检测结果，并使用非极大值抑制NMS抑制冗余的检测结果，去除得分低于阈值的边界框，最后输出最终的检测结果。
进一步，所述生成伪标签模块从骨髓细胞数据集中读取一张显微镜图像，然后执行以下过程：根据标签在图像上获取单细胞图像，使用OTSU阈值分割算法分离出细胞核与细胞质，再使用轮廓检测算法获取所有细胞核的轮廓，去除面积小的轮廓，面积大的轮廓则为细胞核轮廓，将该显微镜图像所有细胞核轮廓组成一张图像，形成细胞核伪标签图像；将所有显微镜图像按照上述过程生成一遍，获取细胞核伪标签数据集。
进一步，所述复制粘贴模块从骨髓细胞数据集中随机读取一张源图像和一张目标图像，将源图像中种类个数少的细胞复制到目标图像中，其步骤如下：
1)统计骨髓细胞数据集的每个细胞种类的个数；
2)获取源图像中的细胞个数N，并随机获取一个数r，r在0～N范围内；
3)将种类个数少的前r个细胞进行0.8到1.2的随机缩放和360度的随机旋转；
4)将进行缩放和旋转后的细胞复制到目标图像上；
5)将目标图像的最短边同时同比例缩放到s，s从640、672、704、736、768、800中随机选择，图像以0.5的概率随机水平或垂直翻转。
进一步，所述改进Mask R-CNN模型是指在Mask R-CNN模型的基础上，增加语义分割分支；改进Mask R-CNN模型包括特征提取网络、特征金字塔网络、区域建议网络，ROI池化层、语义分割分支和细胞检测头网络，其中：
所述特征提取网络是将输入的显微镜图像经过骨干网络获取不同大小的特征图；
所述特征金字塔网络对不同大小的特征图进行多尺度融合，获取下采样4倍、下采样8倍、下采样16倍、下采样32倍的4种不同分辨率的特征图；
所述区域建议网络对特征图进行细胞区域定位，得到细胞的候选区域，也称ROI位置，该区域建议网络由3个卷积层组成，第一个卷积层的卷积核大小为3×3，另外两个卷积层的卷积核大小为1×1，其中一个卷积层的输出结果为ROI位置，另一个卷积层的输出结果为该ROI位置的得分，当得分高于0.7才认为该ROI位置包含细胞；
所述ROI池化层用于获取相同大小的ROI特征，所述区域建议网络得到的ROI位置将与4种不同分辨率的特征图输入到ROI池化层，得到相同大小的ROI特征A；
所述语义分割分支包括特征图融合网络、区域建议网络、ROI池化层；所述特征图融合网络是指将所述特征金字塔网络获取的4种不同分辨率的特征图经过3×3卷积缩放到下采样8倍的特征图，并且将缩放后的4种特征图相加融合，形成一个下采样8倍的特征图F，随后使用区域建议网络和ROI池化层对特征图F提取出ROI特征B，因为语义分割分支使用交叉熵损失指导模型学习更多细胞核的信息，所以ROI特征B具有更多细胞核信息，因此将ROI特征A与ROI特征B相加融合形成ROI特征C，使ROI特征C具有更关注细胞核信息；
所述细胞检测头网络是利用ROI特征C作为输入，经过两个全连接神经网络和一个全卷积网络后输出检测结果，该细胞检测头网络包含两个全连接神经网络和一个全卷积网络，分别用于细胞分类、边界框回归和细胞分割，两个全连接神经网络均有3层，前两层的隐藏层神经节点都是1024，细胞分类的全连接神经网络的最后一层的神经节点为细胞种类个数21，表示细胞种类个数20加上背景，边界框回归的全连接神经网络的最后一层的神经节点为4，表示细胞的中心点的横坐标、纵坐标和宽高；全卷积网络是由4个3×3卷积组成，前三个卷积的通道数为256，最后一个卷积的通道数为1，全卷积网络的输出是14×14的矩阵，代表细胞分割的结果，该矩阵的所有数值都在0到1范围内，当矩阵内的某一位置的数值大于0.5则认为该位置是细胞，反之为背景。
进一步，所述训练模块使改进Mask R-CNN模型从骨髓细胞数据集和细胞核伪标签数据集中学习到有用知识，包括以下步骤：
1)设置训练次数、初始学习率和批大小，并开始训练；
2)将图像A当作目标图像，从骨髓细胞数据集中随机挑选一张图像B当作源图像，经过复制粘贴模块，把一张图像B中种类个数少的细胞复制到图像A中，同时对应被复制的细胞中的细胞核伪标签也需从图像B对应的伪标签图像B*复制到伪标签图像A*中；
3)图像A经过改进Mask R-CNN模型获取检测结果；
4)改进Mask R-CNN模型通过检测结果和经过复制粘贴模块的伪标签图像计算损失Loss并反向传播更新权值，训练结束后储存最终的权重文件；其中，Loss表示为：
Loss＝Lcls+Lbbox+Lmask+Lseg
上式中，Lcls代表细胞分类损失，Lbbox代表边界框回归损失，Lmask代表单个细胞像素分割损失，Lseg代表细胞核伪标签语义分割损失；在Lcls、Lbbox、Lmask中，i为训练时采样的锚框索引，pi代表第i个锚框中是否包含细胞，若包含，则为1，反之为0，代表第i个锚框中包含细胞的概率值，vi代表第i个标签边框框的中心点坐标及宽高的参数化向量，/>代表第i个锚框预测的中心点坐标及宽高的参数化向量，Hmask和Wmask分别代表第i个锚框中的高和宽，j和k分别为第i个锚框的纵坐标和横坐标，yi,j,k代表第i个锚框中位于(j,k)位置是否是细胞的像素，若是则为1，反之为0，/>代表第i个锚框中位于(j,k)位置是细胞的像素的概率值，Ncls为训练时一个迭代所采用的样本数，即锚框的数量，Nbbox和Nmask都为训练时一个迭代所采用的正样本数，即锚框中包含细胞的数量；在Lseg中，q为训练时一个迭代的伪标签图像索引，n和m分别为第q张伪标签图像的纵坐标和横坐标，xq,n,m代表第q张伪标签图像中位于(n,m)位置是否是细胞核的像素，若是则为1，反之为0；/>代表第q张图像中位于(n,m)位置是细胞核的像素的概率值，Hseg和Wseg分别代表第q张伪标签图像的高和宽，Nseg代表训练时一个迭代的图像数量。
进一步，所述推理模块基于得到的权重文件对骨髓细胞显微镜图像进行检测，包括数据导入模块和后处理模块，包括以下步骤：
1)通过数据导入模块对输入的显微镜图像进行同比缩放，以最短边同比例缩放到480至640范围内；
2)将缩放后的显微镜图像送入训练好的改进Mask R-CNN模型获取到检测结果；
3)通过后处理模块使用非极大值抑制NMS抑制冗余的检测结果，NMS的交并比IoU阈值设置为0.5，去除得分低于0.3的边界框，最后输出最终的检测结果。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明通过生成伪标签模块，在骨髓细胞数据集上生成细胞核伪标签，形成细胞核伪标签数据集，辅助模型获取更多关于细胞核的特征。
2、本发明通过复制粘贴模块，有效地增广骨髓细胞数据集，变相在数据集中添加细胞种类少的数量，增加数据集的多样性，以解决数据集中种类不平衡问题。
3、本发明通过添加语义分割分支，改进Mask R-CNN模型获取细胞核信息的能力，使模型利用细胞核伪标签数据集和语义分割领域的交叉熵损失指导模型捕捉更多细胞核信息，从而提升模型识别准确率。
附图说明
图1是本发明系统各个模块的关系示意图。
图2是本发明提出的改进Mask R-CNN模型的结构示意图。
图3是本发明提出的训练模块的结构示意图。
图4是本发明提出的推理模块的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本实施例公开了一种基于改进Mask R-CNN的骨髓细胞检测系统，是使用Python语言开发的可在多平台上运行的骨髓细胞检测系统，系统各模块间关系如图1所示，它包括有：
生成伪标签模块，使用OTSU阈值分割算法和轮廓检测算法从骨髓细胞数据集中检测出一张显微镜图像中所有细胞核的轮廓，并除去噪声轮廓，将所有有效轮廓组成细胞核伪标签图像，对所有显微镜图像生成细胞核伪标签，最终得到作为训练数据集的伪标签数据集；复制粘贴模块，随机选取两张显微镜图像，把一张图像中种类个数少的细胞复制到另一张图像中，复制过程对所需复制的细胞随机地进行缩放和旋转，增加数据集中细胞种类个数少的数量和多样性；
改进Mask R-CNN模型，在Mask R-CNN模型的基础上，增加语义分割分支，通过特征提取网络和特征金字塔网络提取4种不同分辨率的特征图后，将该4种特征图融合成1个特征图，将该融合后的特征图与细胞核伪标签图像作为语义分割损失的输入，使用交叉熵损失指导模型学习更多细胞核的信息；此外，该融合后的特征图通过区域建议网络和ROI池化层提取ROI特征，该ROI特征与原本的ROI特征进行融合，使原本的ROI特征获取更丰富的细胞核信息；
训练模块，将骨髓细胞数据集和细胞核伪标签数据集送入改进Mask R-CNN模型中进行训练，训练过程在线的使用复制粘贴模块来增加数据集中种类个数少的数量，使模型不倾向于预测种类个数多的细胞，训练完成后得到权重文件；
推理模块，基于得到的权重文件对骨髓细胞显微镜图像进行检测，首先对图像进行同比例缩放到固定尺寸大小，再送入到训练好的改进Mask R-CNN模型中获取检测结果，并使用非极大值抑制NMS抑制冗余的检测结果，去除得分低于阈值的边界框，最后输出最终的检测结果。
具体地，所述生成伪标签模块从骨髓细胞数据集中读取一张显微镜图像，然后执行以下过程：根据标签在图像上获取单细胞图像，使用OTSU阈值分割算法分离出细胞核与细胞质，再使用轮廓检测算法获取所有细胞核的轮廓，获取轮廓面积的大的值S，当轮廓面积小于S的0.2倍，则认为该轮廓不是细胞核并去除该轮廓，以此达到处理轮廓噪声的问题；将该显微镜图像所有细胞核轮廓组成一张图像，形成细胞核伪标签图像；将所有显微镜图像按照上述过程检测一遍，获取细胞核伪标签数据集。
具体地，所述复制粘贴模块从骨髓细胞数据集中随机读取一张源图像、一张目标图像，将源图像中种类个数较少的细胞复制到目标图像中，其步骤如下：
1)统计骨髓细胞数据集的每个细胞种类的个数；
2)获取源图像中的细胞个数N，并随机获取一个数r，r在0～N范围内；
3)将种类个数少的前r个细胞进行0.8到1.2的随机缩放和360度的随机旋转；
4)将进行缩放和旋转后的细胞复制到目标图像上；
5)将目标图像的最短边同时同比例缩放到s，s从640、672、704、736、768、800中随机选择，图像以0.5的概率随机水平或垂直翻转。
具体地，所述改进Mask R-CNN模型是指在Mask R-CNN模型的基础上，增加语义分割分支；如图2所示，改进Mask R-CNN模型包括特征提取网络、特征金字塔网络、区域建议网络，ROI池化层、语义分割分支、细胞检测头网络，其中：
所述特征提取网络是将输入的显微镜图像经过骨干网络ResNet-50获取不同大小的特征图；
所述特征金字塔网络使用FPN对不同大小的特征图进行多尺度融合，获取下采样4倍、下采样8倍、下采样16倍、下采样32倍的4种不同分辨率的特征图；
所述区域建议网络对特征图进行细胞区域定位，得到细胞的候选区域，也称ROI位置，该区域建议网络由3个卷积层组成，第一个卷积层的卷积核大小为3×3，另外两个卷积层的卷积核大小为1×1，其中一个卷积层的输出结果为ROI位置，另一个卷积层的输出结果为该ROI位置的得分，当得分高于0.7才认为该ROI位置包含细胞；
所述ROI池化层用于获取相同大小的ROI特征，所述区域建议网络得到的ROI位置将与4种不同分辨率的特征图输入到ROI池化层，得到相同大小的ROI特征A；
所述语义分割分支包括特征图融合网络、区域建议网络、ROI池化层；所述特征图融合网络是指将所述特征金字塔网络获取的4种不同分辨率的特征图经过3×3卷积缩放到下采样8倍的特征图，并且将缩放后的4种特征图相加融合，形成一个下采样8倍的特征图F，随后使用区域建议网络和ROI池化层对特征图F提取出ROI特征B，该特征的通道数为256，宽高都为7，因为语义分割分支使用交叉熵损失指导模型学习更多细胞核的信息，所以ROI特征B具有更多细胞核信息，因此将ROI特征A与ROI特征B相加融合形成ROI特征C，使ROI特征C具有更关注细胞核信息，ROI特征C的通道数为256，宽高都为7；
所述细胞检测头网络是利用ROI特征C作为输入，经过两个全连接神经网络和一个全卷积网络后输出检测结果，该细胞检测头网络包含两个全连接神经网络和一个全卷积网络，分别用于细胞分类、边界框回归和细胞分割，两个全连接神经网络均有3层，前两层的隐藏层神经节点都是1024，细胞分类的全连接神经网络的最后一层的神经节点为细胞种类个数21，表示细胞种类个数20加上背景，边界框回归的全连接神经网络的最后一层的神经节点为4，表示该细胞的中心点的横坐标、纵坐标和宽高；全卷积网络是由4个3×3卷积组成，前三个的卷积通道数为256，最后一个卷积的通道数为1，全卷积网络的输出是14×14的矩阵，代表细胞分割的结果，该矩阵的所有数值都在0到1范围内，当矩阵内的某一位置的数值大于0.5则认为该位置是细胞，反之为背景。
具体地，所述训练模块使改进Mask R-CNN模型从骨髓细胞数据集和细胞核伪标签数据集中学习到有用知识，如图3所示，包括以下步骤：
1)设置训练次数为24、初始学习率为0.0025和批大小为2，并开始训练；
2)将图像A当作目标图像，从骨髓细胞数据集中随机挑选一张图像B当作源图像，经过复制粘贴模块，把一张图像B中种类个数少的细胞复制到图像A中，同时对应被复制的细胞中的细胞核伪标签也需从图像B对应的伪标签图像B*复制到伪标签图像A*中；
3)图像A经过改进Mask R-CNN模型获取检测结果；
4)改进Mask R-CNN模型通过检测结果和经过复制粘贴模块的伪标签图像计算损失Loss并反向传播更新权值，训练结束后储存最终的权重文件；其中，Loss表示为：
Loss＝Lcls+Lbbox+Lmask+Lseg
上述式子中，Lcls代表细胞分类损失，Lbbox代表边界框回归损失，Lmask代表单个细胞像素分割损失，Lseg代表细胞核伪标签语义分割损失；在Lcls、Lbbox、Lmask中，i为训练时采样的锚框索引，pi代表第i个锚框中是否包含细胞，若包含，则为1，反之为0，代表第i个锚框中包含细胞的概率值，vi代表第i个标签边框框的中心点坐标及宽高的参数化向量，/>代表第i个锚框预测的中心点坐标及宽高的参数化向量，Hmask和Wmask分别代表第i个锚框中的高和宽，j和k分别为第i个锚框的纵坐标和横坐标，yi,j,k代表第i个锚框中位于(j,k)位置是否是细胞的像素，若是则为1，反之为0，/>代表第i个锚框中位于(j,k)位置是细胞的像素的概率值，Ncls为训练时一个迭代所采用的样本数，即锚框的数量，Nbbox和Nmask都为训练时一个迭代所采用的正样本数，即锚框中包含细胞的数量；在Lseg中，q为训练时一个迭代的伪标签图像索引，n和m分别为第q张伪标签图像的纵坐标和横坐标，xq,n,m代表第q张伪标签图像中位于(n,m)位置是否是细胞核的像素，若是则为1，反之为0；/>代表第q张图像中位于(n,m)位置是细胞核的像素的概率值，Hseg和Wseg分别代表第q张伪标签图像的高和宽，Nseg代表训练时一个迭代的图像数量。
具体地，所述推理模块基于得到的权重文件对骨髓细胞显微镜图像进行检测，包括数据导入模块和后处理模块，如图4所示，具体包括以下步骤：
1)通过数据导入模块对输入的显微镜图像进行同比缩放，以最短边同比例缩放到480至640范围内；
2)将缩放后的显微镜图像送入训练好的改进Mask R-CNN模型获取到检测结果；
3)通过后处理模块使用非极大值抑制NMS抑制冗余的检测结果，NMS的交并比IoU阈值设置为0.5，去除得分低于0.3的边界框，最后输出最终的检测结果。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.基于改进Mask R-CNN的骨髓细胞检测系统，其特征在于，该系统是基于改进Mask R-CNN模型实现多种类骨髓细胞的精准定位与分类，其包括：
生成伪标签模块，使用OTSU阈值分割算法和轮廓检测算法从骨髓细胞数据集中检测出一张显微镜图像中所有细胞核的轮廓，并除去噪声轮廓，将所有有效轮廓组成细胞核伪标签图像，对所有显微镜图像生成细胞核伪标签，最终得到作为训练数据集的伪标签数据集；
复制粘贴模块，随机选取两张显微镜图像，把一张图像中种类个数少的细胞复制到另一张图像中，复制过程对所需复制的细胞随机地进行缩放和旋转，增加数据集中细胞种类个数少的数量和多样性；
改进Mask R-CNN模型，在Mask R-CNN模型的基础上，增加语义分割分支，通过特征提取网络和特征金字塔网络提取4种不同分辨率的特征图后，将该4种特征图融合成1个特征图，将该融合后的特征图与细胞核伪标签图像作为语义分割损失的输入，使用交叉熵损失指导模型学习更多细胞核的信息；此外，该融合后的特征图通过区域建议网络和ROI池化层提取ROI特征，该ROI特征与原本的ROI特征进行融合，使原本的ROI特征获取更丰富的细胞核信息；
训练模块，将骨髓细胞数据集和细胞核伪标签数据集送入改进Mask R-CNN模型中进行训练，训练过程在线的使用复制粘贴模块来增加数据集中种类个数少的数量，使模型不倾向于预测种类个数多的细胞，训练完成后得到权重文件；
推理模块，基于得到的权重文件对骨髓细胞显微镜图像进行检测，首先对图像进行同比例缩放到固定尺寸大小，再送入到训练好的改进Mask R-CNN模型中获取检测结果，并使用非极大值抑制NMS抑制冗余的检测结果，去除得分低于阈值的边界框，最后输出最终的检测结果。
2.根据权利要求1所述的基于改进Mask R-CNN的骨髓细胞检测系统，其特征在于：所述生成伪标签模块从骨髓细胞数据集中读取一张显微镜图像，然后执行以下过程：根据标签在图像上获取单细胞图像，使用OTSU阈值分割算法分离出细胞核与细胞质，再使用轮廓检测算法获取所有细胞核的轮廓，去除面积小的轮廓，面积大的轮廓则为细胞核轮廓，将该显微镜图像所有细胞核轮廓组成一张图像，形成细胞核伪标签图像；将所有显微镜图像按照上述过程生成一遍，获取细胞核伪标签数据集。
3.根据权利要求2所述的基于改进Mask R-CNN的骨髓细胞检测系统，其特征在于：所述复制粘贴模块从骨髓细胞数据集中随机读取一张源图像和一张目标图像，将源图像中种类个数少的细胞复制到目标图像中，其步骤如下：
1)统计骨髓细胞数据集的每个细胞种类的个数；
2)获取源图像中的细胞个数N，并随机获取一个数r，r在0～N范围内；
3)将种类个数少的前r个细胞进行0.8到1.2的随机缩放和360度的随机旋转；
4)将进行缩放和旋转后的细胞复制到目标图像上；
5)将目标图像的最短边同时同比例缩放到s，s从640、672、704、736、768、800中随机选择，图像以0.5的概率随机水平或垂直翻转。
4.根据权利要求3所述的基于改进Mask R-CNN的骨髓细胞检测系统，其特征在于：所述改进Mask R-CNN模型是指在Mask R-CNN模型的基础上，增加语义分割分支；改进Mask R-CNN模型包括特征提取网络、特征金字塔网络、区域建议网络，ROI池化层、语义分割分支和细胞检测头网络，其中：
所述特征提取网络是将输入的显微镜图像经过骨干网络获取不同大小的特征图；
所述特征金字塔网络对不同大小的特征图进行多尺度融合，获取下采样4倍、下采样8倍、下采样16倍、下采样32倍的4种不同分辨率的特征图；
所述区域建议网络对特征图进行细胞区域定位，得到细胞的候选区域，也称ROI位置，该区域建议网络由3个卷积层组成，第一个卷积层的卷积核大小为3×3，另外两个卷积层的卷积核大小为1×1，其中一个卷积层的输出结果为ROI的位置，另一个卷积层的输出结果为该ROI位置的得分，当得分高于0.7才认为该ROI位置包含细胞；
所述ROI池化层用于获取相同大小的ROI特征，所述区域建议网络得到的ROI位置将与4种不同分辨率的特征图输入到ROI池化层，得到相同大小的ROI特征A；
所述语义分割分支包括特征图融合网络、区域建议网络、ROI池化层；所述特征图融合网络是指将所述特征金字塔网络获取的4种不同分辨率的特征图经过3×3卷积缩放到下采样8倍的特征图，并且将缩放后的4种特征图相加融合，形成一个下采样8倍的特征图F，随后使用区域建议网络和ROI池化层对特征图F提取出ROI特征B，因为语义分割分支使用交叉熵损失指导模型学习更多细胞核的信息，所以ROI特征B具有更多细胞核信息，因此将ROI特征A与ROI特征B相加融合形成ROI特征C，使ROI特征C具有更关注细胞核信息；
所述细胞检测头网络是利用ROI特征C作为输入，经过两个全连接神经网络和一个全卷积网络后输出检测结果，该细胞检测头网络包含两个全连接神经网络和一个全卷积网络，分别用于细胞分类、边界框回归和细胞分割，两个全连接神经网络均有3层，前两层的隐藏层神经节点都是1024，细胞分类的全连接神经网络的最后一层的神经节点为细胞种类个数21，表示细胞种类个数20加上背景，边界框回归的全连接神经网络的最后一层的神经节点为4，表示细胞的中心点的横坐标、纵坐标和宽高；全卷积网络是由4个3×3卷积组成，前三个卷积的通道数为256，最后一个卷积的通道数为1，全卷积网络的输出是14×14的矩阵，代表细胞分割的结果，该矩阵的所有数值都在0到1范围内，当矩阵内的某一位置的数值大于0.5则认为该位置是细胞，反之为背景。
5.根据权利要求4所述的基于改进Mask R-CNN的骨髓细胞检测系统，其特征在于：所述训练模块使改进Mask R-CNN模型从骨髓细胞数据集和细胞核伪标签数据集中学习到有用知识，包括以下步骤：
1)设置训练次数、初始学习率和批大小，并开始训练；
2)将图像A当作目标图像，从骨髓细胞数据集中随机挑选一张图像B当作源图像，经过复制粘贴模块，把一张图像B中种类个数少的细胞复制到图像A中，同时对应被复制的细胞中的细胞核伪标签也需从图像B对应的伪标签图像B*复制到伪标签图像A*中；
3)图像A经过改进Mask R-CNN模型获取检测结果；
4)改进Mask R-CNN模型通过检测结果和经过复制粘贴模块的伪标签图像计算损失Loss并反向传播更新权值，训练结束后储存最终的权重文件；其中，Loss表示为：
Loss＝Lcls+Lbbox+Lmask+Lseg
上式中，Lcls代表细胞分类损失，Lbbox代表边界框回归损失，Lmask代表单个细胞像素分割损失，Lseg代表细胞核伪标签语义分割损失；在Lcls、Lbbox、Lmask中，i为训练时采样的锚框索引，pi代表第i个锚框中是否包含细胞，若包含，则为1，反之为0，代表第i个锚框中包含细胞的概率值，vi代表第i个标签边框框的中心点坐标及宽高的参数化向量，/>代表第i个锚框预测的中心点坐标及宽高的参数化向量，Hmask和Wmask分别代表第i个锚框中的高和宽，j和k分别为第i个锚框的纵坐标和横坐标，yi,j,k代表第i个锚框中位于(j,k)位置是否是细胞的像素，若是则为1，反之为0，/>代表第i个锚框中位于(j,k)位置是细胞的像素的概率值，Ncls为训练时一个迭代所采用的样本数，即锚框的数量，Nbbox和Nmask都为训练时一个迭代所采用的正样本数，即锚框中包含细胞的数量；在Lseg中，q为训练时一个迭代的伪标签图像索引，n和m分别为第q张伪标签图像的纵坐标和横坐标，xq,n,m代表第q张伪标签图像中位于(n,m)位置是否是细胞核的像素，若是则为1，反之为0；/>代表第q张图像中位于(n,m)位置是细胞核的像素的概率值，Hseg和Wseg分别代表第q张伪标签图像的高和宽，Nseg代表训练时一个迭代的图像数量。
6.根据权利要求5所述的基于改进Mask R-CNN的骨髓细胞检测系统，其特征在于：所述推理模块基于得到的权重文件对骨髓细胞显微镜图像进行检测，包括数据导入模块和后处理模块，包括以下步骤：
1)通过数据导入模块对输入的显微镜图像进行同比缩放，以最短边同比例缩放到480至640范围内；
2)将缩放后的显微镜图像送入训练好的改进Mask R-CNN模型获取到检测结果；
3)通过后处理模块使用非极大值抑制NMS抑制冗余的检测结果，NMS的交并比IoU阈值设置为0.5，去除得分低于0.3的边界框，最后输出最终的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311381822.4A CN117649657A (zh) | 2023-10-23 | 2023-10-23 | 基于改进Mask R-CNN的骨髓细胞检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311381822.4A CN117649657A (zh) | 2023-10-23 | 2023-10-23 | 基于改进Mask R-CNN的骨髓细胞检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117649657A true CN117649657A (zh) | 2024-03-05 |
Family
ID=90048477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311381822.4A Pending CN117649657A (zh) | 2023-10-23 | 2023-10-23 | 基于改进Mask R-CNN的骨髓细胞检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649657A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117853485A (zh) * | 2024-03-07 | 2024-04-09 | 天津市天津医院 | 骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 |
-
2023
- 2023-10-23 CN CN202311381822.4A patent/CN117649657A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117853485A (zh) * | 2024-03-07 | 2024-04-09 | 天津市天津医院 | 骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259982B (zh) | 一种基于注意力机制的早产儿视网膜图像分类方法和装置 | |
| CN110599448B (zh) | 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统 | |
| CN110930397B (zh) | 一种磁共振图像分割方法、装置、终端设备及存储介质 | |
| CN107506761B (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
| CN111524138B (zh) | 一种基于多任务学习的显微图像细胞识别方法及装置 | |
| CN109345527B (zh) | 一种基于MaskRcnn的膀胱肿瘤检测方法 | |
| CN111798416B (zh) | 基于病理图像与深度学习的肾小球智能检测方法及系统 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN111583210B (zh) | 基于卷积神经网络模型集成的乳腺癌图像自动识别方法 | |
| CN109492706B (zh) | 一种基于循环神经网络的染色体分类预测装置 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN113673482B (zh) | 基于动态标签分配的细胞抗核抗体荧光识别方法及系统 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
| CN114998210A (zh) | 一种基于深度学习目标检测的早产儿视网膜病变检测系统 | |
| Zhang et al. | Fully automatic segmentation of the right ventricle via multi-task deep neural networks | |
| CN113610118A (zh) | 一种基于多任务课程式学习的眼底图像分类方法、装置、设备及介质 | |
| CN116884623A (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN112819755A (zh) | 一种甲状腺的结节ti-rads分级系统及方法 | |
| CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |