CN115049613A - 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法 - Google Patents

一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法 Download PDF

Info

Publication number
CN115049613A
CN115049613A CN202210668281.2A CN202210668281A CN115049613A CN 115049613 A CN115049613 A CN 115049613A CN 202210668281 A CN202210668281 A CN 202210668281A CN 115049613 A CN115049613 A CN 115049613A
Authority
CN
China
Prior art keywords
cell
blood smear
frame
image
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210668281.2A
Other languages
English (en)
Inventor
陈祥
岳昆
吴鑫然
董莹
李劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202210668281.2A priority Critical patent/CN115049613A/zh
Publication of CN115049613A publication Critical patent/CN115049613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于Mask R‑CNN的疟疾血涂片细胞检测和分割方法，实现薄血涂片图像中疟原虫及红细胞的检测和分割，包括：采用VoVNet‑57作为主干特征提取网络，以提取更加丰富的薄血涂片图像特征；改进特征金字塔网络结构，充分利用高层特征丰富的细胞分类信息来强化底层特征的表述能力；使用衰减函数对传统非极大值抑制算法进行改进，减少因细胞堆叠导致漏检的情况；重构细胞分类损失函数，改善因细胞类别不均衡导致检测精度不高的问题。本发明提出的方法能有效提升Mask R‑CNN网络模型对薄血涂片图像中细胞检测和分割的精度，为疟疾诊断提供科学依据。

Description

一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法
技术领域
本发明公开了一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，涉及使用深度神经网络对显微镜下薄血涂片图像进行细胞检测和分割，并计算疟原虫寄生密度，属于目标检测领域。
技术背景
疟疾是一种由疟原虫寄生于人体引起的传染性和致命性疾病，其治疗方法根据感染疟原虫的种类和感染程度而有所差异，因此正确区分感染疟原虫的种类、计算疟原虫寄生密度，是对疟疾进行有效治疗的前提。通过光学显微镜对血涂片进行人工筛查，是当前疟疾诊断常用的方法。但人工检测所需步骤繁琐，需要检测人员拥有丰富的专业领域知识和工作经验，才能准确识别疟原虫并对其进行分类。由于专家知识的差异，人工检测方法可能得到片面或不够客观的检测结果。专业检测人员资源匮乏、检测任务量较大时，人工检测的方法并不可行，导致错过治疗和防疫的最佳时期。
为了辅助检测人员快速且准确地做出判断，一些公知的方法将图像处理和机器学习技术用于疟疾诊断。例如，朱远林（<学位论文>，2019）将视觉几何群（Visual GeometryGroup, VGG）网络和支持向量机（Support Vector Machine, SVM）相结合，提出基于VGG-SVM的疟原虫检测模型，可准确区分感染和未感染疟原虫图像。刘银萍等（<实验技术与管理>，2020）针对疟疾检测模型存在训练时间长、权重参数冗余等问题，缩减ResNet-50网络的宽度和深度，并将其全连接层替换为分类器，在缩短模型训练时间和减小模型参数的同时，提高了疟疾分类精度。这些方法可判断是否受到疟原虫感染，但不能有效确定疟原虫的种类、位置和个数。
使用机器学习方法实现薄血涂片图像中细胞检测和分割较为困难，而基于深度学习的通用目标检测算法由于疟原虫在图像中占比小，存在难以提取充足有效的特征、细胞排列紧密以及细胞类别不平衡等问题，易出现漏检和误检的情况，导致细胞检测和分割的效果还不够理想。
针对上述问题，一些公知的方法对通用目标检测算法进行了改进，以减少漏检和误检的情况。例如，刘乾宇（<计算机技术与发展>，2021）提出了一种基于Faster R-CNN的疟疾血涂片检测改进算法，在Faster R-CNN基础上加入卷积滤波器，采用ResNet作为主干特征提取网络，通过优化锚点属性提高疟原虫的检测能力，但未实现细胞的分割。徐明星等（<专利202110357678.5>，2021）通过YOLO V4检测出每个细胞的位置，对细胞进行放大处理后输入U-Net网络分类，通过分割、放大每个细胞，增强模型对疟原虫的检测能力，但不能有效统计红细胞个数来计算疟原虫寄生密度。沈玉红（<学位论文>，2020）提出基于FD-Mask R-CNN的细胞分割及分类方法，在Mask R-CNN的基础上引入空洞卷积扩大卷积感受野，在高层特征中较好地保留图像结构信息，提高了分割精度；在分类损失函数中加入调节因子，关注难以分类的样本，改善因细胞类别不均衡导致分类精度不高的问题，实现疟原虫分类和分割一体化，但未考虑细胞堆叠导致漏检的情况。
为克服上述公知方法的不足，本发明提出一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，采用更适合小目标检测任务的VoVNet-57作为主干特征提取网络，以提取更加丰富的薄血涂片图像特征；改进特征金字塔网络（Feature Pyramid Network, FPN）结构，充分利用高层特征丰富的细胞分类信息来强化底层特征的表述能力；使用衰减函数对传统非极大值抑制算法进行改进，减少细胞漏检的情况；在细胞分类损失函数中加入损失权重和调节因子，改善因细胞类别不均衡导致检测精度不高的问题。
发明内容
一、 本发明的目的
通用目标检测算法由于薄血涂片图像中疟原虫所占图像比例小，存在细胞排列紧密和细胞类别不均衡等问题而导致细胞漏检和误检的情况，为了对其进行改善，本发明提出一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，实现薄血涂片图像中疟原虫及红细胞的检测和分割，并计算疟原虫寄生密度，为疟疾诊断提供科学依据。
二、 本发明的步骤
本发明的执行过程分为以下四个步骤：
(1)数据预处理：在每张光学显微镜采集的薄血涂片图像上，标注不同种类、不同时期疟原虫和红细胞，对标注后的数据集进行数据增强并统一图像尺寸大小，得到薄血涂片图像训练集。
(2)特征提取和处理：构建基于改进的Mask R-CNN网络模型，对输入的薄血涂片图像进行特征提取和处理。
(3)模型训练：将步骤(1)中的薄血涂片图像训练集输入步骤(2)中的模型，计算损失函数并进行反向传播，迭代更新网络模型的权重。
(4)疟疾检测：将待检测的薄血涂片图像输入到步骤(3)中训练好的模型进行细胞检测和分割，并计算疟原虫寄生密度。
具体步骤如下：
1：数据预处理
1.1：图像标注
在采集的薄血涂片图像中标注红细胞和不同种类、不同时期的疟原虫。设采集的薄血涂片图像数据集为
Figure 942624DEST_PATH_IMAGE001
，
Figure 37619DEST_PATH_IMAGE002
，
Figure 988519DEST_PATH_IMAGE003
为图像数据集
Figure 623900DEST_PATH_IMAGE001
中未经标注的第
Figure 983337DEST_PATH_IMAGE004
个原始图像。对
Figure 45971DEST_PATH_IMAGE005
中红细胞和疟原虫以点的方式勾勒轮廓，形成闭合区域，并标注其所属细胞类别，将标注的轮廓、类别和图像信息存入json文件中，得到对应的标注数据
Figure 982703DEST_PATH_IMAGE006
；对
Figure 156196DEST_PATH_IMAGE001
中所有图像进行标注后得到标注数据集
Figure 370139DEST_PATH_IMAGE007
，
Figure 603675DEST_PATH_IMAGE008
；将图像数据集
Figure 27703DEST_PATH_IMAGE001
和标注数据集
Figure 4886DEST_PATH_IMAGE007
进行合并，得到标注的薄血涂片图像数据集
Figure 73336DEST_PATH_IMAGE009
，
Figure 477773DEST_PATH_IMAGE010
。
1.2：数据增强
训练过少的薄血涂片图像会导致模型出现欠拟合的情况，且采集的各种类疟原虫分布差异过大，也会导致检测和分割细胞的精度降低。为了提高模型的泛化能力，根据
Figure 389097DEST_PATH_IMAGE009
中薄血涂片图像标注的疟原虫轮廓信息对疟原虫进行分割，将分割得到的疟原虫随机旋转任意角度后复制粘贴到对应图像的其它位置，扩充疟原虫样本个数的同时增加了疟原虫所处位置的多样性；对扩充疟原虫样本后的图像通过旋转和翻转的方式进行数据增强，得到扩充后的薄血涂片图像训练集
Figure 169971DEST_PATH_IMAGE011
。
1.3：图像尺寸缩放
对
Figure 92928DEST_PATH_IMAGE011
中的薄血涂片图像进行等比例缩放，使图像最长边为1024，并对等比例缩放后的图像用数值为0的像素填充，得到图像尺寸为1024×1024的薄血涂片图像训练集
Figure 668265DEST_PATH_IMAGE012
。
2：特征提取和处理
2.1：薄血涂片图像特征提取
使用VoVNet-57提取薄血涂片图像特征，结合FPN对提取的特征进行不同尺度的融合，并在FPN的基础上增添一条右侧的连接路径，对融合后的特征图以像素叠加的方式进行再次融合，充分利用高层特征的细胞分类信息。具体步骤如下：
2.1.1：特征提取网络的搭建
针对疟原虫在薄血涂片图像中占比小所反映出的信息有限、难以提取充足有效特征的问题，采用更适合小目标检测任务的VoVNet-57替换原有的ResNet-101作为主干特征提取网络，加强模型提取特征的能力，进而提高检测和分割细胞的精度。VoVNet-57的网络结构如表1所示。
表1. VoVNet-57网络结构
Figure 568351DEST_PATH_IMAGE013
Figure 887336DEST_PATH_IMAGE014
VoVNet-57由Stem模块和4个阶段的OSA模块组成。其中，Stem模块由3个3×3卷积层构成，OSA模块由3×3、1×1卷积层和张量拼接层构成。每个OSA模块阶段之间采用一个步长为2的3×3最大池化层进行下采样。将VoVNet-57中第二阶段到第五阶段中各阶段最后一层输出的薄血涂片图像特征图记为
Figure 930379DEST_PATH_IMAGE015
。
2.1.2：FPN特征融合
将步骤2.1.1得到的薄血涂片图像特征图
Figure 676618DEST_PATH_IMAGE015
输入FPN，进行不同尺度的特征融合。FPN通过一条自顶向下的路径，将高层特征图的细胞分类信息与底层特征图的细胞定位信息相融合，可有效提高模型对细胞的检测精度。每一个自顶向下的融合过程，由一个最近邻上采样操作和一个横向连接的1×1卷积层构成，最近邻上采样操作将高层薄血涂片图像特征图分辨率放大到相邻底层薄血涂片图像特征图的尺寸，横向连接的1×1卷积层用来统一
Figure 562534DEST_PATH_IMAGE015
的通道数。将最近邻上采样得到的特征图与1×1卷积层输出的特征图进行像素叠加融合，再通过3×3卷积去除最近邻上采样带来的特征混叠效应，得到融合后的薄血涂片图像特征图
Figure 154053DEST_PATH_IMAGE016
。
2.1.3：新增路径特征融合
由于薄血涂片图像高层特征图
Figure 317181DEST_PATH_IMAGE017
和
Figure 499900DEST_PATH_IMAGE018
分辨率低，不适合细胞的检测，而只使用低层薄血涂片图像特征图
Figure 607534DEST_PATH_IMAGE019
和
Figure 268322DEST_PATH_IMAGE020
进行检测，则会浪费高层特征丰富的细胞分类信息。因此，改进原有的FPN结构，在FPN的基础上增添一条右侧的连接路径，将FPN融合后的薄血涂片图像特征图以像素叠加的方式再进行融合，充分利用高层特征丰富的细胞分类信息来强化底层特征的表述能力。具体步骤如下：将
Figure 285957DEST_PATH_IMAGE017
通过四倍上采样后与
Figure 658819DEST_PATH_IMAGE019
进行像素叠加融合，再通过3×3卷积去除上采样带来的特征混叠效应，得到薄血涂片图像特征图
Figure 129115DEST_PATH_IMAGE021
；将
Figure 593594DEST_PATH_IMAGE022
通过四倍上采样后与
Figure 590369DEST_PATH_IMAGE023
进行像素叠加融合，再通过3×3卷积去除上采样带来的特征混叠效应，得到薄血涂片图像特征图
Figure 52574DEST_PATH_IMAGE024
。
2.2：细胞候选框的生成和筛选
2.2.1：细胞候选框的生成
区域候选网络（Region Proposal Network, RPN）使用3×3卷积作用于薄血涂片图像特征图
Figure 72483DEST_PATH_IMAGE025
上，得到更容易区分细胞和背景的特征图，并将
Figure 638856DEST_PATH_IMAGE026
上每一个像素点映射回原图，根据
Figure 427820DEST_PATH_IMAGE026
设定的对应细胞候选框尺寸
Figure 60927DEST_PATH_IMAGE027
Figure 568132DEST_PATH_IMAGE028
和长宽比
Figure 171151DEST_PATH_IMAGE029
分别生成3种不同大小的细胞候选框。将
Figure 80201DEST_PATH_IMAGE025
经过3×3卷积得到的特征图输入RPN分类层和回归层：分类层通过1×1卷积生成3维特征向量来表示薄血涂片图像特征图上每个像素点对应3种不同大小细胞候选框包含细胞的置信度，记为
Figure 884209DEST_PATH_IMAGE030
；回归层通过1×1卷积生成12维特征向量来表示薄血涂片图像特征图上每个像素点对应3种不同大小细胞候选框的偏移量和缩放量
Figure 941027DEST_PATH_IMAGE031
，
Figure 285421DEST_PATH_IMAGE032
和
Figure 986660DEST_PATH_IMAGE033
表示细胞候选框的中心偏移量，
Figure 23887DEST_PATH_IMAGE034
和
Figure 302421DEST_PATH_IMAGE035
表示细胞候选框长和宽的缩放量。
将生成的细胞候选框根据RPN分类层输出的置信度从高到低排序，保留排名前
Figure 450506DEST_PATH_IMAGE036
的细胞候选框（训练阶段
Figure 6252DEST_PATH_IMAGE036
为12000，检测阶段
Figure 214379DEST_PATH_IMAGE036
为6000），得到细胞候选框集合
Figure 481675DEST_PATH_IMAGE037
，
Figure 167871DEST_PATH_IMAGE038
。根据回归分支输出的偏移量和缩放量
Figure 843703DEST_PATH_IMAGE039
，采用公式(2-1)对
Figure 222732DEST_PATH_IMAGE037
中细胞候选框的位置和大小进行修正：
Figure 475859DEST_PATH_IMAGE041
(2-1)
其中，
Figure 169008DEST_PATH_IMAGE042
和
Figure 496084DEST_PATH_IMAGE043
表示细胞候选框的中心坐标，
Figure 108331DEST_PATH_IMAGE044
和
Figure 786437DEST_PATH_IMAGE045
表示细胞候选框的长和宽，
Figure 17699DEST_PATH_IMAGE046
和
Figure 792756DEST_PATH_IMAGE047
表示修正后细胞候选框的中心坐标，
Figure 248009DEST_PATH_IMAGE048
和
Figure 351094DEST_PATH_IMAGE049
表示修正后细胞候选框的长和宽。
将修正后的细胞候选框参数通过公式(2-2)转化为左上角坐标和右下角坐标的表示形式：
Figure 182784DEST_PATH_IMAGE051
(2-2)
其中，
Figure 313813DEST_PATH_IMAGE052
和
Figure 939966DEST_PATH_IMAGE053
表示细胞候选框的左上角坐标，
Figure 530348DEST_PATH_IMAGE054
和
Figure 165728DEST_PATH_IMAGE055
表示细胞候选框的右下角坐标。
2.2.2：细胞候选框的筛选
薄血涂片图像中存在较多堆叠的细胞，当两个细胞生成的候选框重叠部分超过给定阈值时，传统的非极大值抑制算法会将置信度较小的细胞候选框剔除，导致出现漏检的情况。使用衰减函数对传统非极大值抑制算法进行改进，可减少细胞漏检的情况，具体步骤如下：
(1) 取
Figure 384220DEST_PATH_IMAGE056
中置信度最高的细胞候选框，构成对比框
Figure 446854DEST_PATH_IMAGE057
，并将
Figure 258952DEST_PATH_IMAGE057
移入细胞候选框结果集合
Figure 291499DEST_PATH_IMAGE058
；遍历
Figure 771022DEST_PATH_IMAGE056
中剩余的细胞候选框，计算当前细胞候选框
Figure 66874DEST_PATH_IMAGE059
与对比框
Figure 428585DEST_PATH_IMAGE057
的交并比（Intersection over Union, IoU），IoU计算公式如下：
Figure 343452DEST_PATH_IMAGE060
(2-3)
其中，
Figure 474219DEST_PATH_IMAGE061
为第
Figure 442437DEST_PATH_IMAGE062
个细胞候选框与对比框
Figure 291444DEST_PATH_IMAGE057
面积的交集，
Figure 744422DEST_PATH_IMAGE063
为第
Figure 995275DEST_PATH_IMAGE062
个细胞候选框与对比框
Figure 632930DEST_PATH_IMAGE057
面积的并集。
(2)若细胞候选框
Figure 969233DEST_PATH_IMAGE064
与对比框
Figure 225902DEST_PATH_IMAGE057
的IoU值大于给定的阈值
Figure 331262DEST_PATH_IMAGE065
，则不直接剔除候细胞选框
Figure 139818DEST_PATH_IMAGE064
，而是根据公式(2-4)降低
Figure 697838DEST_PATH_IMAGE064
的置信度为
Figure 23777DEST_PATH_IMAGE066
，使原本检测出的细胞不被漏检。
Figure 45960DEST_PATH_IMAGE068
(2-4)
其中，
Figure 963100DEST_PATH_IMAGE069
为细胞候选框
Figure 211679DEST_PATH_IMAGE070
的前景置信度得分，
Figure 872467DEST_PATH_IMAGE071
为可调节置信度衰减程度的衰减系数，根据经验
Figure 250621DEST_PATH_IMAGE071
取值为0.5，
Figure 604242DEST_PATH_IMAGE072
为重置后的细胞候选框
Figure 74538DEST_PATH_IMAGE070
的前景置信度得分。
重复执行以上步骤(1)和(2)，直到细胞候选框集合
Figure 539017DEST_PATH_IMAGE073
为空，最终
Figure 270213DEST_PATH_IMAGE074
留下的前
Figure 794735DEST_PATH_IMAGE075
个候选框（训练阶段
Figure 17906DEST_PATH_IMAGE075
为2000，检测阶段
Figure 82814DEST_PATH_IMAGE075
为1000），即为去除冗余后的细胞候选框。
2.3：细胞候选框特征图的生成
将步骤2.1.3融合后的薄血涂片图像特征图
Figure 871778DEST_PATH_IMAGE076
和步骤2.2.2去除冗余后的细胞候选框，输入到感兴趣区域对齐（Region of Interest Align, RoI Align）层，根据后续输出分支网络中输入大小的限制，将不同大小的细胞候选框对应的特征区域池化为7×7和14×14的固定尺寸。具体步骤如下：将细胞候选框对应的特征区域划分为7×7和14×14个单元；每个单元平均分为4个小单元，每个小单元的中心设为采样点，根据双线性插值法求出采样点的特征值；对每个单元内的采样点进行最大值池化操作，生成7×7和14×14尺寸的细胞候选框特征图。
2.4：细胞候选框的结果预测
将步骤2.3输出的固定尺寸的细胞候选框特征图输入到输出分支网络进行细胞检测和分割。输出分支网络包含分类回归网络和掩码生成网络：分类回归网络将步骤2.3得到的7×7尺寸的细胞候选框特征图展平为一维向量，再通过两个1024维的全连接层进行细胞检测；掩码生成网络将步骤2.3得到的14×14尺寸的细胞候选框特征图经过4个卷积核大小为3×3、通道数为256的卷积层，再经过2×2的反卷积操作将细胞候选框特征图尺寸扩充为28×28，最后经过1个卷积核大小为1×1、通道数为
Figure 504885DEST_PATH_IMAGE077
的卷积层，得到
Figure 746511DEST_PATH_IMAGE077
个28×28的细胞分割掩码，
Figure 615109DEST_PATH_IMAGE077
为细胞类别数。
3：模型训练
3.1：损失函数的构建和计算
针对红细胞数量远多于疟原虫数量、存在细胞类别不均衡的问题，考虑红细胞相对于疟原虫为易分类样本，大量易分类红细胞主导梯度更新的方向，导致模型对疟原虫的检测精度较低。因此，重新构建损失函数，在细胞分类损失函数中加入损失权重和调节因子，降低红细胞对网络参数的贡献，改善细胞类别不均衡导致检测精度不高的情况。重构后的损失函数包括RPN网络中的分类损失
Figure 524160DEST_PATH_IMAGE078
和检测框偏移损失
Figure 62588DEST_PATH_IMAGE079
、输出分支网络的细胞分类损失
Figure 57089DEST_PATH_IMAGE080
、细胞检测框偏移损失
Figure 976983DEST_PATH_IMAGE081
和细胞掩码分割损失
Figure 740540DEST_PATH_IMAGE082
五个部分：
(1)RPN网络分类损失
Figure 449870DEST_PATH_IMAGE083
，计算公式如下：
Figure 931667DEST_PATH_IMAGE085
(3-1)
其中，
Figure 407648DEST_PATH_IMAGE086
为训练RPN网络时一个mini-batch中采样细胞候选框的数量；
Figure 963394DEST_PATH_IMAGE087
为细胞候选框的索引；
Figure 171521DEST_PATH_IMAGE088
为第
Figure 937352DEST_PATH_IMAGE087
个细胞候选框的真实标签，当第
Figure 623548DEST_PATH_IMAGE087
个细胞候选框含有细胞时，则
Figure 299380DEST_PATH_IMAGE089
；当第
Figure 412830DEST_PATH_IMAGE090
个细胞候选框不含有细胞时，则
Figure 665957DEST_PATH_IMAGE091
；
Figure 155844DEST_PATH_IMAGE092
为第
Figure 686182DEST_PATH_IMAGE087
个细胞候选框中含有细胞的置信度。
(2)RPN网络检测框偏移损失
Figure 236112DEST_PATH_IMAGE093
，计算公式如下：
Figure 478000DEST_PATH_IMAGE094
(3-2)
其中，
Figure 505999DEST_PATH_IMAGE095
为第
Figure 890844DEST_PATH_IMAGE090
个细胞候选框与细胞检测框之间的中心偏移量和长宽缩放量，
Figure 611675DEST_PATH_IMAGE096
为第
Figure 104973DEST_PATH_IMAGE090
个细胞候选框与细胞真实框之间的中心偏移量和长宽缩放量，
Figure 874346DEST_PATH_IMAGE097
为
Figure 176015DEST_PATH_IMAGE098
函数，定义如下：
Figure 130064DEST_PATH_IMAGE100
(3-3)
(3)细胞分类损失
Figure 782762DEST_PATH_IMAGE101
，计算公式如下：
Figure 90247DEST_PATH_IMAGE102
(3-4)
其中，
Figure 512001DEST_PATH_IMAGE103
为训练输出分支网络时一个mini-batch中采样细胞候选框的数量；
Figure 636952DEST_PATH_IMAGE104
为细胞类别数；
Figure 511367DEST_PATH_IMAGE105
为第
Figure 888122DEST_PATH_IMAGE106
类细胞的候选框数量；
Figure 164382DEST_PATH_IMAGE107
表示第
Figure 961699DEST_PATH_IMAGE108
个细胞候选框为第
Figure 323410DEST_PATH_IMAGE106
类细胞的置信度，
Figure 238277DEST_PATH_IMAGE109
表示第
Figure 696940DEST_PATH_IMAGE108
个细胞候选框的真实标签，
Figure 101376DEST_PATH_IMAGE110
时属于第
Figure 888067DEST_PATH_IMAGE106
类细胞，
Figure 403362DEST_PATH_IMAGE111
Figure 716531DEST_PATH_IMAGE112
时不属于第
Figure 291869DEST_PATH_IMAGE106
类细胞；
Figure 565856DEST_PATH_IMAGE113
为损失权重，当某类细胞数量较少时，损失权重会相对较大，使模型更加关注数量少的细胞类别；
Figure 884842DEST_PATH_IMAGE114
为调节因子，易分类的红细胞置信度
Figure 52518DEST_PATH_IMAGE115
接近于1，
Figure 798757DEST_PATH_IMAGE116
会接近于0，可降低红细胞对损失函数的影响，根据经验
Figure 294460DEST_PATH_IMAGE117
取值为2。
(4)细胞检测框偏移损失
Figure 417137DEST_PATH_IMAGE118
，计算公式如下：
Figure 940785DEST_PATH_IMAGE119
(3-5)
其中，
Figure 857925DEST_PATH_IMAGE120
为第
Figure 372083DEST_PATH_IMAGE108
个细胞候选框的真实标签，
Figure 95188DEST_PATH_IMAGE121
表示第
Figure 909561DEST_PATH_IMAGE108
个细胞候选框与细胞检测框之间的中心偏移量和长宽缩放量，
Figure 200865DEST_PATH_IMAGE122
表示第
Figure 733477DEST_PATH_IMAGE108
个细胞候选框与细胞真实框之间的中心偏移量和长宽缩放量，
Figure 994694DEST_PATH_IMAGE123
为
Figure 929152DEST_PATH_IMAGE124
函数。
(5)细胞分割损失
Figure 391358DEST_PATH_IMAGE125
，计算公式如下：
Figure 145687DEST_PATH_IMAGE127
(3-6)
其中，
Figure 476174DEST_PATH_IMAGE128
为细胞掩码分辨率的大小；
Figure 265139DEST_PATH_IMAGE129
为细胞掩码中第
Figure 429404DEST_PATH_IMAGE108
个像素的真实标签，
Figure 139871DEST_PATH_IMAGE130
Figure 509934DEST_PATH_IMAGE131
时属于第
Figure 153405DEST_PATH_IMAGE106
类细胞，
Figure 957413DEST_PATH_IMAGE132
时不属于第
Figure 14231DEST_PATH_IMAGE106
类细胞；
Figure 624204DEST_PATH_IMAGE133
为细胞掩码中第
Figure 325444DEST_PATH_IMAGE108
个像素为第
Figure 97091DEST_PATH_IMAGE106
类细胞的置信度。
(6)总体损失
Figure 641204DEST_PATH_IMAGE134
是以上RPN网络中的分类损失
Figure 789289DEST_PATH_IMAGE135
和检测框偏移损失
Figure 345035DEST_PATH_IMAGE136
、输出网络的细胞分类损失
Figure 287583DEST_PATH_IMAGE137
、细胞检测框偏移损失
Figure 53414DEST_PATH_IMAGE138
以及细胞掩码分割损失
Figure 5190DEST_PATH_IMAGE139
五个部分之和，计算公式如下：
Figure 415442DEST_PATH_IMAGE141
(3-7)
3.2：网络权重的迭代更新
将步骤1中的薄血涂片图像训练集
Figure 794471DEST_PATH_IMAGE142
输入步骤2中构建的Mask R-CNN网络模型进行训练。在训练网络模型时，首先加载预训练权重文件，作为网络模型初始化参数，并对FPN基础上增添的右侧连接路径进行随机初始化参数，接着对步骤3.1中总体损失函数的各参数计算梯度值，采用随机梯度下降算法（Stochastic Gradient Descent, SGD）迭代更新网络模型的权重参数：
Figure 814642DEST_PATH_IMAGE143
(3-8)
其中，
Figure 242212DEST_PATH_IMAGE144
为当前待更新的权重参数，
Figure 834868DEST_PATH_IMAGE145
为学习率，
Figure 119218DEST_PATH_IMAGE146
为总体损失函数关于
Figure 859641DEST_PATH_IMAGE147
的梯度，
Figure 90903DEST_PATH_IMAGE148
为
Figure 600381DEST_PATH_IMAGE147
更新后的参数。
4：疟疾检测
4.1：细胞的检测和分割
将待检测的薄血涂片图像输入到训练好的模型，得到细胞的预测信息：检测框对应的细胞类别置信度、位置坐标和细胞掩码，设定分类阈值
Figure 383530DEST_PATH_IMAGE149
，剔除细胞类别置信度达不到分类阈值的检测框，对同一类别的细胞检测框使用置信度衰减的方式进行非极大值抑制，得到最优细胞检测框。在检测的薄血涂片图像中，以矩形框的方式标注最优检测框的位置，在矩形框上方标注细胞类别和置信度，并对细胞进行像素级分割。
4.2：疟原虫寄生密度的计算
在计算疟原虫寄生密度时，需检测超过1000个红细胞，且要求使用光学显微镜采集的薄血涂片图像无视野重叠。按照步骤4.1，对采集的多张无重叠视野的薄血涂片图像进行细胞检测和分割，并统计疟原虫和红细胞的个数，根据公式(4-1)计算疟原虫的寄生密度
Figure 548932DEST_PATH_IMAGE150
：
Figure 583884DEST_PATH_IMAGE151
(4-1)
其中，
Figure 449334DEST_PATH_IMAGE152
为检测疟原虫个数；
Figure 341066DEST_PATH_IMAGE153
为检测红细胞个数；
Figure 665869DEST_PATH_IMAGE154
为每微升血液中的平均红细胞数，以每微升血液中男性500万个红细胞、女性450万个红细胞进行计算。
三、 本发明的目的
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例：间日疟原虫及红细胞的检测和分割。
1：数据预处理
按照步骤1.1，将云南省寄生虫病防治所提供的薄血涂片图像数据集
Figure 301249DEST_PATH_IMAGE155
作为初始数据集，在每张图像中标注不同时期疟原虫和红细胞，得到标注的薄血涂片图像数据集
Figure 785320DEST_PATH_IMAGE156
。其中数据集
Figure 847954DEST_PATH_IMAGE155
共253张薄血涂片图像，由7类细胞组成，分别为间日疟原虫大滋养体、间日疟原虫环状体、间日疟原虫未成熟配子体、间日疟原虫成熟配子体、间日疟原虫未成熟裂殖体、间日疟原虫成熟裂殖体和正常红细胞。
按照步骤1.2，根据
Figure 660052DEST_PATH_IMAGE156
中标注的疟原虫轮廓信息对疟原虫进行分割，将分割得到的疟原虫随机旋转任意角度后复制粘贴到对应图像的其它位置，扩充疟原虫数量，并对扩充疟原虫数量后的样本通过旋转、垂直翻转和水平翻转的方式进行数据增强，将
Figure 833545DEST_PATH_IMAGE156
扩充为800张图像，得到薄血涂片图像训练集
Figure 172122DEST_PATH_IMAGE157
。
按照步骤1.3，将
Figure 405657DEST_PATH_IMAGE157
通过缩放和补0的方式，统一薄血涂片图像尺寸为1024×1024，得到薄血涂片图像训练集
Figure 705052DEST_PATH_IMAGE158
。
2：特征提取和处理
按照步骤2.1，采用VoVNet-57与改进的FPN的网络提取薄血涂片图像特征，其结构如附图2所示，分为自底向上的路径和自顶向下的路径。
自底向上的路径通过VoVNet-57作为基础网络，将特征提取过程分为5个阶段，每个阶段输出的特征图尺寸相比于输入的薄血涂片图像
Figure 682235DEST_PATH_IMAGE159
，缩小的倍数分别是
Figure 406477DEST_PATH_IMAGE160
。各阶段输入、输出特征图尺寸如表2所示。
表2. VoVNet提取特征过程
Figure 748597DEST_PATH_IMAGE161
自顶向下的路径通过改进的FPN网络，对输入的
Figure 332025DEST_PATH_IMAGE162
进行特征融合。融合过程如表3所示。
表3. 特征融合过程
Figure 676681DEST_PATH_IMAGE163
按照步骤2.2.1，RPN网络对每一层特征图
Figure 927534DEST_PATH_IMAGE164
上的像素点生成3种不同大小的细胞候选框，
Figure 706134DEST_PATH_IMAGE165
和
Figure 839175DEST_PATH_IMAGE166
一共生成128×128×3+256×256×3=245760个细胞候选框，每个细胞候选框对应一个置信度，保留置信度最大的
Figure 892582DEST_PATH_IMAGE167
（训练阶段
Figure 201203DEST_PATH_IMAGE167
为12000，检测阶段
Figure 947442DEST_PATH_IMAGE167
为6000）个细胞候选框，并根据公式(2-1)和(2-2)对细胞候选框进行修正。表4为某次检测阶段中经排序和修正后的部分细胞候选框编号、坐标和置信度。
表4. 经过排序和修正后的部分细胞候选框
Figure 833359DEST_PATH_IMAGE168
按照步骤2.2.2，基于排序和修正后的细胞候选框，设定IoU阈值
Figure 424877DEST_PATH_IMAGE169
=0.5，根据公式(2-4)以衰减细胞候选框置信度的方式进行非极大值抑制，筛选出包含细胞最好的候选框。例如，以编号为69631的细胞候选框作为对比框，其衰减细胞候选框置信度的过程如表5所示。
表5. 衰减细胞候选框置信度的过程
Figure 650322DEST_PATH_IMAGE170
Figure 770725DEST_PATH_IMAGE171
按照步骤2.3，将筛选后的细胞候选框输入RoI Align层，利用双线性插值法和最大值池化操作得到7×7和14×14尺寸的细胞候选框特征图。
按照步骤2.4，搭建分类回归网络和掩码生成网络。分类回归网络通过全连接层进行细胞检测，判断细胞候选框所包含的目标是红细胞、疟原虫或是背景；掩码生成网络通过全卷积神经网络对细胞进行分割，得到细胞候选框包含的细胞轮廓信息。将7×7尺寸的细胞候选框特征图输入分类回归网络进行细胞分类和目标框的定位。分类回归网络的结构如表6所示。
表6. 分类回归网络的结构
Figure 878358DEST_PATH_IMAGE172
其中，分类层输出8维向量，表示7种不同细胞和背景的分类置信度，回归层输出28维向量，表示细胞候选框对应每个细胞种类的4个坐标向量。
将14×14的细胞候选框特征图输入掩码生成网络进行分割，得到细胞轮廓。掩码生成网络的结构如表7所示。
表7. 掩码生成网络的结构
Figure 539147DEST_PATH_IMAGE173
3：模型训练
按照步骤3.1，将薄血涂片图像训练集
Figure 556781DEST_PATH_IMAGE174
输入Mask R-CNN网络模型进行训练。将得到的预测信息与标记的真实数据对比，根据公式(3-1)和(3-2)计算RPN网络的分类损失和检测框偏移损失，根据公式(3-4)、(3-5)和(3-6)计算输出网络的分类损失、检测框偏移损失以及掩码分割损失，根据公式(3-7)计算总体损失函数
Figure 462465DEST_PATH_IMAGE175
。
按照步骤3.2，设定学习率为
Figure 995078DEST_PATH_IMAGE176
=0.005，根据公式（3-8），采用随机梯度下降法，迭代更新网络模型的权重，直到损失函数值收敛。
4：疟疾检测
按照步骤4.1，设定分类阈值
Figure 397240DEST_PATH_IMAGE177
，对输入的薄血涂片图像进行细胞检测和分割。图3为某张薄血涂片图像细胞检测和分割的结果：每个矩形框对应一个细胞，将分割后的细胞以不同颜色显示在框内，并可根据矩形框上方的标签判断细胞所属的类别，其中
Figure 331698DEST_PATH_IMAGE178
表示红细胞，
Figure 652958DEST_PATH_IMAGE179
表示间日疟原虫未成熟配子体。
按照步骤4.2，统计采集的多张薄血涂片图像中红细胞和疟原虫的个数，并根据公式(4-1)计算疟原虫寄生密度。表8为某男性患者的红细胞和疟原虫的个数统计结果。
表8. 红细胞和疟原虫的个数统计
Figure 672867DEST_PATH_IMAGE180
检测到红细胞的个数
Figure 878720DEST_PATH_IMAGE181
为1409，疟原虫的个数
Figure 667684DEST_PATH_IMAGE182
为5，男性每微升血液中含有500万个红细胞，
Figure 159846DEST_PATH_IMAGE183
为
Figure 401471DEST_PATH_IMAGE184
，则每微升血液中含有17743个疟原虫：
Figure 411016DEST_PATH_IMAGE186
四、与现有技术相比本发明具有的优点及积极效果
(1)本发明提出一种基于Mask R-CNN模型的疟疾检测方法，采用更适合小目标检测任务的VoVNet-57作为Mask R-CNN的特征提取网络，加强模型提取特征的能力。
(2)本发明提出一种改进的FPN结构，在FPN的基础上增添一条右侧的连接路径，将FPN融合后的特征图再进行融合，丰富了底层特征层包含的细胞分类信息，进而提高模型检测细胞的精度。
(3)本发明使用衰减函数改进传统的非极大值抑制算法，对原本要舍弃的细胞候选框，根据交并比使用衰减函数进行置信度衰减而非直接剔除，能有效减少重叠细胞漏检的情况。
(4)本发明重新构建Mask R-CNN网络的分类损失函数，通过在细胞分类损失函数中加入损失权重和调节因子，使模型更加关注数量较少的疟原虫，并降低了红细胞对损失函数的影响，改善了因细胞类别不平衡导致检测精度不高的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1：本发明的具体步骤流程图
图2：本发明中改进的特征金字塔网络结构
图3：本发明中薄血涂片图像的细胞检测和分割结果。

Claims (6)

1.一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，其特征在于，包括以下步骤：
S1：数据预处理，在每张光学显微镜采集的薄血涂片图像上，标注不同种类、不同时期疟原虫和红细胞，对标注后的数据集进行数据增强并统一图像尺寸大小，得到薄血涂片图像训练集；
S2：特征提取和处理，构建基于改进的Mask R-CNN网络模型，对输入的薄血涂片图像进行特征提取和处理；
S3：模型训练，将步骤S1中的薄血涂片图像训练集输入步骤S2中的模型，计算损失函数并进行反向传播，迭代更新网络模型的权重；
S4：疟疾检测，将待检测的薄血涂片图像输入到步骤S3中训练好的模型，进行细胞检测和分割，并计算疟原虫寄生密度。
2.根据权利要求1所述的一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，其特征在于，所述步骤S1进一步包括以下具体步骤：
S1.1：图像标注
在采集的薄血涂片图像中标注红细胞和不同种类、不同时期的疟原虫，设采集的薄血涂片图像数据集为
Figure 599551DEST_PATH_IMAGE001
，
Figure 678365DEST_PATH_IMAGE002
，
Figure 111096DEST_PATH_IMAGE003
为图像数据集
Figure 882743DEST_PATH_IMAGE001
中未经标注的第
Figure 505485DEST_PATH_IMAGE004
个原始图像，对
Figure 60094DEST_PATH_IMAGE005
中红细胞和疟原虫以点的方式勾勒轮廓，形成闭合区域，并标注其所属细胞类别，将标注的轮廓、类别和图像信息存入json文件中，得到对应的标注数据
Figure 943737DEST_PATH_IMAGE006
，对
Figure 620706DEST_PATH_IMAGE001
中所有图像进行标注后得到标注数据集
Figure 465165DEST_PATH_IMAGE007
，
Figure 416940DEST_PATH_IMAGE008
，将图像数据集
Figure 561614DEST_PATH_IMAGE001
和标注数据集
Figure 675063DEST_PATH_IMAGE007
进行合并，得到标注的薄血涂片图像数据集
Figure 600294DEST_PATH_IMAGE009
，
Figure 762285DEST_PATH_IMAGE010
；
S1.2：数据增强
根据
Figure 823782DEST_PATH_IMAGE009
中薄血涂片图像标注的疟原虫轮廓信息对疟原虫进行分割，将分割得到的疟原虫随机旋转任意角度后复制粘贴到对应图像的其它位置，扩充疟原虫样本个数的同时增加了疟原虫所处位置的多样性，对扩充疟原虫样本后的图像通过旋转和翻转的方式进行数据增强，得到扩充后的薄血涂片图像训练集
Figure 108133DEST_PATH_IMAGE011
；
S1.3：图像尺寸缩放
对
Figure 520660DEST_PATH_IMAGE011
中的薄血涂片图像进行等比例缩放，使图像最长边为1024，并对等比例缩放后的图像用数值为0的像素填充，得到图像尺寸为1024×1024的薄血涂片图像训练集
Figure 486342DEST_PATH_IMAGE012
。
3.根据权利要求1所述的一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，其特征在于，所述步骤S2进一步包括以下具体步骤：
S2.1：薄血涂片图像特征提取
采用VoVNet-57提取薄血涂片图像特征，结合特征金字塔网络（Feature PyramidNetwork, FPN）对提取的特征进行不同尺度的融合，并在FPN的基础上增添一条右侧的连接路径，对融合后的特征图以像素叠加的方式进行再次融合，充分利用高层特征的细胞分类信息，具体步骤如下：
S2.1.1：特征提取网络的搭建
采用VoVNet-57作为特征提取网络，提取薄血涂片图像特征，VoVNet-57由Stem模块和4个阶段的OSA模块组成，其中，Stem模块由3个3×3卷积层构成，OSA模块由3×3、1×1卷积层和张量拼接层构成，每个OSA模块阶段之间采用一个步长为2的3×3最大池化层进行下采样，将VoVNet-57中第二阶段到第五阶段中各阶段最后一层输出的薄血涂片图像特征图记为
Figure 199083DEST_PATH_IMAGE013
；
S2.1.2：FPN特征融合
将步骤S2.1.1得到的薄血涂片图像特征图
Figure 795280DEST_PATH_IMAGE013
输入FPN，进行不同尺度的特征融合，FPN通过一条自顶向下的路径，将高层特征图的细胞分类信息与底层特征图的细胞定位信息相融合，可有效提高模型对细胞的检测精度，每一个自顶向下的融合过程，由一个最近邻上采样操作和一个横向连接的1×1卷积层构成，最近邻上采样操作将高层薄血涂片图像特征图分辨率放大到相邻底层薄血涂片图像特征图的尺寸，横向连接的1×1卷积层用来统一
Figure 429524DEST_PATH_IMAGE013
的通道数，将最近邻上采样得到的特征图与1×1卷积层输出的特征图进行像素叠加融合，再通过3×3卷积去除最近邻上采样带来的特征混叠效应，得到融合后的薄血涂片图像特征图
Figure 792372DEST_PATH_IMAGE014
；
S2.1.3：新增路径特征融合
在FPN的基础上增添一条右侧的连接路径，将FPN融合后的薄血涂片图像特征图以像素叠加的方式再进行融合，充分利用高层特征丰富的细胞分类信息来强化底层特征的表述能力，具体步骤如下：将
Figure 828461DEST_PATH_IMAGE015
通过四倍上采样后与
Figure 598490DEST_PATH_IMAGE016
进行像素叠加融合，再通过3×3卷积去除上采样带来的特征混叠效应，得到薄血涂片图像特征图
Figure 516767DEST_PATH_IMAGE017
，将
Figure 293093DEST_PATH_IMAGE018
通过四倍上采样后与
Figure 980427DEST_PATH_IMAGE019
进行像素叠加融合，再通过3×3卷积去除上采样带来的特征混叠效应，得到薄血涂片图像特征图
Figure 777481DEST_PATH_IMAGE020
；
S2.2：细胞候选框的生成和筛选
S2.2.1：细胞候选框的生成
区域候选网络（Region Proposal Network, RPN）使用3×3卷积作用于薄血涂片图像特征图
Figure 386317DEST_PATH_IMAGE021
上，得到更容易区分细胞和背景的特征图，并将
Figure 700755DEST_PATH_IMAGE022
上每一个像素点映射回原图，根据
Figure 711436DEST_PATH_IMAGE022
设定的对应细胞候选框尺寸{32 × 32,64 × 64}和长宽比
Figure 679392DEST_PATH_IMAGE023
分别生成3种不同大小的细胞候选框，将
Figure 509945DEST_PATH_IMAGE022
经过3×3卷积得到的特征图输入RPN分类层和回归层：分类层通过1×1卷积生成3维特征向量来表示薄血涂片图像特征图上每个像素点对应3种不同大小细胞候选框包含细胞的置信度，记为
Figure 221549DEST_PATH_IMAGE024
，回归层通过1×1卷积生成12维特征向量来表示薄血涂片图像特征图上每个像素点对应3种不同大小细胞候选框的偏移量和缩放量
Figure 86737DEST_PATH_IMAGE025
，
Figure 225594DEST_PATH_IMAGE026
和
Figure 481126DEST_PATH_IMAGE027
表示细胞候选框的中心偏移量，
Figure 730842DEST_PATH_IMAGE028
和
Figure 716116DEST_PATH_IMAGE029
表示细胞候选框长和宽的缩放量；
将生成的细胞候选框根据RPN分类层输出的置信度从高到低排序，保留排名前
Figure 963557DEST_PATH_IMAGE030
的细胞候选框（训练阶段
Figure 34282DEST_PATH_IMAGE030
为12000，检测阶段
Figure 87688DEST_PATH_IMAGE030
为6000），得到细胞候选框集合
Figure 865151DEST_PATH_IMAGE031
，
Figure 17915DEST_PATH_IMAGE032
，根据回归分支输出的偏移量和缩放量
Figure 310356DEST_PATH_IMAGE033
，采用公式(2-1)对
Figure 433033DEST_PATH_IMAGE031
中细胞候选框的位置和大小进行修正：
Figure 127320DEST_PATH_IMAGE034
(2-1)
其中，
Figure 778881DEST_PATH_IMAGE035
和
Figure 431054DEST_PATH_IMAGE036
表示细胞候选框的中心坐标，
Figure 826264DEST_PATH_IMAGE037
和
Figure 375057DEST_PATH_IMAGE038
表示细胞候选框的长和宽，
Figure 463098DEST_PATH_IMAGE039
和
Figure 730132DEST_PATH_IMAGE040
表示修正后细胞候选框的中心坐标，
Figure 866715DEST_PATH_IMAGE041
和
Figure 270014DEST_PATH_IMAGE042
表示修正后细胞候选框的长和宽；
将修正后的细胞候选框参数通过公式(2-2)转化为左上角坐标和右下角坐标的表示形式：
Figure 528957DEST_PATH_IMAGE043
(2-2)
其中，
Figure 955391DEST_PATH_IMAGE044
和
Figure 692403DEST_PATH_IMAGE045
表示细胞候选框的左上角坐标，
Figure 215788DEST_PATH_IMAGE046
和
Figure 583315DEST_PATH_IMAGE047
表示细胞候选框的右下角坐标；
S2.2.2：细胞候选框的筛选
为减少细胞漏检的情况，使用衰减函数改进的非极大值抑制算法进行细胞候选框的筛选，具体步骤如下：
取
Figure 559362DEST_PATH_IMAGE048
中置信度最高的细胞候选框，构成对比框
Figure 37747DEST_PATH_IMAGE049
，并将
Figure 681218DEST_PATH_IMAGE049
移入细胞候选框结果集合
Figure 954068DEST_PATH_IMAGE050
；遍历
Figure 682989DEST_PATH_IMAGE048
中剩余的细胞候选框，计算当前细胞候选框
Figure 496225DEST_PATH_IMAGE051
与对比框
Figure 994202DEST_PATH_IMAGE049
的交并比（Intersection over Union, IoU），IoU计算公式如下：
Figure 500270DEST_PATH_IMAGE052
(2-3)
其中，
Figure 645382DEST_PATH_IMAGE053
为第
Figure 527887DEST_PATH_IMAGE054
个细胞候选框与对比框
Figure 818054DEST_PATH_IMAGE049
面积的交集，
Figure 167127DEST_PATH_IMAGE055
为第
Figure 339482DEST_PATH_IMAGE054
个细胞候选框与对比框
Figure 291258DEST_PATH_IMAGE049
面积的并集；
若细胞候选框
Figure 435931DEST_PATH_IMAGE056
与对比框
Figure 18222DEST_PATH_IMAGE049
的IoU值大于给定的阈值
Figure 740191DEST_PATH_IMAGE057
，则不直接剔除候细胞选框
Figure 698919DEST_PATH_IMAGE056
，而是根据公式(2-4)降低
Figure 25995DEST_PATH_IMAGE056
的置信度为
Figure 310346DEST_PATH_IMAGE058
，使原本检测出的细胞不被漏检：
Figure 660556DEST_PATH_IMAGE059
(2-4)
其中，
Figure 422976DEST_PATH_IMAGE060
为细胞候选框
Figure 604558DEST_PATH_IMAGE061
的前景置信度得分，
Figure 997494DEST_PATH_IMAGE062
为可调节置信度衰减程度的衰减系数，根据经验
Figure 897317DEST_PATH_IMAGE062
取值为0.5，
Figure 463427DEST_PATH_IMAGE063
为重置后的细胞候选框
Figure 437199DEST_PATH_IMAGE061
的前景置信度得分；
重复执行以上步骤(1)和(2)，直到细胞候选框集合
Figure 63353DEST_PATH_IMAGE064
为空，最终
Figure 450472DEST_PATH_IMAGE065
留下的前
Figure 161551DEST_PATH_IMAGE066
个候选框（训练阶段
Figure 317726DEST_PATH_IMAGE066
为2000，检测阶段
Figure 52464DEST_PATH_IMAGE066
为1000），即为去除冗余后的细胞候选框；
S2.3：细胞候选框特征图的生成
将步骤S2.1.3融合后的薄血涂片图像特征图
Figure 661300DEST_PATH_IMAGE067
和步骤2.2.2去除冗余后的细胞候选框，输入到感兴趣区域对齐（Region of Interest Align, RoI Align）层，根据后续输出分支网络中输入大小的限制，将不同大小的细胞候选框对应的特征区域池化为7×7和14×14的固定尺寸，具体步骤如下：将细胞候选框对应的特征区域划分为7×7和14×14个单元，每个单元平均分为4个小单元，每个小单元的中心设为采样点，根据双线性插值法求出采样点的特征值，对每个单元内的采样点进行最大值池化操作，生成7×7和14×14尺寸的细胞候选框特征图；
S2.4：细胞候选框的结果预测
将步骤S2.3输出的固定尺寸的细胞候选框特征图输入到输出分支网络进行细胞检测和分割，输出分支网络包含分类回归网络和掩码生成网络：分类回归网络将步骤S2.3得到的7×7尺寸的细胞候选框特征图展平为一维向量，再通过两个1024维的全连接层进行细胞检测，掩码生成网络将步骤S2.3得到的14×14尺寸的细胞候选框特征图经过4个卷积核大小为3×3、通道数为256的卷积层，再经过2×2的反卷积操作将细胞候选框特征图尺寸扩充为28×28，最后经过1个卷积核大小为1×1、通道数为
Figure 834792DEST_PATH_IMAGE068
的卷积层，得到
Figure 783157DEST_PATH_IMAGE068
个28×28的细胞分割掩码，
Figure 751113DEST_PATH_IMAGE068
为细胞类别数。
4.根据权利要求1所述的一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，其特征在于，所述步骤S3进一步包括以下具体步骤：
S3.1：损失函数的构建和计算
重新构建损失函数，在细胞分类损失函数中加入损失权重和调节因子，降低红细胞对网络参数的贡献，改善细胞类别不均衡导致检测精度不高的情况，重构后的损失函数包括RPN网络中的分类损失
Figure 847245DEST_PATH_IMAGE069
和检测框偏移损失
Figure 965373DEST_PATH_IMAGE070
、输出分支网络的细胞分类损失
Figure 96140DEST_PATH_IMAGE071
、细胞检测框偏移损失
Figure 234998DEST_PATH_IMAGE072
和细胞掩码分割损失
Figure 756109DEST_PATH_IMAGE073
五个部分：
(1)RPN网络分类损失
Figure 5825DEST_PATH_IMAGE074
，计算公式如下：
Figure 991098DEST_PATH_IMAGE075
(3-1)
其中，
Figure 35277DEST_PATH_IMAGE076
为训练RPN网络时一个mini-batch中采样细胞候选框的数量；
Figure 106002DEST_PATH_IMAGE077
为细胞候选框的索引；
Figure 159408DEST_PATH_IMAGE078
为第
Figure 936871DEST_PATH_IMAGE077
个细胞候选框的真实标签，当第
Figure 417531DEST_PATH_IMAGE077
个细胞候选框含有细胞时，则
Figure 647656DEST_PATH_IMAGE079
；当第
Figure 239174DEST_PATH_IMAGE077
个细胞候选框不含有细胞时，则
Figure 342915DEST_PATH_IMAGE080
；
Figure 994476DEST_PATH_IMAGE081
为第
Figure 570951DEST_PATH_IMAGE077
个细胞候选框中含有细胞的置信度；
(2)RPN网络检测框偏移损失
Figure 638264DEST_PATH_IMAGE082
，计算公式如下：
Figure 718215DEST_PATH_IMAGE083
(3-2)
其中，
Figure 540678DEST_PATH_IMAGE084
为第
Figure 807711DEST_PATH_IMAGE077
个细胞候选框与细胞检测框之间的中心偏移量和长宽缩放量，
Figure 741032DEST_PATH_IMAGE085
为第
Figure 409911DEST_PATH_IMAGE077
个细胞候选框与细胞真实框之间的中心偏移量和长宽缩放量，
Figure 606537DEST_PATH_IMAGE086
为
Figure 95287DEST_PATH_IMAGE087
函数，定义如下：
Figure 35561DEST_PATH_IMAGE088
(3-3)
(3)细胞分类损失
Figure 558947DEST_PATH_IMAGE089
，计算公式如下：
Figure 723212DEST_PATH_IMAGE090
(3-4)
其中，
Figure 902520DEST_PATH_IMAGE091
为训练输出分支网络时一个mini-batch中采样细胞候选框的数量；
Figure 443223DEST_PATH_IMAGE092
为细胞类别数；
Figure 821115DEST_PATH_IMAGE093
为第
Figure 31647DEST_PATH_IMAGE094
类细胞的候选框数量；
Figure 494990DEST_PATH_IMAGE095
表示第
Figure 777066DEST_PATH_IMAGE077
个细胞候选框为第
Figure 275044DEST_PATH_IMAGE094
类细胞的置信度，
Figure 781112DEST_PATH_IMAGE096
表示第
Figure 997329DEST_PATH_IMAGE077
个细胞候选框的真实标签，
Figure 814588DEST_PATH_IMAGE097
时属于第
Figure 167072DEST_PATH_IMAGE094
类细胞，
Figure 844041DEST_PATH_IMAGE098
Figure 219659DEST_PATH_IMAGE099
时不属于第
Figure 905855DEST_PATH_IMAGE094
类细胞；
Figure 112845DEST_PATH_IMAGE100
为损失权重，当某类细胞数量较少时，损失权重会相对较大，使模型更加关注数量少的细胞类别；
Figure 226295DEST_PATH_IMAGE101
为调节因子，易分类的红细胞置信度
Figure 823629DEST_PATH_IMAGE102
接近于1，
Figure 47937DEST_PATH_IMAGE103
会接近于0，可降低红细胞对损失函数的影响，根据经验
Figure 375014DEST_PATH_IMAGE104
取值为2；
(4)细胞检测框偏移损失
Figure 659364DEST_PATH_IMAGE105
，计算公式如下：
Figure 743995DEST_PATH_IMAGE106
(3-5)
其中，
Figure 568732DEST_PATH_IMAGE107
为第
Figure 484735DEST_PATH_IMAGE077
个细胞候选框的真实标签，
Figure 612091DEST_PATH_IMAGE108
表示第
Figure 246335DEST_PATH_IMAGE077
个细胞候选框与细胞检测框之间的中心偏移量和长宽缩放量，
Figure 609183DEST_PATH_IMAGE109
表示第
Figure 645272DEST_PATH_IMAGE077
个细胞候选框与细胞真实框之间的中心偏移量和长宽缩放量，
Figure 209108DEST_PATH_IMAGE110
为
Figure 330648DEST_PATH_IMAGE111
函数；
(5)细胞分割损失
Figure 700450DEST_PATH_IMAGE112
，计算公式如下：
Figure 794308DEST_PATH_IMAGE113
(3-6)
其中，
Figure 591362DEST_PATH_IMAGE114
为细胞掩码分辨率的大小；
Figure 200198DEST_PATH_IMAGE115
为细胞掩码中第
Figure 108111DEST_PATH_IMAGE077
个像素的真实标签，
Figure 56476DEST_PATH_IMAGE116
Figure 24432DEST_PATH_IMAGE117
时属于第
Figure 120564DEST_PATH_IMAGE118
类细胞，
Figure 832168DEST_PATH_IMAGE119
时不属于第
Figure 649687DEST_PATH_IMAGE118
类细胞；
Figure 788545DEST_PATH_IMAGE120
为细胞掩码中第
Figure 106393DEST_PATH_IMAGE077
个像素为第
Figure 621688DEST_PATH_IMAGE118
类细胞的置信度；
(6)总体损失
Figure 544645DEST_PATH_IMAGE121
是以上RPN网络中的分类损失
Figure 854404DEST_PATH_IMAGE122
和检测框偏移损失
Figure 659549DEST_PATH_IMAGE123
、输出网络的细胞分类损失
Figure 712955DEST_PATH_IMAGE124
、细胞检测框偏移损失
Figure 552735DEST_PATH_IMAGE125
以及细胞掩码分割损失
Figure 971078DEST_PATH_IMAGE126
五个部分之和，计算公式如下：
Figure 529099DEST_PATH_IMAGE127
(3-7)
S3.2：网络权重的迭代更新
将步骤S1中的薄血涂片图像训练集
Figure 120617DEST_PATH_IMAGE128
输入步骤S2中构建的Mask R-CNN网络模型进行训练，在训练网络模型时，首先加载预训练权重文件，作为网络模型初始化参数，并对FPN基础上增添的右侧连接路径进行随机初始化参数，接着对步骤S3.1中总体损失函数的各参数计算梯度值，采用随机梯度下降算法（Stochastic Gradient Descent, SGD）迭代更新网络模型的权重参数：
Figure 80483DEST_PATH_IMAGE129
(3-8)
其中，
Figure 341831DEST_PATH_IMAGE130
为当前待更新的权重参数，
Figure 121568DEST_PATH_IMAGE131
为学习率，
Figure 516777DEST_PATH_IMAGE132
为总体损失函数关于
Figure 331150DEST_PATH_IMAGE133
的梯度，
Figure 91295DEST_PATH_IMAGE134
为
Figure 92749DEST_PATH_IMAGE135
更新后的参数。
5.根据权利要求1所述的一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，其特征在于，所述步骤S4进一步包括以下具体步骤：
S4.1：细胞的检测和分割
将待检测的薄血涂片图像输入到训练好的模型，得到细胞的预测信息：检测框对应的细胞类别置信度、位置坐标和细胞掩码，设定分类阈值
Figure 291649DEST_PATH_IMAGE136
，剔除细胞类别置信度达不到分类阈值的检测框，对同一类别的细胞检测框使用置信度衰减的方式进行非极大值抑制，得到最优细胞检测框，在检测的薄血涂片图像中，以矩形框的方式标注最优检测框的位置，在矩形框上方标注细胞类别和置信度，并对细胞进行像素级分割；
S4.2：疟原虫寄生密度的计算
在计算疟原虫寄生密度时，需检测超过1000个红细胞，且要求使用光学显微镜采集的薄血涂片图像无视野重叠，按照步骤S4.1，对采集的多张无重叠视野的薄血涂片图像进行细胞检测和分割，并统计疟原虫和红细胞的个数，根据公式(4-1)计算疟原虫的寄生密度
Figure 960528DEST_PATH_IMAGE137
：
Figure 953892DEST_PATH_IMAGE138
(4-1)
其中，
Figure 645904DEST_PATH_IMAGE139
为检测疟原虫个数；
Figure 445233DEST_PATH_IMAGE140
为检测红细胞个数；
Figure 703039DEST_PATH_IMAGE141
为每微升血液中的平均红细胞数，以每微升血液中男性500万个红细胞、女性450万个红细胞进行计算。
6.根据权利要求2，3，4或5所述的一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法，其特征在于：
步骤S1.1中，数据集
Figure 539408DEST_PATH_IMAGE142
为云南省寄生虫病防治所提供的253张薄血涂片图像，不同种类、不同时期疟原虫具体为：间日疟原虫大滋养体、间日疟原虫环状体、间日疟原虫未成熟配子体、间日疟原虫成熟配子体、间日疟原虫未成熟裂殖体和间日疟原虫成熟裂殖体；
步骤S2.2.2中，设定IoU阈值
Figure 515454DEST_PATH_IMAGE143
=0.5；
步骤S3.1中，设定学习率
Figure 852895DEST_PATH_IMAGE144
=0.005；
步骤S4.1中，设定分类阈值
Figure 965207DEST_PATH_IMAGE145
。
CN202210668281.2A 2022-06-14 2022-06-14 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法 Pending CN115049613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210668281.2A CN115049613A (zh) 2022-06-14 2022-06-14 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210668281.2A CN115049613A (zh) 2022-06-14 2022-06-14 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法

Publications (1)

Publication Number Publication Date
CN115049613A true CN115049613A (zh) 2022-09-13

Family

ID=83161981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210668281.2A Pending CN115049613A (zh) 2022-06-14 2022-06-14 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法

Country Status (1)

Country Link
CN (1) CN115049613A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331113A (zh) * 2022-10-12 2022-11-11 浙江华是科技股份有限公司 船舶目标检测模型训练方法、系统及计算机存储介质
CN116309543A (zh) * 2023-05-10 2023-06-23 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331113A (zh) * 2022-10-12 2022-11-11 浙江华是科技股份有限公司 船舶目标检测模型训练方法、系统及计算机存储介质
CN116309543A (zh) * 2023-05-10 2023-06-23 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
CN116309543B (zh) * 2023-05-10 2023-08-11 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备

Similar Documents

Publication Publication Date Title
CN113344849B (zh) 一种基于YOLOv5的微乳头检测系统
CN109829893B (zh) 一种基于注意力机制的缺陷目标检测方法
CN115049613A (zh) 一种基于Mask R-CNN的疟疾血涂片细胞检测和分割方法
CN111445478B (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
TWI809410B (zh) 物體偵測方法及其卷積神經網路
CN113591795A (zh) 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN113052834A (zh) 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
Xu et al. An improved faster R-CNN algorithm for assisted detection of lung nodules
CN111709929A (zh) 一种肺部癌变区域分割与分类检测系统
CN110349167A (zh) 一种图像实例分割方法及装置
CN111652864A (zh) 一种基于条件式生成对抗网络的铸件缺陷图像生成方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
WO2022152009A1 (zh) 目标检测方法、装置、设备以及存储介质
CN108830842A (zh) 一种基于角点检测的医学图像处理方法
CN117854072B (zh) 一种工业视觉缺陷自动标注方法
CN114897845A (zh) 一种基于模型压缩的pcb板缺陷检测方法
CN113781468A (zh) 一种基于轻量级卷积神经网络的舌图像分割方法
CN114882011A (zh) 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
CN117710760A (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
CN113096080A (zh) 图像分析方法及系统
CN113033371A (zh) 基于csp模型的多级特征融合行人检测方法
CN116721091A (zh) 一种布匹瑕疵检测方法、装置及可读介质
Kolokolnikov et al. Comparative study of data augmentation strategies for white blood cells classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination