CN117152746A - 一种基于yolov5网络的宫颈细胞分类参数获取方法 - Google Patents

一种基于yolov5网络的宫颈细胞分类参数获取方法 Download PDF

Info

Publication number
CN117152746A
CN117152746A CN202311403586.1A CN202311403586A CN117152746A CN 117152746 A CN117152746 A CN 117152746A CN 202311403586 A CN202311403586 A CN 202311403586A CN 117152746 A CN117152746 A CN 117152746A
Authority
CN
China
Prior art keywords
training
current
model
training image
yolov5
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311403586.1A
Other languages
English (en)
Other versions
CN117152746B (zh
Inventor
傅蓉
胡雯然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN202311403586.1A priority Critical patent/CN117152746B/zh
Publication of CN117152746A publication Critical patent/CN117152746A/zh
Application granted granted Critical
Publication of CN117152746B publication Critical patent/CN117152746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于YOLOV5网络的宫颈细胞分类参数获取方法，将待测图像输入最优模型中进行识别得到分类参数；所述最优模型的获取方法具体如下：S1、将数据集中的每张图像中的细胞按类别进行分类并得到应标签，然后再将数据集分为验证集和训练集；S2、对所述训练集多次输入YOLOv5网络模型中进行训练得到最优模型，且所述训练集在每次输入YOLOv5网络模型前均进行数据增强处理；所述分类参数为类别和置信度。该基于YOLOV5网络的宫颈细胞分类参数获取方法，通过数据增强处理可能更好地模拟细胞重叠、遮挡等情况，进而让模型学习到异常细胞的深度特征，本发明的泛化性能更强且对异常细胞识别与分类更精准、高效。

Description

一种基于YOLOV5网络的宫颈细胞分类参数获取方法
技术领域
本发明涉及细胞检测技术领域，特别涉及一种基于YOLOV5网络的宫颈细胞分类参数获取方法。
背景技术
早期宫颈细胞图像研究依赖于准确的细胞分割和手工特征提取，再在此基础上构建自动检测模型。使用此类方法设计的模型结构复杂但泛化能力弱、难以提升精度。随着深度学习的发展，卷积神经网络能够准确地提取出图像中的深层特征，模型精度更高、泛化能力更强。
基于卷积神经网络的目标检测模型主要分为两阶段检测算法（two-stage）和单阶段检测算法（one-stage）两大类。以faster R-CNN为代表的两阶段检测算法通过RPN层网络生成目标建议框，再利用建议框区域的卷积特征进行分类与更精准的目标框定位；以YOLO为代表的单阶段检测算法将目标检测处理为回归问题，在输出层一次性预测目标位置与类别。
Yixiong Liang等人通过获取不同类别单个宫颈细胞的特征信息与faster R-CNN生成的目标建议框区域的卷积特征进行对比学习，从而提升模型精度，但是没有改进检测模型对图像深度特征的提取能力；Lei Cao等人通过添加注意力机制提升模型精度，但仅对图像内异常细胞进行了识别并没有实现具体类别判断。且这些方法基于faster R-CNN，需要进行RPN与RCNN两个阶段卷积，因此模型检测速度较低。
YOLO通过设计端到端的一步检测系统，并经历多次版本更迭，速度和精度上都有较好成果，逐渐成为目标检测主流框架。其中，YOLOv3基于残差网络设计出DarkNet53网络用于特征提取，并引入特征金字塔实现多尺度预测，改善了单阶段检测算法在小目标检测的缺陷。 Yao Xiang等人为YOLOv3模型添加额外的轻量级分类模型，提高对检测出的单细胞图像分类准确性，但丧失单阶段检测算法端到端的便捷性； Dongyao Jia等人提出了一种基于改进YOLOv3算法的宫颈细胞检测算法，融合dense block和S3Pool改进特征提取网络，并用Focal Loss和balanced cross entropy改进损失函数，为降低参数量减少了检测层和初始锚框数量，但这使得模型受标签框质量影响较大，模型泛化性能不够。
因此，针对现有技术不足，提供一种基于YOLOV5网络的宫颈细胞分类参数获取方法以解决现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供一种基于YOLOV5网络的宫颈细胞分类参数获取方法。该基于YOLOV5网络的宫颈细胞分类参数获取方法泛化性能更强且对异常细胞识别与分类更精准、高效。
本发明的上述目的通过以下技术措施实现：
提供一种基于YOLOV5网络的宫颈细胞分类参数获取方法，将待测图像输入最优模型中进行识别得到分类参数；
所述最优模型的获取方法具体如下：
S1、将数据集的每张图像中的细胞按类别进行分类得到应标签，然后再将数据集划分为验证集和训练集；
S2、将所述训练集多次输入YOLOv5网络模型中进行训练得到所述最优模型，且所述训练集在每次输入YOLOv5网络模型前均进行数据增强处理。
所述分类参数为类别和置信度。
优选的，上述类别为ascus、asch、lsil、hsil、scc、agc、trich、cand、flora、herps和actinomyces。
优选的，上述YOLOv5网络模型为将YOLOv5基础网络模型经过改进的改进后YOLOv5网络模型，改进的方法为将YOLOv5基础网络模型的Backbone部分中最后一个特征提取层替换成BoT3模块，并对YOLOv5基础网络模型的Head部分进行解耦。
优选的，上述解耦为将目标定位和分类任务视为两个任务，在分类任务和目标定位任务进行回归前各添加一个3*3卷积层，而且在目标定位任务分支的卷积层额外添加一个CBAM注意力模块。
在所述BoT3模块中引入二维位置编码。
优选的，上述S2中数据增强处理按如下步骤进行：
A.1、对所述训练集中的每个训练图像分别随机生成一个第一rand值，所述第一rand值的范围为大于0且小于1，判断第一rand值的大小，当第一rand值小于0.5时，进入A.2；当第一rand值大于等于0.5时，进入A.3；
A.2、对当前训练图像进行mosaic处理，处理完毕后进入A.4；
A.3、对当前训练图像进行randon_perspective处理，处理完毕后进入A.6；
A.4、随机生成第二rand值，所述第二rand值的范围为大于0且小于1，判断第二rand值的大小，当第二rand值小于0.3时，进入A.5；当第二rand值大于等于0.3时，进入A.6；
A.5、对当前训练图像进行Mixup处理，处理完毕后进入A.6；
A.6、进行Albumentations处理，处理完毕后进入A.7；
A.7、进行Augment处理，处理完毕后进入A.8；
A.8、得到数据增强后的训练图像。
优选的，上述A.2具体为将当前训练图像及在所述训练集随机抽取另外三张训练图像，将这四张训练图像随机切分不同的画面并拼接在一起作为新的训练图像，然后将新的训练图像作为当前训练图像进入A.4。
优选的，上述A.3具体为当前训练图像从前至后依次进行旋转操作、平移操作、缩放操作、剪切操作和透视变换操作。
优选的，上述A.5具为将当前训练图像及在所述训练集中随机抽取另外一张训练图像按照比例混合生成新的训练图像，然后将新的训练图像作为当前训练图像进入A.6。
优选的，上述A.6具体为当前训练图像以0.5的概率调用模糊处理，以0.4的概率添加高斯噪声，以0.4的概率进行CLAHE自适应直方图均衡，处理完毕后进入A.7。
优选的，上述A.7具体为分别以0.5的概率对当前训练图像调用上下翻转和左右翻转，并在1±0.5范围内对当前训练图像的色相进行处理，在1±0.7范围内对当前训练图像的饱和度进行处理、在1±0.4范围内对当前训练图像的色明度进行处理，处理完毕后进入A.8。
优选的，上述旋转操作为在旋转角度库中随机抽取一个旋转角度，然后在0°～5°范围内随机抽到一个随机角度θ，并对当前训练图像进行旋转角度加上随机角度θ旋转，且所述旋转角度库的旋转角度有0°、90°、-90°和180°。
优选的，上述平移操作为以当前训练图像的边长进行β倍移动，且0≤β≤0.2。
优选的，上述缩放操作为将当前训练图像进行0.5倍～1.5倍范围内的缩放。
优选的，上述剪切操作为对当前训练图像的边角在0°～5°范围内随机抽到一个随机角度θ进行裁剪。
优选的，上述透视变换操作为以当前训练图像边长的0～0.00005倍范围内进行透视变换。
优选的，上述S2中对所述YOLOv5网络模型训练按如下步骤进行：
B1、设置YOLOv5网络模型的训练参数，将训练次数定义为epoch，令epoch=0进入B2，所述训练参数为Batch_size、最大训练次数、学习率和优化器类型；
B2、将数据增强后的训练图像进行缩放，并输入YOLOv5网络模型并通过损失函数进行处理，得到初级模型及模型权重；
B3、将所述验证集的图像进行缩放后输入B2得到的初级模型进行精度验证，得到查准率、查全率、均值平均精度mAP@0.5和不同阈值平均mAP@.5:.95，通过均值平均精度mAP@0.5和不同阈值平均mAP@.5:.95按照1:9的权重计算得到当前精度F并保存；
B3、将当前精度F与全局最佳精度Fbest进行比较，当当前精度F大于前一次训练的当前精度F或者不存在前一次训练的当前精度F时，将当前精度F定义为全局最佳精度Fbest；
B4、判断epoch的值，当epoch为最大训练次数时，则进入B7；当否时则进入B5；
B5、以当前epoch为起点判断全局最佳精度Fbest在之前100次训练中是否一直保持不变，当是则进入B7，否则进入B6；
B6、令epoch=epoch+1返回B2；
B7、将当前初级模型定义为最优模型，当前模型权重定义为最优模型权重。
优选的，上述损失函数为检测框损失L loc 、分类损失L cls 和置信度损失L conf 的加权和，由式Ⅰ所示；
……式Ⅰ；
其中，为检测框损失权重，且为0.05；为分类损失权重，且为1.0；为置信度损失权重，为2.0。
所述
检测框损失L loc 由式Ⅱ、式Ⅲ、式Ⅳ和式Ⅴ得到；
……式Ⅱ；
……式Ⅲ；
……式Ⅳ；
……式Ⅴ；
其中IoU为真实目标边界框和预测边界框的交并比，为IOU的优化函数，为预测边界框和真实目标边界框的宽高比一致性参数，为预测边界框的宽， 为预测边界框的高， 为真实目标边界框的宽， 为真实目标边界框的高，为平衡参数，b为预测中心坐标的参数，为真实目标边界框中心坐标的参数，为两个中心点距离。
所述分类损失L cls 由式Ⅵ和式Ⅶ得到；
……式Ⅵ；
……式Ⅶ；
其中，i表示预测结果中第i个预测边界框，为真实标签，为预测的类别，N为样本总量，nc为样本，ε为标签平滑参数，且ε为0.1，为经过标签平滑后新的标签，K为样本类别数。
所述置信度损失L conf 由式Ⅷ得到；
……式Ⅷ；
其中为预测的置信度，为由式（Ⅲ）得到的交并比值即真实置信度。
优选的，上述Batch_size为16。
优选的，上述最大训练次数为300。
优选的，上述学习率为0.0001。
优选的，上述优化器类型为adam。
本发明的一种基于YOLOV5网络的宫颈细胞分类参数获取方法，将待测图像输入最优模型中进行识别得到分类参数；所述最优模型的获取方法具体如下：S1、将数据集的每张图像中的细胞按类别进行分类得到应标签，然后再将数据集划分为验证集和训练集；S2、将所述训练集多次输入YOLOv5网络模型中进行训练得到所述最优模型，且所述训练集在每次输入YOLOv5网络模型前均进行数据增强处理；所述分类参数为类别和置信度。该基于YOLOV5网络的宫颈细胞分类参数获取方法，通过数据增强处理可能更好地模拟细胞重叠、遮挡等情况，进而让模型学习到异常细胞的深度特征，本发明的泛化性能更强且对异常细胞识别与分类更精准、高效。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1为本发明基于YOLOV5网络的宫颈细胞分类参数获取方法的流程图。
图2为训练集的数据增强的流程图。
图3为最优模型的获取方法流程图。
图4为宫颈细胞原始图像。
图5为对图4分类后的图像。
图6为宫颈细胞图像中各种细胞类别。
图7为YOLOv5基础网络模型的结构图。
图8为本发明的改进的网络模型的结构图。
图9为mosaic处理后的训练图像。
图10为实施例2的最优模型测试结果每类细胞的AP曲线图。
图11为实施例2最优模型检测框置信度大于0.5，类别置信度大于0.3时的混淆函数。
图12为实施例2测试集中的其中一张图像。
图13为图12经最优模型识别后的图像。
具体实施方式
结合以下实施例对本发明的技术方案作进一步说明。
实施例1
一种基于YOLOV5网络的宫颈细胞分类参数获取方法，如图1-9所示，将待测图像输入最优模型中进行识别得到分类参数；其中，分类参数为类别和置信度。
其中最优模型的获取方法具体如下：
S1、将数据集的每张图像中的细胞按类别进行分类并得到应标签，然后再将数据集分为验证集和训练集；其中类别为ascus、asch、lsil、hsil、scc、agc、trich、cand、flora、herps和actinomyces；
S2、将训练集多次输入YOLOv5网络模型中进行训练得到最优模型，且训练集在每次输入YOLOv5网络模型前均进行数据增强处理。
本发明的YOLOv5网络模型（如图8）为将YOLOv5基础网络模型经过改进的改进后YOLOv5网络模型，改进的方法为将YOLOv5基础网络模型的Backbone部分中最后一个特征提取层C3替换成BoT3模块，并对YOLOv5基础网络模型的Head部分进行解耦。解耦为将目标定位和分类任务视为两个任务，在分类任务和目标定位任务进行回归前各添加一个3*3卷积层，而且在目标定位任务分支的卷积层额外添加一个CBAM注意力模块；在BoT3模块中引入二维位置编码。
需要说明的是，通过将YOLOv5基础网络模型的Backbone部分中最后一个特征提取层C3替换成BoT3模块能够获取更多全局特征，更好地将transformer和CNN结合提升模型全局和局部特征提取能力，再将Backbone生成的包含全局特征和局部特征输入后续的多尺度特征融合处理。Transformer设计的自注意力机制可以直接计算任意两个位置之间的依赖关系，使得模型能够获取更多长距离信息，从而更好地捕获全局信息。传统VisionTransformer使用 Layer Normalization进行归一化,而BoT3使用 Batch Normalization，并结合位置特征作为自注意力，增加模型对位置特征的学习，提升模型精确度同时保证较快的模型训练速度。本发明对head部分进行解耦，在为分类和定位任务进行回归前各添加一个3*3卷积层，为两个任务分别提取特征，实现让分类任务学习纹理内容、定位任务学习边缘信息，进而提高模型泛化能力；由于定位任务比分类任务需要更多纹理细节和边界信息来预测，为定位任务分支的卷积层额外添加一个CBAM注意力模块。
其中S2中数据增强处理按如下步骤进行：
A.1、对训练集中的每张训练图像分别随机生成一个第一rand值，第一rand值的范围为大于0且小于1，判断第一rand值的大小，当第一rand值小于0.5时，进入A.2；当第一rand值大于等于0.5时，进入A.3；
A.2、对当前训练图像进行mosaic处理，处理完毕后进入A.4；
A.3、对当前训练图像进行randon_perspective处理，处理完毕后进入A.6；
A.4、随机生成第二rand值，第二rand值的范围为大于0且小于1，判断第二rand值的大小，当第二rand值小于0.3时，进入A.5；当第二rand值大于等于0.3时，进入A.6；
A.5、对当前训练图像进行Mixup处理，处理完毕后进入A.6；
A.6、进行Albumentations处理，处理完毕后进入A.7；
A.7、进行Augment处理，处理完毕后进入A.8；
A.8、得到数据增强后的训练图像。
本发明的A.2具体为将当前训练图像及在训练集随机抽取另外三张训练图像，将这四张训练图像随机切分不同的画面并拼接在一起作为新的训练图像，如图9所示，在图9中的3表示为细胞类别hsil，4表示为细胞类别scc，5表示为细胞类别agc，然后将新的训练图像作为当前训练图像进入A.4。
本发明的A.3具体为当前训练图像从前至后依次进行旋转操作、平移操作、缩放操作、剪切操作和透视变换操作；其中，旋转操作为在旋转角度库中随机抽取一个旋转角度，然后在0°～5°范围内随机抽到一个随机角度θ，并对当前训练图像进行旋转角度加上随机角度θ旋转，且旋转角度库的旋转角度有0°、90°、-90°和180°；其中，平移操作为以当前训练图像的边长进行β倍移动，且0≤β≤0.2；其中，缩放操作为将当前训练图像进行0.5倍～1.5倍范围内的缩放；其中，剪切操作为对当前训练图像的边角在0°～5°范围内随机抽到一个随机角度θ进行裁剪；其中，透视变换操作为以当前训练图像边长的0～0.00005倍范围内进行透视变换。
本发明的A.5具为将当前训练图像及在训练集中随机抽取另外一张训练图像按照比例混合生成新的训练图像，然后将新的训练图像作为当前训练图像进入A.6。
本发明的A.6具体为当前训练图像以0.5的概率调用模糊处理，以0.4的概率添加高斯噪声，以0.4的概率进行CLAHE自适应直方图均衡，处理完毕后进入A.7。
本发明的A.7具体为分别以0.5的概率对当前训练图像调用上下翻转和左右翻转，并在1±0.5范围内对当前训练图像的色相进行处理，在1±0.7范围内对当前训练图像的饱和度进行处理、在1±0.4范围内对当前训练图像的色明度进行处理，处理完毕后进入A.8。
需要说明的是，本发明通过albumentations处理可以模拟出不同采样画质，提升模型对纹理的提取能力。通过mixup处理，可以对图像级数据增强，模拟细胞堆叠、遮挡等情况，提升数据集背景复杂度和模型对检测目标学习能力。
通过Mosaic处理能够丰富检测物体的背景，同时提高模型对训练集中数量较少的目标类别的学习概率；还需要强调的是在Mosaic处理中保留切分后在画面内的标签进行拼接生成新图像的目标标签。Mosaic处理的具体是在四张图像中的每张图像切分范围根据随机生成的mosaic center决定。mosaic center为在输出图片上随机生成的一点，然后沿着这点画十字，将四张图像（大小不变）取对应范围内的内容分别填入划分出的四个区域，如下图所示。
通过Mixup处理模拟细胞堆叠的情况，提高训练集图像的背景复杂度。
Albumentations处理的作用是模拟不同采样画质，提升模型对纹理的提取能力。
本发明的S2中对YOLOv5网络模型按如下步骤进行：
B1、设置YOLOv5网络模型的训练参数，将训练次数定义为epoch，令epoch=0进入B2，训练参数为Batch_size、最大训练次数、学习率和优化器类型；其中，Batch_size为16；最大训练次数为300；学习率为0.0001；优化器类型为adam；
B2、将数据增强后的训练图像进行缩放，并输入YOLOv5网络模型并通过损失函数进行处理，得到初级模型及模型权重；
B3、将验证集的图像进行缩放后输入B2得到的初级模型进行精度验证，得到查准率、查全率、均值平均精度mAP@0.5和不同阈值平均mAP@.5:.95，通过均值平均精度mAP@0.5和不同阈值平均mAP@.5:.95按照1:9的权重计算得到当前精度F并保存；
B3、将当前精度F与全局最佳精度Fbest进行比较，当当前精度F大于前一次训练的当前精度F或者不存在前一次训练的当前精度F时，将当前精度F定义为全局最佳精度Fbest；
B4、判断epoch的值，当epoch为最大训练次数时，则进入B7；当否时则进入B5；
B5、以当前epoch为起点判断全局最佳精度Fbest在之前100次训练中是否一直保持不变，当是则进入B7，否则进入B6；
B6、令epoch=epoch+1返回B2；
B7、将当前初级模型定义为最优模型，当前模型权重定义为最优模型权重。
本发明的损失函数为检测框损失L loc 、分类损失L cls 和置信度损失L conf 的加权和，由式Ⅰ所示；
……式Ⅰ；
其中，为检测框损失权重，且为0.05；为分类损失权重，且为1.0；为置信度损失权重，为2.0。
其中，检测框损失L loc 由式Ⅱ、式Ⅲ、式Ⅳ和式Ⅴ得到；
……式Ⅱ；
……式Ⅲ；
……式Ⅳ；
……式Ⅴ；
其中IoU为真实目标边界框和预测边界框的交并比，为IOU的优化函数，为预测边界框和真实目标边界框的宽高比一致性参数，为预测边界框的宽， 为预测边界框的高， 为真实目标边界框的宽， 为真实目标边界框的高，为平衡参数，b为预测中心坐标的参数，为真实目标边界框中心坐标的参数，为两个中心点距离。
分类损失L cls 由式Ⅵ和式Ⅶ得到；
……式Ⅵ；
……式Ⅶ；
其中，i表示预测结果中第i个预测边界框，为真实标签，为预测的类别，N为样本总量，nc为样本，ε为标签平滑参数，且ε为0.1，为经过标签平滑后新的标签，K为样本类别数。
置信度损失L conf 由式Ⅷ得到；
……式Ⅷ；
其中为预测的置信度，为由式（Ⅲ）得到的交并比值即真实置信度。
需要说明的是，损失函数用于模型训练过程中权重参数反馈，提高模型准确性，但由于异常细胞类别多且不同类别内数量差异大，且通过训练集的损失函数的降低和模型指标会造成过拟合。所以本发明的模型训练在何时停止取决于每轮训练后，通过验证集进行验证，对比模型精度mAP、R等有无提升，如若模型验证的精度在100次训练后都没有提升或者训练达到300次后，则训练完成。
需要说明的是，本发明的Adam是一种基于梯度下降算法的自适应学习率优化器。它可以根据训练过程中每个参数的历史梯度和更新情况来自适应地调整每个参数的学习率，从而加速神经网络的训练。
需要说明的是，，也叫交并比，A和B分别表示预测边界框和真实目标边界框。该指标常用来表示预测边界框和真实目标边界框的相近程度。其计算方法为两个框交集的面积除以两个框并集的面积。目标检测中TP、FP、FN含义（以mAP50为例）：
TP为IoU>0.5的检测框数量（同一Ground Truth只计算一次）。FP为IoU<=0.5的检测框，或者是检测到同一个GT的多余检测框的数量。FN为没有检测到的GT的数量。本发明的查全率(Recall)也叫召回率，是正确识别出的物体占总物体数的比率，R=TP/(TP+FN)。查准率(Percision)也叫准确度，是在识别出的物体中，正确的正向预测 (True Positive，TP)所占的比率，其中P=TP/(TP+FP)。AP为某一类别PR曲线下的面积，综合考量了 recall 和precision 的影响，反映了模型对该类别识别的好坏。mAP@50是IoU设置为0.5时，所有类别检测的平均正确率（AP）的综合加权平均。
mAP@.5:.95(mAP@.5:.95)为在不同IoU阈值 (从0.5到0.95，步长0.05)(0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95)上的平均mAP。mAP@50相同时，mAP@.5:.95值越高说明模型预测的边框质量越好，精度越高。mAP@0.5越高表示当前模型对图像中各类异常细胞被识别的准确率越高，能够更加综合考虑模型在不同类别上的性能，因此能更全面地评估目标检测模型的准确度和召回率，是目标检测算法的评估的最主要指标之一。
本发明的泛化性能更强，因为在在每轮训练前以一定概率调用mosaic、mixup等结合的数据增强方法对训练集中的训练图像进行数据扩增，能够更好地模拟细胞重叠、遮挡等情况，进而让模型学习到异常细胞的深度特征；因宫颈细胞图像中分化相邻阶段的细胞结构相似，使用label smoothing优化分类损失函数，增强模型对不同类别细胞特征的区分能力，提升模型分类鲁棒性。
本发明的改进后YOLOv5网络模型是在YOLOv5基础结构中，利用端到端的检测方式、融合轻量级网络模型和多尺度训练实现高效准确地目标检测。分类任务更加关注目标物体纹理信息，而定位任务更加关注边缘信息，YOLOv5基础结构的Head部分直接调用同一特征层进行回归预测导致两个任务特征提取相冲突，因此将检测头进行解耦。由于定位任务比分类任务需要更多的上下文特征，因此在分类任务的卷积层添加CBAM注意力机制，结合通道注意力机制和空间注意力机制提升模型对边缘特征的提取能力。此外，实际中宫颈细胞类别识别往往需要结合环境特征，因此全局环境特征可以提升模型对宫颈细胞类别判断，本发明通过在YOLOv5基础结构中添加引入二维位置编码的BoTNet的Transformer获取全局特征。
该基于YOLOV5网络的宫颈细胞分类参数获取方法，通过数据增强处理可能更好地模拟细胞重叠、遮挡等情况，进而让模型学习到异常细胞的深度特征，本发明的泛化性能更强且对异常细胞识别与分类更精准、高效。
实施例2
一种如实施例1的基于YOLOV5网络的宫颈细胞分类参数获取方法，如图10-13所示。
使用Yixiong,et al提供的数据集中共包含7410张图像（具体可参见Comparisondetector for cervical cell/clumps detection in the limited data scenario[J].Neurocomputing. 2021,437:195–205.）根据TBS要求将数据集内各图像中的异常细胞分为11类：不能明确意义的不典型鳞状上皮细胞（ASC-US，ascus）、不能排除高级别鳞状上皮内病变的不典型鳞状细胞（ASC-H，asch）、低级别鳞状上皮内病变（lsil）、高级别鳞状上皮内病变（hsil）、鳞状细胞癌（scc）、非典型的腺细胞（agc）、毛滴虫（trich）、念珠菌（cand）、细菌群（flora）、疱疹（herps）、放线菌（actinomyces）。
将数据集以及对应的标签按照8:1:1比例划分为训练集、验证集和测试集。
训练集中的5922张训练图像在每一轮通过实施例1的A.1- A.8进行数据增强，然后缩放为640*640再输入到改进后YOLOv5网络模型中训练，如实施例1中的B2。
然后验证集中744张图像缩放为640*640对每一轮训练好的模型进行精度验证，每次验证结果都会输出当前训练的模型权重对验证集图像的查准率(Precision，P)、查全率(Recall，R)、均值平均精度(mAP@0.5)以及不同阈值的平均mAP(mAP@.5:.95)，将mAP@0.5和mAP@.5:.95按照1:9的权重计算最终精度F，如若F大于当前全局最佳精度Fbest，则替换掉当前的Fbest，如实施例1中的B2。
当Fbest在后续100轮训练中没有变化或者训练次数超过300，将当前初级模型定义为最优模型，当前模型权重定义为最优模型权重。
通过上述的测试集对最优模型进行测试，选用查全率(Recall，R)以及均值平均精度(mAP@0.5)作为主要评价指标（mAP为最重要指标）对模型的精度进行评估。
利用最终精度最佳的模型对待检测的图像进行处理，将检测得到的目标用外接矩形框标记，并显示其类别以及置信度。
检测及结果
1、仅将网络结构换成如表1中的模型类型，其他过程均与实施例2相同，得到不同网络模型的不同检测头的实际训练结果如表1：
表1、不同网络模型的检测头结果对比表
通过表1，可以看到本发明的改进后YOLOv5网络模型的DAHead检测头对宫颈细胞图像检测效果提升最高且模型额外添加的参数量更少。
2、仅将网络结构换成如表2中的网络结构，其他过程均与实施例2相同，得到通过消融实验对比网络模型的实际训练结果如表2：
表2、消融实验结果对比表
AUG L-S BoT3 ADH mAP@50 R ascus asch lsil hsil scc agc trich cand flora herps actin
55.6 51.6 47.0 25.0 59.2 53.6 43.4 65.8 48.6 50.2 79.1 78.7 61.1
√ 59.7 63.7 50.0 30.9 53.2 56.3 32.9 68.8 58.7 74.8 76.6 78.9 75.5
√ √ 63.8 65.2 54.4 32.7 64.6 59.5 33.2 73.3 66.5 84.1 71.8 85.7 75.9
√ √ √ 65.8 65.9 52.8 32.9 60.5 60.0 37.2 73.7 68.7 87.0 79.8 90.4 81.2
√ √ √ 64.6 63.7 51.8 31.6 63.4 58.6 34.8 73.7 68.2 89.1 77.5 84.3 77.8
√ √ √ √ 65.9 68.2 55.5 32.5 64.1 60.1 36.5 74.5 67.3 87.9 78.3 88.1 79.8
通过表2的消融实验对比可以证明本发明对YOLOv5的每一步改进，对宫颈细胞图像检测效果有较好的提升，与原始的YOLOv5模型（即YOLOv5基础结构）相比，本发明的改进后YOLOv5网络模型的mAP@50提升了10.3%，R提升了16.6%。
3、通过前沿模型结果对比网络模型的实际训练结果如表3：
表3、前沿模型结果
其中AR（Average Recall）为每张图片前100个预测边界框检测结果的召回率，用以评判检测器漏检情况。分别对主流的两阶段检测模型faster R-CNN与单阶段检测模型YOLOv3、YOLOv3-SPP、YOLOv5进行训练与测试后发现，YOLOv5基础模型检测精度最高、训练速度最快。与近几年宫颈细胞图像检测领域内的前沿文献模型相比，本发明的改进后YOLOv5网络模型在更多类别的检测任务下性能优于其他模型。将前沿文献模型对同一数据集进行实验，本发明的改进的YOLOv5（最优模型）精度最高，mAP@50达到65.9%，且AR也取得较好的结果。
综上，通过比较不同主流的目标检测模型和该领域先进检测模型的实验结果，发现本发明的最优模型对宫颈细胞图像中异常细胞识别结果的精度更高。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (9)

1.一种基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：将待测图像输入最优模型中进行识别得到分类参数；
所述最优模型的获取方法具体如下：
S1、将数据集的每张图像中的细胞按类别进行分类得到应标签，然后再将数据集划分为验证集和训练集；
S2、将所述训练集多次输入YOLOv5网络模型中进行训练得到所述最优模型，且所述训练集在每次输入YOLOv5网络模型前均进行数据增强处理；
所述分类参数为类别和置信度；
所述YOLOv5网络模型为将YOLOv5基础网络模型经过改进的改进后YOLOv5网络模型，改进的方法为将YOLOv5基础网络模型的Backbone部分中最后一个特征提取层替换成BoT3模块，并对YOLOv5基础网络模型的Head部分进行解耦；
所述解耦为将目标定位和分类任务视为两个任务，在分类任务和目标定位任务进行回归前各添加一个3*3卷积层，而且在目标定位任务分支的卷积层额外添加一个CBAM注意力模块；
在所述BoT3模块中引入二维位置编码。
2.根据权利要求1所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：所述类别为ascus、asch、lsil、hsil、scc、agc、trich、cand、flora、herps和actinomyces。
3.根据权利要求2所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于，所述S2中数据增强处理按如下步骤进行：
A.1、对所述训练集中的每张训练图像分别随机生成一个第一rand值，所述第一rand值的范围为大于0且小于1，判断第一rand值的大小，当第一rand值小于0.5时，进入A.2；当第一rand值大于等于0.5时，进入A.3；
A.2、对当前训练图像进行mosaic处理，处理完毕后进入A.4；
A.3、对当前训练图像进行randon_perspective处理，处理完毕后进入A.6；
A.4、随机生成第二rand值，所述第二rand值的范围为大于0且小于1，判断第二rand值的大小，当第二rand值小于0.3时，进入A.5；当第二rand值大于等于0.3时，进入A.6；
A.5、对当前训练图像进行Mixup处理，处理完毕后进入A.6；
A.6、进行Albumentations处理，处理完毕后进入A.7；
A.7、进行Augment处理，处理完毕后进入A.8；
A.8、得到数据增强后的训练图像。
4.根据权利要求3所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：所述A.2具体为将当前训练图像及在所述训练集随机抽取另外三张训练图像，将这四张训练图像随机切分不同的画面并拼接在一起作为新的训练图像，然后将新的训练图像作为当前训练图像进入A.4；
所述A.3具体为当前训练图像从前至后依次进行旋转操作、平移操作、缩放操作、剪切操作和透视变换操作；
所述A.5具体为将当前训练图像及在所述训练集中随机抽取另外一张训练图像按照比例混合生成新的训练图像，然后将新的训练图像作为当前训练图像进入A.6；
所述A.6具体为当前训练图像以0.5的概率调用模糊处理，以0.4的概率添加高斯噪声，以0.4的概率进行CLAHE自适应直方图均衡，处理完毕后进入A.7；
所述A.7具体为分别以0.5的概率对当前训练图像调用上下翻转和左右翻转，并在1±0.5范围内对当前训练图像的色相进行处理，在1±0.7范围内对当前训练图像的饱和度进行处理、在1±0.4范围内对当前训练图像的色明度进行处理，处理完毕后进入A.8。
5.根据权利要求4所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：所述旋转操作为在旋转角度库中随机抽取一个旋转角度，然后在0°～5°范围内随机抽到一个随机角度θ，并对当前训练图像进行旋转角度加上随机角度θ旋转，且所述旋转角度库的旋转角度有0°、90°、-90°和180°；
所述平移操作为以当前训练图像的边长进行β倍移动，且0≤β≤0.2；
所述缩放操作为将当前训练图像进行0.5倍～1.5倍范围内的缩放；
所述剪切操作为对当前训练图像的边角在0°～5°范围内随机抽到一个随机角度θ进行裁剪；
所述透视变换操作为以当前训练图像边长的0～0.00005倍范围内进行透视变换。
6.根据权利要求2所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：所述S2中对所述YOLOv5网络模型训练按如下步骤进行：
B1、设置所述YOLOv5网络模型的训练参数，将训练次数定义为epoch，令epoch=0进入B2，所述训练参数为Batch_size、最大训练次数、学习率和优化器类型；
B2、将数据增强后的训练图像进行缩放，并输入YOLOv5网络模型并通过损失函数进行处理，得到初级模型及模型权重；
B3、将所述验证集的图像进行缩放后输入B2得到的初级模型进行精度验证，得到查准率、查全率、均值平均精度mAP@0.5和不同阈值平均mAP@.5:.95，通过均值平均精度mAP@0.5和不同阈值平均mAP@.5:.95按照1:9的权重计算得到当前精度F并保存；
B3、将当前精度F与全局最佳精度Fbest进行比较，当当前精度F大于前一次训练的当前精度F或者不存在前一次训练的当前精度F时，将当前精度F定义为全局最佳精度Fbest，进入B4；
B4、判断epoch的值，当epoch为最大训练次数时，则进入B7；当否时则进入B5；
B5、以当前epoch为起点判断全局最佳精度Fbest在之前100次训练中是否一直保持不变，当是则进入B7，否则进入B6；
B6、令epoch=epoch+1返回B2；
B7、将当前初级模型定义为最优模型，当前模型权重定义为最优模型权重。
7.根据权利要求6所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：所述损失函数为检测框损失L loc 、分类损失L cls 和置信度损失L conf 的加权和，由式Ⅰ所示；
……式Ⅰ；
其中，为检测框损失权重，且为0.05；为分类损失权重，且为1.0；为置信度损失权重，为2.0。
8.根据权利要求7所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：所述检测框损失L loc 由式Ⅱ、式Ⅲ、式Ⅳ和式Ⅴ得到；
……式Ⅱ；
……式Ⅲ；
……式Ⅳ；
……式Ⅴ；
其中IoU为真实目标边界框和预测边界框的交并比，为IOU的优化函数，为预测边界框和真实目标边界框的宽高比一致性参数，为预测边界框的宽， 为预测边界框的高， 为真实目标边界框的宽， 为真实目标边界框的高，为平衡参数，b为预测中心坐标的参数，为真实目标边界框中心坐标的参数，为两个中心点距离；
所述分类损失L cls 由式Ⅵ和式Ⅶ得到；
……式Ⅵ；
……式Ⅶ；
其中，i表示预测结果中第i个预测边界框，为真实标签，为预测的类别，N为样本总量，nc为样本，ε为标签平滑参数，且ε为0.1，为经过标签平滑后新的标签，K为样本类别数；
所述置信度损失L conf 由式Ⅷ得到；
……式Ⅷ；
其中为预测的置信度，为由式（Ⅲ）得到的交并比值即真实置信度。
9.根据权利要求8所述的基于YOLOV5网络的宫颈细胞分类参数获取方法，其特征在于：所述Batch_size为16；
所述最大训练次数为300；
所述学习率为0.0001；
所述优化器类型为adam。
CN202311403586.1A 2023-10-27 2023-10-27 一种基于yolov5网络的宫颈细胞分类参数获取方法 Active CN117152746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311403586.1A CN117152746B (zh) 2023-10-27 2023-10-27 一种基于yolov5网络的宫颈细胞分类参数获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311403586.1A CN117152746B (zh) 2023-10-27 2023-10-27 一种基于yolov5网络的宫颈细胞分类参数获取方法

Publications (2)

Publication Number Publication Date
CN117152746A true CN117152746A (zh) 2023-12-01
CN117152746B CN117152746B (zh) 2024-03-26

Family

ID=88884608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311403586.1A Active CN117152746B (zh) 2023-10-27 2023-10-27 一种基于yolov5网络的宫颈细胞分类参数获取方法

Country Status (1)

Country Link
CN (1) CN117152746B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118053031A (zh) * 2024-02-27 2024-05-17 珠海市人民医院 一种基于深度学习的外周血图像识别方法、系统及终端
CN118486042A (zh) * 2024-07-16 2024-08-13 天翼视联科技有限公司 证件盗拍识别方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200273162A1 (en) * 2019-02-27 2020-08-27 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for grading a tumor
CN114037868A (zh) * 2021-11-04 2022-02-11 杭州医策科技有限公司 图像识别模型的生成方法及装置
CN114821189A (zh) * 2022-05-18 2022-07-29 重庆邮电大学 一种基于眼底图像的病灶图像分类与识别方法
CN115471838A (zh) * 2022-09-22 2022-12-13 闽江学院 基于深度自适应特征提取的宫颈鳞状病变细胞检测方法
CN115830592A (zh) * 2022-08-12 2023-03-21 齐鲁工业大学 一种重叠宫颈细胞分割方法及系统
CN116468663A (zh) * 2023-03-14 2023-07-21 重庆邮电大学 一种基于改进YOLOv5的表面微小缺陷检测的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200273162A1 (en) * 2019-02-27 2020-08-27 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for grading a tumor
CN114037868A (zh) * 2021-11-04 2022-02-11 杭州医策科技有限公司 图像识别模型的生成方法及装置
CN114821189A (zh) * 2022-05-18 2022-07-29 重庆邮电大学 一种基于眼底图像的病灶图像分类与识别方法
CN115830592A (zh) * 2022-08-12 2023-03-21 齐鲁工业大学 一种重叠宫颈细胞分割方法及系统
CN115471838A (zh) * 2022-09-22 2022-12-13 闽江学院 基于深度自适应特征提取的宫颈鳞状病变细胞检测方法
CN116468663A (zh) * 2023-03-14 2023-07-21 重庆邮电大学 一种基于改进YOLOv5的表面微小缺陷检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HONGYU ZHANG等: "Small object detection algorithm based on improved yolov5", 《SMALL OBJECT DETECTION ALGORITHM BASED ON IMPROVED YOLOV5》, pages 280 - 283 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118053031A (zh) * 2024-02-27 2024-05-17 珠海市人民医院 一种基于深度学习的外周血图像识别方法、系统及终端
CN118486042A (zh) * 2024-07-16 2024-08-13 天翼视联科技有限公司 证件盗拍识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN117152746B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN110569901B (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN117152746B (zh) 一种基于yolov5网络的宫颈细胞分类参数获取方法
CN109242864B (zh) 基于多分支网络的图像分割结果质量评价方法
CN110796186A (zh) 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN112200045A (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN111931572B (zh) 一种遥感影像的目标检测方法
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN111612802A (zh) 一种基于现有图像语义分割模型的再优化训练方法及应用
CN113673534B (zh) 一种基于Faster RCNN的RGB-D图像果实检测方法
CN117274355A (zh) 一种基于加速引导区域卷积神经网络和并行多尺度统一网络的排水管道流量智能测量方法
CN110826564A (zh) 一种复杂场景图像中的小目标语义分割方法及系统
CN110889418A (zh) 一种气体轮廓识别方法
CN113947567B (zh) 基于多任务学习的缺陷检测方法
CN113450321B (zh) 基于边缘检测的单阶段目标检测方法
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
CN114943741A (zh) 一种动态场景下基于目标检测和几何概率的视觉slam方法
CN114998611A (zh) 一种基于结构融合的目标轮廓检测方法
CN114283323A (zh) 一种基于图像深度学习的海上目标识别系统
CN112364892B (zh) 一种基于动态模型的图像识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant