CN115311271A - 一种宫颈浸润癌细胞的智能识别方法 - Google Patents

一种宫颈浸润癌细胞的智能识别方法 Download PDF

Info

Publication number
CN115311271A
CN115311271A CN202211237718.3A CN202211237718A CN115311271A CN 115311271 A CN115311271 A CN 115311271A CN 202211237718 A CN202211237718 A CN 202211237718A CN 115311271 A CN115311271 A CN 115311271A
Authority
CN
China
Prior art keywords
cervical
cell
sample
normal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211237718.3A
Other languages
English (en)
Other versions
CN115311271B (zh
Inventor
蔡惠明
李长流
王子阳
倪轲娜
卢露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202211237718.3A priority Critical patent/CN115311271B/zh
Publication of CN115311271A publication Critical patent/CN115311271A/zh
Application granted granted Critical
Publication of CN115311271B publication Critical patent/CN115311271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明提供一种宫颈浸润癌细胞的智能识别方法,涉及细胞识别技术领域,其处理步骤如下:构建高尺度癌细胞识别网络,构建识别网络的方法为:A1:对样本图像进行下采样,获得尺寸缩小的样本图像;A2:获取预识别后的宫颈浸润癌细胞病理样本图像,将宫颈浸润癌细胞病理样本图像进行标注,标注全局的癌细胞区域和非癌细胞区域,获得标注样本;A3:构建用于高尺度癌细胞识别的U‑NET网络;A4:使用A2中获得的样本图像对U‑NET网络进行训练,获得病理图像癌变组织高尺度识别网络参数;本发明通过对宫颈浸润癌细胞病理样本图像进行预识别,能够提高比对的准确性。

Description

一种宫颈浸润癌细胞的智能识别方法
技术领域
本发明涉及细胞识别技术领域,尤其涉及一种宫颈浸润癌细胞的智能识别方法。
背景技术
癌细胞是一种变异的细胞,是产生癌症的病源,癌细胞与正常细胞不同,有无限增殖、可转化和易转移三大特点,能够无限增殖并破坏正常的细胞组织,癌症早期诊断是一种专门针对癌症的诊断方法,通过提高诊断率,可以减轻患者的经济负担。癌症早期诊断是一种专门针对癌症的诊断方法,通过提高诊断率,可以减轻患者的经济负担。随着人工智能技术的发展,癌细胞病理图像的自动识别具有极大的临床价值。能够辅助病理医生完成病理诊断,提升诊断效率。宫颈浸润癌是发生于子宫颈上皮的恶性肿瘤。早期宫颈浸润癌的5年生存率达90%,晚期仅10%。普查对宫颈浸润癌的早期诊断和治疗具有肯定的积极作用。针对宫颈浸润癌分类是癌细胞分类中难度较高的一种。同时由于临床上宫颈浸润癌类型患者的预后较差,为了减少治疗不足或过度治疗,准确地进行宫颈浸润癌识别分类特别是尤为重要。
现有的技术中,通常宫颈细胞切片图像其像素分辨率非常高,直接采用深度学习网络进行识别,会导致网络规模十分庞大,训练及识别速度十分缓慢,同时现有的宫颈浸润癌细胞病理样本图像的比对方式较为复杂,宫颈浸润癌细胞病理样本图像获取的准确性较低,识别处理过程中的数据处理量较大,导致识别速度较慢。
发明内容
针对现有技术存在的不足,本发明目的是提供一种宫颈浸润癌细胞的智能识别方法,通过对宫颈浸润癌细胞病理样本图像进行预识别,能够提高比对的准确性,进而解决现有的宫颈浸润癌细胞识别方法识别效率和精准度较低的问题。
为了实现上述目的,本发明是通过如下的技术方案来实现:一种快速宫颈浸润癌细胞的智能识别方法,其处理步骤如下:
S1:构建高尺度癌细胞识别网络,构建识别网络的方法为:
A1:对样本图像进行下采样,获得尺寸缩小的样本图像;
A2:获取预识别后的宫颈浸润癌细胞病理样本图像,将宫颈浸润癌细胞病理样本图像进行标注,标注全局的癌细胞区域和非癌细胞区域,获得标注样本;
A3:构建用于高尺度癌细胞识别的U-NET网络;
A4:使用A2中获得的样本图像对U-NET网络进行训练,获得病理图像癌变组织高尺度识别网络参数;
S2:构建低尺度宫颈浸润癌细胞识别网络,构建癌细胞识别网络的方法为:
B1:收集已标注的宫颈浸润癌细胞病理样本图像,并标注宫颈浸润癌病理细胞区域;
B2:对样本图像进行分块处理;
B3:构建ResNet18网络,用于低尺度癌细胞特征识别;
B4:使用B2获得的样本图像,对ResNet18网络进行训练,获得病理图像癌细胞低尺度识别网络参数;
S3:对病理图像进行识别,采用S1中获得的高尺度细胞识别网络对病理图像进行识别,获得高尺度的病理图像的癌细胞区域,并对癌细胞区域进行提取和图像识别。
进一步地,所述A2的获取预识别后的宫颈浸润癌细胞病理样本图像包括如下步骤:
A21,从细胞数据库中获取宫颈正常细胞图像,并对宫颈正常细胞图像进行图像分析处理得到宫颈正常细胞参数;
A22,然后获取宫颈细胞样本图像,并对宫颈细胞样本图像进行图像分析处理得到宫颈细胞样本参数;
A23,将宫颈细胞样本参数与宫颈正常细胞参数进行比对,将偏差大于预设偏差范围的宫颈细胞样本参数对应的供给细胞样本图像设定为宫颈浸润癌细胞病理样本图像。
进一步地,步骤A21还包括如下步骤:
A211,获取宫颈正常细胞图像的实际尺寸,将宫颈正常细胞图像按照实际尺寸进行缩放,以第一规格裁切框从宫颈正常细胞图像中随机选取一块区域,并设定为宫颈正常细胞参照区域;其中,获取到的宫颈正常细胞图像的实际尺寸大于第一规格裁切框的尺寸;
A212,对宫颈正常细胞参照区域进行二值化处理,根据二值化处理后的图像灰度值将宫颈正常细胞参照区域划分为宫颈正常细胞区域和宫颈正常其他区域;
A213,获取宫颈正常细胞参照区域中细胞的数量,并抽取宫颈正常细胞参照区域中第一比例的细胞进行参照;
A214,首先获取抽取的宫颈正常细胞参照区域中第一比例的细胞的轮廓图,并设定为第一轮廓图,沿第一轮廓图的轮廓线选取若干第一参照点,在第一参照点上设置轮廓线的切线,然后寻找第一轮廓图的轮廓线的其他位置上与第一参照点的切线相平行的切线,并设定为第一对照切线;
若第一对照切线存在两条或两条以上,则选取其中与第一参照点的切线距离最远的一条第一对照切线,并设定为第一外围切线;若第一对照切线只存在一条,则直接设定为第一外围切线;
选取两条分别与第一外围切线和第一参照点的切线相垂直的线,并设定为第一外围垂直切线;
再将两条第一外围垂直切线设置在第一轮廓图的轮廓线的两侧,且使两条第一外围垂直切线与第一轮廓图的轮廓线相切,将两条第一外围垂直切线、第一外围切线以及第一参照点的切线围成的矩形设置为宫颈正常细胞矩形;
A215,将抽取的宫颈正常细胞参照区域中第一比例的细胞对应的宫颈正常细胞矩形的长和宽通过宫颈正常细胞异形计算公式计算得到宫颈正常细胞异形值;所述宫颈正常细胞异形计算公式配置为:
Figure 213383DEST_PATH_IMAGE002
;其中,Pzy为宫颈正常细胞异形值,Cz1至Czi为抽取的宫颈正常细胞参照区域中第一比例的细胞对应的宫颈正常细胞矩形的长,Kz1至Kzi为抽取的宫颈正常细胞参照区域中第一比例的细胞对应的宫颈正常细胞矩形的宽,i为抽取的宫颈正常细胞参照区域中第一比例的细胞的数量;
A216,获取抽取的宫颈正常细胞参照区域中第一比例的细胞的面积,然后将宫颈正常细胞参照区域中第一比例的细胞的面积通过宫颈正常细胞膨胀计算公式计算得到宫颈正常细胞膨胀值;所述宫颈正常细胞膨胀计算公式配置为:
Figure 481553DEST_PATH_IMAGE004
;其中,Ppz为宫颈正常细胞膨胀值,Sz1至Szi为抽取的宫颈正常细胞参照区域中第一比例的细胞的面积;其中,宫颈正常细胞参数包括宫颈正常细胞异形值和宫颈正常细胞膨胀值。
进一步地,步骤A22还包括如下步骤:
A221,获取宫颈细胞样本图像的实际尺寸,将宫颈细胞样本图像按照实际尺寸进行缩放,以第一规格裁切框从宫颈细胞样本图像中随机选取一块区域,并设定为宫颈细胞样本参照区域;其中,获取到的宫颈细胞样本图像的实际尺寸大于第一规格裁切框的尺寸;
A222,对宫颈细胞样本参照区域进行二值化处理,根据二值化处理后的图像灰度值将宫颈细胞样本参照区域划分为宫颈样本细胞区域和宫颈样本其他区域;
A223,获取宫颈细胞样本参照区域中细胞的数量,并抽取宫颈细胞样本参照区域中第一比例的细胞进行参照;
A224,首先获取抽取的宫颈细胞样本参照区域中第一比例的细胞的轮廓图,并设定为第二轮廓图,沿第二轮廓图的轮廓线选取若干第二参照点,在第二参照点上设置轮廓线的切线,然后寻找第二轮廓图的轮廓线的其他位置上与第二参照点的切线相平行的切线,并设定为第二对照切线;
若第二对照切线存在两条或两条以上,则选取其中与第二参照点的切线距离最远的一条第二对照切线,并设定为第二外围切线;若第二对照切线只存在一条,则直接设定为第二外围切线;
选取两条分别与第二外围切线和第二参照点的切线相垂直的线,并设定为第二外围垂直切线;
再将两条第二外围垂直切线设置在第二轮廓图的轮廓线的两侧,且使两条第二外围垂直切线与第二轮廓图的轮廓线相切,将两条第二外围垂直切线、第二外围切线以及第二参照点的切线围成的矩形设置为宫颈细胞样本矩形;
A225,将抽取的宫颈细胞样本参照区域中第一比例的细胞对应的宫颈细胞样本矩形的长和宽通过宫颈细胞样本异形计算公式计算得到宫颈细胞样本异形值;所述宫颈细胞样本异形计算公式配置为:
Figure 332834DEST_PATH_IMAGE006
;其中,Pyy为宫颈细胞样本异形值,Cy1至Cyj为抽取的宫颈细胞样本参照区域中第一比例的细胞对应的宫颈细胞样本矩形的长,Ky1至Kyj为抽取的宫颈细胞样本参照区域中第一比例的细胞对应的宫颈细胞样本矩形的宽,i为抽取的宫颈细胞样本参照区域中第一比例的细胞的数量;
A226,获取抽取的宫颈细胞样本参照区域中第一比例的细胞的面积,然后将宫颈细胞样本参照区域中第一比例的细胞的面积通过宫颈细胞样本膨胀计算公式计算得到宫颈细胞样本膨胀值;所述宫颈细胞样本膨胀计算公式配置为:
Figure 592039DEST_PATH_IMAGE008
;其中,Ppy为宫颈细胞样本膨胀值,Sy1至Syj为抽取的宫颈细胞样本参照区域中第一比例的细胞的面积;其中,宫颈细胞样本参数包括宫颈细胞样本异形值和宫颈细胞样本膨胀值。
进一步地,步骤A23还包括如下步骤:
A231,将宫颈细胞样本异形值、宫颈细胞样本膨胀值、宫颈正常细胞异形值和宫颈正常细胞膨胀值通过病理样本比对公式求得样本比对差值;病理样本比对公式配置为:
Figure 302507DEST_PATH_IMAGE010
;其中,Pbc为样本比对差值,a1为异形比对占比系数,a2为面积比对占比系数,a1和a2的取值范围在0-1之间,且a1加a2等于1;
A232,当比对差值大于等于第一比对阈值时,将宫颈细胞样本参照区域的图像设定为宫颈浸润癌细胞病理样本图像;
当比对差值小于第一比对阈值时,重新选取一处宫颈细胞样本参照区域进行比对。
进一步地,步骤B2中对样本图像进行分块处理的每个图像块的尺寸采用244*244大小的图像块。
进一步地,步骤S3中对癌细胞区域进行提取和图像识别的具体步骤为:
C1:对病理图像的癌细胞区域进行提取,进行ROI区域截取;
C2:将ROI区域输入低尺度癌细胞识别网络,进行宫颈浸润癌病理细胞区域图像识别;
C3:通过以上网络的训练,将原始病理图像直接输入网络可完成宫颈浸润癌细胞的识别。
进一步地,步骤C1中进行ROI区域截取的每个ROI区域的尺寸设置为244*244。
本发明的有益效果:
1、本发明通过构建高尺度及低尺度两个网络有效减少无效的识别并大大降低神经网络参数规模,浸润性癌具有较高的识别精度,同时具有极高的识别速度;通过网络的训练,将原始病理图像直接输入网络可完成宫颈浸润癌细胞的识别,具有原理简明,易于训练等,推理速度快的效果。
2、本发明通过增加预识别后的宫颈浸润癌细胞病理样本图像,能够提高宫颈浸润癌细胞病理样本图像的筛选效率和精准度,进而提高整体的识别效率。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其他特征、目的和优点将会变得更明显:
图1为本发明的识别方法的处理步骤流程图;
图2为本发明的步骤A2的子步骤流程图;
图3为本发明的第一轮廓图的宫颈正常细胞矩形划分示意图;
图4为本发明的第二轮廓图的宫颈细胞样本矩形划分示意图。
具体实施方式
应该指出,以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
请参阅图1所示,本发明提供一种快速宫颈浸润癌细胞的智能识别方法,通过对宫颈浸润癌细胞病理样本图像进行预识别,能够提高比对的准确性,进而解决现有的宫颈浸润癌细胞识别方法识别效率和精准度较低的问题。
具体地,其处理步骤如下:
S1:构建高尺度癌细胞识别网络,构建识别网络的方法为:
A1:对样本图像进行下采样,获得尺寸缩小的样本图像;
A2:获取预识别后的宫颈浸润癌细胞病理样本图像,将宫颈浸润癌细胞病理样本图像进行标注,标注全局的癌细胞区域和非癌细胞区域,获得标注样本;
A3:构建用于高尺度癌细胞识别的U-NET网络;
A4:使用A2中获得的样本图像对U-NET网络进行训练,获得病理图像癌变组织高尺度识别网络参数;
S2:构建低尺度宫颈浸润癌细胞识别网络,构建癌细胞识别网络的方法为:
B1:收集已标注的宫颈浸润癌细胞病理样本图像,并标注宫颈浸润癌病理细胞区域;
B2:对样本图像进行分块处理;对样本图像进行分块处理的每个图像块的尺寸采用244*244大小的图像块;
B3:构建ResNet18网络,用于低尺度癌细胞特征识别;
B4:使用B2获得的样本图像,对ResNet18网络进行训练,获得病理图像癌细胞低尺度识别网络参数;
S3:对病理图像进行识别,采用S1中获得的高尺度细胞识别网络对病理图像进行识别,获得高尺度的病理图像的癌细胞区域,并对癌细胞区域进行提取和图像识别;步骤S3还包括如下步骤:
C1:对病理图像的癌细胞区域进行提取,进行ROI区域截取;进行ROI区域截取的每个ROI区域的尺寸设置为244*244;
C2:将ROI区域输入低尺度癌细胞识别网络,进行宫颈浸润癌病理细胞区域图像识别;
C3:通过以上网络的训练,将原始病理图像直接输入网络可完成宫颈浸润癌细胞的识别。
实施例二
请参阅图2和图3所示,实施例二提供一种快速宫颈浸润癌细胞的智能识别方法,实施例二在实施例一的基础上提供了一种步骤A2的具体实施方式,具体方案如下:
其处理步骤如下:
S1:构建高尺度癌细胞识别网络,构建识别网络的方法为:
A1:对样本图像进行下采样,获得尺寸缩小的样本图像;
A2:获取预识别后的宫颈浸润癌细胞病理样本图像,将宫颈浸润癌细胞病理样本图像进行标注,标注全局的癌细胞区域和非癌细胞区域,获得标注样本;
A3:构建用于高尺度癌细胞识别的U-NET网络;
A4:使用A2中获得的样本图像对U-NET网络进行训练,获得病理图像癌变组织高尺度识别网络参数;
S2:构建低尺度宫颈浸润癌细胞识别网络,构建癌细胞识别网络的方法为:
B1:收集已标注的宫颈浸润癌细胞病理样本图像,并标注宫颈浸润癌病理细胞区域;
B2:对样本图像进行分块处理;
B3:构建ResNet18网络,用于低尺度癌细胞特征识别;
B4:使用B2获得的样本图像,对ResNet18网络进行训练,获得病理图像癌细胞低尺度识别网络参数;
S3:对病理图像进行识别,采用S1中获得的高尺度细胞识别网络对病理图像进行识别,获得高尺度的病理图像的癌细胞区域,并对癌细胞区域进行提取和图像识别。
具体地,步骤A2的获取预识别后的宫颈浸润癌细胞病理样本图像包括如下步骤:
A21,从细胞数据库中获取宫颈正常细胞图像,并对宫颈正常细胞图像进行图像分析处理得到宫颈正常细胞参数;步骤A21还包括如下步骤:
A211,获取宫颈正常细胞图像的实际尺寸,将宫颈正常细胞图像按照实际尺寸进行缩放,以第一规格裁切框从宫颈正常细胞图像中随机选取一块区域,并设定为宫颈正常细胞参照区域;其中,获取到的宫颈正常细胞图像的实际尺寸大于第一规格裁切框的尺寸;具体实施过程中,第一规格裁切框可以设置为矩形或者圆形结构,优选为圆形结构。
A212,对宫颈正常细胞参照区域进行二值化处理,根据二值化处理后的图像灰度值将宫颈正常细胞参照区域划分为宫颈正常细胞区域和宫颈正常其他区域;二值化处理后,细胞区域的亮度较低,灰度值也较低,其他区域的亮度较高,灰度值也较高,很容易将细胞区域和其他区域进行区分。
A213,获取宫颈正常细胞参照区域中细胞的数量,并抽取宫颈正常细胞参照区域中第一比例的细胞进行参照;其中第一比例优选在30%-60%之间,既能够保证选取的对应比例的细胞具备代表性,也能够降低数据处理量。
请参阅图3所示,A214,首先获取抽取的宫颈正常细胞参照区域中第一比例的细胞的轮廓图,并设定为第一轮廓图,沿第一轮廓图的轮廓线选取若干第一参照点,在第一参照点上设置轮廓线的切线,然后寻找第一轮廓图的轮廓线的其他位置上与第一参照点的切线相平行的切线,并设定为第一对照切线;
若第一对照切线存在两条或两条以上,则选取其中与第一参照点的切线距离最远的一条第一对照切线,并设定为第一外围切线;若第一对照切线只存在一条,则直接设定为第一外围切线;
选取两条分别与第一外围切线和第一参照点的切线相垂直的线,并设定为第一外围垂直切线;
再将两条第一外围垂直切线设置在第一轮廓图的轮廓线的两侧,且使两条第一外围垂直切线与第一轮廓图的轮廓线相切,将两条第一外围垂直切线、第一外围切线以及第一参照点的切线围成的矩形设置为宫颈正常细胞矩形;A214处理过程中,由于正常细胞的形状较圆,正常情况下,来自同一组织的细胞大小、形态基本一致,因此正常细胞所形成的宫颈正常细胞矩形比较接近于正方形。图3中所示的即为一种极端情况,即正常细胞为圆形的情况。
A215,将抽取的宫颈正常细胞参照区域中第一比例的细胞对应的宫颈正常细胞矩形的长和宽通过宫颈正常细胞异形计算公式计算得到宫颈正常细胞异形值;宫颈正常细胞异形计算公式配置为:
Figure 171105DEST_PATH_IMAGE002
;其中,Pzy为宫颈正常细胞异形值,Cz1至Czi为抽取的宫颈正常细胞参照区域中第一比例的细胞对应的宫颈正常细胞矩形的长,Kz1至Kzi为抽取的宫颈正常细胞参照区域中第一比例的细胞对应的宫颈正常细胞矩形的宽,i为抽取的宫颈正常细胞参照区域中第一比例的细胞的数量;
A216,获取抽取的宫颈正常细胞参照区域中第一比例的细胞的面积,然后将宫颈正常细胞参照区域中第一比例的细胞的面积通过宫颈正常细胞膨胀计算公式计算得到宫颈正常细胞膨胀值;宫颈正常细胞膨胀计算公式配置为:
Figure 17839DEST_PATH_IMAGE004
;其中,Ppz为宫颈正常细胞膨胀值,Sz1至Szi为抽取的宫颈正常细胞参照区域中第一比例的细胞的面积;其中,宫颈正常细胞参数包括宫颈正常细胞异形值和宫颈正常细胞膨胀值。
A22,然后获取宫颈细胞样本图像,并对宫颈细胞样本图像进行图像分析处理得到宫颈细胞样本参数;步骤A22还包括如下步骤:
A221,获取宫颈细胞样本图像的实际尺寸,将宫颈细胞样本图像按照实际尺寸进行缩放,以第一规格裁切框从宫颈细胞样本图像中随机选取一块区域,并设定为宫颈细胞样本参照区域;其中,获取到的宫颈细胞样本图像的实际尺寸大于第一规格裁切框的尺寸;具体实施过程中,第一规格裁切框可以设置为矩形或者圆形结构,优选为圆形结构。
A222,对宫颈细胞样本参照区域进行二值化处理,根据二值化处理后的图像灰度值将宫颈细胞样本参照区域划分为宫颈样本细胞区域和宫颈样本其他区域;二值化处理后,细胞区域的亮度较低,灰度值也较低,其他区域的亮度较高,灰度值也较高,很容易将细胞区域和其他区域进行区分。
A223,获取宫颈细胞样本参照区域中细胞的数量,并抽取宫颈细胞样本参照区域中第一比例的细胞进行参照;其中第一比例优选在30%-60%之间,既能够保证选取的对应比例的细胞具备代表性,也能够降低数据处理量。
请参阅图4所示,A224,首先获取抽取的宫颈细胞样本参照区域中第一比例的细胞的轮廓图,并设定为第二轮廓图,沿第二轮廓图的轮廓线选取若干第二参照点,在第二参照点上设置轮廓线的切线,然后寻找第二轮廓图的轮廓线的其他位置上与第二参照点的切线相平行的切线,并设定为第二对照切线;
若第二对照切线存在两条或两条以上,则选取其中与第二参照点的切线距离最远的一条第二对照切线,并设定为第二外围切线;若第二对照切线只存在一条,则直接设定为第二外围切线;图4中即为存在两条第二对照切线情况,其中与第二参照点的切线距离最远的一条第二对照切线设定为第二外围切线。
选取两条分别与第二外围切线和第二参照点的切线相垂直的线,并设定为第二外围垂直切线;
再将两条第二外围垂直切线设置在第二轮廓图的轮廓线的两侧,且使两条第二外围垂直切线与第二轮廓图的轮廓线相切,将两条第二外围垂直切线、第二外围切线以及第二参照点的切线围成的矩形设置为宫颈细胞样本矩形;在步骤A224中,由于癌细胞一般比相应的正常细胞大,而且癌细胞相互之间的大小形态也很不一致,癌细胞的细胞核体积增大,形态也不一致,并可出现巨核、双核、多核或异形核;因此如果是存在癌细胞,则宫颈细胞样本矩形的长和宽的长度相差就会很大。
A225,将抽取的宫颈细胞样本参照区域中第一比例的细胞对应的宫颈细胞样本矩形的长和宽通过宫颈细胞样本异形计算公式计算得到宫颈细胞样本异形值;宫颈细胞样本异形计算公式配置为:
Figure 946480DEST_PATH_IMAGE006
;其中,Pyy为宫颈细胞样本异形值,Cy1至Cyj为抽取的宫颈细胞样本参照区域中第一比例的细胞对应的宫颈细胞样本矩形的长,Ky1至Kyj为抽取的宫颈细胞样本参照区域中第一比例的细胞对应的宫颈细胞样本矩形的宽,i为抽取的宫颈细胞样本参照区域中第一比例的细胞的数量;如果是存在癌细胞,则宫颈细胞样本矩形的长和宽的长度相差就会很大,因此对应的宫颈细胞样本异形值也较大。
A226,获取抽取的宫颈细胞样本参照区域中第一比例的细胞的面积,然后将宫颈细胞样本参照区域中第一比例的细胞的面积通过宫颈细胞样本膨胀计算公式计算得到宫颈细胞样本膨胀值;宫颈细胞样本膨胀计算公式配置为:
Figure 3298DEST_PATH_IMAGE008
;其中,Ppy为宫颈细胞样本膨胀值,Sy1至Syj为抽取的宫颈细胞样本参照区域中第一比例的细胞的面积;其中,宫颈细胞样本参数包括宫颈细胞样本异形值和宫颈细胞样本膨胀值。由于癌细胞一般比相应的正常细胞大,因此如存在癌细胞,则对应的宫颈细胞样本膨胀值也较大。
A23,将宫颈细胞样本参数与宫颈正常细胞参数进行比对,将偏差大于预设偏差范围的宫颈细胞样本参数对应的供给细胞样本图像设定为宫颈浸润癌细胞病理样本图像;步骤A23还包括如下步骤:
A231,将宫颈细胞样本异形值、宫颈细胞样本膨胀值、宫颈正常细胞异形值和宫颈正常细胞膨胀值通过病理样本比对公式求得样本比对差值;病理样本比对公式配置为:
Figure 285375DEST_PATH_IMAGE010
;其中,Pbc为样本比对差值,a1为异形比对占比系数,a2为面积比对占比系数,a1和a2的取值范围在0-1之间,且a1加a2等于1;
A232,当比对差值大于等于第一比对阈值时,将宫颈细胞样本参照区域的图像设定为宫颈浸润癌细胞病理样本图像;偏差大于预设偏差范围即为比对差值大于等于第一比对阈值。
当比对差值小于第一比对阈值时,重新选取一处宫颈细胞样本参照区域进行比对。
上述公式均是去量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况进行设置,如存在权重系数和比例系数,其设置的大小是为了将各个参数进行量化得到的一个具体的数值,便于后续比较,关于权重系数和比例系数的大小,只要不影响参数与量化后数值的比例关系即可。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种快速宫颈浸润癌细胞的智能识别方法,其特征在于,其处理步骤如下:
S1:构建高尺度癌细胞识别网络,构建识别网络的方法为:
A1:对样本图像进行下采样,获得尺寸缩小的样本图像;
A2:获取预识别后的宫颈浸润癌细胞病理样本图像,将宫颈浸润癌细胞病理样本图像进行标注,标注全局的癌细胞区域和非癌细胞区域,获得标注样本;
A3:构建用于高尺度癌细胞识别的U-NET网络;
A4:使用A2中获得的样本图像对U-NET网络进行训练,获得病理图像癌变组织高尺度识别网络参数;
S2:构建低尺度宫颈浸润癌细胞识别网络,构建癌细胞识别网络的方法为:
B1:收集已标注的宫颈浸润癌细胞病理样本图像,并标注宫颈浸润癌病理细胞区域;
B2:对样本图像进行分块处理;
B3:构建ResNet18网络,用于低尺度癌细胞特征识别;
B4:使用B2获得的样本图像,对ResNet18网络进行训练,获得病理图像癌细胞低尺度识别网络参数;
S3:对病理图像进行识别,采用S1中获得的高尺度细胞识别网络对病理图像进行识别,获得高尺度的病理图像的癌细胞区域,并对癌细胞区域进行提取和图像识别。
2.根据权利要求1所述的一种快速宫颈浸润癌细胞的智能识别方法,其特征在于:所述A2的获取预识别后的宫颈浸润癌细胞病理样本图像包括如下步骤:
A21,从细胞数据库中获取宫颈正常细胞图像,并对宫颈正常细胞图像进行图像分析处理得到宫颈正常细胞参数;
A22,然后获取宫颈细胞样本图像,并对宫颈细胞样本图像进行图像分析处理得到宫颈细胞样本参数;
A23,将宫颈细胞样本参数与宫颈正常细胞参数进行比对,将偏差大于预设偏差范围的宫颈细胞样本参数对应的供给细胞样本图像设定为宫颈浸润癌细胞病理样本图像。
3.根据权利要求2所述的一种快速宫颈浸润癌细胞的智能识别方法,其特征在于:步骤A21还包括如下步骤:
A211,获取宫颈正常细胞图像的实际尺寸,将宫颈正常细胞图像按照实际尺寸进行缩放,以第一规格裁切框从宫颈正常细胞图像中随机选取一块区域,并设定为宫颈正常细胞参照区域;其中,获取到的宫颈正常细胞图像的实际尺寸大于第一规格裁切框的尺寸;
A212,对宫颈正常细胞参照区域进行二值化处理,根据二值化处理后的图像灰度值将宫颈正常细胞参照区域划分为宫颈正常细胞区域和宫颈正常其他区域;
A213,获取宫颈正常细胞区域中细胞的数量,并抽取宫颈正常细胞区域中第一比例的细胞进行参照;
A214,首先获取抽取的宫颈正常细胞区域中第一比例的细胞的轮廓图,并设定为第一轮廓图,沿第一轮廓图的轮廓线选取若干第一参照点,在第一参照点上设置轮廓线的切线,然后寻找第一轮廓图的轮廓线的其他位置上与第一参照点的切线相平行的切线,并设定为第一对照切线;
若第一对照切线存在两条或两条以上,则选取其中与第一参照点的切线距离最远的一条第一对照切线,并设定为第一外围切线;若第一对照切线只存在一条,则直接设定为第一外围切线;
选取两条分别与第一外围切线和第一参照点的切线相垂直的线,并设定为第一外围垂直切线;
再将两条第一外围垂直切线设置在第一轮廓图的轮廓线的两侧,且使两条第一外围垂直切线与第一轮廓图的轮廓线相切,将两条第一外围垂直切线、第一外围切线以及第一参照点的切线围成的矩形设置为宫颈正常细胞矩形;
A215,将抽取的宫颈正常细胞区域中第一比例的细胞对应的宫颈正常细胞矩形的长和宽通过宫颈正常细胞异形计算公式计算得到宫颈正常细胞异形值;所述宫颈正常细胞异形计算公式配置为:
Figure 399847DEST_PATH_IMAGE002
;其中,Pzy为宫颈正常细胞异形值,Cz1至Czi为抽取的宫颈正常细胞区域中第一比例的细胞对应的宫颈正常细胞矩形的长,Kz1至Kzi为抽取的宫颈正常细胞区域中第一比例的细胞对应的宫颈正常细胞矩形的宽,i为抽取的宫颈正常细胞区域中第一比例的细胞的数量;
A216,获取抽取的宫颈正常细胞区域中第一比例的细胞的面积,然后将宫颈正常细胞区域中第一比例的细胞的面积通过宫颈正常细胞膨胀计算公式计算得到宫颈正常细胞膨胀值;所述宫颈正常细胞膨胀计算公式配置为:
Figure 135722DEST_PATH_IMAGE004
;其中,Ppz为宫颈正常细胞膨胀值,Sz1至Szi为抽取的宫颈正常细胞区域中第一比例的细胞的面积;其中,宫颈正常细胞参数包括宫颈正常细胞异形值和宫颈正常细胞膨胀值。
4.根据权利要求2所述的一种快速宫颈浸润癌细胞的智能识别方法,其特征在于:步骤A22还包括如下步骤:
A221,获取宫颈细胞样本图像的实际尺寸,将宫颈细胞样本图像按照实际尺寸进行缩放,以第一规格裁切框从宫颈细胞样本图像中随机选取一块区域,并设定为宫颈细胞样本参照区域;其中,获取到的宫颈细胞样本图像的实际尺寸大于第一规格裁切框的尺寸;
A222,对宫颈细胞样本参照区域进行二值化处理,根据二值化处理后的图像灰度值将宫颈细胞样本参照区域划分为宫颈样本细胞区域和宫颈样本其他区域;
A223,获取宫颈样本细胞区域中细胞的数量,并抽取宫颈样本细胞区域中第一比例的细胞进行参照;
A224,首先获取抽取的宫颈样本细胞区域中第一比例的细胞的轮廓图,并设定为第二轮廓图,沿第二轮廓图的轮廓线选取若干第二参照点,在第二参照点上设置轮廓线的切线,然后寻找第二轮廓图的轮廓线的其他位置上与第二参照点的切线相平行的切线,并设定为第二对照切线;
若第二对照切线存在两条或两条以上,则选取其中与第二参照点的切线距离最远的一条第二对照切线,并设定为第二外围切线;若第二对照切线只存在一条,则直接设定为第二外围切线;
选取两条分别与第二外围切线和第二参照点的切线相垂直的线,并设定为第二外围垂直切线;
再将两条第二外围垂直切线设置在第二轮廓图的轮廓线的两侧,且使两条第二外围垂直切线与第二轮廓图的轮廓线相切,将两条第二外围垂直切线、第二外围切线以及第二参照点的切线围成的矩形设置为宫颈细胞样本矩形;
A225,将抽取的宫颈样本细胞区域中第一比例的细胞对应的宫颈细胞样本矩形的长和宽通过宫颈细胞样本异形计算公式计算得到宫颈细胞样本异形值;所述宫颈细胞样本异形计算公式配置为:
Figure 429562DEST_PATH_IMAGE006
;其中,Pyy为宫颈细胞样本异形值,Cy1至Cyj为抽取的宫颈样本细胞区域中第一比例的细胞对应的宫颈细胞样本矩形的长,Ky1至Kyj为抽取的宫颈样本细胞区域中第一比例的细胞对应的宫颈细胞样本矩形的宽,i为抽取的宫颈样本细胞区域中第一比例的细胞的数量;
A226,获取抽取的宫颈样本细胞区域中第一比例的细胞的面积,然后将宫颈样本细胞区域中第一比例的细胞的面积通过宫颈细胞样本膨胀计算公式计算得到宫颈细胞样本膨胀值;所述宫颈细胞样本膨胀计算公式配置为:
Figure 567282DEST_PATH_IMAGE008
;其中,Ppy为宫颈细胞样本膨胀值,Sy1至Syj为抽取的宫颈样本细胞区域中第一比例的细胞的面积;其中,宫颈细胞样本参数包括宫颈细胞样本异形值和宫颈细胞样本膨胀值。
5.根据权利要求3或4任意一项所述的一种快速宫颈浸润癌细胞的智能识别方法,其特征在于:步骤A23还包括如下步骤:
A231,将宫颈细胞样本异形值、宫颈细胞样本膨胀值、宫颈正常细胞异形值和宫颈正常细胞膨胀值通过病理样本比对公式求得样本比对差值;病理样本比对公式配置为:
Figure 154122DEST_PATH_IMAGE010
;其中,Pbc为样本比对差值,a1为异形比对占比系数,a2为面积比对占比系数,a1和a2均大于零;
A232,当比对差值大于等于第一比对阈值时,将宫颈细胞样本参照区域的图像设定为宫颈浸润癌细胞病理样本图像;
当比对差值小于第一比对阈值时,重新选取一处宫颈细胞样本参照区域进行比对。
6.根据权利要求1所述的一种快速宫颈浸润癌细胞的智能识别方法,其特征在于:步骤B2中对样本图像进行分块处理的每个图像块的尺寸采用244*244大小的图像块。
7.根据权利要求1所述的一种快速宫颈浸润癌细胞的智能识别方法,其特征在于:步骤S3中对癌细胞区域进行提取和图像识别的具体步骤为:
C1:对病理图像的癌细胞区域进行提取,进行ROI区域截取;
C2:将ROI区域输入低尺度癌细胞识别网络,进行宫颈浸润癌病理细胞区域图像识别;
C3:通过以上网络的训练,将原始病理图像直接输入网络可完成宫颈浸润癌细胞的识别。
8.根据权利要求7所述的一种快速宫颈浸润癌细胞的智能识别方法,其特征在于:步骤C1中进行ROI区域截取的每个ROI区域的尺寸设置为244*244。
CN202211237718.3A 2022-10-11 2022-10-11 一种宫颈浸润癌细胞的智能识别方法 Active CN115311271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211237718.3A CN115311271B (zh) 2022-10-11 2022-10-11 一种宫颈浸润癌细胞的智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211237718.3A CN115311271B (zh) 2022-10-11 2022-10-11 一种宫颈浸润癌细胞的智能识别方法

Publications (2)

Publication Number Publication Date
CN115311271A true CN115311271A (zh) 2022-11-08
CN115311271B CN115311271B (zh) 2023-01-31

Family

ID=83868444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211237718.3A Active CN115311271B (zh) 2022-10-11 2022-10-11 一种宫颈浸润癌细胞的智能识别方法

Country Status (1)

Country Link
CN (1) CN115311271B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110293149A1 (en) * 2010-05-28 2011-12-01 General Electric Company Iterative vascular reconstruction by realignment
CN113781455A (zh) * 2021-09-15 2021-12-10 平安科技(深圳)有限公司 宫颈细胞图像异常检测方法、装置、设备及介质
CN114241478A (zh) * 2021-11-25 2022-03-25 上海浦东发展银行股份有限公司 宫颈细胞图像中异常细胞图像识别方法、装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110293149A1 (en) * 2010-05-28 2011-12-01 General Electric Company Iterative vascular reconstruction by realignment
CN113781455A (zh) * 2021-09-15 2021-12-10 平安科技(深圳)有限公司 宫颈细胞图像异常检测方法、装置、设备及介质
CN114241478A (zh) * 2021-11-25 2022-03-25 上海浦东发展银行股份有限公司 宫颈细胞图像中异常细胞图像识别方法、装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863466A (zh) * 2023-09-04 2023-10-10 南京诺源医疗器械有限公司 一种基于改进UNet网络的重叠细胞核识别方法及系统

Also Published As

Publication number Publication date
CN115311271B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN109815888B (zh) 一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法
CN111402267B (zh) 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端
CN110120040A (zh) 切片图像处理方法、装置、计算机设备和存储介质
CN111462042B (zh) 癌症预后分析方法及系统
US11935279B1 (en) Weakly supervised pathological image tissue segmentation method based on online noise suppression strategy
CN110969204B (zh) 基于磁共振图像与数字病理图像融合的样本分类系统
CN114511523B (zh) 基于自监督学习的胃癌分子亚型分类方法及装置
CN115294126B (zh) 一种病理图像的癌细胞智能识别方法
CN115311271B (zh) 一种宫颈浸润癌细胞的智能识别方法
CN114841947A (zh) 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置
CN110335686B (zh) 细胞类型识别方法、装置、计算机设备及存储介质
Atupelage et al. Computational hepatocellular carcinoma tumor grading based on cell nuclei classification
CN112308840A (zh) 一种病理学图像的口腔癌上皮组织区域自动分割方法
CN112990214A (zh) 一种医学图像特征识别预测模型
US12008747B2 (en) Population-specific prediction of prostate cancer recurrence based on stromal morphology features
CN113011257A (zh) 一种乳腺癌免疫组化人工智能判读方法
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
CN117576131A (zh) 基于边缘优化和特征去噪的弱监督细胞核分割方法及装置
Fogarasi et al. Glandular object based tumor morphometry in H&E biopsy samples for prostate cancer prognosis
Guo et al. Pathological detection of micro and fuzzy gastric cancer cells based on deep learning
CN113435469A (zh) 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法
CN112634308A (zh) 基于不同感受野的鼻咽癌靶区和危及器官的勾画方法
CN112508860A (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统
CN115690056A (zh) 基于her2基因检测的胃癌病理图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant