CN110946552B - 一种结合光谱和图像的宫颈癌前病变筛查方法 - Google Patents

一种结合光谱和图像的宫颈癌前病变筛查方法 Download PDF

Info

Publication number
CN110946552B
CN110946552B CN201911041423.7A CN201911041423A CN110946552B CN 110946552 B CN110946552 B CN 110946552B CN 201911041423 A CN201911041423 A CN 201911041423A CN 110946552 B CN110946552 B CN 110946552B
Authority
CN
China
Prior art keywords
image
spectrum
cervical
data
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911041423.7A
Other languages
English (en)
Other versions
CN110946552A (zh
Inventor
钱志余
刘文文
晋晓飞
李俊俊
张欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911041423.7A priority Critical patent/CN110946552B/zh
Publication of CN110946552A publication Critical patent/CN110946552A/zh
Application granted granted Critical
Publication of CN110946552B publication Critical patent/CN110946552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种结合光谱和图像的宫颈癌前病变筛查方法,属于光谱分析和医学图像处理领域。本发明根据光谱和内窥镜的联合探头同时采集到的光谱和图像数据构建数据库,利用光谱数据库构建神经网络癌前病变分类模型,利用图像配准和融合,将对应检测点光谱诊断结果用不同颜色显示在对应检测点图像,重构成癌前病变分布图,根据分布图输出诊断结果。本发明可以单独作为宫颈癌筛查算法,也可以为进一步活检提供图像向导。本方法的诊断结果为一张宫颈癌前病变分布图,客观直接,不受操作人员的技术影响。

Description

一种结合光谱和图像的宫颈癌前病变筛查方法
技术领域
本发明涉及一种结合光谱和图像的宫颈癌前病变筛查方法,属于光谱分析和医学图像处理领域。
背景技术
宫颈癌是一种常见的妇科恶性肿瘤,对女性的健康造成了严重的危害。宫颈癌早期的治愈率可达90%以上,而原位癌的治愈率为100%。宫颈癌的早期筛查可以防止宫颈癌的继续发展,预防宫颈癌的发生。因此,宫颈癌的早期诊断至关重要。临床上根据子宫颈上皮细胞病变程度将宫颈癌早期病变分为CINI级、CINⅡ级和CINⅢ级,CINⅢ级以后就是浸润癌。早期病变到浸润癌的发展缓慢,及时和普遍的早期筛查是阻断宫颈癌的有效手段。
近年来临床上宫颈癌的早期筛查有各种方法,如光学、电学和各种诊断试剂,也可以通过疫苗来预防宫颈癌。临床上现有的检测方法分为观察法、细胞学检测、组织病理学检查等几类。
临床上使用最广泛的一种方法是巴氏涂片,巴氏涂片指宫颈脱落细胞涂片,是指从子宫颈部取少量的细胞样品,放在玻璃片上,然后在显微镜下研究是否异常。这种方法造价低,在基层也可以应用,但是特异度不高。目前临床上还缺少一种灵敏度和特异性良好且价格友好的宫颈癌筛查方法,以应用到医疗资源不发达的基层医院,达到提高宫颈癌筛查率和检查准确率的目的。
宫颈癌在发展过程中,早期病变分为三个阶段,CINI级、CINⅡ级和CINⅢ级。当上皮层的下
Figure BDA0002252929410000021
区被异型细胞占满时称为CIN I。当上皮层的
Figure BDA0002252929410000022
被异型细胞占满时称为CINII,异型性较CIN I级明显。异型细胞扩散面积超过上皮层的
Figure BDA0002252929410000023
区时称为CIN III级。
研究发现宫颈发育异常中,上皮细胞核质比和约化散射系数增大,基质中新生血管增多,胶原网络的降解,吸收系数增大,约化散射系数减小,散射减少可归因于宫颈基质中胶原网络的破坏。吸收系数和约化散射系数的变化可以利用组织的光谱进行计算。
神经网络算法对模糊的、非线性的、甚至是含有噪声的样本进行分类或者预测。反向传播(Back Propagation,BP)神经网络采用误差逐层向后传播的方式调节每层参数权重,最终获得符合要求的网络误差平方和。
发明内容
本发明提出了一种结合光谱和图像的宫颈癌前病变筛查方法,能够将光谱和图像信息定位到某检测点,根据建立的网络模型判断癌前病变情况,利用图像融合技术,用不同颜色将病变信息反映在子宫颈图上,并输出诊断结果。
本发明为解决其技术问题采用如下技术方案:
一种结合光谱和图像的宫颈癌前病变筛查方法,包括以下几个步骤:
(1)数据采集:使用数据采集系统,进行宫颈组织光谱和图像的在体采集;
(2)数据预处理:宫颈组织的原始光谱和图像信息预处理;
(3)建立数据库:预处理后的数据进行特征提取,并保存到数据库中;
(4)模型训练:模型训练使用BP神经网络,提取光谱特征作为输入,以0和1作为输出,分别属于训练集的两类;
(5)结果预测:采用一对一的训练方式,共十个分类器,最终结果由十个分类器投票决定,得票最多的类别即为预测结果。
步骤(1)中所述数据采集系统包括光源、光谱仪、联合探头和CCD相机,其中联合探头分别与光源、CCD相机和光谱仪连接。
所述联合探头包括光谱光纤、导光光纤和成像光纤,三种光纤独立包裹,整合在同一根探头中。
步骤(1)的具体过程如下:
使用数据采集系统的探头进行光谱和图像的采集,首先在距离移行带较远的位置拍摄子宫颈的整体图像作为定位基准,后紧贴子宫颈组织进行局部图像采集以及光谱采集;疑似病变区域重点采集,探头绕移行带一周,采集完毕。
步骤(2)的具体过程如下:
a)原始光谱数据,每10个点取平均进行平滑处理,然后做归一化。
b)采集的图像进行压缩和特征提取,然后按照时间序列进行配准和融合。
本发明的有益效果如下:
本发明提供了一种宫颈癌前病变的筛查方法,基于光谱的特征参数,用BP神经网络构建分类模型,输出分类结果。本方法采用了科学的数据采集方式,能够得到全面的宫颈病变分布状况,无需对宫颈进行刺激,安全可靠。经大量实验数据验证,本方法的判别准确率在85%以上,在已有的方法中具有相当的优越性,在宫颈癌筛查领域是一项重大突破。
附图说明
图1是本发明整体算法的流程示意图。
图2是本发明神经网络建模的流程示意图。
图3是本发明神经网络参数优化的流程示意图。
图4是本发明图像融合的流程示意图。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
本发明涉及一种宫颈癌癌前病变筛查的方法,利用光谱提取的特征建立神经网络模型进行癌前病变的分级,利用图像融合技术进行子宫颈口移行带的定位。将光谱检测结果显示在移行带图像上,不同级别用不同颜色等级表示,给医务工作者更加直观的展示,并为病变区域重点检查和活检提供向导。
本方法中所使用的数据共分为五类,其标签分别是正常、CINⅠ、CINⅡ、CINⅢ和宫颈糜烂。数据来源于医院临床试验,标签取自组织病理学检验结果。
图1为采用的筛查算法的整体流程示意图。包括:
CCD(电荷耦合器件)图像和光谱仪同步采集的数据,数据采集探头在距离宫颈口移行带较远处先采集移行带的整体图像,之后慢慢靠近移行带,在接触到移行带后停止前进。此过程中,CCD图像被筛选并保存用作图像融合的基准;光谱数据根据筛查算法,去掉不符合检测距离的光谱数据,只保留有效数据。之后探头沿移行带表面螺旋向内滑动,采集图像和光谱数据。
原始光谱数据和预处理后的数据都进行参数提取,分别计算波长在200-1100nm之间几个特征波段的光谱斜率,和光谱峰下面积,以及吸收系数和约化散射系数两个光学参数。疑似病变部位的组织病理学检查结果作为本算法数据的标签来源。以上数据均保存在数据库中。
根据采集的图像进行压缩和特征提取,然后按照时间序列进行配准和融合,示意图见4,并在移行带整体图像上定位。
根据已经建好的神经网络模型进行检测,根据时间序列记录检测结果。模型的建立见图2所示示意图,模型的优化选择见图3所示。
根据时间序列的图像定位,根据光谱检测结果的癌前病变分级将结果用不同颜色表示,在融合后的图像定位区域显示不同颜色。形成一张癌前病变等级的实时分布图。
根据定位区域的等级提示,重点重复检查不同CIN等级的区域及周边区域,以此提高检测准确性和重复性,并且确定病变范围。
根据区域提示,对未检查的区域补充检查,输出最终区域判断,形成一张完整的癌前病变分布图。
根据病变分布,确定不同病变等级的分布面积,根据病变面积的大小进行等级判断。此过程可以适用阈值判断,超过阈值即判断为对应的等级;也可以再次建立神经网络模型,输出判断结果。
图2是本发明的神经网络的流程示意图。
一种用于判断癌前病变的等级的神经网络模型建模方法,建立宫颈癌早期光谱数据库,将数据集分为训练集和测试集,利用训练集调节网络参数,通过测试集选择最优模型,用于诊断分析。本方法采用的神经网络模型,以S形转移函数作为激活函数,11维特征为输入,以0和1的方式输出分类结果。
采用单隐藏层神经网络,隐藏层节点数的确定利用经验公式
Figure BDA0002252929410000061
其中α为1-10之间的常数,m为隐藏层节点数,n为输出层输入层节点数,l为输出层节点数。设置隐藏层神经单元为3-13个,误差分别为0.1和0.01分别进行建模试验,最终得出隐藏层神经单元数为10,误差为0.01时,所建模型准确率最高。
随机抽取正常组织和肿瘤组织作为训练集,剩余正常组织和肿瘤组织样本作为验证集进行神经网络模型训练和验证。将μ's、μa、S500-520、S524-532、S540-560、S565-570、S575-590、S750-850、A400-800、A500-550、A550-600等11维特征作为输入,将肿瘤组织作为正样本,正常组织作为负样本,正常组织和肿瘤组织分别标记为0和1,作为输出。
本方法使用的光谱特征参数,在裸鼠试验中的其中一组样例如表1所示:
表1裸鼠的正常和肿瘤组织光谱参数
正常组织 肿瘤组织
μ'<sub>s</sub> 11.22328 16.45858
μ<sub>a</sub> 0.138665 0.1496
S<sub>500-520</sub> 385.5759 343.4692
S<sub>524-532</sub> 152.7547 -314.872
S<sub>540-560</sub> 572.737 405.058
S<sub>565-570</sub> 126.5193 -337.491
S<sub>575-590</sub> 278.7903 623.9977
A<sub>500-550</sub> 2.851088 1.882809
A<sub>550-600</sub> 6.832492 4.143716
S<sub>750-850</sub> -171.7 -334.8
A<sub>400-800</sub> 212.027 131.512
光谱在540nm和575nm处有明显的吸收峰,吸收峰处的斜率和面积可以作为区分不同病变组织的特征因子。选择明显接近直线段分布波段,求取斜率和面积。分别计算正常病人、CIN I期病人、CIN II期病人、CIN III期病人和宫颈糜烂病人的500-520nm、524-532nm、540-560nm、565-570nm和575-590nm波长范围的光谱斜率,随着癌前病变程度加深,各段斜率先减小后增大,说明斜率信息具有一定的识别意义,可以用作光谱特征。面积公式见(1),斜率面积见(2)。
Figure BDA0002252929410000071
Figure BDA0002252929410000081
其中:A为面积,xi为波长,xi+1为下一个采集波长,yi为xi这一波长对应的光强,yi+1为xi+1这一波长对应的光强,n为所求波段内的点的总数,S为斜率;
采用一对一策略,可以构建10个分类器。首先从中任选两个类作为正例和反例,用训练集进行建模,查看单个模型对训练集的分类效果,对于分类效果好的模型保留,效果不好的模型重复建模,直至效果较好。10个分类模型全都建好后,分别对所有的训练集和验证集样例按每个模型进行分类,记录每个样例属于哪一类,按照得票积分的形式合并10个分类器的预测结果,最终积分高的类作为最终的预测类。
具体步骤如下:
根据初始化的网络结构(包括层数、各层节点数、精度、学习率、步长、迭代次数等),利用归一化的训练集进行训练,计算隐藏层输出,计算输出层输出,根据每个位点训练结果和对应位点医院TCT(薄层液基细胞学)检查的标准结果进行对比,计算输出层偏差。
判断是否满足循环条件,不满足时根据偏差调整公式分别调整输出层权值和隐藏层权值,再次进行循环计算。直到满足循环条件,保存各层权值到文档。
利用测试集和已经读取的各层权值计算模型输出,根据灵敏度和特异性测试模型优劣。
新病患数据直接利用读取的各层权值进行输出计算,结果作为预测结果。
对于最优的神经网络模型选择,采用图3所示的神经网络参数优化方法,提高算法灵敏度和特异性。
设定网络模型限制条件,包括最大层数、最多节点数。
初始化网络参数,包括层数、节点数、精度、步长、学习率、循环次数。
将光谱数据库的数据按照不同比例分为训练集和测试集,分别用于神经网络的训练和测试。
利用训练集训练神经网络并保存权值等参数,利用剩余比例的测试集进行测试,分别保存测试结果。
迭代增加层数和节点数,继续进行模型训练和测试,直到满足限制条件。根据所有测试结果,选择特异性和灵敏度最高的模型。
图4是本发明的图像融合的流程示意图。
一种图像融合进行定位的方法,以整体宫颈图片为基准,将探头采集的不同检测点的图片进行配准和预处理后进行融合,然后根据不同检测点的诊断结果在融合后的图像上用不同等级表示。
在探头靠近子宫颈口的过程中,CCD由远及近拍摄移行带图像,并把移行带整体图作为基准。
探头在移行带表面移动时,按时间序列拍摄图片,对图片进行压缩,和特征提取。
根据特征进行图像配准,利用配准的图像进行融合,形成一张完整的探头运动轨迹图,以此来提示医生检测点位置,根据光谱的预测结果,可以对病变严重区域及周边进行重复检查,形成直观的病变分布图。

Claims (4)

1.一种用于宫颈癌前病变筛查的数据采集系统,其特征在于:所述数据采集系统包括光源、光谱仪、联合探头和CCD相机,所述联合探头分别与光源、CCD相机和光谱仪连接;通过所述数据采集系统进行宫颈组织光谱和图像的在体采集;对于数据采集系统采集到的数据依次进行数据预处理、建立数据库、模型训练以及结果预测;所述数据预处理是指宫颈组织的原始光谱和图像信息预处理;所述建立数据库是指预处理后的数据进行特征提取,并保存到数据库中;所述模型训练是指使用BP神经网络,提取光谱特征作为输入,以0和1作为输出,分别属于训练集的两类;所述结果预测是指采用一对一的训练方式,共十个分类器,最终结果由十个分类器投票决定,得票最多的类别即为预测结果;
在数据采集系统采集数据的过程中,首先联合探头在距离移行带的远处采集移形带整体图像,联合探头逐渐靠近移行带并在接触到移行带后停止前进,将此过程中采集到的CCD图像进行筛选并保存用作图像融合的基准,之后联合探头沿移行带表面螺旋向内滑动,此时采集移行带近处的CCD图像;在数据预处理过程中,将采集到的移行带近处的CCD图像进行压缩并提取特征,然后与所述图像融合的基准按照时间序列进行配准和融合,形成完整的探头运动轨迹图。
2.根据权利要求1所述的一种用于宫颈癌前病变筛查的数据采集系统,其特征在于:所述联合探头包括光谱光纤、导光光纤和成像光纤,三种光纤独立包裹,整合在同一根探头中。
3.根据权利要求1所述的一种用于宫颈癌前病变筛查的数据采集系统,其特征在于:数据采集的过程如下:
使用数据采集系统的探头进行光谱和图像的采集,首先在距离移行带较远的位置拍摄子宫颈的整体图像作为定位基准,后紧贴子宫颈组织进行局部图像采集以及光谱采集;疑似病变区域重点采集,探头绕移行带一周,采集完毕。
4.根据权利要求1所述的一种用于宫颈癌前病变筛查的数据采集系统,其特征在于:所述数据预处理的具体过程如下:
a)原始光谱数据,每10个点取平均进行平滑处理,然后做归一化;
b)采集的图像进行压缩和特征提取,然后按照时间序列进行配准和融合。
CN201911041423.7A 2019-10-30 2019-10-30 一种结合光谱和图像的宫颈癌前病变筛查方法 Active CN110946552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911041423.7A CN110946552B (zh) 2019-10-30 2019-10-30 一种结合光谱和图像的宫颈癌前病变筛查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911041423.7A CN110946552B (zh) 2019-10-30 2019-10-30 一种结合光谱和图像的宫颈癌前病变筛查方法

Publications (2)

Publication Number Publication Date
CN110946552A CN110946552A (zh) 2020-04-03
CN110946552B true CN110946552B (zh) 2022-04-08

Family

ID=69976612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911041423.7A Active CN110946552B (zh) 2019-10-30 2019-10-30 一种结合光谱和图像的宫颈癌前病变筛查方法

Country Status (1)

Country Link
CN (1) CN110946552B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364896B (zh) * 2020-10-26 2023-10-24 平安科技(深圳)有限公司 基于机器学习的健康信息分布的确定方法及装置
CN113538409B (zh) * 2021-08-05 2023-05-16 佳木斯大学 基于模糊逻辑和anfis的宫颈癌图像区域分割方法
CN117530659B (zh) * 2023-11-06 2024-04-09 浙江大学 基于光学相干层析成像技术的早期宫颈癌变辅助诊断工具
CN117695534B (zh) * 2023-12-14 2024-05-28 陕西省人民医院(陕西省临床医学研究院) 一种宫颈癌放疗精准定位与剂量控制系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7664300B2 (en) * 2005-02-03 2010-02-16 Sti Medical Systems, Llc Uterine cervical cancer computer-aided-diagnosis (CAD)
KR20070110965A (ko) * 2006-05-16 2007-11-21 주식회사 메디슨 초음파 영상과 외부 의료영상의 합성 영상을디스플레이하기 위한 초음파 시스템
JP2010524518A (ja) * 2007-04-11 2010-07-22 フォース フォトニクス リミテッド 支持構造及び該支持構造を含む子宮の生体内検査を改良し、客観化し、文書化するワークステーション
CN101057790A (zh) * 2007-06-22 2007-10-24 北京长江源科技有限公司 用于高强度聚焦超声刀肿瘤治疗定位的方法及装置
CN104540439B (zh) * 2012-08-14 2016-10-26 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
CN105615835A (zh) * 2015-12-28 2016-06-01 天津军创博元科技有限公司 宫颈癌早期病变筛查方法
KR101931747B1 (ko) * 2016-10-28 2019-03-13 삼성메디슨 주식회사 생체 검사 장치 및 동작 방법
CN106780466A (zh) * 2016-12-21 2017-05-31 广西师范大学 一种基于卷积神经网络的宫颈细胞图像识别方法
CN106902477B (zh) * 2017-01-23 2019-08-09 福建省肿瘤医院 一种宫颈癌内外放疗剂量的非线性融合方法
CN107019513B (zh) * 2017-05-18 2020-11-06 山东大学齐鲁医院 基于电磁定位复合导管的血管内虚拟内窥镜成像系统及其工作方法
CN107970060A (zh) * 2018-01-11 2018-05-01 上海联影医疗科技有限公司 手术机器人系统及其控制方法
CN108364032A (zh) * 2018-03-27 2018-08-03 哈尔滨理工大学 一种基于卷积神经网络的宫颈癌细胞图片识别算法

Also Published As

Publication number Publication date
CN110946552A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110946552B (zh) 一种结合光谱和图像的宫颈癌前病变筛查方法
US11562820B2 (en) Computer classification of biological tissue
US8483454B2 (en) Methods for tissue classification in cervical imagery
JP3753186B2 (ja) レーザー誘導蛍光を利用した形成異常の診断
Young Park et al. Automated image analysis of digital colposcopy for the detection of cervical neoplasia
CN109670510A (zh) 一种基于深度学习的胃镜活检病理数据筛查系统和方法
EP2724291A1 (en) Method for analyzing biological specimens by spectral imaging
Abuared et al. Skin cancer classification model based on VGG 19 and transfer learning
CA2907405A1 (en) Method and system for analyzing biological specimens by spectral imaging
Aubreville et al. Transferability of deep learning algorithms for malignancy detection in confocal laser endomicroscopy images from different anatomical locations of the upper gastrointestinal tract
Wang et al. Automated ovarian cancer identification using end-to-end deep learning and second harmonic generation imaging
CN115953781B (zh) 基于热层析影像的乳腺人工智能分析系统及方法
CN116630680B (zh) 一种x线摄影联合超声的双模态影像分类方法及系统
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持系统和方法
CN116840214A (zh) 一种诊断脑肿瘤和脑梗死的方法
Sun et al. Liver tumor segmentation and subsequent risk prediction based on Deeplabv3+
Selvarasu et al. Image processing techniques and neural networks for automated cancer analysis from breast thermographs-A review
Supriyanto et al. Automatic detection system of cervical cancer cells using color intensity classification
CN114140399A (zh) 用于脑肿瘤术中定性和边界定位的oct图像处理装置
CN110897593A (zh) 一种基于光谱特征参数的宫颈癌前病变诊断方法
Ballerini et al. Fractal analysis of microscopic images of breast tissue
Rosidi et al. Classification of cervical cells based on labeled colour intensity distribution
Mustafa et al. Evaluating GrabCut Algorithm for Cervical Cancer Lesion Segmentation
Sheikhzadeh Improving cervical neoplasia diagnosis via novel in vivo imaging technologies and deep learning algorithms
CN117322866A (zh) 基于乳腺mri动态图参数变化的乳腺良恶性病变鉴别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant