CN112652002B - 一种基于idc算法的医疗影像配准方法 - Google Patents

一种基于idc算法的医疗影像配准方法 Download PDF

Info

Publication number
CN112652002B
CN112652002B CN202011567519.XA CN202011567519A CN112652002B CN 112652002 B CN112652002 B CN 112652002B CN 202011567519 A CN202011567519 A CN 202011567519A CN 112652002 B CN112652002 B CN 112652002B
Authority
CN
China
Prior art keywords
image
registration
floating
loss function
floating image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011567519.XA
Other languages
English (en)
Other versions
CN112652002A (zh
Inventor
张秋菊
宁萌
代霖昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Composite Material Equipment Research Institute Co ltd
Original Assignee
Jiangsu Jicui Composite Material Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Composite Material Equipment Research Institute Co ltd filed Critical Jiangsu Jicui Composite Material Equipment Research Institute Co ltd
Priority to CN202011567519.XA priority Critical patent/CN112652002B/zh
Publication of CN112652002A publication Critical patent/CN112652002A/zh
Application granted granted Critical
Publication of CN112652002B publication Critical patent/CN112652002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于IDC算法的医疗影像配准方法,涉及医疗技术领域,该方法应用电子探针对手术区域进行扫描分析并选取若干个参考点,分别确定各个参考点在浮动图像和固定图像中的位置得到浮动图像点集和固定图像点集,确定浮动图像点集中的每个点在固定图像点集中的距离最近的点作为其匹配点构成匹配点对并根据匹配点对的欧式距离得到初始损失函数,利用SVD算法分解各组匹配点对构成的矩阵得到旋转矩阵和平移矩阵并处理更新浮动函数迭代直至初始损失函数不超出损失函数阈值时将浮动图像和固定图像导入改进配准神经网络得到变形场,该方法配准精度和配准速度都较优,且对患者伤害较小。

Description

一种基于IDC算法的医疗影像配准方法
技术领域
本发明涉及医疗技术领域,尤其是一种基于IDC算法的医疗影像配准方法。
背景技术
医学影像配准技术是医学影像处理的基础,在图像信息融合、辅助诊断、手术规划以及介入导航系统中都发挥着重要的作用。医学影像配准是将两幅医学影像进行空间匹配的过程,若要将医学影像A配准到医学影像B,则将医学影像B作为参考图像,将医学影像A作为浮动图像,得到医学影像A配准到医学影像B的变形场,常见的医学影像配准方法主要是基于灰度值的配准方法,但该方法在医学影像质量较差且形变较大的情况下,配准精度和配准速度都不理想。
发明内容
本发明人针对上述问题及技术需求,提出了一种基于IDC算法的医疗影像配准方法,本发明的技术方案如下:
一种基于IDC算法的医疗影像配准方法,该方法包括:
应用电子探针对手术区域进行扫描分析并选取若干个参考点;
获取手术区域的术前医疗影像作为浮动图像,并确定各个参考点在浮动图像中的位置得到浮动图像点集;
获取手术区域的术中医疗影像作为固定图像,并确定各个参考点在固定图像中的位置得到固定图像点集;
确定浮动图像点集中的每个点在固定图像点集中的距离最近的点作为其匹配点构成匹配点对;
根据每组匹配点对的欧式距离得到初始损失函数;
若初始损失函数超出损失函数阈值,则利用SVD算法分解各组匹配点对构成的矩阵得到旋转矩阵和平移矩阵,并利用旋转矩阵和平移矩阵处理浮动图像,并对处理后的浮动图像再次执行确定各个参考点在浮动图像中的位置得到浮动图像点集的步骤;
若初始损失函数未超出损失函数阈值,则将此时的浮动图像和固定图像导入基于Flownet网络构建的改进配准神经网络得到浮动图像配准到固定图像的变形场。
其进一步的技术方案为,该方法还包括:
计算每组匹配点对中的两个点之间的欧式距离;
将各组匹配点对的欧氏距离的平均值作为初始损失函数。
其进一步的技术方案为,在将浮动图像和固定图像导入改进配准神经网络后,Flownet网络对输入的浮动图像和固定图像进行处理并输出配准结果;
计算利用配准结果处理输入的浮动图像的结果与原始输入的浮动图像之间的互相关作为配准损失函数;
若配准损失函数超出配准差值阈值,则调节Flownet网络的网络参数直至配准损失函数小于配准差值阈值,将此时Flownet网络输出的配准结果作为浮动图像配准到固定图像的变形场。
其进一步的技术方案为,改进配准神经网络中的Flownet网络包括编码器、解码器和跳跃连接编码器,编码器包括4个4*4*4的卷积层和一个2*2*2的最大池化层,且编码器中每个卷积层后设置一个relu激活层;解码器包括4个4*4*4的卷积层以及一个2*2*2的上采样层;跳跃连接编码器包括2个卷积层。
其进一步的技术方案为,将此时的浮动图像和固定图像导入基于Flownet网络构建的改进配准神经网络,包括:
对此时的浮动图像和固定图像进行数据增强;
对完成数据增强的浮动图像和固定图像进行图像预处理;
对完成图像预处理的浮动图像和固定图像进行重采样,将图像大小和数量调整为512*512*384后导入改进配准神经网络。
本发明的有益技术效果是:
本申请公开了一种基于IDC算法的医疗影像配准方法,该方法通过电子探针选取参考点用于配准,相比于现有需要植入钛螺钉定位的方法来说对患者的伤害较小;相比于传统配准所使用的采用笛卡尔坐标点集的ICP算法来说,本申请使用IDC算法采用数据量更小、配准更快;而使用欧氏距离作为损失函数可以进一步避免传统点配准算法耗时过多,容易陷入局部最优的困境且同时利用其算法迭代快的优点。使用基于Flownet神经网络的结构,且将损失函数Loss为每个点集之间的互相关,可以极大程度的在保证正确率的前提下加快配准速度,从而使得该配准方法的配准精度和配准速度都较优。
附图说明
图1是本申请公开的医疗影像配准方法的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本申请公开了一种基于IDC算法的医疗影像配准方法,请参考图1所示的流程图,该方法包括如下步骤:
步骤S1,应用电子探针对手术区域进行扫描分析并选取若干个参考点。本申请采用电子探针来选点,相比于现有的一些做法需要在人体植入钛螺钉作为参考的做法来说,对患者造成的额外伤害较小。
步骤S2,获取手术区域的术前医疗影像作为浮动图像F,获取手术区域的术中医疗影像作为固定图像S。
步骤S3,确定各个参考点在浮动图像中的位置得到浮动图像点集,浮动图像点集即包括各个参考点在浮动图像F中的极坐标。确定各个参考点在固定图像中的位置得到固定图像点集,固定图像点集即包括各个参考点在固定图像S中的极坐标。
步骤S4,对于浮动图像点集中的每个点,寻找其在固定图像点集中的距离最近的点作为其匹配点构成匹配点对。依次寻找浮动图像点集中的各个点得到若干组匹配点对。
步骤S5,根据每组匹配点对的欧式距离得到初始损失函数。具体的:计算每组匹配点对中的两个点之间的欧式距离,然后将各组匹配点对的欧氏距离的平均值作为初始损失函数。
步骤S6,检测初始损失函数是否超出损失函数阈值,损失函数阈值为预设值,本申请较为典型的设置损失函数阈值为3cm。
步骤S7,若初始损失函数超出损失函数阈值,则利用SVD算法分解各组匹配点对构成的矩阵得到旋转矩阵R和平移矩阵T,并利用旋转矩阵R和平移矩阵T处理浮动图像F得到新的处理后的浮动图像。然后对处理后的浮动图像以及原始的固定图像再次执行上述步骤S3-S6。利用SVD算法分解求解会使得初始损失函数不断减小,经过多次循环会使得初始损失函数小于损失函数阈值。
步骤S8,若初始损失函数未超出损失函数阈值,则将此时的浮动图像和固定图像导入基于Flownet网络构建的改进配准神经网络得到浮动图像配准到固定图像的变形场,此时导入的浮动图像可能是对原始的浮动图像F经过上述算法多次循环以后的图像,固定图像则为最初获取到的固定图像。
在将浮动图像和固定图像导入改进配准神经网络后,Flownet网络对输入的浮动图像和固定图像进行处理并输出配准结果。然后计算利用配准结果处理输入的浮动图像的结果与原始输入的浮动图像之间的互相关(NCC)作为配准损失函数。若配准损失函数超出配准差值阈值,则调节Flownet网络的网络参数直至配准损失函数小于配准差值阈值。
在本申请中,改进配准神经网络中的Flownet网络包括编码器、解码器和跳跃连接编码器。通过解码器得到图像之间转换矩阵,编码器包括4个4*4*4的卷积层和一个2*2*2的最大池化层逐次进行下采样,且编码器中每个卷积层后设置一个relu激活层。解码器用于恢复图像尺寸以获得和原始图像尺寸一样的变形场,解码器包括与编码器路径相同的4个4*4*4的卷积层以及一个2*2*2的上采样层来执行上采样。跳跃连接编码器包括2个卷积层。
可选的在本申请中,在将浮动图像和固定图像导入改进配准神经网络时,首先对此时的浮动图像和固定图像进行数据增强扩展已有图像集。然后对完成数据增强的浮动图像和固定图像进行图像预处理,本申请中图像预处理包括图像阈值分割,首先利用阈值分割算法对图像进行处理提取出目标物,比如在骨科介入手术导航汇总,目标物为骨骼,则通过阈值分割算法可以将骨骼和血管、皮肤等区分开,如果最初获取的图像并不只是手术区域的图像,则这一部还可以进行图像裁剪保留手术区域部分、将其余部分裁剪掉。然后对完成图像预处理的浮动图像和固定图像进行重采样,将图像大小和数量调整为512*512*384后导入改进配准神经网络。
当配准损失函数小于配准差值阈值时,此时Flownet网络输出的配准结果作为浮动图像配准到固定图像的变形场,然后利用该变形场即能实现浮动图像至固定图像的配准。
以上所述的仅是本申请的优选实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。

Claims (2)

1.一种基于IDC算法的医疗影像配准方法,其特征在于,所述方法包括:
应用电子探针对手术区域进行扫描分析并选取若干个参考点;
获取所述手术区域的术前医疗影像作为浮动图像,并确定各个参考点在所述浮动图像中的位置得到浮动图像点集;
获取所述手术区域的术中医疗影像作为固定图像,并确定各个参考点在所述固定图像中的位置得到固定图像点集;
确定所述浮动图像点集中的每个点在所述固定图像点集中的距离最近的点作为其匹配点构成匹配点对;
根据每组匹配点对的欧式距离得到初始损失函数;
若初始损失函数超出损失函数阈值,则利用SVD算法分解各组匹配点对构成的矩阵得到旋转矩阵和平移矩阵,并利用所述旋转矩阵和平移矩阵处理所述浮动图像,并对处理后的浮动图像再次执行所述确定各个参考点在所述浮动图像中的位置得到浮动图像点集的步骤;
若初始损失函数未超出损失函数阈值,则将此时的浮动图像和固定图像导入基于Flownet网络构建的改进配准神经网络得到所述浮动图像配准到所述固定图像的变形场,所述改进配准神经网络中的Flownet网络包括编码器、解码器和跳跃连接编码器,所述编码器包括4个4*4*4的卷积层和一个2*2*2的最大池化层,且所述编码器中每个卷积层后设置一个relu激活层;所述解码器包括4个4*4*4的卷积层以及一个2*2*2的上采样层;所述跳跃连接编码器包括2个卷积层;
在将浮动图像和固定图像导入所述改进配准神经网络后,Flownet网络对输入的浮动图像和固定图像进行处理并输出配准结果;计算利用所述配准结果处理输入的浮动图像的结果与原始输入的浮动图像之间的互相关作为配准损失函数;若配准损失函数超出配准差值阈值,则调节所述Flownet网络的网络参数直至配准损失函数小于所述配准差值阈值,将此时Flownet网络输出的配准结果作为所述浮动图像配准到所述固定图像的变形场;
所述将此时的浮动图像和固定图像导入基于Flownet网络构建的改进配准神经网络,包括:对此时的浮动图像和固定图像进行数据增强,对完成数据增强的浮动图像和固定图像进行图像预处理,对完成图像预处理的浮动图像和固定图像进行重采样,将图像大小和数量调整为512*512*384后导入所述改进配准神经网络。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
计算每组匹配点对中的两个点之间的欧式距离;
将各组匹配点对的欧氏距离的平均值作为初始损失函数。
CN202011567519.XA 2020-12-25 2020-12-25 一种基于idc算法的医疗影像配准方法 Active CN112652002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011567519.XA CN112652002B (zh) 2020-12-25 2020-12-25 一种基于idc算法的医疗影像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011567519.XA CN112652002B (zh) 2020-12-25 2020-12-25 一种基于idc算法的医疗影像配准方法

Publications (2)

Publication Number Publication Date
CN112652002A CN112652002A (zh) 2021-04-13
CN112652002B true CN112652002B (zh) 2024-05-03

Family

ID=75363228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011567519.XA Active CN112652002B (zh) 2020-12-25 2020-12-25 一种基于idc算法的医疗影像配准方法

Country Status (1)

Country Link
CN (1) CN112652002B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN109544610A (zh) * 2018-10-15 2019-03-29 天津大学 一种基于卷积神经网络的图像配准方法
CN109584283A (zh) * 2018-11-29 2019-04-05 合肥中科离子医学技术装备有限公司 一种基于卷积神经网络的医学图像配准算法
CN110310310A (zh) * 2019-03-27 2019-10-08 南京航空航天大学 一种针对航空影像配准的改进方法
KR20190139781A (ko) * 2018-06-08 2019-12-18 연세대학교 산학협력단 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177486B2 (en) * 2002-04-08 2007-02-13 Rensselaer Polytechnic Institute Dual bootstrap iterative closest point method and algorithm for image registration
US11449759B2 (en) * 2018-01-03 2022-09-20 Siemens Heathcare Gmbh Medical imaging diffeomorphic registration based on machine learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
KR20190139781A (ko) * 2018-06-08 2019-12-18 연세대학교 산학협력단 데이터 획득 시간 최소화를 위한 cnn 기반의 고해상도 영상 생성 장치 및 그 방법
CN109544610A (zh) * 2018-10-15 2019-03-29 天津大学 一种基于卷积神经网络的图像配准方法
CN109584283A (zh) * 2018-11-29 2019-04-05 合肥中科离子医学技术装备有限公司 一种基于卷积神经网络的医学图像配准算法
CN110310310A (zh) * 2019-03-27 2019-10-08 南京航空航天大学 一种针对航空影像配准的改进方法
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Voronoi图表和进化策略的图像特征点配准方法;孙焘, 王秀坤, 邵刚, 贺明峰, 冯林;大连理工大学学报;20050610(03);全文 *
基于改进K-Means聚类医学图像配准;陈园;侯赞;刘军华;雷超阳;;软件;20180115(01);全文 *

Also Published As

Publication number Publication date
CN112652002A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN112258514B (zh) 一种ct影像肺血管的分割方法
CN117078671B (zh) 一种甲状腺超声影像智能分析系统
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN113539402B (zh) 多模态影像自动勾画模型迁移方法
CN117649357A (zh) 一种基于图像增强的超声图像处理方法
CN116385436B (zh) 一种基于ct图像的胆结石辅助检测系统
CN109003280B (zh) 一种双通道血管内超声影像的血管中内膜分割方法
CN111932495B (zh) 一种医学图像检测方法、装置及存储介质
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN117689697A (zh) 一种基于点云配准和图像特征配准的us和ct图像配准方法
CN117409002A (zh) 一种用于创伤的视觉识别检测系统及其检测方法
CN116580033B (zh) 一种基于图像块相似性匹配的多模态医学图像配准方法
CN112652002B (zh) 一种基于idc算法的医疗影像配准方法
CN116523983B (zh) 融合多路径特征与器官形态导向的胰腺ct图像配准方法
CN111243026B (zh) 解剖标记点定位方法、装置、计算机设备和存储介质
CN111466952B (zh) 一种超声内镜与ct三维图像实时转化方法和系统
CN117808830A (zh) 一种基于医学图像处理的肺栓塞病灶分割方法
CN112242193A (zh) 一种基于深度学习的自动血管穿刺方法
CN111339993A (zh) 一种x射线图像金属检测方法和系统
CN116485853A (zh) 一种基于深度学习神经网络的医学图像配准方法和装置
CN114820678B (zh) 基于oct图像的血管壁内轮廓自动提取方法及系统
Xu et al. A Multi-scale Attention-based Convolutional Network for Identification of Alzheimer's Disease based on Hippocampal Subfields
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113269080B (zh) 基于多通道卷积神经网络的掌静脉识别方法
CN115908888A (zh) 一种介入手术机器人基于Unet的DSA图像序列的血管介入器械跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant