CN105976364A - 基于简化带权无向图的统计平均模型构建方法 - Google Patents

基于简化带权无向图的统计平均模型构建方法 Download PDF

Info

Publication number
CN105976364A
CN105976364A CN201610279184.9A CN201610279184A CN105976364A CN 105976364 A CN105976364 A CN 105976364A CN 201610279184 A CN201610279184 A CN 201610279184A CN 105976364 A CN105976364 A CN 105976364A
Authority
CN
China
Prior art keywords
image
images
threshold value
model
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610279184.9A
Other languages
English (en)
Other versions
CN105976364B (zh
Inventor
杨健
付天宇
王涌天
李勤
范敬凡
丛伟建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201610279184.9A priority Critical patent/CN105976364B/zh
Publication of CN105976364A publication Critical patent/CN105976364A/zh
Application granted granted Critical
Publication of CN105976364B publication Critical patent/CN105976364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种基于简化带权无向图的统计平均模型构建方法,能避免选择特定模板图像带来的偏差以及无模板groupwise配准收敛速度慢,效率低等问题。方法包括:将刚性对齐后的图像集作为输入,构成图模型的顶点集合,求解阈值,构造图像之间的边,建立无向图模型;在图像仿射传播聚类结果的基础上,删除类内与类间冗余的边,对无向图模型的简化;在简化图模型的基础上,根据每幅图像与周围相连图像的差异,设置边的权重;通过配准计算每幅图像与与其连接图像之间的形变场;将形变场依据对应图模型上的权重进行复合;将复合后的形变场作用于图像,使图像之间的差异逐步减小,简化带权无向图模型逐渐收缩;求取图像集的平均图像,从而获得图谱。

Description

基于简化带权无向图的统计平均模型构建方法
技术领域
本发明涉及图像配准技术领域,具体涉及一种基于简化带权无向图的统计平均模型构建方法。
背景技术
医学图像配准是指将不同条件下获取的图像变换到同一坐标空间,实现多种不同信息的融合。通过将不同模态、不同时间或者不同病人的数据配准,从而使得不同数据在对应点上达到空间的一致,为医生诊断疾病提供更加全面的信息。其在计算机辅助治疗领域拥有广泛的应用前景。
随着医学图像配准技术的发展,大量精确的配准算法被提出。2002年,Shen提出HAMMER弹性配准算法,其利用边界类型、图像灰度值和几何不变矩组成属性向量对每个像素点进行属性描述,根据两幅图像像素点特征之间的差异,求解最优形变场,最终实现两幅图像之间的配准。2009年,Vercauteren提出的Diffeomorphicdemons方法,它在demons配准算法的基础上,引入对称的微分同胚形变模型,从而实现精确地非参数配准。2012年,Kim提出基于机器学习的配准算法,其根据训练集中图像之间的差异,通过支持向量回归,为浮动图像学习出初始形变场,根据初始形变场,求解出中间模板图像,而中间模板图像与目标图像之间的差异较小,然后再将中间模板与目标图像配准,从而实现精确、快速地配准。上述提到的方法,其特点在于需要为每幅图像选择特定的模板,即固定图像,一经选定,在配准过程中就不会改变。该类算法在处理两幅图像之间的pairwise匹配时,可以获得较好的配准效果。但是,当需要处理大量数据,以分析它们之间的相似与差异时,选取特定模板过程中的主观因素将会导致最终配准结果的有偏性。因此,为了解决该问题,用于分析群组数据的groupwise配准算法被提出。
基于动态模板图像的groupwise配准算法的提出,试图去解决pairwise配准算法的问题。所谓动态模板图像,并不选择一个固定的图像作为模板,而是在每次配准时都会根据当前图像间相似关系,选取不同图像作为本次迭代的模板。Joshi等人提出的方法是现在常用的groupwise配准算法,该方法在每次迭代前,首先计算整体图像分布流型上的karcher均值图像,将其作为groupwise配准的模板图像,引导所有图像向其配准。Sabuncu等人则利用ICluster将图像集聚集成几个子类,将类中心图像选为该类的模板引导类内图像配准,最终所有图像配准到同一坐标空间。将均值图像作为模板,避免了偏差的产生。Sharpmean算法利用平均图像作为模板引导配准,每幅图像不再以等权重的方式构成平均图像,而是根据上次迭代的结果与图像之间的差异来决定该图像的权重。通过不同的权重,让差异较大的一些图像构成较精细的平均图像,从而引导其他图像进行配准。而对于第一次迭代来说,没有上一次迭代的结果,则选取与所有图像差异之和最小的图像作为平均图像。Shen提出了ABSORB算法,该算法的核心在于为每幅图像选取邻域图像,邻域图像即引导其配准的中间模板图像。邻域则根据该图像周围局部分布信息确立。
对于无模板的groupwise配准算法,不需要预先选取模板。它们依据图像之间的相似性关系,建立配准框架,在每次迭代的过程中,通过形变场复合,逐步将图像中所有图像配准到同一坐标空间。该类groupwise配准算法中,常用的是HUGS方法。在该方法中,计算任意两幅图像之间的差异,通过线性搜索可以确定一个最优阈值。根据该阈值,建立任意两幅之间的联系(即判断阈值与两幅图像之间相似性程度的关系,以确定它们之间是否存在边),从而构造图模型。依据图模型中边上切向力的引导(即配准),最终将所有图像对齐。这样一来,避免了选取模板可能带来的误差。
ABSORB、HUGS和其它基于树的配准算法它们都利用了图论的相关知识,它们的核心都是利用图对图像集分布建模,根据图模型的引导,从而最终实现将大量图像配准到同一坐标空间。但是不同在于ABSORB算法的框架类似于按住模型中的一点,其余点向其移动,最终实现图模型的收缩。而HUGS建立的图中,任意两点连接在一起,且沿着边的切向力最终使所有点收缩到一个点。显而易见的是,ABSORB算法收敛的速度较快,但是结果是有偏差的。而HUGS算法避免了偏差,但是其建立的无向图收敛速度较慢,从而影响了算法的效率。
发明内容
有鉴于此,本发明实施例提供一种基于简化带权无向图的统计平均模型构建方法,能够避免选择特定模板图像带来的偏差,同时也能避免无模板groupwise配准收敛速度慢,效率低等问题。
本发明实施例提出一种基于简化带权无向图的统计平均模型构建方法,包括:
S1、将刚性配准后的图像集作为输入,构成图模型的顶点集合,求解阈值,并通过图像间相似度与阈值的比对,构造图像之间的边,从而建立无向图模型;
S2、在图像集进行仿射传播聚类,在仿射传播聚类结果的基础上,根据图模型将边分为类内和类间两类,确定并删除类内与类间冗余的边,实现对无向图模型的简化,得到简化图模型;
S3、在简化图模型的基础上,根据每幅图像与周围相连图像的差异,设置边的权重,该权重将用于求解图像的形变场;
S4、通过配准计算每幅图像与与其连接图像之间的形变场,将形变场依据对应图模型上的权重进行复合;
S5、通过将复合后的形变场作用于图像,将图像变形;
S6、计算所有图像间的差异,判断所述差异是否小于预设的第一阈值,若所述差异小于所述第一阈值,则执行步骤S7,或者若所述差异不小于所述第一阈值,则将最新得到的图像作为输入重复执行步骤S1至S6,直至所有图像间的差异小于所述第一阈值,执行步骤S7;
S7、求取图像集的平均图像,从而获得图谱。
本发明实施例提供的基于简化带权无向图的统计平均模型构建方法,通过分布建模与图模型收缩,利用图模型实现快速精确的图谱求解,在求解的过程中,通过建立无向图模型对图像集分布建模,避免了在选择特定模板图像过程中的主观因素带来的偏差;综合图像集全局与局部分布信息以简化图模型,提高了groupwise配准框架的运算效率;通过设置形变场复合权重改善了无模板groupwise配准收敛速度慢等问题。
附图说明
图1为本发明基于简化带权无向图的统计平均模型构建方法一实施例的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例公开一种基于简化带权无向图的统计平均模型构建方法,包括:
S1、将刚性配准后的图像集作为输入,构成图模型的顶点集合,求解阈值,并通过图像间相似度与阈值的比对,构造图像之间的边,从而建立无向图模型;
S2、在图像集进行仿射传播聚类,在仿射传播聚类结果的基础上,根据图模型将边分为类内和类间两类,确定并删除类内与类间冗余的边,实现对无向图模型的简化,得到简化图模型;
S3、在简化图模型的基础上,根据每幅图像与周围相连图像的差异,设置边的权重,该权重将用于求解图像的形变场;
S4、通过配准计算每幅图像与与其连接图像之间的形变场,将形变场依据对应图模型上的权重进行复合;
S5、通过将复合后的形变场作用于图像,将图像变形;
S6、计算所有图像间的差异,判断所述差异是否小于预设的第一阈值,若所述差异小于所述第一阈值,则执行步骤S7,或者若所述差异不小于所述第一阈值,则将最新得到的图像作为输入重复执行步骤S1至S6,直至所有图像间的差异小于所述第一阈值,执行步骤S7;
S7、求取图像集的平均图像,从而获得图谱。
本实施例提供的基于简化带权无向图的统计平均模型构建方法,通过分布建模与图模型收缩,利用图模型实现快速精确的图谱求解,在求解的过程中,通过建立无向图模型对图像集分布建模,避免了在选择特定模板图像过程中的主观因素带来的偏差;综合图像集全局与局部分布信息以简化图模型,提高了groupwise配准框架的运算效率;通过设置形变场复合权重改善了无模板groupwise配准收敛速度慢等问题。
可选地,在本发明基于简化带权无向图的统计平均模型构建方法的另一实施例中,在所述S1之前,还包括:
对所述图像集中的图像进行刚性配准。
可选地,在本发明基于简化带权无向图的统计平均模型构建方法的另一实施例中,所述求解阈值,包括:
对所述图像集进行模糊聚类,求解等价闭包矩阵,将矩阵中最小值作为最优阈值。
本发明实施例中,在图模型建立时,利用模糊聚类方法,有助于快速精确的求解最优阈值。
可选地,在本发明基于简化带权无向图的统计平均模型构建方法的另一实施例中,在所述通过图像间相似度与阈值的比对之前,还包括:
计算刚性配准后的输入图像间的相似度;其中,
所述通过图像间相似度与阈值的比对,构造图像之间的边,包括:
判断图像间的相似度是否大于最优阈值,若大于所述最优阈值,则构造对应的图像之间的边。
可选地,在本发明基于简化带权无向图的统计平均模型构建方法的另一实施例中,所述通过配准计算每幅图像与与其连接图像之间的形变场,包括:
利用弹性配准算法将每条边对应的两幅图像配准,获得对应的弹性形变场。
可选地,在本发明基于简化带权无向图的统计平均模型构建方法的另一实施例中,所述将形变场依据对应图模型上的权重进行复合,包括:
对于每一图像,将连接该图像与其它图像的每一条边乘以该边对应的弹性形变场,并将得到的各个弹性形变场进行复合,得到复合后的形变场。
下面以求解肝脏概率图谱为例对本发明的实施过程进行说明,求解过程具体包括如下步骤:
(1)输入肝脏CT数据;
(2)计算CT数据间刚性形变场,将肝脏数据刚性配准;
(3)计算刚性配准后的输入图像间的相似度;
(4)将刚性配准后的输入图像集进行模糊聚类,求解等价闭包矩阵,矩阵中最小值即为最优阈值;
(5)判断相似性是否大于最优阈值,若大于,则在对应的图像间构造边,反之不构造边,边确定后,则图模型建立完成;
(6)对图像集进行仿射传播聚类,根据图模型,将边分为两类,一类属于类内,一类属于类间;
(7)逐步删除类内和类间的冗余边后,生成简化图模型;
(8)根据每幅图像周围分布信息,为每条边设置权重,生成带权简化图模型;
(9)将输入数据集配准,如果两幅图像间存在边,则利用弹性配准算法将它们配准,反之,则不进行弹性配准。输入数据弹性配准后,获得对应的弹性形变场;
(10)根据步骤(8)设置的权重,乘以边上对应的弹性形变场;
(11)如果图像与多幅图像之间存在边,则该图像最终的形变场由步骤(10)计算出的形变场复合求出,复和结果为每幅图像的最优形变场,根据最优形变场,将图像变形;
(12)计算所有图像间的相似性,如果小于所设定的阈值,则将最新得到的图像作为输入执行步骤(13),否则,执行步骤(4);
(13)平均所有形变后图像,生成肝脏概率图谱。
虽然结合附图描述了本发明的实施方式,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (6)

1.一种基于简化带权无向图的统计平均模型构建方法,其特征在于,包括:
S1、将刚性配准后的图像集作为输入,构成图模型的顶点集合,求解阈值,并通过图像间相似度与阈值的比对,构造图像之间的边,从而建立无向图模型;
S2、在图像集进行仿射传播聚类,在仿射传播聚类结果的基础上,根据图模型将边分为类内和类间两类,确定并删除类内与类间冗余的边,实现对无向图模型的简化,得到简化图模型;
S3、在简化图模型的基础上,根据每幅图像与周围相连图像的差异,设置边的权重,该权重将用于求解图像的形变场;
S4、通过配准计算每幅图像与与其连接图像之间的形变场,将形变场依据对应图模型上的权重进行复合;
S5、通过将复合后的形变场作用于图像,将图像变形;
S6、计算所有图像间的差异,判断所述差异是否小于预设的第一阈值,若所述差异小于所述第一阈值,则执行步骤S7,或者若所述差异不小于所述第一阈值,则将最新得到的图像作为输入重复执行步骤S1至S6,直至所有图像间的差异小于所述第一阈值,执行步骤S7;
S7、求取图像集的平均图像,从而获得图谱。
2.根据权利要求1所述的基于简化带权无向图的统计平均模型构建方法,其特征在于,在所述S1之前,还包括:
对所述图像集中的图像进行刚性配准。
3.根据权利要求1或2所述的基于简化带权无向图的统计平均模型构建方法,其特征在于,所述求解阈值,包括:
对所述图像集进行模糊聚类,求解等价闭包矩阵,将矩阵中最小值作为最优阈值。
4.根据权利要求3所述的基于简化带权无向图的统计平均模型构建方法,其特征在于,在所述通过图像间相似度与阈值的比对之前,还包括:
计算刚性配准后的输入图像间的相似度;其中,
所述通过图像间相似度与阈值的比对,构造图像之间的边,包括:
判断图像间的相似度是否大于最优阈值,若大于所述最优阈值,则构造对应的图像之间的边。
5.根据权利要求1所述的基于简化带权无向图的统计平均模型构建方法,其特征在于,所述通过配准计算每幅图像与与其连接图像之间的形变场,包括:
利用弹性配准算法将每条边对应的两幅图像配准,获得对应的弹性形变场。
6.根据权利要求5所述的基于简化带权无向图的统计平均模型构建方法,其特征在于,所述将形变场依据对应图模型上的权重进行复合,包括:
对于每一图像,将连接该图像与其它图像的每一条边乘以该边对应的弹性形变场,并将得到的各个弹性形变场进行复合,得到复合后的形变场。
CN201610279184.9A 2016-04-28 2016-04-28 基于简化带权无向图的统计平均模型构建方法 Active CN105976364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610279184.9A CN105976364B (zh) 2016-04-28 2016-04-28 基于简化带权无向图的统计平均模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610279184.9A CN105976364B (zh) 2016-04-28 2016-04-28 基于简化带权无向图的统计平均模型构建方法

Publications (2)

Publication Number Publication Date
CN105976364A true CN105976364A (zh) 2016-09-28
CN105976364B CN105976364B (zh) 2019-02-15

Family

ID=56994195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610279184.9A Active CN105976364B (zh) 2016-04-28 2016-04-28 基于简化带权无向图的统计平均模型构建方法

Country Status (1)

Country Link
CN (1) CN105976364B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778763A (zh) * 2016-11-11 2017-05-31 上海电机学院 一种基于属性图的图像表示方法
CN107590517A (zh) * 2017-09-19 2018-01-16 安徽大学 一种基于形状信息的图像相似度度量方法及图像配准方法
CN108171737A (zh) * 2018-01-09 2018-06-15 北京理工大学 一种具有不可压缩器官的医学图像配准方法及系统
CN108968916A (zh) * 2018-06-19 2018-12-11 艾瑞迈迪医疗科技(北京)有限公司 呼吸运动校正方法、装置、计算机设备和存储介质
CN109242009A (zh) * 2018-08-27 2019-01-18 温州大学激光与光电智能制造研究院 一种图像匹配系统
CN109272541A (zh) * 2018-08-27 2019-01-25 温州大学激光与光电智能制造研究院 一种图像匹配方法、设备
CN109685840A (zh) * 2018-12-28 2019-04-26 上海联影智能医疗科技有限公司 图像集配准方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366375A (zh) * 2013-07-15 2013-10-23 中国科学院自动化研究所 基于动态有向图的图像集配准方法
CN104077781A (zh) * 2014-07-07 2014-10-01 上海电力学院 一种基于形变场的医学图像配准算法评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366375A (zh) * 2013-07-15 2013-10-23 中国科学院自动化研究所 基于动态有向图的图像集配准方法
CN104077781A (zh) * 2014-07-07 2014-10-01 上海电力学院 一种基于形变场的医学图像配准算法评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HONGJUN JIA ET AL.: "ABSORB: Atlas Building by Self-Organized Registration and Bundling", 《NEUROIMAGE》 *
SHIHUI YING ET AL.: "Hierarchical unbiased graph shrinkage (HUGS): A novel groupwise registration for large data set", 《NEUROIMAGE》 *
ZHENYU TANG ET AL.: "IMAGE REGISTRATION BASED ON DYNAMIC DIRECTED GRAPHS WITH GROUPWISE IMAGE SIMILARITY", 《2013 IEEE 10TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》 *
李碧草 等: "基于结构图像表示和微分同胚 Demons 算法的多模态医学图像配准", 《东南大学学报》 *
闫德勤 等: "大形变微分同胚图像配准快速算法", 《自动化学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778763A (zh) * 2016-11-11 2017-05-31 上海电机学院 一种基于属性图的图像表示方法
CN106778763B (zh) * 2016-11-11 2020-05-26 上海电机学院 一种基于属性图的图像表示方法
CN107590517A (zh) * 2017-09-19 2018-01-16 安徽大学 一种基于形状信息的图像相似度度量方法及图像配准方法
CN107590517B (zh) * 2017-09-19 2020-07-10 安徽大学 一种基于形状信息的图像相似度度量方法及图像配准方法
CN108171737A (zh) * 2018-01-09 2018-06-15 北京理工大学 一种具有不可压缩器官的医学图像配准方法及系统
CN108171737B (zh) * 2018-01-09 2020-11-20 北京理工大学 一种具有不可压缩器官的医学图像配准方法及系统
CN108968916A (zh) * 2018-06-19 2018-12-11 艾瑞迈迪医疗科技(北京)有限公司 呼吸运动校正方法、装置、计算机设备和存储介质
CN109242009A (zh) * 2018-08-27 2019-01-18 温州大学激光与光电智能制造研究院 一种图像匹配系统
CN109272541A (zh) * 2018-08-27 2019-01-25 温州大学激光与光电智能制造研究院 一种图像匹配方法、设备
CN109242009B (zh) * 2018-08-27 2023-08-08 厦门风云科技股份有限公司 一种图像匹配系统
CN109272541B (zh) * 2018-08-27 2023-10-24 温州大学激光与光电智能制造研究院 一种图像匹配方法、设备
CN109685840A (zh) * 2018-12-28 2019-04-26 上海联影智能医疗科技有限公司 图像集配准方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN105976364B (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN105976364B (zh) 基于简化带权无向图的统计平均模型构建方法
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN107633522B (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN107481279B (zh) 一种单目视频深度图计算方法
EP2977921B1 (en) Apparatus and method for automatically registering landmarks in three-dimensional medical image
Sahillioğlu et al. Minimum-distortion isometric shape correspondence using EM algorithm
CN107369131B (zh) 图像的显著性检测方法、装置、存储介质和处理器
CN110459317B (zh) 基于动态脑网络图核的阿尔茨海默病辅助诊断系统及方法
CN104867137A (zh) 一种基于改进ransac算法的图像配准方法
CN108416347A (zh) 基于边界先验和迭代优化的显著目标检测算法
Lei et al. Echocardiographic image multi‐structure segmentation using Cardiac‐SegNet
CN111932552B (zh) 一种主动脉建模的方法及装置
CN104835168B (zh) 基于全局凸优化变分模型的快速多相图像分割方法
CN104992454A (zh) 一种区域化自动变类的图像分割方法
CN108595631B (zh) 基于图谱理论的三维cad模型双层检索方法
Gao et al. Fast multiregion image segmentation using statistical active contours
CN111079208B (zh) 基于粒子群算法的cad模型之间面对应关系识别方法
Wu et al. A multi-atlas guided 3D fully convolutional network for MRI-based subcortical segmentation
Huang et al. On the Concept Trustworthiness in Concept Bottleneck Models
CN105809657A (zh) 一种角点检测方法和装置
CN106650916A (zh) 一种基于蚁群优化的网格分割方法
CN115995024A (zh) 基于类图神经网络的图像分类方法
Wang A fast hybrid level set model for image segmentation using lattice Boltzmann method and sparse field constraint
Zhu et al. Deformable registration using average geometric transformations for brain MR images
CN116631634B (zh) 一种基于点云深度学习的可摘全口义齿的智能设计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant