CN110570430A - 基于体配准的眼眶骨组织分割方法 - Google Patents

基于体配准的眼眶骨组织分割方法 Download PDF

Info

Publication number
CN110570430A
CN110570430A CN201910871929.4A CN201910871929A CN110570430A CN 110570430 A CN110570430 A CN 110570430A CN 201910871929 A CN201910871929 A CN 201910871929A CN 110570430 A CN110570430 A CN 110570430A
Authority
CN
China
Prior art keywords
bone tissue
data
orbital bone
tetrahedral mesh
orbital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910871929.4A
Other languages
English (en)
Other versions
CN110570430B (zh
Inventor
廖胜辉
张凡荣
刘姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201910871929.4A priority Critical patent/CN110570430B/zh
Publication of CN110570430A publication Critical patent/CN110570430A/zh
Application granted granted Critical
Publication of CN110570430B publication Critical patent/CN110570430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于体配准的眼眶骨组织分割方法，包括获取需要进行分眼眶骨组织分割的CT图像；对CT图像和眼眶骨组织的四面体网格模型标准数据进行处理；对处理后的数据进行初始对齐；对初始对齐后的四面体网格数据进行变换；变换后的四面体网格数据为最终的从CT图像中分割得到的眼眶骨组织数据。本发明提供的这种基于体配准的眼眶骨组织分割方法，在数据处理阶段采用创新的下采样操作，提高了采样效率同时减少噪音数据对配准及分割结果的影响；同时，在变换过程中以误差驱动的方式完成形状变形，提升了眼眶骨组织的分割效果，而且本发明方法的分割精度高，方法简单快捷。

Description

基于体配准的眼眶骨组织分割方法
技术领域
本发明属于图像处理领域，具体涉及一种基于体配准的眼眶骨组织分割方法。
背景技术
三维医学图像骨组织分割在医学图像处理领域具有非常重要的研究价值，精确的医学图像分割为临床诊断提供了清晰的解剖信息，用于进一步对其病理、生理、解剖等方面信息的分析和计算。医学图像分割技术是一种根据观测到的灰度值和已知的结构信息对像素或体素进行分类处理的方法。传统医学图像分割需要领域专家进行手动分割，具有费时、分割结果不可重现的缺点，花费大量人力资源，且效率低下。目前骨组织自动分割主要分为三类，基于灰度信息分割方法、基于分类和聚类法的分割方法以及基于图谱分割的分割方法。
第一类是基于灰度信息分割方法：在CT图像中，由于骨相比周围的软组织有更高的密度，因此基于灰度信息分割法是一种最为普遍应用的骨分割方法。阈值分割是该类分割方法中的代表。其结果常出现错误连接、边界不连续以及孔洞现象。
第二类是基于分类和聚类法的分割方法，分类是指用已知样本集训练得到其特征实现对新样本划分的过程，属于有监督的统计分析方法，而聚类是指通过自我迭代训练的实现自身划分的过程，属于无监督的统计方法。与阈值分割方法不同的是，分类和聚类方法可以较好的结合图像的空间信息，因此对噪音具有更强的鲁棒性。但它们只用了空间信息，没有利用局部几何信息，可能会有误差。
第三类是基于图谱分割的分割方法，图谱划分理论作为一种新型的工具被应用到图像分割，是由有经验的标记专家手工标注的图像数据，通过将各个图谱用配准操作映射到待分割图像所在的图像空间中，得到图谱与待分割图像的空间对应关系，图谱中的各组织器官的分割情况即待分割图像的分割结果。图谱分割方法的分割精度依赖于前期配准结果和后期标记的选择，也是图谱分割方法的一大挑战。
发明内容
本发明的目的在于提供一种分割精度高且简单快捷的基于体配准的眼眶骨组织分割方法。
本发明提供的这种基于体配准的眼眶骨组织分割方法，包括如下步骤：
S1.获取需要进行分眼眶骨组织分割的CT图像；
S2.对步骤S1获取的CT图像和眼眶骨组织的四面体网格模型标准数据进行处理，从而得到三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据；
S3.对步骤S2得到的处理后的数据进行初始对齐；
S4.对步骤S3得到的初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据；
S5.步骤S4得到的变换后的四面体网格数据为最终的从CT图像中分割得到的眼眶骨组织数据。
步骤S2所述的对步骤S1获取的CT图像和眼眶骨组织的四面体网格模型标准数据进行处理，从而得到三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据，具体为采用如下步骤进行处理：
A.根据CT图像数据的阈值强度，提取出三维头骨体素坐标；
B.采用tetgen分析得到眼眶骨组织的四面体网格模型标准数据的mesh格式的模型文件。
步骤A所述的根据CT图像数据的阈值强度，提取出三维头骨体素坐标，具体为采用3-邻域、5-邻域和9-邻域运算确定三维头骨体素坐标。
步骤B所述的眼眶骨组织的四面体网格模型标准数据为对眼眶骨组织进行标记后的四面体网络模型标准数据。
步骤S3所述的对步骤S2得到的处理后的数据进行初始对齐，具体为对处理后的数据，采用主成分分析算法(PCA算法)进行初始对齐。
所述的采用主成分分析算法进行初始对齐，具体为采用如下还进行初始对齐：
a.对输入的三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据进行位移变换，从而保证输入数据的重心与原点重合；
b.统一比例变换，从而使得输入数据到原点的距离都归一化；
c.建立协方差矩阵，选定该协方差矩阵最大特征值所对应的特征向量为主方向；
d.采用迭代最近点(ICP)算法进行初始对齐。
步骤d所述的采用迭代最近点算法进行初始对齐，具体为采用如下算式作为迭代最近点算法的误差公式f(p)：
式中i为第i个顶点的标号，s1为模型的统一比例因子，R为旋转变换矩阵，pi为四面体网格中的点，T为位移变换矩阵，K(pi)为三维头骨体素网格中pi所对应的点。
步骤S4所述的对步骤S3得到的初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据，具体为采用Kd-tree(k-dimensional树)算法对初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据。
所述的采用Kd-tree算法对初始对齐后的四面体网格数据进行变换，具体为采用如下算式作为目标函数：
min Edef＝Ecorr+αEdeform+βEdis+γES
式中α、β和γ为设定的加权参数；Ecorr＝||t-s||2，t为四面体网格中的变形顶点，s为三维头骨体素坐标点；Edeform＝(t-t0)TL(t-t0)，L为四面体网格数据的拉普拉斯算子且vj为四面体网格数据中第j个四面体在初始状态t0的体积，Gj为变形梯度算子；Edis＝||t-tprev||2，tprev为上一次迭代过程中更新的四面体网格的位置；Fj为第j个四面体的变形梯度，I为单位矩阵。
本发明提供的这种基于体配准的眼眶骨组织分割方法，在数据处理阶段采用创新的下采样操作，提高了采样效率同时减少噪音数据对配准及分割结果的影响；同时，在变换过程中以误差驱动的方式完成形状变形，提升了眼眶骨组织的分割效果，而且本发明方法的分割精度高，方法简单快捷。
附图说明
图1为本发明方法的方法流程示意图。
图2为本发明方法的所需输入数据的预处理示意图。
图3为本发明方法的体配准前的模型初始对齐示意图。
图4为本发明方法的变形梯度模拟示意图。
图5为本发明方法的体配准后的模型示意图。
图6为本发明方法的效果示意图。
具体实施方式
如图1所示为本发明方法的方法流程示意图：本发明提供的这种基于体配准的眼眶骨组织分割方法，包括如下步骤：
S1.获取需要进行分眼眶骨组织分割的CT图像；
S2.对步骤S1获取的CT图像和眼眶骨组织的四面体网格模型标准数据进行处理，从而得到三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据；具体为采用如下步骤进行处理：
A.根据CT图像数据的阈值强度，提取出三维头骨体素坐标；
在具体实施时，可以采用3-邻域、5-邻域和9-邻域运算确定三维头骨体素坐标；即在x-邻域(3-领域，5邻域或9邻域)中求出该邻域的质心坐标，找出距离该质心坐标最近的点代替该邻域盒子的坐标，完成采样操作；三维体素中心集重心为：
其中N为立方体中点云数据的个数；
B.采用tetgen分析得到眼眶骨组织的四面体网格模型标准数据(具体为对眼眶骨组织进行标记后的四面体网络模型标准数据)的mesh格式的模型文件；
S3.对步骤S2得到的处理后的数据进行初始对齐；具体为对处理后的数据，采用主成分分析算法(PCA算法)进行初始对齐；
在具体实施时，采用主成分分析算法进行初始对齐具体为采用如下还进行初始对齐：
a.由于输入的两个头骨模型是一个任意比例、位置和方向给出的，因此首先需要对输入的三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据进行位移变换，从而保证输入数据的重心与原点重合；
b.统一比例变换，从而使得输入数据到原点的距离都归一化；
c.建立协方差矩阵，选定该协方差矩阵最大特征值所对应的特征向量为主方向；
d.采用迭代最近点(ICP)算法进行初始对齐；在具体实施时，采用如下算式作为迭代最近点算法的误差公式f(p)：
式中i为第i个顶点的标号，s1为模型的统一比例因子，R为旋转变换矩阵，pi为四面体网格中的点，T为位移变换矩阵，K(pi)为三维头骨体素网格中pi所对应的点；
S4.对步骤S3得到的初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据；具体为采用Kd-tree(k-dimensional树)算法对初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据；
在具体实施时，采用Kd-tree算法对初始对齐后的四面体网格数据进行变换时，采用如下算式作为目标函数：
min Edef＝Ecorr+αEdeform+βEdis+γES
式中α、β和γ为设定的加权参数；Ecorr＝||t-s||2，t为四面体网格中的变形顶点，s为三维头骨体素坐标点；Edeform＝(t-t0)TL(t-t0)，L为四面体网格数据的拉普拉斯算子且vj为四面体网格数据中第j个四面体在初始状态t0的体积，Gj为变形梯度算子；Edis＝||t-tprev||2，tprev为上一次迭代过程中更新的四面体网格的位置；Fj为第j个四面体的变形梯度，I为单位矩阵；
在变换过程中，为防止网格形状的急剧变化，以及实现最佳变形平滑度，增加正则项进行改进(对应于Edeform)；在变换过程中，为防止四面体变形误差过大，最小化四面体模型的位置相比上一次迭代过程中产生较大的位移，使四面体模板的位置尽量不偏离其上次迭代过程中确定的位置(对应于Edis)；最后，为了防止网格形状地急剧变化，实现最佳变形平滑度，加入一个惩罚函数，用来惩罚四面体t的变形梯度F与单位矩阵I之间地偏差，基于边界地近似变形梯度张量场，可以捕获不同的形状变化，为每一个小四面体计算变形梯度，无论其复杂性或原点如何，变形梯度都可以表示任何网格的变形，在实现变形平滑度的同时，可以确保目标网格中未完全对齐的部分四面体网格在变形过程中适当的变形，减少变形期间的细节扭曲和体积较大的改变(对应于ES)；
S5.步骤S4得到的变换后的四面体网格数据为最终的从CT图像中分割得到的眼眶骨组织数据。

Claims (9)

1.一种基于体配准的眼眶骨组织分割方法，包括如下步骤：
S1.获取需要进行分眼眶骨组织分割的CT图像；
S2.对步骤S1获取的CT图像和眼眶骨组织的四面体网格模型标准数据进行处理，从而得到三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据；
S3.对步骤S2得到的处理后的数据进行初始对齐；
S4.对步骤S3得到的初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据；
S5.步骤S4得到的变换后的四面体网格数据为最终的从CT图像中分割得到的眼眶骨组织数据。
2.根据权利要求1所述的基于体配准的眼眶骨组织分割方法，其特征在于步骤S2所述的对步骤S1获取的CT图像和眼眶骨组织的四面体网格模型标准数据进行处理，从而得到三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据，具体为采用如下步骤进行处理：
A.根据CT图像数据的阈值强度，提取出三维头骨体素坐标；
B.采用tetgen分析得到眼眶骨组织的四面体网格模型标准数据的mesh格式的模型文件。
3.根据权利要求2所述的基于体配准的眼眶骨组织分割方法，其特征在于步骤A所述的根据CT图像数据的阈值强度，提取出三维头骨体素坐标，具体为采用3-邻域、5-邻域和9-邻域运算确定三维头骨体素坐标。
4.根据权利要求2所述的基于体配准的眼眶骨组织分割方法，其特征在于步骤B所述的眼眶骨组织的四面体网格模型标准数据为对眼眶骨组织进行标记后的四面体网络模型标准数据。
5.根据权利要求1～4之一所述的基于体配准的眼眶骨组织分割方法，其特征在于步骤S3所述的对步骤S2得到的处理后的数据进行初始对齐，具体为对处理后的数据，采用主成分分析算法进行初始对齐。
6.根据权利要求5所述的基于体配准的眼眶骨组织分割方法，其特征在于所述的采用主成分分析算法进行初始对齐，具体为采用如下还进行初始对齐：
a.对输入的三维头骨体素坐标和标记后的眼眶骨组织的四面体网格模型标准数据进行位移变换，从而保证输入数据的重心与原点重合；
b.统一比例变换，从而使得输入数据到原点的距离都归一化；
c.建立协方差矩阵，选定该协方差矩阵最大特征值所对应的特征向量为主方向；
d.采用迭代最近点算法进行初始对齐。
7.根据权利要求6所述的基于体配准的眼眶骨组织分割方法，其特征在于步骤d所述的采用迭代最近点算法进行初始对齐，具体为采用如下算式作为迭代最近点算法的误差公式f(p)：
式中i为第i个顶点的标号，s1为模型的统一比例因子，R为旋转变换矩阵，pi为四面体网格中的点，T为位移变换矩阵，K(pi)为三维头骨体素网格中pi所对应的点。
8.根据权利要求5所述的基于体配准的眼眶骨组织分割方法，其特征在于步骤S4所述的对步骤S3得到的初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据，具体为采用Kd-tree算法对初始对齐后的四面体网格数据进行变换，得到与对齐后的三维头骨体素坐标最匹配的变换后的四面体网格数据。
9.根据权利要求8所述的基于体配准的眼眶骨组织分割方法，其特征在于所述的采用Kd-tree算法对初始对齐后的四面体网格数据进行变换，具体为采用如下算式作为目标函数：
min Edef＝Ecorr+αEdeform+βEdis+γES
式中α、β和γ为设定的加权参数；Ecorr＝||t-s||2，t为四面体网格中的变形顶点，s为三维头骨体素坐标点；Edeform＝(t-t0)TL(t-t0)，L为四面体网格数据的拉普拉斯算子且vj为四面体网格数据中第j个四面体在初始状态t0的体积，Gj为变形梯度算子；Edis＝||t-tprev||2，tprev为上一次迭代过程中更新的四面体网格的位置；Fj为第j个四面体的变形梯度，I为单位矩阵。
CN201910871929.4A 2019-09-16 2019-09-16 基于体配准的眼眶骨组织分割方法 Active CN110570430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910871929.4A CN110570430B (zh) 2019-09-16 2019-09-16 基于体配准的眼眶骨组织分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910871929.4A CN110570430B (zh) 2019-09-16 2019-09-16 基于体配准的眼眶骨组织分割方法

Publications (2)

Publication Number Publication Date
CN110570430A true CN110570430A (zh) 2019-12-13
CN110570430B CN110570430B (zh) 2023-01-03

Family

ID=68780174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910871929.4A Active CN110570430B (zh) 2019-09-16 2019-09-16 基于体配准的眼眶骨组织分割方法

Country Status (1)

Country Link
CN (1) CN110570430B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354057A (zh) * 2020-03-10 2020-06-30 中南大学 基于图像变形技术的骨折线地图绘制方法
CN111938655A (zh) * 2020-07-09 2020-11-17 上海交通大学 基于关键点信息的眼眶软组织形态评价方法、系统及设备
CN114066922A (zh) * 2021-11-19 2022-02-18 数坤(北京)网络科技股份有限公司 医学图像分割方法、装置、终端设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216953A (zh) * 2008-01-04 2008-07-09 西北工业大学 颅骨三维模型构建方法
WO2016095167A2 (zh) * 2014-12-18 2016-06-23 复旦大学 一种基于手术导航系统的牵拉变形矫正方法
CN107423773A (zh) * 2016-05-23 2017-12-01 北京师范大学 三维颅骨的自动配准方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216953A (zh) * 2008-01-04 2008-07-09 西北工业大学 颅骨三维模型构建方法
WO2016095167A2 (zh) * 2014-12-18 2016-06-23 复旦大学 一种基于手术导航系统的牵拉变形矫正方法
CN107423773A (zh) * 2016-05-23 2017-12-01 北京师范大学 三维颅骨的自动配准方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354057A (zh) * 2020-03-10 2020-06-30 中南大学 基于图像变形技术的骨折线地图绘制方法
CN111938655A (zh) * 2020-07-09 2020-11-17 上海交通大学 基于关键点信息的眼眶软组织形态评价方法、系统及设备
CN114066922A (zh) * 2021-11-19 2022-02-18 数坤(北京)网络科技股份有限公司 医学图像分割方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
CN110570430B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN109166133B (zh) 基于关键点检测和深度学习的软组织器官图像分割方法
Wang et al. Shape–intensity prior level set combining probabilistic atlas and probability map constrains for automatic liver segmentation from abdominal CT images
Sun et al. Automated 3-D segmentation of lungs with lung cancer in CT data using a novel robust active shape model approach
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN108364294B (zh) 基于超像素的腹部ct图像多器官分割方法
CN106340021B (zh) 血管提取方法
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
CN111476292A (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN110570430B (zh) 基于体配准的眼眶骨组织分割方法
CN113674281A (zh) 一种基于深度形状学习的肝脏ct自动分割方法
WO2007044508A2 (en) System and method for whole body landmark detection, segmentation and change quantification in digital images
CN111931811A (zh) 一种基于超像素图像相似度的计算方法
CN109753997B (zh) 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法
CN111640120A (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN109509193B (zh) 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN107680110B (zh) 基于统计形状模型的内耳三维水平集分割方法
CN111681230A (zh) 脑白质高信号评分系统及其评分方法
CN112750531A (zh) 一种中医自动化望诊系统、方法、设备和介质
US11854190B2 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
CN113570627A (zh) 深度学习分割网络的训练方法及医学图像分割方法
CN111080658A (zh) 基于可形变配准和dcnn的宫颈mri图像分割方法
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN115830016A (zh) 医学图像配准模型训练方法及设备
CN109919216B (zh) 一种用于计算机辅助诊断前列腺癌的对抗学习方法
CN114638852A (zh) 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant