CN116363373B - 基于级联末端引导机制的扩张胰管分割方法 - Google Patents

基于级联末端引导机制的扩张胰管分割方法 Download PDF

Info

Publication number
CN116363373B
CN116363373B CN202310639583.1A CN202310639583A CN116363373B CN 116363373 B CN116363373 B CN 116363373B CN 202310639583 A CN202310639583 A CN 202310639583A CN 116363373 B CN116363373 B CN 116363373B
Authority
CN
China
Prior art keywords
pancreatic duct
segmentation result
expanded
network
expanded pancreatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310639583.1A
Other languages
English (en)
Other versions
CN116363373A (zh
Inventor
杨孝平
邹礼稳
蔡正华
仇毓东
贵鹿颖
毛谅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202310639583.1A priority Critical patent/CN116363373B/zh
Publication of CN116363373A publication Critical patent/CN116363373A/zh
Application granted granted Critical
Publication of CN116363373B publication Critical patent/CN116363373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种在CT图像上基于级联末端引导机制的扩张胰管分割方法。首先构建一个基本的串联分割网络依次得到胰腺分割结果和扩张胰管的粗分割结果，并在扩张胰管的粗分割结果上基于图结构建立对扩张胰管末端区域的注意力机制；其次训练一个嵌入解剖信息的子网络，其输入分别为扩张胰管的末端图像、扩张胰管的粗分割结果和胰腺分割结果对应的局部解剖注意力图，网络输出扩张胰管的细分割结果；最后设计一个末端抗干扰网络，其输入为扩张胰管末端图像和细分割结果，网络输出细分割结果可能存在的混淆区域，将其与细分割结果结合以得到扩张胰管的最终分割结果。本发明可以在CT图像上得到末端更加完整、精度更高的扩张胰管分割结果。

Description

基于级联末端引导机制的扩张胰管分割方法
技术领域
本发明属于医学图像分割技术领域，具体涉及一种基于级联末端引导机制的扩张胰管分割方法。
背景技术
胰腺癌是最难治疗的癌症之一，其5年相对存活率最低，约为10%。最常见的胰腺癌症发生在主胰管，称为胰腺导管腺癌(PDAC) 。在几项临床研究中，胰管扩张被认为是PDAC的高风险因素。除此之外，与扩张胰管相关的胰腺疾病分类也包括其他类型的肿块，如导管内乳头状粘液性肿瘤(IPMN)、浆液性囊性导管内乳头状粘液性肿瘤(SCN)、导管内乳头状粘液性肿瘤(MCN)和实性假乳头状肿瘤(SPT)。正常胰管区域在腹部增强CT上不可见，CT扫描中胰管的可见性是PDAC和其他胰腺肿块的直接警告信号。因此，作为一种临床筛查工具，CT图像上扩张胰管的自动分割对于胰腺肿块的早期诊断具有重大意义。
胰管分割的困难主要是由导管的小尺寸、细长的形状和周围组织的复杂性引起的。对于器官内病变的精准分割，一般的解决方法是采用级联策略即先分割胰腺区域，再在胰腺区域内分割胰管，这往往比在整个CT扫描上分割胰管表现出更好的性能。然而，胰管末端的低强度表征，以及胆管或肿瘤等与胰管具有相似位置和CT强度的组织仍然为胰管的分割带来很大的困难。事实上，由于胰管具有管状结构，所有的分割误差都分布在分割结果的末端区域。本发明基于上述事实提出了一种基于级联末端引导的扩张胰管分割方法，通过在末端分别嵌入解剖信息和抗干扰机制，在提高胰管分割精度的同时保证了末端的完整性。
发明内容
发明目的：针对现有基于深度学习方法对于扩张胰管分割问题的缺陷和不足，本发明提出了一种基于级联末端引导机制的扩张胰管分割方法，通过在末端分别嵌入解剖信息和抗干扰机制，在提高胰管分割精度的同时保证了末端的完整性。
技术方案：本发明提出了一种全新的CT图像上扩张胰管分割方法，包括如下5个步骤：
（a）构建一个基本的串联分割网络，使用第一个分割网络先分割CT图像上的胰腺，进而获得胰腺分割结果和对应的局部区域图像；
（b）在胰腺的局部区域图像上使用第二个分割网络来分割扩张胰管，得到扩张胰管的粗分割结果；
（c）在扩张胰管的粗分割结果上基于图结构建立对扩张胰管末端区域的注意力机制；
（d）训练一个嵌入解剖信息的子网络，其输入分别为扩张胰管的末端图像、扩张胰管的粗分割结果和胰腺分割结果对应的局部解剖注意力图，训练标签为扩张胰管在末端的局部掩膜，网络输出扩张胰管的细分割结果；
（e）设计一个末端抗干扰网络，其输入为扩张胰管的末端图像和细分割结果，训练标签为扩张胰管在末端的局部掩膜与细分割结果的差异，网络输出细分割结果可能存在的混淆区域即假阳性和假阴性区域，再将其与细分割结果结合得到扩张胰管最终的分割结果。
具体而言，（a）和（b）中所述的基本的串联分割网络均使用nnUNet网络，训练策略为从每个输入的三维图像中裁剪大小为的patch进行训练，网络训练所使用的损失函数为Dice+CE loss即Dice损失和交叉熵损失和按照1:1的比例组合得到的损失函数，计算公式如下：
其中为体素总数，/>和/>分别为在体素点/>上的分割结果和标签，/>为/>相对于全体体素的SoftMax函数输出。
具体而言，步骤（c）首先利用中心线提取算法提取出扩张胰管的粗分割结果的中心线，其中中心线提取算法包括但不限于Lee等人提出的三维体素的细化算法，其次在中心线上利用节点的邻域关系构建扩张胰管的图结构，最后在图结构上筛选出末端节点并提取出对应的末端图像。其中图结构的构建方式具体为中心线上每一个点都作为图的一个节点，如果一个节点出现在另一个节点的三维27-邻域内，则形成边关系。只有一个邻点的节点被筛选为末端节点，末端区域图像的大小设置为；
具体而言，所述步骤（d）中嵌入解剖信息的子网络的架构包括但不限于U-Net网络的架构。胰腺分割结果对应的解剖注意力图可表示为
其中是模型预测的胰腺分割结果，/>是/>的边界，/>计算的是点/>和/>之间的欧式距离；局部胰腺解剖注意力图为/>限制在扩张胰管末端区域的子矩阵。
具体而言，步骤（e）中末端抗干扰网络的架构使用U-Net网络的架构，输出上一步分割可能存在的假阳性和假阴性区域，并且在细分割结果上，加上抗干扰网络输出的假阴性区域，减去输出的假阳性区域得到胰管最终的输出结果。
本发明所提出的方法已经与其他前沿的医学图像分割方法进行多方面对比，体现了本发明的优越性。
有益效果：本发明提出了一种基于级联末端引导机制的扩张胰管分割方法，通过在末端分别嵌入解剖信息和抗干扰机制，在提高胰管分割精度的同时保证了末端的完整性，可以在CT图像上获得末端更加完整、精度更高的扩张胰管分割结果；本发明所提出的级联末端引导机制对于扩张胰管分割效果提升超过9%，对于末端的分割效果提升约20%。
附图说明
图1为本发明所提出的基于级联末端引导的扩张胰管分割方法的结构图；
图2为本发明所提出的末端抗干扰网络的结构图；
图3为本发明所提出网络模型的消融实验效果三维重建对比图。第一行：coarse阶段分割结果；第二行：fine阶段分割结果；第三行：refine阶段分割结果。每个案例的分割精度在图像左下方标出；
图4为本发明所提出扩张胰管分割方法与其他前沿图像分割方法的三维重建结果对比。每个案例的分割精度在图像左下方标出。
具体实施方式
下面结合本发明的附图和具体实施方式，对本发明的目的、技术方案和优点进行详细的描述。
本发明提出了一种新的CT图像上扩张胰管分割模型，并建立了有效的求解算法。具体而言，本发明提出了一种基于级联末端引导机制的扩张胰管分割方法，通过在末端分别嵌入解剖信息和抗干扰机制，在提高胰管分割精度的同时保证了末端的完整性。本发明的整体流程图如图1所示，具体包括以下步骤。
（a）构建一个基本串联分割网络，使用第一个分割网络来分割胰腺，分割网络具体使用nnUNet网络，训练策略为从每个输入的三维图像中裁剪大小为的patch进行训练，使用Dice + CE loss作为损失函数来训练nnUNet网络。网络输出胰腺分割结果，将胰腺分割结果的三维边界框向外延拓5个体素获得胰腺的局部区域图像；
（b）在训练集经过步骤（a）获得的胰腺的局部区域图像上使用第二个分割网络来分割扩张胰管，分割网络、训练策略和损失函数与步骤（a）保持一致，网络输出扩张胰管的粗分割结果；
（c）在扩张胰管粗分割结果上利用Lee等人提出的细化算法提取出扩张胰管粗分割结果的中心线，在中心线上利用点的邻域关系构建扩张胰管的图结构，再在图结构上筛选出末端节点并提取出对应的末端图像，末端图像的大小设置为；
（d）训练一个三通道的嵌入解剖信息的子网络，其架构使用U-Net网络的架构，其输入分别为扩张胰管的末端图像、扩张胰管粗分割结果和胰腺分割结果对应的局部解剖注意力图，其中胰腺分割结果对应的局部解剖注意力图定义为
其中是模型预测的胰腺分割结果，/>是/>的边界，/>计算的是点/>和/>之间的欧式距离；局部胰腺解剖注意力图为/>限制在扩张胰管末端区域的子矩阵；训练标签为扩张胰管在末端的局部掩膜，网络输出胰管的细分割结果；
（e）设计一个二通道的末端抗干扰网络，如图2所示，其架构使用U-Net网络的架构，其输入为扩张胰管的末端图像和细分割结果，训练标签为扩张胰管在末端的局部掩膜与细分割结果的差，输出细分割结果可能的假阳和假阴性区域，再将其与细分割结果结合得到扩张胰管最终的分割结果。
为了更清楚地说明本发明的可行性和优越性，下面展示本发明方法在消融实验中的表现，将不同阶段的扩张胰管分割结果进行数值对比。将步骤（a）至步骤（c）称之为coarse阶段，步骤（d）为fine阶段，步骤（e）为refine阶段。图3展示了本发明不同阶段的分割效果，体现本发明提出的级联末端引导机制的有效性。表1定量地给出了本发明不同阶段扩张胰管分割效果的数值比较，包括广泛使用的Dice和clDice指标，以及本发明提出的tDice、FPSR即假阳性分割率、FNSR即假阴性分割率等指标。数值结果表明，本发明所提出的级联末端引导机制的每个阶段对扩张胰管的分割都有显著提高。定义的tDice指标是为管状结构目标的末端分割效果进行专门评估的一项指标，其定义如下：
其中和/>分别是扩张胰管的分割结果和标注，/>计算的是点/>和/>之间的欧式距离，/>，/>为/>维向量/>的第/>个分量。为了更加显著地体现分割结果的假阳性与假阴性区域占比，本发明设计了两个与Dice指标相适应的指标：FPSR和FNSR，其定义如下：
其中TP,FP和FN分别代表分割结果真阳性、假阳性和假阴性分割区域的体素个数。
表1基于级联末端引导机制的扩张胰管分割方法消融实验的数值结果比较
为了说明本发明相较于其他医学图像分割方法的优越性，在这里给出本发明方法与其他前沿医学图像分割算法的分割效果和数值实验对比。图4展示了本发明与其他分割算法分割扩张胰管的分割效果。表2定量地给出了本发明与其他分割算法分割效果的数值比较。数值结果表明，本发明所提出的级联末端引导机制对于扩张胰管分割效果提升超过9%，对于末端的分割效果提升约20%。
表2基于级联末端引导机制的扩张胰管分割方法与其他分割算法的数值结果比较

Claims (4)

1.基于级联末端引导机制的扩张胰管分割方法，其特征在于，包括如下步骤：
（a）构建一个基本的串联分割网络，使用第一个分割网络先分割CT图像上的胰腺，进而获得胰腺分割结果和对应的局部区域图像；
（b）在胰腺的局部区域图像上使用第二个分割网络来分割扩张胰管，得到扩张胰管的粗分割结果；
（c）在扩张胰管的粗分割结果上基于图结构建立对扩张胰管末端区域的注意力机制；
（d）训练一个嵌入解剖信息的子网络，其输入分别为扩张胰管的末端图像、扩张胰管的粗分割结果和胰腺分割结果对应的局部解剖注意力图，训练标签为扩张胰管在末端的局部掩膜，网络输出扩张胰管的细分割结果；
（e）设计一个末端抗干扰网络，其输入为扩张胰管的末端图像和细分割结果，训练标签为扩张胰管在末端的局部掩膜与细分割结果的差异，网络输出细分割结果可能存在的混淆区域即假阳性和假阴性区域，再将其与细分割结果结合得到扩张胰管最终的分割结果；
步骤（c）中所述的基于图结构建立对扩张胰管末端区域的注意力机制的方法，具体为首先利用中心线提取算法提取出扩张胰管的粗分割结果的中心线，其中中心线提取算法为三维体素的细化算法，其次在中心线上利用节点的邻域关系构建扩张胰管的图结构，最后在图结构上筛选出末端节点并提取出对应的末端图像；其中图结构的具体构建方式为中心线上每一个点都作为图的一个节点，如果一个节点出现在另一个节点的三维27-邻域内，则形成边关系；只有一个邻点的节点被筛选为末端节点；其中扩张胰管的末端图像的大小为。
2.根据权利要求1所述的基于级联末端引导机制的扩张胰管分割方法，其特征在于：所述步骤（a）和（b）中的分割网络为nnUNEet网络,训练nnUNet网络的损失函数于Dice +CEloss，具体计算如下：
；
其中为体素总数，/>和/>分别为在体素点/>上的分割结果和标签，/>为/>相对于全体体素的SoftMax函数输出；胰腺的局部区域图像为基于胰腺分割结果的三维边界框向外延扩若干体素得到，延扩的体素个数为5。
3.根据权利要求1所述的基于级联末端引导机制的扩张胰管分割方法，其特征在于：步骤（d）中嵌入解剖信息的子网络的架构为U-Net网络的架构，胰腺分割结果对应的解剖注意力图为一个三维矩阵，每一个在胰腺分割结果内的点对应的值为其到胰腺分割结果边界的距离，在胰腺分割结果外的点对应的值为0，具体公式如下：
；
其中是模型预测的胰腺分割结果，/>是/>的边界，/>计算的是点/>和/>之间的欧式距离；局部胰腺解剖注意力图为/>限制在扩张胰管末端区域的子矩阵。
4.根据权利要求1所述的基于级联末端引导机制的扩张胰管分割方法，其特征在于：步骤（e）中末端抗干扰网络的架构为U-Net网络的架构，在细分割结果上，加上抗干扰网络输出的假阴性区域，减去输出的假阳性区域得到扩张胰管最终的输出结果。
CN202310639583.1A 2023-06-01 2023-06-01 基于级联末端引导机制的扩张胰管分割方法 Active CN116363373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310639583.1A CN116363373B (zh) 2023-06-01 2023-06-01 基于级联末端引导机制的扩张胰管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310639583.1A CN116363373B (zh) 2023-06-01 2023-06-01 基于级联末端引导机制的扩张胰管分割方法

Publications (2)

Publication Number Publication Date
CN116363373A CN116363373A (zh) 2023-06-30
CN116363373B true CN116363373B (zh) 2023-10-13

Family

ID=86934985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310639583.1A Active CN116363373B (zh) 2023-06-01 2023-06-01 基于级联末端引导机制的扩张胰管分割方法

Country Status (1)

Country Link
CN (1) CN116363373B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640120A (zh) * 2020-04-09 2020-09-08 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640120A (zh) * 2020-04-09 2020-09-08 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
nnUnet肾脏肿瘤分割实战（KiTS19）;宁远x;《宁远x，URL：https://blog.csdn.net/weixin_44858814/article/details/124595999》;第1-14页 *
医学图像分割;摆烂的卷网;《摆烂的卷网，URL：https://blog.csdn.net/weixin_44553078/article/details/127776882》;第1-7页 *

Also Published As

Publication number Publication date
CN116363373A (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US8111896B2 (en) Method and system for automatic recognition of preneoplastic anomalies in anatomic structures based on an improved region-growing segmentation, and commputer program therefor
Ding et al. Multi-scale fully convolutional network for gland segmentation using three-class classification
CN111640120B (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN111667478B (zh) Cta到mra跨模态预测的颈动脉斑块识别方法及系统
US11900592B2 (en) Method, device, and storage medium for pancreatic mass segmentation, diagnosis, and quantitative patient management
CN110288582A (zh) 一种细胞核的准确分割方法
CN110738637B (zh) 一种乳腺癌病理切片的自动分类系统
CN111402267A (zh) 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端
JP2007532251A (ja) 腸控除システムにおける画像処理のための方法および装置
Ali et al. Spatially aware cell cluster (SpACCl) graphs: predicting outcome in oropharyngeal p16+ tumors
JP2009531117A (ja) 解剖学的構造において前癌異常を自動認識するための方法及びシステム、及び対応するコンピュータプログラム
CN105513036A (zh) 三维ct图像的分割方法及装置
Kawata et al. Classification of pulmonary nodules in thin-section CT images based on shape characterization
CN118334273B (zh) 一种主动脉窦管交界平面自动提取方法、装置及存储介质
JP2002207992A (ja) 画像処理方法及び画像処理装置
CN116363373B (zh) 基于级联末端引导机制的扩张胰管分割方法
KR101625955B1 (ko) 장기의 동맥 및 정맥의 구분 방법
Kitrungrotsakul et al. Interactive deep refinement network for medical image segmentation
CN117612711B (zh) 一种分析肝癌复发数据的多模态预测模型构建方法及系统
CN115631387B (zh) 基于图卷积神经网络的肺癌病理高危因素预测方法和装置
Mahalaxmi et al. Detection of Lung Cancer Using Binarization Technique.
CN115222675A (zh) 一种基于深度学习的子宫肌瘤自动分型方法及装置
Scott et al. Gland ring morphometry for prostate cancer prognosis in multispectral immunofluorescence images
Bermejo-Peláez et al. A SR-NET 3D-to-2D architecture for paraseptal emphysema segmentation
CN118351115B (zh) 切除区域的确定方法、系统、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant