CN107909590B - 一种基于Snake改进算法的IVUS图像外膜边缘分割方法 - Google Patents
一种基于Snake改进算法的IVUS图像外膜边缘分割方法 Download PDFInfo
- Publication number
- CN107909590B CN107909590B CN201711133071.9A CN201711133071A CN107909590B CN 107909590 B CN107909590 B CN 107909590B CN 201711133071 A CN201711133071 A CN 201711133071A CN 107909590 B CN107909590 B CN 107909590B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- ivus
- snake
- structure tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于Snake改进算法的IVUS图像外膜边缘分割方法,属于计算机医学图像处理分析领域。首先,利用大津阈值分割、开闭运算以及连通分量法提取IVUS图像第一帧的大致轮廓边缘,将得到的大致轮廓作为Snake算法的初始轮廓,其次,对结构张量进行扩展,并将其和初始化的轮廓信息应用到外力与Snake算法结合。该方法能有效地提高边缘提取的精确度,对于图像边缘模糊或者小部分缺失的情况也能够较为准确地收敛到边缘。通过本发明的分割能够得到了连续4帧IVUS图像的外膜,且结果较为准确;对于存在边缘模糊或者有小部分缺失的IVUS图像也有良好的提取效果。应用该方法对IVUS图像进行外膜的提取,结果准确靠近真实边缘,为图像分析奠定了良好的基础。
Description
技术领域
本发明涉及计算机医学图像处理分析领域,特别涉及一种基于Snake改进算法的IVUS(Intravascular Ultrasound)图像外膜边缘分割方法。
背景技术
随着人们生活水平的提高,心血管疾病成为严重威胁人类健康的疾病之一。动脉粥样硬化是造成心血管疾病发生的重要原因。血管内超声(IVUS)技术应用于临床已有超过二十年的历史,它可以提供冠状动脉血管腔和血管壁的重要影像信息,进而能够计算血管腔径、管腔横截面积、血管弹性等重要病理信息,辅助医生更好地进行心血管疾病的临床诊断。
临床中,通过血管内超声诊断仪得到的IVUS图像可以显示血管壁、血管腔以及斑块的形态,但是只通过医生的肉眼进行观察或者根据经验确定内外膜的边缘以及斑块厚度是不具有客观性的,不同的医生进行判断可能会导致细微的偏差,因此,通过计算机对IVUS图像进行准确自动地分割是很有必要的。
活动轮廓模型(Active Contour Model),又称为Snake模型,近年来在医学图像分割中得到了广泛的应用,对于存在噪声和对比度不敏感的图像,它能将目标从复杂背景中分割出来,是背景复杂图像分割的基础算法。在具体应用中,需要根据处理对象的特点和实际要求作相应的调整。如用B样条曲线表示轮廓线的B-Snake模型算法,解决了Snake模型参数化后计算精度不高的问题,但它要求初始轮廓要在边缘附近。Xu和Prince提出了GVF(Gradient Vector Flow)方法,以梯度矢量流作为活动轮廓模型的外力场,外力场捕获面明显增加,也不依赖于轮廓的初始位置,但对于噪声明显的图像往往得不到精确的边缘。文献1(毕晓君,肖婧.差分进化算法GVF Snake模型在PET图像分割中的应用[J].中国图象图形学报,2011,16(3):382—388.)利用差分进化算法的全局优化特征对GVF Snake模型分割结果进行优化,但是算法相对较为复杂;文献2(Mahfuzah Mustafa,NurAzwa Omar Rashid,and Rosdiyana Samad.Breast Cancer Segmentation Based on GVF Snake[J].IEEEConference on Biomedical Engineering and Sciences(IECBES),2014:928-931.)提出先将图像通过高斯低通滤波器进行滤波并进行增强,再利用GVF Snake算法进行分割,但是初始轮廓不容易确定,从而影响分割结果。
发明内容
本发明的目的在于提供一种全自动分割血管内超声图像外膜的方法。首先,利用大津阈值分割、开闭运算以及连通分量法提取IVUS图像第一帧的大致轮廓边缘,将得到的大致轮廓作为Snake算法的初始轮廓,其次,对结构张量进行扩展,并将其和初始化的轮廓信息应用到外力与Snake算法结合。该方法能有效地提高边缘提取的精确度,对于图像边缘模糊或者小部分缺失的情况也能够较为准确地收敛到边缘。
该方法的实施流程如下,
步骤1,对血管内超声视频影像进行初步提取,将视频影像导入至计算机中,计算机随机截取多帧连续的序列图像作为样本,序列图像大小为384*384像素。
步骤2,采用改进的Snake算法对IVUS图像进行外膜的提取,首先获取IVUS图像的初始轮廓。
步骤2.1,使用大津阈值法进行IVUS图像二值化分割;
步骤2.2,对二值化后的IVUS图像进行腐蚀膨胀,采用参数为3*3的长方形数据元素;
步骤2.3,对步骤2.2得到的结果图像进行开运算,断开图像中狭窄的间断,消除图像中细的突出物,由此得到初步处理的结果图像;
步骤2.4,用连通分量法找出步骤2.3得到的初步处理的结果图像中所有的闭合轮廓,计算面积,保留最大的连通区域,由此得到结果图;
步骤2.5,对步骤2.4得到的结果图采用形态学闭运算填充细小孔洞,连接外膜断裂部分;
步骤2.6,再次使用连通分量法找到步骤2.5得到的结果图中面积最大的区域;
步骤2.7,将步骤2.5得到的图像取反和步骤2.6得到的图像叠加,最终得到IVUS图像初始轮廓。
步骤3,对结构张量进行扩展。
步骤3.1,对于一个二维灰度图像I(x,y),线性结构张量定义为:
式中Kρ表示标准差为ρ的高斯核函数,*表示卷积运算,表示图像I的梯度,表示图像I的梯度的转置,Ix和Iy表示二维灰度图像沿着x和y方向的偏导数。Jρ的两个特征值分别为λ1和λ2,这两个特征值反映二维灰度图像的局部特征。
本方法采用非线性扩散结构张量代替经典的高斯平滑的线性结构张量:
计算特征值λ1和λ2,从而求得局部相干度量H,公式如下:
H=λ1(λ1-λ2)
步骤3.2,计算边缘度量函数W,公式如下:
W=(λ1+λ2)*H=(λ1+λ2)*λ1(λ1-λ2)
步骤3.3,计算边缘停止函数E,公式如下:
E=ρe-W
其中ρ为调整因子,ρ定义为:
其中m为图像的灰度均值,反映图像整体的灰度效果,Imax和Imin是图像的最大灰度值和最小灰度值,Imax-Imin表示图像的灰度值整体的跨度。
步骤4,将初始化的轮廓应用到外力中,定义Ef:
其中,λ是调整因子为一个常数,S(s)是提取到的初始轮廓,v(s)=[x(s),y(s)]s∈[0,1],其中x(s)和y(s)分别表示每个控制点在图像中的坐标位置。
步骤5,计算改进的Snake算法的总能量,公式如下:
其中,Eint表示轮廓曲线的内部能量:
Eext是外部函数能量,由图像能量Eimg和约束力Econ组成,本方法将扩展的结构张量和初始化的轮廓信息作为外部函数能量。
本发明的效果为:
本发明提出了一种全自动分割血管内超声图像外膜的方法,分割效果图见图2,得到了连续4帧IVUS图像的外膜,且结果较为准确;对于存在边缘模糊或者有小部分缺失的IVUS图像也有良好的提取效果,见图3。应用该方法对IVUS图像进行外膜的提取,结果准确靠近真实边缘,为图像分析奠定了良好的基础。
附图说明
图1获取初始轮廓的图:(a)大津阈值处理后的图像,(b)步骤2.2、2.3得到的图像,(c)步骤2.4、2.5得到的图像,(d)步骤2.6得到的图像,(e)步骤2.7得到的图像(f)提取轮廓;
图2是连续4帧IVUS图像外膜提取效果图;
图3是提取边缘模糊或者有小部分缺失的IVUS图像外膜的效果图;
图4是本发明方法的流程图。
具体实施方式
本发明是采用以下技术手段实现的:
一种基于Snake改进算法的IVUS图像外膜边缘分割方法。首先,利用大津阈值分割、开闭运算以及连通分量法提取IVUS图像第一帧的大致轮廓边缘,将得到的大致轮廓作为Snake算法的初始轮廓;其次,为了能够更好地表达图像的边缘信息,对结构张量进行扩展,并将其和初始化的轮廓信息应用到外力与Snake算法结合,最终提取出IVUS图像的外膜。
上述基于Snake改进算法的IVUS图像外膜边缘分割方法,包括下述步骤:
步骤1,对血管内超声视频影像进行初步提取,将视频影像导入至计算机中,计算机随机截取多帧连续的序列图像作为实验对象,序列图像大小为384*384像素。
步骤2,采用改进的Snake算法对IVUS图像进行外膜的提取,首先获取IVUS图像的初始轮廓。首先使用大津阈值法进行IVUS图像二值化分割;其次对二值化后的图像进行腐蚀膨胀,采用参数为3*3的长方形数据元素;然后进行开运算,断开图像中狭窄的间断,消除细的突出物,得到初步处理的结果图像;用连通分量法找出初步处理的结果图像中所有的闭合轮廓,计算面积,保留最大的连通区域;采用形态学闭运算填充细小孔洞,连接外膜断裂部分;再次使用连通分量法找到二值图像中面积最大的区域;最后将第五步得到的图像取反和第六步得到的图像叠加,最终得到初始轮廓。整个获取初始轮廓的过程见图1。
步骤3,对结构张量进行扩展。
对于一个二维灰度图像I(x,y),其线性结构张量定义为:
式中Kρ表示标准差为ρ的高斯核函数,*表示卷积运算,▽I表示图像I的梯度,▽IT表示图像I的梯度的转置,Ix和Iy表示二维灰度图像沿着x和y方向的偏导数。Jρ的两个特征值分别为λ1和λ2,该特征值可以反映二维灰度图像的局部特征。
本发明方法采用非线性扩散结构张量代替经典的高斯平滑的线性结构张量:
计算特征值λ1和λ2,从而求得局部相干度量,公式如下:
H=λ1(λ1-λ2) (4)
计算边缘度量函数W,公式如下:
W=(λ1+λ2)*H=(λ1+λ2)*λ1(λ1-λ2) (5)
计算边缘停止函数E,公式如下:
E=ρe-W (6)
其中ρ为调整因子,定义为:
其中m为图像的灰度均值,反映图像整体的灰度效果,Imax和Imin是图像的最大、最小灰度值,Imax-Imin表示图像的灰度值整体的跨度。
步骤4,将初始化的轮廓应用到外力中,定义Ef:
其中,λ是调整因子为一个常数,s(s)是提取到的初始轮廓,v(s)=[x(s),y(s)]s∈[0,1],其中x(s)和y(s)分别表示每个控制点在图像中的坐标位置。
步骤5,计算改进的Snake算法的总能量,公式如下:
其中,Eint表示曲线的内部能量:
式中,α(s)控制着轮廓曲线一阶导矢量模的分量,β(s)控制轮廓的刚度。
Eext是外部函数能量,由图像能量Eimg和约束力Econ组成,本方法将扩展的结构张量和初始化的轮廓信息作为外部函数能量。最后提取外膜的效果图见图2和图3。
Claims (1)
1.一种基于Snake改进算法的IVUS图像外膜边缘分割方法,其特征在于:首先,利用大津阈值分割、开闭运算以及连通分量法提取IVUS图像第一帧的大致轮廓边缘,将得到的大致轮廓作为Snake算法的初始轮廓,其次,对结构张量进行扩展,并将其和初始化的轮廓信息应用到外力与Snake算法结合;
该方法的实施流程如下,
步骤1,对血管内超声视频影像进行初步提取,将视频影像导入至计算机中,计算机随机截取多帧连续的序列图像作为样本,序列图像大小为384*384像素;
步骤2,采用改进的Snake算法对IVUS图像进行外膜的提取,首先获取IVUS图像的初始轮廓;
步骤2.1,使用大津阈值法进行IVUS图像二值化分割;
步骤2.2,对二值化后的IVUS图像进行腐蚀膨胀,采用参数为3*3的长方形数据元素;
步骤2.3,对步骤2.2得到的结果图像进行开运算,断开图像中狭窄的间断,消除图像中细的突出物,由此得到初步处理的结果图像;
步骤2.4,用连通分量法找出步骤2.3得到的初步处理的结果图像中所有的闭合轮廓,计算面积,保留最大的连通区域,由此得到结果图;
步骤2.5,对步骤2.4得到的结果图采用形态学闭运算填充细小孔洞,连接外膜断裂部分;
步骤2.6,再次使用连通分量法找到步骤2.5得到的结果图中面积最大的区域;
步骤2.7,将步骤2.5得到的图像取反和步骤2.6得到的图像叠加,最终得到IVUS图像初始轮廓;
步骤3,对结构张量进行扩展;
步骤3.1,对于一个二维灰度图像I(x,y),线性结构张量定义为:
式中Kρ表示标准差为ρ的高斯核函数,*表示卷积运算,表示图像I的梯度,表示图像I的梯度的转置,Ix和Iy表示二维灰度图像沿着x和y方向的偏导数;Jρ的两个特征值分别为λ1和λ2,这两个特征值反映二维灰度图像的局部特征;
本方法采用非线性扩散结构张量代替经典的高斯平滑的线性结构张量:
计算特征值λ1和λ2,从而求得局部相干度量H,公式如下:
H=λ1(λ1-λ2)
步骤3.2,计算边缘度量函数W,公式如下:
W=(λ1+λ2)*H=(λ1+λ2)*λ1(λ1-λ2)
步骤3.3,计算边缘停止函数E,公式如下:
E=ρe-W
其中ρ为调整因子,ρ定义为:
其中m为图像的灰度均值,反映图像整体的灰度效果,Imax和Imin是图像的最大灰度值和最小灰度值,Imax-Imin表示图像的灰度值整体的跨度;
步骤4,将初始化的轮廓应用到外力中,定义Ef:
其中,λ是调整因子为一个常数,S(s)是提取到的初始轮廓,v(s)=[x(s),y(s)]s∈[0,1],其中x(s)和y(s)分别表示每个控制点在图像中的坐标位置;
步骤5,计算改进的Snake算法的总能量,公式如下:
其中,Eint表示轮廓曲线的内部能量:
Eext是外部函数能量,由图像能量Eimg和约束力Econ组成,本方法将扩展的结构张量和初始化的轮廓信息作为外部函数能量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711133071.9A CN107909590B (zh) | 2017-11-15 | 2017-11-15 | 一种基于Snake改进算法的IVUS图像外膜边缘分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711133071.9A CN107909590B (zh) | 2017-11-15 | 2017-11-15 | 一种基于Snake改进算法的IVUS图像外膜边缘分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107909590A CN107909590A (zh) | 2018-04-13 |
CN107909590B true CN107909590B (zh) | 2021-10-01 |
Family
ID=61845773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711133071.9A Active CN107909590B (zh) | 2017-11-15 | 2017-11-15 | 一种基于Snake改进算法的IVUS图像外膜边缘分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107909590B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109712124B (zh) * | 2018-12-18 | 2021-05-18 | 无锡祥生医疗科技股份有限公司 | 超声图像的标记去除方法及装置 |
CN109991911A (zh) * | 2019-05-05 | 2019-07-09 | 西安邮电大学 | 一种基于物联网的果园综合监控系统 |
CN111627017B (zh) * | 2020-05-29 | 2024-02-23 | 苏州博动戎影医疗科技有限公司 | 一种基于深度学习的血管管腔自动分割方法 |
CN113822839B (zh) * | 2020-06-18 | 2024-01-23 | 飞依诺科技股份有限公司 | 医学图像的处理方法、装置、计算机设备和存储介质 |
CN113706563B (zh) * | 2021-09-02 | 2023-05-30 | 华侨大学 | 一种自动初始化Snake模型的X光胸片肺野分割方法 |
CN114494318B (zh) * | 2022-02-17 | 2023-05-23 | 天津市眼科医院 | 基于大津算法的角膜动态形变视频提取角膜轮廓的方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101283911A (zh) * | 2008-06-05 | 2008-10-15 | 华北电力大学 | 一种冠状动脉血管轴线的四维重建方法 |
CN102509292A (zh) * | 2011-11-03 | 2012-06-20 | 北京理工大学 | 一种心脏核磁共振图像的快速分割方法 |
CN103164859A (zh) * | 2013-04-11 | 2013-06-19 | 上海理工大学 | 一种血管内超声图像分割方法 |
CN104143193A (zh) * | 2014-08-07 | 2014-11-12 | 深圳市开立科技有限公司 | 一种超声图像中目标对象分割方法、装置及系统 |
CN104504757A (zh) * | 2014-12-15 | 2015-04-08 | 北京工业大学 | 一种基于限制点集方法的血管壁网格划分方法 |
CN107292896A (zh) * | 2017-08-15 | 2017-10-24 | 电子科技大学 | 基于Snake模型的轮廓提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8483432B2 (en) * | 2009-12-23 | 2013-07-09 | General Electric Company | Methods for automatic segmentation and temporal tracking |
-
2017
- 2017-11-15 CN CN201711133071.9A patent/CN107909590B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101283911A (zh) * | 2008-06-05 | 2008-10-15 | 华北电力大学 | 一种冠状动脉血管轴线的四维重建方法 |
CN102509292A (zh) * | 2011-11-03 | 2012-06-20 | 北京理工大学 | 一种心脏核磁共振图像的快速分割方法 |
CN103164859A (zh) * | 2013-04-11 | 2013-06-19 | 上海理工大学 | 一种血管内超声图像分割方法 |
CN104143193A (zh) * | 2014-08-07 | 2014-11-12 | 深圳市开立科技有限公司 | 一种超声图像中目标对象分割方法、装置及系统 |
CN104504757A (zh) * | 2014-12-15 | 2015-04-08 | 北京工业大学 | 一种基于限制点集方法的血管壁网格划分方法 |
CN107292896A (zh) * | 2017-08-15 | 2017-10-24 | 电子科技大学 | 基于Snake模型的轮廓提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107909590A (zh) | 2018-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107909590B (zh) | 一种基于Snake改进算法的IVUS图像外膜边缘分割方法 | |
CN110490040B (zh) | 一种识别dsa冠状动脉图像中局部血管狭窄程度的方法 | |
CN110706246B (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
CN107909585B (zh) | 一种血管内超声影像的血管中内膜分割方法 | |
Qian et al. | An integrated method for atherosclerotic carotid plaque segmentation in ultrasound image | |
US11557072B2 (en) | Clustering algorithm-based multi-parameter cumulative calculation method for lower limb vascular calcification indexes | |
CN110448319B (zh) | 基于造影影像及冠状动脉的血流速度计算方法 | |
CN103886599B (zh) | 一种基于血管内超声图像的血管roi分割方法 | |
CN101964118B (zh) | 一种血管内超声图像序列的三维分割方法 | |
CN106447645A (zh) | 增强ct图像中冠脉钙化检测及量化装置和方法 | |
Wei et al. | Learning-based 3D surface optimization from medical image reconstruction | |
Zakeri et al. | Automatic media-adventitia IVUS image segmentation based on sparse representation framework and dynamic directional active contour model | |
Pociask et al. | Fully automated lumen segmentation method for intracoronary optical coherence tomography | |
Lee et al. | Segmentation of the lumen and media‐adventitial borders in intravascular ultrasound images using a geometric deformable model | |
Mahmood et al. | Ultrasound liver image enhancement using watershed segmentation method | |
Hamou et al. | A novel segmentation technique for carotid ultrasound images | |
Kishore et al. | Automatic stenosis grading system for diagnosing coronary artery disease using coronary angiogram | |
Loizou et al. | Segmentation of atherosclerotic carotid plaque in ultrasound video | |
Nagaraj et al. | Carotid wall segmentation in longitudinal ultrasound images using structured random forest | |
Smitha et al. | Evaluation of carotid intima media thickness measurement from ultrasound images | |
Zhang et al. | Automatic plaque segmentation in coronary optical coherence tomography images | |
Rashid et al. | Segmenting melanoma lesion using single shot detector (SSD) and level set segmentation technique | |
CN113592802B (zh) | 一种基于超声图像的二尖瓣环位移自动检测系统 | |
Zhao et al. | Automatical intima-media border segmentation on ultrasound image sequences using a Kalman filter snake | |
Can-Fei et al. | A new speckle reducing anisotropic diffusion for ultrasonic speckle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |