CN110084169B - 一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法 - Google Patents
一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法 Download PDFInfo
- Publication number
- CN110084169B CN110084169B CN201910323850.8A CN201910323850A CN110084169B CN 110084169 B CN110084169 B CN 110084169B CN 201910323850 A CN201910323850 A CN 201910323850A CN 110084169 B CN110084169 B CN 110084169B
- Authority
- CN
- China
- Prior art keywords
- straight line
- building
- illegal
- angle distribution
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于K‑Means聚类和轮廓拓扑约束的违章建筑物识别方法,包括以下步骤:采集到的图像信息经预处理后得到图像直线段,通过K‑Means聚类对图像直线中点进行分类;检测每类直线簇的直线数量,并计算直线间相对位置距离及角度关系;构建常见违章建筑物直线轮廓角度分布直方图,并将其与检测图像的直线角度分布情况相匹配,计算欧氏距离;然后根据每个直线簇直线数量、位置距离约束及角度分布与常见违章建筑物角度分布直方图相似度对违章建筑物特征进行识别。本发明解决了利用定点视频监控自动发现违章建筑物时,违章建筑物特征提取困难及受自然场景下各种物体干扰多的问题,大大提高了违章建筑物自动识别的效率和检测结果的鲁棒性。
Description
技术领域
本发明涉及一种图像识别方法,尤其涉及一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法。
背景技术
当今社会,土地是人类赖以生存和发展的宝贵自然资源,土地资源的可持续利用是人类社会持续发展的基石。在人口日益膨胀的今天,尤其是在我国,土地承受着巨大的压力,人地关系日趋紧张。而违章建设、土地违法使用等现象作为土地占用的一大因素已十分严重,因此亟待高效准确地自动识别违章建筑。而识别违章建筑的过程极易受复杂现实场景的干扰,并难以区分违章建筑和场景中繁杂的自然物体。因此,提高违章建筑物识别的准确率,保证检测结果的鲁棒性以减少误报率显得十分重要。如何区分违章建筑和自然物体及排除对复杂现实场景的干扰因素是解决问题的关键。
在违章建筑识别过程中,由于场景内物体数量的众多,直接定点监控、采集视频信息或者图片信息易造成与自然物体和道路电线等部分人文物体混淆,导致违章建筑检测的误判。在现实情境中,违章建筑其形态往往呈多样性,难以有统一的特征描述。且违章建筑物是由于人自发的构建形成,本身就难以预测其结构形态,从而影响了违章建筑识别的准确率。针对于上述问题,结合建筑物轮廓约束区别于自然物体在形态特征上的特点,对于准确高效判定图像中是否存在建筑物技术的需求日益凸显。
发明内容
发明目的:本发明的目的是提供一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,该方法对采集的图像信息进行聚类分析,去除自然场景中树木、丛林、自行车轿车等干扰因素,提高了违章建筑的识别率、减少了误报率,并大幅度提高了检测结果的鲁棒性。
技术方案:本发明所述的一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,包括如下步骤:
(1)将采集到的图像信息预处理后,用LSD直线检测算法对其进行直线检测;得到直线端点坐标及数量N,计算直线长度L并对直线进行筛选,去除长度小于S/10000的直线,其中S为图像像素数量,且S≥10000;否则不去除。
进一步地,步骤(1)中,所述预处理包括:灰度化、二值化、形态学处理和Canny算子边缘检测。
(2)使用K-Means聚类算法,根据步骤(1)筛选出的直线中点进行聚类分类,并计算每个直线簇中直线的数量n、距离d及直线间角度分布。
进一步地,所述步骤(2)具体包括:
(21)选取K-Means聚类算法的k值为N/3,N为提取到的直线数量,对步骤(1)筛选出的直线中点进行K-Means聚类,得到每个直线簇的直线数量n;
(22)对聚类后的直线,由LSD直线检测得到直线端点的坐标(xi,yi)和(xj,yj),则由勾股定理可得直线长度d;
(23)由直线两端点坐标可计算出聚类后各类所有直线的倾角,并将其转换到[0,90°]由大到小顺序排列,继而按倾角大小从大到小依次计算相邻两直线夹角。
(3)对步骤(2)中得到的各个直线簇进行进一步判断,如果各个直线簇中直线的数量n小于3,任意两条直线距离d小于两条中较短直线长度值的1.5倍时,则去除该直线簇,若满足,则进行步骤(4)进一步判定。
(4)根据定点监控已采集到的违章建筑物,提取常见违章建筑物类型的直线轮廓,绘制常见违建类型的直线轮廓角度分布直方图,并构建违章建筑物角度分布特征库。
进一步地,所述步骤(4)具体包括:
(41)用LSD算法提取常见违章建筑物的直线轮廓信息,以其各直线轮廓间的夹角为横坐标,以夹角出现在各角度级归一化后的频率为纵坐标,绘制直线轮廓角度分布直方图;其中,所述角度级为将得到的夹角四舍五入保留整数分为90个等级,且89.5到90度之间的角度级归为0;所述归一化后的频率为所处该角度级的夹角个数与各直线轮廓间的夹角总数的比值;
(42)将常见违章建筑物按违建类型归类,分别绘制自然场景下单个至m个违章建筑子结构规则排列的角度分布直方图,以违建类型和违章建筑子结构数量构成常见违章建筑物二维的角度分布库并赋以不同的置信度,取值0至1,其中,单一和m个违建子结构时绘制的角度分布直方图对应置信度最高;
进一步地,所述违建类型包括围墙、砖瓦、钢架、大棚、工地;
进一步地,所述违章建筑子结构包括砖块、钢管、采光板、防护网;
(43)在检索违章建筑物角度分布库时,基于最近邻搜索得到同一违章类型m个违章建筑子结构对应的角度分布直方图及置信度。
(5)绘制待测图像的直线轮廓角度分布直方图,并用巴氏系数计算其和步骤(4)中常见违建角度分布特征库的相似度,并将该值乘以置信度,结果越接近1即两者越相似,如果结果大于阈值T,则判定图像中存在违章建筑物;反之,则图像中不存在建筑物。
有益效果:1、通过引入违章建筑物直线轮廓的聚类分析,更好利用监控视频中违章建筑物轮廓信息,提高检测结果鲁棒性和实时性;2、在违章建筑检测中,去除了复杂场景中的各种干扰物体,如自然场景中树木丛林和人为停留的自行车轿车等干扰因素;3、更好地表述违章建筑物轮廓约束,避免对监控视频进行识别时违章建筑特征提取的本身就存在的困难;显著提高了违章建筑的识别率、减少了误报率,并大幅度提高了检测结果的鲁棒性。
附图说明
图1是本发明的违章建筑物识别方法的整体框图;
图2是本发明的常见建筑物轮廓约束示意图;
图3是本发明的最近邻搜索中kd-树构建流程图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示,一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,包括如下步骤:
(1)将采集到的图像信息预处理后,用LSD直线检测算法对其进行直线检测;得到直线端点坐标及数量N,计算直线长度L并对直线进行筛选,去除长度小于S/10000的直线,其中S为图像像素数量,且S≥10000;否则不去除;
(2)使用K-Means聚类算法,根据步骤(1)筛选出的直线中点进行聚类分类,并计算每个直线簇中直线的数量n、距离d及直线间角度分布;
(3)对步骤(2)中得到的各个聚类进行进一步判断,如果各个直线簇中直线的数量n小于3,任意两条直线距离d小于两条中较短直线长度值的1.5倍时,则去除该聚类,若满足,则进行步骤(4)进一步判定;
(4)根据定点监控已采集到的违章建筑物,提取常见违章建筑物类型的直线轮廓,绘制常见违建类型的直线轮廓角度分布直方图,并构建违章建筑物角度分布特征库;
(5)绘制待测图像的直线轮廓角度分布直方图,并用巴氏系数计算其和步骤(4)中常见违建角度分布特征库的相似度,并将该值乘以置信度,结果越接近1即两者越相似,如果结果大于阈值T,则判定图像中存在违章建筑物;反之,则图像中不存在建筑物。
如图2所示,步骤(2)中,使用K-Means聚类算法,根据步骤(1)中筛选出的直线中点进行分类,并计算每个直线簇中直线的数量n、距离d及直线间角度分布。具体进行的数据处理包括如下步骤:
(21)假设提取到的直线数量为N,则K-Means聚类算法的k值取N/3,且对每个直线中点计算离其最近的质心,然后将该中点标为质心对应的类别,并重新计算质心,直至质心不再变化,对步骤(1)筛选出的直线中点进行K-Means聚类,得到每个直线簇的直线数量n。
(22)对聚类后的直线,由LSD直线检测得到直线端点的坐标(xi,yi)和(xj,yj),则可得直线长度:
(23)由直线两端点坐标通过反正切函数可计算出直线倾角,并将其转换到[0,90°]由大到小顺序排列,继而按倾角大小从大到小依次计算相邻两直线夹角θ。
如图3所示,步骤(4)中,根据定点监控已采集到的违章建筑物,提取常见违章建筑物类型的直线轮廓,绘制常见违建类型的直线轮廓角度分布直方图,并构建违章建筑物角度分布特征库。具体地,数据处理包括如下步骤:
(41)用LSD算法提取常见违章建筑物的直线轮廓信息,以其各直线轮廓间的夹角为横坐标,以夹角出现在各角度级归一化后的频率为纵坐标,绘制直线轮廓角度分布直方图;其中,所述角度级为将得到的夹角四舍五入保留整数分为90个等级,且89.5到90度之间的角度级归为0;所述归一化后的频率为所处该角度级的夹角个数与各直线轮廓间的夹角总数的比值;
(42)将常见违章建筑物归类成围墙、砖瓦、钢架、大棚、工地,分别绘制自然场景下单个至m个违章建筑子结构自由排列的角度分布直方图。在检测中,由于上述违章建筑物往往是由其子结构规则排列,如围墙由砖瓦堆砌而成、大棚由采光板叠盖而成。故本方法检测其子结构规则排列时角度分布情况以判断是否为此违章建筑物,且其子结构单个及多个规则排列时角度分布更为精确,此时检测的是其组成单元和违章建筑物整体角度分布特征。其中m值要求大于10,且当m够大时该类型违章建筑角度分布特征将趋于稳定。本实施例中m取20,以违建类型按标签构成常见违章建筑物二维的角度分布库并赋以不同的置信度,取值0至1,以两端最高,即单一违建和m个违章建筑子结构时绘制的角度分布直方图对应置信度最高。
(43)在检索违章建筑物角度分布库时,基于最近邻搜索将该类型m个违章建筑子结构对应的角度分布直方图及置信度赋予结果。
步骤(5)中,绘制待测图像的直线轮廓角度分布直方图,并用巴氏系数计算其和步骤(4)中常见违建角度分布特征库的相似度。具体进行的数据处理包括如下步骤:
(51)输入待检测图像,并以其各直线轮廓间的夹角为横坐标绘制其直线轮廓角度分布直方图;
(52)利用kd-tree从特征库中对常见违章建筑物形态检测。
(53)计算巴氏系数时,其计算公式如下:
其中,i为角度,0≤i≤90,p(i)p′(i)分别代表源与候选的图像直方图分布值,对每个相同i的数据点乘积开平方以后相加得出的结果即为图像相似度值(巴氏系数因子值ρ),范围为0到1之间。而最终图像中违章建筑物存在的可能性为置信度乘相似度。
综上,本发明基于LSD直线检测算法,对于定点视频监控的违章建筑物特征进行初步过滤,得到相关违章建筑物轮廓信息,进而通过每个直线簇中直线数量、相关位置和角度信息进行聚类分析。去除直线数量小于3,且直线相距较远的聚类,以去除道路、电线杆等常见的人文物体。
其次,本发明利用K-Means聚类思想,结合违章建筑物轮廓拓扑约束,构建了常见违章建筑物的二维角度分布库,提出了基于待测图像和常见违建类型角度分布库相似度比较的轮廓特征确定方法。通过置信度分配,进一步调整违章建筑物轮廓约束的权重,继而通过相似度和置信度的乘积设定阈值,对违章建筑物轮廓信息进行合理有效地提取,最终自动识别定点监控中复杂场景下的违章建筑物。
Claims (5)
1.一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,其特征在于,该方法包括以下步骤:
(1)将采集到的图像信息预处理后,用LSD直线检测算法对其进行直线检测;得到直线端点坐标及数量N,计算直线长度L并对直线进行筛选,去除长度小于S/10000的直线,其中S为图像像素数量,且S≥10000;否则不去除;
(2)使用K-Means聚类算法,根据步骤(1)筛选出的直线中点进行聚类分类,并计算每个直线簇中直线的数量n、距离d及直线间角度,得到直线间角度分布情况;
(3)对步骤(2)中得到的各个聚类作进一步判断,如果各个直线簇中直线的数量n小于3,任意两条直线距离d小于两条中较短直线长度值的1.5倍时,则去除该聚类,若满足,则进入步骤(4);
(4)根据定点监控已采集到的违章建筑物,提取常见违章建筑物类型的直线轮廓,绘制常见违建类型的直线轮廓角度分布直方图,并构建违章建筑物角度分布特征库;
所述步骤(4)具体包括:
(41)用LSD算法提取常见违章建筑物的直线轮廓信息,以其各直线轮廓间的夹角为横坐标,以夹角出现在各角度级归一化后的频率为纵坐标,绘制直线轮廓角度分布直方图;其中,所述角度级为将得到的夹角四舍五入保留整数分为90个等级,且89.5到90度之间的角度级归为0;所述归一化后的频率为所处该角度级的夹角个数与各直线轮廓间的夹角总数的比值;
(42)将常见违章建筑物按违建类型归类,分别绘制自然场景下单个至m个违章建筑子结构规则排列的角度分布直方图,以违建类型和违章建筑子结构数量构成常见违章建筑物二维的角度分布库并赋以不同的置信度,取值0至1,其中,单一和m个违章建筑子结构时绘制的角度分布直方图对应置信度最高;
(43)在检索违章建筑物角度分布库时,基于最近邻搜索得到同一违章类型m个违章建筑子结构对应的角度分布直方图及置信度;
(5)绘制待测图像的直线轮廓角度分布直方图,并用巴氏系数计算其和步骤(4)中常见违建角度分布特征库的相似度,并将该值乘以置信度,结果越接近1则两者越相似,如果结果大于阈值T,则判定图像中存在违章建筑物;反之,则图像中不存在建筑物。
2.根据权利要求1所述的基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,其特征在于,步骤(1)中,所述预处理包括:灰度化、二值化、形态学处理和Canny算子边缘检测。
3.根据权利要求1所述的基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,其特征在于,所述步骤(2)具体包括:
(21)选取K-Means聚类算法的k值为N/3,N为提取到的直线数量,对步骤(1)筛选出的直线中点进行K-Means聚类,得到每个直线簇的直线数量n;
(22)以图像左上角为原点,水平和垂直方向分别为x轴、y轴建立直角坐标系,对聚类后的直线,由LSD直线检测得到直线端点的坐标(xi,yi)和(xj,yj),i≠j,i、j为端点序号,则由勾股定理可得直线长度d;
(23)由直线两端点坐标可计算出聚类后各类所有直线的倾角,所述倾角为直线与x轴正方向的夹角,并将其转换到[0,90°]由大到小顺序排列,继而按倾角大小从大到小依次计算相邻两直线夹角。
4.根据权利要求1所述的基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,其特征在于:所述违建类型包括围墙、砖瓦、钢架、大棚、工地。
5.根据权利要求1所述的基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法,其特征在于:所述违章建筑子结构包括砖块、钢管、采光板、防护网。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910323850.8A CN110084169B (zh) | 2019-04-22 | 2019-04-22 | 一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910323850.8A CN110084169B (zh) | 2019-04-22 | 2019-04-22 | 一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110084169A CN110084169A (zh) | 2019-08-02 |
CN110084169B true CN110084169B (zh) | 2023-07-04 |
Family
ID=67416103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910323850.8A Active CN110084169B (zh) | 2019-04-22 | 2019-04-22 | 一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110084169B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706277A (zh) * | 2019-09-12 | 2020-01-17 | 创新奇智(合肥)科技有限公司 | 一种基于链码直方图检测物体旋角的方法 |
CN110544386A (zh) * | 2019-09-18 | 2019-12-06 | 奇瑞汽车股份有限公司 | 车位识别方法、装置及存储介质 |
CN112560562B (zh) * | 2019-09-26 | 2024-02-20 | 杭州海康威视系统技术有限公司 | 用于识别违建的方法、设备和存储介质 |
CN110530375B (zh) * | 2019-10-10 | 2021-08-27 | 上海钛米机器人科技有限公司 | 机器人自适应定位方法、定位装置、机器人及存储介质 |
CN111027484B (zh) * | 2019-12-11 | 2023-04-28 | 中南大学 | 基于三维成像的隧道钢拱识别方法 |
CN113505643B (zh) * | 2021-06-07 | 2024-07-16 | 浙江大华技术股份有限公司 | 违章目标物检测方法及相关装置 |
CN113284158B (zh) * | 2021-06-08 | 2022-05-31 | 中国科学院软件研究所 | 一种基于结构约束聚类的图像边缘提取方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5762251B2 (ja) * | 2011-11-07 | 2015-08-12 | 株式会社パスコ | 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム |
CN106373426B (zh) * | 2016-09-29 | 2019-02-12 | 成都通甲优博科技有限责任公司 | 基于计算机视觉的停车位及违规占道停车监控方法 |
CN107292238A (zh) * | 2017-05-23 | 2017-10-24 | 东南大学 | 基于空间拓扑关系约束和消失点的建筑物轮廓识别方法 |
-
2019
- 2019-04-22 CN CN201910323850.8A patent/CN110084169B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110084169A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084169B (zh) | 一种基于K-Means聚类和轮廓拓扑约束的违章建筑物识别方法 | |
CN102096821B (zh) | 基于复杂网络理论的强干扰环境下的车牌识别方法 | |
CN107292276B (zh) | 一种车载点云聚类方法及系统 | |
CN106557764B (zh) | 一种基于二进制编码字符水尺和图像处理的水位识别方法 | |
CN103077384B (zh) | 一种车标定位识别的方法与系统 | |
CN104303193B (zh) | 基于聚类的目标分类 | |
CN111079611B (zh) | 一种道路面及其标志线的自动提取方法 | |
CN108510516A (zh) | 一种散乱点云的三维线段提取方法及系统 | |
CN101339601B (zh) | 一种基于sift算法的车牌汉字识别方法 | |
CN103914688A (zh) | 一种城市道路障碍物识别系统 | |
CN103473551A (zh) | 基于sift算子的台标识别方法及系统 | |
CN112949484B (zh) | 一种高速铁路落石实时检测方法 | |
CN107659754B (zh) | 一种树叶扰动情况下监控视频的有效浓缩方法 | |
CN113095301B (zh) | 占道经营监测方法、系统与服务器 | |
CN111915583A (zh) | 复杂场景中基于车载红外热像仪的车辆和行人检测方法 | |
CN109886168B (zh) | 一种基于层阶的地面交通标志识别方法 | |
CN109635722B (zh) | 一种高分辨率遥感影像路口自动识别方法 | |
CN110210428A (zh) | 一种基于mser的远距离复杂环境下的烟雾根节点检测方法 | |
CN110490150A (zh) | 一种基于车辆检索的违章图片自动审核系统及方法 | |
CN112862847A (zh) | 一种表达地物边缘的线段序列检测方法 | |
CN112906487A (zh) | 基于规则集的明清官式建筑物样式点云分类识别方法 | |
CN107463939B (zh) | 一种图像关键直线检测方法 | |
Baluyan et al. | Novel approach for rooftop detection using support vector machine | |
CN107832732B (zh) | 基于三叉树遍历的车道线检测方法 | |
CN117119253B (zh) | 一种针对目标对象的高质量视频抽帧方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |