CN110472687B - 基于颜色密度特征的道路图像聚类方法及道路识别的方法 - Google Patents
基于颜色密度特征的道路图像聚类方法及道路识别的方法 Download PDFInfo
- Publication number
- CN110472687B CN110472687B CN201910759579.2A CN201910759579A CN110472687B CN 110472687 B CN110472687 B CN 110472687B CN 201910759579 A CN201910759579 A CN 201910759579A CN 110472687 B CN110472687 B CN 110472687B
- Authority
- CN
- China
- Prior art keywords
- image
- road
- clustering
- color
- pixel points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及四足机器人技术领域,特别涉及一种基于颜色密度特征的道路图像聚类方法及道路识别的方法。图像聚类方法以颜色为基础特征,通过定义并提取图像的颜色密度作为图像聚类分割的依据,再通过多次聚类,减轻或者消除由于光照变化、阴影、路面颜色不一致等对道路识别的影响,使在环境变化情况下也能对道路区域进行聚类。本发明提供的道路识别的方法,基于颜色密度特征的道路图像聚类方法,通过对误分割的干扰区域再聚类,完成非结构化道路的识别,解决了在由于不规则块状的阴影或地面随机出现的与道路颜色不一致的不规则颜色块所导致的误分类问题;本发明提供的技术方案为四足机器人对野外非结构化道路环境识别提供了有效方案,具有重要价值。
Description
技术领域
本发明涉及四足机器人技术领域,特别涉及一种基于颜色密度特征的道路图像聚类方法及道路识别的方法。
背景技术
在复杂的野外环境中,为了实现四足机器人在非结构化崎岖的路面上自主行走,需对道路进行准确识别,以辅助人类完成野外物资运输、巡逻、勘探等工作任务。虽然野外不规则道路与周围环境背景在整体颜色特征上存在差异,但由于受到光照条件变化、不确定物体倒影、道路杂草等影响,道路的颜色一致性并不理想。此外,非结构化道路并非理想的直线带状,其道路形状的不规则性也给道路准确识别带来困难。
在非结构化道路识别中,常见的方法有直接基于图像颜色道路识别、基于道路轮廓提取道路识别等。在采用颜色识别的过程中,现有的方法多采用基于K-means聚类、模糊聚类、直接设置颜色阈值进行图像分割等方法,当道路颜色一致性较好情况下具有较好的识别效果。但是,在野外环境道路中由于受到变化的光线、道路阴影、路面颜色不一致等因素的影响,道路很难具有一致的颜色特征,因此上述聚类方法道路识别的适应性和准确率都不理想。
若采用直接检测道路轮廓特征进行识别,当道路边界明显且具有较好的连续性时可通过霍夫直线变换、多次样条曲线拟合等提取道路边界线,从而实现对道路的识别,该方法对结构化道路具有较好的效果,然而野外非结构化道路形状和边界大多情况下是不确定、不规则的且环境中干扰物(如树木主干)的直线轮廓极易对道路边界线识别造成干扰和误分类,因此效果不佳。
发明内容
为解决减轻或者消除由于光照变化、阴影、路面颜色不一致等对道路识别的影响,本发明提供一种基于颜色密度特征的道路图像聚类方法,包括以下步骤:
S100、采集野外非结构化道路图像,将RGB颜色空间图像转换为Lab颜色空间图像;
S200、提取Lab颜色空间图像的每个像素点的颜色密度特征,并对密度特征值进行降序排列;
S300、提取排序后前U个密度特征值所对应的像素点作为聚类中心;
S400、对非聚类中心的像素点进行归类操作,从而完成基于颜色密度特征聚类的图像分割。
在上述方案的基础上,进一步地,S100中,按照以下公式将RGB颜色空间图像转换为Lab颜色空间图像:
式中Xn,Yn,Zn的值分别为0.9505,1,1.089。
在上述方案的基础上,进一步地,S200中,提取颜色密度特征的方法包括:
S210、定义颜色密度特征:
设在图像中的像素点p,K为该像素点邻域,通过统计像素点p的邻域K内与该像素点颜色相近的像素点个数n为其密度值,设密度为ρ,则ρ=n,像素点p的密度ρ的定义如下公式所示:
i-K,i+K和h-K,h+K为邻域像素点的横、纵坐标范围;
ψ为颜色特征一致性阈值;
S220、计邻域K内与像素点p的颜色空间距离小于ψ的像素点个数即为p的颜色密度特征值。
在上述方案的基础上,进一步地,S200中,对密度特征值进行降序排列的方法为:设图像所有像素点pm的颜色密度特征值为N为像素点总数,并将其按降序排列,降序后的密度特征值用集合表示,即为O0、O1、……ON。
在上述方案的基础上,进一步地,S400中,设前U个颜色密度值最大的像素点为p0、p1、…、pU;设i为降序后待分类的像素点序号且i=U+1,U+2,…,N;设Dmn为按降序排列后任意两像素点pm与pn的图像距离;
根据待分类像素点pi与聚类中心pj的最小空间距离Dij及其对应颜色密度特征差值oij,判断像素点pi归属的特定聚类中心,即完成非聚类中心的像素点进行归类操作。
为了解决在野外非结构化道路地面图像中,往往存在不规则块状的阴影、或地面随机出现的与道路颜色不一致的不规则颜色块,从而造成误分类的问题,本发明提供一种采用上述任意所述基于颜色密度特征的道路图像聚类方法的道路识别的方法,包括以下步骤:
步骤a、对聚类分割图像提取各聚类区域的面积S,当S<ΔA时,该聚类区域为干扰区域;
步骤b、采用八邻域(也称摩尔邻域)的边界跟踪算法提取干扰区域的外轮廓像素点,记录总轮廓点个数W,并从外轮廓点中提取出像素点个数最多的那一类轮廓点,并记录该类轮廓点个数为E;
步骤c、获取各干扰区域的W和E值后,若E/W>2/3,则将该干扰区域融合归并到外轮廓点最多的聚类区域,否则该干扰区域为独立聚类区域;
步骤d、重复步骤a-c,直至所有的聚类区域面积S都大于等于ΔA;
步骤f、比较所有综合距离的大小,提取综合距离最小的均值点所在的聚类区域,并将该区域定义为道路区域即完成野外非结构化道路的识别。
其中,V为每一聚类像素点总数,xn,yn为每一类的像素点的横、纵坐标。
本发明提供的基于颜色密度特征的道路图像聚类方法,以颜色为基础特征,在此基础上通过定义并提取图像的颜色密度作为图像聚类分割的依据,再通过多次聚类,减轻或者消除了由于光照变化、阴影、路面颜色不一致等对道路识别的影响,使得在环境变化情况下也能对道路区域进行聚类,为图像识别提供了有力保证。
本发明提供的道路识别的方法,在基于颜色密度特征的道路图像聚类方法,通过对误分割的干扰区域再聚类,从而完成非结构化道路的识别,解决了在由于不规则块状的阴影、或地面随机出现的与道路颜色不一致的不规则颜色块导致的误分类问题,具有重要的实际应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的基于颜色密度特征的道路图像聚类方法中颜色密度特征定义原理图;
图2为本发明提供的基于颜色密度特征的道路图像聚类方法的原理流程图;
图3为本发明提供的基于颜色密度特征的道路图像聚类结果示意图;
图4为本发明提供的道路识别的方法中外轮廓像素点判断结果示意图;
图5为本发明提供的道路识别的方法中干扰区域融合归并结果示意图;
图6本发明提供的的道路识别方法的总体原理流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所有涉及到点坐标的数据,其坐标原点为图像左下角点,横坐标方向(x轴)为图像的宽度方向,纵坐标(y轴)为图像的高度方向。
为了减轻或者消除由于光照变化、阴影、路面颜色不一致等对道路识别的影响,使得环境变化情况下也能对道路区域进行聚类;本发明提供一种基于颜色密度特征的道路图像聚类方法,包括以下步骤:
步骤1、由于图像的RGB颜色空间很难反应图像的亮度特征,Lab颜色空间不仅具有图像的亮度特征,而且色域广有利于图像颜色特征的提取,为了使聚类方法对环境的颜色和亮度变化都具有良好的适应性,本发明将RGB颜色空间图像转换为Lab颜色空间图像,具体地,RGB到Lab颜色空间的转换矩阵如下式(1)、(2)所示:
式中Xn,Yn,Zn的值分别为0.9505,1,1.089。
步骤2:提取Lab颜色空间图像的每个像素点的颜色密度特征,具体地,先在Lab颜色空间图像中定义图像的颜色密度特征;
其中,颜色密度特征定义如下:如图1所示在图像中有一像素点p,K为该像素点邻域,那么通过统计像素点p的邻域K内与该像素点颜色相近的像素点个数n为其密度值,设密度为ρ,则ρ=n;其中,像素点p的密度ρ的定义如公式(3)、(4)所示:
i-K,i+K和h-K,h+K为邻域像素点的横、纵坐标范围;
ψ为颜色特征一致性阈值,统计邻域K内与像素点p的颜色空间距离小于ψ的像素点个数即为p的颜色密度特征值。
步骤3:设图像所有像素点pm的颜色密度特征值为(N为像素点总数),并将其按降序排列,降序后的密度特征值用集合表示,并对密度特征值进行降序排列,排序后为O0、O1、……ON;设Dmn为按降序排列后任意两像素点pm与pn的图像距离。
步骤4、提取排序后前U个密度特征值所对应的像素点作为聚类中心,即p0、p1、…、pU。
步骤5、对非聚类中心像素点进行归类,设i为降序后待分类的像素点序号且i=U+1,U+2,…,N。本步骤中采用待分类像素点pi与聚类中心pj的最小空间距离Dij及其对应颜色密度特征差值oij判断像素点pi归属于哪个聚类中心。
具体地,上述方案基于颜色密度特征的道路图像聚类方法的原理流程图如图2所示,图中ΔD和Δo分别为图像距离和颜色密度特征差的归类阈值。
由上,完成了所有像素的聚类任务,即实现了道路图像的聚类分割。
经过本发明提供的上述方案完成了相邻的且颜色特征一致的像素点聚类,但是在野外非结构化道路地面图像中,往往存在不规则块状的阴影、或地面随机出现的与道路颜色不一致的不规则颜色块。这种情况下,在上述方案提供的聚类方法容易将这些异于路面的不规则阴影、颜色块进行单独聚类,但实际上这些区域为道路的一部分,应该归属于道路区域。
为了解决在野外非结构化道路地面图像中,存在不规则块状的阴影、或地面随机出现的与道路颜色不一致的不规则颜色块,从而造成误分类的问题,本发明提供一种采用上述基于颜色密度特征的道路图像聚类方法的道路识别的方法,具体实施例如下,包括以下步骤:
步骤5、在经过上述方法对图像的所有像素点进行聚类之后,可得到如图3所示的聚类结果示意图,图中每个格子代表一个像素点;
由于四足机器人行走过程中机器视觉获取的是前方图像,根据经验可知一般情况下道路区域为图像中靠中间的大块区域,因此可判断出图3中的聚类区域①为道路,④⑤⑥为非道路环境聚类区域,而②③为道路区域中的误分割的小干扰区域块。
由于干扰区域一般较小,因此本步骤首先通过设置区域面积(或区域像素点总和)阈值ΔA来提取干扰区域块,即聚类区域的面积S<ΔA时,则为干扰区域块,通过设置适当的阈值ΔA可得图3中②③为干扰区域。
步骤6、由于干扰区域的大部分或者全部轮廓被包含在大区域内,因此可通过提取干扰区域的外轮廓像素点判断其归并于哪个聚类区域;
本步骤采用八邻域(摩尔邻域)的边界跟踪算法以提取干扰区域的所有外轮廓像素点,外轮廓点总个数记为W,同时判断外轮廓像素点归属于哪一聚类区域;如图4所示②③轮廓线所经过的像素点为外轮廓像素点。
步骤7、比较不同类外轮廓像素点的个数,提取像素点个数最多的那一类外轮廓点,并记录该类轮廓像素点个数为E;
如图4中②的外轮廓像素点都属于①,W=E=27;③的外轮廓像素点总数为W=24,其中属于①的有19个像素,属于⑥的有5个像素,那么③的E=19。
步骤8、本步骤通过判断E/W的值来确定该干扰区域是否进行融合归并;具体地,当E/W>2/3时,则将该干扰区域融合归并于外轮廓像素点最多的那一类聚类区域,如图4在干扰区域②中,由于E/W=1>2/3,所以②融合归并到①中;在干扰区域③中,由于E/W=19/24>2/3,所以③也融合归并到①中;
最终的融合归并结果如图5所示。
步骤9、重复步骤5-9,直到所有的聚类区域不再进行融合归并为止,即聚类后的面积S都大于等于ΔA。
步骤10、计算每一聚类区域的像素点的像素坐标均值由于图像中道路区域往往较大,为了防止将局部小区域误识别为道路区域,该步骤中只提取像素点个数大于的聚类区域块进行坐标均值计算;其中,的值可调,该实施例中,设为图像总像素点个数的1/5;
其计算方法如公式(5)所示,其中V为每一聚类像素点总数,xn,yn为每一类的像素点的横、纵坐标;
步骤12、通过上述步骤计算所有均值点到中线与底线的综合距离L0、L1、L2、…、Ls,比较它们的大小,由于机器人行走过程获取的图像中,图像的中部及底部区域往往为道路区域,因此本步骤提取综合距离最小值所在的聚类区域为道路区域,即完成野外非结构化道路的识别。
本发明提供的道路识别方法的总体原理流程图如图6所示。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于颜色密度特征的道路图像聚类方法,其特征在于,包括以下步骤:
S100、采集野外非结构化道路图像,将RGB颜色空间图像转换为Lab颜色空间图像;
S200、提取Lab颜色空间图像的每个像素点的颜色密度特征,并对密度特征值进行降序排列;
S210、定义颜色密度特征:
设在图像中的像素点p,K为该像素点邻域,通过统计像素点p的邻域K内与该像素点颜色相近的像素点个数n为其密度值,设密度为ρ,则ρ=n,像素点p的密度ρ的定义如下公式所示:
i-K,i+K和h-K,h+K为邻域像素点的横、纵坐标范围;
ψ为颜色特征一致性阈值;
S220、计邻域K内与像素点p的颜色空间距离小于ψ的像素点个数即为p的颜色密度特征值;
S300、提取排序后前U个密度特征值所对应的像素点作为聚类中心;
S400、对非聚类中心的像素点进行归类操作,从而完成基于颜色密度特征聚类的图像分割。
5.一种采用如权利要求1-4任一项所述基于颜色密度特征的道路图像聚类方法的道路识别的方法,其特征在于,包括以下步骤:
步骤a、对聚类分割图像提取各聚类区域的面积S,当S<ΔA时,该聚类区域为干扰区域;
步骤b、采用八邻域的边界跟踪算法提取干扰区域的外轮廓像素点,记录总轮廓点个数W,并从外轮廓点中提取出像素点个数最多一类轮廓点,并记录该类轮廓点个数为E;
步骤c、获取各干扰区域的W和E值后,若E/W>2/3,则将该干扰区域融合归并到外轮廓点最多的聚类区域,否则该干扰区域为独立聚类区域;
步骤d、重复步骤a-c,直至所有的聚类区域面积S都大于等于ΔA;
步骤f、比较所有综合距离的大小,提取综合距离最小的均值点所在的聚类区域,并将该区域定义为道路区域,即完成野外非结构化道路的识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910759579.2A CN110472687B (zh) | 2019-08-16 | 2019-08-16 | 基于颜色密度特征的道路图像聚类方法及道路识别的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910759579.2A CN110472687B (zh) | 2019-08-16 | 2019-08-16 | 基于颜色密度特征的道路图像聚类方法及道路识别的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110472687A CN110472687A (zh) | 2019-11-19 |
CN110472687B true CN110472687B (zh) | 2022-04-01 |
Family
ID=68511893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910759579.2A Active CN110472687B (zh) | 2019-08-16 | 2019-08-16 | 基于颜色密度特征的道路图像聚类方法及道路识别的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110472687B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111415360B (zh) * | 2020-03-30 | 2022-12-20 | 上海烟草集团有限责任公司 | 烟叶图像切割方法、装置、设备和介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102005052A (zh) * | 2010-11-09 | 2011-04-06 | 浙江大学 | 基于核密度估计的遮挡人体跟踪方法 |
CN103136722A (zh) * | 2011-11-25 | 2013-06-05 | 北京大学 | 一种基于色域分析的图像分割方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090112533A1 (en) * | 2007-10-31 | 2009-04-30 | Caterpillar Inc. | Method for simplifying a mathematical model by clustering data |
-
2019
- 2019-08-16 CN CN201910759579.2A patent/CN110472687B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102005052A (zh) * | 2010-11-09 | 2011-04-06 | 浙江大学 | 基于核密度估计的遮挡人体跟踪方法 |
CN103136722A (zh) * | 2011-11-25 | 2013-06-05 | 北京大学 | 一种基于色域分析的图像分割方法及系统 |
Non-Patent Citations (2)
Title |
---|
Pedestrian lane detection in unstructured scenes for assistive navigation;Son Lam Phung 等;《Computer Vision and Image Understanding》;20161231;第186-196页 * |
组合主成分分析和模糊c均值聚类的车辆行驶工况制定方法;刘应吉 等;《公路交通科技》;20180315;第79-85页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110472687A (zh) | 2019-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107045629B (zh) | 一种多车道线检测方法 | |
CN113658132B (zh) | 基于计算机视觉的结构件焊缝检测方法 | |
CN108537239B (zh) | 一种图像显著性目标检测的方法 | |
CN107437243B (zh) | 基于x光图像的轮胎杂质检测方法及装置 | |
CN110717896B (zh) | 基于显著性标签信息传播模型的板带钢表面缺陷检测方法 | |
CN107610114A (zh) | 基于支持向量机的光学卫星遥感影像云雪雾检测方法 | |
CN114882026B (zh) | 基于人工智能的传感器外壳缺陷检测方法 | |
Simler | An improved road and building detector on VHR images | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN114511770A (zh) | 道路标识标牌识别方法 | |
CN116665011A (zh) | 一种基于机器视觉的煤矿带式输送机煤流异物识别方法 | |
CN113221881A (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
CN113239733A (zh) | 一种多车道车道线检测方法 | |
CN110472687B (zh) | 基于颜色密度特征的道路图像聚类方法及道路识别的方法 | |
CN117253024B (zh) | 一种基于机器视觉的工业盐质检管控方法及系统 | |
Chen et al. | Image segmentation based on mathematical morphological operator | |
CN108171683B (zh) | 一种采用软件自动识别的细胞计数方法 | |
CN108765426A (zh) | 自动图像分割方法及装置 | |
CN112419278A (zh) | 一种基于深度学习的实木地板分类方法 | |
Saputra et al. | Integration GLCM and geometric feature extraction of region of interest for classifying tuna | |
CN110909751B (zh) | 用于变电站绝缘子清扫机器人的视觉识别方法、系统及介质 | |
CN111860500A (zh) | 一种鞋印磨损区域检测与描边方法 | |
CN111882573A (zh) | 一种基于高分辨率影像数据的耕地地块提取方法及系统 | |
Kaur et al. | 2-D geometric shape recognition using canny edge detection technique | |
CN105844641A (zh) | 一种动态环境下的自适应阈值分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |