CN108345835A - 一种基于仿复眼感知的目标识别方法 - Google Patents
一种基于仿复眼感知的目标识别方法 Download PDFInfo
- Publication number
- CN108345835A CN108345835A CN201810033739.0A CN201810033739A CN108345835A CN 108345835 A CN108345835 A CN 108345835A CN 201810033739 A CN201810033739 A CN 201810033739A CN 108345835 A CN108345835 A CN 108345835A
- Authority
- CN
- China
- Prior art keywords
- image
- compound eye
- pixel
- super
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
本发明公开了一种基于仿复眼感知的目标识别方法,包括仿复眼感知网络、超像素聚类、显著性计算三个部分,包括以下步骤:(1)获取原始彩色图像;(2)将彩色图像送入仿复眼感知网络提取图像特征,进行目标框预测与类别判定;(3)从图像中提取感兴趣区域;(4)将感兴趣区域从RGB颜色空间转换到Lab颜色空间;(5)对感兴趣区域像素进行超像素聚类,获得有感知意义的原子区域;(6)在原子区域基础上进行背景检测;(7)对背景检测结果进行优化,获得目标物体掩模。本发明的方法能够在非结构化环境下实现目标识别,且冗余计算少速度快,流程简单容易理解并可以根据场景对其中的模块针对性优化,具有较高的适应性。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种基于仿复眼感知的目标识别方法。
技术背景
视觉分类和目标识别是计算机视觉中的一项重要任务,被广泛应用于基于内容的图像检索、汽车安全、视频监控和机器人技术中。近些年随着消费提升与快递等行业的发展,对仓库自动化机器人、服务机器人等各种机器人的兴趣迅猛增长,目标识别是机器人技术中的重要内容。并且随着人工智能的发展,简单的模板匹配与结构化场景下的目标识别不能满足当前不断提升的需求。
目前,许多文献针对目标识别提出了不同算法。其中,主要包括:几何测量方法、模板匹配方法、显著性检测方法、可变形组件模型、神经网络方法和决策森林模型。但是,简单的几何测量和模板匹配方法不能满足非结构化场景的需求,显著性检测虽然能检测出显著物体由于缺乏高级线索信息对物体并没有辨识能力。另一方面,基于判别模型的可变形组件模型、神经网络模型和决策森林模型虽然有更好的识别能力,这些方法基于区域提案思路首先使用低级线索信息产生大量潜在目标框并在其上执行分类器进行目标辨识,后续进行框调整和冗余剔除操作,这种复杂的流程很慢并难以进行优化。
发明内容
本发明的目的在于解决在非结构化场景下,常规目标检测方法缺少高级线索信息无法判断物体类别,基于判别模型的检测方法流程复杂存在计算冗余并难以优化等问题,提供一种基于仿复眼感知的目标识别方法,不同于传统的先分割后识别的图像处理方法,本发明模仿生物对环境的直观感知方式首先进行全局理解后关注于局部细节,是一种检测速度快、易于理解使用与优化的非结构化环境目标识别方法。
为达到上述目的,本发明采用下述技术方案:
一种基于仿复眼感知的目标识别方法,包括仿复眼感知网络、超像素聚类、显著性计算三个部分,所述的仿复眼感知网络在一次评估中直接从完整图像预测物体边界框和类别概率,理解场景获得感兴趣区域,在感兴趣区域上进行超像素聚类获得有感知意义的原子区域,通过显著性计算分离出属于物体的原子区域提取目标,具体包括以下步骤:
(1)获取原始彩色图像;
(2)将彩色图像送入仿复眼感知网络提取图像特征,进行目标框预测与类别判定;
(3)从图像中提取感兴趣区域;
(4)将感兴趣区域从RGB颜色空间转换到Lab颜色空间;
(5)对感兴趣区域像素进行超像素聚类,获得有感知意义的原子区域;
(6)在原子区域基础上进行背景检测;
(7)对背景检测结果进行优化,获得目标物体掩模。
本发明与现有技术相比较,具有以下明显优点及突出性进步:
几何测量方法与模板匹配方法难以适应非结构化场景下的目标识别,本发明提出的方法既可用于结构化场景也可用于非结构化场景;常规的目标检测方法虽可以检测出目标,由于缺少高级线索信息无法识别目标类型,例如常用的显著性目标检测方法,本发明提出的方法解决了常规目标检测方法存在的高级线索信息缺失问题,并去除了对不必要区域的检测;基于判别模型的可变形组件模型、神经网络模型和决策森林模型,相比传统方法虽然有更好的识别能力,这些方法基于区域提案思路首先使用低级线索信息产生大量潜在目标框并在其上执行分类器进行目标辨识,后续进行框调整和冗余剔除操作,这些复杂的流程很慢并难以进行优化。本发明提出的方法将卷积网络强大的图像特征表达能力应用于目标识别,使用仿复眼感知网络一次对整幅图像进行感知,之后对感兴趣区域进行检测,使用超像素算法捕获图像冗余的同时也减少了对不必要区域的操作,同时为传统的目标检测方法提供了高级线索信息,实现低级与高级、全局与局部的结合。该方法三个部分的功能明确,易于理解和使用,可针对需求进行调整优化。
附图说明
图1为本发明方法的流程图。
图2为本发明方法提出的一个仿复眼网络结构图。
图3为本发明方法一个实施例的示意图,其中(a)为实施例待检测图;(b)为实施例网络感知结果图;(c)为实施例超像素聚类结果图;(d)为实施例目标识别结果图。
具体实施方式
下面结合附图,对本发明的具体实施例做进一步的说明。
如图1所示,一种基于仿复眼感知的目标识别方法,包括仿复眼感知网络、超像素聚类、显著性计算三个部分,所述的仿复眼感知网络在一次评估中直接从完整图像预测物体边界框和类别概率,理解场景获得感兴趣区域,在感兴趣区域上进行超像素聚类获得有感知意义的原子区域,通过显著性计算分离出属于物体的原子区域提取目标,具体包括以下步骤:
(1)获取原始彩色图像;
(2)将彩色图像送入仿复眼感知网络提取图像特征,进行目标框预测与类别判定;
(3)从图像中提取感兴趣区域;
(4)将感兴趣区域从RGB颜色空间转换到Lab颜色空间;
(5)对感兴趣区域像素进行超像素聚类,获得有感知意义的原子区域;
(6)在原子区域基础上进行背景检测;
(7)对背景检测结果进行优化,获得目标物体掩模。
所述步骤(1)中,使用RGB彩色图像作为数据源,在将图像送入仿复眼感知网络前使用以下公式进行图像预处理:
R=R/255;
G=G/255;
B=B/255;
上式中,R、G和B分别为RGB颜色空间的红、绿、蓝分量。
所述步骤(2)中,使用的仿复眼感知网络使用卷积核为3×3的卷积层、批量归一化层、缩放层和修正线性单元激活层作为基础的特征提取模块,每个模块中的卷积层卷积数量如图2所示,前五个模块后面紧跟一个步长为2、尺寸为2×2的最大池化层;最后一个模块由卷积核为1×1的卷积层、批量归一化层、缩放层和线性激活层组成;在最后一个模块的输出结果之上进行逻辑斯谛激活和多项逻辑斯谛激活实现目标框和类别概率的预测,使用公式如下:
上式中,x为输入值,y为逻辑斯谛激活值,xk为第k个类别对应的输入值,P为类别概率,K为总的类别个数。
最后一层卷积使用1x1的卷积核实现线性回归计算,由此得到的13x13像素50通道图像可理解为平行分布的13x13个检测器,每个检测器可识别5类物体。获取的边界框信息值范围为0~1,位置信息为相对检测器的偏移量。按比例缩放可获得图像中物体框。结果如图3(b)所示。
所述步骤(3)中,使用0.2作为目标概率阈值,0.5作为交叠率阈值进行非极大值抑制,选取预测框对其长宽放大0.5倍作为图像感兴趣区域。
所述步骤(4)中,将感兴趣区域从RGB颜色空间转换到基于生理特征的Lab颜色空间。
所述步骤(5)中,使用k-均值聚类生成超像素,结果如图3(c)所示。初始化参数为聚类中心的数量z,使用固定的网格空间对图像进行划分,在各个网格空间内随机采样聚类中心,网格间隔计算公式如下:
上式中,S为网格间隔,z为聚类中心初始化个数,M为图像像素总数。
两个像素间的距离公式为:
上式中,dc和ds分别为两像素间的颜色距离与空间距离,S为聚类中心初始化时的网格尺寸,m是一个常数用于调整颜色相似与空间相近重要性之间的权衡。其中颜色距离与空间距离可使用简单的欧拉距离也可根据场景进行设计。
初始化聚类中心之后在分配步骤中每个像素与最近的聚类中心相关联,一旦每个像素都被分配到最近的聚类中心,则更新步骤将聚类中心调整为属于该聚类中心的所有像素的平均特征向量。聚类终止条件为聚类迭代次数达到上限或者达到聚类评价指标。每个像素点的特征向量为:
Pi=[li,ai,bi,xi,yi]T
上式中,li,ai和bi分别为像素点在Lab颜色空间中对应的三通道的值,xi和yi为像素点在图像中的位置坐标。
所述步骤(6)中,求解相反的问题来实现目标识别,使用背景检测方法检测感兴趣区域内属于背景的感知原子区域。通过场景的理解已知目标类别与目标所在区域信息,下一步的任务即需要对图像的细节进行关注,可以通过相反的思路来从其中提取出目标物体,即通过背景检测实现前景与背景分离。显著性检测的特点即关注于低级线索的提取与利用,与图像细节理解的目标相一致,此处使用鲁棒的边界连接性检测检测背景信息,公式为:
上式中,BndCon(R)表示区域R的边界连接性,该值越大表示区域R为背景的显著性越大,p为一个图像块,Bnd为一个图像边界的集合。
此方法虽然易于理解但是难以直接进行,由于图像分割本身仍是一个具有挑战性且并未解决的问题,由此使用一种近似方法,即在超像素聚类的结果之上进行显著性检测。超像素捕获图像冗余提供了具有感知意义的原子区域,通过将相邻的超像素关联并使用两个超像素平均颜色的欧拉距离作为连接权重,可获得一个无向加权图。基于超像素的边界连接性可通过下式计算:
上式中,BndCon(p)表示超像素p的边界连接性,S(p,pi)表示超像素之间的距离,N为超像素的总个数,δ(pi∈Bnd)表示如果超像素属于边界区域则其值为1,否则为0。Area(p)表示超像素p的区域跨度,Lenbnd(p)表示超像素p边缘与边界的连通性。
所述步骤(7)中,对背景检测的显著性结果进行优化,目标损失函数设计为对目标物体区域赋值为1而对背景区域赋值为0,损失函数如下:
上式中,s为优化后的显著性值,ωbg为背景显著性权重,ωfg为目标物体显著性权重,ωij为任意两超像素显著性差异的权重,ωij在平面区域很小而在边界区域很大。dapp为两区域平均颜色的欧拉距离,σclr的取值范围为5~15,μ为常量对杂乱的图像区域进行规则化。对优化结果进行二值化获得目标掩模如图3(d)所示。
为了验证本发明的可行性,本实施例选取了部分网上的图片数据集进行测试。其中一张图片的检测结果如图3所示。检测结果表明,该万法能够在非结构化环境下实现目标识别,且冗余计算少速度快,流程简单容易理解并可以根据场景对其中的模块针对性优化。
Claims (8)
1.一种基于仿复眼感知的目标识别方法,包括仿复眼感知网络、超像素聚类、显著性计算三个部分,其特征在于:所述的仿复眼感知网络在一次评估中直接从完整图像预测物体边界框和类别概率,理解场景获得感兴趣区域,在感兴趣区域上进行超像素聚类获得有感知意义的原子区域,通过显著性计算分离出属于物体的原子区域提取目标,具体包括以下步骤:
(1)获取原始彩色图像;
(2)将彩色图像送入仿复眼感知网络提取图像特征,进行目标框预测与类别判定;
(3)从图像中提取感兴趣区域;
(4)将感兴趣区域从RGB颜色空间转换到Lab颜色空间;
(5)对感兴趣区域像素进行超像素聚类,获得有感知意义的原子区域;
(6)在原子区域基础上进行背景检测;
(7)对背景检测结果进行优化,获得目标物体掩模。
2.根据权利要求1所述的基于仿复眼感知的目标识别方法,其特征在于:使用RGB彩色图像作为数据源,在将图像送入仿复眼感知网络前,使用以下公式进行图像预处理:
上式中,R、G和B分别为RGB颜色空间的红、绿、蓝分量。
3.根据权利要求1所述的基于仿复眼感知的目标识别方法,其特征在于:所述步骤(2)中使用的仿复眼感知网络使用卷积核为3×3的卷积层、批量归一化层、缩放层和修正线性单元激活层作为基础的特征提取模块,前五个模块后面紧跟一个步长为2、尺寸为2×2的最大池化层;最后一个模块由卷积核为1×1的卷积层、批量归一化层、缩放层和线性激活层组成;在最后一个模块的输出结果之上进行逻辑斯谛激活和多项逻辑斯谛激活实现目标框和类别概率的预测,使用公式如下:
上式中,x为输入值,y为逻辑斯谛激活值,xk为第k个类别对应的输入值,P为类别概率,K为总的类别个数。
4.根据权利要求1所述的基于仿复眼感知的目标识别方法,其特征在于:所述步骤(3)中使用预设的目标概率阈值和交叠率阈值进行非极大值抑制,选取预测框对其长宽进行缩放作为图像感兴趣区域。
5.根据权利要求1所述的基于仿复眼感知的目标识别方法,其特征在于:所述步骤(4)将感兴趣区域从RGB颜色空间转换到基于生理特征的Lab颜色空间。
6.根据权利要求1所述的基于仿复眼感知的目标识别方法,其特征在于:所述步骤(5)使用k-均值聚类生成超像素,初始化参数为聚类中心的数量z,使用固定的网格空间对图像进行划分,在各个网格空间内随机采样聚类中心,网格间隔计算公式如下:
上式中,S为网格间隔,z为聚类中心初始化个数,M为图像像素总数。
7.根据权利要求1所述的基于仿复眼感知的目标识别方法,其特征在于:所述步骤(6)求解相反的问题来实现目标识别,使用背景检测方法检测感兴趣区域内属于背景的感知原子区域,计算任意区域p的边界连接性来表示该区域为背景的显著性值,计算公式如下:
上式中,BndCon(p)表示超像素p的边界连接性,S(p,pi)表示超像素之间的距离,N为超像素的总个数,δ(pi∈Bnd)表示如果超像素属于边界区域则其值为1,否则为0;Area(p)表示超像素p的区域跨度,Lenbnd(p)表示超像素p边缘与边界的连通性。
8.根据权利要求1所述的基于仿复眼感知的目标识别方法,其特征在于:所述步骤(7)对背景检测的显著性结果进行优化,目标损失函数设计为对目标物体区域赋值为1而对背景区域赋值为0,损失函数如下:
上式中,s为优化后的显著性值,ωbg为背景显著性权重,ωfg为目标物体显著性权重,ωij为任意两超像素显著性差异的权重,ωij在平面区域很小而在边界区域很大,dapp为两区域平均颜色的欧拉距离,σclr的取值范围为5~15,μ为常量对杂乱的图像区域进行规则化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810033739.0A CN108345835B (zh) | 2018-01-15 | 2018-01-15 | 一种基于仿复眼感知的目标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810033739.0A CN108345835B (zh) | 2018-01-15 | 2018-01-15 | 一种基于仿复眼感知的目标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108345835A true CN108345835A (zh) | 2018-07-31 |
CN108345835B CN108345835B (zh) | 2022-07-12 |
Family
ID=62961443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810033739.0A Active CN108345835B (zh) | 2018-01-15 | 2018-01-15 | 一种基于仿复眼感知的目标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108345835B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584301A (zh) * | 2018-11-28 | 2019-04-05 | 常州大学 | 一种非均一颜色果实区域的获取方法 |
CN111192362A (zh) * | 2019-12-17 | 2020-05-22 | 武汉理工大学 | 一种动态三维地理场景实时采集的虚拟复眼系统及其工作方法 |
CN114821576A (zh) * | 2022-06-30 | 2022-07-29 | 之江实验室 | 一种基于视觉嗅觉协同感知器件的目标识别方法和装置 |
CN115861462A (zh) * | 2022-10-17 | 2023-03-28 | 北京百度网讯科技有限公司 | 图像生成模型的训练方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103996198A (zh) * | 2014-06-04 | 2014-08-20 | 天津工业大学 | 复杂自然环境下感兴趣区域的检测方法 |
CN105760886A (zh) * | 2016-02-23 | 2016-07-13 | 北京联合大学 | 一种基于目标识别与显著性检测的图像场景多对象分割方法 |
CN107256547A (zh) * | 2017-05-26 | 2017-10-17 | 浙江工业大学 | 一种基于显著性检测的表面裂纹识别方法 |
CN107578413A (zh) * | 2017-10-11 | 2018-01-12 | 吉林大学 | 视网膜图像分层的方法、装置、设备及可读存储介质 |
-
2018
- 2018-01-15 CN CN201810033739.0A patent/CN108345835B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103996198A (zh) * | 2014-06-04 | 2014-08-20 | 天津工业大学 | 复杂自然环境下感兴趣区域的检测方法 |
CN105760886A (zh) * | 2016-02-23 | 2016-07-13 | 北京联合大学 | 一种基于目标识别与显著性检测的图像场景多对象分割方法 |
CN107256547A (zh) * | 2017-05-26 | 2017-10-17 | 浙江工业大学 | 一种基于显著性检测的表面裂纹识别方法 |
CN107578413A (zh) * | 2017-10-11 | 2018-01-12 | 吉林大学 | 视网膜图像分层的方法、装置、设备及可读存储介质 |
Non-Patent Citations (2)
Title |
---|
安超 等: "一种改进的基于SLIC的自适应GrabCut算法", 《自动化仪表》 * |
王刚 等: "一种多尺度超像素显著性检测算法", 《计算机工程》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584301A (zh) * | 2018-11-28 | 2019-04-05 | 常州大学 | 一种非均一颜色果实区域的获取方法 |
CN111192362A (zh) * | 2019-12-17 | 2020-05-22 | 武汉理工大学 | 一种动态三维地理场景实时采集的虚拟复眼系统及其工作方法 |
CN111192362B (zh) * | 2019-12-17 | 2023-04-11 | 武汉理工大学 | 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法 |
CN114821576A (zh) * | 2022-06-30 | 2022-07-29 | 之江实验室 | 一种基于视觉嗅觉协同感知器件的目标识别方法和装置 |
CN115861462A (zh) * | 2022-10-17 | 2023-03-28 | 北京百度网讯科技有限公司 | 图像生成模型的训练方法、装置、电子设备及存储介质 |
CN115861462B (zh) * | 2022-10-17 | 2023-11-03 | 北京百度网讯科技有限公司 | 图像生成模型的训练方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108345835B (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108694386B (zh) | 一种基于并联卷积神经网络的车道线检测方法 | |
CN107909081B (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
CN108345835A (zh) | 一种基于仿复眼感知的目标识别方法 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
WO2019080203A1 (zh) | 一种机器人的手势识别方法、系统及机器人 | |
CN104166861A (zh) | 一种行人检测方法 | |
CN113324864B (zh) | 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法 | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN104517095B (zh) | 一种基于深度图像的人头分割方法 | |
CN107248174A (zh) | 一种基于tld算法的目标跟踪方法 | |
JP2014041476A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN101383005B (zh) | 一种利用辅助规则纹理的乘客目标图像和背景分离方法 | |
CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN105184771A (zh) | 一种自适应运动目标检测系统及检测方法 | |
CN103489012A (zh) | 一种基于支持向量机的人群密集度检测方法及系统 | |
Saif et al. | Real time vision based object detection from UAV aerial images: a conceptual framework | |
CN114067273A (zh) | 一种夜间机场航站楼热成像显著人体分割检测方法 | |
CN104008374B (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
Ju et al. | A novel fully convolutional network based on marker-controlled watershed segmentation algorithm for industrial soot robot target segmentation | |
CN102156879B (zh) | 基于加权陆地运动距离的人体目标匹配方法 | |
CN106446832B (zh) | 一种基于视频的实时检测行人的方法 | |
CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |