CN110222661B - 一种用于运动目标识别及跟踪的特征提取方法 - Google Patents
一种用于运动目标识别及跟踪的特征提取方法 Download PDFInfo
- Publication number
- CN110222661B CN110222661B CN201910507225.9A CN201910507225A CN110222661B CN 110222661 B CN110222661 B CN 110222661B CN 201910507225 A CN201910507225 A CN 201910507225A CN 110222661 B CN110222661 B CN 110222661B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- gradient
- scale
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
本发明提出一种用于运动目标识别及跟踪的特征提取方法,包括以下步骤:图像输入并对输入的图像进行预处理、采用高斯核卷积函数来生成尺度空间金字塔、采用Hessian矩阵来检测特征点并对其粗定位、精确定位、提取图像几何表面的主方向和主曲率、根据主曲率计算特征点出的梯度和方向以及利用类似于HOG的方法对所得到的梯度幅值和方向信息进行统计和和标签;本发明通过利用高斯卷积函数构建尺度空间,可以提高所提取的特征点具有的尺度不变特性,能够准确获得精确定位的特征点,以及能够保证所得到的特征点的梯度幅值和方向信息不仅能够对光照具有很好的鲁棒性,且对于光照、旋转、尺度、视角和非刚性形变等变化具有很好的鲁棒性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种用于运动目标识别及跟踪的特征提取方法。
背景技术
人工智能(AI)是当今世界最炙手可热的一个研究领域,而计算机视觉作为人工智能技术中的一个重要研究热点,对推动人工智能的发展和进步起着至关重要的作用,目前,计算机视觉已经广泛应用于目标识别及跟踪、场景理解、医学图像分析以及产品质量检测等领域;
在对运动目标进行识别和跟踪事前,首先要对目标进行特征提取并将提取的特征作为匹配模板以完成目标的识别和跟踪,在真实的环境中,运动目标在自然光照明下会从明亮处进入阴影处,导致图像的成像与在明亮处的成像结果产生很大的差别,严重影响了图像的采集质量最后导致运动目标的错误识别和跟踪丢失,在多重成像条件同时发生时,传统的运动目标识别及跟踪的特征提取方法只对光照、旋转、尺度和非刚性形变中的一种或者两种具有很好的鲁棒性,但是在这四种外界情况同时发生变化时,会严重影响运动目标的成像质量和识别正确率,尤其是在非刚性形变的情况下,如运动目标为人时,人在运动的情况下常常会发生起、蹲、跑、跳或者弯腰等情况,这些情况都会导致在识别时与特征匹配模板相差较大而产生误匹配,此外在运动的过程中,视频采集装置由于拍摄角度影响,可能采集到的目标是在不同的视角下成像的结果,给目标的自动识别和跟踪都带来了很大的影响,严重制约着运动目标识别和跟踪在实际应用中的效果,因此,本发明提出一种用于运动目标识别及跟踪的特征提取方法,以解决现有技术中的不足之处。
发明内容
针对上述问题,本发明通过利用高斯卷积函数构建尺度空间,可以提高所提取的特征点具有的尺度不变特性,通过利用Hessian矩阵的行列式和非极大值抑制确定特征点的粗略位置和信息,能够准确获得精确定位的特征点,通过将微分几何中的图像几何表面主曲率结构用于计算特征点的梯度幅值和方向信息,能够保证所得到的特征点的梯度幅值和方向信息不仅能够对光照具有很好的鲁棒性,且对于光照、旋转、尺度、视角和非刚性形变等变化具有很好的鲁棒性。
本发明提出一种用于运动目标识别及跟踪的特征提取方法,包括以下步骤:
步骤一:图像输入并对输入的图像进行预处理,首先将需要预处理的图像转换为灰度图像序列,然后利用直方图均衡化对转换后的灰度图像进行低照度图像增强,并对增强后的图像进行基于小波阈值的图像降噪;
步骤二:构建尺度空间,采用高斯核卷积函数来生成尺度空间金字塔,将一个灰度图像I(x,y)与不同尺度缩放因子的高斯二阶导数进行卷积运算,得到一系列的不同尺寸的高斯相应图像;
步骤三:特征点粗定位,采用Hessian矩阵来检测特征点并对其粗定位,灰阶图像I(x,y)的Hessian矩阵即灰阶图像I(x,y)在各个像素点的二阶空间导数矩阵,在灰度图像I(x,y)上某一点的Hessian矩阵如公式(1)所示:
其中,Gxx,Gxy,Gyy是三个分别沿着x,y,xy方向高斯二阶导数滤波器;
步骤四:特征点精确定位,采用三维线性插值的方法对粗定位的特征点进行精确定位,并移除一些低于一定阈值的特征点,从而最终达到亚像素级别的精确定位的特征点;
步骤五:局部曲面上特征点处的主曲率,采用计算Hessian矩阵的特征值和特征向量来提取图像几何表面的主方向和主曲率;
步骤六:根据主曲率计算特征点出的梯度和方向,将主曲率中的最小和最大主曲率分别代替传统梯度方向直方图中的梯度分量来计算梯度幅值和方向;
步骤七:利用类似于HOG的方法对所得到的梯度幅值和方向信息进行统计和和标签,首先对所有精确定位的特征点进行计算主曲率而得到对应的梯度幅值和方向,然后将所得到的梯度方向在0-180°范围内平均分成8个区域,并对每一个区域对进行标签,再对每一个区域内的幅值和方向按照胞元的方式进行统计,其中胞元的尺寸大小设置为(8,8),再把每四个胞元连接生产一个块,最后将目标图像平均分成一个4×4的区域,并统计每一个区域内的块,最终形成一个8bin尺度空间的特征直方图。
2.根据权利要求1所述的一种用于运动目标识别及跟踪的特征提取方法,其特征在于:所述步骤二中带有高斯标准偏差的高斯算子如公式(2)所示,所述灰度图像I(x,y)于高斯算子进行卷积得到不同尺寸的图像L(x,y,σ)的计算公式如公式(3)所示:
L(x,y,σ)=G(x,y,σ)*I(x,y) (3)
其中,G(x,y,σ)为带有高斯标准偏差的高斯算子。
进一步改进在于:所述步骤二中不同尺寸的图像构成关于原图像的不同尺度空间,所述步骤二中构建的尺度空间大小为4×4。
进一步改进在于:所述步骤三中通过计算所有像素点的近似Hessian矩阵的行列式,并利用非极大值抑制的方法将每一个像素点与周围三维空间范围内的26个点进行相比较,从而得到确定的极值点,所得到的极值点即为粗定位的特征点。
进一步改进在于:所述步骤五中主曲率是曲面上给定点处的法向曲率的最大值和最小值。
进一步改进在于:所述步骤五中图像中特征点的主方向通过计算图像中特征点的特征值来获得,在某一给定点处的Hessian矩阵的特征值是通过解特征方程(4)得到:
|H-λI|=0 (4)
得到的特征值λ如公式(5)和(6)所示:
其中,λ1和λ2为主曲率,其中λ1是在给定点处的最小曲率,λ2对应给定点处的最大曲率。
进一步改进在于:所述步骤六中梯度幅值和方向计算公式如公式(7)和公式(8)所示:
其中,Igradient为梯度幅值,θ为梯度方向。
进一步改进在于:所述步骤七中形成的8bin尺度空间的特征直方图用于在运动目标识别和跟踪中的直方图相似性度量,以此确定是否为需要监测的运动目标,其中所提取模板的特征直方图与待识别和跟踪的运动物体的特征直方图均采用基于卡方距离的最邻近分类器进行直方图度量和匹配,基于卡方距离的最邻近分类器定义公式如公式(9)所示:
其中,D(S,M)表示直方图度量和匹配结果。
本发明的有益效果为:通过利用高斯卷积函数构建尺度空间,可以提高所提取的特征点具有的尺度不变特性,通过利用Hessian矩阵的行列式和非极大值抑制确定特征点的粗略位置和信息,能够准确获得精确定位的特征点,通过将微分几何中的图像几何表面主曲率结构用于计算特征点的梯度幅值和方向信息,能够保证所得到的特征点的梯度幅值和方向信息不仅能够对光照具有很好的鲁棒性,而且具有旋转不变的特性,通过利用类似于HOG的方法对所得到的梯度幅值和方向信息进行统计,可以提高运动目标特征信息的鲁棒性和提取效率,本发明方法能够精准、快速的对运动目标进行特征提取,且对于光照、旋转、尺度、视角和非刚性形变等变化具有很好的鲁棒性。
附图说明
图1为本发明方法流程示意图。
具体实施方式
为了加深对本发明的理解,下面将结合实施例对本发明做进一步详述,本实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
根据图1所示,本实施例提出一种用于运动目标识别及跟踪的特征提取方法,包括以下步骤:
步骤一:图像输入并对输入的图像进行预处理,首先将需要预处理的图像转换为灰度图像序列,然后利用直方图均衡化对转换后的灰度图像进行低照度图像增强,并对增强后的图像进行基于小波阈值的图像降噪;
步骤二:构建尺度空间,采用高斯核卷积函数来生成尺度空间金字塔,将一个灰度图像I(x,y)与不同尺度缩放因子的高斯二阶导数进行卷积运算,得到一系列的不同尺寸的高斯相应图像,带有高斯标准偏差的高斯算子如公式(2)所示,所述灰度图像I(x,y)于高斯算子进行卷积得到不同尺寸的图像L(x,y,σ)的计算公式如公式(3)所示:
L(x,y,σ)=G(x,y,σ)*I(x,y) (3)
不同尺寸的图像构成关于原图像的不同尺度空间,本实施例构建的尺度空间大小为4×4;
步骤三:特征点粗定位,采用Hessian矩阵来检测特征点并对其粗定位,灰阶图像I(x,y)的Hessian矩阵即灰阶图像I(x,y)在各个像素点的二阶空间导数矩阵,在灰度图像I(x,y)上某一点的Hessian矩阵如公式(1)所示:
其中,Gxx,Gxy,Gyy是三个分别沿着x,y,xy方向高斯二阶导数滤波器,这三个滤波器的生成步骤如表1所示:
表1 滤波器的生成步骤
f1,f2,f3,f4为四个基本的一维高斯导数滤波器,其定义分别如下:
通过将hessian矩阵的行列式进行近似计算,可以简化为:
det(Happrox)=DxxDyy-(ωDxy)2
其中,ω为归一化比值,主要是为了补偿原始值和近似值之间的误差,在本实施例中将其值设为0.9,通过计算所有像素点的近似Hessian矩阵的行列式,并利用非极大值抑制的方法将每一个像素点与周围三维空间范围内的26个点进行相比较,从而得到确定的极值点,所得到的极值点即为粗定位的特征点;
步骤四:特征点精确定位,采用三维线性插值的方法对粗定位的特征点进行精确定位,并移除一些低于一定阈值的特征点,从而最终达到亚像素级别的精确定位的特征点;
步骤五:局部曲面上特征点处的主曲率,采用计算Hessian矩阵的特征值和特征向量来提取图像几何表面的主方向和主曲率,主曲率是曲面上给定点处的法向曲率的最大值和最小值,图像中特征点的主方向通过计算图像中特征点的特征值来获得,在某一给定点处的Hessian矩阵的特征值是通过解特征方程(4)得到:
|H-λI|=0 (4)
得到的特征值λ如公式(5)和(6)所示:
其中,λ1和λ2为主曲率,其中λ1是在给定点处的最小曲率,λ2对应给定点处的最大曲率;
步骤六:根据主曲率计算特征点出的梯度和方向,将主曲率中的最小和最大主曲率分别代替传统梯度方向直方图中的梯度分量来计算梯度幅值和方向,梯度幅值和方向计算公式如公式(7)和公式(8)所示:
其中,Igradient为梯度幅值,θ为梯度方向;
步骤七:利用类似于HOG的方法对所得到的梯度幅值和方向信息进行统计和和标签,首先对所有精确定位的特征点进行计算主曲率而得到对应的梯度幅值和方向,然后将所得到的梯度方向在0-180°范围内平均分成8个区域,并对每一个区域对进行标签,再对每一个区域内的幅值和方向按照胞元的方式进行统计,其中胞元的尺寸大小设置为(8,8),再把每四个胞元连接生产一个块,最后将目标图像平均分成一个4×4的区域,并统计每一个区域内的块,最终形成一个8bin尺度空间的特征直方图,形成的8bin尺度空间的特征直方图用于在运动目标识别和跟踪中的直方图相似性度量,以此确定是否为需要监测的运动目标,其中所提取模板的特征直方图与待识别和跟踪的运动物体的特征直方图均采用基于卡方距离的最邻近分类器进行直方图度量和匹配,基于卡方距离的最邻近分类器定义公式如公式(9)所示:
其中,D(S,M)表示直方图度量和匹配结果.
通过利用高斯卷积函数构建尺度空间,可以提高所提取的特征点具有的尺度不变特性,通过利用Hessian矩阵的行列式和非极大值抑制确定特征点的粗略位置和信息,能够准确获得精确定位的特征点,通过将微分几何中的图像几何表面主曲率结构用于计算特征点的梯度幅值和方向信息,能够保证所得到的特征点的梯度幅值和方向信息不仅能够对光照具有很好的鲁棒性,而且具有旋转不变的特性,通过利用类似于HOG的方法对所得到的梯度幅值和方向信息进行统计,可以提高运动目标特征信息的鲁棒性和提取效率,本发明方法能够精准、快速的对运动目标进行特征提取,且对于光照、旋转、尺度、视角和非刚性形变等变化具有很好的鲁棒性。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种用于运动目标识别及跟踪的特征提取方法,其特征在于,包括以下步骤:
步骤一:图像输入并对输入的图像进行预处理,首先将需要预处理的图像转换为灰度图像序列,然后利用直方图均衡化对转换后的灰度图像进行低照度图像增强,并对增强后的图像进行基于小波阈值的图像降噪;
步骤二:构建尺度空间,采用高斯核卷积函数来生成尺度空间金字塔,将一个灰度图像I(x,y)与不同尺度缩放因子的高斯二阶导数进行卷积运算,得到一系列的不同尺寸的高斯相应图像;
步骤三:特征点粗定位,采用Hessian矩阵来检测特征点并对其粗定位,灰阶图像I(x,y)的Hessian矩阵即灰阶图像I(x,y)在各个像素点的二阶空间导数矩阵,在灰度图像I(x,y)上某一点的Hessian矩阵如公式(1)所示:
其中,Gxx,Gxy,Gyy是三个分别沿着x,y,xy方向高斯二阶导数滤波器;
所述步骤三中通过计算所有像素点的近似Hessian矩阵的行列式,并利用非极大值抑制的方法将每一个像素点与周围三维空间范围内的26个点进行相比较,从而得到确定的极值点,所得到的极值点即为粗定位的特征点;
步骤四:特征点精确定位,采用三维线性插值的方法对粗定位的特征点进行精确定位,并移除一些低于一定阈值的特征点,从而最终达到亚像素级别的精确定位的特征点;
步骤五:局部曲面上特征点处的主曲率,采用计算Hessian矩阵的特征值和特征向量来提取图像几何表面的主方向和主曲率;
步骤六:根据主曲率计算特征点出的梯度和方向,将主曲率中的最小和最大主曲率分别代替传统梯度方向直方图中的梯度分量来计算梯度幅值和方向;
步骤七:利用类似于HOG的方法对所得到的梯度幅值和方向信息进行统计和和标签,首先对所有精确定位的特征点进行计算主曲率而得到对应的梯度幅值和方向,然后将所得到的梯度方向在0-180°范围内平均分成8个区域,并对每一个区域对进行标签,再对每一个区域内的幅值和方向按照胞元的方式进行统计,其中胞元的尺寸大小设置为(8,8),再把每四个胞元连接生产一个块,最后将目标图像平均分成一个4×4的区域,并统计每一个区域内的块,最终形成一个8bin尺度空间的特征直方图;
所述步骤七中形成的8bin尺度空间的特征直方图用于在运动目标识别和跟踪中的直方图相似性度量,以此确定是否为需要监测的运动目标,其中所提取模板的特征直方图与待识别和跟踪的运动物体的特征直方图均采用基于卡方距离的最邻近分类器进行直方图度量和匹配,基于卡方距离的最邻近分类器定义公式如公式(9)所示:
其中,D(S,M)表示直方图度量和匹配结果。
3.根据权利要求2所述的一种用于运动目标识别及跟踪的特征提取方法,其特征在于:所述步骤二中不同尺寸的图像构成关于原图像的不同尺度空间,所述步骤二中构建的尺度空间大小为4×4。
4.根据权利要求1所述的一种用于运动目标识别及跟踪的特征提取方法,其特征在于:所述步骤五中主曲率是曲面上给定点处的法向曲率的最大值和最小值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507225.9A CN110222661B (zh) | 2019-06-12 | 2019-06-12 | 一种用于运动目标识别及跟踪的特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507225.9A CN110222661B (zh) | 2019-06-12 | 2019-06-12 | 一种用于运动目标识别及跟踪的特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110222661A CN110222661A (zh) | 2019-09-10 |
CN110222661B true CN110222661B (zh) | 2023-04-07 |
Family
ID=67816743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910507225.9A Active CN110222661B (zh) | 2019-06-12 | 2019-06-12 | 一种用于运动目标识别及跟踪的特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110222661B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111160477B (zh) * | 2019-12-31 | 2024-03-19 | 哈尔滨智兀科技有限公司 | 一种基于特征点检测的图像模板匹配方法 |
CN111695633B (zh) * | 2020-06-12 | 2022-04-05 | 桂林电子科技大学 | 基于rpf-cam的低照度目标检测方法 |
CN111950566A (zh) * | 2020-08-04 | 2020-11-17 | 国网安徽省电力有限公司电力科学研究院 | 一种旋转不变的hog红外图像电力设备识别方法 |
CN114511504B (zh) * | 2022-01-04 | 2023-11-10 | 电子科技大学 | 一种视频sar动目标阴影检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105279522A (zh) * | 2015-09-30 | 2016-01-27 | 华南理工大学 | 一种基于sift的场景物体实时配准方法 |
CN106651942A (zh) * | 2016-09-29 | 2017-05-10 | 苏州中科广视文化科技有限公司 | 基于特征点的三维旋转运动检测与旋转轴定位方法 |
CN108681737A (zh) * | 2018-05-25 | 2018-10-19 | 长安大学 | 一种复杂光照下图像特征提取方法 |
-
2019
- 2019-06-12 CN CN201910507225.9A patent/CN110222661B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105279522A (zh) * | 2015-09-30 | 2016-01-27 | 华南理工大学 | 一种基于sift的场景物体实时配准方法 |
CN106651942A (zh) * | 2016-09-29 | 2017-05-10 | 苏州中科广视文化科技有限公司 | 基于特征点的三维旋转运动检测与旋转轴定位方法 |
CN108681737A (zh) * | 2018-05-25 | 2018-10-19 | 长安大学 | 一种复杂光照下图像特征提取方法 |
Non-Patent Citations (1)
Title |
---|
A Multiresolution Gray-Scale and Rotation Invariant Descriptor for Texture Classification;Qiqi Kou等;《IEEE Access》;20180530;第30691~30701页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110222661A (zh) | 2019-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
CN110097093B (zh) | 一种异源图像精确匹配方法 | |
CN105956582B (zh) | 一种基于三维数据的人脸识别系统 | |
CN105740899B (zh) | 一种机器视觉图像特征点检测与匹配复合的优化方法 | |
JP6216508B2 (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN106981077B (zh) | 基于dce和lss的红外图像和可见光图像配准方法 | |
CN109919960B (zh) | 一种基于多尺度Gabor滤波器的图像连续边缘检测方法 | |
CN106485651B (zh) | 快速鲁棒性尺度不变的图像匹配方法 | |
CN101639947A (zh) | 基于图像的植物三维形态测量与重建方法及系统 | |
CN104200495A (zh) | 一种视频监控中的多目标跟踪方法 | |
CN103065135A (zh) | 基于数字图像处理的车牌号码匹配算法 | |
CN110135438B (zh) | 一种基于梯度幅值预运算的改进surf算法 | |
CN108257155B (zh) | 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法 | |
CN104834931A (zh) | 一种基于小波变换的改进的尺度不变特征匹配算法 | |
CN107886539B (zh) | 一种工业场景下高精度齿轮视觉检测方法 | |
CN110288571B (zh) | 一种基于图像处理的高铁接触网绝缘子异常检测方法 | |
CN108550165A (zh) | 一种基于局部不变特征的图像匹配方法 | |
CN113313701B (zh) | 基于形状先验的电动汽车充电口两阶段视觉检测定位方法 | |
CN108182705A (zh) | 一种基于机器视觉的三维坐标定位方法 | |
CN110348307B (zh) | 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 | |
CN105139013A (zh) | 一种融合形状特征和兴趣点的物体识别方法 | |
CN106934395B (zh) | 一种采用surf特征和颜色特征相融合的刚体目标跟踪方法 | |
Hegenbart et al. | A scale-adaptive extension to methods based on LBP using scale-normalized Laplacian of Gaussian extrema in scale-space | |
CN106355576A (zh) | 基于mrf图像分割算法的sar图像配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |