CN111626122B - 合成孔径雷达图像识别方法、装置、电子设备和存储介质 - Google Patents
合成孔径雷达图像识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111626122B CN111626122B CN202010331456.1A CN202010331456A CN111626122B CN 111626122 B CN111626122 B CN 111626122B CN 202010331456 A CN202010331456 A CN 202010331456A CN 111626122 B CN111626122 B CN 111626122B
- Authority
- CN
- China
- Prior art keywords
- sar image
- preset
- marked
- feature vector
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 166
- 238000013145 classification model Methods 0.000 claims abstract description 78
- 238000000605 extraction Methods 0.000 claims abstract description 73
- 238000001914 filtration Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 12
- 239000000654 additive Substances 0.000 claims description 8
- 230000000996 additive effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 231100000290 environmental risk assessment Toxicity 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种合成孔径雷达图像识别方法、装置、电子设备和存储介质,所述方法包括:获取待识别的SAR图像;对所述待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取;获取块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量;利用预设特征提取模型对所述待识别的SAR图像的特征向量进行特征选择;对选择的特征向量进行滤波;基于预设分类模型获取滤波后的特征向量对应的分类结果。该方法能够解决SAR图像识别过程中的过拟合问题,以及计算压力过大的问题。
Description
技术领域
本发明涉及图像识别技术领域,特别涉及一种合成孔径雷达图像识别方法、装置、电子设备和存储介质。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种被用于成像的雷达,可以获取得到不同分辨率的目标二维图像,这样的图像可以称为SAR图像。
它打破了天气、光线和其他条件的限制并且能够获得大量的信息。通过合成孔径雷达获取的信息已经被应用于城市规划、覆被分类、灾害预防、环境风险评估、城市检测与提取等许多方面。
SAR图像可以包括草坪、城市、河流、跑道等,每种类型对应的图像由一类像素点组成,如何识别SAR图像中的每个像素点的分类对SAR图像的应用尤为重要。
发明内容
有鉴于此,本申请提供一种合成孔径雷达图像识别方法、装置、电子设备和存储介质,能够解决图像识别过程中的过拟合问题,以及计算压力过大的问题。
为解决上述技术问题,本申请的技术方案是这样实现的:
在一个实施例中,提供了一种合成孔径雷达SAR图像识别方法,所述方法包括:
获取待识别的SAR图像;
对所述待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取;
获取块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量;
利用预设特征提取模型对所述待识别的SAR图像的特征向量进行特征选择;
对选择的特征向量进行滤波;
基于预设分类模型获取滤波后的特征向量对应的分类结果。
其中,所述获取块的特征向量,包括:
使用多种特征提取方法分别对块进行特征提取,并将提取出的特征通过矢量叠加的方式拼接获取块的特征向量。
其中,所述对选择的特征向量进行滤波,包括:
基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
其中,所述预设分类模型基于以下步骤获得:
获取标记的SAR图像;
对所述标记的SAR图像进行边界扩展,并对扩展后的所述标记的SAR图像进行块提取;
获取块的特征向量,并使用所述块的特征向量获取所述标记的SAR图像的特征向量;
利用预设特征提取模型对所述标记的SAR图像的特征向量进行特征选择;
对选择的特征向量进行滤波;
基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本;其中,所述样本的特征向量为对应所述SAR图像中的所述像素点滤波后的特征向量;
针对标记的类分别选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
其中,所述利用预设特征提取模型对所述标记的SAR图像的特征向量进行特征选择;对选择的特征向量进行滤波之后,所述基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本之前所述方法进一步包括:
确定标记分类为一类的像素点的个数是否大于M,如果是,针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型;否则,基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本。
其中,所述预设分类模型基于以下步骤获得:
若所述待识别的SAR图像被标记,基于样本点相似原则使用滤波后的特征向量为已标记的像素点获取N个相似的像素点作为样本;
针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
其中,所述预设特征提取模型为预设SAE网络模型,其中,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接。
其中,所述样本点相似原则基于测度学习实现,其中,在测度学习时以像素点的特征向量的欧式距离作为测度标准。
在另一个实施例中,提供了本申请实施例还提供一种合成孔径雷达SAR图像识别装置。所述装置包括:第一获取单元、提取单元、第二获取单元、选择单元、滤波单元和分类单元;
所述第一获取单元,用于获取待识别的SAR图像;
所述提取单元,用于对所述第一获取单元获取的待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取;
所述第二获取单元,用于获取所述提取单元提取的块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量;
所述选择单元,用于利用预设特征提取模型对所述第二获取单元获取的待识别的SAR图像的特征向量进行特征选择;
所述滤波单元,用于对所述选择单元选择的特征向量进行滤波;
所述分类单元,用于基于预设分类模型获取所述滤波单元滤波后的特征向量对应的分类结果。
其中,
所述第二获取单元,具体用于使用多种特征提取方法分别对块进行特征提取,并将提取出的特征通过矢量叠加的方式拼接获取块的特征向量。
其中,
所述滤波单元,具体用于基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
其中,所述装置进一步包括:训练单元;
所述第一获取单元,进一步用于获取标记的SAR图像;
所述提取单元,进一步用于对所述标记的SAR图像进行边界扩展,并对扩展后的所述标记的SAR图像进行块提取;
所述第二获取单元,进一步用于获取块的特征向量,并使用所述块的特征向量获取所述标记的SAR图像的特征向量;
所述选择单元,进一步用于利用预设特征提取模型对所述标记的SAR图像的特征向量进行特征选择;
所述滤波单元,进一步用于对选择的特征向量进行滤波;
所述训练单元,用于基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本;针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
其中,所述装置进一步包括:确定单元;
所述确定单元,用于确定标记分类为一类的像素点的个数是否大于M,如果是,触发所述训练单元针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型;否则,触发所述训练单元基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本。
其中,所述装置进一步包括:训练单元;
所述训练单元,用于若所述待识别的SAR图像被标记,基于样本点相似原则使用滤波后的特征向量为已标记的像素点获取N个相似的像素点作为样本;针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
其中,
所述预设特征提取模型为预设SAE网络模型,其中,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接。
其中,
所述样本点相似原则基于测度学习实现,其中,在测度学习时以像素点的特征向量的欧式距离作为测度标准。
在另一个实施例中,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述合成孔径雷达图像识别方法的步骤。
在另一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述合成孔径雷达图像识别方法的步骤。
由上面的技术方案可见,上述实施例识别SAR图像过程中,对SAR图像进行边界扩展,并进行块的提取,通过块的特征向量来获取整个SAR图像的特征向量;并基于预设的特征提取模型进行特征选择,以及特征向量滤波;最终基于预设分类模型获取滤波后的特征向量对应的分类结果,也即SAR图像中每个像素点的分类。该方案能够解决图像识别过程中的过拟合问题,以及计算压力过大的问题。
通过利用标记的SAR图像建立预设分类模型,在建立预设分类模型过程中,针对标记样本较少以及线性不可分的问题,引入测度学习;在预设分类模型训练,以及待识别的SAR图像的识别过程中,通过改进的SAE网络模型对SAR图像进行特征向量的特征选择,解决特征过于详细,带来的分类过拟合现象,降低计算压力;通过滤波器将SAR图像的乘性噪声变换成加性高斯白噪声,为后续引入测量学习建立预设分类模型,以及SAR图像识别奠定基础。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为使用标记的SAR图像训练建立预设分类模型流程示意图;
图2为本申请实施例中SAE网络结构示意图;
图3为本申请实施例中使用待识别的SAR图像训练获得预设分类模型流程示意图;
图4为本申请实施例中SAR图像识别流程示意图;
图5为本申请实施例中应用于上述技术的装置结构示意图;
图6为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请实施例中提供一种合成孔径雷达图像识别方法,识别SAR图像的预设分类模型可以有两种建立途径,具体如下:
一种是使用标记的SAR图像训练并建立预设分类模型:
这里标记的SAR图像可以是通过人工标记的SAR图像,也可以是通过某种分类模型标记的SAR图像,这里是针对SAR图像的像素点进行标记的,将像素点作为样本训练分类模型。
参见图1,图1为使用标记的SAR图像训练建立预设分类模型流程示意图。具体步骤为:
步骤101,获取标记的SAR图像。
步骤102,对所述标记的SAR图像进行边界扩展,并对扩展后的所述标记的SAR图像进行块提取。
本申请实施例中可以对所述标记的SAR图像通过围绕边界进行镜像反射来进行边界扩展,扩展大小可以为HalfWide_G。
对扩展后的标记的SAR图像进行块提取I={I1,I2,...,IK};
其中,K表示图像中像素点的位置,IK大小为h1^2,h1=2*HalfWide_G,块提取步长为1,每个块表示中心像素点的信息,将块标记为I={I1,I2,...,IK}。
步骤103,获取块的特征向量,并使用所述块的特征向量获取所述标记的SAR图像的特征向量。
所述获取块的特征向量,包括:
使用多种特征提取方法分别对块进行特征提取,并将提取出的特征通过矢量叠加的方式拼接获取块的特征向量。
使用的特征提取方法可以为:GLCM、Gabor、强度比直方图方法等。
以GLCM和Gabor两种方式为例来具体说明特征提取:
定义Hgabor和HGLCM分别为经过特征提取后的gabor小波特征空间和GLCM灰度直方图特征空间;
对于一个像素点x,其对应的块Ik,可以得到两个特征向量hgabor(x)∈Hgabor和hGLCM(x)∈HGLCM;
gabor特征选取五尺度八方向的滤波器,对每个滤波器提取出来的矩阵分别计算均值和方差;
GLCM特征提取由所述灰度共生矩阵P(I,j|d,θ)计算以下五种参量;
均值、熵、对比度、方差、角二阶距。
将提取出的特征通过矢量叠加的方式拼接获取块的特征向量,即将两个特征向量hgabor(x)和hGLCM(x)被串联成新的单一向量如下;
hG(x)=[hgabor(x);hGLCM(x)]
按照上述方式,计算每一个块的空间结构特征,整图空间结构特征记为HG=[hG(1),hG(2),...,hG(x)],x表示SAR图像中的像素点位置,对整图特征进行[0,1]归一化。
到此为止获取了块的特征向量,以及整个图像的特征向量。
上述实现为获取SAR图像的特征向量的一种实例,并不限于上述实现方式。
步骤104,利用预设特征提取模型对所述标记的SAR图像的特征向量进行特征选择。
所述预设特征提取模型可以为预设栈式自编码器(SAE)网络模型,其中,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接。
本申请实施例中使用的SAE网络的结构如图2,图2为本申请实施例中SAE网络结构示意图。
栈式自编码神经网络作为由多层稀疏自编码器组成的神经网络,前一层自编码器的输出作为后一层的输入。栈式自编码神经网络参数是通过逐层贪婪训练获得的。
图2中以一个包含2个隐藏层,输出层为softmax的神经网络为例,其训练过程可以表示为:
第一步、用给定的训练数据训练第一个隐藏层结构的网络参数,并利用训练好的参数计算出第一个隐藏层的输出;
第二步、把第一步中的输出作为第二个隐藏层的输入,用同样的方法训练该隐藏层的网络参数,并计算隐藏层输出;
第三步、重复第一步和第二步,并通过反向传播算法调整所有层的参数以改善结果,完成SAE的T次迭代训练;
第四步、保存训练得到的连接每一层神经元的所有连接权重;
第五步、选择权重不低于预设值的连接,并删除剩余的连接;即过滤掉权值低于预设值的连接;
第六步、遍历从输出层到输入层的连接,得到最终所选连接的神经元权重矩阵;
第七步、根据所选连接的神经元位置,返回相关特征集F。
至此完成SAE网络模型的训练,将训练完成的预设SAE网络模型用于特征选择。
步骤105,对选择的特征向量进行滤波。
本步骤中对选择的特征向量进行滤波后,即获取整个SAR图像的滤波后的特征向量,也即获取SAR图像中每个像素点的滤波后的特征向量。
本申请实施例中可以基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
针对预设特征提取模型输出层选取合适的数据分布函数,由于森林及城市区域等属于不平滑地表,随着分辨率的提升,每个单元中的反射回波会减少,此时在不平滑的地物表面对应的回波数量增多,干扰因素随之增加。
对所接收到的不平坦地面SAR图像应用对数正态分布,有良好的统计特性,可以很好地描绘幅值情况。该分布具有较宽泛的动态范围,可以捕获的数据较为全面,对SAR图像的高值范围拟合效果很好。
使用对数正态分布的概率密度函数进行滤波后,将SAR图像的乘性噪声变换成加性高斯白噪声。
对数正态分布的概率密度函数如下:
其中,r为SAR图像中单个像素的特征值,μ为lnr的平均数,σ为lnr的标准差。
步骤106,基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本。
其中,所述样本的特征向量为对应所述SAR图像中的所述像素点滤波后的特征向量。
本申请实施例中将一个像素点作为一个样本,使用样本进行模型训练时,使用的是样本对应的特征向量,即像素点对应的特征向量;每个像素点的特征向量可以从SAR图像的滤波后的特征向量获取。
由于通常对SAR图像上的部分像素点进行标记,这样标记的像素点比较少,用来进行分类的样本点比较少,需要扩展样本点个数,即基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本。
具体实现时,所述样本点相似原则基于测度学习实现,其中,在测度学习时以像素点的特征向量的欧式距离作为测度标准。
这样针对已标记的像素点A选择N个像素点,将选择的N个像素点的标记设为与所述已标记的像素点的标记相同,为已标记的任一像素点选择N个像素点的具体实现为:
计算已标记的一个像素点与其它像素点的特征向量之间的欧式距离,计算公式如下:
其中,xi为一个像素点的特征向量,xj为另一个像素点的特征向量。
将计算出的欧式距离从小到大排列,选择前N个欧式距离对应的像素点作为所述已标记的像素点的N个相似的像素点。
在确定N个相似的像素点时,若其中包括了已标记的像素点,且该以标记的像素点B与像素点A被标记为不同类,则不将像素点B作为与像素点A相似的像素点。
通过上述方式对已标记的像素点的个数进行了扩展,即每个已标记的像素点对应的标记(分类)增加了N个像素点。
如共标记了两类像素点,第一类和第二类,以标记第一类的像素点的个数为A个,则该针对标记为第一类的像素点可以扩展到A×N+A,考虑到同类像素点扩展后的像素点之间的重复,以及不同类像素点扩展的像素点的误差,实际获得的标记为第一类的像素点的个数接近(A×N+A)个,这些像素点作为样本,大大增加了样本的个数。
在获取预设分类模型时,针对标记为一类的像素点的个数不大于M时,执行步骤106,如果针对标记为一类的像素点的个数大于M,则直接执行步骤107。
这里需要每个分类标记的像素点个数都需要大于M时,直接执行步骤107。
其中,M、N为整数。
步骤107,针对标记的类分别选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型。
其中,M,N为整数。
这里的分类模型可以为SVM等分类模型。
如可以每一类选择个数大于M的样本,如选择500个对初始分类模型进行训练,来获得预设分类模型。
这个预设分类模型在输入SAR图像的特征向量时,会输出每个像素点的对应的类,在具体实现时可以分类标签来标识类。
至此,完成预设分类模型的建立。
在建立预设分类模型过程中,通过边界扩展的方式,解决传统空间结构特征分析应用于SAR图像分类易产生区域一致性差,边界凌乱,类别之前特征相似不可分的问题。
通过改进的SAE网络模型进行特征提取,这样能够在确保分类准确率的基础上,提取特征样本维度与有标记样本数量无关。
引入滤波器,将SAR图像的乘性噪声变换成加性高斯白噪声,为后续引入测量学习建立预设分类模型奠定基础;
引入测度学习解决标记样本较少以及线性不可分的问题。
本申请实施中建立预设分类模型的方法在保证分类准确度的前提下,提高了建模效率,降低了计算压力。
一种是使用待识别的SAR图像初步进行人工标记,并训练建立预设分类模型。
如果选择待识别的SAR图像进行预设分类模型的训练,则需要对待识别图像进行像素点标记,也就是说对每一分类的像素点都有被标记到,这样才能建立分类覆盖全面的分类模型,只是针对每一分类的像素点进行了部分标记,需要识别出每一类的所有像素点。
参见图3,图3为本申请实施例中使用待识别的SAR图像训练获得预设分类模型流程示意图。具体步骤为:
步骤301,获取待识别的SAR图像。
步骤302,对所述待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取。
本申请实施例中可以对所述待识别的SAR图像通过围绕边界进行镜像反射来进行边界扩展,扩展大小可以为HalfWide_G。
对扩展后的待识别的SAR图像进行块提取I={I1,I2,...,IK};
其中,K表示图像中像素点的位置。IK大小为h1^2,h1=2*HalfWide_G,块提取步长为1,每个块表示中心像素点的信息,将块标记为I={I1,I2,...,IK}。
步骤303,获取块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量。
所述获取块的特征向量,包括:
使用多种特征提取方法分别对块进行特征提取,并将提取出的特征通过矢量叠加的方式拼接获取块的特征向量。
使用的特征提取方法可以为:GLCM、Gabor、强度比直方图方法等。
以GLCM和Gabor两种方式为例来具体说明特征提取:
定义Hgabor和HGLCM分别为经过特征提取后的gabor小波特征空间和GLCM灰度直方图特征空间;
对于一个像素点x,其对应的块Ik,可以得到两个特征向量hgabor(x)∈Hgabor和hGLCM(x)∈HGLCM;
gabor特征选取五尺度八方向的滤波器,对每个滤波器提取出来的矩阵分别计算均值和方差;
GLCM特征提取由所述灰度共生矩阵P(I,j|d,θ)计算以下五种参量;
均值、熵、对比度、方差、角二阶距。
将提取出的特征通过矢量叠加的方式拼接获取块的特征向量,即将两个特征向量hgabor(x)和hGLCM(x)被串联成新的单一向量如下;
hG(x)=[hgabor(x);hGLCM(x)]
按照上述方式,计算每一个块的空间结构特征,整图空间结构特征记为HG=[hG(1),hG(2),...,hG(x)],x表示SAR图像中的像素点位置,对整图特征进行[0,1]归一化。
到此为止获取了块的特征向量,以及整个SAR图像的特征向量。
上述获取整个SAR图像的特征向量的实现方式仅是一种举例,具体实现时不限于上述实现方式。
步骤304,利用预设特征提取模型对所述待识别的SAR图像的特征向量进行特征选择。
所述预设特征提取网络模型可以为预设SAE网络模型,其中,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接。
步骤305,对选择的特征向量进行滤波。
本申请实施例中可以基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
使用对数正态分布的概率密度函数进行滤波后,将SAR图像的乘性噪声变换成加性高斯白噪声。
对数正态分布的概率密度函数如下:
其中,r为SAR图像中单个像素的特征值,μ为lnr的平均数,σ为lnr的标准差。
306,基于样本点相似原则使用滤波后的特征向量为已标记的像素点获取N个相似的像素点作为样本。
具体实现时,所述样本点相似原则可以基于测度学习实现,其中,在测度学习时以像素点的特征向量的欧式距离作为测度标准。
这样针对已标记的像素点A选择N个像素点,将选择的N个像素点的标记设为与所述已标记的像素点的标记相同,为已标记的任一像素点选择N个像素点的具体实现为:
计算已标记的一个像素点与其它像素点的特征向量之间的欧式距离,计算公式如下:
其中,xi为一个像素点的特征向量,xj为另一个像素点的特征向量。
将计算出的欧式距离从小到大排列,选择前N个欧式距离对应的像素点作为所述已标记的像素点的N个相似的像素点。
在确定N个相似的像素点时,若其中包括了已标记的像素点,且该以标记的像素点B与像素点A被标记为不同类,则不将像素点B作为与像素点A相似的像素点。
通过上述方式对已标记的像素点的个数进行了扩展,即每个已标记的像素点对应的标记(分类)增加了N个像素点。
如标记第一类标签的像素点为A个,则该针对第一类标签的像素点可以扩展到A×N+A,考虑到同类标签之间的像素点重复,以及不同类标签像素点的误差,实际获得第一类标签的像素点的个数接近(A×N+A)个,这些像素点作为样本,大大增加了样本的个数。
步骤307,针对标记的类分别选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型。
其中,M,N为整数。
至此为此,完成预设分类模型的训练。
在建立预设分类模型过程中,通过边界扩展的方式,解决传统空间结构特征分析应用于SAR图像分类易产生区域一致性差,边界凌乱,类别之前特征相似不可分的问题。
通过改进的SAE网络模型进行特征提取,这样能够在确保分类准确率的基础上,提取特征样本维度与有标记样本数量无关。
引入滤波器,将SAR图像的乘性噪声变换成加性高斯白噪声,为后续引入测量学习建立预设分类模型奠定基础;
引入测度学习解决标记样本较少以及线性不可分的问题。
本申请实施中建立预设分类模型的方法在保证分类准确度的前提下,提高了建模效率,降低了计算压力。
本申请实施例中训练好的预设分类模型是适合于同一地域拍摄的SAR图像,并且所分类别覆盖所有存在可能类别:如一张位于美国加州某一区域的SAR图像,会包括三类,也就是有三个分类标签:草地、河流和灌木丛。
至于待识别的SAR图像,只要为这地域拍摄的SAR图像即可,而不一定包括三种类别的图像。
下面结合附图,给出SAR图像识别过程。
参见图4,图4为本申请实施例中SAR图像识别流程示意图。具体步骤为:
步骤401,获取待识别的SAR图像。
步骤402,对所述待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取。
步骤403,获取块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量。
所述获取块的特征向量,包括:
使用多种特征提取方法分别对块进行特征提取,并将提取出的特征通过矢量叠加的方式拼接获取块的特征向量。
步骤404,利用预设特征提取模型对所述待识别的SAR图像的特征向量进行特征选择。
所述预设特征提取网络模型可以为预设SAE网络模型,其中,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接。
步骤405,对选择的特征向量进行滤波。
本申请实施例中可以基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
具体实现时,步骤401到步骤405的实现,与步骤301到步骤305的实现类似,这里不再一一赘述。
如果使用图3中的方式建立预设分类模型,则可以直接使用步骤305获得的滤波后的特征向量,基于预设分类模型获得分类结果,而不需要再次重新获取待识别的SAR图像对应的滤波后的特征向量。
步骤406,基于预设分类模型获取滤波后的特征向量对应的分类结果。
这里的预设分类模型可以是由待识别的SAR图像(若该SAR图像进行了标记,通常是部分标记)训练所得的预设分类模型,也可以是由一张或多张已标记的同一地域的SAR图像训练所得的预设分类模型,如果未对待识别的SAR图像进行标记,则需要进行标记进行训练,或者使用其他已标记的图像进行训练获得的预设分类模型。
本申请实施例中获取的分类结果,即待识别的SAR图像的每个像素点对应的分类,如草地、桥梁等。
综上所述,本申请通过利用标记的SAR图像建立预设分类模型,在建立预设分类模型过程中,针对标记样本较少以及线性不可分的问题,引入测度学习;在预设分类模型训练,以及待识别的SAR图像的识别过程中,通过改进的SAE网络模型对SAR图像进行特征向量的特征选择,解决特征过于详细,带来的分类过拟合现象,降低计算压力;通过滤波器将SAR图像的乘性噪声变换成加性高斯白噪声,为后续引入测量学习建立预设分类模型,以及SAR图像识别奠定基础。
本申请实施例提供的SAR图像识别方法能够解决图像识别过程中的过拟合问题,以及计算压力过大的问题。
本申请实施提供的SAR图像识别方法,适用于所有SAR图像,尤其是高分辨率SAR图像。
基于同样的发明构思,本申请实施例还提供一种合成孔径雷达SAR图像识别装置。参见图5,图5为本申请实施例中应用于上述技术的装置结构示意图。所述装置包括:第一获取单元501、提取单元502、第二获取单元503、选择单元504、滤波单元505和分类单元506;
所述第一获取单元,用于获取待识别的SAR图像;
所述提取单元,用于对所述第一获取单元获取的待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取;
所述第二获取单元,用于获取所述提取单元提取的块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量;
所述选择单元,用于利用预设特征提取模型对所述第二获取单元获取的待识别的SAR图像的特征向量进行特征选择;
所述滤波单元,用于对所述选择单元选择的特征向量进行滤波;
所述分类单元,用于基于预设分类模型获取所述滤波单元滤波后的特征向量对应的分类结果。
优选地,
所述第二获取单元,具体用于使用多种特征提取方法分别对块进行特征提取,并将提取出的特征通过矢量叠加的方式拼接获取块的特征向量。
优选地,
所述滤波单元,具体用于基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
优选地,所述装置进一步包括:训练单元;
所述第一获取单元,进一步用于获取标记的SAR图像;
所述提取单元,进一步用于对所述标记的SAR图像进行边界扩展,并对扩展后的所述标记的SAR图像进行块提取;
所述第二获取单元,进一步用于获取块的特征向量,并使用所述块的特征向量获取所述标记的SAR图像的特征向量;
所述选择单元,进一步用于利用预设特征提取模型对所述标记的SAR图像的特征向量进行特征选择;
所述滤波单元,进一步用于对选择的特征向量进行滤波;
所述训练单元,用于基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本;针对标记的类分别选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
优选地,所述装置进一步包括:确定单元;
所述确定单元,用于确定标记分类为一类的像素点的个数是否大于M,如果是,触发所述训练单元针对标记的类分别选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型;否则,触发所述训练单元基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本。
优选地,所述装置进一步包括:训练单元;
所述训练单元,用于若所述待识别的SAR图像被标记,基于样本点相似原则使用滤波后的特征向量为已标记的像素点获取N个相似的像素点作为样本;针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
优选地,
所述预设特征提取模型为预设SAE网络模型,其中,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接。
优选地,
所述样本点相似原则基于测度学习实现,其中,在测度学习时以像素点的特征向量的欧式距离作为测度标准。
上述实施例的单元可以集成于一体,也可以分离部署;可以合并为一个单元,也可以进一步拆分成多个子单元。
在另一个实施例中,还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述合成孔径雷达图像识别方法的步骤。
在另一个实施例中,还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被处理器执行时可实现所述合成孔径雷达图像识别方法中的步骤。
图6为本发明实施例提供的电子设备的实体结构示意图。如图6所示,该电子设备可以包括:处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行如下方法:
获取待识别的SAR图像;
对所述待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取;
获取块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量;
利用预设特征提取模型对所述待识别的SAR图像的特征向量进行特征选择;
对选择的特征向量进行滤波;
基于预设分类模型获取滤波后的特征向量对应的分类结果。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (8)
1.一种合成孔径雷达SAR图像识别方法,其特征在于,所述方法包括:
获取待识别的SAR图像;
对所述待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取;
获取块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量;
利用预设特征提取模型对所述待识别的SAR图像的特征向量进行特征选择;
对选择的特征向量进行滤波;
基于预设分类模型获取滤波后的特征向量对应的分类结果;
其中,所述预设特征提取模型为预设栈式自编码器SAE网络模型,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接;
所述对选择的特征向量进行滤波使得所述SAR图像的乘性噪声变换成加性高斯白噪声;
所述对选择的特征向量进行滤波,包括:
基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
2.根据权利要求1所述的方法,其特征在于,所述获取块的特征向量,包括:
使用多种特征提取方法分别对块进行特征提取,并将提取出的特征通过矢量叠加的方式拼接获取块的特征向量。
3.根据权利要求1所述的方法,其特征在于,所述预设分类模型基于以下步骤获得:
获取标记的SAR图像;
对所述标记的SAR图像进行边界扩展,并对扩展后的所述标记的SAR图像进行块提取;
获取块的特征向量,并使用所述块的特征向量获取所述标记的SAR图像的特征向量;
利用预设特征提取模型对所述标记的SAR图像的特征向量进行特征选择;
对选择的特征向量进行滤波;
基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本;其中,所述样本的特征向量为对应所述SAR图像中的所述像素点滤波后的特征向量;
针对标记的类分别选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
4.根据权利要求3所述的方法,其特征在于,所述利用预设特征提取模型对所述标记的SAR图像的特征向量进行特征选择;对选择的特征向量进行滤波之后,所述基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本之前所述方法进一步包括:
确定标记分类为一类的像素点的个数是否大于M,如果是,针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型;否则,基于样本点相似原则为已标记的像素点获取N个相似的像素点作为样本。
5.根据权利要求1所述的方法,其特征在于,所述预设分类模型基于以下步骤获得:
若所述待识别的SAR图像被标记,基于样本点相似原则使用滤波后的特征向量为已标记的像素点获取N个相似的像素点作为样本;
针对标记的类样本选择个数大于M的样本,对初始分类模型进行训练,获得预设分类模型,其中,M,N为整数。
6.一种合成孔径雷达SAR图像识别装置,其特征在于,所述装置包括:第一获取单元、提取单元、第二获取单元、选择单元、滤波单元和分类单元;
所述第一获取单元,用于获取待识别的SAR图像;
所述提取单元,用于对所述第一获取单元获取的待识别的SAR图像进行边界扩展,并对扩展后的待识别的SAR图像进行块提取;
所述第二获取单元,用于获取所述提取单元提取的块的特征向量,并使用所述块的特征向量获取所述待识别的SAR图像的特征向量;
所述选择单元,用于利用预设特征提取模型对所述第二获取单元获取的待识别的SAR图像的特征向量进行特征选择;
所述滤波单元,用于对所述选择单元选择的特征向量进行滤波;
所述分类单元,用于基于预设分类模型获取所述滤波单元滤波后的特征向量对应的分类结果;
其中,所述预设特征提取模型为预设栈式自编码器SAE网络模型,在训练获得所述预设SAE网络模型时,过滤掉权重低于预设值的连接;
所述滤波单元,具体用于对选择的特征向量进行滤波使得所述SAR图像的乘性噪声变换成加性高斯白噪声;
其中,所述滤波单元,具体用于对选择的特征向量进行滤波时,基于对数正态分布的概率密度函数对选择的特征向量进行滤波。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010331456.1A CN111626122B (zh) | 2020-04-24 | 2020-04-24 | 合成孔径雷达图像识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010331456.1A CN111626122B (zh) | 2020-04-24 | 2020-04-24 | 合成孔径雷达图像识别方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111626122A CN111626122A (zh) | 2020-09-04 |
CN111626122B true CN111626122B (zh) | 2024-01-05 |
Family
ID=72271729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010331456.1A Active CN111626122B (zh) | 2020-04-24 | 2020-04-24 | 合成孔径雷达图像识别方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111626122B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012128558A (ja) * | 2010-12-14 | 2012-07-05 | Toshiba Corp | 識別装置 |
CN105608698A (zh) * | 2015-12-25 | 2016-05-25 | 西北工业大学 | 一种基于sae的遥感图像变化检测方法 |
CN106874952A (zh) * | 2017-02-16 | 2017-06-20 | 中国人民解放军国防科学技术大学 | 基于栈式自编码器的特征融合方法 |
CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
CN108734171A (zh) * | 2017-04-14 | 2018-11-02 | 国家海洋环境监测中心 | 一种深度协同稀疏编码网络的合成孔径雷达遥感图像海洋浮筏识别方法 |
CN108764064A (zh) * | 2018-05-07 | 2018-11-06 | 西北工业大学 | 基于导向滤波器与自编码器的sar目标识别算法 |
CN109145832A (zh) * | 2018-08-27 | 2019-01-04 | 大连理工大学 | 基于dsfnn与非局部决策的极化sar图像半监督分类方法 |
CN109635789A (zh) * | 2019-01-23 | 2019-04-16 | 西安电子科技大学 | 基于强度比和空间结构特征提取的高分辨sar图像分类方法 |
CN110046590A (zh) * | 2019-04-22 | 2019-07-23 | 电子科技大学 | 一种基于粒子群优化深度学习特征选择的一维像识别方法 |
CN110728311A (zh) * | 2019-09-29 | 2020-01-24 | 贝壳技术有限公司 | 一种图像处理方法、装置和存储介质 |
-
2020
- 2020-04-24 CN CN202010331456.1A patent/CN111626122B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012128558A (ja) * | 2010-12-14 | 2012-07-05 | Toshiba Corp | 識別装置 |
CN105608698A (zh) * | 2015-12-25 | 2016-05-25 | 西北工业大学 | 一种基于sae的遥感图像变化检测方法 |
CN106874952A (zh) * | 2017-02-16 | 2017-06-20 | 中国人民解放军国防科学技术大学 | 基于栈式自编码器的特征融合方法 |
CN108734171A (zh) * | 2017-04-14 | 2018-11-02 | 国家海洋环境监测中心 | 一种深度协同稀疏编码网络的合成孔径雷达遥感图像海洋浮筏识别方法 |
CN107239795A (zh) * | 2017-05-19 | 2017-10-10 | 西安电子科技大学 | 基于稀疏自编码器和卷积神经网络的sar图像变化检测系统及方法 |
CN108764064A (zh) * | 2018-05-07 | 2018-11-06 | 西北工业大学 | 基于导向滤波器与自编码器的sar目标识别算法 |
CN109145832A (zh) * | 2018-08-27 | 2019-01-04 | 大连理工大学 | 基于dsfnn与非局部决策的极化sar图像半监督分类方法 |
CN109635789A (zh) * | 2019-01-23 | 2019-04-16 | 西安电子科技大学 | 基于强度比和空间结构特征提取的高分辨sar图像分类方法 |
CN110046590A (zh) * | 2019-04-22 | 2019-07-23 | 电子科技大学 | 一种基于粒子群优化深度学习特征选择的一维像识别方法 |
CN110728311A (zh) * | 2019-09-29 | 2020-01-24 | 贝壳技术有限公司 | 一种图像处理方法、装置和存储介质 |
Non-Patent Citations (1)
Title |
---|
康妙 ; 计科峰 ; 冷祥光 ; 邢相薇 ; 邹焕新 ; .基于栈式自编码器特征融合的SAR图像车辆目标识别.雷达学报.2017,第6卷(第02期),第167-176页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111626122A (zh) | 2020-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
EP3614308A1 (en) | Joint deep learning for land cover and land use classification | |
CN108596108B (zh) | 基于三元组语义关系学习的航拍遥感图像变化检测方法 | |
CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
CN109635789B (zh) | 基于强度比和空间结构特征提取的高分辨sar图像分类方法 | |
CN112083422A (zh) | 基于多级深度学习网络的单航过InSAR系统端对端分类方法 | |
CN110825900A (zh) | 特征重构层的训练方法、图像特征的重构方法及相关装置 | |
CN114444565B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
CN109784171A (zh) | 车辆定损图像筛选方法、装置、可读存储介质及服务器 | |
CN116279592A (zh) | 一种用于无人物流车的可行驶区域划分方法 | |
Yu et al. | Application of a convolutional autoencoder to half space radar hrrp recognition | |
Kahraman et al. | Road detection from high satellite images using neural networks | |
Vignesh et al. | Concrete bridge crack detection using convolutional neural network | |
CN106096650B (zh) | 基于收缩自编码器的sar图像分类方法 | |
CN111626122B (zh) | 合成孔径雷达图像识别方法、装置、电子设备和存储介质 | |
Kussul et al. | Intelligent computations for flood monitoring | |
CN109284752A (zh) | 一种车辆的快速检测方法 | |
Ebren et al. | Determining the occupancy of Vehicle Parking Areas by deep learning | |
Ganakwar et al. | Convolutional neural network-VGG16 for road extraction from remotely sensed images | |
CN116843946A (zh) | 一种基于图像识别的隧道岩体主要结构面判识方法及装置 | |
CN116310583A (zh) | 基于深度语义拓扑融合网络的极化sar图像分类方法 | |
CN115294398A (zh) | 一种基于多姿态角联合学习的sar图像目标识别方法 | |
CN114862883A (zh) | 一种目标边缘提取方法、图像分割方法及系统 | |
CN114821098A (zh) | 一种基于灰度梯度融合特征及cnn的高速路面破损检测算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |