CN113657252A - 基于编码解码器的高效sar图像船舶目标检测方法 - Google Patents

基于编码解码器的高效sar图像船舶目标检测方法 Download PDF

Info

Publication number
CN113657252A
CN113657252A CN202110935194.4A CN202110935194A CN113657252A CN 113657252 A CN113657252 A CN 113657252A CN 202110935194 A CN202110935194 A CN 202110935194A CN 113657252 A CN113657252 A CN 113657252A
Authority
CN
China
Prior art keywords
ship
image
angle
target
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110935194.4A
Other languages
English (en)
Other versions
CN113657252B (zh
Inventor
牛玉贞
黄江艺
林晓锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110935194.4A priority Critical patent/CN113657252B/zh
Publication of CN113657252A publication Critical patent/CN113657252A/zh
Application granted granted Critical
Publication of CN113657252B publication Critical patent/CN113657252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于编码解码器的高效SAR图像船舶目标检测方法。包括：步骤A、对数据集划分，进行数据增强，提取图像和标签信息用于SAR船舶目标检测训练；步骤B、设计无需大量参数且性能好的编码解码器目标检测网络、基于centerness的样本分配方式、结合船舶角度信息的检测方法；步骤C、根据网络模型设计损失函数，指导网络模型的参数优化；步骤D、设置目标检测网络的训练策略，并进行训练，优化网络参数；步骤E、将待测SAR图像输入到已训练完成的目标检测网络，预测出船舶目标，使用非极大值抑制过滤质量差的冗余检测框，得到检测的船舶目标。本发明方法能有效提高船舶小目标的检测效果，显著提高船舶召回率。

Description

基于编码解码器的高效SAR图像船舶目标检测方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域，具体涉及一种基于编码解码器的高效SAR图像船舶目标检测方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种有源微波传感器，具有全天候对地观测的特点，不受光照、天气影响。通过SAR微波成像技术，能够全天时、全天候获取丰富海洋地区图像，是目前对海洋侦测的重要方式。SAR图像船舶目标检测使目前学术、军事领域热点研究方向，它对偷渡、非法捕鱼以及军事海防等方面有着重要应用，同时也在海洋观测和救灾中也发挥着越来越重要的作用。
传统的SAR船舶目标检测方法依赖于人工设计的特征，如基于对比度信息统计的恒定虚警率算法、小波分解、陆海分割等方法，但这些方法需要大量先验知识，易受复杂背景干扰，且泛化性能差，普遍检测精度不高。随着合成孔径雷达技术和卫星技术的发展，获取高分辨率的SAR图像数据更加便利，基于大量数据的深度学习方法在SAR图像目标检测领域也有了很大的发展潜力，相较于传统方法，深度学习方法抗干扰能力更强、复杂场景泛化性能优异、检测精度更高。但现有的基于深度学习的研究方法存在着一些弊端：需要设计一个较为复杂的特征提取网络，模型参数量和计算量庞大，严重影响了对实时性要求较高的SAR船舶检测的效率；此外，这些方法主要都是针对光学图像设计的，缺少对SAR船舶图像特点的针对性研究，导致复杂场景下或有干扰的船舶目标检测性能下降。
考虑到SAR图像的特点，SAR图像由电磁波信号成像，容易受到干涉影响和目标地形等因素干扰，产生大量噪声像素，使目标检测发生漏检和预测质量差的检测框。为了克服噪声的影响，以及提高目标检测网络的检测效率和性能，本发明设计了一个高效的编码解码器目标检测网络，该网络采用无锚框、单尺度方法，大大减少了模型参数量和计算量，提高检测效率的同时保证检测性能，同时提出了结合船舶角度信息的检测方法，减少噪声对模型预测的影响，提高船舶检测的召回率。
发明内容
本发明的目的在于提供一种基于编码解码器的高效SAR图像船舶目标检测方法，该方法通过高效的编码解码器目标检测网络，以及结合SAR图像船舶目标的角度信息，指导船舶检测网络的训练，该方法能显著提高SAR图像船舶检测性能，提高召回率。
为实现上述目的，本发明的技术方案是：一种基于编码解码器的高效SAR图像船舶目标检测方法，包括如下步骤：
步骤A、对数据集划分，进行数据增强，提取图像和标签信息用于SAR船舶目标检测训练；
步骤B、设计无需大量参数且性能好的编码解码器目标检测网络、基于centerness的样本分配方式、结合船舶角度信息的检测方法；
步骤C、根据目标检测网络的网络模型设计损失函数，指导网络模型的参数优化；
步骤D、设置目标检测网络的训练策略，并进行训练，优化网络参数；
步骤E、将待测SAR图像输入到已训练完成的目标检测网络，预测出船舶目标，使用非极大值抑制过滤质量差的冗余检测框，得到检测到的船舶目标。
在本发明一实施例中，所述步骤A具体包括以下步骤：
步骤A1、划分数据集，按照预定比例划分为训练集和测试集；
步骤A2、对训练集的图像进行数据增强，以增加训练集的图像数量，包括翻转图像、旋转图像、缩放图像、将多张图像随机裁剪拼接、以及将不同图像进行重叠融合；
步骤A3、将步骤A2数据增强后的图像进行预处理，转化成目标检测网络的输入数据：先使用像素值114填充图像短边两侧，使图像长宽相等，再将图像缩放到目标检测网络输入的尺寸大小，最后将图像像素值除以255，将整张图像像素值归一化到范围[0，1]；在数据集中，每张图像的对应标签内容是图像中的船舶边界框的坐标位置，在每一步数据增强和图像预处理的同时也对标签进行相应操作，保证标签始终对应图像上的船舶目标位置。
在本发明一实施例中，所述步骤B具体包括以下步骤：
步骤B1、设计无需大量参数且性能好的编码解码器目标检测网络：先将预处理后的图像进行像素切块重组，设图像尺寸为h×w×c，在图像中沿水平和垂直方向每隔一个像素提取一个像素的值，重新组成一张图像，大小为
Figure BDA0003212335920000021
这样就能取得四张图像，这四张图像左上角的像素分别是原始图像中第一行第一列的像素、第一行第二列的像素、第二行第一列的像素和第二行第二列的像素；然后将四张图像沿通道维度拼接，得到大小为
Figure BDA0003212335920000022
的特征图，记为F0；接着将特征图F0输入到编码器，编码器由若干编码层组成，每个编码层由标准卷积Conv和瓶颈层BottleneckCSP组成，每经过一层编码层特征的尺寸为原来的一半，记录每个编码层的输出特征为E0、E1、...、En，公式如下所示：
E0＝BottleneckCSP0(Conv0(F0))
Ei＝BottleneckCSPi(Convi(Ei-1))，i＝1，2，...，n
其中Convi和BottleneckCSPi分别是第i层编码层的卷积层和瓶颈层BottleneckCSP；
接着将En输入到金字塔池化层SPP，得到特征S＝SPP(En)；接着把S输入到解码器，解码器由若干解码层组成，每个解码层由标准卷积Conv、最近邻上采样Upsample和瓶颈层BottleneckCSP组成，每经过一层解码层特征的尺寸为原来的2倍，每个解码器层同时接收来自同级编码层的输出特征，具体公式如下：
Un＝Upsample(Convn(S))
Dn＝BottleneckCSPn(Un⊙En)
Ui＝Upsample(Convi(Ui+1))，i＝0，1，...，n-1
Di＝BottleneckCSPi(Ui⊙Ei)，i＝0，1，...，n-1
其中Ui表示上采样后的特征，Di表示第i个解码层输出的特征，⊙表示沿通道维度拼接，Convi和BottleneckCSPi分别是第i层解码层的卷积层和瓶颈层BottleneckCSP；
最后将D0进行一次卷积操作，并使输出维度为6，这6个维度分别表示：1个维度的目标置信度，4个维度的船舶坐标以及1个维度的船舶角度；
步骤B2、设计基于centerness的样本分配方式：首先将船舶目标边界框内部的像素点定义为正样本，每个正样本像素点位置(x，y)对应的船舶边界框的表现形式定义为(t，b，l，r)，即分别表示当前像素点与上边界、下边界、左边界、右边界的距离，通过位置(x，y)与输入的船舶坐标计算；若两个相邻船舶目标有重叠部分，定义centerness，重叠部分的像素表示的正样本所属边界框由centerness决定；其中一像素位置对于一个船舶的centerness计算公式如下：
Figure BDA0003212335920000031
重叠部分的每个像素分别计算多个边界框在该像素点的centerness，则像素表示的正样本属于最大centerness的边界框，min()表示取最小值，max()表示取最大值；
由此可构造一幅船舶id图，id图大小与船舶图像大小一样，首先将id图所有像素点位置(x，y)的值置为0，然后按船舶id顺序把船舶边界框内的所有像素对应位置赋值，如果id图在相应位置值为0，则该位置赋值为当前船舶id值，如果非0，说明该像素位置被多个船舶覆盖，该重叠像素位置分别计算各自船舶目标在该处的centerness，该处像素的id值赋值为最大centerness对应的船舶目标id；最终生成代表每个像素所属船舶id的图，记为D；
步骤B3、设计结合船舶角度信息的检测方法：将船舶图像中的每一个船舶目标依次检测其船舶角度，首先从输入的船舶图像中按照该船舶边界框的定义截取出船舶目标区域，取该区域的中点作为原点，将船舶目标区域划分成四个象限块s1，s2，s3，s4，再将第一象限s2和第三象限s4分为一组，另外两个象限分为另一组，分别计算每组中所有像素值的总和，再计算其比值R，公式如下：
Figure BDA0003212335920000041
其中，∑si，i＝1，2，3，4分别表示第i象限内的所有像素值的和；这样通过R来判断表示船舶目标的高亮像素是否基本上分布在一个对角象限内，并按下式计算船舶角度：
Figure BDA0003212335920000042
其中，α表示船舶角度，x、y分别表示船舶目标区域的宽和高，γ表示像素和比值的阈值，γ∈(0，1)；当R＜γ时，船舶像素分布在一、三象限内，此时船舶角度
Figure BDA0003212335920000043
当
Figure BDA0003212335920000044
时，船舶像素分布在x轴或y轴，此时船舶角度α＝0；当
Figure BDA0003212335920000045
时，船舶像素分布在二、四象限内，此时船舶角度
Figure BDA0003212335920000046
由于船舶角度为
Figure BDA0003212335920000047
时表示的是同一种状态，直接使用角度作为标签不连续，因此使用vα＝sin(2α)作为最终船舶角度标签，vα∈[0，1]；
步骤B4、构造边界框位置标签图和船舶角度标签图：
首先构造边界框位置标签图，通道数为4，记为P，P的大小与船舶图像大小相同；首先将P所有像素点位置的值置为0，根据id图D在位置(x，y)的值，如果该值非0，则将P在(x，y)位置的4个通道值分别赋值为相应id的船舶目标在(x，y)位置的边界框表示(t，b，l，r)；
然后构造船舶角度标签图，记为V，V的大小与船舶图像大小相同，首先将V所有像素点位置的值置为0，根据id图D在位置(x，y)的值，如果该值非0，则将V在(x，y)位置的值赋值为步骤3所定义的船舶角度标签vα。
在本发明一实施例中，所述步骤C具体包括以下步骤：
步骤C1、对于边界框位置回归损失，采用L1损失函数，公式如下所示：
Figure BDA0003212335920000048
Figure BDA0003212335920000049
其中，σ(x，y)表示像素点(x，y)处是否为正样本，即是否属于其中一船舶，Lbox表示边界框回归损失，w和h分别表示船舶图像的宽度和高度，P(x，y)表示在(x，y)处的边界框位置标签，
Figure BDA00032123359200000410
表示在(x，y)处预测的边界框位置表示(t，b，l，r)，即网络输出的第2-5维构成的图；
步骤C2、对于船舶角度损失，同样采用L1损失函数，公式如下所示：
Figure BDA0003212335920000051
其中，Lα表示船舶角度损失，V(x，y)表示在(x，y)处的船舶角度标签，
Figure BDA0003212335920000052
表示在(x，y)处预测的船舶角度，即网络输出的第6维构成的图；
步骤C3、为计算船舶目标置信度损失，首先构造每一幅SAR图像的船舶置信度标签图T；T的计算公式如下：
Figure BDA0003212335920000053
Figure BDA0003212335920000054
其中，A(x，y)表示像素点(x，y)所属的船舶D(x，y)边界框标签所包含的范围，
Figure BDA0003212335920000055
表示在位置(x，y)预测的船舶边界框所包含的范围，iou则是A和
Figure BDA0003212335920000056
的交并比，V(x，y)表示在(x，y)处的船舶角度标签，
Figure BDA0003212335920000057
表示在(x，y)处预测的船舶角度；
船舶目标置信度损失使用Generalized Focal Loss计算船舶目标置信度损失，公式如下所示：
Figure BDA0003212335920000058
其中，Lobj表示船舶置信度损失，T表示船舶置信度标签图，
Figure BDA0003212335920000059
是网络预测的船舶置信度图，即网络输出的第1维构成的图，μ表示可调节的超参数；
步骤C4、训练目标检测网络的总损失函数公式如下：
L＝λ1Lbox+λ2Lα+λ3Lobj
其中，λ1、λ2和λ3分别表示边界框损失、船舶角度损失和船舶置信度损失的权重参数。
在本发明一实施例中，所述步骤D具体包括以下步骤：
步骤D1、优化目标检测网络的学习率采用余弦衰减函数，随着每轮迭代动态下降，公式如下所示：
Figure BDA00032123359200000510
其中，lrbase表示初始学习率，lrf用于调节学习率衰减的幅度，指定学习率所能衰减到的最低值，x表示训练过程中当前迭代轮数，N表示总迭代轮数；
同时，使用指数加权平均优化权重参数，公式如下所示：
wt＝βwt-1+(1-β)vt
其中，vt表示第t个批次训练和优化后的权重参数，wt-1表示第t-1个批次训练和优化后的加权平均权重参数，wt表示第t个批次训练和优化后的加权平均权重参数，β表示可调节的超参数；
步骤D2、训练目标检测网络模型，将步骤A数据增强后的图像数据输入到目标检测网络中，每个位置输出维度为6的结果向量，表示目标置信度，船舶坐标以及船舶角度，将结果与标签一一对应，根据步骤C计算损失函数，然后通过反向传播计算梯度，优化目标检测网络，保存训练好的目标检测网络模型。
在本发明一实施例中，所述步骤E具体实现过程为：将测试集中待测的SAR船舶图像输入到训练好的目标检测网络，得到船舶检测结果，再使用非极大值抑制将冗余和质量差的检测框过滤掉，得到最终船舶目标检测框。
相较于现有技术，本发明具有以下有益效果：本发明方法设计了一个高效的编码解码器SAR图像船舶目标检测网络，该方法无需特征金字塔和锚框，极大减少了网络参数量，提高目标检测效率和召回率；同时还提出基于centerness的样本分配方式，减小标签分配时重叠区域的歧义；此外还提出结合船舶角度信息的检测方法，减轻预测边界框受到噪声的影响，提高船舶检测的性能。
附图说明
图1为本发明方法的流程示意图。
图2是本发明方法的目标检测网络结构图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明一种基于编码解码器的高效SAR图像船舶目标检测方法，包括如下步骤：
步骤A、对数据集划分，进行数据增强，提取图像和标签信息用于SAR船舶目标检测训练；
步骤B、设计无需大量参数且性能好的编码解码器目标检测网络、基于centerness的样本分配方式、结合船舶角度信息的检测方法；
步骤C、根据目标检测网络的网络模型设计损失函数，指导网络模型的参数优化；
步骤D、设置目标检测网络的训练策略，并进行训练，优化网络参数；
步骤E、将待测SAR图像输入到已训练完成的目标检测网络，预测出船舶目标，使用非极大值抑制过滤质量差的冗余检测框，得到检测到的船舶目标。
以下为本发明具体实现过程。
如图1所示，本发明一种基于编码解码器的高效SAR图像船舶目标检测方法，包括以下步骤：
步骤A、对数据集划分，进行数据增强，提取图像和标签信息用于SAR船舶目标检测训练；
步骤B、设计无需大量参数且性能好的编码解码器目标检测网络(如图2所示)、基于centerness的样本分配方式、结合船舶角度信息的检测方法；
步骤C、根据网络模型设计损失函数，指导网络模型的参数优化；
步骤D、设置目标检测网络的训练策略，并进行训练，优化网络参数；
步骤E、将待测SAR图像输入到已训练完成的目标检测网络，预测出船舶目标，使用非极大值抑制过滤质量差的冗余检测框，得到检测的船舶目标。
在本实施例中，所述步骤A具体包括以下步骤：
步骤A1、数据集采用SAR-Ship-Dataset数据集，该数据集包含43819张SAR船舶图像，将数据集按照一定比例划分为训练集和测试集。
步骤A2、对训练集的图像进行数据增强，以增加训练集的图像数量，包括按照一定概率进行翻转图像、旋转图像、缩放图像、将多张图像随机裁剪拼接、以及将不同图像进行重叠融合
步骤A3、将步骤A2数据增强后的图像进行预处理，转化成目标检测网络的输入数据。先使用像素值114填充图像短边两侧，使图像长宽相等，再将图像缩放到目标检测网络输入的尺寸256×256，最后将图像像素除以255，将整张图像像素归一化到范围[0，1]；在数据集中，每张图像的对应标签内容是图像中的船舶边界框的坐标位置，在每一步数据增强和图像预处理的同时也对标签进行相应操作，保证标签始终对应图像上的船舶目标位置。
在本实施例中，所述步骤B具体包括以下步骤：
步骤B1、设计无需大量参数且性能好的编码解码器目标检测网络，先将预处理后的图像进行像素切块重组，设图像尺寸为h×w×c，在图像中沿水平和垂直方向每隔一个像素提取一个像素的值，重新组成一张图像，大小为
Figure BDA0003212335920000071
这样就能取得四张图像，这四张图像左上角的像素分别是原始图像中第一行第一列的像素、第一行第二列的像素、第二行第一列的像素和第二行第二列的像素。然后将四张图像沿通道维度拼接，得到大小为
Figure BDA0003212335920000072
的特征图，记为F0。接着将特征图F0输入到编码器，编码器由若干编码层组成，每个编码层由标准卷积Conv和瓶颈层BottleneckCSP组成，每经过一层编码层特征的尺寸为原来的一半，记录每个编码层的输出特征为E0、E1、...、En，公式如下所示：
E0＝BottleneckCSP0(Conv0(F0))
Ei＝BottleneckCSPi(Convi(Ei-1))，i＝1，2，...，n
其中Convi和BottleneckCSPi分别是第i层编码层的卷积层和瓶颈层BottleneckCSP。
接着将En输入到金字塔池化层SPP，得到特征S＝SPP(En)。接着把S输入到解码器，解码器由若干解码层组成，每个解码层由标准卷积Conv、最近邻上采样Upsample和瓶颈层BottleneckCSP组成，每经过一层解码层特征的尺寸为原来的2倍，每个解码器层同时接收来自同级编码层的输出特征，具体公式如下：
Un＝Upsample(Convn(S))
Dn＝BottleneckCSPn(Un⊙En)
Ui＝Upsample(Convi(Ui+1))，i＝0，1，...，n-1
Di＝BottleneckCSPi(Ui⊙Ei)，i＝0，1，...，n-1
其中Ui表示上采样后的特征，Di表示第i个解码层输出的特征，⊙表示沿通道维度拼接，Convi和BottleneckCSPi分别是第i层解码层的卷积层和瓶颈层BottleneckCSP。
最后将D0进行一次卷积操作，并使输出维度为6，这6个维度分别表示：目标置信度(1个维度)，船舶坐标(4个维度)以及船舶角度(1个维度)。
步骤B2、设计基于centemess的样本分配方式，首先将船舶目标边界框内部的像素点定义为正样本，每个正样本像素点位置(x，y)对应的船舶边界框的表现形式定义为(t，b，l，r)，即分别表示当前像素点与上边界、下边界、左边界、右边界的距离，可以通过位置(x，y)与输入的船舶坐标计算。若两个相邻船舶目标有重叠部分，则该重叠部分定义为正样本时属于哪个船舶有歧义，因此定义centerness，重叠部分的像素表示的正样本属于哪个边界框由centerness决定。某像素位置对于某一个船舶的centerness计算公式如下：
Figure BDA0003212335920000081
重叠部分的每个像素分别计算多个边界框在该像素点的centerness，则像素表示的正样本属于最大centerness的边界框，min()表示取最小值，max()表示取最大值。
由此可构造一幅船舶id图，id图大小与船舶图像大小一样，首先将id图所有像素点位置(x，y)的值置为0，然后按船舶id顺序把船舶边界框内的所有像素对应位置赋值，如果id图在相应位置值为0，则该位置赋值为当前船舶id值，如果非0，说明该像素位置被多个船舶覆盖，该重叠像素位置分别计算各自船舶目标在该处的centerness，该处像素的id值赋值为最大centemess对应的船舶目标id。最终生成代表每个像素所属船舶id的图，记为D。
步骤B3、设计结合船舶角度信息的检测方法。将船舶图像中的每一个船舶目标依次检测其船舶角度。首先从输入的船舶图像中按照该船舶边界框的定义截取出船舶目标区域，取该区域的中点作为原点，将船舶目标区域划分成四个象限块s1，s2，s3，s4，再将第一象限s2和第三象限s4分为一组，另外两个象限分为另一组，分别计算每组中所有像素值的总和，再计算其比值R，公式如下：
Figure BDA0003212335920000091
其中，∑si，i＝1，2，3，4分别表示第i象限内的所有像素值的和。这样可以通过R来判断表示船舶目标的高亮像素是否基本上分布在某个对角象限内，并按下式计算船舶角度：
Figure BDA0003212335920000092
其中，α表示船舶角度，x、y分别表示船舶目标区域的宽和高，γ表示像素和比值的阈值，γ∈(0，1)。当R＜γ时，船舶像素一般主要分布在一、三象限内，此时船舶角度
Figure BDA0003212335920000093
当
Figure BDA0003212335920000094
时，船舶像素一般主要分布在x轴或y轴，此时船舶角度α＝0；当
Figure BDA0003212335920000095
时，船舶像素一般主要分布在二、四象限内，此时船舶角度
Figure BDA0003212335920000096
由于船舶角度为
Figure BDA0003212335920000097
时表示的是同一种状态，直接使用角度作为标签不连续，因此使用vα＝sin(2α)作为最终船舶角度标签，vα∈[0，1]。
步骤B4、构造边界框位置标签图和船舶角度标签图。
首先构造边界框位置标签图，通道数为4，记为P，P的大小与船舶图像大小相同。首先将P所有像素点位置的值置为0，根据id图D在位置(x，y)的值，如果该值非0，则将P在(x，y)位置的4个通道值分别赋值为相应id的船舶目标在(x，y)位置的边界框表示(t，b，l，r)。
然后构造船舶角度标签图，记为V，V的大小与船舶图像大小相同，首先将V所有像素点位置的值置为0，根据id图D在位置(x，y)的值，如果该值非0，则将V在(x，y)位置的值赋值为步骤3所定义的船舶角度标签vα。
在本实施例中，所述步骤C具体包括以下步骤：
步骤C1、对于边界框位置回归损失，采用L1损失函数，公式如下所示：
Figure BDA0003212335920000101
Figure BDA0003212335920000102
其中，σ(x，y)表示像素点(x，y)处是否为正样本，即是否属于某船舶，Lbox表示边界框回归损失，w和h分别表示船舶图像的宽度和高度，P(x，y)表示在(x，y)处的边界框位置标签，
Figure BDA00032123359200001012
表示在(x，y)处预测的边界框位置表示(t，b，l，r)，即网络输出的第2-5维构成的图；
步骤C2、对于船舶角度损失，同样采用L1损失函数，公式如下所示：
Figure BDA0003212335920000103
其中，Lα表示船舶角度损失，V(x，y)表示在(x，y)处的船舶角度标签，
Figure BDA0003212335920000104
表示在(x，y)处预测的船舶角度，即网络输出的第6维构成的图；
步骤C3、为计算船舶目标置信度损失，首先构造每一幅SAR图像的船舶置信度标签图T。T的计算公式如下：
Figure BDA0003212335920000105
Figure BDA0003212335920000106
其中，A(x，y)表示像素点(x，y)所属的船舶(即D(x，y))边界框标签所包含的范围，
Figure BDA0003212335920000107
表示在位置(x，y)预测的船舶边界框所包含的范围，iou则是A和
Figure BDA0003212335920000108
的交并比，V(x，y)表示在(x，y)处的船舶角度标签，
Figure BDA0003212335920000109
表示在(x，y)处预测的船舶角度；
船舶目标置信度损失使用Generalized Focal Loss计算船舶目标置信度损失，公式如下所示：
Figure BDA00032123359200001010
其中，Lobj表示船舶置信度损失，T表示船舶置信度标签图，
Figure BDA00032123359200001011
是网络预测的船舶置信度图，即网络输出的第1维构成的图，μ表示可调节的超参数；
步骤C4、训练目标检测网络的总损失函数公式如下：
L＝λ1Lbox+λ2Lα+λ3Lobj
其中，λ1、λ2和λ3分别表示边界框损失、船舶角度损失、和船舶置信度损失的权重参数。
在本实施例中，所述步骤D具体包括以下步骤：
步骤D1、优化目标检测网络的学习率采用余弦衰减函数，随着每轮迭代动态下降，公式如下所示：
Figure BDA0003212335920000111
其中，lrbase表示初始学习率，lrf用于调节学习率衰减的幅度，指定了学习率所能衰减到的最低值，x表示训练过程中当前迭代轮数，N表示总迭代轮数；
同时，使用指数加权平均优化权重参数，公式如下所示：
wt＝βwt-1+(1-β)vt
其中，vt表示第t个批次训练和优化后的权重参数，wt-1表示第t-1个批次训练和优化后的加权平均权重参数，wt表示第t个批次训练和优化后的加权平均权重参数，β表示可调节的超参数。
步骤D2、训练网络模型，将步骤A数据增强以及预处理后的图像数据输入到目标检测网络中，每个位置输出维度为6的结果向量，不同维度分别表示目标置信度，船舶坐标以及船舶角度，将结果与标签一一对应，根据步骤C计算损失函数，然后通过反向传播计算梯度，优化目标检测网络，保存训练好的目标检测网络模型。
在本实施例中，所述步骤E具体过程为：将测试集中待测的SAR船舶图像输入到训练好的目标检测网络，得到船舶检测结果，再使用非极大值抑制将冗余和质量差的检测框过滤掉，得到最终船舶目标检测框。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于编码解码器的高效SAR图像船舶目标检测方法，其特征在于，包括如下步骤：
步骤A、对数据集划分，进行数据增强，提取图像和标签信息用于SAR船舶目标检测训练；
步骤B、设计无需大量参数且性能好的编码解码器目标检测网络、基于centerness的样本分配方式、结合船舶角度信息的检测方法；
步骤C、根据目标检测网络的网络模型设计损失函数，指导网络模型的参数优化；
步骤D、设置目标检测网络的训练策略，并进行训练，优化网络参数；
步骤E、将待测SAR图像输入到已训练完成的目标检测网络，预测出船舶目标，使用非极大值抑制过滤质量差的冗余检测框，得到检测到的船舶目标。
2.根据权利要求1所述的一种基于编码解码器的高效SAR图像船舶目标检测方法，其特征在于，所述步骤A具体包括以下步骤：
步骤A1、划分数据集，按照预定比例划分为训练集和测试集；
步骤A2、对训练集的图像进行数据增强，以增加训练集的图像数量，包括翻转图像、旋转图像、缩放图像、将多张图像随机裁剪拼接、以及将不同图像进行重叠融合；
步骤A3、将步骤A2数据增强后的图像进行预处理，转化成目标检测网络的输入数据：先使用像素值114填充图像短边两侧，使图像长宽相等，再将图像缩放到目标检测网络输入的尺寸大小，最后将图像像素值除以255，将整张图像像素值归一化到范围[0,1]；在数据集中，每张图像的对应标签内容是图像中的船舶边界框的坐标位置，在每一步数据增强和图像预处理的同时也对标签进行相应操作，保证标签始终对应图像上的船舶目标位置。
3.根据权利要求1所述的一种基于编码解码器的高效SAR图像船舶目标检测方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1、设计无需大量参数且性能好的编码解码器目标检测网络：先将预处理后的图像进行像素切块重组，设图像尺寸为h×w×c，在图像中沿水平和垂直方向每隔一个像素提取一个像素的值，重新组成一张图像，大小为
Figure FDA0003212335910000011
这样就能取得四张图像，这四张图像左上角的像素分别是原始图像中第一行第一列的像素、第一行第二列的像素、第二行第一列的像素和第二行第二列的像素；然后将四张图像沿通道维度拼接，得到大小为
Figure FDA0003212335910000012
的特征图，记为F0；接着将特征图F0输入到编码器，编码器由若干编码层组成，每个编码层由标准卷积Conv和瓶颈层BottleneckCSP组成，每经过一层编码层特征的尺寸为原来的一半，记录每个编码层的输出特征为E0、E1、...、En，公式如下所示：
E0＝BottleneckCSP0(Conv0(F0))
Ei＝BottleneckCSPi(Convi(Ei-1)),i＝1,2,...,n
其中Convi和BottleneckCSPi分别是第i层编码层的卷积层和瓶颈层BottleneckCSP；
接着将En输入到金字塔池化层SPP，得到特征S＝SPP(En)；接着把S输入到解码器，解码器由若干解码层组成，每个解码层由标准卷积Conv、最近邻上采样Upsample和瓶颈层BottleneckCSP组成，每经过一层解码层特征的尺寸为原来的2倍，每个解码器层同时接收来自同级编码层的输出特征，具体公式如下：
Un＝Upsample(Convn(S))
Dn×BottleneckCSPn(Un⊙En)
Ui＝Upsample(Convi(Ui+1)),i＝0,1,...,n-1
Di＝BottleneckCSPi(Ui⊙Ei),i＝0,1,...,n-1
其中Ui表示上采样后的特征，Di表示第i个解码层输出的特征，⊙表示沿通道维度拼接，Convi和BottleneckCSPi分别是第i层解码层的卷积层和瓶颈层BottleneckCSP；
最后将D0进行一次卷积操作，并使输出维度为6，这6个维度分别表示：1个维度的目标置信度，4个维度的船舶坐标以及1个维度的船舶角度；
步骤B2、设计基于centerness的样本分配方式：首先将船舶目标边界框内部的像素点定义为正样本，每个正样本像素点位置(x,y)对应的船舶边界框的表现形式定义为(t，b，l，r)，即分别表示当前像素点与上边界、下边界、左边界、右边界的距离，通过位置(x,y)与输入的船舶坐标计算；若两个相邻船舶目标有重叠部分，定义centerness，重叠部分的像素表示的正样本所属边界框由centerness决定；其中一像素位置对于一个船舶的centerness计算公式如下：
Figure FDA0003212335910000021
重叠部分的每个像素分别计算多个边界框在该像素点的centerness，则像素表示的正样本属于最大centerness的边界框，min()表示取最小值，max()表示取最大值；
由此可构造一幅船舶id图，id图大小与船舶图像大小一样，首先将id图所有像素点位置(x,y)的值置为0，然后按船舶id顺序把船舶边界框内的所有像素对应位置赋值，如果id图在相应位置值为0，则该位置赋值为当前船舶id值，如果非0，说明该像素位置被多个船舶覆盖，该重叠像素位置分别计算各自船舶目标在该处的centerness，该处像素的id值赋值为最大centerness对应的船舶目标id；最终生成代表每个像素所属船舶id的图，记为D；
步骤B3、设计结合船舶角度信息的检测方法：将船舶图像中的每一个船舶目标依次检测其船舶角度，首先从输入的船舶图像中按照该船舶边界框的定义截取出船舶目标区域，取该区域的中点作为原点，将船舶目标区域划分成四个象限块s1,s2,s3,s4，再将第一象限s2和第三象限s4分为一组，另外两个象限分为另一组，分别计算每组中所有像素值的总和，再计算其比值R，公式如下：
Figure FDA0003212335910000031
其中，∑si，i＝1，2，3，4分别表示第i象限内的所有像素值的和；这样通过R来判断表示船舶目标的高亮像素是否基本上分布在一个对角象限内，并按下式计算船舶角度：
Figure FDA0003212335910000032
其中，α表示船舶角度，x、y分别表示船舶目标区域的宽和高，γ表示像素和比值的阈值，γ∈(0,1)；当R<γ时，船舶像素分布在一、三象限内，此时船舶角度
Figure FDA0003212335910000033
当
Figure FDA0003212335910000034
时，船舶像素分布在x轴或y轴，此时船舶角度α＝0；当
Figure FDA0003212335910000035
时，船舶像素分布在二、四象限内，此时船舶角度
Figure FDA0003212335910000036
由于船舶角度为
Figure FDA0003212335910000037
时表示的是同一种状态，直接使用角度作为标签不连续，因此使用vα＝sin(2α)作为最终船舶角度标签，vα∈[0,1]；
步骤B4、构造边界框位置标签图和船舶角度标签图：
首先构造边界框位置标签图，通道数为4，记为P，P的大小与船舶图像大小相同；首先将P所有像素点位置的值置为0，根据id图D在位置(x,y)的值，如果该值非0，则将P在(x,y)位置的4个通道值分别赋值为相应id的船舶目标在(x,y)位置的边界框表示(t，b，l，r)；
然后构造船舶角度标签图，记为V，V的大小与船舶图像大小相同，首先将V所有像素点位置的值置为0，根据id图D在位置(x,y)的值，如果该值非0，则将V在(x,y)位置的值赋值为步骤3所定义的船舶角度标签vα。
4.根据权利要求3所述的一种基于编码解码器的高效SAR图像船舶目标检测方法，其特征在于，所述步骤C具体包括以下步骤：
步骤C1、对于边界框位置回归损失，采用L1损失函数，公式如下所示：
Figure FDA0003212335910000038
Figure FDA0003212335910000041
其中，σ(x,y)表示像素点(x,y)处是否为正样本，即是否属于其中一船舶，lbox表示边界框回归损失，w和h分别表示船舶图像的宽度和高度，P(x,y)表示在(x,y)处的边界框位置标签，
Figure FDA00032123359100000410
表示在(x,y)处预测的边界框位置表示(t，b，l，r)，即网络输出的第2-5维构成的图；
步骤C2、对于船舶角度损失，同样采用L1损失函数，公式如下所示：
Figure FDA0003212335910000042
其中，Lα表示船舶角度损失，V(x,y)表示在(x,y)处的船舶角度标签，
Figure FDA00032123359100000411
表示在(x,y)处预测的船舶角度，即网络输出的第6维构成的图；
步骤C3、为计算船舶目标置信度损失，首先构造每一幅SAR图像的船舶置信度标签图T；T的计算公式如下：
Figure FDA0003212335910000043
Figure FDA0003212335910000044
其中，A(x,y)表示像素点(x,y)所属的船舶D(x,y)边界框标签所包含的范围，
Figure FDA0003212335910000045
表示在位置(x,y)预测的船舶边界框所包含的范围，iou则是A和
Figure FDA0003212335910000046
的交并比，V(x,y)表示在(x,y)处的船舶角度标签，
Figure FDA0003212335910000047
表示在(x,y)处预测的船舶角度；
船舶目标置信度损失使用Generalized Focal Loss计算船舶目标置信度损失，公式如下所示：
Figure FDA0003212335910000048
其中，Lobj表示船舶置信度损失，T表示船舶置信度标签图，
Figure FDA0003212335910000049
是网络预测的船舶置信度图，即网络输出的第1维构成的图，μ表示可调节的超参数；
步骤C4、训练目标检测网络的总损失函数公式如下：
L＝λ1Lbox+λ2Lα+λ3Lobj
其中，λ1、λ2和λ3分别表示边界框损失、船舶角度损失和船舶置信度损失的权重参数。
5.根据权利要求1所述的一种基于编码解码器的高效SAR图像船舶目标检测方法，其特征在于，所述步骤D具体包括以下步骤：
步骤D1、优化目标检测网络的学习率采用余弦衰减函数，随着每轮迭代动态下降，公式如下所示：
Figure FDA0003212335910000051
其中，lrbase表示初始学习率，lrf用于调节学习率衰减的幅度，指定学习率所能衰减到的最低值，x表示训练过程中当前迭代轮数，N表示总迭代轮数；
同时，使用指数加权平均优化权重参数，公式如下所示：
wt×βwt-1+(1-β)vt
其中，vt表示第t个批次训练和优化后的权重参数，wt-1表示第t-1个批次训练和优化后的加权平均权重参数，wt表示第t个批次训练和优化后的加权平均权重参数，β表示可调节的超参数；
步骤D2、训练目标检测网络模型，将步骤A数据增强后的图像数据输入到目标检测网络中，每个位置输出维度为6的结果向量，表示目标置信度，船舶坐标以及船舶角度，将结果与标签一一对应，根据步骤C计算损失函数，然后通过反向传播计算梯度，优化目标检测网络，保存训练好的目标检测网络模型。
6.根据权利要求1所述的一种基于编码解码器的高效SAR图像船舶目标检测方法，其特征在于，所述步骤E具体实现过程为：将测试集中待测的SAR船舶图像输入到训练好的目标检测网络，得到船舶检测结果，再使用非极大值抑制将冗余和质量差的检测框过滤掉，得到最终船舶目标检测框。
CN202110935194.4A 2021-08-16 2021-08-16 基于编码解码器的高效sar图像船舶目标检测方法 Active CN113657252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110935194.4A CN113657252B (zh) 2021-08-16 2021-08-16 基于编码解码器的高效sar图像船舶目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110935194.4A CN113657252B (zh) 2021-08-16 2021-08-16 基于编码解码器的高效sar图像船舶目标检测方法

Publications (2)

Publication Number Publication Date
CN113657252A true CN113657252A (zh) 2021-11-16
CN113657252B CN113657252B (zh) 2023-07-28

Family

ID=78479145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110935194.4A Active CN113657252B (zh) 2021-08-16 2021-08-16 基于编码解码器的高效sar图像船舶目标检测方法

Country Status (1)

Country Link
CN (1) CN113657252B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419395A (zh) * 2022-01-20 2022-04-29 江苏大学 基于中间位置编码的在线目标检测模型训练方法
CN115834890A (zh) * 2023-02-08 2023-03-21 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像压缩方法、装置、设备及存储介质
CN116823838A (zh) * 2023-08-31 2023-09-29 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389366A (zh) * 2019-08-05 2019-10-29 中国人民解放军军事科学院国防科技创新研究院 一种基于多源sar卫星的海上目标运动估计方法
US20210003700A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for enhancing semantic features of sar image oriented small set of samples
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112528974A (zh) * 2021-02-08 2021-03-19 成都睿沿科技有限公司 测距方法、装置、电子设备及可读存储介质
CN112597815A (zh) * 2020-12-07 2021-04-02 西北工业大学 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210003700A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for enhancing semantic features of sar image oriented small set of samples
CN110389366A (zh) * 2019-08-05 2019-10-29 中国人民解放军军事科学院国防科技创新研究院 一种基于多源sar卫星的海上目标运动估计方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112597815A (zh) * 2020-12-07 2021-04-02 西北工业大学 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN112528974A (zh) * 2021-02-08 2021-03-19 成都睿沿科技有限公司 测距方法、装置、电子设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁欣: "合成孔径雷达船舶目标检测的算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 1 - 73 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419395A (zh) * 2022-01-20 2022-04-29 江苏大学 基于中间位置编码的在线目标检测模型训练方法
CN115834890A (zh) * 2023-02-08 2023-03-21 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像压缩方法、装置、设备及存储介质
CN115834890B (zh) * 2023-02-08 2023-04-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像压缩方法、装置、设备及存储介质
CN116823838A (zh) * 2023-08-31 2023-09-29 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN116823838B (zh) * 2023-08-31 2023-11-14 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统

Also Published As

Publication number Publication date
CN113657252B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN113657252A (zh) 基于编码解码器的高效sar图像船舶目标检测方法
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN112766221B (zh) 基于船舶方向和位置多任务的sar图像船舶目标检测方法
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN114724022B (zh) 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质
CN113052180A (zh) 融合语义流场的编解码网络港口影像分割方法
CN113705371A (zh) 一种水上视觉场景分割方法及装置
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
CN112487912A (zh) 基于改进YOLOv3的任意方向舰船检测方法
CN116468995A (zh) 一种联合slic超像素和图注意力网络的声呐图像分类方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
Stephens et al. Using three dimensional convolutional neural networks for denoising echosounder point cloud data
CN116071664A (zh) 基于改进CenterNet网络的SAR图像舰船检测方法
CN113569720B (zh) 一种舰船检测方法、系统及装置
Al-Saad et al. Airbus ship detection from satellite imagery using frequency domain learning
Huang et al. A novel method for real-time ATR system of AUV based on Attention-MobileNetV3 network and pixel correction algorithm
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN113610178A (zh) 一种基于视频监控图像的内河船舶目标检测方法和装置
Ding et al. Sw-YoloX: An anchor-free detector based transformer for sea surface object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant