CN111914924A - 一种快速舰船目标检测方法、存储介质及计算设备 - Google Patents

一种快速舰船目标检测方法、存储介质及计算设备 Download PDF

Info

Publication number
CN111914924A
CN111914924A CN202010738960.3A CN202010738960A CN111914924A CN 111914924 A CN111914924 A CN 111914924A CN 202010738960 A CN202010738960 A CN 202010738960A CN 111914924 A CN111914924 A CN 111914924A
Authority
CN
China
Prior art keywords
convolution
layer
feature
value
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010738960.3A
Other languages
English (en)
Other versions
CN111914924B (zh
Inventor
唐旭
杨钰群
马晶晶
张向荣
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010738960.3A priority Critical patent/CN111914924B/zh
Publication of CN111914924A publication Critical patent/CN111914924A/zh
Application granted granted Critical
Publication of CN111914924B publication Critical patent/CN111914924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种快速舰船目标检测方法、存储介质及计算设备,构建结构依次为输入层、特征提取层、特征融合层和输出层的特征金字塔全卷积网络及双分支模块,确定舰船数据集,将生成的训练集输入到构建的特征金字塔全卷积网络中,生成目标检测结果。本发明能够快速准确的将图像中的舰船检测出来;检测结果精准快速,嵌入设备要求低,在军事、民用等各个方面都有着非常高的实际应用价值。

Description

一种快速舰船目标检测方法、存储介质及计算设备
技术领域
本发明属于图像处理技术领域,具体涉及一种基于特征金字塔和区域中心矫正的快速舰船目标检测方法、存储介质及计算设备。
背景技术
随着各国航空航天技术和传感器技术的飞速发展,人类可获取的遥感影像数据规模不断增大,影像质量不断增强。相比传统的低分辨率遥感影像,高分辨率遥感影像背景布局复杂,能够表达更多地纹理结构和空间布局等精细信息。高分辨率遥感影像中典型的地物目标为飞机、舰船和建筑等,这些目标颜色、形状等外观不尽相同,且具有方向和位置变化大等特点。高分辨率遥感影像目标检测广泛应用于军事监测,资源勘探等多个领域。如何对大数据量的高分辨率遥感影像进行目标识别已经成为遥感科学与技术领域的重要研究内容。但高分辨率图像的语义复杂性给目标检测的研究带来了巨大的挑战,随着中国科技的日益提高,航母舰队等舰船的规模也在日益壮大,为保护国家安全、维护社会稳定,面向舰船的目标检测将在军事领域起着至关重要的作用,实时且精准的定位可以使的我国军方及时的了解到敌方舰船的动向,从而制定正确的作战计划。海上舰船作为海上检测和战时打击的重要目标,能否快速准确地识别海战场舰船目标的战术意图,为指挥员决策提供支持,极大地关系到战斗成败。这使得对于遥感影像中舰船的的检测精度与速度亟待提升。
基于数据集HRSC2016,现阶段针对舰船的具有较高MAP的目标检测方法如R2CNN、RC1&RC2、RRPN、R2PN、RetinaNet-H、RRD、RetinaNet-R、RoI-Transformer、R3Det等,在改变输入图片的大小,或提高GPU性能的情况下,因其采用的主干网络(如Resnet101、Resnet50等)过深或中间处理处理过程过于繁琐,其每秒处理的图片数即帧率(FPS)均低于25。但通过实验发现,卷积层数较少的主干网络(如Resnet18、Resnet34等)的性能尚未得到充分挖掘,故通过加强训练的方法,充分挖掘主干网络的性能,使得通过卷积层较少的主干网络即可获得与深卷积网络的相似的甚至更高的性能。且由于是一阶段、主干网络较浅,故本方法在GPU为GTX 1080配置下的FPS平均在48,且具有很高的MAP(88.4%)。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于特征金字塔和区域中心矫正的快速舰船目标检测方法、存储介质及计算设备,通过强化训练分类分支、对定位分支通过拟合少量目标框,加强网络拟合能力,在浅层网络的上便可获得高性能。
本发明采用以下技术方案:
一种快速舰船目标检测方法,包括以下步骤:
S1、构建结构依次为输入层、特征提取层、特征融合层和输出层的特征金字塔全卷积网络及双分支模块,输入层由Resnet模型的首个卷积层和池化层组成;特征提取层由四层卷积组成的Resnet模型,每层由多个全卷积模块串联而成;特征融合层由从Resnet的四层特征与通过两个步长为2的卷积得到的一层特征通过前层特征上采样与后层特征级联的策略融合而成;输出层由几个单卷积层串联构成,设置特征金字塔全卷积网络的参数;
S2、确定舰船数据集,数据集中每张图像包含目标或背景,原始数据集中每张图像的标签有所有目标的类别及目标框的表示参数;将每张图像调整大小为512*512,再将每个像素点除以255进行归一化后,再通过减均值除以标准差进行标准化后处理为训练集;通过图像的目标框标签生成大小为128*128*1的分割掩码图1,框内像素点值为1,框外像素点值为0;通过图像的目标框标签生成大小为128*128*1的分割掩码图2,框内由目标中心向框内边界的像素点的值为由1到0,框外像素点值为0;通过图像的目标框标签生成大小为128*128*5的目标标签信息,框内的每个点的5个通道分别为中心点的x轴坐标、中心点的y轴坐标、目标的宽、目标的高、目标与x轴负方向的偏转角;
S3、将步骤S2生成的训练集输入到步骤S1构建的特征金字塔全卷积网络中,将从分类分支第一个通道输出的特征图作为网络预测的分割掩码图,取大于设定阈值的点作为可信点,分支第二个通道输出的特征图的每个像素点值将作为定位分支对应点5个通道所对应预测框的分数,从定位分支输出的特征图的第一、二、三、四、五个通道作为网络预测的目标框,第七、八个通道用于目标的中心矫正,每个通道输出的特征与对应标签通过对应的损失函数生成损失值从而更新网络;使用Adam优化算法,迭代地更新网络权重值,直到损失函数收敛,训练特征金字塔全卷积网络及双分支模块;
S4、生成目标检测结果。
具体的,步骤S1中,Resnet模型中四层多个串联全卷积模块中,有两种全卷积模块,第一种全卷积模块名为BasicBlock,BasicBlock中第一和第二个卷积的卷积核大小为3×3个像素,第三个降采样卷积的卷积核大小为1×1个像素,第一和第三个卷积的步长在第二、三、四层为2×2个像素;第二个卷积的步长为1×1个像素;第二种全卷积模块名为Bottleneck,Bottleneck的第二个卷积的卷积核大小为3×3个像素,第一、第三和第四个卷积的卷积核大小为1×1个像素,第一和第三个卷积的步长为1×1个像素,第二和第四个卷积的步长在第二、三、四层为2×2个像素。
具体的,步骤S1中,输入层与特征提取层与Resnet模型相同;对从特征提取层获取的四层特征进行卷积的卷积核均设置为:核大小为1×1个像素,步长为1×1个像素、输出通道数为64;对图像进行卷积的两个步长为2的卷积参数均设置为:核大小为3×3个像素,步长为2×2个像素、填充为1×1个像素,输出通道数为64;特征融合层中,对前三个级联的多层特征进行卷积的卷积核参数均设置为:核大小为3×3个像素,步长为1×1个像素,填充为1×1个像素,输出通道数为64;输出层中,对最后一个级联的多层特征进行卷积的卷积核设置为:核大小为3×3个像素,步长为1×1个像素,填充为1×1个像素,输出通道数为128;输出层中,对于分类分支的卷积核设置为:核大小为1×1个像素,步长为1×1个像素,输出通道数为2;输出层中,对于定位分支的卷积核设置为:核大小为1×1个像素,步长为1×1个像素,输出通道数为7;上采样方法为2倍上采样的最近邻算法。
进一步的,特征提取层选择不同的全卷积模块,若选择BasicBlock,则从第一、二、三、四层提取出的特征图的通道分别为64、128、256、512;若选择Bottleneck,则从第一、二、三、四层提取出的特征图的通道分别为256、512、1024、2048。
进一步的,特征融合层将由Resnet得来的四个特征由核大小为1×1、步长为1×1的卷积核卷积为64通道的特征;四个特征与由图像经由两层卷积得来的特征构成五个待融合特征,每次融合前根据每层的尺度对前一层特征进行上采样。
进一步的,总损失Loss用于更新网络参数,具体为:
Loss=Lossclass1+Lossclass2+Lossxywht
输出层中,对于分类分支的卷积核输出的2通道,第一个通道用于生成分割掩码图1,其损失函数为交叉熵,将交叉熵的值作为损失值,交叉熵Lossclass1如下:
Figure BDA0002606133200000051
其中,
Figure BDA0002606133200000052
代表将分割掩码图1中的目标区域缩减至原大小的0.7所生成的分割掩码图上某点的值,
Figure BDA0002606133200000053
代表分割掩码图1的对应点的值,y代表第一通道的输出对应点的结果,y'代表从y中取值,大于阈值的点值不变,小于阈值的点值置为0;
二个通道用于生成分割掩码图2,其损失函数为交叉熵,将交叉熵的值作为损失值,交叉熵Lossclass2如下:
Figure BDA0002606133200000054
c=bs/is
c1=Sigmoid((1-c)*2-1),c2=Sigmoid((c)*2-1)
其中,
Figure BDA0002606133200000055
代表分割掩码图2上的点值,y代表第二通道对应点的输出值,bs代表图片中目标所占面积,is代表图像的总面积,Sigmoid代表逻辑斯谛函数;
第一、二、三、四、五、六、七通道的损失函数如下:
Figure BDA0002606133200000061
Figure BDA0002606133200000062
Figure BDA0002606133200000063
Figure BDA0002606133200000064
Figure BDA0002606133200000065
lw=log'(f3,gw)
lh=log'(f4,gh)
lt=(f5-gt)×10
Figure BDA0002606133200000066
其中,fi代表从第i个通道的输出,i=1,2,3,4,5,6,7,gx,gy,gw,gh,gt分别代表目标中心点的x轴坐标、中心点的y轴坐标、宽、高、相对于x轴负方向的偏转角。
具体的,步骤S3中,使用Adam优化算法进行迭代具体为:
S3021、按照数据集的给定拆分方法,将整个数据集分为训练集与测试集;
S3022、从划分后的训练集中取任意一份未选过的图像,将其输入到特征金字塔全卷积网络中,利用权值更新公式更新网络的权重值;
S3023、从划分后的训练集中取任意一份未选过的图像,将所选图像输入到特征金字塔全卷积网络,对权重值更新后的损失函数loss值进行更新。
具体的,步骤S4中,将每幅待检测图像均拉伸至512*512大小,将对应的标签根据拉伸比例进行调整,再将每个像素点除以255进行归一化后,通过减均值除以标准差进行标准化后输入到训练好的特征金字塔全卷积网络及二分支模块生成所需特征,将从二分类通道的第一个通道获得的分数预测图,加阈值筛选,将筛选出的点通过第七八个通道的输出进行多次矫正后,获得距离目标中心最近的部分点,将部分点预测的目标框通过NMS进行筛选,获得最终的检测结果。
本发明的另一个技术方案是,一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据所述的方法中的任一方法。
本发明的另一个技术方案是,一种计算设备,包括:
一个或多个处理器、存储器及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据所述的方法中的任一方法的指令。
与现有技术相比,本发明至少具有以下有益效果:
本发明基于特征金字塔和区域中心矫正的快速舰船目标检测方法,构建特征金字塔网络与两分支模块,将网络的多层次多尺度特征进行了融合,通过多任务同时训练、数据增强、平衡正负样本数量、充分开发该卷积网络的潜能,使得通过浅层的主干网络即可得到较好的训练结果,克服了现有技术仅通过增加网络深度来获取网络的性能而使得网络的性能过剩,参数量过多的难题。使得本发明获得更快更精准的结果,将该发明移植到低性能低存储设备上的可行性大大增加,由于本发明构建并利用定位模块中的两通道用于中心校正,其他通道用于检测框表示,在训练时围绕中心点的部分点进行精确的位置预测和宽高及偏转角预测,船体所有点即用于中心矫正的点仅预测粗略的位置。在通过多次的粗略的矫正后,选择中心周围5*5个像素点进行预测目标框的参数,可以有效的去除无用框,增加检测框的精度,减少网络拟合框的数量,更好的学习目标特征,加速筛选速度,加速训练速度。克服了现有技术中因网络对大量的低可信度目标框进行拟合,造成网络负担的加重、学习能力减弱的难题。使得本发明获得可信度更高的预测框,提高了检测精度。
进一步的,Resnet已经经过很多人的检验,证实是一个性能非常优秀的基础网络,选用两种全卷积模块构成Resnet进行此实验,一、可以保证在网络层数很浅的时候依旧能够获得丰富的特征,二、这两种全卷机模块的参数量比较小,且运行速度快,可以减小存储消耗的同时,加快检测速度。
进一步的,特征金字塔全卷积网络的设置目的是获得充分结合多尺度多层次信息的特征,这将为目标检测的性能带来较高的提升;双分支模块的设置的目的,一、为了能够将两种不同抽象意义的任务尽量分开,保证各自都能获得好的表现。二、分类分支用来为定位分支提供获精准预测框的特征点的位置与分数,三、定位分支可以经过多次中心矫正,在定位的特征图上找到能够准确表示目标的预测框。
进一步的,特征提取层主要是通过ResNet的多层全卷积模块与两个单卷积核来提取不同尺度,不同层次的特征,高层次的特征所代表的的信息一般更加抽象化、整体化,低层次的特征所代表的的信息一般更加具体化、局部化。将不同层次的特征提取出来通过特征融合层更加有益于检测舰船。
进一步的,特征融合层的设置目的是充分并且合理地融合多尺度多层次的特征。特征融合层将从特征提取层提取出来的特征依照从高到低,由深及浅的顺序进行融合,使最后融合出的特征可以包好多种层次多种尺度的信息,对同一数据集中舰船尺度变化比较大的检测更有益处,同时也增加了网络对舰船各种层次信息的理解能力。
进一步的,由于本发明为分类分支的两个通道构建了不同的标签,其中一条通路标签的构造方法特殊使得网络训练能够更加契合目标检测中中心点获取的需求,且对另一条通路所用的交叉熵进行特殊处理,巧妙的平衡了正负样本。所用标签将目标框缩小到0.7倍,使得指导网络的正样本点更多的落在目标上。克服了现有技术中通过目标级标签生成像素级伪标签时杂质过多的难题,克服了现有技术中因分类分支的正负样本数量差距较大,导致交叉熵难以平衡的问题。使得网络的获得更加明确的分类,提高了网络的分类识别能力。
进一步的,Adam优化算法具有以下优势:实现简单,计算高效,对内存需求少;参数的更新不受梯度的伸缩变换影响;超参数具有很好的解释性,且通常无需调整或仅需很少的微调;更新的步长能够被限制在大致的范围内(初始学习率);能自然地实现步长退火过程(自动调整学习率);很适合应用于大规模的数据及参数的场景;适用于不稳定目标函数;适用于梯度稀疏或梯度存在很大噪声的问题。
综上所述,本发明构建了一种快速且准确的多方向的舰船检测模型,能够快速准确的将图像中的舰船检测出来,检测结果精准快速,嵌入设备要求低,在军事、民用等各个方面都有着非常高的实际应用价值。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程图;
图2为本发明的特征金字塔全卷积网络及两分支模块示意图。
具体实施方式
本发明提供了一种基于特征金字塔和区域中心矫正的快速舰船目标检测方法,搭建一个特征金字塔全卷积网络及双分支模块;生成训练集;训练特征金字塔全卷积网络及双分支模块;将待检测的数据输入网络,生成目标检测结果;本发明通过强化训练分类分支、对定位分支通过拟合少量目标框,加强网络拟合能力,在浅层网络的上便可获得高性能。达到了高实时性高准确率的效果,可用于从舰船或其他数据集图像中非常快速的准确的检测出目标的目标框以得到目标标注。
请参阅图1,本发明一种基于特征金字塔和区域中心矫正的快速舰船目标检测方法,包括以下步骤:
S1、构建特征金字塔全卷积网络及双分支模块
S101、搭建一个特征金字塔全卷积网络及双分支模块,其结构依次为:输入层→特征提取层→特征融合层→输出层;
输入层由Resnet模型的首个卷积层和池化层组成;
特征提取层是由四层卷积组成的Resnet模型,每层由多个全卷积模块串联而成;
特征融合层由从Resnet的四层特征与通过两个步长为2的卷积得到的一层特征通过前层特征上采样与后层特征级联的策略融合而成;
输出层由几个单卷积层串联构成;
Resnet模型中四层多个串联全卷积模块中,有两种全卷积模块可供选择。第一种全卷积模块名为BasicBlock,其第一、二个卷积的卷积核大小为3×3个像素,第三个降采样卷积的卷积核大小为1×1个像素,第一、三个卷积的步长在第二、三、四层为2×2个像素。第二个卷积的步长为1×1个像素。第二种全卷积模块名为Bottleneck,其第二个卷积的卷积核大小为3×3个像素,第一、三、四个卷积的卷积核大小为1×1个像素,第一、三个卷积的步长为1×1个像素,第二、四个卷积的步长在第二、三、四层为2×2个像素。该模型的部分组合已在Imagenet数据集上预训练,其权重可以作为初始值。
请参阅图2,搭建的特征金字塔结构采用的融合策略是后层特征级联上采样对应次数的前几层特征。通过双卷积获得的特征作为第一层,从Resnet网络四层卷积中获得的四层特征作为第二、三、四、五层特征;融合流程如下:将第五层特征上采样与第四层特征级联通过卷积、上采样后生成尺度与第三层特征一样的特征,将该特征与上采样两次的第五层特征、上采样一次的第四层特征、第三层特征进行融合并进行卷积、上采样后生成尺度与第二层特征一样的特征,将该特征与上采样三次的第五层特征、上采样两次的第四层特征、上采样一次的第三层特征、第二层特征进行融合并进行卷积后生成尺度与第一层特征一样的特征,将该特征与上采样三次的第五层特征、上采样两次的第四层特征、上采样一次的第三层特征、第二层特征、第一层特征进行融合并进行卷积后生成所需的提取特征。
S102、设置特征金字塔全卷积网络的参数
输入层与特征提取层与Resnet模型相同;
对从特征提取层获取的四层特征进行卷积的卷积核均设置为:核大小为1×1个像素,步长为1×1个像素、输出通道数为64;
特征提取层选择不同的全卷积模块,若选择BasicBlock,则从第一、二、三、四层提取出的特征图的通道分别为64、128、256、512;若选择Bottleneck,则从第一、二、三、四层提取出的特征图的通道分别为256、512、1024、2048。
对图像进行卷积的两个步长为2的卷积参数均设置为:核大小为3×3个像素,步长为2×2个像素、填充为1×1个像素,输出通道数为64;
特征融合层中,对前三个级联的多层特征进行卷积的卷积核参数均设置为:核大小为3×3个像素,步长为1×1个像素,填充为1×1个像素,输出通道数为64;
特征融合层将由Resnet得来的四个特征由核大小为1×1、步长为1×1的卷积核卷积为64通道的特征;这四个特征与由图像经由两层卷积得来的特征构成五个待融合特征。每次融合前根据每层的尺度对前一层特征进行上采样。
输出层中,对最后一个级联的多层特征进行卷积的卷积核设置为:核大小为3×3个像素,步长为1×1个像素,填充为1×1个像素,输出通道数为128;
输出层中,对于分类分支的卷积核设置为:核大小为1×1个像素,步长为1×1个像素,输出通道数为2;
输出层中,对于分类分支的卷积核输出的2通道。
第一个通道用于生成分割掩码图1,其损失函数为交叉熵,将交叉熵的值作为损失值,该交叉熵计算如下:
Figure BDA0002606133200000121
其中,
Figure BDA0002606133200000122
代表分割掩码图1中的目标区域缩减至原大小的0.7,
Figure BDA0002606133200000123
代表将分割掩码图1,y代表第一通道的输出值,y'代表从y中取大于某阈值的点值不变,小于某阈值的点值置为0,n代表所有特征点的数目。
二个通道用于生成分割掩码图2,其损失函数为交叉熵,将交叉熵的值作为损失值,该交叉熵计算如下:
Figure BDA0002606133200000124
Figure BDA0002606133200000125
Figure BDA0002606133200000126
其中,
Figure BDA0002606133200000127
代表分割掩码图2,y代表第二通道的输出值,n代表c=1的特征点的数目加上正样本所占特征点的数目,P(c=1)与P(c=0)分别代表c=0或1的概率。
输出层中,对于定位分支的卷积核设置为:核大小为1×1个像素,步长为1×1个像素,输出通道数为7;
输出层中,对于定位分支的卷积核输出的7通道,第一、二个通道与第六、七个通道用于生成目标的中心点相对于当前的位置的偏移量,第三、四个通道用于生成目标的宽与高,第五个通道生成目标框相对于X轴的偏移量,对应的标签为(2f),其中第一、二、三、四、五通道对应的目标区域是目标中心点周围5*5像素区域,第六、七通道对应的目标区域为整个目标区域。
第一、二、三、四、五、六、七通道的损失函数如下:
Figure BDA0002606133200000131
Figure BDA0002606133200000132
Figure BDA0002606133200000133
Figure BDA0002606133200000134
Figure BDA0002606133200000135
lw=log'(f3,gw)
lh=log'(f4,gh)
lt=(f5-gt)×10
Figure BDA0002606133200000136
其中,fi代表从第i个通道的输出,i=1,2,3,4,5,6,7。gx,gy,gw,gh,gt分别代表目标中心点的x轴坐标、中心点的y轴坐标、宽、高、相对于x轴负方向的偏转角。
上采样方法为2倍上采样的最近邻算法;
总损失Loss用于更新网络参数,具体为:
Loss=Lossclass1+Lossclass2+Lossxywht
S2、生成训练集
S201、采用HRSC2016舰船数据集,训练集436张图像,测试集453张图像,共889张图像,每张图像包含目标或背景,原始数据集中每张图像的标签有所有目标的类别及目标框的表示参数;
S202、将每张图像调整大小为512*512,目标框的表示参数随比例进行变化,再将每个像素点除以255进行归一化后,再通过减均值除以标准差进行标准化后处理为训练集。
S203、通过图像的目标框标签生成大小为128*128*1的分割掩码图1,框内像素点值为1,框外像素点值为0;
S204、通过图像的目标框标签生成大小为128*128*1的分割掩码图2,框内越接近目标中心的点的值越接近1,远离目标中心的点的值越接近0,框外像素点值为0;
S205、通过图像的目标框标签生成大小为128*128*5的目标标签信息,框内的每个点的5个通道分别为中心点的x轴坐标、中心点的y轴坐标、目标的宽、目标的高、目标与x轴负方向的偏转角。
S3、训练特征金字塔全卷积网络及双分支模块
S301、将训练集输入到特征金字塔全卷积网络中,将从分类分支第二个通道输出的特征图作为网络预测的分割掩码图,取大于设定阈值的点作为可信点,将从定位分支输出的特征图的第一、二、三、四、五个通道作为网络预测的目标框,第七、八个通道用于目标的中心矫正,每个通道输出的特征与对应标签通过对应的损失函数生成苏损失值从而更新网络;
S302、使用Adam优化算法,迭代地更新网络权重值,直到损失函数收敛,得到训练好的特征金字塔全卷积网络;
S3021、按照数据集的给定拆分方法,将整个数据集分为训练集与测试集;
S3022、从划分后的训练集中取任意一份未选过的图像,将其输入到特征金字塔全卷积网络中,利用下述权值更新公式,更新该网络的权重值:
Figure BDA0002606133200000151
其中,Wnew为更新后的权重值,W为特征金字塔全卷积网络的初始权重值,L为特征金字塔全卷积网络训练的学习率,该学习率的取值范围为[0.001-0.00001],*表示相乘操作,
Figure BDA0002606133200000152
表示求偏导操作;
S3023、从划分后的训练集中取任意一份未选过的图像,将所选图像输入到特征金字塔全卷积网络,对权重值更新后的损失函数loss值进行更新。
S4、生成检测结果
将每幅待检测图像均拉伸至512*512大小,将对应的标签根据拉伸比例进行调整,再将每个像素点除以255进行归一化后,通过减均值除以标准差进行标准化后输入到训练好的特征金字塔全卷积网络及二分支模块生成所需特征,将从二分类通道的第一个通道获得的分数预测图,加阈值筛选,将筛选出的点通过第七八个通道的输出进行多次矫正后,获得距离目标中心最近的部分点,将该部分点预测的目标框通过NMS进行筛选,获得最终的检测结果。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
1.仿真条件:
本发明的仿真实验的硬件平台为:CPU为Intel(R)Xeon(R)CPU E5-2630v4主频为2.20GHz,内存64GB,GPU为NVIDIA GeForce GTX 1080。
本发明的仿真实验的软件平台为:Ubuntu操作系统和python3.6。
2.仿真内容与结果分析:
本发明的仿真实验是采用本发明和两个现有技术(Resnet,特征金字塔)使用训练图像分别对构建的特征金字塔全卷积网络及双分支模块进行训练。使用训练好的特征金字塔全卷积网络及双分支模块对待检测图像进行检测,获得测试机436张图的目标检测结果。
本发明仿真实验所使用的训练图像和测试图像均为HRSC2016数据集,该数据集包含来自两个场景的图像:海上船只和近岸船只。所有的图像都是从六个著名的港口收集的,图像大小从300×300到1500×900不等。训练、验证和测试集分别包括436幅图像、181幅图像和444幅图像。
在仿真实验中,采用的两个现有技术是指:
现有主干网络是Deep Residual Learning for Image Recognition中提出的网络模型,该网络模型解决了深层神经网络的退化问题、解决了深层网络梯度消失的问题,且提供了多种卷积层数不同的变体,简称Resnet。
现有特征融合方法是Position Detection and Direction Prediction forArbitrary-Oriented Ships via Multitask Rotation Region Convolutional NeuralNetwork中提出的特征金字塔融合方法,将多层次多尺度特征进行融合,提供多种信息,简称特征金字塔。
利用两个评价指标(MAP,FPS)分别对HRSC2016数据集的测试结果进行评价。利用下面方法及参数(精度Precision,召回率Recall,PR曲线,AP)计算,将计算结果绘制成表1:
Figure BDA0002606133200000171
其中,TP为正样本被正确识别为正样本。TN为负样本被正确识别为负样本。FP为负样本被错误识别为正样本。FN为正样本被错误识别为负样本。PR曲线为改变识别阈值,使得系统依次能够识别前K张图片,阈值的变化同时会导致Precision与Recall值发生变化,从而得到曲线。AP为Precision-recall曲线下面的面积。MAP为多个类别AP的平均值。FPS为模型每秒处理的图片数。
表1本发明与现有部分目标检测模型在HRSC2016数据集性能评价表
Figure BDA0002606133200000172
Figure BDA0002606133200000181
其中,R2CNN为R2cnn:rotational region cnn for orientation robust scenetext detection方法。RC1&RC2为A high resolution optical satellite image datasetfor ship recognition and some new baselines方法。RRPN为Arbitrary-orientedscene text detection via rotation proposals方法。R2PN为Toward arbitrary-oriented ship detection with rotated region proposal and discriminationnetworks方法。RRD为Rotation-sensitive regression for oriented scene textdetection方法。RoI-Transformer为Learning roi transformer for oriented objectdetection in aerial images方法。SARD为Towards Scale-Aware Rotated ObjectDetection in Aerial Imagery方法。
结合表1可以看出,本发明在速度上远超其他方法,且MAP亦高于其他7个方法,证明本发明可以得到更高检测性能。
综上所述,本发明利用搭建的特征金字塔网络及双分支模块,能够更好的判断目标所在位置及目标参数,特征金字塔使得网络的提取的特征能够更好的利用多尺度多层次的信息,分类分支通过目标级标签设计的伪像素级标签、能够更好平衡正负样本的损失函数更新网络,能够获得更好的分类性能。定位分支通过设计的中心矫正以及将目标中心附近的少量样本点进行拟合目标框的方法,使得网络所需拟合的目标框数大量减少,提高了拟合能力。在保证主干网络较小的情况下获得高FPS的同时获得高MAP,是一种非常实用的目标检测方法。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种快速舰船目标检测方法,其特征在于,包括以下步骤:
S1、构建结构依次为输入层、特征提取层、特征融合层和输出层的特征金字塔全卷积网络及双分支模块,输入层由Resnet模型的首个卷积层和池化层组成;特征提取层由四层卷积组成的Resnet模型,每层由多个全卷积模块串联而成;特征融合层由从Resnet的四层特征与通过两个步长为2的卷积得到的一层特征通过前层特征上采样与后层特征级联的策略融合而成;输出层由几个单卷积层串联构成,设置特征金字塔全卷积网络的参数;
S2、确定舰船数据集,数据集中每张图像包含目标或背景,原始数据集中每张图像的标签有所有目标的类别及目标框的表示参数;调整每张图像的大小,再将每个像素点进行归一化,再通过减均值除以标准差进行标准化后处理为训练集;通过图像的目标框标签生成大小为128*128*1的分割掩码图1,框内像素点值为1,框外像素点值为0;通过图像的目标框标签生成大小为128*128*1的分割掩码图2,框内由目标中心向框内边界的像素点的值为由1到0,框外像素点值为0;通过图像的目标框标签生成大小为128*128*5的目标标签信息,框内的每个点的5个通道分别为中心点的x轴坐标、中心点的y轴坐标、目标的宽、目标的高、目标与x轴负方向的偏转角;
S3、将步骤S2生成的训练集输入到步骤S1构建的特征金字塔全卷积网络中,将从分类分支第一个通道输出的特征图作为网络预测的分割掩码图,取大于设定阈值的点作为可信点,分支第二个通道输出的特征图的每个像素点值将作为定位分支对应点5个通道所对应预测框的分数,从定位分支输出的特征图的第一、二、三、四、五个通道作为网络预测的目标框,第七、八个通道用于目标的中心矫正,每个通道输出的特征与对应标签通过对应的损失函数生成损失值从而更新网络;使用Adam优化算法,迭代地更新网络权重值,直到损失函数收敛,训练特征金字塔全卷积网络及双分支模块;
S4、生成目标检测结果。
2.根据权利要求1所述的方法,其特征在于,步骤S1中,Resnet模型中四层多个串联全卷积模块中,有两种全卷积模块,第一种全卷积模块名为BasicBlock,BasicBlock中第一和第二个卷积的卷积核大小为3×3个像素,第三个降采样卷积的卷积核大小为1×1个像素,第一和第三个卷积的步长在第二、三、四层为2×2个像素;第二个卷积的步长为1×1个像素;第二种全卷积模块名为Bottleneck,Bottleneck的第二个卷积的卷积核大小为3×3个像素,第一、第三和第四个卷积的卷积核大小为1×1个像素,第一和第三个卷积的步长为1×1个像素,第二和第四个卷积的步长在第二、三、四层为2×2个像素。
3.根据权利要求1所述的方法,其特征在于,步骤S1中,输入层与特征提取层与Resnet模型相同;对从特征提取层获取的四层特征进行卷积的卷积核均设置为:核大小为1×1个像素,步长为1×1个像素、输出通道数为64;对图像进行卷积的两个步长为2的卷积参数均设置为:核大小为3×3个像素,步长为2×2个像素、填充为1×1个像素,输出通道数为64;特征融合层中,对前三个级联的多层特征进行卷积的卷积核参数均设置为:核大小为3×3个像素,步长为1×1个像素,填充为1×1个像素,输出通道数为64;输出层中,对最后一个级联的多层特征进行卷积的卷积核设置为:核大小为3×3个像素,步长为1×1个像素,填充为1×1个像素,输出通道数为128;输出层中,对于分类分支的卷积核设置为:核大小为1×1个像素,步长为1×1个像素,输出通道数为2;输出层中,对于定位分支的卷积核设置为:核大小为1×1个像素,步长为1×1个像素,输出通道数为7;上采样方法为2倍上采样的最近邻算法。
4.根据权利要求3所述的方法,其特征在于,特征提取层选择不同的全卷积模块,若选择BasicBlock,则从第一、二、三、四层提取出的特征图的通道分别为64、128、256、512;若选择Bottleneck,则从第一、二、三、四层提取出的特征图的通道分别为256、512、1024、2048。
5.根据权利要求3所述的方法,其特征在于,特征融合层将由Resnet得来的四个特征由核大小为1×1、步长为1×1的卷积核卷积为64通道的特征;四个特征与由图像经由两层卷积得来的特征构成五个待融合特征,每次融合前根据每层的尺度对前一层特征进行上采样。
6.根据权利要求3所述的方法,其特征在于,总损失Loss用于更新网络参数,具体为:
Loss=Lossclass1+Lossclass2+Lossxywht
输出层中,对于分类分支的卷积核输出的2通道,第一个通道用于生成分割掩码图1,其损失函数为交叉熵,将交叉熵的值作为损失值,交叉熵Lossclass1如下:
Figure FDA0002606133190000031
其中,
Figure FDA0002606133190000032
代表将分割掩码图1中的目标区域缩减至原大小的0.7所生成的分割掩码图上某点的值,
Figure FDA0002606133190000033
代表分割掩码图1的对应点的值,y代表第一通道的输出对应点的结果,y'代表从y中取值,大于阈值的点值不变,小于阈值的点值置为0;
二个通道用于生成分割掩码图2,其损失函数为交叉熵,将交叉熵的值作为损失值,交叉熵Lossclass2如下:
Figure FDA0002606133190000041
c=bs/is
c1=Sigmoid((1-c)*2-1),c2=Sigmoid((c)*2-1)
其中,
Figure FDA0002606133190000042
代表分割掩码图2上的点值,y代表第二通道对应点的输出值,bs代表图片中目标所占面积,is代表图像的总面积,Sigmoid代表逻辑斯谛函数;
第一、二、三、四、五、六、七通道的损失函数如下:
Figure FDA0002606133190000043
Figure FDA0002606133190000044
Figure FDA0002606133190000045
Figure FDA0002606133190000046
Figure FDA0002606133190000047
lw=log'(f3,gw)
lh=log'(f4,gh)
lt=(f5-gt)×10
Figure FDA0002606133190000048
其中,fi代表从第i个通道的输出,i=1,2,3,4,5,6,7,gx,gy,gw,gh,gt分别代表目标中心点的x轴坐标、中心点的y轴坐标、宽、高、相对于x轴负方向的偏转角。
7.根据权利要求1所述的方法,其特征在于,步骤S3中,使用Adam优化算法进行迭代具体为:
S3021、按照数据集的给定拆分方法,将整个数据集分为训练集与测试集;
S3022、从划分后的训练集中取任意一份未选过的图像,将其输入到特征金字塔全卷积网络中,利用权值更新公式更新网络的权重值;
S3023、从划分后的训练集中取任意一份未选过的图像,将所选图像输入到特征金字塔全卷积网络,对权重值更新后的损失函数loss值进行更新。
8.根据权利要求1所述的方法,其特征在于,步骤S4中,将每幅待检测图像均拉伸至512*512大小,将对应的标签根据拉伸比例进行调整,再将每个像素点除以255进行归一化后,通过减均值除以标准差进行标准化后输入到训练好的特征金字塔全卷积网络及二分支模块生成所需特征,将从二分类通道的第一个通道获得的分数预测图,加阈值筛选,将筛选出的点通过第七八个通道的输出进行多次矫正后,获得距离目标中心最近的部分点,将部分点预测的目标框通过NMS进行筛选,获得最终的检测结果。
9.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
10.一种计算设备,其特征在于,包括:
一个或多个处理器、存储器及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
CN202010738960.3A 2020-07-28 2020-07-28 一种快速舰船目标检测方法、存储介质及计算设备 Active CN111914924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010738960.3A CN111914924B (zh) 2020-07-28 2020-07-28 一种快速舰船目标检测方法、存储介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010738960.3A CN111914924B (zh) 2020-07-28 2020-07-28 一种快速舰船目标检测方法、存储介质及计算设备

Publications (2)

Publication Number Publication Date
CN111914924A true CN111914924A (zh) 2020-11-10
CN111914924B CN111914924B (zh) 2024-02-06

Family

ID=73286451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010738960.3A Active CN111914924B (zh) 2020-07-28 2020-07-28 一种快速舰船目标检测方法、存储介质及计算设备

Country Status (1)

Country Link
CN (1) CN111914924B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633402A (zh) * 2020-12-30 2021-04-09 南京大学 一种实现动态计算的高精度高比例的分类模型及分类方法
CN113177929A (zh) * 2021-05-18 2021-07-27 中国石油大学(华东) 一种基于全卷积网络的海面溢油检测方法及其系统和应用
CN113239786A (zh) * 2021-05-11 2021-08-10 重庆市地理信息和遥感应用中心 基于增强学习与特征变换的遥感图像乡村别墅识别方法
CN114299535A (zh) * 2021-12-09 2022-04-08 河北大学 基于Transformer的特征聚合人体姿态估计方法
CN114677596A (zh) * 2022-05-26 2022-06-28 之江实验室 一种基于注意力模型的遥感图像船舶检测方法和装置
CN116665095A (zh) * 2023-05-18 2023-08-29 中国科学院空间应用工程与技术中心 一种运动舰船检测方法、系统、存储介质和电子设备
CN116805423A (zh) * 2023-08-23 2023-09-26 江苏源驶科技有限公司 一种基于结构重参数化的轻量级人体姿态估计算法
CN117911679A (zh) * 2024-03-15 2024-04-19 青岛国实科技集团有限公司 基于图像增强和微小目标识别的船体识别系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898065A (zh) * 2018-05-31 2018-11-27 北京航空航天大学 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
WO2019232836A1 (zh) * 2018-06-04 2019-12-12 江南大学 基于改进全卷积网络的多尺度感知行人检测方法
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
US20200134833A1 (en) * 2018-10-26 2020-04-30 Here Global B.V. Deep neural network architecture for image segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898065A (zh) * 2018-05-31 2018-11-27 北京航空航天大学 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
WO2019232836A1 (zh) * 2018-06-04 2019-12-12 江南大学 基于改进全卷积网络的多尺度感知行人检测方法
US20200134833A1 (en) * 2018-10-26 2020-04-30 Here Global B.V. Deep neural network architecture for image segmentation
CN110532859A (zh) * 2019-07-18 2019-12-03 西安电子科技大学 基于深度进化剪枝卷积网的遥感图像目标检测方法
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
沈丰毅;王琴;蒋剑飞;: "基于改进卷积神经网络舰船的实时目标检测算法", 计算机应用研究, no. 1 *
董慧颖;赵鹏;: "水面无人艇动态障碍目标视觉跟踪方法", 沈阳理工大学学报, no. 06 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633402B (zh) * 2020-12-30 2024-05-03 南京大学 一种实现动态计算的高精度高比例的分类模型及分类方法
CN112633402A (zh) * 2020-12-30 2021-04-09 南京大学 一种实现动态计算的高精度高比例的分类模型及分类方法
CN113239786A (zh) * 2021-05-11 2021-08-10 重庆市地理信息和遥感应用中心 基于增强学习与特征变换的遥感图像乡村别墅识别方法
CN113177929A (zh) * 2021-05-18 2021-07-27 中国石油大学(华东) 一种基于全卷积网络的海面溢油检测方法及其系统和应用
CN113177929B (zh) * 2021-05-18 2022-08-09 中国石油大学(华东) 一种基于全卷积网络的海面溢油检测方法及其系统和应用
CN114299535A (zh) * 2021-12-09 2022-04-08 河北大学 基于Transformer的特征聚合人体姿态估计方法
CN114299535B (zh) * 2021-12-09 2024-05-31 河北大学 基于Transformer的特征聚合人体姿态估计方法
CN114677596A (zh) * 2022-05-26 2022-06-28 之江实验室 一种基于注意力模型的遥感图像船舶检测方法和装置
CN116665095A (zh) * 2023-05-18 2023-08-29 中国科学院空间应用工程与技术中心 一种运动舰船检测方法、系统、存储介质和电子设备
CN116665095B (zh) * 2023-05-18 2023-12-22 中国科学院空间应用工程与技术中心 一种运动舰船检测方法、系统、存储介质和电子设备
CN116805423B (zh) * 2023-08-23 2023-11-17 江苏源驶科技有限公司 一种基于结构重参数化的轻量级人体姿态估计算法
CN116805423A (zh) * 2023-08-23 2023-09-26 江苏源驶科技有限公司 一种基于结构重参数化的轻量级人体姿态估计算法
CN117911679A (zh) * 2024-03-15 2024-04-19 青岛国实科技集团有限公司 基于图像增强和微小目标识别的船体识别系统及方法
CN117911679B (zh) * 2024-03-15 2024-05-31 青岛国实科技集团有限公司 基于图像增强和微小目标识别的船体识别系统及方法

Also Published As

Publication number Publication date
CN111914924B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN111914924B (zh) 一种快速舰船目标检测方法、存储介质及计算设备
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN112766087A (zh) 一种基于知识蒸馏的光学遥感图像舰船检测方法
CN112308019A (zh) 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN113408423B (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN113408340B (zh) 基于增强型特征金字塔的双极化sar小型船只检测方法
Wan et al. AFSar: An anchor-free SAR target detection algorithm based on multiscale enhancement representation learning
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
CN111192240B (zh) 一种基于随机接入记忆的遥感图像目标检测方法
CN115810157A (zh) 一种基于轻量级特征融合的无人机目标检测方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN114078209A (zh) 一种提升小目标检测精度的轻量级目标检测方法
CN116469020A (zh) 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法
CN115223056A (zh) 基于多尺度特征增强的光学遥感图像舰船目标检测方法
CN109558803B (zh) 基于卷积神经网络与np准则的sar目标鉴别方法
CN112862766B (zh) 一种基于图像数据扩充技术的绝缘子检测方法及系统
CN116758263A (zh) 基于多层级特征融合和联合定位的遥感图像目标检测方法
CN116206214A (zh) 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质
Zhang et al. Research on ship detection method of optical remote sensing image based on deep learning
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant