CN110188682A - 基于几何结构双路卷积网络的光学遥感图像目标检测方法 - Google Patents
基于几何结构双路卷积网络的光学遥感图像目标检测方法 Download PDFInfo
- Publication number
- CN110188682A CN110188682A CN201910460842.8A CN201910460842A CN110188682A CN 110188682 A CN110188682 A CN 110188682A CN 201910460842 A CN201910460842 A CN 201910460842A CN 110188682 A CN110188682 A CN 110188682A
- Authority
- CN
- China
- Prior art keywords
- geometry
- convolution
- convolution kernel
- remote sensing
- feature mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000010276 construction Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims description 94
- 238000010586 diagram Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 39
- 238000000034 method Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于几何结构双路卷积网络的光学遥感图像目标检测方法，使用标注后的光学遥感图像数据集构造形式为图像块‑素描块‑标签的训练数据集T；使用待检测光学遥感图像构造形式为图像块‑素描块的测试数据集U；构造基于几何结构双路卷积网络的目标检测模型，基于几何结构双路卷积网络的目标检测模型包含区域卷积模块和DoG脊波基函数卷积模块；使用训练数据集T训练基于几何结构双路卷积网络的目标检测模型，得到训练后的基于几何结构双路卷积网络的目标检测模型；将测试数据集U输入训练后的基于几何结构双路卷积网络的目标检测模型，得到待检测光学遥感图像的检测结果。本发明有效提高了目标检测模型的定位精度。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于几何结构双路卷积网络的 光学遥感图像目标检测方法。
背景技术
随着遥感技术的发展，大量高分辨率的光学遥感图像能提供丰富的空间信息 和上下文信息，这也促进了光学遥感图像目标检测的快速发展。针对光学遥感图 像，研究者们关注的目标检测对象包括飞机、车辆、舰船、道路和桥梁等。光学 遥感图像目标检测在国防建设、城市监控、货物运输和港口管理等场景中发挥重 要作用，节约了大量的人力物力。
随着深度学习的流行，大数据背景下，深度学习强大的表示能力和泛化能力 使其在目标检测领域崭露头角。基于深度神经网络的光学遥感图像目标检测方法 主要分为2类：(1)两阶段的目标检测，这类方法将检测和识别过程分离；(2) 单阶段目标检测，这类方法执行一次前向运算即可得到目标的位置和类别。
Fast R-CNN是基础的两阶段目标检测算法。第一阶段，使用Selective Search 算法预测图像中目标的候选框，完成初步的检测操作；第二阶段，对候选框中的 图像使用RoIPooling得到相同大小的特征张量，输入深度卷积神经网络预测候 选框的类别。最终预测的检测框需经过边框回归和非极大值抑制(Non-Maximum Suppression，简称NMS)得到目标检测与识别的结果。Faster R-CNN使用深度 神经网络作为区域候选网络(RegionProposal Network，简称RPN)为第二阶段 的分类和回归提供候选框，将目标检测算法改进为端到端的任务流程。两阶段目 标检测算法的检测精度较高，但是这类方法存在的缺点是检测速度慢、需要的运 算资源多，而且无法满足大场景光学遥感图像的实时目标检测需求。
YOLO是典型的单阶段目标检测算法，相对于两阶段的目标检测方法，YOLO 的检测速度具有显著优势，可以做到实时目标检测，适合移动端设备的目标检测 应用。YOLO使用一个卷积神经网络完成目标的检测和分类，目标的位置使用网 格预测，因此较为粗糙的网格会造成YOLO对小目标不够敏感。SSD借鉴了Faster R-CNN的候选框思想，提前设计了多种尺寸和比例的候选框，并利用了多个卷 积层的不同尺度的特征映射图，提升了算法对小目标的召回率。这类方法存在的 不足是：定位精度和分类精度相互制约，对目标的边界不敏感，边界框坐标的精 确度不高。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于 几何结构双路卷积网络的光学遥感图像目标检测方法，解决单阶段目标检测方法 对目标边界不敏感，导致定位精度不高的问题。
本发明采用以下技术方案：
基于几何结构双路卷积网络的光学遥感图像目标检测方法，包括以下步骤：
S1、使用标注后的光学遥感图像数据集构造形式为图像块-素描块-标签的训 练数据集T；
S2、使用待检测光学遥感图像构造形式为图像块-素描块的测试数据集U；
S3、构造基于几何结构双路卷积网络的目标检测模型，其中，基于几何结构 双路卷积网络的目标检测模型包含区域卷积模块和DoG脊波基函数卷积模块；
S4、使用步骤S1中构造的训练数据集T训练步骤S3中构造的基于几何结构 双路卷积网络的目标检测模型，得到训练后的基于几何结构双路卷积网络的目标 检测模型；
S5、将步骤S2中构造的测试数据集U输入步骤S4中训练后的基于几何结 构双路卷积网络的目标检测模型，得到待检测光学遥感图像的检测结果。
具体的，步骤S1具体为：
S101、从数据库中选取大小为H×W×3、分辨率为r的M1幅标注了飞机和舰 船目标边界框坐标的大场景光学遥感图像，H≥1000，W≥2000，M1≥6；
S102、以大小为Hc×Hc的矩形窗口，对每幅大场景光学遥感图像中含有标注 目标的区域切块，再使用双线性插值算法对切割后的图像块执行缩放操作，得到 缩放后大小为Hr×Hr×3的N1个图像块；
S103、使用Primal Sketch算法求与S102得到的N1个图像块对应的素描块，Primal Sketch算法输出的素描块由素描线段构成，每一条素描线段表示图像亮度 发生变化的位置；
S104、将S102得到的每个图像块中的飞机和舰船目标在大场景光学遥感图 像中的边界框坐标变换为其相对每个图像块左上角的边界框坐标，并作为每个图 像块的标签，得到形式为图像块-素描块-标签的训练数据集T。
具体的，步骤S2具体为：
S201、从数据库中选取分辨率为r的M2幅含有飞机或舰船目标的待检测大 场景光学遥感图像，M2≥5；
S202、以大小为Hc×Hc的矩形窗口，Hc≥300，对每幅大场景光学遥感图像进 行等间隔切块，切割间隔为d，再使用双线性插值算法对切割后的图像块执行缩 放操作，得到缩放后大小为Hr×Hr×3的N2个图像块；
S203、使用Primal Sketch算法求与S202得到的N2个图像块对应的素描块， 得到形式为图像块-素描块的测试数据集U。
具体的，步骤S3具体为：
S301、获取大小为Hr×Hr×3的图像块x和与其对应的素描块，对素描块中的 每一条素描线段构造宽度为w的几何结构窗，该几何结构窗的形状为旋转矩形， 其高度的朝向与素描线段的方向一致，重心与素描线段的中点重合，高度为素描 线段的长度加2，并将几何结构窗包围的区域定义为几何结构区域，得到大小为 Hr×Hr的几何结构区域掩模s，几何结构区域掩模s中属于几何结构区域的值为1， 其他位置的值为0；
S302、使用大小为k×k的卷积核m对图像块x中属于几何结构区域的每一 位置执行卷积操作，k≥3，在每一次卷积操作中，若卷积核任一位置在几何结构 区域掩模s对应位置处的值为0，则卷积核在该位置的权值设置为0，否则，卷 积核在该位置的权值保持不变，得到图像块x经卷积操作后的特征映射图f。
进一步的，特征映射图f中任一位置p0处的响应f(p0)的计算公式是：
其中，表示卷积核m的感受野包含的位置集合，对于大小为3×3的卷积 核m，以位置(0，0)作为卷积核m的中心，则pi表 示集合中的任一元素，p0表示特征图f中的任一位置。
进一步的，DoG脊波基函数卷积模块使用DoG脊波滤波器和随机初始化卷 积核执行双路卷积操作，块结构为：
输入层→第一个使用DoG脊波滤波器的卷积层→第一个特征映射图，输入层 →第一个使用随机初始化卷积核的卷积层→第二个特征映射图，第一个特征映射 图和第二个特征映射图级联→输出层。
更进一步的，第一个使用DoG脊波滤波器的卷积层和第一个使用随机初始 化卷积核的卷积层中使用的卷积核大小均为3×3。
进一步的，使用区域卷积模块和DoG脊波基函数卷积模块构造的目标检测 模型；该模型由1个区域卷积模块、10个DoG脊波基函数卷积模块和7个使用 随机初始化卷积核的卷积层组成，其由1个分类回归层输出，具体结构为：
输入层→第一个区域卷积模块→第一个特征映射图，输入层→第一个使用随 机初始化卷积核的卷积层→第二个特征映射图，第一个特征映射图和第二个特征 映射图级联→1个DoG脊波基函数卷积模块一→第一个最大池化层→2个DoG 脊波基函数卷积模块二→第二个最大池化层→3个DoG脊波基函数卷积模块三 →第三个最大池化层→3个DoG脊波基函数卷积模块四→第四个最大池化层→ 第三个特征映射图→2个DoG脊波基函数卷积模块四→第二个使用随机初始化 卷积核的卷积层→第三个使用随机初始化卷积核的卷积层→第四个特征映射图 →第四个使用随机初始化卷积核的卷积层→第五个特征映射图→第五个使用随 机初始化卷积核的卷积层→第六个特征映射图→第六个使用随机初始化卷积核 的卷积层→第七个特征映射图→第七个使用随机初始化卷积核的卷积层→第八 个特征映射图，以第三、四、五、六、七、八个特征映射图作为输入→分类回归 层。
更进一步的，第一个区域卷积模块使用大小为3×3的DoG脊波滤波器，它 的特征映射图的总数为32，划窗步长为1；第一个使用随机初始化卷积核的卷积 层的特征映射图的总数为32，卷积核大小为3×3，划窗步长为1；DoG脊波基 函数卷积模块一的特征映射图的总数为64，卷积核大小为3×3，划窗步长为1；DoG脊波基函数卷积模块二的特征映射图的总数为128，卷积核大小为3×3，划 窗步长为1；DoG脊波基函数卷积模块三的特征映射图的总数为256，卷积核大 小为3×3，划窗步长为1；DoG脊波基函数卷积模块四的特征映射图的总数为 512，卷积核大小为3×3，划窗步长为1；第二个使用随机初始化卷积核的卷积 层的特征映射图的总数为1024，卷积核大小为3×3，划窗步长为1；第三个使用 随机初始化卷积核的卷积层的特征映射图的总数为1024，卷积核大小为1×1， 划窗步长为1；第四个使用随机初始化卷积核的卷积层的特征映射图的总数为 512，卷积核大小为3×3，划窗步长为2；第五个使用随机初始化卷积核的卷积 层的特征映射图的总数为256，卷积核大小为3×3，划窗步长为2；第六个使用 随机初始化卷积核的卷积层的特征映射图的总数为256，卷积核大小为3×3，划 窗步长为1；第七个使用随机初始化卷积核的卷积层的特征映射图的总数为256， 卷积核大小为3×3，划窗步长为1；第一、二、三、四个最大池化层的核大小为 3×3，划窗步长为2。
具体的，步骤S5具体为：
S501、将步骤S2中构造的测试数据集U输入步骤S4中训练后的基于几何结 构双路卷积网络的目标检测模型，得到测试数据集U中每一个图像块中每个目标 的边界框坐标、类别和置信度；
S502、根据每一个图像块在步骤S2所述的待检测光学遥感图像中的位置， 将每个目标的边界框坐标变换为其在对应待检测光学遥感图像中的边界框坐标， 每个目标的类别和置信度保持不变；
S503、对待检测光学遥感图像中所有目标的边界框坐标和置信度执行非极大 值抑制，得到待检测光学遥感图像的检测结果。
与现有技术相比，本发明至少具有以下有益效果：
本发明提供的一种基于几何结构双路卷积网络的光学遥感图像目标检测方 法，由步骤S3得到的一种区域卷积模块，该模块利用素描块构建结构区域掩模， 并指导卷积核在图像块结构区域的卷积操作，克服了现有技术采用的卷积操作在 图像块结构区域的响应较弱的缺点，使得采用本发明可以有效强化卷积后的特征 映射图在图像结构区域的响应，提升目标检测的定位精度。
进一步的，本发明构造了形式为图像块-素描块-标签的训练数据集，训练过 程中有素描块作为输入，克服了现有技术没有对卷积网络输入素描块作为结构信 息，导致特征映射图在结构区域的响应较弱的问题，使得采用本发明可以按照素 描块定义的结构区域对图像块执行卷积操作。
进一步的，本发明构造了形式为图像块-素描块的测试数据集，测试过程中 有素描块作为输入，克服了现有技术没有对卷积网络输入素描块作为结构信息， 导致特征映射图在结构区域的响应较弱的问题，使得采用本发明可以按照素描块 定义的结构区域对图像块执行卷积操作。
进一步的，DoG脊波基函数卷积模块包含DoG脊波滤波器和随机初始化卷 积核，通过DoG脊波基函数卷积模块能够得到两者输出的融合特征，克服了现 有技术采用的卷积核对图像块中目标形状不敏感的缺点，使得采用本发明可以同 时得到对边结构强化和对纹理信息敏感的融合特征，提升单阶段目标检测模型对 目标形状的敏感程度。
进一步的，基于几何结构双路卷积网络的目标检测模型使用了区域卷积模块 和DoG脊波基函数卷积模块，减少了随机初始化卷积核的数量，克服了现有技 术采用的卷积神经网络参数量大、难训练的缺点，使得采用本发明可以有效减少 目标检测模型的参数量，提高模型的收敛速度。
进一步的，本发明直接将测试数据集输入目标检测模型，克服了现有技术的 目标检测步骤繁琐的缺点，使得采用本发明可以有效提高目标检测的效率。
综上所述，本发明由于搭建一个由区域卷积模块和DoG脊波基函数卷积模 块组成的几何结构双路卷积网络，强化了特征映射图在结构区域的响应，提升了 卷积神经网络对目标形状的敏感程度，降低了卷积神经网络的参数量，与现有的 技术相比，有效提高了目标检测模型的定位精度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程图；
图2为本发明中的区域卷积模块和DoG脊波基函数卷积模块图，其中，(a) 为区域卷积模块，(b)为DoG脊波基函数卷积模块；
图3为本发明中基于几何结构双路卷积网络的目标检测模型示意图。
具体实施方式
本发明提供了一种基于几何结构双路卷积网络的光学遥感图像目标检测方 法，构造训练数据集；构造测试数据集；构造基于几何结构双路卷积网络的目标 检测模型：几何结构双路卷积网络由基于DoG脊波核函数的几何结构区域卷积 网络和基于随机卷积核的卷积网络组成，前者仅对图像的几何结构区域操作，几 何结构区域通过初始素描图获得，是图像中亮度突变的区域，往往隐含着目标的 形状信息；训练目标检测模型；输入测试数据集到目标检测模型；输出检测结果。 本发明能够改善卷积网络对目标边界的敏感程度，提高小目标的召回率，有效提 升单阶段目标检测模型的检测精度。
请参阅图1，本发明一种基于几何结构双路卷积网络的光学遥感图像目标检 测方法，包括以下步骤：
S1、使用标注后的光学遥感图像数据集构造形式为“图像块-素描块-标签”的 训练数据集T；
具体步骤如下：
S101、从数据库中选取大小为H×W×3、分辨率为r的M1幅标注了飞机和舰 船目标边界框坐标的大场景光学遥感图像，H≥1000，W≥2000，M1≥6，在本发明 实施例中，数据库由DOTA光学遥感图像数据集提供，H＝8000，W＝10000， r＝0.25m，M1＝7，目标边界框坐标由目标的左上角坐标和右下角坐标组成；
S102、以大小为Hc×Hc的矩形窗口，对每幅大场景光学遥感图像中含有标注 目标的区域切块，再使用双线性插值算法对切割后的图像块执行缩放操作，得到 缩放后大小为Hr×Hr×3的N1个图像块，在本发明实施例中，Hc＝500，Hr＝300， N1＝8200；
S103、使用Primal Sketch算法求与第S102步得到的N1个图像块对应的素描 块，Primal Sketch算法输出的素描块由素描线段构成，每一条素描线段表示图像 亮度发生变化的位置，在本发明实施例中，N1＝8200；
S104、将S102得到的每个图像块中的飞机和舰船目标在大场景光学遥感图 像中的边界框坐标变换为其相对每个图像块左上角的边界框坐标，并作为每个图 像块的标签，得到形式为“图像块-素描块-标签”的训练数据集T。
S2、使用待检测光学遥感图像构造形式为“图像块-素描块”的测试数据集U；
具体步骤如下：
S201、从数据库中选取分辨率为r的M2幅含有飞机或舰船目标的待检测大 场景光学遥感图像，M2≥5，在本发明实施例中，r＝0.25m，M2＝6；
S202、以大小为Hc×Hc的矩形窗口，Hc≥300，对每幅大场景光学遥感图像进 行等间隔切块，切割间隔为d，再使用双线性插值算法对切割后的图像块执行缩 放操作，得到缩放后大小为Hr×Hr×3的N2个图像块，在本发明实施例中，Hc＝500， d＝250，Hr＝300，N2＝5000；
S203、使用Primal Sketch算法求与S202得到的N2个图像块对应的素描块， 得到形式为“图像块-素描块”的测试数据集U，在本发明实施例中，N2＝5000。
S3、构造基于几何结构双路卷积网络的目标检测模型，其中，基于几何结构 双路卷积网络的目标检测模型包含区域卷积模块和DoG脊波基函数卷积模块；
图2中的(a)是区域卷积模块的示意图，具体设计方法如下：
S301、获取大小为Hr×Hr×3的图像块x和与其对应的素描块，对素描块中的 每一条素描线段构造宽度为w的几何结构窗，该几何结构窗的形状为旋转矩形， 其高度的朝向与素描线段的方向一致，重心与素描线段的中点重合，高度为素描 线段的长度加2，并将几何结构窗包围的区域定义为几何结构区域，从而得到大 小为Hr×Hr的几何结构区域掩模s，几何结构区域掩模s中属于几何结构区域的 值为1，其他位置的值为0，在本发明实施例中，Hr＝300，w＝3；
S302、使用大小为k×k的卷积核m对图像块x中属于几何结构区域的每一位 置执行卷积操作，k≥3，在每一次卷积操作中，若卷积核任一位置在几何结构区 域掩模s对应位置处的值为0，则卷积核在该位置的权值设置为0，否则，卷积 核在该位置的权值保持不变，从而得到图像块x经卷积操作后的特征映射图f， 特征映射图f中任一位置p0处的响应f(p0)的计算公式是：
其中，表示卷积核m的感受野包含的位置集合，对于大小为3×3的卷积核 m，以位置(0，0)作为卷积核m的中心，则pi表示 集合中的任一元素，p0表示特征图f中的任一位置。
定义依次执行S301和S302操作的模块为区域卷积模块。
图2中的(b)是DoG脊波基函数卷积模块的示意图，DoG脊波基函数卷积 模块使用DoG脊波滤波器和随机初始化卷积核执行双路卷积操作，它的块结构 为：
输入层→第一个使用DoG脊波滤波器的卷积层→第一个特征映射图，输入 层→第一个使用随机初始化卷积核的卷积层→第二个特征映射图，第一个特征映 射图和第二个特征映射图级联→输出层，在本发明实施例中，第一个使用DoG 脊波滤波器的卷积层和第一个使用随机初始化卷积核的卷积层中使用的卷积核 大小均为3×3。
DoG脊波是现有技术，大小为3×3的DoG脊波滤波器任一位置处的权值ψγ(z) 的产生公式如下：
其中，α为脊波的尺度参数，β为脊波的位移参数，θ为脊波的方向参数，若产生的DoG 脊波滤波器大小为3×3，则参数(x1,x2)∈{(0,0),(0,1),L,(2,1),(2,2)}表示DoG脊波滤波器中的任 一位置，γ＝(α,β,θ)表示训练过程待更新的参数集合，K(γ)为归一化常数，使生成的DoG 脊波滤波器具有单位范数，ψγ(z)表示最终生成的大小为3×3的DoG脊波滤波器。
图3是基于几何结构双路卷积网络的目标检测模型的示意图，基于几何结构 双路卷积网络的目标检测模型是指：
使用区域卷积模块和DoG脊波基函数卷积模块构造的目标检测模型；该模 型由1个区域卷积模块、10个DoG脊波基函数卷积模块和7个使用随机初始化 卷积核的卷积层组成，其由1个分类回归层输出，它的具体结构为：
输入层→第一个区域卷积模块→第一个特征映射图，输入层→第一个使用随 机初始化卷积核的卷积层→第二个特征映射图，第一个特征映射图和第二个特征 映射图级联→1个DoG脊波基函数卷积模块一→第一个最大池化层→2个DoG 脊波基函数卷积模块二(2个依次连接)→第二个最大池化层→3个DoG脊波基 函数卷积模块三(3个依次连接)→第三个最大池化层→3个DoG脊波基函数卷 积模块四(3个依次连接)→第四个最大池化层→第三个特征映射图→2个DoG 脊波基函数卷积模块四(2个依次连接)→第二个使用随机初始化卷积核的卷积 层→第三个使用随机初始化卷积核的卷积层→第四个特征映射图→第四个使用 随机初始化卷积核的卷积层→第五个特征映射图→第五个使用随机初始化卷积核的卷积层→第六个特征映射图→第六个使用随机初始化卷积核的卷积层→第 七个特征映射图→第七个使用随机初始化卷积核的卷积层→第八个特征映射图， 以第三、四、五、六、七、八个特征映射图作为输入→分类回归层。
在本发明实施例中，基于几何结构双路卷积网络的目标检测模型各层的参数 如下：
第一个区域卷积模块使用大小为3×3的DoG脊波滤波器，它的特征映射图 的总数为32，划窗步长为1；
第一个使用随机初始化卷积核的卷积层的特征映射图的总数为32，卷积核大 小为3×3，划窗步长为1；
DoG脊波基函数卷积模块一的特征映射图的总数为64，卷积核大小为3×3， 划窗步长为1；
DoG脊波基函数卷积模块二的特征映射图的总数为128，卷积核大小为3× 3，划窗步长为1；
DoG脊波基函数卷积模块三的特征映射图的总数为256，卷积核大小为3× 3，划窗步长为1；
DoG脊波基函数卷积模块四的特征映射图的总数为512，卷积核大小为3× 3，划窗步长为1；
第二个使用随机初始化卷积核的卷积层的特征映射图的总数为1024，卷积核 大小为3×3，划窗步长为1；
第三个使用随机初始化卷积核的卷积层的特征映射图的总数为1024，卷积核 大小为1×1，划窗步长为1；
第四个使用随机初始化卷积核的卷积层的特征映射图的总数为512，卷积核 大小为3×3，划窗步长为2；
第五个使用随机初始化卷积核的卷积层的特征映射图的总数为256，卷积核 大小为3×3，划窗步长为2；
第六个使用随机初始化卷积核的卷积层的特征映射图的总数为256，卷积核 大小为3×3，划窗步长为1；
第七个使用随机初始化卷积核的卷积层的特征映射图的总数为256，卷积核 大小为3×3，划窗步长为1；
第一、二、三、四个最大池化层的核大小为3×3，划窗步长为2。
S4、使用步骤S1中构造的训练数据集T训练步骤S3中构造的基于几何结构 双路卷积网络的目标检测模型，得到训练后的基于几何结构双路卷积网络的目标 检测模型；
S5、将步骤S2中构造的测试数据集U输入步骤S4中训练后的基于几何结 构双路卷积网络的目标检测模型，得到待检测光学遥感图像的检测结果。
S501、将步骤S2中构造的测试数据集U输入步骤S4中训练后的基于几何结 构双路卷积网络的目标检测模型，得到测试数据集U中每一个图像块中每个目标 的边界框坐标、类别和置信度；
S502、根据每一个图像块在步骤S2所述的待检测光学遥感图像中的位置， 将每个目标的边界框坐标变换为其在对应待检测光学遥感图像中的边界框坐标， 每个目标的类别和置信度保持不变；
S503、对待检测光学遥感图像中所有目标的边界框坐标和置信度执行非极大 值抑制，得到待检测光学遥感图像的检测结果。
非极大值抑制是现有技术，该方法的大致思想是：对所有的边界框坐标按照 置信度从高到低排序，保留与其他边界框重叠度低、置信度高的边界框，舍弃与 其他边界框重叠度高、置信度低的边界框。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中 的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因 此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的 本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本 领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属 于本发明保护的范围。
下面结合仿真实验对本发明的效果做进一步的描述。
1.仿真条件：
本发明仿真的硬件平台为：HP Z840，GPU为单块NVIDIA GTX TITAN X； 软件平台为：PyTorch 1.0。
2.仿真内容与结果：
本发明仿真所使用的包含飞机和舰船目标的大场景光学遥感图像来自DOTA 光学遥感图像数据集，检测两类目标：飞机和舰船，仿真实验对4种方法对比， 包括本发明的方法、原始的SSD模型、加入DoG脊波基函数卷积模块的SSD模 型和加入区域卷积模块的SSD模型。
为了验证本发明的技术效果，本发明对比了4种目标检测方法的平均精度， 仿真结果如表1所示，
表1.光学遥感图像目标检测平均精度
本发明的方法与原始SSD模型相比，其平均精度提升了19.73％，其中DoG 脊波基函数卷积模块与区域卷积模块对平均精度的提升均有贡献，加入DoG脊 波基函数卷积模块的SSD模型与原始SSD模型相比，其平均精度提升了12.54％， 加入区域卷积模块的SSD模型与原始SSD模型相比，其平均精度提升了6.95％， 由此可以说明，本发明的两种模块是有效的。
综上所述，本发明使用基于几何结构双路卷积网络的目标检测模型，模型包 含区域卷积模块和DoG脊波基函数卷积模块，区域卷积模块通过在神经网络第 一层执行区域卷积操作，可以有效强化特征映射图在图像结构区域的响应；DoG 脊波基函数卷积模块在卷积神经网络的每层执行双路卷积操作，能够同时获取对 边结构强化后的特征映射图和对纹理信息敏感的特征映射图。本发明改善了卷积 神经网络对目标边界的敏感程度，能提高小目标的召回率并降低虚警率，有效提 升单阶段光学遥感图像目标检测模型的检测精度。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡 是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发 明权利要求书的保护范围之内。
Claims (10)
1.基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，包括以下步骤：
S1、使用标注后的光学遥感图像数据集构造形式为图像块-素描块-标签的训练数据集T；
S2、使用待检测光学遥感图像构造形式为图像块-素描块的测试数据集U；
S3、构造基于几何结构双路卷积网络的目标检测模型，其中，基于几何结构双路卷积网络的目标检测模型包含区域卷积模块和DoG脊波基函数卷积模块；
S4、使用步骤S1中构造的训练数据集T训练步骤S3中构造的基于几何结构双路卷积网络的目标检测模型，得到训练后的基于几何结构双路卷积网络的目标检测模型；
S5、将步骤S2中构造的测试数据集U输入步骤S4中训练后的基于几何结构双路卷积网络的目标检测模型，得到待检测光学遥感图像的检测结果。
2.根据权利要求1所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，步骤S1具体为：
S101、从数据库中选取大小为H×W×3、分辨率为r的M1幅标注了飞机和舰船目标边界框坐标的大场景光学遥感图像，H≥1000，W≥2000，M1≥6；
S102、以大小为Hc×Hc的矩形窗口，对每幅大场景光学遥感图像中含有标注目标的区域切块，再使用双线性插值算法对切割后的图像块执行缩放操作，得到缩放后大小为Hr×Hr×3的N1个图像块；
S103、使用Primal Sketch算法求与S102得到的N1个图像块对应的素描块，PrimalSketch算法输出的素描块由素描线段构成，每一条素描线段表示图像亮度发生变化的位置；
S104、将S102得到的每个图像块中的飞机和舰船目标在大场景光学遥感图像中的边界框坐标变换为其相对每个图像块左上角的边界框坐标，并作为每个图像块的标签，得到形式为图像块-素描块-标签的训练数据集T。
3.根据权利要求1所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，步骤S2具体为：
S201、从数据库中选取分辨率为r的M2幅含有飞机或舰船目标的待检测大场景光学遥感图像，M2≥5；
S202、以大小为Hc×Hc的矩形窗口，Hc≥300，对每幅大场景光学遥感图像进行等间隔切块，切割间隔为d，再使用双线性插值算法对切割后的图像块执行缩放操作，得到缩放后大小为Hr×Hr×3的N2个图像块；
S203、使用Primal Sketch算法求与S202得到的N2个图像块对应的素描块，得到形式为图像块-素描块的测试数据集U。
4.根据权利要求1所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，步骤S3具体为：
S301、获取大小为Hr×Hr×3的图像块x和与其对应的素描块，对素描块中的每一条素描线段构造宽度为w的几何结构窗，该几何结构窗的形状为旋转矩形，其高度的朝向与素描线段的方向一致，重心与素描线段的中点重合，高度为素描线段的长度加2，并将几何结构窗包围的区域定义为几何结构区域，得到大小为Hr×Hr的几何结构区域掩模s，几何结构区域掩模s中属于几何结构区域的值为1，其他位置的值为0；
S302、使用大小为k×k的卷积核m对图像块x中属于几何结构区域的每一位置执行卷积操作，k≥3，在每一次卷积操作中，若卷积核任一位置在几何结构区域掩模s对应位置处的值为0，则卷积核在该位置的权值设置为0，否则，卷积核在该位置的权值保持不变，得到图像块x经卷积操作后的特征映射图f。
5.根据权利要求4所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，特征映射图f中任一位置p0处的响应f(p0)的计算公式是：
其中，表示卷积核m的感受野包含的位置集合，对于大小为3×3的卷积核m，以位置(0，0)作为卷积核m的中心，则pi表示集合中的任一元素，p0表示特征图f中的任一位置。
6.根据权利要求4所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，DoG脊波基函数卷积模块使用DoG脊波滤波器和随机初始化卷积核执行双路卷积操作，块结构为：
输入层→第一个使用DoG脊波滤波器的卷积层→第一个特征映射图，输入层→第一个使用随机初始化卷积核的卷积层→第二个特征映射图，第一个特征映射图和第二个特征映射图级联→输出层。
7.根据权利要求6所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，第一个使用DoG脊波滤波器的卷积层和第一个使用随机初始化卷积核的卷积层中使用的卷积核大小均为3×3。
8.根据权利要求4所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，使用区域卷积模块和DoG脊波基函数卷积模块构造的目标检测模型；该模型由1个区域卷积模块、10个DoG脊波基函数卷积模块和7个使用随机初始化卷积核的卷积层组成，其由1个分类回归层输出，具体结构为：
输入层→第一个区域卷积模块→第一个特征映射图，输入层→第一个使用随机初始化卷积核的卷积层→第二个特征映射图，第一个特征映射图和第二个特征映射图级联→1个DoG脊波基函数卷积模块一→第一个最大池化层→2个DoG脊波基函数卷积模块二→第二个最大池化层→3个DoG脊波基函数卷积模块三→第三个最大池化层→3个DoG脊波基函数卷积模块四→第四个最大池化层→第三个特征映射图→2个DoG脊波基函数卷积模块四→第二个使用随机初始化卷积核的卷积层→第三个使用随机初始化卷积核的卷积层→第四个特征映射图→第四个使用随机初始化卷积核的卷积层→第五个特征映射图→第五个使用随机初始化卷积核的卷积层→第六个特征映射图→第六个使用随机初始化卷积核的卷积层→第七个特征映射图→第七个使用随机初始化卷积核的卷积层→第八个特征映射图，以第三、四、五、六、七、八个特征映射图作为输入→分类回归层。
9.根据权利要求8所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，第一个区域卷积模块使用大小为3×3的DoG脊波滤波器，它的特征映射图的总数为32，划窗步长为1；第一个使用随机初始化卷积核的卷积层的特征映射图的总数为32，卷积核大小为3×3，划窗步长为1；DoG脊波基函数卷积模块一的特征映射图的总数为64，卷积核大小为3×3，划窗步长为1；DoG脊波基函数卷积模块二的特征映射图的总数为128，卷积核大小为3×3，划窗步长为1；DoG脊波基函数卷积模块三的特征映射图的总数为256，卷积核大小为3×3，划窗步长为1；DoG脊波基函数卷积模块四的特征映射图的总数为512，卷积核大小为3×3，划窗步长为1；第二个使用随机初始化卷积核的卷积层的特征映射图的总数为1024，卷积核大小为3×3，划窗步长为1；第三个使用随机初始化卷积核的卷积层的特征映射图的总数为1024，卷积核大小为1×1，划窗步长为1；第四个使用随机初始化卷积核的卷积层的特征映射图的总数为512，卷积核大小为3×3，划窗步长为2；第五个使用随机初始化卷积核的卷积层的特征映射图的总数为256，卷积核大小为3×3，划窗步长为2；第六个使用随机初始化卷积核的卷积层的特征映射图的总数为256，卷积核大小为3×3，划窗步长为1；第七个使用随机初始化卷积核的卷积层的特征映射图的总数为256，卷积核大小为3×3，划窗步长为1；第一、二、三、四个最大池化层的核大小为3×3，划窗步长为2。
10.根据权利要求1所述的基于几何结构双路卷积网络的光学遥感图像目标检测方法，其特征在于，步骤S5具体为：
S501、将步骤S2中构造的测试数据集U输入步骤S4中训练后的基于几何结构双路卷积网络的目标检测模型，得到测试数据集U中每一个图像块中每个目标的边界框坐标、类别和置信度；
S502、根据每一个图像块在步骤S2所述的待检测光学遥感图像中的位置，将每个目标的边界框坐标变换为其在对应待检测光学遥感图像中的边界框坐标，每个目标的类别和置信度保持不变；
S503、对待检测光学遥感图像中所有目标的边界框坐标和置信度执行非极大值抑制，得到待检测光学遥感图像的检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910460842.8A CN110188682B (zh) | 2019-05-30 | 2019-05-30 | 基于几何结构双路卷积网络的光学遥感图像目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910460842.8A CN110188682B (zh) | 2019-05-30 | 2019-05-30 | 基于几何结构双路卷积网络的光学遥感图像目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110188682A true CN110188682A (zh) | 2019-08-30 |
| CN110188682B CN110188682B (zh) | 2021-01-19 |
Family
ID=67718669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910460842.8A Active CN110188682B (zh) | 2019-05-30 | 2019-05-30 | 基于几何结构双路卷积网络的光学遥感图像目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188682B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986233A (zh) * | 2020-08-20 | 2020-11-24 | 西安电子科技大学 | 基于特征自学习的大场景极小目标遥感视频跟踪方法 |
| CN113378897A (zh) * | 2021-05-27 | 2021-09-10 | 浙江省气候中心 | 基于神经网络的遥感图像分类方法、计算设备及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104732493A (zh) * | 2015-03-18 | 2015-06-24 | 西安电子科技大学 | 一种基于Primal Sketch分类和SVD域改进MMSE估计的SAR图像去噪算法 |
| CN105374033A (zh) * | 2015-10-19 | 2016-03-02 | 西安电子科技大学 | 基于脊波反卷积网络和稀疏分类的sar图像分割方法 |
| CN105513079A (zh) * | 2015-12-16 | 2016-04-20 | 中国科学院电子学研究所 | 大尺度时间序列遥感图像变化区域的检测方法 |
| US20160378868A1 (en) * | 2013-02-19 | 2016-12-29 | Digitalglobe, Inc. | System and method for large scale crowdsourcing of map data cleanup and correction |
| CN107341813A (zh) * | 2017-06-15 | 2017-11-10 | 西安电子科技大学 | 基于结构学习和素描特性推理网络的sar图像分割方法 |
| US20180144478A1 (en) * | 2016-06-29 | 2018-05-24 | Shenzhen University | Method and system for sea background modeling and suppression on high-resolution remote sensing sea images |
| CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
| CN108491757A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
| CN108986108A (zh) * | 2018-06-26 | 2018-12-11 | 西安电子科技大学 | 一种基于素描线段聚集特性的sar图像样本块选择方法 |
| CN109145850A (zh) * | 2018-08-30 | 2019-01-04 | 西安电子科技大学 | 基于先验信息和飞机形状的遥感图像无监督目标检测方法 |
| CN109815859A (zh) * | 2019-01-10 | 2019-05-28 | 中交信息技术国家工程实验室有限公司 | 一种低等级道路自动提取及变化分析方法 |
-
2019
- 2019-05-30 CN CN201910460842.8A patent/CN110188682B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160378868A1 (en) * | 2013-02-19 | 2016-12-29 | Digitalglobe, Inc. | System and method for large scale crowdsourcing of map data cleanup and correction |
| CN104732493A (zh) * | 2015-03-18 | 2015-06-24 | 西安电子科技大学 | 一种基于Primal Sketch分类和SVD域改进MMSE估计的SAR图像去噪算法 |
| CN105374033A (zh) * | 2015-10-19 | 2016-03-02 | 西安电子科技大学 | 基于脊波反卷积网络和稀疏分类的sar图像分割方法 |
| CN105513079A (zh) * | 2015-12-16 | 2016-04-20 | 中国科学院电子学研究所 | 大尺度时间序列遥感图像变化区域的检测方法 |
| US20180144478A1 (en) * | 2016-06-29 | 2018-05-24 | Shenzhen University | Method and system for sea background modeling and suppression on high-resolution remote sensing sea images |
| CN107341813A (zh) * | 2017-06-15 | 2017-11-10 | 西安电子科技大学 | 基于结构学习和素描特性推理网络的sar图像分割方法 |
| CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
| CN108491757A (zh) * | 2018-02-05 | 2018-09-04 | 西安电子科技大学 | 基于多尺度特征学习的光学遥感图像目标检测方法 |
| CN108986108A (zh) * | 2018-06-26 | 2018-12-11 | 西安电子科技大学 | 一种基于素描线段聚集特性的sar图像样本块选择方法 |
| CN109145850A (zh) * | 2018-08-30 | 2019-01-04 | 西安电子科技大学 | 基于先验信息和飞机形状的遥感图像无监督目标检测方法 |
| CN109815859A (zh) * | 2019-01-10 | 2019-05-28 | 中交信息技术国家工程实验室有限公司 | 一种低等级道路自动提取及变化分析方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHI CHENG ET AL.: "Learning Interpolation via Regional Map for Pan-Sharpening", 《WEB OF SCIENCE》 * |
| 王春媛: "遥感图像几何校正及目标识别技术研究", 《中国博士学位论文全文数据库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111986233A (zh) * | 2020-08-20 | 2020-11-24 | 西安电子科技大学 | 基于特征自学习的大场景极小目标遥感视频跟踪方法 |
| CN113378897A (zh) * | 2021-05-27 | 2021-09-10 | 浙江省气候中心 | 基于神经网络的遥感图像分类方法、计算设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110188682B (zh) | 2021-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kamari et al. | AI-based risk assessment for construction site disaster preparedness through deep learning-based digital twinning | |
| CN110378222A (zh) | 一种输电线路防震锤目标检测与缺陷识别方法及装置 | |
| CN113240688A (zh) | 一种一体化洪涝灾害精准监测预警方法 | |
| CN111753677B (zh) | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 | |
| CN110991444B (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN110378297A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN113177560A (zh) | 一种普适性轻量级深度学习车辆检测方法 | |
| CN115761736A (zh) | 基于多维探地雷达图像的地下空洞智能检测方法与系统 | |
| CN110363211A (zh) | 检测网络模型和目标检测方法 | |
| CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
| Nurkarim et al. | Building footprint extraction and counting on very high-resolution satellite imagery using object detection deep learning framework | |
| CN110188682A (zh) | 基于几何结构双路卷积网络的光学遥感图像目标检测方法 | |
| CN112131933A (zh) | 一种基于改进yolo网络的快速行人检测方法与系统 | |
| CN108596952A (zh) | 基于候选区域筛选的快速深度学习遥感图像目标检测方法 | |
| CN117437201A (zh) | 一种基于改进YOLOv7的道路裂缝检测方法 | |
| Li et al. | Multi-scale object detection in satellite imagery based on YOLT | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN116168246A (zh) | 一种用于铁路工程的弃渣场识别方法、装置、设备及介质 | |
| CN115661607A (zh) | 一种基于改进YOLOv5的小目标识别方法 | |
| CN114565824A (zh) | 基于全卷积网络的单阶段旋转舰船检测方法 | |
| CN109657728A (zh) | 样例生产方法及模型训练方法 | |
| CN109284752A (zh) | 一种车辆的快速检测方法 | |
| CN117671480A (zh) | 基于视觉大模型的滑坡自动识别方法、系统和计算机设备 | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |