CN112990086A - 遥感影像建筑物检测方法、装置及计算机可读存储介质 - Google Patents
遥感影像建筑物检测方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112990086A CN112990086A CN202110377122.2A CN202110377122A CN112990086A CN 112990086 A CN112990086 A CN 112990086A CN 202110377122 A CN202110377122 A CN 202110377122A CN 112990086 A CN112990086 A CN 112990086A
- Authority
- CN
- China
- Prior art keywords
- building
- remote sensing
- grid
- example segmentation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title claims description 44
- 230000011218 segmentation Effects 0.000 claims abstract description 133
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000005520 cutting process Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000013439 planning Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种遥感影像建筑物检测方法、装置及计算机可读存储介质。其中,方法包括通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集,并利用标准建筑物实例分割样本集,基于Mask‑RCNN网络训练得到建筑物实例分割网络模型。将待检测图像数据输入建筑物实例分割网络模型中,利用建筑物实例分割网络模型对待检测图像数据进行切片处理,从而得到单个格网的实例分割结果,最后根据每个格网的实例分割结果得到待检测图像数据包含的所有建筑物信息,有效提高了检测遥感影像中的建筑物的精度。
Description
技术领域
本申请涉及遥感影像处理技术领域,特别是涉及一种遥感影像建筑物检测方法、装置及计算机可读存储介质。
背景技术
随着城市的快速扩建和农村的发展,作为日常工作生活必要场所的建筑物的数目不断增加,建筑物的数量和面积已经成为城市发展评价的一个重要指标,而且建筑物的分布在城市发展规划中占据重要的地位,建筑物信息的采集必不可少。通常来讲,建筑物主要是指房屋,包括墙体、房顶、门窗等,可满足生产、生活、娱乐、储藏等需要的空间环境。根据建筑物的功能不同,建筑物可分为:居住建筑、公共建筑、工业建筑、农业建筑等。居住建筑是指供家庭或者个人居住的场所,一般是商品房、自建民宅、别墅等形态,较为规整。公共建筑是指具有一些公共功能的建筑,如医院、学校、商场、体育馆等场所,这类建筑一般形态较大,集群分布。工业建筑是指用于工业生产的建筑,比如厂房、彩钢棚等建筑。农业建筑是指用于农业生产的建筑,比如大棚、浇灌房等,一般分布于农田中。
传统技术通常是测绘人员去实地测绘获取建筑物相关信息,由于测绘登记人员有限、建筑物数目的不断增加、建筑物的不定期新建、修缮等原因,依赖人工测绘和记录建筑物的是一项很难的工作。为了解决传统人工测绘缺陷,基于遥感影像的建筑物提取方法应用而生。遥感技术是使用卫星、无人机等手段获取遥感影像,从遥感影像数据中获取各类地物信息,具有信息量大、频次高等特点,在当前的建筑物监管系统中,大范围地使用遥感数据进行监管,已经在一定程度上代替了实地考察。在使用遥感影像进行建筑提取过程中,主要依靠目视解译和机器解译。然而,目视解译对解译人员的经验有较高的要求,其所需人工量大,提取速度慢,建筑物识别的主观性强等,这些弊端严重影响了解译速度和解译质量,特别是在一些建筑物变化检测、建筑物违建识别问题中,解译速度过慢,无法及时地寻找违建房屋或者无法快速做出响应,严重影响了执法进度。传统的机器解译的方法使用形态学的特征和建筑物在遥感影像中的光谱特征,可以对特征突出统一的单一类型建筑物进行提取,但是无法适应多种多样的建筑物类型。随着深度学习的快速发展,特别是卷积神经网络的提出和硬件计算能力的提升,使用神经网络提取图像特征的能力进一步提升,深度学习也进一步使用在图像分类、目标提取、图像分割等场景中。为了克服上述方法存在的弊端,遂采用基于深度学习的图像分割从遥感影像中提取建筑物。相关技术在建筑物分割算法中通常采用语义分割,语义分割虽然能较快且准确地提取建筑物信息,但是语义分割无法将建筑物的实例分离开来,特别是在建筑物聚集的城市地区,语义分割结果混在一起,难以区分单栋建筑,进而无法实现建筑物的精准检测。
发明内容
本申请提供了一种遥感影像建筑物检测方法、装置及计算机可读存储介质,提高了检测遥感影像中建筑物的精度。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种遥感影像建筑物检测方法,包括:
预先通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集;并利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型;
将待检测图像数据输入所述建筑物实例分割网络模型中,利用所述建筑物实例分割网络模型对所述待检测图像数据进行切片处理,以得到单个格网的实例分割结果;
根据各格网的实例分割结果得到所述待检测图像数据所包含的建筑物信息。
可选的,所述通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集之后,所述利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到构建建筑物实例分割网络模型之前,还包括:
对所述标准建筑物实例分割样本集中的各训练样本数据进行图像增强处理。
可选的,所述利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型包括:
利用ResNet101提取所述标准建筑物实例分割样本集中每个样本数据的图像多尺度特征,得到相应的图像特征图;
对每个样本数据,采用RPN在当前样本数据的图像特征图中选取ROI区域;使用双线性插值的方法将所述ROI区域与相应图像特征图进行映射处理,以获取固定尺寸的图像特征图;将所述固定尺寸的图像特征图输入到边框分类、边界回归、Mask生成层,得到分割后的建筑物信息;
基于预先构建损失函数计算所述建筑物实例分割网络模型的损失,所述损失函数包括RPN框的分类损失、RPN框的回归损失、边框分支的分类损失、边框分支的回归损失和分割图损失;
基于与显卡个数相匹配的学习率,使用随机梯度下降训练所述建筑物实例分割网络模型。
可选的,所述通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集包括:
对每个遥感影像数据,基于预先设置的裁剪参数确定格网的索引,并根据所述索引将所述遥感影像数据裁剪为多个影像块;
根据所述索引将每个影像块的像素坐标转换为地理坐标,通过格网四个角的地理坐标建立以这四个角为顶点的四边形地理要素;
对于每个影像块,计算当前格网的地理要素与所述遥感影像数据的交集,以获取所述当前格网内的建筑物标注;
基于所述索引将所述遥感影像数据和裁剪的矢量一一对应。
可选的,所述基于预先设置的裁剪参数确定格网的索引包括:
预先定义格网裁剪尺寸值和裁剪区域重叠影像像素值;
根据所述格网裁剪尺寸值和所述裁剪区域重叠影像像素值获取格网索引信息。
可选的,所述根据各格网的实例分割结果得到所述待检测图像数据所包含的建筑物信息包括:
根据各格网的实例分割结果得到相应的二值的掩图,并使用轮廓跟踪方法得到每个格网的多边形坐标;
根据格网索引信息将多边形转换为地理坐标或投影坐标;
将每个格网的多边形进行空间叠加,并把相邻格网重叠的部分融合,得到所述待检测图像数据对应的建筑物的矢量。
本发明实施例另一方面提供了一种遥感影像建筑物检测装置,包括:
样本集预构建模块,用于通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集;
模型预构建模块,用于利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型;
实例分割模块,用于将待检测图像数据输入所述建筑物实例分割网络模型中,利用所述建筑物实例分割网络模型对所述待检测图像数据进行切片处理,以得到单个格网的实例分割结果;
建筑物检测结果获取模块,用于根据各格网的实例分割结果得到所述待检测图像数据所包含的建筑物信息。
可选的,还包括图像预处理模块,所述图像预处理模块用于对所述标准建筑物实例分割样本集中的各训练样本数据进行图像增强处理,以用于所述建筑物实例分割网络模型的训练样本。
本发明实施例还提供了一种遥感影像建筑物检测装置,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述遥感影像建筑物检测方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有遥感影像建筑物检测程序,所述遥感影像建筑物检测程序被处理器执行时实现如前任一项所述遥感影像建筑物检测方法的步骤。
本申请提供的技术方案的优点在于,预先构建的标准建筑物实例分割样本集中每个样本数据均基于标准建筑物被分割为多个建筑物实例,采用标准建筑物实例分割样本集训练所得的建筑物实例分割网络模型就具有将遥感影像图像数据分割为多个切片数据的功能,可以大范围地检测出遥感影像区域内的建筑物,实现快速、有效、精准地识别遥感影像中的每个建筑物信息,避免人工勾画中效率低下的问题,无需人力参与,提高建筑物的分割效率,自动化程度高,为建筑物规划、测量和违法建筑的提取提供技术支持和依据。
此外,本发明实施例还针对遥感影像建筑物检测方法提供了相应的实现装置及计算机可读存储介质,进一步使得所述方法更具有实用性,所述装置及计算机可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种遥感影像建筑物检测方法的流程示意图;
图2为本发明实施例根据一示例性实施例示出的建筑物切割结果示意图;
图3为本发明实施例提供的另一种遥感影像建筑物检测方法的流程示意图;
图4为本发明实施例提供的再一种遥感影像建筑物检测方法的流程示意图;
图5为本发明实施例提供的一种实物分割框架示意图;
图6为本发明实施例提供的遥感影像建筑物检测装置的一种具体实施方式结构图;
图7为本发明实施例提供的遥感影像建筑物检测装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种遥感影像建筑物检测方法的流程示意图,本发明实施例可包括以下内容:
S101:预先通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集;并利用标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型。
其中,Shapefile文件或简称为shpfile文件是描述空间数据的几何和属性特征的非拓扑实体矢量数据结构的一种格式,本申请可通过遥感影像数据和建筑物的shpfile文件来建立标准的建筑物实例分割样本集。基于建筑物的空间数据,可识别遥感影像数据中所包含的建筑物并进行实例分割从而生成标准建筑物实例分割样本集。本实施例的标准建筑物实例分割网络以Mask-RCNN(Region Convolutional Neural Network)网络为基础训练样本集所得的模型。Mask-RCNN模型由Faster-RCNN的进化而来,主要有两个阶段组成,分别是生成候选框和根据候选框得到分类结果。
S102:将待检测图像数据输入建筑物实例分割网络模型中,利用建筑物实例分割网络模型对待检测图像数据进行切片处理,以得到单个格网的实例分割结果。
在上个步骤训练得到可对待检测遥感影像数据进行实例分割并识别其所包含的建筑物的模型后,可将待检测的数据输入到建筑物实例分割模型中,建筑物实例分割模型对输入数据进行切片处理并输出单个格网的实例分割结果。此次的待检测图像数据为遥感影像数据,待检测图像数据的切片大小可与建筑物实例分割网络模型训练过程中的各训练样本的裁剪尺寸相同。对于每个切片计算出来的实例,可使用一个阈值来判断实例的置信度,阈值例如可设置为0.3,大于0.3的实例保留,小于0.3的实例舍弃,进一步保证实例分割结果的可靠性,有利于提高建筑物检测精度。
S103:根据各格网的实例分割结果得到待检测图像数据所包含的建筑物信息。
基于上个步骤得到待检测数据的每个被分割的图像块的识别结果进行合并,便可得到整个待检测数据的建筑物检测结果,如图2所示。若S101的空间文件格式为shpfile格式,可将最终所得的建筑物信息也转换为shpfile格式,也即将待检测数据的建筑物检测结果生成shpfile文件。
在本发明实施例提供的技术方案中,预先构建的标准建筑物实例分割样本集中每个样本数据均基于标准建筑物被分割为多个建筑物实例,采用标准建筑物实例分割样本集训练所得的建筑物实例分割网络模型就具有将遥感影像图像数据分割为多个切片数据的功能,可以大范围地检测出遥感影像区域内的建筑物,实现快速、有效、精准地识别遥感影像中的每个建筑物信息,避免人工勾画中效率低下的问题,无需人力参与,提高建筑物的分割效率,自动化程度高,为建筑物规划、测量和违法建筑的提取提供技术支持和依据。
可以理解的是,为了进一步提高建筑物实例分割网络模型的模型精度,在通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集之后,利用标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到构建建筑物实例分割网络模型之前,还可对标准建筑物实例分割样本集中的各训练样本数据进行图像增强处理,各训练样本数据的图像增强处理包括但并不限制于图像缩放处理、随机裁剪处理、归一化处理和边界扩充处理。
本实施例通过对S101的训练样本影像数据进行数据增强来增加样本数量,还可同时削弱遥感影像中的大气和传感器误差对影像带来的影响,便于模型的训练。
在上述实施例中,对于如何执行步骤S102并不做限定,本实施例中给出建筑物实例分割网络模型的训练方法,可如图3所示,包括如下步骤:
S101中所建立的建筑物实例分割样本集,对照遥感数据,可使用arcgis等软件标注具有与遥感数据相同坐标系统的shpfile文件。先对每个遥感影像数据,基于预先设置的裁剪参数确定格网的索引,其中,可预先定义格网裁剪尺寸值和裁剪区域重叠影像像素值;然后根据格网裁剪尺寸值和裁剪区域重叠影像像素值获取格网索引信息。根据索引将遥感影像数据裁剪为多个影像块;根据索引将每个影像块的像素坐标转换为地理坐标,通过格网四个角的地理坐标建立以这四个角为顶点的四边形地理要素;对于每个影像块,计算当前格网的地理要素与遥感影像数据的交集,以获取当前格网内的建筑物标注;基于索引将遥感影像数据和裁剪的矢量一一对应。具体包括如下内容:
设置裁剪参数,这里可将裁剪格网尺寸的参数设置为1024*1024,为防止目标丢失,还可将裁剪区域重叠影像部分像素设置为256。根据上一步设置的裁剪的参数和影像的大小,获取格网的索引,根据索引,在影像中裁剪为一块一块的影像。根据上一步获取的格网的索引和影像坐标系统,将图中像素坐标转换为地理坐标,通过格网四个角的地理坐标,建立以这四个角为顶点的四边形地理要素。将格网地理要素与待裁剪的shpfile文件求交集,获取该格网内的的建筑物标注,将该标注转换为标准的coco格式,其中包含建筑物的category、bbox、segmentation等信息。将裁剪的影像和裁剪的矢量一一对应。通过上述步骤中获取的格网的索引,将裁剪的影像与对应的矢量一一对应,并写入coco格式的json文件中。
利用标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型的过程可为:利用ResNet101提取标准建筑物实例分割样本集中每个样本数据的图像多尺度特征,得到相应的图像特征图;对每个样本数据,采用RPN在当前样本数据的图像特征图中选取ROI区域;使用双线性插值的方法将ROI区域与相应图像特征图进行映射处理,以获取固定尺寸的图像特征图;将固定尺寸的图像特征图输入到边框分类、边界回归、Mask生成层,得到分割后的建筑物信息;基于预先构建损失函数计算建筑物实例分割网络模型的损失,损失函数包括RPN框的分类损失、RPN框的回归损失、边框分支的分类损失、边框分支的回归损失和分割图损失;基于与显卡个数相匹配的学习率,使用随机梯度下降训练建筑物实例分割网络模型。
在本实施例中,如图5所示,使用ResNet101作为特征提取器,其中,使用FPN(Feature Pyramid Network)网络,自底向上提取C2、C3、C4、C5级特征,然后自顶向下进行unsampling,并与C2到C5级特征融合,再使用3x3的卷积核进行卷积操作,可得到多级的特征。使用RPN(Region Proposal Network,区域生成网络)选取区域,RPN是在特征图上,可使用9中不同尺度的边框anchor,如果anchor于ground truth由最高的IOU(Intersectionover Union)或者和任意一个ground truth的IOU都大于0.7,则认为是正样本,如果anchor于ground truth的所有IOU都小于0.3,则认为是负样本。区域特征聚集处理:可使用双线性插值的方法,将图像感兴趣区域即ROI区域映射到特征图feature map,从而获取固定尺寸的特征图,将特征图输入到边框分类、边界回归、Mask生成层,得到分割后的建筑物信息。损失计算部分:整个算法损失可分为五个部分:RPN框的分类损失Lrpn_cls、RPN框的回归损失Lrpn_reg、边框分支的分类损失Lbox_cls、边框分支的回归损失Lbox_reg、分割图损失Lmask。损失函数可为L=Lrpn_cls+Lrpn_reg+Lbox_cls+Lbox_reg+Lmask。可使用随机梯度下降(SDG)的方法训练模型,单张显卡训练时,学习率learning rate可设置为0.0025,两张显卡训练时,学习率learning rate可设置为0.005,为了控制学习速度,动量可设置为0.9,最后将模型训练结果的参数保存到本地。
上述实施例训练得到筑物实例分割网络模型的参数,基于训练参数构建筑物实例分割网络模型,然后将待检测遥感数据输入至上述训练所得的建筑物实例分割网络模型中,如图4所示,建筑物实例分割网络模型可先将待检测遥感影像数据进行分块,然后对每个图像块或者是说切片进行检测,得到该切片的建筑物检测结果,然后将该切片进行建筑物轮廓提取,最终将提取的轮廓进行矢量合并得到最终检测结果。其中,根据各格网的实例分割结果得到待检测图像数据所包含的建筑物信息可包括:
根据各格网的实例分割结果得到相应的二值的掩图,并使用轮廓跟踪方法得到每个格网的多边形坐标;根据格网索引信息将多边形转换为地理坐标或投影坐标;将每个格网的多边形进行空间叠加,并把相邻格网重叠的部分融合,得到待检测图像数据对应的建筑物的矢量。
在本实施例中,对于每个切片中分割出的每个实例,得到二值的掩图,可使用轮廓跟踪方法得到各实例的多边形坐标,根据切片的索引信息,将多边形转换为地理坐标或投影坐标,然后将多个切片的多边形空间叠加,把重叠的部分融合,得到整个影像对应的建筑物的矢量,最后生成建筑物对应的shpfile文件。
需要说明的是,本申请中各步骤之间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1、图3-图5只是一种示意方式,并不代表只能是这样的执行顺序。
本发明实施例还针对遥感影像建筑物检测方法提供了相应的装置,进一步使得所述方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的遥感影像建筑物检测装置进行介绍,下文描述的遥感影像建筑物检测装置与上文描述的遥感影像建筑物检测方法可相互对应参照。
基于功能模块的角度,参见图6,图6为本发明实施例提供的遥感影像建筑物检测装置在一种具体实施方式下的结构图,该装置可包括:
样本集预构建模块601,用于通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集。
模型预构建模块602,用于利用标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型。
实例分割模块603,用于将待检测图像数据输入建筑物实例分割网络模型中,利用建筑物实例分割网络模型对待检测图像数据进行切片处理,以得到单个格网的实例分割结果。
建筑物检测结果获取模块604,用于根据各格网的实例分割结果得到待检测图像数据所包含的建筑物信息。
可选的,在本实施例的一些实施方式中,上述装置例如还可以包括图像预处理模块,图像预处理模块用于对标准建筑物实例分割样本集中的各训练样本数据进行图像增强处理,以用于建筑物实例分割网络模型的训练样本。
可选的,在本实施例的另一些实施方式中,上述模型预构建模块602可进一步用于:
利用ResNet101提取标准建筑物实例分割样本集中每个样本数据的图像多尺度特征,得到相应的图像特征图;对每个样本数据,采用RPN在当前样本数据的图像特征图中选取ROI区域;使用双线性插值的方法将ROI区域与相应图像特征图进行映射处理,以获取固定尺寸的图像特征图;将固定尺寸的图像特征图输入到边框分类、边界回归、Mask生成层,得到分割后的建筑物信息;基于预先构建损失函数计算建筑物实例分割网络模型的损失,损失函数包括RPN框的分类损失、RPN框的回归损失、边框分支的分类损失、边框分支的回归损失和分割图损失;基于与显卡个数相匹配的学习率,使用随机梯度下降训练建筑物实例分割网络模型。
作为本实施例的一种实施方式,上述样本集预构建模块601可进一步用于:
对每个遥感影像数据,基于预先设置的裁剪参数确定格网的索引,并根据索引将遥感影像数据裁剪为多个影像块;根据索引将每个影像块的像素坐标转换为地理坐标,通过格网四个角的地理坐标建立以这四个角为顶点的四边形地理要素;对于每个影像块,计算当前格网的地理要素与遥感影像数据的交集,以获取当前格网内的建筑物标注;基于索引将遥感影像数据和裁剪的矢量一一对应。
作为上述实施的一种可选的实施方式,上述样本集预构建模块601还可进一步用于:预先定义格网裁剪尺寸值和裁剪区域重叠影像像素值;根据格网裁剪尺寸值和裁剪区域重叠影像像素值获取格网索引信息。
作为本实施例的另一种实施方式,上述建筑物检测结果获取模块604可进一步用于:
根据各格网的实例分割结果得到相应的二值的掩图,并使用轮廓跟踪方法得到每个格网的多边形坐标;根据格网索引信息将多边形转换为地理坐标或投影坐标;将每个格网的多边形进行空间叠加,并把相邻格网重叠的部分融合,得到待检测图像数据对应的建筑物的矢量。
本发明实施例所述遥感影像建筑物检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例提高了检测遥感影像中建筑物的精度。
上文中提到的遥感影像建筑物检测装置是从功能模块的角度描述,进一步的,本申请还提供一种遥感影像建筑物检测装置,是从硬件角度描述。图7为本申请实施例提供的另一种遥感影像建筑物检测装置的结构图。如图7所示,该装置包括存储器70,用于存储计算机程序;处理器71,用于执行计算机程序时实现如上述任一实施例提到的遥感影像建筑物检测方法的步骤。
其中,处理器71可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器71可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器71也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器71可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器71还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器70可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器70还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器70至少用于存储以下计算机程序701,其中,该计算机程序被处理器71加载并执行之后,能够实现前述任一实施例公开的遥感影像建筑物检测方法的相关步骤。另外,存储器70所存储的资源还可以包括操作系统702和数据703等,存储方式可以是短暂存储或者永久存储。其中,操作系统702可以包括Windows、Unix、Linux等。数据703可以包括但不限于遥感影像建筑物检测结果对应的数据等。
在一些实施例中,遥感影像建筑物检测装置还可包括有显示屏72、输入输出接口73、通信接口74、电源75以及通信总线76。
本领域技术人员可以理解,图7中示出的结构并不构成对遥感影像建筑物检测装置的限定,可以包括比图示更多或更少的组件,例如还可包括传感器77。
本发明实施例所述遥感影像建筑物检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例提高了检测遥感影像中建筑物的精度。
可以理解的是,如果上述实施例中的遥感影像建筑物检测方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明实施例还提供了一种计算机可读存储介质,存储有遥感影像建筑物检测程序,所述遥感影像建筑物检测程序被处理器执行时如上任意一实施例所述遥感影像建筑物检测方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例提高了检测遥感影像中建筑物的精度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本申请所提供的一种遥感影像建筑物检测方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种遥感影像建筑物检测方法,其特征在于,包括:
预先通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集;并利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型;
将待检测图像数据输入所述建筑物实例分割网络模型中,利用所述建筑物实例分割网络模型对所述待检测图像数据进行切片处理,以得到单个格网的实例分割结果;
根据各格网的实例分割结果得到所述待检测图像数据所包含的建筑物信息。
2.根据权利要求1所述的遥感影像建筑物检测方法,其特征在于,所述通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集之后,所述利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到构建建筑物实例分割网络模型之前,还包括:
对所述标准建筑物实例分割样本集中的各训练样本数据进行图像增强处理。
3.根据权利要求1所述的遥感影像建筑物检测方法,其特征在于,所述利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型包括:
利用ResNet101提取所述标准建筑物实例分割样本集中每个样本数据的图像多尺度特征,得到相应的图像特征图;
对每个样本数据,采用RPN在当前样本数据的图像特征图中选取ROI区域;使用双线性插值的方法将所述ROI区域与相应图像特征图进行映射处理,以获取固定尺寸的图像特征图;将所述固定尺寸的图像特征图输入到边框分类、边界回归、Mask生成层,得到分割后的建筑物信息;
基于预先构建损失函数计算所述建筑物实例分割网络模型的损失,所述损失函数包括RPN框的分类损失、RPN框的回归损失、边框分支的分类损失、边框分支的回归损失和分割图损失;
基于与显卡个数相匹配的学习率,使用随机梯度下降训练所述建筑物实例分割网络模型。
4.根据权利要求1至3任意一项所述的遥感影像建筑物检测方法,其特征在于,所述通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集包括:
对每个遥感影像数据,基于预先设置的裁剪参数确定格网的索引,并根据所述索引将所述遥感影像数据裁剪为多个影像块;
根据所述索引将每个影像块的像素坐标转换为地理坐标,通过格网四个角的地理坐标建立以这四个角为顶点的四边形地理要素;
对于每个影像块,计算当前格网的地理要素与所述遥感影像数据的交集,以获取所述当前格网内的建筑物标注;
基于所述索引将所述遥感影像数据和裁剪的矢量一一对应。
5.根据权利要求4所述的遥感影像建筑物检测方法,其特征在于,所述基于预先设置的裁剪参数确定格网的索引包括:
预先定义格网裁剪尺寸值和裁剪区域重叠影像像素值;
根据所述格网裁剪尺寸值和所述裁剪区域重叠影像像素值获取格网索引信息。
6.根据权利要求4所述的遥感影像建筑物检测方法,其特征在于,所述根据各格网的实例分割结果得到所述待检测图像数据所包含的建筑物信息包括:
根据各格网的实例分割结果得到相应的二值的掩图,并使用轮廓跟踪方法得到每个格网的多边形坐标;
根据格网索引信息将多边形转换为地理坐标或投影坐标;
将每个格网的多边形进行空间叠加,并把相邻格网重叠的部分融合,得到所述待检测图像数据对应的建筑物的矢量。
7.一种遥感影像建筑物检测装置,其特征在于,包括:
样本集预构建模块,用于通过遥感影像数据和建筑物的空间数据文件建立标准建筑物实例分割样本集;
模型预构建模块,用于利用所述标准建筑物实例分割样本集,基于Mask-RCNN网络训练得到建筑物实例分割网络模型;
实例分割模块,用于将待检测图像数据输入所述建筑物实例分割网络模型中,利用所述建筑物实例分割网络模型对所述待检测图像数据进行切片处理,以得到单个格网的实例分割结果;
建筑物检测结果获取模块,用于根据各格网的实例分割结果得到所述待检测图像数据所包含的建筑物信息。
8.根据权利要求7所述的遥感影像建筑物检测装置,其特征在于,还包括图像预处理模块,所述图像预处理模块用于对所述标准建筑物实例分割样本集中的各训练样本数据进行图像增强处理,以用于所述建筑物实例分割网络模型的训练样本。
9.一种遥感影像建筑物检测装置,其特征在于,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6任一项所述遥感影像建筑物检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有遥感影像建筑物检测程序,所述遥感影像建筑物检测程序被处理器执行时实现如权利要求1至6任一项所述遥感影像建筑物检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110377122.2A CN112990086A (zh) | 2021-04-08 | 2021-04-08 | 遥感影像建筑物检测方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110377122.2A CN112990086A (zh) | 2021-04-08 | 2021-04-08 | 遥感影像建筑物检测方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112990086A true CN112990086A (zh) | 2021-06-18 |
Family
ID=76339485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110377122.2A Pending CN112990086A (zh) | 2021-04-08 | 2021-04-08 | 遥感影像建筑物检测方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112990086A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113673596A (zh) * | 2021-08-20 | 2021-11-19 | 自然资源部国土卫星遥感应用中心 | 一种基于历遍源目标的遥感影像目标检测样本生成方法 |
CN113743383A (zh) * | 2021-11-05 | 2021-12-03 | 航天宏图信息技术股份有限公司 | 一种sar影像水体提取方法、装置、电子设备及存储介质 |
CN113762266A (zh) * | 2021-09-01 | 2021-12-07 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
CN113822220A (zh) * | 2021-10-09 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 一种建筑物检测方法及系统 |
CN113901972A (zh) * | 2021-12-09 | 2022-01-07 | 深圳市海清视讯科技有限公司 | 遥感图像建筑物的检测方法、装置、设备及存储介质 |
CN114067110A (zh) * | 2021-07-13 | 2022-02-18 | 广东国地规划科技股份有限公司 | 一种实例分割网络模型的生成方法 |
CN114187313A (zh) * | 2021-11-10 | 2022-03-15 | 泰瑞数创科技(北京)有限公司 | 基于滑动边缘检测的人工神经网络建筑物轮廓提取方法 |
CN113762266B (zh) * | 2021-09-01 | 2024-04-26 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751075A (zh) * | 2019-10-12 | 2020-02-04 | 海南长光卫星信息技术有限公司 | 一种基于实例分割的遥感影像养殖塘检测方法 |
CN111553303A (zh) * | 2020-05-07 | 2020-08-18 | 武汉大势智慧科技有限公司 | 基于卷积神经网络的遥感正射影像密集建筑物提取方法 |
CN111652250A (zh) * | 2020-06-09 | 2020-09-11 | 星际空间(天津)科技发展有限公司 | 基于多边形的遥感影像建筑物提取方法、装置及存储介质 |
CN111968088A (zh) * | 2020-08-14 | 2020-11-20 | 西安电子科技大学 | 一种基于像素和区域分割决策融合的建筑物检测方法 |
-
2021
- 2021-04-08 CN CN202110377122.2A patent/CN112990086A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110751075A (zh) * | 2019-10-12 | 2020-02-04 | 海南长光卫星信息技术有限公司 | 一种基于实例分割的遥感影像养殖塘检测方法 |
CN111553303A (zh) * | 2020-05-07 | 2020-08-18 | 武汉大势智慧科技有限公司 | 基于卷积神经网络的遥感正射影像密集建筑物提取方法 |
CN111652250A (zh) * | 2020-06-09 | 2020-09-11 | 星际空间(天津)科技发展有限公司 | 基于多边形的遥感影像建筑物提取方法、装置及存储介质 |
CN111968088A (zh) * | 2020-08-14 | 2020-11-20 | 西安电子科技大学 | 一种基于像素和区域分割决策融合的建筑物检测方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114067110A (zh) * | 2021-07-13 | 2022-02-18 | 广东国地规划科技股份有限公司 | 一种实例分割网络模型的生成方法 |
CN113673596A (zh) * | 2021-08-20 | 2021-11-19 | 自然资源部国土卫星遥感应用中心 | 一种基于历遍源目标的遥感影像目标检测样本生成方法 |
CN113762266A (zh) * | 2021-09-01 | 2021-12-07 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
CN113762266B (zh) * | 2021-09-01 | 2024-04-26 | 北京中星天视科技有限公司 | 目标检测方法、装置、电子设备和计算机可读介质 |
CN113822220A (zh) * | 2021-10-09 | 2021-12-21 | 海南长光卫星信息技术有限公司 | 一种建筑物检测方法及系统 |
CN113743383A (zh) * | 2021-11-05 | 2021-12-03 | 航天宏图信息技术股份有限公司 | 一种sar影像水体提取方法、装置、电子设备及存储介质 |
CN113743383B (zh) * | 2021-11-05 | 2022-06-07 | 航天宏图信息技术股份有限公司 | 一种sar影像水体提取方法、装置、电子设备及存储介质 |
CN114187313A (zh) * | 2021-11-10 | 2022-03-15 | 泰瑞数创科技(北京)有限公司 | 基于滑动边缘检测的人工神经网络建筑物轮廓提取方法 |
CN114187313B (zh) * | 2021-11-10 | 2022-09-06 | 泰瑞数创科技(北京)股份有限公司 | 基于滑动边缘检测的人工神经网络建筑物轮廓提取方法 |
CN113901972A (zh) * | 2021-12-09 | 2022-01-07 | 深圳市海清视讯科技有限公司 | 遥感图像建筑物的检测方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112990086A (zh) | 遥感影像建筑物检测方法、装置及计算机可读存储介质 | |
Chen et al. | A methodology for automated segmentation and reconstruction of urban 3-D buildings from ALS point clouds | |
Wu et al. | Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach | |
Verma et al. | 3D building detection and modeling from aerial LIDAR data | |
Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
CN104134234A (zh) | 一种全自动的基于单幅图像的三维场景构建方法 | |
Hormese et al. | Automated road extraction from high resolution satellite images | |
CN112990085A (zh) | 养殖塘变化检测方法、装置及计算机可读存储介质 | |
JP7418281B2 (ja) | 地物の分類システム、分類方法及びそのプログラム | |
CN113033516A (zh) | 对象识别统计方法及装置、电子设备、存储介质 | |
CN112560675A (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
de Gélis et al. | Siamese KPConv: 3D multiple change detection from raw point clouds using deep learning | |
CN109657728B (zh) | 样例生产方法及模型训练方法 | |
CN111814715A (zh) | 一种地物分类方法及装置 | |
CN109727255B (zh) | 一种建筑物三维模型分割方法 | |
CN114299394A (zh) | 一种遥感影像智能解译方法 | |
Prerna et al. | Evaluation of LiDAR and image segmentation based classification techniques for automatic building footprint extraction for a segment of Atlantic County, New Jersey | |
CN113870196A (zh) | 一种基于锚点切图的图像处理方法、装置、设备和介质 | |
CN116071651B (zh) | 一种均压场识别方法、装置、存储介质及终端 | |
CN108109125A (zh) | 基于遥感图像的信息提取方法和装置 | |
CN115861816B (zh) | 一种立体低涡识别方法、装置、存储介质及终端 | |
CN115731560B (zh) | 一种基于深度学习的槽线识别方法、装置、存储介质及终端 | |
CN111079752A (zh) | 识别红外图像中的断路器的方法、装置及可读存储介质 | |
Namouchi et al. | Piecewise horizontal 3d roof reconstruction from aerial lidar | |
Mao et al. | City object detection from airborne Lidar data with OpenStreetMap‐tagged superpixels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |