CN111462073B - 机载激光雷达点云密度的质量检查方法和装置 - Google Patents
机载激光雷达点云密度的质量检查方法和装置 Download PDFInfo
- Publication number
- CN111462073B CN111462073B CN202010240259.9A CN202010240259A CN111462073B CN 111462073 B CN111462073 B CN 111462073B CN 202010240259 A CN202010240259 A CN 202010240259A CN 111462073 B CN111462073 B CN 111462073B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- area
- cloud density
- vector range
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供了一种机载激光雷达点云密度的质量检查方法和装置,涉及机载激光雷达点云数据的质量检查的技术领域,包括获取测区内的点云数据;通过检查窗口在测区进行搜索移动,确定每个检查窗口内的第一点云密度;根据第一点云密度与影像数据确定测区的点云密度不合格目标区域的矢量范围;通过点云密度不合格目标区域的矢量范围的面积和测区面积计算测区的第二点云密度,并根据第二点云密度完成质量检查。该方法在快速实现全测区点云密度的全数检查的基础上,不仅能提高点云密度计算的精度,还能有效提升点云密度的检查效率。
Description
技术领域
本发明涉及机载激光雷达点云数据的质量检查技术领域,尤其是涉及一种机载激光雷达点云密度的质量检查方法和装置。
背景技术
机载激光雷达(laser intensity direction and ranging,LiDAR)技术是将激光测距系统、定姿定位系统、数码相机设备等紧密集成,以飞行平台为载体,通过对地面扫描,记录目标的姿态、位置和反射强度等信息,经过专业预处理软件计算后生成高精度地表三维信息的空间信息技术。机载激光雷达所获取的是以离散、不规则方式分布在三维空间中的点的集合,也称为“点云”。点云密度即点的疏密程度,是点云数据质量的重要属性,是影响后续DSM/DEM生产精度的主要因素。点云密度越大,越能精确描述地形特征,但过大的点云密度也会影响DEM/DSM生产效率,造成浪费;反之,点云密度越小,描述地形的精度就会降低,就会影响DEM/DSM的生产精度。
发明内容
有鉴于此,本发明的目的在于提供一种机载激光雷达点云密度的质量检查方法,该方法针对全测区点云数据进行全数检查,能自动发现点云密度不合格目标区域的矢量范围,计算平均点云密度时去除了点云密度不合格目标区域的面积,不仅能提高点云密度计算的精度,而且有效提升了点云密度的检查效率。
第一方面,本发明实施例提供了一种机载激光雷达点云密度的质量检查方法,包括:
获取测区内的点云数据;
通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度;
根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围;
通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度,并根据所述第二点云密度完成质量检查。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度的步骤,包括:
通过逐条航带移动所述检查窗口进行所述测区的点云搜索检查;
根据所述检查窗口的面积与所述检查窗口中的点云数量确定每个所述检查窗口的第一点云密度。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述检查窗口的尺寸和所述检查窗口的移动步距根据点云间距和相应比例尺的DEM的格网间距进行设置。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围的步骤,包括:
将所述第一点云密度与点云密度阈值进行对比,确定所述测区中的目标窗口,合并所述目标窗口形成点云密度不合格目标区域的第一矢量范围,所述目标窗口的点云密度小于所述点云密度阈值;
通过将所述第一矢量范围与所述影像数据进行套合的方式核查确定点云密度不合格目标区域的第二矢量范围。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,将所述第一点云密度与点云密度阈值进行对比,确定所述测区中的目标窗口,合并所述目标窗口形成点云密度不合格目标区域的第一矢量范围的步骤,包括:
预先设置点云密度阈值;
将所述测区中的每个检查窗口的第一点云密度与所述点云密度阈值进行对比;
根据比对结果确定所述第一点云密度小于所述点云密度阈值的目标窗口,所述目标窗口包括点云缺失窗口和点云密度偏小窗口;
将所述目标窗口进行合并,得到点云密度不合格目标区域的第一矢量范围。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,通过将所述第一矢量范围与所述影像数据进行套合的方式核查确定点云密度不合格目标区域的第二矢量范围的步骤,包括:
将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合,判断所述点云密度不合格目标区域的点云缺失的合理性;
若具有非合理性,则将非合理性点云缺失区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;
或者,
将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合并参考机载激光雷达的飞行数据,判断所述目标窗口的点云密度偏小的可用性;
若具有不可用性,则将不可用性点云密度偏小区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出。
结合第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度的步骤,包括:
将所述点云密度不合格目标区域的第二矢量范围的面积从所述测区的矢量范围的面积中去除;
计算去除所述点云密度不合格目标区域的第二矢量范围的面积后测区的第二点云密度。
第二方面,本发明实施例还提供一种机载激光雷达点云密度的质量检查装置,包括:
获取单元,获取测区内的点云数据;
第一点云密度检查单元,通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度;
不合格区域确定单元,根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围;
第二点云密度检查单元,通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度,并根据所述第二点云密度完成质量检查。
第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序,所述处理器执行所述程序时实现如前述实施方式中任一项所述的机载激光雷达点云密度的质量检查方法。
本发明实施例提供了一种机载激光雷达点云密度的质量检查方法和装置。通过设计点云密度的检查窗口和窗口移动的步距,以一定的步距移动点云密度检查窗口,逐条航带对全测区点云数据进行检查,计算每个窗口内的点云密度;通过设定窗口点云密度的阈值,将每个窗口的点云密度与点云密度阈值进行对比,找出点云缺失和点云密度偏小等小于阈值的目标窗口,合并目标窗口形成点云密度小于阈值区域的矢量范围一;通过矢量范围一与影像数据套合分析,快速判断合点云缺失的合理性和点云数据的可用性。确定全测区的点云密度不合格区域的矢量范围二;利用全测区矢量范围面积去除矢量范围二面积后,计算平均点云密度。本方法针对全测区点云数据进行全数检查,一方面能在计算平均点云密度时去除不合格点云密度的面积,获取较为精确的点云密度结果,另一方面能自动发现、快速找出不合格点云数据的矢量范围,便于快速组织开展补飞和重飞。不仅能提高点云密度计算的精度,还能有效提升点云密度的检查效率。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的不同机载激光雷达设备使用不同的扫描原理呈现的不同点云形态示意图;
图2为本发明实施例提供的一种机载激光雷达点云密度的质量检查方法流程示意图;
图3为本发明实施例提供的一种点云密度检查窗口及窗口移动步距示意图;
图4为本发明实施例提供的自动发现的点云缺失和点云密度偏小区域的矢量范围示意图;
图5为本发明实施例提供的矢量范围与影像数据套合情况示意图;
图6为本发明实施例提供的另一种机载激光雷达点云密度的质量检查方法流程图;
图7为本发明实施例提供的一种机载激光雷达点云密度的质量检查装置的功能模块图;
图8为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
机载激光雷达(laser intensity direction and ranging,LiDAR)技术是将激光测距系统、定姿定位系统、数码相机设备等紧密集成,以飞行平台为载体,通过对地面扫描,记录目标的姿态、位置和反射强度等信息,经过专业预处理软件计算后生成高精度地表三维信息的空间信息技术。机载激光雷达测绘技术可直接获取地面点的真实空间坐标,是快速获取大面积三维地形数据,生产DSM/DEM的有效手段。与传统光学摄影测量技术相比,具有精度高、信息丰富等诸多优点,且激光雷达为主动式测量,对天气条件要求低,夜晚都可以作业。
国内的机载LIDAR技术研究始于本世纪初,经过10多年的发展与积累,机载激光雷达数据获取与处理技术逐步增强,在省级和流域性等大范围高精度地形数据生产中广泛应用,解决了水网密布、平原地区等测图过程中依靠航空摄影测量方法无法解决的高程精度问题。此外,机载LIDAR在林业、电力、交通等领域取得了诸多专题性应用。
机载激光雷达所获取的是以离散、不规则方式分布在三维空间中的点的集合,也称为“点云”。点云密度即点的疏密程度,是点云数据质量的重要属性,是影响后续DSM/DEM生产精度的主要因素。点云密度越大,越能精确描述地形特征,但过大的点云密度也会影响DEM/DSM生产效率,造成浪费;反之,点云密度越小,描述地形的精度就会降低,就会影响DEM/DSM的生产精度。
为了确保点云密度满足内插数字高程模型数据的需要,规定了不同比例尺的点云密度要求,如表1所示。
表1不同比例尺的点云密度要求
点云密度的高低首要的是与使用的机载激光雷达设备的扫描方式有关,不同LIDAR系统采用的扫描装置不同,有的使用扫摆镜反射扫描模式,有的使用旋转多棱镜扫描模式,有的使用章动式扫描模式,有的使用光纤扫描模式,不同的扫描方式决定了激光脚点在地面上的几何分布规律,见图1。
对于扫摆镜反射扫描模式的机载激光雷达,扫描角度可以调节,两个摆动方向产生低于地面的双向扫描,在地面上形成Z形扫描线,由于反射镜需要不停地加减速,致使在扫描线上的点云呈现中间稀两端。扫描频率与扫描角度相关,扫描角度越大,最大扫描频率逐渐减小。
对于旋转多棱镜扫描模式的机载激光雷达,其扫描角度是固定的,扫描点是均匀分布的,扫描频率不受扫描角影响,旋转正多面体扫描镜只有一个旋转方向,其每个表平面都按同一方向扫描,在地面形成单向扫描平行线。点云密度主要受到目标点到激光发射点间的距离影响,在扫描线上的点云间距呈现中间密两端稀的情况。
对于章动式扫描模式的机载激光雷达,在旋转轴和偏转棱镜的同时旋转下,点云呈现椭圆形扫描线,扫描航带上的点云呈现中间稀两端密的情况。
对于光纤扫描模式的机载激光雷达,在同一个环形扫描视场内点云分布比较均匀。
不仅如此,在飞行作业过程中,受激光脉冲发射频率、扫描频率、飞机飞行速度、飞行姿态、摄区地形地物条件等的综合影响,点云密度不可能处处相同,会呈现疏密不等的特点。
近年来,多家单位对机载激光雷达点云密度的质量检验进行了研究,一般比较常用的方法通过全测区点云密度整体检查法检查点云密度,确保其满足要求,该方法利用全测区(水域除外)激光点个数与全测区(水域除外)面积的比值来计算点云密度。
式中:
ρ—激光雷达点云密度,单位为个每平方米(个/m2);
n—测区内激光雷达点云总数,单位为个;
ni—第i个水域内激光雷达点云数,单位为个;
A—全测区激光雷达点云覆盖的面积,单位为平方米(m2)。
Ai—第i个水域激光雷达点云覆盖的面积,单位为平方米(m2)。
这种点云密度的统计方法在实际操作过程中存在一些问题:一是如何快速判断水域面积。尤其是在水域面积较多的河网密布地区,如果不借助已有水域的资料,提取水域范围的难度和工作量巨大;二是去除水域范围后,也可能出现全测区平均点云密度合格,但局部不合格的情况。一方面可能是受大面积云、雾遮挡的影响,全测区平均点云密度满足要求,但局部受云遮挡的影像点云密度少;另一方面受激光脉冲发射频率、扫描频率、飞机飞行速度、飞行姿态、摄区地形地物条件等的综合影响,点云密度会呈现疏密不等的特点,部分区域的点云密度小于规范要求。然而,在后续点云数据生产中,数据使用部门不仅要求全测区平均点云密度合格,同样也关注全测区点云密度较低的区域是否满足规范要求。如何快速发现并去除此类影响;三是如何快速实现全测区点云数据的全数检查。
正因如此,如何检查机载激光雷达点云数据的密度就显得尤为重要。从数据使用的角度看,点云密度检查主要有两个方面的要求:一是需要做到全测区全数检查;二是需要快速准确判断点云密度是否符合规范要求。即先找出水域、煤山、柏油马路等合理性点云缺失和云、雾等遮挡造成的非合理性点云缺失区域,并快速确定不满足规范要求的点云所涉及的范围。
当前的点云密度检查方法主要有以下两种:
(1)全测区整体检查点云密度
首先需要确定测区内的水域面积;其次,统计每个水域面积内的点云数量;第三,利用测区内点云总个数减去每个水域面积内的点云数量得到除水域外的测区点云个数A;第四,利用测区面积减去水域面积得到除水域外的测区面积B;第五,A/B即为测区内的平均点云密度。
该方式的优点是计算简单、快捷。缺点一是确定水域面积需要有DLG、地表覆盖分类数据等专业资料辅助,仅仅依靠点云数据或影像数据无法快速、准确获取水域面积。而且,水域面积是随着季节变化的,即使从专业资料获取了水域面积,与获取点云数据时间段内的水域面积也不可能完全一致。二是仅仅考虑了水域这类合理性点云缺失类型,对于未考虑如煤堆、柏油马路等其他合理性点云缺失类型;三是未考虑非合理性点云缺失的情况。如果测区点云数据存在云、浓雾、沙尘等遮挡造成点云密度缺失,利用此方法检查时无法将其排除,检查结果会降低全测区平均点云密度,将非合理性点云缺失问题掩盖,并带至下一工序。
(2)人工抽样检查点云密度
在缺乏水域面积资料,无法取出水域面积的情况下,采用抽样的方法检查机载激光雷达点云数据的密度的一般操作如下:选择抽样区域,尽量涵盖所有航线、所有图幅和所有地形类别;手工框选样区,计算并记录每个样区的点云密度;按地形类型统计样区数量、最小点云密度、最大点云密度和平均点云密度。
该方法的优点是无需借助其他软件即可完成。缺点是无法做到点云数据的全查,无法完全找出点云密度偏低的区域,结果可能以偏概全;且未考虑合理性与非合理新点云缺失的情况,将由此计算出的点云密度比实际值偏高。
基于此,本发明实施例提供的一种机载激光雷达点云密度的质量检查方法,快速实现全测区点云密度的全数检查,自动发现、快速找出点云密度不合格区域的矢量范围,不仅能在计算平均点云密度时去除不合格点云密度的面积,获取较为精确的点云密度结果。而且能便于快速组织开展补飞和重飞。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种机载激光雷达点云密度的质量检查方法进行详细介绍。
图2为本发明实施例提供的一种机载激光雷达点云密度的质量检查方法流程示意图。
参照图2,本发明实施例提供了一种机载激光雷达点云密度的质量检查方法,包括以下步骤:
步骤S102,获取测区内的点云数据;
步骤S104,通过检查窗口在测区进行搜索移动,确定每个检查窗口内的第一点云密度;
步骤S106,根据第一点云密度与影像数据确定测区的点云密度不合格目标区域的矢量范围;
步骤S108,通过点云密度不合格目标区域的矢量范围的面积和测区面积计算测区的第二点云密度,并根据第二点云密度完成质量检查。
本发明实施例通过设计点云密度的检查窗口和窗口移动的步距,以一定的步距移动点云密度检查窗口,逐条航带对全测区点云数据进行检查,计算每个窗口内的点云密度;通过设定窗口点云密度的阈值,将每个窗口的点云密度与点云密度阈值进行对比,找出点云缺失和点云密度偏小等小于阈值的目标窗口,合并目标窗口形成点云密度小于阈值区域的矢量范围一;通过矢量范围一与影像数据(正射影像、Google earth影像)套合分析,快速判断合点云缺失的合理性和点云数据的可用性。确定全测区的点云密度不合格区域的矢量范围二;利用全测区矢量范围面积去除矢量范围二面积后,计算平均点云密度。本方法针对全测区点云数据进行全数检查,一方面能在计算平均点云密度时去除点云密度不合格的面积,获取较为精确的点云密度结果,另一方面能自动发现、快速找出点云密度不合格的矢量范围,便于快速组织开展补飞和重飞。不仅能提高点云密度计算的精度,还能有效提升点云密度的检查效率。
需要说明的是,第二点云密度可用于表征平均点云密度。
其中,步骤S104还可通过以下步骤实现:
步骤1.1),通过逐条航带移动所述检查窗口进行所述测区的点云搜索检查;
步骤1.2),根据所述检查窗口的面积与所述检查窗口中的点云数量确定每个所述检查窗口的第一点云密度。
这里,可以理解的是,所述检查窗口的尺寸和所述检查窗口的移动步距根据点云间距和相应比例尺的DEM的格网间距进行设置。
在一些实施例中,步骤S106还可通过以下步骤实现:
步骤2.1),将所述第一点云密度与点云密度阈值进行对比,确定所述测区中的目标窗口,合并所述目标窗口形成点云密度不合格目标区域的第一矢量范围,所述目标窗口的点云密度小于所述点云密度阈值;
步骤2.2),通过将所述第一矢量范围与所述影像数据进行套合的方式核查确定点云密度不合格目标区域的第二矢量范围。
在一些可能的实施方式中,步骤2.1)还包括以下步骤:
步骤2.1.1),预先设置点云密度阈值;
步骤2.1.2),将所述测区中的每个检查窗口的第一点云密度与所述点云密度阈值进行对比;
步骤2.1.3),根据比对结果确定所述第一点云密度小于所述点云密度阈值的目标窗口,所述目标窗口包括点云缺失窗口和点云密度偏小窗口;
步骤2.1.4),将所述目标窗口进行合并,得到点云密度不合格目标区域的第一矢量范围。
其中,设定点云缺失和点云密度偏小的阈值,如搜索窗口内点云密度小于规范要求的点云密度的30%,即初定为点云缺失区域;搜索窗口内点云密度大于规范要求的点云密度的30%、小于90%,设定为点云密度偏小的重点区域,进行重点排查;点云密度大于规范要求的点云密度的90%、小于100%,设定为点云密度偏小区域。
上述实施例中的步骤2.1.4)还包括以下步骤:
步骤2.1.4.1),将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合,判断所述点云密度不合格目标区域的点云缺失的合理性;
步骤2.1.4.2),若具有非合理性,则将非合理性点云缺失区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;
或者,
步骤2.1.4.3),将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合并参考机载激光雷达的飞行数据,判断所述目标窗口的点云密度偏小的可用性;
步骤2.1.4.4),若具有不可用性,则将不可用性点云密度偏小区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出。
这里,通过设定点云缺失和点云密度偏小的阈值,确定符合两种类别的检查窗口,并分别合并检查窗口矢量,形成并输出全测区点云漏洞区和点云密度偏小区域的矢量范围。
本发明实施例通过设定点云缺失和点云密度偏小的阈值,来发现测区中点云缺失和点云密度偏小区域的窗口,并分别将符合点云缺失类型和符合点云密度偏小类型的检查窗口进行矢量合并,生成并导出全测区分航带的点云缺失和点云密度偏小类型的矢量范围,图4是自动发现的点云缺失和点云密度偏小区域的矢量范围示意图。
点云缺失区域矢量范围与影像数据进行套合核查,判断点云缺失的合理性;点云密度偏小矢量范围与影像数据套合,并参考飞行数据判断点云数据的可用性。对于点云缺失不合理、点云数据不合格的区域,输出相应矢量范围提供航摄飞行部门作为补飞或重飞的依据。
图5所示为输出的矢量范围与影像数据套合情况示意图。
其中,通过矢量合并得到的点云缺失区域矢量范围与影像数据进行套合核查,判断点云缺失的合理性。如果该区域为水域、柏油路面、煤堆等区域,则可判定为合理性点云缺失。若该区域为云、浓雾、工业烟等遮挡,则可判定为非合理性点云缺失,输出非合理性点云缺失区域的矢量范围,提供航摄飞行部门进行补飞或者重飞。
其中,通过矢量合并得到的点云密度偏小区域矢量范围与影像数据套合,并参考飞行数据分析点云数据密度偏小的原因,判定其可用性。若可用,输出点云密度偏小区域的矢量范围,作为该批次质量评价的依据;若不可用,输出点云密度偏小区域的矢量范围,提供航摄飞行部门进行补飞或者重飞。
在一些可能的实施例中,步骤S108中通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度的步骤,还包括:
步骤3.1),将所述点云密度不合格目标区域的第二矢量范围的面积从所述测区的矢量范围的面积中去除;
步骤3.2),计算去除所述点云密度不合格目标区域的第二矢量范围的面积后测区的第二点云密度。
作为一种可选的实施例,统计合理性点云缺失的区域面积,并将合理性点云缺失区域内的点云个数设定为0,计算全测区平均点云密度。统计输出点云密度偏小区域的面积及实际点云密度情况,作为该测区定量检查点云数据质量的重要参考。
本发明实施例针对全测区所有点云数据进行检查,符合航摄成果质量需要全数检查的技术要求;能输出点云缺失区域和点云密度偏小区域范围矢量,便于与其他数据叠加开展点云密度的分析,能直接输出的点云密度不合格区域的矢量范围还能作为补飞或重飞的依据提供航摄飞行部门使用;计算点云密度时去除了合理性点云缺失和不可用的点云密度偏小区域的范围,计算结果更加准确。
在一些可能的实施例中,步骤S104还可用以下步骤实现:
步骤4.1),通过检查窗口对全测区进行搜索移动;
步骤4.2),根据测区窗口中的点云数量确定每个测区窗口的第一点云密度。
这里,通过设置点云密度的检查窗口和窗口的移动步距,按步距移动窗口逐航带对全测区所有点云数据进行搜索检查。通过检查窗口在全测区移动搜索,统计每个检查窗口的点云个数、计算每个检查窗口的点云密度。
其中,检查窗口的尺寸和移动步距根据点云间距和相应比例尺的DEM的格网间距进行设置。
为了便于计算面积,设计一个正方形的点云密度检查窗口,设计检查窗口的移动步距与正方形的边长一致。示例见图3,图中w、h分别是检查窗口的宽和高,l为移动步距,设置w=h=l。
点云密度检查窗口的边长可以根据需要选择。如果检查窗口较大,将会漏掉部分点云缺失的检查,如果检查窗口较小,将会导致暴露更多的小型点云缺失区域(如面积极小的水塘等),增加后期核实的工作量。窗口的移动步距与检查窗口边长应一致,以免出现质检漏洞。
例如,检查窗口的边长和步距可以根据成图比例尺的要求进行设定。表2是不同成图比例尺的点云密度检查窗口边长及窗口移动步距。设计窗口边长和移动步距时重点保证一次框选所用检查窗口框内含25个点,同时考虑与比例尺的匹配情况,一般情况下检查窗口的大小设定为2.5倍左右的DEM格网间距、是点间距的5倍。16个点/m2时则将检查窗口放大到2.5米×2.5米。
表2点云密度检查窗口边长及窗口移动步距
选定点云密度检查窗口的边长和步距,根据窗口边长计算窗口面积,统计每个窗口内的点云个数,点云个数/窗口面积=单个窗口内的点云密度。逐航带进行检查窗口搜索,统计并输出每个检查窗口的点云密度。
本发明实施例通过点云密度的检查窗口,以一定的步幅移动窗口,对全测区所有点云数据进行全数检查;通过质检窗口在全测区移动搜索,确定每个窗口的点云密度,通过设定阈值确定并输出全测区点云漏洞区和点云密度偏小区域的范围矢量,与已有影像数据进行套合核验,利用影像辅助判断合点云缺失的合理性;利用影像与飞行数据辅助判断点云数据的可用性。
主要解决的技术问题如下:
(1)解决测区点云数据全数检查的问题。设计点云密度的检查窗口,按照窗口的大小设计搜索窗口的移动步距(如正方形窗口,移动步距为窗口边长),逐航带检查点云密度,记录每一个搜索窗口的点云个数、面积,统计其点云密度,确保全测区所有点云数据的全部能搜索并检查。
(2)解决点云密度不合格区域的矢量范围的自动发现问题。利用搜索窗口搜索全测区点云数据后,针对统计出的每个搜索窗口内的点云密度,可根据需要设定点云缺失和点云密度偏小的阈值,自动判断符合阈值的所有搜索窗口,并将搜索窗口的矢量合并,导出生成通用矢量数据格式。
(3)解决点云数据密度检查结果的快速判定问题。将快速定位得到的点云缺失与点云密度偏小区域的矢量数据与已有影像数据进行套合,逐一对比排查,判定点云缺失的合理性和密度偏小区域的可用性。针对点云数据的非合理性缺失,以及点云密度偏小不可用两种情况,可输出相应矢量数据提供航摄飞行部门进行补飞。
图6为本发明实施例提供的另一种机载激光雷达点云密度的质量检查方法流程图。
参照图6,机载激光雷达点云密度的质量检查方法还包括以下流程:
步骤5.1),点云数据获取步骤;
这里,通机载激光雷达进行点云密度的质量检查,获取激光雷达扫描数据和POS数据等,并通过预处理后生成点云数据;
步骤5.2),设定点云密度的检查窗口和窗口移动步距;
步骤5.3),逐航带进行点云数据的搜索检查;
步骤5.4),统计每个检查窗口的点云个数,计算密度;
步骤5.5),设定点云缺失、点云密度偏小的阈值;
步骤5.6),根据输出点云缺失的矢量范围和影像数据,核查点云缺失的合理性;
步骤5.7),根据影像数据,飞行相关数据和输出点云密度偏小矢量范围,核查点云密度偏小区域的可用性;
步骤5.8),判断点云缺失是否具有合理性和点云偏小是否具有可用性;
若是,则记录相应类型的面积和点云数量,计算全测区平均点云密度,统计最大和最小密度,评定全测区点云密度的质量;
若否,则去除相应类型的面积,计算全测区平均点云密度;输出的矢量范围为不合格区域的矢量范围,供机载激光雷达补飞或重飞。
在一些可能的实施例中,如图7所示,本发明实施例还提供一种机载激光雷达点云密度的质量检查装置,包括:
获取单元,获取测区内的点云数据;
第一点云密度检查单元,通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度;
不合格区域确定单元,根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围;
第二点云密度检查单元,通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度,并根据所述第二点云密度完成质量检查。
进一步地,如图8所示,是本发明实施例提供的用于实现所述机载激光雷达点云密度的质量检查方法的电子设备300的示意图。本实施例中,所述电子设备300可以是,但不限于,个人电脑(Personal Computer,PC)、笔记本电脑、监控设备、服务器等具备分析及处理能力的计算机设备。
图8为本发明实施例提供的电子设备300的硬件架构示意图。参见图8所示,该计算机设备包括:机器可读存储介质301和处理器302,还可以包括非易失性介质303、通信接口304和总线305;其中,机器可读存储介质301、处理器302、非易失性介质303和通信接口304通过总线305完成相互间的通信。处理器502通过读取并执行机器可读存储介质301中机载激光雷达点云密度的质量检查的机器可执行指令,可执行上文实施例描述机载激光雷达点云密度的质量检查。
本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等),或者类似的非易失性存储介质,或者它们的组合。
可以理解的是,本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述,在此不再重复赘述。
本发明实施例所提供计算机可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序代码被执行时可实现上述任一实施例所述的语义仲裁方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种机载激光雷达点云密度的质量检查方法,其特征在于,包括:
获取测区内的点云数据;
通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度;
根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围;
通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度,并根据所述第二点云密度完成质量检查;
根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围的步骤,包括:
将所述第一点云密度与点云密度阈值进行对比,确定所述测区中的目标窗口,合并所述目标窗口形成点云密度不合格目标区域的第一矢量范围,所述目标窗口的点云密度小于所述点云密度阈值;
通过将所述第一矢量范围与所述影像数据进行套合的方式核查确定点云密度不合格目标区域的第二矢量范围;
通过将所述第一矢量范围与所述影像数据进行套合的方式核查确定点云密度不合格目标区域的第二矢量范围的步骤,包括:
将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合,判断所述点云密度不合格目标区域的点云缺失的合理性;
若具有非合理性,则将非合理性点云缺失区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;
或者,
将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合并参考机载激光雷达的飞行数据,判断所述目标窗口的点云密度偏小的可用性;
若具有不可用性,则将不可用性点云密度偏小区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;
通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度的步骤,包括:
将所述点云密度不合格目标区域的第二矢量范围的面积从所述测区的矢量范围的面积中去除;
计算去除所述点云密度不合格目标区域的第二矢量范围的面积后测区的第二点云密度。
2.根据权利要求1所述的机载激光雷达点云密度的质量检查方法,其特征在于,通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度的步骤,包括:
通过逐条航带移动所述检查窗口进行所述测区的点云搜索检查;
根据所述检查窗口的面积与所述检查窗口中的点云数量确定每个所述检查窗口的第一点云密度。
3.根据权利要求1所述的机载激光雷达点云密度的质量检查方法,其特征在于,所述检查窗口的尺寸和所述检查窗口的移动步距根据点云间距和相应比例尺的DEM的格网间距进行设置。
4.根据权利要求1所述的机载激光雷达点云密度的质量检查方法,其特征在于,将所述第一点云密度与点云密度阈值进行对比,确定所述测区中的目标窗口,合并所述目标窗口形成点云密度不合格目标区域的第一矢量范围的步骤,包括:
预先设置点云密度阈值;
将所述测区中的每个检查窗口的第一点云密度与所述点云密度阈值进行对比;
根据比对结果确定所述第一点云密度小于所述点云密度阈值的目标窗口,所述目标窗口包括点云缺失窗口和点云密度偏小窗口;
将所述目标窗口进行合并,得到点云密度不合格目标区域的第一矢量范围。
5.一种机载激光雷达点云密度的质量检查装置,其特征在于,包括:
获取单元,获取测区内的点云数据;
第一点云密度检查单元,通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度;
不合格区域确定单元,根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围;
第二点云密度检查单元,通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度,并根据所述第二点云密度完成质量检查;
所述不合格区域确定单元还用于,将所述第一点云密度与点云密度阈值进行对比,确定所述测区中的目标窗口,合并所述目标窗口形成点云密度不合格目标区域的第一矢量范围,所述目标窗口的点云密度小于所述点云密度阈值;通过将所述第一矢量范围与所述影像数据进行套合的方式核查确定点云密度不合格目标区域的第二矢量范围;
所述不合格区域确定单元还用于,将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合,判断所述点云密度不合格目标区域的点云缺失的合理性;若具有非合理性,则将非合理性点云缺失区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;或者,将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合并参考机载激光雷达的飞行数据,判断所述目标窗口的点云密度偏小的可用性;若具有不可用性,则将不可用性点云密度偏小区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;
第二点云密度检查单元还用于将所述点云密度不合格目标区域的第二矢量范围的面积从所述测区的矢量范围的面积中去除;计算去除所述点云密度不合格目标区域的第二矢量范围的面积后测区的第二点云密度。
6.一种电子设备,其特征在于,所述电子设备,包括:
存储介质;
处理器;以及
机载激光雷达点云密度的质量检查装置,所述装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块,所述装置包括:
获取单元,获取测区内的点云数据;
第一点云密度检查单元,通过检查窗口在所述测区进行搜索移动,确定每个所述检查窗口内的第一点云密度;
不合格区域确定单元,根据所述第一点云密度与影像数据确定所述测区的点云密度不合格目标区域的矢量范围;
第二点云密度检查单元,通过所述点云密度不合格目标区域的矢量范围的面积和所述测区面积计算所述测区的第二点云密度,并根据所述第二点云密度完成质量检查;
所述不合格区域确定单元还用于,将所述第一点云密度与点云密度阈值进行对比,确定所述测区中的目标窗口,合并所述目标窗口形成点云密度不合格目标区域的第一矢量范围,所述目标窗口的点云密度小于所述点云密度阈值;通过将所述第一矢量范围与所述影像数据进行套合的方式核查确定点云密度不合格目标区域的第二矢量范围;
所述不合格区域确定单元还用于,将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合,判断所述点云密度不合格目标区域的点云缺失的合理性;若具有非合理性,则将非合理性点云缺失区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;或者,将所述点云密度不合格目标区域的第一矢量范围与所述测区的影像数据进行套合并参考机载激光雷达的飞行数据,判断所述目标窗口的点云密度偏小的可用性;若具有不可用性,则将不可用性点云密度偏小区域的矢量范围作为所述点云密度不合格目标区域的第二矢量范围进行输出;
第二点云密度检查单元还用于将所述点云密度不合格目标区域的第二矢量范围的面积从所述测区的矢量范围的面积中去除;计算去除所述点云密度不合格目标区域的第二矢量范围的面积后测区的第二点云密度。
7.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4中任意一项所述的机载激光雷达点云密度的质量检查方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010240259.9A CN111462073B (zh) | 2020-03-30 | 2020-03-30 | 机载激光雷达点云密度的质量检查方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010240259.9A CN111462073B (zh) | 2020-03-30 | 2020-03-30 | 机载激光雷达点云密度的质量检查方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111462073A CN111462073A (zh) | 2020-07-28 |
CN111462073B true CN111462073B (zh) | 2023-06-20 |
Family
ID=71685744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010240259.9A Active CN111462073B (zh) | 2020-03-30 | 2020-03-30 | 机载激光雷达点云密度的质量检查方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111462073B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022126427A1 (zh) * | 2020-12-16 | 2022-06-23 | 深圳市大疆创新科技有限公司 | 点云处理方法、点云处理装置、可移动平台和计算机存储介质 |
CN114419231B (zh) * | 2022-03-14 | 2022-07-19 | 幂元科技有限公司 | 基于点云数据和ai技术的交通设施矢量识别提取分析系统 |
CN115146745B (zh) * | 2022-09-01 | 2022-12-02 | 深圳市城市公共安全技术研究院有限公司 | 点云数据坐标点位置校正的方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10217207B2 (en) * | 2016-01-20 | 2019-02-26 | Ez3D, Llc | System and method for structural inspection and construction estimation using an unmanned aerial vehicle |
CN107767375B (zh) * | 2017-11-02 | 2021-06-29 | 广东电网有限责任公司电力科学研究院 | 一种点云质量评估方法及装置 |
CN110008207B (zh) * | 2019-03-28 | 2020-08-07 | 武汉大学 | 基于密度直方图的机载LiDAR点云数据漏洞快速检测方法 |
-
2020
- 2020-03-30 CN CN202010240259.9A patent/CN111462073B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111462073A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462073B (zh) | 机载激光雷达点云密度的质量检查方法和装置 | |
Lato et al. | Bias correction for view-limited Lidar scanning of rock outcrops for structural characterization | |
Mah et al. | 3D laser imaging for joint orientation analysis | |
US20210055180A1 (en) | Apparatuses and methods for gas flux measurements | |
Letortu et al. | Examining high-resolution survey methods for monitoring cliff erosion at an operational scale | |
CN113252700B (zh) | 一种结构裂缝检测方法、设备及系统 | |
Fisher et al. | Comparing discontinuity orientation data collected by terrestrial LiDAR and transit compass methods | |
Yan et al. | Estimation of building height using a single street view image via deep neural networks | |
An et al. | A fast and practical method for determining particle size and shape by using smartphone photogrammetry | |
Suchocki et al. | Detection of defects in building walls using modified OptD method for down-sampling of point clouds | |
Song et al. | Development of comprehensive accuracy assessment indexes for building footprint extraction | |
US11875524B2 (en) | Unmanned aerial vehicle platform based vision measurement method for static rigid object | |
Motayyeb et al. | Fusion of UAV-based infrared and visible images for thermal leakage map generation of building facades | |
Cahalane et al. | Mobile mapping system performance: An initial investigation into the effect of vehicle speed on laser scan lines | |
Bristow et al. | Imaging-based 3D particle tracking system for field characterization of particle dynamics in atmospheric flows | |
CN110580468B (zh) | 一种基于影像匹配点云的单木结构参数提取的方法 | |
Boreggio et al. | Does the topographic data source truly influence the routing modelling of debris flows in a torrent catchment? | |
Shen et al. | A review of terrestrial laser scanning (TLS)-based technologies for deformation monitoring in engineering | |
CN115077394A (zh) | 电站大坝边坡位移检测方法、装置及电子设备 | |
Craven | Assessment of Airborne Light Detection and Ranging (LiDAR) for use in common forest engineering geomatic applications | |
Manjusha et al. | A review of advanced pavement distress evaluation techniques using unmanned aerial vehicles | |
Cahalane et al. | Calculating the effect of dual-axis scanner rotations and surface orientation on scan profiles | |
Chen et al. | A non-contact measurement method for rock mass discontinuity orientations by smartphone | |
Järvinen | Airborne laser scanning data comparison based on roof features | |
CN114046776B (zh) | 一种输电工程水土保持措施落实的核查系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |