CN115657069A - 三维地图创建方法、装置及测绘设备 - Google Patents

三维地图创建方法、装置及测绘设备 Download PDF

Info

Publication number
CN115657069A
CN115657069A CN202211281197.1A CN202211281197A CN115657069A CN 115657069 A CN115657069 A CN 115657069A CN 202211281197 A CN202211281197 A CN 202211281197A CN 115657069 A CN115657069 A CN 115657069A
Authority
CN
China
Prior art keywords
map
target
target local
scanning
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211281197.1A
Other languages
English (en)
Inventor
洪小平
苗子良
何不为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern University of Science and Technology
Original Assignee
Southern University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern University of Science and Technology filed Critical Southern University of Science and Technology
Priority to CN202211281197.1A priority Critical patent/CN115657069A/zh
Publication of CN115657069A publication Critical patent/CN115657069A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请的实施例提供了一种三维地图创建方法、装置及测绘设备,涉及测绘技术领域。该方法应用于测绘设备,测绘设备包括非重复式扫描的激光雷达,该方法包括:基于SLAM技术,利用激光雷达进行动态扫描,以获得目标区域的全局地图;确定出全局地图中的目标局部区域;在目标局部区域中规划出多个控制点;控制激光雷达移动至各控制点,并在各控制点进行静态扫描,以获得目标局部区域的目标局部地图;将目标局部地图拼接在全局地图上,获得目标三维地图。如此,利用非重复式扫描激光雷达,实现同一套硬件设备支持动态静态的混合测绘工作模式,在对全局环境高效率建图的同时,可以对局部区域进行静态定点扫描建图,以达到较高建图精度。

Description

三维地图创建方法、装置及测绘设备
技术领域
本申请涉及测绘技术领域,具体而言,涉及一种三维地图创建方法、装置及测绘设备。
背景技术
近年来随着元宇宙热潮,对现实世界进行三维重建的重要性开始被强调。对各种场景的数字化建模可以实现很多功能,比如,对工厂的数字化建模,可以被用于远程可视化协作决策、生产物流规划、布局规划等;对生产环境的数字映射,给未来的虚拟工厂奠定了基础;在建筑施工现场,建立建筑信息模型,可以实时关注施工进展,建筑模型验证,避免高返工成本和工期延迟等;对地下停车场的数字化建模,可以辅助对停车点、充电桩、出入口、电梯间的三维导航等。
从第一性原理来讲,目前的三维重建方案主要为两类:第一类是地面激光扫描(Terrestrial Laser Scanning,TLS),进行静态的定点扫描建图;第二类是移动激光扫描(Mobile Laser Scanning,MLS),基于SLAM(Simultaneous Localization and Mapping,即时定位与地图构建)技术进行动态移动扫描建图。TLS方案建图精度较高,但其需要人工移动,并依据经验手动选择扫描的控制点。这种方案的硬件体积极大、重量大,对人而言是一件费时费力的工作。第二类MLS方案,一定程度上解决了建图效率的问题,不需要选择控制点,但其基于运动估计和里程计的建图原理决定了无法达到TLS的测绘精度,使得这种方案不能用于需要高精度建图的应用,例如建筑信息模型(Building Information Modeling,BIM)。而现在行业迫切需要一种既能保证较大环境的建图效率,又能在一些重点局部区域做到高精度建图的测绘解决方案,同时避免跨设备工作,实现全自动扫描建图。
发明内容
本申请实施例提供了一种三维地图创建方法、装置、测绘设备及可读存储介质,其能够利用非重复式扫描激光雷达,实现同一套硬件设备支持动态静态的混合测绘工作模式,在对全局环境高效率建图的同时,可以对局部区域进行静态定点扫描建图,以达到较高建图精度。
本申请的实施例可以这样实现:
第一方面,本申请实施例提供一种三维地图创建方法,所述方法应用于测绘设备,所述测绘设备包括非重复式扫描的激光雷达,所述方法包括:
基于SLAM技术,利用所述激光雷达进行动态扫描,以获得目标区域的全局地图;
确定出所述全局地图中的目标局部区域;
在所述目标局部区域中规划出多个静态测绘的控制点,其中,所述控制点为静态扫描点;
控制所述激光雷达移动至各所述控制点,并在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图;
将所述目标局部地图拼接在所述全局地图上,获得目标三维地图。
第二方面,本申请实施例提供一种三维地图创建装置,所述装置应用于测绘设备,所述测绘设备包括非重复式扫描的激光雷达,所述装置包括:
第一地图创建模块,用于基于SLAM技术,利用所述激光雷达进行动态扫描,以获得目标区域的全局地图;
区域确定模块,用于确定出所述全局地图中的目标局部区域;
规划模块,用于在所述目标局部区域中规划出多个静态测绘的控制点,其中,所述控制点为静态扫描点;
第二创建模块,用于控制所述激光雷达移动至各所述控制点,并在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图;
处理模块,用于将所述目标局部地图拼接在所述全局地图上,获得目标三维地图。
第三方面,本申请实施例提供一种测绘设备,包括移动平台、非重复式扫描的激光雷达、处理器和存储器,所述移动平台用于带动所述激光雷达移动,所述激光雷达用于获得点云,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式所述的三维地图创建方法。
第四方面,本申请实施例提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式所述的三维地图创建方法。
本申请实施例提供的三维地图创建方法、装置、测绘设备及可读存储介质,测绘设备中包括非重复式扫描的激光雷达,该方法包括:基于SLAM技术,利用激光雷达进行动态扫描,以获得目标区域的全局地图;然后,确定出全局地图中的目标局部区域,并在目标局部区域中规划出多个静态测绘的控制点,该控制点为静态扫描点;接着,控制激光雷达移动至各控制点,并在各控制点进行静态扫描,以获得目标局部区域的目标局部地图;最后,将目标局部地图拼接在全局地图上,获得目标三维地图。如此,可利用非重复式扫描激光雷达,实现同一套硬件设备支持动态静态的混合测绘工作模式,在对全局环境高效率建图的同时,可以对局部区域进行静态定点扫描建图,以达到较高建图精度;并且,在静态扫描中无需人为手动选择控制点,也无需人为手动搬动用于静态扫描的设备。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的测绘设备的方框示意图之一;
图2为本申请实施例提供的测绘设备的结构示意图;
图3为本申请实施例提供的测绘设备的方框示意图之二;
图4为本申请实施例提供的三维地图创建方法的流程示意图之一;
图5为图4中步骤S110包括的子步骤的流程示意图;
图6为图4中步骤S130包括的子步骤的流程示意图;
图7为图4中步骤S140包括的一种子步骤的流程示意图;
图8为图7中子步骤S143包括的子步骤的流程示意图;
图9为图4中步骤S140包括的另一种子步骤的流程示意图;
图10为本申请实施例提供的三维地图创建方法的流程示意图之二;
图11为本申请实施例提供的三维地图创建装置的方框示意图之一;
图12为本申请实施例提供的三维地图创建装置的方框示意图之二。
图标:100-测绘设备;110-存储器;120-处理器;130-通信单元;140-移动平台;150-激光雷达;160-鱼眼相机;200-三维地图创建装置;210-第一地图创建模块;220-区域确定模块;230-规划模块;240-第二创建模块;250-处理模块;260-质量分析模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
目前的三维重建方案主要为两类:第一类是地面激光扫描(Terrestrial LaserScanning,TLS),进行静态的定点扫描建图;第二类是移动激光扫描(Mobile LaserScanning,MLS),基于SLAM(Simultaneous Localization and Mapping,即时定位与地图构建)技术进行动态移动扫描建图。
第一类方案以Leica RTC360、FARO Focus Premium为代表。TLS大多使用单线激光器,通过水平垂直两个方向旋转轴的固定步长旋转实现对全视域(Field of View,FoV)的覆盖,通过较高的激光收发频率保证扫描效率与点云密度。由于是静态扫描建图,不存在位姿估计带来的偏差,所以建图较为准确。然而,由于这种方案在较短时间内能够覆盖的FOV较小(比如,根据FARO公开的数据可知,其激光扫描垂直方向步长0.009°,最大扫描速度为垂直方向的97Hz,均按照最大速度计算,一秒内的FOV覆盖是0.873°x0.873°),故无法支持基于激光雷达里程计的SLAM方法,因此无法动态建图,只能进行静态定点扫描建图,利用不同控制点之间的点云重合区域进行拼接。由于没有较好的控制点之间的刚体变换初值(即在拼接之前进行坐标系转换时使用的值),因此必须保证较大的点云重合率以进行点云拼接,这样,控制点之间就被要求距离较近,有很多重合的点云将被浪费。同时由于不支持SLAM技术,整个建图过程无法自动化。
第二类方案以NAVVIS VLX、GoSLAM RS100-RTK为代表。这种方案使用重复式扫描的机械式激光雷达(通常为16线或32线激光雷达),运用基于LiDAR Odometry或LiDAR-IMUOdometry的SLAM方法,估计运动位姿,从而在运动过程中实时扫描建图。由于这种解决方案使用的是重复式扫描的机械式激光雷达,以32线激光雷达为例,静态FoV覆盖率只有20%,重复式的扫描特性决定了这种方案为了保证三维建图过程中的有效点云密度,必须通过运动来提升点云覆盖率。并且,SLAM的位姿估计相对而言具有较高误差,因此对应的动态建图精度相对而言也较差,一般无法达到TLS的建图精度。
综上所述,现在行业迫切需要既能保证较大环境的建图效率、又能在一些对精度要求高的区域做到测绘级建图的测绘解决方案,这种混合工作流程将发挥不同测绘模式的优势,综合整体的测绘效率和质量,给出比单一模式更优的解决方案。
但是,目前容易想到的混合测绘工作流程方案一般为:利用移动扫描设备对整体区域进行建图;人工选择静态扫描的控制点,并通过人工方式将静态扫描设备TLS移动移动至控制点以完成静态建图;最后将两种图融合在一起。
由此可知,容易想到的混合测绘工作流程方案需要依赖两种不同设备,其存在跨设备数据处理的问题,较为麻烦。不同设备得到的扫描数据的不一致性也会给数据处理的算法带来很大挑战(例如,不同激光雷达反射率的定义方式不同,点云密度不同,有效范围不同,精度不同等等),也存在不同设备间坐标系转换带来的误差问题。同时,现有的TLS设备和移动扫描设备全都成本高昂。
由上述分析可知,现有的TLS设备和移动式扫描设备都不可能兼容另外一种模式。从原理上来说,唯一可以实现单设备使用静态动态混合测绘模式的方案,是使用非重复式扫描的激光雷达。因此,本申请实施例提供了一种测绘设备的解决方案,使用非重复式扫描的激光雷达,构建粗糙到精细的全局地图。可选地,本申请实施例提供的解决方案中,还可以包括有全向的鱼眼相机用于进行图像采集,以便获得彩色的地图。
现有测绘方案的视觉部分大多采用多个不同视角的相机,需要进行多次标定以及图像拼接,不仅引入更多误差来源,也使得系统成本更高,体积更大,且不易集成。而本申请实施例提供的方案中将鱼眼相机引入测绘系统,使得整个系统轻量、算法简单、易集成、成本低。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得到的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应是发明人在本申请过程中对本申请做出的贡献。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本申请实施例提供的测绘设备100的方框示意图之一。所述测绘设备100可以是,但不限于,机器人。所述测绘设备100可以包括存储器110、处理器120及通信单元130。所述存储器110、处理器120以及通信单元130各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
其中,存储器110用于存储程序或者数据。所述存储器110可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(ErasableProgrammable Read-Only Memory,EPROM),电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory,EEPROM)等。
处理器120用于读/写存储器110中存储的数据或程序,并执行相应地功能。比如,存储器110中存储有三维地图创建装置200,所述三维地图创建装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120通过运行存储在存储器110内的软件程序以及模块,如本申请实施例中的三维地图创建装置200,从而执行各种功能应用以及数据处理,即实现本申请实施例中的三维地图创建方法。
通信单元130用于通过网络建立所述110与其它通信终端之间的通信连接,并用于通过所述网络收发数据。
应当理解的是,图1所示的结构仅为的测绘设备100的结构示意图,所述测绘设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
在本实施例中,如图2及图3所示,所述测绘设备100还可以包括:移动平台140(即图3中的Mobile Platform)、非重复扫描式的激光雷达150等。所述激光雷达150可以为全向的雷达。所述激光雷达150可以设置在所述移动平台140上,所述移动平台140可带动所述激光雷达150移动。所述激光雷达150用于通过扫描获得点云,进而可基于点云创建地图。
其中,如图3所示,所述激光雷达150内集成有IMU单元(Inertial MeasurementUnit,惯性测量单元),其测量数据与激光雷达数据融合使用,可更为准确的进行运动估计(位姿估计)。
可选地,所述激光雷达150可设置在一旋转单元上,比如,设置在一个二维的蜗杆云台(2-aixs Gimbal Mount)上,以便使旋转单元带动所述激光雷达150转动从而改变探测角度。
可选地,在需要创建彩色地图的情况下,如图2及图3所示,所述测绘设备100还可以包括鱼眼相机160(Fisheye Camera)。所述鱼眼相机160的安装方式可以与所述激光雷达150的安装方式相同。所述鱼眼相机160可以是全向的相机。所述鱼眼相机160用于在所述激光雷达150获得点云时进行拍摄,以获得环境图像。进而可根据环境图像对点云进行着色,以便于获得彩色地图。
作为一种可能的实现方式,在所述测绘设备100中,使用了Livox Mid-360激光雷达和鱼眼相机构建的全向传感器组合。其中,Livox Mid-360是一个4线激光雷达,是第一个兼具非重复式扫描特性和360°水平方向视域的激光雷达。这款激光雷达的全向视域使得有足够多的信息支持SLAM方法,同时其具有非重复扫描特性,随着时间积累,视域覆盖率会趋近于100%,因此也可用于定点静态扫描建图。使用的鱼眼相机具有360°的水平视域和70°的垂直视域,其可以很好的匹配激光雷达视域,确保所有点云都具有颜色信息。整个传感器组合的体积很小,激光雷达和鱼眼相机的体积分别只有6.5x6.5x6.5cm、5x5x10cm,所以可以集成在任意移动平台上,例如移动底盘、机器狗、或者无人机等。作为一种可能的示例,传感器组合和一个蜗杆云台刚性连接,并整体固定在移动底盘上。其中,激光雷达、IMU、鱼眼相机之间可通过TTL(Transistor-Transistor Logic,逻辑门电路)信号进行软件触发的时间同步。
一般的混合测绘流程需要同时用到移动扫描设备和TLS设备,利用不同设备的优势达到更好的使用效果。但在本申请实施例中,仅使用同一套硬件设备,即可实现静态动态混合测绘流程。并且,本申请实施例提供内的测绘设备100相比容易想到的混合测绘方案的TLS+移动扫描设备,可以粗糙精细双模式混合工作,并且成本大幅度降低。同时,在本申请实施例中,仅使用一套硬件设备,规避了使用TLS+移动扫描设备进行混合测绘的问题,包含跨设备处理数据的问题、不同设备间数据不一致的问题、不同设备间坐标系转换的问题等。另外,引入了鱼眼相机,可降低视觉方案的成本和复杂度,提升系统集成度。通过使用全向非重复式扫描的激光雷达和全向鱼眼相机,组成全向传感器组合,还可以很大程度上提高测绘效率。
请参照图3及图4,图4为本申请实施例提供的三维地图创建方法的流程示意图之一。所述方法可应用于上述测绘设备100,该测绘设备100包括非重复式扫描的激光雷达。下面对三维地图创建方法的具体流程进行详细阐述。在本实施例中,所述方法可以包括步骤S110~步骤S150。
步骤S110,基于SLAM技术,利用所述激光雷达进行动态扫描,以获得目标区域的全局地图。
在本实施例中,所述目标区域为需要构建全局地图的区域,具体可以结合实际情况确定。可基于SLAM技术,获得所述目标区域的粗糙的全局地图。
步骤S120,确定出所述全局地图中的目标局部区域。
步骤S130,在所述目标局部区域中规划出多个静态测绘的控制点。
可选地,在本实施例中,所述目标局部区域为需要更高精度建图的区域,因此在该区域进行静态测绘。所述目标局部区域可以用户手动在所述全局地图中指定的感兴趣区域,也可以是通过其他方式确定出来的局部区域。由于已经构建出了全局地图,因此,该全局地图中的目标局部区域的大致环境可从全局地图中确定出来。进而,可基于从所述全局地图中确定出的关于该目标局部区域的信息,在该目标局部区域中进行控制点规划,以确定出多个静态测绘的控制点(即图3中的Planning for Viewpoingt in ROI)。其中,所述控制点为利用所述激光雷达进行静态扫描时所在的位置,即所述控制点为静态扫描点,或者称为扫描视点。
步骤S140,控制所述激光雷达移动至各所述控制点,并在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图。
在确定出多个所述控制点的情况下,所述测绘设备可带动所述激光雷达移动到各所述控制点,并使所述激光雷达在各所述控制点进行静态测绘(即Stationary Scanning),以获得点云,进而基于得到的点云进行精细建图(即Fine Mapping in ROI),以构建出所述目标局部区域的目标局部地图。
可以理解的是,所述目标局部地图为通过静态扫描方式获得的地图,因此该目标局部地图的精度高于所述全局地图的精度,该目标局部地图为测绘级精细地图。
步骤S150,将所述目标局部地图拼接在所述全局地图上,获得目标三维地图。
在获得粗糙的全局地图及精细的目标局部地图的情况下,可将该目标局部地图拼接到所述全局地图中。如此,可获得粗糙到精细的全局地图,作为该目标区域对应的目标三维地图。
在本申请实施例中,利用非重复式扫描的全向激光雷达,实现同一套硬件设备支持动态静态的混合测绘工作模式,在对全局环境高效率建图的同时,可以对局部区域进行静态定点扫描建图,以达到较高建图精度。并且,可以在没有先验地图情况下实现对陌生环境的自动探索及混合测绘建图。
可选地,所述激光雷达可以为全向激光雷达。如此,既可以有足够多的信息支持通过SLAM方法进行建图,同时可以提高全局地图的建图效率。
可选地,作为一种可能的实现方式,所述测绘设备还可以包括鱼眼相机,该鱼眼相机可以为全向鱼眼相机,比如,为具有360°的水平视域和70°的垂直视域的相机。可以利用该鱼眼相机及所述激光雷达,通过图5所示方法获得着色的全局地图,如此该全局地图中不仅包括环境位置信息,还包括色彩信息。
请参照图5,图5为图4中步骤S110包括的子步骤的流程示意图。在本实施例中,步骤S110可以包括子步骤S111~子步骤S112。
子步骤S111,利用所述激光雷达进行动态扫描得到点云,并在利用所述激光雷达进行动态扫描时,控制所述鱼眼相机进行图像采集,以获得第一环境图像。
在本实施例中,可以在通过激光雷达获得用于动态建图的点云时,同时控制所述鱼眼相机采集得到第一环境图像。可选地,所述激光雷达采集点云时的朝向可以与所述鱼眼相机进行图像采集时的朝向一致,以便对同一角度的环境信息进行采集。
子步骤S112,根据标定好的所述鱼眼相机的内参及所述激光雷达相对于所述鱼眼相机的外参,基于所述第一环境图像为动态扫描过程中获得的点云上色,以获得带有色彩信息的全局地图。
所述鱼眼相机的内参及所述激光雷达相对于所述鱼眼相机的外参,可以是预先标定好的,也可以是在需要进行着色时通过标定得到的。具体标定方式可以结合实际需求确定,在此不进行具体限定。
可根据鱼眼相机的内参及所述激光雷达相对于所述鱼眼相机的外参,确定出同时采集到的所述第一环境图像中各像素点与点云中的点的对应关系,进而基于该对应关系为点云中的各点上色。接着,可根据着色的点云建图,从而得到带有色彩信息的全局地图。
在创建出全局地图的情况下,可在该全局地图中划定目标局部区域,作为需要更高精度建图的区域。可在该目标局部区域进行静态扫描,通过点云扫描、拼接等获得该目标局部区域的目标局部地图。
作为一种可能的实现方式,可通过图6所示方式确定出用于静态扫描的控制点的位置。请参照图6,图6为图4中步骤S130包括的子步骤的流程示意图。在本实施例中,步骤S130可以包括子步骤S131~子步骤S132。
子步骤S131,获得所述激光雷达的有效扫描区域的水平面积。
子步骤S132,根据预设重合度范围及所述水平面积,以最大化对所述目标局部区域的水平区域的覆盖度、最小化控制点数量为目标,确定出多个所述控制点。
在本实施例中,在所述目标局部区域中自动选择静态测绘控制点时,可将所述全局地图中的目标局部区域变为俯视的二维地图,该二维地图的面积即为所述目标局部区域的水平区域的面积。在水平面上,可认为所述激光雷达的有效扫描区域是一个半径为R的圆,可给定圆与圆之间的预设重合度范围,构建控制点的选择规划问题,最大化所述目标局部区域的水平区域的覆盖度、最小化控制点的数量(即最小化扫描时间),求解得到多个控制点的位置。
其中,所述预设重合度范围为预先设置好的重合度范围。所述预设重合度范围中的重合度为所述激光雷达的有效扫描区域的水平区域之间的重合度,即为该控制点对应的圆之间的重合度。该预设重复度范围的最大值,用于限定找出的控制点让重合度尽可能小,从而使得通过减少次的扫描即可创建出目标局部地图,以提高扫描效率。该预设重合度范围的最小值,为保证点云可以拼接的重合度,具体值可以结合实际情况或者经验设置。
在确定出控制点的情况下,测绘设备可自动移动到每个控制点进行静态扫描,利用激光雷达的非重复式扫描特性,通过时间累积得到稠密点云,进而基于稠密点云获得所述目标局部地图。
作为一种可能的实现方式,可通过图7所示获得所述目标局部地图。请参照图7,图7为图4中步骤S140包括的一种子步骤的流程示意图。在本实施例中,步骤S140可以包括子步骤S141~子步骤S143。
子步骤S141,在各所述控制点控制所述激光雷达以不同角度进行扫描,以得到不同角度对应的点云。
子步骤S142,针对各所述控制点,将该控制点不同角度对应的点云进行拼接,获得该控制点对应的点云。
在本实施例中,在每个控制点,需要多次转动所述激光雷达至不同角度,以采集到不同角速对应的点云。可根据转动角度对同一控制点的在不同角度扫描到的点云进行拼接,以得到该控制点对应的接近360°x300°视域的全视域点云。比如,可以多次转动激光雷达所在的云台至不同角度,以带动所述激光雷达转动至相应角度;然后,以云台转动对应的理论刚体变换(即云台转动角度)为初值对不同角度扫描的点云进行ICP(IterativeClosest Point,最近点迭代)拼接,得到接近360°x300°视域的全视域点云。
其中,可选地,可以设置预设扫描时长,当在一个控制点完成该时长的扫描后,即可确定在该控制点已完成扫描,可前往下一个控制点进行扫描。
子步骤S143,将不同所述控制点对应的点云进行拼接,以获得所述目标局部地图。
请参照图8,图8为图7中子步骤S143包括的子步骤的流程示意图。在本实施例中,子步骤S143可以包括子步骤S1431~子步骤S1432。
子步骤S1431,针对不同所述控制点对应的点云,根据两个所述控制点之间的相对位姿估计结果,对两个所述控制点对应的点云进行初步拼接,得到初步拼接结果。
子步骤S1432,对所述初步拼接结果进行精配准,获得所述目标局部地图。
在本实施例中,所述测绘设备还可以包括位姿估计单元,在进行全局地图建图时,可利用该位姿估计单元计算得到的测绘设备在两个位置之间的相对位姿,完成全局地图建图。该位姿估计单元可以包括里程计。即,所述位姿估计单元还用于基于SLAM技术获得所述全局地图时进行位姿估计。
在每个控制点都得到360°x300°的点云后,可通过测绘设备在两个控制点间移动时里程计给出的位姿估计作为两个控制点扫描到的点云进行拼接的初值,再使用ICP进行进一步的精配准,从而得到ROI区域的精度高于SLAM动态建图的测绘级精细地图。里程计给出的位姿估计,即为位姿估计单元计算得到的测绘设备在两个位置之间的相对位姿估计结果。
一般点云拼接的算法,例如ICP算法,会比较依赖一个准确的初始变换,进行进一步优化。如果没有一个较好的初始值,就需要保证被拼接的两个点云之间重合度较高,通过一些粗配准方法获取初值,再进行精细拼接。现有的静态扫描建图方案中无法进行运动估计,故没有两个控制点之间的较为准确的相对位姿。所以现有的静态扫描建图方案中需要保证这两个控制点不能间隔太远,否则点云拼接的精度无法保证,这很大程度上降低了静态扫描的效率;同时,人工根据经验选择控制点也并不能保证其间距一定合适,因为扫描点选择不当(选的过少没能覆盖全域,或重合度过低)出现测绘失败的情况较多。
而在本方案中,通过子步骤S131~子步骤S132可以自动规划出间隔合适的控制点,并且通过位姿估计单元获得点云拼接时需要的相对位姿,无需基于不同控制点之间的点云重合情况计算得到出相对位姿。如此,即可以减少控制点的数量,提高静态测绘速度,同时可保证建图效果。
可选地,还可以通过图9所示方式,利用鱼眼相机及激光雷达,获得着色的目标局部地图。该鱼眼相机可以为全向的鱼眼相机。请参照图9,图9为图4中步骤S140包括的另一种子步骤的流程示意图。在本实施例中,步骤S140可以包括子步骤S145~子步骤S146。
子步骤S145,利用所述激光雷达在各所述控制点进行静态扫描以获得点云,并在利用所述激光雷达在各所述控制点进行静态扫描时,控制所述鱼眼相机进行图像采集,以获得第二环境图像。
在本实施例中,可以在通过激光雷达获得用于静态建图的点云时,同时控制所述鱼眼相机采集得到第二环境图像。可选地,所述激光雷达采集点云时的朝向可以与所述鱼眼相机进行图像采集时的朝向一致,以便对同一角度的环境信息进行采集。
子步骤S146,根据标定好的所述鱼眼相机的内参及所述激光雷达相对于所述鱼眼相机的外参,基于所述第二环境图像为静态扫描过程中的获得的点云上色,以获得带有色彩信息的目标局部地图。
可根据鱼眼相机的内参及所述激光雷达相对于所述鱼眼相机的外参,确定出同时采集到的所述第二环境图像中各像素点与点云中的点的对应关系,进而基于该对应关系为点云中的各点上色。接着,可根据着色的点云建图,从而得到带有色彩信息的目标局部地图。
其中,可以先基于第二环境图像为同时采集得到的点云上色;然后,将同一控制点的不同角速对应的已上色点云进行拼接;之后,再将不同控制点对应的已上色点云进行拼接,以得到着色的目标局部地图。可以理解的是,除着色部分外,获得带有色彩信息的目标局部地图的过程与子步骤S141~子步骤S143相同,在此不同赘述。
在获得所述目标局部地图及全局地图的情况下,可通过ICP拼接,将为精细地图的目标局部地图,拼接至全局环境的粗糙地图上,以获得目标三维地图。其中,用于拼接得到目标三维地图中的目标局部地图及全局地图,可以均为彩色的地图,也可以仅其中一个为彩色的地图,具体可以结合实际需求设置。
请参照图10,图10为本申请实施例提供的三维地图创建方法的流程示意图之二。在本实施例中,在步骤S150之后,所述方法还可以包括步骤S160。
步骤S160,对所述目标三维地图的质量进行分析,获得地图质量。
在本实施例中,在通过步骤S110~步骤S150获得目标三维地图的情况下,可对该目标三维地图的质量进行分析,以获得地图质量。其中,使用的具体分析方式可以结合实际需求设置。在所述地图质量不佳的情况下,可重新执行S110~步骤S150以重建目标三维地图,或者通过数据补采等以获得质量好的目标三维地图。
可选地,可以计算得到所述目标三维地图中墙面的第一法向量,以及计算得到所述目标三维地图中地面的第二法向量,并判断所述第一法向量与所述第二法向量是否垂直。其中,可以仅计算一处的墙面的第一法向量、以及该处的地面的第二法向量,比判断该处对应的第一法向量与第二法向量是否垂直。也可以针对多处,分别判断各处的对应的第一法向量与第二法向量是否垂直。在存在不垂直的情况时,可判定所述地图质量为不合格,即不佳。比如,可对主要的墙面和地面求取法向量,计算其夹角是否为90°。
可选地,可以通过比较,选出所述目标三维地图中长度满足第一预设长度要求的墙面,然后计算出该墙面不同位置处的第三法向量。其中,第一预设长度要求可以结合实际情况设置,比如,为所述目标三维地图中长度最长的墙面,或者前几个长度较长的墙面等。接着,可判断该多处的第三法向量是否平行。若不平行,则可判定所述地图质量为不合格。
也可以通过比较,选出所述目标三维地图中长度满足第二预设长度要求的地面,然后计算出该地面不同位置处的第四法向量。其中,第二预设长度要求可以结合实际情况设置,比如,为所述目标三维地图中长度最长的地面,或者前几个长度较长的地面等。接着,可判断该多处的第四法向量是否平行。若不平行,则可判定所述地图质量为不合格。
即,可计算墙壁和/或地面不同位置的法向量,判断其是否平行。不平行,则表示所述目标三维地图质量不佳。
还可以对所述目标三维地图中目标局部地图的精细点云质量进行分析,若精细点云质量不佳,则表示所述目标三维地图质量不佳。
可选地,可以判断选出的所述控制点对所述目标局部区域的覆盖情况是否满足预设要求,即判断所述目标局部区域中所选的控制点是否能很好的覆盖整个目标局部区域。该判断方式可如下:在将目标局部区域的精细地图和全局粗糙地图进行ICP拼接的时候,可使用最近点距离均值作为判据,如果目标局部区域的精细地图未能很好的覆盖目标局部区域,未覆盖的区域会导致最近点距离均值较大,故可以设定阈值,判断精细建图时目标局部区域的覆盖情况(控制点的选择)是否合格。
也即,可以在利用ICP拼接方式将所述目标局部地图拼接至所述全局地图时,可计算得到各点对应的最近点距离。然后,计算出各点对应的最近点距离的平均值,作为最近点距离均值。接着,判断该最近点距离均值是否大于预设距离,若大于,则可以确定所述控制点对所述目标局部区域的覆盖情况不满足预设要求,所述目标三维地图的质量不佳。
可以利用上述三种方式中的至少一种进行判断,在得到的结果中包括否时,确定所述地图质量为不合格。
下面以获得的目标三维地图为彩色为例,结合图3,对目标三维地图进行举例说明。
首先基于SLAM技术,利用所述激光雷达进行动态扫描,通过全局粗糙建图(GlobalCoarse Mapping),以获得目标区域的粗糙的全局地图。还可以在动态扫描过程中,同时利用相机获得第一环境图像,以便对全局地图进行着色。
通过ROI选择,确定出ROI区域(即目标局部区域)。然后,选出所述目标局部区域中的用于静态测绘的控制点(Planning for Viewpoints in ROI)。控制测绘设备移动至各控制点进行不同角度的点云的采集(Stationary Scanning)。接着,可将不同控制点的点云进行拼接,以完成ROI区域内的精细建图(Fine Mapping in ROI),获得ROI区域的精度高于SLAM动态建图的测绘级精细地图。还可以在静态测绘过程中,同时利用相机获得第二环境图像,以便对ROI的精细地图进行着色。
最后,通过ICP算法,将ROI的精细地图拼接到全局环境的粗糙地图上,并根据动态扫描过程中获得的第一环境图像及静态测绘过程中获得的第二环境图像,进行着色(MapRegistration&Colorization),得到目标三维地图。其中,可先对点云着色,再基于着色的点云得到着色的全局地图及局部地图;也可以先基于点云建图,最后再进行着色,具体执行顺序可以结合实际情况确定。
可对目标三维地图进行质量检测(Mapping Quality Inspection),以确定地图质量。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种三维地图创建装置200的实现方式,可选地,该三维地图创建装置200可以采用上述图1所示的测绘设备100的器件结构。请参照图11,图11为本申请实施例提供的三维地图创建装置200的方框示意图之一。需要说明的是,本实施例所提供的三维地图创建装置200,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。所述三维地图创建装置200可应用于测绘设备100,所述测绘设备100包括非重复式扫描的激光雷达。所述三维地图创建装置200可以包括:第一地图创建模块210、区域确定模块220、规划模块230、第二创建模块240及处理模块250。
所述第一地图创建模块210,用于基于SLAM技术,利用所述激光雷达进行动态扫描,以获得目标区域的全局地图。
所述区域确定模块220,用于确定出所述全局地图中的目标局部区域。
所述规划模块230,用于在所述目标局部区域中规划出多个静态测绘的控制点,其中,所述控制点为静态扫描点。
所述第二创建模块240,用于控制所述激光雷达移动至各所述控制点,并在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图。
所述处理模块250,用于将所述目标局部地图拼接在所述全局地图上,获得目标三维地图。
请参照图12,图12为本申请实施例提供的三维地图创建装置200的方框示意图之二。所述三维地图创建装置200还可以包括质量分析模块260。
所述质量分析模块260,用于对所述目标三维地图的质量进行分析,获得地图质量。
可选地,上述模块可以软件或固件(Firmware)的形式存储于图1所示的存储器110中或固化于测绘设备100的操作系统(Operating System,OS)中,并可由图1中的处理器120执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器110中。
本申请实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的三维地图创建方法。
综上所述,本申请实施例提供的三维地图创建方法、装置、测绘设备及可读存储介质,测绘设备中包括非重复式扫描的激光雷达,该方法包括:基于SLAM技术,利用激光雷达进行动态扫描,以获得目标区域的全局地图;然后,确定出全局地图中的目标局部区域,并在目标局部区域中规划出多个静态测绘的控制点,该控制点为静态扫描点;接着,控制激光雷达移动至各控制点,并在各控制点进行静态扫描,以获得目标局部区域的目标局部地图;最后,将目标局部地图拼接在全局地图上,获得目标三维地图。如此,可利用非重复式扫描激光雷达,实现同一套硬件设备支持动态静态的混合测绘工作模式,在对全局环境高效率建图的同时,可以对局部区域进行静态定点扫描建图,以达到较高建图精度;并且,在静态扫描中无需人为手动选择控制点,也无需人为手动搬动用于静态扫描的设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的可选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种三维地图创建方法,其特征在于,所述方法应用于测绘设备,所述测绘设备包括非重复式扫描的激光雷达,所述方法包括:
基于SLAM技术,利用所述激光雷达进行动态扫描,以获得目标区域的全局地图;
确定出所述全局地图中的目标局部区域;
在所述目标局部区域中规划出多个静态测绘的控制点,其中,所述控制点为静态扫描点;
控制所述激光雷达移动至各所述控制点,并在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图;
将所述目标局部地图拼接在所述全局地图上,获得目标三维地图。
2.根据权利要求1所述的方法,其特征在于,所述在所述目标局部区域中规划出多个静态测绘的控制点,包括:
获得所述激光雷达的有效扫描区域的水平面积;
根据预设重合度范围及所述水平面积,以最大化对所述目标局部区域的水平区域的覆盖度、最小化控制点数量为目标,确定出多个所述控制点,其中,所述预设重合度范围中的重合度为所述激光雷达的有效扫描区域的水平区域之间的重合度。
3.根据权利要求1所述的方法,其特征在于,所述在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图,包括:
在各所述控制点控制所述激光雷达以不同角度进行扫描,以得到不同角度对应的点云;
针对各所述控制点,将该控制点不同角度对应的点云进行拼接,获得该控制点对应的点云;
将不同所述控制点对应的点云进行拼接,以获得所述目标局部地图。
4.根据权利要求3所述的方法,其特征在于,所述测绘设备还包括位姿估计单元,所述将不同所述控制点对应的点云进行拼接,以获得所述目标局部地图,包括:
针对不同所述控制点对应的点云,根据两个所述控制点之间的相对位姿估计结果,对两个所述控制点对应的点云进行初步拼接,得到初步拼接结果,其中,所述相对位姿估计结果由所述位姿估计单元计算得到,所述位姿估计单元还用于基于SLAM技术获得所述全局地图时进行位姿估计;
对所述初步拼接结果进行精配准,获得所述目标局部地图。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述激光雷达为全向激光雷达,所述测绘设备还包括全向的鱼眼相机,所述全局地图为着色的地图,所述利用所述激光雷达进行动态扫描,以获得目标区域的全局地图,包括:
利用所述激光雷达进行动态扫描得到点云,并在利用所述激光雷达进行动态扫描时,控制所述鱼眼相机进行图像采集,以获得第一环境图像;
根据标定好的所述鱼眼相机的内参及所述激光雷达相对于所述鱼眼相机的外参,基于所述第一环境图像为动态扫描过程中获得的点云上色,以获得带有色彩信息的全局地图。
6.根据权利要求1-4中任意一项所述的方法,其特征在于,所述激光雷达为全向激光雷达,所述测绘设备还包括全向的鱼眼相机,所述目标局部地图为着色的地图,所述在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图,包括:
利用所述激光雷达在各所述控制点进行静态扫描以获得点云,并在利用所述激光雷达在各所述控制点进行静态扫描时,控制所述鱼眼相机进行图像采集,以获得第二环境图像;
根据标定好的所述鱼眼相机的内参及所述激光雷达相对于所述鱼眼相机的外参,基于所述第二环境图像为静态扫描过程中的获得的点云上色,以获得带有色彩信息的目标局部地图。
7.根据权利要求1-4中任意一项所述的方法,其特征在于,所述方法还包括:
对所述目标三维地图的质量进行分析,获得地图质量。
8.根据权利要求7所述的方法,其特征在于,在获得的分析结果中包括否时,确定所述地图质量为不合格,其中,通过以下方式中的至少一种方式进行分析:
计算得到所述目标三维地图中墙面的第一法向量,以及计算得到所述目标三维地图中地面的第二法向量,并判断所述第一法向量与所述第二法向量是否垂直;
判断所述目标三维地图中长度满足第一预设长度要求的墙面不同位置处的第三法向量是否平行,和/或,判断所述目标三维地图中长度满足第二预设长度要求的地面不同位置处的第四法向量是否平行;
判断选出的所述控制点对所述目标局部区域的覆盖情况是否满足预设要求。
9.一种三维地图创建装置,其特征在于,所述装置应用于测绘设备,所述测绘设备包括非重复式扫描的激光雷达,所述装置包括:
第一地图创建模块,用于基于SLAM技术,利用所述激光雷达进行动态扫描,以获得目标区域的全局地图;
区域确定模块,用于确定出所述全局地图中的目标局部区域;
规划模块,用于在所述目标局部区域中规划出多个静态测绘的控制点,其中,所述控制点为静态扫描点;
第二创建模块,用于控制所述激光雷达移动至各所述控制点,并在各所述控制点进行静态扫描,以获得所述目标局部区域的目标局部地图;
处理模块,用于将所述目标局部地图拼接在所述全局地图上,获得目标三维地图。
10.一种测绘设备,其特征在于,包括移动平台、非重复式扫描的激光雷达、处理器和存储器,所述移动平台用于带动所述激光雷达移动,所述激光雷达用于获得点云,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-8中任意一项所述的三维地图创建方法。
CN202211281197.1A 2022-10-19 2022-10-19 三维地图创建方法、装置及测绘设备 Pending CN115657069A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211281197.1A CN115657069A (zh) 2022-10-19 2022-10-19 三维地图创建方法、装置及测绘设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211281197.1A CN115657069A (zh) 2022-10-19 2022-10-19 三维地图创建方法、装置及测绘设备

Publications (1)

Publication Number Publication Date
CN115657069A true CN115657069A (zh) 2023-01-31

Family

ID=84989157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211281197.1A Pending CN115657069A (zh) 2022-10-19 2022-10-19 三维地图创建方法、装置及测绘设备

Country Status (1)

Country Link
CN (1) CN115657069A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449391A (zh) * 2023-04-17 2023-07-18 深圳直角设计工程有限公司 一种基于3d点云的室内全景成像方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116449391A (zh) * 2023-04-17 2023-07-18 深圳直角设计工程有限公司 一种基于3d点云的室内全景成像方法与系统
CN116449391B (zh) * 2023-04-17 2024-05-17 深圳直角设计工程有限公司 一种基于3d点云的室内全景成像方法与系统

Similar Documents

Publication Publication Date Title
EP3903164B1 (en) Collision avoidance system, depth imaging system, vehicle, map generator, amd methods thereof
Alsadik et al. The simultaneous localization and mapping (SLAM)-An overview
US11740086B2 (en) Method for ascertaining the suitability of a position for a deployment for surveying
CN111492403A (zh) 用于生成高清晰度地图的激光雷达到相机校准
Blaer et al. Data acquisition and view planning for 3-D modeling tasks
El-Hakim et al. System for indoor 3D mapping and virtual environments
CN111552757B (zh) 生成电子地图的方法、装置、设备及存储介质
RU2767949C2 (ru) Способ (варианты) и система для калибровки нескольких лидарных датчиков
Javanmardi et al. Autonomous vehicle self-localization based on multilayer 2D vector map and multi-channel LiDAR
CN111402387A (zh) 从用于导航自主车辆的高清晰度地图的点云中移除短时点
CN111710040A (zh) 一种高精度地图的构建方法、系统、终端和存储介质
CN115657069A (zh) 三维地图创建方法、装置及测绘设备
JP2020135764A (ja) 立体物のモデリング方法、立体物のモデリング装置、サーバ、3次元モデル作成システム、およびプログラム
Shang et al. Topology-based UAV path planning for multi-view stereo 3D reconstruction of complex structures
Cortes et al. UAV-LiCAM system development: calibration and geo-referencing
Jensen et al. Laser range imaging using mobile robots: From pose estimation to 3d-models
CN111612829A (zh) 一种高精度地图的构建方法、系统、终端和存储介质
Blaer et al. Two stage view planning for large-scale site modeling
CN110794434A (zh) 一种位姿的确定方法、装置、设备及存储介质
El-Hakim et al. Sensor based creation of indoor virtual environment models
Campbell et al. Mobile 3D indoor mapping using the continuous normal distributions transform
Xu Mapping and localization for extraterrestrial robotic explorations
Mounier et al. High-precision positioning in GNSS-challenged environments: a LiDAR-based multi-sensor fusion approach with 3D digital maps registration
CN111710039A (zh) 一种高精度地图的构建方法、系统、终端和存储介质
Shaffer Two-dimensional mapping of expansive unknown areas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination