CN108337915A - 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 - Google Patents

三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN108337915A
CN108337915A CN201780002718.6A CN201780002718A CN108337915A CN 108337915 A CN108337915 A CN 108337915A CN 201780002718 A CN201780002718 A CN 201780002718A CN 108337915 A CN108337915 A CN 108337915A
Authority
CN
China
Prior art keywords
laser radar
dimensional
single line
line laser
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780002718.6A
Other languages
English (en)
Inventor
高军强
廉士国
林义闽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Inc
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Publication of CN108337915A publication Critical patent/CN108337915A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品,所述方法包括:利用单线激光雷达进行定位,得到单线激光雷达在世界坐标系下的位姿信息,并根据单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与所述世界坐标系的第二位姿关系;使用多个视觉传感器采集不同角度的多个三维点云数据,将多个三维点云数据统一到所述基准视觉坐标系中,得到统一的三维点云数据;根据第二位姿关系,将统一的三维点云数据转换到世界坐标系中,得到视觉传感器重建的三维地图。通过将视觉和激光雷达定位建图进行融合,采用激光雷达定位的方式提高定位精确度,而使用视觉传感器进行三维重建,能够实现高效率的三维地图重构。

Description

三维建图方法、装置、系统、云端平台、电子设备和计算机程序 产品
技术领域
本申请涉及地图重建技术领域,特别涉及三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品。
背景技术
三维地图重建是将三维场景处理成适于计算机表示和理解的数学模型,它是计算机对三维空间环境进行处理、操作和分析的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。
移动平台首先需要对本身所处的位置进行定位,然后将不同位置处获取的三维地图模型拼接起来,达到实时三维建图的目的。因此,实时定位和三维场景重建是三维建图的两个关键技术。总起来讲,移动定位和三维重建有两种方式,基于激光雷达和基于视觉的定位重建。
基于激光雷达的定位重建方法是利用激光飞行时间来获取空间位置信息,方法比较成熟,定位精确度高,对环境要求不高,稳定性很高。
目前有使用多视觉深度传感器三维建图的设备,该设备使用三个深度相机捕获上中下视角的三维场景。该设备通过旋转捕获不同位置上360度全景三维图形,并将不同位置的三维模型拼接成三维建图,该方法无法达到实时重建的效果,需要人工在现有环境中摆放设备。
发明内容
本申请实施例中提供了一种三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品,利用激光雷达进行定位,并使用多个视觉传感器获取视觉三维数据,无需对视觉三维数据进行优化计算,大大降低了计算复杂度。
根据本申请实施例的第一个方面,提供了一种三维建图方法,该方法包括:
利用单线激光雷达进行定位,得到所述单线激光雷达在世界坐标系下的位姿信息,并根据单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与所述世界坐标系的第二位姿关系;
使用多个视觉传感器采集不同角度的多个三维点云数据,将所述多个三维点云数据统一到所述基准视觉坐标系中,得到统一的三维点云数据;
根据所述第二位姿关系,将所述统一的三维点云数据转换到所述世界坐标系中,得到视觉传感器重建的三维地图。
根据本申请实施例的第二个方面,提供了一种三维建图装置,该装置包括定位单元、映射单元、三维重建单元和拼接单元;
所述定位单元,利用单线激光雷达进行定位,得到所述单线激光雷达在世界坐标系下的位姿信息;
所述映射单元,根据单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与所述世界坐标系的第二位姿关系,并根据所述第二位姿关系,将所述统一的三维点云数据转换到所述世界坐标系中;
所述三维重建单元,使用多个视觉传感器采集不同角度的多个三维点云数据;
所述拼接单元,将所述三维重建单元得到的所述多个三维点云数据统一到基准视觉坐标系中得到统一的三维点云数据,将所述统一的三维点云数据转换到所述世界坐标系中,得到视觉传感器重建的三维地图。
根据本申请实施例的第三个方面,提供了一种三维建图系统,所述系统包括:单线激光雷达和至少四个视觉传感器;
所述单线激光雷达位于所述系统底部,定位得到所述单线激光雷达的位姿信息;
每个视觉传感器位于所述单线激光雷达的上方,分别指向上下左右四个方向,采集多个角度的三维地图,将每个视觉传感器采集的三维地图进行拼接,得到三维地图。
根据本申请实施例的第四个方面,提供了一种云端平台,该云端平台包括上述三维建图装置,存储三维建图装置上传的三维地图。
根据本申请实施例的第五个方面,提供了一种电子设备,该电子设备包括:通信设备,存储器,一个或多个处理器;以及一个或多个模块,所述一个或多个模块被存储在所述存储器中,并被配置成由所述一个或多个处理器执行,所述一个或多个模块包括用于执行任一上述三维建图方法中各个步骤的指令。
根据本申请实施例的第六个方面,提供了一种与电子设备结合使用的计算机程序产品,该计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序,所述计算机程序包括用于使所述电子设备执行任一上述三维建图方法中的各个步骤的指令。
有益效果如下:
本申请实施例将单线激光雷达定位与视觉传感器的三维重建进行融合,采用激光雷达定位及多个视觉传感器进行三维重建的方式,因激光雷达定位可以达到非常高的精度,不需要对视觉重建的三维数据进行优化计算,大大降低了计算复杂度。而其利用多个视觉传感器进行三维重建,能够在增大建图视角,实现高效率的三维地图重构。
附图说明
下面将参照附图描述本申请的具体实施例,其中:
图1中示出的是根据本申请实施例中的三维建图系统结构示意图;
图2中示出的是根据本申请实施例中的三维建图系统的另一结构示意图;
图3中示出的是根据本申请实施例中的三维建图方法流程图;
图4中示出的是根据本申请实施例中的基准视觉坐标系、单线激光雷达坐标系与世界坐标系之间的转换示意图;
图5中示出的是根据本申请实施例中的三维建图装置结构示意图;
图6中示出的是根据本申请实施例中的一种电子设备的结构示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。并且在不冲突的情况下,本申请中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到:
使用三个深度相机捕获上中下视角的三维场景的方式,需要旋转捕获不同位置上360度全景三维图形,并将不同位置的三维模型拼接成三维建图,该方法无法达到实时重建的效果。
基于此,本方案提供了一种三维建图方法,采用单线激光雷达进行定位,结合多个视觉传感器进行三维重建的方式,能够实现三维建图,也能对动态的运动场景实现三维建图。
本方案提供的一种三维建图方法,该方法应用于图1所示的三维建图系统中,该系统包括一个单线激光雷达和至少四个视觉传感器;
单线激光雷达位于所述系统底部,定位得到单线激光雷达的位姿信息;
每个视觉传感器位于单线激光雷达的上方,分别指向上下左右四个方向,在不同角度采集多个三维点云地图,将每个视觉传感器的三维地图进行拼接,得到三维地图。
本方案提供一种利用四个视觉传感器进行三维重建的方式,该三维建图系统具体包括四个视觉传感器,分别指向上下左右四个方向,以视觉传感器为顶点构成正方形。具体的,正方形的一条边可以平行于水平面,可以与水平面呈45度角。
如2示出了置有三维建图系统的轮式小车103,小车在运动中实时对场景进行三维建图,单线激光雷达101放置在小车底部,可以使单线激光雷达扫描到更多的物体,提高激光雷达定位的效率,提升定位精度,四个视觉传感器102的摆放位置分别指向上下左右四个方向,扩大三维建图的上下左右视角,减小重建的死角区域,使重建覆盖面更大。
本方案中,三维建图系统是一个整体,可根据不同的场景该系统安装到相应的运动小车上,使用较为灵活。
下面结合图3,具体说明本方案的三维建图方法,具体包括:
步骤201:利用单线激光雷达进行定位,得到单线激光雷达的位姿信息;
该步骤获取单线激光雷达的实时位姿信息,通过建立激光雷达坐标系与世界坐标系之间的位置关系,得到单线激光雷达在世界坐标系下的位姿,单线激光雷达的定位方式有两种。
第一种方式是,对一个平面内的的物体逐点扫描获取距离信息,计算该单线激光雷达的地理信息,与全局地图进行拼接计算得到当前位置在全局坐标系下的坐标和方位信息transform1,如图4所示。第二种方式是,将单线激光雷达结合IMU(InertralMeasurement Unit,惯性测量单元)单元进行定位,融合IMU单元的方式,能够增加建图的稳定性能。
对于第二种方式,将单线激光雷达结合IMU单元进行定位的方式,具体为:利用IMU单元动态计算单线激光雷达的运动增量,利用单线激光雷达定位得到单线激光雷达的第一位姿信息,将第一位姿信息和运动增量进行融合,得到单线激光雷达的位姿信息。
其中,将第一位姿信息和运动增量进行融合,得到单线激光雷达的位姿信息,具体包括:计算第一位姿信息的多信息融合滤波的第一增益矩阵,及运动增量的多信息融合滤波的第二增益矩阵,利用多信息融合滤波对第一增益矩阵和第二增益矩阵进行融合,得到单线激光雷达的位姿信息。
采用单线激光雷达和IMU实时获取位置信息,轮式小车可以实现平稳运动,实现高精度的位置跟踪。
实际应用中,该多信息融合滤波可以采用卡尔曼滤波、粒子滤波等算法,实现对单线激光雷达的实时定位。
步骤202:利用单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与世界坐标系的第二位姿关系;
其中,构建的三维地图需要位于世界坐标系下,该步骤需要对基准视觉坐标系与世界坐标系构建关系。具体的,利用单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与世界坐标系的第二位姿关系。由于激光雷达坐标系和基准视觉坐标系都已经固定,他们的位置不会发生变换,在步骤201已经得到单线激光雷达的实时位姿信息的基础上,那么可根据两者坐标系的关系,得到基准视觉坐标系与世界坐标系的第二位姿关系。
其中,对于多个视觉传感器,每个视觉传感器位于一个视觉坐标系中,本方案提出了基准视觉坐标系的概念,即需要以某一个视觉传感器的视觉坐标系为基准,构建一个基准视觉坐标系。
作为一种实现方式,采用四个视觉传感器进行三维重建,因四个视觉传感器位于不同位置,可以选择以离单线激光雷达最近的、位于下方的视觉传感器的坐标系为基准,构建一个基准视觉坐标系。
如图4所示,通过建立激光雷达坐标系与世界坐标系之间的位姿关系transform1,步骤201已经得到单线激光雷达在全局坐标系下的坐标和方位信息,而基准视觉坐标系和激光雷达坐标系具有第一位姿关系transform2,可见,可以得到基准视觉坐标系与世界坐标系之间的位置关系第二位姿关系transform3,即得到视觉传感器在世界坐标系中的实时位姿信息。
步骤203:使用多个视觉传感器采集不同角度的视觉三维数据;
其中,该步骤203可以与步骤201、步骤202同时进行,即单线激光雷达进行定位的过程中,视觉传感器可以采集视觉三维数据,两者没有先后顺序关系。
实际应用中,对于单个视觉传感器,可以多次拍摄和重建达到三维建图。具体的,该视觉传感器可以为视觉深度传感器。
为了提高三维建图的效率,本方案提出利用多个视觉传感器进行三维重建的方法,将多个视觉传感器有效结合在一起,对运动过程的上下左右多个视角的空间信息进行三维构建,达到大范围高效率的三维建图。
如图2所示,作为一种实现方式,利用四个视觉传感器在不同角度进行三维重建,得到每个视觉传感器重建的三维点云数据,分别指向上下左右四个方向,以视觉传感器为顶点构成正方形。具体的,正方形的一条边可以平行于水平面,可以与水平面呈45度角。
具体的,四个传感器为视觉深度传感器,使用四个视觉深度传感器对不同角度的场景进行三维重建,得到四个三维点云数据,后续可以将四个三维点云数据以某一个视觉传感器的位姿为基础进行统一,统一到基准视觉坐标系中。
步骤204:将多个视觉传感器采集得到的多个三维点云数据,统一到基准视觉坐标系中;
该步骤中,根据多个视觉传感器之间位姿关系,将多个三维数据统一到基准视觉坐标系下,得到大视角三维数据。
步骤205:根据基准视觉坐标系与世界坐标系的第二位姿关系,将统一过后的三维点云数据进行转换,得到世界坐标系下的实时三维地图;
其中,在步骤204将三维点云数据统一到基准视觉坐标系的基础上,该步骤根据基准视觉坐标系与世界坐标系的关系,将统一后的三维点云数据转换到世界坐标系中,此时得到世界坐标系中的三维地图。
步骤206:对三维地图进行网格化处理,得到网格化的三维地图。
本步骤将三维地图视为一个巨大的网格,找出其在三维物空间中各坐标轴的极值,根据分割次数a,将X、Y、Z轴切分成3a个区间,整个巨大网格会被分为2的2a次方格子网格,每一个子网格皆有编号。
通过该步骤,将重建的三维点云地图进行网格化,可以获得视觉效果更高的地图,同时也减小三维地图的数据量。
另外,本方案还提出一种实现方式,即在某一位置通过上述方法得到三维地图后,获取多个位置的三维地图,如该三维定位系统位于小车上进行运动时,运动过程中在不同的位置均构建三维地图,那么对不同位置上的三维地图进行拼接,得到运动状态下的三维地图。
本方案利用单线激光雷达先进行定位处理,通过单线激光雷达与视觉传感器的位姿关系,得到视觉传感器的位姿变化信息,结合视觉传感器采集的视觉三维数据得到三维地图。而且本方案利用多个视觉传感器在不同角度进行视觉采集,并将不同角度生成的三维地图进行拼接,得到三维地图。在此基础上,还对三维地图进行网格化处理,能够获得视觉效果更高的地图,同时也减小三维地图的数据量。
基于同一发明构思,本实施例提供了一种三维建图装置,该三维建图装置解决问题的原理与三维建图方法相似,因此三维建图实施可以参见三维建图方法的实施,重复之处不再赘述。
参见图5,三维建图装置,包括定位单元301、映射单元302、三维重建单元303和拼接单元304:
定位单元301,用于利用单线激光雷达进行定位,得到单线激光雷达在世界坐标系下的位姿信息;
映射单元302,根据单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与世界坐标系的第二位姿关系,并根据第二位姿关系,将统一的三维点云数据转换到世界坐标系中;
三维重建单元303,使用多个视觉传感器采集不同角度的多个三维点云数据;
拼接单元304,将三维重建单元得到的所述多个三维点云数据统一到基准视觉坐标系中得到统一的三维点云数据,将统一的三维点云数据转换到世界坐标系中,得到视觉传感器重建的三维地图。
进一步的,拼接单元304具体包括拼接子单元和转换子单元;
拼接子单元,用于根据多个视觉传感器之间的位姿关系,以某一个视觉传感器为基准,将多个三维点云数据统一到基准视觉坐标系中得到统一的三维点云数据;
转换子单元,用于将拼接子单元得到的所述统一的三维点云数据转换到所述世界坐标系中,得到视觉传感器重建的三维地图。
其中,对于定位单元可以采用两种定位实现方式,定位单元包括第一定位单元或第二定位单元:
第一定位单元,根据所述单线激光雷达对平面内的物体逐点扫描得到的所述单线激光雷达与所述物体之间的距离信息,及所述单线激光雷达的地理信息,得到所述单线激光雷达的位姿信息;
第二定位单元,利用惯性测量单元动态计算所述单线激光雷达的运动增量,利用单线激光雷达定位得到所述单线激光雷达的第一位姿信息,将所述第一位姿信息和所述运动增量进行融合,得到所述单线激光雷达的位姿信息。
具体的,第二定位单元包括第一计算子单元、第二计算子单元和融合子单元;
第一计算子单元,利用惯性测量单元动态计算单线激光雷达的运动增量,利用单线激光雷达定位得到单线激光雷达的第一位姿信息;
第二计算子单元,计算第一位姿信息的多信息融合滤波的第一增益矩阵,及计算运动增量的多信息融合滤波的第二增益矩阵;
融合子单元,利用多信息融合滤波对第一增益矩阵和第二增益矩阵进行融合,得到单线激光雷达的位姿变化信息。
优选的,装置还包括动态拼接单元,用于获取获取多个位置重建的三维地图,将多个位置重建三维地图进行拼接,得到三维地图。该种方式适合对运动状态中的物体进行三维重建,构建动态的三维地图。
优选的,装置还包括网格化单元,用于对三维地图进行网格化处理,得到网格化的三维地图。
本方案利用单线激光雷达先进行定位处理,通过标定单线激光雷达与视觉传感器的位姿关系,得到视觉传感器的位姿信息,结合视觉传感器采集的视觉三维数据得到三维地图。而且本方案利用多个视觉传感器在不同角度进行视觉采集,并将不同角度生成的三维地图进行拼接,得到三维地图。在此基础上,还对三维地图进行网格化处理,能够获得视觉效果更高的地图,同时也减小三维地图的数据量。
再一方面,基于同一发明构思,本方案实施例提供了一种云端平台,该云端平台包括上述实施例中任意一种三维建图装置,存储该三维建图装置上传的三维地图。
该云端平台还包括处理装置,对三维建图装置上传的三维地图进行处理。
其中,该处理操作包括存储该三维地图,可以将不同三维建图装置上报的三维地图存储到不同云存储空间,或将不同三维建图装置上报的三维地图存储到一个云存储空间,而根据不同区域的三维建图装置上报的三维地图存储到不同的云存储空间。
另外,该处理操作还包括对多个该三维地图进行拼接,得到较大的三维地图,如,可以结合同一区域内不同三维建图装置上报的多个三维地图,对多个三维地图进行拼接,形成较大区域内的三维建图。
再一方面,基于同一发明构思,本方案实施例中还提供了一种电子设备,由于其原理与三维建图定方法相似,因此其实施可以参见方法的实施,重复之处不再赘述。如图6所示,所述电子设备600包括:通信设备601,存储器602,一个或多个处理器603;以及一个或多个模块,所述一个或多个模块被存储在所述存储器中,并被配置成由所述一个或多个处理器执行,所述一个或多个模块包括用于执行任一上述三维建图方法中各个步骤的指令。
其中,该电子设备为机器人。
再一方面,基于同一发明构思,本方案实施例还提供了一种与电子设备结合使用的计算机程序产品,所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序,所述计算机程序包括用于使所述电子设备执行任一上述三维建图方法中的各个步骤的指令。
为了描述的方便,以上所述装置的各部分以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (19)

1.一种三维建图方法,其特征在于,所述方法包括:
利用单线激光雷达进行定位,得到所述单线激光雷达在世界坐标系下的位姿信息,并根据单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与所述世界坐标系的第二位姿关系;
使用多个视觉传感器采集不同角度的多个三维点云数据,将所述多个三维点云数据统一到所述基准视觉坐标系中,得到统一的三维点云数据;
根据所述第二位姿关系,将所述统一的三维点云数据转换到所述世界坐标系中,得到视觉传感器重建的三维地图。
2.根据权利要求1所述的方法,其特征在于,所述将所述多个三维点云数据统一到所述基准视觉坐标系中,具体包括:
根据多个视觉传感器之间的位姿关系,以某一个视觉传感器为基准,将所述多个三维点云数据统一到所述基准视觉坐标系中。
3.根据权利要求1所述的方法,其特征在于,所述利用单线激光雷达进行定位,得到所述单线激光雷达在世界坐标系下的位姿信息,具体包括:
所述单线激光雷达对平面内的物体逐点扫描,得到所述单线激光雷达与所述物体之间的距离信息;
根据所述距离信息及所述单线激光雷达的地理信息,得到所述单线激光雷达在世界坐标系下的位姿信息;
或,
利用惯性测量单元动态计算所述单线激光雷达的运动增量,利用单线激光雷达定位得到所述单线激光雷达的第一位姿信息,将所述第一位姿信息和所述运动增量进行融合,得到所述单线激光雷达在世界坐标系下的位姿信息。
4.根据权利要求3所述的方法,其特征在于,将所述第一位姿信息和所述运动增量进行融合,得到所述单线激光雷达的位姿信息,具体包括:
计算所述第一位姿信息的多信息融合滤波的第一增益矩阵,及所述运动增量的多信息融合滤波的第二增益矩阵,利用多信息融合滤波对所述第一增益矩阵和所述第二增益矩阵进行融合,得到所述单线激光雷达的位姿信息。
5.根据权利要求1-4任一所述的方法,其特征在于,所述方法还包括:
获取多个位置重建的三维地图;
将所述多个位置重建三维地图进行拼接,得到三维地图。
6.根据权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
对所述三维地图进行网格化处理,得到网格化的三维地图。
7.一种三维建图装置,其特征在于,所述装置包括定位单元、映射单元、三维重建单元和拼接单元;
所述定位单元,利用单线激光雷达进行定位,得到所述单线激光雷达在世界坐标系下的位姿信息;
所述映射单元,根据单线激光雷达坐标系与基准视觉坐标系的第一位姿关系,得到基准视觉坐标系与所述世界坐标系的第二位姿关系,并根据所述第二位姿关系,将所述统一的三维点云数据转换到所述世界坐标系中;
所述三维重建单元,使用多个视觉传感器采集不同角度的多个三维点云数据;
所述拼接单元,将所述三维重建单元得到的所述多个三维点云数据统一到基准视觉坐标系中得到统一的三维点云数据,将所述统一的三维点云数据转换到所述世界坐标系中,得到视觉传感器重建的三维地图。
8.根据权利要求7所述的装置,其特征在于,所述拼接单元具体包括拼接子单元和转换子单元;
所述拼接子单元,用于根据多个视觉传感器之间的位姿关系,以某一个视觉传感器为基准,将所述多个三维点云数据统一到所述基准视觉坐标系中得到统一的三维点云数据;
所述转换子单元,用于将所述拼接子单元得到的所述统一的三维点云数据转换到所述世界坐标系中,得到视觉传感器重建的三维地图。
9.根据权利要求7所述的装置,其特征在于,所述定位单元具体包括第一定位单元或第二定位单元;
所述第一定位单元,根据所述单线激光雷达对平面内的物体逐点扫描得到的所述单线激光雷达与所述物体之间的距离信息,及所述单线激光雷达的地理信息,得到所述单线激光雷达的位姿信息;
所述第二定位单元,利用惯性测量单元动态计算所述单线激光雷达的运动增量,利用单线激光雷达定位得到所述单线激光雷达的第一位姿信息,将所述第一位姿信息和所述运动增量进行融合,得到所述单线激光雷达的位姿信息。
10.根据权利要求9所述的装置,其特征在于,所述第二定位单元具体包括第一计算子单元、第二计算子单元和融合子单元;
所述第一计算子单元,利用惯性测量单元动态计算所述单线激光雷达的运动增量,利用单线激光雷达定位得到所述单线激光雷达的第一位姿信息;
所述第二计算子单元,计算所述第一位姿信息的多信息融合滤波的第一增益矩阵,及计算所述运动增量的多信息融合滤波的第二增益矩阵;
所述融合子单元,利用多信息融合滤波对所述第一增益矩阵和所述第二增益矩阵进行融合,得到所述单线激光雷达的位姿信息。
11.根据权利要求7-10任一所述的装置,其特征在于,所述装置还包括动态拼接单元,用于获取获取多个位置重建的三维地图,将所述多个位置重建三维地图进行拼接,得到三维地图。
12.根据权利要求7-10任一所述的装置,其特征在于,所述装置还包括网格化单元,用于对所述三维地图进行网格化处理,得到网格化的三维地图。
13.一种三维建图系统,其特征在于,所述系统包括:单线激光雷达和至少四个视觉传感器;
所述单线激光雷达位于所述系统底部,定位得到所述单线激光雷达的位姿信息;
每个视觉传感器位于所述单线激光雷达的上方,分别指向上下左右四个方向,采集多个角度的三维地图,将每个视觉传感器采集的三维地图进行拼接,得到三维地图。
14.根据权利要求13所述的系统,其特征在于,所述系统具体包括四个视觉传感器,分别指向上下左右四个方向,以所述视觉传感器为顶点构成正方形。
15.根据权利要求13或14所述的系统,其特征在于,所述系统置于运动小车中。
16.一种云端平台,其特征在于,所述云端平台包括如权利要求7-12任一所述的三维建图装置,存储所述三维建图装置上传的三维地图。
17.一种电子设备,其特征在于,所述电子设备包括:
通信设备,存储器,一个或多个处理器;以及一个或多个模块,所述一个或多个模块被存储在所述存储器中,并被配置成由所述一个或多个处理器执行,所述一个或多个模块包括用于执行权利要求1-6任一所述三维建图方法中各个步骤的指令。
18.根据权利要求17所述的电子设备,其特征在于,所述电子设备为机器人。
19.一种与电子设备结合使用的计算机程序产品,所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序,所述计算机程序包括用于使所述电子设备执行权利要求1-6任一所述三维建图方法中的各个步骤的指令。
CN201780002718.6A 2017-12-29 2017-12-29 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 Pending CN108337915A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/119784 WO2019127347A1 (zh) 2017-12-29 2017-12-29 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN108337915A true CN108337915A (zh) 2018-07-27

Family

ID=62924296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780002718.6A Pending CN108337915A (zh) 2017-12-29 2017-12-29 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品

Country Status (2)

Country Link
CN (1) CN108337915A (zh)
WO (1) WO2019127347A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109297510A (zh) * 2018-09-27 2019-02-01 百度在线网络技术(北京)有限公司 相对位姿标定方法、装置、设备及介质
CN109540142A (zh) * 2018-11-27 2019-03-29 达闼科技(北京)有限公司 一种机器人定位导航的方法、装置、计算设备
CN109767499A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 基于mr设备的多用户沉浸式交互方法、系统及存储介质
WO2019127347A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN110007300A (zh) * 2019-03-28 2019-07-12 东软睿驰汽车技术(沈阳)有限公司 一种得到点云数据的方法及装置
CN110196044A (zh) * 2019-05-28 2019-09-03 广东亿嘉和科技有限公司 一种基于gps闭环检测的变电站巡检机器人建图方法
CN110276834A (zh) * 2019-06-25 2019-09-24 达闼科技(北京)有限公司 一种激光点云地图的构建方法、终端和可读存储介质
CN110275179A (zh) * 2019-04-09 2019-09-24 安徽理工大学 一种基于激光雷达以及视觉融合的构建地图方法
CN110895833A (zh) * 2018-09-13 2020-03-20 北京京东尚科信息技术有限公司 一种室内场景三维建模的方法和装置
CN111007522A (zh) * 2019-12-16 2020-04-14 深圳市三宝创新智能有限公司 一种移动机器人的位置确定系统
CN111220992A (zh) * 2018-11-26 2020-06-02 长沙智能驾驶研究院有限公司 雷达数据融合方法、装置及系统
CN111380515A (zh) * 2018-12-29 2020-07-07 纳恩博(常州)科技有限公司 定位方法及装置、存储介质、电子装置
CN111402423A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种传感器设置方法、装置及服务器
CN111489436A (zh) * 2020-04-03 2020-08-04 北京博清科技有限公司 一种焊缝三维重建方法、装置、设备及存储介质
CN111609854A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 基于多个深度相机的三维地图构建方法及扫地机器人
CN111609853A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 三维地图构建方法、扫地机器人及电子设备
CN111784835A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 制图方法、装置、电子设备及可读存储介质
CN111812668A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质
CN111982071A (zh) * 2019-05-24 2020-11-24 Tcl集团股份有限公司 一种基于tof相机的3d扫描方法及系统
CN112379390A (zh) * 2020-11-18 2021-02-19 成都通甲优博科技有限责任公司 基于异源数据的位姿测量方法、装置、系统及电子设备
CN112884903A (zh) * 2021-03-22 2021-06-01 浙江浙能兴源节能科技有限公司 一种行车三维建模系统及其方法
CN113295175A (zh) * 2021-04-30 2021-08-24 广州小鹏自动驾驶科技有限公司 一种地图数据修正的方法和装置
CN113497944A (zh) * 2020-03-19 2021-10-12 上海科技大学 多视角三维直播方法、系统、装置、终端和存储介质
CN113610702A (zh) * 2021-08-09 2021-11-05 北京百度网讯科技有限公司 一种建图方法、装置、电子设备及存储介质
CN113624223A (zh) * 2021-07-30 2021-11-09 中汽创智科技有限公司 一种室内停车场地图构建方法及装置
CN114022519A (zh) * 2020-07-28 2022-02-08 清华大学 坐标系转换方法、装置及包含该装置的多源融合slam系统
CN114079866A (zh) * 2020-08-10 2022-02-22 大唐移动通信设备有限公司 一种信号传输方法及设备和装置
CN114519765A (zh) * 2020-11-20 2022-05-20 杭州智乎物联科技有限公司 一种三维重建方法、装置、计算机设备和存储介质
CN114994700A (zh) * 2022-05-19 2022-09-02 瑞诺(济南)动力科技有限公司 一种流动机械的定位方法、设备及介质
WO2024113455A1 (zh) * 2022-11-29 2024-06-06 北京天玛智控科技股份有限公司 实景监测方法及装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308904B (zh) * 2019-07-29 2024-07-02 北京初速度科技有限公司 一种基于视觉的建图方法、装置及车载终端
CN111076724B (zh) * 2019-12-06 2023-12-22 苏州艾吉威机器人有限公司 三维激光定位方法及系统
CN111721281B (zh) * 2020-05-27 2022-07-15 阿波罗智联(北京)科技有限公司 位置识别方法、装置和电子设备
AT524063A1 (de) * 2020-07-15 2022-02-15 Track Machines Connected Ges M B H Verteilte und offene Datenbank zur dynamischen Erfassung des Eisenbahnstreckennetzes und dessen Gewerke
CN113269837B (zh) * 2021-04-27 2023-08-18 西安交通大学 一种适用于复杂三维环境的定位导航方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140003987A (ko) * 2012-06-25 2014-01-10 서울대학교산학협력단 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 slam 시스템
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN106652028A (zh) * 2016-12-28 2017-05-10 深圳乐行天下科技有限公司 一种环境三维建图方法及装置
CN106780629A (zh) * 2016-12-28 2017-05-31 杭州中软安人网络通信股份有限公司 一种三维全景数据采集、建模方法
CN106959691A (zh) * 2017-03-24 2017-07-18 联想(北京)有限公司 可移动电子设备和即时定位与地图构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019127347A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140003987A (ko) * 2012-06-25 2014-01-10 서울대학교산학협력단 비젼 센서 정보와 모션 센서 정보를 융합한 모바일 로봇용 slam 시스템
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN106652028A (zh) * 2016-12-28 2017-05-10 深圳乐行天下科技有限公司 一种环境三维建图方法及装置
CN106780629A (zh) * 2016-12-28 2017-05-31 杭州中软安人网络通信股份有限公司 一种三维全景数据采集、建模方法
CN106959691A (zh) * 2017-03-24 2017-07-18 联想(北京)有限公司 可移动电子设备和即时定位与地图构建方法

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019127347A1 (zh) * 2017-12-29 2019-07-04 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN110895833A (zh) * 2018-09-13 2020-03-20 北京京东尚科信息技术有限公司 一种室内场景三维建模的方法和装置
US11480443B2 (en) 2018-09-27 2022-10-25 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method for calibrating relative pose, device and medium
CN109297510A (zh) * 2018-09-27 2019-02-01 百度在线网络技术(北京)有限公司 相对位姿标定方法、装置、设备及介质
CN111220992B (zh) * 2018-11-26 2022-05-20 长沙智能驾驶研究院有限公司 雷达数据融合方法、装置及系统
CN111220992A (zh) * 2018-11-26 2020-06-02 长沙智能驾驶研究院有限公司 雷达数据融合方法、装置及系统
CN109540142B (zh) * 2018-11-27 2021-04-06 达闼科技(北京)有限公司 一种机器人定位导航的方法、装置、计算设备
US11638997B2 (en) 2018-11-27 2023-05-02 Cloudminds (Beijing) Technologies Co., Ltd. Positioning and navigation method for a robot, and computing device thereof
CN109540142A (zh) * 2018-11-27 2019-03-29 达闼科技(北京)有限公司 一种机器人定位导航的方法、装置、计算设备
CN111380515B (zh) * 2018-12-29 2023-08-18 纳恩博(常州)科技有限公司 定位方法及装置、存储介质、电子装置
CN109767499A (zh) * 2018-12-29 2019-05-17 北京诺亦腾科技有限公司 基于mr设备的多用户沉浸式交互方法、系统及存储介质
CN111380515A (zh) * 2018-12-29 2020-07-07 纳恩博(常州)科技有限公司 定位方法及装置、存储介质、电子装置
CN111402423B (zh) * 2019-01-02 2023-10-27 中国移动通信有限公司研究院 一种传感器设置方法、装置及服务器
CN111402423A (zh) * 2019-01-02 2020-07-10 中国移动通信有限公司研究院 一种传感器设置方法、装置及服务器
CN111609854A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 基于多个深度相机的三维地图构建方法及扫地机器人
CN111609853A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 三维地图构建方法、扫地机器人及电子设备
CN110007300A (zh) * 2019-03-28 2019-07-12 东软睿驰汽车技术(沈阳)有限公司 一种得到点云数据的方法及装置
CN110275179A (zh) * 2019-04-09 2019-09-24 安徽理工大学 一种基于激光雷达以及视觉融合的构建地图方法
CN111982071B (zh) * 2019-05-24 2022-09-27 Tcl科技集团股份有限公司 一种基于tof相机的3d扫描方法及系统
CN111982071A (zh) * 2019-05-24 2020-11-24 Tcl集团股份有限公司 一种基于tof相机的3d扫描方法及系统
CN110196044A (zh) * 2019-05-28 2019-09-03 广东亿嘉和科技有限公司 一种基于gps闭环检测的变电站巡检机器人建图方法
CN110276834A (zh) * 2019-06-25 2019-09-24 达闼科技(北京)有限公司 一种激光点云地图的构建方法、终端和可读存储介质
CN110276834B (zh) * 2019-06-25 2023-04-11 达闼科技(北京)有限公司 一种激光点云地图的构建方法、终端和可读存储介质
CN111007522A (zh) * 2019-12-16 2020-04-14 深圳市三宝创新智能有限公司 一种移动机器人的位置确定系统
CN113497944A (zh) * 2020-03-19 2021-10-12 上海科技大学 多视角三维直播方法、系统、装置、终端和存储介质
CN111489436A (zh) * 2020-04-03 2020-08-04 北京博清科技有限公司 一种焊缝三维重建方法、装置、设备及存储介质
CN111784835B (zh) * 2020-06-28 2024-04-12 北京百度网讯科技有限公司 制图方法、装置、电子设备及可读存储介质
CN111784835A (zh) * 2020-06-28 2020-10-16 北京百度网讯科技有限公司 制图方法、装置、电子设备及可读存储介质
CN111812668A (zh) * 2020-07-16 2020-10-23 南京航空航天大学 绕机检查装置及其定位方法、存储介质
CN114022519A (zh) * 2020-07-28 2022-02-08 清华大学 坐标系转换方法、装置及包含该装置的多源融合slam系统
CN114079866A (zh) * 2020-08-10 2022-02-22 大唐移动通信设备有限公司 一种信号传输方法及设备和装置
CN112379390A (zh) * 2020-11-18 2021-02-19 成都通甲优博科技有限责任公司 基于异源数据的位姿测量方法、装置、系统及电子设备
CN114519765A (zh) * 2020-11-20 2022-05-20 杭州智乎物联科技有限公司 一种三维重建方法、装置、计算机设备和存储介质
CN112884903A (zh) * 2021-03-22 2021-06-01 浙江浙能兴源节能科技有限公司 一种行车三维建模系统及其方法
CN113295175A (zh) * 2021-04-30 2021-08-24 广州小鹏自动驾驶科技有限公司 一种地图数据修正的方法和装置
CN113624223A (zh) * 2021-07-30 2021-11-09 中汽创智科技有限公司 一种室内停车场地图构建方法及装置
CN113624223B (zh) * 2021-07-30 2024-05-24 中汽创智科技有限公司 一种室内停车场地图构建方法及装置
CN113610702B (zh) * 2021-08-09 2022-05-06 北京百度网讯科技有限公司 一种建图方法、装置、电子设备及存储介质
CN113610702A (zh) * 2021-08-09 2021-11-05 北京百度网讯科技有限公司 一种建图方法、装置、电子设备及存储介质
CN114994700A (zh) * 2022-05-19 2022-09-02 瑞诺(济南)动力科技有限公司 一种流动机械的定位方法、设备及介质
WO2024113455A1 (zh) * 2022-11-29 2024-06-06 北京天玛智控科技股份有限公司 实景监测方法及装置

Also Published As

Publication number Publication date
WO2019127347A1 (zh) 2019-07-04

Similar Documents

Publication Publication Date Title
CN108337915A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
Kim et al. UAV-assisted autonomous mobile robot navigation for as-is 3D data collection and registration in cluttered environments
CN106826833B (zh) 基于3d立体感知技术的自主导航机器人系统
CN103389699B (zh) 基于分布式智能监测控制节点的机器人监控及自主移动系统的运行方法
CN114004941A (zh) 一种基于神经辐射场的室内场景三维重建系统及方法
Gupta et al. Indoor mapping for smart cities—An affordable approach: Using Kinect Sensor and ZED stereo camera
CN110132274A (zh) 一种室内定位方法、装置、计算机设备及存储介质
CN105241461A (zh) 机器人的地图创建及定位方法和机器人系统
CN112070782B (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN110717494A (zh) Android移动端室内场景三维重建及语义分割方法
CN108955645A (zh) 应用于通信铁塔智能巡检的三维建模方法及装置
CN108090959A (zh) 室内外一体建模方法及装置
CN111275015A (zh) 一种基于无人机的电力巡线电塔检测识别方法及系统
CN106997614A (zh) 一种基于深度相机的大规模场景3d建模方法及其装置
CN106503248A (zh) 地图生成方法及地图生成装置
CN110062916A (zh) 用于模拟可移动平台的操作的视觉模拟系统
CN107066975B (zh) 基于深度传感器的视频识别与跟踪系统及其方法
CN108225328A (zh) 一种室内三维数据采集方法
CN111862200B (zh) 一种煤棚内无人机定位方法
CN102074019B (zh) 一种人体跟踪方法及系统
CN108803659A (zh) 基于魔方模型的多窗口启发式三维空间路径规划方法
Du et al. Design and evaluation of a teleoperated robotic 3-D mapping system using an RGB-D sensor
Cheng et al. Mapping and path planning simulation of mobile robot slam based on ROS
CN111609854A (zh) 基于多个深度相机的三维地图构建方法及扫地机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727

RJ01 Rejection of invention patent application after publication