CN110178048B - 交通工具环境地图生成和更新的方法和系统 - Google Patents

交通工具环境地图生成和更新的方法和系统 Download PDF

Info

Publication number
CN110178048B
CN110178048B CN201780082948.8A CN201780082948A CN110178048B CN 110178048 B CN110178048 B CN 110178048B CN 201780082948 A CN201780082948 A CN 201780082948A CN 110178048 B CN110178048 B CN 110178048B
Authority
CN
China
Prior art keywords
dimensional
global
point cloud
vehicle
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780082948.8A
Other languages
English (en)
Other versions
CN110178048A (zh
Inventor
奥雷拉纳 劳尔·布拉沃
奥利维厄·加西阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Otexeit
Original Assignee
Otexeit
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Otexeit filed Critical Otexeit
Publication of CN110178048A publication Critical patent/CN110178048A/zh
Application granted granted Critical
Publication of CN110178048B publication Critical patent/CN110178048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291—Fleet control
    • G05D1/0293—Convoy travelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一种用于动态生成和更新一个或数个移动交通工具(10)周围环境的全局三维地图的系统和方法，其中，N个三维传感器(21)安装在交通工具上且与中央处理单元(22)通信。每个传感器(21)与其他传感器并行且异步地生成点云帧的连续流，点云帧代表每个传感器周围环境的局域体中的物体表面。中央处理单元从传感器连续接收连续流，将其存储在存储器中，且对于每个流的每个新接收的点云帧，通过在环境的全局坐标系中确定已对准的点云帧，通过合并已对准的点云帧更新全局累积三维地图，以生成或更新所述至少一个交通工具环境的全局累积三维地图。

Description

交通工具环境地图生成和更新的方法和系统
技术领域
本发明涉及一种用于动态生成和更新至少一个移动交通工具周围环境的全局三维地图的方法。本发明还涉及用于交通工具车队的全局三维地图生成和更新系统和包括该系统的自动或半自动交通工具的车队。
背景技术
本发明属于三维环境地图生成领域，所述三维环境地图代表一个或数个移动交通工具的周围环境。这些地图使用安装在所述交通工具上的三维传感器动态生成和更新。
三维传感器获取数据点集，称为点云，其代表传感器周围环境的局域体中的物体。常用的三维传感器的一个例子是激光测距仪，诸如使用旋转激光束周期性地扫描其环境的光探测和测距(LIDAR)模块。
提供使用三维传感器的单个交通工具或交通工具车队有许多有趣的应用。
在行程过程中为了测绘的目的，获取的点云可用于生成交通工具所见环境的3D地图。3D地图还可用于辅助或自动操作交通工具的驾驶，特别是自动操作单个交通工具的驾驶或自动操作交通工具车队的驾驶。
使用多个三维传感器，通过扩大地图的范围和提高地图的分辨率，避免阴影效应的方式，大大提高了可通过所述点云生成地图的精度和覆盖范围。传感器可安装在交通工具车身和/或交通工具车队的每个交通工具的各种位置。
但是，将独立三维传感器产生的点云组合，是一个非普通的过程，因为每个三维传感器生成的原始数据零散、嘈杂且离散。
US 7,652,238和US 9,151,446描述了设计用于将数个3D传感器的信息进行组合的系统和装置。在这些装置中，为系统的所有3D传感器限定统一坐标系，且在这一公共坐标系中对传感器的位置和方向进行校准。
在这种系统中，每个传感器的相应位置必须随时间固定且稳定，以能够以可靠的方式合并测量。这限制了多个传感器系统对安装在单个刚性结构上传感器的可用性，且阻碍了其于独立移动交通工具的车队情况下的使用。此外，传感器相对位置和方向的精确确定，需要使用3D测量工具和3D输入接口，这对于外行操作员的管理存在难度。因此，如果传感器偏移，即由于冲击、老化或与天气有关情况，通常没有简单方法可以纠正偏移，只能更换具有传感器的安装台或将交通工具返厂重新校准。
美国申请2013/0242285A描述了一种自动调整两个三维传感器的相对校准的方法，尤其是当对一个传感器的位置或方向进行了更改，且传感器出现上述偏移时。根据该方法，将两个三维传感器同时获取的两个点云进行比较，以更新两个传感器的局部坐标系之间的变换函数，确定其中一个传感器相对于另一个传感器的潜在位移。
然而，为了能够使用这种方法，必须小心地同步传感器，这样可以同时获得对比的点云帧。否则，一旦安装传感器的交通工具开始移动，每个传感器的不同获取时间将导致传感器之间错误位移的计算。而且，两个传感器的视野必须重叠，以便能够比较获取的点云。在实践中，这两个条件很难满足，尤其是当传感器安装在交通工具车队中远隔的交通工具上时。
特别地，交通工具车队中远隔的交通工具，通常在行驶期间出现明显的相对运动，且安装在不同交通工具上的传感器视野通常不重叠。当第一交通工具越过一个角但第二交通工具没有越过时，会出现一种常见的不重叠情况。安装在第一和第二交通工具上的视野通常不重叠，即使传感器小心同步，也不会有获取点云的组合。
随后，一种解决方案可以使用其他定位设备来组合不同的传感器获取的点云。附加定位设备的一个示例是全球定位系统(GPS)。这些让步解决方案并未能令人满意，因为它们让系统更加复杂，错误源和角落情况也增多(例如，GPS不能在隧道和地下运行，它们的准确性会受到限制)。
发明内容
本发明旨在改进这种情况。
为此，本发明的第一目标是一种用于动态生成和更新至少一个移动交通工具周围环境的全局三维地图的方法，其中，N个三维传感器安装在所述至少一个移动交通工具上，且与至少一个中央处理单元通信，其中：
a)N个三维传感器中的每个传感器与这些三维传感器的其他传感器并行且异步地生成点云帧的连续流，
所述流的每个点云帧包括所述传感器在时间获取的一组三维数据点，在所述传感器的局部坐标系中，所述三维数据点代表在所述时间位于所述传感器周围环境的局域体中的物体表面，
b)所述中央处理单元从N个三维传感器连续接收N个连续流，将这些流存储在存储器中，且
对于这些流中每个流的每个新接收的点云帧，通过如下方式生成或更新所述至少一个交通工具环境的全局累积三维地图：
b1)通过将所述点云帧与环境的全局累积三维地图进行比较，在所述至少一个交通工具环境中的全局坐标系中确定已对准的点云帧，以及
b2)通过将所述已对准的点云帧与所述全局累积三维地图合并，更新所述累积三维地图。
在一些实施例中，还可以使用以下特征中的一个或多个：
-全局累积三维地图包括至少一个全局坐标系和至少一个相关分区，其中所述相关分区包括所述全局坐标系中的多个数据点，
确定已对准的点云帧的步骤b1)包括：
b11)尝试对准所述点云帧，使得通过将所述点云帧与所述环境的全局累积三维地图的各个分区进行比较，将已对准的点云帧的至少一部分与全局累积三维地图的所述至少一个分区的至少一部分匹配；
更新环境的全局累积三维地图的所述步骤b2)包括：
b21)如果所述点云帧能与环境的全局累积三维地图的至少一个分区对准，将已对准的点云帧与全局累积三维地图的所述至少一个分区合并，
b22)如果所述点云帧不能与环境的全局累积三维地图的至少一个分区对准，生成附加全局坐标系和全局累积三维地图的相关附加分区，全局累积三维地图的所述附加分区与先前包含在全局累积三维地图中的分区分开，且包含所述点云帧；
-如果全局累积三维地图包括数个分区，尝试对准点云帧的步骤b11)进一步包括：在多次扫描对准步骤中，尝试对准所述分区和所述点云帧，使得已对准的点云帧的至少一部分与全局累积三维地图的至少一个分区匹配；
且如果点云帧能与全局累积三维地图的多个分区对准，所述多个分区和所述点云帧在与单个全局坐标系相关的全局累积三维地图的单个分区中对准和合并；
-N个三维传感器包括安装在第一移动交通工具上的至少一个第一三维传感器及安装在第二移动交通工具上的至少一个第二三维传感器，
且所述至少一个第一三维传感器和所述至少一个第二三维传感器通过无线方式与共同的中央处理单元通信，且全局累积三维地图包括代表第一移动交通工具周围环境和第二移动交通工具周围环境的共同分区；
-全局累积三维地图包括与代表第一移动交通工具周围环境和第二移动交通工具周围环境的共同分区相关的共同全局坐标系，且由所述至少一个第一三维传感器生成的点云帧和由至少一个第二三维传感器生成的点云帧转换；
-为N个连续流的流的新接收的点云帧确定已对准的点云帧的所述步骤b1)，包括在至少一个时间，在环境的全局坐标系中确定生成所述流的传感器的三维位置和方向；
-在至少一个时间，对所述传感器的三维位置和方向进行确定，仅通过流的新接收的点云帧和全局累积三维地图进行计算，不需要至少一个交通工具的或这些三维传感器的附加位置信息；
-至少在一段时间段T期间，N个三维传感器的第一传感器和第二传感器不同步；
特别地，在所述时间段T期间获取的第一传感器和第二传感器的各自的流的点云帧，在不同时间获得，
Figure BDA0002124839770000051
诸如/>
Figure BDA0002124839770000052
-至少在一段时间段T期间，N个三维传感器的第一传感器和第二传感器具有不重叠的各自的视野；
特别地，在所述时间段T期间获取的第一传感器和第二传感器各自的流的点云帧，覆盖非重叠的各自的局域体
Figure BDA0002124839770000053
诸如/>
Figure BDA0002124839770000054
-在环境的全局坐标系中确定已对准的点云帧的步骤，包括将点云帧的数据点分段的步骤，以识别和标志代表环境的数据点和代表获取所述点云帧的传感器安装所在交通工具的数据点，特别地，已对准的点云帧仅限于代表环境的数据点。
本发明的另一个目标是一种用于至少一个交通工具的全局三维地图生成和更新系统，该系统包括：
适于安装在所述至少一个交通工具上的N个三维传感器，
N个三维传感器的每个传感器适于与这些三维传感器的其他传感器并行且异步地生成点云帧的连续流，所述流的每个点云帧包括由传感器在一时间获取的一组三维数据点，在所述传感器的局部坐标系中，所述三维数据点代表在所述时间位于所述传感器周围环境的局域体中的物体表面，
中央处理单元，适于与这些传感器的每个三维传感器通信，以从N个三维传感器连续接收N个连续流，将这些流存储在存储器中存储，并通过如下方式更新所述至少一个交通工具周围环境的全局累积三维地图：
通过将所述点云帧与环境的全局累积三维地图进行比较，针对这些流中每个流的每个新接收的点云帧，在所述至少一个交通工具环境的全局坐标系中确定已对准的点云帧，通过将所述已对准的点云帧与所述全局累积三维地图合并，更新所述全局累积三维地图。
本发明的另一个目标是一种自动或半自动交通工具，其包含上述全局三维地图生成和更新系统，
其中，所述系统的N个三维传感器安装在所述交通工具上，且
交通工具包括交通工具处理单元，其适于接收和存储由所述系统生成和更新的全局累积三维地图，以及至少根据所述全局累积三维地图辅助或控制交通工具的驾驶。
本发明的另一个目标是一种自动或半自动交通工具的车队，包括多个自动或半自动交通工具和全局三维地图生成和更新系统，
其中，N个三维传感器的至少一个三维传感器安装在车队的每个交通工具(10)上，
车队的每个交通工具包括一个交通工具处理单元，其适于接收和存储由所述系统生成和更新的全局累积三维地图，以及至少根据所述全局累积三维地图辅助或控制交通工具的驾驶。
在一个实施例中，车队的每个交通工具的交通工具处理单元，是系统的中央处理单元，且适于与这些传感器的每个三维传感器通信，以从N个三维传感器连续接收N个连续流，将这些流存储在存储器中，并更新交通工具的车队周围环境的全局累积三维地图。
本发明的另一个目标是一种非暂时性计算机可读存储介质，其上存储有包括程序指令的计算机程序，计算机程序适于加载到全局三维地图生成和更新系统的中央处理单元中，当中央处理单元运行计算机程序时，该计算机程序适于使中央处理单元执行上述方法的步骤。
附图说明
阅读如下数个作为非限制性示例的实施例以及附图的说明，本发明的其他特征和优点显而易见。
在图中：
-图1是根据本发明一个实施例，包括全局三维地图生成和更新系统的交通工具车队的示意性透视图，
-图2是根据本发明的一个实施例，包括全局三维地图生成和更新系统的单个交通工具的示意性透视图，
-图3是根据本发明的实施例，详细说明动态生成和更新环境全局三维地图方法的流程图，
-图4是根据本发明的实施例，详细说明图3的生成或更新全局累积三维地图方法的步骤的流程图。
在不同图中，相同的附图标记表示相同或相似的元件。
具体实施方式
图1示出了是根据本发明的一个实施例的交通工具10的车队1。
交通工具10，可作为交通工具的车队1的一部分，详见图2。这样的交通工具10也是本发明本身的目标，详见下文。
本发明可应用于各种交通工具，包括轮式交通工具，也可用于飞行器、航海装置、潜水装置或太空交通工具。根据本发明的交通工具具体实例包括汽车、机器人，无人驾驶飞机等。
本发明特别感兴趣的一类交通工具是自行式可转向类交通工具，特别是自动或半自动化交通工具，例如自动驾驶汽车或自动驾驶卡车。
如图2所示，交通工具10设置有将交通工具内部与交通工具10的环境E分界的主体11。
在图1示例中，交通工具10是设置有底盘和数个车轮12的卡车，其方向可控制以沿特定路径行驶且例如可沿着道路行驶。
单个的交通工具10和/或交通工具10的车队1设置有一个图1和2所示的全局三维地图生成和更新系统20。
如仅考虑一个交通工具，全局三维地图生成和更新系统20包括安装在交通工具10主体11上或内部的N个三维传感器21，如将本发明用于交通工具1的车队，全局三维地图生成和更新系统20包括安装在车队1中每个交通工具10的主体11上或内部的N个三维传感器21。
例如，单个的交通工具10可以设置有两个分别安装在交通工具10前部和后部的三维传感器，如图2所示。
在本发明的另一个实施例中，交通工具的车队1的每个交通工具10可以设置有三维传感器，如图1所示。
在本说明书中，一般情况下三维传感器由标记21表示，特定情况下三维传感器由标记3DSi表示，其中i是系统20中1到数量N范围的三维传感器的21的索引。
N个三维传感器的每个三维传感器3DSi，生成连续数据流STi。
数据最好是模拟数据。这使得根据本发明的全局三维地图可具有良好的精度和良好的分辨率。
N个三维传感器的每个三维传感器3DSi生成点云帧
Figure BDA0002124839770000081
的连续流STi。优选地不对点云帧/>
Figure BDA0002124839770000082
进行采样，使之符合采样网格等，这会降低全局三维地图的分辨率。
传感器3DS1...，3DSN分别获取的连续流ST1，...，STN是并行且异步生成的。
“并行且异步”表示传感器通常不知道其他传感器的存在，传感器的获取并非专门同步。
此外，通过“并行且异步”，也表示根据本发明方法，传感器的位置和/或传感器的获取时间未指定或未知。
更确切地说，不需要传感器的相应位置。根据本发明方法，传感器的相应位置甚至可以随时间变化，不会影响全局三维地图的准确度和/或分辨率。
这也可以表示如下。N个三维传感器3DS1，...，3DSN至少包括在一段时间段T期间不同步的第一传感器3DSk和第二传感器3DSl。因此，在所述时间段T期间获取的第一传感器3DSk和第二传感器3DSl的相应流STk，STl的两个点云帧
Figure BDA0002124839770000091
在不同相应时间/>
Figure BDA0002124839770000092
获取。因此，两个传感器3DSk，3DSl的点云帧/>
Figure BDA0002124839770000093
的获取时间是/>
Figure BDA0002124839770000094
诸如
Figure BDA0002124839770000095
流STi的每个点云帧
Figure BDA0002124839770000096
包括在所述传感器的局部坐标系CSi中，于/>
Figure BDA0002124839770000097
时间，由所述传感器3DSi获取的一组三维数据点。
三维数据点表示于
Figure BDA0002124839770000098
时间，传感器3DSi周围环境的局域体/>
Figure BDA0002124839770000099
中的物体表面。
N个三维传感器不需要具有重叠的视野。
通过“三维传感器不需要具有重叠的视野”，我们的意思是，传感器可以彼此独立移动且在特定时间t具有重叠视野，且在之后(或之前)在延长一段时间段T期间具有非重叠视野。
特别地，在这里，N个三维传感器3DS1，...，3DSN的第一传感器3DSk和第二传感器3DSl可以在一段时间段T期间具有非重叠的视野。因此，在所述时间段T期间获取的第一传感器3DSk和第二传感器3DSl的相应流STk，STl的两个点云帧
Figure BDA00021248397700000910
覆盖非重叠的相应局域体/>
Figure BDA00021248397700000911
和/>
Figure BDA00021248397700000912
这也可以通过如下内容表达：/>
Figure BDA00021248397700000913
诸如/>
Figure BDA00021248397700000914
在本说明书中，特定传感器3DSi获取的点云帧称为
Figure BDA00021248397700000915
点云帧/>
Figure BDA00021248397700000916
的获取时间称为/>
Figure BDA00021248397700000917
在所述时间/>
Figure BDA00021248397700000918
的传感器3DSi周围环境的局域体称为/>
Figure BDA00021248397700000919
在这些参考文献中，上标i是相关传感器3DSi的索引，范围从1个到N个三维传感器，下标j是连续流STi中帧的索引，j随着每个新获取帧，随时间增加。
“三维数据点”，可以理解至少坐标系中传感器的环境的点的三维坐标，例如，下文中描述的所述传感器的局部坐标系CSi。三维数据点可以包括附加特征，例如，传感器在所述点处检测到的信号强度。
“点云帧”，是指特定时间或在获取的短间隔期间获取的点云，例如通过光探测和测距的激光束对环境进行完全扫描所需的时间。
“点云帧的连续流”，是指以数据流组织的一系列点云帧。
尤其可在与每个传感器STi相关的局部坐标系CSi中获取点云。
局部坐标系CSi是与传感器STi相关的坐标系，例如，原点在传感器位置所在点。局部坐标系CSi可以是笛卡尔，柱面或极坐标系。
三维传感器21可以，例如包括一个激光测距仪，例如光探测和测距(LIDAR)模块、雷达模块、超声测距模块、声纳模块、使用三角测量的测距模块或能够获取传感器STi的局部坐标系CSi中环境的单点或多点P位置的任何其他设备。
在优选实施例中，三维传感器21发射初始物理信号，接收沿局部坐标系受控方向的反射物理信号。发射和反射的物理信号可以是光束、电磁波或声波等。
然后，传感器21计算与传感器21到传感器21周围体积中物体表面上初始信号反射点P距离对应的范围。可将初始信号与反射信号进行比较，计算所述范围，例如，通过将发射和接收的时间或相位进行比较。
通过所述范围和所述受控方向，计算传感器21局部坐标系中三维数据点的坐标。
在一个示例中，传感器21包括以恒定时间速率发射光脉冲的激光器，所述光脉冲由沿两个方向旋转的移动镜偏转。传感器收集反射光脉冲，发射脉冲和接收脉冲间的时间差，提供了传感器21环境中物体反射表面的距离。传感器21的处理器或单独的处理单元，使用简单三角公式，将传感器获取的各项观察转换成三维数据点D。
周期性获取包括传感器21局部环境全面扫描的点云，该点云包括代表传感器21周围体积中物体的一组三维数据点D。
“对局部环境的全面扫描”，表示传感器21已覆盖完整的视野。例如，在对局部环境进行全面扫描后，基于激光传感器的移动镜返回到原始位置，并准备开始全新的旋转运动周期。因此，传感器对局部环境的全面扫描，是二维相机获得图像的三维等效物。
传感器21局部环境全面扫描获取的一组三维数据点D是点云。传感器21能够以给定帧率周期性地获取点云帧。
由于传感器安装在移动交通工具上，运动器周围环境会随时间而变化。传感器3DSi在所述时间
Figure BDA0002124839770000111
获取的点云/>
Figure BDA0002124839770000112
包括在所述时间/>
Figure BDA0002124839770000113
传感器3DSi周围环境的局域体/>
Figure BDA0002124839770000114
的全面扫描。
全局三维地图生成和更新系统2进一步包括与多个传感器的每个三维传感器21相连，且能够与多个传感器的三维传感器通信的中央处理单元22。
中央处理单元22可以通过无线通信，例如无线电或光通信，或通过有线通信与三维传感器21通信，例如，中央处理单元22和三维传感器21安装在同一交通工具上。通过使用一些中间设备，中央处理单元22可以与三维传感器21通信，特别是用于远程通信。
中央处理单元22适于从N个三维传感器3DS1，...，3DSN连续接收N个连续流ST1，...，STN。
“连续接收”，这表示每当传感器获取新的点云帧时或获取短序列点云帧时，所述点云帧或短序列被发送到中央处理单元22，例如无需等待交通工具行程结束。
中央处理单元22能集成在一个设备中的多个传感器21之间的特定传感器内，或可选地，能够是固定在交通工具1内部的不同单元。在一些实施例中，中央处理单元22可以是交通工具10的交通工具处理单元18的一部分。
交通工具处理单元18能够运行自驾驶或辅助驾驶算法，以驾驶或辅助驾驶交通工具10，特别是通过使用根据本发明的系统和方法提供的地图。
在本发明的一个实施例中，通过使用由系统生成和更新的全局累积三维地图，车队1中交通工具10的交通工具处理单元18因此能够自主地跟随车队1的前方交通工具的路径。
在一些实施例中，根据本发明的全局三维地图生成和更新系统2可以包括多个中央处理单元22，具体地，每个交通工具10或每个传感器21可以配置有相关中央处理单元22。在这种情况下，每个中央处理单元22能够直接或通过某个中间件与多个传感器21的每个三维传感器通信。
处理单元22能够处理从所述传感器21接收的点云和点云帧，以动态方式生成和更新围绕移动交通工具10的环境E的全局累积三维地图CM。
为简洁表达，全局累积三维地图有时也称为全局三维地图、全局3D地图或3D地图。这些表达都是本发明中的相同概念和相同特征。
“动态生成和更新移动交通工具周围环境的全局三维地图”，表示在交通工具移动的同时执行全局三维地图的生成和更新。
图3和图4示出了根据本发明实施例，以动态方式生成和更新至少一个移动交通工具10周围环境E的全方位三维地图CM的方法，下文将进一步详细说明。
该方法使用安装在所述至少一个移动交通工具的N个三维传感器21，以及与至少一个中央处理单元通信来实现。
在图1示例中，N个三维传感器21分别安装在N个交通工具的车队1的每个相应交通工具10上。
此外，N个交通工具的车队1的每个交通工具10携带一个中央处理单元22，该中央处理单元能够与N个三维传感器的每个传感器21通信，以接收所述传感器生成的点云帧的连续流。
特别地，安装在车队的交通工具i上的中央处理单元22，通过安装在所述交通工具j上的中央处理单元22的中间件，接收由传感器j(j≠i)生成的点云帧的连续流STj。因此，安装在车队的每个交通工具j上的中央处理单元22，可以负责从传感器3DSj接收点云帧的连续流，以及将所述连续流发送到车队1的每个交通工具的每个中央处理单元22。为此，车队1的交通工具的中央处理单元22能够一起通信，例如，通过无线通信。
如上所述，在该方法操作过程中，N个三维传感器3DS1，...，3DSN的每个传感器3DSi，以与多个三维传感器的其他传感器并行且异步地生成点云帧
Figure BDA0002124839770000131
的连续流STi。
所述流STi的每个点云帧
Figure BDA0002124839770000132
包括所述传感器3DSi在时间/>
Figure BDA0002124839770000133
获取，于所述传感器的局部坐标系CSi中的一组三维数据点，所述三维数据点代表在所述时间/>
Figure BDA0002124839770000134
所述传感器3DSi周围环境的局域体/>
Figure BDA0002124839770000135
中的物体表面。
中央处理单元22从N个三维传感器3DS1，...，3DSN连续接收N个连续流ST1，......，STN，并将这些流存储在存储器23中。
存储器23可以集成在中央处理单元22中。
从连续接收的点云流中，中央处理单元22以动态方式生成和更新围绕移动交通工具10或移动交通工具的车队1环境E的全局累积三维地图CM，下文将详细描述。
更具体地说，对于所述多个流的每个流STi的每个新接收的点云帧
Figure BDA0002124839770000136
中央处理单元22通过实施如下操作，生成或更新所述至少一个交通工具环境的全局累积三维地图CM。
“新接收的点云帧”，表示给定时间步骤中最新接收的点云帧。
在交通工具运动和点云帧流动发生的同时，以有利方式动态执行本发明的方法。
环境的全局累积三维地图CM，可以包括一个分区SA1或数个分区SA1，...，SAM，其中M是分区总数。
全局累积三维地图CM的每个分区SAk(1≤k≤M)具有相关全局坐标系GCSk，其中，定义了所述分区SAk中包含的数据点。
与每个分区SAk相关的全局坐标系GCSk，可以特别独立于交通工具和交通工具本身的运动。与每个分区SAk相关的全局坐标系GCSk，仅与移动交通工具环境中物体的位置相关。
在本发明的一个特定实施例中，环境的全局累积三维地图CM包括单个分区SA1和单个相关全局坐标系GCS1。
应当注意，全局坐标系GCSk通常不需要根据车队1或交通工具10的真实物理环境进行特别校准。与每个分区SAk相关的全局坐标系GCSk，例如，是对准点云帧获得的虚拟坐标系，与任何校准装置或工具无关。
在图1所示本发明实施例中，多个三维传感器3DS1，...，3DSN包含安装在第一移动交通工具Vi上的至少一个三维传感器3DSi和安装在第二移动交通工具Vi上的至少一个三维传感器3DSi'。如上所述，第一三维传感器3DSi和第二三维传感器3DSi'通过无线方式与公共中央处理单元22通信。随后，全局累积三维地图有利地包括公共分区SAk，该公共分区同时代表第一移动交通工具Vi周围环境和第二移动交通工具Vi'周围环境。
公共全局坐标系GCSk与所述公共分区SAk相关，该公共分区代表第一移动交通工具V1周围环境和第二移动交通工具V2周围环境。当所述点云帧与公共分区SAk对准时，第一三维传感器3DSi生成的点云帧和第二三维传感器3DSi'生成的点云帧，在所述公共全局坐标系GCSk中转换。
使用全局累积三维地图CM的公共分区SAk和公共全局坐标系GCSk，驾驶或辅助驾驶第二移动交通工具Vi'的系统，例如，可以轻松考虑第一移动交通工具Vi周围环境。如果在第二移动交通工具Vi'前面驾驶的第一移动交通工具Vi遇到障碍，第二移动交通工具Vi可以考虑第一移动交通工具Vi环境，以调整其行为。该具体情况仅作示例，很容易看到，车队的交通工具的其他智能行为也可以从本发明获得。
回到图3和图4所示方法，在操作b1)期间，中央处理单元22通过将所述点云帧
Figure BDA0002124839770000141
与环境的全局累积三维地图CM进行对比，确定所述至少一个交通工具环境的全局坐标系GCS中的已对准的点云帧/>
Figure BDA0002124839770000142
如果没有环境的全局累积三维地图CM或该地图没有数据，中央处理单元22可以从点云帧
Figure BDA0002124839770000143
创建全局累积三维地图CM。例如，点云帧可以是来自第一传感器的第一接收点云帧/>
Figure BDA0002124839770000151
以将其点云帧发送到中央处理单元22。然后，例如，可通过与所述传感器ST0相关的局部坐标系CS0定义环境的全局坐标系GCS0。可直接从点云帧/>
Figure BDA0002124839770000152
获得已对准的点云帧
Figure BDA0002124839770000153
如果存在环境的全局累积三维地图CM或包含一些数据，操作b1)包括点云帧与所述至少一个交通工具环境的全局坐标系GCS中对准点云帧
Figure BDA0002124839770000154
的对准。
通过将新接收的点云帧
Figure BDA0002124839770000155
与环境的全局累积三维地图CM进行比较，以此执行对准。
仅通过传感器21获取的点云，计算已对准的点云帧
Figure BDA0002124839770000156
不需要附加位置信息。/>
“不需要附加位置信息”，尤其表示，对准点云帧
Figure BDA0002124839770000157
的计算，仅需要传感器21和全局累积三维地图CM获取的点云，不需要其他输入数据。例如，不需要定向设备的额外定位，诸如GPS或加速度计。而且，不需要对传感器的位置或移动做出假设。
例如，可以通过使用如P.J.Besl和N.D.McKay在IEEE的模式分析与机器智能汇刊，14(2)：239-256,1992发表的“一种三维形状登记方法”或如Yang Chen和Gerard Medioni在图像和视觉计算，10(3)，1992出版的“通过多范围图像注册进行物体建模”中详细描述的迭代最近点算法(ICP)来执行对准。ICP算法涉及在变换空间中的搜索，试图通过优化变换空间上定义的函数，来找到扫描成对变换集合。ICP变换涉及从“最小平方距离之和”等的误差度量到“图像距离”或概率度量等的质量度量范围的优化功能。在该实施例中，中央处理单元3因此可以优化每个点云C变换空间上定义的函数，以确定传感器2的更新三维位置和方向。
这样，可以容易且有效地计算已对准的点云帧
Figure BDA0002124839770000158
可采用不同方式执行对准程序，取决于接收相关点云帧
Figure BDA0002124839770000159
时全局累积三维地图CM的覆盖范围。
假设全局累积三维地图CM已包括采用所述全局坐标系中数据点填充的至少一个全局坐标系GCS1和至少一个相关分区SA1。如果不包括，只需通过接收点云生成全局累积三维地图CM，如上所述。
确定对准点云帧
Figure BDA0002124839770000161
的所述步骤b1)，包括第一子步骤b1-1)：尝试对准所述点云帧/>
Figure BDA0002124839770000162
以使至少一部分对准点云帧/>
Figure BDA0002124839770000163
与全局累积三维地图CM的至少一部分的至少一个分区匹配。
该子步骤可以通过将所述点云帧
Figure BDA0002124839770000164
与环境V的全局累积三维地图CM的每个分区SAk进行比较来完成，如上所述。
然后，在步骤b2)期间，通过将所述对准点云帧
Figure BDA0002124839770000165
与全局累积三维地图CM合并，对全局累积三维地图CM进行更新。
更确切地说，如果点云帧
Figure BDA0002124839770000166
与环境V的全局累积三维地图CM的至少一个分区SAk对准，步骤b2)则包括子步骤b2-1)：将对准点云帧/>
Figure BDA0002124839770000167
与全局累积三维地图CM的所述至少一个分区SAK合并。
另一方面，如果点云帧
Figure BDA0002124839770000168
不能与全局累积三维地图CM的至少一个分区对准，步骤b2)则可以有利地包括子步骤b2-2)，其中，附加全局坐标系GCSM+1和附加分区SAM+1在全局累积三维地图CM中生成。其中，数字m是在附加分区SAM+1创建前，全局累积三维地图CM中分区SAk(1≤k≤M)的数量。
全局累积三维地图CM的附加分区SAM+1与全局累积三维地图中先前包含的分区SAk(1≤k≤M)分开。附加分区SAM+1包括新接收的点云帧
Figure BDA0002124839770000169
“附加分区SAM+1与其它分区SAk(1≤k≤M)分开”，表示附加分区中的数据点或者数据点与其它分区SAk(1≤k≤M)的数据点未连接或重叠。这可以，例如，通过将不同分区SAk与远程全局坐标系GCSk相关联，或者通过所述分区指数k索引分区SAk的数据点实现，以能够区分属于不同分区SAk的数据点。
当全局累积三维地图CM包括数个分区SA1，......，SAM时，可采用略有差异的方法来执行全局累积三维地图CM的更新，下文将详述。
实际上，可以使用新接收的点云帧
Figure BDA0002124839770000177
不仅可以丰富和增加全局累积三维地图CM分区的覆盖范围，还可以尝试找到先前分开分区之间的连接。
例如，交通工具的移动，可以将安装在该交通工具上的传感器带到由安装在另一个交通工具上的传感器已绘测区域内。随后，使用与所述两个分区重叠的新获取数据点，将由所述两个传感器分别记录的两个原始分开的分区合并在单个地图中，这特别有趣。
对于安装在同一交通工具上的两个传感器也会发生同样的情况，例如，位于交通工具前部的传感器和位于交通工具后部的另一传感器，这样当交通工具静止时，两个传感器的视野不重叠。一旦交通工具开始移动，例如前进，位于交通工具前面且之前仅前传感器可进入的环境区域，将传到交通工具后部，从而后传感器可以进入。环境的两个原始不同分区随后在交通工具周围的单个分区中变得相连且合并，其中，由前传感器和后传感器获取的点云对准，并合并到单个分区和单个全局坐标系。
为此，尝试对准新接收点云帧
Figure BDA0002124839770000171
的步骤，可涉及新接收点云帧/>
Figure BDA0002124839770000172
与全局累积三维地图CM每个分区SAk的同步多次扫描对准。
如果点云帧
Figure BDA0002124839770000173
可以对准多个分区，应能够合并所述分区。例如，点云帧/>
Figure BDA0002124839770000174
可以与全局累积三维地图CM的两个分区SAm，SAm'对准。随后，将所述多个分区SAm，SAm'和所述点云帧/>
Figure BDA0002124839770000175
对准且合并到与单个全局坐标系GCSm”相关的全局累积三维地图CM的单个分区SAm”中。
“同步多次扫描对准”，表示将新接收的点云帧
Figure BDA0002124839770000176
与全局累积三维地图CM的分区SAk一起视为需要同步已对准的扫描。
例如，可以通过用如上详述的迭代最近点算法(ICP)，执行同步多次扫描对准。
随后，中央处理单元3生成与各获取的点云C相关的对准局部点云A，其中，所述点云C的数据点D从局部坐标系S转化为全局三维地图CM的全局坐标系G。根据更新的传感器2的三维位置和方向，确定已对准的局部点云A。
应注意，通过三维传感器21获取的点云，可以包括作为交通工具10环境E的点P_E代表的数据点DP_E，还能包括作为交通工具10点P_V的数据点DP_V。例如，如传感器21安装在交通工具10的顶部，传感器21获取的点云可以捕获交通工具顶部的一些点。
在当前示例中，我们对作为交通工具1环境E代表的数据点DP_E更感兴趣。
因此，可以将每个点云帧分段，以分别识别和标记作为环境E代表的数据点DP_E和作为交通工具10的数据点DP_V。这种分段可通过将连续点云帧
Figure BDA0002124839770000181
进行对比方式执行，以识别固定点或点云的区域。一旦点云帧分段完成，点云帧/>
Figure BDA0002124839770000182
中可以忽略作为交通工具10代表的数据点DP_V。在尝试将点云帧与全局累积地图CM对准前执行该处理，以降低噪声并增加生成的全局地图的准确性。/>
在本发明的一些实施例中，在环境的全局坐标系中确定对准点云帧
Figure BDA0002124839770000183
的步骤，还可以包括计算在时间/>
Figure BDA0002124839770000184
时，在所述全局坐标系GCS中的传感器i的三维位置和方向。
可通过确定全局坐标系GCS中传感器i的局部坐标系CSi原点的等效位置，可以直接方式，获得时间
Figure BDA0002124839770000185
时，传感器i的三维位置和方向。这种确定可能涉及对局部坐标系CSi原点相关的点云的特定数据点位置的跟踪，或可通过计算传感器i的局部坐标系CSi和与时间
Figure BDA0002124839770000186
对应的全局坐标系GCS的变换函数来执行。
如本领域技术人员充分理解，为描述本发明而讨论的数个和多个步骤和过程，可称为由操作人员、处理器或其他使用电现象操纵和/或变换数据的电子计算设备执行。那些计算机和电子设备可以采用各种易失性和/或非易失性存储器，包括具有存储可执行程序的非暂时性计算机可读介质，能够由计算机或处理器执行的各种代码或可执行指令，其中存储器和/或计算机可读介质可包括所有形式和类型的存储器，以及其他计算机可读介质。
所公开的前述讨论，仅描述了本发明的示例性实施例。本领域技术人员通过这些讨论，以及附图以及权利要求，很容易认识到，各种实施的变更、更改和变化，不脱离下文权利说明书中定义的本发明的范围和精神。

Claims (15)

1.一种用于动态生成和更新至少一个移动交通工具周围环境的全局三维地图的方法，其中，N个三维传感器（3DS1，...，3DSN）安装在所述至少一个移动交通工具上，且与至少一个中央处理单元通信，其中：
a）所述N个三维传感器（3DS1，...，3DSN）中的每个三维传感器与这些三维传感器中的其他三维传感器并行且异步地生成点云帧
Figure QLYQS_1
的连续流（STi），
其中，所述流（STi）的每个点云帧（
Figure QLYQS_2
）包括所述三维传感器在时间（/>
Figure QLYQS_3
）获取的一组三维数据点，在所述三维传感器的局部坐标系（CSi）中，所述三维数据点代表在所述时间（/>
Figure QLYQS_4
）位于所述三维传感器周围环境的局域体（/>
Figure QLYQS_5
）中的物体表面，
b）所述中央处理单元从所述N个三维传感器（3DS1，...，3DSN）连续接收N个连续流（ST1，...，STN），将这些流存储在存储器中，且
对于这些流中每个流（STi）的每个新接收的点云帧（
Figure QLYQS_6
），通过如下方式生成或更新所述至少一个交通工具环境的全局累积三维地图：
b1）通过将所述点云帧（
Figure QLYQS_7
）与所述环境的全局累积三维地图进行比较，在所述至少一个交通工具环境的全局坐标系（GCS）中确定已对准的点云帧（/>
Figure QLYQS_8
），以及
b2）通过将所述已对准的点云帧（
Figure QLYQS_9
）与所述全局累积三维地图合并，更新所述累积三维地图。
2.根据权利要求1所述的方法，其特征在于，所述全局累积三维地图包括至少一个全局坐标系（GCS1）和至少一个相关分区（SA1），其中所述相关分区包括所述全局坐标系中的多个数据点，
其中，确定已对准的点云帧（
Figure QLYQS_10
）的步骤b1）包括：
b1-1）尝试对准所述点云帧（
Figure QLYQS_11
），使得通过将所述点云帧（/>
Figure QLYQS_12
）与所述环境（E）的全局累积三维地图的各个分区进行比较，将所述已对准的点云帧（/>
Figure QLYQS_13
）的至少一部分与所述全局累积三维地图的所述至少一个分区的至少一部分匹配，
其中，更新所述环境（E）的全局累积三维地图的所述步骤b2）包括：
b2-1）如果所述点云帧（
Figure QLYQS_14
）能与所述环境（E）的全局累积三维地图的至少一个分区对准，将所述已对准的点云帧（/>
Figure QLYQS_15
）与所述全局累积三维地图的所述至少一个分区合并，
b2-2）如果所述点云帧（
Figure QLYQS_16
）不能与所述环境的全局累积三维地图的至少一个分区对准，生成附加全局坐标系（GCS2）和全局累积三维地图的相关附加分区（SA2），全局累积三维地图的所述附加分区与先前包含在所述全局累积三维地图中的分区分开，且包含所述点云帧（/>
Figure QLYQS_17
）。
3.根据权利要求2所述的方法，其特征在于，如果所述全局累积三维地图包括数个分区（SA1，...，SAM），尝试对准点云帧（
Figure QLYQS_18
）的步骤b1-1）进一步包括：在多次扫描对准步骤中，尝试对准所述分区（SA1，...，SAM）和所述点云帧（/>
Figure QLYQS_19
），使得已对准的点云帧（/>
Figure QLYQS_20
）的至少一部分与所述全局累积三维地图的至少一个分区（SA1，...，SAM）匹配，
其中，如果所述点云帧（
Figure QLYQS_21
）能与所述全局累积三维地图的多个分区（SAm，SAm'）对准，所述多个分区（SAm，SAm'）和所述点云帧（/>
Figure QLYQS_22
）在与单个全局坐标系（GCSm''）相关的所述全局累积三维地图的单个分区（SAm''）中对准和合并。
4.根据权利要求1所述的方法，其特征在于，所述N个三维传感器（3DS1，...，3DSN）包括安装在第一移动交通工具上的至少一个第一三维传感器（3DSi）及安装在第二移动交通工具上的至少一个第二三维传感器（3DSi'），
且其中，所述至少一个第一三维传感器（3DSi）和所述至少一个第二三维传感器（3DSi'）通过无线方式与公共的中央处理单元（22）通信，其中所述全局累积三维地图包括代表第一移动交通工具周围环境（E）和第二移动交通工具周围环境的公共分区（SAk）。
5.根据权利要求4所述的方法，其特征在于，所述全局累积三维地图包括与代表第一移动交通工具周围环境（E）和第二移动交通工具周围环境的公共分区（SAk）相关的公共全局坐标系（GCSk），其中由所述至少一个第一三维传感器（3DSi）生成的点云帧（
Figure QLYQS_23
）和由所述至少一个第二三维传感器（3DSi'）生成的点云帧（/>
Figure QLYQS_24
）转换。
6.根据权利要求1所述的方法，其特征在于，为N个连续流的流（STi）的新接收的点云帧（
Figure QLYQS_25
）确定已对准的点云帧（/>
Figure QLYQS_26
）的所述步骤b1），包括在至少一个时间（/>
Figure QLYQS_27
），在所述环境的全局坐标系中确定生成所述流（STi）的三维传感器的三维位置和方向。
7.根据权利要求6所述的方法，其特征在于，在至少一个时间（
Figure QLYQS_28
），对所述三维传感器的三维位置和方向进行确定，仅通过流（STi）的新接收的点云帧（/>
Figure QLYQS_29
）和所述全局累积三维地图进行计算，不需要至少一个交通工具的或这些三维传感器（3DS1，...，3DSN）的附加位置信息。
8.根据权利要求4所述的方法，其特征在于，至少在一段时间段T期间，所述N个三维传感器（3DS1，...，3DSN）的第一三维传感器（3DSi）和第二三维传感器（3DSi'）不同步；
在所述时间段T期间获取的第一三维传感器（3DSi）和第二三维传感器（3DSi'）的各自的流（STi，STi'）的点云帧（
Figure QLYQS_30
），在不同时间获得，/>
Figure QLYQS_31
诸如/>
Figure QLYQS_32
。
9.根据权利要求1所述的方法，其特征在于，至少在一段时间段T期间，所述N个三维传感器（3DS1，...，3DSN）的第一三维传感器（3DSi）和第二三维传感器（3DSi'）具有不重叠的各自的视野；
在所述时间段T期间获取的第一三维传感器（3DSi）和第二三维传感器（3DSi'）各自的流（STi，STi'）的点云帧（
Figure QLYQS_33
），覆盖非重叠的各自的局域体/>
Figure QLYQS_34
诸如/>
Figure QLYQS_35
。
10.根据权利要求1所述的方法，其特征在于，在所述环境的全局坐标系（GCS）中确定已对准的点云帧（
Figure QLYQS_36
）的步骤，包括将所述点云帧（/>
Figure QLYQS_37
）的数据点分段的步骤，以识别和标志代表所述环境（E）的数据点和代表获取所述点云帧（/>
Figure QLYQS_38
）的三维传感器安装所在交通工具的数据点，所述已对准的点云帧（/>
Figure QLYQS_39
）仅限于代表所述环境（E）的数据点。
11.一种用于至少一个交通工具(10)的全局三维地图生成和更新的系统(2)，该系统包括：
- 适于安装在所述至少一个交通工具(10)上的N个三维传感器(3DS1 ,…, 3DSN)，
所述N个三维传感器(3DS1 ,…, 3DSN)的每个三维传感器适于与这些三维传感器的其他三维传感器并行且异步地生成点云帧
Figure QLYQS_40
的连续流(STi)，其中所述流(STi)的每个点云帧（/>
Figure QLYQS_41
）包括由所述三维传感器在时间（/>
Figure QLYQS_42
）获取的一组三维数据点，在所述三维传感器的局部坐标系(CSi)中，所述三维数据点代表在所述时间（/>
Figure QLYQS_43
）位于所述三维传感器周围环境的局域体（/>
Figure QLYQS_44
）中的物体表面，
- 中央处理单元(22)，适于与这些三维传感器的每个三维传感器通信，以从所述N个三维传感器(3DS1,…, 3DSN) 连续接收N个连续流(ST1,…, STN)，将这些流存储在存储器(23)中，并通过如下方式更新所述至少一个交通工具(10)周围环境的全局累积三维地图：
通过将所述点云帧（
Figure QLYQS_45
）与环境的全局累积三维地图进行比较，针对这些流中每个流(STi)的每个新接收的点云帧（/>
Figure QLYQS_46
），在所述至少一个交通工具(10)环境(E)的全局坐标系中确定已对准的点云帧（/>
Figure QLYQS_47
），通过将所述已对准的点云帧（/>
Figure QLYQS_48
）与所述全局累积三维地图合并，更新所述全局累积三维地图。
12.一种自动或半自动交通工具(10)，其包括根据权利要求11所述的全局三维地图生成和更新的系统(2)，
其中，所述系统的所述N个三维传感器(3DS1,…, 3DSN)安装在所述交通工具(10)上，且
所述交通工具(10)包括交通工具处理单元(18)，其适于接收和存储由所述系统(2)生成和更新的全局累积三维地图，以及至少根据所述全局累积三维地图辅助或控制所述交通工具(10)的驾驶。
13.一种自动或半自动交通工具(10)的车队(1)，包括多个自动或半自动交通工具（10）和根据权利要求11所述的全局三维地图生成和更新的系统(2)，
其中，所述N个三维传感器(3DS1,…, 3DSN)的至少一个三维传感器安装在车队的每个交通工具(10)上，
其中，车队的每个交通工具(10)包括一个交通工具处理单元(18)，其适于接收和存储由所述系统(2)生成和更新的全局累积三维地图，以及至少根据所述全局累积三维地图辅助或控制所述交通工具(10)的驾驶。
14.根据权利要求13所述车队，其特征在于，所述车队的每个交通工具的交通工具处理单元(18)，是系统(2)的中央处理单元(22)，且适于与这些三维传感器的每个三维传感器通信，以从所述N个三维传感器(3DS1,…, 3DSN)连续接收N个连续流(ST1,…, STN)，将这些流存储在存储器(23)中，并更新所述交通工具的所述车队周围环境的全局累积三维地图。
15.一种非暂时性计算机可读存储介质，其上存储有包括程序指令的计算机程序，所述计算机程序适于加载到根据权利要求11所述的全局三维地图生成和更新的系统(2)的中央处理单元(22) 中，当所述中央处理单元运行所述计算机程序时，所述计算机程序适于使所述中央处理单元执行根据权利要求1至10中任一项所述方法的步骤。
CN201780082948.8A 2016-11-18 2017-11-17 交通工具环境地图生成和更新的方法和系统 Active CN110178048B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16306517.0A EP3324209A1 (en) 2016-11-18 2016-11-18 Methods and systems for vehicle environment map generation and updating
EP16306517.0 2016-11-18
PCT/EP2017/079582 WO2018091651A1 (en) 2016-11-18 2017-11-17 Methods and systems for vehicle environment map generation and updating

Publications (2)

Publication Number Publication Date
CN110178048A CN110178048A (zh) 2019-08-27
CN110178048B true CN110178048B (zh) 2023-06-09

Family

ID=58158742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780082948.8A Active CN110178048B (zh) 2016-11-18 2017-11-17 交通工具环境地图生成和更新的方法和系统

Country Status (7)

Country Link
US (1) US11249191B2 (zh)
EP (2) EP3324209A1 (zh)
JP (1) JP6827627B2 (zh)
KR (1) KR20190082291A (zh)
CN (1) CN110178048B (zh)
CA (1) CA3044308A1 (zh)
WO (1) WO2018091651A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111108342B (zh) * 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准
CN108319655B (zh) * 2017-12-29 2021-05-07 百度在线网络技术（北京）有限公司 用于生成栅格地图的方法和装置
US10529089B2 (en) * 2018-02-23 2020-01-07 GM Global Technology Operations LLC Crowd-sensed point cloud map
US12000781B2 (en) 2018-03-19 2024-06-04 Iridesense Multispectral LiDAR transceiver
US10887433B2 (en) * 2018-04-03 2021-01-05 Pony Ai Inc. System and method for incremental data processing
AU2018278901B2 (en) * 2018-06-14 2020-07-16 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-resolution map based on binocular images
CN109540142B (zh) * 2018-11-27 2021-04-06 达闼科技（北京）有限公司 一种机器人定位导航的方法、装置、计算设备
DE102018222720B4 (de) * 2018-12-21 2022-01-05 Continental Teves Ag & Co. Ohg Überwachung von auf neuronalen Netzwerken basierten Fahrfunktionen
CN112105893B (zh) 2019-01-30 2023-08-22 百度时代网络技术（北京）有限公司 用于自动驾驶车辆的实时地图生成系统
US10733511B1 (en) * 2019-01-30 2020-08-04 StradVision, Inc. Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same
WO2020154968A1 (en) * 2019-01-30 2020-08-06 Baidu.Com Times Technology (Beijing) Co., Ltd. A point clouds ghosting effects detection system for autonomous driving vehicles
KR102376709B1 (ko) * 2019-01-30 2022-03-18 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 자율 주행 차량을 위한 포인트 클라우드 등록 시스템
CN109949347B (zh) * 2019-03-15 2021-09-17 百度在线网络技术（北京）有限公司 人体跟踪方法、装置、系统、电子设备和存储介质
CN110189400B (zh) * 2019-05-20 2023-04-14 深圳大学 一种三维重建方法、三维重建系统、移动终端及存储装置
CN111986472B (zh) * 2019-05-22 2023-04-28 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
DE102019217264A1 (de) * 2019-11-08 2021-05-12 Continental Automotive Gmbh Verfahren zum Erkennen von Änderungen in Referenzdaten für geografische Daten
US11327506B2 (en) * 2019-11-20 2022-05-10 GM Global Technology Operations LLC Method and system for localized travel lane perception
US11138465B2 (en) * 2019-12-10 2021-10-05 Toyota Research Institute, Inc. Systems and methods for transforming coordinates between distorted and undistorted coordinate systems
CN111025331B (zh) * 2019-12-25 2023-05-23 湖北省空间规划研究院 一种基于旋转结构的激光雷达建图方法及其扫描系统
WO2021148522A1 (en) 2020-01-24 2021-07-29 Outsight A method and system for generating a colored tridimensional map
US11466992B2 (en) * 2020-03-02 2022-10-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, device and medium for detecting environmental change
CN112543958B (zh) * 2020-04-11 2022-03-11 华为技术有限公司 车辆控制装置、方法、计算机可读存储介质及编队行驶系统
KR102206834B1 (ko) 2020-04-28 2021-01-25 네이버랩스 주식회사 도로정보 변화 감지 방법 및 시스템
CN112053592A (zh) * 2020-04-28 2020-12-08 上海波若智能科技有限公司 路网动态数据采集方法及路网动态数据采集系统
CN111553844B (zh) 2020-04-29 2023-08-29 阿波罗智能技术(北京)有限公司 用于更新点云的方法及装置
CN111881245B (zh) * 2020-08-04 2023-08-08 深圳安途智行科技有限公司 能见度动态地图的产生方法、装置、设备及存储介质
EP4016111A1 (en) * 2020-12-16 2022-06-22 Trimble Inc. Methods for geospatial positioning and portable positioning devices thereof
CN112732313B (zh) * 2020-12-21 2021-12-21 南方电网电力科技股份有限公司 一种变电站巡检机器人地图增量更新方法及系统
US20230074860A1 (en) * 2021-09-08 2023-03-09 Motional Ad Llc Machine learning-based point cloud alignment classification
CN115797425B (zh) * 2023-01-19 2023-06-16 中国科学技术大学 一种基于点云鸟瞰图和由粗到精策略的激光全局定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204262A (zh) * 2008-10-28 2011-09-28 皇家飞利浦电子股份有限公司 图像特性的遮挡数据的生成
WO2011127560A1 (en) * 2010-04-12 2011-10-20 Feeling Software Inc. Camera projection meshes
CN102317973A (zh) * 2009-02-13 2012-01-11 哈里公司 用于场景解释和对准性能估计的2d电光图像和3d点云数据的融合
CN103257342A (zh) * 2013-01-11 2013-08-21 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
CN104808192A (zh) * 2015-04-15 2015-07-29 中国矿业大学 进行三维激光扫描的摆动装置及其坐标转换方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004043515A1 (de) 2004-09-08 2006-03-09 Sick Ag Verfahren und Vorrichtung zum Erfassen eines Objekts
US7583815B2 (en) * 2005-04-05 2009-09-01 Objectvideo Inc. Wide-area site-based video surveillance system
DE102005063217C5 (de) 2005-12-22 2022-08-18 Pilz Gmbh & Co. Kg Verfahren zum Konfigurieren einer Überwachungseinrichtung zum Überwachen eines Raumbereichsund entsprechende Überwachungseinrichtung
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
US8798840B2 (en) * 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9329269B2 (en) 2012-03-15 2016-05-03 GM Global Technology Operations LLC Method for registration of range images from multiple LiDARS
US8989944B1 (en) * 2013-11-26 2015-03-24 Google Inc. Methods and devices for determining movements of an object in an environment
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
CN105930819B (zh) * 2016-05-06 2019-04-12 西安交通大学 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102204262A (zh) * 2008-10-28 2011-09-28 皇家飞利浦电子股份有限公司 图像特性的遮挡数据的生成
CN102317973A (zh) * 2009-02-13 2012-01-11 哈里公司 用于场景解释和对准性能估计的2d电光图像和3d点云数据的融合
WO2011127560A1 (en) * 2010-04-12 2011-10-20 Feeling Software Inc. Camera projection meshes
CN103257342A (zh) * 2013-01-11 2013-08-21 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
CN104808192A (zh) * 2015-04-15 2015-07-29 中国矿业大学 进行三维激光扫描的摆动装置及其坐标转换方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D building map reconstruction in dense urban areas by integrating airborne laser point cloud with 2D boundary map;Javanmardi M;《IEEE International Conference on Vehicular Electronics and Safety》;全文 *
基于Gradient Boosting的车载LiDAR点云分类;赵刚;杨必胜;;地理信息世界(03);全文 *
基于激光与立体视觉同步数据的场景三维重建;杜宇楠;叶平;孙汉旭;;软件(11);全文 *

Also Published As

Publication number Publication date
WO2018091651A1 (en) 2018-05-24
CA3044308A1 (en) 2018-05-24
JP6827627B2 (ja) 2021-02-10
KR20190082291A (ko) 2019-07-09
CN110178048A (zh) 2019-08-27
EP3542182B1 (en) 2023-08-23
JP2019537138A (ja) 2019-12-19
EP3324209A1 (en) 2018-05-23
EP3542182A1 (en) 2019-09-25
US20190271780A1 (en) 2019-09-05
US11249191B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
CN110178048B (zh) 交通工具环境地图生成和更新的方法和系统
US11585662B2 (en) Laser scanner with real-time, online ego-motion estimation
CN109887057B (zh) 生成高精度地图的方法和装置
US9870624B1 (en) Three-dimensional mapping of an environment
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
CN110889808B (zh) 一种定位的方法、装置、设备及存储介质
CN112230242B (zh) 位姿估计系统和方法
US20220291012A1 (en) Vehicle and method for generating map corresponding to three-dimensional space
CN112967392A (zh) 一种基于多传感器触合的大规模园区建图定位方法
US20190257949A1 (en) Self-calibrating sensor system for a wheeled vehicle
CN113406682A (zh) 一种定位方法、装置、电子设备及存储介质
US10802122B1 (en) Methods and systems for calibration of multiple lidar devices with non-overlapping fields of view
CN115407357A (zh) 基于大场景的低线束激光雷达-imu-rtk定位建图算法
CN112051575A (zh) 一种毫米波雷达与激光雷达的调整方法及相关装置
US11561553B1 (en) System and method of providing a multi-modal localization for an object
CN116358525A (zh) 基于激光雷达的建图与定位方法、系统及工程车辆
CN115248446A (zh) 一种基于激光雷达的三维超声成像方法和系统
Hajri et al. Automatic generation of ground truth for the evaluation of obstacle detection and tracking techniques
CN114353780B (zh) 姿态优化方法及设备
CN113777615B (zh) 室内机器人的定位方法、系统及清洁机器人
CN118310531A (zh) 一种由粗到细点云配准的机器人跨场景定位方法及系统
Yang et al. Acoustic-optic assisted multisensor navigation for autonomous underwater vehicles
CN115963521A (zh) 用于确定载具的位置和加速度的方法和系统
KR20240047400A (ko) 이동 대상의 포즈 결정을 위한 시스템들 및 방법들
CN118225078A (zh) 交通工具的定位方法、装置、交通工具及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200312

Address after: Paris France

Applicant after: Otexeit

Address before: Fa Guofanersai

Applicant before: DIBOTICS

GR01 Patent grant
GR01 Patent grant