CN110859044B - 自然场景中的集成传感器校准 - Google Patents

自然场景中的集成传感器校准 Download PDF

Info

Publication number
CN110859044B
CN110859044B CN201880002282.5A CN201880002282A CN110859044B CN 110859044 B CN110859044 B CN 110859044B CN 201880002282 A CN201880002282 A CN 201880002282A CN 110859044 B CN110859044 B CN 110859044B
Authority
CN
China
Prior art keywords
point cloud
point
vehicle
sensors
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880002282.5A
Other languages
English (en)
Other versions
CN110859044A (zh
Inventor
朱晓玲
马腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Publication of CN110859044A publication Critical patent/CN110859044A/zh
Application granted granted Critical
Publication of CN110859044B publication Critical patent/CN110859044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Navigation (AREA)

Abstract

本申请的实施例提供用于校准至少两个传感器的方法和系统。所述方法可以包括当车辆沿着轨迹行进时，通过与车辆相关的至少两个传感器，捕获指示至少一个周围物体的点云数据集。所述方法还可以包括通过处理器，基于与所述点云数据集相关的共面性，过滤所述点云数据集。所述方法可以进一步包括通过所述处理器，基于使用过滤的点云数据集的模型，调整所述至少两个传感器的至少一个校准参数。所述模型可以包括与所述点云数据集相关的共面性相对应的权重。

Description

自然场景中的集成传感器校准
技术领域
本申请涉及用于传感器校准的方法和系统，具体地，涉及用于校准激光雷达(LiDAR)传感器和导航传感器的方法和系统。
背景技术
自动驾驶技术在很大程度上依赖于精确的地图。例如，导航地图的准确性对于自动驾驶车辆的功能是关键的，例如定位、环境识别、决策制定和控制。可以通过聚集由车辆上的各种传感器和探测器获取的数据，获得高清晰度地图。例如，用于高清晰度地图的典型数据采集系统通常是配备有多个集成传感器的车辆，例如LiDAR、全球定位系统(GPS)接收器、惯性测量单元(IMU)传感器、甚至一个或以上的摄像机，用于捕获车辆行驶的道路和周围物体的特征。捕获的数据可以包括，例如车道的中心线或边界线坐标、诸如建筑物、其他车辆、地标、行人或交通标志的物体的坐标和图像。
由集成传感器获得的点云数据不仅可能受到来自传感器本身的误差(例如，激光测距误差、GPS定位误差、IMU姿态测量误差等)的影响，而且还受到来自激光雷达单元和导航单元(例如，GPS/IMU单元)的集成引起的积分误差。积分误差可能包括由于激光雷达单元和导航单元的坐标轴不平行引起的安装角的误差，以及由于激光雷达的中心与GPS天线之间的偏移引起的安装矢量误差。因此，集成的激光雷达和导航系统的校准对于提高点云数据的准确性变得重要。
现有的集成传感器校准方法使用专用于传感器校准的人工校准目标，例如，需要利用以特定方式布置的人工校准目标来构建专用校准设施，以收集校准数据。由于对校准目标的设计和布置的特定要求，这些方法限制了校准效率和灵活性。另一种校准方法试图从自然场景中的平面物体获取校准数据，其量化从每个点到由其周围点构造的附近表面的距离，然后通过优化其距离的值来实现校准。然而，在自然场景中存在各种移动物体(例如，其他车辆)和静态非平面物体(例如，植物)，并且它们的点云数据作为非共面数据可以降低校准精度，从而限制了基于自然场景的这种校准方法的应用。
本申请的实施例通过用于在自然场景中集成传感器校准的改进方法和系统来解决上述问题。
发明内容
本申请的实施例提供了一种用于校准至少两个传感器的方法。所述方法可以包括当车辆沿着轨迹行进时，通过与所述车辆相关的至少两个传感器，捕获指示至少一个周围物体的点云数据集。所述方法还可以包括通过处理器，基于与所述点云数据集相关的共面性，过滤所述点云数据集。所述方法可以进一步包括通过所述处理器，基于使用过滤的点云数据集的模型，调整所述至少两个传感器的至少一个校准参数。所述模型可以包括与所述点云数据集相关的共面性相对应的权重。
本申请的实施例还提供了一种用于校准至少两个传感器的系统。所述系统可以包括与车辆相关的至少两个传感器，被配置为当所述车辆沿着轨迹行进时，捕获指示至少一个周围物体的点云数据集。所述系统还可以包括处理器，被配置为基于与所述点云数据集相关的共面性，过滤所述点云数据集。所述处理器可以进一步被配置为，基于使用过滤的点云数据集的模型，调整所述至少两个传感器的至少一个校准参数。所述模型包括与所述点云数据集相关的共面性相对应的权重。
本申请的实施例还提供了一种非暂时性计算机可读介质，其具有存储在其上的指令，当由一个或以上处理器执行时，使得所述一个或以上处理器执行操作。所述操作可以包括当车辆沿着轨迹行进时，接收通过与所述车辆相关的至少两个传感器捕获的，指示至少一个周围物体的点云数据集。所述操作还可以包括基于与所述点云数据集相关的共面性，过滤所述点云数据集。所述操作可以进一步包括基于使用过滤的点云数据集的模型，调整所述至少两个传感器的至少一个校准参数。所述模型包括与所述点云数据集相关的共面性相对应的权重。
应当理解，前面的一般性描述和下面的详细描述都只是示例性和说明性的，并不是对要求保护的本发明的限制。
附图说明
图1示出了根据本申请的实施例的具有传感器的示例性车辆的示意图。
图2示出了根据本申请的实施例的用于校准传感器的自然场景中的示例性校准目标和车辆轨迹。
图3示出了根据本申请实施例的用于校准传感器的示例性控制器的框图。
图4示出了根据本申请的实施例的在不同尺度下计算法向量差的示例性方法。
图5示出了根据本申请的实施例的过滤点云数据的示例性方法的数据流程图。
图6示出了根据本申请的实施例的传感器校准之前和之后的相同物体的示例性点云。
图7示出了根据本申请的实施例的校准至少两个传感器的示例性方法的流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。只要有可能，在所有附图中将使用相同的附图标记来表示相同或相似的部分。
图1示出了根据本申请实施例的具有至少两个传感器140和150的示例性车辆100的示意图。与一些实施例一致，车辆100可以是测量车辆，其被配置为获取用于构建高清晰度地图或三维(3-D)城市建模的数据。可以设想，车辆100可以是电动车辆、燃料电池车辆、混合动力车辆或常规内燃发动机车辆。车辆100可具有车身110和至少一个车轮120。车身110可以是任何车身类型，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或改装车。在一些实施例中，车辆100可包括一对前轮和一对后轮，如图1所示。然而，可以设想，车辆100可能具有较少的车轮或使车辆100能够四处移动的等效结构。车辆100可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆100可以被配置为由占用车辆的操作员操作，远程控制和/或自主操作。
如图1所示，车辆100可以配备有经由安装结构130安装到车身110的各种传感器140和150。安装结构130可以是安装或以其他方式附接到车辆100的车身110的机电设备。在一些实施例中，安装结构130可以使用螺钉、粘合剂或其他安装机制。
与一些实施例一致，当车辆100沿着轨迹行进时，传感器140和150可以被配置为捕获数据。例如，传感器140可以是被配置为扫描周围并获取点云的LiDAR扫描仪。LiDAR通过用脉冲激光照射目标并用传感器测量反射脉冲，测量到目标的距离。然后可以利用激光返回时间和波长的差值，生成所述目标的数字3-D表示。用于LiDAR扫描的光可以是紫外线、可见或近红外线。因为窄激光束可以以非常高的分辨率映射物理特征，所以LiDAR扫描仪特别适用于高清地图勘测。在一些实施例中，激光雷达扫描仪可以捕获点云。当车辆100沿着轨迹行进时，传感器140可以连续地捕获数据。在特定时间范围捕获的每个场景数据集被称为数据帧。
在一些实施例中，传感器140可以包括LiDAR扫描仪和被配置获取数字图像的3-D相机的组合。当车辆100沿着轨迹行进时，获取数字图像和点云。从LiDAR扫描仪获取的点云可以稍后与从扫描仪的位置拍摄的扫描区域的数字图像匹配，以创建逼真的3-D模型。例如，点云中的每个点可以从拍摄的图像中给出像素点的颜色，该图像位于与产生该点的激光束相同的角度。
如图1所示，车辆100可以另外配备有传感器150，传感器150可以是导航单元中使用的传感器，例如GPS接收器和一个或以上IMU传感器。GPS是全球导航卫星系统，其向GPS接收器提供地理定位和时间信息。IMU是一种电子设备，其使用各种惯性传感器例如加速度计和陀螺仪，有时还有磁力计，测量并提供车辆的特定力、角速率，有时车辆周围的磁场。通过组合GPS接收器和IMU传感器，传感器150可以在车辆100行进时提供车辆100的实时姿态信息，包括车辆100在每个时间戳处的位置和朝向(例如，欧拉角)。
在一些实施例中，由传感器140的激光雷达单元获取的点云数据可以最初位于LiDAR单元的局部坐标系中，并且可能需要被变换到全局坐标系(例如，经度/纬度坐标)供以后处理。由导航单元的传感器150收集的车辆100的实时姿态信息可以用于通过点云数据配准，将点云数据从局部坐标系变换到全局坐标系中。例如基于在每次获取点时，车辆100的姿态。为了用匹配的实时姿态信息来配准点云数据，传感器140和150可以被集成为集成传感系统，使得点云数据可以在收集时利用姿态信息进行配准。可以相对于校准目标校准集成传感系统以减少积分误差，包括但不限于传感器140和150的安装角度误差和安装矢量误差。通过积分校准，可以优化一个或以上传感器校准参数，例如LiDAR单元和导航单元的安装角度、LiDAR中心和GPS接收器天线之间的偏移。
例如，图2示出了根据本申请的实施例的校准传感器140和150的自然场景中的示例性校准目标和车辆轨迹。校准可以在自然环境中执行，并且可以不依赖于任何专用的人工校准目标，因此具有优于现有系统和方法的各种优点，例如完全自动化、高灵活性和效率等。
如俯视图图像210中所示，其中可以校准配备在车辆(例如，车辆100)上的集成传感器(例如，传感器140和150)的自然场景可以包括各种周围物体，例如移动物体(例如，其他车辆、行人、动物等)和静态物体(例如，建筑物、植物、道路、路灯、交通标志、交通灯等)。静态物体可以是平面物体(例如，墙壁或道路)或非平面物体(例如，植物)。在一些实施例中，可以将作为静态平面物体的周围物体(例如，墙壁和道路)识别为校准目标。当车辆100沿着轨迹行进时，车辆100的集成传感器可以捕获校准目标的数据，例如点云数据和姿态信息。在一些实施例中，移动物体(例如，车辆和行人)或静态非平面物体(例如，植物)的周围物体，可以避免作为校准目标。用于传感器校准的自然场景的选择可以基于合适的校准目标(即，静态平面物体)和不适合的校准物体(即，移动物体和静态非平面物体)的存在或数量。例如，包括大量移动物体(例如，多于5个移动物体)的场景可以不用于传感器校准。例如，俯视图图像210示出了适合于传感器校准的自然场景，因为其主要包括建筑物(具有墙壁)和道路。
与本申请一致，当捕获指示所识别的周围物体(即，校准目标)的数据时，车辆100可以沿着轨迹行进。在一些实施例中，为了确保法向量的精确计算(下面详细描述)，车辆100可以沿着相同的轨迹重复行进并且在车辆行进时改变车辆100的欧拉角。例如，轨迹可以是任意的，但包括偏航的变化，使得可以检测LiDAR单元的横向和纵向偏移。在俯视图图像210中，车辆100沿着8形轨迹212重复行进以收集指示建筑物墙壁的数据，例如点云数据集、以及收集点云数据时车辆100的实时姿态信息(例如，时间、位置和朝向)。景观图图像220示出了被识别为校准目标的周围建筑物墙壁。
返回参考图1，与本申请一致，车辆100可以包括位于车辆100的车身110中的本地控制器160，或者与用于校准集成传感器140和150的远程控制器(图1中未示出)通信，以优化传感器校准参数，从而减少积分误差，提高采集数据的准确性。例如，图3示出了根据本申请实施例的用于校准传感器140和150的示例性控制器300的框图。与本申请一致，传感器140和150的校准参数301可以基于传感器140捕获的点云数据集303而朝向最佳值调整。
在一些实施例中，如图3所示，控制器300可以包括通信接口302、处理器304、内存306和存储器308。在一些实施例中，控制器300可以在单个设备中具有不同的模块，诸如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA)，或具有专用功能的独立设备。在一些实施例中，控制器300的一个或以上组件可以位于车辆100内(例如，图1中的本地控制器160)，或者可以替代地在移动设备中、在云中或另一个远程位置。控制器300的组件可以在集成设备中，或者分布在不同位置，但是通过网络(未示出)彼此通信。例如，处理器304可以是车辆100的处理器、移动设备内的处理器或云处理器，或其任何组合。
通信接口302可以经由通信电缆、无线局域网(WLAN)、广域网(WAN)、诸如无线电波的无线网络、全国蜂窝网络、和/或本地无线网络(例如，蓝牙TM或WiFi)，或其他通信方法向诸如传感器140和150之类的组件发送数据和从其接收数据。在一些实施例中，通信接口302可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器、以提供数据通信连接。又例如，通信接口302可以是局域网(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以由通信接口302实现。在这样的实现中，通信接口302可以发送和接收电信号、电磁信号或光信号，其携带经由网络表示各种类型信息的数字数据流。
与一些实施例一致，通信接口302可以接收由传感器140和150获取的数据，例如指示校准目标的点云数据集303和车辆100的姿态信息，并将所接收的数据提供给存储器308用于存储，或给处理器304用于处理。通信接口302还可以接收由处理器304生成的校准参数301，并且向传感器140和150提供校准参数301，其将相应地用于校准传感器140和150。
处理器304可包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器304可以被配置为专用于在自然场景中，使用非人工校准目标校准配备在车辆100上的传感器的单独处理器模块。或者，处理器304可以被配置为共享处理器模块，用于执行与校准传感器无关的其他功能。
如图3所示，处理器304可以包括多个模块，例如坐标变换单元310、共面性计算单元312、点云数据过滤单元314、校准参数优化单元316等。这些模块(以及任何对应的子模块或子单元)可以是处理器304的硬件单元(例如，集成电路的部分)，其被设计用于与其他组件一起使用或执行程序的一部分。程序可以存储在计算机可读介质上，并且当由处理器304执行时，它可以执行一个或以上的功能。尽管图3示出了在一个处理器304内的所有单元310-316，但是可以预期这些单元可以分布在彼此靠近或远离的多个处理器之间。
坐标变换单元310可以被配置为基于由传感器150获取的车辆100的实时姿态信息，将由传感器140在局部坐标系(例如，LiDAR所使用的坐标系)中捕获的点云数据集303变换到全局坐标系。点云数据303可以包含车辆100周围的物体(例如，所识别的校准目标)的外表面上一组数据点。姿态信息可包括每个时间戳处的车辆100的位置和朝向。在一些实施例中，点云数据303可以被记录为车辆100在一段时间内通过一系列姿态(例如，位置和朝向)的转变。坐标变换单元310可以基于在获取每个点时的车辆100的姿态将由点云数据303表示的点云中的每个点投影到全局坐标系(例如，经度/纬度坐标)
中。由于点云数据303和姿态信息由集成传感器140和150收集，传感器140和150的初始校准参数(例如，坐标轴和中心)也可以用作坐标变换。在优化校准参数之前，初始校准参数可以设定为粗略地通过工具例如卷尺测量的值。在被投影到全局坐标系中之后，点云数据303中的每个数据点可以由全局坐标系中的一组坐标和附加信息，例如该点处的激光强度或者来自姿态信息的任何信息表示。
共面性计算单元312可以被配置为确定与全局坐标系中的点云数据303相关的共面性。如本文所提及的，共面性是两个或以上点在同一平面内的状态或程度。由于空间中的点倾向于位于连续表面上，因此可以将接近点视为共面点(即，具有高于阈值的共面性)。共面数据(例如，静态平面物体的点云数据)有助于精确的传感器校准，而非共面数据(例如，移动物体的点云数据或静态非平面物体)可能影响传感器准确度。因此，共面性计算单元312可通过使用点云数据过滤单元314来识别来自点云数据303的数据点的共面性，以过滤掉非共面数据。
在一些实施例中，共面性可以由共面性计算单元312基于与点云数据303相关的至少两个尺度下的法向量的差(即，Δ)来确定。表面的法向量(也称为“法线”)是垂直于给定点处的该表面的切平面的向量。当在自然场景中校准集成传感器时，有时无法避免移动物体或静态非平面物体。与本申请一致，在不同尺度下的法向量的差，可用于区分静态平面物体与移动物体和静态非平面物体。例如，静态平面物体在不同尺度下的法向量的差小于移动物体或静态非平面物体的法向量的差。
图4示出了根据本申请的实施例的在不同尺度下计算法向量差的示例性方法。如图4所示，P表示点云数据集{p1，p2，...，pN}，每个点云被描绘为点。点云可以指示校准物体的表面。该点云数据集P可以与多尺度空间相关，所述多尺度空间包括如410所示的两个远端点(大半径rl)定义的第一尺度和如420所示的两个近端点(小半径rs)定义的第二尺度。所述第二尺度小于所述第一尺度。在第一和第二尺度下，与点云中的相同点p(表示为大点)相关的法向量分别在410和420中计算。在410中，将第一尺度rl下的点p处的切平面T(p,rl)的第一法向量
Figure GDA0001889201960000091
计算为
Figure GDA0001889201960000097
在420中，将第二尺度rs下的点p处的切平面T(p,rs)的第二法向量
Figure GDA0001889201960000093
计算为
Figure GDA0001889201960000098
在430中，将第一和第二尺度rl、rs下的点p处的第一和第二法向量的差
Figure GDA0001889201960000099
计算为
Figure GDA00018892019600000910
返回参考图3，点云数据过滤单元314可以被配置为基于与点云数据集303相关的共面性，过滤点云数据集303。如上所述，共面性，例如与点云中的点相关的不同尺度下的法向量的差，可以用作识别非共面数据(例如，表示移动或静态非平面物体上的点)的基础，并从点云数据303中过滤非共面数据以改善数据质量用于校准。在一些实施例中，阈值可用于通过将该点处的对应法向量差与阈值进行比较，来确定点是否是非共面点。也就是说，具有相对大的法向量差(例如，相对于阈值)的点可以被识别为非共面点，并且它们在点云数据303中的数据可以通过点云数据过滤单元314过滤作为非共面噪声数据。
图5示出了根据本申请的实施例的过滤点云数据的示例性方法500的数据流程图。与一些实施例一致，在点云502中，每一个点504可以基于其在与点云502相关的在第一尺度506和第二尺度508下的法向量差，通过点云数据过滤单元314。第一和第二尺度506和508中的每一个可以由点云502中的点定义。可以在第一尺度506下，计算与点504相关的第一法向量510。也可以在第二尺度508下，计算与点504相关的第二法向量512。可以计算第一和第二法向量510和512的法向量差514，并将其与阈值516进行比较。例如，阈值516可以是基于先前经验预定的任何合适的值。在518处，确定法向量差514是否高于阈值516。如果法向量差514不高于阈值516(即，在第一和第二尺度506和508下的法向量的相对小的差)，则在520处、点504可以被认为是共面点，因此，保留在点云502中。否则，如果法向量差514高于阈值516(即，在第一和第二尺度506和508下的法向量的相对大的差)，则在522处、点504可被视为非共面点因此，从点云502过滤掉。结果，过滤后的点云502将不包括点504。
返回参考图3，校准参数优化单元316可以被配置为，基于使用过滤的点云数据集303作为模型的输入的模型，调整传感器140和150的校准参数301，使得模型的输出减小。模型可以包括基于与点云数据集303相关的共面性的权重。在一些实施例中，权重可以是在点云中的点处在不同尺度下的法向量的差的倒数。通过迭代地调整校准参数301直到模型的输出最小化，可以优化校准参数301以实现用于校准传感器140和150的最佳值。下面详细描述可以由校准参数优化单元316实现的示例性算法和模型。可以设想，校准参数优化单元316也可以实施任何其他合适的算法和/或模型，以使用经过过滤的点云数据303来调整校准参数301。
示例性算法包括：(a)从过滤的点云数据303中选择激光扫描束bj及其点集P(bj)，该过滤的点云数据303已经利用基于车辆100的姿态信息的初始校准参数变换到全局坐标系；(b)对于激光扫描束bj，从过滤的点云数据303中选择相邻的激光扫描束nj及其点集P(nj)；(c)从点集P(nj)中选择点pk；(d)从点集P(bj)中选择具有距点pk的最小距离的点mk，并计算点mk处的法向量ηk；和(f)计算点pk与点mk的表面之间的距离。由于点pk和mk是从过滤的点云数据303中选择并且足够接近，它们在静态平面物体的相同表面上，但不是移动物体或静态非平面物体。例如，点pk和mk处的每个法向量差小于阈值。因此，点pk和mk的对应数据可以是共面数据。上述过程(a)-(f)可以由校准参数优化单元316重复执行，直到传感器140的所有激光扫描光束被横穿。
示例性算法使用针对点云中的所有点计算的总距离作为用于优化的成本函数：
Figure GDA0001889201960000111
Figure GDA0001889201960000112
其中i表示每个激光扫描束的编号，bi∈{1,2,…,B}，其中B表示激光扫描束的总数；j表示i的相邻激光扫描束，nj∈{bi-N,…,bi+N}，nj≠bi，其中N表示相邻激光扫描束的数量；ηk表示法向量。ωk是等式[1]中所示的模型的权重，其表示点云共面性的置信度，例如如等式[2]所示的法矢量差Δη的倒数(如上详述)。也就是说，模型的权重可以基于每个点的共面性。例如，具有高共面性的点(例如，表示为在多个尺度下的小法向量差)可以被赋予大的权重，而具有低共面性的点(例如，表示在多个尺度下的大法向量差)可以分配一个小的权重。因此，与点云数据集303相关的共面性不仅可以用于点云数据过滤单元314对点云数据303的过滤，而且还可以用于通过校准参数优化单元316，为优化校准参数301确定模型中每个点的权重。
通过调整传感器140和150的校准参数301，可以改变成本函数J(x)的值。校准参数优化单元316可以被配置为调整校准参数301，使得J(x)的值减小。在一些实施例中，校准参数优化单元316可迭代地调整J(x)，直到其值最小化。校准参数301的对应值变为用于校准传感器140和150的最佳值。
例如，图6分别示出了根据本申请的实施例的传感器校准之前和之后的相同物体(建筑物墙壁)的示例性点云610和620。建筑物墙壁的点云610由传感器140和150在传感器校准之前(例如，使用任意初始校准参数)收集的数据生成。相反，在传感器校准之后(例如，使用最佳校准参数)，由传感器140和150收集的数据重新生成相同建筑物墙壁的点云620。例如，由于传感器140和传感器140的积分误差通过最佳校准参数减少，在点云620(以矩形标注)中表示的建筑物墙壁的厚度比在点云610(在矩形中标注)中表示的相同建筑物墙壁的厚度薄。
返回参考图3，内存306和存储器308可以包括任何适当类型的大容量存储器，被配置为存储处理器304可能需要操作的任何类型的信息。内存306和存储器308可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形的(即，非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。内存306和/或存储器308可以被配置为存储一个或以上计算机程序，其可以由处理器304执行以执行本申请中披露的传感器校准功能。例如，内存306和/或存储器308可以被配置为存储程序，其可以由处理器304执行以控制传感器140捕获校准目标数据并且控制传感器150，以在车辆100沿着轨迹行进时获取车辆姿态信息，并处理捕获数据以调整传感器140和150的校准参数。
内存306和/或存储器308可以进一步被配置为存储处理器304使用的信息和数据。例如，内存306和/或存储器308可以被配置为存储传感器140捕获的点云数据和由传感器150获得的实时姿态信息，用于优化校准参数的模型，以及校准参数的初始值、中间值和最佳值。这些数据、信息和模型可以被永久地存储，周期性地移除，或者在处理每个数据帧之后立即被忽略。
图7示出了根据本申请的实施例的校准至少两个传感器的示例性方法700的流程图。例如，方法700可以由车辆100的集成传感器校准系统实现，其包括控制器300和传感器140和150等。方法700可以包括如下所述的步骤S702-S712。
在步骤S702，可以将自然场景中的车辆100周围的物体识别为校准目标。车辆100可以是测量车辆，在自然场景中沿着轨迹重复行进，用于校准装备在车辆100上的传感器140和150。校准目标可以包括场景中的静态平面物体，例如建筑物墙壁或道路。关于静态平面物体收集的数据对于校准是理想的。因此，可移除移动物体和非平面物体，例如场景中的另一车辆或植物，以提高校准精度。因此，专用的校准设施和/或人工校准目标对于传感器校准是不必要的，从而提高了校准效率和灵活性。
在步骤S704，当车辆100沿着自然场景中的轨迹行进以进行传感器校准时，传感器140可以捕获指示周围物体(即，所识别的校准目标)的点云数据集。车辆100可以配备有传感器140，例如LiDAR激光扫描仪。当车辆100沿着轨迹行进时，传感器140可以在局部坐标系中以点云数据集的形式在不同时间点连续捕获场景数据帧。车辆100还可以配备有传感器150，例如GPS接收器和一个或以上IMU传感器。传感器140和150可以形成集成传感系统。在一些实施例中，当车辆100沿自然场景中的轨迹行进并且当传感器140捕获校准目标的点云数据集时，传感器150可以获取车辆100的实时姿态信息。
在步骤S706，处理器304可以基于车辆100的姿态信息，将局部坐标系中的点云数据集投影到全局坐标系中。在一些实施例中，可以将任何合适的值可用于初始校准参数，以在全局坐标系，例如经度/纬度坐标中，将点云数据和用于数据配准的姿态信息相关联。例如，处理器304可以基于在获取每个点时车辆100的姿态，将点云中的点投影到全局坐标系中。
在步骤S708，处理器304可以确定与全局坐标系中的点云数据集相关的共面性。在一些实施例中，可以基于与点云数据集相关的至少两个尺度下的法向量的差，确定共面性。例如，对于点云中的每个点，处理器304可以在第一尺度下，计算与点相关的第一法向量，和在第二尺度下，与点相关的第二法向量，然后计算第一和第二法向量的差。法向量差可以是与点云数据集相关的共面性的象征。法向量差越大，对应点越可能是非共面点(即，在移动物体或静态非平面物体的表面上的点)。
在步骤S710，处理器304可以基于共面性过滤该点云数据集。在一些实施例中，阈值可以用于确定是否应该从点云(以及点云数据集)中移除点(及其对应数据)。例如，可以将与点相关的法向量差与阈值进行比较。如果法向量差不高于阈值，则点数据将保持在点云数据集中，因为该点被认为是静态平面物体的表面上的共面点。否则，点数据将从点云数据集中滤除，因为该点被视为移动物体或静态非平面物体表面上的非共面点。
在步骤S712，处理器304可以基于使用过滤的点云数据集作为模型的输入的优化模型，调整传感器140和150的校准参数，使得模型的成本函数值减小。该模型可以包括基于与点云数据集相关的共面性的权重。在一些实施例中，权重可以是与过滤的点云数据集中的每个点相关的法向量的差的倒数。处理器304可以连续地调整校准参数，直到模型的成本函数值最小化。然后，相应的校准参数具有传感器140和150的校准的最佳值。
本申请的另一方面涉及一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使得一个或以上处理器执行所述方法，如上所述。所述计算机可读介质包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，如所披露的，所述计算机可读介质可以是存储设备或其上存储有计算机指令的存储器模块。在一些实施例中，所述计算机可读介质可以是其上存储有计算机指令的磁盘或闪存驱动器。
显而易见，本领域技术人员可以对所披露的系统和相关方法进行各种修改和变化。考虑到所公开的系统和相关方法的说明和实践，其他实施例对于本领域技术人员将是显而易见的。
本申请中的说明书和示例的目的仅被认为是示例性的，真正的范围由以下权利要求及其等同物指示。

Claims (17)

1.一种校准至少两个传感器的方法，包括：
当车辆沿着轨迹行进时，通过与所述车辆相关的至少两个传感器，捕获指示至少一个周围物体的点云数据集；
通过处理器，基于与所述点云数据集中的点相关的至少两个尺度下的法向量的差，确定与所述点相关的共面性；
通过所述处理器，基于与所述点相关的共面性，过滤所述点云数据集；以及
通过所述处理器，基于使用过滤的点云数据集的模型，调整所述至少两个传感器的至少一个校准参数，其中所述模型包括与所述点相关的共面性相对应的权重。
2.根据权利要求1所述的方法，其特征在于，所述至少一个周围物体包括自然场景中的静态平面物体。
3.根据权利要求1所述的方法，其特征在于，所述车辆沿着所述轨迹重复行进并且当所述点云数据集被捕获时改变所述车辆的方向。
4.根据权利要求1所述的方法，其特征在于，所述至少两个传感器包括激光雷达LiDAR激光扫描仪、全球定位系统GPS接收器和惯性测量单元IMU传感器。
5.根据权利要求1所述的方法，其特征在于，基于与所述点相关的共面性，过滤所述点云数据集包括：
在第一尺度下，计算与所述点云数据集中的所述点相关的第一法向量；
在第二尺度下，计算与所述点相关的第二法向量；
计算所述第一法向量与所述第二法向量的差；以及
基于所述差大于阈值，从所述点云中去除所述点。
6.根据权利要求1所述的方法，其特征在于，所述权重是所述法向量的差的倒数。
7.一种用于校准至少两个传感器的系统，包括：
与车辆相关的至少两个传感器，被配置为当所述车辆沿着轨迹行进时，捕获指示至少一个周围物体的点云数据集；以及
处理器，被配置为：
基于与所述点云数据集中的点相关的至少两个尺度下的法向量的差，确定与所述点相关的共面性；
基于与所述点相关的共面性，过滤所述点云数据集；以及
基于使用过滤的点云数据集的模型，调整所述至少两个传感器的至少一个校准参数，其中所述模型包括与所述点相关的共面性相对应的权重。
8.根据权利要求7所述的系统，其特征在于，所述至少一个周围物体包括自然场景中的静态平面物体。
9.根据权利要求7所述的系统，其特征在于，所述车辆沿着所述轨迹重复行进并且当所述点云数据集被捕获时改变所述车辆的方向。
10.根据权利要求7所述的系统，其特征在于，所述至少两个传感器包括LiDAR激光扫描仪、GPS接收器和IMU传感器。
11.根据权利要求7所述的系统，其特征在于，为基于与所述点相关的共面性，过滤所述点云数据集，所述处理器被进一步配置为：
在第一尺度下，计算与所述点云数据集中的所述点相关的第一法向量；
在第二尺度下，计算与所述点相关的第二法向量；
计算所述第一法向量与所述第二法向量的差；以及
基于所述差大于阈值，从所述点云中去除所述点。
12.根据权利要求7所述的系统，其特征在于，所述权重是所述法向量的差的倒数。
13.一种非暂时性计算机可读介质，其具有存储在其上的指令，当由一个或以上处理器执行时，使得所述一个或以上处理器执行包括以下操作的操作：
当车辆沿着轨迹行进时，接收通过与所述车辆相关的至少两个传感器捕获的指示至少一个周围物体的点云数据集；
基于与所述点云数据集中的点相关的至少两个尺度下的法向量的差，确定与所述点相关的共面性；
基于与所述点相关的共面性，过滤所述点云数据集；以及
基于使用过滤的点云数据集的模型，调整所述至少两个传感器的至少一个校准参数，其中所述模型包括与所述点相关的共面性相对应的权重。
14.根据权利要求13所述的非暂时性计算机可读介质，其特征在于，所述至少一个周围物体包括自然场景中的静态平面物体。
15.根据权利要求13所述的非暂时性计算机可读介质，其特征在于，所述车辆沿着所述轨迹重复行进并且当所述点云数据集被捕获时改变所述车辆的欧拉角。
16.根据权利要求13所述的非暂时性计算机可读介质，其特征在于，基于与所述点相关的共面性，过滤所述点云数据集包括：
在第一尺度下，计算与所述点云数据集中的所述点相关的第一法向量；
在第二尺度下，计算与所述点相关的第二法向量；
计算所述第一法向量与所述第二法向量的差；以及
基于所述差大于阈值，从所述点云中去除所述点。
17.根据权利要求13所述的非暂时性计算机可读介质，其特征在于，所述权重是所述法向量的差的倒数。
CN201880002282.5A 2018-06-25 2018-06-25 自然场景中的集成传感器校准 Active CN110859044B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/092649 WO2020000137A1 (en) 2018-06-25 2018-06-25 Integrated sensor calibration in natural scenes

Publications (2)

Publication Number Publication Date
CN110859044A CN110859044A (zh) 2020-03-03
CN110859044B true CN110859044B (zh) 2023-02-28

Family

ID=68981415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002282.5A Active CN110859044B (zh) 2018-06-25 2018-06-25 自然场景中的集成传感器校准

Country Status (9)

Country Link
US (1) US10860871B2 (zh)
EP (1) EP3631494B1 (zh)
JP (1) JP6821712B2 (zh)
CN (1) CN110859044B (zh)
AU (1) AU2018282302B2 (zh)
CA (1) CA3027921C (zh)
SG (1) SG11201811410RA (zh)
TW (1) TWI693422B (zh)
WO (1) WO2020000137A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726189B2 (en) * 2019-12-09 2023-08-15 Nio Technology (Anhui) Co., Ltd. Real-time online calibration of coherent doppler lidar systems on vehicles
TWI766218B (zh) * 2019-12-27 2022-06-01 財團法人工業技術研究院 三維平面重建方法、三維平面重建系統與計算裝置
RU2767949C2 (ru) * 2019-12-30 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ (варианты) и система для калибровки нескольких лидарных датчиков
US11892560B2 (en) 2020-02-03 2024-02-06 Nio Technology (Anhui) Co., Ltd High precision multi-sensor extrinsic calibration via production line and mobile station
CN111007485B (zh) * 2020-03-09 2020-10-27 中智行科技有限公司 一种图像处理方法、装置、以及计算机存储介质
DE102020205716A1 (de) * 2020-05-06 2021-11-11 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur kontrollierten Initialisierung einer Lokalisierungseinrichtung eines zumindest teilweise autonom betreibbaren Fahrzeugs
CN111882977B (zh) * 2020-05-06 2022-04-29 北京嘀嘀无限科技发展有限公司 一种高精度地图构建方法及系统
US20210370953A1 (en) * 2020-05-26 2021-12-02 The Regents Of The University Of Michigan Grip-force sensing and shape-changing steering wheel
CN112051591B (zh) * 2020-08-31 2022-11-29 广州文远知行科技有限公司 一种激光雷达与惯性测量单元的检测方法及相关装置
CN112255621B (zh) * 2020-10-09 2022-08-30 中国第一汽车股份有限公司 一种车辆传感器的标定方法、装置、电子设备及存储介质
US11740360B2 (en) 2020-11-02 2023-08-29 Motional Ad Llc Light detection and ranging (LiDaR) scan smoothing
CN112767458B (zh) * 2020-11-13 2022-07-29 武汉中海庭数据技术有限公司 激光点云与图像的配准的方法及系统
CN112598705B (zh) * 2020-12-17 2024-05-03 太原理工大学 一种基于双目视觉的车身姿态检测方法
CN112903311A (zh) * 2021-01-28 2021-06-04 特路（北京）科技有限公司 一种适用于自动驾驶车辆夜间光照环境测试场及测试方法
FR3120711B1 (fr) * 2021-03-09 2023-04-14 Continental Automotive Procede et dispositif de calibration d'un capteur de profondeur d'environnement
CN113554759B (zh) * 2021-07-26 2024-05-14 河南德拓信息科技有限公司 一种煤炭运输遗撒智能监测分析方法、装置和设备
CN113791414B (zh) * 2021-08-25 2023-12-29 南京市德赛西威汽车电子有限公司 一种基于毫米波车载雷达视图的场景识别方法
CN113985451B (zh) * 2021-10-25 2022-11-15 湘潭大学 一种基于卡尔曼滤波跟踪环路的导航欺骗检测方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104820217A (zh) * 2015-04-14 2015-08-05 同济大学 一种多法向平面的多元线阵探测成像激光雷达的检校方法
CN105866762A (zh) * 2016-02-26 2016-08-17 福州华鹰重工机械有限公司 激光雷达自动校准方法及装置
CN107407866A (zh) * 2015-02-24 2017-11-28 嗨魄Vr公司 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2322367A1 (en) * 1999-10-05 2001-04-05 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
JP2001188922A (ja) * 1999-12-28 2001-07-10 Ricoh Co Ltd ３次元形状処理システム、３次元形状処理方法およびその処理方法を実施するためのプログラムを記憶した記憶媒体
JP4188632B2 (ja) * 2002-07-16 2008-11-26 独立行政法人科学技術振興機構 距離画像の統合方法及び距離画像統合装置
JP5343042B2 (ja) * 2010-06-25 2013-11-13 株式会社トプコン 点群データ処理装置および点群データ処理プログラム
JP5462093B2 (ja) * 2010-07-05 2014-04-02 株式会社トプコン 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
US8775064B2 (en) * 2011-05-10 2014-07-08 GM Global Technology Operations LLC Sensor alignment process and tools for active safety vehicle applications
WO2013155564A1 (en) * 2012-04-17 2013-10-24 Commonwealth Scientific And Industrial Research Organisation Three dimensional scanning beam and imaging system
US9875557B2 (en) * 2012-11-05 2018-01-23 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2D LIDARs mounted on transportable apparatus
DE102014203935A1 (de) * 2014-03-04 2015-09-10 Robert Bosch Gmbh Verfahren zur Kalibrierung eines in einem Fahrzeug eingebauten Sensors
EP3123397A4 (en) * 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
US10036801B2 (en) * 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US9761015B2 (en) * 2015-04-28 2017-09-12 Mitsubishi Electric Research Laboratories, Inc. Method for determining dimensions in an indoor scene from a single depth image
CN105598965B (zh) * 2015-11-26 2018-03-16 哈尔滨工业大学 基于立体视觉的机器人欠驱动手自主抓取方法
KR102384875B1 (ko) 2016-05-11 2022-04-08 삼성전자주식회사 거리 센서의 칼리브레이션 방법, 장치 및 시스템
CN107633523B (zh) * 2016-07-18 2021-04-16 巧夺天宫（深圳）科技有限公司 基于点云的提取建筑特征线方法和系统
US20200041649A1 (en) * 2016-10-07 2020-02-06 Cmte Development Limited System and method for point cloud diagnostic testing of object form and pose
CN106707293B (zh) * 2016-12-01 2019-10-29 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
US10309777B2 (en) * 2016-12-30 2019-06-04 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
CN107153186A (zh) * 2017-01-06 2017-09-12 深圳市速腾聚创科技有限公司 激光雷达标定方法及激光雷达
CN110121716A (zh) * 2017-04-28 2019-08-13 深圳市大疆创新科技有限公司 用于网格分析的方法及相关系统
CN110573830B (zh) * 2017-04-28 2022-03-22 深圳市大疆创新科技有限公司 激光传感器的校准方法
US10942256B2 (en) * 2017-06-05 2021-03-09 Metawave Corporation Intelligent metamaterial radar for target identification
CN107590836B (zh) * 2017-09-14 2020-05-22 斯坦德机器人（深圳）有限公司 一种基于Kinect的充电桩动态识别与定位方法及系统
CN107610174B (zh) * 2017-09-22 2021-02-05 深圳大学 一种鲁棒的基于深度信息的平面检测方法及系统
JP7010300B2 (ja) * 2017-11-16 2022-01-26 日本電気株式会社 測距装置、測距方法及びプログラム
US10502819B2 (en) * 2017-12-21 2019-12-10 GM Global Technology Operations LLC Systems and methods for aligning an inertial measurement unit in a vehicle
US10269141B1 (en) * 2018-06-04 2019-04-23 Waymo Llc Multistage camera calibration
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407866A (zh) * 2015-02-24 2017-11-28 嗨魄Vr公司 用于六自由度的360°体虚拟现实视频的激光雷达立体融合真人实景三维模型视频重建
CN104820217A (zh) * 2015-04-14 2015-08-05 同济大学 一种多法向平面的多元线阵探测成像激光雷达的检校方法
CN105866762A (zh) * 2016-02-26 2016-08-17 福州华鹰重工机械有限公司 激光雷达自动校准方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
segmentation of point clouds using smoothness constraint;T.Rabbani;《International Archives of Photogrammetry》;第35卷(第5期);第248-253页 *
一种改进的基于法矢方向调整的平面点云分割方法;张强 等;《地理与地理信息科学》;第31卷(第1期);第45-48页 *

Also Published As

Publication number Publication date
AU2018282302B2 (en) 2020-10-15
US20190392228A1 (en) 2019-12-26
SG11201811410RA (en) 2020-01-30
JP6821712B2 (ja) 2021-01-27
TW202001290A (zh) 2020-01-01
EP3631494B1 (en) 2024-02-07
EP3631494A1 (en) 2020-04-08
WO2020000137A1 (en) 2020-01-02
JP2020528134A (ja) 2020-09-17
CN110859044A (zh) 2020-03-03
CA3027921A1 (en) 2019-12-25
EP3631494A4 (en) 2020-06-10
TWI693422B (zh) 2020-05-11
US10860871B2 (en) 2020-12-08
CA3027921C (en) 2022-04-12
AU2018282302A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110859044B (zh) 自然场景中的集成传感器校准
EP3612854B1 (en) Vehicle navigation system using pose estimation based on point cloud
TWI705263B (zh) 使用光達的運輸工具定位系統
CN111436216B (zh) 用于彩色点云生成的方法和系统
US10996072B2 (en) Systems and methods for updating a high-definition map
US10996337B2 (en) Systems and methods for constructing a high-definition map based on landmarks
WO2020113425A1 (en) Systems and methods for constructing high-definition map
AU2018102199A4 (en) Methods and systems for color point cloud generation
WO2020232709A1 (en) Method and system for evaluating quality of a point cloud map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant