CN110573901A - 激光传感器和视觉传感器的校准 - Google Patents

激光传感器和视觉传感器的校准 Download PDF

Info

Publication number
CN110573901A
CN110573901A CN201780090109.0A CN201780090109A CN110573901A CN 110573901 A CN110573901 A CN 110573901A CN 201780090109 A CN201780090109 A CN 201780090109A CN 110573901 A CN110573901 A CN 110573901A
Authority
CN
China
Prior art keywords
vehicle
measurement unit
evaluating
unit
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780090109.0A
Other languages
English (en)
Inventor
吴侃之
马陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110573901A publication Critical patent/CN110573901A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本文公开了对移动平台承载的激光传感器和视觉传感器的自动校准以及相关联的系统和方法。代表性方法包括利用从视觉传感器获得的边缘信息评估从激光传感器获得的基于深度的特征点，以及基于此生成校准规则。

Description

激光传感器和视觉传感器的校准
技术领域
本技术总体上涉及对移动平台承载的发射器/检测器传感器(例如，激光传感器)和光学检测传感器(例如，诸如相机之类的视觉传感器)之间的校准。
背景技术
通常通过使用传感器的组合获得周围环境中的物体的位置信息来促进移动平台的操作。获得的关于物体位置的信息可以有助于检测环境中的行人和/或载运工具，从而允许移动平台在导航期间避开障碍物。诸如单目相机之类的典型的光学检测传感器可以基于计算机视觉和机器学习算法来检测物体，但是无法一致地提供目标的三维位置信息。诸如LiDAR传感器之类的发射器/检测器传感器通常向外发射脉冲信号(例如，激光信号)、检测脉冲信号反射、并测量环境中的三维信息(例如，激光器扫描点)以便于对环境进行地图构建。典型的发射器/检测器传感器可以提供环境的三维几何信息，但是基于此的物体检测相对困难。另外，具有360度水平视场(FOV)的传统全向激光传感器可能价格昂贵且不可定制。因此，仍然需要用于移动平台的改进的感测技术和设备。
发明内容
以下发明内容是为了读者的方便而提供，并且指出所公开的技术的一些代表性实施例。
在一些实施例中，一种用于自动地校准均由公共移动平台承载的至少发射器/检测器单元和光学检测单元的计算机实现的方法，包括：组合从所述发射器/检测器单元获得的点信息的一个或多个集合，以在与所述移动平台相关联的参考系中形成点云；从所述点云中选择特征点子集；利用从所述光学检测单元获得的边缘信息来评估所述特征点子集；以及至少部分地基于利用所述边缘信息评估所述特征点，生成用于所述发射器/检测器单元和所述光学检测单元之间的校准的至少一个校准规则。在一些实施例中，所述方法还包括至少部分地基于变换规则集合来变换所述特征点子集，根据所述光学检测单元相对于所述移动平台的位置和取向来至少部分地定义所述变换规则集合。在一些实施例中，与所述移动平台相关联的参考系包括坐标系。在一些实施例中，所述方法还包括至少部分地基于所述点云内的点之间的一个或多个深度差异、基于所述一个或多个深度差异与阈值之间的关系来选择所述特征点子集。在一些实施例中，所述方法还包括：将从所述光学检测单元获得的图像转换为灰度图像；以及至少部分地基于所述灰度图像的至少一个像素与在所述至少一个像素的阈值接近度内的一个或多个像素之间的差异来确定所述边缘信息。在一些实施例中，利用所述边缘信息评估所述特征点包括：将所述特征点投影到从所述光学检测单元获得的图像中的相应位置。在一些实施例中，利用所述边缘信息评估所述特征点还包括：评估至少部分地由所述特征点的投影位置定义的目标函数，其中，生成至少一个校准规则包括优化所述目标函数，并且其中，优化所述目标函数包括根据至少六个自由度优化所述目标函数。在一些实施例中，所述至少一个校准规则包括用于在与所述发射器/检测器单元相关联的参考系和与所述光学检测单元相关联的参考系之间进行变换的规则。在一些实施例中，所述方法还包括检测(a)所生成的至少一个校准规则与(b)一个或多个先前生成的校准规则之间的差异。在一些实施例中，所述方法还包括根据所述至少一个校准规则对所述发射器/检测器单元和所述光学检测单元进行校准。
在一些实施例中，一种非暂时性计算机可读介质，存储计算机可执行指令。所述计算机可执行指令在被执行时使与移动平台相关联的一个或多个处理器执行动作，所述动作包括：组合从发射器/检测器单元获得的点信息的一个或多个集合，以在与所述移动平台相关联的参考系中形成点云；从所述点云中选择特征点子集；利用从所述光学检测单元获得的边缘信息来评估所述特征点；以及至少部分地基于利用所述边缘信息评估所述特征点，生成用于所述发射器/检测器单元和所述光学检测单元之间的校准的至少一个校准规则。在一些实施例中，所述动作还包括至少部分地基于变换规则集合来变换所述特征点子集，根据所述光学检测单元相对于所述移动平台的位置和取向来至少部分地定义所述变换规则集合。在一些实施例中，与所述移动平台相关联的参考系包括坐标系。在一些实施例中，所述动作还包括至少部分地基于所述点云内的点之间的一个或多个深度差异、基于所述一个或多个深度差异与阈值之间的关系来选择所述特征点子集。在一些实施例中，所述动作还包括：将从所述光学检测单元获得的图像转换为灰度图像；以及至少部分地基于所述灰度图像的至少一个像素与在所述至少一个像素的阈值接近度内的一个或多个像素之间的差异来确定所述边缘信息。在一些实施例中，利用所述边缘信息评估所述特征点包括：将所述特征点投影到从所述光学检测单元获得的图像中的相应位置。在一些实施例中，利用所述边缘信息评估所述特征点还包括：评估至少部分地由所述特征点的投影位置定义的目标函数，其中，生成至少一个校准规则包括优化所述目标函数，并且其中，优化所述目标函数包括根据至少六个自由度优化所述目标函数。在一些实施例中，所述至少一个校准规则包括用于在与所述发射器/检测器单元相关联的参考系和与所述光学检测单元相关联的参考系之间进行变换的规则。在一些实施例中，所述动作还包括检测(a)所生成的至少一个校准规则与(b)一个或多个先前生成的校准规则之间的差异。在一些实施例中，所述动作还包括根据所述至少一个校准规则对所述发射器/检测器单元和所述光学检测单元进行校准。
在一些实施例中，一种载运工具，包括被编程控制器，所述被编程控制器至少部分地控制所述载运工具的一个或多个运动。所述被编程控制器包括一个或多个处理器，所述一个或多个处理器被配置为：组合从测量单元获得的具有时间顺序的点信息集合，以在与所述载运工具相关联的参考系中形成点云；将所述点云的子集变换为与光学检测单元相关联的参考系中的多个特征点；利用从所述光学检测单元获得的边缘信息来评估所述特征点；以及至少部分地基于利用所述边缘信息评估所述特征点，生成用于所述测量单元和所述光学检测单元之间的校准的至少一个校准规则。在一些实施例中，变换所述点云的子集至少部分地基于包括变换矩阵的变换规则集合。在一些实施例中，选择所述点云的子集包括：至少部分地基于所述具有时间顺序的点信息集合中的一个集合来选择点的所述子集的一部分。在一些实施例中，所述测量单元包括至少一个激光传感器，所述至少一个激光传感器的视场(FOV)小于360度、180度、90度或60度中的至少一个。在一些实施例中，所述光学检测单元包括单目相机。在一些实施例中，所述一个或多个处理器还被配置为将从所述光学检测单元获得的图像转换为灰度图像，并且至少部分地基于所述灰度图像的至少一个像素与在所述至少一个像素的阈值接近度内的一个或多个像素之间的差异来确定所述边缘信息。在一些实施例中，利用所述边缘信息评估所述特征点包括：将所述特征点投影到从所述光学检测单元获得的图像中的相应位置。在一些实施例中，所述载运工具对应于以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具或机器人。
在一些实施例中，一种用于生成由移动平台承载的测量单元的组合点云的计算机实现的方法，所述方法包括：获得由所述移动平台承载的多个观测传感器生成的观测数据，其中，所述观测数据对应于时间段；至少部分地基于所述观测数据，评估在所述时间段内的不同时间点的与所述测量单元相关联的状态；确定一个或多个变换规则，所述一个或多个变换规则用于在所述时间段内的不同时间点的与所述测量单元相关联的参考系和与所述测量单元相关联的目标参考系之间的变换；至少部分地基于所述一个或多个变换规则，对所述测量单元在所述时间段内的不同时间点获得的数据进行变换；以及使用变换后的数据的至少一部分生成所述组合点云。在一些实施例中，所述测量单元发射和检测信号。在一些实施例中，所述多个观测传感器包括立体相机、惯性测量单元、轮编码器或全球定位系统中的至少一个。在一些实施例中，获得观测数据包括：从至少两个不同的观测传感器以不同速率获得观测数据。在一些实施例中，所述测量单元具有与至少一个观测传感器不同的数据采集速率。在一些实施例中，与所述测量单元相关联的状态基于与至少一个观测传感器相关联的状态。在一些实施例中，与所述测量单元相关联的状态包括位置、速度或旋转中的至少一个。在一些实施例中，评估与所述测量单元相关联的状态包括评估概率模型。在一些实施例中，评估与所述测量单元相关联的状态还包括至少部分地基于高斯白噪声来评估所述状态。在一些实施例中，评估与所述测量单元相关联的状态还包括确定与所述测量单元相关联的状态的优化值。在一些实施例中，评估与所述测量单元相关的状态至少部分地基于最大后验方法。在一些实施例中，所述时间段包括与所述目标参考系相对应的目标时间点，所述目标时间点对应于所述时间段的初始点。在一些实施例中，变换由所述测量单元在不同时间点获得的数据还包括：根据一个或多个变换矩阵对所述测量单元获得的数据的至少一部分进行投影。
在一些实施例中，一种非暂时性计算机可读介质，存储计算机可执行指令。所述计算机可执行指令在被执行时使与移动平台相关联的一个或多个处理器执行动作，所述动作包括：获得由所述移动平台承载的多个观测传感器生成的观测数据，其中，所述观测数据对应于时间段；至少部分地基于所述观测数据，评估在所述时间段内的不同时间点的与测量单元相关联的状态；确定一个或多个变换规则，所述一个或多个变换规则用于在所述时间段内的不同时间点的与所述测量单元相关联的参考系和与所述测量单元相关联的目标参考系之间的变换；至少部分地基于所述一个或多个变换规则，对所述测量单元在所述时间段内的不同时间点获得的数据进行变换；以及使用变换后的数据的至少一部分生成所述组合点云。在一些实施例中，所述测量单元通过发射和检测一个或多个信号来测量至少一个物体。在一些实施例中，所述多个观测传感器包括立体相机、惯性测量单元、轮编码器或全球定位系统中的至少一个。在一些实施例中，获得观测数据包括：从至少两个不同的观测传感器以不同速率获得观测数据。在一些实施例中，所述测量单元具有与至少一个观测传感器不同的数据采集速率。在一些实施例中，与所述测量单元相关联的状态基于与至少一个观测传感器相关联的状态。在一些实施例中，与所述测量单元相关联的状态包括位置、速度或旋转中的至少一个。在一些实施例中，评估与所述测量单元相关联的状态包括评估概率模型。在一些实施例中，评估与所述测量单元相关联的状态还包括至少部分地基于高斯白噪声来评估所述状态。在一些实施例中，评估与所述测量单元相关联的状态还包括确定与所述测量单元相关联的状态的优化值。在一些实施例中，评估与所述测量单元相关的状态至少部分地基于最大后验方法。在一些实施例中，所述时间段包括与所述目标参考系相对应的目标时间点，所述目标时间点对应于所述时间段的初始点。在一些实施例中，变换由所述测量单元在不同时间点获得的数据还包括：根据一个或多个变换矩阵对所述测量单元获得的数据的至少一部分进行投影。
在一些实施例中，一种载运工具，包括被编程控制器，所述被编程控制器至少部分地控制所述载运工具的一个或多个运动。所述被编程控制器包括一个或多个处理器，所述一个或多个处理器被配置为：获得由所述载运工具承载的多个观测传感器生成的观测数据，其中，所述观测数据对应于时间段；至少部分地基于所述观测数据评估在所述时间段内的不同时间点的与测量单元相关联的状态；确定一个或多个变换规则，所述一个或多个变换规则用于在所述时间段内的不同时间点的与所述测量单元相关联的参考系和与所述测量单元相关联的目标参考系之间的变换；至少部分地基于所述一个或多个变换规则，对由所述测量单元在所述时间段内的不同时间点获得的数据进行变换；以及使用变换后的数据的至少一部分生成所述组合点云。在一些实施例中，所述多个观测传感器不包括所述测量单元。在一些实施例中，所述多个观测传感器包括立体相机、惯性测量单元、轮编码器或全球定位系统中的至少一个。在一些实施例中，获得观测数据包括：从至少两个不同的观测传感器以不同速率获得观测数据。在一些实施例中，所述测量单元具有与至少一个观测传感器不同的数据采集速率。在一些实施例中，与所述测量单元相关联的状态基于与至少一个观测传感器相关联的状态。在一些实施例中，与所述测量单元相关联的状态包括位置、速度或旋转中的至少一个。在一些实施例中，评估与所述测量单元相关联的状态包括评估概率模型。在一些实施例中，评估与所述测量单元相关联的状态还包括至少部分地基于高斯白噪声来评估所述状态。在一些实施例中，评估与所述测量单元相关联的状态还包括确定与所述测量单元相关联的状态的优化值。在一些实施例中，评估与所述测量单元相关的状态至少部分地基于最大后验方法。在一些实施例中，所述时间段包括与所述目标参考系相对应的目标时间点，所述目标时间点对应于所述时间段的初始点。在一些实施例中，变换由所述测量单元在不同时间点获得的数据还包括：根据一个或多个变换矩阵对所述测量单元获得的数据的至少一部分进行投影。
附图说明
图1A示出了根据本公开的技术的一些实施例的可以使用的激光传感器的扫描图案。
图1B示出了根据本公开的技术的一些实施例的由激光传感器生成的三维点云的正视图。
图1C示出了根据本公开的技术的一些实施例的由激光传感器生成的三维点云的斜视图。
图2示出了根据本公开的技术的一些实施例的具有激光传感器和视觉传感器的移动平台。
图3示出了根据本公开的技术的一些实施例的由在时间段内移动的移动平台承载的激光传感器生成的扫描点数据帧序列。
图4示出了根据本公开的技术的一些实施例的在激光器单元(例如，包括一个或多个激光传感器)和视觉单元(例如，包括一个或多个视觉传感器)之间进行校准的校准过程。
图5示出了根据本公开的技术的一些实施例的由激光器单元产生的一帧激光器扫描点。
图6示出了根据本公开的技术的一些实施例生成的组合点云。
图7A示出了根据本公开的技术的一些实施例的从视觉单元捕获或以其他方式获得的灰度图像。
图7B示出了根据本公开的技术的一些实施例的可以根据图7A的灰度图像确定的边缘图像。
图7C示出了根据本公开的技术的一些实施例的在图7B的边缘图像中的位置集合(图6的特征点615的投影)。
图8示出了根据本公开的技术的一些实施例的除了激光器单元(或激光传感器)之外承载多个传感器的移动平台。
图9示出了根据本公开的技术的一些实施例的可以由图8的多个传感器提供的信息。
图10示出了根据本公开的技术的一些实施例的图8的多个传感器和激光器单元的数据采集频率差异。
图11示出了根据本公开的技术的一些实施例的用于组合具有时间顺序的点信息以形成点云的过程。
图12示出了根据本公开的技术的一些实施例配置的移动平台的示例。
图13是示出了可用于实现本公开的技术的各个部分的计算机系统或设备的代表性架构的框图。
具体实施方式
1、概述
为了促进移动平台进行高效而准确的物体检测同时克服与全向激光传感器相关的缺陷，本公开的技术涉及利用光学检测传感器校准发射器/检测器传感器(例如，具有有限FOV的激光传感器)以提供移动平台的周围环境中的物体的位置信息(包括距离信息)。具有有限FOV的激光传感器(例如，小角度激光传感器)可以比全向激光传感器便宜得多，并且如本文中所使用的，通常是指水平视场(FOV)小于360度、180度、90度或60度的激光传感器。
具有有限FOV的激光传感器通常生成比全向LiDAR数量更有限的激光器扫描点(以及更稀疏的激光器扫描点分布)。这些因素可能使得难以在激光传感器和相机之间建立稳定的对应关系。针对该问题，本公开的技术可以使用先进的视觉惯性导航技术结合移动平台承载的传感器，基于移动平台主体的某些定位信息来稳定地生成和/或更新六个自由度变换信息(例如，变换矩阵)，用于在与激光传感器和相机相关联的坐标系之间进行变换。另外，所公开的技术可以基于校准后的变换信息的变化来检测激光传感器和/或相机的外部干扰(例如，在部署移动平台期间的外部振动和/或其他干扰)。所公开的技术可以实现准确的实时校准和干扰检测，进一步提高移动平台的可靠性和安全性。
为了清楚起见，在以下描述中没有阐述如下描述结构和/或过程的若干细节：这些结构或过程是公知的且普遍与移动平台(例如，UAV或其他类型的可移动物体)以及对应的系统和子系统相关联，但可能不必要地使本公开的技术的一些重要方面变得模糊。此外，尽管以下公开内容阐述了本公开的技术的不同方面的若干实施例，但是一些其它实施例可以具有与本文中所描述的不同的配置或不同的部件。相应地，本公开的技术可以具有其他实施例，这些实施例具有附加元件和/或不具有以下参考图1-13描述的若干元件。
提供了图1-图13以示出本公开的技术的代表性实施例。除非另有规定，否则附图不意在限制本申请中权利要求的范围。
以下描述的本技术的许多实施例可以采取计算机或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。可编程计算机或控制器可以或可以不驻留在相应的移动平台上。例如，可编程计算机或控制器可以是移动平台的机载计算机，或者是与移动平台相关联的单独但专用的计算机，或者是基于网络或基于云的计算服务的一部分。相关领域技术人员将会理解，除了下文所示和所述的那些之外，还可以在计算机或控制器系统上实施该技术。该技术可以体现在被专门编程、配置或构造为执行下文所述的一个或多个计算机可执行指令的专用计算机或数据处理器中。因此，本文中通常使用的术语“计算机”和“控制器”指代任何数据处理器，并且可以包括互联网装置和手持设备(包括掌上型计算机、可穿戴计算机、蜂窝或移动电话、多处理器系统、基于处理器的或可编程的消费电子产品、网络计算机、迷你型计算机等)。由这些计算机和控制器处理的信息可以呈现在包括LCD(液晶显示器)的任何适当的显示介质上。用于执行计算机或控制器可执行任务的指令可以存储在任何适当的计算机可读介质中或其上，包括硬件、固件或硬件和固件的组合。指令可以被包含在任何合适的存储设备中，包括例如闪存驱动器、通用串行总线(USB)设备和/或其他合适的介质。
2、代表性实施例
图1A示出了根据本公开的技术的一些实施例的可以使用的激光传感器的扫描图案102a。如图1A所示，示例激光传感器的FOV在水平方向或垂直方向上都不大于60度。
图1B示出了由激光传感器(例如，图1A中所示的激光传感器)生成的三维点云的正视图。与可以提供密集且均匀分布的360度三维点云(例如，单帧在0.1秒内可以提供至少200,000个扫描点)的传统全向激光传感器相比，图1B的说明性激光传感器生成具有非均匀或不均匀的点分布(例如，点在传感器的FOV的中心区域中相对集中并且在传感器的FOV的外围区域中相对稀疏)的较稀疏的点云(例如，单帧在0.1秒内仅可以提供2000个扫描点)。
图1C示出了由激光传感器(例如，图1A中所示的激光传感器)生成的三维点云的斜视图。如前所述，(并且与由典型的全向LiDAR生成的激光束的均匀角度分布不同)，由某些激光传感器生成的激光器扫描点的分布可能是非均匀或不均匀的。说明性地，参考图1C；这些点在外围区域110中相对稀疏，而在正面区域120中相对密集。
用于在全向LiDAR和单目相机之间进行校准的传统方法将单帧LiDAR观测数据(例如，在0.1秒内获得的激光扫描数据)划分到各个激光束，并针对各个激光束检测深度不连续点(本文中有时被称为“特征点”)。然而，由于先前参考图1A至图1C讨论的点云特性(例如，点云数据中的点的非均匀分布和/或有限数量)，将这些传统方法应用于具有有限FOV的激光传感器可能是困难的。
本公开的技术可以使用由移动平台承载的多个传感器，并且可以应用先进的数据融合方法来组合多帧激光扫描数据并建立密集点云信息。本公开的技术包括用于检测点云内的特征点的新方法，该方法可以考虑环境中的平面分布特性以及具有有限FOV的激光传感器的点云分布特性。结合用于在图像中提取边缘信息的方法，所公开的技术的实施例例如通过基于穷举的方法评估特征点和边缘信息之间的匹配或相关性，并且生成用于例如在激光传感器和单目相机之间进行校准的校准规则。
图2示出了根据本公开的技术的一些实施例的具有激光传感器215(例如，小角度LiDAR传感器)和视觉传感器225(例如，单目相机)的移动平台210。移动平台、激光传感器和视觉传感器可以与相应的坐标系相关联。在下文中，Fr、Fl、FC分别用于表示移动平台210、激光传感器215和视觉传感器225的坐标系。在一些实施例中，视觉传感器215和移动平台210的坐标系之间的变换矩阵的初始值以及激光传感器215和移动平台210的坐标系之间的变换矩阵的初始值可以是已知的或例如基于它们的相对位置和取向是预定的。基于这些，可以计算视觉传感器225和激光传感器215的坐标系之间的变换矩阵的初始值
图3示出了由在时间段内移动的移动平台310承载的激光传感器315生成的扫描点数据帧序列。如图3所示，由移动平台310(例如，对应于图2中所示的移动平台210)承载的激光传感器315(例如，对应于图2中所示的激光传感器215)在从ti至ti+k的时间段期间生成多帧320扫描点数据。例如，帧320a是用位于第一位置/取向的移动平台310(和激光传感器315)在时间ti生成的，帧320b是用位于第二位置/取向的移动平台310(和激光传感器315)在随后的时间ti+1生成的，并且帧320c是用位于第三位置/取向的移动平台310(和激光传感器315)在随后的时刻ti+2生成的。如下面将参考图8-图11详细讨论的，本公开的技术的一些部分可以基于具有时间顺序的点数据集合(例如，帧序列320)生成组合点云。此外，可以基于此计算在该时间段内的任何时间点ti移动平台310在参考坐标系中的相对位置
图4示出了根据本公开的技术的一些实施例的在激光器单元(例如，包括图2中所示的一个或多个激光传感器215)和视觉单元(例如，包括图2中所示的一个或多个视觉传感器225)之间进行校准的校准过程。图4的校准过程可以由控制器(例如，移动平台的机载计算机、相关联的计算设备和/或相关联的计算服务)来实现。
在步骤405中，该过程包括组合从激光器单元获得的具有时间顺序的点信息集合，以在参考系中形成点云。例如，图5示出了根据本公开的技术的一些实施例的由激光器单元在时间点(例如，如图3所示的时间ti)产生的一帧激光器扫描点510。说明性地，可以不同时生成帧内的各个扫描点。例如，在一些实施例中，尽管激光传感器数据(例如，扫描点)是连续地采集的，但是各帧扫描点是根据一些离散时间间隔生成或发送的。换言之，帧可以对应于在特定持续时间(例如，0.1秒)内累积的激光传感器数据(例如，扫描点)的集合。参考图5，说明性地，激光器扫描点510的稀疏集合以非均匀方式分布在三维坐标系520中。如前所述，在一些实施例中，点510稀疏而非均匀的分布可能无法为激光器单元和视觉单元之间的期望校准提供足够的数据。图6示出了根据本公开的技术的一些实施例生成的组合点云。如图6所示，组合激光器扫描点的多个集合(例如，10个连续帧)(例如，类似于图5中点510的集合)的激光器扫描点610的密集集合以相对均匀的方式分布在三维坐标系620中，以提供全面的三维环境信息。
下面将参考图8-图11更详细地讨论组合过程的实施例。为了以降低噪声和/或误差的方式组合多帧点数据，本公开的技术的实施例包括通过使用由移动平台承载的多种类型的传感器来估计连续帧之间的相对变换矩阵。
在一些实施例中，步骤405确定移动平台主体在各个时间点的相对位置而不论实际上是否组合多帧扫描点。在这些实施例中，可以从每帧点数据中选择特征点，并基于相对位置对特征点进行组合。例如，给定两个相对位置和控制器可以计算变换矩阵用于在时间ti和ti+1时的移动平台坐标系之间进行变换。还使用激光器单元和移动平台的坐标系之间的适当默认或初始变换，控制器可以在特定时间(例如，ti)的移动平台坐标系中对准不同时间的帧中的特征点。
在步骤410中，校准过程包括从点云中选择特征点的子集。说明性地，可以在多帧扫描点中识别特征点。除了相邻点或连续点之间的深度差异之外，本公开的技术可以考虑至少两个方面：
1)随着深度距离增加，激光器扫描点变得稀疏，因此两个相邻点或连续点之间的距离增加；以及
2)随着激光器扫描点靠近FOV的外围(例如，激光束线和激光器单元取向(例如，激光器单元主轴)之间的角度变大)，两个相邻点之间的距离增加。
基于上述，该过程可以包括根据以下公式计算各个帧中两对相邻点或连续点之间的较大距离：
di＝max(|pi-pi+1|，|pi-pi-1|)
其中，|pi-pi+1|表示两个点i和i+1之间的距离。然后，控制器确定两个缩放参数：
以及
第一个参数εd与到点的z方向距离(例如，沿激光束光轴)成比例，第二个参数εγ与对应激光束和激光器单元取向n之间的角度成比例。控制器可以计算归一化的深度不连续值可以将其与阈值进行比较以滤除小于阈值的那些值。以这种方式，控制器从一帧点中识别特征点(其对应于相对大的归一化值)。说明性地，黑色实心点515表示从图5的帧中的扫描点510中识别的特征点的子集。在一些实施例中，如果在步骤405中生成组合点云，则该选择过程可以应用于该组合点云。说明性地，黑点615表示从图6的组合点云610中识别的特征点的子集。
根据(1)用于在移动平台和激光器单元的坐标系之间进行变换的已知变换初始值以及(2)移动平台主体在各个时间点的相对位置(例如，如在步骤405中确定的或由相关联的姿态估计单元计算的)，控制器可以将从不同时间点的帧中识别的特征点投影到与时间ti(即，从ti到ti+k的时间段的开始时刻)相对应的初始移动平台坐标系取决于初始移动平台坐标系的取向，来自多个帧的投影特征点可以看起来类似于图6中所示的黑点615。
然后，控制器可以基于(1)移动平台主体的相对位置和(2)视觉单元和移动平台的坐标系之间的变换矩阵的初始值来确定视觉单元相对于初始移动平台坐标系的位置，并将特征点投影到视觉单元在不同时间点的坐标系中。
在步骤415中，校准过程包括根据从视觉单元获得的一个或多个图像导出边缘信息。说明性地，视觉单元在从ti至ti+k的不同时间捕获彩色图像(其可以被转换为对应的灰度图像)或灰度图像。例如，图7A示出了根据本公开的技术的一些实施例的从视觉单元捕获或以其他方式获得的灰度图像。
针对在特定时间点捕获的每个灰度图像，控制器导出边缘信息。在一些实施例中，针对图像的每个像素，控制器根据以下公式确定像素与其任何相邻像素(例如，在阈值接近度内)的灰度值之间的最大差异：
其中，G表示gi，j附近的邻域。可以生成指示所有ei，j值的边缘图像E，以描述从对应图像导出的边缘信息。在一些实施例中，控制器可以可选地平滑图像E，以帮助改善后续步骤中边缘信息和特征点之间的匹配。图7B示出了根据本公开的技术的一些实施例的可以根据图7A的灰度图像确定的边缘图像E。在图7B中标识出了代表性边缘712(较浅色调)。
相关领域的技术人员可以使用其他适当的边缘检测技术来从视觉单元获得边缘信息。另外，可以通过相关联的GPU并行性来执行对边缘信息的提取，使得可以将图像划分为多个块来进行并行处理以快速地提取边缘信息。
在步骤420中，校准过程包括基于评估特征点和边缘信息之间的匹配来生成校准规则。说明性地，基于(a)视觉单元在不同时间的相对位置以及(b)对应的内部参数，控制器可以将在步骤410中获得的特征点子集Pf中的特征点投影到在步骤415中获得的各个边缘图像Ei，...，Ei+k。投影可以在相应边缘图像中产生二维点(对应于三维特征点)的位置集合pf。例如，图7C示出了根据本公开的技术的一些实施例的在图7B的边缘图像中的位置集合715(图6的特征点615的投影)。
针对每个点其中控制器可以识别对应的边缘图像Ei中的像素的边缘值基于在步骤410中计算的每个特征点的归一化的深度不连续值控制器可以评估以下目标函数：
其中，i表示由视觉单元获得的图像的索引，k表示在时间段(例如，10或20秒的时域窗口Wt)中图像的数量，j表示特征点的索引，n表示特征点子集Pf中的点的个数，ei，j表示图像i中的像素(对应于特征点j的投影)的边缘值，并且表示特征点j的归一化的深度不连续值。在一些实施例中，可以定义为在各种实施例中，图像中的边缘点对应于对应三维空间中的深度不连续点，因此较高V值指示激光器单元和相机单元之间更准确的校准。
为了生成校准规则(例如，用于在视觉单元和激光器单元的坐标系之间进行变换的变换矩阵cTl)，控制器可以实施基于穷举的方法。基于变换矩阵的给定初始值
通过引入干扰使得控制器可以生成由m个变换矩阵构成的集合，其中，ΔTi可以是阈值内随机生成的干扰因子。在一些实施例中，变换矩阵具有六个自由度，因此通常可以通过将随机化噪声分别加到平移向量[tx，ty，tz]和欧拉角[α，β，γ]来计算在一些实施例中，该方法使用与真值cTl相距不太远(例如，在阈值接近度范围内)的初始值即，真值在初始值所在的参数空间的邻域中。
针对每个值，控制器可以计算目标函数的相应值Vi。在集合中的所有变换矩阵中，控制器可以将与最大值Vmax相对应的变换矩阵选择为cTl。在一些实施例中，控制器可以基于所生成的校准规则利用视觉单元校准激光器单元。例如，控制器可以使用所确定的变换矩阵cTl来将(a)由激光器单元生成的扫描点数据与(2)由视觉单元生成的图像数据(例如，像素)相关联。
在一些实施例中，与用某些非真值相比，当用真值cTl进行评估时，观测数据中的噪声可能导致目标函数值似乎较小。如果时域窗口相对较短(例如，时间段限于仅包括由视觉单元生成的一帧或两帧图像)，则这种情况可能更明显。为了缓解该问题，本公开的技术可以包括使用较长的时域窗口(例如，包括由视觉单元生成的数十或数百帧图像的时间段)以便选择最优变换矩阵cTl。较长的时域窗口可以增强校准过程的稳健性并且可以避免局部最大问题。
在步骤425中，该校准过程包括将新生成的校准规则与先前生成的校准规则进行比较。一般而言，激光器单元和视觉单元在移动平台主体移动期间都固定到该移动平台主体。在通常情况下，cTl可能不会很大程度地和/或剧烈地变化，但可能由于振动而略微改变。cTl当移动平台和/或单元受到一些大的外部冲击时，可能会很大程度地和/或剧烈地变化。
控制器可以将新确定的变换矩阵cTl与在初始轮校准中、最近一轮校准中、最近若干轮校准的平均或加权平均值等中确定的变换矩阵进行比较。在一些实施例中，校准过程使用滑动时域窗口方法在滑动时域窗口内检测当前确定的最优是否明显不同于(例如，相对于阈值而言)先前估计的真值。
在步骤430中，该校准过程包括确定从步骤425中的比较得出的差异是否超过阈值。如果未超过，则该过程进行到步骤405以进行新一轮校准。如果差异超过阈值，则过程进行到步骤435。
在步骤435中，该校准过程包括采取一个或多个进一步的动作。超过阈值的差异可以指示激光器单元和视觉单元不能彼此可靠地校准。例如，两个单元中的至少一个单元的物理位置或取向可能已经基本上偏离预设配置。在这种情况下，控制器可以向移动平台的操作员发出警告。备选地，控制器可以以安全的方式暂停移动平台的导航或其他功能。
如前所述，在使用某些激光器单元或传感器时，单个帧中激光器扫描点的数量和/或分布可能无法提供足够密集的点云以便于校准、地图构建、物体检测和/或定位。在使用低成本的小角度LiDAR传感器时，这个问题可能特别明显。例如，对于典型的低成本小角度LiDAR，单帧中激光点的数量通常限制为少于4000个甚至少于2000个，而较昂贵的全向LiDAR可以在单帧中产生288000个激光器扫描点。为了以降低噪声和误差的方式组合多帧点数据，本公开的技术包括通过使用由移动平台承载的多种类型的传感器来估计连续帧之间的相对变换矩阵。
图8示出了根据本公开的技术的一些实施例的除了激光器单元(或传感器)之外承载多个传感器的移动平台820。如图所示，除了激光器单元808之外，移动平台820还可以承载立体相机804、惯性测量单元806、轮编码器810和/或全球定位系统(GPS)802。相关领域的技术人员将理解，本公开的技术可以使用更少、更多或替代传感器。例如，代替使用立体相机804，可以使用多个相机的组、阵列或系统。
图9示出了根据本公开的技术的一些实施例的可以由图8的多个传感器提供的信息。立体相机804可以提供环境特征902(例如，在周围环境的三维空间中的一个或多个不同点)的三维坐标，其可以建立连续帧(例如，对应于来自两个不同位置920a和920b的观测结果)之间的约束关系。说明性地，立体相机804的采样频率或数据采集速率在20Hz和40Hz之间。惯性测量单元806可以提供高频加速度信息和角速度信息。说明性地，惯性测量单元的采样频率或数据采集速率为200Hz或更高。通过积分，可以计算移动平台820两个连续帧之间的变换矩阵。轮编码器810可以提供动力轮(例如，后轮)的转速和前轮的转向信息，并且可以根据已知的轮尺寸提供对前进速度和连续帧之间的偏转角度的约束。说明性地，轮编码器的采样频率或数据采集速率为约20Hz。根据室外信号条件，GPS 802可以在全球系统中提供移动平台820的位置及其姿态信息。说明性地，GPS的采样频率或数据采集速率低于5Hz。说明性地，激光器单元808(例如，包括一个或多个LiDAR传感器)具有10Hz的采样频率或数据采集速率。
下表总结了图8和图9中所示的代表性传感器的典型数据采集频率信息：
传感器 频率
激光器 10hz
立体相机 20hz至40hz
惯性测量单元 >200hz
轮编码器 大约20hz
全球定位系统 5hz
图10示出了根据本公开的技术的一些实施例的图8的多个传感器和激光器单元的数据采集频率差异。
图11示出了根据本公开的技术的一些实施例的用于组合由激光器单元生成的具有时间顺序的点信息以形成点云的过程。该过程可以由控制器(例如，移动平台的机载计算机、相关联的计算设备和/或相关联的计算服务)来实现。作为本公开的技术的一部分，生成组合点云可以包括估计时间段内与激光器单元相关联的相对状态，而不是估计相对于全局坐标系的所有后续状态。说明性地，本公开的技术的实施例估计激光器单元相对于其在时间段内生成的两个或更多个不同帧的相对位置信息，从而能够准确地从该时间段的不同帧中累积激光点数据。该方法可以便于或增强后续校准、物体检测、地图构建和/或定位操作。
该过程的步骤1105包括从多个观测传感器(例如，如图8所示的多个传感器)获得与时间段相对应的观测数据。在一些实施例中，根据本公开的技术的方法可以做出以下近似情形：来自不同传感器的观测数据是同步的。例如，在代表性情况下，目标激光器单元的数据采集频率为10Hz，立体相机的频率为40Hz，轮编码器的频率为20Hz，惯性测量单元的频率为200Hz，GPS的频率为5Hz。作为近似，可以认为来自不同传感器的观测数据根据不同的倍频被准确地对准。因此，以1秒时间窗为例，控制器可以获得200个加速度计和陀螺仪读数(来自惯性测量单元)、40帧立体相机观测结果、20组速度和偏转角度观测结果(来自轮编码器)以及5条GPS定位信息。基于这些，本公开的技术的实施例可以估计10个激光器单元数据采集事件之间的相对位置或其相对于特定局部坐标系(例如，与10个数据采集事件中的第一数据采集事件相对应的局部坐标系)的位置。
在一些实施例中，本公开的技术包括进一步近似激光器单元的位置与立体相机的位置一致，从而进一步简化要解决的问题。如参考图9所讨论的，来自不同传感器的观测数据可以在数学上如下描述：
1)根据来自立体相机的观测数据，说明性地，可以从相机分别在位置920a和920b处产生的帧中提取一个或多个环境特征(例如，特征902)的三维坐标和/或描述符。这些坐标和/或描述符可以相对于特征902匹配。在用于优化的目标函数中，这种观测可以通过与将特征重新投影到相机坐标系上不同位置处有关的误差项来体现。例如，基于环境特征和两个连续立体相机观测帧的成本项包括3个部分：(a)左相机和右相机在与位置920a相对应的帧处的重新投影误差；(b)左相机和右相机在与位置920b相对应的帧处的重新投影误差；(c)左(或右)相机在两个位置920a和920b之间的重新投影误差。
2)根据来自具有已知时间戳和初始值的惯性测量单元的观测数据，旋转矩阵、平移向量和两个连续相机帧之间的速度的约束关系可以例如通过使用相关领域技术人员已知的适当的积分技术来计算。这种类型的观测可以通过目标函数中的积分后状态和实际状态之间的误差项来体现。说明性地，在每个帧(例如，与位置920a和920b相对应的相机帧)处要估计的变量包括相机的取向(例如，特殊正交群中的元素)以及位置和速度(例如，R3空间群中的元素)。使用从惯性测量单元捕获的观测结果的积分提供了上述变量之间的约束。在一些实施例中，在迭代地优化状态的同时，采用适当的预积分技术来提高计算效率。
3)可以基于来自轮编码器的观测数据推导出包括移动平台的速度和偏转角的运动模型。类似地，通过积分，可以获得连续相机帧之间的状态约束，并且这种类型的观测的表示可以类似于惯性测量单元的表示。在一些实施例中，与惯性测量单元的情况相反，基于车轮里程表观测仅约束状态的子空间(例如，移动平台的位置和偏航角)。由于轮编码器的可能的噪声，在一些实施例中可以将该误差项的协方差设置得相对较大。
4)来自GPS的观测数据可以直接提供对移动平台在特定时间的状态的约束。在目标函数中，这种类型的观测可以表示为由GPS提供的估计状态与实际状态值之间的误差。由于在一些实施例中GPS的数据采集频率低，因此仅当GPS观测结果的噪声水平低于某个阈值和/或保证其准确度在某个范围内时才可以使用GPS观测结果。
在激光器单元的位置近似与立体相机的位置一致的实施例中，控制器(例如，移动平台的机载计算机、相关联的计算设备和/或相关联的计算服务)获得可以针对从时间1到时间k的时间段由传感器提供的观测数据。观测数据可以表示如下：
其中
1)第一元素表示由立体相机获得的观测信息，并且可以定义如下：
其中，zi，j表示由立体相机获得的第i帧中的第j个特征的观测结果；
2)第二元素表示惯性测量单元直到第k个时间点为止所获取的数据集合，其中，表示在由相机产生的第i帧与由相机产生的第i+1帧之间惯性测量单元的所有观测结果的集合(例如，来自惯性测量单元的在两个连续的相机观测结果之间的总共20个读数)；
3)第三元素表示轮编码器的观测结果，该观测结果可以表示如下：
其中，表示由轮编码器在第i个时间点和第j个时间点获得的速度信息，并且表示旋转变换(例如，四元数表达式)，其可以在第i时间点与第j时间点之间通过偏转角计算导出或以其他方式获得；并且
4)最后一个元素表示GPS获得的观测结果：
其中，表示第i时间点的全局位置，表示相对于全局坐标系的旋转。
该过程的步骤1110包括基于观测数据评估在该时间段内的不同时间点与激光器单元相关联的状态。使用因子图，控制器可以建立与激光器单元的状态相关联的先验概率与后验概率之间的关系(与立体相机一致)：
其中，k＝[1，2，...，k]表示相机的观测指标集合，m表示GPS的观测索引集合，并且激光器单元的状态可以表示为：
xk＝[pk，vk，qk]
其中，pk，vk，和qk分别表示在第k时间点激光器单元相对于特定坐标系的位置、速度和四元数(旋转)。在上面的公式中，每个p()被称为因子图的一个因子。
在一些实施例中，使用基于零均值高斯白噪声的假设的数学推导，控制器可以通过求解以下公式的最小值来计算基于上述因子图的公式的最大后验：
其中，r*表示不同的残差类型，Σ*表示与不同类型残差相对应的协方差矩阵，并用于描述观测结果的不确定性。在这方面，相关领域的技术人员可以确定不同传感器的残差模型并确定优化迭代之间的雅可比矩阵。控制器可以基于最小化(例如，基于基于梯度的优化方法)来计算激光器单元状态的优化值。
该过程的步骤1115包括确定用于在多个参考系(例如，在不同时间点的多个参考系)和目标参考系之间进行变换的变换规则。说明性地，根据以下近似：(1)立体相机和激光器单元的位置彼此一致；以及(2)激光器单元采集的数据和相机采集的数据的时间戳完全相同，控制器可以使用所确定的对应状态计算激光器单元在不同时间点相对于目标时间点(即，当所针对的时间段开始时、在所针对的时间段的中间、或当所针对的时间段结束时)的相对变换矩阵。
在一些实施例中，未使用以下近似：(1)立体相机和激光器单元的位置相互一致；(2)激光器单元获取的数据和相机获取的数据的时间戳完全相同。在这些实施例中，本公开的技术可以考虑两个因子：(1)相对变化(例如，立体相机和激光器单元之间的变换矩阵cTl)；以及(2)不同传感器之间的时间戳差异。关于第一因子(1)，因为激光器单元和立体相机在所针对的时间段期间不可能相对于彼此移动，所以控制器可以通过简单地计算相机在时间q和时间p的相对位置来计算在所针对的时间段期间激光器单元在任何第q时间点相对于任何第p时间点的相对位置。对于不同传感器之间的时间戳不能完美同步的第二因子(2)，控制器可以使用插值(例如，基于多项式拟合)来计算在任何指定时间戳的时间在坐标系(例如，移动平台的坐标系)中的相对位置信息。
该过程的步骤1120包括基于变换规则对由激光器单元在不同时间点获得的数据进行变换。说明性地，使用在步骤1115中确定的相对变换矩阵，控制器可以将在所针对的时间段中的不同时间点(例如，不同帧)获取的数据(例如，激光器扫描点)重新投影到目标时间点。在一些实施例中，由于过大的噪声、数据误差或其他因素，控制器可以从重新投影过程中排除某些时间点。该过程的步骤1125包括使用变换后的数据生成组合点云。说明性地，控制器可以将来自多个(选定的)帧的重新投影数据添加到初始与目标时间点相关联的点数据帧，从而累积具有时间顺序的数据帧以形成组合点云，犹如数据全都是由激光器单元在目标时间点获取的。
图12示出了根据本公开的技术的各种实施例配置的移动平台的示例。如图所示，本文公开的代表性移动平台可以包括以下中的至少一项：无人机(UAV)1202、有人驾驶飞行器1204、自主汽车1206、自平衡载运工具1208、地面机器人1210、智能可穿戴设备1212、虚拟现实(VR)头戴式显示器1214或增强现实(AR)头戴式显示器1216。
图13是示出了可用于实现本公开的技术的各个部分的计算机系统或其他控制设备1300的架构的示例的框图。在图13中，计算机系统1300包括经由互连1325连接的一个或多个处理器1305和存储器1310。互连1325可以表示通过适当的桥接器、适配器或控制器连接的任何一个或多个单独的物理总线、点对点连接或两者。因此，互连1325可以包括例如系统总线、外围组件互连(PCI)总线、超传输(HyperTransport)或工业标准体系结构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线、或电气电子工程师协会(IEEE)标准674总线(有时称为“火线”)。
处理器1305可以包括中央处理单元(CPU)，以控制例如主计算机的整体操作。在某些实施例中，处理器1305通过执行被存储在存储器1310中的软件或固件来实现这一点。处理器1305可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些设备的组合。
存储器1310可以是或包括计算机系统的主存储器。存储器1310表示任何适当形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些设备的组合。在使用中，存储器1310可以包含机器指令集，当由处理器1305执行时，该机器指令集使得处理器1305执行操作以实现本发明的实施例。
通过互连1325还连接到处理器1305的是(可选的)网络适配器1315。网络适配器1315向计算机系统1300提供与诸如存储客户端和/或其他存储服务器之类的远程设备通信的能力，并且可以是例如以太网适配器或光纤通道适配器。
本文介绍的技术可以通过例如用软件和/或固件编程的可编程电路(例如，一个或多个微处理器)来实现，或者完全在专用硬连线电路中，或者以这些形式的组合来实现。专用硬连线电路可以是例如一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等形式。
用于实现这里介绍的技术的软件或固件可以存储在机器可读存储介质上，并且可以由一个或多个通用或专用可编程微处理器来执行。本文使用的术语“机器可读存储介质”包括可以存储机器(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任何设备等)可访问的形式的信息的任何机制。例如，机器可访问的存储介质包括可记录/不可记录的介质(例如，只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；等等)等。
本文使用的术语“逻辑”可以包括例如用特定软件和/或固件编程的可编程电路、专用硬连线电路或其组合。
除了上述内容之外或代替上述内容，本公开的一些实施例具有其他方面、元件、特征和步骤。在本说明书的其余部分中描述了这些潜在的附加和替换。在本说明书中对“各个实施例”、“某些实施例”的引用表示结合实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。这些实施例，甚至备选实施例(例如，称为“其他实施例”)不与其他实施例互斥。此外，描述了可以由一些实施例而不是由其他实施例展现的各种特征。类似地，描述了各种要求，这些要求可以是一些实施例的要求但不是其他实施例的要求。
如上所述，所公开的技术可以实现激光传感器(例如，具有有限FOV的低成本激光传感器)和视觉传感器(例如，单目相机)之间的高精度校准，该高精度校准可以使用根据在不同的时间获得的点数据生成的组合点云。尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优点，但是其他实施例也可以显现出这样的优点，并且并非所有实施例都需要显现出这样的优点以落入本技术的范围之内。例如，所公开的技术可以应用于实现具有不同数据采集分辨率和/或速率的任何两种类型的传感器之间的校准。因此，本公开和相关技术可以涵盖本文中未明确示出或描述的其他实施例。
就本文并入的任何材料与本公开相冲突的方面而言，以本公开为准。

Claims (106)

1.一种用于校准均由公共移动平台承载的至少激光器单元和视觉单元的计算机实现的方法，所述方法包括：
基于一个或多个变换规则，组合从所述激光器单元获得的具有时间顺序的点信息集合，以在与所述移动平台相关联的参考系中形成点云，其中，所述一个或多个变换规则指定在时间段内的不同时间点与所述激光器单元相关联的参考系到在目标时间点与所述激光器单元相关联的目标参考系的变换；
从所述点云中提取多个特征点，其中，所述特征点对应于深度测量中的阈值不连续性；
至少部分地基于目标函数利用从所述视觉单元获得的边缘信息评估所述特征点，所述目标函数至少部分地由所述特征点在被投影到与所述视觉单元相关联的参考系时的位置来定义；
至少部分地基于利用所述边缘信息评估所述特征点，生成用于所述激光器单元和所述视觉单元之间的校准的至少一个校准规则；以及
使用所述至少一个校准规则在所述激光器单元和所述视觉单元之间进行校准。
2.一种用于自动地校准均由公共移动平台承载的至少发射器/检测器单元和光学检测单元的计算机实现的方法，所述方法包括：
组合从所述发射器/检测器单元获得的点信息的一个或多个集合，以在与所述移动平台相关联的参考系中形成点云；
从所述点云中选择特征点子集；
利用从所述光学检测单元获得的边缘信息来评估所述特征点子集；以及
至少部分地基于利用所述边缘信息评估所述特征点，生成用于所述发射器/检测器单元和所述光学检测单元之间的校准的至少一个校准规则。
3.根据权利要求2所述的方法，还包括至少部分地基于变换规则集合来变换所述特征点子集。
4.根据权利要求3所述的方法，其中，所述变换规则集合至少部分地根据所述光学检测单元相对于所述移动平台的位置和取向来定义。
5.根据权利要求3或4中任一项所述的方法，其中，与所述移动平台相关联的参考系包括坐标系。
6.根据权利要求3-5中任一项所述的方法，其中，所述变换规则集合包括变换矩阵。
7.根据权利要求2所述的方法，还包括至少部分地基于所述点云内的点之间的一个或多个深度差异来选择所述特征点子集。
8.根据权利要求7所述的方法，其中，选择所述特征点子集还基于所述一个或多个深度差异与阈值之间的关系。
9.根据权利要求7或8中任一项所述的方法，其中，选择所述特征点子集包括：至少部分地基于具有时间顺序的点信息集合中的各个集合来选择所述子集的一部分。
10.根据权利要求2所述的方法，其中，所述发射器/检测器单元包括至少一个激光传感器，所述至少一个激光传感器的视场FOV小于360度、180度、90度或60度中的至少一个。
11.根据权利要求2所述的方法，其中，所述光学检测单元包括单目相机。
12.根据权利要求2所述的方法，还包括将从所述光学检测单元获得的图像转换为灰度图像。
13.根据权利要求12所述的方法，还包括至少部分地基于所述灰度图像的至少一个像素与在所述至少一个像素的阈值接近度内的一个或多个像素之间的差异来确定所述边缘信息。
14.根据权利要求13所述的方法，其中，利用所述边缘信息评估所述特征点包括：将所述特征点投影到从所述光学检测单元获得的图像中的相应位置。
15.根据权利要求14所述的方法，其中，利用所述边缘信息评估所述特征点还包括：评估至少部分地由所述特征点的投影位置定义的目标函数。
16.根据权利要求15所述的方法，其中，生成至少一个校准规则包括：优化所述目标函数。
17.根据权利要求16所述的方法，其中，优化所述目标函数至少部分地基于穷举方法。
18.根据权利要求16或17中任一项所述的方法，其中，优化所述目标函数包括根据至少六个自由度优化所述目标函数。
19.根据权利要求2或14-18中任一项所述的方法，其中，所述至少一个校准规则包括用于在与所述发射器/检测器单元相关联的参考系和与所述光学检测单元相关联的参考系之间进行变换的规则。
20.根据权利要求2或14-19中任一项所述的方法，还包括检测(a)所生成的至少一个校准规则与(b)一个或多个先前生成的校准规则之间的差异。
21.根据权利要求2所述的方法，其中，所述移动平台对应于以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具、机器人、智能可穿戴设备、虚拟现实VR头戴式显示器或增强现实AR头戴式显示器。
22.根据权利要求2-21中任一项所述的方法，还包括根据所述至少一个校准规则在所述发射器/检测器单元和所述光学检测单元之间进行校准。
23.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在被执行时使与移动平台相关联的一个或多个处理器执行动作，所述动作包括：
组合从发射器/检测器单元获得的点信息的一个或多个集合，以在与所述移动平台相关联的参考系中形成点云；
从所述点云中选择特征点子集；
利用从光学检测单元获得的边缘信息来评估所述特征点；以及
至少部分地基于利用所述边缘信息评估所述特征点，生成用于所述发射器/检测器单元和所述光学检测单元之间的校准的至少一个校准规则。
24.根据权利要求23所述的计算机可读介质，其中，所述动作还包括至少部分地基于变换规则集合来变换所述特征点子集。
25.根据权利要求24所述的计算机可读介质，其中，所述变换规则集合至少部分地根据所述光学检测单元相对于所述移动平台的位置和取向来定义。
26.根据权利要求24或25中任一项所述的计算机可读介质，其中，与所述移动平台相关联的参考系包括坐标系。
27.根据权利要求24-26中任一项所述的计算机可读介质，其中，所述变换规则集合包括变换矩阵。
28.根据权利要求23所述的计算机可读介质，其中，所述动作还包括至少部分地基于所述点云内的点之间的一个或多个深度差异来选择所述特征点子集。
29.根据权利要求28所述的计算机可读介质，其中，选择所述特征点子集还基于所述一个或多个深度差异与阈值之间的关系。
30.根据权利要求23、28或29中任一项所述的计算机可读介质，其中，所述点信息的一个或多个集合具有时间顺序。
31.根据权利要求23所述的计算机可读介质，其中，所述发射器/检测器单元包括至少一个激光传感器，所述至少一个激光传感器的视场FOV小于360度、180度、90度或60度中的至少一个。
32.根据权利要求23所述的计算机可读介质，其中，所述光学检测单元包括单目相机。
33.根据权利要求23所述的计算机可读介质，其中，所述动作还包括将从所述光学检测单元获得的图像转换为灰度图像。
34.根据权利要求33所述的计算机可读介质，其中，所述动作还包括至少部分地基于所述灰度图像的至少一个像素与在所述至少一个像素的阈值接近度内的一个或多个像素之间的差异来确定所述边缘信息。
35.根据权利要求34所述的计算机可读介质，其中，利用所述边缘信息评估所述特征点包括：将所述特征点投影到从所述光学检测单元获得的图像中的相应位置。
36.根据权利要求35所述的计算机可读介质，其中，利用所述边缘信息评估所述特征点还包括：评估至少部分地由所述特征点的投影位置定义的目标函数。
37.根据权利要求36所述的计算机可读介质，其中，生成至少一个校准规则包括：优化所述目标函数。
38.根据权利要求37所述的计算机可读介质，其中，优化所述目标函数至少部分地基于穷举方法。
39.根据权利要求37或38中任一项所述的计算机可读介质，其中，优化所述目标函数包括根据至少六个自由度优化所述目标函数。
40.根据权利要求23或35-39中任一项所述的计算机可读介质，其中，所述至少一个校准规则包括用于在与所述发射器/检测器单元相关联的参考系和与所述光学检测单元相关联的参考系之间进行变换的规则。
41.根据权利要求23或35-40中任一项所述的计算机可读介质，其中，所述动作还包括检测(a)所生成的至少一个校准规则与(b)一个或多个先前生成的校准规则之间的差异。
42.根据权利要求23所述的计算机可读介质，其中，所述移动平台对应于以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具、机器人、智能可穿戴设备、虚拟现实VR头戴式显示器或增强现实AR头戴式显示器。
43.根据权利要求23-42中任一项所述的计算机可读介质，其中，所述动作还包括根据所述至少一个校准规则在所述发射器/检测器单元和所述光学检测单元之间进行校准。
44.一种载运工具，包括至少部分地控制所述载运工具的一个或多个运动的被编程控制器，其中，所述被编程控制器包括一个或多个处理器，所述一个或多个处理器被配置为：
组合从发射器/检测器单元获得的具有时间顺序的点信息集合，以在与所述载运工具相关联的参考系中形成点云；
将所述点云的子集变换为与光学检测单元相关联的参考系中的多个特征点；
利用从所述光学检测单元获得的边缘信息来评估所述特征点；以及
至少部分地基于利用所述边缘信息评估所述特征点，生成用于所述发射器/检测器单元和所述光学检测单元之间的校准的至少一个校准规则。
45.根据权利要求44所述的载运工具，其中，变换所述点云的子集至少部分地基于变换规则集合。
46.根据权利要求45所述的载运工具，其中，所述变换规则集合至少部分地根据所述光学检测单元相对于所述载运工具的位置和取向来定义。
47.根据权利要求45或46中任一项所述的载运工具，其中，与所述载运工具相关联的参考系包括坐标系。
48.根据权利要求45-47中任一项所述的载运工具，其中，所述变换规则集合包括变换矩阵。
49.根据权利要求44所述的载运工具，其中，所述一个或多个处理器还被配置为至少部分地基于所述点云内的点之间的一个或多个深度差异来选择所述点云的子集。
50.根据权利要求49所述的载运工具，其中，选择所述点云的子集还基于所述一个或多个深度差异与阈值之间的关系。
51.根据权利要求49或50中任一项所述的载运工具，其中，选择所述点云的子集包括：至少部分地基于所述具有时间顺序的点信息集合中的一个集合来选择点的子集的一部分。
52.根据权利要求44所述的载运工具，其中，所述发射器/检测器单元包括至少一个激光传感器，所述至少一个激光传感器的视场FOV小于360度、180度、90度或60度中的至少一个。
53.根据权利要求44所述的载运工具，其中，所述光学检测单元包括单目相机。
54.根据权利要求44所述的载运工具，其中，所述一个或多个处理器还被配置为将从所述光学检测单元获得的图像转换为灰度图像。
55.根据权利要求54所述的载运工具，其中，所述一个或多个处理器还被配置为至少部分地基于所述灰度图像的至少一个像素与在所述至少一个像素的阈值接近度内的一个或多个像素之间的差异来确定所述边缘信息。
56.根据权利要求55所述的载运工具，其中，利用所述边缘信息评估所述特征点包括：将所述特征点投影到从所述光学检测单元获得的图像中的相应位置。
57.根据权利要求56所述的载运工具，其中，利用所述边缘信息评估所述特征点还包括：评估至少部分地由所述特征点的投影位置定义的目标函数。
58.根据权利要求57所述的载运工具，其中，生成至少一个校准规则包括：优化所述目标函数。
59.根据权利要求58所述的载运工具，其中，优化所述目标函数至少部分地基于穷举方法。
60.根据权利要求58或59中任一项所述的载运工具，其中，优化所述目标函数包括根据至少六个自由度优化所述目标函数。
61.根据权利要求44或56-60中任一项所述的载运工具，其中，所述至少一个校准规则包括用于在与所述发射器/检测器单元相关联的参考系和与所述光学检测单元相关联的参考系之间进行变换的规则。
62.根据权利要求44或56-61中任一项所述的载运工具，其中，所述一个或多个处理器还被配置为检测(a)所生成的至少一个校准规则与(b)一个或多个先前生成的校准规则之间的差异。
63.根据权利要求44所述的载运工具，其中，所述载运工具对应于以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具或机器人。
64.根据权利要求44-63中任一项所述的载运工具，其中，所述一个或多个处理器还被配置为根据所述至少一个校准规则在所述发射器/检测器单元和所述光学检测单元之间进行校准。
65.一种用于生成由移动平台承载的测量单元的组合点云的计算机实现的方法，所述方法包括：
获得由所述移动平台承载的多个观测传感器生成的观测数据，其中，所述观测数据对应于时间段；
至少部分地基于所述观测数据，评估在所述时间段内的不同时间点与所述测量单元相关联的状态；
确定一个或多个变换规则，所述一个或多个变换规则用于在所述时间段内的不同时间点与所述测量单元相关联的参考系到与所述测量单元相关联的目标参考系的变换；
至少部分地基于所述一个或多个变换规则，对由所述测量单元在所述时间段内的不同时间点获得的数据进行变换；以及
使用变换后的数据的至少一部分生成所述组合点云。
66.根据权利要求65所述的方法，其中，所述测量单元发射信号并检测信号。
67.根据权利要求65或66中任一项所述的方法，其中，所述多个观测传感器包括立体相机、惯性测量单元、轮编码器或全球定位系统中的至少一项。
68.根据权利要求65-67中任一项所述的方法，其中，获得观测数据包括：从至少两个不同的观测传感器以不同速率获得观测数据。
69.根据权利要求65-68中任一项所述的方法，其中，所述测量单元具有与至少一个观测传感器不同的数据采集速率。
70.根据权利要求65所述的方法，其中，与所述测量单元相关联的状态基于与至少一个观测传感器相关联的状态。
71.根据权利要求65或70中任一项所述的方法，其中，与所述测量单元相关联的状态包括位置、速度或旋转中的至少一项。
72.根据权利要求65所述的方法，其中，评估与所述测量单元相关联的状态包括评估概率模型。
73.根据权利要求65或72中任一项所述的方法，其中，评估与所述测量单元相关联的状态还包括至少部分地基于高斯白噪声来评估所述观测数据。
74.根据权利要求65、72或73中任一项所述的方法，其中，评估与所述测量单元相关联的状态还包括确定与所述发射器/检测器单元相关联的状态的优化值。
75.根据权利要求65或72-74中任一项的方法，其中，评估与所述测量单元相关联的状态至少部分地基于最大后验方法。
76.根据权利要求65所述的方法，其中，所述时间段包括与所述目标参考系对应的目标时间点。
77.根据权利要求76所述的方法，其中，所述目标时间点对应于所述时间段的初始点。
78.根据权利要求65、76或77中任一项所述的方法，其中，变换由所述测量单元在不同时间点获得的数据还包括：根据一个或多个变换矩阵对所述测量单元在不同时间点获得的数据的至少一部分进行投影。
79.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在被执行时使与移动平台相关联的一个或多个处理器执行动作，所述动作包括：
获得由所述移动平台承载的多个观测传感器生成的观测数据，其中，所述观测数据对应于时间段；
至少部分地基于所述观测数据，评估在所述时间段内的不同时间点与测量单元相关联的状态；
确定一个或多个变换规则，所述一个或多个变换规则用于在所述时间段内的不同时间点与所述测量单元相关联的参考系到与所述测量单元相关联的目标参考系的变换；
至少部分地基于所述一个或多个变换规则，对由所述测量单元在所述时间段内的不同时间点获得的数据进行变换；以及
使用变换后的数据的至少一部分生成组合点云。
80.根据权利要求79所述的计算机可读介质，其中，所述测量单元通过发射和检测一个或多个信号来测量至少一个物体。
81.根据权利要求79或80中任一项所述的计算机可读介质，其中，所述多个观测传感器包括立体相机、惯性测量单元、轮编码器或全球定位系统中的至少一项。
82.根据权利要求79-81中任一项所述的计算机可读介质，其中，获得观测数据包括：从至少两个不同的观测传感器以不同速率获得观测数据。
83.根据权利要求79-82中任一项所述的计算机可读介质，其中，所述测量单元具有与至少一个观测传感器不同的数据采集速率。
84.根据权利要求79所述的计算机可读介质，其中，与所述测量单元相关联的状态基于与至少一个观测传感器相关联的状态。
85.根据权利要求79或84中任一项所述的计算机可读介质，其中，与所述测量单元相关联的状态包括位置、速度或旋转中的至少一项。
86.根据权利要求79所述的计算机可读介质，其中，评估与所述测量单元相关联的状态包括评估概率模型。
87.根据权利要求79或86中任一项所述的计算机可读介质，其中，评估与所述测量单元相关联的状态还包括至少部分地基于高斯白噪声来评估所述状态。
88.根据权利要求79、86或87中任一项所述的计算机可读介质，其中，评估与所述测量单元相关联的状态还包括确定与所述测量单元相关联的状态的优化值。
89.根据权利要求79或86-88中任一项所述的计算机可读介质，其中，评估与所述测量单元相关联的状态至少部分地基于最大后验方法。
90.根据权利要求79所述的计算机可读介质，其中，所述时间段包括与所述目标参考系对应的目标时间点。
91.根据权利要求90所述的计算机可读介质，其中，所述目标时间点对应于所述时间段的初始点。
92.根据权利要求79、90或91中任一项所述的计算机可读介质，其中，变换由所述测量单元在不同时间点获得的数据还包括：根据一个或多个变换矩阵对所述测量单元获得的数据的至少一部分进行投影。
93.一种载运工具，包括至少部分地控制所述载运工具的一个或多个运动的被编程控制器，其中，所述被编程控制器包括一个或多个处理器，所述一个或多个处理器被配置为：
获得由所述载运工具承载的多个观测传感器生成的观测数据，其中，所述观测数据对应于时间段；
至少部分地基于所述观测数据评估在所述时间段内的不同时间点与测量单元相关联的状态；
确定一个或多个变换规则，所述一个或多个变换规则用于在所述时间段内的不同时间点与所述测量单元相关联的参考系到与所述测量单元相关联的目标参考系的变换；
至少部分地基于所述一个或多个变换规则，对由所述测量单元在所述时间段内的不同时间点获得的数据进行变换；以及
使用变换后的数据的至少一部分生成组合点云。
94.根据权利要求93所述的载运工具，其中，所述多个观测传感器不包括所述测量单元。
95.根据权利要求93或94中任一项所述的载运工具，其中，所述多个观测传感器包括立体相机、惯性测量单元、轮编码器或全球定位系统中的至少一项。
96.根据权利要求93-95中任一项所述的载运工具，其中，获得观测数据包括：从至少两个不同的观测传感器以不同速率获得观测数据。
97.根据权利要求93-96中任一项所述的载运工具，其中，所述测量单元具有与至少一个观测传感器不同的数据采集速率。
98.根据权利要求93所述的载运工具，其中，与所述测量单元相关联的状态基于与至少一个观测传感器相关联的状态。
99.根据权利要求93或98中任一项所述的载运工具，其中，与所述测量单元相关联的状态包括位置、速度或旋转中的至少一项。
100.根据权利要求93所述的载运工具，其中，评估与所述测量单元相关联的状态包括评估概率模型。
101.根据权利要求93或100中任一项所述的载运工具，其中，评估与所述测量单元相关联的状态还包括至少部分地基于高斯白噪声来评估所述状态。
102.根据权利要求93、100或101中任一项所述的载运工具，其中，评估与所述测量单元相关联的状态还包括确定与所述测量单元相关联的状态的优化值。
103.根据权利要求93或100-102中任一项的载运工具，其中，评估与所述测量单元相关联的状态至少部分地基于最大后验方法。
104.根据权利要求93所述的载运工具，其中，所述时间段包括与所述目标参考系对应的目标时间点。
105.根据权利要求104所述的载运工具，其中，所述目标时间点对应于所述时间段的初始点。
106.根据权利要求93、104或105中任一项所述的载运工具，其中，变换由所述测量单元在不同时间点获得的数据还包括：根据一个或多个变换矩阵对所述测量单元获得的数据的至少一部分进行投影。
CN201780090109.0A 2017-04-28 2017-04-28 激光传感器和视觉传感器的校准 Pending CN110573901A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/082604 WO2018195999A1 (en) 2017-04-28 2017-04-28 Calibration of laser and vision sensors

Publications (1)

Publication Number Publication Date
CN110573901A true CN110573901A (zh) 2019-12-13

Family

ID=63916566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780090109.0A Pending CN110573901A (zh) 2017-04-28 2017-04-28 激光传感器和视觉传感器的校准

Country Status (4)

Country Link
US (3) US10436884B2 (zh)
EP (1) EP3615955A4 (zh)
CN (1) CN110573901A (zh)
WO (1) WO2018195999A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110573830B (zh) * 2017-04-28 2022-03-22 深圳市大疆创新科技有限公司 激光传感器的校准方法
CN108074513B (zh) * 2017-12-25 2019-10-18 深圳市华星光电技术有限公司 侦测图像中高频成分的方法及装置
US10852731B1 (en) 2017-12-28 2020-12-01 Waymo Llc Method and system for calibrating a plurality of detection systems in a vehicle
CN111867932A (zh) * 2018-02-07 2020-10-30 杭州零零科技有限公司 包含全向深度感测和避障空中系统的无人飞行器及其操作方法
US20210033712A1 (en) * 2018-02-09 2021-02-04 Sony Corporation Calibration apparatus, calibration method, and program
US10928207B2 (en) * 2018-03-02 2021-02-23 DeepMap Inc. Camera based localization for autonomous vehicles
EP3575829B1 (en) * 2018-05-30 2020-11-18 Axis AB A method of determining a transformation matrix
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US11024050B2 (en) * 2018-11-05 2021-06-01 Faro Technologies, Inc. System and method of scanning an environment
TW202031540A (zh) * 2019-02-25 2020-09-01 先進光電科技股份有限公司 行動載具輔助系統及其控制方法
TW202031539A (zh) * 2019-02-25 2020-09-01 先進光電科技股份有限公司 行動載具輔助系統
US11681030B2 (en) 2019-03-05 2023-06-20 Waymo Llc Range calibration of light detectors
CN111735439B (zh) * 2019-03-22 2022-09-30 北京京东乾石科技有限公司 地图构建方法、装置和计算机可读存储介质
CN111862224B (zh) * 2019-04-17 2023-09-19 杭州海康威视数字技术股份有限公司 确定相机与激光雷达之间外参的方法和装置
CN111854770B (zh) * 2019-04-30 2022-05-13 北京魔门塔科技有限公司 一种车辆的定位系统和方法
CN110221275B (zh) * 2019-05-21 2023-06-23 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置
US20220259936A1 (en) * 2019-07-03 2022-08-18 Bn Technology Holdings Inc. Modular downhole tool reservoir system
US11629835B2 (en) * 2019-07-31 2023-04-18 Toyota Jidosha Kabushiki Kaisha Auto-calibration of vehicle sensors
US11592820B2 (en) * 2019-09-13 2023-02-28 The Boeing Company Obstacle detection and vehicle navigation using resolution-adaptive fusion of point clouds
DE102019128103A1 (de) * 2019-10-17 2021-04-22 Valeo Schalter Und Sensoren Gmbh Kalibrierung eines aktiven optischen Sensorsystems
US11747453B1 (en) 2019-11-04 2023-09-05 Waymo Llc Calibration system for light detection and ranging (lidar) devices
GB202311795D0 (en) * 2019-12-19 2023-09-13 Motional Ad Llc Foreground extraction using surface fitting
RU2764708C1 (ru) * 2020-01-20 2022-01-19 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для обработки данных лидарных датчиков
US11860315B2 (en) 2020-01-20 2024-01-02 Direct Cursus Technology L.L.C Methods and systems for processing LIDAR sensor data
US20230045287A1 (en) * 2020-01-24 2023-02-09 Outsight A method and system for generating a colored tridimensional map
FR3106887B1 (fr) * 2020-01-31 2022-01-21 Saint Gobain Procédé d’analyse d’un vitrage pour un LIDAR
EP4099060B1 (en) * 2020-01-31 2024-05-22 NISSAN MOTOR Co., Ltd. Object recognition method and object recognition device
US11236990B2 (en) * 2020-02-08 2022-02-01 The Boeing Company De-jitter of point cloud data
CN111353417A (zh) * 2020-02-26 2020-06-30 北京三快在线科技有限公司 一种目标检测的方法及装置
US11275965B2 (en) * 2020-04-03 2022-03-15 Huawei Technologies Co., Ltd. Method for generation of an augmented point cloud with point features from aggregated temporal 3D coordinate data, and related device
KR20220039022A (ko) 2020-09-21 2022-03-29 삼성전자주식회사 비전 센서를 포함하는 이미지 처리 장치 및 그 동작 방법
KR20220085619A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 비전 센서 및 이의 동작 방법
CN112581533B (zh) * 2020-12-16 2023-10-03 百度在线网络技术（北京）有限公司 定位方法、装置、电子设备及存储介质
CN112902874B (zh) * 2021-01-19 2022-09-27 中国汽车工程研究院股份有限公司 图像采集装置及方法、图像处理方法及装置、图像处理系统
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration
RU2761923C1 (ru) * 2021-03-26 2021-12-14 Федеральное государственное бюджетное учреждение науки Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук (ИАПУ ДВО РАН) Способ управления манипулятором
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation
JP2024066886A (ja) * 2022-11-02 2024-05-16 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713671A (zh) * 2009-12-11 2012-10-03 株式会社拓普康 点群数据处理装置、点群数据处理方法和点群数据处理程序
KR101386640B1 (ko) * 2013-12-12 2014-04-29 국방과학연구소 레이저 레이더 시스템의 고스트 영상 제거 방법
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
CN104205826A (zh) * 2012-04-03 2014-12-10 三星泰科威株式会社 用于重建高密度三维图像的设备和方法
CN105203046A (zh) * 2015-09-10 2015-12-30 北京天远三维科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
US20160070981A1 (en) * 2014-09-08 2016-03-10 Kabushiki Kaisha Topcon Operating device, operating system, operating method, and program therefor
CN105510899A (zh) * 2015-11-27 2016-04-20 皖江新兴产业技术发展中心 一种激光雷达同轴检测系统及其自动校准方法
CN106056620A (zh) * 2016-06-13 2016-10-26 西南科技大学 用于线激光位置标定的标定板及线激光相机测量系统标定方法
CN110235026A (zh) * 2017-01-26 2019-09-13 御眼视觉技术有限公司 基于对齐的图像和激光雷达信息的车辆导航

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4283116A (en) 1977-04-22 1981-08-11 Jersey Nuclear-Avco Isotopes, Inc. Beam combiner
JPS63194211A (ja) 1987-02-09 1988-08-11 Sony Corp カメラのレンズ駆動装置
US5179565A (en) 1990-06-07 1993-01-12 Hamamatsu Photonics, K.K. Low noise pulsed light source utilizing laser diode and voltage detector device utilizing same low noise pulsed light source
JP2756737B2 (ja) 1991-06-27 1998-05-25 エルジー電子株式会社 Ｖｃｒの表題自動挿入装置
US5249046A (en) 1992-03-30 1993-09-28 Kaman Aerospace Corporation Method and apparatus for three dimensional range resolving imaging
US6101455A (en) 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6344937B1 (en) 1999-03-03 2002-02-05 Raytheon Company Beam steering optical arrangement using Risley prisms with surface contours for aberration correction
US6246258B1 (en) 1999-06-21 2001-06-12 Xilinx, Inc. Realizing analog-to-digital converter on a digital programmable integrated circuit
US6666855B2 (en) 1999-09-14 2003-12-23 Visx, Inc. Methods and systems for laser calibration and eye tracker camera alignment
US7085400B1 (en) 2000-06-14 2006-08-01 Surgical Navigation Technologies, Inc. System and method for image based sensor calibration
JP2002199682A (ja) 2000-12-26 2002-07-12 Toshiba Corp 中空モータおよび光波距離計
WO2005008271A2 (en) 2002-11-26 2005-01-27 Munro James F An apparatus for high accuracy distance and velocity measurement and methods thereof
EP1524494A1 (en) 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
JP2005321547A (ja) 2004-05-07 2005-11-17 Fujinon Corp 光源装置
JP2005321403A (ja) 2004-05-10 2005-11-17 Ibeo Automobile Sensor Gmbh 距離測定のための方法及び装置
FR2870428A1 (fr) 2004-05-11 2005-11-18 Gen Electric Machine a rayons x mobile
EP1600564A1 (de) 2004-05-24 2005-11-30 Leica Geosystems AG Verfahren zur Steuerung einer oberflächenverändernden Maschine
EP1612511B1 (en) 2004-07-01 2015-05-20 Softkinetic Sensors Nv TOF rangefinding with large dynamic range and enhanced background radiation suppression
DE102005017624A1 (de) 2005-04-15 2006-10-19 Robert Bosch Gmbh Verfahren zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen
US7336407B1 (en) 2005-07-28 2008-02-26 Lockheed Martin Corporation Scanner/pointer apparatus having super-hemispherical coverage
US7843448B2 (en) 2005-11-21 2010-11-30 Leica Geosystems Ag Identification of occluded edge regions from 3D point data
US7236299B1 (en) 2006-04-11 2007-06-26 Bae Systems Information And Electronic Systems Integration Inc. Compact periscopic beam director
US8490489B2 (en) 2006-11-10 2013-07-23 Siemens Medical Solutions Usa, Inc. Transducer array imaging system
CN101216562A (zh) 2007-01-05 2008-07-09 薛志强 激光测距系统
CN101256232A (zh) 2007-02-28 2008-09-03 电装波动株式会社 用于目标三维探测的激光雷达装置
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US8224097B2 (en) 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
WO2009155924A1 (en) 2008-06-27 2009-12-30 Danmarks Tekniske Universitet Rotating prism scanning device and method for scanning
NO332432B1 (no) 2008-08-12 2012-09-17 Kongsberg Seatex As System for deteksjon og avbildning av objekter i banen for marine fartoy
AU2010257107B2 (en) 2009-02-20 2015-07-09 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
US20120170029A1 (en) 2009-09-22 2012-07-05 ISC8 Inc. LIDAR System Comprising Large Area Micro-Channel Plate Focal Plane Array
US20120170024A1 (en) 2009-09-22 2012-07-05 Medhat Azzazy Long Range Acquisition and Tracking SWIR Sensor System Comprising Micro-Lamellar Spectrometer
US20110285981A1 (en) 2010-05-18 2011-11-24 Irvine Sensors Corporation Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR
US8488877B1 (en) 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
US8620089B1 (en) 2009-12-22 2013-12-31 Hrl Laboratories, Llc Strip histogram grid for efficient segmentation of 3D point clouds from urban environments
US8396293B1 (en) 2009-12-22 2013-03-12 Hrl Laboratories, Llc Recognizing geometrically salient objects from segmented point clouds using strip grid histograms
US20130107243A1 (en) 2010-05-03 2013-05-02 Irvine Sensors Corporation Fast, High Resolution 3-D Flash LADAR Imager
US9396545B2 (en) 2010-06-10 2016-07-19 Autodesk, Inc. Segmentation of ground-based laser scanning points from urban environment
JP6033222B2 (ja) 2010-07-22 2016-11-30 レニショウ パブリック リミテッド カンパニーＲｅｎｉｓｈａｗ Ｐｕｂｌｉｃ Ｌｉｍｉｔｅｄ Ｃｏｍｐａｎｙ レーザ走査システムおよび使用方法
US8324775B2 (en) 2010-08-05 2012-12-04 Hiwin Mikrosystem Corp. Brush DC motor with reduction mechanism
US20120121166A1 (en) 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for three dimensional parallel object segmentation
RU2013129992A (ru) 2010-12-02 2015-01-10 Макита Корпорейшн Инструмент с приводом
JP5787699B2 (ja) 2010-12-06 2015-09-30 株式会社アルファラボ・ソリューション 像ぶれ補正ユニット、像ぶれ補正装置及び光学装置
US9470548B2 (en) 2011-01-31 2016-10-18 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
WO2012117542A1 (ja) 2011-03-02 2012-09-07 トヨタ自動車株式会社 レーザレーダ装置
US8581168B2 (en) 2011-03-29 2013-11-12 Flir Systems, Inc. Dual well read-out integrated circuit (ROIC)
US8605998B2 (en) 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
CN202182717U (zh) 2011-08-30 2012-04-04 公安部第三研究所 一种基于tdc技术的激光测距装置
KR101740259B1 (ko) 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
CN102508255A (zh) 2011-11-03 2012-06-20 广东好帮手电子科技股份有限公司 车载四线激光雷达系统及其电路、方法
US8798372B1 (en) 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
US9070542B2 (en) 2012-04-06 2015-06-30 Implant Sciences Corporation Selective ionization using high frequency filtering of reactive ions
WO2013177650A1 (en) 2012-04-26 2013-12-05 Neptec Design Group Ltd. High speed 360 degree scanning lidar head
GB201213654D0 (en) 2012-08-01 2012-09-12 Univ Singapore Cell culture
JP5963353B2 (ja) * 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US9453907B2 (en) 2012-08-15 2016-09-27 Digital Signal Corporation System and method for field calibrating video and lidar subsystems using facial features
US20140071121A1 (en) 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
JP2015532077A (ja) * 2012-09-27 2015-11-05 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
GB2507560A (en) * 2012-11-05 2014-05-07 Univ Oxford Extrinsic calibration of mobile camera and lidar
CN102944224B (zh) 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知系统的工作方法
US20140132723A1 (en) 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
CN103257342B (zh) 2013-01-11 2014-11-05 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
JP2014145744A (ja) 2013-01-30 2014-08-14 Ricoh Co Ltd 物体検出装置
US8773182B1 (en) 2013-02-01 2014-07-08 Intel Corporation Stochastic beating time-to-digital converter (TDC)
US9128190B1 (en) 2013-03-06 2015-09-08 Google Inc. Light steering device with an array of oscillating reflective slats
JP6181388B2 (ja) * 2013-03-08 2017-08-16 株式会社トプコン 計測装置
CN103257348B (zh) 2013-05-17 2015-05-20 南京航空航天大学 一种飞行器相对高度和相对姿态的测量系统及其测量方法
US9430822B2 (en) 2013-06-14 2016-08-30 Microsoft Technology Licensing, Llc Mobile imaging platform calibration
US8825260B1 (en) 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CN103499819B (zh) 2013-09-22 2015-06-24 中国科学院光电技术研究所 一种目标视线角偏移量及距离的测量装置和方法
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
CN103727930B (zh) * 2013-12-30 2016-03-23 浙江大学 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
CN203645633U (zh) 2013-12-31 2014-06-11 青岛歌尔声学科技有限公司 红外信号放大电路
US10061111B2 (en) 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
JP6278721B2 (ja) 2014-01-31 2018-02-14 鎌倉光機株式会社 像安定化装置
US9633483B1 (en) 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
JP2015200555A (ja) 2014-04-08 2015-11-12 パナソニックＩｐマネジメント株式会社 距離測定装置
GB201407270D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
JP6249881B2 (ja) 2014-05-22 2017-12-20 オリンパス株式会社 固体撮像装置および撮像装置
CN103983963B (zh) 2014-06-09 2016-08-17 北京数字绿土科技有限公司 一种多站地基激光雷达数据的自动配准方法
CN106030431B (zh) 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定系统及方法
JP6442193B2 (ja) 2014-08-26 2018-12-19 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
CN105517903B (zh) 2014-09-24 2017-06-23 深圳市大疆灵眸科技有限公司 云台及其使用的成像装置、以及无人机
GB2532948B (en) 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
CN104463872B (zh) 2014-12-10 2018-01-12 武汉大学 基于车载LiDAR点云数据的分类方法
CN104600902A (zh) 2015-01-09 2015-05-06 广东韦达尔科技有限公司 一种空心电机
EP3249422B1 (en) 2015-01-21 2021-12-29 Mitsubishi Electric Corporation Laser radar device
WO2016127357A1 (zh) 2015-02-12 2016-08-18 中国科学技术大学 一种基于fpga的时间数字变换器
US10315759B2 (en) 2015-04-04 2019-06-11 California Institute Of Technology Multi-rotor vehicle with yaw control and autorotation
GB2537681B (en) 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment
KR101665938B1 (ko) 2015-04-28 2016-10-13 전자부품연구원 미러 회전 방식의 다채널 라이더 스캐너 광학계
CN106063089B (zh) 2015-04-29 2018-06-12 深圳市大疆灵眸科技有限公司 电机、动力装置及使用该动力装置的无人飞行器
EP3098626B1 (de) 2015-05-29 2021-05-19 Hexagon Technology Center GmbH Zeitmessschaltung und optoelektronischer distanzmesser mit einer ebensolchen zeitmessschaltung
WO2017021781A1 (en) 2015-08-03 2017-02-09 Tom Tom Global Content B.V. Methods and systems for generating and using localisation reference data
US9760996B2 (en) * 2015-08-11 2017-09-12 Nokia Technologies Oy Non-rigid registration for large-scale space-time 3D point cloud alignment
US10444006B2 (en) * 2015-08-19 2019-10-15 Faro Technologies, Inc. Three-dimensional imager
CN108603758A (zh) 2015-11-30 2018-09-28 卢米诺技术公司 具有分布式激光器和多个传感器头的激光雷达系统和激光雷达系统的脉冲激光器
US9644857B1 (en) 2015-12-01 2017-05-09 Nasser Ashgriz Virtual thermostat for a zonal temperature control
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
CN105759253B (zh) 2016-03-02 2018-01-12 四川经曼光电科技有限公司 激光扫描测距仪
CN105628026B (zh) 2016-03-04 2018-09-14 深圳大学 一种移动物体的定位定姿方法和系统
CA3022381C (en) 2016-04-29 2021-06-22 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
CN106019923B (zh) 2016-05-18 2018-11-13 中国科学技术大学 一种基于fpga的时间数字变换器
CN106093963B (zh) 2016-05-31 2018-08-24 中铁第四勘察设计院集团有限公司 一种提高铁路车载激光雷达扫描数据精度的方法
CN106019296A (zh) 2016-07-26 2016-10-12 北醒（北京）光子科技有限公司 一种混合固态多线光学扫描测距装置
CN106093958A (zh) 2016-08-24 2016-11-09 武汉万集信息技术有限公司 基于双apd的激光测距方法及装置
CN107817503B (zh) * 2016-09-14 2018-12-21 北京百度网讯科技有限公司 应用于激光点云数据的运动补偿方法和装置
CN106597414B (zh) 2016-10-18 2020-01-10 浙江大学 一种定标偏振激光雷达增益比的方法
CN106597416B (zh) 2016-11-18 2019-04-09 长安大学 一种地面GPS辅助的LiDAR数据高程差的误差修正方法
US10866101B2 (en) 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
CN107037721B (zh) 2017-06-16 2019-06-21 中国科学技术大学 一种自修正型时间数字转换器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713671A (zh) * 2009-12-11 2012-10-03 株式会社拓普康 点群数据处理装置、点群数据处理方法和点群数据处理程序
CN104205826A (zh) * 2012-04-03 2014-12-10 三星泰科威株式会社 用于重建高密度三维图像的设备和方法
CN104142157A (zh) * 2013-05-06 2014-11-12 北京四维图新科技股份有限公司 一种标定方法、装置及设备
KR101386640B1 (ko) * 2013-12-12 2014-04-29 국방과학연구소 레이저 레이더 시스템의 고스트 영상 제거 방법
US20160070981A1 (en) * 2014-09-08 2016-03-10 Kabushiki Kaisha Topcon Operating device, operating system, operating method, and program therefor
CN105203046A (zh) * 2015-09-10 2015-12-30 北京天远三维科技有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN105510899A (zh) * 2015-11-27 2016-04-20 皖江新兴产业技术发展中心 一种激光雷达同轴检测系统及其自动校准方法
CN106056620A (zh) * 2016-06-13 2016-10-26 西南科技大学 用于线激光位置标定的标定板及线激光相机测量系统标定方法
CN110235026A (zh) * 2017-01-26 2019-09-13 御眼视觉技术有限公司 基于对齐的图像和激光雷达信息的车辆导航

Also Published As

Publication number Publication date
EP3615955A4 (en) 2020-05-13
US10884110B2 (en) 2021-01-05
EP3615955A1 (en) 2020-03-04
US20210124029A1 (en) 2021-04-29
US20200003878A1 (en) 2020-01-02
WO2018195999A1 (en) 2018-11-01
US20180313940A1 (en) 2018-11-01
US10436884B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
US20210124029A1 (en) Calibration of laser and vision sensors
CN110573830B (zh) 激光传感器的校准方法
US11961208B2 (en) Correction of motion-based inaccuracy in point clouds
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
CN109887057B (zh) 生成高精度地图的方法和装置
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
US10983217B2 (en) Method and system for semantic label generation using sparse 3D data
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
KR101711964B1 (ko) 자유 공간 지도 생성 방법, 자유 공간 지도 생성 시스템, 자유 공간 지도를 이용한 전경/배경 추출 방법 및 전경/배경 추출 시스템
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
US20240112363A1 (en) Position estimation system, position estimation method, and program
US20230154313A1 (en) Sensor localization
CN117519124A (zh) 自移动设备的避障方法、自移动设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191213

WD01 Invention patent application deemed withdrawn after publication