CN110235027A - 基于lidar点云的多物体跟踪 - Google Patents

基于lidar点云的多物体跟踪 Download PDF

Info

Publication number
CN110235027A
CN110235027A CN201780083373.1A CN201780083373A CN110235027A CN 110235027 A CN110235027 A CN 110235027A CN 201780083373 A CN201780083373 A CN 201780083373A CN 110235027 A CN110235027 A CN 110235027A
Authority
CN
China
Prior art keywords
target object
target
model
group
tracking system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780083373.1A
Other languages
English (en)
Inventor
李琛
马陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN110235027A publication Critical patent/CN110235027A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

公开了用于使用基于光检测和测距(LIDAR)的物体跟踪系统实施物体跟踪的技术、系统和设备。在一个示例性方面，所述系统包括：多个光发射器和传感器对，可操作以获得指示周围物体的实际位置的数据，其中所述数据通过分割模块被分组成多个组；以及物体跟踪器，被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体计算运动估计，(3)在数据子集无法映射到模型中的对应的目标物体的情况下将该数据子集反馈给所述分割模块，用于进行进一步的分组，以及(4)通过调整所述运动估计来修改所述目标物体的模型，以减小或去除所述模型的物理失真。

Description

基于LIDAR点云的多物体跟踪
技术领域
本公开总体涉及电子信号处理，并且更具体地，涉及光检测和测距(LIDAR)应用中的信号处理相关联的组件、系统和技术。
背景技术
诸如无人机器人之类的无人可移动物体随着性能的不断提高和成本的不断降低，现在广泛地应用于许多领域。代表性任务包括不动产摄影、建筑物和其他结构的检查、消防和安全任务、边境巡逻以及产品交付等。对于障碍物检测以及其他功能，有益的是无人载运工具配备有障碍物检测和周围环境扫描设备。光探测和测距(LIDAR，也称为“光雷达”)是一种可靠而稳定的检测技术。然而，传统的LIDAR设备通常是昂贵的，因为它们使用多通道、高密度和高速度的发射器和传感器，从而使得大多数传统的LIDAR设备不适合低成本的无人载运工具应用。
因此，仍然需要用于实现LIDAR扫描模块(例如，诸如由无人载运工具和其他物体承载的LIDAR扫描模块)的改进的技术和系统。
发明内容
该专利文件涉及由使用多个低成本LIDAR发射器和传感器对的无人载运工具来实施物体跟踪的技术、系统和设备。
在一个示例性方面，公开了一种基于光检测和测距(LIDAR)的物体跟踪系统。所述系统包括多个光发射器和传感器对。所述多个光发射器和传感器对中的每一对可操作以获得指示周围物体的实际位置的数据。通过分割模块将所述数据分组成多个组，每个组对应于周围物体之一。所述系统还包括物体跟踪器，其被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体来计算运动估计，以及(3)基于由所述物体跟踪器确定数据子集无法映射到模型中的对应的目标物体，将所述数据子集反馈给所述分割模块，用于进行进一步的分组。
在另一示例性方面，公开了一种用于控制无人可移动物体的微控制器系统。所述系统包括处理器，其被配置为实现实时或近实时地跟踪物体的方法。所述方法包括接收指示周围物体的实际位置的数据。通过分割模块将所述实际位置分组成多个组，并且所述多个组中的每个组对应于所述周围物体之一。所述方法还包括：基于所述多个组来获得多个目标物体的多个模型；针对每个目标物体来估计运动矩阵；使用每个目标物体的运动矩阵来更新模型；以及通过以下方式来优化所述模型：修改每个目标物体的模型，以去除或减小目标物体的模型的物理失真。
在又一示例性方面，公开了一种无人设备。所述无人设备包括：如上所述的基于光检测和测距(LIDAR)的物体跟踪系统；控制器，可操作以响应于来自实时物体跟踪系统的输出而生成用于引导所述载运工具的运动的控制信号；以及引擎，可操作以响应于来自所述控制器的控制信号而操纵所述载运工具。
在附图、具体实施方式和权利要求中更详细地描述了上述和其他方面及其实施方式。
附图说明
图1A示出了耦接到无人载运工具的示例性LIDAR系统。
图1B示出了具有表示周围物体的数据点的示例性点云数据集的可视化图。
图2A示出了根据本技术的一个或多个实施例的示例性物体跟踪系统的框图。
图2B示出了根据本技术的一个或多个实施例的物体跟踪器的示例性整体工作流程。
图3示出了物体识别的方法的示例性流程图。
图4示出了具有连接P’t,target和Pt,surrounding的边的示例性二分图。
图5示出了基于针对汽车收集的点云数据的Pt,surrounding到Pt-1,target的示例性映射。
图6示出了运动估计的方法的示例性流程图。
图7示出了针对沿X轴以7米/秒移动的目标物体的示例性多维高斯分布模型。
图8示出了对目标物体的模型进行优化以使运动模糊效应最小化的方法的示例性流程图。
具体实施方式
随着诸如无人载运工具之类的无人可移动物体的不断增加的使用，对它们来说重要的是能够独立地检测障碍物并且自动地进行避障操纵。由于光检测和测距(LIDAR)几乎可以在所有的天气条件下工作，所以LIDAR是一种可靠而稳定的检测技术。此外，与仅能够在两个维度上感测周围环境的传统图像传感器(例如，相机)不同，LIDAR可以通过检测深度来获得三维信息。然而，传统的LIDAR通常很昂贵，因为它们依赖于多通道、高速、高密度LIDAR发射器和传感器。这种LIDAR的成本加上具有足够的处理能力来处理密集数据的成本，使得传统LIDAR系统的价格令人生畏。该专利文件描述了用于利用多个低成本的单通道线性LIDAR发射器和传感器对来实现无人载运工具的多物体跟踪的技术和方法。所公开的技术能够以低得多的数据密度(例如，传统方法中的数据密度的大约1/10)来实现多物体跟踪，同时保持物体跟踪的类似精度和稳健性。
在以下描述中，仅出于说明性目的，使用无人载运工具的示例来说明可以使用比传统LIDAR更具成本效益的LIDAR物体跟踪系统来实现的各种技术。例如，即使结合所述技术介绍的一个或多个附图示出了无人汽车，但在其他实施例中，所述技术可以以类似的方式适用于其他类型的可移动物体，包括但不限于：无人航空载运工具、手持式设备、或机器人。在另一示例中，即使所述技术特别适用于由LIDAR系统中的激光二极管产生的激光束，其他类型的物体距离传感器(例如飞行时间相机)的扫描结果也可以是适用的。
在下文中，阐述了许多具体细节以提供对当前所公开的技术的透彻理解。在一些情况下，没有详细描述众所周知的特征以避免不必要地模糊本公开。在本说明书中对“实施例”、“一个实施例”等的引用表示所描述的特定特征、结构、材料或特性被包括在本公开的至少一个实施例中。因此，本说明书中这些短语的出现不一定都指代相同的实施例。另一方面，这样的引用也不一定是相互排斥的。此外，可以在一个或多个实施例中通过任何合适的方式来组合特定特征、结构、材料或特性。此外，应该理解，附图中示出的各种实施例仅仅是说明性的表示，并且不一定按比例绘制。
在该专利文件中，词语“示例性”被用来表示用作示例、实例或说明。本文中描述为“示例性”的任何实施例或设计不必解释为相比其他实施例或设计优选或者有利。相反，词语“示例性”的使用旨在以具体的方式来呈现概念。
概述
图1A示出了耦接到无人载运工具101的示例性LIDAR系统。在该配置中，无人载运工具101配备有四个LIDAR发射器和传感器对。LIDAR发射器103耦接到无人载运工具101以发射光信号(例如，脉冲激光)。然后，在光信号被诸如物体105之类的周围物体反射之后，LIDAR传感器107检测所反射的光信号，并测量光被发射时与所反射的光被检测到时之间所经过的时间。可以基于时间差和所估计的光速来计算到周围物体105的距离D，例如“距离＝(光速×飞行时间)/2”。利用诸如发射光的角度之类的附加信息，可以通过LIDAR系统获得周围环境的三维(3D)信息。
周围环境的3D信息通常以点云的格式被存储为数据，其中点云是表示周围物体在所选坐标系中的实际位置的一组数据点。图1B示出了由无人载运工具使用根据本技术的一个或多个实施例的LIDAR物体跟踪系统收集的点云格式的示例性数据集的可视化图。点云中的数据点表示周围物体的3D信息。例如，由LIDAR发射器和传感器对获得的点的子集102指示汽车的表面点的实际位置。由LIDAR发射器和传感器对获得的点的另一子集104指示建筑物的表面点的实际位置。相比于多通道、高速和高密度LIDAR，多个单通道线性LIDAR发射器和传感器对的使用产生更加稀疏的点云数据集。例如，传统的Velodyne LIDAR系统包括能够每秒检测220万个点的64通道发射器和传感器对。来自四个到六个单通道线性LIDAR发射器和传感器对的点云数据的数据密度仅为每秒大约20万个点。较低的数据密度允许用于实时物体跟踪应用的更大的灵活性，但需要改进的技术来处理稀疏点云数据，以便实现物体跟踪的相同水平的稳健性和精确性。
图2A示出了根据本技术的一个或多个实施例的示例性物体跟踪系统的框图。如上所述，物体跟踪系统能够在给定的点云数据的低数据密度下进行稳健的物体跟踪。如图2A所示，物体跟踪系统200包括多个LIDAR发射器和传感器对201。发射器和传感器对201首先向周围环境发射光信号，并且然后获得对应的3D信息。物体跟踪系统200可以可选地包括相机阵列203。可以将来自相机阵列203的输入添加到点云以补充每个数据点的颜色信息。附加的颜色信息可以产生更好的运动估计。
然后将周围环境的3D信息转发到分割模块中，以将数据点分组成各种组，每个组对应于一个周围物体。点云以及分割的结果(即，组)被反馈到物体跟踪器207中。物体跟踪器207可操作用于：基于周围物体的点云来构建目标物体的模型，针对目标物体计算运动估计，以及对模型执行优化以使运动模糊效应最小化。表1和图2B示出了根据本技术的一个或多个实施例的物体跟踪器207的示例性整体工作流程。例如，在时间t，对物体跟踪器207的、被表示为St的输入包括周围物体的点云数据和来自分割模块205的对应组两者。基于输入St，物体跟踪器207针对一组目标物体构建点云模型Pt,target。物体跟踪器207还针对这些目标物体估计相应的运动Mt,target。在一些实施例中，目标物体的运动估计M包括平移和旋转两者，并且可以被表示为M＝{x,y,z,roll,pitch,yaw}。
当物体跟踪器207初始化时，它具有零个目标物体。给定一些初始输入数据，它首先识别被视为静态的、初始运动估计为Minit＝{0}的目标物体。在从分割模块205接收到后续输入St后，物体跟踪器207执行物体识别、运动估计和优化，以获得目标物体的时间t的更新后的模型Pt,target。因为来自LIDAR发射器-传感器对的输入数据密度相对较低，所以在St中可能存在不能映射到任何目标物体的未识别的数据点。可以将这种未识别的数据点反馈给分割模块205，以在下一个时间t+1进行进一步的分割。
物体跟踪器207可以包括用于完成表1中所示的主要步骤的三个单独的组件：执行物体识别的物体识别器211、执行运动估计的运动估计器213，以及优化目标物体的模型的优化器215。可以在被专门编程、配置或构造用于执行相应的功能的专用计算机或数据处理器中实现这些组件。备选地，也可以在专用计算机或处理器中实现执行所有这些功能的集成组件。关于物体识别器211、运动估计器213和优化器215的功能的细节将结合图3至图8进一步详细描述。
然后，控制系统209使用物体跟踪器207的输出(其包括目标物体的模型和对应的运动估计)来促进关于无人载运工具的操纵的决策制定，以避开障碍物以及实施自适应巡航和/或航道切换。
表1：物体跟踪器的示例性工作流程
物体识别
图3示出了物体识别的方法300的示例性流程图。在302处，实现方法300的物体识别器211首先基于时间t-1处的运动估计Mt-1,target来计算时间t处的目标物体P’t,target的预测位置：
P′t，target＝Mt-1，target*Pt-1，target 式(1)
在304处，可以基于目标物体P’t,target的预测位置和周围物体Pt,surrounding的实际位置，使用成本函数F来评估目标物体与周围物体之间的相似度函数ω：
ωtarget，surroundiang＝F(P′t，target，Pt，surrounding) 式(2)
成本函数F可以被设计为适应具体的情况。例如，F可以简单地是两个点云P’t,target和Pt,surrounding的中心距离，或者是由P’t,target和Pt,surrounding两者共同占据的体素的数量。在一些实施例中，成本函数F(P,Q)可以定义为：
F(P，Q)＝∑p∈P||p-q||2, 式(3)
其中p是点云P中的点，并且q是点云Q中距离点p最近的点。成本函数F还可以包括由如图2所示的相机阵列203提供的每个点数据的颜色信息。颜色信息可以是用于指示每个点的亮度的灰度值。颜色信息也可以是针对每个点的在特定颜色空间中定义的3通道值(例如，RGB或YUV值)。
给定成本函数F，可以在306处针对P’t,target和Pt,surrounding中包含的所有点来构建二分图。图4示出了具有连接P’t,target和Pt,surrounding的边的示例性二分图。向图中的每个边给出了使用成本函数F计算的权重。在308处，可以使用诸如Kuhn-Munkres(KM)算法之类的算法来求解二分图。
可以针对目标物体中的所有点和周围物体中的所有点来构建完全二分图。然而，求解完全二分图的计算复杂度是O(n^3)，其中n是物体的数量。当场景中存在大量物体时，性能可能受到很大影响。为了确保实时性能，可以使用目标物体的位置信息来识别完全二分图的子图。这基于以下假设：目标物体不太可能在时间t-1与t之间经历明显的移动。其表面点可能位于点云数据集内的相对小的范围内。由于数据点的这种局部性，完全二分图可以被划分为子图。可以使用诸如KM算法之类的算法顺序地或并行地求解每个子图。
在求解二分图(或子图)之后，物体跟踪器在310处获得周围物体Pt,surrounding到目标物体Pt-1,target的映射。在一些情况下，在求解二分图或子图之后，并非时间t-1处的所有的目标物体都映射到Pt,surrounding中的物体。当一个物体暂时被另一个物体遮挡并且变得对LIDAR跟踪系统不可见时，可能发生这种情况。例如，在时间t处，物体跟踪器无法针对目标物体A在Pt,surrounding内找到对应组。物体跟踪器认为目标物体A仍然可用并且向目标物体A分配默认运动估计Mdefault。物体跟踪器使用Mdefault来进一步更新物体A的模型：Pt,A＝Mdefault*Pt-1,A。一旦物体变得再次可见，系统就将继续跟踪该物体的位置。另一方面，如果物体跟踪器在预定的时间量(例如1秒)内连续地未能将任何周围物体映射到目标物体A，则物体跟踪器认为目标物体A丢失，如同它已经永久地移出LIDAR发射器-传感器对的感测范围。然后，物体跟踪器从模型中删除该特定的目标物体。
在一些情况下，并非输入中的所有周围物体Pt,surrounding都可以被映射到对应的目标物体。例如，物体跟踪器无法将St中的表示周围物体B的一组点Bp映射到任何目标物体Pt-1,target。为了确定该组点Bp是否是物体B的良好表示，物体跟踪器基于Bp中的点的量以及从B到LIDAR发射器-传感器对的距离来评估Bp的点密度。例如，如果物体B接近LIDAR发射器-传感器对，则物体跟踪器需要Bp中的更多数据点来充分表示物体B。另一方面，如果物体B远离LIDAR发射器-传感器对，则即使Bp中的少量的数据点也可能足以作为物体B的良好表示。当密度低于预定阈值时，物体跟踪器207将数据点反馈给分割模块205，以便在时间t+1处进行进一步的分割。另一方面，如果该组数据点具有足够的密度并且在输入数据集中存在的时间长于预定的时间量(例如1秒)，则物体跟踪器207将该组点视为新的目标物体，并且相应地初始化其状态。
运动估计
在物体识别之后，物体跟踪器现在获得Pt,surrounding到Pt-1,target的映射。图5示出了基于针对汽车收集的点云数据的Pt,surrounding到Pt-1,target的示例性映射。在时间t-1处将汽车的目标模型Pt-1,target示为501，而在时间t处将汽车的周围模型Pt,surrounding示为503。
基于Pt-1,target和Pt,surrounding，物体跟踪器可以针对时间t计算运动估计Mt,target。图6示出了运动估计的方法600的示例性流程图。因为预期目标物体的运动在时间t-1与时间t之间不会发生显著变化，所以运动估计Mt,target可以被视为受到Mt-1,target的约束。因此，在602处，实现方法600的运动估计器213可以使用Mt-1,target作为在先约束来构建Mt,target的模型。在一些实施例中，通过如下定义的约束函数T来构建多维高斯分布模型：
约束函数T可以描述目标物体的匀速的运动、加速度和旋转。例如，图7示出了针对沿X轴以7米/秒的匀速运动移动的目标物体的示例性多维高斯分布模型。
在运动估计器213基于Mt-1,target构建模型之后，运动估计问题实质上可以被描述为求解如下定义的优化问题：
其中λ是平衡成本函数F与约束函数T的参数。因为该优化问题是高度约束的，所以运动估计器213可以在604处使用约束函数T作为边界来对高斯分布模型的搜索进行离散化。然后将该优化问题转换成对Mt的搜索问题。然后在606处，运动估计器213在由离散化域定义的搜索空间内搜索Mt，该Mt使下式最小化：
F(Mt*Pt-1，Pt)+λT(Mt，Mt-1)。 式(6)
在一些实施例中，运动估计器213可以基于数据点的密度自适应地改变离散化步长。例如，如果物体C更接近LIDAR发射器-传感器对，则运动估计器213使用密集离散化搜索方案，以便实现估计结果的更高的准确度。另一方面，如果物体D更远离LIDAR发射器-传感器对，则可以使用更大的离散化步长以得到更好的搜索效率。因为评估式(5)对于每个离散化步骤来说是相互独立的，所以在一些实施例中，在多核处理器(例如图形处理单元(GPU))上并行地执行搜索，以增加搜索速度并促进实时物体跟踪响应。
最后，在离散化模型中找到Mt,target之后，在608处，运动估计器213基于新找到的运动估计来更新目标物体的点云模型：
Pt,target＝Mt,target*Pt-1,target 式(7)
优化
因为一些目标物体以非常快的速度移动，所以在这些目标物体的模型中可能存在物理失真，例如运动模糊。低成本单通道线性LIDAR发射器和传感器对的使用可能使这个问题恶化，因为由于由这些LIDAR感测的数据密度较低，因此期望具有更长的累积时间来累积足够的数据点以进行物体分类和跟踪。然而，更长的累积时间意味着在输入数据集中遭受物理失真的可能性更高。可以实现优化器215，以减小或去除这些目标物体的模型中的物理失真，并且提高用于物体跟踪的数据准确度。
图8示出了优化目标物体的模型以减小或去除物理失真的方法的示例性流程图。当由LIDAR发射器和传感器对感测点云数据集时，St(并且因此Pt,surrounding)中的每个点与时间戳相关联。在物体识别器211获得Pt,surrounding与Pt-1,target的映射之后，可以将该时间戳分配给目标物体模型Pt-1,target中的对应点，并且在运动估计器213使用Pt-1,target更新Pt,target之后可以进一步将该时间戳分配给Pt,target中的对应点。
例如，对于特定点物体E(即，仅具有一个点的物体)，在t-1与t之间的时间Δt期间收集n个输入数据点ρ0,ρ1,…,ρn-1∈Pt,surrounding。数据点与被定义为ti＝t–(n-i)*Δt的时间戳相关联，其中Δt由LIDAR发射器和传感器对的感测频率确定。随后，将这些数据点映射到Pt-1,target。当物体跟踪器针对时间t更新模型Pt,target时，将ρ0,ρ1,…,ρn-1的时间戳分配给模型Pt,target中的对应点。上述多个输入数据点导致Pt,target中的点物体D的物理失真。
在针对时间t的、相对于LIDAR系统的运动估计Mt,target已知之后，可以使用Mt,target和LIDAR系统的速度来获得目标的绝对估计运动M_absolutet,target。在一些实施例中，可以使用惯性测量单元(IMU)来测量LIDAR系统的速度。然后，在802处，优化器215检查目标物体Pt,target中的每个点的时间戳。例如，对于点物体E，累积的点云数据(具有物理失真)可以被定义为：
然而，期望的点云数据(没有物理失真)可以被定义为：
其中M_absolute’ti是时间ti处的每个数据点ρi的调整后的运动估计。然后，在804处，优化器215基于每个点的时间戳来计算调整后的运动估计。
存在用于获得调整后的运动估计M_absolute’ti的若干种方法。在一些实施例中，可以通过评估M_absolutet,target在不同的时间戳下计算M_absolute’ti。例如，给定M_absolutet,target，可以计算目标物体的速度Vt,target。因此，可以基于M_absolutet,target和(n-i)*Δt*Vt,target来计算M_absolute’ti。备选地，可以求解如下定义的不同的优化问题以获得M_absolute’ti：
argminM F′(ρ)+λo||M-M′||2 式(10)
其中可以以多种方式来定义F’，例如ρ占据的体素的数量。可以应用如上所述的类似的离散化搜索方法来寻找M'的解。
最后，在基于时间戳调整运动估计之后，在806处，优化器315将调整后的运动估计应用于对应的数据点，以获得具有减小的物理失真的模型。
因此，显而易见的是，在所公开的技术的一个方面，提供了一种基于光检测和测距(LIDAR)的物体跟踪系统。所述系统包括多个光发射器和传感器对。所述多个光发射器和传感器对中的每一对可操作以获得指示周围物体的实际位置的数据。通过分割模块将所述数据分组成多个组，每个组对应于所述周围物体之一。所述系统还包括物体跟踪器，被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体计算运动估计，以及(3)基于由所述物体跟踪器确定数据子集无法映射到模型中的对应的目标物体，将所述数据子集反馈给所述分割模块，用于进行进一步的分类。
在一些实施例中，所述物体跟踪器包括物体识别器，所述物体识别器(1)基于多个目标物体中的一个目标物体的运动估计来计算所述目标物体的预测位置，以及(2)识别所述多个组中与所述目标物体匹配的对应组。所述物体跟踪器还包括运动估计器，所述运动估计器通过找到一组平移和旋转值来更新所述目标物体的运动估计，其中在将所述一组平移和旋转值应用于所述目标物体之后，产生所述目标物体的预测位置与所述对应组的实际位置之间的最小差异，其中，所述运动估计器还使用所述运动估计来更新所述目标物体的模型。所述物体跟踪器还包括优化器，所述优化器通过调整所述运动估计来修改所述目标物体的模型，以减小或去除所述目标物体的模型的物理失真。
在一些实施例中，所述物体识别器通过评估成本函数来识别所述对应组，所述成本函数由所述目标物体的预测位置与所述多个组中的一个组的实际位置之间的距离来定义。
在一些实施例中，所述物体跟踪系统还包括耦接到所述多个光发射器和传感器对的相机阵列。所述成本函数还由所述目标物体与所述组之间的色差来定义，所述色差由通过所述相机阵列捕获的颜色信息来确定。所述颜色信息包括预定颜色空间中的单分量值或三分量值。
在一些实施例中，所述物体识别器基于对所述成本函数的完全二分图进行求解来识别所述对应组。在求解所述完全二分图时，所述物体识别器可以基于所述目标物体的位置信息将所述完全二分图划分成多个子图。所述物体识别器可以基于Kuhn-Munkres算法来求解所述多个子图。
在一些实施例中，响应于确定目标物体在不长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，所述物体识别器向所述目标物体分配匀速的运动估计。响应于确定目标物体在长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，所述物体识别器从所述模型中去除所述目标物体。
在一些实施例中，响应于确定所述数据子集无法映射到任何目标物体，所述物体识别器评估所述子集中的数据的密度，当所述密度高于预定阈值时，将所述子集作为新的目标物体添加到所述模型中，以及当所述密度低于所述预定阈值时，将所述子集反馈给所述分割模块,以进行进一步的分类。
在一些实施例中，所述运动估计器基于给定目标物体的一组预定的基于物理的约束来实施高斯运动模型的离散化搜索，以计算所述运动估计。所述系统还可以包括多核处理器，其中,所述运动估计器利用所述多核处理器来并行地实施所述高斯运动模型的离散化搜索。在一些实施例中，所述优化器通过将一个或多个调整后的运动估计应用于所述目标物体的模型来修改所述模型。
在所公开的技术的另一方面，公开了一种用于控制无人可移动物体的微控制器系统。所述系统包括处理器，其被配置为实现实时或近实时地跟踪物体的方法。所述方法包括接收指示周围物体的实际位置的数据。通过分割模块将所述实际位置分类成多个组，并且所述多个组中的每个组对应于所述周围物体之一。所述方法还包括基于所述多个组来获得多个目标物体的多个模型；针对每个目标物体估计运动矩阵；使用每个目标物体的运动矩阵来更新模型；以及通过以下方式来优化所述模型：修改每个目标物体的模型，以去除或减小目标物体的模型的物理失真。
在一些实施例中，获得多个目标物体的多个模型包括针对每个目标物体计算预测位置；以及基于所预测的点位置，识别所述多个组中的映射到多个目标物体中的一个目标物体的对应组。识别所述对应组可以包括评估成本函数，所述成本函数由所述目标物体的预测位置与所述多个组中的一个组的实际位置之间的距离来定义。
在一些实施例中，所述系统还包括耦接到多个光发射器和传感器对的相机阵列。所述成本函数还由所述目标物体与所述组之间的色差来定义，所述色差由通过相机阵列捕获的颜色信息来确定。所述颜色信息可以包括预定颜色空间中的单分量值或三分量值。
在一些实施例中，所述识别包括求解所述成本函数的完全二分图。在求解所述完全二分图时，所述处理器基于所述目标物体的位置信息将所述完全二分图划分成多个子图。所述处理器可以使用Kuhn-Munkres算法来求解所述多个子图。
在一些实施例中，所述识别包括：响应于确定目标物体在短于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，向所述目标物体分配匀速的运动矩阵。所述识别可以包括：响应于确定目标物体在长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，从所述模型中去除所述目标物体。所述识别还可以包括：响应于确定所述数据的子集无法映射到任何目标物体，评估所述子集中的数据的密度，当所述密度高于预定阈值时，添加所述子集作为新的目标物体，以及当所述密度低于所述预定阈值时，将所述子集反馈给所述分割模块,以进行进一步的分类。
在一些实施例中，所述估计包括基于一组在先约束来实施高斯运动模型的离散化搜索以估计所述运动矩阵，其中，基于每个目标物体到所述微控制器系统的距离来自适应地确定所述离散化搜索的步长。所述实施包括将所述高斯运动模型的离散化搜索细分成子搜索，以及在多核处理器上并行地实施所述子搜索。
在一些实施例中，所述优化包括评估每个目标物体的速度，以及基于所述评估确定是否将一个或多个调整后的运动矩阵应用于所述目标物体以去除或减小所述模型的物理失真。
在所公开的技术的又一方面，公开了一种无人设备。所述无人设备包括：如上所述的基于光检测和测距(LIDAR)的物体跟踪系统；控制器，可操作以响应于来自实时物体跟踪系统的输出而生成用于引导载运工具的运动的控制信号；以及引擎，可操作以响应于来自所述控制器的控制信号而操纵所述载运工具。
在方法或过程的一般上下文中描述了本文中所描述的一些实施例，所述方法或过程可以在一个实施例中由以计算机可读介质体现的计算机程序产品来实现，所述计算机可读介质包含由联网环境中的计算机执行的诸如程序代码之类的计算机可执行指令。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于只读存储器ROM、随机存取存储器RAM、紧凑盘CD、数字通用盘DVD等。因此，计算机可读介质可以包括非暂时性存储介质。一般地，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机或处理器可执行指令、相关联的数据结构和程序模块表示用于执行本文中所公开的方法的步骤的程序代码的示例。这些可执行指令或相关联的数据结构的特定序列表示用于实现这些步骤或过程中所描述的功能的对应动作的示例。
可以使用硬件电路、软件或其组合将一些所公开的实施例实现为设备或模块。例如，硬件电路实现可以包括例如作为印刷电路板的一部分集成的分立模拟和/或数字组件。备选地或附加地，可以将所公开的组件或模块实现为专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)器件。一些实施方式可以附加地或备选地包括作为专用微处理器的数字信号处理器(DSP)，所述专用微处理器具有针对与本申请的所公开功能相关联的数字信号处理的操作需求而优化的架构。类似地，每个模块内的各种组件或子组件可以以软件、硬件或固件来实现。可以使用本领域中已知的连接方法和媒体中的任何一种来提供模块之间和/或模块内的组件之间的连接，包括但不限于使用适当的协议通过因特网、有线或无线网络的通信。
虽然本专利文件包含许多细节，但是这些不应该被解释为对任何发明或可以要求保护的内容的范围的限制，而是作为可以特定于特定发明的特定实施例的特征的描述。在本专利文件中在分开的实施例的上下文中描述的特定特征也可以以组合的形式实现在单个实施例中。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开地实现或以任何合适的子组合的方式实现。此外，尽管特征可以在上面描述为在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。
类似地，尽管在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以示出的特定顺序或以顺序次序执行，或者需要执行所有示出的操作来实现期望的结果。此外，在本专利文件中描述的实施例中的各种系统组件的分离不应被理解为在所有实施例中都要求如此分离。
仅描述了一些实施方式和示例，并且可以基于本专利文件中描述和示出的内容来产生其他实施方式、增强和变化。

Claims (31)

1.一种基于光检测和测距LIDAR的物体跟踪系统，包括：
多个光发射器和传感器对，其中，所述多个光发射器和传感器对中的每一对可操作以获得指示周围物体的实际位置的数据，其中，所述数据被分割模块分组成多个组，每个组对应于所述周围物体之一；以及
物体跟踪器，被配置为(1)基于所述多个组来构建多个目标物体的多个模型，(2)针对每个目标物体计算运动估计，以及(3)基于由所述物体跟踪器确定数据子集无法映射到所述模型中的对应的目标物体，将所述数据子集反馈给所述分割模块，用于进行进一步的分组。
2.根据权利要求1所述的物体跟踪系统，其中，所述物体跟踪器包括：
物体识别器，所述物体识别器(1)基于多个目标物体中的一个目标物体的运动估计来计算所述目标物体的预测位置，以及(2)识别所述多个组中的与所述目标物体匹配的对应组；
运动估计器，所述运动估计器通过找到一组平移和旋转值来更新所述目标物体的运动估计，其中在将所述一组平移和旋转值应用于所述目标物体之后，产生所述目标物体的预测位置与所述对应组的实际位置之间的最小差异，其中，所述运动估计器还使用所述运动估计来更新所述目标物体的模型；以及
优化器，所述优化器通过调整所述运动估计来修改所述目标物体的模型，以减小或去除所述目标物体的模型的物理失真。
3.根据权利要求2所述的物体跟踪系统，其中，所述物体识别器通过评估成本函数来识别所述对应组，所述成本函数由所述目标物体的预测位置与所述多个组中的一个组的实际位置之间的距离来定义。
4.根据权利要求3所述的物体跟踪系统，还包括相机阵列，所述相机阵列耦接到所述多个光发射器和传感器对，其中，所述成本函数还由所述目标物体与所述组之间的色差来定义，所述色差由通过所述相机阵列捕获的颜色信息来确定。
5.根据权利要求4所述的物体跟踪系统，其中，所述颜色信息包括预定颜色空间中的单分量值或三分量值。
6.根据权利要求3所述的物体跟踪系统，其中，所述物体识别器基于对所述成本函数的完全二分图进行求解来识别所述对应组。
7.根据权利要求6所述的物体跟踪系统，其中，在求解所述完全二分图时，所述物体识别器基于所述目标物体的位置信息将所述完全二分图划分成多个子图。
8.根据权利要求7所述的物体跟踪系统，其中，所述物体识别器基于Kuhn-Munkres算法来求解所述多个子图。
9.根据权利要求2所述的物体跟踪系统，其中，响应于确定目标物体在不长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，所述物体识别器向所述目标物体分配匀速的运动估计。
10.根据权利要求2所述的物体跟踪系统，其中，响应于确定目标物体在长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，所述物体识别器从所述模型中去除所述目标物体。
11.根据权利要求2所述的物体跟踪系统，其中，响应于确定所述数据子集无法映射到任何目标物体，所述物体识别器评估所述子集中的数据的密度，
当所述密度高于预定阈值时，将所述子集作为新的目标物体添加到所述模型中，以及
当所述密度低于所述预定阈值时，反馈所述子集以进行进一步的分组。
12.根据权利要求2所述的物体跟踪系统，其中，所述运动估计器基于给定目标物体的一组预定的基于物理的约束来实施高斯运动模型的离散化搜索，以计算所述运动估计。
13.根据权利要求12所述的物体跟踪系统，还包括多核处理器，其中，所述运动估计器利用所述多核处理器来并行地实施所述高斯运动模型的离散化搜索。
14.根据权利要求2所述的物体跟踪系统，其中，所述优化器通过将一个或多个调整后的运动估计应用于所述目标物体的模型来修改所述模型。
15.一种用于控制无人可移动物体的微控制器系统，所述系统包括被配置为实现实时或近实时地跟踪物体的方法的处理器，所述方法包括：
接收指示周围物体的实际位置的数据，其中，通过分割模块将所述实际位置分类成多个组，所述多个组中的每个组对应于所述周围物体之一；
基于所述多个组来获得多个目标物体的多个模型；
针对每个目标物体估计运动矩阵；
使用每个目标物体的运动矩阵来更新所述模型；以及
通过以下方式来优化所述模型：修改每个目标物体的模型，以去除或减小目标物体的模型的物理失真。
16.根据权利要求15所述的系统，其中，获得多个目标物体的多个模型包括：
针对每个目标物体计算预测位置；以及
基于所预测的点位置，识别所述多个组中的映射到多个目标物体中的一个目标物体的对应组。
17.根据权利要求16所述的系统，其中，识别所述对应组包括评估成本函数，所述成本函数由所述目标物体的预测位置与所述多个组中的一个组的实际位置之间的距离来定义。
18.根据权利要求17所述的系统，还包括相机阵列，所述相机阵列耦接到多个光发射器和传感器对，其中，所述成本函数还由所述目标物体与所述组之间的色差来定义，所述色差由通过相机阵列捕获的颜色信息来确定。
19.根据权利要求18所述的系统，其中，所述颜色信息包括预定颜色空间中的单分量值或三分量值。
20.根据权利要求17所述的系统，其中所述识别包括求解所述成本函数的完全二分图。
21.根据权利要求20所述的系统，其中，在求解所述完全二分图时，所述处理器基于所述目标物体的位置信息将所述完全二分图划分成多个子图。
22.根据权利要求21所述的系统，其中，所述处理器使用Kuhn-Munkres算法来求解所述多个子图。
23.根据权利要求16所述的系统，其中，所述识别包括：响应于确定目标物体在短于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，向所述目标物体分配匀速的运动矩阵。
24.根据权利要求16所述的系统，其中，所述识别包括：响应于确定目标物体在长于预定阈值的时间量内无法映射到所述周围物体的任何实际位置，从所述模型中去除所述目标物体。
25.根据权利要求16所述的系统，其中，所述识别包括：响应于确定所述数据的子集无法映射到任何目标物体，评估所述子集中的数据的密度，
如果所述密度高于预定阈值，则添加所述子集作为新的目标物体，以及
基于确定所述密度低于所述预定阈值，将所述子集反馈给所述分割模块，用于进行进一步的分类。
26.根据权利要求15所述的系统，其中，所述估计包括：
基于一组在先约束来实施高斯运动模型的离散化搜索以估计所述运动矩阵，其中，基于每个目标物体到所述微控制器系统的距离来自适应地确定所述离散化搜索的步长。
27.根据权利要求26所述的系统，其中，所述实施包括将所述高斯运动模型的离散化搜索细分成子搜索，以及在多核处理器上并行地实施所述子搜索。
28.根据权利要求15所述的系统，其中，所述优化包括：
评估每个目标物体的速度，以及
基于所述评估确定是否将一个或多个调整后的运动矩阵应用于所述目标物体以去除或减小所述模型的物理失真。
29.根据权利要求15所述的系统，其中，所述优化包括：
针对每个目标物体的模型中的多个点中的每个点，评估所述点的时间戳；
针对所述多个点的子集中的每个点，基于对所述时间戳的评估来获得调整后的运动矩阵；以及
将调整后的运动矩阵应用于所述多个点的子集中的每个点以修改所述模型。
30.根据权利要求29所述的系统，其中，获得调整后的运动矩阵包括求解考虑所述运动矩阵与调整后的运动矩阵之间的差异的优化问题。
31.一种无人设备，包括：
根据权利要求1所述的基于光检测和测距LIDAR的物体跟踪系统，
控制器，可操作以响应于来自实时物体跟踪系统的输出而生成用于引导载运工具的运动的控制信号，以及
引擎，可操作以响应于来自所述控制器的控制信号而操纵所述载运工具。
CN201780083373.1A 2017-04-28 2017-11-10 基于lidar点云的多物体跟踪 Pending CN110235027A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2017/082601 2017-04-28
PCT/CN2017/082601 WO2018195996A1 (en) 2017-04-28 2017-04-28 Multi-object tracking based on lidar point cloud
PCT/CN2017/110534 WO2018196336A1 (en) 2017-04-28 2017-11-10 Multi-object tracking based on lidar point cloud

Publications (1)

Publication Number Publication Date
CN110235027A true CN110235027A (zh) 2019-09-13

Family

ID=63919340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083373.1A Pending CN110235027A (zh) 2017-04-28 2017-11-10 基于lidar点云的多物体跟踪

Country Status (4)

Country Link
US (1) US20200057160A1 (zh)
EP (1) EP3615960A4 (zh)
CN (1) CN110235027A (zh)
WO (2) WO2018195996A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061850A1 (zh) * 2020-09-28 2022-03-31 深圳市大疆创新科技有限公司 点云运动畸变修正方法和装置
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245469B2 (en) * 2017-07-27 2022-02-08 The Regents Of The University Of Michigan Line-of-sight optical communication for vehicle-to-vehicle (v2v) and vehicle-to-infrastructure (v2i) mobile communication networks
DK180562B1 (en) 2019-01-31 2021-06-28 Motional Ad Llc Merging data from multiple lidar devices
US10829114B2 (en) * 2019-02-06 2020-11-10 Ford Global Technologies, Llc Vehicle target tracking
US11119215B2 (en) * 2020-01-06 2021-09-14 Outsight SA Multi-spectral LIDAR object tracking
KR20210114792A (ko) * 2020-03-11 2021-09-24 현대자동차주식회사 라이다 센서 기반의 객체 추적 장치 및 그 방법
EP3916656A1 (en) 2020-05-27 2021-12-01 Mettler-Toledo GmbH Method and apparatus for tracking, damage detection and classi-fication of a shipping object using 3d scanning
WO2024095180A1 (en) * 2022-11-01 2024-05-10 Digantara Research And Technologies Private Limited Object tracker and method thereof

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
CN102460563A (zh) * 2009-05-27 2012-05-16 美国亚德诺半导体公司 使用位置敏感检测器的位置测量系统
CN102463990A (zh) * 2010-11-09 2012-05-23 通用汽车环球科技运作有限责任公司 用于跟踪物体的系统和方法
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
CN104035439A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络
CN104811683A (zh) * 2014-01-24 2015-07-29 三星泰科威株式会社 用于估计位置的方法和设备
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
US20160259038A1 (en) * 2015-03-05 2016-09-08 Facet Technology Corp. Methods and Apparatus for Increased Precision and Improved Range in a Multiple Detector LiDAR Array
CN106144797A (zh) * 2015-04-03 2016-11-23 奥的斯电梯公司 用于乘客运输的通行列表产生

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US10545229B2 (en) * 2016-04-22 2020-01-28 Huawei Technologies Co., Ltd. Systems and methods for unified mapping of an environment
US10816654B2 (en) * 2016-04-22 2020-10-27 Huawei Technologies Co., Ltd. Systems and methods for radar-based localization

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102460563A (zh) * 2009-05-27 2012-05-16 美国亚德诺半导体公司 使用位置敏感检测器的位置测量系统
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
CN102463990A (zh) * 2010-11-09 2012-05-23 通用汽车环球科技运作有限责任公司 用于跟踪物体的系统和方法
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
CN104035439A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN104811683A (zh) * 2014-01-24 2015-07-29 三星泰科威株式会社 用于估计位置的方法和设备
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
CN105182358A (zh) * 2014-04-25 2015-12-23 谷歌公司 用于使用激光点云进行物体检测的方法和系统
US9164506B1 (en) * 2014-07-30 2015-10-20 SZ DJI Technology Co., Ltd Systems and methods for target tracking
CN105518555A (zh) * 2014-07-30 2016-04-20 深圳市大疆创新科技有限公司 目标追踪系统及方法
US20160259038A1 (en) * 2015-03-05 2016-09-08 Facet Technology Corp. Methods and Apparatus for Increased Precision and Improved Range in a Multiple Detector LiDAR Array
CN106144797A (zh) * 2015-04-03 2016-11-23 奥的斯电梯公司 用于乘客运输的通行列表产生

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061850A1 (zh) * 2020-09-28 2022-03-31 深圳市大疆创新科技有限公司 点云运动畸变修正方法和装置
CN114526748A (zh) * 2021-12-24 2022-05-24 重庆长安汽车股份有限公司 基于二分图的驾驶目标关联方法、系统、车辆及存储介质

Also Published As

Publication number Publication date
WO2018196336A1 (en) 2018-11-01
US20200057160A1 (en) 2020-02-20
EP3615960A1 (en) 2020-03-04
EP3615960A4 (en) 2021-03-03
WO2018195996A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
CN110235027A (zh) 基于lidar点云的多物体跟踪
US11714423B2 (en) Voxel based ground plane estimation and object segmentation
US11010921B2 (en) Distributed pose estimation
US11734472B2 (en) System and method for modeling physical objects in a simulation
US11798173B1 (en) Moving point detection
EP2671384B1 (en) Mobile camera localization using depth maps
US10565721B2 (en) Information processing device and information processing method for specifying target point of an object
Burgard et al. World modeling
CN102622762B (zh) 使用深度图的实时相机跟踪
CN102663722B (zh) 使用深度图像的活动对象分割
CN104641254B (zh) 使用射频信号的定位系统
CN108427438A (zh) 飞行环境检测方法、装置、电子设备及存储介质
CN109903367B (zh) 构建地图的方法、装置和计算机可读存储介质
KR20220009247A (ko) 라이다 및 레이다 신호를 기반으로 심층신경망 모델에 대한 입력 데이터를 구성하기 위한 방법
US20240077617A1 (en) Perception for point clouds
Hu Robot Indoor Text Contents Recognition Based on Visual SLAM
CN117911484A (zh) 一种通过自监督深度估计的单目bev感知方法
CN117232493A (zh) 针对slam的用于确定周围环境中的对象的方法
CN116358586A (zh) 定位和地图构建同步的方法、装置、介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190913