CN111045025B - 一种基于光检测和测距的车辆追踪方法和系统 - Google Patents

一种基于光检测和测距的车辆追踪方法和系统 Download PDF

Info

Publication number
CN111045025B
CN111045025B CN201910982460.1A CN201910982460A CN111045025B CN 111045025 B CN111045025 B CN 111045025B CN 201910982460 A CN201910982460 A CN 201910982460A CN 111045025 B CN111045025 B CN 111045025B
Authority
CN
China
Prior art keywords
clusters
points
point
cluster
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910982460.1A
Other languages
English (en)
Other versions
CN111045025A (zh
Inventor
梅雪
李辰阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tucson Ltd filed Critical Tucson Ltd
Publication of CN111045025A publication Critical patent/CN111045025A/zh
Application granted granted Critical
Publication of CN111045025B publication Critical patent/CN111045025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于LIDAR的车辆追踪方法，该方法是计算机装置执行至少一条指令实现的，至少一条指令包括在一个或多个程序中，一个或多个程序存储在一个非易失性计算机可读存储介质中，其特征在于，该方法被执行后包括如下步骤：使用之前多帧的车辆追踪信息和当前帧的空间信息，计算一个点簇对属于同一个车辆的概率；结合考虑空间信息和追踪信息，确定将点簇对中的两个点簇合并为一个点簇；将两个点簇合并为一个单独完整的点簇。

Description

一种基于光检测和测距的车辆追踪方法和系统
技术领域
本发明一般性地涉及自动驾驶领域，特别涉及一种基于光检测和测距(LIDAR)的车辆追踪方法和系统。
背景技术
智能车辆和自动驾驶车辆有希望成为提高道路安全、解决交通问题和提高乘客舒适性的解决方案。车辆追踪是道路车辆面临的复杂且具挑战性的众多任务中的其中之一。在许多驾驶员辅助系统或者自动驾驶车辆中，车辆追踪起到重要的作用。车辆追踪系统追踪本车在周围环境中的位置和运动车辆的形状，并且提供用于车辆路径规划的重要信息。
发明内容
本实施例的各种对象、特征、方面和优点将从本实施例的下列实施例的详细描述以及附图中变得更加明显，附图中相同的数字表示相同的部件。
本公开的一些实施例提供了一种基于LIDAR的车辆追踪方法，用于在一个非易失性存储介质中存储一个或多个程序。一个或多个程序包括多条指令，这些指令被一个计算机设备执行后使得该计算机设备执行如下的步骤，包括：使用之前多帧的车辆追踪信息和当前帧的空间信息，计算一个点簇对属于同一个车辆的概率；结合考虑空间信息和追踪信息，确定将点簇对中的两个点簇合并为一个点簇；将两个点簇合并为一个单独完整的点簇。
在一个实施例中，计算一个点簇对属于同一个车辆进一步包括：通过一个点簇对的相对位置和形状计算该点簇对属于同一个车辆的概率。
在另一个实施例中，计算一个点簇对属于同一个车辆的概率进一步包括：通过一个点簇对与已追踪车辆的一致性程度来计算该点簇对属于同一个车辆的概率。
在另一个实施例中，在计算一个点簇对属于同一个车辆的概率之前，进一步包括：基于GPS和地图获取可行驶道路位置的信息；去除掉不在可行驶道路上的点簇。
在另一个实施例中，在计算一个点簇对属于同一个车辆的概率之前，进一步包括：将一个点云中的数据点分割为多个点簇。
在另一个实施例中，该方法进一步包括：扫描全部的点簇对；将概率高于一个预设阈值的点簇对合并为一个单独的点簇。
本公开的一些实施例提供了基于LIDAR的车辆追踪系统。该系统包括一个互联网服务器，包括：一个输入输出端口，用于与一个用户端装置进行电子信号的发送和接收；一个存储器；一个或多个处理单元；以及，在存储器中存储有可被一个或多个处理单元执行的一个或多个程序，该一个或多个程序包括实现多条指令，多条指令被一个或多个处理单元执行后实现：使用之前多帧的车辆追踪信息和当前帧的空间信息，计算一个点簇对属于同一个车辆的概率；结合考虑空间信息和追踪信息，确定将点簇对中的两个点簇合并为一个点簇；将两个点簇合并为一个单独完整的点簇。
附图说明
应该注意的是，附图可能是简化的形式，也可能不具有精确的比例。在本公开中，仅为方便和清楚起见，在附图中使用了诸如顶部、底部、左侧、右侧、向上、向下、上方、上方、下方、下方、后方、前方、远端和近端等方向术语。这些指示性术语不应被解释为以任何方式限制实施例的范围。
图1示出了根据本申请一些实施例的基于LIDAR的车辆追踪方法的流程图；
图2示出了根据本申请一些实施例的将点云数据中的数据点分割为点簇的方法的流程图；
图3A示出了根据本申请一些实施例的对多个点簇进行分组的方法的流程图；
图3B示出了根据本申请一些实施例的计算点簇对的概率的方法的流程图；
图4示出了根据本申请一些实施例的对多个点簇进行合并的方法的流程图；
图5示出了根据本申请一些实施例的追踪和建模的方法的流程图；
图6示出了根据本申请一些实施例的基于LIDAR的车辆追踪装置的示意图；
图7示出了根据本申请一些实施例的图6所示处理器的框图；
图8示出了根据本申请一些实施例的基于LIDAR的车辆追踪系统的示意图。
具体实施方式
本申请提供的实施例以及实施例的各种实施方式可以通过以下对实施方式的详细描述来进行更好的理解，这些实施方式是权利要求中定义的实施例的示例。可以理解的是，权利要求中定义的实施例的范围比以下描述的实施方式的范围要更大。
本申请描述的实施例中的任何替代方案和改进方案，以及对本申请提供原则的任何进一步申请，都将按照本公开所述技术领域中的普通技术人员通常会想到的来考虑。以下通过描述构成部件和安排的特例来简化本公开。这些特例仅作为示例并不对本公开构成限制。例如，当一个元素被描述为“连接到”或“耦合到”另一个元素，该描述可以是直接连接或者耦合到另一个元素，或者通过其它的中间元素进行连接。
在附图中，为了清楚和便于描述，形状和厚度可能被放大。本说明将特别针对构成本公开提供的装置的一部分或更直接地与之合作的元件。需要理解的是，没有特别显示或描述的元素可能以各种形式出现。贯穿本说明书的对“一个实施例”或“某个实施例”的引用，意味着与该实施例有关的所描述的特定特征、结构或特征包含在至少一个实施例中。
在这些图中，数字不一定是按比例绘制的，在某些情况下，为了说明起见，这些图的有些地方被放大和/或简化了。本领域普通技术人员可以理解的是，基于本披露的下列说明性实施例的本公开的许多可能的应用和变化是基于以下的说明性的实施例的。
在本说明书各处的出现的短语“在一个实施例中”或“在某个实施例中”并不一定都指同一实施例。此外，可以在一个或多个实施例中以任何合适的方式组合特定的特征、结构或特征。应当认识到，附图不是按比例绘制的；相反，这些附图只是为了起到说明作用。
除非上下文另有明确指示，否则单数形式“一个”、和“该”也应包括复数形式。此外，相关术语，如“底部”和“顶部”，可以用来描述一个元素与其他元素的关系，如附图所示。
除非另有定义，本文中使用的所有术语(包括技术术语和科学术语)具有与本公开所属技术领域的普通技术人员所通常理解的相同的含义。可以进一步理解的是，术语比如那些常用的字典中定义、应该解释为符合相关技术和本公开的上下文一致的含义，并且不会被解释为一种理想化或过于正式的含义，除非明确定义。
本领域普通技术人员可以做出不脱离本公开的实施例的精神和范围的许多替代方案和改进方案。因此，必须理解的是，说明的实施例只是为了举例的目的而提出的，并且不应被视为对权利要求所定义的实施例的限制。例如，尽管一个权利要求中的元素是以某种组合来限定的，必须明确理解的是实施例可以包括更少、更多或者不同的元素，即使这些元素最初没有以这样的组合定义在权利要求中。
在本说明书中用于描述实施例及其各种实施例的词语不仅要从其共同定义的含义的意义上理解，还需要从本说明书中的结构、材料或超出共同定义的含义范围的行为来理解。因此，如果一个元素可以在本说明书的上下文中被理解为包含不止一个含义，那么它在权利要求中的使用必须被理解为对本说明书和词语本身支持的所有可能含义都是通用的。
因此，权利要求中的词语或要素的定义不仅包括字面上所述的各种要素的组合，而且还包括所有等同的结构、材料或行为，这些结构、材料或行为以实质相同的方式执行实质相同的功能，以获得实质相同的结果。
因此，从这个意义上考虑，可以用两个或两个以上的元素来代替权利要求书中的任何一个元素，也可以用一个单一的元素来代替一项权利要求书中的两个或两个以上的元素。尽管上述元素可能以某些组合来起到作用、或者在初始的权利要求中以某些组合来定义上述元素，需要明确理解的是，所要求的一个组合中的一个或多个元素可以从组合中删除，从而该要求的组合是删除后的组合的子组合或者子组合的变形。
参考图中相似的数字表示相同的部分。
这里使用的术语“无线”是指一个设备或多个设备之间的无线通信。无线设备可根据业务、场地、活动或场馆的需要，固定在某个位置和/或硬连接到电力系统。在一个实施例中，可以使无线设备能够连接到互联网，但不需要向互联网传输数据或从互联网传输数据，以便在无线信息通信和传输系统中通信。
本公开使用的术语，“智能手机”、“智能手机”或“移动设备”或“蜂窝电话”或“蜂窝手机”、或“移动电话”指的是无线通信设备，包括但不限于：集成电路(IC)芯片、芯片集、包括低噪声放大器、功率放大器、特定于应用程序的集成电路(ASIC)、数字集成电路、一个收发器、接收器、或发送器的片上系统、动态的、静态的或非易失性的存储设备，用于处理接收到的和传输的信号的一个或多个计算机处理器，例如，向互联网发送数据和从互联网接收数据，其它的无线设备、以及在无线信息通信和传递系统中提供通信的设备，包括发送、广播、接收信息、信号数据、定位数据、总线、发送和接收信号的天线、以及例如可充电电池或电力存储单元的电力提供设备。芯片或集成电路可在从一个“模片”上制造得到，该模片是从矽、蓝宝石、磷化铟或砷化镓晶片切割而成。集成电路可以是芯片上的模拟电路或数字电路，也可以是两者的混合电路。此外，数字集成电路可以在面积只有几平方毫米的区域内包含任何东西，从一个到成千上万的信号逆变器、以及逻辑门，如“与”门、“或”门、“与非”门、和“或非”门，触发器，多路复用器等。
本公开使用的术语“无线”、“无线数据传输”、“无线跟踪和定位系统”、“定位系统”和“无线定位系统”包括但不限于传输数据、或通信或广播一条消息的任何无线系统，该通信中可能包括位置坐标或使用一个或多个设备例如无线通信设备的其他信息。
本公开使用的术语“模块”或“模块”包括但不限于任何软件、软件、固件、或者实际硬件、或者这几者的新增、下载、更新、转移的组合，或者是一个更大的计算或收发系统中的初始部分，该系统协助或者提供计算能力，包括但不限于协助或提供通信广播的命令或消息的逻辑功能，该通信中可能包括位置坐标或一种或多种设备之间的通信，如无线通信设备。
在本公开提供的一些实施例中，还提供了一个非暂时性的即非易失性、计算机可读的存储介质。该非暂时性的计算机可读存储介质中存储有一个或多个程序。当一个计算设备例如一个车辆中的计算设备执行程序后，使得该计算设备执行本公开的一些实施例的具体操作。
在一些实施例中，如图8所示，一些示例中的非暂时性计算机可读存储介质可以包括磁性硬盘、光盘、软性磁盘、快闪记忆体或其它形式的电可编程记忆体(EPROM)或电可擦可编程记忆体(EEPROM)。在某些实施例中，术语“非暂时性”可以表明存储介质不包含在载波或传播信号中。在一些实施例中，非暂时性存储介质可以存储能够随时间变化的数据(例如，在RAM或缓存中)。
在本公开的一些实施例中，在操作中，响应于来自用户通过一个例如客户端设备106(参见图8)发送的请求，一个客户端用于被发送到该计算机设备中。该客户端设备106可以是一个智能电话，该智能电话从计算机服务器102下载该应用。在操作中，该应用安装在上述车辆中。从而，用户可以通过计算机设备来执行车辆追踪目的的特殊应用。
点云分割在点云感知任务中扮演重要角色，通常用于多种不同的算法中，这些算法包括基于点云的物体检测和追踪。传统的LIDAR点云分割方法通常使用穷举搜索，该方法需要大量的计算资源，或者使用近似方法，该方法不能得到完全正确的结果需要进一步的处理。本公开提供的方法利用车载LIDAR设备的数据结构，并且将LIDAR扫描结果处理为一个圆形图像。从而，相比于传统的方法，可以在不损失算法准确性的情况下达到较快的分割。
基于LIDAR的车辆追踪主要面临如下的挑战：1)在点云数据中只有一小部分的车辆能够被观察到，特别是当一个车辆远离本车的情况下；2)当存在遮蔽时，从一个车辆反射回来的点云将是碎片状的；3)一个驾驶员辅助系统或者自动驾驶车辆提供的全部处理资源是有限的。
在本公开中提供了一种使用输入的LIDAR点云生成车辆轨迹点的方法，其中轨迹点是一个车辆的时空表达。该方法使用从前一帧点云数据中追踪到的车辆表达来进行当前帧的点云聚类。并且，该方法使用聚类的点云而不是原始的点云响应数据来提高计算速度。
图1是本公开的一些实施例提供的一个基于点云的车辆追踪的处理流程图。
参考图1，该方法包括点云预处理、分割、分组、以及分配和追踪的处理。在操作12中，获取原始点云数据并进行预处理去掉地面点。在操作14中，对处理后的点云数据中的点进行分割，得到多个点簇。在操作16中，根据之前多帧点云数据中追踪得到的车辆的追踪信息、以及当前帧中多个点簇的空间信息，对多个点簇进行分组处理。在操作18中，对车辆分配执行追踪和建模。在图2、图3A、图3B和图4～5中将对操作12、14、16和18进行详细说明。
图2示出了多个实施例中的将点云数据中的点分割为多个点簇的处理方法。在图1所示的操作12中，获取原始的点云数据并从中去除掉地面点。
参考图2，在操作121中获取来自一个LIDAR的原始点云数据。该LIDAR可以是搭载在车辆顶部的。LIDAR在工业应用和机器人应用中变得逐渐重要，LIDAR尤其在直接距离测量上具有较高的准确性。在本公开的实施例中，LIDAR配置有在多个不同角度进行同步旋转的光束，例如，具有64旋转光束的LIDAR。多光束LIDAR提供的数据至少比单光束LIDAR提供的数据多了一个数量级，从而使得一些新应用成为可能，例如，地图绘制、物体检测和识别、场景理解、以及同时定位和地图构建(SLAM)。雷达扫描数据是通过以20Hz的扫描频率进行扫描周围环境，进而生成的周围环境的三维(3D)点云数据。一次扫描被定义为LIDAR传感器从0度旋转到360度扫描覆盖的范围。
在操作122中，对获得的原始点云数据进行预处理，去掉其中的地面点。从而，属于地面或者道路表面的点被从原始点云数据中去除掉了。
在操作122去除掉地面点之后，对余下的点进行聚类，使得每个点的点簇都对应一个物体，也即道路上的一个车辆。在本公开中，对点云数据中的点进行分割的操作包括一个粗分割操作和一个细分割操作。
在操作141中，处理后的点云中的点被投影到一个单位球面上。
在操作142中，对于每个投影点，确定该点与每个相邻点之间的距离是否小于一个阈值。在一个实施例中，确定所有投影点与其相邻投影点之间的欧几里德距离。两个投影点之间的相邻关系用于检测这两个投影点是否属于同一个分割。如果在圆柱投影上两个投影点之间的距离小于上述阈值，则这两个投影点被认为是属于同一个点簇。通过确定所有相邻投影点之间的距离，来计算分割信息。
在操作143中，得到投影点的点簇。随后，使用上述阈值对投影点进行“粗分割”得到多个点簇。通过只确定每个点的最近相邻点而不是穷举搜索所有点，粗分割的运行速度快于穷举搜索的运行速度。并且，在粗分割中使用过度分割(over-segmentation)和欠分割(under-segmentation)，在粗分割之后使用如图3所示的基于分组的细分割来改进粗分割结果。
图3A示出了一些实施例中对点簇进行分组的处理流程。如图1所示的操作16，根据当前帧中的点簇的空间信息和之前多帧中追踪的车辆的追踪信息对点簇进行分组。空间信息是鸟瞰视角下一个点簇和另一个点簇之间的距离。追踪信息是一个点簇相对于其他点簇的预设参数(例如位置、形状和速度)有关，该点簇可以是一个追踪到的物体。
参考图3A，在操作161中，基于全球定位系统(GPS)和地图获得可行驶道路的位置信息。该信息可以是来自一个GPS模块和一个地图模块的信息。地图用于确定一个点簇是否是一个车辆或者一个车辆的一部分。如果点簇不在可行驶道路上，则在操作162中删掉该点簇。
在操作163中，使用前一帧的追踪信息和当前帧的空间信息，计算一个点簇属于同一个车辆的概率。在操作164中，根据一个点簇对中的多个点簇的空间信息和追踪信息，确定是否将这多个点簇合并为一个点簇。随后，在操作165中，将多个点簇合并为一个单独完整的点簇。特别地，对所有的分割对进行处理，并且对具有较高概率且概率高于预定阈值的分割对进行合并。合并后的多个分割被认为对应于多个不同的车辆。
图3B示出了一些实施例中图3A中操作163计算一个点簇对属于同一个车辆的概率的方法的处理流程。参考图3B，在操作631中，根据一个点簇对的相对位置和形状(也即空间信息)来计算一个点簇对属于同一个车辆的概率。进一步，在操作632中，根据该点簇对于之前追踪到的车辆(车辆信息)的一致性程度来计算该点簇对属于同一个车辆的概率。操作631和操作632的执行顺序可互换。
图4中示出了一些实施例提供的合并点簇的方法的处理流程。
在操作42中，对当前帧中的多个点簇的空间信息建立第一表格。第一表格中的每个元素p_1(i，j)表示点簇i和点簇j属于同一个车辆的第一概率。
在操作45中，对之前多帧的追踪信息建立第二表格。第二表格中的每个元素p_2(i，j)表示点簇i和点簇j属于同一个车辆的第二概率。
在操作46中，根据第一表格和第二表格的元素乘积建立第三表格。第三表格中的每个元素p_3(i，j)表示点簇i和点簇j属于同一个车辆的第三概率。
在操作48中，如果第三概率p_3(i，j)大于一个预定阈值，将点簇i和点簇j合并为一个点簇。
图5示出了一些实施例中追踪和建模的处理流程。
参考图5，在操作180中，将一帧LIDAR数据中属于多个车辆的多个点簇作为输入。从而在操作181中，每个车辆作为概率分布进行追踪。例如每个车辆的概率分布是根据车辆特征来确定的。车辆特征可以包括但不限于速度、车辆形状或位置，这些特征可以被描述为一种概率分布。在一个实施例中，通过对比属于一个追踪到的车辆的点簇的特征和该车辆的概率模型，来确定该点簇的概率。一个点簇的特征包括但不限于点簇的位置、外观和维度。在操作182中，根据概率分布将每个追踪到的车辆分配给多个点簇中的一个对应的点簇。在一个实施例中，使用计算得到的概率作为权重来匹配一个点簇和一个追踪到的车辆，并使用匹配结果求解一个线性分配问题，来确定车辆分配问题。进一步地，对于未匹配成功的车辆和点簇执行后处理，例如，注册一个新的待追踪车辆，并在追踪列表中去除一个车辆。随后，在操作183中，根据分配的点簇来重新计算每个追踪到的车辆概率分布。进一步地，重新计算的结果是在182操作中将一个追踪到的车辆分配给一个点簇。
图6是一些实施例提供的基于LIDAR的车辆追踪系统的系统结构示意图。
参考图6，系统90包括一个处理器101、一个LIDAR 91、一个惯性测量单元(IMU)和全球定位系统(GPS)模块92，以及一个地图构建模块93。LIDAR 91、IMU-GPS单元92以及地图构建模块93收集一个环境中的数据。LIDAR 91为处理器101提供原始点云数据910。IMU-GPS单元92为处理器101提供信息920，信息920中包括车辆位姿、车辆速度、地理位置和时间中的至少一个。地图构建模块930用于创建一个周围环境的地图930，并定位车辆在地图中的位置。处理器101用于执行程序指令，程序指令中包括一个工具模块，该工具模块用于执行如图1、2、3A、3B、4和5所示的方法。
图7示出了一些实施例中图6所示处理器的结构框图。
参考图7，处理器101包括一个分配模块1011和一个重计算模块1012。分配模块1011用于根据分布概率为每个车辆分配一个对应的点簇。重计算模块1012用于根据分配的点簇重新计算概率分布。并且，重计算的结果是概率模型970的形式，该结果被提供给分配模块1012以方便车辆分配。
图8是另一个实施例中基于LIDAR的车辆追踪系统100的结构示意图。
参考图8，系统100包括如图6所示的处理器101，还包括计算机服务器102、网络接口103、输入输出(I/O)装置、存储装置107、存储器109、以及总线或网络108。总线108与网络接口103、I/O设备105、存储装置107和存储器109相耦合。
从而，处理器101用于使得计算机服务器102(例如互联网服务器)执行本文公开的特定操作。需要注意的是，本文公开的操作、技术可以至少部分被实施为硬件、软件、固件或这几者的结合。例如，本文描述的多个实施例的不同方面，例如处理器101、计算机服务器102可以实施在一个或多个处理单元中，包括一个或多个微处理单元、数字信号处理单元(DSPs)、专用集成电路(ASICs)，现场可编程门阵列(FPGAs)，或者任何其它等同的集成的或独立的逻辑电路，也可以是任何这些元件的结合。
术语“处理单元”或“处理电路”通常指任何一种前述独立的或者与其他逻辑电路结合的逻辑电路，或者任何其它等同电路。控制单元包括可以执行本文公开的一种或多种技术的硬件。
在本公开的一些实施例中，计算机服务器102用于使用I/O端口105通过网络108与外部装置进行通信，网络108可以是无线网络。在特定的实施例中，网络接口元件可以是以太网卡、光收发器、无线射频收发器、或者任何其它类型的能够从互联网接收和发送数据的设备。网络接口的示例可以包括可移动计算装置中的3G和无线装置，也包括USB。无线网络的示例包括和3G。在一些实施例中，网络服务器102用于使用I/O端口105与客户端装置106进行无线通信，客户端设备106包括移动电话、台式电脑、便携式笔记本电脑、或者其它能够连接到网络的计算装置。从而，电子信号能够在计算机服务器102和客户端装置106之间进行传输。
在本公开的一些实施例中，计算机服务器102是能够执行任何常规服务器功能的实际服务器。在一些实施例中，计算机服务器102可以是系统100中的另一个客户端装置。换句话说，系统100可能不存在一个集中的主机，系统中的客户端装置106可与其它客户端装置进行通信。在特定的实施例中，客户端装置106之间通过点对点(P2P)基础进行通信。
网络接口103用于访问程序指令以及通过该程序指令接入网络(图中未显示)访问远程存储的数据。
I/O装置105包括用于使用户与系统100进行沟通的输入装置和输出装置。在一些实施例中，输入装置包括例如键盘、鼠标、以及其它装置。并且输出装置包括例如显示器、打印机和其它装置。
存储装置107用于存储程序指令以及通过程序指令访问的数据。在一些实施例中，存储装置107包括例如磁盘或光盘。
存储器109用于储存处理器101执行的程序指令以及通过程序指令访问的数据。在一些实施例中，存储器109包括随机访问存储器(RAM)和或其它易失性存储介质和或只读存储器(ROM)和或例如包括可编程只读存储介质的其它非易失性存储介质、可擦写可编程只读存储介质(EPROM)，电子可擦可编程只读存储器(EEPROM)，软盘、盒式磁带、磁性介质、光介质、或者其它计算机可读介质。在特定实施例中，存储器109结合在处理器101中。
从而本文公开了特定的实施例和应用。但是显然的是，对于本领域的普通技术人员来说，除了那些已经描述过的修改方案之外，本公开还可以包括更多的不背离本申请的概念的修改方案。因此，本公开的实施例不应受到限制，除非本着所附权利要求的精神。此外，在解释规范和声明时，所有术语都应该以与上下文一致的尽可能广泛的方式进行解释。特别是，术语“包括”和“包含”应被解释为以非排他性的方式引用元素、组件或步骤，表示引用的元素、组件或步骤可能存在、使用或与未明确引用的其他元素、组件或步骤相结合。现在已知的或后来设计出来的具有普通技术活人员所认为的与所要求的实质内容无关紧要的变更，在权利要求的范围内被明确地认为是同等的。因此，本领域普通技术人员现在或以后所知道的明显替换被定义为在已定义元素的范围内。因此，权利要求应被理解为包括上面具体说明和描述的内容、概念上等价的内容、可以明显替换的内容以及本质上包含体现的基本概念的内容。

Claims (12)

1.一种基于LIDAR的车辆追踪方法，包括如下步骤：
使用之前多帧的追踪信息，计算点簇对中的点簇属于相同车辆的第一概率；
使用当前帧的空间信息，计算所述点簇对中的所述点簇属于所述相同车辆的第二概率；
结合考虑根据所述空间信息和根据所述追踪信息所计算的所述第一和第二概率的乘积，确定所述点簇对中的所述点簇将要被合并；以及
基于所述确定，将所述点簇对中的所述点簇合并在一起。
2.根据权利要求1所述的方法，其特征在于，所述当前帧的所述空间信息包括以下项中的至少一项：所述点簇对中的所述点簇的相对位置或形状。
3.根据权利要求1所述的方法，其特征在于，所述第一概率使用所述点簇对中的所述点簇与所述之前多帧的所述追踪信息的一致性程度来被计算。
4.根据权利要求1所述的方法，其特征在于，包括：
使用全球定位系统GPS和地图来获取可行驶道路位置的信息；以及
去除不在可行驶道路上的点簇。
5.根据权利要求1所述的方法，其特征在于，包括：
使用两步处理将点云中的点分割为多个点簇，在所述两步处理中，粗分割首先被执行，在所述粗分割之后是细分割。
6.根据权利要求5所述的方法，其特征在于，包括：
计算针对所述多个点簇中的全部的点簇对的所述第一和第二概率；
仅针对所述第一和第二概率的所述乘积高于一个预设阈值的点簇对，执行所述合并。
7.一种基于LIDAR的车辆追踪系统，包括：
一个服务器，包括：
一个I/O端口，用于发送和接收来自客户装置的电子信号；
一个存储器；以及
一个或多个处理单元；
其中所述存储器中存储有被所述一个或多个处理单元执行的一个或多个程序，其中所述一个或多个程序中包括如下指令：
使用之前多帧的追踪信息，计算点簇对中的点簇属于相同车辆的第一概率；
使用当前帧的空间信息，计算所述点簇对中的所述点簇属于所述相同车辆的第二概率；
结合考虑根据所述空间信息和根据所述追踪信息所计算的所述第一和第二概率的乘积，确定所述点簇对中的所述点簇将要被合并为一个点簇；
基于所述确定，将所述点簇对中的所述点簇合并。
8.根据权利要求7所述的系统，其特征在于，所述当前帧的所述空间信息包括以下项中的至少一项：所述点簇对中的所述点簇的相对位置或形状。
9.根据权利要求7所述的系统，其特征在于，所述第一概率使用所述点簇对中的所述点簇与所述之前多帧的所述追踪信息的一致性程度来被计算。
10.根据权利要求7所述的系统，其特征在于，所述一个或多个程序包括如下指令：
使用全球定位系统GPS和地图来获取可行驶道路位置的信息；以及
去除不在可行驶道路上的点簇。
11.根据权利要求7所述的系统，其特征在于，包括：
使用两步处理将点云中的点分割为多个点簇，在所述两步处理中，粗分割首先被执行，在所述粗分割之后是细分割。
12.根据权利要求11所述的系统，其特征在于，还包括：
计算针对所述多个点簇中的全部的点簇对的所述第一和第二概率；
仅针对所述第一和第二概率的所述乘积高于一个预设阈值的点簇对，执行所述合并。
CN201910982460.1A 2018-10-15 2019-10-15 一种基于光检测和测距的车辆追踪方法和系统 Active CN111045025B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/160,761 US10878580B2 (en) 2018-10-15 2018-10-15 Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method
US16/160,761 2018-10-15

Publications (2)

Publication Number Publication Date
CN111045025A CN111045025A (zh) 2020-04-21
CN111045025B true CN111045025B (zh) 2024-07-12

Family

ID=70159040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910982460.1A Active CN111045025B (zh) 2018-10-15 2019-10-15 一种基于光检测和测距的车辆追踪方法和系统

Country Status (2)

Country Link
US (1) US10878580B2 (zh)
CN (1) CN111045025B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US10984540B2 (en) * 2018-10-15 2021-04-20 Tusimple, Inc. Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
US10878282B2 (en) * 2018-10-15 2020-12-29 Tusimple, Inc. Segmentation processing of image data for LiDAR-based vehicle tracking system and method
US10878580B2 (en) 2018-10-15 2020-12-29 Tusimple, Inc. Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method
US11662469B2 (en) * 2019-04-04 2023-05-30 Denso International America, Inc. System and method for merging clusters
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
KR20220000171A (ko) * 2020-06-25 2022-01-03 현대자동차주식회사 라이다 데이터 기반 객체 인식 장치 및 그의 세그먼트 병합 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240104A (zh) * 2017-04-28 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045023A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045022A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2618102A2 (en) 2006-11-21 2013-07-24 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
DE102007048320A1 (de) * 2007-10-09 2008-05-15 Daimler Ag Verfahren zur Anpassung eines Objektmodells an eine dreidimensionale Punktwolke
US8818702B2 (en) * 2010-11-09 2014-08-26 GM Global Technology Operations LLC System and method for tracking objects
US9129211B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
CN102930246B (zh) * 2012-10-16 2015-04-08 同济大学 一种基于点云片段分割的室内场景识别方法
CN104715249B (zh) * 2013-12-16 2018-06-05 株式会社理光 物体跟踪方法和装置
US8886387B1 (en) * 2014-01-07 2014-11-11 Google Inc. Estimating multi-vehicle motion characteristics by finding stable reference points
US9292913B2 (en) 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
US9710925B2 (en) * 2014-06-08 2017-07-18 The Board Of Trustees Of The Leland Stanford Junior University Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
KR101655606B1 (ko) * 2014-12-11 2016-09-07 현대자동차주식회사 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법
CN104408445A (zh) * 2014-12-19 2015-03-11 吉林纪元时空动漫游戏科技股份有限公司 实时人体自动检测方法
US9530062B2 (en) * 2014-12-23 2016-12-27 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
CN104700398A (zh) * 2014-12-31 2015-06-10 西安理工大学 一种点云场景物体提取方法
US9697730B2 (en) * 2015-01-30 2017-07-04 Nissan North America, Inc. Spatial clustering of vehicle probe data
JP6411942B2 (ja) * 2015-04-23 2018-10-24 株式会社デンソー 物体認識装置
US9747717B2 (en) * 2015-05-13 2017-08-29 Intel Corporation Iterative closest point technique based on a solution of inverse kinematics problem
CN106294911B (zh) * 2015-06-04 2019-09-10 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
US9576185B1 (en) 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
WO2018071416A1 (en) * 2016-10-11 2018-04-19 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN106096516A (zh) * 2016-06-01 2016-11-09 常州漫道罗孚特网络科技有限公司 一种三维目标跟踪的方法及装置
GB2551711B (en) * 2016-06-24 2019-12-11 Jaguar Land Rover Ltd Path identification for off-road cruise control
US9910442B2 (en) * 2016-06-28 2018-03-06 Toyota Motor Engineering & Manufacturing North America, Inc. Occluded area detection with static obstacle maps
CN106296693B (zh) * 2016-08-12 2019-01-08 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN106428000B (zh) * 2016-09-07 2018-12-21 清华大学 一种车辆速度控制装置和方法
CN107945198B (zh) * 2016-10-13 2021-02-23 北京百度网讯科技有限公司 用于标注点云数据的方法和装置
CN108022205B (zh) * 2016-11-04 2021-07-30 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置及录播系统
RU2656711C2 (ru) * 2016-11-17 2018-06-06 Общество с ограниченной ответственностью "РобоСиВи" Способ и система обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика
CN106780601B (zh) * 2016-12-01 2020-03-27 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备
SG10201700299QA (en) * 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
CN108345008A (zh) * 2017-01-23 2018-07-31 郑州宇通客车股份有限公司 一种目标物检测方法、点云数据提取方法及装置
CN108629238B (zh) * 2017-03-21 2020-07-10 阿里巴巴（中国）有限公司 一种识别汉字标记的方法和装置
CN107728162A (zh) * 2017-10-16 2018-02-23 济南浪潮高新科技投资发展有限公司 基于激光雷达的无人驾驶汽车停车安全监测系统
WO2019113749A1 (en) 2017-12-11 2019-06-20 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying and positioning objects around a vehicle
WO2019195593A1 (en) 2018-04-05 2019-10-10 Apex.AI, Inc. Efficient and scalable three-dimensional point cloud segmentation for navigation in autonomous vehicles
US10854011B2 (en) 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
CN108647646B (zh) * 2018-05-11 2019-12-13 北京理工大学 基于低线束雷达的低矮障碍物的优化检测方法及装置
EP4339905A3 (en) * 2018-07-17 2024-06-26 NVIDIA Corporation Regression-based line detection for autonomous driving machines
US10878580B2 (en) 2018-10-15 2020-12-29 Tusimple, Inc. Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240104A (zh) * 2017-04-28 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045023A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045022A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于四线激光雷达的无人车障碍物检测算法;王海, 郑正扬, 蔡英凤等;《中国机械工程》;第29卷(第15期);1884-1889 *
王海,郑正扬,蔡英凤等.基于四线激光雷达的无人车障碍物检测算法.《中国机械工程》.2018,第29卷(第15期),1884-1889. *

Also Published As

Publication number Publication date
CN111045025A (zh) 2020-04-21
US20200118277A1 (en) 2020-04-16
US10878580B2 (en) 2020-12-29

Similar Documents

Publication Publication Date Title
CN111045024B (zh) 一种基于光检测和测距的车辆追踪方法和系统
CN111045025B (zh) 一种基于光检测和测距的车辆追踪方法和系统
CN111045023B (zh) 一种基于光检测和测距的车辆追踪方法和系统
CN111052132B (zh) 利用多个传感器的基于运动的车道检测的验证模块系统和方法
US20220019814A1 (en) Feature matching and correspondence refinement and 3d submap position refinement system and method for centimeter precision localization using camera-based submap and lidar-based global map
US10762673B2 (en) 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
CN111045022A (zh) 一种基于光检测和测距的车辆追踪方法和系统
US11216951B2 (en) Method and apparatus for representing environmental elements, system, and vehicle/robot
US11538168B2 (en) Incremental segmentation of point cloud
US20190065866A1 (en) Deep module and fitting module system and method for motion-based lane detection with multiple sensors
WO2024012211A1 (zh) 自动驾驶环境感知方法、介质及车辆
CN112414417A (zh) 自动驾驶地图生成方法、装置、电子设备及可读存储介质
US10482769B2 (en) Post-processing module system and method for motioned-based lane detection with multiple sensors
CN114092660A (zh) 高精地图生成方法、装置及用于生成地图的车辆
CN113850909B (zh) 点云数据处理方法、装置、电子设备及自动驾驶设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant