CN111045023A - 一种基于光检测和测距的车辆追踪方法和系统 - Google Patents

一种基于光检测和测距的车辆追踪方法和系统 Download PDF

Info

Publication number
CN111045023A
CN111045023A CN201910979009.4A CN201910979009A CN111045023A CN 111045023 A CN111045023 A CN 111045023A CN 201910979009 A CN201910979009 A CN 201910979009A CN 111045023 A CN111045023 A CN 111045023A
Authority
CN
China
Prior art keywords
vehicle
point
cluster
probability distribution
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910979009.4A
Other languages
English (en)
Inventor
梅雪
李辰阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN111045023A publication Critical patent/CN111045023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于LIDAR的车辆追踪方法,该方法是计算机装置执行至少一条指令实现的,至少一条指令包括在一个或多个程序中,一个或多个程序存储在一个非易失性计算机可读存储介质中,其特征在于,该方法被执行后包括如下步骤:将一帧LIDAR数据中属于多个车辆的多个点集点簇作为输入;对每个车辆作为概率分布进行追踪;根据概率分布将每个追踪到的车辆分配给多个点簇中的一个对应的点簇;根据分配的点簇来重新计算每个追踪到的车辆概率分布。

Description

一种基于光检测和测距的车辆追踪方法和系统
技术领域
本发明一般性地涉及自动驾驶领域,特别涉及一种基于光检测和测距 (LIDAR)的车辆追踪方法和系统。
背景技术
智能车辆和自动驾驶车辆有希望成为提高道路安全、解决交通问题和提高乘客舒适性的解决方案。车辆追踪是道路车辆面临的复杂且具挑战性的众多任务中的其中之一。在许多驾驶员辅助系统或者自动驾驶车辆中,车辆追踪起到重要的作用。车辆追踪系统追踪本车在周围环境中的位置和运动车辆的形状,并且提供用于车辆路径规划的重要信息。
发明内容
本实施例的各种对象、特征、方面和优点将从本实施例的下列实施例的详细描述以及附图中变得更加明显,附图中相同的数字表示相同的部件。
本公开的一些实施例提供了一种基于LIDAR的车辆追踪方法,用于在一个非易失性存储介质中存储一个或多个程序。一个或多个程序包括多条指令,这些指令被一个计算机设备执行后使得该计算机设备执行如下的步骤,包括:将一帧LIDAR数据中属于多个车辆的多个点集点簇作为输入;对每个车辆作为概率分布进行追踪;根据概率分布将每个追踪到的车辆分配给多个点簇中的一个对应的点簇;根据分配的点簇来重新计算每个追踪到的车辆概率分布。
本公开的一些实施例提供了基于LIDAR的车辆追踪系统。该系统包括一个互联网服务器,包括:一个输入输出端口,用于与一个用户端装置进行电子信号的发送和接收;一个存储器;一个或多个处理单元;以及,在存储器中存储有可被一个或多个处理单元执行的一个或多个程序,该一个或多个程序包括实现多条指令,多条指令被一个或多个处理单元执行后实现:将一帧LIDAR数据中属于多个车辆的多个点集点簇作为输入;对每个车辆作为概率分布进行追踪;根据概率分布将每个追踪到的车辆分配给多个点簇中的一个对应的点簇;根据分配的点簇来重新计算每个追踪到的车辆概率分布。
附图说明
应该注意的是,附图可能是简化的形式,也可能不具有精确的比例。在本公开中,仅为方便和清楚起见,在附图中使用了诸如顶部、底部、左侧、右侧、向上、向下、上方、上方、下方、下方、后方、前方、远端和近端等方向术语。这些指示性术语不应被解释为以任何方式限制实施例的范围。
图1示出了根据本申请一些实施例的基于LIDAR的车辆追踪方法的流程图;
图2示出了根据本申请一些实施例的将点云数据中的数据点分割为点簇的方法的流程图;
图3A示出了根据本申请一些实施例的对多个点簇进行分组的方法的流程图;
图3B示出了根据本申请一些实施例的计算点簇对的概率的方法的流程图;
图4示出了根据本申请一些实施例的追踪和建模的方法的流程图;
图5示出了根据本申请一些实施例的基于LIDAR的车辆追踪装置的示意图;
图6示出了根据本申请一些实施例的图5所示处理器的框图;
图7示出了根据本申请一些实施例的基于LIDAR的车辆追踪系统的示意图。
具体实施方式
本申请提供的实施例以及实施例的各种实施方式可以通过以下对实施方式的详细描述来进行更好的理解,这些实施方式是权利要求中定义的实施例的示例。可以理解的是,权利要求中定义的实施例的范围比以下描述的实施方式的范围要更大。
本申请描述的实施例中的任何替代方案和改进方案,以及对本申请提供原则的任何进一步申请,都将按照本公开所述技术领域中的普通技术人员通常会想到的来考虑。以下通过描述构成部件和安排的特例来简化本公开。这些特例仅作为示例并不对本公开构成限制。例如,当一个元素被描述为“连接到”或“耦合到”另一个元素,该描述可以是直接连接或者耦合到另一个元素,或者通过其它的中间元素进行连接。
在附图中,为了清楚和便于描述,形状和厚度可能被放大。本说明将特别针对构成本公开提供的装置的一部分或更直接地与之合作的元件。需要理解的是,没有特别显示或描述的元素可能以各种形式出现。贯穿本说明书的对“一个实施例”或“某个实施例”的引用,意味着与该实施例有关的所描述的特定特征、结构或特征包含在至少一个实施例中。
在这些图中,数字不一定是按比例绘制的,在某些情况下,为了说明起见,这些图的有些地方被放大和/或简化了。本领域普通技术人员可以理解的是,基于本披露的下列说明性实施例的本公开的许多可能的应用和变化是基于以下的说明性的实施例的。
在本说明书各处的出现的短语“在一个实施例中”或“在某个实施例中”并不一定都指同一实施例。此外,可以在一个或多个实施例中以任何合适的方式组合特定的特征、结构或特征。应当认识到,附图不是按比例绘制的;相反,这些附图只是为了起到说明作用。
除非上下文另有明确指示,否则单数形式“一个”、和“该”也应包括复数形式。此外,相关术语,如“底部”和“顶部”,可以用来描述一个元素与其他元素的关系,如附图所示。
除非另有定义,本文中使用的所有术语(包括技术术语和科学术语)具有与本公开所属技术领域的普通技术人员所通常理解的相同的含义。可以进一步理解的是,术语比如那些常用的字典中定义、应该解释为符合相关技术和本公开的上下文一致的含义,并且不会被解释为一种理想化或过于正式的含义,除非明确定义。
本领域普通技术人员可以做出不脱离本公开的实施例的精神和范围的许多替代方案和改进方案。因此,必须理解的是,说明的实施例只是为了举例的目的而提出的,并且不应被视为对权利要求所定义的实施例的限制。例如,尽管一个权利要求中的元素是以某种组合来限定的,必须明确理解的是实施例可以包括更少、更多或者不同的元素,即使这些元素最初没有以这样的组合定义在权利要求中。
在本说明书中用于描述实施例及其各种实施例的词语不仅要从其共同定义的含义的意义上理解,还需要从本说明书中的结构、材料或超出共同定义的含义范围的行为来理解。因此,如果一个元素可以在本说明书的上下文中被理解为包含不止一个含义,那么它在权利要求中的使用必须被理解为对本说明书和词语本身支持的所有可能含义都是通用的。
因此,权利要求中的词语或要素的定义不仅包括字面上所述的各种要素的组合,而且还包括所有等同的结构、材料或行为,这些结构、材料或行为以实质相同的方式执行实质相同的功能,以获得实质相同的结果。
因此,从这个意义上考虑,可以用两个或两个以上的元素来代替权利要求书中的任何一个元素,也可以用一个单一的元素来代替一项权利要求书中的两个或两个以上的元素。尽管上述元素可能以某些组合来起到作用、或者在初始的权利要求中以某些组合来定义上述元素,需要明确理解的是,所要求的一个组合中的一个或多个元素可以从组合中删除,从而该要求的组合是删除后的组合的子组合或者子组合的变形。
参考图中相似的数字表示相同的部分。
这里使用的术语“无线”是指一个设备或多个设备之间的无线通信。无线设备可根据业务、场地、活动或场馆的需要,固定在某个位置和/或硬连接到电力系统。在一个实施例中,可以使无线设备能够连接到互联网,但不需要向互联网传输数据或从互联网传输数据,以便在无线信息通信和传输系统中通信。
本公开使用的术语,“智能手机”、“智能手机”或“移动设备”或“蜂窝电话”或“蜂窝手机”、或“移动电话”指的是无线通信设备,包括但不限于:集成电路(IC)芯片、芯片集、包括低噪声放大器、功率放大器、特定于应用程序的集成电路(ASIC)、数字集成电路、一个收发器、接收器、或发送器的片上系统、动态的、静态的或非易失性的存储设备,用于处理接收到的和传输的信号的一个或多个计算机处理器,例如,向互联网发送数据和从互联网接收数据,其它的无线设备、以及在无线信息通信和传递系统中提供通信的设备,包括发送、广播、接收信息、信号数据、定位数据、总线、发送和接收信号的天线、以及例如可充电电池或电力存储单元的电力提供设备。芯片或集成电路可在从一个“模片”上制造得到,该模片是从矽、蓝宝石、磷化铟或砷化镓晶片切割而成。集成电路可以是芯片上的模拟电路或数字电路,也可以是两者的混合电路。此外,数字集成电路可以在面积只有几平方毫米的区域内包含任何东西,从一个到成千上万的信号逆变器、以及逻辑门,如“与”门、“或”门、“与非”门、和“或非”门,触发器,多路复用器等。
本公开使用的术语“无线”、“无线数据传输”、“无线跟踪和定位系统”、“定位系统”和“无线定位系统”包括但不限于传输数据、或通信或广播一条消息的任何无线系统,该通信中可能包括位置坐标或使用一个或多个设备例如无线通信设备的其他信息。
本公开使用的术语“模块”或“模块”包括但不限于任何软件、软件、固件、或者实际硬件、或者这几者的新增、下载、更新、转移的组合,或者是一个更大的计算或收发系统中的初始部分,该系统协助或者提供计算能力,包括但不限于协助或提供通信广播的命令或消息的逻辑功能,该通信中可能包括位置坐标或一种或多种设备之间的通信,如无线通信设备。
在本公开提供的一些实施例中,还提供了一个非暂时性的即非易失性、计算机可读的存储介质。该非暂时性的计算机可读存储介质中存储有一个或多个程序。当一个计算设备例如一个车辆中的计算设备执行程序后,使得该计算设备执行本公开的一些实施例的具体操作。
在一些实施例中,如图7所示,一些示例中的非暂时性计算机可读存储介质可以包括磁性硬盘、光盘、软性磁盘、快闪记忆体或其它形式的电可编程记忆体(EPROM)或电可擦可编程记忆体(EEPROM)。在某些实施例中,术语“非暂时性”可以表明存储介质不包含在载波或传播信号中。在一些实施例中,非暂时性存储介质可以存储能够随时间变化的数据(例如,在RAM或缓存中)。
在本公开的一些实施例中,在操作中,响应于来自用户通过一个例如客户端设备106(参见图7)发送的请求,一个客户端用于被发送到该计算机设备中。该客户端设备106可以是一个智能电话,该智能电话从计算机服务器102下载该应用。在操作中,该应用安装在上述车辆中。从而,用户可以通过计算机设备来执行车辆追踪目的的特殊应用。
点云分割在点云感知任务中扮演重要角色,通常用于多种不同的算法中,这些算法包括基于点云的物体检测和追踪。传统的LIDAR点云分割方法通常使用穷举搜索,该方法需要大量的计算资源,或者使用近似方法,该方法不能得到完全正确的结果需要进一步的处理。本公开提供的方法利用车载LIDAR设备的数据结构,并且将LIDAR扫描结果处理为一个圆形图像。从而,相比于传统的方法,可以在不损失算法准确性的情况下达到较快的分割。
基于LIDAR的点云追踪近年来成为自动驾驶领域的研究课题。现有方法倾向于使用单个的概率模型在点云数据级别上计算车辆的位置,该方法需要大量的计算资源;或者将物体检测结果作为输入,但是由于物体检测没有利用追踪信息,使得当汽车被遮挡时该方法的运行结果很差。
基于LIDAR的车辆追踪主要面临如下的挑战:1)在点云数据中只有一小部分的车辆能够被观察到,特别是当一个车辆远离本车的情况下;2) 当存在遮蔽时,从一个车辆反射回来的点云将是碎片状的;3)一个驾驶员辅助系统或者自动驾驶车辆提供的全部处理资源是有限的。
在本公开中提供了一种使用输入的LIDAR点云生成车辆轨迹点的方法,其中轨迹点是一个车辆的时空表达。该方法使用从前一帧点云数据中追踪到的车辆表达来进行当前帧的点云聚类。并且,该方法使用聚类的点云而不是原始的点云响应数据来提高计算速度。
图1是本公开的一些实施例提供的一个基于点云的车辆追踪的处理流程图。
参考图1,该方法包括点云预处理、分割、分组、以及分配和追踪的处理。在操作12中,获取原始点云数据并进行预处理去掉地面点。在操作14 中,对处理后的点云数据中的点进行分割,得到多个点簇。在操作16中,根据之前多帧点云数据中追踪得到的车辆的追踪信息、以及当前帧中多个点簇的空间信息,对多个点簇进行分组处理。在操作18中,对车辆分配执行追踪和建模。在图2、图3A、图3B和图4中将对操作12、14、16和18 进行详细说明。
图2示出了多个实施例中的将点云数据中的点分割为多个点簇的处理方法。在图1所示的操作12中,获取原始的点云数据并从中去除掉地面点。
参考图2,在操作121中获取来自一个LIDAR的原始点云数据。该 LIDAR可以是搭载在车辆顶部的。LIDAR在工业应用和机器人应用中变得逐渐重要,LIDAR尤其在直接距离测量上具有较高的准确性。在本公开的实施例中,LIDAR配置有在多个不同角度进行同步旋转的光束,例如,具有64旋转光束的LIDAR。多光束LIDAR提供的数据至少比单光束LIDAR 提供的数据多了一个数量级,从而使得一些新应用成为可能,例如,地图绘制、物体检测和识别、场景理解、以及同时定位和地图构建(SLAM)。雷达扫描数据是通过以20Hz的扫描频率进行扫描周围环境,进而生成的周围环境的三维(3D)点云数据。一次扫描被定义为LIDAR传感器从0度旋转到360度扫描覆盖的范围。
在操作122中,对获得的原始点云数据进行预处理,去掉其中的地面点。从而,属于地面或者道路表面的点被从原始点云数据中去除掉了。
在操作122去除掉地面点之后,对余下的点进行聚类,使得每个点的点簇都对应一个物体,也即道路上的一个车辆。在本公开中,对点云数据中的点进行分割的操作包括一个粗分割操作和一个细分割操作。
在操作141中,处理后的点云中的点被投影到一个单位球面上。
在操作142中,对于每个投影点,确定该点与每个相邻点之间的距离是否小于一个阈值。在一个实施例中,确定所有投影点与其相邻投影点之间的欧几里德距离。两个投影点之间的相邻关系用于检测这两个投影点是否属于同一个分割。如果在圆柱投影上两个投影点之间的距离小于上述阈值,则这两个投影点被认为是属于同一个点簇。通过确定所有相邻投影点之间的距离,来计算分割信息。
在操作143中,得到投影点的点簇。随后,使用上述阈值对投影点进行“粗分割”得到多个点簇。通过只确定每个点的最近相邻点而不是穷举搜索所有点,粗分割的运行速度快于穷举搜索的运行速度。并且,在粗分割中使用过度分割(over-segmentation)和欠分割(under-segmentation),在粗分割之后使用如图3所示的基于分组的细分割来改进粗分割结果。
图3A示出了一些实施例中对点簇进行分组的处理流程。如图1所示的操作16,根据当前帧中的点簇的空间信息和之前多帧中追踪的车辆的追踪信息对点簇进行分组。空间信息是鸟瞰视角下一个点簇和另一个点簇之间的距离。追踪信息是一个点簇相对于其他点簇的预设参数(例如位置、形状和速度)有关,该点簇可以是一个追踪到的物体。
参考图3A,在操作161中,基于全球定位系统(GPS)和地图获得可行驶道路的位置信息。该信息可以是来自一个GPS模块和一个地图模块的信息。地图用于确定一个点簇是否是一个车辆或者一个车辆的一部分。如果点簇不在可行驶道路上,则在操作162中删掉该点簇。
在操作163中,使用前一帧的追踪信息和当前帧的空间信息,计算一个点簇属于同一个车辆的概率。在操作164中,根据一个点簇对中的多个点簇的空间信息和追踪信息,确定是否将这多个点簇合并为一个点簇。随后,在操作165中,将多个点簇合并为一个单独完整的点簇。特别地,对所有的分割对进行处理,并且对具有较高概率且概率高于预定阈值的分割对进行合并。合并后的多个分割被认为对应于多个不同的车辆。
图3B示出了一些实施例中图3A中操作163计算一个点簇对属于同一个车辆的概率的方法的处理流程。参考图3B,在操作631中,根据一个点簇对的相对位置和形状(也即空间信息)来计算一个点簇对属于同一个车辆的概率。进一步,在操作632中,根据该点簇对于之前追踪到的车辆(车辆信息)的一致性程度来计算该点簇对属于同一个车辆的概率。操作631 和操作632的执行顺序可互换。
图4示出了一些实施例中追踪和建模的处理流程。
参考图4,在操作180中,将一帧LIDAR数据中属于多个车辆的多个点簇作为输入。从而在操作181中,每个车辆作为概率分布进行追踪。例如每个车辆的概率分布是根据车辆特征来确定的。车辆特征可以包括但不限于速度、车辆形状或位置,这些特征可以被描述为一种概率分布。在一个实施例中,通过对比属于一个追踪到的车辆的点簇的特征和该车辆的概率模型,来确定该点簇的概率。一个点簇的特征包括但不限于点簇的位置、外观和维度。在操作182中,根据概率分布将每个追踪到的车辆分配给多个点簇中的一个对应的点簇。在一个实施例中,使用计算得到的概率作为权重来匹配一个点簇和一个追踪到的车辆,并使用匹配结果求解一个线性分配问题,来确定车辆分配问题。进一步地,对于未匹配成功的车辆和点簇执行后处理,例如,注册一个新的待追踪车辆,并在追踪列表中去除一个车辆。随后,在操作183中,根据分配的点簇来重新计算每个追踪到的车辆概率分布。进一步地,重新计算的结果是在182操作中将一个追踪到的车辆分配给一个点簇。
图5是一些实施例提供的基于LIDAR的车辆追踪系统的系统结构示意图。
参考图5,系统90包括一个处理器101、一个LIDAR 91、一个惯性测量单元(IMU)和全球定位系统(GPS)模块92,以及一个地图构建模块 93。LIDAR 91、IMU-GPS单元92以及地图构建模块93收集一个环境中的数据。LIDAR 91为处理器101提供原始点云数据910。IMU-GPS单元92 为处理器101提供信息920,信息920中包括车辆位姿、车辆速度、地理位置和时间中的至少一个。地图构建模块930用于创建一个周围环境的地图 930,并定位车辆在地图中的位置。处理器101用于执行程序指令,程序指令中包括一个工具模块,该工具模块用于执行如图1、2、3A、3B和4所示的方法。
图6示出了一些实施例中图6所示处理器的结构框图。
参考图6,处理器101包括一个分配模块1011和一个重计算模块1012。分配模块1011用于根据分布概率为每个车辆分配一个对应的点簇。重计算模块1012用于根据分配的点簇重新计算概率分布。并且,重计算的结果是概率模型970的形式,该结果被提供给分配模块1012以方便车辆分配。
图7是另一个实施例中基于LIDAR的车辆追踪系统100的结构示意图。
参考图7,系统100包括如图5所示的处理器101,还包括计算机服务器102、网络接口103、输入输出(I/O)装置、存储装置107、存储器109、以及总线或网络108。总线108与网络接口103、I/O设备105、存储装置 107和存储器109相耦合。
从而,处理器101用于使得计算机服务器102(例如互联网服务器)执行本文公开的特定操作。需要注意的是,本文公开的操作、技术可以至少部分被实施为硬件、软件、固件或这几者的结合。例如,本文描述的多个实施例的不同方面,例如处理器101、计算机服务器102可以实施在一个或多个处理单元中,包括一个或多个微处理单元、数字信号处理单元(DSPs)、专用集成电路(ASICs),现场可编程门阵列(FPGAs),或者任何其它等同的集成的或独立的逻辑电路,也可以是任何这些元件的结合。
术语“处理单元”或“处理电路”通常指任何一种前述独立的或者与其他逻辑电路结合的逻辑电路,或者任何其它等同电路。控制单元包括可以执行本文公开的一种或多种技术的硬件。
在本公开的一些实施例中,计算机服务器102用于使用I/O端口105 通过网络108与外部装置进行通信,网络108可以是无线网络。在特定的实施例中,网络接口元件可以是以太网卡、光收发器、无线射频收发器、或者任何其它类型的能够从互联网接收和发送数据的设备。网络接口的示例可以包括可移动计算装置中的
Figure BDA0002234572820000111
3G和
Figure BDA0002234572820000112
无线装置,也包括USB。无线网络的示例包括
Figure BDA0002234572820000113
和3G。在一些实施例中,网络服务器102 用于使用I/O端口105与客户端装置106进行无线通信,客户端设备106 包括移动电话、台式电脑、便携式笔记本电脑、或者其它能够连接到网络的计算装置。从而,电子信号能够在计算机服务器102和客户端装置106 之间进行传输。
在本公开的一些实施例中,计算机服务器102是能够执行任何常规服务器功能的实际服务器。在一些实施例中,计算机服务器102可以是系统 100中的另一个客户端装置。换句话说,系统100可能不存在一个集中的主机,系统中的客户端装置106可与其它客户端装置进行通信。在特定的实施例中,客户端装置106之间通过点对点(P2P)基础进行通信。
网络接口103用于访问程序指令以及通过该程序指令接入网络(图中未显示)访问远程存储的数据。
I/O装置105包括用于使用户与系统100进行沟通的输入装置和输出装置。在一些实施例中,输入装置包括例如键盘、鼠标、以及其它装置。并且输出装置包括例如显示器、打印机和其它装置。
存储装置107用于存储程序指令以及通过程序指令访问的数据。在一些实施例中,存储装置107包括例如磁盘或光盘。
存储器109用于储存处理器101执行的程序指令以及通过程序指令访问的数据。在一些实施例中,存储器109包括随机访问存储器(RAM)和或其它易失性存储介质和或只读存储器(ROM)和或例如包括可编程只读存储介质的其它非易失性存储介质、可擦写可编程只读存储介质(EPROM),电子可擦可编程只读存储器(EEPROM),软盘、盒式磁带、磁性介质、光介质、或者其它计算机可读介质。在特定实施例中,存储器109结合在处理器101中。
从而本文公开了特定的实施例和应用。但是显然的是,对于本领域的普通技术人员来说,除了那些已经描述过的修改方案之外,本公开还可以包括更多的不背离本申请的概念的修改方案。因此,本公开的实施例不应受到限制,除非本着所附权利要求的精神。此外,在解释规范和声明时,所有术语都应该以与上下文一致的尽可能广泛的方式进行解释。特别是,术语“包括”和“包含”应被解释为以非排他性的方式引用元素、组件或步骤,表示引用的元素、组件或步骤可能存在、使用或与未明确引用的其他元素、组件或步骤相结合。现在已知的或后来设计出来的具有普通技术活人员所认为的与所要求的实质内容无关紧要的变更,在权利要求的范围内被明确地认为是同等的。因此,本领域普通技术人员现在或以后所知道的明显替换被定义为在已定义元素的范围内。因此,权利要求应被理解为包括上面具体说明和描述的内容、概念上等价的内容、可以明显替换的内容以及本质上包含体现的基本概念的内容。

Claims (10)

1.一种基于LIDAR的车辆追踪方法,该方法是计算机装置执行至少一条指令实现的,至少一条指令包括在一个或多个程序中,一个或多个程序存储在一个非易失性计算机可读存储介质中,其特征在于,该方法被执行后包括如下步骤:
将一帧LIDAR数据中属于多个车辆的多个点集点簇作为输入;
对每个车辆作为概率分布进行追踪;
根据概率分布将每个追踪到的车辆分配给多个点簇中的一个对应的点簇;
根据分配的点簇来重新计算每个追踪到的车辆概率分布。
2.根据权利要求1所述的方法,其特征在于,对每个车辆作为概率分布进行追踪还包括:
考虑车辆的分布,其中车辆分别包括一个车辆的速度、形状和位置。
3.根据权利要求1所述的方法,其特征在于,对每个车辆作为概率分布进行追踪,还包括:
通过对比属于一个追踪到的车辆的点簇的特征和该车辆的概率模型,来确定该点簇的概率。
4.根据权利要求3所述的方法,其特征在于,还包括:
使用计算得到的概率作为权重来匹配一个点簇和一个追踪到的车辆来确定车辆分配。
5.根据权利要求4所述的方法,其特征在于,还包括:
对于未匹配成功的车辆和点簇执行后处理。
6.一种基于LIDAR的车辆追踪系统,包括:
一个网络服务器,包括:
一个I/O端口,用于发送和接收来自客户装置的电子信号;
一个存储器;
一个或多个处理单元;
其中存储器中存储有被一个或多个处理单元执行的一个或多个程序,一个或多个程序中包括如下指令:
将一帧LIDAR数据中属于多个车辆的多个点集点簇作为输入;
对每个车辆作为概率分布进行追踪;
根据概率分布将每个追踪到的车辆分配给多个点簇中的一个对应的点簇;
根据分配的点簇来重新计算每个追踪到的车辆概率分布。
7.根据权利要求6的系统,其特征在于,对每个车辆作为概率分布进行追踪,还包括:
考虑车辆的分布,其中车辆分别包括一个车辆的速度、形状和位置。
8.根据权利要求6所述的系统,其特征在于,每个车辆作为概率分布进行追踪,还包括:
通过对比属于一个追踪到的车辆的点簇的特征和该车辆的概率模型,来确定该点簇的概率。
9.根据权利要求8所述的系统,其特征在于,还包括:
使用计算得到的概率作为权重来匹配一个点簇和一个追踪到的车辆来确定车辆分配。
10.根据权利要求9所述的系统,其特征在于,还包括:
对于未匹配成功的车辆和点簇执行后处理。
CN201910979009.4A 2018-10-15 2019-10-15 一种基于光检测和测距的车辆追踪方法和系统 Pending CN111045023A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/160,771 US10984540B2 (en) 2018-10-15 2018-10-15 Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
US16/160,771 2018-10-15

Publications (1)

Publication Number Publication Date
CN111045023A true CN111045023A (zh) 2020-04-21

Family

ID=70160084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979009.4A Pending CN111045023A (zh) 2018-10-15 2019-10-15 一种基于光检测和测距的车辆追踪方法和系统

Country Status (2)

Country Link
US (1) US10984540B2 (zh)
CN (1) CN111045023A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045025A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747444B2 (en) 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification
US10984540B2 (en) * 2018-10-15 2021-04-20 Tusimple, Inc. Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
US10823855B2 (en) * 2018-11-19 2020-11-03 Fca Us Llc Traffic recognition and adaptive ground removal based on LIDAR point cloud statistics
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US20240151855A1 (en) * 2021-07-29 2024-05-09 Intel Corporation Lidar-based object tracking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN105957106A (zh) * 2016-04-26 2016-09-21 湖南拓视觉信息技术有限公司 三维目标跟踪的方法和装置
CN107341819A (zh) * 2017-05-09 2017-11-10 深圳市速腾聚创科技有限公司 目标跟踪方法及存储介质
CN108445515A (zh) * 2018-03-01 2018-08-24 南京理工大学 一种面向公路物流的车辆追踪系统
CN108458745A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于智能检测设备的环境感知方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538166B2 (en) * 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US9292913B2 (en) * 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
US9576185B1 (en) * 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
CN110325818B (zh) * 2017-03-17 2021-11-26 本田技研工业株式会社 经由多模融合的联合3d对象检测和取向估计
CN110168559A (zh) * 2017-12-11 2019-08-23 北京嘀嘀无限科技发展有限公司 用于识别和定位车辆周围物体的系统和方法
US10921455B2 (en) * 2018-04-05 2021-02-16 Apex.AI, Inc. Efficient and scalable three-dimensional point cloud segmentation for navigation in autonomous vehicles
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
CN113168505B (zh) 2018-07-17 2024-04-09 辉达公司 用于自主驾驶机器的基于回归的线检测
US10984540B2 (en) * 2018-10-15 2021-04-20 Tusimple, Inc. Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
US10878282B2 (en) 2018-10-15 2020-12-29 Tusimple, Inc. Segmentation processing of image data for LiDAR-based vehicle tracking system and method
US10878580B2 (en) * 2018-10-15 2020-12-29 Tusimple, Inc. Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN105957106A (zh) * 2016-04-26 2016-09-21 湖南拓视觉信息技术有限公司 三维目标跟踪的方法和装置
CN107341819A (zh) * 2017-05-09 2017-11-10 深圳市速腾聚创科技有限公司 目标跟踪方法及存储介质
CN108458745A (zh) * 2017-12-23 2018-08-28 天津国科嘉业医疗科技发展有限公司 一种基于智能检测设备的环境感知方法
CN108445515A (zh) * 2018-03-01 2018-08-24 南京理工大学 一种面向公路物流的车辆追踪系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045025A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045024A (zh) * 2018-10-15 2020-04-21 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统
CN111045024B (zh) * 2018-10-15 2024-04-19 图森有限公司 一种基于光检测和测距的车辆追踪方法和系统

Also Published As

Publication number Publication date
US10984540B2 (en) 2021-04-20
US20200118278A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN111045024B (zh) 一种基于光检测和测距的车辆追踪方法和系统
US11573095B2 (en) Verification module system and method for motion-based lane detection with multiple sensors
CN111045023A (zh) 一种基于光检测和测距的车辆追踪方法和系统
US20220019814A1 (en) Feature matching and correspondence refinement and 3d submap position refinement system and method for centimeter precision localization using camera-based submap and lidar-based global map
CN111045025A (zh) 一种基于光检测和测距的车辆追踪方法和系统
CN111065980B (zh) 使用基于相机的子地图和基于lidar的全局地图进行厘米精度定位的系统和方法
CN111373337B (zh) 使用基于相机的子地图和基于lidar的全局地图进行厘米精度定位的3d子地图重构系统和方法
US10223807B1 (en) Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map
CN111045022A (zh) 一种基于光检测和测距的车辆追踪方法和系统
US11216951B2 (en) Method and apparatus for representing environmental elements, system, and vehicle/robot
CN112414417B (zh) 自动驾驶地图生成方法、装置、电子设备及可读存储介质
US10373003B2 (en) Deep module and fitting module system and method for motion-based lane detection with multiple sensors
US10482769B2 (en) Post-processing module system and method for motioned-based lane detection with multiple sensors
WO2022083529A1 (zh) 一种数据处理方法及装置
CN111052132B (zh) 利用多个传感器的基于运动的车道检测的验证模块系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination