CN114387305A - 拖车队列跟踪方法、装置、计算机设备及存储介质 - Google Patents

拖车队列跟踪方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114387305A
CN114387305A CN202111680380.4A CN202111680380A CN114387305A CN 114387305 A CN114387305 A CN 114387305A CN 202111680380 A CN202111680380 A CN 202111680380A CN 114387305 A CN114387305 A CN 114387305A
Authority
CN
China
Prior art keywords
queue
targets
trailer
point cloud
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111680380.4A
Other languages
English (en)
Inventor
操小飞
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Technologies Beijing Co Ltd
Original Assignee
Uisee Technologies Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Technologies Beijing Co Ltd filed Critical Uisee Technologies Beijing Co Ltd
Priority to CN202111680380.4A priority Critical patent/CN114387305A/zh
Publication of CN114387305A publication Critical patent/CN114387305A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供一种拖车队列跟踪方法、装置、计算机设备及存储介质,涉及激光雷达感知技术领域。该方法包括:对自动驾驶车辆上装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应点云数据的子集;根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个目标的运动状态;根据每个候选队列的多个目标的运动状态,确定每个候选队列是否为拖车队列;若是,则针对拖车队列根据激光雷达在第二连续多帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型。通过本发明可更准确、更稳定地对拖车队列的运动状态进行跟踪。

Description

拖车队列跟踪方法、装置、计算机设备及存储介质
技术领域
本发明涉及激光雷达感知技术领域,具体而言,涉及一种拖车队列跟踪方法、装置、计算机设备及存储介质。
背景技术
目前,采用激光雷达作为自动驾驶车辆的传感器,探测自动驾驶车辆周围的障碍物是一种常见的障碍物探测方案。
在大型物流场景中,经常会出现拖车连接多节拖斗形成拖车队列,由于激光雷达本身产生的点云数据稀疏,以及拖车队列在运动过程中,拖车和车斗之间存在遮挡,导致自动驾驶车辆无法准确判断拖车队列的运动状态,不利于对拖车队列的跟踪。
在此情况下,可能由于自动驾驶车辆无法实时掌握拖车队列的运动状态,导致自动驾驶车辆由于没有必要的急刹车或者无法及时避让,与拖车队列发生碰撞。
发明内容
本发明的目的在于,针对上述现有技术中的不足,提供一种拖车队列跟踪方法、装置、计算机设备及存储介质,以便对拖车队列实时进行跟踪。
为实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种拖车队列跟踪方法,包括:
对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应所述点云数据的子集;
根据所述激光雷达在第一连续多帧采集的点云数据中所述每个目标对应所述点云数据的子集,确定所述每个目标的运动状态;
根据所述每个候选队列的多个目标的运动状态,确定所述每个候选队列是否为拖车队列;
若是,则针对所述拖车队列根据所述激光雷达在第二连续多帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建拖车队列模型,所述拖车队列模型的运动状态与所述拖车队列的多个目标的运动状态一致。
可选的,所述对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,包括:
对所述激光雷达采集的点云数据进行聚类,得到多个聚类目标;
从所述多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据所述多个候选目标得到所述候选队列。
可选的,在所述从所述多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据所述多个候选目标得到所述候选队列之前,包括:
将所述多个聚类目标中,形状尺寸不满足预设尺寸条件的聚类目标进行滤除,得到多个初始目标;
所述从所述多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据所述多个候选目标得到所述候选队列,包括:
从所述多个初始目标中,确定相邻初始目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的所述多个候选目标,并根据所述多个候选目标得到所述候选队列。
可选的,所述根据所述每个候选队列的多个目标的运动状态,确定所述每个候选队列是否为拖车队列,包括:
根据所述激光雷达在所述第一连续多帧采集的点云数据中所述每个目标对应所述点云数据的子集,确定所述每个候选队列的所述多个目标在所述第一连续多帧的运动状态是否一致;
将所述第一连续多帧中最后一帧点云数据中所述每个候选队列的所述多个目标对应所述点云数据子集输入预先训练的拖斗识别模型,确定所述每个候选队列的所述多个目标是否被识别为拖斗;
若所述每个候选队列的所述多个目标在所述第一连续多帧的运动状态一致,且所述每个候选队列的所述多个目标被识别为拖斗,则确定所述每个候选队列为拖车队列;
其中,所述拖斗识别模型为预先采用标注有拖斗信息的样本点云数据进行训练得到的模型。
可选的,所述针对所述拖车队列根据所述激光雷达在第二连续多帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建拖车队列模型,包括:
判断在所述第二连续多帧采集的点云数据中是否均观测到所述拖车队列的多个目标对应所述点云数据的子集;
若是,则根据所述第二连续多帧中最后一帧点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建所述拖车队列模型。
可选的,在所述根据所述第二连续多帧中最后一帧点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建所述拖车队列模型之后,所述方法还包括:
根据所述激光雷达在所述第二连续多帧之后的每一帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,更新所述拖车队列模型。
可选的,所述方法还包括:
根据所述拖车队列模型的运动状态对所述拖车队列中的多个目标的运动状态进行矫正。
第二方法,本发明实施例还提供一种拖车队列跟踪装置,所述装置包括:
预处理模块,用于对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应所述点云数据的子集;
运动状态计算模块,根据所述激光雷达在第一连续多帧采集的点云数据中所述每个目标对应所述点云数据的子集,确定所述每个目标的运动状态;
拖车队列确定模块,用于根据所述每个候选队列的多个目标的运动状态,确定所述每个候选队列是否为拖车队列;
模型创建模块,用于若所述每个队列是拖车队列,则针对所述拖车队列根据所述激光雷达在第二连续多帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建拖车队列模型,所述拖车队列模型的运动状态与所述拖车队列的多个目标的运动状态一致。
可选的,所述预处理模块,包括:
聚类单元,用于对所述激光雷达采集的点云数据进行聚类,得到多个聚类目标;
目标筛选单元,用于从所述多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据所述多个候选目标得到所述候选队列。
可选的,在所述目标筛选单元之前,所述装置还包括:
滤除单元,用于将所述多个聚类目标中,形状尺寸不满足预设尺寸条件的聚类目标进行滤除,得到多个初始目标;
所述筛选单元,具体用于从所述多个初始目标中,确定相邻初始目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的所述多个候选目标,并根据所述多个候选目标得到所述候选队列。
可选的,所述拖车队列确定模块,包括:
运动状态判断单元,用于根据所述激光雷达在所述第一连续多帧采集的点云数据中所述每个目标对应所述点云数据的子集,确定所述每个候选队列的所述多个目标在所述第一连续多帧的运动状态是否一致;
拖斗判断单元,用于将所述第一连续多帧中最后一帧点云数据中所述每个候选队列的所述多个目标对应所述点云数据子集输入预先训练的拖斗识别模型,确定所述每个候选队列的所述多个目标是否被识别为拖斗;
拖车队列确定单元,用于若所述每个候选队列的所述多个目标在所述第一连续多帧的运动状态一致,且所述每个候选队列的所述多个目标被识别为拖斗,则确定所述每个候选队列为拖车队列;
其中,所述拖斗识别模型为预先采用标注有拖斗信息的样本点云数据进行训练得到的模型。
可选的,所述模型创建模块,包括:
数据观测判断单元,用于判断在所述第二连续多帧采集的点云数据中是否均观测到所述拖车队列的多个目标对应所述点云数据的子集;
模型创建单元,用于若是,则根据所述第二连续多帧中最后一帧点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建所述拖车队列模型。
可选的,所述模型创建单元之后,所述装置还包括:
模型更新单元,用于根据所述激光雷达在所述第二连续多帧之后的每一帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,更新所述拖车队列模型。
可选的,所述装置还包括:
矫正模型,用于根据所述拖车队列模型的运动状态对所述拖车队列中的多个目标的运动状态进行矫正。
第三方面,本发明实施例还提供一种计算机设备,包括:处理器、存储器,所述存储器中存储有所述处理器可执行的程序指令,当所述计算机设备运行时,所述处理器执行所述存储器中存储的所述程序指令,以执行如上述实施例任一所述的拖车队列跟踪方法的步骤。
第四方面,本发明实施例还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时以执行如上述实施例任一所述的拖车队列跟踪方法的步骤。
本发明的有益效果是:
本发明提供一种拖车队列跟踪方法、装置、计算机设备及存储介质,该方法通过对自动驾驶车辆上装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应点云数据的子集;根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个目标的运动状态;根据每个候选队列的多个目标的运动状态,确定每个候选队列是否为拖车队列;若是,则针对拖车队列根据激光雷达在第二连续多帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型,拖车队列模型的运动状态与拖车队列的多个目标的运动状态一致。本发明的方案,通过激光雷达采集的点云数据建立候选队列,并根据候选队列中多个目标的运动状态确定拖车队列,以便对拖车队列创建拖车队列模型,从而根据拖车队列模型更准确、更稳定地对拖车队列的运动状态进行跟踪,避免自动驾驶车辆和拖车队列发生碰撞。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的第一种拖车队列跟踪方法的流程示意图;
图2为本发明实施例提供的第二种拖车队列跟踪方法的流程示意图;
图3为本发明实施例提供的第三种拖车队列跟踪方法的流程示意图;
图4为本发明实施例提供的第四种拖车队列跟踪方法的流程示意图;
图5为本发明实施例提供的一种拖车队列跟踪方法的实验效果图;
图6为本发明实施例提供的一种拖车队列跟踪装置的结构示意图;
图7为本发明实施例提供的计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该申请产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
图1为本发明实施例提供的第一种拖车队列跟踪方法的流程示意图;如图1所示,该方法包括:
S10:对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应点云数据的子集。
具体的,自动驾驶车辆在预设无人驾驶场景内运动,自动驾驶车辆上装载有激光雷达,激光雷达用于向自动驾驶车辆所在的预设范围内发射激光,并采集激光照射到预设范围内的其他物体表面上所反射的点云数据,点云数据包括物体表面相对于激光雷达的方位、距离等信息。
在一种可能的实现方式中,除了采用激光雷达采集点云数据外,还可以在自动驾驶车辆上安装摄像装置,以对预设无人驾驶场景内的其他物体进行拍照,从拍摄的图像中确定像素点数据,并对像素点数据进行预处理到的至少一个候选队列。
对采集到的点云数据进行预处理,根据点云数据之间的距离等信息,将点云数据分为多个点云数据的子集,每个点云数据的子集构成一个目标,多个目标构成一个候选队列。在一些实施例中,可以根据各目标(各点云数据)的相对位置和各目标(各点云数据)与自动驾驶车辆之间的距离,判断各目标是否构成至少一个候选队列。
S20:根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个目标的运动状态。
具体的,激光雷达在第一连续多帧内向自动驾驶车辆所在的预设范围内发射激光,以采集到多帧点云数据,对每一帧采集到的点云数据采用前述S10的方式进行预处理,得到每一帧的候选队列。
对于候选队列中的每个目标,根据每个目标在每一帧中对应的点云数据的子集,确定每个目标在第一连续多帧中每个相邻两帧之间的移动距离,并确定第一连续多帧中每相邻两帧之间的时间间隔,根据移动距离和时间间隔计算每个目标在相邻两帧之间的运动状态,其中,每个目标的运动状态包括每个目标的运动速度和运动方向。
S30:根据每个候选队列的多个目标的运动状态,确定每个候选队列是否为拖车队列。
具体的,根据上述S20得到每个候选队列中的多个目标的运动状态,判断第一连续多帧内,每个候选队列中的多个目标的运动状态是否一致,即每个候选队列中的多个目标的运动速度和运动方向是否一致,从而确定每个候选队列是否为拖车队列,其中,拖车队列为预设无人驾驶场景内运动的由一个拖车和至少一个拖斗形成的队列。若某个候选队列的多个目标的运动状态在第一连续多帧内保持一致,则确定该候选队列为拖车队列。
S40:若是,则针对拖车队列根据激光雷达在第二连续多帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型,拖车队列模型的运动状态与拖车队列的多个目标的运动状态一致。
具体的,若通过上述S30确定候选队列是拖车队列,根据拖车队列的多个目标的运动状态,从激光雷达在第二连续多帧采集的点云数据中,确定拖车队列的多个目标对应的点云数据的子集,采用预设的队列模型构建方法,根据拖车队列的多个目标对应点云数据的子集创建拖车队列模型。示例的,队列模型构建方法可以为:对每个目标对应的点云数据的子集采用矩形框表征,多个依次相邻的矩形框即可构成用于展示拖车队列的形状和运动状态的拖车队列模型,拖车队列模型的运动状态与拖车队列的多个目标的运动状态保持一致。
本发明实施例提供一种拖车队列跟踪方法,通过对自动驾驶车辆上装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应点云数据的子集;根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个目标的运动状态;根据每个候选队列的多个目标的运动状态,确定每个候选队列是否为拖车队列;若是,则根据激光雷达在第二连续多帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型,拖车队列模型的运动状态与拖车队列的多个目标的运动状态一致。本发明实施例的方案,可以根据点云数据建立多个目标,并根据目标的运动状态确定候选队列是否拖车队列,并根据拖车队列的目标对应的点云创建拖车队列模型,以便通过拖车队列模型更准确、更稳定地对拖车队列的运动状态进行跟踪,避免自动驾驶车辆和拖车队列发生碰撞。
在上述实施例的基础上,本发明实施例还提供一种拖车队列跟踪方法,图2为本发明实施例提供的第二种拖车队列跟踪方法的流程示意图,如图2所示,上述S10包括:
S11:对激光雷达采集的点云数据进行聚类,得到多个聚类目标。
具体的,激光雷达发射的激光照射到物体表面并采集反射的点云数据,点云数据为多个离散的数据点,通过将距离小于设定阈值的点云数据聚类为同一个聚类目标,以得到多个聚类目标。
S12:从多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据多个候选目标得到候选队列。
具体的,在预设无人驾驶场景中的拖车队列是由一个拖车和至少一个拖斗构成的,拖车与第一个拖斗之间以及相邻拖斗之间的具有固定的间隔距离,以保证拖车可以和拖斗一起在预设无人驾驶场景内进行运动。
通过对多个聚类目标中的相邻聚类目标之间的间距进行计算,确定任意相邻聚类目标之间的间距。根据相邻聚类目标之间的间距,从多个相邻聚类目标中筛选间距小于预设间距的相邻聚类目标,将间距小于预设间距的多个相邻聚类目标作为一组相邻聚类目标,以从多个聚类目标中筛选出多组间距小于预设间距的相邻聚类目标。
拖车队列包括一个拖车和至少一个拖斗,为了从多组相邻聚类目标中筛选出拖车队列对应的相邻聚类目标,首先要根据拖车队列中一个拖车和至少一个拖斗的数量,从多组相邻聚类目标中筛选出至少一组候选目标,每组候选目标中的聚类目标的数量大于或等于预设数量阈值,每组候选目标中的多个候选目标构成候选队列。
在一种可选实施方式中,在上述S12之前,该方法还包括:
将多个聚类目标中,形状尺寸不满足预设尺寸条件的聚类目标进行滤除,得到多个初始目标。
具体的,在预设无人驾驶场景中除了有拖车队列外,可能还有其他障碍物,激光雷达发射的激光在经过其他障碍物表面也会采集到对应的点云数据,为排除其他障碍物的点云数据对创建拖车队列模型的干扰,因此,需要对其他障碍物的点云数据进行滤除。
本实施例中,对采集到的所有点云数据进行聚类得到多个聚类目标后,可将多个聚类目标中形状尺寸不满足预设尺寸条件的聚类目标滤除,得到多个初始目标。示例的,预设尺寸条件可根据拖车的尺寸设定。
基于此,上述S12包括:
从多个初始目标中,确定相邻初始目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据多个候选目标得到候选队列。
本发明实施例提供的拖车队列跟踪方法,通过对激光雷达采集的点云数据进行聚类,得到多个聚类目标,从多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据多个候选目标得到候选队列。通过本发明实施例,可将间距过大的相邻聚类目标,以及连续的数量极少的多个候选目标作为不符合拖车队列的目标,通过过滤不符合条件的聚类目标,使得根据多个候选目标得到的候选队列与实际拖车队列更为相似,提高创建拖车队列模型的准确度。
在上述实施例的基础上,本发明实施例还提供一种拖车队列跟踪方法,图3为本发明实施例提供的第三种拖车队列跟踪方法的流程示意图,如图3所示,上述S30包括:
S31:根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个候选队列的多个目标在第一连续多帧的运动状态是否一致。
具体的,在第一连续多帧内,确定每个目标在每一帧中对应的点云数据的子集,根据相邻两帧之间每个目标对应的点云数据的子集,计算相邻两帧之间每个目标的移动距离,并结合相邻两帧之间的时间间隔,计算相邻两帧之间的运动状态,判断每相邻多帧之间多个目标的运动状态是否一致,从而确定每个候选队列的多个目标在第一连续多帧内的运动状态是否一致。
S32:将第一连续多帧中最后一帧点云数据中每个候选队列的多个目标对应点云数据子集输入预先训练的拖斗识别模型,确定每个候选队列的多个目标是否被识别为拖斗。
具体的,拖斗识别模型为采用深度学习方法预先训练的,可以根据点云数据识别出拖斗的深度学习模型。训练过程中,可以将预先标注有拖斗信息的样本点云数据输入初始拖斗识别模型,根据初始拖斗识别模型的输出结果对模型的训练参数进行调整,直至模型的输出结果满足要求,得到训练完成的拖斗识别模型。
从第一连续多帧的最后一帧的点云数据中,确定每个候选队列的多个目标对应的点云数据的子集,将多个目标对应的点云数据的子集输入上述训练得到的拖斗识别模型,通过拖斗识别模型可以识别出多个目标是否为拖斗。
S33:若每个候选队列的多个目标在第一连续多帧的运动状态一致,且每个候选队列的多个目标被识别为拖斗,则确定每个候选队列为拖车队列。
具体的,若经过上述S31判定若每个候选队列的多个目标在第一连续多帧的运动状态一致,且经过上述S32的拖斗识别模型将候选队列的多个目标识别为拖斗,则确定该候选队列为拖车队列。
需要说明的是,由于拖车队列包括一个拖车和至少一个拖斗,通过拖斗识别模型识别多个目标,确定识别到的拖斗的数量,判断识别到的拖斗的数量是否与预设无人驾驶场景内的拖车队列的拖斗数量相同,若数量相同,且运动状态一致,则确定该候选队列为拖车队列。
本发明实施例提供的拖车队列识别方法,根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个候选队列的多个目标在第一连续多帧的运动状态是否一致,将第一连续多帧中最后一帧点云数据中每个候选队列的多个目标对应点云数据子集输入预先训练的拖斗识别模型,确定每个候选队列的多个目标是否被识别为拖斗,若每个候选队列的多个目标在第一连续多帧的运动状态一致,且每个候选队列的多个目标被识别为拖斗,则确定每个候选队列为拖车队列。通过本发明实施例,可通过对候选队列的多个目标在第一连续多帧内的运动状态进行判断,并结合拖斗识别模型的识别结果,确定候选队列是否为拖车队列,以使得可以从点云数据中准确识别拖车队列。
在上述实施例的基础上,本发明实施例还提供一种拖车队列跟踪方法,图4为本发明实施例提供的第四种拖车队列跟踪方法的流程示意图,如图4所示,上述S40包括:
S41:判断在第二连续多帧采集的点云数据中是否均观测到拖车队列的多个目标对应点云数据的子集。
具体的,从第一连续多帧采集的点云数据中确定出拖车队列后,根据拖车队列的多个目标在第一连续多帧内对应的点云数据的子集,对多个目标对应的点云数据的子集进行观测,确定在第二连续多帧内采集的点云数据中是否包括多个目标对应的点云数据的子集。
S42:若是,则根据第二连续多帧中最后一帧点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型。
具体的,若在第二连续多帧内每一帧的点云数据中,均包括拖车队列的多个目标对应点云数据的子集,确定拖车队列在预设无人驾驶场景内稳定运行。从第二连续多帧的最后一帧的点云数据中,确定拖车队列对应的点云数据的子集,采用预设的队列模型构建方法,根据拖车队列的多个目标对应点云数据的子集创建拖车队列模型,具体的模型创建过程参考上述S40,在此不做赘述。
本发明实施例提供的拖车队列跟踪方法,判断在第二连续多帧采集的点云数据中是否均观测到拖车队列的多个目标对应点云数据的子集,若是,则根据第二连续多帧中最后一帧点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型。通过本发明实施例,在第一连续多帧确定拖车队列后,在第二连续多帧内均观测到拖车队列的多个目标对应点云数据的子集的情况下,可以创建准确的拖车队列模型。
在上述实施例的基础上,本发明实施例还提供一种拖车队列跟踪方法,在S42之后,该方法还包括:
根据激光雷达在第二连续多帧之后的每一帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,更新拖车队列模型。
具体的,激光雷达在第二连续多帧之后持续发射激光,以采集第二连续多帧之后的多帧点云数据,从第二连续多帧之后的每一帧的点云数据中,确定拖车队列的多个目标对应点云数据的子集,采用预设的队列模型构建方法,根据每一帧中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型,以在第二连续多帧之后的每一帧内,根据拖车队列的运动状态持续更新拖车队列模型。
本发明实施例提供的拖车队列跟踪方法,根据激光雷达在第二连续多帧之后的每一帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,更新拖车队列模型。通过本发明实施例,通过持续更新拖车队列模型,以对拖车队列的运动状态进行持续跟踪,避免自动驾驶车辆和拖车队列发生碰撞。
在上述实施例的基础上,本发明实施例还提供一种拖车队列跟踪方法,该方法还包括:
根据拖车队列模型的运动状态对拖车队列中的多个目标的运动状态进行矫正。
具体的,根据拖车队列模型在连续多帧内的运动距离和运动时间,计算拖车队列模型的运动速度,拖车队列模型的曲线切线方向为拖车队列模型的运动方向。采用同样的计算方法计算拖车队列中多个目标的运动状态,由于激光雷达通过发射激光所采集的点云数据的准确度存在差异,导致计算得到的多个目标的运动状态与拖车队列模型的整体运动状态存在差异,因此,可以通过拖车队列模型的运动状态对拖车队列中的多个目标的运动状态进行矫正。
本发明实施例提供的拖车队列跟踪方法,根据拖车队列模型的运动状态对拖车队列中的多个目标的运动状态进行矫正。通过本发明实施例,可对拖车队列中的多个目标的运动状态进行矫正,以得到更为准确地目标的运动状态。
在上述实施例的基础上,图5为本发明实施例提供的一种拖车队列跟踪方法的实验效果图,如图5所示,环形波为自动驾驶车辆上装载的激光雷达向外发射的激光,左侧为现有的拖车队列跟踪方法得到的拖车队列模型,右侧为采用本发明实施例的拖车队列跟踪方法得到的拖车队列模型,从图中可以看出,采用本发明实施例的拖车队列跟踪方法得到的拖车队列模型可以更稳定、更准确地模拟拖车队列的运动状态。
在上述实施例的基础上,本发明实施例还提供一种拖车队列跟踪装置,图6为本发明实施例提供的一种拖车队列跟踪装置的结构示意图,如图6所示,该装置包括:
预处理模块100,用于对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应点云数据的子集;
运动状态计算模块200,根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个目标的运动状态;
拖车队列确定模块300,用于根据每个候选队列的多个目标的运动状态,确定每个候选队列是否为拖车队列;
模型创建模块400,用于若是,则针对拖车队列根据激光雷达在第二连续多帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型,拖车队列模型的运动状态与拖车队列的多个目标的运动状态一致。
可选的,预处理模块100,包括:
聚类单元,用于对激光雷达采集的点云数据进行聚类,得到多个聚类目标;
目标筛选单元,用于从多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据多个候选目标得到候选队列。
可选的,在目标筛选单元之前,该装置还包括:
滤除单元,用于将多个聚类目标中,形状尺寸不满足预设尺寸条件的聚类目标进行滤除,得到多个初始目标;
筛选单元,具体用于从多个初始目标中,确定相邻初始目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据多个候选目标得到候选队列。
可选的,拖车队列确定模块300,包括:
运动状态判断单元,用于根据激光雷达在第一连续多帧采集的点云数据中每个目标对应点云数据的子集,确定每个候选队列的多个目标在第一连续多帧的运动状态是否一致;
拖车队列判断单元,用于将第一连续多帧中最后一帧点云数据中每个候选队列的多个目标对应点云数据子集输入预先训练的队列识别模型,确定每个候选队列是否被识别为拖车队列;
拖车队列确定单元,用于若每个候选队列的多个目标在第一连续多帧的运动状态一致,且每个候选队列被识别为拖车队列,则确定每个候选队列为拖车队列;
其中,队列识别模型为预先采用标注有拖车队列的样本点云数据进行训练得到的模型。
可选的,模型创建模块400,包括:
数据观测判断单元,用于判断在第二连续多帧采集的点云数据中是否均观测到拖车队列的多个目标对应点云数据的子集;
模型创建单元,用于若是,则根据第二连续多帧中最后一帧点云数据中拖车队列的多个目标对应点云数据的子集,创建拖车队列模型。
可选的,模型创建单元之后,该装置还包括:
模型更新单元,用于根据激光雷达在第二连续多帧之后的每一帧采集的点云数据中拖车队列的多个目标对应点云数据的子集,更新拖车队列模型。
可选的,该装置还包括:
矫正模型,用于根据拖车队列模型的运动状态对拖车队列中的多个目标的运动状态进行矫正。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
图7为本发明实施例提供的计算机设备的示意图,该计算机设备500包括:处理器501、存储器502。
存储器502中存储有处理器501可执行的程序指令,当计算机设备500运行时,处理器501执行存储器502中存储的程序指令,以执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
可选地,本发明还提供一种程序产品,例如计算机可读存储介质,包括程序,该程序在被处理器执行时用于执行上述方法实施例。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种拖车队列跟踪方法,其特征在于,包括:
对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应所述点云数据的子集;
根据所述激光雷达在第一连续多帧采集的点云数据中所述每个目标对应所述点云数据的子集,确定所述每个目标的运动状态;
根据所述每个候选队列的多个目标的运动状态,确定所述每个候选队列是否为拖车队列;
若是,则针对所述拖车队列根据所述激光雷达在第二连续多帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建拖车队列模型,所述拖车队列模型的运动状态与所述拖车队列的多个目标的运动状态一致。
2.根据权利要求1所述的方法,其特征在于,所述对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,包括:
对所述激光雷达采集的点云数据进行聚类,得到多个聚类目标;
从所述多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据所述多个候选目标得到所述候选队列。
3.根据权利要求2所述的方法,其特征在于,在所述从所述多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据所述多个候选目标得到所述候选队列之前,包括:
将所述多个聚类目标中,形状尺寸不满足预设尺寸条件的聚类目标进行滤除,得到多个初始目标;
所述从所述多个聚类目标中,确定相邻聚类目标的间距小于预设间距,且,数量大于或等于预设数量阈值的连续的多个候选目标,并根据所述多个候选目标得到所述候选队列,包括:
从所述多个初始目标中,确定相邻初始目标的间距小于预设间距,且数量大于或等于预设数量阈值的连续的所述多个候选目标,并根据所述多个候选目标得到所述候选队列。
4.根据权利要求1所述的方法,其特征在于,所述根据所述每个候选队列的多个目标的运动状态,确定所述每个候选队列是否为拖车队列,包括:
根据所述数据采集装置在所述第一连续多帧采集的点云数据中所述每个目标对应所述点云数据的子集,确定所述每个候选队列的所述多个目标在所述第一连续多帧的运动状态是否一致;
将所述第一连续多帧中最后一帧点云数据中所述每个候选队列的所述多个目标对应所述点云数据子集输入预先训练的拖斗识别模型,确定所述每个候选队列的所述多个目标是否被识别为拖斗;
若所述每个候选队列的所述多个目标在所述第一连续多帧的运动状态一致,且所述每个候选队列的所述多个目标被识别为拖斗,则确定所述每个候选队列为拖车队列;
其中,所述拖斗识别模型为预先采用标注有拖斗信息的样本点云数据进行训练得到的模型。
5.根据权利要求1所述的方法,其特征在于,所述针对所述拖车队列根据所述激光雷达在第二连续多帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建拖车队列模型,包括:
判断在所述第二连续多帧采集的点云数据中是否均观测到所述拖车队列的多个目标对应所述点云数据的子集;
若是,则根据所述第二连续多帧中最后一帧点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建所述拖车队列模型。
6.根据权利要求5所述的方法,其特征在于,在所述根据所述第二连续多帧中最后一帧点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建所述拖车队列模型之后,所述方法还包括:
根据所述激光雷达在所述第二连续多帧之后的每一帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,更新所述拖车队列模型。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述拖车队列模型的运动状态对所述拖车队列中的多个目标的运动状态进行矫正。
8.一种拖车队列跟踪装置,其特征在于,所述装置包括:
预处理模块,用于对自动驾驶车辆上所装载的激光雷达采集的点云数据进行预处理,得到至少一个候选队列,每个候选队列包括多个目标,每个目标对应所述点云数据的子集;
运动状态计算模块,根据所述激光雷达在第一连续多帧采集的点云数据中所述每个目标对应所述点云数据的子集,确定所述每个目标的运动状态;
拖车队列确定模块,用于根据所述每个候选队列的多个目标的运动状态,确定所述每个候选队列是否为拖车队列;
模型创建模块,用于若所述每个候选队列是拖车队列,则针对所述拖车队列根据所述激光雷达在第二连续多帧采集的点云数据中所述拖车队列的多个目标对应所述点云数据的子集,创建拖车队列模型,所述拖车队列模型的运动状态与所述拖车队列的多个目标的运动状态一致。
9.一种计算机设备,其特征在于,包括:处理器、存储器,所述存储器中存储有所述处理器可执行的程序指令,当所述计算机设备运行时,所述处理器执行所述存储器中存储的所述程序指令,以执行如权利要求1至7任一所述的拖车队列跟踪方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时以执行如权利要求1至7任一所述的拖车队列跟踪方法的步骤。
CN202111680380.4A 2021-12-30 2021-12-30 拖车队列跟踪方法、装置、计算机设备及存储介质 Pending CN114387305A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111680380.4A CN114387305A (zh) 2021-12-30 2021-12-30 拖车队列跟踪方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111680380.4A CN114387305A (zh) 2021-12-30 2021-12-30 拖车队列跟踪方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114387305A true CN114387305A (zh) 2022-04-22

Family

ID=81200317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111680380.4A Pending CN114387305A (zh) 2021-12-30 2021-12-30 拖车队列跟踪方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114387305A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576185B1 (en) * 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
US20190202251A1 (en) * 2018-01-04 2019-07-04 Hall Labs Llc System for optimizing a trailer path
US10345437B1 (en) * 2018-08-06 2019-07-09 Luminar Technologies, Inc. Detecting distortion using other sensors
CN110580038A (zh) * 2018-06-11 2019-12-17 上海交通大学 自动驾驶跟车装置及自动驾驶车队系统
CN110780305A (zh) * 2019-10-18 2020-02-11 华南理工大学 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法
CN111284502A (zh) * 2020-03-10 2020-06-16 仓擎智能科技(上海)有限公司 一种牵引车组位姿检测方法及系统
KR20210035940A (ko) * 2019-09-24 2021-04-02 현대모비스 주식회사 차량의 군집 주행 방법
CN113205552A (zh) * 2021-04-28 2021-08-03 北京亮道智能汽车技术有限公司 一种目标检测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576185B1 (en) * 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
US20190202251A1 (en) * 2018-01-04 2019-07-04 Hall Labs Llc System for optimizing a trailer path
CN110580038A (zh) * 2018-06-11 2019-12-17 上海交通大学 自动驾驶跟车装置及自动驾驶车队系统
US10345437B1 (en) * 2018-08-06 2019-07-09 Luminar Technologies, Inc. Detecting distortion using other sensors
KR20210035940A (ko) * 2019-09-24 2021-04-02 현대모비스 주식회사 차량의 군집 주행 방법
CN110780305A (zh) * 2019-10-18 2020-02-11 华南理工大学 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法
CN111284502A (zh) * 2020-03-10 2020-06-16 仓擎智能科技(上海)有限公司 一种牵引车组位姿检测方法及系统
CN113205552A (zh) * 2021-04-28 2021-08-03 北京亮道智能汽车技术有限公司 一种目标检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIE XING;BAI LIN;HUANG XINMING: "Real-Time LiDAR Point Cloud Semantic Segmentation for Autonomous Driving", ELECTRONICS, vol. 11, no. 1, 22 December 2021 (2021-12-22) *
陣鎌真一;宋显亮: "自动驾驶的关键技术——激光雷达(LiDAR)的基础技术、最新动态及车载技术的必要条件", 汽车与新动力, vol. 4, no. 4, 25 August 2021 (2021-08-25) *

Similar Documents

Publication Publication Date Title
US11783568B2 (en) Object classification using extra-regional context
JP6565967B2 (ja) 路上障害物検出装置,方法,およびプログラム
Levinson et al. Traffic light mapping, localization, and state detection for autonomous vehicles
CN106952303B (zh) 车距检测方法、装置和系统
EP3293669A1 (en) Enhanced camera object detection for automated vehicles
DE102011117585B4 (de) Systeme und Verfahren zum Verfolgen von Objekten
US11782158B2 (en) Multi-stage object heading estimation
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
US20210390283A1 (en) Object recognition system, recognition device, object recognition method, and object recognition program
CN110717918B (zh) 行人检测方法和装置
CN115049700A (zh) 一种目标检测方法及装置
CN112541416B (zh) 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
US11392804B2 (en) Device and method for generating label objects for the surroundings of a vehicle
CN111723724B (zh) 一种路面障碍物识别方法和相关装置
JP2012123642A (ja) 画像識別装置及びプログラム
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
Roberts Attentive visual tracking and trajectory estimation for dynamic scene segmentation
JP2016197278A (ja) 歩行者判定装置
US11069049B2 (en) Division line detection device and division line detection method
US11899750B2 (en) Quantile neural network
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
CN114387305A (zh) 拖车队列跟踪方法、装置、计算机设备及存储介质
CN103093481A (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
EP4089649A1 (en) Neuromorphic cameras for aircraft
CN114581863A (zh) 车辆危险状态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination