CN107341819B - 目标跟踪方法及存储介质 - Google Patents
目标跟踪方法及存储介质 Download PDFInfo
- Publication number
- CN107341819B CN107341819B CN201710322339.7A CN201710322339A CN107341819B CN 107341819 B CN107341819 B CN 107341819B CN 201710322339 A CN201710322339 A CN 201710322339A CN 107341819 B CN107341819 B CN 107341819B
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- cloud data
- association
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种目标跟踪方法及存储介质,获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标,将识别出的各目标记为第一目标,再将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理,并将上一帧点云数据中跟踪的各目标记为第二目标,之后判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理,最后对目标关联处理后得到的各第一目标进行跟踪。该目标跟踪方法及存储介质基于点云数据进行跟踪,并且在一次目标关联处理后若检测到存在关联失败的第一目标时则再次进行目标关联处理,从而能够提高目标关联的准确度,进而提高了目标跟踪的精度。
Description
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种目标跟踪方法及存储介质。
背景技术
无人驾驶汽车是利用车载传感器来感知车辆周围环境,并根据感知所获得的道路、车辆位置和障碍物信息,控制车辆的转向和速度,从而使车辆能够安全、可靠地在道路上行驶。由于无人驾驶汽车的行驶速度一般可以达到七八十公里,因此无人驾驶汽车要求对一定距离以外的物体仍然需要一定的检测能力,以保证有足够的时间进行紧急制动等安全保障措施,因此动态目标的检测与跟踪是无人驾驶技术的关键问题。
传统的目标跟踪方法通常基于图像进行跟踪,然而,由于天气条件的限制,如光照条件不好、雨天等,使得基于图像得到的距离信息的精确度大大降低,从而无法满足无人驾驶与跟踪精度的要求。
发明内容
基于此,提供一种目标跟踪方法及存储介质,可以提高目标跟踪的精度。
一种目标跟踪方法,包括:
获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标,将识别出的各目标记为第一目标;
将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理,并将上一帧点云数据中跟踪的各目标记为第二目标;
判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理;
对目标关联处理后得到的各第一目标进行跟踪。
在其中一个实施例中,将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理包括:
建立与各所述第二目标对应的搜索区域;
根据所述搜索区域寻找能够反映各所述第一目标与各所述第二目标之间具有的关联关系的最优假设。
在其中一个实施例中,判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理具体为:
判断存在关联失败的所述第一目标时,扩大所述搜索区域,并再次利用扩大后的所述搜索区域对关联失败的所述第一目标进行目标关联处理。
在其中一个实施例中,根据所述搜索区域寻找能够反映各所述第一目标与各所述第二目标之间具有的关联关系的最优假设包括:
根据所述搜索区域生成反映各所述第一目标与各所述第二目标之间可能具备的关联关系的多个假设;
建立关联矩阵;所述关联矩阵内不同的所述第一目标表示为不同的行且不同的所述第二目标表示为不同的列,或者不同的所述第一目标表示为不同的列且不同的所述第二目标表示为不同的行;所述关联矩阵的各元素值为各自所处位置对应的所述第一目标与所述第二目标为同一目标的概率;
计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值;
将各所述最大值对应的所述假设作为最优假设。
在其中一个实施例中,计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值具体为:
利用以下公式计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值;
Pij=γ1*Pdist+γ2*Pvelocity+γ1*Pv_angel
其中,i代表所述关联矩阵的行序号;j代表所述关联矩阵的列序号;γ1+γ2+γ3=1,且0<γ1、γ2、γ3<1;thγeshold为(i,j)对应的所述第二目标与自身的所述搜索区域边缘的距离;distance为(i,j)对应的所述第一目标所处位置与(i,j)对应的所述第二目标预测位置之间的距离;velocity1为(i,j)对应的所述第二目标的观测速度;velocity2为(i,j)对应的所述第一目标的观测速度;v_angel1为(i,j)对应的所述第二目标的速度方向;v_angel2为(i,j)对应的所述第一目标的速度方向。
在其中一个实施例中,获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标包括:
获取当前帧点云数据,从所述当前帧点云数据中识别出地面点云数据,并滤除噪声和地面点得到第一点云数据;
对所述第一点云数据进行聚类处理,以得到所有的所述第一目标。
在其中一个实施例中,从所述当前帧点云数据中识别出地面点云数据,并滤除噪声和地面点得到第一点云数据包括:
根据所述当前帧点云数据得到多个向量,并利用地面点构成的各向量之间具有的平行关系滤除高度大于设定值的干扰点,得到第二点云数据;
将所述第二点云数据利用随时采样一致性算法拟合出所述地面点云数据,并滤除噪声和地面点得到所述第一点云数据。
在其中一个实施例中,对所述第一点云数据进行聚类处理,以得到所有的所述第一目标包括:
根据所述第一点云数据建立二维栅格地图;
对所述二维栅格地图中的各栅格点进行聚类处理以得到所有的所述第一目标。
在其中一个实施例中,对目标关联处理后得到的各第一目标进行跟踪具体为:
对目标关联处理后得到的各第一目标利用卡尔曼滤波器或粒子滤波器进行跟踪。
一个或多个存储介质,存储有计算机程序,所述计算机程序被一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标,将识别出的各目标记为第一目标;
将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理,并将上一帧点云数据中跟踪的各目标记为第二目标;
判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理;
对目标关联处理后得到的各第一目标进行跟踪。
上述目标跟踪方法及存储介质具有的有益效果为:该目标跟踪方法及存储介质在目标跟踪过程中,首先获取当前帧点云数据并识别出所有的目标,之后进行目标关联处理,并且在第一次目标关联处理完成后,判断存在关联失败的第一目标时,再次对关联失败的第一目标进行目标关联处理,最后对目标关联处理后得到的各第一目标进行跟踪。因此,该目标跟踪方法及存储介质基于点云数据进行跟踪,并且在一次目标关联处理后若检测到存在关联失败的第一目标时则再次进行目标关联处理,从而能够提高目标关联的准确度,进而提高了目标跟踪的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他实施例的附图。
图1为一实施方式提供的目标跟踪方法的流程图;
图2为图1所示实施方式的目标跟踪方法中步骤S100的其中一种实施例的流程图;
图3为图2所示实施例的地面点云数据的示意图;
图4为图2所示实施例的步骤S100中步骤S110的其中一种具体流程图;
图5为图4所示实施例的步骤S111中地面点构成向量的示意图;
图6为图2所示实施例的步骤S100中步骤S120的其中一种具体流程图;
图7为图6所示实施例的二维栅格地图的示意图;
图8为图6所示实施例的聚类处理后的二维栅格地图示意图;
图9为第一目标的盒子模型示意图;
图10为图1所示实施方式的目标跟踪方法中步骤S200的其中一种实施例的流程图;
图11为图10所示实施例的步骤S210中反映第一目标与第二目标之间关联关系的其中一种示意图;
图12为图10所示实施例的步骤S220的其中一种具体流程图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参考图1,一实施方式提供了一种目标跟踪方法,该目标跟踪方法可以由具有数据处理能力的设备(例如计算机)或集成电路(例如单片机等)来执行。该目标跟踪方法包括以下内容。
步骤S100,获取当前帧点云数据,并从当前帧点云数据中识别出所有的目标,将识别出的各目标记为第一目标。
其中,当前帧点云数据是指当前由点云采集设备实时采集的一帧点云数据。点云采集设备例如为激光雷达。由于激光雷达采集数据时不易受到外界的干扰(例如天气状况差),在不同的天气条件下能够得到稳定的检测结果,从而能够得到各目标较为精确的距离信息。另外,目标即障碍物,并且为处于运动状态的目标,例如行人、车辆等。
步骤S200,将各第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理,并将上一帧点云数据中跟踪的各目标记为第二目标。
其中,上一帧点云数据与当前帧点云数据的采集时刻相邻,并且上一帧点云数据的采集时刻先于当前帧点云数据的采集时刻。目标关联处理,是指确认当前帧点云数据中的各目标(即各第一目标)是否与上一帧点云数据中的相应目标(即相应的第二目标)为同一目标,或者第一目标为新出现的目标,或者第一目标为误检目标等情况。
步骤S300,判断存在关联失败的第一目标时,再次对关联失败的第一目标进行目标关联处理。
其中,关联失败的第一目标例如为:实际情况中,第一目标在上一帧点云数据中出现过(即第一目标与相应的第二目标为同一目标),但是步骤S200执行完毕后,没有建立该第一目标与相应的第二目标之间的关联关系。对于高速运动的目标来说,则可能出现上述关联失败的情况。另外,判断是否存在关联失败的第一目标这一过程,可以由操作员自行判断,并在判断出现关联失败的第一目标时,向执行该目标跟踪方法的设备或集成电路输入相应的信号,以告知存在关联失败的第一目标;或者也可以由执行该目标跟踪方法的设备或集成电路自行判断是否存在关联失败的第一目标,例如:可以将步骤S200执行完毕后得到的关联完成后的所有第一目标与步骤S100中识别出的所有目标进行对比,如果步骤S100中识别出的所有目标中仍然存在未关联的目标时,则认为存在关联失败的第一目标。
具体地,在判断存在关联失败的第一目标后,可以分别找出当前帧点云数据中未关联的各第一目标、上一帧点云数据中未被关联的各第二目标,然后对这些目标执行与步骤S200相同的目标关联处理方法并且可以相适应修改目标关联处理方法相应的参数以提高目标关联的精确度,从而再次进行目标关联处理过程。进一步地,如果第二次执行目标关联处理过程后仍然存在关联失败的第一目标,则再次进行上述目标关联处理过程,直至不存在关联失败的第一目标为止。
步骤S400,对目标关联处理后得到的各第一目标进行跟踪。
其中,对各第一目标进行跟踪,是指估计各第一目标的运动轨迹。目标关联处理后得到的各第一目标例如包括已经确认与上一帧点云数据中的其中一个第二目标为同一目标的第一目标,或者新增的第一目标(即该第一目标在上一帧点云数据中没有出现过而仅在当前帧点云数据中出现)。那么,在确定了目标关联关系后,即可对目标进行实时准确地跟踪。
因此,该目标跟踪方法及存储介质基于点云数据进行跟踪,并且在一次目标关联处理后若检测到存在关联失败的第一目标时则再次进行目标关联处理,从而能够提高目标关联的准确度,进而提高了目标跟踪的精度。
在其中一个实施例中,上述步骤S100的具体实现方式包括以下内容,请参考图2。
步骤S110,获取当前帧点云数据,从当前帧点云数据中识别出地面点云数据,并滤除噪声和地面点得到第一点云数据。
其中,地面点云数据是指位于地面区域上的所有点云数据,相当于一个平面,例如包括地面点、路沿边缘特征、车辆轮廓特征等。图3为地面点云数据的一个示例,在图3中,中间的矩形代表车辆,位于车辆两边的两条直线代表路沿,中间多条弧形线段为地面点。滤除噪声和地面点,可以采用点云数据滤波的算法进行滤除,例如:可以采用基于坡度的“一维双向标明”的滤波算法、或基于坡度的伪扫描线滤波算法等来去除地面点;可以采用点云数据噪声点的随机滤波处理方法来滤除噪声。并且,对地面点云数据滤除噪声和地面点后,得到的第一点云数据中至少包括各第一目标的点云。
具体地,步骤S110的具体实现方式包括以下内容,请参考图4。
步骤S111,根据当前帧点云数据得到多个向量,并利用地面点构成的各向量之间具有的平行关系滤除高度大于设定值的干扰点,得到第二点云数据。
该步骤中,向量为两个点构成的向量,如图5中的向量V1、向量V2、向量V3所示。地面点构成的各向量之间具有的平行关系,是指由地面点构成的任意两个向量相互平行,例如向量V1与向量V2相互平行。因此,只要存在相互不平行的两个向量,则代表这两个向量的端点一定存在一个非地面点,故可以利用向量的上述特性来滤除掉远高于地面的干扰点。
具体地,为了便于运算,可以将所有的向量转换为单位向量。这时,任意两个由地面点构成的两个向量的点积(例如:单位化后的V1·V2)都近似为1,而掺杂有非地面点的两个向量的点积有很大概率不等于1,因此,可以将向量积不等于1的两个向量挑选出来,进而滤除掉干扰点。例如:在图5中,由于单位化后的V2·V3的结果不等于1,且单位化后的V1·V2等于1,那么可以确定向量V3的两个端点中存在一个非地面点,而向量V2与向量V3的公共端点为C,故可以确定D点为远离地面的干扰点,因此可以将D点滤除掉。
步骤S112,将第二点云数据利用随时采样一致性算法拟合出地面点云数据,并滤除噪声和地面点得到第一点云数据。
其中,随时采样一致性算法所需的可以解释或者适应于观测数据的参数化模型为平面方程。因此,利用随机采样一致性算法最终即可拟合出一个平面,即能够描述地面区域特征的地面点云数据。
接下来请继续参考图2,上述步骤S100还包括以下内容。
步骤S120,对第一点云数据进行聚类处理,以得到所有的第一目标。
其中,在对第一点云数据进行聚类处理时,可以利用K-means算法、BIRCH(Balanced Iterative Reducing and Clustering using Hierarchies)方法等聚类算法进行聚类处理。聚类处理完毕后,得到的每一个聚类则认为是一个第一目标。
具体地,上述步骤S120的其中一种具体实现方式请参考图6,包括以下内容。
步骤S121,根据第一点云数据建立二维栅格地图。
其中,二维栅格地图是指按照给定间距排列的二维阵列数据,且每一个数据对应一个栅格点。具体地,可以先将第一点云数据投影到水平面上,然后建立二维栅格地图,例如可以建立栅格大小为0.2m*0.2m的二维栅格地图,二维栅格地图例如图7所示。进一步地,还可以对二维栅格地图的各栅格点进行腐蚀和膨胀操作,以突出各第一目标的特征。
步骤S122,对二维栅格地图中的各栅格点进行聚类处理以得到所有的第一目标。
对于同一个第一目标来说,其对应的各栅格点之间具有较大的紧密程度,因此进行聚类处理后,即可将相互之间紧密程度较大的各栅格点聚在一起,从而形成对应于各第一目标的聚类,例如图8所示,每一个矩形框代表一个聚类。具体地,在聚类处理过程中,可以利用各栅格点之间的距离与连通关系进行聚类。例如:在利用距离关系将某一个栅格点放入一个聚类后,将与该栅格点具有连通关系的其他栅格点也同时放入同一个聚类中,从而提高聚类处理的速度。
具体地,对于各第一目标,可以利用盒子模型来建模,请参考图9。其中,用矩形框的长和宽表示第一目标的大小,用矩形框的几何中心表示第一目标的中心。另外,该盒子模型还包括第一目标的速度、方向、类别等信息。
在其中一个实施例中,上述步骤S200的其中一种实现方式包括以下内容,请参考图10。
步骤S210.建立与各第二目标对应的搜索区域。
该步骤是指,对于每一个第二目标,分别建立各自的搜索区域,以预测各第二目标在下一帧点云数据(即当前帧点云数据)中可能到达的位置范围。具体地,搜索区域的大小可以与第二目标的速度大小成正比。例如,请参考图11,其中,T1、T2分别代表上一帧点云数据中的第二目标,Z1、Z2分别代表当前帧点云数据中的第一目标,无人车即无人驾驶汽车。如果第二目标的速度较低,则该第二目标的搜索区域设为一个半径例如为2m的圆形搜索区域;如果第二目标的速度较快,则该第二目标的搜索区域设为一个半径较大的圆形区域或椭圆形区域,并且椭圆形区域的长轴与该第二目标的速度方向平行。
步骤S220.根据上述搜索区域寻找能够反映各第一目标与各第二目标之间具有的关联关系的最优假设。
其中,最优假设是指各第二目标与各第一目标之间最有可能出现的关联关系。因此,得到最优假设后,即可认为执行了一次目标关联的处理过程,最优假设则为该次目标关联处理过程得到的结果。
进一步地,基于上述步骤S200的具体实现方式,上述步骤S300具体可以为:判断存在关联失败的第一目标时,扩大搜索区域,并再次利用扩大后的搜索区域对关联失败的第一目标进行目标关联处理。
由于关联失败的目标极有可能是处于高速运动的目标,而如果目标的速度较快,该目标在下一帧点云数据中所处位置的变化程度也较大,因此扩大第二目标的搜索区域后,可以提高关联的准确性。
具体地,上述步骤S220的其中一种具体实现方式包括以下内容,请参考图12。
步骤S221,根据搜索区域生成反映各第一目标与各第二目标之间可能具有的关联关系的多个假设。
该步骤换言之,将各第一目标与各第二目标之间关联关系的所有可能情况都列举出来。例如图11所示,需要确定Z1、Z2是上一帧的T1或者T2,还是一个新出现的目标。假设H1为:Z1落在T1可能到达的门限范围内(即T1对应的搜索区域内),Z2落在T2可能到达的门限范围内。依次类推,生成其他假设H2……:
H1:(T1,Z1)(T2,Z2)
H2:(T2,Z1)(T1,Z2)
……
步骤S222,建立关联矩阵。该关联矩阵内不同的第一目标表示为不同的行且不同的第二目标表示为不同的列,或者不同的第一目标表示为不同的列且不同的第二目标表示为不同的行。并且,该关联矩阵的各元素值为各自所处位置对应的第一目标与第二目标为同一目标的概率。
该步骤换言之,若关联矩阵为A=(aij),则不同的i代表不同的第一目标,不同的j代表不同的第二目标,且aij代表第i个第一目标与第j个第二目标为同一个目标的概率。或者,不同的i代表不同的第二目标,不同的j代表不同的第一目标,且aij代表第i个第二目标与第j个第一目标为同一个目标的概率。
进一步地,在该关联矩阵中,如果不同的第一目标表示为不同的行且不同的第二目标表示为不同的列,则最后一列的各元素值代表各第一目标为新出现目标的概率大小,最后一行的各元素值代表各第二目标在当前帧点云数据中消失的概率大小。例如,关联矩阵A可以表示为:
其中,P11代表T1与Z1是同一目标的概率,Pz1new代表Z1是新出现的目标的概率,PT1vanish代表T1在当前帧点云数据中消失的概率,其他依次类推。
同理,如果不同的第一目标表示为不同的列且不同的第二目标表示为不同的行,则最后一行的各元素值代表各第一目标为新出现目标的概率大小,最后一列的各元素值代表各第二目标在当前帧点云数据中消失的概率大小。
步骤S223,计算上述关联矩阵内的各元素值,并找出每一行或每一列的最大值。
如果不同的第一目标表示为不同的行且不同的第二目标表示为不同的列,那么每一行的最大值,代表各第一目标最有可能关联哪个第二目标的情况。每一列的最大值,代表各第二目标最有可能被哪个第一目标关联的情况。因此,无论是每一列的最大值还是每一行的最大值都与各第一目标和各第二目标之间实际的关联情况最接近。
具体地,步骤S223可以为:利用以下公式计算关联矩阵内的各元素值,并找出每一行或每一列的最大值;
Pij=γ1*Pdist+γ2*Pvelocity+γ1*Pv_angel (2)
其中,i代表关联矩阵的行序号。j代表关联矩阵的列序号。γ1+γ2+γ3=1,且0<γ1、γ2、γ3<1。thγeshold为(i,j)对应的第二目标与自身的搜索区域边缘的距离。distance为(i,j)对应的第一目标所处的位置与(i,j)对应的第二目标预测位置之间的距离。其中,第二目标的预测位置可以利用步骤S400中目标跟踪采用的算法来预测。velocity1为(i,j)对应的第二目标的观测速度。velocity2为(i,j)对应的第一目标的观测速度。v_angel1为(i,j)对应的第二目标的速度方向。v_angel2为(i,j)对应的第一目标的速度方向。其中,可以利用点云数据来计算第一目标和第二目标的观测位置和观测速度。
因此,根据公式(2)至公式(5)即可计算出关联矩阵中每一个元素的值,进而找到每一行或每一列的最大值。
步骤S224,将各最大值对应的假设作为最优假设。
关联矩阵中的每一个元素值对应一个假设,例如上述P11对应假设H1(T1,Z1),因此如果求出每一行或每一列的最大值,则可以相应找到各最大值对应的假设,并将其作为最优假设。例如:如果P11为第一行的最大值,则H1(T1,Z1)为最优假设。
因此,上述是基于概率的关联矩阵来获取最优假设的,从而能够减小计算量和加快假设的搜索方式。
在其中一个实施例中,上述步骤S400具体为:对目标关联处理后得到的各第一目标利用卡尔曼滤波器或粒子滤波器进行跟踪。接下来以卡尔曼滤波器为例进行说明。
卡尔曼滤波分为预测与更新两大步骤。在上述进行目标关联之前,需要为之前所跟踪的目标(即第二目标)预测在当前帧点云数据中可能到达的位置(即上述计算distance时要用到的第二目标的预测位置),此时即可采用卡尔曼滤波器的预测方程来预测。在目标关联处理完毕后,可以根据当前帧点云数据得到第一目标的观测位置和观测速度以作为测量值,并利用对上一帧点云数据中第二目标的预测、卡尔曼滤波器的更新方程,来融合当前观测数据与之前的估计数据,然后将其输出。
在卡尔曼滤波器中,
x(k)和z(k)分别为卡尔曼滤波器的状态量和观测量。
首先,可以基于上一状态(即第二目标)而预测出现在状态(即第一目标的状态),假设现在的状态是k,上一状态是k-1,卡尔曼滤波器的预测方程为:
x(k|k-1)=A x(k-1|k-1)+B u(k)+w(k) (7)
式中,x(k|k-1)是利用上一状态(即与第一目标关联的第二目标)预测的结果,x(k-1|k-1)是上一状态(即与第一目标关联的第二目标)最优的结果,u(k)为控制量,A为预测矩阵,B为控制矩阵,w(k)为处理噪声。
与公式(7)相应的预测协方差预测矩阵为:
P(k|k-1)=A P(k-1|k-1)AT+Q (8)
其中,Q矩阵为系统过程中的噪声,P(k-1|k-1)为上一个状态(即与第一目标关联的第二目标)的协方差矩阵。
系统的观测方程为
z(k)=H x(k)+v(k) (9)
接下来即可利用根据上述预测方程、观测方程分别得到的预测值和观测值,来得到现在状态的最优化估计值,以下是卡尔曼滤波器的三个更新方程:
X(k|k)=x(k|k-1)+Kg(k)(z(k)-H x(k|k-1)) (10)
Kg(k)=P(k|k-1)HT/(H P(k|k-1)HT+R) (11)
P(k|k)=(I-Kg(k)H)P(k|k-1) (12)
其中,X(k|k)是利用滤波器估计出来的当前状态(即第一目标)的最优值,Kg(k)为卡尔曼增益。
具体地,在卡尔曼滤波器的实际计算过程中,需要用到的参数可以为以下值:
其中,A、H分别为卡尔曼滤波器的预测矩阵和观测矩阵。另外,Q、R这两个参数矩阵分别为系统的过程噪声矩阵和观测的噪声,这两个矩阵根据传感器的误差和分割的误差相应设置。
另一实施方式提供了一个或多个存储介质,存储有计算机程序,所述计算机程序被一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标,将识别出的各目标记为第一目标;
将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理,并将上一帧点云数据中跟踪的各目标记为第二目标;
判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理;
对目标关联处理后得到的各第一目标进行跟踪。
其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。需要说明的是,所述一个或多个处理器执行的步骤与上一实施方式提供的目标追踪方法相同,这里就不再赘述。
需要说明的是,图1、图2、图4、图6、图10及图12为本发明实施例的方法的流程示意图。应该理解的是,虽然图1、图2、图4、图6、图10及图12的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图1、图2、图4、图6、图10及图12中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种目标跟踪方法,包括:
获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标,将识别出的各目标记为第一目标;所述点云数据包括激光雷达点云数据;
将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理,并将上一帧点云数据中跟踪的各目标记为第二目标;
判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理;
对目标关联处理后得到的各第一目标进行跟踪;
所述将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理包括:
建立与各所述第二目标对应的搜索区域;
根据所述搜索区域寻找能够反映各所述第一目标与各所述第二目标之间具有的关联关系的最优假设;
所述根据所述搜索区域寻找能够反映各所述第一目标与各所述第二目标之间具有的关联关系的最优假设包括:
根据所述搜索区域生成反映各所述第一目标与各所述第二目标之间可能具备的关联关系的多个假设;
建立关联矩阵;所述关联矩阵内不同的所述第一目标表示为不同的行且不同的所述第二目标表示为不同的列,或者不同的所述第一目标表示为不同的列且不同的所述第二目标表示为不同的行;所述关联矩阵的各元素值为各自所处位置对应的所述第一目标与所述第二目标为同一目标的概率;
计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值;
将各所述最大值对应的所述假设作为最优假设;
所述计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值具体为:
利用以下公式计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值;
Pij=γ1*Pdist+γ2*Pvelocity+γ3*Pv_angel
其中,i代表所述关联矩阵的行序号;j代表所述关联矩阵的列序号;γ1+γ2+γ3=1,且0<γ1、γ2、γ3<1;thγeshold为(i,j)对应的所述第二目标与自身的所述搜索区域边缘的距离;distance为(i,j)对应的所述第一目标所处位置与(i,j)对应的所述第二目标预测位置之间的距离;velocity1为(i,j)对应的所述第二目标的观测速度;velocity2为(i,j)对应的所述第一目标的观测速度;v_angel1为(i,j)对应的所述第二目标的速度方向;v_angel2为(i,j)对应的所述第一目标的速度方向。
2.根据权利要求1所述的方法,其特征在于,判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理具体为:
判断存在关联失败的所述第一目标时,扩大所述搜索区域,并再次利用扩大后的所述搜索区域对关联失败的所述第一目标进行目标关联处理。
3.根据权利要求1或2所述的方法,其特征在于,获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标包括:
获取当前帧点云数据,从所述当前帧点云数据中识别出地面点云数据,并滤除噪声和地面点得到第一点云数据;
对所述第一点云数据进行聚类处理,以得到所有的所述第一目标。
4.根据权利要求3所述的方法,其特征在于,从所述当前帧点云数据中识别出地面点云数据,并滤除噪声和地面点得到第一点云数据包括:
根据所述当前帧点云数据得到多个向量,并利用地面点构成的各向量之间具有的平行关系滤除高度大于设定值的干扰点,得到第二点云数据;
将所述第二点云数据利用随时采样一致性算法拟合出所述地面点云数据,并滤除噪声和地面点得到所述第一点云数据。
5.根据权利要求3所述的方法,其特征在于,对所述第一点云数据进行聚类处理,以得到所有的所述第一目标包括:
根据所述第一点云数据建立二维栅格地图;
对所述二维栅格地图中的各栅格点进行聚类处理以得到所有的所述第一目标。
6.根据权利要求1或2所述的方法,其特征在于,对目标关联处理后得到的各第一目标进行跟踪具体为:
对目标关联处理后得到的各第一目标利用卡尔曼滤波器或粒子滤波器进行跟踪。
7.一个或多个存储介质,存储有计算机程序,所述计算机程序被一个或多个处理器执行时,使得所述一个或多个处理器执行以下步骤:
获取当前帧点云数据,并从所述当前帧点云数据中识别出所有的目标,将识别出的各目标记为第一目标;所述点云数据包括激光雷达点云数据;
将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理,并将上一帧点云数据中跟踪的各目标记为第二目标;
判断存在关联失败的所述第一目标时,再次对关联失败的所述第一目标进行目标关联处理;
对目标关联处理后得到的各第一目标进行跟踪;
所述将各所述第一目标与上一帧点云数据中跟踪的各目标进行目标关联处理包括:
建立与各所述第二目标对应的搜索区域;
根据所述搜索区域寻找能够反映各所述第一目标与各所述第二目标之间具有的关联关系的最优假设;
所述根据所述搜索区域寻找能够反映各所述第一目标与各所述第二目标之间具有的关联关系的最优假设包括:
根据所述搜索区域生成反映各所述第一目标与各所述第二目标之间可能具备的关联关系的多个假设;
建立关联矩阵;所述关联矩阵内不同的所述第一目标表示为不同的行且不同的所述第二目标表示为不同的列,或者不同的所述第一目标表示为不同的列且不同的所述第二目标表示为不同的行;所述关联矩阵的各元素值为各自所处位置对应的所述第一目标与所述第二目标为同一目标的概率;
计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值;
将各所述最大值对应的所述假设作为最优假设;
所述计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值具体为:
利用以下公式计算所述关联矩阵的各元素值,并找出每一行或每一列的最大值;
Pij=γ1*Pdist+γ2*Pvelocity+γ3*Pv_angel
其中,i代表所述关联矩阵的行序号;j代表所述关联矩阵的列序号;γ1+γ2+γ3=1,且0<γ1、γ2、γ3<1;thγeshold为(i,j)对应的所述第二目标与自身的所述搜索区域边缘的距离;distance为(i,j)对应的所述第一目标所处位置与(i,j)对应的所述第二目标预测位置之间的距离;velocity1为(i,j)对应的所述第二目标的观测速度;velocity2为(i,j)对应的所述第一目标的观测速度;v_angel1为(i,j)对应的所述第二目标的速度方向;v_angel2为(i,j)对应的所述第一目标的速度方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710322339.7A CN107341819B (zh) | 2017-05-09 | 2017-05-09 | 目标跟踪方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710322339.7A CN107341819B (zh) | 2017-05-09 | 2017-05-09 | 目标跟踪方法及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107341819A CN107341819A (zh) | 2017-11-10 |
CN107341819B true CN107341819B (zh) | 2020-04-28 |
Family
ID=60220196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710322339.7A Active CN107341819B (zh) | 2017-05-09 | 2017-05-09 | 目标跟踪方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107341819B (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107705563B (zh) * | 2017-11-28 | 2020-01-31 | 苏州大学 | 基于激光雷达的连续车辆速度检测方法 |
CN110398735B (zh) * | 2018-04-24 | 2021-09-10 | 郑州宇通客车股份有限公司 | 一种基于多雷达的感知数据处理方法及系统 |
CN110533055B (zh) * | 2018-05-25 | 2022-04-26 | 北京京东尚科信息技术有限公司 | 一种点云数据的处理方法和装置 |
CN108985171B (zh) * | 2018-06-15 | 2023-04-07 | 上海仙途智能科技有限公司 | 运动状态估计方法和运动状态估计装置 |
CN109214348A (zh) * | 2018-09-19 | 2019-01-15 | 北京极智嘉科技有限公司 | 一种障碍物检测方法、装置、设备及存储介质 |
US10984540B2 (en) * | 2018-10-15 | 2021-04-20 | Tusimple, Inc. | Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method |
US10878282B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Segmentation processing of image data for LiDAR-based vehicle tracking system and method |
CN109949347B (zh) * | 2019-03-15 | 2021-09-17 | 百度在线网络技术(北京)有限公司 | 人体跟踪方法、装置、系统、电子设备和存储介质 |
CN110018489B (zh) * | 2019-04-25 | 2022-11-08 | 上海蔚来汽车有限公司 | 基于激光雷达的目标追踪方法、装置及控制器和存储介质 |
CN110361727A (zh) * | 2019-07-22 | 2019-10-22 | 浙江大学 | 一种毫米波雷达多目标跟踪方法 |
GB2590115B (en) * | 2019-09-13 | 2023-12-06 | Motional Ad Llc | Extended object tracking using radar |
CN110609290B (zh) * | 2019-09-19 | 2021-07-23 | 北京智行者科技有限公司 | 激光雷达匹配定位方法及装置 |
CN112166458B (zh) * | 2019-10-17 | 2024-04-26 | 深圳市大疆创新科技有限公司 | 目标检测与跟踪方法、系统、设备及存储介质 |
CN110927712B (zh) * | 2019-10-28 | 2022-02-01 | 珠海格力电器股份有限公司 | 跟踪方法和装置 |
CN111047901B (zh) * | 2019-11-05 | 2021-07-20 | 珠海格力电器股份有限公司 | 停车管理方法、装置、存储介质、计算机设备 |
CN111123255A (zh) * | 2019-12-13 | 2020-05-08 | 意诺科技有限公司 | 对活动目标进行定位的方法、装置及系统 |
WO2021134258A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 基于点云的目标跟踪方法、装置、计算机设备和存储介质 |
CN111666891B (zh) * | 2020-06-08 | 2023-09-26 | 北京百度网讯科技有限公司 | 用于估计障碍物运动状态的方法和装置 |
CN112379393B (zh) * | 2020-10-29 | 2023-04-25 | 中车株洲电力机车研究所有限公司 | 一种列车碰撞预警方法及其装置 |
CN112561965A (zh) * | 2020-12-21 | 2021-03-26 | 阜阳强松航空科技有限公司 | 基于相关滤波的实时长期跟踪方法 |
CN114488065A (zh) * | 2022-01-27 | 2022-05-13 | 中国第一汽车股份有限公司 | 一种航迹数据处理方法、装置、车辆和介质 |
CN115631215B (zh) * | 2022-12-19 | 2023-04-07 | 中国人民解放军国防科技大学 | 一种移动目标监测方法、系统、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751677A (zh) * | 2008-12-17 | 2010-06-23 | 中国科学院自动化研究所 | 基于多摄像机的目标连续跟踪方法 |
CN103064086A (zh) * | 2012-11-04 | 2013-04-24 | 北京工业大学 | 一种基于深度信息的车辆跟踪方法 |
CN104217428A (zh) * | 2014-08-22 | 2014-12-17 | 南京邮电大学 | 一种融合特征匹配和数据关联的视频监控多目标跟踪方法 |
US9465108B1 (en) * | 2014-12-03 | 2016-10-11 | The United States Of America As Represented By The Secretary Of The Navy | System and method for target doppler estimation and range bias compensation using high duty cycle linear frequency modulated signals |
CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
-
2017
- 2017-05-09 CN CN201710322339.7A patent/CN107341819B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101751677A (zh) * | 2008-12-17 | 2010-06-23 | 中国科学院自动化研究所 | 基于多摄像机的目标连续跟踪方法 |
CN103064086A (zh) * | 2012-11-04 | 2013-04-24 | 北京工业大学 | 一种基于深度信息的车辆跟踪方法 |
CN104217428A (zh) * | 2014-08-22 | 2014-12-17 | 南京邮电大学 | 一种融合特征匹配和数据关联的视频监控多目标跟踪方法 |
US9465108B1 (en) * | 2014-12-03 | 2016-10-11 | The United States Of America As Represented By The Secretary Of The Navy | System and method for target doppler estimation and range bias compensation using high duty cycle linear frequency modulated signals |
CN106023244A (zh) * | 2016-04-13 | 2016-10-12 | 南京邮电大学 | 基于最小二乘法轨迹预测及智能避障模型的行人跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107341819A (zh) | 2017-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107341819B (zh) | 目标跟踪方法及存储介质 | |
Scheel et al. | Tracking multiple vehicles using a variational radar model | |
EP3745158B1 (en) | Methods and systems for computer-based determining of presence of dynamic objects | |
Asvadi et al. | 3D object tracking using RGB and LIDAR data | |
EP3851870A1 (en) | Method for determining position data and/or motion data of a vehicle | |
US11436815B2 (en) | Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same | |
CN102700548A (zh) | 具有前摄像机和后摄像机的稳健的车辆侧向控制 | |
Schreier et al. | Robust free space detection in occupancy grid maps by methods of image analysis and dynamic B-spline contour tracking | |
US20230386225A1 (en) | Method for Determining a Drivable Area | |
Rasmussen et al. | On-vehicle and aerial texture analysis for vision-based desert road following | |
Zhou et al. | Lane information extraction for high definition maps using crowdsourced data | |
US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
CN114022760B (zh) | 铁路隧道障碍物监测预警方法、系统、设备及存储介质 | |
CN114241448A (zh) | 障碍物航向角的获取方法、装置、电子设备及车辆 | |
Lee et al. | An incremental nonparametric Bayesian clustering-based traversable region detection method | |
Chun-Zhao et al. | Drivable road boundary detection for intelligent vehicles based on stereovision with plane-induced homography | |
CN116385997A (zh) | 一种车载障碍物精确感知方法、系统及存储介质 | |
Baig et al. | Using fast classification of static and dynamic environment for improving Bayesian occupancy filter (BOF) and tracking | |
CN111338336B (zh) | 一种自动驾驶方法及装置 | |
Wang et al. | Multi-object tracking strategy of autonomous vehicle using modified unscented kalman filter and reference point switching | |
CN115375956A (zh) | 一种车道线的检测方法及相关装置 | |
WO2018205120A1 (zh) | 目标跟踪方法、智能设备及存储介质 | |
Bernay-Angeletti et al. | A top-down perception approach for vehicle pose estimation | |
Subash | Automatic road extraction from satellite images using extended Kalman filtering and efficient particle filtering | |
CN115994934B (zh) | 数据时间对齐方法、装置以及域控制器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |