CN112991389A - 一种目标跟踪方法、装置及移动机器人 - Google Patents

一种目标跟踪方法、装置及移动机器人 Download PDF

Info

Publication number
CN112991389A
CN112991389A CN202110313388.0A CN202110313388A CN112991389A CN 112991389 A CN112991389 A CN 112991389A CN 202110313388 A CN202110313388 A CN 202110313388A CN 112991389 A CN112991389 A CN 112991389A
Authority
CN
China
Prior art keywords
target
point cloud
tracking
state information
tracking target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110313388.0A
Other languages
English (en)
Other versions
CN112991389B (zh
Inventor
张书洋
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiqing Innovation Technology Co ltd
Original Assignee
Shenzhen Yiqing Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiqing Innovation Technology Co ltd filed Critical Shenzhen Yiqing Innovation Technology Co ltd
Priority to CN202110313388.0A priority Critical patent/CN112991389B/zh
Publication of CN112991389A publication Critical patent/CN112991389A/zh
Application granted granted Critical
Publication of CN112991389B publication Critical patent/CN112991389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及目标跟踪技术领域,公开一种目标跟踪方法、装置及移动机器人。在目标跟踪方法中,先获取当前帧的目标点云数据和上一帧跟踪目标的状态信息,根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息,然后使用高斯混合模型对目标点云数据进行建模,并且使用扩展的EM算法迭代地对高斯混合模型进行优化求解,得到跟踪目标的点云特征,最后根据当前帧跟踪目标的预测状态信息及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。由于上一帧的跟踪目标状态信息被推算到下一帧作为先验,数据关联和目标检测同时进行,因此,其能够确保数据关联的一致性,从而提高目标跟踪性能。

Description

一种目标跟踪方法、装置及移动机器人
技术领域
本发明涉及目标跟踪技术领域,特别是涉及一种目标跟踪方法、装置及移动机器人。
背景技术
多目标跟踪(例如人群场景中的行人跟踪)是移动机器人应用的关键,在移动机器人的激光传感器感知系统中,针对行人的目标跟踪充满了挑战。由于在人群场景中,行人目标的运动往往是不确定的,并且某些行人目标之间有特殊的交互行为以及独特的社交距离,因此,很难对单个行人目标进行检测和跟踪。
在传统的基于激光扫描的多目标跟踪算法中,先获取当前点云中的所有目标,然后结合上一帧获取的目标列表,进行数据关联,得到这两帧目标间目标间的一一对应关系,最后将关联上的目标进行状态更新以估计当前帧目标的位置和运动状态。
发明人在实施本发明的过程中,发现相关技术存在以下缺点:目标的检测结果基于所获取的点云数据,当获取的点云比较稀疏时,检测结果与实际情况不符,此时,容易造成数据关联错误,以至于无法正确地估计目标的运动状态,尤其在密集的人群场景中,行人间距离较近,数据关联难度加大,目标跟踪失败的概率也会变高。
发明内容
本发明实施例提供了一种目标跟踪方法、装置及移动机器人,能够解决相关技术中多目标跟踪性能不佳的技术问题。
本发明实施例为解决上述技术问题提供了如下技术方案:
在第一方面,本发明实施例提供了一种目标跟踪方法,包括:
获取当前帧的目标点云数据;
获取上一帧跟踪目标的状态信息;
根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息;
使用高斯混合模型对所述目标点云数据进行建模;
使用扩展的EM算法迭代地对所述高斯混合模型进行优化求解,得到跟踪目标的点云特征;
根据所述当前帧跟踪目标的预测状态信息及所述跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。
可选地,所述获取当前帧的目标点云数据的步骤,进一步包括:
通过激光雷达扫描获取当前帧的原始点云数据;
滤除所述原始点云数据中的地面点云数据和非感兴趣点云数据,得到所述跟踪目标的目标点云数据。
可选地,所述根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息的步骤,进一步包括:
定义跟踪目标的状态信息,跟踪目标的状态信息被定义为
s=(x,y,vx,vy),其中,x和y为跟踪目标中心的位置,vx和vy是预设的跟踪目标的速度;
对上一帧跟踪目标的状态信息进行推演计算,得到当前帧跟踪目标的预测状态信息,上一帧第i个跟踪目标的状态信息被定义为
st-1,i=(xt-1,i,yt-1,i,vx,t-1,i,vy,t-1,i)
则,当前帧第i个跟踪目标的预测状态信息为
Figure BDA0002990840090000031
其中,
Figure BDA0002990840090000032
Δt为t-1时刻(上一帧)与t时刻(当前帧)之间的时间差。
可选地,所述使用高斯混合模型对目标点云数据进行建模中,所述高斯混合模型表示为
Figure BDA0002990840090000033
其中,
Figure BDA0002990840090000034
用于建立噪声模型,k是高斯分布的个数,πk为第k个高斯分布的加权系数,μk为第k个高斯分布的均值,σk为第k个高斯分布的协方差,πk、μk和σk这三个参数定义的集合作为所述高斯混合模型的参数,所述高斯混合模型的参数表示为
Figure BDA0002990840090000035
可选地,所述使用扩展的EM算法迭代地对所述高斯混合模型进行优化求解,得到跟踪目标的点云特征中,所述高斯混合模型的隐变量被定义为
Figure BDA0002990840090000036
其中,zi∈{0,1,2,...,K}表示第i个点云xi所属的高斯分布;
通过优化隐变量的后验估计
Figure BDA0002990840090000037
得到隐变量的最优估计γik=p(zi=k|xi),所述隐变量的后验估计Γ中的元素γik表示点云xi属于第k个高斯分布的概率;
优化求解所述高斯混合模型分为三个步骤:
E步、使用所述高斯混合模型的参数Θ来更新所述隐变量的后验估计Γ,每个所述隐变量的后验估计Γ中的元素γik被更新为
Figure BDA0002990840090000041
其中,
Figure BDA0002990840090000042
M步、使用所述隐变量的后验估计Γ来更新所述高斯混合模型的参数Θ,所述高斯混合模型的参数Θ的对数似然函数为
Figure BDA0002990840090000043
高斯分布个数修改、将产生退化的高斯分布从所述高斯混合模型中滤除,并且从所述噪声模型中提取出新的高斯分布,将所述新的高斯分布添加到所述高斯混合模型中,得到新的高斯混合模型,对所述新的高斯混合模型的加权系数πnew,j进行初始化。
可选地,所述根据所述当前帧跟踪目标的预测状态及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息的步骤,进一步包括:
采用卡尔曼滤波器更新当前帧跟踪目标的状态信息。
在第二方面,本发明实施例提供一种目标跟踪装置,包括:
第一获取模块,用于获取当前帧的目标点云数据;
第二获取模块,用于获取上一帧跟踪目标的状态信息;
计算模块,用于根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息;
建模模块,用于使用高斯混合模型对所述目标点云数据进行建模;
优化求解模块,用于使用扩展的EM算法迭代地对所述高斯混合模型进行优化求解,得到跟踪目标的点云特征;
更新模块,用于根据所述当前帧跟踪目标的预测状态信息及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。
可选地,所述第一获取模块包括:
获取单元,用于通过激光雷达扫描获取当前帧的原始点云数据;
滤除单元,用于滤除所述原始点云数据中的地面点云数据和非感兴趣点云数据,得到所述跟踪目标的目标点云数据。
在第三方面,本发明实施例提供一种移动机器人,包括:
控制器,所述控制器包括:至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的目标跟踪方法。
在第四方面,本发明实施例提供一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行如上所述的目标跟踪方法。
本发明实施例的有益效果是:提供一种目标跟踪方法、装置及移动机器人。在目标跟踪方法中,先获取当前帧的目标点云数据和上一帧跟踪目标的状态信息,根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息,然后使用高斯混合模型对目标点云数据进行建模,并且使用扩展的EM算法迭代地对高斯混合模型进行优化求解,得到跟踪目标的点云特征,最后根据当前帧跟踪目标的预测状态信息及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。由于上一帧的跟踪目标状态信息被推算到下一帧作为先验,数据关联和目标检测同时进行,因此,其能够确保数据关联的一致性,从而提高目标跟踪性能。
附图说明
一个或多个实施例通过与之对应的附图中的图片仅作为示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本发明实施例提供一种目标跟踪方法的流程示意图;
图2是本发明实施例提供一种目标跟踪装置的结构示意图;
图3是本发明实施例提供一种移动机器人的硬件结构示意图。
具体实施方式
为了便于理解本申请,下面结合附图和具体实施方式,对本申请进行更详细的说明。需要说明的是,当一个元件被表述“连接”另一个元件,它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外,下面所描述的本申请不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种移动机器人(例如配送机器人)具备传感器感知系统,该传感器感知系统用于感知移动机器人周围的环境信息,以辅助移动机器人实现行人等目标的检测与跟踪。在一些实施例中,该传感器感知系统包括激光雷达,移动机器人可借助激光雷达所具备的感知能力,并且可通过其内部搭设的机器人操作系统(ROS,Robot OperatingSystem)与激光雷达进行数据交互,通过激光雷达获取当前帧的原始点云数据,对该原始点云数据进行预处理后,得到目标点云数据,同时获取上一帧跟踪目标的状态信息,根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息,接着使用高斯混合模型对目标点云数据进行建模,并且使用扩展的EM算法迭代地对高斯混合模型进行优化求解,得到跟踪目标的点云特征,根据当前帧跟踪目标的预测状态信息及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。
本实施例通过将上一帧的跟踪目标状态信息推算到下一帧作为先验,数据关联和目标检测同时进行,因此,其能够确保数据关联的一致性,从而提高目标跟踪性能。
具体地,下面结合附图对本实施例进行详细说明。
实施例一
本发明实施例提供一种目标跟踪方法,该目标跟踪方法可应用于上述的移动机器人中,请参阅图1,图1是本发明实施例提供一种目标跟踪方法的流程示意图。如图1所示,该目标跟踪方法包括但不限于以下步骤:
S10、获取当前帧的目标点云数据;
在本实施例中,可以采用上述的移动机器人上搭载的激光雷达来采集当前时刻一帧(当前帧)的原始点云数据,然后,对该当前帧原始点云数据进行预处理,预处理方式可以是:使用高斯过程回归算法对地面进行分割,以将地面点云滤除掉,并且,使用可行驶区域地图,同时结合当前时刻的定位信息,滤除可行驶区域外(非感兴趣)的点云。滤除掉地面点云和非感兴趣点云数据后,剩余的点云数据即为当前帧的目标点云数据。
可以理解的是,使用激光雷达进行扫描获取原始点云数据只是获取原始点云数据的其中一种方式,在其他一些方式中,还可以使用深度相机等具有感知能力的传感器装置来获取原始点云数据。
S20、获取上一帧跟踪目标的状态信息;
S30、根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息;
在本实施例中,使用匀速直线运动模型对上一帧得到的跟踪目标的运动状态进行状态推演,以预测当前帧对应跟踪目标的运动状态,将预测得到的当前帧对应跟踪目标的运动状态作为先验。具体地,先定义跟踪目标的状态信息,跟踪目标的状态信息被定义为
s=(x,y,vx,vy)
其中,x和y为传感器(例如激光雷达)坐标系下跟踪目标中心的位置,vx和vy是预设的跟踪目标的速度。然后,对上一帧跟踪目标的状态信息进行推演计算,得到当前帧跟踪目标的预测状态信息,上一帧跟踪目标可以有多个,上一帧第i个跟踪目标的状态信息被定义为
st-1,i=(xt-1,i,yt-1,i,vx,t-1,i,vy,t-1,i)
则,当前第i个帧跟踪目标的预测状态信息为
Figure BDA0002990840090000091
其中,
Figure BDA0002990840090000092
Δt为t-1时刻(上一帧)与t时刻(当前帧)之间的时间差。
S40、使用高斯混合模型对目标点云数据进行建模;
移动机器人被部署在路面,因此,对于行人目标的跟踪只需要在路面上进行,于是,将点云压缩投影在俯视图二维坐标系中进行处理,也就是说,将点云转换成自顶向下的坐标系中的二维表示,从而可以将目标点云数据表示为
Figure BDA0002990840090000093
其中,N表示二维坐标系下点云的数量。
接着,将X使用高斯混合模型建模,高斯混合模型表示为
Figure BDA0002990840090000101
其中,
Figure BDA0002990840090000102
用于建立噪声模型,π0为杂波参数,用来控制杂波中离群点的比例,h表示在二维坐标系中一个点云团的面积,π0和h相互决定高斯形状的稳定性。k是高斯分布的个数(一个高斯分布可以对应一个跟踪目标),πk为第k个高斯分布的加权系数,μk为第k个高斯分布的均值,σk为第k个高斯分布的协方差,πk、μk和σk这三个参数定义的集合作为高斯混合模型的参数,高斯混合模型的参数表示为
Figure BDA0002990840090000103
S50、使用扩展的EM算法迭代地对高斯混合模型进行优化求解,得到跟踪目标的点云特征;
高斯混合模型的隐变量被定义为
Figure BDA0002990840090000104
其中,zi∈{0,1,2,...,K}表示第i个点云xi所属的高斯分布,也可以理解为点云聚类分割结果。
通过优化隐变量的后验估计
Figure BDA0002990840090000105
得到隐变量的最优估计γik=p(zi=k|xi),隐变量Γ的后验估计中的元素γik表示点云xi属于第k个高斯分布的概率。
优化求解高斯混合模型分为三个步骤:
E步、使用高斯混合模型的参数Θ来更新隐变量的后验估计Γ,每个隐变量的后验估计Γ中的元素γik被更新为
Figure BDA0002990840090000111
其中,
Figure BDA0002990840090000112
M步、使用隐变量的后验估计Γ来更新高斯混合模型的参数Θ,高斯混合模型的参数Θ的对数似然函数为
Figure BDA0002990840090000113
高斯分布个数修改、将产生退化的高斯分布从高斯混合模型中滤除,具体地,预设阈值参数detmin、πmin和nmin,若一个现有的高斯分布满足
Figure BDA0002990840090000114
这三个判别条件的任意一项,表明该高斯分布产生了退化,于是将该高斯分布从高斯混合模型中滤除。其中,
Figure BDA0002990840090000115
为计数函数。
并且,从噪声模型中提取出新的高斯分布,具体地,通过使用DBSCAN聚类算法对噪声模型中的点云进行聚类,以提取出新的跟踪目标,聚类出的跟踪目标使用均值与协方差矩阵进行初始化,以生成新的高斯分布并将新的高斯分布添加到高斯混合模型中,得到新的高斯混合模型。
对新的高斯混合模型的加权系数πnew,j进行初始化,具体地,使用均匀分布对加权系数πnew,j进行初始化,加权系数πnew,j表示为
πnew,j=1/Knew
其中,Knew=K-Kprune+Kappend,Kprune表示当前时刻滤除掉的高斯分布的个数,Kappend表示新添加的高斯分布的个数。
因此,通过优化求解高斯混合模型和隐变量,可得到当前帧跟踪目标的点云特征,跟踪目标的点云特征指示场景中跟踪目标的位置信息以及点云目标分割的结果。
S60、根据当前帧跟踪目标的预测状态信息及当前帧跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。
通过将当前帧跟踪目标的预测状态信息与场景中跟踪目标的位置信息以及点云目标分割的结果进行比较,从而实现前后两帧之间的数据关联(判断前后两帧的点云图中,两团点云是否由同一个跟踪目标产生),并且,根据比较结果,输出当前帧跟踪目标的状态以及点云聚类结果,以更新当前帧跟踪目标的状态信息。
分散的点云通过聚类算法(例如欧式聚类)进行聚类,分成一团一团的点云团,每个点云团指示由同一个跟踪目标所产生,当前帧点云聚类结果即为,在当前帧的点云图中,已得到聚类完成后的各个点云团。
上一帧的目标状态与当前帧的目标状态已完成数据关联后,当前帧目标状态的结果已确定,即当前帧的点云图中已找到各个跟踪目标的点云团、各个跟踪目标的位置以及速度。于是,在状态更新完成后,将当前帧已确定的跟踪目标状态的结果进行输出。在一些实施例中,可以采用卡尔曼滤波器更新当前帧跟踪目标的状态信息。
本实施例通过在模型的帧间更新完成数据关联操作,一个跟踪目标在前后帧的观测由其对应的高斯分布关联,高斯分布的滤除与生成对应了旧跟踪目标的消失与新目标的生成,因此,通过此种方式,能够提高数据关联的成功率,在实际场景中对行人等目标的跟踪上能够取得很好的跟踪指标。
需要说明的是,在上述各个实施例中,上述各步骤之间并不必然存在一定的先后顺序,本领域普通技术人员,根据本发明实施例的描述可以理解,不同实施例中,上述各步骤可以有不同的执行顺序,亦即,可以并行执行,亦可以交换执行等等。
实施例二
本发明实施例提供一种目标跟踪装置,请参阅图2,图2是本发明实施例提供一种目标跟踪装置的结构示意图。如图2所示,目标跟踪装置100包括第一获取模块10、第二获取模块20、计算模块30、建模模块40、优化求解模块50及更新模块60。
第一获取模块10可获取当前帧的目标点云数据,第二获取模块20可获取上一帧跟踪目标的状态信息,计算模块30可根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息,建模模块40可使用高斯混合模型对目标点云数据进行建模,优化求解模块50可使用扩展的EM算法迭代地对高斯混合模型进行优化求解,得到跟踪目标的点云特征,更新模块60可根据所述当前帧跟踪目标的预测状态信息及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。
具体地,第一获取模块10包括采集单元11及滤波单元12,采集单元11可通过激光雷达扫描获取当前帧的原始点云数据,滤波单元12可滤除原始点云数据中的地面点云数据和非感兴趣点云数据,得到目标点云数据。
由于装置实施例和方法实施例是基于同一构思,在内容不互相冲突的前提下,装置实施例的内容可以引用方法实施例的,在此不赘述。
实施例三
本发明实施例提供一种移动机器人,请参阅图3,图3是本发明实施例提供一种移动机器人的硬件结构示意图。如图3所示,移动机器人200搭载有激光雷达210。
移动机器人200还包括控制器220,控制器220包括至少一个处理器2201,至少一个处理器2201与激光雷达210连接,以及,与至少一个处理器2201连接的存储器2202,存储器2202存储有可被至少一个处理器2201执行的指令,该指令被至少一个处理器2201执行,以使至少一个处理器2201能够执行如图1所示的目标跟踪方法步骤,至少一个处理器2201和存储器2202可以通过总线或者其他方式连接,图3中以通过总线连接为例。
存储器2202作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的目标跟踪方法对应的程序指令/模块,例如,图2所示的各个模块。至少一个处理器2201通过运行存储在存储器2202中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的目标跟踪方法。
存储器2202可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据目标跟踪装置的使用所创建的数据等。此外,存储器2202可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器2202可选包括相对于处理器2201远程设置的存储器,这些远程存储器可以通过网络连接至目标跟踪装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述一个或者多个模块存储在存储器2202中,当被上述至少一个处理器2201执行时,执行上述任意方法实施例中的目标跟踪方法,例如,执行以上描述的图1的方法步骤,以及,实现图2中的各模块和各单元的功能。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
此外,本发明实施例还提供一种非易失性计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,当计算机可执行指令被电子设备执行时,使电子设备执行如图1所示的目标跟踪方法中的各个步骤,或者,执行如图2所示的各模块和各单元的功能。
并且,本发明实施例还提供了一种计算机程序产品,包括存储在非易失性计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时时,使计算机执行上述任意方法实施例中的目标跟踪方法,例如,执行以上描述的图1所示的方法步骤,实现图2中的各模块和各单元的功能。
需要说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后要说明的是,本发明可以通过许多不同的形式来实现,并不限于本说明书所描述的实施例,这些实施例不作为对本发明内容的额外限制,提供这些实施方式的目的是使对本发明的公开内容的理解更加透彻全面。并且在本发明的思路下,上述各技术特征继续相互组合,并存在如上所述的本发明不同方面的许多其它变化,均视为本发明说明书记载的范围;进一步地,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种目标跟踪方法,其特征在于,包括:
获取当前帧的目标点云数据;
获取上一帧跟踪目标的状态信息;
根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息;
使用高斯混合模型对所述目标点云数据进行建模;
使用扩展的EM算法迭代地对所述高斯混合模型进行优化求解,得到跟踪目标的点云特征;
根据所述当前帧跟踪目标的预测状态信息及所述跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。
2.根据权利要求1所述的目标跟踪方法,其特征在于,所述获取当前帧的目标点云数据的步骤,进一步包括:
通过激光雷达扫描获取当前帧的原始点云数据;
滤除所述原始点云数据中的地面点云数据和非感兴趣点云数据,得到所述目标点云数据。
3.根据权利要求1所述的目标跟踪方法,其特征在于,所述根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息的步骤,进一步包括:
定义跟踪目标的状态信息,跟踪目标的状态信息被定义为
s=(x,y,vx,vy)
其中,x和y为跟踪目标中心的位置,vx和vy是预设的跟踪目标的速度;
对上一帧跟踪目标的状态信息进行推演计算,得到当前帧跟踪目标的预测状态信息,上一帧第i个跟踪目标的状态信息被定义为
st-1,i=(xt-1,i,yt-1,i,vx,t-1,i,vy,t-1,i)
则,当前帧第i个跟踪目标的预测状态信息为
Figure FDA0002990840080000021
其中,
Figure FDA0002990840080000022
Δt为t-1时刻(上一帧)与t时刻(当前帧)之间的时间差。
4.根据权利要求1所述的目标跟踪方法,其特征在于,所述使用高斯混合模型对目标点云数据进行建模中,所述高斯混合模型表示为
Figure FDA0002990840080000023
其中,
Figure FDA0002990840080000024
用于建立噪声模型,k是高斯分布的个数,πk为第k个高斯分布的加权系数,μk为第k个高斯分布的均值,σk为第k个高斯分布的协方差,πk、μk和σk这三个参数定义的集合作为所述高斯混合模型的参数,所述高斯混合模型的参数表示为
Figure FDA0002990840080000025
5.根据权利要求4所述的目标跟踪方法,其特征在于,所述使用扩展的EM算法迭代地对所述高斯混合模型进行优化求解,得到跟踪目标的点云特征中,所述高斯混合模型的隐变量被定义为
Figure FDA0002990840080000031
其中,zi∈{0,1,2,...,K}表示第i个点云xi所属的高斯分布;
通过优化隐变量的后验估计
Figure FDA0002990840080000032
得到隐变量的最优估计γik=p(zi=k|xi),所述隐变量的后验估计Γ中的元素γik表示点云xi属于第k个高斯分布的概率;
优化求解所述高斯混合模型分为三个步骤:
E步、使用所述高斯混合模型的参数Θ来更新所述隐变量的后验估计Γ,每个所述隐变量的后验估计Γ中的元素γik被更新为
Figure FDA0002990840080000033
其中,
Figure FDA0002990840080000034
M步、使用所述隐变量的后验估计Γ来更新所述高斯混合模型的参数Θ,所述高斯混合模型的参数Θ的对数似然函数为
Figure FDA0002990840080000035
高斯分布个数修改、将产生退化的高斯分布从所述高斯混合模型中滤除,并且从所述噪声模型中提取出新的高斯分布,将所述新的高斯分布添加到所述高斯混合模型中,得到新的高斯混合模型,对所述新的高斯混合模型的加权系数πnew,j进行初始化。
6.根据权利要求1至5任一项所述的目标跟踪方法,其特征在于,所述根据所述当前帧跟踪目标的预测状态及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息的步骤,进一步包括:
采用卡尔曼滤波器更新当前帧跟踪目标的状态信息。
7.一种目标跟踪装置,其特征在于,包括:
第一获取模块,用于获取当前帧的目标点云数据;
第二获取模块,用于获取上一帧跟踪目标的状态信息;
计算模块,用于根据上一帧跟踪目标的状态信息,计算当前帧跟踪目标的预测状态信息;
建模模块,用于使用高斯混合模型对所述目标点云数据进行建模;
优化求解模块,用于使用扩展的EM算法迭代地对所述高斯混合模型进行优化求解,得到跟踪目标的点云特征;
更新模块,用于根据所述当前帧跟踪目标的预测状态信息及跟踪目标的点云特征,更新当前帧跟踪目标的状态信息。
8.根据权利要求6所述的目标跟踪装置,其特征在于,所述第一获取模块包括:
获取单元,用于通过激光雷达扫描获取当前帧的原始点云数据;
滤除单元,用于滤除所述原始点云数据中的地面点云数据和非感兴趣点云数据,得到所述目标点云数据。
9.一种移动机器人,其特征在于,包括:
控制器,所述控制器包括:至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至6任一项所述的目标跟踪方法。
10.一种非易失性计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被电子设备执行时,使所述电子设备执行如权利要求1至6任一项所述的目标跟踪方法。
CN202110313388.0A 2021-03-24 2021-03-24 一种目标跟踪方法、装置及移动机器人 Active CN112991389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110313388.0A CN112991389B (zh) 2021-03-24 2021-03-24 一种目标跟踪方法、装置及移动机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110313388.0A CN112991389B (zh) 2021-03-24 2021-03-24 一种目标跟踪方法、装置及移动机器人

Publications (2)

Publication Number Publication Date
CN112991389A true CN112991389A (zh) 2021-06-18
CN112991389B CN112991389B (zh) 2024-04-12

Family

ID=76334456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110313388.0A Active CN112991389B (zh) 2021-03-24 2021-03-24 一种目标跟踪方法、装置及移动机器人

Country Status (1)

Country Link
CN (1) CN112991389B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538516A (zh) * 2021-07-19 2021-10-22 中国兵器工业计算机应用技术研究所 基于记忆信息的目标对象跟踪方法、装置及电子设备
CN113888606A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 数据处理方法、装置及存储介质
CN114708292A (zh) * 2022-01-05 2022-07-05 上海交通大学 一种对象状态估计方法、装置、计算设备和车辆的改进方法
CN114779230A (zh) * 2022-03-22 2022-07-22 福瑞泰克智能系统有限公司 一种对象跟踪方法、装置、电子设备及车辆
WO2023178525A1 (en) * 2022-03-22 2023-09-28 Huawei Technologies Co.,Ltd. Apparatus and method for tracking of extended objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110349192A (zh) * 2019-06-10 2019-10-18 西安交通大学 一种基于三维激光点云的在线目标跟踪系统的跟踪方法
CN111427979A (zh) * 2020-01-15 2020-07-17 深圳市镭神智能系统有限公司 基于激光雷达的动态地图构建方法、系统及介质
CN111666137A (zh) * 2020-04-26 2020-09-15 广州文远知行科技有限公司 数据标注方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110349192A (zh) * 2019-06-10 2019-10-18 西安交通大学 一种基于三维激光点云的在线目标跟踪系统的跟踪方法
CN111427979A (zh) * 2020-01-15 2020-07-17 深圳市镭神智能系统有限公司 基于激光雷达的动态地图构建方法、系统及介质
CN111666137A (zh) * 2020-04-26 2020-09-15 广州文远知行科技有限公司 数据标注方法、装置、计算机设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538516A (zh) * 2021-07-19 2021-10-22 中国兵器工业计算机应用技术研究所 基于记忆信息的目标对象跟踪方法、装置及电子设备
CN113538516B (zh) * 2021-07-19 2024-04-16 中国兵器工业计算机应用技术研究所 基于记忆信息的目标对象跟踪方法、装置及电子设备
CN113888606A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 数据处理方法、装置及存储介质
CN114708292A (zh) * 2022-01-05 2022-07-05 上海交通大学 一种对象状态估计方法、装置、计算设备和车辆的改进方法
CN114779230A (zh) * 2022-03-22 2022-07-22 福瑞泰克智能系统有限公司 一种对象跟踪方法、装置、电子设备及车辆
WO2023178525A1 (en) * 2022-03-22 2023-09-28 Huawei Technologies Co.,Ltd. Apparatus and method for tracking of extended objects
CN114779230B (zh) * 2022-03-22 2024-03-08 福瑞泰克智能系统有限公司 一种对象跟踪方法、装置、电子设备及车辆

Also Published As

Publication number Publication date
CN112991389B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN112991389B (zh) 一种目标跟踪方法、装置及移动机器人
CN111402336B (zh) 基于语义slam的动态环境相机位姿估计及语义地图构建方法
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Fan et al. Road surface 3D reconstruction based on dense subpixel disparity map estimation
CN109584302B (zh) 相机位姿优化方法、装置、电子设备和计算机可读介质
EP3321887A1 (en) Urban road recognition method, apparatus, storage medium and device based on laser point cloud
WO2017132636A1 (en) Systems and methods for extracting information about objects from scene information
WO2022188663A1 (zh) 一种目标检测方法及装置
US20110274343A1 (en) System and method for extraction of features from a 3-d point cloud
CN102915444A (zh) 图像配准
CN111060888A (zh) 一种融合icp和似然域模型的移动机器人重定位方法
CN110599489A (zh) 一种目标空间定位方法
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN111582410B (zh) 图像识别模型训练方法、装置、计算机设备及存储介质
CN111915657A (zh) 一种点云配准方法、装置、电子设备及存储介质
CN112683228A (zh) 单目相机测距方法及装置
Patil et al. A survey on joint object detection and pose estimation using monocular vision
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
Arnaud et al. Partial linear gaussian models for tracking in image sequences using sequential monte carlo methods
Tal et al. An accurate method for line detection and manhattan frame estimation
CN115359089A (zh) 点云目标跟踪方法、电子设备、介质及车辆
US20220245860A1 (en) Annotation of two-dimensional images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant