CN106447698A - 一种基于距离传感器的多行人跟踪方法和系统 - Google Patents

一种基于距离传感器的多行人跟踪方法和系统 Download PDF

Info

Publication number
CN106447698A
CN106447698A CN201610868031.8A CN201610868031A CN106447698A CN 106447698 A CN106447698 A CN 106447698A CN 201610868031 A CN201610868031 A CN 201610868031A CN 106447698 A CN106447698 A CN 106447698A
Authority
CN
China
Prior art keywords
pedestrian
data
target
information
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610868031.8A
Other languages
English (en)
Other versions
CN106447698B (zh
Inventor
邵肖伟
许永伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hong Yi Da Technology Co Ltd
Original Assignee
Shenzhen Hong Yi Da Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hong Yi Da Technology Co Ltd filed Critical Shenzhen Hong Yi Da Technology Co Ltd
Priority to CN201610868031.8A priority Critical patent/CN106447698B/zh
Publication of CN106447698A publication Critical patent/CN106447698A/zh
Application granted granted Critical
Publication of CN106447698B publication Critical patent/CN106447698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于距离传感器的多行人跟踪方法，包括：S1，在观测现场布置一台或多台二维距离传感器，通过平面扫描获取行人的足部信息的激光点云数据，提取前景数据；S2，识别观测现场的特定标定物，并结合前景数据获得融合后的全局二维多传感器融合数据；S3，基于聚类方法对点云数据进行聚类，进行主分量分析，以获得各簇的信息；S4，基于现有目标状态参数信息，为每个行人分配一个跟踪代理；S5，引入多行人交互作用模型，基于行人交互作用模型进行目标参数预测；S6，在不需要显式数据关联关系的前提下，建立全体观测与单个行人之间的联系，基于隐式数据关联的目标参数更新多行人参数状态。本发明对应提出一种系统。本发明能够实时跟踪多个行人。

Description

一种基于距离传感器的多行人跟踪方法和系统
技术领域
本发明涉及行人跟踪技术，更具体地，涉及基于距离传感器的多行人跟踪方法和系统。
背景技术
客流信息在公共交通管理、安全、反恐、商业规划等方面有重要作用。对于行人的跟踪问题被研究多年，但仍然是处于实验室阶段。目前已有一些多目标跟踪算法，如多假设跟踪(MHT，Multiple Hypothesis Tracking)、联合多目标跟踪(JPDA,Joint ProbabilityData Association)等。对行人的跟踪的难点在于：人流密集，环境复杂，现场环境的建筑物等遮挡时造成数据质量下降，给多目标的数据关联带来较大负面影响的影响，直接造成跟踪精度的迅速下降；此外，现有方法在处理多目标跟踪时，因考虑多目标联合分布或多假设而导致运算量急剧上升，难以处理大量目标。
发明内容
针对现有技术的问题，本发明提出一种基于距离传感器的多行人跟踪方法，所述方法包括：
S1，在观测现场布置一台或多台二维距离传感器，通过平面扫描获取行人的足部信息的激光点云数据，对采集的每帧激光点云数据提取前景数据；
S2，通过距离传感器识别观测现场的特定标定物，结合匹配和标定方法，获得各距离传感器的全局姿态信息，并结合步骤S1中提取的前景数据，获得融合后的全局二维多传感器融合数据；
S3，基于聚类方法对S2中获取的点云数据进行聚类，聚类后对簇中的点进行主分量分析，以获得各簇的信息；
S4，多独立跟踪代理：基于现有目标状态参数信息，为观测区域中出现的每个行人分配一个跟踪代理，该跟踪代理仅负责跟踪单个行人；
S5，引入多行人交互作用模型，在该模型中，设定在跟踪某个目标的状态时，认为其状态只与其邻域范围内的其他目标相关，基于行人交互作用模型进行目标参数预测；
S6，进行隐式数据关联，即在不需要显式数据关联关系的前提下，建立全体观测与单个行人之间的联系，然后，基于隐式数据关联的目标参数更新多行人参数状态。
本发明还提出一种基于距离传感器的多行人跟踪系统，包括：
现场布置的一台或多台二维距离传感器；
采集单元，所述采集单元连接到所述二维距离传感器，采集所述二维距离传感器通过平面扫描获取的行人的足部信息的激光点云数据，并且所述采集单元对采集的每帧激光点云数据提取前景数据；
融合单元，所述融合单元通过距离传感器识别观测现场的特定标定物，结合匹配和标定方法，获得各距离传感器的全局姿态信息，并结合所述采集单元提取的前景数据，获得融合后的全局二维多传感器融合数据；
聚类单元，所述聚类单元基于聚类方法对融合单元中获取的点云数据进行聚类，聚类后对簇中的点进行主分量分析，以获得各簇的信息；
多独立跟踪代理单元，其基于现有目标状态参数信息，为观测区域中出现的每个行人分配一个跟踪代理，该跟踪代理仅负责跟踪单个行人；
多行人交互作用模型单元，其被设定为在跟踪某个目标的状态时，认为其状态只与其邻域范围内的其他目标相关，所述多行人交互作用模型单元基于行人交互作用模型进行目标参数预测；
隐式数据关联单元，在该隐式数据关联单元中，在不需要显式数据关联关系的前提下，建立全体观测与单个行人之间的联系，然后，基于隐式数据关联的目标参数更新多行人参数状态。
本发明的有益效果包括：
1、本发明的方法能够通过采集的时序点云数据中快速、准确跟踪多个行人目标。
2、经过实验，本发明的方法能够在低于50人时可实时跟踪。
附图说明
图1显示了本发明的方法的处理流程图。
图2显示了多目标跟踪数据关联示意图。
图3显示了显示数据关联的难点。
图4显示了本发明的系统的结构原理图。
具体实施方式
下面参照附图描述本发明的实施方式，其中相同的部件用相同的附图标记表示。
如图1所示，本发明的方法包括：
S1，在观测现场布置一台或多台二维距离传感器，通过平面扫描来采集目标(即行人)的足部信息的激光点云数据，对采集的每帧激光点云数据提取前景数据。所述传感器优选地为二维中程距离传感器。所述距离传感器设置于固定位置，距离传感器的扫描平面与地面平行。一般地，距离传感器设置于距离地面20-30cm的高度，以能够扫描到行人的足部区域即可。
所述采集的足部信息包括：每个距离传感器每次的扫描角度和检测距离。
对于单距离传感器所采集的时序数据一般可表示为：
其中分别代表第i个扫描点(距离传感器)的扫描角度和相应的检测距离；N为一次扫描中所采集的总点数；t代表扫描的时序。
针对激光点云数据，对于每个扫描角度的时序数据，通过在时间上进行直方图分析，即可提取出背景信息，并用于判定相应的前景数据(参见“H.Zhao and R.Shibasaki,“Anovel system for tracking pedestrians using multiple single-row laser rangescanners,”IEEE Transactions on Systems,Man and Cybernetics,Part A,vol.35,pp.283-291,2005.”)。
S2，通过距离传感器识别观测现场的特定标定物，结合匹配和标定方法，获得各距离传感器的全局姿态信息，并结合步骤S1中提取的前景数据，获得融合后的全局二维多传感器融合数据。(参见“X.Shao,Y.Shi,H.Zhao,X.Li,R.Shibasaki,“Efficient Closed-Loop Multiple-View Registration”,IEEE Transactions on IntelligentTransportation Systems,vol.15,no.6,pp.2524-2538,2014”)
本步骤是为了将距离传感器所采集数据置于统一的空间坐标，需要获得各传感器的全局姿态信息。数据融合后获得的统一空间坐标如公式(2)所示。
其中代表第i个前景点的二维空间坐标；nt为第t次扫描所获取的前景点数。
在步骤S2中获取的点云数据较为庞大，难以直接使用，因此需要聚类分析进行初步信息提取。聚类是指将空间上位置相近的点划分为一个簇(cluster)的过程。
S3，基于聚类方法对S2中获取的点云数据进行聚类，聚类后对簇中的点进行主分量分析(PCA，Principal Component Analysis)，以获得各簇的信息，包括：该簇的质心位置、包含点的数量、主轴方向及长度、次轴方向及长度。
优选地，采用的聚类方法为Mean-shift方法，Mean-shift方法能够对二维点集进行自适应聚类(参见“D.Comaniciu and P.Meer,”Distribution free decomposition ofmultivariate data”,Pattern Analysis and Applications,vol.2,pp.22-30,1999.”)。
优选地，使用基于块计算的快速算法提升效率(参见“X.Shao,K.Katabira,R.Shibasaki and H.Zhao,"Multiple people extraction using 3D range sensor",Proc.IEEE International Conference on Systems,Man,and Cybernetics,pp.1550-1554,2010.”)。
基于步骤S3获得的聚类信息，即可进行多目标跟踪。当前通常的主流目标跟踪方法有基于Bayesian方法的序列目标跟踪方法，该方法的原理可以简述为：
记t时刻所获得的观测值为Zt，待估计的参数为θt，并令
Z1:t＝{Z1,Z2,...,Zt}
基于Bayesian方法的序列目标跟踪是一个迭代处理的过程。在获取t-1时刻的估计结果后，首先需要对下一时刻进行预测：
此处P(θt|θt-1)被称为动态模型，描述参数在时序上的变化过程。
在获得t时刻的观测值Zt后，对预测结果进行更新：
此处被称为观测模型，描述观测数据的分布与参数之间的关系。
对于单个目标，只需对动态模型和观测模型建模，并选择特定的实现方法(如Kalman滤波或粒子滤波)，即可实现目标跟踪。
这种方法在进行多目标跟踪时还存在一些问题：
多目标情况下待估计参数的维数呈线性增长。由于行人之间的状态参数存在相关性，理论上不能作为彼此独立的变量进行处理。因此，引发两个问题：
1)数据关联。数据关联是多目标跟踪时的特有问题，指的是在某一时刻多目标与多观测数据之间的映射关系。受观测噪声、数据缺失、预测误差等问题的影响，可能存在一对一、一对多、多对一、一对零等多种对应关系，难以直接建立准确的关联。如图2所示。在人群密集时，因物体的遮挡加剧数据缺失、人与人间距变小而造成数据粘连，进一步加大了数据关联的难度，直接影响到跟踪结果的精度。在跟踪人数较多时，容易造成邻近目标间对观测数据的误关联，产生轨迹抢夺、轨迹互换等多种常见错误跟踪结果。
2)动态模型、观测模型的复杂度受多变量联合分布的制约，运算量呈指数级增长。因此大部分多目标跟踪研究仅针对少量目标，目标总数不超过10人。
为解决多目标跟踪中数据关联以及模型复杂度等问题，本发明提出了一种新型多目标跟踪方法，包括：多独立跟踪代理、行人交互作用模型、隐式数据关联、并行化处理这4个技术手段。
S4，多独立跟踪代理：基于现有目标状态参数信息(视所使用跟踪方法而定，在一个示例中，状态参数包含左/右脚位置、步长、行走周期、行走方向及步态相位等)，为观测区域中出现的每个目标(即行人)分配一个跟踪代理，该跟踪代理仅负责跟踪单个目标。优选地，所述跟踪代理基于Bayesian方法的序列目标跟踪方法来跟踪单个目标。
进一步，多独立跟踪代理在处理目标的跟踪任务时彼此独立，但同时有特定的信息共享机制，具体包括：
-在每帧的预测及更新过程中，读取其他目标在上一帧的状态信息；
-在每帧的更新过程结束后，公开本代理对应目标的当前帧状态信息；
本发明所提出的方法使用多个跟踪代理，在处理每一帧的数据时，将多目标跟踪问题转化为多个独立跟踪代理问题，而后通过信息共享机制，在多跟踪代理间传递必要的信息。图3显示了多目标跟踪时，因场景复杂性、行人间距过小、观测数据缺失等原因而使得数据关联难以直接稳定可靠的估计。如图3左侧所示，已知场景中存在两个目标，对应的有三个观测值，那么图3右侧所示的三种关联方案均为合理方案，难以判定。实际情况比此例更为复杂，且运算复杂度是以组合运算的方式急剧增加。
同时，为解决多目标之间存在的相关性而所带来的数据关联、复杂度指数增长等问题，引入多目标交互作用模型及隐式数据关联方法。
S5，引入行人交互作用模型，在该模型中，设定在跟踪某个目标的状态时，认为其状态只与其邻域范围内的其他目标相关，基于行人交互作用模型进行目标参数预测，其中。
处理多目标时必须考虑目标间的相互作用，否则存在邻近目标时易造成轨迹抢夺、轨迹互换等常见错误。行人交互模型是指多人在移动时，如何考虑邻近移动目标状态而进行优化路径选择的方法，在人群流动仿真等交通研究领域存在一些相关研究。本发明将行人交互作用模型嵌入独立跟踪代理，可有效处理邻近目标的跟踪问题。
记t-1时刻的参数其中为第j个目标在t-1时刻的状态参数；m为目标总数。
考虑到多目标时状态的相关性与空间分布有关，在跟踪某个目标j的状态时，可以认为其状态只与其邻域范围内的其他目标相关，即认为空间距离较远的目标之间不存在相关性。根据贝叶斯网络理论，此时的多变量的动态模型可以写为：
此处Nbr(j)代表目标j的邻域范围内的其他目标的索引集合。
本实施范例中采用(S.Pellegrini,A.Ess,K.Schindler,L.Gool,"You'll neverwalk alone:Modeling social behavior for multi-target tracking",IEEEInternational Conference on Computer Vision,pp.261-268,2009.)中的方法，使用多目标的当前位置、速度及方向信息来建立惩罚函数
此时多目标动态模型可以写为：
此处为单目标的动态模型，在目前行人跟踪的研究中有多种实现方案，本实施范例中采用(X.Shao,H.Zhao,K.Nakamura,K.Katabira,R.Shibasaki andY.Nakagawa,“Detection and Tracking of Multiple Pedestrians by Using LaserRange Scanners”,Proc.IEEE International Conference on Intelligent Robots andSystems,pp.2174-2179,2007.)的8参数动态模型方案。为其邻域中的第r个目标在t时刻状态的预测值，由上一时刻的预测值及单目标的动态模型预测获得。
在获得最新时刻的观测值后，需要进行数据关联进行跟踪分析。如前所述，显式数据关联存在关联方式复杂、难以确定等问题，直接影响跟踪精度。
S6，进行隐式数据关联，即在不需要显式数据关联关系的前提下，建立全体观测与单个目标之间的联系，然后，基于隐式数据关联的目标参数更新多目标参数状态。
多目标跟踪时的数据关联问题是不可回避的问题，现有算法都必须通过相应的准则来实现显式数据关联，即先确定多目标与多观测值之间的映射关系，而后建立多目标数据观测模型。但由于映射关系的复杂性(见图2，图3，图2图3中圈内的表示聚类结果，圈内的点表示原始二维前景点云数据)，显式数据关联在目标数众多、遮挡造成观测缺失、观测噪声等复杂情况下其准确性难以保证，造成跟踪性能的急剧下降。
在本发明中，首先提出全局数据关联函数的定义，在不需要数据关联关系的前提下，建立全体观测与单个目标之间的联系。而后通过相应推导及简化，将其转化为该目标与其对应数据的观测模型、以及该目标邻域相关因子之积。这样，无需建立数据关联，只要计算全局数据关联函数，以及该目标的邻域相关因子，即可获得该目标与其对应数据的观测模型。尽管数据关联关系在定义和推导中被使用，但最终的多目标数据观测模型并不需要获得该项的具体值，这就是本发明中所定义的隐式数据关联。
本发明提出了隐式数据关联的方案，具体如下：
记当前观测值为，待估计参数为，有
此处m(i)代表单目标数据关联函数，即观测数据和目标i之间的映射关系，此时仍处于未知状态。不失一般性，假定单目标的状态参数与观测值表示为：
zm(i)＝H·θi+v(8)
此处H为观测矩阵，v为观测噪声，服从N(0,σ)的正态分布。那么有
考虑到式(9)中函数所表现出的窗函数特性以及多目标在空间位置上的互斥性，定义全局数据关联函数为：
结合式(8)推导，可得：
考虑到观测噪声v与信号间的不相关性，上式近似为：
从上式可见，距离较远的目标间受指数函数影响，作用微小。因此可以只考虑邻域内的目标而将关联函数进一步表示为：
定义邻域相关因子为：
那么有：
P(θi|zm(i))∝φ(θi，Z)·ψ(θi) (15)
所以最终隐式数据关联方法表达如下：
由式(10)可见，全局数据关联函数φ(θi，Z)是基于全体观测数据对θi的运算，因此不需要知道具体的单目标数据关联函数m(i)；而且邻域相关因子仅涉及目标及其邻域目标的参数信息，与数据关联函数无关。所以式(16)实现了数据关联的隐式实现。
更具体，所述步骤S6还包括：
S6-1，判断目标是否消失，如果消失，则移除跟踪目标；如果没有消失，跳转到步骤S6-2；
S6-2，判断是否有观测数据未关联且符合新目标条件？如果是，则新增跟踪目标，新目标的参数状态加入多目标参数状态。
本发明的另一个特点是，在以上的处理中，可以并行化处理：即对步骤S6中的多个目标同时进行独立操作。
多目标跟踪时运算量巨大，本发明中所提出方法可有效降低模型复杂度和运算量级，但总体运算量在目标数较多时依然较大。本发明的方法是基于多独立跟踪代理，因此在现行主流多核的运行平台下，可对多跟踪代理进行并行化运算，发挥多核优势进一步减少运算时间。
具体而言，在式(6)、式(16)中并行化针对多目标时的独立操作，即对以及P(θi|zm(i))进行并行化运算。
优选地，本发明的方法还包括：进行目标自动检测及初始化。实际应用中，检测区域内的行人目标随行人进出而相应的出现/消失。关于行人目标的出现、消失的自动检测及初始化，本实施范例中采用(X.Shao,H.Zhao,K.Nakamura,K.Katabira,R.Shibasaki andY.Nakagawa,“Detection and Tracking of Multiple Pedestrians by Using LaserRange Scanners”,Proc.IEEE International Conference on Intelligent Robots andSystems,pp.2174-2179,2007)中的方案。
本方案的实施效果
经试验，本发明的方法在50人以下能够实现实时跟踪。
根据本发明的另一方面，提出一种基于多距离传感器的行人跟踪系统。所述系统包括：
采集单元，其连接在观测现场布置的一台或多台二维距离传感器，采集二维距离传感器平面扫描来作为行人的足部信息的激光点云数据，并且，该采集单元对采集的每帧激光点云数据提取前景数据。所述采集的足部信息包括：每个距离传感器每次的扫描角度和检测距离。
融合单元，所述融合单元通过距离传感器识别观测现场的特定标定物，结合匹配和标定方法，获得各距离传感器的全局姿态信息，并结合采集单元提取的前景数据，获得融合后的全局二维多传感器融合数据。
聚类单元，基于聚类方法对融合单元中获取的点云数据进行聚类，聚类后对簇中的点进行主分量分析，以获得各簇的信息。各簇的信息包括：该簇的质心位置、包含点的数量、主轴方向及长度、次轴方向及长度。
多独立跟踪代理单元，所述多独立跟踪代理单元基于现有目标状态参数信息，为观测区域中出现的每个行人分配一个跟踪代理，该跟踪代理仅负责跟踪单个行人。所述状态参数包含：左脚和右脚位置、步长、行走周期、行走方向及步态相位。
多行人交互作用模型单元，在该模型中，设定在跟踪某个目标的状态时，认为其状态只与其邻域范围内的其他目标相关，基于行人交互作用模型进行目标参数预测。
隐式数据关联单元，在该隐式数据关联单元中，在不需要数据关联关系的前提下，建立全体观测与单个行人之间的联系，然后，基于隐式数据关联的目标参数更新多行人参数状态。
所述隐式数据关联单元被配置为，判断目标是否消失，如果消失，则移除跟踪行人；如果没有消失，判断是否有观测数据未关联且符合新目标条件，如果是，则新增跟踪行人，新行人的参数状态加入多行人参数状态。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (10)

1.一种基于距离传感器的多行人跟踪方法，其特征在于，包括：
S1，在观测现场布置一台或多台二维距离传感器，通过平面扫描获取行人的足部信息的激光点云数据，对采集的每帧激光点云数据提取前景数据；
S2，通过距离传感器识别观测现场的特定标定物，结合匹配和标定方法，获得各距离传感器的全局姿态信息，并结合步骤S1中提取的前景数据，获得融合后的全局二维多传感器融合数据；
S3，基于聚类方法对S2中获取的点云数据进行聚类，聚类后对簇中的点进行主分量分析，以获得各簇的信息；
S4，多独立跟踪代理：基于现有目标状态参数信息，为观测区域中出现的每个行人分配一个跟踪代理，该跟踪代理仅负责跟踪单个行人；
S5，引入多行人交互作用模型，在该模型中，设定在跟踪某个目标的状态时，认为其状态只与其邻域范围内的其他目标相关，基于行人交互作用模型进行目标参数预测；
S6，进行隐式数据关联，即在不需要显式数据关联关系的前提下，建立全体观测与单个行人之间的联系，然后，基于隐式数据关联的目标参数更新多行人参数状态。
2.根据权利要求1所述的基于距离传感器的多行人跟踪方法，其特征在于，
在S1中，采集的足部信息包括：每个距离传感器每次的扫描角度和检测距离；
在S3中，各簇的信息包括：该簇的质心位置、包含点的数量、主轴方向及长度、次轴方向及长度；
在S4中，所述目标状态参数包含：左脚和右脚位置、步长、行走周期、行走方向及步态相位。
3.根据权利要求1所述的基于距离传感器的多行人跟踪方法，其特征在于，多独立跟踪代理在处理目标的跟踪任务时彼此独立，但同时有特定的信息共享机制，具体包括：-在每帧的预测及更新过程中，读取其他目标在上一帧的状态信息；-在每帧的更新过程结束后，公开本代理对应目标的当前帧状态信息。
4.根据权利要求1所述的基于距离传感器的多行人跟踪方法，其特征在于，基于S4中的多独立跟踪代理，在S6中，采用并行处理方式进行独立计算。
5.根据权利要求1所述的基于多距离传感器的多行人跟踪方法，其特征在于，S6包括：
S6-1，判断目标是否消失，如果消失，则移除跟踪行人；如果没有消失，跳转到步骤S6-2；
S6-2，判断是否有观测数据未关联且符合新目标条件，如果是，则新增跟踪行人，新行人的参数状态加入多行人参数状态。
6.一种基于距离传感器的多行人跟踪系统，其特征在于，包括：
现场布置的一台或多台二维距离传感器；
采集单元，所述采集单元连接到所述二维距离传感器，采集所述二维距离传感器通过平面扫描获取的行人的足部信息的激光点云数据，并且所述采集单元对采集的每帧激光点云数据提取前景数据；
融合单元，所述融合单元通过距离传感器识别观测现场的特定标定物，结合匹配和标定方法，获得各距离传感器的全局姿态信息，并结合所述采集单元提取的前景数据，获得融合后的全局二维多传感器融合数据；
聚类单元，所述聚类单元基于聚类方法对融合单元中获取的点云数据进行聚类，聚类后对簇中的点进行主分量分析，以获得各簇的信息；
多独立跟踪代理单元，其基于现有目标状态参数信息，为观测区域中出现的每个行人分配一个跟踪代理，该跟踪代理仅负责跟踪单个行人；
多行人交互作用模型单元，其被设定为在跟踪某个目标的状态时，认为其状态只与其邻域范围内的其他目标相关，所述多行人交互作用模型单元基于行人交互作用模型进行目标参数预测；
隐式数据关联单元，在该隐式数据关联单元中，在不需要显式数据关联关系的前提下，建立全体观测与单个行人之间的联系，然后，基于隐式数据关联的目标参数更新多行人参数状态。
7.根据权利要求6所述的基于距离传感器的多行人跟踪系统，其特征在于，
采集的足部信息包括：每个距离传感器每次的扫描角度和检测距离；
所述各簇的信息包括：该簇的质心位置、包含点的数量、主轴方向及长度、次轴方向及长度；
所述目标状态参数包含：左脚和右脚位置、步长、行走周期、行走方向及步态相位。
8.根据权利要求6所述的基于距离传感器的多行人跟踪系统，其特征在于，多独立跟踪代理单元在处理目标的跟踪任务时彼此独立，但同时有特定的信息共享机制，具体包括：-在每帧的预测及更新过程中，读取其他目标在上一帧的状态信息；-在每帧的更新过程结束后，公开本代理对应目标的当前帧状态信息。
9.根据权利要求6所述的基于距离传感器的多行人跟踪系统，其特征在于，基于多独立跟踪代理单元，隐式数据关联单元采用并行处理方式进行独立计算。
10.根据权利要求6所述的基于距离传感器的多行人跟踪系统，其特征在于，所述隐式数据关联单元被配置为：
判断目标是否消失，如果消失，则移除跟踪行人；如果没有消失，判断是否有观测数据未关联且符合新目标条件，如果是，则新增跟踪行人，新行人的参数状态加入多行人参数状态。
CN201610868031.8A 2016-09-28 2016-09-28 一种基于距离传感器的多行人跟踪方法和系统 Active CN106447698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610868031.8A CN106447698B (zh) 2016-09-28 2016-09-28 一种基于距离传感器的多行人跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610868031.8A CN106447698B (zh) 2016-09-28 2016-09-28 一种基于距离传感器的多行人跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN106447698A true CN106447698A (zh) 2017-02-22
CN106447698B CN106447698B (zh) 2019-07-02

Family

ID=58172457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610868031.8A Active CN106447698B (zh) 2016-09-28 2016-09-28 一种基于距离传感器的多行人跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN106447698B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221175A (zh) * 2017-05-31 2017-09-29 深圳市鸿逸达科技有限公司 一种行人意图检测方法和系统
CN107423679A (zh) * 2017-05-31 2017-12-01 深圳市鸿逸达科技有限公司 一种行人意图检测方法和系统
CN109443343A (zh) * 2018-09-13 2019-03-08 安徽优思天成智能科技有限公司 一种目标跟踪系统
CN111723633A (zh) * 2019-12-09 2020-09-29 深圳市鸿逸达科技有限公司 一种基于深度数据的人员行为模式分析方法和系统
CN112731335A (zh) * 2020-12-20 2021-04-30 大连理工大学人工智能大连研究院 一种基于全区域激光扫描的多无人机协作定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102148921A (zh) * 2011-05-04 2011-08-10 中国科学院自动化研究所 基于动态群组划分的多目标跟踪方法
US20120116662A1 (en) * 2010-11-09 2012-05-10 Gm Global Technology Operations, Inc. System and Method for Tracking Objects
CN105957105A (zh) * 2016-04-22 2016-09-21 清华大学 基于行为学习的多目标跟踪方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116662A1 (en) * 2010-11-09 2012-05-10 Gm Global Technology Operations, Inc. System and Method for Tracking Objects
CN102148921A (zh) * 2011-05-04 2011-08-10 中国科学院自动化研究所 基于动态群组划分的多目标跟踪方法
CN105957105A (zh) * 2016-04-22 2016-09-21 清华大学 基于行为学习的多目标跟踪方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUIJING ZHAO 等: "A Novel System for Tracking Pedestrians Using Multiple Single-Row Laser-Range Scanners", 《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS—PART A: SYSTEMS AND HUMANS》 *
OSWALD LANZ: "Approximate Bayesian Multibody Tracking", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
S. PELLEGRINI 等: "You"ll Never Walk Alone: Modeling Social Behavior for Multi-target Tracking", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
XIAOWEI SHAO 等: "Detection and Tracking of Multiple Pedestrians by Using Laser Range Scanners", 《PROCEEDINGS OF THE 2007 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS》 *
沈乐君 等: "自助重要性采样用于实时多目标视觉跟踪", 《自动化学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107221175A (zh) * 2017-05-31 2017-09-29 深圳市鸿逸达科技有限公司 一种行人意图检测方法和系统
CN107423679A (zh) * 2017-05-31 2017-12-01 深圳市鸿逸达科技有限公司 一种行人意图检测方法和系统
CN107221175B (zh) * 2017-05-31 2020-10-27 深圳市鸿逸达科技有限公司 一种行人意图检测方法和系统
CN109443343A (zh) * 2018-09-13 2019-03-08 安徽优思天成智能科技有限公司 一种目标跟踪系统
CN111723633A (zh) * 2019-12-09 2020-09-29 深圳市鸿逸达科技有限公司 一种基于深度数据的人员行为模式分析方法和系统
CN111723633B (zh) * 2019-12-09 2022-05-20 深圳市鸿逸达科技有限公司 一种基于深度数据的人员行为模式分析方法和系统
CN112731335A (zh) * 2020-12-20 2021-04-30 大连理工大学人工智能大连研究院 一种基于全区域激光扫描的多无人机协作定位方法
CN112731335B (zh) * 2020-12-20 2023-11-07 大连理工大学人工智能大连研究院 一种基于全区域激光扫描的多无人机协作定位方法

Also Published As

Publication number Publication date
CN106447698B (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
US10706285B2 (en) Automatic ship tracking method and system based on deep learning network and mean shift
Xie et al. Video crowd detection and abnormal behavior model detection based on machine learning method
CN106447698B (zh) 一种基于距离传感器的多行人跟踪方法和系统
WO2017185688A1 (zh) 一种在线目标跟踪方法及装置
CN109859245B (zh) 视频目标的多目标跟踪方法、装置及存储介质
WO2020150896A1 (zh) 视频目标的数据关联方法、装置及存储介质
CN106408594A (zh) 基于多伯努利特征协方差的视频多目标跟踪方法
CN106355604A (zh) 图像目标跟踪方法与系统
CN103262121A (zh) 移动物体的检测和跟踪
CN101344965A (zh) 基于双目摄像的跟踪系统
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN106952293A (zh) 一种基于非参数在线聚类的目标跟踪方法
Deng et al. Long-term visual simultaneous localization and mapping: Using a bayesian persistence filter-based global map prediction
WO2018227491A1 (zh) 视频多目标模糊数据关联方法及装置
CN106504274A (zh) 一种基于红外摄像头下的视觉跟踪方法及系统
Zhang et al. Detection and tracking of human track and field motion targets based on deep learning
Amosa et al. Multi-camera multi-object tracking: a review of current trends and future advances
Liu et al. Vision-aware air-ground cooperative target localization for UAV and UGV
Gong et al. A two-level framework for place recognition with 3D LiDAR based on spatial relation graph
Zhao et al. Dynamic object tracking for self-driving cars using monocular camera and lidar
CN116563376A (zh) 基于深度学习的lidar-imu紧耦合语义slam方法及相关装置
Wang et al. Effective multiple pedestrian tracking system in video surveillance with monocular stationary camera
Yang et al. Enhanced visual SLAM for construction robots by efficient integration of dynamic object segmentation and scene semantics
Jin et al. 3D multi-object tracking with boosting data association and improved trajectory management mechanism
CN116523957A (zh) 一种多目标跟踪方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant