CN101393264A - 基于多激光扫描仪的移动目标跟踪方法及系统 - Google Patents

基于多激光扫描仪的移动目标跟踪方法及系统 Download PDF

Info

Publication number
CN101393264A
CN101393264A CNA2008101701944A CN200810170194A CN101393264A CN 101393264 A CN101393264 A CN 101393264A CN A2008101701944 A CNA2008101701944 A CN A2008101701944A CN 200810170194 A CN200810170194 A CN 200810170194A CN 101393264 A CN101393264 A CN 101393264A
Authority
CN
China
Prior art keywords
combination
frame
moving target
cluster
fused data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101701944A
Other languages
English (en)
Other versions
CN101393264B (zh
Inventor
赵卉菁
柴崎亮介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN2008101701944A priority Critical patent/CN101393264B/zh
Publication of CN101393264A publication Critical patent/CN101393264A/zh
Application granted granted Critical
Publication of CN101393264B publication Critical patent/CN101393264B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于多台激光扫描仪的移动目标跟踪方法和系统。方法包括:融合数据时序列中的每一帧中,一个由多个聚类组成的组合对应一个移动目标;对于所述时序列中的第0帧,将其中所有组合的运动速度和方向设为预设值;对于所述时序列中的第k-1帧中的每个组合对应的移动目标,k不等于0,判断第k帧中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向。本发明的技术方案能够在融合数据的时序列中准确地跟踪移动目标。

Description

基于多激光扫描仪的移动目标跟踪方法及系统
技术领域
本发明涉及激光扫描技术领域,具体涉及基于多激光扫描仪的移动目标跟踪方法及系统。
背景技术
激光测距在各个领域得到了广泛的应用。激光测距的原理是:激光头发射激光束,激光束遇到障碍物时被反射回来,激光头接收被反射的激光束,通过计算激光头从发射到接收激光束的时间差,并将该时间差乘以光速再除以2,即得到了激光头到障碍物的距离。激光扫描测距的原理是:在激光扫描仪中有一面高速旋转的镜片,激光头先将激光束打到镜片上再折射出去,通过镜片的旋转可以调整激光束的发射角度,通过发射角度可以将距离值换算成坐标点,并且可以通过调整镜片的旋转速度及范围控制激光扫描的范围、采样密度和帧率。激光测距还有如下特性:通过测量被障碍物反射的光束来测距,因而测距效果受障碍物的表面材质影响,比如黑色物体的反射率低,镜面反射、乱反射等无法测距。
图1是利用多台激光扫描仪进行交通数据采集的系统的示意图。如图1所示,多台激光扫描仪被设置于交叉口路边,图1中画出了两台激光扫描仪分为1和2。每台激光扫描仪都为线扫描激光扫描仪,也就是镜片围绕一个轴旋转,旋转方向固定为顺时针旋转或逆时针旋转,测量到的距离值可转换为二维坐标上的点,这里称为激光点,激光扫描仪可以在一帧内得到一系列的激光点。激光扫描仪的参数如下:扫描范围:180度,采样密度:0.5度/点,37Hz(每秒37帧),最大测距范围60m。激光扫描仪1和2被设置于路边进行水平扫描,在距离路面一定高度(如40cm)的水平面覆盖对象测量区域。激光扫描仪1和2通过网络将测量数据传送给服务器。服务器将不同激光扫描仪的测量数据,通过时钟同步及坐标系转换进行数据融合,即将同一时刻测量到的数据抽取出来,并统合到全局坐标系中。这样的融合数据可以测量到移动目标的平面轮廓。
如图1所示,在每个时刻,激光扫描仪1和2将扫描到的移动目标:汽车、自行车、人的激光点发送到服务器,如在图1中,黑色实心点为激光扫描仪1测量到的激光点,黑色点心点为激光扫描仪2测量到的激光点。可以看出,在某个时刻由于遮挡等原因,行人只能被激光扫描仪2扫描到,而自行车只能被激光扫描仪1扫描到。一台激光扫描仪只能观测到移动目标的一个或部分侧面,通过多个激光扫描仪的扫描数据的融合,可以测量到移动目标的四周,从而可以有效地提高目标物识别及运动状态分析的精度。不同激光扫描仪测量的数据被发送到服务器,服务器将不同激光扫描仪在同一时刻测量到的数据抽取出来,并统合到全局坐标系中进行数据融合,这样的融合数据可以测量到移动目标的平面轮廓;同时,扫描帧率约30Hz,可以捕捉快速的运动目标。
激光扫描数据的特点是所测量的激光点是有顺序的。图2是激光扫描仪逆时针扫描时对汽车的测量点示意图。如图2所示,s表示激光扫描仪对汽车测量到的第一个点,e是最后一个点,c是拐点,通过激光点序列,可以计算出表示汽车侧面的线段。这样的线段是有方向性的,比如沿着该线段从后测点到先测点定义方向向量,如图2中的u1和u2。可见这样的定义,不管激光扫描仪放在什么位置方向,各侧面的方向向量是唯一的。
图3是图1所示的交通数据采集的系统的工作流程示意图。如图3所示,在由n个(n为大于2的自然数)激光扫描仪组成的传感器端,每个激光扫描仪都测量数据,并且传感器端的处理还包括:对于每台激光扫描仪的一帧测量数据,经过背景差分,可以检测移动目标数据;根据近邻法将空间中具有连续性的激光点聚为一类,并对聚类进行特征量提取。提取聚类的特征量是现有技术,但是为了后续的记叙方便,这里介绍进行简单的介绍:
(1)对每一个激光点的聚类进行KL变换(一种常见的轴的检测方法),计算出该激光点聚类的分布特性是点(0轴),线(1轴),还是面(2轴)。如图4所示,图4是聚类的三种分布模式示意图。
(2)对图4所示的三种分布模式,分别用长方形(根据测量精度可拓展成其他形状,比如用菱形代表自行车等)的轮廓进行数据匹配并提取特征量,如图5所示。图5是对图4所示的聚类的三种分布模式进行特征量提取的示意图。参见图5,其中:
图(a)是对2轴聚类的特征量提取,点s为该聚类最初测量到的激光点,点e为该聚类最后测量到的激光点,点c为该聚类的拐点。定义u1(轴1)为e至c的方向向量,其长度len1为点e到点c之间的长度;定义u2(轴2)为c至s的方向向量,其长度len2为点c到点s之间的长度;
图(b)是对1轴聚类的特征量提取,点s为该聚类最初测量到的激光点,点e为该聚类最后测量到的激光点。定义u1(轴1)为e至s的方向向量,其长度len1为点e到点s之间的长度;
图(c)是对0轴聚类的特征量提取,点s为该聚类最初测量到的激光点,点e为该聚类最后测量到的激光点。定义中心点p以及长度参数len1,len1为点e到点s之间的长度。
如图3所示,服务器端的数据处理包括:
1.融合数据的生成。即将多台扫描仪造同一时刻测量到的数据抽取出来,统合到全局坐标中,生成该时刻的一帧融合数据。这里统合到全局坐标时需要进行时钟同步以及坐标系配准。
2.移动目标数据的组合。即在一帧融合数据中,将同一移动目标的聚类组合起来,生成该移动目标的观测数据。
3.在融合数据的时序列中,跟踪匹配同一移动目标的观测数据,并更新该移动目标的状态参量。
4.将移动目标进行分类,如分类为人、自行车和汽车等。对检测跟踪到的移动目标进行识别。
但是,服务器端的数据处理并不是那么简单。其中第3步骤的在融合数据的时序列中跟踪匹配同一移动目标的观测数据尤其困难。而在不同时刻的融合数据时序列中找到同一移动目标的观测数据是计算该移动目标运动参数的前提。
目前,一般是利用时空间距离以及形状的匹配,在融合数据时序列中找到同一移动目标的观测数据。但是由于遮挡、反射特性等原因,相邻帧的同一移动目标的数据在形状上可能会出现很大的不同,距离也会出现很大的情况。此时根据利用时空间距离以及形状的匹配很难将同一移动目标的数据找出来。
发明内容
本发明提供了两种基于多激光扫描仪的移动目标跟踪方法及系统,本发明的技术方案能够在融合数据的时序列中准确地跟踪匹配移动目标。
为达到上述目的,本发明的技术方案具体是这样实现的:
本发明公开了一种基于多激光扫描仪的移动目标跟踪方法,该方法包括:
对于融合数据时序列中的每一帧融合数据,将该融合数据中具有指定联系的聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标;
对于所述融合数据时序列中的第0帧融合数据,将该第0帧融合数据中的所有组合的运动速度和方向设置为预设值;
对于所述融合数据时序列中的第k-1帧融合数据中的每个组合对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向;
如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,并将这些新出现的移动目标的运动速度和方向设置为预设值。
本发明还公开了一种基于多台激光扫描仪的移动目标跟踪方法,
预先定义移动目标的多边形平面轮廓模型,该平面轮廓模型包括如下参量:与多边形的各边对应的方向向量、支撑向量、各边的长度参数、中心点、角点;其中所有方向向量构成一个逆时针或顺时针旋转的闭合环;
定义移动目标的观测模型,该观测模型包括如下的观测数据参量:方向向量、支撑向量、各边的长度参数、中心点、角点;
定义移动目标的状态模型,该状态模型包括如下的状态参量:方向向量、支撑向量、各边的长度参数、中心点、角点、运动速度和方向;
该方法包括:
对于融合数据时序列中的每一帧融合数据,对该帧融合数据中的激光点进行聚类;在所有聚类中,对于相互距离在预设值内的每组聚类,若该组聚类中的所有方向向量与移动目标的平面轮廓模型中的方向向量匹配,则将该组聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标;
对于融合数据时序列中的每一帧融合数据中的每一个组合,获得该组合所对应的移动目标的观测数据参量;
对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值;
对于所述融合数据时序列中的第k-1帧融合数据中的每个组合所对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的状态参量以及该移动目标在第k帧中的观测参量,确定该移动目标在第k帧中的状态参量;
如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,对于每个剩余组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值。
本发明公开了一种基于多激光扫描仪的移动目标跟踪系统,该系统包括:数据融合模块和跟踪模块;
所述数据融合模块,对于融合数据时序列中的每一帧融合数据,将该融合数据中具有指定联系的聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标,并将进行所述组合处理后的每一帧融合数据输出给跟踪模块;
所述跟踪模块,对于所述融合数据时序列中的第0帧融合数据,将该第0帧融合数据中的所有组合的运动速度和方向设置为预设值;对于所述融合数据时序列中的第k-1帧融合数据中的每个组合对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向;如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,并将这些新出现的移动目标的运动速度和方向设置为预设值。
本发明还公开了一种基于多激光扫描仪的移动目标跟踪系统,
预先定义移动目标的多边形平面轮廓模型,该平面轮廓模型包括如下参量:与多边形的各边对应的方向向量、支撑向量、各边的长度参数、中心点、角点;其中所有方向向量构成一个逆时针或顺时针旋转的闭合环;定义移动目标的观测模型,该观测模型包括如下的观测数据参量:方向向量、支撑向量、各边的长度参数、中心点、角点;定义移动目标的状态模型,该状态模型包括如下的状态参量:方向向量、支撑向量、各边的长度参数、中心点、角点、运动速度和方向;
该系统包括:聚类模块、数据融合模块和跟踪模块,其中,
所述聚类模块,对于融合数据时序列中的每一帧融合数据,对该帧融合数据中的激光点进行聚类,将聚类结果输出给数据融合模块;
所述数据融合模块,对于融合数据时序列中的每一帧融合数据中所有聚类中,对于相互距离在预设值内的每组聚类,若该组聚类中的所有方向向量与移动目标的平面轮廓模型中的方向向量匹配,则将该组聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标,并将进行所述组合处理后的每一帧融合数据输出给跟踪模块;
所述跟踪模块,对于融合数据时序列中的每一帧融合数据中的每一个组合,获得该组合所对应的移动目标的观测数据参量;对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值;对于所述融合数据时序列中的第k-1帧融合数据中的每个组合所对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的状态参量以及该移动目标在第k帧中的观测参量,确定该移动目标在第k帧中的状态参量;如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,对于每个剩余组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值。
由上述技术方案可见,本发明这种对于融合数据时序列中的每一帧中,一个由多个聚类组成的组合对应一个移动目标;对于所述时序列中的第0帧,将其中所有组合的运动速度和方向设为预设值;对于所述时序列中的第k-1帧中的每个组合对应的移动目标,k不等于0,判断第k帧中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向的技术方案,能够在融合数据的时序列中准确地跟踪移动目标。
附图说明
图1是利用多台激光扫描仪进行交通数据采集的系统的示意图;
图2是激光扫描仪逆时针扫描时对汽车的测量点示意图;
图3是图1所示的交通数据采集的系统的工作流程示意图
图4是聚类的三种分布模式示意图;
图5是对图4所示的聚类的三种分布模式进行特征量提取的示意图;
图6是本发明实施例一种基于多激光扫描仪的移动目标跟踪方法的流程图;
图7是本发明对多台激光扫描仪对同一移动目标的测量数据进行分析的示意图;
图8是本发明中平面轮廓为长方形的移动目标的平面轮廓模型定义示意图;
图9为本发明实施例提供的基于多激光扫描仪的数据融合的处理流程图;
图10为本发明实施例提供的将聚类生成组合的流程图;
图11为本发明实施例提供的将聚类加到一个已有组合中生成一个新组合的流程图;
图12为本发明实施例提供的确定新生成的组合是否可信的流程图;
图13是本发明实施例中的基于多台激光扫描仪的移动目标跟踪方法的又一实施例框图;
图14是本发明实施例中判断当前帧中是否存在上一帧中的移动目标的观测数据的方法的流程图;
图15是第k-1帧中的指定移动目标所对应的组合中的聚类在第k帧中对应聚类属于两个组合的一个示意图;
图16是本发明实施例中观测数据的三种情况示意图;
图17是本发明实施例中训练得到的特征量len1的似然函数示意图;
图18是本发明一种基于多激光扫描仪的移动目标跟踪系统的第一实施例组成结构框图;
图19是本发明一种基于多激光扫描仪的移动目标跟踪系统的第二实施例组成结构框图。
具体实施方式
图6是本发明实施例一种基于多激光扫描仪的移动目标跟踪方法的流程图。如图6所示,该方法包括以下步骤:
步骤601,对于融合数据时序列中的每一帧融合数据,将该融合数据中具有指定联系的聚类合并为一个组合,得到一个以上的组合,且一个组合对应一个移动目标。
本步骤中可以利用现有技术中的近邻法将具有指定联系(这里指距离相近)的聚类并合为一个组合。
步骤602,对于所述融合数据时序列中的第0帧融合数据,将该第0帧融合数据中的所有组合的运动速度和方向设置为预设值。
步骤603,对于所述融合数据时序列中的第k-1帧融合数据中的每个组合对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向。
在本步骤中,对于第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的组合具体可以为:
对于第k-1帧中的一移动目标所对应组合中的每个聚类,根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类;这里根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类的方法是现有技术;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于一个组合,则进一步根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;如果所述预测出的移动目标在第k帧中的组合与所述所有对应聚类在第k帧中所属的组合之间的距离满足预设条件,则所述所有对应聚类在第k帧所属的组合即为第k帧中与该移动目标对应的组合;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则进一步判断所述两个以上的组合是否能够合并成为一个组合,是则,合并后的组合即为第k帧中的与该移动目标对应的组合,否则,从所述两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,并将所述两个以上组合中的未被选择的组合作为第k帧中新出现的移动目标对应的组合。
其中,所述从两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合包括:根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;将所述预测出的组合与所述两个以上组合一一进行比较,从所述两个以上组合中选择一个与所述预测出的组合距离最近且距离满足预设条件的组合作为第k帧中与该移动目标对应的组合。
步骤604,如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,并将这些新出现的移动目标的运动速度和方向设置为预设值。
可以看出,根据上述图6所示的方法,可以跟踪匹配激光扫描仪测量范围内的移动目标。
但是在图6所示方法的步骤601中,利用现有技术中的近邻法将具有指定联系的聚类并合为一个组合的方案存在如下缺陷:在遮挡、反射严重的情况下,属于同一移动目标的数据离得较远,则根据距离判别组合的结果使得一个移动目标的聚类被分成多个组合;在多个移动目标之间的距离很近时,根据距离很容易将他们的聚类组合起来,作为一个移动目标的组合。为此本发明还进一步给出了基于形状模型的聚类组合方案,以及结合该组合方案和图6所示方案的移动目标跟踪方法。在下面的实施例对该方法进行详细的阐述。
本发明接下来的实施例的核心思想是:定义移动目标的形状模型;在一帧融合数据中,组合来自不同激光扫描仪的对同一移动目标的数据聚类,并根据观测模型生成移动目标的观测数据;在融合数据的时序列中,根据当前帧的上一帧融合数据中的各移动目标的状态数据以及当前帧融合数据中的各移动目标的观测数据,生成当前帧融合数据中的各移动目标的与状态模型对应的状态数据;其中,移动目标的观测模型和状态模型中均利用了形状模型的定义。
从图2可知测量到的激光点是有顺序的。且对属于同一移动目标的聚类进行分析可以发现:所有聚类的方向向量构成了一个逆时针的环。此外多台扫描仪对同一移动目标的测量数据还有其他的共同点。
图7是本发明对多台激光扫描仪对同一移动目标的测量数据进行分析的示意图。如图7所示,移动目标的平面轮廓用长方形表示(在本发明的其他实施例中也可以用其他的多边形表示移动目标的轮廓,如菱形等),长方形的各边代表移动目标的一个侧面,对应于长方形的各个边以逆时针的顺序定义一组方向向量v1、v2、v3和v4。激光扫描仪1、2和3测量到的该移动目标的激光点分别用空心圆,灰色实心圆和黑色实心圆表示。
从图7可以看出不管激光扫描仪放置于什么位置方向,其测量到的方向向量u和对应边的vi(i=1、2、3或4)在不计误差的情况下是一样的。将u和v1、v2、v3和v4进行匹配,可知测量到的是移动目标的哪个侧面。如果知道移动目标的移动方向是dv,则定义v1=dv,v2、v3和v4顺次逆时针旋转90度,则v1、v2、v3和v4分别代表移动目标的右、前、左、后侧面。通过将u和vi的匹配,可以把u和移动目标的侧面联系起来,从而减少错误的匹配。
并且可以推知:当有多台激光扫描仪对同一目标扫描时,设目标共有n(n为正整数)个侧面,则当该目标的n个侧面都被激光扫描仪扫描到时,所有激光扫描仪扫描到的方向向量会构成一个有向闭合的轮廓,该闭合的轮廓即为目标的平面轮廓;而当该目标只有部分侧面被激光扫描仪扫描到时,则激光扫描仪扫描到的每个方向向量分别与目标的平面轮廓中的一个有向边匹配。
根据上述移动目标的聚类的特性,本发明中,预先定义一个移动目标的平面轮廓模型,对于每帧扫描数据,对该帧扫描数据中的激光点进行聚类,对于相互距离小于预设值的每组聚类,若所有聚类的方向向量与移动目标的平面轮廓模型匹配,则将该组聚类组合为一个移动目标。
在实际中,移动目标的平面轮廓模型可以定义为一个有向n边形(n为正整数),n边形的各条边为有向边,各条边的方向向量构成一个逆时针或顺时针旋转的闭合环。若一个聚类的某条轴与移动目标的平面轮廓模型中的某条有向边匹配,则称该轴为该有向边的支撑向量。
根据上述n边形平面轮廓模型的定义,给出n=4时的长方形平面轮廓模型的具体定义(需要说明的是根据测量精度可拓展成其他的多边形形状,如菱形等),参见图8。
图8是本发明中平面轮廓为长方形的移动目标的平面轮廓模型定义示意图。参见图8,移动目标的平面轮廓用长方形表示,长方形的每个边代表移动目标的一个侧面,则平面轮廓模型包括以下参量:
1、方向向量:对应于长方形的各个边,以逆时针的顺序定义一组方向向量,分别为v1、v2、v3和v4;
2、支撑向量:如果从测量数据中抽取出的方向向量u与某个vi(i=1、2、3或4)在一定的误差范围内一致,则称u为vi的支撑向量,这里分别用V_val1、V_val2、V_val3和V_val4表示与v1、v2、v3和v4对应边有无支撑向量;
3、长度参数:len1为与v1和v3对应的边长;len2为与v2和v4对应的边长;
4、中心点:P;
5、角点:如果有一对相邻边有支撑向量(即V_val1&&V_val2‖V_val2&&V_val3‖V_val3&&V_val4‖V_val4&&V_val1),则该相邻边的交点c为角点,这里用C_val表示是否存在有效角点。
本发明中,在一帧融合数据中,组合来自不同激光扫描仪的对同一移动目标的数据聚类,并根据观测模型生成移动目标的观测数据。本发明定义的移动目标的观测模型包括以下参量:
-平面轮廓模型中包括的所有参量(例如形状模型是长方形时包括如图7所示的:方向向量、支撑向量、长度参数、中心点和角点);
-与各分类的似然度参数:λc(c=0,...,n);其中,n为分类的个数;在本发明实施例中,将移动目标分为以下5类:0表示行人、1表示自行车、2表示普通乘用汽车、3表示大型车,4表示其他(如人群等),则n=4,且λ01234=1。
在本发明实施例中,可以利用现有的近邻法对一帧融合数据中的同一移动目标的数据聚类进行组合,并对每一个组合根据现有的方式评价其与各分类的似然度,得到该组合(即移动目标)的观测数据。
本发明中,在融合数据的时序列中,跟踪匹配同一移动目标时的观测数据,并实时更新该移动目标的状态数据。本发明定义的移动目标在k时刻的状态模型包括以下参量:
-平面轮廓模型中包括的所有参量(例如平面轮廓模型是长方形时包括如图7所示的:方向向量、支撑向量、长度参数、中心点和角点);
-运动参数:运动速度和运动方向;
-分类识别判定参数: Λ c k = σ Π t = 0 k λ c t , 其中c=0,...,n,且 Σ c = 0 n Λ c t = 1 , σ 为正规化参数。
在本发明实施例中,用g开头的字符表示观测模型中的参量,用t开头的字符表示状态模型中的参量。
根据上述模型的定义,接下来依次给出本发明中实现图3中所示的服务器端的处理流程的方案:
一、融合数据的生成
融合数据的生成关键在于坐标系的匹配和时钟的同步,本发明实施例中利用现有的手段使坐标系匹配且时钟同步,且误差在可容忍的范围内。
将多台激光扫描仪在同一时刻的数据抽取出来,统合到全局坐标系中,得到融合数据的时序列。
二、移动目标数据的组合
图9为本发明实施例提供的基于多台激光扫描仪的数据融合的处理流程图,如图9所示,其具体步骤如下:
步骤901:对于每帧扫描数据,对该帧数据中的激光点进行聚类,然后对每个聚类进行KL变换,确定该聚类中的激光点阵的分布是点(0轴)、线(1轴)还是面(2轴)。
步骤902:根据每个聚类的激光点阵分布,对每个聚类分别用长方形轮廓进行匹配。
步骤901、902可采用现有技术实现。
步骤903:在所有聚类中寻找一个未被组合的聚类ci。
i为正整数,表示聚类的序号。
步骤904:在ci的近邻中找到一个组合gj。
j为正整数,表示组合的序号。
这里,可预先设定一个直径d,本步骤中,在ci的直径d范围内,按照与ci的距离的由近及远,依次寻找组合gj。d的取值可由经验确定,也可通过对大量的样本学习确定,或者由二者共同确定。
步骤905:将ci加到组合gj中,生成一个新的组合gj’。
步骤906:判断gj’是否可信,若是,执行步骤910;否则,执行步骤907。
步骤907:废弃gj’。
步骤908:判断是否ci的近邻中的所有组合都已被寻找到,若是,执行步骤909;否则,返回步骤904。
步骤909:为ci生成一个新的组合gk,转至步骤911。
k为正整数,表示组合的序号。
步骤910:用gj’更新gj。
步骤911:判断是否所有聚类都已被组合过,若是,本流程结束;否则,返回步骤903。
每个组合即代表一个移动目标。
在上述步骤909中提到了为一个聚类ci生成一个组合gk的处理,图10给出了本发明实施例提供的将一个或两个以上聚类生成组合的流程图,如图10所示,其具体步骤如下:
步骤1001:在要组合的所有聚类中抽出一条最长轴,定义该最长轴为v1,将v1按照逆时针旋转90度、180度、270度,分别得到v2、v3、v4。
从聚类中抽出一条轴的处理可由现有技术实现。
总的来说,当移动目标的平面轮廓为n边形时,则将v1按照顺时针或逆时针顺序旋转度,其中,s为正整数,且从1依次取到n-1,每个s对应n边形的一条有向边v(s+1),其中,v1为n边形的基边,也称起始边。
步骤1002:将所有聚类中的所有激光点投影到v1、v2构成的直角坐标系上,设激光点在v1上的投影长度为len1,在v2上的投影长度为len2,确定所有激光点的中心点p。
对所有激光点在v1、v2上的坐标分别求均值,即可得到中心点p。
步骤1003:将所有聚类中的每个方向向量um(m为正整数)分别与v1、v2、v3、v4匹配,得到v1、v2、v3、v4的支撑向量。
若有um与vn(n=1、2、3、4)匹配,则称um为vn的支撑向量,置V_valn=true。
步骤1004:若有一对相邻边vx、vy,每个边都有支撑向量,则置C_val(x,y)=true,并将该对相邻边的角点赋于c(x,y)。其中,x,y=1、2、3、4。
至此,组合gk已经生成,gk的四条边分别为v1、v2、v3、v4,其中,len1为v1、v3的边长,len2为v2、v4的边长,p为gk的中心点,且,V_valn=true的vn具有支撑向量,C_val(x,y)=True的相邻边vx、vy具有角点c(x,y)。
图10所示流程不仅适用于将一个聚类生成一个组合的情况,也适用于将两个以上聚类生成一个组合的情况。
图9所示流程的步骤905中提到了将聚类ci加到组合gj中生成一个新的组合gj’的处理,图11给出了本发明实施例提供的将一个聚类加到已有组合中生成一个新组合的流程,如图11所示,其具体步骤如下:
步骤1101:从将要加到组合gj的聚类ci中依次选择一个轴um。
m为聚类ci中的轴的序号。
步骤1102:将um与gj的v1、v2、v3、v4分别进行比较。
步骤1103:判断是否有vn(n=1、2、3或4)与um的角度差在预设阈值内,若是,执行步骤1104;否则,执行步骤1114。
步骤1104:将um作为vn的支撑向量,V_valn=True。
本步骤中的vn即,与um的角度差在预设阈值内的vn。若有两个以上vn(n=1、2、3或4)与um的角度差在预设阈值内,则选择与um的角度差最小的vn,um为所选择的vn的支撑向量。
步骤1105:判断是否聚类ci的所有轴都已被选择过,若是,执行步骤1106;否则,返回步骤1101。
步骤1106:在成为gj的边的支撑向量的所有um中,选择一条最长的umax。
步骤1107:判断umax的长度是否大于gj的最大边长,若是,执行步骤1108;否则,执行步骤1112。
步骤1108:将umax作为v1’,将v1’按照逆时针旋转90度、180度、270度,分别得到v2’、v3’、v4’。
步骤1109:将所有聚类(包括聚类ci和gj中的聚类)中的所有激光点投影到v1’、v2’构成的直角坐标系上,设激光点在v1’上的投影长度为len1’,在v2’上的投影长度为len2’,确定所有激光点的中心点p’。
步骤1110:将所有聚类(包括聚类ci和gj中的聚类)中的每个方向向量uq(q为正整数)分别与v1’、v2’、v3’、v4’匹配。
若有uq与vn’(n=1、2、3或4)匹配,则称uq为vn’的支撑向量,置V_valn’=true。
步骤1111:若有一对相邻边vx’、vy’,每个边都有支撑向量,则置C_val(x’,y’)=True,并将该对相邻边的角点赋于c(x’,y’),本流程结束。
至此得到新组合gj’,gj’的四条边分别为v1’、v2’、v3’、v4’,其中,len1’为v1’、v3’的边长,len2’为v2’、v4’的边长,p’为gj’的中心点,且,V_valn’=true的vn’具有支撑向量,C_val(x’,y’)=True的相邻边vx’、vy’具有角点c(x’,y’)。
步骤1112:根据vn的相邻边是否具有支撑向量的情况,更新vn与其相邻边的角点c以及C_val。
步骤1113:将聚类ci和组合gj中的所有激光点投影到v1、v2构成的直角坐标系上,得到v1的新边长len1’,v2的新边长len2’,并确定所有激光点的新中心点p’,本流程结束。
至此,组合gj’产生,gj’与gi的不同在于,len1’为v1、v3的边长,len2’为v2、v4的边长,p’为gj’的中心点,同时,根据步骤906:vn增加新的支撑向量um,V_valn=True;根据步骤912,vn与其相邻边可能具有角点。
步骤1114:确定ci无法加到组合gj中。
执行完本步骤1114后,要返回步骤908。
在图9所示流程的步骤906中提到了判断新生成的组合gj’是否可信的处理,图12给出了确定新生成的组合是否可信的流程,如图12所示,其具体步骤如下:
步骤1201:判断新生成的组合gj’的每个轴的长度(len1或者len1、len2)是否都小于预设长度,若是,执行步骤1002;否则,执行步骤1006。
例如:若扫描环境为交通路口,则len1、len2的长度必然小于单个车道宽,若len1、len2中有一个大于单个车道宽,则可确定新生成的组合不可信。
步骤1202:对于gj’中的所有聚类中的每个激光点ak,确定ak所在的聚类中的轴um在gj’中对应的边为vn’,计算ak投影到vn’上的距离d(k)。
其中,k为gj’中的所有聚类中的激光点的序号。
步骤1203:计算所有{d(k)}的方差Vard。
步骤1204:判断Vard是否小于预设方差,若是,执行步骤1205;否则,执行步骤1206。
预设方差通常根据经验或通过大量样本学习得到,例如:预设方差可为0.25。
步骤1205:确定该新生成的组合gj’可信,本流程结束。
步骤1206:确定该新生成的组合gj’不可信。
三、移动目标的跟踪
本第三小节的目的是:在融合数据的时序列中,跟踪匹配同一移动目标的观测数据,并更新该移动目标的状态参量。
根据上述第二小节的内容可以得到任意一帧融合数据中的所有移动目标的观测数据。这里一个移动目标的观测数据是指观测模型中所涉及的各种观测参量,包括:方向向量、支撑向量、长度参数、中心点、角点以及该移动目标与各分类的似然度参数λc(c=0,...,4)。基于这一点给出下述的移动目标跟踪方法。
图13是本发明实施例中的基于多台激光扫描仪的移动目标跟踪方法的又一实施例框图。如图13所示,包括以下步骤:
步骤1301,对于融合数据时序列中的第0帧融合数据,生成该第0帧中的每一个组合所对应的移动目标的状态参量。状态参量包括:方向向量、支撑向量、长度参数、中心点、角点、运动速度和方向以及该移动目标的识别判定参数 Λ c 0 ( c = 0 , . . . , 4 ) .
本步骤中,对于第0帧中的每一个组合所对应的移动目标,直接拷贝该移动目标的观测数据作为该移动目标中的相应参量(包括:方向向量、支撑向量、长度参数、中心点、角点);将该移动目标的运动速度和方向设置为预设的指定值,如0;将该移动目标的识别判定参数设置为 Λ c 0 = λ c 0 ( c = 0 , . . . , 4 ) .
步骤1302,对于所述融合数据时序列中的第k-1(k不等于0)帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的观测数据,是则结合该移动目标在第k-1帧中状态参量以及该移动目标在第k帧中的观测数据,更新该移动目标在第k帧中的状态参量。
本步骤中,如果第k帧融合数据中不存在与该移动目标对应的观测数据,则可以利用现有技术结合该移动目标在第k-1帧中的状态参量,估计该移动目标在k帧中的状态参量;如果之后的连续几帧中,如在第k+1帧和第k+2帧中仍未发现该移动目标的观测数据,则丢弃该移动目标。
步骤1303,如果第k帧融合数据中还存在剩余的观测数据,则将这些剩余的观测视为第k帧中新出现的移动目标的观测数据,并生成这些新出现的移动目标的在第k帧中的状态参量。
本步骤中的剩余观测数据是指:第k帧中与第k-1帧中的所有移动目标对应的观测数据以外的观测数据。
本步骤中,生成新出现的移动目标的状态参量为:直接拷贝新出现的移动目标的观测数据作为该新出现的移动目标的相应参量(包括:方向向量、支撑向量、长度参数、中心点、角点);将该新出现的移动目标的运动速度和方向设置为0;该新出现的移动目标的识别判定参数 Λ c k = λ c k ( c = 0 , . . . , 4 ) .
到此,便实现了在融合数据的时序列中,跟踪匹配同一移动目标的观测数据,并更新该移动目标的状态参量的目的。
在上述步骤1302中提到,对于融合数据时序列中的第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存与该移动目标对应的观测数据。图14是本发明实施例中判断当前帧中是否存在上一帧中的移动目标的观测数据的方法的流程图,如图14所示,该方法包括以下步骤:
步骤1401,对于第k-1帧中的一指定移动目标所对应的组合中的每一个聚类,根据数据的连续性从第k帧中查找同一传感器(即激光扫描仪)测量到的对应聚类;如果所述从第k帧中查找到的所有对应聚类在第k帧中属于同一个组合,则执行步骤1402;如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则执行步骤1403;如果从第k帧中没有查找到任何对应的聚类,则执行步骤1406。
步骤1402,将所述所有对应聚类在第k帧中所属的组合所对应的观测数据作为指定移动目标在第k帧中的观测数据。结束本流程。
本步骤中还可以进一步利用评价函数评价所有对应聚类在第k帧中所属的组合所对应的观测数据与所述指定移动目标结合的可能性(具体参见后续的图16中所描述的方案),如果结合的可能性小于预设值,则认为所述所有对应聚类在第k帧中所属的组合不是指定移动目标在第k帧中的观测数据。
步骤403,判断所述第k帧中的两个以上的组合是否能够合并成一个组合,是则执行步骤1404,否则执行步骤1405。
步骤1404,合并所述第k帧中的两个以上的组合,生成合并后的组合所对应的观测数据,并将该观测数据作为移动目标在第k帧中的观测数据。结束本流程。
本步骤中也可以进一步利用评价函数评价合并后的组合所对应的观测数据与所述指定移动目标结合的可能性(具体参见后续的图16中所描述的方案),如果结合的可能性小于预设值,则认为所述合并后的组合所对应的观测数据不是指定移动目标在第k帧中的观测数据。
步骤1405,利用评价函数评价出所述第k帧中的两个以上的组合所对应两个以上的观测数据与所述指定移动目标结合的可能性,从中选择结合可能性最高且该最高的可能性大于预设值的观测数据作为指定移动目标在第k帧中的观测数据。结束本流程。
本步骤中,所述两个以上观测数据中的未被选择的(剩余的)观测数据即为第k帧中新出现的移动目标的观测数据,需要生成这些新出现的移动目标的在第k帧中的状态参量。这与步骤1303中描述是一致的。
图15是第k-1帧中的指定移动目标所对应的组合中的聚类在第k帧中对应聚类属于两个组合的一个示意图。在图15中,黑色实心圆表示移动目标,虚线空心圆表示组合,实线空心圆表示聚类,LD1、LD2和LD3分别表示不同的激光扫描仪。
步骤1406,第k帧中不存在指定移动目标的观测数据。
到此,便完成了判断当前的第k帧中是否存在上一帧中的移动目标的观测数据的过程。
在上述的步骤1404中提到合并所述第k帧中的两个以上的组合,即需要将一个组合加入到另一组合。在本发明实施例中将一个组合加入到另一组合的方法与图11中所述的将聚类加入到组合中的方法类似,这里进行简单说明,假设两个组合分别为组合A和组合B:
从组合A中抽取出最长轴ua与组合B的各方向向量v1、v2、v3和v4进行比较,如果ua与v1、v2、v3和v4中的任一个匹配成功,则组合A和组合B可以合并,反之不可以合并;
或者,将组合A中的所有轴都抽取出来与组合B的各方向向量v1、v2、v3和v4进行比较,如果组合A的所有轴都能够与v1、v2、v3和v4中的任一个匹配成功,则组合A和组合B可以合并,反之不可以合并;
或者,先抽取出组合A中的最长轴与组合B中的最长轴进行比较,如果组合A的最长轴比组合B的最长轴还长,则将组合B的最长轴ub与组合A的各方向向量v1、v2、v3和v4进行比较,如果ub与v1、v2、v3和v4中的任一个匹配成功,则组合A和组合B可以合并,反之不可以合并。
在上述的步骤1405中提到利用评价函数评价出所述第k帧中的两个以上的组合所对应两个以上的观测数据与所述指定移动目标结合的可能性,从中选择结合可能性最高的观测数据作为指定移动目标在第k帧中的观测数据。这里将第k帧中的两个以上的观测数据称后候选观测数据,则本发明实施例中首先利用指定移动目标在第k-1帧中的状态参量结合现有技术预测出该指定移动目标在第k帧中的状态参量,然后利用评价函数评价第k帧中的候选观测数据与预测出状态参量之间的结合的可能性。
图16是本发明实施例中观测数据的三种情况示意图。参见图16,t(i)表示指定的第i个移动目标在k时刻的预测状态,g(j)表示k时刻的第j个候选观测数据;情况1为候选观测数据中的支撑向量有效、角点有效;情况2为候选观测数据中只有支撑向量有效;情况3为候选观测数据中无支撑向量。下面对三种情况分别进行讨论:
情况1
(a)、不管g(j)的方向向量gv1、gv2、gv3和gv4最初排列如何排列,都根据t(i)的方向向量tv1、tv2、tv3和tv4进行重新排序赋值使得赋值后的gv1’、gv2’、gv3’和gv4’依次与tv1、tv2、tv3和tv4匹配,即图16中显示的就是重新排序赋值后的结果。
(b)、在t(i)中找到角点gc对应的点tc。例如,gc是gv3’和gv4’的交点,则求出tv3和tv4的交点赋值于tc。
(c)利用如下的评价函数评价g(j)与t(i)结合的可能性:
Dij=f(Dis(gc,tc),Dis(tv1,gv1’),Dis(Λi,λj))
其中,函数f()可使用高斯函数;
Dis(gc,tc)=‖gc-tc‖,表示两点gc和tc之间的距离,即预测状态与观测值之间的位置差判定;
Dis(tv1,gv1’)=(tv1·gv1’),表示两个方向向量tv1和gv1’之间的角度,即预测状态与观测值之间的方向差判定;
Dis(Λi,λj)=Λimc×λjmc,表示分类识别差判定;其中 mc = max c arg ( Λi c ) 表示取令Λi最大的c的取值。
情况2
(a)、不管g(j)的方向向量gv1、gv2、gv3和gv4最初排列如何排列,都根据t(i)的方向向量tv1、tv2、tv3和tv4进行重新排序赋值使得赋值后的gv1’、gv2’、gv3’和gv4’依次与tv1、tv2、tv3和tv4匹配,即图16中显示的就是重新排序赋值后的结果。
(b)、对于观测数据中有支撑向量的边,这里以gv3’有支撑向量为例,gL是对应的边,gP和gP’是gL两头的点,这里也称为角点;在t(i)中找到gv3’的对应边,本例中tv3的对应边为tL,以及对应的角点为tP和tP’。
(c)利用如下的评价函数评价g(j)与t(i)结合的可能性:
Dij=f(Dis(tL,gL),Dis(tv1,gv1’),Dis(Λi,λj))
其中,Dis(tL,gL)=min(‖tP-gP‖,‖tP’-gP’‖)表示线段间距离,即预测状态与观测值之间的位置差判定;
f()、Dis(tv1,gv1’)和Dis(Λi,λj)的含义同上。
情况3
(a)、不管g(j)的方向向量gv1、gv2、gv3和gv4最初排列如何排列,都根据t(i)的方向向量tv1、tv2、tv3和tv4进行重新排序赋值使得赋值后的gv1’、gv2’、gv3’和gv4’依次与tv1、tv2、tv3和tv4匹配,即图16中显示的就是重新排序赋值后的结果。
(b)、分别找到t(i)的中心点tP和,g(j)的中心点gP,v1’是tP到gP的方向向量。
(c)利用如下的评价函数评价g(j)与t(i)结合的可能性:
Dij=f(Dis(tP,gP),Dis(tv1,v1’),Dis(Λi,λj))
其中,Dis(tP,gP)=‖tP-gP‖,表示两点间距离,即预测状态与观测值之间的位置差判定;
Dis(tv1,v1’)=(tv1·v1’),表示两个方向向量之间的角度差,tv1与移动方向一致,即预测状态与观测值之间的方向差判定;
f()和Dis(Λi,λj)的含义同上。
由于距离Dij越小表示可结合的可能性越高,因此,选择Dij值最小且满足一定条件(如需要小于一个预设阀值等)的候选观测数据。
在图13中的步骤1302中提到,结合移动目标在第k-1帧中状态参量以及该移动目标在第k帧中的观测数据,更新该移动目标在第k帧中的状态参量。下面介绍本发明实施例中的具体实现更新移动目标状态参量的过程:
1.首先根据移动目标在k-1时刻的状态参量中的方向向量tv1k-1、tv2k-1、tv3k-1和tv4k-1、依次对该移动目标在k时刻观测数据中方向向量进行赋值,使得k时刻观测数据中方向向量gv1k、gv2k、gv3k和gv4k依次与tv1k-1、tv2k-1、tv3k-1和tv4k-1匹配;并根据定义确定gV_val1k、gV_val2k、gV_val3k、gV_val4k、glenlk和glen2k是否有效,例如有效时取值为1,无效时取值为0。
2.更新表示移动目标的大小的状态参量(tlenlk,tlen2k)
如果gV_val1k和gV_val3k有效,则tlen2k=glen2k
如果gV_val2k和gV_val4k有效,则tlen1k=glen1k
如果上述两个条件都不满足,则tlen1k=max(tlen1k-1,glen1k);
tlen2k=max(tlen2k-1,glen2k)。
3.中心点位置的更新。
分图16中所示的三种情况找观测数据与状态参量间的对应点。根据各边的方向向量以及长度(tlen1k,tlen2k),利用几何知识推测出中心点的位置。
4.支撑向量的更新
tV_valik=gV_valik‖tV_valik-1,i=1、2、3、4。
5.运动参量的更新
根据移动目标在不同时刻的中心点位置进行差分平滑处理,求出k时刻的运动方向和速度。上述差分平滑处理方法是现有技术。
6.各边的方向向量的更新
如果在上述5.中检测出运动方向有效(运动速度不等于0),则tv1k=运动方向;否则tv1k=gv1k,将tv1k逆时针依次旋转90度,顺序赋值为tv2k、tv3k、tv4k
7.分类识别判定参数的更新: Λ c k = Λ c k - 1 × λ c k , 其中c=0,...,4。
到此,完成移动目标在k时刻的状态参量的更新。
四、移动目标的识别
接下来简单介绍本发明的上述方案中对移动目标进行识别所涉及的似然度参数λc(c=0,...,n,且n为分类的个数)计算方法:
在本发明实施例中将移动目标以下5类:
0:行人;
1:自行车;
2:普通乘用车;
3:大型车;
4:其它(人群等)
根据单帧融合数据(单帧观测数据)进行似然度判别:
λ0:行人;
λ1:自行车;
λ2:普通乘用车;
λ3:大型车;
λ4:其它(人群等);
其中、λ01234=1
根据融合数据的时序列进行分类识别判断:
Λ c k = σ Π t = 0 k λ c t , 其中c=0,...,n,且 Σ c = 0 n Λ c 2 = 1 , σ为正规化参数。
用zi表示特征量,用c表示类别, λ c z i = P ( z i / c ) 表示观测到特征量zi是分类c的概率。本发明实施例中的似然度评价中使用的特征量有len1、len2、支撑向量的数等。可以根据样本数据训练特征量与各分类的似然函数
Figure A200810170194D00385
图17是本发明实施例中训练得到的特征量len1的似然函数示意图,在图17中没有画出λ3。
观测数据的特征量{zi,i=1、2、....、s},s为特征量的个数,则对于所有分类分别求:
λ c = Π i = 1 s λ c z i , c=0、1、...、4;
正规化λc(c=0、1、...、4),使得λ01234=1。
接下来给出本发明中的基于多激光扫描仪的移动目标跟踪系统的组成结构。
图18是本发明一种基于多激光扫描仪的移动目标跟踪系统的第一实施例组成结构框图,如图18所示,该系统包括:数据融合模块1801和跟踪模块1802;
数据融合模块1801,对于融合数据时序列中的每一帧融合数据,将该融合数据中具有指定联系的聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标,并将进行所述组合处理后的每一帧融合数据输出给跟踪模块;
跟踪模块1802,对于所述融合数据时序列中的第0帧融合数据,将该第0帧融合数据中的所有组合的运动速度和方向设置为预设值;对于所述融合数据时序列中的第k-1帧融合数据中的每个组合对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向;如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,并将这些新出现的移动目标的运动速度和方向设置为预设值。
如图18所示的系统进一步包括:识别模块1803;
跟踪模块1802,将自身处理后的每一帧融合数据输出给识别模块1803;
识别模块1803,对于融合数据时序列中的每一帧融合数据,评价将该融合数据中每一个组合与各分类的似然度
Figure A200810170194D0040085156QIETU
其中,c取0至n的自然数,n为分类的总个数,t表示该融合数据在融合数据时序列中的序号;对于所述融合数据时序列中的第0帧融合数据,计算该第0帧数据中的每个组合的识别判定参数: Λ c 0 = λ c 0 ; 对于所述融合数据时序列中的第k帧融合数据,计算该第k帧融合数据中的每个组合的识别判定参数: Λ c k = σ Π t = 0 k λ c t , 其中,c=0,...,n,且 Σ c = 0 n Λ c 2 = 1 , σ为正规化参数。
在图18所示的系统中,跟踪模块1802,对于第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的组合时,具体用于:
对于第k-1帧中的一移动目标所对应组合中的每个聚类,根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于一个组合,则进一步根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;如果所述预测出的移动目标在第k帧中的组合与所述所有对应聚类在第k帧中所属的组合之间的距离满足预设条件,则所述所有对应聚类在第k帧所属的组合即为第k帧中与该移动目标对应的组合;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则进一步判断所述两个以上的组合是否能够合并成为一个组合,是则,合并后的组合即为第k帧中的与该移动目标对应的组合,否则,从所述两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,并将所述两个以上组合中的未被选择的组合作为第k帧中新出现的移动目标对应的组合。
在图18所示的系统中,跟踪模块1802,从两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,具体用于:
根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;
将所述预测出的组合与所述两个以上组合一一进行比较,从所述两个以上组合中选择一个与所述预测出的组合距离最近且距离满足预设条件的组合作为第k帧中与该移动目标对应的组合。
图19是本发明一种基于多激光扫描仪的移动目标跟踪系统的第二实施例组成结构框图,预先定义移动目标的多边形平面轮廓模型,该平面轮廓模型包括如下参量:与多边形的各边对应的方向向量、支撑向量、各边的长度参数、中心点、角点;其中所有方向向量构成一个逆时针或顺时针旋转的闭合环;定义移动目标的观测模型,该观测模型包括如下的观测数据参量:方向向量、支撑向量、各边的长度参数、中心点、角点;定义移动目标的状态模型,该状态模型包括如下的状态参量:方向向量、支撑向量、各边的长度参数、中心点、角点、运动速度和方向;
则如图19所示该系统包括:聚类模块1901、数据融合模块1902和跟踪模块1903,其中,
所述聚类模块1901,对于融合数据时序列中的每一帧融合数据,对该帧融合数据中的激光点进行聚类,将聚类结果输出给数据融合模块1902;
所述数据融合模块1902,对于融合数据时序列中的每一帧融合数据中所有聚类中,对于相互距离在预设值内的每组聚类,若该组聚类中的所有方向向量与移动目标的平面轮廓模型中的方向向量匹配,则将该组聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标,并将进行所述组合处理后的每一帧融合数据输出给跟踪模块1903;
所述跟踪模块1903,对于融合数据时序列中的每一帧融合数据中的每一个组合,获得该组合所对应的移动目标的观测数据参量;对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值;对于所述融合数据时序列中的第k-1帧融合数据中的每个组合所对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的状态参量以及该移动目标在第k帧中的观测参量,确定该移动目标在第k帧中的状态参量;如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,对于每个剩余组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值。
在如图19所示的系统中,所述移动目标的观测数据参量进一步包括:该移动目标与各分类的似然度参数
Figure A200810170194D00421
其中,c取0至n的自然数,n为分类的总个数;所述移动目标的状态参量进一步包括:该移动目标的识别判定参数:Λc,其中,c取0至n的自然数,n为分类的总个数;
该系统进一步包括识别模块1904;
所述跟踪模块1903,将自身处理后的每一帧融合数据输出给识别模块1904;
所述识别模块1904,对于融合数据时序列中的每一帧融合数据中的每一个组合,评价将该个组合所对应的移动目标与各分类的似然度
Figure A200810170194D00422
其中,c取0至n的自然数,n为分类的总个数,t表示该帧融合数据在融合数据时序列中的序号;对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,计算该移动目标的识别判定参数: Λ c 0 = λ c 0 ; 对于所述融合数据时序列中的第k帧融合数据中的每个组合所对应的移动目标,计算该移动目标的识别判定参数: Λ c k = σ Π t = 0 k λ c t , 其中c=0,...,n,且 Σ c = 0 n Λ c 2 = 1 , σ为正规化参数。
在图19所示的系统中,跟踪模块1903,在对第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的组合时,具体用于:
对于第k-1帧中的一移动目标所对应组合中的每个聚类,根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于一个组合,则进一步根据移动目标在第k-1帧中的状态参量预测出该移动目标在第k帧中的状态参量;如果所述预测出的移动目标在第k帧中的状态参量与所述所有对应聚类在第k帧中所属的组合的观测参量之间的距离满足预设条件,则所述所有对应聚类在第k帧所属的组合即为第k帧中与该移动目标对应的组合;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则进一步判断所述两个以上的组合是否能够合并成为一个组合;如果能合并成一个组合,且该合并后的组合的观测参量与移动目标在第k帧中的预测状态参量之间的距离满足预设条件,则合并后的组合即为第k帧中的与该移动目标对应的组合;如果不能合并成一个组合,从所述两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,并将所述两个以上组合中的未被选择的组合作为第k帧中新出现的移动目标对应的组合。
在图19所示的系统中,所述跟踪模块1903,从两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合时,具体用于:
根据移动目标在第k-1帧中的状态参量预测出该移动目标在第k帧中的状态参量;
将所述移动目标在第k帧中的预测状态参量与所述两个以上组合的观测数据参量一一进行比较,选择出一个与所述预测状态参量距离最近且距离满足预设条件的观测数据参量所对应的组合作为第k帧中与该移动目标对应的组合。
在图19所示的系统中,所述数据融合模块1902还包括:
匹配模块,在所有聚类中选择一个未加入任何组合的聚类,在与该聚类的距离为预设值内的组合中,选择一个组合,将从该聚类中抽出的各条轴分别与所选择组合的各有向边匹配,若从该聚类中抽出的每条轴都分别与一条有向边匹配,则将该聚类标识和组合标识发送给融合模块;
融合模块,接收匹配模块发来的聚类标识和组合标识,将该聚类标识对应的聚类加入到该组合标识对应的组合中。
在图19所示的系统中,所述数据融合模块1902还包括:
边确定模块,将从所述聚类中抽出的最长轴作为新组合的基边,将该基边按照预设方向旋转,分别得到新组合的其它各有向边;
边长及中心确定模块,将所述聚类及所述组合中的所有激光点投影到新组合的各有向边上,得到新组合的各有向边的边长,计算所述聚类及所述组合中的所有激光点的中心,该中心即为新组合的中心;
角点确定模块,在所述聚类及所述组合中的聚类中的所有方向向量中,搜索新组合的各有向边的支撑向量,若有一对相邻有向边都有支撑向量,则确定该相邻有向边具有角点。
在图19所示的系统中,所述匹配模块进一步包括一模块,该模块用于在发现有任意一条从聚类中抽出的轴未与任何有向边匹配上后,将该聚类标识发送给融合模块,以指示融合模块为该聚类本身生成一个组合。
或者,在图19所示的系统中,所述融合模块1902包括:
边确定模块,将从所述聚类中抽出的最长轴作为要生成的组合的基边,将该基边按照预设方向旋转,分别得到新组合的其它各有向边;
边长及中心确定模块,将所述聚类中的所有激光点投影到要生成组合的各有向边上,得到要生成组合的各有向边的边长,计算所述聚类中的所有激光点的中心,该中心即为要生成组合的中心;
角点确定模块,在所述聚类中的所有方向向量中,搜索要生成组合的各有向边的支撑向量,若有一对相邻有向边都有支撑向量,则确定该相邻有向边具有角点。
在图19所示的系统中,所述数据融合模块1902进一步包括一模块,该模块用于判断将所述聚类加入到所述组合中所生成的新组合是否可信,若是,以该新组合替换所述组合;否则,废弃该新组合。
综上所述,本发明实施例中的这种对于融合数据时序列中的每一帧中,一个由多个聚类组成的组合对应一个移动目标;对于所述时序列中的第0帧,将其中所有组合的运动速度和方向设为预设值;对于所述时序列中的第k-1帧中的每个组合对应的移动目标,k不等于0,判断第k帧中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向的技术方案,能够在融合数据的时序列中准确地跟踪移动目标。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (26)

1、一种基于多激光扫描仪的移动目标跟踪方法,其特征在于,该方法包括:
对于融合数据时序列中的每一帧融合数据,将该融合数据中具有指定联系的聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标;
对于所述融合数据时序列中的第0帧融合数据,将该第0帧融合数据中的所有组合的运动速度和方向设置为预设值;
对于所述融合数据时序列中的第k-1帧融合数据中的每个组合对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向;
如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,并将这些新出现的移动目标的运动速度和方向设置为预设值。
2、如权利要求1所述的方法其特征在于,该方法进一步包括:
对于融合数据时序列中的每一帧融合数据,评价将该融合数据中每一个组合与各分类的似然度
Figure A200810170194C00021
其中,c取0至n的自然数,n为分类的总个数,t表示该融合数据在融合数据时序列中的序号;
对于所述融合数据时序列中的第0帧融合数据,计算该第0帧数据中的每个组合的识别判定参数: Λ c 0 = λ c 0 ;
对于所述融合数据时序列中的第k帧融合数据,计算该第k帧融合数据中的每个组合的识别判定参数: Λ c k = σ Π t = 0 k λ c t , 其中c=0,...,n,且 Σ c = 0 n Λ c 2 = 1 , σ为正规化参数。
3、如权利要求1所述的方法,其特征在于,所述对于第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的组合包括:
对于第k-1帧中的一移动目标所对应组合中的每个聚类,根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于一个组合,则进一步根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;如果所述预测出的移动目标在第k帧中的组合与所述所有对应聚类在第k帧中所属的组合之间的距离满足预设条件,则所述所有对应聚类在第k帧所属的组合即为第k帧中与该移动目标对应的组合;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则进一步判断所述两个以上的组合是否能够合并成为一个组合,是则,合并后的组合即为第k帧中的与该移动目标对应的组合,否则,从所述两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,并将所述两个以上组合中的未被选择的组合作为第k帧中新出现的移动目标对应的组合。
4、如权利要求3所述的方法,其特征在于,所述从两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合包括:
根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;
将所述预测出的组合与所述两个以上组合一一进行比较,从所述两个以上组合中选择一个与所述预测出的组合距离最近且距离满足预设条件的组合作为第k帧中与该移动目标对应的组合。
5、一种基于多台激光扫描仪的移动目标跟踪方法,其特征在于,
预先定义移动目标的多边形平面轮廓模型,该平面轮廓模型包括如下参量:与多边形的各边对应的方向向量、支撑向量、各边的长度参数、中心点、角点;其中所有方向向量构成一个逆时针或顺时针旋转的闭合环;
定义移动目标的观测模型,该观测模型包括如下的观测数据参量:方向向量、支撑向量、各边的长度参数、中心点、角点;
定义移动目标的状态模型,该状态模型包括如下的状态参量:方向向量、支撑向量、各边的长度参数、中心点、角点、运动速度和方向;
该方法包括:
对于融合数据时序列中的每一帧融合数据,对该帧融合数据中的激光点进行聚类;在所有聚类中,对于相互距离在预设值内的每组聚类,若该组聚类中的所有方向向量与移动目标的平面轮廓模型中的方向向量匹配,则将该组聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标;
对于融合数据时序列中的每一帧融合数据中的每一个组合,获得该组合所对应的移动目标的观测数据参量;
对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值;
对于所述融合数据时序列中的第k-1帧融合数据中的每个组合所对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的状态参量以及该移动目标在第k帧中的观测参量,确定该移动目标在第k帧中的状态参量;
如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,对于每个剩余组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值。
6、如权利要求5所述的方法其特征在于,
所述移动目标的观测数据参量进一步包括:该移动目标与各分类的似然度参数其中,c取0至n的自然数,n为分类的总个数;
所述移动目标的状态参量进一步包括:该移动目标的识别判定参数:Λc,其中,c取0至n的自然数,n为分类的总个数;
该方法进一步包括:
对于融合数据时序列中的每一帧融合数据中的每一个组合,评价将该个组合所对应的移动目标与各分类的似然度
Figure A200810170194C00051
其中,c取0至n的自然数,n为分类的总个数,t表示该帧融合数据在融合数据时序列中的序号;
对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,计算该移动目标的识别判定参数: Λ c 0 = λ c 0 ;
对于所述融合数据时序列中的第k帧融合数据中的每个组合所对应的移动目标,计算该移动目标的识别判定参数: Λ c k = σ Π t = 0 k λ c t , 其中c=0,...,n,且 Σ c = 0 n Λ c 2 = 1 , σ为正规化参数。
7、如权利要求5所述的方法,其特征在于,所述对于第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的组合包括:
对于第k-1帧中的一移动目标所对应组合中的每个聚类,根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于一个组合,则进一步根据移动目标在第k-1帧中的状态参量预测出该移动目标在第k帧中的状态参量;如果所述预测出的移动目标在第k帧中的状态参量与所述所有对应聚类在第k帧中所属的组合的观测参量之间的距离满足预设条件,则所述所有对应聚类在第k帧所属的组合即为第k帧中与该移动目标对应的组合;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则进一步判断所述两个以上的组合是否能够合并成为一个组合;如果能合并成一个组合,且该合并后的组合的观测参量与移动目标在第k帧中的预测状态参量之间的距离满足预设条件,则合并后的组合即为第k帧中的与该移动目标对应的组合;如果不能合并成一个组合,从所述两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,并将所述两个以上组合中的未被选择的组合作为第k帧中新出现的移动目标对应的组合。
8、如权利要求7所述的方法,其特征在于,所述从两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合包括:
根据移动目标在第k-1帧中的状态参量预测出该移动目标在第k帧中的状态参量;
将所述移动目标在第k帧中的预测状态参量与所述两个以上组合的观测数据参量一一进行比较,选择出一个与所述预测状态参量距离最近且距离满足预设条件的观测数据参量所对应的组合作为第k帧中与该移动目标对应的组合。
9、如权利要求5所述的方法,其特征在于,所述对于相互距离在预设值内的每组聚类,若该组聚类中的所有方向向量与移动目标的平面轮廓模型匹配,则将该组聚类合并为一个组合包括:
在不同激光扫描仪所获得的所有聚类中选择一个未加入任何组合的聚类,在与该聚类的距离为预设值内的组合中,选择一个组合,将从该聚类中抽出的各条轴分别与所选择组合的各有向边匹配,若从该聚类中抽出的每条轴都分别与一条有向边匹配,则将该聚类加入到该组合中。
10、如权利要求9所述的方法,其特征在于,当从该聚类中抽出的每条轴都分别与一条有向边匹配,且从聚类中抽出的最长轴大于组合的最长有向边的边长时,所述将该聚类加入到该组合中包括:
将从所述聚类中抽出的最长轴作为新组合的基边,将该基边按照预设方向旋转,分别得到新组合的其它各有向边;
将所述聚类及所述组合中的所有激光点投影到新组合的各有向边上,得到新组合的各有向边的边长,计算所述聚类及所述组合中的所有激光点的中心,该中心即为新组合的中心;
在所述聚类及所述组合中的聚类中的所有方向向量中,搜索新组合的各有向边的支撑向量,若新组合有一对相邻有向边都有支撑向量,则确定该相邻有向边具有角点;
以新组合更新所述组合。
11、如权利要求9所述的方法,其特征在于,当从该聚类中抽出的每条轴都分别与一条有向边匹配,且从聚类中抽出的每条轴的长度都不大于组合的最长有向边的边长时,所述将该聚类加入到该组合中包括:
将所述聚类及所述组合中的所有激光点投影到所述组合的各有向边上,得到所述组合的各有向边的新边长,计算所述聚类及所述组合中的所有激光点的中心,该中心即为所述组合的新中心;
若发现从所述聚类中抽出的轴投影到的有向边与其相邻边由不都具有支撑向量变为都具有支撑向量,则确定该对相邻有向边产生了角点。
12、如权利要求9所述的方法,其特征在于,当有任意一条从所述聚类中抽出的轴未与任何有向边匹配上时,所述方法进一步包括:为该聚类本身生成一个组合。
13、如权利要求12所述的方法,其特征在于,所述为该聚类本身生成一个组合包括:
将从所述聚类中抽出的最长轴作为要生成的组合的基边,将该基边按照预设方向旋转,分别得到新组合的其它各有向边;
将所述聚类中的所有激光点投影到要生成组合的各有向边上,得到要生成组合的各有向边的边长,计算所述聚类中的所有激光点的中心,该中心即为要生成组合的中心;
在所述聚类中的所有方向向量中,搜索要生成组合的各有向边的支撑向量,若有一对相邻有向边都有支撑向量,则确定该相邻有向边具有角点。
14、一种基于多激光扫描仪的移动目标跟踪系统,其特征在于,该系统包括:数据融合模块和跟踪模块;
所述数据融合模块,对于融合数据时序列中的每一帧融合数据,将该融合数据中具有指定联系的聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标,并将进行所述组合处理后的每一帧融合数据输出给跟踪模块;
所述跟踪模块,对于所述融合数据时序列中的第0帧融合数据,将该第0帧融合数据中的所有组合的运动速度和方向设置为预设值;对于所述融合数据时序列中的第k-1帧融合数据中的每个组合对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的组合以及该移动目标在第k帧中的组合,确定该移动目标在第k帧中的运动速度和方向;如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,并将这些新出现的移动目标的运动速度和方向设置为预设值。
15、如权利要求14所述的系统,其特征在于,该系统进一步包括识别模块;
所述跟踪模块,将自身处理后的每一帧融合数据输出给识别模块;
所述识别模块,对于融合数据时序列中的每一帧融合数据,评价将该融合数据中每一个组合与各分类的似然度
Figure A200810170194C00081
其中,c取0至n的自然数,n为分类的总个数,t表示该融合数据在融合数据时序列中的序号;对于所述融合数据时序列中的第0帧融合数据,计算该第0帧数据中的每个组合的识别判定参数: Λ c 0 = λ c 0 ; 对于所述融合数据时序列中的第k帧融合数据,计算该第k帧融合数据中的每个组合的识别判定参数: Λ c k = σ Π t = 0 k λ c t , 其中,c=0,...,n,且 Σ c = 0 n Λ c 2 = 1 , σ为正规化参数。
16、如权利要求14所述的方法,其特征在于,所述跟踪模块,对于第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的组合时,具体用于:
对于第k-1帧中的一移动目标所对应组合中的每个聚类,根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于一个组合,则进一步根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;如果所述预测出的移动目标在第k帧中的组合与所述所有对应聚类在第k帧中所属的组合之间的距离满足预设条件,则所述所有对应聚类在第k帧所属的组合即为第k帧中与该移动目标对应的组合;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则进一步判断所述两个以上的组合是否能够合并成为一个组合,是则,合并后的组合即为第k帧中的与该移动目标对应的组合,否则,从所述两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,并将所述两个以上组合中的未被选择的组合作为第k帧中新出现的移动目标对应的组合。
17、如权利要求16所述的方法,其特征在于,所述跟踪模块,从两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,具体用于:
根据移动目标在第k-1帧中的运动速度和方向预测出该移动目标在第k帧中的组合;
将所述预测出的组合与所述两个以上组合一一进行比较,从所述两个以上组合中选择一个与所述预测出的组合距离最近且距离满足预设条件的组合作为第k帧中与该移动目标对应的组合。
18、一种基于多激光扫描仪的移动目标跟踪系统,其特征在于,预先定义移动目标的多边形平面轮廓模型,该平面轮廓模型包括如下参量:与多边形的各边对应的方向向量、支撑向量、各边的长度参数、中心点、角点;其中所有方向向量构成一个逆时针或顺时针旋转的闭合环;定义移动目标的观测模型,该观测模型包括如下的观测数据参量:方向向量、支撑向量、各边的长度参数、中心点、角点;定义移动目标的状态模型,该状态模型包括如下的状态参量:方向向量、支撑向量、各边的长度参数、中心点、角点、运动速度和方向;
该系统包括:聚类模块、数据融合模块和跟踪模块,其中,
所述聚类模块,对于融合数据时序列中的每一帧融合数据,对该帧融合数据中的激光点进行聚类,将聚类结果输出给数据融合模块;
所述数据融合模块,对于融合数据时序列中的每一帧融合数据中所有聚类中,对于相互距离在预设值内的每组聚类,若该组聚类中的所有方向向量与移动目标的平面轮廓模型中的方向向量匹配,则将该组聚类合并为一个组合,得到一个以上的组合,一个组合对应一个移动目标,并将进行所述组合处理后的每一帧融合数据输出给跟踪模块;
所述跟踪模块,对于融合数据时序列中的每一帧融合数据中的每一个组合,获得该组合所对应的移动目标的观测数据参量;对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值;对于所述融合数据时序列中的第k-1帧融合数据中的每个组合所对应的移动目标,k不等于0,判断第k帧融合数据中是否也存在与该移动目标对应的组合,是则结合该移动目标在第k-1帧中的状态参量以及该移动目标在第k帧中的观测参量,确定该移动目标在第k帧中的状态参量;如果第k帧融合数据中还存在剩余的组合,则将这些剩余的组合作为与第k帧中新出现的移动目标对应的组合,对于每个剩余组合所对应的移动目标,将该移动目标的观测数据参量赋值于该移动目标状态参量中的相应参量,并将该移动目标状态参量中的运动速度和方向设置为预设值。
19、如权利要求18所述的系统,其特征在于,
所述移动目标的观测数据参量进一步包括:该移动目标与各分类的似然度参数
Figure A200810170194C00101
其中,c取0至n的自然数,n为分类的总个数;
所述移动目标的状态参量进一步包括:该移动目标的识别判定参数:Λc,其中,c取0至n的自然数,n为分类的总个数;
该系统进一步包括识别模块;
所述跟踪模块,将自身处理后的每一帧融合数据输出给识别模块;
所述识别模块,对于融合数据时序列中的每一帧融合数据中的每一个组合,评价将该个组合所对应的移动目标与各分类的似然度其中,c取0至n的自然数,n为分类的总个数,t表示该帧融合数据在融合数据时序列中的序号;对于所述融合数据时序列中的第0帧融合数据中的每个组合所对应的移动目标,计算该移动目标的识别判定参数: Λ c 0 = λ c 0 ; 对于所述融合数据时序列中的第k帧融合数据中的每个组合所对应的移动目标,计算该移动目标的识别判定参数: Λ c k = σ Π t = 0 k λ c t , 其中c=0,...,n,且 Σ c = 0 n Λ c 2 = 1 , σ为正规化参数。
20、如权利要求18所述的系统,其特征在于,所述跟踪模块,在对第k-1帧融合数据中的每个组合所对应的移动目标,判断第k帧融合数据中是否也存在与该移动目标对应的组合时,具体用于:
对于第k-1帧中的一移动目标所对应组合中的每个聚类,根据数据的连续性从第k帧中查找同一激光扫描仪测量到的对应聚类;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于一个组合,则进一步根据移动目标在第k-1帧中的状态参量预测出该移动目标在第k帧中的状态参量;如果所述预测出的移动目标在第k帧中的状态参量与所述所有对应聚类在第k帧中所属的组合的观测参量之间的距离满足预设条件,则所述所有对应聚类在第k帧所属的组合即为第k帧中与该移动目标对应的组合;
如果所述从第k帧中查找到的所有对应聚类在第k帧中属于两个以上的组合,则进一步判断所述两个以上的组合是否能够合并成为一个组合;如果能合并成一个组合,且该合并后的组合的观测参量与移动目标在第k帧中的预测状态参量之间的距离满足预设条件,则合并后的组合即为第k帧中的与该移动目标对应的组合;如果不能合并成一个组合,从所述两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合,并将所述两个以上组合中的未被选择的组合作为第k帧中新出现的移动目标对应的组合。
21、如权利要求20所述的系统,其特征在于,所述跟踪模块,从两个以上组合中选择一个作为第k帧中的与该移动目标对应的组合时,具体用于:
根据移动目标在第k-1帧中的状态参量预测出该移动目标在第k帧中的状态参量;
将所述移动目标在第k帧中的预测状态参量与所述两个以上组合的观测数据参量一一进行比较,选择出一个与所述预测状态参量距离最近且距离满足预设条件的观测数据参量所对应的组合作为第k帧中与该移动目标对应的组合。
22、如权利要求18所述的系统,其特征在于,所述数据融合模块包括:
匹配模块,在所有聚类中选择一个未加入任何组合的聚类,在与该聚类的距离为预设值内的组合中,选择一个组合,将从该聚类中抽出的各条轴分别与所选择组合的各有向边匹配,若从该聚类中抽出的每条轴都分别与一条有向边匹配,则将该聚类标识和组合标识发送给融合模块;
融合模块,接收匹配模块发来的聚类标识和组合标识,将该聚类标识对应的聚类加入到该组合标识对应的组合中。
23、如权利要求22所述的系统,其特征在于,所述融合模块包括:
边确定模块,将从所述聚类中抽出的最长轴作为新组合的基边,将该基边按照预设方向旋转,分别得到新组合的其它各有向边;
边长及中心确定模块,将所述聚类及所述组合中的所有激光点投影到新组合的各有向边上,得到新组合的各有向边的边长,计算所述聚类及所述组合中的所有激光点的中心,该中心即为新组合的中心;
角点确定模块,在所述聚类及所述组合中的聚类中的所有方向向量中,搜索新组合的各有向边的支撑向量,若有一对相邻有向边都有支撑向量,则确定该相邻有向边具有角点。
24、如权利要求22所述的系统,其特征在于,所述匹配模块进一步包括一模块,该模块用于在发现有任意一条从聚类中抽出的轴未与任何有向边匹配上后,将该聚类标识发送给融合模块,以指示融合模块为该聚类本身生成一个组合。
25、如权利要求24所述的系统,其特征在于,所述融合模块包括:
边确定模块,将从所述聚类中抽出的最长轴作为要生成的组合的基边,将该基边按照预设方向旋转,分别得到新组合的其它各有向边;
边长及中心确定模块,将所述聚类中的所有激光点投影到要生成组合的各有向边上,得到要生成组合的各有向边的边长,计算所述聚类中的所有激光点的中心,该中心即为要生成组合的中心;
角点确定模块,在所述聚类中的所有方向向量中,搜索要生成组合的各有向边的支撑向量,若有一对相邻有向边都有支撑向量,则确定该相邻有向边具有角点。
26、如权利要求18所述的系统,其特征在于,所述数据融合模块进一步包括一模块,该模块用于判断将所述聚类加入到所述组合中所生成的新组合是否可信,若是,以该新组合替换所述组合;否则,废弃该新组合。
CN2008101701944A 2008-10-12 2008-10-12 基于多激光扫描仪的移动目标跟踪方法及系统 Expired - Fee Related CN101393264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101701944A CN101393264B (zh) 2008-10-12 2008-10-12 基于多激光扫描仪的移动目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101701944A CN101393264B (zh) 2008-10-12 2008-10-12 基于多激光扫描仪的移动目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN101393264A true CN101393264A (zh) 2009-03-25
CN101393264B CN101393264B (zh) 2011-07-20

Family

ID=40493650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101701944A Expired - Fee Related CN101393264B (zh) 2008-10-12 2008-10-12 基于多激光扫描仪的移动目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN101393264B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101644717B (zh) * 2009-08-31 2011-06-08 北京大学 一种采用激光扫描的行人前进方向判断方法
CN102323593A (zh) * 2011-08-24 2012-01-18 北京国科环宇空间技术有限公司 动态目标二维捕获的系统
CN102521906A (zh) * 2011-12-22 2012-06-27 北京竞业达数码科技有限公司 基于双激光测距的客流方向识别方法和装置
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN105336221A (zh) * 2014-08-01 2016-02-17 深圳中集天达空港设备有限公司 一种入坞飞机实时捕获方法及系统
CN106125087A (zh) * 2016-06-15 2016-11-16 清研华宇智能机器人(天津)有限责任公司 基于激光雷达的舞蹈机器人室内行人跟踪方法
CN108762245A (zh) * 2018-03-20 2018-11-06 华为技术有限公司 数据融合方法以及相关设备
CN109188390A (zh) * 2018-08-14 2019-01-11 苏州大学张家港工业技术研究院 一种运动目标高精度检测与追踪方法
CN110118969A (zh) * 2018-02-05 2019-08-13 北醒(北京)光子科技有限公司 一种多台光测距装置协同测距方法
CN110471072A (zh) * 2019-08-19 2019-11-19 华晟(青岛)智能装备科技有限公司 一种反光柱位置辨识方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209253A (en) * 1975-11-03 1980-06-24 Hughes John L Laser radar tracking system
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
CN100565244C (zh) * 2007-10-31 2009-12-02 北京航空航天大学 多模多目标精密跟踪装置和方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101644717B (zh) * 2009-08-31 2011-06-08 北京大学 一种采用激光扫描的行人前进方向判断方法
CN102323593A (zh) * 2011-08-24 2012-01-18 北京国科环宇空间技术有限公司 动态目标二维捕获的系统
CN102323593B (zh) * 2011-08-24 2016-05-18 北京国科环宇空间技术有限公司 动态目标二维捕获的系统
CN102521906A (zh) * 2011-12-22 2012-06-27 北京竞业达数码科技有限公司 基于双激光测距的客流方向识别方法和装置
CN103308923A (zh) * 2012-03-15 2013-09-18 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN103308923B (zh) * 2012-03-15 2016-08-10 通用汽车环球科技运作有限责任公司 来自多个激光雷达的距离图像配准方法
CN105336221A (zh) * 2014-08-01 2016-02-17 深圳中集天达空港设备有限公司 一种入坞飞机实时捕获方法及系统
CN106125087B (zh) * 2016-06-15 2018-10-30 清研华宇智能机器人(天津)有限责任公司 基于激光雷达的舞蹈机器人室内行人跟踪方法
CN106125087A (zh) * 2016-06-15 2016-11-16 清研华宇智能机器人(天津)有限责任公司 基于激光雷达的舞蹈机器人室内行人跟踪方法
CN110118969A (zh) * 2018-02-05 2019-08-13 北醒(北京)光子科技有限公司 一种多台光测距装置协同测距方法
CN110118969B (zh) * 2018-02-05 2021-03-16 北醒(北京)光子科技有限公司 一种多台光测距装置协同测距方法
CN108762245A (zh) * 2018-03-20 2018-11-06 华为技术有限公司 数据融合方法以及相关设备
CN108762245B (zh) * 2018-03-20 2022-03-25 华为技术有限公司 数据融合方法以及相关设备
US11987250B2 (en) 2018-03-20 2024-05-21 Huawei Technologies Co., Ltd. Data fusion method and related device
CN109188390A (zh) * 2018-08-14 2019-01-11 苏州大学张家港工业技术研究院 一种运动目标高精度检测与追踪方法
CN109188390B (zh) * 2018-08-14 2023-05-23 苏州大学张家港工业技术研究院 一种运动目标高精度检测与追踪方法
CN110471072A (zh) * 2019-08-19 2019-11-19 华晟(青岛)智能装备科技有限公司 一种反光柱位置辨识方法及系统

Also Published As

Publication number Publication date
CN101393264B (zh) 2011-07-20

Similar Documents

Publication Publication Date Title
CN101393264B (zh) 基于多激光扫描仪的移动目标跟踪方法及系统
Song et al. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system
CN101387700B (zh) 基于多激光扫描仪的数据融合方法及系统
Xiao et al. Vehicle detection and tracking in wide field-of-view aerial video
CN101981582B (zh) 用于检测对象的方法和装置
US10565721B2 (en) Information processing device and information processing method for specifying target point of an object
Corbetta et al. Physics-based modeling and data representation of pairwise interactions among pedestrians
Schoenberg et al. Segmentation of dense range information in complex urban scenes
JP5838901B2 (ja) 物体識別装置及び物体識別方法
Granström et al. A tutorial on multiple extended object tracking
Meissner et al. Real-time detection and tracking of pedestrians at intersections using a network of laserscanners
Feng et al. Labels are not perfect: Inferring spatial uncertainty in object detection
Moosmann Interlacing self-localization, moving object tracking and mapping for 3d range sensors
O’Callaghan et al. Gaussian process occupancy maps for dynamic environments
Choe et al. Online urban object recognition in point clouds using consecutive point information for urban robotic missions
CN116563466A (zh) 一种基于深度学习的三维单木点云的补全方法
Aftab et al. A Gaussian process convolution particle filter for multiple extended objects tracking with non-regular shapes
Martowicz et al. Uncertainty propagation for vehicle detections in experimentally validated radar model for automotive application
Naujoks et al. The Greedy Dirichlet Process Filter-An Online Clustering Multi-Target Tracker
KR102050756B1 (ko) 초소형 표적 탐지기
Lv et al. Target recognition algorithm based on optical sensor data fusion
Liu et al. A detachable and expansible multisensor data fusion model for perception in level 3 autonomous driving system
Spencer et al. Kernel Based Method for Distributed Derived Feature Tracking in High Dimensions
Cotra et al. Lidar-based methods for tracking and identification
Wang et al. Detection and Tracking Dynamic Vehicles for Autonomous Driving Based on 2-D Point Scans

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110720

Termination date: 20181012

CF01 Termination of patent right due to non-payment of annual fee