CN102463990A - 用于跟踪物体的系统和方法 - Google Patents
用于跟踪物体的系统和方法 Download PDFInfo
- Publication number
- CN102463990A CN102463990A CN2011103518748A CN201110351874A CN102463990A CN 102463990 A CN102463990 A CN 102463990A CN 2011103518748 A CN2011103518748 A CN 2011103518748A CN 201110351874 A CN201110351874 A CN 201110351874A CN 102463990 A CN102463990 A CN 102463990A
- Authority
- CN
- China
- Prior art keywords
- new
- group
- module
- formerly
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000013480 data collection Methods 0.000 claims abstract description 12
- 238000013519 translation Methods 0.000 claims description 31
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 238000010168 coupling process Methods 0.000 claims description 12
- 238000005859 coupling reaction Methods 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000002203 pretreatment Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于跟踪物体的系统和方法。具体地,一种用于通过使用计算机化的物体跟踪系统产生对应于物体的运动模型来跟踪所述物体的方法,包括数据收集模块接收与所述物体关联的扫描数据并使用扫描数据产生与新时间t+dt相关且包括新点X的新帧F。聚类模块识别新帧F的新点Xi的新组G。数据关联模块基于与物体相关的在先信息将所述新组G与物体关联。跟踪模块基于新组G确定对应于物体的新运动模型M。
Description
技术领域
技术领域通常是用于跟踪物体的系统和方法。
技术背景
很多现代汽车具有便利半自主和自主驾驶特性诸如防撞的车辆检测系统。车辆检测系统使用多种方法来处理来自于车辆扫描仪的数据从而检测其他车辆的存在并确定其他车辆的动态。这些方法包括Hough匹配方法以及参数L形方法。
然而,Hough匹配方法和参数L形方法有限制。Hough匹配方法计算起来昂贵并且产生具有离散分辨率和固定尺寸的轮廓。这样的轮廓不能精确地描述很多物体的尺寸或者形状。参数L形方法不稳定并且通常只对具有矩形轮廓的物体有用。对于弯曲轮廓,L形可以不同的方式与曲线相拟合,从而难于确定物体的定向。
发明内容
本发明涉及通过产生对应于物体的运动模型来跟踪物体的方法以及计算机化的物体跟踪系统。在例示实施方式中,计算机化的物体跟踪系统包括数据收集模块、聚类模块、数据关联模块以及跟踪模块。
物体跟踪系统的数据收集模块接收与物体相关的扫描数据,并使用扫描数据产生与新时间t+dt相关且包括新点X的新帧F。
物体跟踪系统的聚类模块识别新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点数目的正整数。
物体跟踪系统的数据关联模块基于与物体相关联的在先信息将新组G和物体关联。
物体跟踪系统的跟踪模块基于新组G确定对应于物体的新的运动模块M。
在一些实施方式中,计算机化的物体跟踪系统包括预处理模块,其被配置为先于聚类模块之前处理新帧F,所述聚类模块识别新帧F的新点Xi的新组G。在一些实施方式中,预处理模块处理新帧F包括预处理模块过滤新帧F以通过车辆参考坐标和地面参考坐标中的至少之一表示新帧F。
前面已经宽泛地概括了各种实施方式的方面和特征,这应当被理解为仅仅是各种潜在应用的例示。通过以不同的方式应用所公开的信息或者通过将所公开的实施方式的各个方面组合,可获得其他有益结果。因此,额外于权利要求限定的范围,其他方面以及更全面的理解可通过结合附图参照对例示实施方式的详细描述来获得。
本发明还包括如下方案:
1.一种用于通过使用计算机化的物体跟踪系统产生对应于物体的运动模型来跟踪物体的方法,所述方法包括:
所述物体跟踪系统的数据收集模块接收与物体关联的扫描数据并使用所述扫描数据产生与新时间t+dt相关且包括新点X的新帧F;
所述物体跟踪系统的聚类模块识别新帧F的新点Xi的新组G,其中i=1,……N,N为对应于所述新点的数目的正整数;
所述物体跟踪系统的数据关联模块基于与所述物体相关的在先信息将所述新组G与所述物体关联;以及
所述物体跟踪系统的跟踪模块基于所述新组G确定对应于所述物体的新运动模型M。
方案2.方案1所述的方法,还包括所述物体跟踪系统的预处理模块,其在识别所述新帧F的新点Xi的新组G的所述聚类模块之前处理所述新帧F,其中所述预处理模块处理所述新帧F包括所述预处理模块过滤所述新帧F以通过以下至少一者表示所述新帧F:
车辆参考坐标;和
地面参考坐标。
方案3.方案1的方法,其中,所述聚类模块基于所述新点X的某些之间的类同特性识别所述新帧F的新点Xi的新组G。
方案4.方案1的方法,其中,所述数据关联模块响应于确定在与所述新帧F相关的新的运动特性和表示所述物体的在先信息之间的关系,将所述新组G和所述物体相关联。
方案5.方案1的方法,其中,所述跟踪模块基于所述新组G确定对应于所述物体的所述新运动模型M,包括所述跟踪模块根据所述新组以及表示所述物体的一个或多个在先组G和表示所述物体的一个或多个在先运动模型这两者中的至少一者确定对应于所述物体的新运动模型M。方案.
方案6.方案1的方法,其中,所述跟踪模块基于所述新组G确定对应于所述物体的新运动模型M包括所述跟踪模块产生所预测的组Gp。
方案7.方案6所述的方法,其中:
所述跟踪模块根据表示所述物体的在先的运动模型M、在先的组G、以及平移矢量T产生所预测的组Gp;
所述所预测的组Gp对应于未来时间t+δt,并且根据下式确定:
所述平移矢量T包括X方向分量dx和Y方向分量dy;
所述平移分量根据代表所述物体的在先运动模型的速度Vt和速度方向θt来确定;以及
所述平移分量dx,dy根据下式与表示所述物体的在先运动模型的速度Vt以及速度方向θt相关:
其中,IN为单位矩阵。
方案8.方案6的方法,其中,所述跟踪模块在确定新的动态模块M时迭代地将所预测的组Gp和新组G匹配。
方案9.方案8的方法,其中,所述跟踪模块迭代地将所预测的组Gp和新组G匹配,包括所述跟踪模块确定初始平移调节矢量ΔT,并且使用所述平移调节矢量ΔT迭代地调节所述平移矢量T。
方案10.方案9的方法,其中,所述跟踪模块使用下述中的至少一个确定所述初始平移调节矢量ΔT:
局部点匹配方法;和
最大似然方法。
方案11.方案10的方法,其中所述局部点匹配方法包括识别邻近预测点Xj,所述邻近预测点Xj为所预测的组Gp的位于新组G的每个新点Xi的特定距离内的点。
方案12.方案10的方法,其中,最大似然方法包括确定所述平移调节矢量ΔT以最大化所预测的组Gp与新组Gp匹配的似然度,包括将每个新点Xi匹配到所预测的组Gp的邻近预测点Xj,使得每个新点Xi和邻近预测点Xj之间的距离的集合最小化。
方案13.方案12的方法,其中最大似然方法还包括将所述平移调节矢量ΔT与所述初始平移矢量T相加来产生迭代平移矢量T’。
方案14.方案13的方法,其中最大似然方法包括所述跟踪模块确定所述迭代平移矢量T’是否收敛以将所预测的组Gp与新组G匹配。
方案15.方案9的方法,其中:
如果所述平移调节矢量ΔT的幅值在预定阈值以上,则所述迭代平移矢量T’进一步被迭代;和
如果所述平移调节矢量ΔT的幅值在所述预定阈值以内,则所述迭代平移矢量T’用于确定新的运动模型M的参数,包括使用所述迭代平移矢量T’的分量dx’、dy’来根据下列关系式确定所述新运动模型M的速度Vt和速度角θt:
方案16.一种在车辆中使用以跟踪所述车辆外的物理物体的有形的、非暂时的计算机可读介质,所述计算机可读介质存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括以下的方法的步骤:
接收与物体相关的扫描数据并且使用扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于与所述物体相关的在先信息将所述新组G与所述物体关联;以及
基于所述新组G确定对应于所述物体的新运动模型M。
方案17.方案16的有形的、非暂时的计算机可读介质,其中,所述指令在使得所述处理器基于所述新组G确定对应于所述物体的新运动模型M时,使得所述处理器产生所预测的组Gp。
方案18.方案17的有形的、非暂时的计算机可读介质,其中,所述指令在使得所述处理器确定所述新运动模型M时,使得所述处理器迭代地匹配所预测的组Gp和新组G。
方案19.一种运输车辆,包括:
距离传感器;
车载计算机系统,包括:
处理器;和
计算机可读介质,其存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括下述的方法的步骤:
从所述距离传感器接收与物体相关的扫描数据并且使用所述扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于所述物体相关的在先信息将所述新组G与所述物体关联;以及
基于所述新组G确定对应于所述物体的新运动模型M。
方案20.方案19的车辆,其中,所述指令在使得所述处理器基于所述新组G确定对应于所述物体的所述新运动模型M时,使得处理器:
产生所预测的组Gp;和
迭代地将所述所预测的组Gp与新组G匹配。
附图说明
图1为根据例示实施方式的包括物体跟踪系统的车辆的示意图。
图2为由图1的物体跟踪系统执行的方法的步骤的方框图。
图3-6为阐明图2中的方法的步骤的示意图。
具体实施方式
如需要,在此公开详细的实施方式。应理解的是,所公开的实施方式仅仅是多种以及可替换的形式以及它们的组合的例示。如在此所使用,词语“例示”被扩大地用于指充当图解、样例、模型或模式的实施方式。附图不必按比例,并且一些特征可能被放大或缩小用以指示特别的元件的细节。在其他情况下,为了避免模糊本发明,本领域技术人员公知的已知元件、系统、材料或者方法没有详细描述。因此,在此公开的特定的结构和功能细节不被理解为限制,而仅仅是作为权利要求的基础以及作为教导本领域技术人员的代表性基础。
概述
本发明的实施方式提供用于精确、稳定并且快速跟踪具有多种尺寸和形状的物体(例如,其他车辆)的系统和方法。精确度、稳定性以及跟踪速度至少部分通过计算直接来自由传感器诸如测距仪所得到的扫描点(例如像素)的物体的运动参数来改善。利用这个直接的、像素水平的分析,性能不受在预计算离散分辨率的轮廓或试图精确地将物体与这样的离散分辨率轮廓匹配时的限制(或,离散效应)的妨碍。
相反,传统的Hough匹配方法通过将物体与一个或多个预生成的离散轮廓相匹配来估算运动参数,而传统的参数L形方法基于通常的不精确的参数L形模型来计算运动参数。这些传统的方法很大程度上依赖于抽象轮廓描述实际物体时的短暂精确度。
在此提供的这些和其他方法中,所述系统和方法增强并改进了物体检测和跟踪。所些系统和方法检测物体尺寸、形状以及定向,使得物体例如可以被分类为车辆、卡车、摩托车或者行人。
系统:图1
参考附图,更具体地,参考第一附图,图1示意性地示出了示范性车辆10的部件。车辆10包括物体跟踪系统20以及辅助车辆系统22,诸如高速公路有限能力自主驾驶(FLAAD)系统、增强防撞(ECA)系统、恒定转向角和速度(CSAV)系统等。
物体跟踪系统20被配置为产生与被跟踪物体相关的数据,而辅助车辆系统22被配置为使用被跟踪物体数据来控制车辆10和/或向车辆10的操作者提供有用信息。被跟踪物体数据可包括,例如,至少一个物体40的识别(例如,列表)以及对应于物体生成的运动模型M。运动模型M可包括位置、速度、加速度、速度方向、加速度方向以及其他运动参数,如下面进一步所描述。
在一个实施方式中,物体跟踪系统20包括测距仪30、计算单元32、速度传感器34以及横摆率传感器36。这些元件在此被识别并通过例子的形式在下面被描述,因为物体跟踪系统20可以多种组合包括这些和/或其他元件。例如,所预期的是系统20可包括任意的多种类型的加速度计和诸如相机的物体传感器。
测距仪30、速度传感器34和横摆率传感器36被配置为测量作为输入供给计算单元32的数据。测距仪30被配置为测量扫描数据(其可被归类为帧F,如以下将进一步描述),速度传感器34被配置为测量车辆10的速度,而横摆率传感器36则被配置为测量车辆10的横摆率。扫描数据包括从测距仪30到在角位置A(参考图3)处所测量的物体上的点的距离D(也参考图3)。为了教导起见,测距仪30被例示为执行图1和图3中物体40的扫描。被当前车辆10所跟踪的物体40可为车辆、行人、摩托车以及其他。
测距仪30可包括超声测距模块、光学测距模块、光探测和测距(LiDAR)传感器、测距仪相机、手操测距仪、激光测距仪、测远器、扫描器、它们的组合以及类似装置。为了教导起见,LiDAR传感器将进一步详述。LiDAR传感器使用飞行时间原理测量范围。光脉冲以限定的时间长度被发射,被目标物体反射并通过沿其被发送的相同路径(视线)被接收。因为光以恒定的速度传输,所以发射和检测之间的时间间隔与传感器到发射点之间的距离成比例。
计算单位32包括处理器50,有形的、非暂时的计算机可读介质(以存储器52表示),以及存储在存储器52中的程序模块54。在一个实施方式中,程序模块54包括数据收集模块54a、预处理模块54b、聚类模块54c、数据关联模块54d以及跟踪模块54e。
程序模块54包括计算机可执行指令,当由处理器50执行可执行指令时,其使得处理器50执行如图2所示的方法100以便确定被跟踪物体数据。在图2的方法100中,通常,数据收集模块54a包括计算机可执行指令用于执行数据收集步骤102;预处理模块54b包括计算机可执行指令用于执行预处理步骤104;聚类模块54c包括计算机可执行指令用于执行聚类步骤106;数据关联模块54d包括计算机可执行指令用于执行数据关联步骤108;而跟踪模块54e包括计算机可执行指令用于执行跟踪步骤110。
方法:图2-6
现在进一步详述方法100的步骤。通常,方法100产生被跟踪物体数据,包括被跟踪物体40的列表以及相关的运动模型M。如以下相对于方法100的跟踪步骤100进一步详述的,例示的方法100集成局部点匹配(localized point-matching)方案和似然最大化(likelihood-maximization)方案。
方法100从测距仪30在不同的时间和时间周期所测得的扫描数据来产生被跟踪物体数据。与特定时间相关的扫描数据在此指的是帧F。通常,帧F周期性地被产生并保存,并且对于每个新的帧F,方法100被执行而产生对应的新的运动模型M。
在不同的时间(例如,连续时间)所测得的帧F由时间差在此称作dt(例如,图3、4和6)分隔。在图4中,例如,在先的帧F在在先的时间t处被测量,而新帧F则在新时间t+dt处被测量。在本说明书中,为了区别与新时间t+dt相关的元素和与在先时间t相关的元素,使用了术语“新”和“在先”。在附图中,时间t、t+dt被用于与多种所描述的元素相联系。
参照图2-图6,方法100的步骤关于特定的被跟踪物体40来描述。通常,对于被跟踪物体40,与被跟踪物体40相关的新的运动模型M根据每个新帧F被生成。方法100被配置为同时地跟踪物体和初始化和移除相关联的帧F。
根据数据收集步骤102,与新时间t+dt相联系,数据收集模块54a指示测距仪30扫描例如二维测量平面中的角度范围R(例如,90度、180度、360度等),从而测量在该范围内的区域以便生成新帧F。在一个预期的实施方式中,测距仪30自动执行该扫描任务,或者相反地,没有来自数据收集模块54a的直接指令。
如图3例示,新帧F包括在角度范围R的每个角度A1,A2,……AZ处的距离D1,D2,……DZ,例如,其中Z为帧F中的数据点的总数。距离D位于测距仪30和物体40上的新点X1,X2,……XN之间。
在一些实施方式中,角度范围R中的角度A,根据角分辨率例如在角度之间为0.25度来分割,并且距离D以选定的距离分辨率例如一毫米来测量。数据收集模块54a在存储器52内记录新帧F,其中一个或多个在先帧F也被存储。
根据预处理步骤104,预处理模块54b按照需要处理新帧F,其可包括过滤帧F。处理模块54b可被配置为过滤新帧F以通过例如极坐标、笛卡尔坐标(例如,以车辆作为原点)或地面参照坐标(例如,以地面上的固定点作为原点)形式的车辆参照坐标来表示新帧F。
在一些实施方式中,预处理模块54b根据车辆10的将使用经过滤的帧数据的一个或多个应用的需求来过滤新帧F。例如,处理模块54b在一些实施方式中被配置为以由至少一种车辆应用所需求的方式表示新帧F,诸如通过如对具体应用最适合的极坐标、笛卡尔坐标和/或地面参照坐标形式的车辆参照坐标。
在不同的实施方式中,预处理步骤104包括噪声降低、点采样和/或类似步骤。
根据图2的聚类步骤106,参照图4,聚类模块54c基于特定的新点X之间的类同特性(例如测量值)识别新帧F中的点X的新组G。例如,彼此之间在特定距离之内的新点X被聚类到新组G中。为教导起见,在图4例示的新组G包括新点Xi(其中i=1,……N)。多个新组G可从新帧F形成,并且新帧F可为处理目的而被分割成新组G。
方法100还被配置为在数据关联步骤108期间初始化和移除物体,如在以下进一步描述。
在数据关联步骤108的初始化分步骤中,如果物体当前没有被跟踪,且对于多个帧被观测,则该物体作为被跟踪物体被存储在物体跟踪系统的有形的、非暂时性的计算机可读介质中,并且物体的运动模型根据方法100的步骤生成。如果物体当前没有被跟踪,并且新物体对于两个连续的帧、三个连续的帧、四个连续的帧等被观测,则数据关联模块在多个实施方式中被配置为初始化新物体。
在数据关联步骤108的移除分步骤期间,如果被跟踪物体对于多个帧未被看到,则它被移除。如果物体对于两个连续帧、三个连续帧、四个连续帧等的新帧数据中未被注意到,则数据关联模块在多种实施方式中被配置为从有形的、非暂时性的计算机可读介质中移除物体。
进一步根据数据关联步骤108,数据关联模块54d将新组G与计算机可读介质中的物体40相关联。例如,响应于确定新的动态特性(例如,与点X的距离或点X的位置,对应于点的角度,速度,运动方向)和在先的动态特性(例如,运动模型M的特性)之间的关系、新组G与在先组G之间的距离以及新组G和在先组G之间的几何结构和/或尺寸的相似性,数据关联模块54d将新组G和物体40相关联。新组G是物体40的当前表示并且根据方法100(例如,步骤110,在以下描述)用于确定物体40的新的运动模型M。
根据跟踪步骤110,跟踪模块54e根据新组G和表示物体40的一个或多个在先组G确定物体40的新的运动模型M。在一些实施方式中,跟踪模块54e根据新组G和(i)表示物体40的一个或多个在先组G和(ii)一个或多个在先运动模型这两者中的至少一者确定物体40的新的运动模型M。
参照图2和图4,跟踪步骤110包括预测分步骤120,其中,所预测的组Gp被生成。所预测的组Gp根据在先的运动模型M、在先的组G、以及平移矢量T生成。在一个实施方式中,对于未来时间t+δt的所预测的组Gp表示为:
平移矢量T包括x方向的分量dx和y方向的分量dy,它们根据在先运动模型M的速度Vt和速度方向θt来确定。例如,分量dx、dy在一些实施方式中与速度Vt和速度方向θt的关系如下:
其中IN为单位矩阵(例如,a1×N单位矢量,它们的元素均为1)。
平移矢量T将在先组G的每个点(由在先点X表示)映射到所预测的组Gp使得所预测的组Gp估计新组G的位置。在跟踪步骤110期间,必要时,所预测的组Gp进一步迭代地匹配到新组G。特别地,平移矢量T被迭代,直到所预测的组Gp与新组G相匹配。诸如局部点匹配和最大似然的技术用于确定平移调节矢量ΔT,其用于迭代地调节平移矢量T。这些技术在以下联系图2中的方法100的步骤122和124以及图4被详细描述。
跟踪步骤110的局部点匹配分步骤122包括为新组G中的每个新点Xi确定被预测的组Gp中的邻近预测点Xj的数目Ki。例如,每一个新点Xi的邻近预测点Xj的数目Ki在每个新点Xi的选定距离例如径向距离r内。参照图4,所预测的组Gp的邻近预测点Xj(阴影)被示为下落到新组G的新点Xi(阴影)之一的径向距离内。此外,距离矢量DV延伸在每个新点Xi和每个邻近预测点Xj之间。
根据跟踪步骤110的最大似然分步骤124,跟踪模块54e确定平移调节矢量ΔT以便最大化所预测的组Gp与新组G匹配的似然度。平移调节矢量ΔT被确定为每个新点Xi匹配于它的邻近预测点Xj。例如,为了将每个新点Xi与其邻近预测点Xj匹配,使每个新点Xi和其邻近预测点Xj之间的距离的集合(aggregate)最小化。
参照图5,平移调节矢量ΔT包括x方向的分量Δdx和y方向的分量Δdy并且被加入到初始平移矢量T以得到迭代平移矢量T’。平移调节矢量ΔT代表当前平移矢量和平移矢量的下一个迭代T’之间的差值。
全部的新点Xi和它们的Ki邻近预测点Xj之间的匹配的似然性可表示为:
其中P(x)是代表邻近点Xj到点Xi的分布的函数。例如,P(x)为高斯核函数,表示为:
其中sigma σ为帕尔森窗尺寸。
为便利起见,取似然函数的对数logL或者LnL,被称为对数似然性,而点Xi和Xj(位置矢量)以它们的X方向和Y方向分量(xi,yi,xj,yj)来表示。另外,似然函数被修改为包括所述平移调节矢量ΔT的分量Δdx,Δdy。经修改的似然函数的对数表示为:
经修改的对数似然函数用于确定使对数似然性最大化的平移调节矢量ΔT的元Δdx、Δdy。为了确定平移调节矢量元Δdx、Δdy,相对于x方向和y方向的对数似然性的微分设为0,如下:
求解平移矢量元Δdx、Δdy得:
参照图5,一旦确定平移调节矢量ΔT的分量Δdx、Δdy,跟踪模块54e通过将初始平移矢量T和平移调节矢量ΔT相加来确定迭代平移矢量T’。
根据图2的方法100中的迭代决策分步骤126,跟踪模块54e确定迭代平移矢量T’是否收敛从而将被预测的组GP与新组G相匹配。例如,跟踪模块54e根据平移调节矢量ΔT的值确定收敛。如果平移调节矢量ΔT的值在预定阈值以上,则迭代平移矢量T’被视为初始平移矢量,并根据跟踪步骤110的分步骤120、122、124、126进一步迭代。如果平移调节矢量ΔT的值在预定阈值以内,则迭代平移矢量T’用于在建模分步骤130中确定新的运动模型M的参数。
一旦迭代平移矢量T’收敛,则迭代平移矢量T’将预测的组Gp与新组G相匹配。根据建模分步骤130,当新组G和所预测的组Gp足够匹配时,跟踪模块54e根据迭代平移矢量T’的分量dx’,dy’确定新的运动模型M。例如,迭代平移矢量T’的分量dx’,dy’用于根据如下确定新运动模型M的速度Vt和速度角θt,
和。
此外,在一些实施方式中,在跟踪步骤110的建模分步骤130中,新的运动模型M与由速度传感器34及横摆率传感器36提供的车辆速度和横摆率结合。该结合可在所有情形或选定情形中执行。执行该结合或者使用所结合的结果可依赖于车辆10的应用或者车辆10的操作者的需求。例如,如果扫描点基于车辆参考坐标,则该结合步骤可执行以提供地面参照运动参数,以便分类目的。本文中的例示分类,包括根据物体的动态特性来归类物体,诸如分类在移动或静止时的物体。
跟踪模块54e将新运动模型M输出到辅助车辆系统22,如图1所示。
上述实施例仅仅是为了清楚地理解原理而提出的实施方式的示范性例示。在不背离权利要求的范围的情况下可以对上述实施方式做出变形、修改和组合。所有这些变形、修改和组合在此都包括在说明书和随附权利要求的范围内。
Claims (10)
1.一种用于通过使用计算机化的物体跟踪系统产生对应于物体的运动模型来跟踪物体的方法,所述方法包括:
所述物体跟踪系统的数据收集模块接收与物体关联的扫描数据并使用所述扫描数据产生与新时间t+dt相关且包括新点X的新帧F;
所述物体跟踪系统的聚类模块识别新帧F的新点Xi的新组G,其中i=1,……N,N为对应于所述新点的数目的正整数;
所述物体跟踪系统的数据关联模块基于与所述物体相关的在先信息将所述新组G与所述物体关联;以及
所述物体跟踪系统的跟踪模块基于所述新组G确定对应于所述物体的新运动模型M。
2.权利要求1所述的方法,还包括所述物体跟踪系统的预处理模块,其在识别所述新帧F的新点Xi的新组G的所述聚类模块之前处理所述新帧F,其中所述预处理模块处理所述新帧F包括所述预处理模块过滤所述新帧F以通过以下至少一者表示所述新帧F:
车辆参考坐标;和
地面参考坐标。
3.权利要求1的方法,其中,所述聚类模块基于所述新点X的某些之间的类同特性识别所述新帧F的新点Xi的新组G。
4.权利要求1的方法,其中,所述数据关联模块响应于确定在与所述新帧F相关的新的运动特性和表示所述物体的在先信息之间的关系,将所述新组G和所述物体相关联。
5.权利要求1的方法,其中,所述跟踪模块基于所述新组G确定对应于所述物体的所述新运动模型M,包括所述跟踪模块根据所述新组以及表示所述物体的一个或多个在先组G和表示所述物体的一个或多个在先运动模型这两者中的至少一者确定对应于所述物体的新运动模型M。
6.权利要求1的方法,其中,所述跟踪模块基于所述新组G确定对应于所述物体的新运动模型M包括所述跟踪模块产生所预测的组Gp。
8.权利要求6的方法,其中,所述跟踪模块在确定新的动态模块M时迭代地将所预测的组Gp和新组G匹配。
9.一种在车辆中使用以跟踪所述车辆外的物理物体的有形的、非暂时的计算机可读介质,所述计算机可读介质存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括以下的方法的步骤:
接收与物体相关的扫描数据并且使用扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于与所述物体相关的在先信息将所述新组G与所述物体关联;以及
基于所述新组G确定对应于所述物体的新运动模型M。
10.一种运输车辆,包括:
距离传感器;
车载计算机系统,包括:
处理器;和
计算机可读介质,其存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括下述的方法的步骤:
从所述距离传感器接收与物体相关的扫描数据并且使用所述扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于所述物体相关的在先信息将所述新组G与所述物体关联;以及
基于所述新组G确定对应于所述物体的新运动模型M。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/942,456 US8818702B2 (en) | 2010-11-09 | 2010-11-09 | System and method for tracking objects |
US12/942456 | 2010-11-09 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102463990A true CN102463990A (zh) | 2012-05-23 |
CN102463990B CN102463990B (zh) | 2015-10-28 |
Family
ID=45971391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110351874.8A Active CN102463990B (zh) | 2010-11-09 | 2011-11-09 | 用于跟踪物体的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8818702B2 (zh) |
CN (1) | CN102463990B (zh) |
DE (1) | DE102011117585B4 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103879404A (zh) * | 2012-12-19 | 2014-06-25 | 财团法人车辆研究测试中心 | 可追踪移动物体的防撞警示方法及其装置 |
CN104802796A (zh) * | 2014-01-27 | 2015-07-29 | 罗伯特·博世有限公司 | 用于运行驾驶员辅助系统的方法以及驾驶员辅助系统 |
CN110235027A (zh) * | 2017-04-28 | 2019-09-13 | 深圳市大疆创新科技有限公司 | 基于lidar点云的多物体跟踪 |
CN110244292A (zh) * | 2018-03-07 | 2019-09-17 | 德尔福技术有限公司 | 用于确定移动物体的指向角的方法和系统 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9128185B2 (en) | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Methods and apparatus of fusing radar/camera object data and LiDAR scan points |
US9129211B2 (en) | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Bayesian network to track objects using scan points using multiple LiDAR sensors |
US9329269B2 (en) | 2012-03-15 | 2016-05-03 | GM Global Technology Operations LLC | Method for registration of range images from multiple LiDARS |
EP2654028B1 (en) * | 2012-04-20 | 2018-09-26 | Honda Research Institute Europe GmbH | Orientation sensitive traffic collision warning system |
AT515134A1 (de) * | 2013-11-29 | 2015-06-15 | Kuhn Andreas Dr | Kraftfahrzeug |
US9616886B2 (en) * | 2015-07-16 | 2017-04-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Size adjustment of forward objects for autonomous vehicles |
WO2017167387A1 (en) * | 2016-03-31 | 2017-10-05 | Nec Europe Ltd. | Method for predicting a motion of an object |
JP6194520B1 (ja) * | 2016-06-24 | 2017-09-13 | 三菱電機株式会社 | 物体認識装置、物体認識方法および自動運転システム |
CN106447698B (zh) * | 2016-09-28 | 2019-07-02 | 深圳市鸿逸达科技有限公司 | 一种基于距离传感器的多行人跟踪方法和系统 |
US10254758B2 (en) | 2017-01-18 | 2019-04-09 | Ford Global Technologies, Llc | Object tracking by unsupervised learning |
US10449956B2 (en) * | 2017-01-18 | 2019-10-22 | Ford Global Technologies, Llc | Object tracking by unsupervised learning |
AU2018358932B2 (en) * | 2017-10-31 | 2020-12-03 | Waymo Llc | Semantic object clustering for autonomous vehicle decision making |
US10401862B2 (en) | 2017-10-31 | 2019-09-03 | Waymo Llc | Semantic object clustering for autonomous vehicle decision making |
US10713940B2 (en) | 2017-10-31 | 2020-07-14 | Waymo Llc | Detecting and responding to traffic redirection for autonomous vehicles |
US11017550B2 (en) * | 2017-11-15 | 2021-05-25 | Uatc, Llc | End-to-end tracking of objects |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5587929A (en) * | 1994-09-02 | 1996-12-24 | Caterpillar Inc. | System and method for tracking objects using a detection system |
WO2001065520A2 (en) * | 2000-02-28 | 2001-09-07 | Veridian Engineering, Incorporated | System and method for avoiding accidents in intersections |
US6359586B1 (en) * | 1997-11-03 | 2002-03-19 | Saab Ab | Bias estimating method for a target tracking system |
CN101038164A (zh) * | 2006-03-13 | 2007-09-19 | 株式会社东芝 | 障碍物跟踪装置及其方法 |
US20080300787A1 (en) * | 2006-02-03 | 2008-12-04 | Gm Global Technology Operations, Inc. | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
DE102009007412A1 (de) * | 2009-02-04 | 2010-08-19 | Audi Ag | Verfahren zur Verfolgung wenigstens eines Objekts |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6085151A (en) * | 1998-01-20 | 2000-07-04 | Automotive Systems Laboratory, Inc. | Predictive collision sensing system |
DE10160719B4 (de) | 2001-12-11 | 2011-06-16 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten |
JP4328692B2 (ja) * | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | 物体検出装置 |
JP4297501B2 (ja) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
JP3937414B2 (ja) * | 2004-08-11 | 2007-06-27 | 本田技研工業株式会社 | 平面検出装置及び検出方法 |
US7460951B2 (en) * | 2005-09-26 | 2008-12-02 | Gm Global Technology Operations, Inc. | System and method of target tracking using sensor fusion |
DE102009051264A1 (de) | 2009-10-29 | 2010-09-09 | Daimler Ag | Verfahren zur Detektion und Verfolgung von Objekten in Bildsequenzen |
US8718323B2 (en) * | 2010-10-19 | 2014-05-06 | Raytheon Company | Batch detection association for enhanced target descrimination in dense detection environments |
-
2010
- 2010-11-09 US US12/942,456 patent/US8818702B2/en active Active
-
2011
- 2011-11-03 DE DE102011117585.0A patent/DE102011117585B4/de active Active
- 2011-11-09 CN CN201110351874.8A patent/CN102463990B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5587929A (en) * | 1994-09-02 | 1996-12-24 | Caterpillar Inc. | System and method for tracking objects using a detection system |
US6359586B1 (en) * | 1997-11-03 | 2002-03-19 | Saab Ab | Bias estimating method for a target tracking system |
WO2001065520A2 (en) * | 2000-02-28 | 2001-09-07 | Veridian Engineering, Incorporated | System and method for avoiding accidents in intersections |
US20080300787A1 (en) * | 2006-02-03 | 2008-12-04 | Gm Global Technology Operations, Inc. | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
CN101038164A (zh) * | 2006-03-13 | 2007-09-19 | 株式会社东芝 | 障碍物跟踪装置及其方法 |
DE102009007412A1 (de) * | 2009-02-04 | 2010-08-19 | Audi Ag | Verfahren zur Verfolgung wenigstens eines Objekts |
Non-Patent Citations (1)
Title |
---|
DUBUISSON,SEVERINE: "Recursive Clustering for Multiple Object Tracking", 《IMAGE PROCESSING,2006 IEEE INTERNATIONAL CONFERENCE ON.IEEE,2006》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103879404A (zh) * | 2012-12-19 | 2014-06-25 | 财团法人车辆研究测试中心 | 可追踪移动物体的防撞警示方法及其装置 |
CN103879404B (zh) * | 2012-12-19 | 2016-08-31 | 财团法人车辆研究测试中心 | 可追踪移动物体的防撞警示方法及其装置 |
CN104802796A (zh) * | 2014-01-27 | 2015-07-29 | 罗伯特·博世有限公司 | 用于运行驾驶员辅助系统的方法以及驾驶员辅助系统 |
CN104802796B (zh) * | 2014-01-27 | 2019-03-19 | 罗伯特·博世有限公司 | 用于运行驾驶员辅助系统的方法以及驾驶员辅助系统 |
CN110235027A (zh) * | 2017-04-28 | 2019-09-13 | 深圳市大疆创新科技有限公司 | 基于lidar点云的多物体跟踪 |
CN110244292A (zh) * | 2018-03-07 | 2019-09-17 | 德尔福技术有限公司 | 用于确定移动物体的指向角的方法和系统 |
CN110244292B (zh) * | 2018-03-07 | 2023-05-16 | 德尔福技术有限公司 | 用于确定移动物体的指向角的方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
US8818702B2 (en) | 2014-08-26 |
US20120116662A1 (en) | 2012-05-10 |
DE102011117585B4 (de) | 2022-08-04 |
DE102011117585A1 (de) | 2012-05-10 |
CN102463990B (zh) | 2015-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102463990A (zh) | 用于跟踪物体的系统和方法 | |
US9521317B2 (en) | Method and apparatus for detecting obstacle based on monocular camera | |
CN104035439B (zh) | 用多个激光雷达传感器利用扫描点追踪物体的贝叶斯网络 | |
US10983217B2 (en) | Method and system for semantic label generation using sparse 3D data | |
CN104035071B (zh) | 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置 | |
WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
CN113412505B (zh) | 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法 | |
US9576375B1 (en) | Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels | |
US20200057160A1 (en) | Multi-object tracking based on lidar point cloud | |
Li et al. | An adaptive 3D grid-based clustering algorithm for automotive high resolution radar sensor | |
JP2005528707A (ja) | データ組間の特徴マッピング | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
WO2019180442A1 (en) | Object detection system and method | |
WO2022103479A1 (en) | Multi-modal 3-d pose estimation | |
CN112781599A (zh) | 确定车辆的位置的方法 | |
CN109633686B (zh) | 一种基于激光雷达侦测地面障碍物的方法及系统 | |
EP3703008A1 (en) | Object detection and 3d box fitting | |
CN109063543B (zh) | 一种考虑局部形变的视频车辆重识别方法、系统及装置 | |
Lidman et al. | Clustering, shape extraction and velocity estimation applied to radar detections | |
EP4116738A1 (en) | Radar device and method for classifying objects | |
CN113589288A (zh) | 基于毫米波雷达的目标筛选方法、装置、设备及存储介质 | |
US11195287B2 (en) | Method and device for checking the plausibility of a flow vector hypothesis | |
CN113554705A (zh) | 一种变化场景下的激光雷达鲁棒定位方法 | |
Wang et al. | Detection and tracking dynamic vehicles for autonomous driving based on 2-D point scans | |
US10698111B2 (en) | Adaptive point cloud window selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |