CN102463990B - 用于跟踪物体的系统和方法 - Google Patents
用于跟踪物体的系统和方法 Download PDFInfo
- Publication number
- CN102463990B CN102463990B CN201110351874.8A CN201110351874A CN102463990B CN 102463990 B CN102463990 B CN 102463990B CN 201110351874 A CN201110351874 A CN 201110351874A CN 102463990 B CN102463990 B CN 102463990B
- Authority
- CN
- China
- Prior art keywords
- new
- group
- predicted
- kinematic model
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000013480 data collection Methods 0.000 claims abstract description 12
- 238000013519 translation Methods 0.000 claims description 43
- 230000000875 corresponding effect Effects 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000010168 coupling process Methods 0.000 claims description 13
- 238000005859 coupling reaction Methods 0.000 claims description 13
- 238000007476 Maximum Likelihood Methods 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 12
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002203 pretreatment Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及用于跟踪物体的系统和方法。具体地,一种用于通过使用计算机化的物体跟踪系统产生对应于物体的运动模型来跟踪所述物体的方法,包括数据收集模块接收与所述物体关联的扫描数据并使用扫描数据产生与新时间t+dt相关且包括新点X的新帧F。聚类模块识别新帧F的新点Xi的新组G。数据关联模块基于与物体相关的在先信息将所述新组G与物体关联。跟踪模块基于新组G确定对应于物体的新运动模型M。
Description
技术领域
技术领域通常是用于跟踪物体的系统和方法。
技术背景
很多现代汽车具有便利半自主和自主驾驶特性诸如防撞的车辆检测系统。车辆检测系统使用多种方法来处理来自于车辆扫描仪的数据从而检测其他车辆的存在并确定其他车辆的动态。这些方法包括Hough匹配方法以及参数L形方法。
然而,Hough匹配方法和参数L形方法有限制。Hough匹配方法计算起来昂贵并且产生具有离散分辨率和固定尺寸的轮廓。这样的轮廓不能精确地描述很多物体的尺寸或者形状。参数L形方法不稳定并且通常只对具有矩形轮廓的物体有用。对于弯曲轮廓,L形可以不同的方式与曲线相拟合,从而难于确定物体的定向。
发明内容
本发明涉及通过产生对应于物体的运动模型来跟踪物体的方法以及计算机化的物体跟踪系统。在例示实施方式中,计算机化的物体跟踪系统包括数据收集模块、聚类模块、数据关联模块以及跟踪模块。
物体跟踪系统的数据收集模块接收与物体相关的扫描数据,并使用扫描数据产生与新时间t+dt相关且包括新点X的新帧F。
物体跟踪系统的聚类模块识别新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点数目的正整数。
物体跟踪系统的数据关联模块基于与物体相关联的在先信息将新组G和物体关联。
物体跟踪系统的跟踪模块基于新组G确定对应于物体的新的运动模块M。
在一些实施方式中,计算机化的物体跟踪系统包括预处理模块,其被配置为先于聚类模块之前处理新帧F,所述聚类模块识别新帧F的新点Xi的新组G。在一些实施方式中,预处理模块处理新帧F包括预处理模块过滤新帧F以通过车辆参考坐标和地面参考坐标中的至少之一表示新帧F。
前面已经宽泛地概括了各种实施方式的方面和特征,这应当被理解为仅仅是各种潜在应用的例示。通过以不同的方式应用所公开的信息或者通过将所公开的实施方式的各个方面组合,可获得其他有益结果。因此,额外于权利要求限定的范围,其他方面以及更全面的理解可通过结合附图参照对例示实施方式的详细描述来获得。
本发明还包括如下方案:
1.一种用于通过使用计算机化的物体跟踪系统产生对应于物体的运动模型来跟踪物体的方法,所述方法包括:
所述物体跟踪系统的数据收集模块接收与物体关联的扫描数据并使用所述扫描数据产生与新时间t+dt相关且包括新点X的新帧F;
所述物体跟踪系统的聚类模块识别新帧F的新点Xi的新组G,其中i=1,……N,N为对应于所述新点的数目的正整数;
所述物体跟踪系统的数据关联模块基于与所述物体相关的在先信息将所述新组G与所述物体关联;以及
所述物体跟踪系统的跟踪模块基于所述新组G确定对应于所述物体的新运动模型M。
方案2.方案1所述的方法,还包括所述物体跟踪系统的预处理模块,其在识别所述新帧F的新点Xi的新组G的所述聚类模块之前处理所述新帧F,其中所述预处理模块处理所述新帧F包括所述预处理模块过滤所述新帧F以通过以下至少一者表示所述新帧F:
车辆参考坐标;和
地面参考坐标。
方案3.方案1的方法,其中,所述聚类模块基于所述新点X的某些之间的类同特性识别所述新帧F的新点Xi的新组G。
方案4.方案1的方法,其中,所述数据关联模块响应于确定在与所述新帧F相关的新的运动特性和表示所述物体的在先信息之间的关系,将所述新组G和所述物体相关联。
方案5.方案1的方法,其中,所述跟踪模块基于所述新组G确定对应于所述物体的所述新运动模型M,包括所述跟踪模块根据所述新组以及表示所述物体的一个或多个在先组G和表示所述物体的一个或多个在先运动模型这两者中的至少一者确定对应于所述物体的新运动模型M。方案.
方案6.方案1的方法,其中,所述跟踪模块基于所述新组G确定对应于所述物体的新运动模型M包括所述跟踪模块产生所预测的组Gp。
方案7.方案6所述的方法,其中:
所述跟踪模块根据表示所述物体的在先的运动模型M、在先的组G、以及平移矢量T产生所预测的组Gp;
所述所预测的组Gp对应于未来时间t+δt,并且根据下式确定:
,
所述平移矢量T包括X方向分量dx和Y方向分量dy;
所述平移分量根据代表所述物体的在先运动模型的速度Vt和速度方向θt来确定;以及
所述平移分量dx,dy根据下式与表示所述物体的在先运动模型的速度Vt以及速度方向θt相关:
,
其中,IN为单位矩阵。
方案8.方案6的方法,其中,所述跟踪模块在确定新的动态模块M时迭代地将所预测的组Gp和新组G匹配。
方案9.方案8的方法,其中,所述跟踪模块迭代地将所预测的组Gp和新组G匹配,包括所述跟踪模块确定初始平移调节矢量ΔT,并且使用所述平移调节矢量ΔT迭代地调节所述平移矢量T。
方案10.方案9的方法,其中,所述跟踪模块使用下述中的至少一个确定所述初始平移调节矢量ΔT:
局部点匹配方法;和
最大似然方法。
方案11.方案10的方法,其中所述局部点匹配方法包括识别邻近预测点Xj,所述邻近预测点Xj为所预测的组Gp的位于新组G的每个新点Xi的特定距离内的点。
方案12.方案10的方法,其中,最大似然方法包括确定所述平移调节矢量ΔT以最大化所预测的组Gp与新组Gp匹配的似然度,包括将每个新点Xi匹配到所预测的组Gp的邻近预测点Xj,使得每个新点Xi和邻近预测点Xj之间的距离的集合最小化。
方案13.方案12的方法,其中最大似然方法还包括将所述平移调节矢量ΔT与所述初始平移矢量T相加来产生迭代平移矢量T’。
方案14.方案13的方法,其中最大似然方法包括所述跟踪模块确定所述迭代平移矢量T’是否收敛以将所预测的组Gp与新组G匹配。
方案15.方案9的方法,其中:
如果所述平移调节矢量ΔT的幅值在预定阈值以上,则所述迭代平移矢量T’进一步被迭代;和
如果所述平移调节矢量ΔT的幅值在所述预定阈值以内,则所述迭代平移矢量T’用于确定新的运动模型M的参数,包括使用所述迭代平移矢量T’的分量dx’、dy’来根据下列关系式确定所述新运动模型M的速度Vt和速度角θt:
和。
方案16.一种在车辆中使用以跟踪所述车辆外的物理物体的有形的、非暂时的计算机可读介质,所述计算机可读介质存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括以下的方法的步骤:
接收与物体相关的扫描数据并且使用扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于与所述物体相关的在先信息将所述新组G与所述物体关联;以及
基于所述新组G确定对应于所述物体的新运动模型M。
方案17.方案16的有形的、非暂时的计算机可读介质,其中,所述指令在使得所述处理器基于所述新组G确定对应于所述物体的新运动模型M时,使得所述处理器产生所预测的组Gp。
方案18.方案17的有形的、非暂时的计算机可读介质,其中,所述指令在使得所述处理器确定所述新运动模型M时,使得所述处理器迭代地匹配所预测的组Gp和新组G。
方案19.一种运输车辆,包括:
距离传感器;
车载计算机系统,包括:
处理器;和
计算机可读介质,其存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括下述的方法的步骤:
从所述距离传感器接收与物体相关的扫描数据并且使用所述扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于所述物体相关的在先信息将所述新组G与所述物体关联;以及
基于所述新组G确定对应于所述物体的新运动模型M。
方案20.方案19的车辆,其中,所述指令在使得所述处理器基于所述新组G确定对应于所述物体的所述新运动模型M时,使得处理器:
产生所预测的组Gp;和
迭代地将所述所预测的组Gp与新组G匹配。
附图说明
图1为根据例示实施方式的包括物体跟踪系统的车辆的示意图。
图2为由图1的物体跟踪系统执行的方法的步骤的方框图。
图3-6为阐明图2中的方法的步骤的示意图。
具体实施方式
如需要,在此公开详细的实施方式。应理解的是,所公开的实施方式仅仅是多种以及可替换的形式以及它们的组合的例示。如在此所使用,词语“例示”被扩大地用于指充当图解、样例、模型或模式的实施方式。附图不必按比例,并且一些特征可能被放大或缩小用以指示特别的元件的细节。在其他情况下,为了避免模糊本发明,本领域技术人员公知的已知元件、系统、材料或者方法没有详细描述。因此,在此公开的特定的结构和功能细节不被理解为限制,而仅仅是作为权利要求的基础以及作为教导本领域技术人员的代表性基础。
概述
本发明的实施方式提供用于精确、稳定并且快速跟踪具有多种尺寸和形状的物体(例如,其他车辆)的系统和方法。精确度、稳定性以及跟踪速度至少部分通过计算直接来自由传感器诸如测距仪所得到的扫描点(例如像素)的物体的运动参数来改善。利用这个直接的、像素水平的分析,性能不受在预计算离散分辨率的轮廓或试图精确地将物体与这样的离散分辨率轮廓匹配时的限制(或,离散效应)的妨碍。
相反,传统的Hough匹配方法通过将物体与一个或多个预生成的离散轮廓相匹配来估算运动参数,而传统的参数L形方法基于通常的不精确的参数L形模型来计算运动参数。这些传统的方法很大程度上依赖于抽象轮廓描述实际物体时的短暂精确度。
在此提供的这些和其他方法中,所述系统和方法增强并改进了物体检测和跟踪。所些系统和方法检测物体尺寸、形状以及定向,使得物体例如可以被分类为车辆、卡车、摩托车或者行人。
系统:图1
参考附图,更具体地,参考第一附图,图1示意性地示出了示范性车辆10的部件。车辆10包括物体跟踪系统20以及辅助车辆系统22,诸如高速公路有限能力自主驾驶(FLAAD)系统、增强防撞(ECA)系统、恒定转向角和速度(CSAV)系统等。
物体跟踪系统20被配置为产生与被跟踪物体相关的数据,而辅助车辆系统22被配置为使用被跟踪物体数据来控制车辆10和/或向车辆10的操作者提供有用信息。被跟踪物体数据可包括,例如,至少一个物体40的识别(例如,列表)以及对应于物体生成的运动模型M。运动模型M可包括位置、速度、加速度、速度方向、加速度方向以及其他运动参数,如下面进一步所描述。
在一个实施方式中,物体跟踪系统20包括测距仪30、计算单元32、速度传感器34以及横摆率传感器36。这些元件在此被识别并通过例子的形式在下面被描述,因为物体跟踪系统20可以多种组合包括这些和/或其他元件。例如,所预期的是系统20可包括任意的多种类型的加速度计和诸如相机的物体传感器。
测距仪30、速度传感器34和横摆率传感器36被配置为测量作为输入供给计算单元32的数据。测距仪30被配置为测量扫描数据(其可被归类为帧F,如以下将进一步描述),速度传感器34被配置为测量车辆10的速度,而横摆率传感器36则被配置为测量车辆10的横摆率。扫描数据包括从测距仪30到在角位置A(参考图3)处所测量的物体上的点的距离D(也参考图3)。为了教导起见,测距仪30被例示为执行图1和图3中物体40的扫描。被当前车辆10所跟踪的物体40可为车辆、行人、摩托车以及其他。
测距仪30可包括超声测距模块、光学测距模块、光探测和测距(LiDAR)传感器、测距仪相机、手操测距仪、激光测距仪、测远器、扫描器、它们的组合以及类似装置。为了教导起见,LiDAR传感器将进一步详述。LiDAR传感器使用飞行时间原理测量范围。光脉冲以限定的时间长度被发射,被目标物体反射并通过沿其被发送的相同路径(视线)被接收。因为光以恒定的速度传输,所以发射和检测之间的时间间隔与传感器到发射点之间的距离成比例。
计算单位32包括处理器50,有形的、非暂时的计算机可读介质(以存储器52表示),以及存储在存储器52中的程序模块54。在一个实施方式中,程序模块54包括数据收集模块54a、预处理模块54b、聚类模块54c、数据关联模块54d以及跟踪模块54e。
程序模块54包括计算机可执行指令,当由处理器50执行可执行指令时,其使得处理器50执行如图2所示的方法100以便确定被跟踪物体数据。在图2的方法100中,通常,数据收集模块54a包括计算机可执行指令用于执行数据收集步骤102;预处理模块54b包括计算机可执行指令用于执行预处理步骤104;聚类模块54c包括计算机可执行指令用于执行聚类步骤106;数据关联模块54d包括计算机可执行指令用于执行数据关联步骤108;而跟踪模块54e包括计算机可执行指令用于执行跟踪步骤110。
方法:图2-6
现在进一步详述方法100的步骤。通常,方法100产生被跟踪物体数据,包括被跟踪物体40的列表以及相关的运动模型M。如以下相对于方法100的跟踪步骤100进一步详述的,例示的方法100集成局部点匹配(localized point-matching)方案和似然最大化(likelihood-maximization)方案。
方法100从测距仪30在不同的时间和时间周期所测得的扫描数据来产生被跟踪物体数据。与特定时间相关的扫描数据在此指的是帧F。通常,帧F周期性地被产生并保存,并且对于每个新的帧F,方法100被执行而产生对应的新的运动模型M。
在不同的时间(例如,连续时间)所测得的帧F由时间差在此称作dt(例如,图3、4和6)分隔。在图4中,例如,在先的帧F在在先的时间t处被测量,而新帧F则在新时间t+dt处被测量。在本说明书中,为了区别与新时间t+dt相关的元素和与在先时间t相关的元素,使用了术语“新”和“在先”。在附图中,时间t、t+dt被用于与多种所描述的元素相联系。
参照图2-图6,方法100的步骤关于特定的被跟踪物体40来描述。通常,对于被跟踪物体40,与被跟踪物体40相关的新的运动模型M根据每个新帧F被生成。方法100被配置为同时地跟踪物体和初始化和移除相关联的帧F。
根据数据收集步骤102,与新时间t+dt相联系,数据收集模块54a指示测距仪30扫描例如二维测量平面中的角度范围R(例如,90度、180度、360度等),从而测量在该范围内的区域以便生成新帧F。在一个预期的实施方式中,测距仪30自动执行该扫描任务,或者相反地,没有来自数据收集模块54a的直接指令。
如图3例示,新帧F包括在角度范围R的每个角度A1,A2,……AZ处的距离D1,D2,……DZ,例如,其中Z为帧F中的数据点的总数。距离D位于测距仪30和物体40上的新点X1,X2,……XN之间。
在一些实施方式中,角度范围R中的角度A,根据角分辨率例如在角度之间为0.25度来分割,并且距离D以选定的距离分辨率例如一毫米来测量。数据收集模块54a在存储器52内记录新帧F,其中一个或多个在先帧F也被存储。
根据预处理步骤104,预处理模块54b按照需要处理新帧F,其可包括过滤帧F。处理模块54b可被配置为过滤新帧F以通过例如极坐标、笛卡尔坐标(例如,以车辆作为原点)或地面参照坐标(例如,以地面上的固定点作为原点)形式的车辆参照坐标来表示新帧F。
在一些实施方式中,预处理模块54b根据车辆10的将使用经过滤的帧数据的一个或多个应用的需求来过滤新帧F。例如,处理模块54b在一些实施方式中被配置为以由至少一种车辆应用所需求的方式表示新帧F,诸如通过如对具体应用最适合的极坐标、笛卡尔坐标和/或地面参照坐标形式的车辆参照坐标。
在不同的实施方式中,预处理步骤104包括噪声降低、点采样和/或类似步骤。
根据图2的聚类步骤106,参照图4,聚类模块54c基于特定的新点X之间的类同特性(例如测量值)识别新帧F中的点X的新组G。例如,彼此之间在特定距离之内的新点X被聚类到新组G中。为教导起见,在图4例示的新组G包括新点Xi(其中i=1,……N)。多个新组G可从新帧F形成,并且新帧F可为处理目的而被分割成新组G。
方法100还被配置为在数据关联步骤108期间初始化和移除物体,如在以下进一步描述。
在数据关联步骤108的初始化分步骤中,如果物体当前没有被跟踪,且对于多个帧被观测,则该物体作为被跟踪物体被存储在物体跟踪系统的有形的、非暂时性的计算机可读介质中,并且物体的运动模型根据方法100的步骤生成。如果物体当前没有被跟踪,并且新物体对于两个连续的帧、三个连续的帧、四个连续的帧等被观测,则数据关联模块在多个实施方式中被配置为初始化新物体。
在数据关联步骤108的移除分步骤期间,如果被跟踪物体对于多个帧未被看到,则它被移除。如果物体对于两个连续帧、三个连续帧、四个连续帧等的新帧数据中未被注意到,则数据关联模块在多种实施方式中被配置为从有形的、非暂时性的计算机可读介质中移除物体。
进一步根据数据关联步骤108,数据关联模块54d将新组G与计算机可读介质中的物体40相关联。例如,响应于确定新的动态特性(例如,与点X的距离或点X的位置,对应于点的角度,速度,运动方向)和在先的动态特性(例如,运动模型M的特性)之间的关系、新组G与在先组G之间的距离以及新组G和在先组G之间的几何结构和/或尺寸的相似性,数据关联模块54d将新组G和物体40相关联。新组G是物体40的当前表示并且根据方法100(例如,步骤110,在以下描述)用于确定物体40的新的运动模型M。
根据跟踪步骤110,跟踪模块54e根据新组G和表示物体40的一个或多个在先组G确定物体40的新的运动模型M。在一些实施方式中,跟踪模块54e根据新组G和(i)表示物体40的一个或多个在先组G和(ii)一个或多个在先运动模型这两者中的至少一者确定物体40的新的运动模型M。
参照图2和图4,跟踪步骤110包括预测分步骤120,其中,所预测的组Gp被生成。所预测的组Gp根据在先的运动模型M、在先的组G、以及平移矢量T生成。在一个实施方式中,对于未来时间t+δt的所预测的组Gp表示为:
。
平移矢量T包括x方向的分量dx和y方向的分量dy,它们根据在先运动模型M的速度Vt和速度方向θt来确定。例如,分量dx、dy在一些实施方式中与速度Vt和速度方向θt的关系如下:
,
其中IN为单位矩阵(例如,a1×N单位矢量,它们的元素均为1)。
平移矢量T将在先组G的每个点(由在先点X表示)映射到所预测的组Gp使得所预测的组Gp估计新组G的位置。在跟踪步骤110期间,必要时,所预测的组Gp进一步迭代地匹配到新组G。特别地,平移矢量T被迭代,直到所预测的组Gp与新组G相匹配。诸如局部点匹配和最大似然的技术用于确定平移调节矢量ΔT,其用于迭代地调节平移矢量T。这些技术在以下联系图2中的方法100的步骤122和124以及图4被详细描述。
跟踪步骤110的局部点匹配分步骤122包括为新组G中的每个新点Xi确定被预测的组Gp中的邻近预测点Xj的数目Ki。例如,每一个新点Xi的邻近预测点Xj的数目Ki在每个新点Xi的选定距离例如径向距离r内。参照图4,所预测的组Gp的邻近预测点Xj(阴影)被示为下落到新组G的新点Xi(阴影)之一的径向距离内。此外,距离矢量DV延伸在每个新点Xi和每个邻近预测点Xj之间。
根据跟踪步骤110的最大似然分步骤124,跟踪模块54e确定平移调节矢量ΔT以便最大化所预测的组Gp与新组G匹配的似然度。平移调节矢量ΔT被确定为每个新点Xi匹配于它的邻近预测点Xj。例如,为了将每个新点Xi与其邻近预测点Xj匹配,使每个新点Xi和其邻近预测点Xj之间的距离的集合(aggregate)最小化。
参照图5,平移调节矢量ΔT包括x方向的分量Δdx和y方向的分量Δdy并且被加入到初始平移矢量T以得到迭代平移矢量T’。平移调节矢量ΔT代表当前平移矢量和平移矢量的下一个迭代T’之间的差值。
全部的新点Xi和它们的Ki邻近预测点Xj之间的匹配的似然性可表示为:
,
其中P(x)是代表邻近点Xj到点Xi的分布的函数。例如,P(x)为高斯核函数,表示为:
,
其中sigma σ为帕尔森窗尺寸。
为便利起见,取似然函数的对数logL或者LnL,被称为对数似然性,而点Xi和Xj(位置矢量)以它们的X方向和Y方向分量(xi,yi,xj,yj)来表示。另外,似然函数被修改为包括所述平移调节矢量ΔT的分量Δdx,Δdy。经修改的似然函数的对数表示为:
。const为常数。
经修改的对数似然函数用于确定使对数似然性最大化的平移调节矢量ΔT的元Δdx、Δdy。为了确定平移调节矢量元Δdx、Δdy,相对于x方向和y方向的对数似然性的微分设为0,如下:
,和
求解平移矢量元Δdx、Δdy得:
,和
参照图5,一旦确定平移调节矢量ΔT的分量Δdx、Δdy,跟踪模块54e通过将初始平移矢量T和平移调节矢量ΔT相加来确定迭代平移矢量T’。
根据图2的方法100中的迭代决策分步骤126,跟踪模块54e确定迭代平移矢量T’是否收敛从而将被预测的组GP与新组G相匹配。例如,跟踪模块54e根据平移调节矢量ΔT的值确定收敛。如果平移调节矢量ΔT的值在预定阈值以上,则迭代平移矢量T’被视为初始平移矢量,并根据跟踪步骤110的分步骤120、122、124、126进一步迭代。如果平移调节矢量ΔT的值在预定阈值以内,则迭代平移矢量T’用于在建模分步骤130中确定新的运动模型M的参数。
一旦迭代平移矢量T’收敛,则迭代平移矢量T’将预测的组Gp与新组G相匹配。根据建模分步骤130,当新组G和所预测的组Gp足够匹配时,跟踪模块54e根据迭代平移矢量T’的分量dx’,dy’确定新的运动模型M。例如,迭代平移矢量T’的分量dx’,dy’用于根据如下确定新运动模型M的速度Vt和速度角θt,
和。
此外,在一些实施方式中,在跟踪步骤110的建模分步骤130中,新的运动模型M与由速度传感器34及横摆率传感器36提供的车辆速度和横摆率结合。该结合可在所有情形或选定情形中执行。执行该结合或者使用所结合的结果可依赖于车辆10的应用或者车辆10的操作者的需求。例如,如果扫描点基于车辆参考坐标,则该结合步骤可执行以提供地面参照运动参数,以便分类目的。本文中的例示分类,包括根据物体的动态特性来归类物体,诸如分类在移动或静止时的物体。
跟踪模块54e将新运动模型M输出到辅助车辆系统22,如图1所示。
上述实施例仅仅是为了清楚地理解原理而提出的实施方式的示范性例示。在不背离权利要求的范围的情况下可以对上述实施方式做出变形、修改和组合。所有这些变形、修改和组合在此都包括在说明书和随附权利要求的范围内。
Claims (13)
1.一种用于通过使用计算机化的物体跟踪系统产生对应于物体的运动模型来跟踪物体的方法,所述方法包括:
所述物体跟踪系统的数据收集模块接收与物体关联的扫描数据并使用所述扫描数据产生与新时间t+dt相关且包括新点X的新帧F;
所述物体跟踪系统的聚类模块识别新帧F的新点Xi的新组G,其中i=1,……N,N为对应于所述新点的数目的正整数;
所述物体跟踪系统的数据关联模块基于与所述物体相关的在先信息将所述新组G与所述物体关联;以及
所述物体跟踪系统的跟踪模块基于所述新组G确定对应于所述物体的新运动模型M;
其中,所述跟踪模块基于所述新组G确定对应于所述物体的新运动模型M包括所述跟踪模块产生所预测的组Gp;
所述跟踪模块在确定新运动模型M时迭代地将所预测的组Gp和新组G匹配;
所述跟踪模块迭代地将所预测的组Gp和新组G匹配,包括所述跟踪模块确定初始的平移调节矢量ΔT,并且使用所述平移调节矢量ΔT迭代地调节平移矢量T;以及
所述跟踪模块使用下述中的至少一个确定所述初始的平移调节矢量ΔT:
局部点匹配方法;和
最大似然方法。
2.权利要求1所述的方法,还包括所述物体跟踪系统的预处理模块,其在识别所述新帧F的新点Xi的新组G的所述聚类模块之前处理所述新帧F,其中所述预处理模块处理所述新帧F包括所述预处理模块过滤所述新帧F以通过以下至少一者表示所述新帧F:
车辆参考坐标;和
地面参考坐标。
3.权利要求1的方法,其中,所述聚类模块基于所述新点X的某些之间的类同特性识别所述新帧F的新点Xi的新组G。
4.权利要求1的方法,其中,所述数据关联模块响应于确定在与所述新帧F相关的新的运动特性和表示所述物体的在先信息之间的关系,将所述新组G和所述物体相关联。
5.权利要求1的方法,其中,所述跟踪模块基于所述新组G确定对应于所述物体的所述新运动模型M,包括所述跟踪模块根据所述新组以及表示所述物体的一个或多个在先组G和表示所述物体的一个或多个在先运动模型这两者中的至少一者确定对应于所述物体的新运动模型M。
6.权利要求1所述的方法,其中:
所述跟踪模块根据表示所述物体的在先的运动模型M、在先的组G、以及平移矢量T产生所预测的组Gp;
所述所预测的组Gp对应于未来时间t+δt,并且根据下式确定:
,
其中是对应于未来时间t+δt的所预测的组Gp;
其中是在先的组G;
其中是平移矢量T;
所述平移矢量T包括X方向分量dx和Y方向分量dy;
所述平移分量根据代表所述物体的在先运动模型的速度Vt和速度方向θt来确定;以及
所述平移分量dx,dy根据下式与表示所述物体的在先运动模型的速度Vt以及速度方向θt相关:
,
其中,IN为单位矩阵。
7.权利要求1的方法,其中所述局部点匹配方法包括识别邻近预测点Xj,所述邻近预测点Xj为所预测的组Gp的位于新组G的每个新点Xi的特定距离内的点。
8.权利要求1的方法,其中,最大似然方法包括确定所述平移调节矢量ΔT以最大化所预测的组Gp与新组G匹配的似然度,包括将每个新点Xi匹配到所预测的组Gp的邻近预测点Xj,使得每个新点Xi和邻近预测点Xj之间的距离的集合最小化。
9.权利要求8的方法,其中最大似然方法还包括将所述平移调节矢量ΔT与所述平移矢量T相加来产生迭代平移矢量T’。
10.权利要求9的方法,其中最大似然方法包括所述跟踪模块确定所述迭代平移矢量T’是否收敛以将所预测的组Gp与新组G匹配。
11.权利要求1的方法,其中:
如果所述平移调节矢量ΔT的幅值在预定阈值以上,则迭代平移矢量T’进一步被迭代;和
如果所述平移调节矢量ΔT的幅值在所述预定阈值以内,则所述迭代平移矢量T’用于确定新的运动模型M的参数,包括使用所述迭代平移矢量T’的分量dx’、dy’来根据下列关系式确定所述新运动模型M的速度Vt和速度角θt:
和。
12.一种在车辆中使用以跟踪所述车辆外的物理物体的有形的、非暂时的计算机可读介质,所述计算机可读介质存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括以下的方法的步骤:
接收与物体相关的扫描数据并且使用扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于与所述物体相关的在先信息将所述新组G与所述物体关联;
基于所述新组G确定对应于所述物体的新运动模型M;
其中,所述指令在使得所述处理器基于所述新组G确定对应于所述物体的新运动模型M时,使得所述处理器产生所预测的组Gp;
所述指令在使得所述处理器确定所述新运动模型M时,使得所述处理器迭代地匹配所预测的组Gp和新组G;
迭代地将所预测的组Gp和新组G匹配,包括确定初始的平移调节矢量ΔT,并且使用所述平移调节矢量ΔT迭代地调节平移矢量T;以及
使用下述中的至少一个确定所述初始的平移调节矢量ΔT:
局部点匹配方法;和
最大似然方法。
13.一种运输车辆,包括:
距离传感器;
车载计算机系统,包括:
处理器;和
计算机可读介质,其存储指令,当所述指令被处理器执行时,其使得所述处理器执行包括下述的方法的步骤:
从所述距离传感器接收与物体相关的扫描数据并且使用所述扫描数据产生与新时间t+dt相关并且包括新点X的新帧F;
识别所述新帧F的新点Xi的新组G,其中i=1,……N,N为对应于新点的数目的正整数;
基于所述物体相关的在先信息将所述新组G与所述物体关联;
基于所述新组G确定对应于所述物体的新运动模型M;
其中,所述指令在使得所述处理器基于所述新组G确定对应于所述物体的所述新运动模型M时,使得处理器:
产生所预测的组Gp;和
迭代地将所述所预测的组Gp与新组G匹配;
迭代地将所预测的组Gp和新组G匹配,包括确定初始的平移调节矢量ΔT,并且使用所述平移调节矢量ΔT迭代地调节平移矢量T;以及
使用下述中的至少一个确定所述初始的平移调节矢量ΔT:
局部点匹配方法;和
最大似然方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/942456 | 2010-11-09 | ||
US12/942,456 US8818702B2 (en) | 2010-11-09 | 2010-11-09 | System and method for tracking objects |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102463990A CN102463990A (zh) | 2012-05-23 |
CN102463990B true CN102463990B (zh) | 2015-10-28 |
Family
ID=45971391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110351874.8A Active CN102463990B (zh) | 2010-11-09 | 2011-11-09 | 用于跟踪物体的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8818702B2 (zh) |
CN (1) | CN102463990B (zh) |
DE (1) | DE102011117585B4 (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9329269B2 (en) | 2012-03-15 | 2016-05-03 | GM Global Technology Operations LLC | Method for registration of range images from multiple LiDARS |
US9128185B2 (en) | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Methods and apparatus of fusing radar/camera object data and LiDAR scan points |
US9129211B2 (en) | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Bayesian network to track objects using scan points using multiple LiDAR sensors |
EP2654028B1 (en) * | 2012-04-20 | 2018-09-26 | Honda Research Institute Europe GmbH | Orientation sensitive traffic collision warning system |
CN103879404B (zh) * | 2012-12-19 | 2016-08-31 | 财团法人车辆研究测试中心 | 可追踪移动物体的防撞警示方法及其装置 |
AT515134A1 (de) * | 2013-11-29 | 2015-06-15 | Kuhn Andreas Dr | Kraftfahrzeug |
DE102014201382A1 (de) * | 2014-01-27 | 2015-07-30 | Robert Bosch Gmbh | Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem |
US9616886B2 (en) * | 2015-07-16 | 2017-04-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Size adjustment of forward objects for autonomous vehicles |
US11300663B2 (en) * | 2016-03-31 | 2022-04-12 | Nec Corporation | Method for predicting a motion of an object |
JP6194520B1 (ja) * | 2016-06-24 | 2017-09-13 | 三菱電機株式会社 | 物体認識装置、物体認識方法および自動運転システム |
CN106447698B (zh) * | 2016-09-28 | 2019-07-02 | 深圳市鸿逸达科技有限公司 | 一种基于距离传感器的多行人跟踪方法和系统 |
US10449956B2 (en) * | 2017-01-18 | 2019-10-22 | Ford Global Technologies, Llc | Object tracking by unsupervised learning |
US10254758B2 (en) | 2017-01-18 | 2019-04-09 | Ford Global Technologies, Llc | Object tracking by unsupervised learning |
WO2018195996A1 (en) * | 2017-04-28 | 2018-11-01 | SZ DJI Technology Co., Ltd. | Multi-object tracking based on lidar point cloud |
US10401862B2 (en) | 2017-10-31 | 2019-09-03 | Waymo Llc | Semantic object clustering for autonomous vehicle decision making |
US10713940B2 (en) | 2017-10-31 | 2020-07-14 | Waymo Llc | Detecting and responding to traffic redirection for autonomous vehicles |
AU2018358932B2 (en) * | 2017-10-31 | 2020-12-03 | Waymo Llc | Semantic object clustering for autonomous vehicle decision making |
US11017550B2 (en) * | 2017-11-15 | 2021-05-25 | Uatc, Llc | End-to-end tracking of objects |
US10816344B2 (en) * | 2018-03-07 | 2020-10-27 | Aptiv Technologies Limited | Method and system for determining the pointing angle of a moving object |
US10878580B2 (en) * | 2018-10-15 | 2020-12-29 | Tusimple, Inc. | Point cluster refinement processing of image data for LiDAR-based vehicle tracking system and method |
CN114924285B (zh) * | 2022-05-17 | 2024-09-13 | 中国人民解放军国防科技大学 | 改进的基于l形模型的激光雷达车辆跟踪方法、系统及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5587929A (en) * | 1994-09-02 | 1996-12-24 | Caterpillar Inc. | System and method for tracking objects using a detection system |
US6359586B1 (en) * | 1997-11-03 | 2002-03-19 | Saab Ab | Bias estimating method for a target tracking system |
CN101038164A (zh) * | 2006-03-13 | 2007-09-19 | 株式会社东芝 | 障碍物跟踪装置及其方法 |
DE102009007412A1 (de) * | 2009-02-04 | 2010-08-19 | Audi Ag | Verfahren zur Verfolgung wenigstens eines Objekts |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6085151A (en) * | 1998-01-20 | 2000-07-04 | Automotive Systems Laboratory, Inc. | Predictive collision sensing system |
AU2001241808A1 (en) * | 2000-02-28 | 2001-09-12 | Veridian Engineering, Incorporated | System and method for avoiding accidents in intersections |
DE10160719B4 (de) | 2001-12-11 | 2011-06-16 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Erkennung und Wiedererkennung von sich bewegenden Objekten |
JP4328692B2 (ja) * | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | 物体検出装置 |
JP4297501B2 (ja) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
JP3937414B2 (ja) * | 2004-08-11 | 2007-06-27 | 本田技研工業株式会社 | 平面検出装置及び検出方法 |
US7460951B2 (en) * | 2005-09-26 | 2008-12-02 | Gm Global Technology Operations, Inc. | System and method of target tracking using sensor fusion |
US7991550B2 (en) * | 2006-02-03 | 2011-08-02 | GM Global Technology Operations LLC | Method and apparatus for on-vehicle calibration and orientation of object-tracking systems |
DE102009051264A1 (de) | 2009-10-29 | 2010-09-09 | Daimler Ag | Verfahren zur Detektion und Verfolgung von Objekten in Bildsequenzen |
US8718323B2 (en) * | 2010-10-19 | 2014-05-06 | Raytheon Company | Batch detection association for enhanced target descrimination in dense detection environments |
-
2010
- 2010-11-09 US US12/942,456 patent/US8818702B2/en active Active
-
2011
- 2011-11-03 DE DE102011117585.0A patent/DE102011117585B4/de active Active
- 2011-11-09 CN CN201110351874.8A patent/CN102463990B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5587929A (en) * | 1994-09-02 | 1996-12-24 | Caterpillar Inc. | System and method for tracking objects using a detection system |
US6359586B1 (en) * | 1997-11-03 | 2002-03-19 | Saab Ab | Bias estimating method for a target tracking system |
CN101038164A (zh) * | 2006-03-13 | 2007-09-19 | 株式会社东芝 | 障碍物跟踪装置及其方法 |
DE102009007412A1 (de) * | 2009-02-04 | 2010-08-19 | Audi Ag | Verfahren zur Verfolgung wenigstens eines Objekts |
Non-Patent Citations (1)
Title |
---|
Recursive Clustering for Multiple Object Tracking;Dubuisson,Severine;《Image Processing,2006 IEEE International Conference on.IEEE,2006》;20061231;摘要、第2805-2808页 * |
Also Published As
Publication number | Publication date |
---|---|
US8818702B2 (en) | 2014-08-26 |
DE102011117585A1 (de) | 2012-05-10 |
US20120116662A1 (en) | 2012-05-10 |
DE102011117585B4 (de) | 2022-08-04 |
CN102463990A (zh) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102463990B (zh) | 用于跟踪物体的系统和方法 | |
CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
CN108256446B (zh) | 用于确定道路中的车道线的方法、装置和设备 | |
JP7090105B2 (ja) | 珍しい事例の分類 | |
WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
Wang et al. | Robust road modeling and tracking using condensation | |
CN106096525A (zh) | 一种复合型车道识别系统及方法 | |
CN108645375B (zh) | 一种用于车载双目系统快速车辆测距优化方法 | |
Li et al. | An adaptive 3D grid-based clustering algorithm for automotive high resolution radar sensor | |
CN110674705A (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
CN110836983A (zh) | 确定估计速度的不确定性估计的方法 | |
CN112200231A (zh) | 一种危险品车辆识别方法、系统、装置及介质 | |
Han et al. | Robust ego-motion estimation and map matching technique for autonomous vehicle localization with high definition digital map | |
CN111612818A (zh) | 新型双目视觉多目标跟踪方法及系统 | |
JP2017181476A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
CN112487861A (zh) | 车道线识别方法、装置、计算设备及计算机存储介质 | |
CN110413942B (zh) | 车道线方程筛选方法及其筛选模块 | |
JP6263453B2 (ja) | 運動量推定装置及びプログラム | |
CN116229385A (zh) | 一种基于卷积神经网络结合贪心算法的车辆3d多目标跟踪方法 | |
US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
JP2013069045A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
CN110781730B (zh) | 智能驾驶感知方法及感知装置 | |
CN109063543B (zh) | 一种考虑局部形变的视频车辆重识别方法、系统及装置 | |
CN110826468A (zh) | 一种辅助驾驶的基于车道线检测的车辆检测测距方法 | |
CN114049542A (zh) | 一种动态场景下基于多传感器的融合定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |