CN111788571A - 车辆跟踪 - Google Patents

车辆跟踪 Download PDF

Info

Publication number
CN111788571A
CN111788571A CN201980008090.XA CN201980008090A CN111788571A CN 111788571 A CN111788571 A CN 111788571A CN 201980008090 A CN201980008090 A CN 201980008090A CN 111788571 A CN111788571 A CN 111788571A
Authority
CN
China
Prior art keywords
data
future
priori
motion
moving objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980008090.XA
Other languages
English (en)
Inventor
彼得·翁德鲁什卡
卢卡斯·普拉金斯基
苏拉杰·曼纳昆内尔·苏伦德兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota US Inc
Original Assignee
Blue Vision Labs UK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Vision Labs UK Ltd filed Critical Blue Vision Labs UK Ltd
Publication of CN111788571A publication Critical patent/CN111788571A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Mechanical Engineering (AREA)
  • Algebra (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种在密集且不断变化的城市环境中准确预测观察到的物体的未来轨迹的方法和系统。更具体地，本发明涉及使用从映射数据中提取的先验轨迹来估计所观察到的物体的未来运动。例如，观察到的物体可以是运动的车辆。方面和/或实施方式寻求提供一种方法和系统，该方法和系统用于使用从地图数据中提取的运动先验数据来预测诸如车辆之类的新观察到的物体的未来运动。

Description

车辆跟踪
技术领域
本发明涉及一种在密集且不断变化的城市环境中准确预测观察到的物体的未来轨迹的方法和系统。更具体地，本发明涉及使用从映射数据中提取的先验轨迹来估计所观察到的物体的未来运动。例如，观察到的物体可以是运动的车辆。
背景技术
在动态环境中机器人感知和规划的基本任务是能够预测机器人周围情况的未来演变。例如，自动驾驶车辆需要知道其它车辆的位置和它们未来的运动，以规划和避免碰撞。
在机器人技术中，诸如路径规划和障碍回避之类的关键任务要求能够预测或估计机器人周围环境的演变。在涉及这种规划和感知时诸如城市交通之类的复杂环境提出了重大挑战。这样做的方法在降低碰撞风险(如道路事故之类的)方面扮演重要作用。
目前，半结构化环境下的未来运动预测通常基于机器人或车辆周围的车辆的假设的运动动力学，例如通过使用卡尔曼滤波器。然而，共同的缺点是，这些方法常常概括了现实世界情况的巨大复杂性，诸如繁忙的十字路口或转弯处，从而导致不可靠的预测。类似地，通常无法使用简单的运动模型(如线性外推)可靠地预测在复杂情况中车辆的运动，特别是当预测范围大于几秒时。
另一种现有的方法是通过捕获并记录应表明车辆可能遵循的路径的交通规则而以语义地图的形式注释道路基础设施。这样做的好处是，如果驾驶员遵守交通规则，则地图数据就可以用于推断汽车的预期运动。然而，生成这种可靠的地图并保持其更新所需的工作量是费时费力的。
本发明的目的是解决与现有技术相关联的缺点中的一个或更多个缺点。
发明内容
方面和/或实施方式寻求提供一种方法和系统，该方法和系统用于使用从地图数据中提取的运动先验数据来预测新观察到的物体(诸如，车辆之类)的未来运动。
根据第一方面，提供一种估计物体的运动的方法，所述方法包括：接收所述物体在第一时间处的初始状态数据；接收关于与所述物体的位置附近相交的一个或多个先验运动物体的连续轨迹数据；根据关于所述一个或更多个先验运动物体的连续轨迹数据估计所检测的物体在第二时间处的未来位置；以及根据所述物体与连续轨迹数据和所述物体的位置附近相交的所述一个或更多个先验运动物体之间的比较来约束所述物体的未来位置，其中，所检测的物体的受约束的未来位置表明所述物体在第二时间处的估计运动。
通过将观察到的物体(诸如车辆)的当前位置与同一区域中的其他物体或车辆先前所显示的运动的数据集相关联，可以确定对所述物体的未来位置的准确预测。通过这种方式，可以估计新检测到的物体(诸如车辆)的未来位置，而无需对道路基础设施或传统运动模型的任何了解。
可选地，物体的初始状态数据包括3D空间中的位置、旋转和速度。
可选地，检测并确定所述初始状态数据的步骤，其中，确定所述物体的初始状态数据包括计算关于所述物体的姿态数据。姿态数据可以与所检测的物体的位置和取向相关。
可选地，所述连续轨迹数据还包括：关于一个或更多个先验运动物体的一系列观察到的状态。通过这种方式，驶过一区域的先前车辆的每个轨迹路径数据包括通过该路径的多个状态信息。可选地，关于所述一个或更多个先验运动物体的观察到的状态包括：所述物体在规则的时间间隔处的位置、旋转和速度。
可选地，所述连续轨迹数据是从用于构造环境的3D地图的数据中提取的。
可选地，接收所述连续轨迹数包括：使用所述一个或更多个先验运动物体中的至少一个视觉数据传感器。可选地，所述至少一个视觉数据传感器包括以下各者中的任一者或其组合：图像相机；视频相机；单目相机；深度相机；立体图像相机；高动态范围相机，光检测和测距传感器；无线电检测和测距传感器；惯性测量单元。
通过这种方式，可以利用廉价的视觉传感器(诸如移动电话相机)来收集城市规模的运动模式和环境信息，这些模式和信息可以有效地用于轨迹预测，而无需任何明确的建模。在过去，某些方法依赖于校准安装在汽车上的立体设备，这样效率可能较低。
可选地，接收所述连续轨迹数据包括：执行运动恢复结构。从运动恢复结构中采集的信息可以用作强力的高保真先验，以在无需对道路基础设施的知识或车辆运动模型的任何了解的情况下预测该区域中新观察到的车辆的未来轨迹。
可选地，估计所述物体的未来位置还包括：假设所述物体遵循与所述物体处于相同位置的所述一个或更多个先验运动物体中的每个先验运动物体的轨迹路径。
可选地，估计所述物体的未来位置还包括：使用来自所述一个或更多个先验运动物体的位置数据。
通过将观察到的汽车的当前位置与该区域中先前所显示的运动的大型数据集相关联，我们可以直接对其未来位置执行预测。此外，使用大规模的地面和运动先验会导致更准确的未来预测。
可选地，估计所述物体的未来位置还包括：估计所述物体的未来姿态。
可选地，未来姿态估计包括：包含随机噪声模型以便考虑到所述轨迹中的偏差。通过这种方式，随机噪声模型可以补偿大量的异常道路或环境事件。
可选地，所述未来姿态估计是先前已经与所述物体的位置附近相交的先验运动物体在时间间隔之后的所观察到的姿态。
可选地，约束所检测的物体的未来位置还包括：确定所述一个或更多个先验运动物体与所述物体之间的状态比较。通过这种方式，可以在先验信息与所检测的物体之间提取相似性或差异。
可选地，所述差异或相似性包括以下各者中的任一者或其组合：3D空间中的欧几里德距离的差异或相似性；航向角的相对差异；以及线性速度的差异。
可选地，对所述物体的未来位置的约束被加权以便输出更宽或更窄的样本集。通过这样做，该方法可以更加重视特定分量，诸如距离、速度或旋转。
可选地，约束所述物体的未来位置包括：根据状态缩窄所估计的未来位置。
可选地，所述物体和/或所述一个或更多个先验运动物体包括里程计系统。
可选地，所述物体包括车辆、自行车、摩托车中的任一者或其组合。
可选地，估计所述物体的运动是基本实时地执行的。先验数据和神经网络的使用可以用于为新检测到的物体提供瞬时估计。
根据另一方面，提供了一种用于估计物体的运动的系统，该系统可操作为执行任何前述特征的方法。
根据另一方面，提供了一种用于估计物体的运动的系统，该系统可操作为执行任何前述特征的方法，该系统包括：预测系统，其用于接收所述物体在第一时间处的初始状态数据并且估计所述物体的未来运动；以及环境数据库，其用于存储与所述物体的位置附近相交的一个或更多个先验运动物体的连续轨迹数据。
可选地，所述预测系统和环境数据库是所述系统的模块化部件。通过这种方式，所述系统将所述预测系统与环境知识数据库分离，从而使得环境先验能够易于更新。
根据另一方面，提供了一种用于提供任何前面所声明的方法或系统的计算机程序产品。
附图说明
图1示出了已知线性外推模型的示例，该模型用于预测在交叉路口处所检到的测车辆的未来位置；
图2示出了根据实施方式的流程图；
图3a和3b示出了实施方式所使用的地图数据集；
图4、4a、4b和4c示出了实施方式所使用的先验轨迹信息；
图5a和5b示出了根据实施方式生成的估计位置的样本；
图6描述了实施方式的逻辑流程；
图7示出了根据实施方式生成的估计位置的样本；以及
图8示出了本发明的示例实施方式，其用于预测在交叉路口处所检测到的车辆的未来位置。
具体实施方式
图1描绘了当前预测未来运动的方法所看到的问题之一。更具体地，图示涉及依赖于运动数据的线性外推的运动模型。
该图显示四道道路交叉路口100的鸟瞰图。描绘了接近交叉路口的第一车辆101。第一车辆在第一时间t处的位置显示为101a，并且第一车辆在第二时间t+1的位置显示为101b。第一车辆的轨迹被表示为直线路103。
图中还描绘了第二车辆102。第二车辆在第一时间t处(如102a所示)和第二时间t+1处(如102b所示)通过交叉路口时出现在路中间。尽管在现实世界情况中，第二车辆的位置很可能位于由106表示的区域中，但使用线性运动模型，系统假设第二车辆沿着第二直线路径104驶过。根据这种解释，所述线性模型预期两个车辆在点105处碰撞，该点是所述第一直线路径103和第二104直线路径相交的点。
然而，任何了解交通规则和/或高速公路法规的人乍一看都会不同意线性运动模型预测的预期碰撞。由于线性运动模型未包含现实世界情况的曲线运动，所以没有考虑第二车辆在通过交叉路口106之后实际可能处于的位置的真实性质。因此，使用这些模型会导致对运动的车辆的未来位置的不准确和不可靠的估计。
以类似的方式，多年来已经提出了各种方法来对车辆运动动力学、驾驶员意图以及车辆与环境和邻近代理之间的相互作用进行理解和建模。在大多数情形下，运动预测涉及完全或部分依赖于车辆动力学模型。例如，一些方法比较并评估了若干用于跟踪车辆的运动模型。这些方法得出的结论是，恒定转弯速率和加速度模型(CTRA)表现最佳。其他方法包括恒定转弯速率和速度(CTRV)、恒定转向角和速度(CSAV)、恒定曲率和加速度(CCA)以及纯线性运动模型，诸如如前所述的恒定速度(CV)或恒定加速度(CA)。
这些模型通常与卡尔曼滤波或贝叶斯滤波结合以进行路径预测。然而，这些方法只能在未来很短的窗口执行预测。为了解决这个问题，一些模型将恒定的偏航率和加速度模型与操纵分类器相结合来预测车辆轨迹。但这些方法限于有限的情况，并受到操纵数量的约束。
与明确的精心设计的车辆动力学不同，动态贝叶斯网络、高斯混合模型、隐马尔可夫模型、神经网络或这些技术的组合被用于提供车辆动力学的数据驱动的方法。尽管这些方法比基于纯车辆动力学的方法具有更好的性能，但它们是针对特定的受限情况(例如高速公路)进行训练的，或者倾向于学习不利用环境特定线索(诸如所述区域内的交通模式、所述环境结构的变化等)的通用模型。
现在将参考图2至图6描述示例实施方式。
如图2所示，本发明所实现的方法的第一步是检测诸如车辆的运动的物体，并捕获与运动的车辆201的观察状态相关的数据。对最初用于检测运动的车辆的方法没有限制。作为示例，可以结合使用神经网络来识别物体，并将边界框置于在表示所述物体的像素周围。
汽车的初始状态(s0)包括位置数据(x0∈R3)、旋转数据(r0∈SO(3))和速度数据(v0∈R)。这从数学上可以表示为：
s0＝(x0,r0,v0)
如步骤202所示，该方法随后将先前驶过检测到新的运动的车辆的区域的车辆的轨迹数据汇总在一起。尽管可以实施任何传统方法来获取此数据，但优选选项是从使用运动恢复结构技术所构造的地图数据中提取数据。这有利地使大量众包的高质量运动数据能够驱动本发明的运动预测。例如，能够通过为大批车辆安装相机以及以城市规模执行运动恢复结构来准确地重构造其轨迹从而收集此类数据。如下面将进一步阐述的，该数据能够用作所述区域中潜在运动分布的样本，并用于新观察到的汽车的未来运动预测。
运动恢复结构方法具有不需要人工注释的好处，因为它隐式捕获车辆运动的建模和未建模的方面，可缩放到大型城市规模的情况并随着数据量的增加而随着时间而改进。该数据通常是由在一段时间内连续的图像建立的。另外，每个图像还包括姿态信息，所述姿态信息能够用于车辆沿着其路径的位置、旋转和速度。
图3a和3b描绘了示例城市规模地图数据集。这些图中显示的数据集是使用安装在移动电话上的行车记录仪在旧金山和纽约捕获的超过一千万张图像编译而成的。这些图像被用于执行大规模的运动恢复结构，以在几个星期内重构城市中的准确的车辆轨迹。尽管执行移动电话的单目相机以导出如图所示的数据集，但是任何类型的视觉传感器都能够被用来编译初始连续图像数据。因此，可以自动提取先验轨迹数据作为构建大规模众包3D环境地图的副产物。
图4示出了从旧金山数据集中提取的由随机一批车辆生成的轨迹400，本发明将其用作先验轨迹数据。图4a、4b和4c分别对应于图4中的点410、420和430。这些图示出了所述一批车辆(401、402、403、404)所采用的几条路径及其各自的取向。这些图示出了车辆沿着曲线道路(图4a)、交叉路口(图4b)和直线道路(图4c)的运动。
通过这种方式，本发明利用位置特定信息来进行准确的未来预测。代替学习全局通用模型或依赖于有限变量模型，本发明依赖于新检测到的车辆所在位置的历史车辆轨迹来基本地实时执行即时的未来位置预测。
如前所述，运动先验数据包括一大组单独的轨迹样本，这些样本包含过去行驶通过该区域的车辆的准确3D位置和旋转。着从数学上表示为G＝{G1,G2,…,GN}，其中每个轨迹
Figure BDA0002579045670000081
是在汽车围绕城市行驶时，汽车在规则的时间间隔t＝1,2,3…处的一系列观察到的位置、旋转和速度。使用此方法，不需要使用手动注释或环境的语义注释或对交通规则的任何了解。取而代之的是，假设每个轨迹或路径都隐式捕获了车辆运动的行为中的所有相关本地和道路信息。
回到参考图2，一旦获得先验轨迹信息，就估计新观察到的车辆的若干未来位置203。为了在t时间预测车辆的未来位置，假设新观察到的车辆遵循与同一位置处的先前车辆相同的路径和轨迹模式。具体地说，对于先验轨迹的每个先验状态
Figure BDA0002579045670000091
假设新观察到的车辆将遵循与从该状态继续生成先验轨迹的先前车辆相同的运动模式。根据此假设，车辆在未来的姿态很可能是:
Figure BDA0002579045670000092
其中，
Figure BDA0002579045670000093
是在查询状态(首次观察到新的车辆时)后t秒的先前行驶通过该区域的所观察到的车辆的姿态，并且∈是考虑到轨迹可能略有不同的随机噪声。在图5a和5b中可以看到估计的未来位置或样本的示例，其中501示出了在第一时间t处的新观察到的车辆，并且502示出了在第二时间t+1的车辆的估计的未来位置。
在基于先前车辆中的每个或任一先前车辆的先验位置和轨迹为新观察到的车辆估计了可能的未来位置之后，为了改进该估计，通过评估遵循一个或更多个样本的路径的所观察到的车辆的可能性来约束样本204。
从数学上，未来姿态的分布是个体因素的加权总和：
Figure BDA0002579045670000094
其中，Z是归一化因子：
Figure BDA0002579045670000095
并且
Figure BDA0002579045670000096
测量新观察到的车辆的先验状态与当前状态的相似性，捕捉其确实能够遵循所显示的先验运动模式的可能性。这种相似性被建模为若干个体因素的总和：
Figure BDA0002579045670000101
其中，
Figure BDA0002579045670000102
是3D空间中的样本位置与车辆的观察到的位置之间的欧几里德距离，
Figure BDA0002579045670000103
是样本与观察到的车辆之间航向角的相对差，并且
Figure BDA0002579045670000104
且是线速度的差。所述参数σx、σr和σv对个体因素的相关性进行建模。
通过以这种方法对样本进行的约束，生成了对基于先验车辆数据的所观察到的车辆的未来位置的最有可能的估计。
因此，可以以封闭的形式明确地评估概率密度函数p(st|s0,G)。此外，通过根据相关因子K对相对应的先验状态
Figure BDA0002579045670000105
进行第一采样、对
Figure BDA0002579045670000106
执行表格查找并且添加噪声，能够有效地实施采样程序如图6所描绘。。
未来车辆运动预测的示例如图7所示。701表示在查询位置处的观察到的车辆和在时间t的速度。702和703的分组表示在t+5的时间车辆的预测样本的分布。值得注意的是，车辆前方的道路是与车辆运动相反方向的单向道路。该方法不需要对道路交通标志的任何手动输入，而是通过使用该区域中先前车辆的路径隐式捕获此信息。因此，对于所述车辆仅有的两种潜在选项是在交叉路口向左或向右转。
图5还示出了从先验数据中提取的样本。如图所示，采样遵循该区域中先验运动的先前观察到的轨迹，而参数σ对各个部件与观察到的车辆的状态的相关性进行建模。例如，σv的小值(图5a)会导致预测与新观察到的车辆的当前速度相匹配，而较大的σv(图5b)会导致未来的预测使用更广泛的先前观察到的初始速度采样。
在图1中，示出了使用线性外推的运动预测。相反，图8描绘了本发明的方法如何在相同的情况中预测车辆的未来运动。与依赖于轨迹的线性投影相反，801描绘了使用先验轨迹数据的车辆102的估计的未来位置的群集。
另外，出于车辆安全和自主的目的，本发明能够普遍地用作各种车辆跟踪系统中的运动预测步骤。该系统可用于在各种环境和交通状况下大规模驱动运动预测。具体来说，通过创建车辆运动先验的大规模的准确数据集作为构建众包的城市规模的3D环境地图的副产物，并使用从该区域提取的先验数据来预测新的车辆的未来位置。
与传统方法相比，该方法极大地提高了精度，并且随着先验数据量的增加，显示出不断提高的性能。
如本文所描述的任何系统特征也可以被提供为方法特征，反之亦然。如本文所使用的，装置加功能特征可以根据它们的相对应的结构来替代地表达。
一个方面中的任何特征都可以以任何适当的组合应用于其他方面。特别地，方法方面可以应用于系统方面，反之亦然。此外，一个方面中的任何、某些和/或所有特征能够以任何适当的组合应用于任何其他方面中的任何、某些和/或所有特征。
还应当理解，在本发明的任何方面中描述和定义的各种特征的特定组合可以被独立地实施和/或提供和/或使用。

Claims (25)

1.一种用于对物体的运动进行估计的方法，所述方法包括：
接收所述物体在第一时间处的初始状态数据；
接收关于与所述物体的位置附近相交的一个或更多个先验运动物体的连续轨迹数据；
根据关于所述一个或更多个先验运动物体的所述连续轨迹数据，对所检测的物体在第二时间处的未来位置进行估计；以及
根据所述物体与所述连续轨迹数据和所述物体的位置附近相交的所述一个或更多个先验运动物体之间的比较来约束所述物体的未来位置，其中
所检测的物体的受约束的未来位置表明所述物体在所述第二时间处的估计运动。
2.根据权利要求1所述的方法，其中，物体的初始状态数据包括3D空间中的位置、旋转和速度。
3.根据任一前述权利要求所述的方法，还包括检测并确定所述初始状态数据的步骤，其中，确定所述物体的所述初始状态数据包括计算关于所述物体的姿态数据。
4.根据任一前述权利要求所述的方法，其中，所述连续轨迹数据还包括：关于一个或更多个先验运动物体的一系列观察到的状态。
5.根据权利要求4所述的方法，其中，关于所述一个或更多个先验运动物体的观察到的状态包括：所述物体的在规则的时间间隔处的位置、旋转和速度。
6.根据任一前述权利要求所述的方法，其中，所述连续轨迹数据是从用于构造环境的3D地图的数据中提取的。
7.根据任一前述权利要求所述的方法，其中，接收所述连续轨迹数据包括：使用所述一个或更多个先验运动物体中的至少一个视觉数据传感器。
8.根据权利要求7所述的方法，其中，所述至少一个视觉数据传感器包括以下各者中的任一者或其组合：图像相机；视频相机；单目相机；深度相机；立体图像相机；高动态范围相机，光检测和测距传感器；无线电检测和测距传感器；惯性测量单元。
9.根据任一前述权利要求所述的方法，其中，接收所述连续轨迹数据包括执行运动恢复结构。
10.根据任一前述权利要求所述的方法，其中，对所述物体的未来位置进行估计还包括：假设所述物体遵循与所述物体处于相同位置的所述一个或多个先验运动物体中的每个先验运动物体的轨迹路径。
11.根据任一前述权利要求所述的方法，其中，对所述物体的未来位置进行估计还包括：使用来自所述一个或更多个先验运动物体的位置数据。
12.根据任一前述权利要求所述的方法，其中，对所述物体的未来位置进行估计还包括对所述物体的未来姿态进行估计。
13.根据权利要求12所述的方法，其中，对所述未来姿态的估计包括：包含随机噪声模型以便考虑到所述轨迹中的偏差。
14.根据权利要求12或13所述的方法，其中，对所述未来姿态的估计是先前已经与所述物体的位置附近相交的先验运动物体在时间间隔之后的所观察到的姿态。
15.根据权利要求1、4和5所述的方法，其中，约束所述物体的未来位置还包括：确定所述一个或更多个先验运动物体与所述物体之间的状态比较。
16.根据权利要求15所述的方法，其中，差异包括以下各者中的任一者或其组合：
3D空间中的欧几里德距离的差异；
航向角的相对的差异；以及
线性速度的差异。
17.根据权利要求15或16所述的方法，其中，约束所述物体的未来位置被加权以便输出更宽或更窄的样本集。
18.根据任一前述权利要求所述的方法，其中，约束所述物体的未来位置包括：根据状态缩窄所估计的未来位置。
19.根据任一前述权利要求所述的方法，其中，所述物体和/或所述一个或更多个先验运动物体包括里程计系统。
20.根据任一前述权利要求所述的方法，其中，所述物体包括车辆、自行车、摩托车中的任一者或其组合。
21.根据任一前述权利要求所述的方法，其中，对所述物体的运动进行估计是基本实时地进行的。
22.一种用于对物体的运动进行估计的系统，所述系统能够操作为执行根据任一权利要求1至21所述的方法。
23.一种用于对物体的运动进行估计的系统，所述系统能够操作为执行根据任一权利要求1至21所述的方法，所述系统包括：
预测系统，所述预测系统用于接收所述物体在第一时间处的初始状态数据并且对所述物体的未来运动进行估计；以及
环境数据库，所述环境数据库用于存储关于与所述物体的位置附近相交的一个或更多个先验运动物体的连续轨迹数据。
24.根据前一权利要求所述的系统，其中，所述预测系统和所述环境数据库是所述系统的模块化部件。
25.一种用于提供根据任一前述权利要求所述的方法或系统的计算机程序产品。
CN201980008090.XA 2018-03-15 2019-02-25 车辆跟踪 Pending CN111788571A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GBGB1804195.4A GB201804195D0 (en) 2018-03-15 2018-03-15 Visual vehicle tracking through noise and occlusions using crowd-sourced maps
GB1804195.4 2018-03-15
GBGB1810796.1A GB201810796D0 (en) 2018-03-15 2018-06-29 Vehicle tracking
GB1810796.1 2018-06-29
PCT/GB2019/050514 WO2019175533A1 (en) 2018-03-15 2019-02-25 Vehicle tracking

Publications (1)

Publication Number Publication Date
CN111788571A true CN111788571A (zh) 2020-10-16

Family

ID=62017821

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980008090.XA Pending CN111788571A (zh) 2018-03-15 2019-02-25 车辆跟踪
CN201980008142.3A Pending CN111771207A (zh) 2018-03-15 2019-02-25 增强的车辆跟踪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980008142.3A Pending CN111771207A (zh) 2018-03-15 2019-02-25 增强的车辆跟踪

Country Status (10)

Country Link
US (3) US10696300B2 (zh)
EP (2) EP3765998A1 (zh)
CN (2) CN111788571A (zh)
AU (2) AU2019235504B2 (zh)
CA (2) CA3086261A1 (zh)
GB (3) GB201804195D0 (zh)
IL (2) IL277317A (zh)
MX (2) MX2020007950A (zh)
SG (2) SG11202005921SA (zh)
WO (2) WO2019175533A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106125B (zh) * 2018-05-17 2022-06-10 三菱电机株式会社 驾驶支援装置、驾驶支援方法
US10914813B2 (en) * 2018-08-21 2021-02-09 Aptiv Technologies Limited Classifying potentially stationary objects tracked by radar
JP7169832B2 (ja) * 2018-09-27 2022-11-11 株式会社Subaru 車両の移動体監視装置、およびこれを用いる車両制御システム
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
DE102019102679A1 (de) * 2019-02-04 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Bereitstellen eines Bahnverlaufs eines Objekts für ein Fahrzeug
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
CN111080671B (zh) * 2019-12-27 2023-06-23 深圳大学 一种基于深度神经网络的运动预测方法和智能终端
US11351993B2 (en) * 2020-01-17 2022-06-07 Denso Corporation Systems and methods for adapting a driving assistance system according to the presence of a trailer
JP7225262B2 (ja) * 2020-02-26 2023-02-20 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車の障害物回避に関する軌跡計画
US11604075B2 (en) 2020-03-30 2023-03-14 Woven Planet North America, Inc. Systems and methods for deriving planned paths for vehicles using path priors
US11699239B2 (en) 2020-04-21 2023-07-11 The Board of Trustees of the University of Illinois (Urbana, IL) Image processing method and apparatus
US20210403008A1 (en) * 2020-06-29 2021-12-30 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle
US11776206B1 (en) * 2022-12-23 2023-10-03 Awe Company Limited Extended reality system and extended reality method with two-way digital interactive digital twins

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0005750D0 (en) * 2000-03-10 2000-05-03 Mathengine Plc Image display apparatus and method
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
CN102169366B (zh) * 2011-03-18 2012-11-07 汤牧天 三维立体空间中的多目标跟踪方法
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
US20140078304A1 (en) * 2012-09-20 2014-03-20 Cloudcar, Inc. Collection and use of captured vehicle data
EP2992507B1 (en) * 2013-05-02 2018-07-25 Qualcomm Incorporated Methods for facilitating computer vision application initialization
US10235768B2 (en) * 2014-12-10 2019-03-19 Mitsubishi Electric Corporation Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium
US9547309B2 (en) 2015-05-13 2017-01-17 Uber Technologies, Inc. Selecting vehicle type for providing transport
US9483948B1 (en) 2015-08-07 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and pedestrians
WO2017035663A1 (en) 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and method for detecting and tracking objects
DE102015220360A1 (de) * 2015-10-20 2017-04-20 Robert Bosch Gmbh Verfahren zur Auswahl einer optimierten Trajektorie
US9983591B2 (en) 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
EP3391339A2 (en) 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
US9846050B2 (en) 2016-03-21 2017-12-19 Ford Global Technologies, Llc Systems, methods, and devices for communicating drive history path attributes
CN105717661B (zh) 2016-04-14 2018-06-26 维林光电(苏州)有限公司 一种基于低时间相干和低空间相干的零散斑激光器及其制备方法

Also Published As

Publication number Publication date
CA3087250A1 (en) 2019-09-19
US11299151B2 (en) 2022-04-12
AU2019233779B2 (en) 2022-03-10
MX2020007949A (es) 2020-09-24
US20190322275A1 (en) 2019-10-24
US10668921B2 (en) 2020-06-02
US20190323852A1 (en) 2019-10-24
GB201804195D0 (en) 2018-05-02
IL277317A (en) 2020-10-29
EP3765998A1 (en) 2021-01-20
IL277318A (en) 2020-10-29
GB201810796D0 (en) 2018-08-15
AU2019235504A1 (en) 2020-10-08
US10696300B2 (en) 2020-06-30
CN111771207A (zh) 2020-10-13
GB201810797D0 (en) 2018-08-15
AU2019233779A1 (en) 2020-10-08
CA3086261A1 (en) 2019-09-19
MX2020007950A (es) 2020-09-24
SG11202005922QA (en) 2020-07-29
US20200377084A1 (en) 2020-12-03
WO2019175534A1 (en) 2019-09-19
EP3765997A1 (en) 2021-01-20
WO2019175533A1 (en) 2019-09-19
SG11202005921SA (en) 2020-07-29
AU2019235504B2 (en) 2022-03-17

Similar Documents

Publication Publication Date Title
US10696300B2 (en) Vehicle tracking
CN111670468B (zh) 移动体行为预测装置以及移动体行为预测方法
EP4145393B1 (en) Vehicle localization
Pool et al. Using road topology to improve cyclist path prediction
Dueholm et al. Trajectories and maneuvers of surrounding vehicles with panoramic camera arrays
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
Goldhammer et al. Pedestrian's trajectory forecast in public traffic with artificial neural networks
Rabe et al. Ego-lane estimation for lane-level navigation in urban scenarios
GB2562049A (en) Improved pedestrian prediction by using enhanced map data in automated vehicles
KR20220054743A (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
Gies et al. Environment perception framework fusing multi-object tracking, dynamic occupancy grid maps and digital maps
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
Suraj et al. Predicting trajectories of vehicles using large-scale motion priors
Chipka et al. Estimation and navigation methods with limited information for autonomous urban driving
Chipka et al. Autonomous urban localization and navigation with limited information
Perla et al. Implementation of Autonomous Cars using Machine Learning
Colling et al. HD lane map generation based on trail map aggregation
Rabe Lane-Precise Localization with Production Vehicle Sensors and Application to Augmented Reality Navigation
Azarchenkov et al. Algorithm for Predicting the Trajectory of Road Users to Automate Control of an Autonomous Vehicle
US10650553B2 (en) Method of image processing and image processing device
Nino Context and Behavioral Analysis for Pedestrians in the Domain of Self-Driving
CN117795566A (zh) 传感器数据中三维对象的感知
Ustunel et al. Iterative Range and Road Parameters Estimation Using Monocular Camera on Highways
Santacroce Obstacles Detection and Global Mapping Algorithm for an Autonomous Racecar
KR20230070884A (ko) 파티클 필터를 이용하여 객체의 위치를 추정하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40029688

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210816

Address after: California, USA

Applicant after: Owen planet North America Co.,Ltd.

Address before: London

Applicant before: BLUE VISION LABS UK Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Wowang Toyota USA Co.,Ltd.

Address before: California, USA

Applicant before: Owen planet North America Co.,Ltd.