CN111771207A - 增强的车辆跟踪 - Google Patents

增强的车辆跟踪 Download PDF

Info

Publication number
CN111771207A
CN111771207A CN201980008142.3A CN201980008142A CN111771207A CN 111771207 A CN111771207 A CN 111771207A CN 201980008142 A CN201980008142 A CN 201980008142A CN 111771207 A CN111771207 A CN 111771207A
Authority
CN
China
Prior art keywords
moving objects
vehicle
estimating
future
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980008142.3A
Other languages
English (en)
Inventor
彼得·翁德鲁什卡
卢卡斯·普拉金斯基
苏拉杰·曼纳昆内尔·苏伦德兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota US Inc
Original Assignee
Blue Vision Labs UK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blue Vision Labs UK Ltd filed Critical Blue Vision Labs UK Ltd
Publication of CN111771207A publication Critical patent/CN111771207A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed

Abstract

本发明涉及一种在密集且不断变化的城市环境中准确预测观察到的物体的未来轨迹的方法和系统。更具体地，本发明涉及基本连续地跟踪并估计观察到的物体的未来运动。作为示例，观察到的物体可以是例如沿着路径或道路运动的车辆。方面和/或实施方式寻求提供一种端到端的方法和系统，以使用从地图数据中提取的运动先验数据来基本连续地跟踪并预测诸如车辆之类的新观察到的物体的未来运动。

Description

增强的车辆跟踪
技术领域
本发明涉及一种在密集且不断变化的城市环境中准确预测观察到的物体的未来轨迹的方法和系统。更具体地，本发明涉及基本连续地跟踪并估计观察到的物体的未来运动。例如，观察到的物体可以是例如沿着路径或道路运动的车辆。
背景技术
在动态环境中机器人感知和计划的基本任务是能够预测机器人平台周围情形的未来演变。例如，自动驾驶车辆需要知道关于其它车辆的位置和它们未来的运动，以规划和避免碰撞。
在机器人技术中，诸如路径规划和障碍回避之类的关键任务要求能够预测或估计机器人平台周围环境的演变。在涉及这种规划和感知时诸如城市交通之类的复杂环境提出了重大挑战。这样做的方法在降低碰撞风险(如道路事故)方面扮演重要作用。
目前，半结构化环境中的未来运动预测通常基于机器人平台或车辆周围的车辆的假设的运动动力学，例如通过使用卡尔曼滤波器。然而，共同的缺点是，这些方法常常概括了现实世界情况的巨大复杂性，诸如繁忙的交叉路口或转弯处，而导致不可靠的预测。类似地，通常无法使用简单的运动模型(如线性外推)可靠地预测在复杂情况中车辆的运动，特别是当预测范围大于几秒时。
另一种现有的方法是通过捕获并记录应表明车辆可能遵循的路径的交通规则而以语义地图的形式注释道路基础设施。这样做的好处是，如果驾驶员遵守交通规则，则地图数据可以用于推断汽车的预期运动。然而，生成这种可靠的地图并保持其更新所需的工作量是费时费力的。
本发明的目的是解决与现有技术相关联的缺点中的一个或更多个缺点。
发明内容
方面和/或实施方式寻求提供一种端到端的方法和系统，该方法和系统用于使用从地图数据中提取的运动先验数据以基本连续地跟踪并预测新观察到的物体(诸如车辆)的未来运动。
根据第一方面，提供了一种用于基本连续地跟踪并估计一个或更多个运动物体的姿态的方法，所述方法包括以下步骤：从至少一个视觉数据传感器接收一个或更多个图像；确定关于从视觉数据传感器接收到的一个或更多个图像的姿态数据；在基本连续的多个一个或更多个图像中检测所述一个或更多个运动物体的一个或更多个特性；以及使用所述一个或更多个运动物体的所检测到的一个或更多个特性以及来自一个或更多个先验运动物体的连续轨迹数据来估计一个或更多个运动物体的一个或更多个未来姿态。
可以通过评估在图像帧之间检测到的车辆的特性并将该车辆关联与先验轨迹运动数据的相结合，来准确地确定对车辆的未来位置的估计。通过提供端到端的流水线(pipeline)以无休止地逐步执行关联和运动预测，可以估计新检测到的物体(诸如车辆)的未来位置，而无需对道路基础设施或传统运动模型的任何了解。
可选地，确定姿态数据的步骤还包括：对所述图像或每个图像执行基于视觉的定位。可选地，该基于视觉的定位是使用由运动恢复结构算法所构造的3D地图来确定的。
使用视觉传感器执行定位允许使用现成组件或在现有和/或可用的相机硬件上提供软件层。
可选地，来自一个或更多个先验运动物体的连续轨迹数据是从使用运动恢复结构技术构造的3D地图中提取的。
从运动的结构中采集的信息可以用作强力的高保真先验，以在无需对道路基础设施或车辆运动模型的任何了解的情况下预测该区域中新观察到的车辆的未来轨迹。
可选地，检测所述一个或更多个运动物体的一个或更多个特性的步骤包括：使用边界框来表明运动物体已被检测到。
使用边界框可以允许检测的输出以易于操作员或人员理解查看叠加检测的视频片段的格式呈现。
可选地，检测所述一个或更多个运动物体的一个或更多个特性的步骤包括：针对物体类别的置信度分布。
对于是否已进行了检测的二元判定，可以使用例如被认为进行了检测的阈值而基于车辆是否已被检测到的概率。
可选地，检测所述一个或更多个运动物体的一个或更多个特性的步骤包括：使用Faster-RCNN物体检测器。可选地，Faster-RCNN被限制为仅对特定物体且在预定的阈值以上进行检测。
待由RCNN检测的特定物体可以被限于车辆。
可选地，估计一个或更多个运动物体的一个或更多个未来姿态的步骤包括：估计所述物体的3D位置。
姿态数据可以与位置和取向有关。
可选地，估计一个或更多个运动物体的一个或更多个未来姿态的步骤包括：假设一个或更多个运动物体中的每个运动物体均是新独立轨迹的一部分。可选地，确定一个或更多个运动物体中的每个运动物体是新独立轨迹的一部分的概率。
可以假设，新检测到的车辆与先前检测到的车辆不同，因此沿其自身的路径驶过。
可选地，估计一个或更多个运动物体的一个或更多个未来姿态的步骤还包括：假设一个或更多个运动物体中的每个运动物体是在现有轨迹上先前观察到的相同物体。可选地，确定一个或更多个运动物体中的每个运动物体是在现有轨迹上先前观察到的相同物体的概率。
在该步骤中，该方法假设新检测到的车辆与先前检测到的沿路径驶过的车辆相同，并且可以评估该假设是否正确。
可选地，确定所述概率包括：评估一个或更多个运动物体与在相同轨迹上先前观察到的运动物体的视觉外观的相似性。
评估视觉外观的相似性可以包括评估边界检测框内的车辆的特征。
可选地，视觉外观的相似性包括：提取图像中的一个或更多个运动物体和先前图像中的先前观察到的运动物体的SIFT特征。
可选地，确定所述概率还包括：将一个或更多个运动物体的所估计的3D位置与在后续图像中对3D位置的检测进行比较。可选地，包括使用重投影约束。
通过这种方式，具有最小重投影误差的估计可能是最佳候选。
可选地，确定所述概率还包括：根据与一个或更多个先验运动物体的相似性来估计未来姿态。
可选地，确定所述概率包括：对视觉外观的相似性进行任意组合，将所估计的3D位置与在后续图像中对3D位置的检测进行比较，以及根据与一个或更多个先验运动物体的相似性来估计未来姿态。
可选地，至少一个视觉数据传感器安装在运动物体上，并且包括以下各者中的任一者或其组合：图像相机；视频相机；单目相机；深度相机；立体图像相机；高动态范围相机，光检测和测距传感器；无线电检测和测距传感器；惯性测量单元。
通过这种方式，可以利用廉价的视觉传感器(诸如移动电话相机)来收集城市规模的运动模式和环境信息，这些模式和信息可以有效地用于轨迹预测，而无需任何明确的建模。在过去，某些方法依赖于校准安装在汽车上的立体设备，这样效率可能较低。
可选地，所述物体包括车辆、自行车、摩托车中的任一者或其组合。
可选地，基本实时地执行从至少一个视觉数据传感器接收一个或更多个图像的步骤。
根据另一方面，提供了一种用于基本连续地跟踪并估计一个或更多个运动物体的姿态的系统，该系统可操作以执行上述特征中的任一特征的方法。
根据另一方面，提供了一种用于基本连续地跟踪并估计一个或更多个运动物体的姿态的系统，该系统可操作以执行上述特征中的任一特征的方法，该系统包括：定位系统，其用于确定一个或更多个图像的姿态数据；卷积神经网络，其用于检测一个或更多个运动物体；以及运动预测系统，其用于基于来自与一个或更多个运动物体的位置附近相交的一个或更多个先验运动物体的连续轨迹数据来提供对未来姿态的估计。
根据另一方面，提供了一种用于提供任何前面所声明的方法或系统的计算机程序产品。
附图说明
现在将仅通过示例和参考具有相同参考标记的随附附图的方式来描述实施方式，在附图中：
图1示出了已知的线性外推模型的示例，该模型用于预测在交叉路口处所检测到的车辆的未来位置；
图2示出了实施方式的组件；
图2a描绘了实施方式的逻辑流程；
图3a和3b示出了实施方式使用的地图数据集；
图4、4a、4b和4c示出了实施方式使用的先验轨迹信息；
图5a和5b示出了根据实施方式生成的估计位置的样本；
图6描绘了实施方式的逻辑流程；
图7示出了根据实施方式生成的估计位置的样本；
图8示出了本发明的示例性实施方式，其用于预测在交叉路口处检测到的车辆的未来位置；以及
图9示出了在实施方式中如何使用重投影。
具体实施方式
图1描绘了当前预测未来运动的方法所看到的问题之一。更具体地，图示涉及依赖于运动数据的线性外推的运动模型。
该图显示四道道路交叉路口100的鸟瞰图。描绘了接近交叉路口的第一车辆101。第一车辆在第一时间t的位置显示为101a，并且第一车辆在第二时间t+1的位置显示为101b。第一车辆的轨迹被表示为直线路径103。
图中还描绘了第二车辆102。第二车辆在第一时间t(如102a所示)和第二时间t+1(如102b所示)通过交叉路口时出现在路中间。尽管在现实世界情况中，第二车辆的位置很可能位于由106表示的区域中，但使用线性运动模型，系统假设第二车辆沿着第二直线路径104驶过。根据这种解释，所述线性模型预期两个车辆在点105处碰撞，该点是第一直线路径103和第二直线路径104相交的点。
然而，任何了解交通规则和/或高速公路法规的人乍一看都会不同意线性运动模型预测的预期碰撞。由于线性运动模型未包含现实世界情况的曲线运动，所以没有考虑第二车辆在通过交叉路口106之后实际可能处于的位置的真实性质。因此，使用这些模型会导致对运动的车辆的未来位置的不准确和不可靠的估计。
以类似的方式，多年来已经提出了各种方法来对车辆运动动力学、驾驶员意图以及车辆与环境和邻近代理(agent)的相互作用进行理解和建模。在大多数情形下，运动预测涉及完全或部分依赖于车辆动力学模型。例如，一些方法比较并评估了若干用于跟踪车辆的运动模型。这些方法得出的结论是，恒定转弯速率和加速度模型(CTRA)表现最佳。其他方法包括恒定转弯速率和速度(CTRV)、恒定转向角和速度(CSAV)、恒定曲率和加速度(CCA)以及纯线性运动模型，诸如如前所述的恒定速度(CV)或恒定加速度(CA)。
这些模型通常与卡尔曼滤波或贝叶斯滤波结合以进行路径预测。然而，这些方法只能在未来很短的窗口执行预测。为了解决这个问题，一些模型将恒定的偏航率和加速度模型与操纵分类器相结合来预测车辆轨迹。但这些方法限于有限的情况，并受到操纵数量的约束。
与明确的精心设计的车辆动力学不同，动态贝叶斯网络、高斯混合模型、隐马尔可夫模型、神经网络或这些技术的组合被用于提供车辆动力学的数据驱动的方法。尽管这些方法比基于纯车辆动力学的方法具有更好的性能，但它们是针对特定的受限情况(例如高速公路)进行训练的，或者倾向于学习不利用环境特定线索(诸如所述区域内的交通模式、所述环境结构的变化等)的通用模型。
另外，估计车辆的未来运动的已知方法限于小的时间窗口，并且不足以能够连续地跟踪车辆。目前采用的一些跟踪方法使用环境线索进行3D跟踪。这些方法常常依赖于3D场景分析来增强对物体的跟踪。例如，通过查询城市交叉路口处的3D场景布局和物体位置，以及通过施行场景几何结构和显示3D的基于动力学的约束来执行3D物体跟踪。
一些方法利用地平面和3D位置先验来获取3D物体检测。然而，它们不执行3D跟踪，并且它们的地平面假设在涉及上坡和下坡的实际驾驶情况中失败。
现在将参考图2至图6描述示例实施方式。
该实施方式呈献了增强的端到端视觉跟踪流水线系统，用于连续跟踪配备相机的车辆周围的附近车辆的位置。这能够用作情形感知模块，以对附近的其他车辆的运动作出预测和反应。
如图2所示，流水线包括三个主要组件。高精度定位子系统201、基于卷积神经网络的汽车检测器202和运动预测子系统203。
如204所描绘，流水线的输入是以固定间隔Δt捕获的实时图像流I1,I2,…,It。作为示例，图像流可以由安装在车辆上的视觉传感器提供给流水线。对图像流进行逐帧迭代处理，并为每个处理步骤生成一组可见车辆的3D位置和速度
Figure BDA0002579353030000081
及其2D观察结果
Figure BDA0002579353030000082
对于接收到的每个新图像It，在3D空间中确定图像的精确姿态qt∈SE(3)。使用高精度定位子系统201执行所述步骤。尽管大规模视觉定位具有挑战性，但可以通过使用运动恢复结构的3D地图(诸如图3a和3b中所示的地图)执行基于特征的视觉定位来有效地执行。如下所述，运动恢复结构的地图可以是与提取先验运动数据的3D地图相同的3D地图。以这种方式，所捕获的图像姿态与稍后描述的2D-3D关联所需的区域中的先验运动样本准确对齐。
一旦通过所述定位组件处理了每个图像，然后就通过卷积神经网络202处理每个图像，以检测并生成在每个图像中观察到的车辆的列表
Figure BDA0002579353030000083
观察到的车辆以2D边界框的形式描绘在车辆周围，并且还计算针对物体类别的置信度分布等级。作为卷积神经网络(CNN)的示例，可以实现标准Faster-RCNN物体检测器，以仅考虑检测到的特定阈值以上的车辆。
在流水线的第三组件203中，预测每个观察结果的未来运动。当考虑车辆沿着路径的运动时，有两个选项要考虑。每个观察结果可以是现有跟踪的一部分(诸如先前在时间t′>t-T检测到车辆，其中T是流水线的跟踪窗口)，或者观察到的车辆是新跟踪的一部分。
相应地，对于每个检测到的车辆
Figure BDA0002579353030000091
以及每个先前检测到的车辆
Figure BDA0002579353030000092
假设系统观察到相同的车辆。在此过程中，系统会考虑车辆的先前位置
Figure BDA0002579353030000093
以及车辆的未来运动与先前车辆驶过相同区域的路径一致的可能性。这可以使用运动先验或先验轨迹数据G来实现。以同样的方式，还假设已经观察到新的车辆。用于整个跟踪流水线的逻辑流程在图2a中描绘。
对这两种情况进行考虑之后，为每个检测到的车辆
Figure BDA0002579353030000094
选择最可能的候选假设和相关联的估计姿态
Figure BDA0002579353030000095
如上所述的对先验车辆轨迹数据的使用可以被实现并且被用作如图3至图8所例示的描述单发运动预测系统的流水线的一部分。
所述单发运动预测系统的第一步是捕获与运动的车辆201的观察到的状态相关的数据。对于观察到的车辆，汽车或车辆的初始状态(s0)包括位置数据(x0∈R3)、旋转数据(r0∈SO(3))和速度数据(v0∈R)。这从数学上可以表示为：
s0＝(x0,r0,v0)
然后，该系统采集先前驶过检测到新的运动的车辆的区域的车辆的轨迹数据。尽管可以实施任何传统方法来获取此数据，但优选选项是从使用运动恢复结构技术所构造的地图数据中提取数据。这有利地使大量众包的高质量运动数据能够驱动本发明的运动预测。例如，能够通过为大批车辆安装相机以及以城市规模执行运动恢复结构来准确地重构造其轨迹从而收集此类数据。如下面将进一步阐述的，该数据能够用作所述区域中潜在运动分布的样本，并用于新观察到的汽车的未来运动预测。
运动恢复结构方法具有不需要人工注释的好处，因为它隐式捕获车辆运动的建模和未建模的方面，可缩放到大型城市规模的情况并随着数据量的增加而随着时间而改进。该数据通常是由在一段时间内连续的图像建立的。另外，每个图像还包括姿态信息，所述姿态信息能够用于车辆沿着其路径的位置、旋转和速度。
图3a和3b描绘了示例城市规模地图数据集。这些图中显示的数据集是使用安装在移动电话上的行车记录仪在旧金山和纽约捕获的超过一千万张图像编译而成的。这些图像被用于执行大规模的运动恢复结构，以在几个星期内重构城市中的准确的车辆轨迹。尽管执行移动电话的单目相机以导出如图所示的数据集，但是任何类型的视觉传感器都能够被用来编译初始连续图像数据。因此，可以自动提取先验轨迹数据作为构建大规模众包3D环境地图的副产物。
图4示出了从旧金山数据集中提取的由随机一批车辆生成的轨迹400，本发明将其用作先验轨迹数据。图4a、4b和4c分别对应于图4中的点410、420和430。这些图示出了所述一批车辆(401、402、403、404)所采用的几条路径及其各自的取向。这些图示出了车辆沿着曲线道路(图4a)、交叉路口(图4b)和直线道路(图4c)的运动。
以这种方式，本发明利用位置特定信息来进行准确的未来预测。代替学习全局通用模型或依赖于有限变量模型，本发明依赖于新检测到的车辆所在位置的历史车辆轨迹来基本实时地执行即时的未来位置预测。
如前所述，运动先验数据包括一大组单独的轨迹样本，这些样本包含过去行驶通过该区域的车辆的准确3D位置和旋转。这从数学上表示为G＝{G1,G2,…,GN}，其中每个轨迹
Figure BDA0002579353030000101
是在汽车围绕城市行驶时，汽车的以固定时间间隔t＝1,2,3…的一系列观察到的位置、旋转和速度。使用该系统，不需要使用手动注释或环境的语义注释或对交通规则的任何了解。取而代之的是，假设每个轨迹或路径都隐式捕获了车辆运动的行为中的所有相关本地和道路信息。
一旦获得先验轨迹信息，就将估计新观察到的车辆的若干未来位置。为了在t时间预测车辆的未来位置，假设新观察到的车辆遵循与同一位置处的先前车辆相同的路径和轨迹模式。具体地说，对于先验轨迹的每个先验状态
Figure BDA0002579353030000111
假设新观察到的车辆将遵循与从该状态继续生成先验轨迹的先前车辆相同的运动模式。根据此假设，车辆在未来的姿态很可能是：
Figure BDA0002579353030000112
其中，
Figure BDA0002579353030000113
是在查询状态(首次观察到新的车辆时)后t秒的先前行驶通过该区域的所观察到的车辆的姿态，并且∈是考虑到轨迹可能略有不同的随机噪声。在图5a和5b中可以看到估计的未来位置或样本的示例，其中501示出了在第一时间t的新观察到的车辆，并且502示出了在第二时间t+1的车辆的估计的未来位置。
基于先前车辆中的每个或任一先前车辆的先验位置和轨迹为新观察到的车辆估计了可能的未来位置，为了改进该估计，通过评估遵循一个或更多个样本的路径的所观察到的车辆的可能性来约束样本。
从数学上，未来姿态的分布是个体因素的加权总和：
Figure BDA0002579353030000114
其中，Z是归一化因子：
Figure BDA0002579353030000115
并且
Figure BDA0002579353030000116
测量新观察到的车辆的先验状态与当前状态的相似性，捕捉其确实能够遵循所显示的先验运动模式的可能性。这种相似性被建模为若干个体因素的总和：
Figure BDA0002579353030000117
其中，
Figure BDA0002579353030000121
是3D空间中的样本位置与车辆的观察到的位置之间的欧几里德距离，
Figure BDA0002579353030000122
是样本与观察到的车辆之间航向角的相对差，并且
Figure BDA0002579353030000123
且是线速度的差。参数σx、σr和σv对个体因素的相关性进行建模。
通过以这种方法对样本进行的约束，生成了对基于先验车辆数据的所观察到的车辆的未来位置的最有可能的估计。
因此，可以以封闭的形式明确地评估概率密度函数p(st|s0,G)。此外，通过根据相关因子K对相对应的先验状态
Figure BDA0002579353030000124
进行第一采样、对
Figure BDA0002579353030000125
执行表格查找并且添加噪声，能够有效地实施采样程序。如图6所描绘。
未来车辆运动预测的示例如图7所示。701表示在查询位置处的观察到的车辆和在时间t的速度。702和703的分组表示在t+5的时间车辆的预测样本的分布。值得注意的是，车辆前方的道路是与车辆运动相反方向的单向道路。该方法不需要对道路交通标志的任何手动输入，而是通过使用该区域中先前车辆的路径隐式捕获此信息。因此，对于所述车辆仅有的两种潜在选项是在交叉路口向左或向右转。
图5还示出了从先验数据中提取的样本。如图所示，采样遵循该区域中先验运动的先前观察到的轨迹，而参数σ对各个组件与观察到的车辆的状态的相关性进行建模。例如，σv的小值(图5a)会导致预测与新观察到的车辆的当前速度相匹配，而较大的σv(图5b)会导致未来的预测使用更广泛的先前观察到的初始速度采样。
在图1中，示出了使用线性外推的运动预测。相反，图8描绘了本发明的方法如何在相同的情况中预测车辆的未来运动。与依赖于轨迹的线性投影相反，801描绘了使用先验轨迹数据的车辆102的估计的未来位置的群集。
尽管示例了以上用于实施先验轨迹数据的方法，但是任何其他实现方式也可以与本发明一起使用。
如上所述，回到端对端流水线，对于每个检测到的汽车
Figure BDA0002579353030000131
假设
Figure BDA0002579353030000132
新观察结果与先前检测到的车辆
Figure BDA0002579353030000133
相同。这种考虑需要帧与帧的关联，因此，对于每个这样的假设，计算支持该假设的最有可能的3D姿态和速度
Figure BDA0002579353030000134
Figure BDA0002579353030000135
其可分解为：
p(st,ct|ct′,st′,qt,G)∝p(ct|ct′)p(st|ct,qt)p(st|st′,G)
其中：
-p(ct|ct′)是视觉外观上的相似性，
-p(st|ct)是在2D图像中观察到的车辆与其在3D空间中的位置的一致性，以及
-p(st|st′,G)是使用先验轨迹数据预测的未来运动的可能性，如通过图3至图8和以上所附段落例示的。
满足外观模型但违反先验运动模型的解决方案将具有较低的概率。类似地，当满足先验运动模型但不满足外观模型时，也将存在低概率。因此，一个好的解决方案满足所有的模型。
视觉外观p(ct|ct′)的一致性是通过检测到的两个车辆上的视觉匹配特征的数量来建模的。这是通过首先对两个图像It,It′的SIFT特征进行提取，然后对帧之间的描述符进行匹配来实现的。然后，将所述概率计算为ct与ct′之间的共享特征的比率。所述流水线考虑检测到的物体或车辆的边界框之间的共享特征，以确定它们的对应性。所述概率可以表示为：
Figure BDA0002579353030000136
重要的是，视觉外观概率与运动先验数据的组合产生可靠和准确的结果。例如，仅依靠视觉外观模型无法准确地表明针对观察到的车辆的行程方向或速度估计。
最后，为了确保车辆的估计的3D位置与其2D检测相对应，使用了重投影约束，如图9所示。所述2D到3D的一致性可以表示为：
Figure BDA0002579353030000141
其中π(xt,pt)是3D点xt进入位于位置pt的相机图像905It中的投影位置903。所述相机901还将被配备成提供准确的位置和取向。902表示实际的2D检测，而904表明重投影误差(以像素为单位)。
由于观察车辆的2D到3D一致性的模型和估计的未来运动模型是连续且可微的，因此可以使用经典的高斯-牛顿优化方法执行帧与帧关联模型的最大化。
与传统方法相比，该方法极大地提高了精度，并且随着先验数据量的增加，显示出不断提高的性能。因此，所述流水线提供了一种数据驱动的非参数方法，以在城市规模上预测车辆的运动，从而有效地从配备有单目相机的运动的汽车跟踪车辆。这种方法不需要任何形式的注释，并且易于扩展到城市大小的数据。
对于本发明，用于流水线的配备相机的车辆不必限于特定的视觉传感器配置。可以使用任何捕获车辆周围环境的视觉数据的方法(LIDAR、雷达或立体相机)。作为示例，单目相机，其不仅被认为是最普遍和最具成本效益的硬件平台，而且由于缺少对LIDAR或立体相机的深度感知因此最难以实施，也成功地针对该流水线系统进行了测试。测试结果表明，运动先验的使用缓解了与单目相机相关联的问题，并有助于准确预测周围车辆的正确运动。
如本文所描述的任何系统特征也可以被提供为方法特征，反之亦然。如本文所使用的，装置加功能特征可以根据它们的相对应的结构来替代地表达。
一个方面中的任何特征都可以以任何适当的组合应用于其他方面。特别地，方法方面可以应用于系统方面，反之亦然。此外，一个方面中的任何、某些和/或所有特征能够以任何适当的组合应用于任何其他方面中的任何、某些和/或所有特征。
还应当理解，在本发明的任何方面中描述和定义的各种特征的特定组合可以被独立地实施和/或提供和/或使用。

Claims (25)

1.一种用于基本连续地跟踪并估计一个或更多个运动物体的姿态的方法，所述方法包括以下步骤：
从至少一个视觉数据传感器接收一个或更多个图像；
确定关于从所述视觉数据传感器接收到的所述一个或更多个图像的姿态数据；
在基本连续的多个所述一个或更多个图像中检测所述一个或更多个运动物体的一个或更多个特性；以及
使用所述一个或更多个运动物体的所检测到的一个或更多个特性以及来自一个或更多个先验运动物体的连续轨迹数据来对所述一个或更多个运动物体的一个或更多个未来姿态进行估计。
2.根据权利要求1所述的方法，其中，确定姿态数据的步骤还包括：对所述图像或每个图像执行基于视觉的定位。
3.根据权利要求2所述的方法，其中，所述基于视觉的定位是使用由运动恢复结构算法所构造的3D地图来确定的。
4.根据任一前述权利要求所述的方法，其中，来自一个或更多个先验运动物体的连续轨迹数据是从使用运动恢复结构技术构造的3D地图中提取的。
5.根据任一前述权利要求所述的方法，其中，检测所述一个或更多个运动物体的一个或更多个特性的步骤包括：使用边界框来表明运动物体已被检测到。
6.根据任一前述权利要求所述的方法，其中，检测所述一个或更多个运动物体的一个或更多个特性的步骤包括：针对物体类别的置信度分布。
7.根据任一前述权利要求所述的方法，其中，检测所述一个或更多个运动物体的一个或更多个特性的步骤包括：使用Faster-RCNN物体检测器。
8.根据权利要求7所述的方法，其中，所述Faster-RCNN被限制为仅对特定物体且在预定的阈值以上进行检测。
9.根据任一前述权利要求所述的方法，其中，估计所述一个或更多个运动物体的一个或更多个未来姿态的步骤包括：估计所述物体的3D位置。
10.根据任一前述权利要求所述的方法，其中，估计所述一个或更多个运动物体的一个或更多个未来姿态的步骤包括：假设所述一个或更多个运动物体中的每个运动物体均是新独立轨迹的一部分。
11.根据权利要求10所述的方法，还包括：确定所述一个或更多个运动物体中的每个运动物体均是新独立轨迹的一部分的概率。
12.根据前述权利要求中的任一项所述的方法，其中，估计所述一个或更多个运动物体的一个或更多个未来姿态的步骤还包括：假设所述一个或更多个运动物体中的每个运动物体均是在现有轨迹上先前观察到的相同物体。
13.根据权利要求12所述的方法，还包括：确定所述一个或更多个运动物体中的每个运动物体均是在现有轨迹上先前观察到的相同物体的概率。
14.根据权利要求13所述的方法，其中，确定所述概率包括：评估所述一个或更多个运动物体与在相同轨迹上先前观察到的运动物体的视觉外观的相似性。
15.根据权利要求14所述的方法，其中，视觉外观的相似性包括：提取图像中的所述一个或更多个运动物体和先前图像中的先前观察到的运动物体的SIFT特征。
16.根据权利要求14或15所述的方法，其中，确定所述概率还包括：将所述一个或更多个运动物体的所估计的3D位置与在后续图像中对3D位置的检测进行比较。
17.根据权利要求16所述的方法，所述方法包括使用重投影约束。
18.根据权利要求16所述的方法，其中，确定所述概率还包括：根据与一个或更多个先验运动物体的相似性来估计所述未来姿态。
19.根据权利要求12至18中的任一项所述的方法，其中，确定所述概率包括：对视觉外观的相似性进行任意组合，将所估计的3D位置与在后续图像中对3D位置的检测进行比较，以及根据与一个或更多个先验运动物体的相似性来估计未来姿态。
20.根据任一前述权利要求所述的方法，其中，所述至少一个视觉数据传感器安装在运动物体上，并且包括以下各者中的任一者或其组合：图像相机；视频相机；单目相机；深度相机；立体图像相机；高动态范围相机，光检测和测距传感器；无线电检测和测距传感器；惯性测量单元。
21.根据任一前述权利要求所述的方法，其中，物体包括车辆、自行车、摩托车中的任一者或其组合。
22.根据任一前述权利要求所述的方法，其中，基本实时地执行从至少一个视觉数据传感器接收一个或更多个图像的步骤。
23.一种用于基本连续地跟踪并估计一个或更多个运动物体的姿态的系统，所述系统能够操作为执行根据任一权利要求1至22所述的方法。
24.一种用于基本连续地跟踪并估计一个或更多个运动物体的姿态的系统，所述系统能够操作为执行根据任一权利要求1至22所述的方法，所述系统包括：
定位系统，所述定位系统用于确定关于一个或更多个图像的姿态数据；
卷积神经网络，所述卷积神经网络用于检测一个或更多个运动物体；以及
运动预测系统，所述运动预测系统用于基于来自与所述一个或更多个运动物体的位置附近相交的一个或更多个先验运动物体的连续轨迹数据来提供对未来姿态的估计。
25.一种用于提供根据任一前述权利要求所述的方法或系统的计算机程序产品。
CN201980008142.3A 2018-03-15 2019-02-25 增强的车辆跟踪 Pending CN111771207A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GBGB1804195.4A GB201804195D0 (en) 2018-03-15 2018-03-15 Visual vehicle tracking through noise and occlusions using crowd-sourced maps
GB1804195.4 2018-03-15
GB1810797.9 2018-06-29
GBGB1810797.9A GB201810797D0 (en) 2018-03-15 2018-06-29 Enhanced vehicle tracking
PCT/GB2019/050515 WO2019175534A1 (en) 2018-03-15 2019-02-25 Enhanced vehicle tracking

Publications (1)

Publication Number Publication Date
CN111771207A true CN111771207A (zh) 2020-10-13

Family

ID=62017821

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980008142.3A Pending CN111771207A (zh) 2018-03-15 2019-02-25 增强的车辆跟踪
CN201980008090.XA Pending CN111788571A (zh) 2018-03-15 2019-02-25 车辆跟踪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980008090.XA Pending CN111788571A (zh) 2018-03-15 2019-02-25 车辆跟踪

Country Status (10)

Country Link
US (3) US10696300B2 (zh)
EP (2) EP3765997A1 (zh)
CN (2) CN111771207A (zh)
AU (2) AU2019235504B2 (zh)
CA (2) CA3086261A1 (zh)
GB (3) GB201804195D0 (zh)
IL (2) IL277317A (zh)
MX (2) MX2020007950A (zh)
SG (2) SG11202005922QA (zh)
WO (2) WO2019175534A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6882601B2 (ja) * 2018-05-17 2021-06-02 三菱電機株式会社 運転支援装置、運転支援方法、運転支援プログラム
US10914813B2 (en) * 2018-08-21 2021-02-09 Aptiv Technologies Limited Classifying potentially stationary objects tracked by radar
JP7169832B2 (ja) * 2018-09-27 2022-11-11 株式会社Subaru 車両の移動体監視装置、およびこれを用いる車両制御システム
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
DE102019102679A1 (de) * 2019-02-04 2020-08-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Bereitstellen eines Bahnverlaufs eines Objekts für ein Fahrzeug
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
CN111080671B (zh) * 2019-12-27 2023-06-23 深圳大学 一种基于深度神经网络的运动预测方法和智能终端
US11351993B2 (en) * 2020-01-17 2022-06-07 Denso Corporation Systems and methods for adapting a driving assistance system according to the presence of a trailer
US11878712B2 (en) * 2020-02-26 2024-01-23 Baidu Usa Llc Trajectory planning with obstacle avoidance for autonomous driving vehicles
US11604075B2 (en) * 2020-03-30 2023-03-14 Woven Planet North America, Inc. Systems and methods for deriving planned paths for vehicles using path priors
US11699239B2 (en) 2020-04-21 2023-07-11 The Board of Trustees of the University of Illinois (Urbana, IL) Image processing method and apparatus
US20210403008A1 (en) * 2020-06-29 2021-12-30 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle
US11776206B1 (en) * 2022-12-23 2023-10-03 Awe Company Limited Extended reality system and extended reality method with two-way digital interactive digital twins

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100104199A1 (en) * 2008-04-24 2010-04-29 Gm Global Technology Operations, Inc. Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN102169366A (zh) * 2011-03-18 2011-08-31 汤牧天 三维立体空间中的多目标跟踪方法
US20140078304A1 (en) * 2012-09-20 2014-03-20 Cloudcar, Inc. Collection and use of captured vehicle data
US20140327792A1 (en) * 2013-05-02 2014-11-06 Qualcomm Incorporated Methods for facilitating computer vision application initialization
CN107010053A (zh) * 2015-10-20 2017-08-04 罗伯特·博世有限公司 用于选择优化轨迹的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0005750D0 (en) 2000-03-10 2000-05-03 Mathengine Plc Image display apparatus and method
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US9495874B1 (en) * 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
WO2016092650A1 (ja) 2014-12-10 2016-06-16 三菱電機株式会社 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
US9547309B2 (en) 2015-05-13 2017-01-17 Uber Technologies, Inc. Selecting vehicle type for providing transport
US9483948B1 (en) * 2015-08-07 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and pedestrians
WO2017035663A1 (en) 2015-09-03 2017-03-09 Miovision Technologies Incorporated System and method for detecting and tracking objects
US9983591B2 (en) 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US9846050B2 (en) 2016-03-21 2017-12-19 Ford Global Technologies, Llc Systems, methods, and devices for communicating drive history path attributes
CN105717661B (zh) 2016-04-14 2018-06-26 维林光电(苏州)有限公司 一种基于低时间相干和低空间相干的零散斑激光器及其制备方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100104199A1 (en) * 2008-04-24 2010-04-29 Gm Global Technology Operations, Inc. Method for detecting a clear path of travel for a vehicle enhanced by object detection
CN102169366A (zh) * 2011-03-18 2011-08-31 汤牧天 三维立体空间中的多目标跟踪方法
US20140078304A1 (en) * 2012-09-20 2014-03-20 Cloudcar, Inc. Collection and use of captured vehicle data
US20140327792A1 (en) * 2013-05-02 2014-11-06 Qualcomm Incorporated Methods for facilitating computer vision application initialization
CN107010053A (zh) * 2015-10-20 2017-08-04 罗伯特·博世有限公司 用于选择优化轨迹的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAVID HELD 等: "Precision tracking with sparse 3D and dense color 2D data", 《IEEE》, 17 October 2013 (2013-10-17) *
刘军学;屈桢深;任行行;郭隽;闻帆;: "基于改进运动历史图像的多运动目标实时跟踪", 计算机应用, no. 1, 15 June 2008 (2008-06-15) *

Also Published As

Publication number Publication date
IL277317A (en) 2020-10-29
US20200377084A1 (en) 2020-12-03
US11299151B2 (en) 2022-04-12
GB201810797D0 (en) 2018-08-15
CN111788571A (zh) 2020-10-16
SG11202005922QA (en) 2020-07-29
CA3087250A1 (en) 2019-09-19
US10696300B2 (en) 2020-06-30
GB201810796D0 (en) 2018-08-15
MX2020007950A (es) 2020-09-24
AU2019235504A1 (en) 2020-10-08
US20190323852A1 (en) 2019-10-24
EP3765998A1 (en) 2021-01-20
AU2019233779B2 (en) 2022-03-10
US20190322275A1 (en) 2019-10-24
IL277318A (en) 2020-10-29
EP3765997A1 (en) 2021-01-20
US10668921B2 (en) 2020-06-02
CA3086261A1 (en) 2019-09-19
GB201804195D0 (en) 2018-05-02
WO2019175534A1 (en) 2019-09-19
AU2019233779A1 (en) 2020-10-08
MX2020007949A (es) 2020-09-24
WO2019175533A1 (en) 2019-09-19
AU2019235504B2 (en) 2022-03-17
SG11202005921SA (en) 2020-07-29

Similar Documents

Publication Publication Date Title
CN111771207A (zh) 增强的车辆跟踪
Song et al. Real-time obstacles detection and status classification for collision warning in a vehicle active safety system
Geiger et al. 3d traffic scene understanding from movable platforms
Pool et al. Using road topology to improve cyclist path prediction
Laugier et al. Probabilistic analysis of dynamic scenes and collision risks assessment to improve driving safety
WO2018229549A2 (en) System and method for digital environment reconstruction
Dueholm et al. Trajectories and maneuvers of surrounding vehicles with panoramic camera arrays
Erbs et al. Moving vehicle detection by optimal segmentation of the dynamic stixel world
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
CN110576847A (zh) 基于焦点的对传感器数据的标记
Goldhammer et al. Pedestrian's trajectory forecast in public traffic with artificial neural networks
Gies et al. Environment perception framework fusing multi-object tracking, dynamic occupancy grid maps and digital maps
JP2021082286A (ja) 車線変更の検出を改良するためのシステム、非一時的コンピュータ可読媒体および方法
Shapovalov et al. Robust localization of a self-driving vehicle in a lane
Sanberg et al. From stixels to asteroids: Towards a collision warning system using stereo vision
Colling et al. HD lane map generation based on trail map aggregation
Abdelhalim A real-time computer vision based framework for urban traffic safety assessment and driver behavior modeling using virtual traffic lanes
Bhattacharyya et al. 3D scene understanding at urban intersection using stereo vision and digital map
Suraj et al. Visual vehicle tracking through noise and occlusions using crowd-sourced maps
Mehrabi A probabilistic framework for dynamic object recognition in 3d environment with a novel continuous ground estimation method
Nino Context and Behavioral Analysis for Pedestrians in the Domain of Self-Driving
Chandratre Traffic Accident Reconstruction Using Monocular Dashcam Videos
KR20230070868A (ko) 시맨틱 분할 이미지 및 시맨틱 포인트 클라우드 맵 기반의 전체론적 매칭을 통한 위치 추정 장치 및 방법
CN117795566A (zh) 传感器数据中三维对象的感知
Sattarov et al. Context-based vector fields for multi-object tracking in application to road traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028825

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210817

Address after: California, USA

Applicant after: Owen planet North America Co.,Ltd.

Address before: London

Applicant before: BLUE VISION LABS UK Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Wowang Toyota USA Co.,Ltd.

Address before: California, USA

Applicant before: Owen planet North America Co.,Ltd.