CN111771371A - 用于在线实时多对象跟踪的系统和方法 - Google Patents

用于在线实时多对象跟踪的系统和方法 Download PDF

Info

Publication number
CN111771371A
CN111771371A CN201980015452.8A CN201980015452A CN111771371A CN 111771371 A CN111771371 A CN 111771371A CN 201980015452 A CN201980015452 A CN 201980015452A CN 111771371 A CN111771371 A CN 111771371A
Authority
CN
China
Prior art keywords
data
similarity
tracking
image frame
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980015452.8A
Other languages
English (en)
Other versions
CN111771371B (zh
Inventor
葛凌廷
陈鹏飞
王泮渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Priority to CN202310319481.1A priority Critical patent/CN116342655A/zh
Publication of CN111771371A publication Critical patent/CN111771371A/zh
Application granted granted Critical
Publication of CN111771371B publication Critical patent/CN111771371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于在线实时多对象跟踪的系统和方法。特定实施例可以被配置为：从与自主运载工具相关联的至少一个相机接收图像帧数据；生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间相比较的相似度相对应的相似度数据；使用相似度数据来生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间的最好匹配相对应的数据关联结果；根据数据关联结果来引起针对每个对象的有限状态机中的状态转变；并且提供与针对每个对象的有限状态机的状态相对应的对象跟踪输出数据作为输出。

Description

用于在线实时多对象跟踪的系统和方法
相关申请的交叉引用
本专利文件要求于2018年2月27日提交的题为“SYSTEM AND METHOD FOR ONLINEREAL-TIME MULTI-OBJECT TRACKING”的美国专利申请号15/906,561的优先权和权益，通过引用将其整体并入本文。
技术领域
本专利文件总体上涉及用于图像处理、对象跟踪、运载工具控制系统以及自主驾驶系统的工具(系统、装置、方法、计算机程序产品、等等)，并且更具体地但非限制地涉及用于在线实时多对象跟踪的系统和方法。
背景技术
多对象跟踪(MOT)是已经在过去几年里在研究和工业两方面都受到大量关注的计算机视觉中的热门话题。MOT在安全和监控、视频通信、以及自动驾驶或自主运载工具中具有各种应用。
多对象跟踪可以被划分为两类：在线MOT和离线MOT。这两种跟踪之间的区别在于，在线跟踪可以仅使用先前图像帧的信息用于推理，而离线跟踪可以使用整个视频序列的信息。尽管离线跟踪可以比在线跟踪更好地执行，但是在一些情景(诸如自动驾驶汽车)中，仅在线跟踪可以被使用；因为，后面的图像帧无法用于执行针对当前图像帧的推理分析。
最近，一些在线MOT系统已经通过使用深度学习方法(诸如卷积神经网络(CNN)和长短期记忆(LSTM))实现了最先进的性能。然而，所有这些方法无法在维持高性能的同时实现实时速度。此外，其他传说的实时在线MOT系统，诸如使用仅卡尔曼滤波器或马尔可夫决策过程(MDP)的那些系统，也无法实现要在实践中被使用的足够的性能。因此，需要具有更好性能的改进的实时在线MOT系统。
发明内容
公开了一种用于在线实时多对象跟踪的系统和方法。在本文描述的各种示例实施例中，我们介绍了一种在线实时多对象跟踪系统，其以超过30帧每秒(FPS)的实时速度实现了最先进的性能。如本文所公开的用于在线实时多对象跟踪的示例系统和方法可以提供在线实时MOT方法，其中，每个对象通过有限状态机(FSM)建模。在视频馈送中的图像帧之间匹配对象可以被认为是有限状态机中的转变。另外，各种示例实施例还可以提取针对每个对象的运动特征和外观特征以改进跟踪性能。此外，卡尔曼滤波器可以用于从对象检测的结果中减少噪声。
在所公开的技术的示例实施例中，视频馈送中的每个对象通过有限状态机建模，并且整个跟踪过程被划分成四个阶段：1)相似度计算，2)数据关联，3)状态转变，以及4)后处理。在第一阶段中，对象模板或先前对象数据与对象检测结果之间的相似度被计算。指示该相似度的数据用于第二阶段中的数据关联。第二阶段的数据关联可以使用相似度数据来找到先前对象数据与当前图像帧中的对象检测结果之间的最优或最好匹配。然后，每个对象根据数据关联的结果来转变其状态。最后，后处理操作用于在最终跟踪输出中平滑针对每个对象的边界框。
在所公开的技术的另一示例实施例中，一种系统包括数据处理器以及可由数据处理器运行的在线实时多对象跟踪系统。在线实时多对象跟踪系统被配置为执行用于自主运载工具的在线实时多对象跟踪操作。在线实时多对象跟踪操作被配置为：从与自主运载工具相关联的至少一个相机接收图像帧数据；生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间相比较的相似度相对应的相似度数据；使用相似度数据来生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间的最好匹配相对应的数据关联结果；根据数据关联结果来引起针对每个对象的有限状态机中的状态转变；并且提供与于针对每个对象的有限状态机的状态相对应的对象跟踪输出数据作为输出。
在所公开的技术的另一示例实施例中，一种方法包括：从与自主运载工具相关联的至少一个相机接收图像帧数据；生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间相比较的相似度相对应的相似度数据；使用相似度数据来生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间的最好匹配相对应的数据关联结果；根据数据关联结果来引起针对每个对象的有限状态机中的状态转变；并且提供与针对每个对象的有限状态机的状态相对应的对象跟踪输出数据作为输出。
在所公开的技术的另一示例实施例中，一种体现指令的非瞬态机器可用存储介质，指令当由机器运行时使机器：从与自主运载工具相关联的至少一个相机接收图像帧数据；生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间相比较的相似度相对应的相似度数据；使用相似度数据来生成与先前图像帧中的对象数据和来自当前图像帧的对象检测结果之间的最好匹配相对应的数据关联结果；根据数据关联结果来引起针对每个对象的有限状态机中的状态转变；并且提供与针对每个对象的有限状态机的状态相对应的对象跟踪输出数据作为输出。
在所公开的技术的另一示例实施例中，一种操作实时多对象跟踪系统的方法包括：从当前图像帧获取图像数据；标识图像数据中的目标对象；使用初始化分类器来确定目标对象是否是真实对象；并且如果目标不是真实对象，则引起目标对象的检测结果转变到移除状态；如果目标对象是从未被跟踪的真实对象，则引起目标对象的检测结果转变到跟踪状态；如果目标对象与已经在先前图像帧中被跟踪并丢失的处于丢失状态的真实对象匹配，则引起目标对象的检测结果转变到跟踪状态；如果目标对象与已经在先前图像帧中被跟踪的处于跟踪状态的真实对象匹配，则引起目标对象的检测结果保持处于跟踪状态。
附图说明
在附图中的各图中通过示例的方式而非限制的方式来说明各个实施例，在附图中：
图1图示了其中可以实现示例实施例的运载工具内图像处理模块的示例生态系统的框图；
图2图示了通过有限状态机建模的单个对象，以及在示例实施例中用于执行多对象跟踪的方法；
图3是图示了用于在线实时多对象跟踪的系统和方法的示例实施例的操作流图；
图4图示了用于对示例实施例的在线实时多对象的跟踪的系统的部件；
图5是图示了用于在线实时多对象跟踪的系统和方法的示例实施例的过程流图；以及
图6示出了以计算机系统的示例形式的机器的图解表示，在该计算机系统内，指令集当被运行时可以使该机器执行本文讨论的方法中的任何一种或多种。
具体实施方式
在下面的描述中，为了解释的目的，阐述了许多具体细节以提供对各种实施例的透彻理解。然而，对于本领域普通技术人员将明显的是，可以在没有这些具体细节的情况下实践各种实施例。
如在各种示例实施例中所描述的，本文描述了一种用于在线实时多对象跟踪的系统和方法。本文公开的示例实施例可以在运载工具生态系统101中的运载工具中控制系统150的上下文中被使用。在一个示例实施例中，具有存在于运载工具105内的在线实时多对象跟踪模块200的运载工具中控制系统150可以如图1中图示的架构和生态系统101那样被配置。然而，对于本领域普通技术人员将明显的是，本文描述和要求保护的实时多对象跟踪模块200也可以被实现、配置和使用在各种其他应用和系统中。
现在参考图1，框图图示了示例生态系统101，示例实施例的运载工具中控制系统150和实时多对象跟踪模块200可以被实现于其中。这些部件在下文更详细地进行描述。生态系统101包括可以生成和/或递送一个或多个信息/数据源和相关服务到运载工具中控制系统150和实时多对象跟踪模块200(其可以被安装在运载工具105中)的各种系统和部件。例如，作为运载工具子系统140的设备之一的安装在运载工具105中的相机可以生成可以由运载工具中控制系统150接收的图像和计时数据(例如，视频馈送(video feed))。安装在运载工具105中的相机中的一个或多个可以前置或侧置或被取向为捕获运载工具105的侧面上的图像。在其中运行的运载工具中控制系统150和实时多对象跟踪模块200可以接收该图像和计时数据或视频馈送输入。如下文更详细地描述的，实时多对象跟踪模块200可以处理图像输入并提取对象特征，其可以由作为运载工具子系统140的子系统中的另一子系统的自主运载工具控制子系统使用。自主运载工具控制子系统例如可以使用实时提取的对象特征来安全地且有效地导航和控制运载工具105通过实时驾驶环境，同时避免障碍物并安全地控制运载工具。
在如本文所描述的示例实施例中，运载工具中控制系统150可以与多个运载工具子系统140(其全部可以存在于用户的运载工具105中)数据通信。运载工具子系统接口141被提供以促进在运载工具中控制系统150与多个运载工具子系统140之间的数据通信。运载工具中控制系统150可以被配置为包括数据处理器171以运行实时多对象跟踪模块200，以用于处理从运载工具子系统140中的一个或多个接收的图像数据。数据处理器171可以与数据存储设备172组合作为运载工具中控制系统150中的计算系统170的部分。数据存储设备172可以用于存储数据、处理参数以及数据处理指令。处理模块接口165可以被提供以促进在数据处理器171与实时多对象跟踪模块200之间的数据通信。在各种示例实施例中，类似于实时多对象跟踪模块200被配置的多个处理模块可以被提供用于由数据处理器171运行。如由图1中的虚线所示出的，实时多对象跟踪模块200可以被集成到运载工具中控制系统150中、可选地被下载到运载工具中控制系统150，或者与运载工具中控制系统150分开部署。
运载工具中控制系统150可以被配置为在广域网120和连接到其的网络资源122之间接收或发送数据。运载工具中web启用设备130和/或用户移动设备132可以用于经由网络120进行通信。web启用设备接口131可以由运载工具中控制系统150用于促进经由运载工具中web启用设备130在运载工具中控制系统150与网络120之间的数据通信。类似地，用户移动设备接口133可以由运载工具中控制系统150用于促进经由用户移动设备132在运载工具中控制系统150与网络120之间的数据通信。以这种方式，运载工具中控制系统150可以获得经由网络120对网络资源122的实时访问。网络资源122可以用于获得用于由数据处理器171运行的处理模块、用于训练内部神经网络的数据内容、系统参数、或其他数据。
生态系统101可以包括广域数据网络120。网络120表示一个或多个常规广域数据网络，诸如互联网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等。这些网络120中的一个或多个可以用于将用户或客户端系统与网络资源122(诸如网站、服务器、中央控制站点等)连接。网络资源122可以生成和/或分布数据，其可以经由运载工具中web启用设备130或用户移动设备132被接收到运载工具105中。网络资源122还可以托管网络云服务，其可以支持用于计算或辅助处理图像输入或图像输入分析的功能。天线可以用于经由蜂窝、卫星、无线电、或其他常规信号接收机制将运载工具中控制系统150和实时多对象跟踪模块200与数据网络120连接。这样的蜂窝数据网络是当前可用的(例如，VerizonTM、AT&TTM、T-MobileTM等)。这样的基于卫星的数据或内容网络也是当前可用的(例如，SiriusXMTM、HughesNetTM等)。常规广播网络，诸如AM/FM无线电网络、寻呼机网络、UHF网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络等也是众所周知的。因此，如下文更详细地描述的，运载工具中控制系统150和实时多对象跟踪模块200可以经由运载工具中web启用设备接口131(其可以用于将与运载工具中web启用设备接收器130和网络120连接)接收基于web的数据或内容。以这种方式，运载工具中控制系统150和实时多对象跟踪模块200可以支持来自运载工具105内的各种网络可连接的运载工具中设备和系统。
如图1所示，运载工具中控制系统150和实时多对象跟踪模块200还可以从用户移动设备132(其可以位于运载工具105内部或附近)接收数据、图像处理控制参数、以及训练内容。用户移动设备132可以表示标准移动设备，诸如蜂窝电话、智能电话、个人数字助理(PDA)、MP3播放器、平板计算设备(例如，iPadTM)、膝上型计算机、CD播放器、以及其他移动设备，其可以产生、接收和/或递送用于运载工具中控制系统150和实时多对象跟踪模块200的数据、图像处理控制参数以及内容。如图1所示，移动设备132还可以与网络云120进行数据通信。移动设备132可以经由网络120从移动设备132本身的内部存储器部件或从网络资源122源取数据和内容。另外，移动设备132可以本身在移动设备中包括GPS数据接收器、加速度计、WiFi三角测量、或其他地理位置传感器或部件，其可以用于在任何时刻(经由移动设备)确定用户的实时地理位置。在任何情况下，运载工具中控制系统150和实时多对象跟踪模块200可以从如图1所示的移动设备132接收数据。
仍然参考图1，生态系统101的示例实施例可以包括运载工具操作子系统140。对于被实现在运载工具105内的实施例，许多标准运载工具包括操作子系统，诸如电子控制单元(ECU)，用于发动机、刹车、传动、电气系统、排放系统、内部环境等的支持监控/控制子系统。例如，经由运载工具子系统接口141从运载工具操作子系统140(例如，运载工具105的ECU)传送到运载工具中控制系统150的数据信号可以包括关于运载工具105的部件或子系统中的一个或多个的状态的信息。特别地，从运载工具操作子系统140传送到运载工具105的控制器区域网络(CAN)总线的数据信号可以由运载工具中控制系统150经由运载工具子系统接口141接收和处理。本文描述的系统和方法的实施例可以与基本上任何使用如本文所定义的CAN总线或类似的数据通信总线的机械化系统(包括但不限于工业装备、船、卡车、机器、或汽车)一起使用；因此，如本文所定义的术语“运载工具”可以包括任何这样的机械化系统。本文描述的系统和方法的实施例也可以与任何采用某种形式的网络数据通信的系统一起使用；然而，这样的网络通信不是必需的。
仍然参考图1，生态系统101的示例实施例和其中的运载工具操作子系统140可以包括支持运载工具105的操作的各种运载工具子系统。一般，运载工具105可以采取以下形式：例如汽车、卡车、摩托车、公交车、船、飞机、直升机、割草机、挖土机、雪地汽车、飞行器、休旅车、游乐园运载工具、农场设备、施工设备、有轨电车、高尔夫球车、火车以及电车。其他运载工具也是可能的。运载工具105可以被配置为完全或部分以自主模式操作。例如，运载工具105可以在处于自主模式时控制自身，并且可以可操作用于确定运载工具及其环境的当前状态、确定环境中的至少一个其他运载工具的预测行为、确定可以与至少一个其他运载工具执行预测行为的可能性相对应的置信度水平、以及基于所确定的信息来控制运载工具105。在处于自主模式时，运载工具105可以被配置为在没有人类交互的情况下进行操作。
运载工具105可以包括各种运载工具子系统，诸如运载工具驱动子系统142、运载工具传感器子系统144、运载工具控制子系统146以及占用者接口子系统148。如以上所描述的，运载工具105还可以包括运载工具中控制系统150、计算系统170、以及实时多对象跟踪模块200。运载工具105可以包括更多或更少子系统，并且每个子系统可以包括多个元件。另外，运载工具105的子系统和元件中的每个可以被相互连接。因此，运载工具105的所描述的功能中的一个或多个可以被划分成附加的功能或物理部件或被组合成更少的功能或物理部件。在一些另外的示例中，附加的功能和物理部件可以被添加到由图1图示的示例。
运载工具驱动子系统142可以包括可操作用于为运载工具105提供有动力的运动的部件。在示例实施例中，运载工具驱动子系统142可以包括发动机或马达、车轮/轮胎、传动、电气子系统、以及功率源。发动机或马达可以是内燃机、电力马达、蒸汽机、燃料电池发动机、丙烷发动机、或其他类型的发动机或马达的任何组合。在一些示例实施例中，发动机可以被配置为将功率源转换成机械能。在一些示例实施例中，运载工具驱动子系统142可以包括多种类型的发动机或马达。例如，油电混合汽车可以包括汽油发动机和电力马达。其他示例是可能的。
运载工具105的车轮可以是标准轮胎。运载工具105的车轮可以以各种规格来配置，例如包括单轮车、自行车、三轮车、或四轮规格(诸如汽车或卡车上)。其他车轮几何结构是可能的，诸如包括六个或更多个车轮的那些。车轮105的车轮的任何组合可以可操作用于相对于其他运载工具不同地旋转。车轮可以表示被固定地附接到传动的至少一个车轮和被耦合到可以与驱动表面进行接触的车轮的轮辋的至少一个轮胎。车轮可以包括金属和橡胶的组合，或材料的另一组合。传动可以包括可操作用于将机械功率从发动机传送到车轮的元件。出于该目的，传动可以包括变速箱、离合器、差速器以及驱动轴。传动也可以包括其他元件。驱动轴可以包括可以被耦合到一个或多个车轮的一个或多个车轴。电气系统可以包括可操作用于传输和控制运载工具105中的电信号的元件。这些电信号可以用于激活运载工具105的灯、伺服、电动马达、以及其他电气驱动或控制的设备。功率源可以表示可以完全或部分地对发动机或马达供能的能量源。即，发动机或马达可以被配置为将功率源转换成机械能。功率源的示例包括汽油、柴油、其他基于石油的燃料、丙烷、基于其他压缩气体的燃料、乙醇、燃料电池、太阳能电池板、电池和其他电力来源。功率源可以附加地或备选地包括燃油箱、电池、电容器、或飞轮的任何组合。功率源也可以为运载工具105的其他子系统提供能量。
运载工具传感器子系统144可以包括被配置为感测关于运载工具105的环境或状况的信息的许多传感器。例如，运载工具传感器子系统144可以包括惯性测量单元(IMU)、全球定位系统(GPS)收发器、RADAR单元、激光测距仪/LIDAR单元以及一个或多个相机或图像捕获设备。运载工具传感器子系统144还可以包括被配置为监控运载工具105的内部系统的传感器(例如，O2监控器、燃油表、发动机机油温度)。其他传感器也是可能的。被包括于运载工具传感器子系统144中的传感器中的一个或多个可以被配置为被分开地或共同地致动以便修改一个或多个传感器的位置、取向或两者。
IMU可以包括被配置为基于惯性加速度来感测运载工具105的位置和取向变化的传感器(例如，加速度计和陀螺仪)的任何组合。GPS收发器可以是被配置为估计运载工具105的地理位置的任何传感器。出于该目的，GPS收发器可以包括可操作用于提供关于运载工具105相对于地球的位置的信息的接收器/发送器。RADAR单元可以表示利用无线电系统来感测运载工具105的本地环境内的对象的系统。在一些实施例中，除了感测对象以外，RADAR单元可以附加地被配置为感测靠近运载工具105的对象的速度和前进方向。激光测距仪或LIDAR单元可以是被配置为使用激光器来感测运载工具105所位于的环境中的对象的任何传感器。在示例实施例中，激光测距仪/LIDAR单元可以包括一个或多个激光源、激光扫描器、以及一个或多个检测器、以及其他系统部件。激光测距仪/LIDAR单元可以被配置为以相干模式(例如，使用外差检测)或非相干检测模式进行操作。相机可以包括被配置为捕获运载工具105的环境的多幅图像的一个或多个设备。相机可以是静态图像相机或运动视频相机。
运载工具控制系统146可以被配置为控制运载工具105和其部件的操作。因此，运载工具控制系统146可以包括各种元件，诸如转向单元、油门、制动单元、导航单元以及自主控制单元。
转向单元可以表示可以可操作用于调节运载工具105的前进方向的机制的任何组合。油门可以被配置为控制例如发动机的操作速度并且继而控制运载工具105的速度。制动单元可以包括被配置为使运载工具105减速的机制的任何组合。制动单元可以使用摩擦来以标准方式使车轮减慢。在其他实施例中，制动单元可以将车轮的动能转换为电流。制动单元也可以采取其他形式。导航单元可以是被配置为确定运载工具105的驾驶路径或路线的任何系统。导航单元可以附加地被配置为在运载工具105在操作中时动态地更新驾驶路径。在一些实施例中，导航单元可以被配置为合并来自实时多对象跟踪模块200、GPS收发器以及一个或多个预定地图的数据以便确定用于运载工具105的驾驶路径。自主控制单元可以表示被配置为标识、评价、以及避免或以其他方式越过运载工具105的环境中的可能障碍物的控制系统。一般，自主控制单元可以被配置为在没有驾驶员的情况下控制运载工具105进行操作或在控制运载工具105方面提供驾驶员辅助。在一些实施例中，自主控制单元可以被配置为合并来自实时多对象跟踪模块200、GPS收发器、RADAR、LIDAR、相机以及其他运载工具子系统的数据以确定用于运载工具105的驾驶路径或轨迹。运载工具控制系统146可以附加地或备选地包括除了示出和描述的部件以外的部件。
占用者接口子系统148可以被配置为允许在运载工具105与外部传感器、其他运载工具、其他计算机系统和/或运载工具105的占用者或用户之间的交互。例如，占用者接口子系统148可以包括标准视觉显示设备(例如，等离子显示器、液晶显示器(LCD)、触摸屏显示器、平视(heads-up)显示器等)、扬声器或其他音频输出设备、麦克风或其他音频输入设备、导航接口、以及用于控制运载工具105的内部环境(例如，温度、风扇等)的接口。
在示例实施例中，占用者接口子系统148可以提供例如用于运载工具105的用户/占用者与其他运载工具子系统交互的器件。视觉显示设备可以将信息提供给运载工具105的用户。用户接口设备还可以可操作用于经由触摸屏接受来自用户的输入。触摸屏可以被配置为经由电容性感测、电阻感测、或表面声波过程以及其他可能性来感测用户的手指的位置和移动中的至少一个。触摸屏可以能够感测在平行于或平面于触摸屏表面的方向上、在垂直于触摸屏表面的方向上或在这两个方向上的手指移动，并且还可以能够感测施加到触摸屏表面的压力的水平。触摸屏可以由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏也可以采取其他形式。
在其他实例中，占用者接口子系统148可以提供用于运载工具105与其环境内的设备进行通信的器件。麦克风可以被配置为接收来自运载工具105的用户的音频(例如，语音命令或其他音频输入)。类似地，扬声器可以被配置为将音频输出给运载工具105的用户。在一个示例实施例中，占用者接口子系统148可以被配置为与一个或多个设备直接或经由通信网络无线地进行通信。例如，无线通信系统可以使用3G蜂窝通信，诸如CDMA、EVDO、GSM/GPRS或4G蜂窝通信，诸如WiMAX或LTE。备选地，无线通信系统可以利用无线局域网(WLAN)进行通信，例如使用
Figure BDA0002649674110000124
在一些实施例中，无线通信系统146可以例如使用红外链路、
Figure BDA0002649674110000123
或
Figure BDA0002649674110000122
与设备直接进行通信。其他无线协议，诸如各种运载工具通信系统，在本公开的上下文内是可能的。例如，无线通信系统可以包括一个或多个专用短程通信(DSRC)设备，其可以包括运载工具和/或路边站之间的公共或私有数据通信。
运载工具105的功能中的许多或全部可以由计算系统170控制。计算系统170可以包括至少一个数据处理器171(其可以包括至少一个微处理器)，其运行存储于非瞬态计算机可读介质(诸如数据存储设备172)中的处理指令。计算系统170还可以表示可以用于以分布式方式控制运载工具105的个体部件或子系统的多个计算设备。在一些实施例中，数据存储设备172可以包含可由数据处理器171运行以执行运载工具105的各种功能(包括本文结合附图描述的那些)的处理指令(例如，程序逻辑)。数据存储设备172也可以包含附加的指令，包括向运载工具驱动子系统142，运载工具传感器子系统144、运载工具控制子系统146以及占用者接口子系统148中的一个或多个发送数据、从其接收数据、与其交互、或控制其的指令。
除了处理指令以外，数据存储设备172可以存储数据，诸如图像处理参数、训练数据、道路地图和路径信息以及其他信息。这样的信息可以由运载工具105和计算系统170在处于自主、半自主和/或手动模式的运载工具105的操作期间使用。
运载工具105可以包括用于将信息提供给运载工具105的用户或占用者或接收来自运载工具105的用户或占用者的输入的用户接口。用户接口可以控制可以被显示在显示设备上的交互式图像的内容和布局或使能对其的控制。另外，用户接口可以包括占用者接口子系统148的集合内的一个或多个输入/输出设备，诸如显示设备、扬声器、麦克风、或无线通信系统。
计算系统170可以基于从各种运载工具子系统(例如，运载工具驱动子系统142、运载工具传感器子系统144)以及运载工具控制子系统146接收的输入来控制运载工具105的功能。例如，计算系统170可以使用来自运载工具控制系统146的输入以便控制转向单元来避免由运载工具传感器子系统144和实时多对象跟踪模块200检测到的障碍物，以可控方式移动，或者基于由实时多对象跟踪模块200生成的输出来沿循路径或轨迹。在示例实施例中，计算系统170可以可操作用于提供对运载工具105和其子系统的许多方面的控制。
尽管图1将运载工具105的各种部件(例如运载工具子系统140、计算系统170、数据存储设备172以及实时多对象跟踪模块200)示出为被集成到运载工具105内，但是这些部件中的一个或多个可以与运载工具105分开地被安装或关联。例如，数据存储设备172可以部分地或完全地与运载工具105分开存在。因此，运载工具105可以以可以被分开或一起定位的设备元件的形式提供。组成运载工具105的设备元件可以以有线或无线方式被通信地耦合在一起。
另外，其他数据和/或内容(本文被表示为辅助数据)可以通过如以上所描述的运载工具中控制系统150从本地和/或远程源获得。辅助数据可以用于基于各种因素以及可从如本文描述的本地的和远程的各种源获得的各种其他数据来增强、修改或训练实时多对象跟踪模块200的操作，各种因素包括用户正在操作运载工具的上下文(例如，运载工具的位置、指定目的地、行进的方向、速度、一天中的时间、运载工具的状态、等等)。
在特定实施例中，运载工具中控制系统150和实时多对象跟踪模块200可以被实现为运载工具105的运载工具中部件。在各种示例实施例中，运载工具中控制系统150和与其数据通信的实时多对象跟踪模块200可以被实现为集成的部件或单独的部件。在示例实施例中，运载工具中控制系统150和/或实时多对象跟踪模块200的软件部件可以通过使用经由网络120与移动设备132和/或网络资源122的数据连接被动态地升级、修改和/或增强。运载工具中控制系统150可以周期性地查询移动设备132或网络资源122是否有更新或更新可以被推送到运载工具中控制系统150。
用于在线实时多对象跟踪的系统和方法
公开了用于在线实时多对象跟踪的系统和方法。在本文描述的各种示例实施例中，我们介绍了一种在线实时多对象跟踪系统，其以超过30帧每秒(FPS)的实时速度实现了最先进的性能。如本文所公开的用于在线实时多对象跟踪的示例系统和方法可以提供在线实时MOT方法，其中，每个对象通过有限状态机(FSM)建模。在视频馈送中的图像帧之间匹配对象可以被认为是有限状态机中的转变。另外，各种示例实施例还可以提取针对每个对象的运动特征和外观特征以改进跟踪性能。此外，卡尔曼滤波器可以用于从对象检测的结果中减少噪声。
在示例实施例中，视频馈送中的每个对象通过有限状态机建模，并且整个跟踪过程被划分成四个阶段：1)相似度计算，2)数据关联，3)状态转变，以及4)后处理。在第一阶段中，对象模板或先前对象数据与对象检测结果之间的相似度被计算。指示该相似度的数据用于第二阶段中的数据关联。第二阶段的数据关联可以使用相似度数据来找到先前对象数据与当前图像帧中的对象检测结果之间的最优或最好匹配。然后，每个对象根据数据关联的结果来转变其状态。最后，后处理操作用于在最终跟踪输出中平滑针对每个对象的边界框。
图2图示了通过有限状态机建模的单个对象以及在示例实施例中用于执行多对象跟踪的方法。示例实施例可以被配置为通过有限状态机建模每个单个对象。该模型可以在示例实施例中用于执行如下文更详细地描述的多对象跟踪。在图2中图示的示例实施例中，针对每个对象存在四种FSM状态：初始化、跟踪、丢失、以及移除。图2示出了四种状态以及它们如何与彼此相关。示例实施例的每种状态在下文参考图2进行描述。
初始化状态
视频馈送中检测到的之前从未被跟踪的新对象在其有限状态机中被设置为初始化状态。因此，当新对象通过图像分析和对象检测而被检测到时，新对象在初始化状态中被初始化为新跟踪对象。因为在检测结果中可以存在一些假阳性，所以新对象可能是假阳性对象检测。为了避免假阳性对象检测，我们使用基于学习的方法(诸如XGBoost、支持向量机等)来训练分类器(这里我们把其称作初始化分类器)，以使得我们可以判断检测结果是否是假阳性。我们用来训练初始化分类器的特征包括与检测结果相关的视觉特征和边界框信息两者。具体地，给定检测结果(例如，边界框位置和置信度得分)，诸如方向梯度直方图(HOG)和尺度不变特征变换(SIFT)的视觉特征可以从检测到的对象的边界框中提取。然后，视觉特征可以与检测置信度得分组合以馈送分类器。
在所公开的技术的一些实施例中，分类器可以基于包括驾驶和情境状况的所有可能检测的示例的代表性数据集来训练。例如，数据集(例如，对象的图像)由运载工具捕获并被发送到运载工具中的数据处理器或远程数据中心以创建可以准确地分类和标识对象的分类器。视觉特征和检测置信度得分可以用于训练分类器，并且各种学习方法可以用于训练，包括例如监督式学习、无监督式学习、半监督式学习、以及增强学习。
通过使用初始化分类器，我们可以确定新对象检测结果是否是假阳性。如果新对象检测结果是真实对象(例如，不是假阳性)，则新对象检测结果从初始化状态转变到跟踪状态(在下文描述)。如果新对象检测结果不是真实对象(例如，假阳性)，则新对象检测结果从初始化状态转变到移除状态(也在下文描述)。
跟踪状态
当新图像帧被接收时，当前处于跟踪状态的对象需要被处理以确定当前处于跟踪状态的对象是可以保持处于跟踪状态还是应当转变到丢失状态。该确定取决于来自先前图像帧与针对新图像帧的检测结果的比较的匹配检测结果。具体地，给定来自视频馈送的新图像帧，示例实施例可以将来自先前图像帧的所有跟踪和丢失的对象与新图像帧中的检测结果进行比较(这被称作数据关联)。作为该匹配或数据关联过程的结果，一些先前跟踪的对象可以在新图像帧中丢失。其他先前跟踪的对象可以继续在当前图像帧中被跟踪。其他先前丢失的对象可以重新出现以被再次跟踪。详细的匹配策略在下文结合特征提取和模板更新策略的描述进行描述。
特征提取
在示例实施例中，存在用于对象数据关联的两种特征：运动特征和外观特征。对于运动特征，在跟踪历史中针对每个对象设置卡尔曼滤波器。当新图像帧被接收时，卡尔曼滤波器可以根据对象的轨迹来预测新图像帧中的针对对象的边界框位置。然后，示例实施例可以确定由卡尔曼滤波器预测的针对对象的边界框位置与在针对新图像帧的检测结果中所检测到的对象的每个边界框的位置之间的相似度(或差异)得分。在示例实施例的跟踪系统中，我们使用交并比(IOU)作为相似度得分；因为IOU可以描述两个边界框之间的形状相似度。在所公开的技术的一些实施例中，IOU可以用于通过计算所预测的边界框与新图像帧中检测到的每个边界框的交集来测量相似度得分。例如，相似度得分可以通过比较两个边界框交叠的区域与两个边界框的总组合区域的比率来获得。该相似度得分被认为是检测到的对象的运动特征或运动相似度。
在示例实施例中使用的特征提取的第二部分是针对每个对象的外观特征。外观特征是将一个对象与另一对象区分开的关键特征。外观特征可以通过预训练的卷积神经网络(CNN)来提取。在其他实施例中，外观特征可以通过使用手工特征或诸如HOG和SIFT的视觉特征来提取。不同特征适合于技术的不同场景或应用。因此，用于外观特征提取的方法可以改变以获得针对不同应用的最好性能。一旦针对当前对象的外观特征被提取，对象的外观特征就可以用于确定与先前对象的外观特征和来自先前图像帧的先前检测结果相关的外观相似度(或差异)。
模板更新
如果当前检测到的对象与先前检测到的对象的边界框成功匹配，则示例实施例可以将针对当前对象的外观特征更新为其模板。具体地，示例实施例可以获得从匹配对象边界框提取的外观特征并且使用所提取的外观特征作为当前对象的新模板。在示例实施例中，我们不直接用新外观特征替代旧模板；相反，针对从未被跟踪的每个对象，示例实施例保持若干模板(通常为三个)。
当模板被更新时，示例实施例可以设置相似度阈值和边界框置信度阈值。只有满足以下两个条件的外观特征可以用于更新旧模板：首先，针对当前对象的外观特征与旧模板之间的相似度得分应当小于相似度阈值。这是因为低相似度得分通常意味着对象已经在当前图像帧中被改变许多，使得模板应当被更新。其次，检测边界框置信度水平应当高于边界框置信度阈值。这是因为我们需要避免检测结果中的假阳性，并且具有低置信度水平的边界框更可能是假阳性。
如果外观特征被选择为新模板，则示例实施例可以确定旧模板中的哪个应当被替换。存在可以用于该目的的若干策略，诸如最近最少使用(LRU)策略、或仅替换模板池中的最老模板的策略。
丢失状态
类似于跟踪状态，存在对象可以从丢失状态进行的三种转变。第一，如果对象与当前图像帧中的检测结果成功匹配，则对象将从丢失状态转变回到跟踪状态。第二，如果不存在针对该对象的匹配，则对象将保持处于丢失状态。第三，如果对象已经保持处于丢失状态大于阈值数量的循环，则对象从丢失状态转变到移除状态，其中对象被认为已经消失。
因为不存在针对处于丢失状态的对象的匹配检测结果，所以示例实施例不更新针对这些丢失的对象的外观特征(例如，模板)。然而，示例实施例不需要通过使用卡尔曼滤波器来保持预测边界框位置；因为，示例实施例可以使用针对丢失的对象的运动特征来在丢失的对象重新出现在新图像帧的情况下执行数据关联。这被称作盲更新。
移除状态
在示例实施例中，只存在用于对象转变到移除状态的两种方式。第一，针对其的检测结果被认为是假阳性的处于初始化状态的对象转变到移除状态。第二，已经保持处于丢失状态太多循环的对象转变到移除状态并且被认为已经从相机视图消失。
在各种示例实施例中，阈值可以用于确定对象是否已经消失。在一些实施例中，阈值越大，跟踪性能将越高；因为，有时对象消失一会儿并且然后可以再次回到视线中。然而，较大的阈值导致低跟踪速度；因为，存在处于丢失状态的更多对象，并且需要更多处理开销来执行在数据关联的时段期间的对象匹配。因此，存在性能与速度之间的权衡。
跟踪过程
图3是图示了用于在线实时多对象跟踪的系统和方法的示例实施例的操作流图300。在如以上所描述的示例实施例中，视频馈送中的每个对象可以通过有限状态机建模。另外，示例实施例的跟踪过程可以被划分成四个阶段：1)相似度计算，2)数据关联，3)状态转变，以及4)后处理。示例实施例的跟踪过程可以在新图像帧及其对应检测结果被接收时被使用。示例实施例的跟踪过程的阶段中的每个在下文参考图3进行描述。
相似度计算
参考图3中示出的框310，当新图像帧从视频馈送接收时，示例实施例被配置为确定与对象检测结果相关的每个对象的相似度。如以上所描述的，在示例实施例中存在用于确定对象相似度的两种特征：运动特征相似度和外观特征相似度。在一个示例实施例中，运动特征相似度被计算为卡尔曼滤波器的预测和检测到的对象边界框位置的IOU。外观特征相似度被计算为对象模板与对象检测结果的外观特征之间的欧几里得距离。因为存在针对每个对象保留的若干模板，所以示例实施例可以被配置为选择若干对象模板中的一个以用于数据关联。存在可以用于选择外观相似度的若干策略，诸如平均或最大相似度。一旦针对每个对象的相似度已经被计算出，相似度就可以用于数据关联(下文描述)以找到对象与检测结果之间的匹配。
数据关联
参考图3中示出的框320，对象与检测结果的所有对(pair)的相似度已经在以上描述的相似度计算阶段被确定。在数据关联阶段中，示例实施例被配置为找到先前图像帧的对象与来自当前图像帧的检测结果之间的最好匹配。具体地，示例实施例被配置为找到当前图像帧中的先前检测到的对象的位置。因为最好匹配要求最优或最好匹配解决方案，所以示例实施例可以使用匈牙利算法(其也被称作Kuhn-Munkres算法或Munkres分配算法)来找到最好匹配，其中在该过程的最后一步中计算的相似度得分被认为是匈牙利算法中的代价或权重。对匈牙利算法或其他最好匹配过程的使用可以标识对象与检测结果之间的匹配对。然后，示例实施例可以滤除其相似度得分小于预定义阈值的那些对。作为数据关联过程的结果，三种结果可以被获得：对象与检测结果的匹配对332，不匹配的对象334，以及不匹配的检测结果336。这些结果可以用于影响(effect)如下文所描述的针对每个对象在有限状态机中的状态转变。
状态转变
参考图3中示出的框330，在数据关联阶段被完成之后，示例实施例可以使用数据关联结果来影响针对每个对象在有限状态机中的状态转变。示例实施例还可以针对不匹配的检测结果初始化新对象。如图3的框332中示出的，针对具有匹配的检测结果的每个对象，对象(或其FSM)转变到跟踪状态。在框338中，针对对象的模板和卡尔曼滤波器被更新以获得对应的检测结果。如图3的框334中所示，针对每个不匹配的对象，如果对象的先前状态是跟踪状态，则对象(或其FSM)转变到丢失状态。如果对象的先前状态是丢失状态，则丢失的对象可以如以上所描述的被处理以确定对象是否应当被转变到移除状态。在框338中，针对对象的模板和卡尔曼滤波器通过盲更新来更新。如图3的框336中所示出的，针对每个不匹配的检测结果，示例实施例可以初始化新对象并将新对象转变到如以上所描述的初始化状态。在框338中，针对新对象的模板和卡尔曼滤波器被更新以用于获得对应的检测结果。
后处理
因为几乎所有相关的跟踪方法都直接使用检测结果的边界框作为针对每个图像帧的最终输出，并且针对每个对象的检测结果可以是不稳定的，所以在最终输出中可以存在一些变化。为了避免该问题并使最终输出更平滑，可以在示例实施例中对检测结果做出一些修改。具体地，我们使用检测结果的加权平均和卡尔曼滤波器的预测作为最终跟踪输出，其可以在基准和可视化两方面改进跟踪性能。
图4图示了示例实施例的用于在线实时多对象跟踪的系统的部件。现在参考图4，本文公开的示例实施例可以在用于自主运载工具的在线实时多对象跟踪系统210的上下文中被使用。在线实时多对象跟踪系统210可以被包括于如以上所描述的实时多对象跟踪模块200中或通过其来运行。在线实时多对象跟踪系统210可以包括相似度计算模块212、数据关联模块214、具有对应的对象有限状态机217的状态转变模块216、以及后处理模块218。这些模块可以被实现为体现本文描述和/或要求保护的方法或功能中的任何一个或多个的处理模块、软件或固件元件、处理指令、或其他处理逻辑。在线实时多对象跟踪系统210可以从自主运载工具105的相机或其他图像源接收一个或多个图像流或图像帧数据集。如以上所描述的，相似度计算模块212可以计算对象模板或先前对象数据与对象检测结果之间的相似度。指示该相似度的数据用于数据关联。数据关联模块214可以使用相似度数据来找到先前对象数据与当前图像帧中的对象检测结果之间的最优或最好匹配。然后，状态转变模块216可以引起针对每个对象的FSM 217根据数据关联的结果来转变其状态。最后，后处理模块218可以用于在最终对象跟踪输出中平滑针对每个对象的边界框。在线实时多对象跟踪系统210可以将如以上所描述的生成的对象跟踪输出数据220提供作为输出。
现在参考图5，过程流图图示了用于在线实时多对象跟踪的系统和方法的示例实施例。示例实施例可以被配置为：从与自主运载工具相关联的至少一个相机接收图像帧数据(处理框1010)；生成对应于先前图像帧中的对象数据与来自当前图像帧的对象检测结果相比较之间的相似度的相似度数据(处理框1020)；使用相似度数据来生成对应于先前图像帧中的对象数据与来自当前图像帧的对象检测结果之间的最好匹配的数据关联结果(处理框1030)；根据数据关联结果来引起针对每个对象的有限状态机中的状态转变(处理框1040)；并且提供与针对每个对象的有限状态机的状态相对应的对象跟踪输出数据作为输出(处理框1050)。
如本文所使用的并且除非另行说明，术语“移动设备”包括可以与本文描述的运载工具中控制系统150和/或实时多对象跟踪模块200进行通信以获得对经由任何数据通信模式传送的数据信号、消息或内容的读取访问或写入访问的任何计算或通信设备。在许多情况下，移动设备130是手持便携式设备，诸如智能电话、移动电话、蜂窝电话、平板计算机、膝上型计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持计算机、可穿戴计算机、便携式游戏控制台、其他移动通信和/或计算设备、或组合了前述设备中的一个或多个的任何集成设备等。另外，移动设备130可以是计算设备、个人计算机(PC)、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC、诊断设备、由运载工具119制造商或服务技术员操作的系统等，并且不限于便携式设备。移动设备130可以接收并处理以各种数据格式中的任何一种格式的数据。数据格式可以包括或被配置为以包括但不限于以下的任何编程格式、协议、语言操作：JavaScript、C++、iOS、安卓等。
如本文所使用的并且除非另行说明，术语“网络资源”包括可以与本文描述的运载工具中控制系统150和/或实时多对象跟踪模块200进行通信以获得对经由任何过程间或联网数据通信模式传送的数据信号、消息或内容的读取访问或写入访问的任何设备、系统或服务。在许多情况下，网络资源122是数据网络可访问计算平台，包括客户端或服务器计算机、网站、移动设备、对等(P2P)网络节点等。另外，网络资源122可以是web设备、网络路由器、交换机、桥、网关、诊断设备、由运载工具119制造商或服务技术员操作的系统或能够(顺序或以其他方式)运行指定要由该机器采取的动作的指令集的任何机器。另外，尽管仅单个机器被图示，但是术语“机器”也可以被理解为包括单独地或联合地运行指令集(或多个指令集)以执行本文讨论的方法中的任何一种或多种的机器的任何汇集。网络资源122可以包括网络可传输数字内容的各种提供方或处理器中的任何一项。通常，被采用的文件格式是可扩展标记语言(XML)，然而，各种实施例不受此限制，并且其他文件格式可以被使用。例如，除了超文本标记语言(HTML)/XML的数据格式或除了开放/标准数据格式的格式可以由各种实施例支持。任何电子文件格式，诸如便携式文档格式(PDF)、音频(例如，电影专家组音频层3-MP3等)、视频(例如，MP4等)以及由特定内容站点定义的任何专有互换格式可以由本文描述的各种实施例支持。
与网络资源122一起使用的广域数据网络120(也被表示为网络云)可以被配置为将一个计算或通信设备与另一计算或通信设备耦合。网络可以被启用以采用用于将信息从一个电子设备传送到另一个的任何形式的计算机可读数据或介质。网络120可以包括除了其他广域网(WAN)的互联网、蜂窝电话网络、城域网、局域网(LAN)、其他分组交换网络、电路交换网络、诸如通过通用串行总线(USB)或以太网端口、其他形式的计算机可读介质或其任何组合的直接数据连接。网络120可以包括除了其他广域网(WAN)的互联网、蜂窝电话网络、卫星网络、空中广播网络、AM/FM无线电网络、寻呼机网络、UHF网络、其他广播网络、游戏网络、WiFi网络、对等网络、IP语音(VoIP)网络、城域网、局域网(LAN)、其他分组交换网络、电路交换网络、诸如通过通用串行总线(USB)或以太网端口、其他形式的计算机可读介质或其任何组合的直接数据连接。在相互连接的网络集(包括基于不同架构和协议的那些)上，路由器或网关可以用作网络之间的链路，从而使得消息能够在不同网络上的计算设备之间被发送。此外，网络内的通信链路可以通常包括双绞线对线缆、USB、火线、以太网、或同轴线缆，而网络之间的通信链路可以利用模拟或数字电话线、包括T1、T2、T3和T4的全部或部分专用数字线路、综合业务数字网(ISDN)、数字用户线(DSL)、无线链路(包括卫星链路、蜂窝电话链路、或本领域普通技术人员公知的其他通信链路)。另外，远程计算机和其他相关电子设备可以经由调制解调器和临时电话链路被远程地连接到网络。
网络120可以还包括各种无线子网络中的任何，其可以还与独立ad-hoc网络等交叠以提供基础设施取向的连接。这样的子网络可以包括网格网络、无线LAN(WLAN)网络、蜂窝网络等。网络还可以包括通过无线射频链路或无线收发器连接的终端、网关、路由器等的自主系统。这些连接器可以被配置为自由地且随机地移动并且任意地组织它们自身，使得网络的拓扑可以快速变化。网络120可以还采用多种无线和/或蜂窝协议或接入技术中的一种或多种，包括结合本文附图中描述的网络接口712和网络714阐述的那些。
在特定实施例中，移动设备132和/或网络资源122可以用作客户端设备，其使得用户能够访问并使用运载工具中控制系统150和/或实时多对象跟踪模块200来与运载工具子系统的一个或多个部件交互。这些客户端设备132或122可以包括被配置为通过网络(诸如如本文描述的网络120)发送和接收信息的几乎任何计算设备。这样的客户端设备可以包括移动设备，诸如蜂窝电话、智能电话、平板计算机、显示寻呼机、射频(RF)设备、红外(IR)设备、全球定位设备(GPS)、个人数字助理(PDA)、手持计算机、可穿戴计算机、便携式游戏控制台、其他移动通信和/或计算设备、或组合了前述设备中的一个或多个的任何集成设备等。客户端设备可以还包括其他计算设备，诸如个人计算机(PC)、多处理器系统、基于微处理器的或可编程的消费电子设备、网络PC等。因此，客户端设备可以根据能力和特征范围广泛。例如，被配置为蜂窝电话的客户端设备可以具有数字按键和几行单色LCD显示器，在其上仅仅文本可以被显示。在另一示例中，网络使能客户端设备可以具有触摸敏感屏幕、触笔以及彩色LCD显示屏，其中文本和图形两者都可以被显示。此外，网络使能客户端设备可以包括被启用以接收并发送无线应用协议消息(WAP)和/或有线应用消息等的浏览器应用。在一个实施例中，浏览器应用被启用以采用超文本标记语言(HTML)、动态HTML、手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScriptTM、可扩展HTML(xHTML)、紧凑HTML(CHTML)等，以显示并发送具有相关信息的消息。
客户端设备还可以包括被配置为经由网络传输从另一计算设备接收内容或消息的至少一个客户端应用。客户端应用可以包括提供并接收文本内容、图形内容、视频内容、音频内容、警告、消息、通知等的能力。此外，客户端设备可以还被配置为在另一计算设备等之间传送和/或接收消息，诸如通过短消息服务(SMS)、直接消息传送(例如，Twitter)、email、多媒体消息服务(MMS)、即时通讯(IM)、互联网中继聊天(IRC)、mIRC、Jabber、增强的消息传送服务(EMS)、文本消息传送、智能消息传送、空中(OTA)消息传送等。客户端设备可以还包括无线应用设备，其上的客户端应用被配置为使得设备的用户能够经由网络无线地发送和接收至/自网络资源的信息。
运载工具中控制系统150和/或实时多对象跟踪模块200可以使用增强运行环境的安全性的系统来实现，由此改进安全性并减少运载工具中控制系统150和/或实时多对象跟踪模块200和相关服务能够被病毒或恶意软件损坏的可能性。例如，运载工具中控制系统150和/或实时多对象跟踪模块200可以使用可信运行环境来实现，该可信运行环境能够确保敏感数据以安全方式被存储、处理和通信。
图6示出了以计算系统700的示例形式的机器的图解表示，在该计算系统内，指令集当被运行时和/或处理逻辑当被激活时可以引起该机器执行本文描述和/或要求保护的方法中的任何一种或多种。在备选实施例中，机器用作独立设备或者可以被连接(例如，联网)到其他机器。在联网部署中，机器可以用作服务器客户端网络环境中的服务器或客户端机器，或者用作对等(或分布式)网络环境中的对等机器。机器可以是个人计算机(PC)、膝上型计算机、平板计算系统、个人数字助理(PDA)、蜂窝电话、智能电话、网络设备、机顶盒(STB)、网络路由器、交换机或桥、或能够(顺序或以其他方式)运行指令集或激活指定要由该机器采取的动作的处理逻辑的任何机器。另外，尽管仅单个机器被图示，但是术语“机器”也可以被理解为包括单独地或联合地运行指令集(或多个指令集)或处理逻辑以执行本文描述和/或要求保护的方法中的任何一种或多种的机器的任何汇集。
示例计算系统700可以包括数据处理器702(例如，片上系统(SoC)、通用处理核、图形核、以及任选地其他处理逻辑)和存储器704，其可以经由总线或其他数据传输系统706与彼此通信。移动计算和/或通信系统700还可以包括各种输入/输出(I/O)设备和/或接口710，诸如触摸屏显示器、音频插孔、语音接口、以及任选地网络接口712。在示例实施例中，网络接口712可以包括被配置用于与任何一个或多个标准无线和/或蜂窝协议或接入技术(例如，用于蜂窝系统、全球移动通信系统(GSM)、通用分组无线服务(GPRS)、增强数据GSM环境(EDGE)、宽带码分多址(WCDMA)、LTE、CDMA2000、WLAN、无线路由器(WR)网等的第二代(2G)、2.5、第三代(3G)、第四代(4G)、以及未来代无线电接入)的兼容性的一个或多个无线电收发器。网络接口712还可以被配置用于与各种其他有线和/或无线通信协议(包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、
Figure BDA0002649674110000261
IEEE 802.11x等)一起使用。本质上，网络接口712可以包括或支持基本上任何有线和/或无线通信和数据处理机制，通过其，信息/数据可以经由网络714在计算系统700与另一计算或通信系统之间行进。
存储器704可以表示机器可读介质，在其上存储了一个或多个指令集、软件、固件或其他处理逻辑(例如，逻辑708)，其体现本文描述和/或要求保护的方法或功能中的任何一个或多个。逻辑708或其部分也可以在由移动计算和/或通信系统700对其的运行期间完全或至少部分存在于处理器702内。因此，存储器704和处理器702还可以构成机器可读介质。逻辑708或其部分也可以被配置为处理逻辑或逻辑，其至少一部分以硬件来部分地实现。逻辑708或其部分还可以经由网络接口712通过网络714被发送或接收。尽管示例实施例的机器可读介质可以是单个介质，但是术语“机器可读介质”应当被理解为包括存储一个或多个指令集的单个非瞬态介质或多个非瞬态介质(例如，集中式或分布式数据库和/或相关联的高速缓存和计算系统)。术语“机器可读介质”也可以被理解为包括能够存储、编码或携带用于由机器运行并且使机器执行各种实施例的方法中的任何一个或多个或者能够存储、编码或携带由这样的指令集利用或与这样的指令集相关联的数据结构的指令集的任何非瞬态介质。术语“机器可读介质”因此可以被理解为包括但不限于固态存储器、光学介质以及磁性介质。
在所公开的技术的一些实施例中，一种操作实时多对象跟踪系统的方法包括：从当前图像帧获取图像数据；标识图像数据中的目标对象；使用初始化分类器来确定目标对象是否是真实对象；并且如果目标不是真实对象，则引起目标对象的检测结果转变到移除状态；如果目标对象是从未被跟踪的真实对象，则引起目标对象的检测结果转变到跟踪状态；如果目标对象与已经在先前图像帧中被跟踪并丢失的处于丢失状态的真实对象匹配，则引起目标对象的检测结果转变到跟踪状态；如果目标对象与已经在先前图像帧中被跟踪的处于跟踪状态的真实对象匹配，则引起目标对象的检测结果保持处于跟踪状态。
在实施方式中，图像帧由一个或多个相机(例如，图1中的144)获取并被提供给实时多对象跟踪系统(例如，图1中的200)。实时多对象跟踪系统可以标识图像帧中的目标对象。如可以在图2中看出的，实时多对象跟踪系统利用有限状态机来以以下方式执行对象跟踪。首先，使用初始化分类器来确定目标对象是否是真实对象。如果目标不是真实对象，则目标对象的检测结果被转变到移除状态。如果目标对象是从未被跟踪的真实对象，则目标对象的检测结果被转变到跟踪状态。如果目标对象与已经在先前图像帧中被跟踪并丢失的处于丢失状态的真实对象匹配，则目标对象的检测结果被转变到跟踪状态。如果目标对象与已经在先前图像帧中被跟踪的处于跟踪状态的真实对象匹配，则目标对象的检测结果保持处于跟踪状态。
如果先前跟踪的对象在阈值连续图像帧内从未被检测到，则对象转变到丢失状态。初始化分类器使用基于学习的方法基于与检测结果相关的边界框信息和视觉特征来训练。检测结果包括边界框位置和置信度得分。视觉特征包括方向梯度直方图(HOG)和尺度不变特征变换(SIFT)。目标对象是与处于跟踪状态的真实对象匹配还是与处于丢失状态的真实对象匹配的确定基于针对处于跟踪状态或丢失状态的对象的预测的边界框的位置与针对当前图像帧中的目标对象的边界框的位置的相似度得分来做出。
操作包括图像传感器的时多对象跟踪系统的方法可以还包括：如果目标对象与先前检测到的对象的边界框成功匹配，则更新目标对象的外观特征作为其模板。当针对目标对象的外观特征与旧模板之间的相似度得分小于外观相似度阈值时，模板被更新。外观特征的相似度被计算为旧模板与当前图像帧中的目标对象的外观特征之间的欧几里得距离。当针对目标对象的外观特征与旧模板之间的相似度得分小于外观相似度阈值时，模板被更新。当目标对象的边界框的置信度得分高于边界框置信度阈值时，模板被更新。目标对象是与处于丢失状态的真实对象匹配还是与处于跟踪状态的真实对象匹配基于外观特征相似度来确定。另外，目标对象是与处于丢失状态的真实对象匹配还是与处于跟踪状态的真实对象匹配基于被计算为预测的边界框位置与目标对象的检测到的边界框位置的交并比(IOU)的运动特征相似度来确定。
提供本公开的摘要以允许读者快速确定技术公开的性质。其与以下理解一起提交：其将不被用于解释或限制权利要求的范围或含义。另外，在前述具体实施方式中，可以看出，各种特征被一起分组在单个实施例中以便使本公开流水线化。本公开的该方法不应被解释为反映要求保护的实施例要求比每个权利要求中明确记载的特征更多的特征的意图。相反，如随附权利要求反映的，发明主题在于少于单个公开的实施例的所有特征。因此，以下权利要求书在此被并入到具体实施方式中，其中，每个权利要求独立作为单独的实施例。

Claims (33)

1.一种系统，包括：
数据处理器；以及
在线实时多对象跟踪系统，能够由所述数据处理器运行，所述在线实时多对象跟踪系统被配置为执行用于自主运载工具的在线实时多对象跟踪操作，所述在线实时多对象跟踪操作被配置为：
从与自主运载工具相关联的至少一个相机接收图像帧数据；
生成与相似度相对应的相似度数据，所述相似度为先前图像帧中的对象数据与来自当前图像帧的对象检测结果之间相比较的相似度；
使用所述相似度数据来生成数据关联结果，所述数据关联结果对应于所述先前图像帧中的所述对象数据与来自所述当前图像帧的所述对象检测结果之间的最好匹配；
根据所述数据关联结果，引起针对每个对象的有限状态机中的状态转变；以及
提供与针对每个对象的所述有限状态机的状态相对应的对象跟踪输出数据作为输出。
2.根据权利要求1所述的系统，还被配置为执行后处理操作以平滑所述对象跟踪输出数据。
3.根据权利要求1所述的系统，还被配置为使用运动特征相似度和外观特征相似度来生成所述相似度数据。
4.根据权利要求1所述的系统，还被配置为基于卡尔曼滤波器的预测和检测到的对象边界框位置，使用运动特征相似度来生成所述相似度数据。
5.根据权利要求1所述的系统，还被配置为维持针对每个对象的多个模板。
6.根据权利要求1所述的系统，还被配置为基于以下三种结果来生成所述数据关联结果：匹配的对象检测结果与对象数据、不匹配的对象数据、以及不匹配的对象检测结果。
7.根据权利要求1所述的系统，其中针对每个对象的所述有限状态机包括来自由以下各项组成的组的状态：初始化、跟踪、丢失、以及移除。
8.一种方法，包括：
从与自主运载工具相关联的至少一个相机接收图像帧数据；
生成与相似度相对应的相似度数据，所述相似度为先前图像帧中的对象数据与来自当前图像帧的对象检测结果之间相比较的相似度；
使用所述相似度数据来生成数据关联结果，所述数据关联结果对应于所述先前图像帧中的所述对象数据与来自所述当前图像帧的所述对象检测结果之间的最好匹配；
根据所述数据关联结果，引起针对每个对象的有限状态机中的状态转变；以及
提供与针对每个对象的所述有限状态机的状态相对应的对象跟踪输出数据作为输出。
9.根据权利要求8所述的方法，包括：执行后处理操作以平滑所述对象跟踪输出数据。
10.根据权利要求8所述的方法，包括：使用运动特征相似度和外观特征相似度来生成所述相似度数据。
11.根据权利要求8所述的方法，包括：基于卡尔曼滤波器的预测和检测到的对象边界框位置，使用运动特征相似度来生成所述相似度数据。
12.根据权利要求8所述的方法，包括：维持针对每个对象的多个模板。
13.根据权利要求8所述的方法，包括：基于以下三种结果来生成所述数据关联结果：匹配的对象检测结果与对象数据、不匹配的对象数据、以及不匹配的对象检测结果。
14.根据权利要求8所述的方法，其中针对每个对象的所述有限状态机包括来自由以下各项组成的组的状态：初始化、跟踪、丢失、以及移除。
15.一种体现指令的非瞬态机器可用存储介质，所述指令当由机器运行时使所述机器：
从与自主运载工具相关联的至少一个相机接收图像帧数据；
生成与相似度相对应的相似度数据，所述相似度为先前图像帧中的对象数据与来自当前图像帧的对象检测结果之间相比较的相似度；
使用所述相似度数据来生成数据关联结果，所述数据关联结果对应于所述先前图像帧中的所述对象数据与来自所述当前图像帧的所述对象检测结果之间的最好匹配；
根据所述数据关联结果，引起针对每个对象的有限状态机中的状态转变；以及
提供与针对每个对象的所述有限状态机的状态相对应的对象跟踪输出数据作为输出。
16.根据权利要求15所述的非瞬态机器可用存储介质，还被配置为执行后处理操作以平滑所述对象跟踪输出数据。
17.根据权利要求15所述的非瞬态机器可用存储介质，还被配置为使用运动特征相似度和外观特征相似度来生成所述相似度数据。
18.根据权利要求15所述的非瞬态机器可用存储介质，还被配置为基于卡尔曼滤波器的预测和检测到的对象边界框位置，使用运动特征相似度来生成所述相似度数据。
19.根据权利要求15所述的非瞬态机器可用存储介质，还被配置为基于以下三种结果来生成所述数据关联结果：匹配的对象检测结果与对象数据、不匹配的对象数据、以及不匹配的对象检测结果。
20.根据权利要求15所述的非瞬态机器可用存储介质，其中针对每个对象的所述有限状态机包括来自由以下各项组成的组的状态：初始化、跟踪、丢失、以及移除。
21.一种操作实时多对象跟踪系统的方法，包括：
从当前图像帧获取图像数据；
标识所述图像数据中的目标对象；
使用初始化分类器来确定所述目标对象是否是真实对象，并且如果所述对象不是真实对象，则使所述目标对象的检测结果转变到移除状态；
如果所述目标对象是从未被跟踪的真实对象，则使所述目标对象的检测结果转变到跟踪状态；
如果所述目标对象与已经在先前图像帧中被跟踪并丢失的处于丢失状态的真实对象匹配，则使所述目标对象的检测结果转变到所述跟踪状态；以及
如果所述目标对象与已经在先前图像帧中被跟踪的处于跟踪状态的真实对象匹配，则使所述目标对象的检测结果保持处于所述跟踪状态。
22.根据权利要求21所述的方法，其中如果先前被跟踪的对象已经在阈值连续图像帧未被检测到，则对象被转变到所述丢失状态。
23.根据权利要求21所述的方法，其中所述初始化分类器使用基于学习的方法，基于与所述检测结果相关的边界框信息和视觉特征而被训练。
24.根据权利要求23所述的方法，其中所述检测结果包括边界框位置和置信度得分。
25.根据权利要求23所述的方法，其中所述视觉特征包括方向梯度直方图HOG和尺度不变特征变换SIFT。
26.根据权利要求21所述的方法，其中基于针对处于所述跟踪状态或所述丢失状态的对象的所预测的边界框的位置与针对所述当前图像帧中的所述目标对象的边界框的位置的相似度得分，对于所述目标对象是与处于所述跟踪状态的真实对象匹配、还是与处于所述丢失状态的真实对象匹配的确定被做出。
27.根据权利要求21所述的方法，还包括：如果所述目标对象与先前被检测到的对象的边界框成功匹配，则更新所述目标对象的外观特征作为其模板。
28.根据权利要求27所述的方法，其中当针对所述目标对象的所述外观特征与旧模板之间的相似度得分小于外观相似度阈值时，所述模板被更新。
29.根据权利要求28所述的方法，其中所述外观特征的相似度被计算为所述旧模板与所述当前图像帧中的所述目标对象的所述外观特征之间的欧几里得距离。
30.根据权利要求27所述的方法，其中当针对所述目标对象的所述外观特征与旧模板之间的相似度得分小于外观相似度阈值时，所述模板被更新。
31.根据权利要求27所述的方法，其中当所述目标对象的所述边界框的置信度得分高于边界框置信度阈值时，所述模板被更新。
32.根据权利要求21所述的方法，其中所述目标对象是与处于所述丢失状态的所述真实对象匹配、还是与处于所述跟踪状态的所述真实对象匹配基于外观特征相似度而被确定。
33.根据权利要求32所述的方法，其中所述目标对象是与处于所述丢失状态的所述真实对象匹配、还是与处于所述跟踪状态的所述真实对象匹配基于运动特征相似度而被确定，所述运动特征相似度被计算为所预测的边界框位置与所述目标对象的检测到的边界框位置的交并比IOU。
CN201980015452.8A 2018-02-27 2019-02-27 用于在线实时多对象跟踪的系统和方法 Active CN111771371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310319481.1A CN116342655A (zh) 2018-02-27 2019-02-27 用于在线实时多对象跟踪的装置和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/906,561 US10685244B2 (en) 2018-02-27 2018-02-27 System and method for online real-time multi-object tracking
US15/906,561 2018-02-27
PCT/US2019/019839 WO2019168986A1 (en) 2018-02-27 2019-02-27 System and method for online real-time multi-object tracking

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310319481.1A Division CN116342655A (zh) 2018-02-27 2019-02-27 用于在线实时多对象跟踪的装置和方法

Publications (2)

Publication Number Publication Date
CN111771371A true CN111771371A (zh) 2020-10-13
CN111771371B CN111771371B (zh) 2023-04-18

Family

ID=67686015

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310319481.1A Pending CN116342655A (zh) 2018-02-27 2019-02-27 用于在线实时多对象跟踪的装置和方法
CN201980015452.8A Active CN111771371B (zh) 2018-02-27 2019-02-27 用于在线实时多对象跟踪的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310319481.1A Pending CN116342655A (zh) 2018-02-27 2019-02-27 用于在线实时多对象跟踪的装置和方法

Country Status (3)

Country Link
US (4) US10685244B2 (zh)
CN (2) CN116342655A (zh)
WO (1) WO2019168986A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070807A (zh) * 2020-11-11 2020-12-11 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置
CN113298141A (zh) * 2021-05-24 2021-08-24 北京环境特性研究所 基于多源信息融合的探测方法、装置及存储介质
CN114222065A (zh) * 2021-12-20 2022-03-22 北京奕斯伟计算技术有限公司 图像处理方法、装置、电子设备、存储介质及程序产品
CN114926859A (zh) * 2022-01-04 2022-08-19 天津理工大学 一种结合头部跟踪的密集场景下行人多目标跟踪方法
WO2022227771A1 (zh) * 2021-04-27 2022-11-03 北京百度网讯科技有限公司 目标跟踪方法、装置、设备和介质

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN116184417A (zh) 2018-12-10 2023-05-30 北京图森智途科技有限公司 一种挂车夹角的测量方法、装置及车辆
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110660083B (zh) * 2019-09-27 2022-12-23 国网江苏省电力工程咨询有限公司 一种结合视频场景特征感知的多目标跟踪方法
CN112581496A (zh) * 2019-09-29 2021-03-30 四川大学 一种基于强化学习的多目标行人轨迹跟踪方法
CN112651263A (zh) * 2019-10-09 2021-04-13 富士通株式会社 过滤背景物体的方法和装置
CN110929567B (zh) * 2019-10-17 2022-09-27 北京全路通信信号研究设计院集团有限公司 基于单目相机监控场景下目标的位置速度测量方法及系统
CN110991272B (zh) * 2019-11-18 2023-07-18 东北大学 一种基于视频跟踪的多目标车辆轨迹识别方法
CN111127513B (zh) * 2019-12-02 2024-03-15 北京交通大学 一种多目标跟踪方法
CN111027505B (zh) * 2019-12-19 2022-12-23 吉林大学 一种基于显著性检测的分层多目标跟踪方法
EP3883235A1 (en) * 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
KR20210116953A (ko) * 2020-03-18 2021-09-28 삼성전자주식회사 타겟 트래킹 방법 및 장치
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN113689462B (zh) * 2020-05-19 2024-07-12 深圳绿米联创科技有限公司 目标物处理方法、装置以及电子设备
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111768430B (zh) * 2020-06-23 2023-08-11 重庆大学 一种基于多特征级联匹配的高速公路外场车辆跟踪方法
KR20220025600A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 영상 생성 방법 및 장치
CN112033429B (zh) * 2020-09-14 2022-07-19 吉林大学 一种智能汽车的目标级多传感器融合方法
CN112700472A (zh) * 2020-12-30 2021-04-23 深圳云天励飞技术股份有限公司 目标跟踪方法及相关设备
CN113269808B (zh) * 2021-04-30 2022-04-15 武汉大学 视频小目标跟踪方法和装置
CN115690146A (zh) * 2021-07-29 2023-02-03 北京图森智途科技有限公司 一种多目标跟踪方法、装置、计算设备和存储介质
CN113850237B (zh) * 2021-11-29 2022-02-22 华砺智行(武汉)科技有限公司 基于视频和轨迹数据的网联车目标检测评价方法及系统
CN115222771B (zh) * 2022-07-05 2023-07-21 北京建筑大学 一种目标跟踪方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051613A1 (en) * 2011-08-29 2013-02-28 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data
US20170134631A1 (en) * 2015-09-15 2017-05-11 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
US20180374233A1 (en) * 2017-06-27 2018-12-27 Qualcomm Incorporated Using object re-identification in video surveillance

Family Cites Families (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2608513A1 (de) 1976-03-02 1977-09-08 Standard Elektrik Lorenz Ag Anordnung zur weichensteuerung fuer ein verkehrssystem
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6084870A (en) 1996-07-22 2000-07-04 Qualcomm Incorporated Method and apparatus for the remote monitoring and configuration of electronic control systems
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US6594821B1 (en) 2000-03-30 2003-07-15 Transmeta Corporation Translation consistency checking for modified target instructions by comparing to original copy
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7167519B2 (en) 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
US6975923B2 (en) 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8078338B2 (en) 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
WO2006090896A1 (en) 2005-02-23 2006-08-31 Matsushita Electric Works, Ltd. Autonomous vehicle and planar obstacle recognition method
KR100802511B1 (ko) 2005-10-11 2008-02-13 주식회사 코리아 와이즈넛 토픽 기반의 검색 서비스 제공 시스템 및 그 방법
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8265392B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8417060B2 (en) 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
ATE519193T1 (de) 2006-12-06 2011-08-15 Mobileye Technologies Ltd Detektion und erkennung von verkehrszeichen
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8229163B2 (en) 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8345956B2 (en) 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
RU2011143140A (ru) 2009-03-26 2013-05-10 Конинклейке Филипс Электроникс Н.В. Способ и устройство для изменения изображения посредством использования карты внимания, основанной на частоте цвета
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US8645480B1 (en) 2009-07-19 2014-02-04 Aaron T. Emigh Trust representation by similarity
DE102009046124A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8726305B2 (en) 2010-04-02 2014-05-13 Yahoo! Inc. Methods and systems for application rendering and management on internet television enabled displays
KR101145112B1 (ko) 2010-05-11 2012-05-14 국방과학연구소 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US9043078B2 (en) 2010-08-13 2015-05-26 Deere & Company Method and system for performing diagnostics or software maintenance for a vehicle
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
WO2012068154A1 (en) 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
WO2012095658A1 (en) 2011-01-14 2012-07-19 Bae Systems Plc Data transfer system and method thereof
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
SG192881A1 (en) 2011-02-21 2013-09-30 Stratech Systems Ltd A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
US20120314070A1 (en) 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
WO2013015416A1 (ja) 2011-07-28 2013-01-31 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US8891820B2 (en) 2011-09-29 2014-11-18 The Boeing Company Multi-modal sensor fusion
US20140143839A1 (en) 2011-11-16 2014-05-22 Flextronics Ap, Llc. On board vehicle remote control module
WO2013084225A1 (en) 2011-12-05 2013-06-13 Brightway Vision Ltd. Smart traffic sign system and method
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US8810666B2 (en) 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US8737690B2 (en) 2012-04-06 2014-05-27 Xerox Corporation Video-based method for parking angle violation detection
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
JP6243402B2 (ja) 2012-04-18 2017-12-06 ブライトウェイ ビジョン リミテッド 読み出し毎の複数のゲーテッド画素
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
WO2013179280A1 (en) 2012-05-29 2013-12-05 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
WO2014030164A1 (en) 2012-08-21 2014-02-27 Brightway Vision Ltd. Simultaneously illuminating traffic light signals at different ranges
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9165190B2 (en) 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9701023B2 (en) 2012-12-03 2017-07-11 Abb Schweiz Ag Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station
WO2014095539A1 (de) 2012-12-17 2014-06-26 Pmdtechnologies Gmbh Lichtlaufzeitkamera mit einer bewegungserkennung
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
JP6285958B2 (ja) 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9652860B1 (en) 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
CN103198128A (zh) 2013-04-11 2013-07-10 苏州阔地网络科技有限公司 一种云教育平台的数据搜索方法及系统
AU2013205548A1 (en) 2013-04-30 2014-11-13 Canon Kabushiki Kaisha Method, system and apparatus for tracking objects of a scene
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9025825B2 (en) 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
CN111024099B (zh) 2013-06-13 2023-10-27 移动眼视力科技有限公司 用于导航的移动装置、非暂时性机器可读介质和设备
IL227265A0 (en) 2013-06-30 2013-12-31 Brightway Vision Ltd Smart flash for the camera
KR102111784B1 (ko) 2013-07-17 2020-05-15 현대모비스 주식회사 차량 위치 인식 장치 및 방법
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9090260B2 (en) 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
CA2935617C (en) 2013-12-30 2023-09-12 Craig Arnold Tieman Connected vehicle system with infotainment interface for mobile devices
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
WO2015125022A2 (en) 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9739609B1 (en) 2014-03-25 2017-08-22 Amazon Technologies, Inc. Time-of-flight sensor with configurable phase delay
US9471889B2 (en) 2014-04-24 2016-10-18 Xerox Corporation Video tracking based method for automatic sequencing of vehicles in drive-thru applications
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
US9443163B2 (en) 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US10572744B2 (en) 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
IL233356A (en) 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US20160026787A1 (en) 2014-07-25 2016-01-28 GM Global Technology Operations LLC Authenticating messages sent over a vehicle bus that include message authentication codes
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US9959903B2 (en) 2014-10-23 2018-05-01 Qnap Systems, Inc. Video playback method
US9547985B2 (en) 2014-11-05 2017-01-17 Here Global B.V. Method and apparatus for providing access to autonomous vehicles based on user context
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
KR102312273B1 (ko) 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
CN113654561A (zh) 2014-12-05 2021-11-16 苹果公司 自主导航系统
US9347779B1 (en) 2014-12-10 2016-05-24 Here Global B.V. Method and apparatus for determining a position of a vehicle based on driving behavior
US9805294B2 (en) 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US9649999B1 (en) 2015-04-28 2017-05-16 Sprint Communications Company L.P. Vehicle remote operations control
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US9483839B1 (en) 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
US9613273B2 (en) 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
US9690290B2 (en) 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
JP6436237B2 (ja) 2015-07-23 2018-12-12 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US9989965B2 (en) 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US10127685B2 (en) 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
US10102434B2 (en) 2015-12-22 2018-10-16 Omnivision Technologies, Inc. Lane detection system and method
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
EP3433131B1 (en) 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US9776638B1 (en) 2016-04-20 2017-10-03 GM Global Technology Operations LLC Remote interrogation and override for automated driving system
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
DE102016114168A1 (de) * 2016-08-01 2018-02-01 Connaught Electronics Ltd. Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug
CN106340197B (zh) 2016-08-31 2021-05-14 北京万集科技股份有限公司 一种车路协同辅助驾驶系统及方法
US10261574B2 (en) 2016-11-30 2019-04-16 University Of Macau Real-time detection system for parked vehicles
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN106781591A (zh) 2016-12-19 2017-05-31 吉林大学 一种基于车路协同的城市车辆导航系统
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10209089B2 (en) 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
US20180373980A1 (en) 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10223806B1 (en) 2017-08-23 2019-03-05 TuSimple System and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10223807B1 (en) 2017-08-23 2019-03-05 TuSimple Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10373332B2 (en) * 2017-12-08 2019-08-06 Nvidia Corporation Systems and methods for dynamic facial analysis using a recurrent neural network
CN108010360A (zh) 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN108182817A (zh) 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130051613A1 (en) * 2011-08-29 2013-02-28 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data
US20170134631A1 (en) * 2015-09-15 2017-05-11 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
US20180374233A1 (en) * 2017-06-27 2018-12-27 Qualcomm Incorporated Using object re-identification in video surveillance

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070807A (zh) * 2020-11-11 2020-12-11 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置
CN112070807B (zh) * 2020-11-11 2021-02-05 湖北亿咖通科技有限公司 多目标跟踪方法和电子装置
WO2022227771A1 (zh) * 2021-04-27 2022-11-03 北京百度网讯科技有限公司 目标跟踪方法、装置、设备和介质
CN113298141A (zh) * 2021-05-24 2021-08-24 北京环境特性研究所 基于多源信息融合的探测方法、装置及存储介质
CN113298141B (zh) * 2021-05-24 2023-09-15 北京环境特性研究所 基于多源信息融合的探测方法、装置及存储介质
CN114222065A (zh) * 2021-12-20 2022-03-22 北京奕斯伟计算技术有限公司 图像处理方法、装置、电子设备、存储介质及程序产品
CN114222065B (zh) * 2021-12-20 2024-03-08 北京奕斯伟计算技术股份有限公司 图像处理方法、装置、电子设备、存储介质及程序产品
CN114926859A (zh) * 2022-01-04 2022-08-19 天津理工大学 一种结合头部跟踪的密集场景下行人多目标跟踪方法

Also Published As

Publication number Publication date
US11830205B2 (en) 2023-11-28
US20240046489A1 (en) 2024-02-08
US20200265249A1 (en) 2020-08-20
US11295146B2 (en) 2022-04-05
WO2019168986A1 (en) 2019-09-06
US20190266420A1 (en) 2019-08-29
CN111771371B (zh) 2023-04-18
CN116342655A (zh) 2023-06-27
US20220215672A1 (en) 2022-07-07
US10685244B2 (en) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111771371B (zh) 用于在线实时多对象跟踪的系统和方法
US11948082B2 (en) System and method for proximate vehicle intention prediction for autonomous vehicles
CN110753934B (zh) 主动选择和标记图像以进行语义分割的系统和方法
CN111344646B (zh) 用于自主车辆的轨迹规划的基于数据驱动的预测的系统和方法
US10303956B2 (en) System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
CN111108505B (zh) 用于检测交通工具的尾灯信号的系统和方法
US11734563B2 (en) System and method for vehicle taillight state recognition
US11983008B2 (en) System and method for using human driving patterns to manage speed control for autonomous vehicles
US20190367019A1 (en) System and method for proximate vehicle intention prediction for autonomous vehicles
CN110914778A (zh) 用于基于语义分割的图像定位的系统和方法
CN111373458B (zh) 用于自主车辆的轨迹规划的基于预测的系统和方法
CN112154088A (zh) 用于自主车辆的自动车道变更控制的系统和方法
CN112272844B (zh) 针对用于自主车辆的邻近车辆意图预测的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant