CN111201496B - 用于航拍视频交通分析的系统和方法 - Google Patents

用于航拍视频交通分析的系统和方法 Download PDF

Info

Publication number
CN111201496B
CN111201496B CN201880065098.5A CN201880065098A CN111201496B CN 111201496 B CN111201496 B CN 111201496B CN 201880065098 A CN201880065098 A CN 201880065098A CN 111201496 B CN111201496 B CN 111201496B
Authority
CN
China
Prior art keywords
vehicle
sequence
image
video
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880065098.5A
Other languages
English (en)
Other versions
CN111201496A (zh
Inventor
王一杰
王泮渠
陈鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tucson Ltd filed Critical Tucson Ltd
Priority to CN202310794571.6A priority Critical patent/CN116844072A/zh
Publication of CN111201496A publication Critical patent/CN111201496A/zh
Application granted granted Critical
Publication of CN111201496B publication Critical patent/CN111201496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种用于航拍视频交通分析的系统和方法。特定实施例被配置为：从无人驾驶飞行器(UAV)接收捕获到的视频图像序列；通过去除不必要的图像来对所述视频图像序列进行剪辑；通过选择参考图像并且针对所述参考图像调整其他图像来使所述视频图像序列稳定；提取所述视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识所述视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在所述视频图像序列的多个图像帧中检测相同的所标识的车辆；并且产生所述视频图像序列的输出和可视化，包括所述背景图像和每个所标识的车辆的所述图像的组合。

Description

用于航拍视频交通分析的系统和方法
相关申请的交叉引用
该专利文件要求2017年10月5日提交的美国专利申请第15/725,747号的优先权和权益，该申请通过引用的方式全部并入本文。
技术领域
在该专利文件中公开的技术和实施方式大体上涉及用于人类驾驶员建模、轨迹生成和运动计划、车辆控制系统、自主驾驶系统以及自主驾驶模拟系统的工具(例如系统、装置、方法、计算机程序产品等)。
背景技术
自主车辆导航是一种用于感测车辆的位置和移动并且基于该感测来自主地控制车辆朝着目的地进行导航的技术。自主车辆导航可以在人员、货物和服务的运输中具有重要的应用。
发明内容
本文公开了一种用于航拍视频交通分析的系统和方法。航拍视频交通分析包括以下任务：从飞行器(例如UAV)所捕获到的航拍视频中提取交通信息(包括地面车辆的形状、行驶方向和轨迹)，飞行器以期望的地理位置和高度被定位在路面正上方。航拍视频是一种用于采集交通信息的廉价的方式。如本文公开的航拍视频交通分析可以提供对在现实世界交通环境和状况中的人类驾驶行为的重要见解。这些人类驾驶行为见解可以用于训练人类驾驶行为模型，该模型可以与用于配置自主驾驶控制系统的模拟环境一起使用。在本文所公开的各个示例实施例中，提出了解决方案，用于通过将经典的深度计算机视觉方法与专门定制的深度学习模型相结合，来完成航拍视频交通分析。本文所公开的示例实施例在大多数状况下都可以实现像素级准确度。示例实施例还解决了由在典型的交通环境中的车辆的多样性所引起的另一具有挑战性的问题。本文所公开的示例实施例可以识别所有类型的车辆，从如同摩托车的小型车辆到如同运输拖车的大型车辆。所公开的示例实施例对车辆的大小不敏感，这使得各个实施例适合于所有类型的车辆。
本专利文件尤其提供了一种用于航拍视频交通分析的系统和方法，该系统和方法可以例如用于人类驾驶员建模、轨迹生成和运动计划、车辆控制系统、自主驾驶系统以及自主驾驶模拟系统。在所公开的技术的实施方式中，一种系统包括：无人驾驶飞行器(UAV)，配备有相机，以升高的位置被部署在被监测的位置处，UAV被配置为使用UAV相机来在预定时间段内捕获被监测的位置的视频图像序列；数据处理器；以及图像处理模块，可由数据处理器执行。图像处理模块被配置为：从UAV接收捕获到的视频图像序列；通过去除不必要的图像来对视频图像序列进行剪辑；通过选择参考图像并且针对参考图像调整其他图像来使视频图像序列稳定；提取视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在视频图像序列的多个图像帧中检测相同的所标识的车辆；并且产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合。
在所公开的技术的另一实施方式中，一种方法包括：从无人驾驶飞行器(UAV)接收捕获到的视频图像序列；通过去除不必要的图像来对视频图像序列进行剪辑；通过选择参考图像并且针对参考图像调整其他图像来使视频图像序列稳定；提取视频图像序列中的背景图像以进行车辆分割；执行车辆分割以逐个像素地标识视频图像序列中的车辆；确定每个所标识的车辆的质心、行驶方向和矩形形状；执行车辆追踪以在视频图像序列的多个图像帧中检测相同的所标识的车辆；以及产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合。
在所公开的技术的再一实施方式中，一种系统包括：无人驾驶飞行器(UAV)，配备有相机，以升高的位置被部署在被监测的位置处，UAV被配置为使用UAV相机来在预定时间段内捕获被监测的位置的视频图像序列；背景提取电路，被通信地耦合至UAV以接收被监测的位置的视频图像序列以提取被监测的位置的背景图像；车辆分割电路，被耦合至背景提取电路以接收被监测的位置的背景图像，车辆分割电路被通信地耦合至UAV以接收被监测的位置的视频图像序列以对每个视频帧进行分割并且将每个视频帧与被监测的位置的背景图像级联以产生级联图像数据；以及车辆追踪电路，被耦合至车辆分割电路以接收级联图像数据以在视频图像序列的多个图像帧中检测相同的所标识的车辆。
附图说明
在附图的图表中，通过示例的方式而不是通过限制的方式来对各个实施例进行图示，其中：
图1A是图示了用于使用无人驾驶飞行器(UAV)的交通数据采集的系统和方法的示例实施例的操作流程图，并且图1B图示了基于所公开的技术的实施例的图像处理器的示例组件；
图2至图5图示了一种示例场景，其中UAV配置有相机，并且以升高的位置被定位在要监测的特定位置处，以记录在UAV的视场内的位置处的交通活动的视频；图6是图示了用于训练示例实施例中的车辆分割模块的系统和方法的示例实施例的操作流程图；
图7图示了示例实施例的人类驾驶员模型系统的组件；
图8是图示了用于使用UAV的交通数据采集的系统和方法的示例实施例的过程流程图；以及
图9以计算机系统的示例形式示出了机器的图示，在该计算机系统内，一组指令在被执行时可以使机器执行本文所讨论的方法的任何一种或者多种方法。
具体实施方式
在下面的描述中，为了进行解释，阐述了许多具体细节以提供对各个实施例的透彻理解。然而，对于本领域的普通技术人员而言，将显而易见的是：可以在没有这些具体细节的情况下实践各个实施例。
有时可以使用模拟的人类驾驶员环境来配置自主车辆的控制系统。模拟的人类驾驶员环境尝试对在各种驾驶环境中人类驾驶员的典型驾驶行为进行建模。然而，基于从自主车辆或者相关探测车辆上的传感器和相机收集到的信息，可以构建模拟的人类驾驶员环境。由于该信息(包括来自车辆相机的图像)会受图像遮挡和不可靠的图像重建准确度的影响，因此，模拟的人类驾驶员环境的实用性和有效性被降级。此外，由于车辆本身和高架物体(诸如树木、建筑物、建筑设备等)所投射的阴影，图像遮挡问题更加复杂。由于车辆类型和颜色的多样性，很难实施阴影检测或者去除。由于被收集用于配置模拟的人类驾驶员环境的图像数据存在这些问题，因此，基于降级的模拟人类驾驶员环境的自主驾驶汽车的控制系统的有效性会受到损害。
本文档提供了可以由各个实施例用于解决上述问题以及其他问题的技术。
图1A是图示了用于使用无人驾驶飞行器(UAV)的交通数据采集的系统和方法的示例实施例的操作流程图，并且图1B图示了基于所公开的技术的实施例的图像处理器的示例组件。图2至图5图示了在图1A中示出的操作的示例场景，其中UAV配置有相机，并且以升高的位置被定位在要监测的特定位置处，以记录在UAV的视场内的位置处的交通活动的视频。
现在参照图1A，使用UAV来进行航拍视频交通分析的过程包括：飞行器110的剪辑和稳定化；背景提取115；地面车辆分割120；质心、行驶方向和形状推断处理125；地面车辆追踪130；以及输出和可视化135。在所公开技术的示例实施方式中，在飞行器110的剪辑和稳定化的步骤中产生视频图像数据的每个帧111，在背景提取115的步骤中产生背景图像116，在质心、行驶方向和形状推断处理125的步骤中产生所标识车辆图像126，并且在地面车辆追踪130的步骤中产生组合图像131。
参照图1B，基于所公开的技术的实施例实施的系统包括无人飞行器(UAV)202、背景提取电路181、车辆分割电路183和车辆追踪电路185。UAV 202配备有相机，以升高的位置被部署在被监测的位置处，并且UAV 202被配置为使用UAV相机来在预定时间段内捕获被监测的位置的视频图像序列。背景提取电路181被通信地耦合至UAV 202，以接收被监测的位置的视频图像序列，以提取被监测的位置的背景图像。车辆分割电路183被耦合至背景提取电路以接收被监测的位置的背景图像。车辆分割电路183还被通信地耦合至UAV 202，以接收被监测的位置的视频图像序列，以对每个视频帧进行分割，并且将每个视频帧与被监测的位置的背景图像级联，以产生级联图像数据。车辆追踪电路185被耦合至车辆分割电路，以接收级联图像数据，以在视频图像序列的多个图像帧中检测相同的所标识的车辆。
在所公开的技术的示例实施方式中，示例实施例中用于航拍视频交通分析的系统和过程开始于采集由UAV 202所获得的航拍视频图像数据，该UAV在要监测的特定位置(例如高速公路)正上方飞行。现在参照图2，示例场景示出了由UAV 202利用相机捕获到的视频图像数据的捕获图像204，该UAV 202以升高的位置被定位在要监测的特定位置，以记录在UAV的视场内的位置处的交通活动的视频图像数据。示例实施例的系统和方法提供了使用现代的UAV的交通数据采集，考虑到UAV，这些现代的UAV创建鸟瞰图(俯瞰图)，并且提供与交通活动相关的准确数据。现代的UAV 202能够以升高的位置悬停或者在空中移动，以具有高度的稳定性来采集与位置相关的数据，而不管可能不适合于进行数据采集的天气状况。利用在UAV 202上配置的高清并且稳定的相机，可以采集具有空前的高质量的数据。采集到的数据真实地反映了真实的与被监测的位置相关的现实世界交通信息。此外，UAV的存在不会干扰UAV正在观察的交通活动，这与当前在实践中的任何数据采集方法相反。进一步地，使用UAV 202的数据采集消除了由在相机的视场中的障碍物引起的遮挡问题。没有遮挡对于在采集了数据之后执行的有效和高保真图像数据处理而言很重要。最后，普通廉价的消费者UAV 202足以实现大多数图像数据收集任务。
仍然参照图2，UAV 202可以从被监测的位置204采集无障碍物视频图像数据。因此，采集到的视频图像数据可以包括道路231、交通流、车辆232或视场中的其他物体在预定时间段内的图像。因此，可以记录车辆232和物体在捕获到的图像204中的位置处的活动和行为，并且随后对该活动和行为进行分析和处理，从而将该活动和行为包括到人类驾驶员模型中。由UAV 202捕获到的视频(包括捕获到的图像204)没有障碍物，并且因此，提供了捕获到的图像204中的被监测的位置的始终清晰的鸟瞰图，该鸟瞰图为人类驾驶员模型提供更准确的并且更有用的数据。UAV 202的升高的位置实现更好的视频捕获，这引起更好的建模和模拟。此外，当与相机被安装在探测车辆上或者被安装在固定的陆基位置处的传统系统比较时，可以在低费用并且不干扰环境的情况下使用UAV。
仍然参照图1A和图2，当记录视频图像数据时，UAV 202应该理想地保持静止，但是可容许小量的漂移。然而，示例实施例提供了用于对错误的图像数据进行校正的剪辑和稳定化操作(在图1A中示出的操作框110)。对视频图像数据执行剪辑和稳定化操作，以完全去除在视场中的任何漂移。进行剪辑去除了视频图像数据中UAV202不规则地进行移动的任何部分。稳定化使所有视频帧的背景表面与所选择的参考帧的背景表面对准。在特定实施例中，可以使用Harris角点检测器来在参考帧上选择关键点。Harris角点检测是一种众所周知的过程，它在计算机视觉系统内使用，以提取某些种类的特征并且推断图像的内容。接下来，示例实施例可以应用金字塔形Lucas-Kanade稀疏光流过程以找到与每个视频帧中的点对应的关键点。在计算机视觉中，Lucas-Kanade方法是由Bruce D.Lucas和Takeo Kanade开发的一种用于光流估计的、广泛使用的差分法。通过组合来自若干附近的像素的信息，Lucas-Kanade方法通常可以解决光流方程的固有歧义。此外，示例实施例可以使用随机抽样一致(RANSAC)方法来对体现每个视频帧与参考帧的对准的透视变换矩阵进行求解。RANSAC是一种迭代方法，用于当使离群值符合不影响估计中的各个值时，从包括离群值的一组观察数据估计数学模型的参数。因此，示例实施例可以使所有视频帧的背景表面与所选择的参考帧的背景表面对准。使用透视变换矩阵来执行每个帧的稳定化。如果矩阵指示UAV运动大于所需运动，则可以去除视频图像数据的片段。去除不合适的视频片段被称为剪辑。
现在参照图1B和图3，在将视频图像数据发送至车辆分割模块183之前，可以对视频图像数据执行背景提取，以生成没有任何移动车辆的真实背景图像205(在图1A中示出的操作框115)。在示例实施例中，背景提取可以基于如同RANSAC的过程，其中对于在视场中的每个像素，从随着时间从视频采样到的帧的类集推断主色值。该过程趋向于从背景图像205中滤出移动的物体(例如车辆232)；因为在整个帧类集中，移动的物体的像素不是静态的。实际上，该背景提取过程很好地起作用，从而生成与如在图3的示例中示出的真实图像几乎无区别的背景图像(例如背景图像205)。
现在参照图1B和图4，在如上面描述的那样从每个视频图像中提取背景之后，示例实施例可以对每个视频帧进行分割，以标识在视频图像帧中捕获到的移动物体的位置和形状。示例实施例中的过程的该部分被表示为地面车辆分割(在图1A中示出的操作框120)。车辆分割模块183可以用于该过程。示例实施例的车辆分割模块可以采用两个输入：1)视频图像数据111中的每个帧，以及2)按照上面描述的方式提取的对应背景图像116。对于视频图像数据中的每个帧，可以将视频图像帧与对应的背景图像级联。可以通过车辆分割模块183的神经网络来处理级联图像数据。在一个示例实施例中，U-net架构可以被用于神经网络处理。U-net是一种用于快速地并且精确地对图像进行分割的卷积网络架构。神经网络可以输出在视场中的每个像素的二进制分类，该二进制分类表示像素是否是车辆的一部分。下面详细说明了对该神经网络的训练。在视场中的每个像素的二进制分类的类集可以被用于生成车辆分割掩码，该车辆分割掩码定义在视场内的视频图像帧中标识的每个车辆物体的位置和大体或者粗略形状。
仍然参照图4，在如上面描述的那样生成车辆分割掩码之后，示例实施例可以使用车辆分割掩码，来推断由神经网络标识的每个车辆的质心、行驶方向和矩形形状(例如在图1A中示出的操作框125)。在图4的示例中示出了该数据的视觉表示206。该视觉表示206可以包括上面讨论的所标识的车辆图像126。当与一般的车辆掩码相比较时，该表示通常是更好的并且更有用的表示，因为当从上向下看时，在由UAV捕获到的图像中标识的大多数车辆都是矩形。
作为用于确定每个所标识的车辆233的质心、行驶方向和矩形形状的过程的一部分，示例实施例首先去除由车辆分割模块183产生的分割结果中的噪声点。然后，可以使用与每个车辆对应的其余连接的像素组件来表示在图像数据中标识的车辆的形状。可以将与车辆对应的连接组件的质心用作车辆的质心。可以通过对与车辆的连接组件对应的中心协方差矩阵的特征向量进行求解，来确定车辆的行驶方向。因此，示例实施例可以生成方向，沿着该方向，作为分布的形状的变化被最大化。该方向与关联于形状分布的车辆的行驶方向对应。通过采用沿着行驶方向的方向以及垂直于行驶方向的方向而投影的形状的百分位，来推断车辆的矩形。按照这种方式，可以提取在每个视频帧中的每个车辆的几何信息。同样，可以如上面描述的那样确定每个所标识的车辆的质心、行驶方向和矩形形状。
一旦如上面描述的那样提取了在每个视频帧中的每个车辆的几何信息，就可以执行随着时间通过图像帧的类集的车辆追踪(在图1A中示出的操作框130)。车辆追踪模块185可以用于该过程。示例实施例中的车辆追踪模块185可以应用于将在多个图像帧中的相同的车辆检测关联。在示例实施例中，可以使用追踪方法，在该追踪方法中，可以将在单个图像帧中的每次车辆检测与在前一图像帧或者后一图像帧中的至多一次车辆检测相关联。如果与车辆检测对应的图像数据在两个连续的图像帧中重叠，则车辆追踪模块185可以在多个图像帧中推断相同的车辆检测。按照这种方式，车辆追踪模块185可以通过多个图像帧来追随相同的车辆，并且确定车辆的速度。可以生成与每个车辆的速度对应的可见的速度向量，并且将其添加到视频图像数据。在示例实施例中，只要车辆分割是准确的，即使对于像摩托车一样的小型车辆，车辆追踪模块185也很好地起作用。在另一实施例中，可以利用唯一的标识符来对在输入的图像数据中标识的车辆的每个实例(例如在图7中示出的功能块210)进行标记，以区分不同的车辆并且使得能够利用相同的标识符来在不同的图像帧中追踪相同的车辆。若需要，可以使用该标记过程来促进对于跨多个图像帧的多个车辆的标识和追踪。
现在参照图5，在已经如上面描述的那样确定或者生成每个所标识的车辆的质心、行驶方向、矩形形状、追踪数据和速度向量之后，可以如示出的那样，生成对所标识车辆的车辆数据的输出和可视化表示207(在图1A中示出的操作框135)。该视觉表示207可以包括上面讨论的组合图像131。若需要，输出和可视化表示207可以包括背景图像205和每个所标识的车辆234的图像的组合以及视觉边界框235和速度向量。如下面更详细地描述的，与输出和可视化表示207对应的数据可以由人类驾驶员模型系统(例如在图7中示出的系统201)使用，以建立模型，用于表示在由UAV成像的环境中的典型驾驶行为。
对示例实施例中的车辆分割模块的训练
图6是图示了用于训练示例实施例中的车辆分割模块183的系统和方法的示例实施例的操作流程图；在本文描述的示例实施例中，航拍视频分析和处理流水线中唯一需要进行训练的模块是车辆分割模块183。可以在如下面结合图6详细地描述的离线训练过程中执行对车辆分割模块183的训练。
在示例实施例中的离线训练过程中，为了训练将车辆物体与背景图像分离的车辆分割模块183的神经网络，离线训练过程包括：采集并且标记训练图像数据集。在示例实施例中，UAV配置有相机并且以升高的位置被定位在要监测的特定位置处，以记录在UAV的视场内的位置处的交通活动的视频。参照图6，示例实施例中的用于训练车辆分割模块183的方法开始于采集由在要监测的特定位置(例如高速公路)正上方飞行的UAV 202获得的航拍视频图像数据。由UAV 202采集到的数据真实地反映了真实的与被监测的位置相关的现实世界交通信息。UAV 202可以从被监测的位置204采集无障碍物视频图像数据。因此，采集到的视频图像数据可以包括道路、交通流和车辆或在视场中的其他物体在预定时间段内的图像。因此，可以记录车辆和物体在位置204处的活动和行为，并且随后将该活动和行为用于训练车辆分割模块183以准确地识别图像数据中的车辆物体。
仍然参照图6，当记录视频图像数据时，UAV 202应该理想地保持静止，但是可容许小量的漂移。然而，示例实施例提供了用于对错误的图像数据进行校正的离线剪辑和稳定化操作610。对视频图像数据执行离线剪辑和稳定化操作610，以去除在视场中的任何漂移。进行剪辑去除了视频图像数据中UAV 202不规则地进行移动的任何部分。稳定化使所有视频帧的背景表面对准所选择的参考帧的背景表面。如上所述，对于特定实施例，可以使用Harris角点检测器来在参考帧上选择关键点。示例实施例可应用金字塔形Lucas-Kanade稀疏光流过程，以找到与每个视频帧中的点对应的关键点。此外，示例实施例可以使用随机抽样一致(RANSAC)方法，来对体现每个视频帧与参考帧的对准的透视变换矩阵进行求解。因此，示例实施例可以使所有视频帧的背景表面与所选择的参考帧的背景表面对准。使用透视变换矩阵来执行每个帧的稳定化。如果矩阵指示UAV运动大于所需运动，则可以去除视频图像数据的片段。去除不合适的视频片段被称为剪辑。
仍然参照图6，可以对视频图像数据执行离线背景提取操作615，以生成没有任何移动车辆的真实图像。在如上面描述的示例实施例中，背景提取可以基于如同RANSAC的过程，其中对于在视场中的每个像素，从随着时间从视频采样到的帧的类集推断主色值。
仍然参照图6，在如上面描述的操作615中从每个视频图像提取了背景之后，示例实施例可以将生成的数据存储在数据存储设备中所保留的分割训练数据集630中，并且将其用于训练车辆分割模块183的神经网络。此外，可以在操作620中随机地对经过剪辑和稳定化的航拍视频图像数据的帧进行采样，并且将其传递到手动图像标记过程625。该手动图像标记过程625可以包括：将采样到的图像帧呈现给人类标记员或者离线自动化过程以对采样到的图像帧进行手动分割标记。在手动分割标记过程中，人类标记员可以绘制帧中的所有车辆的形状。手动图像标记过程625的目的是提供地面真实数据集，可以利用该地面真实数据集来训练车辆分割模块183。可以将由手动图像标记过程625生成的手动分割标记数据存储在被保留在数据存储设备中的分割训练数据集630中。在完成背景提取过程615和手动图像标记过程625时，采集采样到的图像帧、其对应的背景图像帧和分割标记作为分割训练数据集630并且进行保留用于神经网络训练。在示例实施例中，车辆分割模块183的神经网络可以是通用的神经网络架构，诸如上面描述的U-net架构。可以将视频图像帧、对应的背景图像帧和手动分割标记用作来自分割训练数据集630的输入来训练车辆分割模块183的神经网络。通过使用标准的神经网络训练程序，可以使用分割训练数据集630来配置车辆分割模块183中的参数，以使车辆分割模块183准确地标识在由UAV 202提供的一个或者多个视频图像帧中的车辆物体。因此，可以训练车辆分割模块183，以输出准确的车辆分割标记并且用作有效的车辆分割模型640，这对支持本文所描述的航拍视频交通分析系统非常有用。
如上所述，示例实施例中的系统可以提供航拍视频交通分析。示例实施例可以包括对应的方法，该方法可以被配置为：
1.接收图像序列(例如视频)；
2.通过去除不必要的图像来对图像序列进行剪辑(例如去除在UAV起飞、降落或者仅捕获目标位置的一部分时所捕获到的图像)；
3.通过选择参考图像并且针对参考图像调整/校准其他图像来使图像序列稳定；
4.提取图像序列中的背景图像以进行车辆分割，逐个像素地提取没有车辆的背景图像；
5.执行物体/车辆分割，以逐个像素地标识图像序列中的物体/车辆；
6.确定每个所标识的车辆的质心、行驶方向和矩形形状；
7.执行车辆追踪，以在视频图像序列的多个图像帧中检测相同的所标识的车辆；并且
8.产生图像序列的输出和可视化(若需要)，包括背景图像和每个所标识的车辆的图像的组合以及视觉边界框和速度向量。
现在参照图7，可以在用于自主车辆的人类驾驶员模型系统201的语境中使用本文公开的示例实施例。在一个示例实施例中，人类驾驶员模型系统201可以从被定位在被监测的特定道路(例如被监测的位置)上方的UAV来接收高清图像数据和其他传感器数据(例如交通或者车辆图像数据210)。由UAV采集到的图像数据真实地反映了真实的与被监测的位置相关的现实世界交通信息。通过使用众所周知的UAV的标准能力，可以无线地(或者以其他方式)将交通或者车辆图像数据210传递给标准计算系统的数据处理器171，可以在该标准计算系统上执行人类驾驶员模型模块175和/或图像处理模块173。备选地，可以将交通或者车辆图像数据210存储在UAV上的存储器设备中，并且随后将其传递给数据处理器171。下面更详细地描述了由示例实施例中的人类驾驶员模型模块175执行的处理。由部署的UAV提供的交通或者车辆图像数据210可以由图像处理模块173接收并且进行处理，该交通或者车辆图像数据210也可以由数据处理器171执行。如上所述，图像处理模块173可以执行：剪辑；稳定化；背景提取；物体/车辆分割；车辆质心、行驶方向和形状推断处理；车辆追踪；输出和可视化生成以及用于在接收到的图像中隔离车辆或者物体存在和活动的其他图像处理功能。人类驾驶员模型模块175可以使用与这些现实世界车辆或者物体相关的信息来在人类驾驶员模型中创建车辆或者物体的对应模拟。保留在车辆分割中的参数值和存储在存储器172中的人类驾驶员模型参数数据集174可以用于配置人类驾驶员模型模块175的操作。如上面更详细的描述的，UAV的升高的位置在被监测的位置上方，并且UAV上的稳定的高清相机提供了非常有价值的和有用的图像和数据馈源，以供人类驾驶员模型模块175使用。作为由人类驾驶员模型系统201执行的处理的结果，可以产生与预测的或者模拟的驾驶员行为220对应的数据，并且将其提供给用户或者其他系统组件。具体地，可以将预测的或者模拟的驾驶员行为数据220提供给用于创建虚拟世界的系统组件，在该虚拟世界中，可以训练并且改进用于自主车辆的控制系统。虚拟世界被配置为(尽可能)与由人类驾驶员操作车辆的现实世界相同。换句话说，模拟的驾驶员行为数据间接地对配置用于自主车辆的控制系统有用。对于本领域的普通技术人员而言将清楚的是：也可以在各种其他应用和系统中实施、配置、处理和使用本文所描述的并且要求保护的人类驾驶员模型系统201和交通或者车辆图像数据210。
可以使用基本的人类驾驶员模型来利用模拟场景中的模拟驾驶员而对自主车辆的行为进行模拟或者预测。基本的人类驾驶员模型表示被配置为(尽可能)与由人类驾驶员操作车辆的现实世界相同的虚拟世界。该虚拟世界可以用于训练和改进用于自主车辆的控制系统。因此，模拟可以间接地对配置自主车辆中的控制系统有用。这种人类驾驶员模型可以是参数化模型，可以使用现实世界输入或者随机变量来配置这些参数化模型。在一个示例中，基本的人类驾驶员模型可以对典型的和非典型的驾驶员行为进行模拟，诸如转向或者行驶方向控制、速度或者油门控制以及停止或者制动控制。在一个示例中，例如，基本的人类驾驶员模型可以使用感官运动来传输延迟、动态能力和优选驾驶行为。在一些实施方式中，人类驾驶员模型可以包括对刺激与模拟驾驶员的控制响应之间的传输时间延迟进行建模。在一些实施方式中，该延迟可以表示驾驶员感觉到刺激，对刺激进行处理，确定最佳校正动作并且做出反应所需的时间。人类驾驶员模型还可以包括速度控制模型，该速度控制模型具有绝对最大车辆速度(例如车辆的最大速度、超过的话会使驾驶员不舒服的速度等)和转弯距离程度的度量，用以基于转弯半径来降低速度。在该示例中，该速度控制模型可以对驾驶员减速转弯的趋势进行复制。在该示例中，一旦转弯半径在该场景中下降到低于转弯阈值，就可以与转弯的紧密度成比例地降低速度。
在各个示例实施例中，人类驾驶员模型可以被配置为不止对典型的驾驶行为进行模拟。为了对尽可能与现实世界相同的环境进行模拟，人类驾驶员模型需要有关典型的驾驶行为的数据，这些数据代表普通人，但是同样需要非典型的驾驶行为。换句话说，实际上，大多数人类驾驶员都以愉悦和谦逊的方式驾驶车辆，而其他驾驶员剧烈地和不耐烦地进行驾驶。等效地，各个示例实施例中的模拟系统包括与虚拟世界中的不礼貌的和不耐烦的驾驶员的驾驶行为相关的数据。总之，人类驾驶员模型可以配置有表示驾驶行为的数据，这些数据尽可能地多样。
在一些实施方式中，可以将人类可以响应刺激的方式的动力学包括在人类驾驶员模型中，例如，该动力学可以包括驾驶员进行制动和加速的剧烈程度的度量。在一些实施方式中，可以将驾驶剧烈的驾驶员建模为应用非常高的控制输入以实现期望的车速的驾驶员，而保守的驾驶员可以使用更多的渐进控制输入。在一些实施方式中，可以使用参数化的值来对这一点进行建模，其中将输入控制到期望值。在一些实施方式中，通过调整参数化的值，可以增加或者减少模拟的驾驶员的剧烈程度。
现在参照图8，流程图图示了用于航拍视频交通分析的系统和方法1000的示例实施例。该示例实施例可以被配置为：从无人驾驶飞行器(UAV)接收捕获到的视频图像序列(处理框1010)；通过去除不必要的图像，来对视频图像序列进行剪辑(处理框1020)；通过选择参考图像并且针对参考图像调整其他图像，来使视频图像序列稳定(处理框1030)；提取视频图像序列中的背景图像，以进行车辆分割(处理框1040)；执行车辆分割，以逐个像素地标识视频图像序列中的车辆(处理框1050)；确定每个所标识的车辆的质心、行驶方向和矩形形状(处理框1060)；执行车辆追踪，以在视频图像序列的多个图像帧中检测相同的所标识的车辆(处理框1070)；并且产生视频图像序列的输出和可视化，包括背景图像和每个所标识的车辆的图像的组合(处理框1080)。
图9以计算系统700的示例形式示出了机器的图示，在该计算系统700内，一组指令在被执行时和/或处理逻辑在被激活时，可以使机器执行本文所描述的和/或要求保护的方法中的任何一种或者多种方法。在备选实施例中，该机器操作为独立设备，或者可以被连接(例如联网)到其他机器。在联网部署中，该机器可以在服务器-客户端网络环境中作为服务器或者客户端机器操作，或者在对等(或者分布式)网络环境中操作为对等机。该机器可以是个人计算机(PC)、膝上型计算机、平板计算系统、个人数字助理(PDA)、蜂窝电话、智能电话、网络应用、机顶盒(STB)、网络路由器、交换机或者桥接器或者能够执行一组指令(顺序的或者乱序的)或者激活处理逻辑的任何机器，该一组指令或者处理逻辑指定由待由该机器采取的动作。进一步地，虽然只图示了单个机器，但是术语“机器”也可以被理解为包括单独地或者联合地执行一组(或者多组)指令或者处理逻辑的机器的任何类集，该一组(或者多组)指令或者处理逻辑用于执行本文所描述的和/或要求保护的方法中的任何一种或者多种方法。
示例计算系统700可以包括数据处理器702(例如片上系统(SoC)、通用处理核心、图形核心以及可选地，其他处理逻辑)和存储器704，该数据处理器702和存储器704可以经由总线或者其他数据传递系统706来彼此通信。移动计算系统700和/或移动通信系统700还可以包括各种输入/输出(I/O)设备和/或接口710，诸如触摸屏显示器、音频插孔、语音接口以及可选地，网络接口712。在示例实施例中，网络接口712可以包括一个或者多个无线电收发器，该一个或者多个无线电收发器被配置用于与任何一种或者多种标准的无线和/或蜂窝协议或者接入技术(例如用于蜂窝系统、全球移动通信系统(GSM)、通用分组无线业务(GPRS)、增强型数据GSM环境(EDGE)、宽带码分多址(WCDMA)、LTE、CDMA2000、WLAN、无线路由器(WR)网格等的第二代(2G)、2.5代、第三代(3G)、第四代(4G)和后代无线接入)的兼容性。网络接口712还可以配置用于与各种其他有线和/或无线通信协议一起使用，包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMax、BluetoothTM、IEEE 802.11x等。本质上，网络接口712可以实际上包括或者支持任何有线和/或无线通信和数据处理机制，通过该机制，信息/数据可以经由网络714在计算系统700与另一计算或者通信系统之间传送。
存储器704可以表示机器可读介质，该机器可读介质上存储有体现本文所描述和/或要求保护的方法或者功能中的任何一个或者多个的一组或者多组指令、软件、固件或者其他处理逻辑(例如逻辑708)。在移动计算和/或通信系统700执行逻辑708或者其一部分期间，逻辑708或者其一部分还可以完全或者至少部分地驻留在处理器702内。同样，存储器704和处理器702还可以构成机器可读介质。逻辑708或者其一部分还可以被配置为在硬件中部分地实施其至少一部分的处理逻辑或者逻辑。还可以经由网络接口712来在网络714上传输或者接收逻辑708或者其一部分。虽然示例实施例中的机器可读介质可以是单种介质，但是术语“机器可读介质”应该被理解为包括存储一组或者多组指令的单种非暂时性介质或者多种非暂时性介质(例如集中式或者分布式数据库和/或相关联的高速缓冲存储器和计算系统)。术语“机器可读介质”还可以被理解为包括任何非暂时性介质，这些任何非暂时性介质能够存储、编码或者携带用于由机器执行并且使机器执行各个实施例中的任何一种或者多种方法的一组指令，或者能够存储、编码或者携带由这样一组指令利用或者与这样一组指令相关联的数据结构。术语“机器可读介质”可以相应地被理解为包括但不限于：固态存储器、光学介质和磁介质。
提供本公开的摘要以使读者快速地确定本技术公开的性质。提交摘要时，要理解：摘要将不被用于解释或者限制权利要求书的范围或者含义。另外，在前面的具体实施方式中，可以了解到：为了使本公开简单化，在单个实施例中将各种特征分组在一起。公开中的该方法不应该被解释为反映了以下意图：所要求保护的实施例需要比在每项权利要求中明确叙述的特征更多的特征。相反，如随附权利要求书反映的，发明主题在于少于单个所公开的实施例的所有特征。因此，随附权利要求书以此方式并入具体实施方式，其中每项权利要求独立地作为单独的实施例。

Claims (23)

1.一种系统，包括：
无人驾驶飞行器(UAV)，配备有相机，以升高的位置被部署在被监测的位置处，所述UAV被配置为使用UAV相机来在预定时间段内捕获所述被监测的位置的视频图像序列；
数据处理器；以及
图像处理模块，能够由所述数据处理器执行，所述图像处理模块被配置为：
从所述UAV接收捕获到的所述视频图像序列；
通过从所述视频图像序列去除不必要的图像，来对所述视频图像序列进行剪辑；
通过选择参考图像、并且针对所述参考图像调整其他图像，来使所述视频图像序列稳定；
提取所述视频图像序列中的背景图像，以进行车辆分割；
使用经训练的神经网络对单个像素分类并产生与所述视频图像序列对应的像素分类的类集，执行车辆分割，以逐个像素地标识所述视频图像序列中的车辆；
生成车辆分割掩码以确定在所述视频图像序列中标识的每个车辆的总体形状，所述车辆分割掩码通过使用由经训练的所述神经网络产生的像素分类的所述类集来生成；
基于所述车辆分割掩码和每个车辆的所述总体形状，确定每个所标识的车辆的质心、行驶方向和矩形形状；
执行车辆追踪，以在所述视频图像序列的多个图像帧中检测相同的所标识的车辆；并且
产生所述视频图像序列的输出和可视化，包括所述背景图像和每个所标识的车辆的所述图像的组合。
2.根据权利要求1所述的系统，其中所述图像处理模块被配置为：通过从随着时间从所述视频图像序列采样到的帧的类集推断主色值，来提取所述视频图像序列中的背景图像。
3.根据权利要求1所述的系统，其中所述图像处理模块被配置为：通过将视频图像帧与对应的背景图像级联，来执行车辆分割。
4.根据权利要求1所述的系统，其中所述图像处理模块包括机器可学习组件。
5.根据权利要求1所述的系统，其中所述图像处理模块被配置为：生成方向，沿着所述方向，车辆的所述形状的变化在分布时被最大化。
6.根据权利要求1所述的系统，其中所述图像处理模块被配置为：确定车辆检测是否在两个连续的图像帧中重叠。
7.根据权利要求1所述的系统，其中所述输出和可视化包括每个所标识的车辆的视觉边界框和速度向量。
8.根据权利要求1所述的系统，还包括人类驾驶员模型，所述人类驾驶员模型被配置为对人类驾驶员行为进行预测或者模拟。
9.一种方法，包括：
从无人驾驶飞行器(UAV)接收捕获到的视频图像序列；
通过从所述视频图像序列去除不必要的图像，来对所述视频图像序列进行剪辑；
通过选择参考图像、并且针对所述参考图像调整其他图像，来使所述视频图像序列稳定；
提取所述视频图像序列中的背景图像，以进行车辆分割；
使用经训练的神经网络对单个像素分类并产生与所述视频图像序列对应的像素分类的类集，执行车辆分割，以逐个像素地标识所述视频图像序列中的车辆；
生成车辆分割掩码以确定在所述视频图像序列中标识的每个车辆的总体形状，所述车辆分割掩码通过使用由经训练的所述神经网络产生的像素分类的所述类集来生成；
基于所述车辆分割掩码和每个车辆的所述总体形状，确定每个所标识的车辆的质心、行驶方向和矩形形状；
执行车辆追踪，以在所述视频图像序列的多个图像帧中检测相同的所标识的车辆；以及
产生所述视频图像序列的输出和可视化，包括所述背景图像和每个所标识的车辆的所述图像的组合。
10.根据权利要求9所述的方法，包括：通过从随着时间从所述视频图像序列采样到的帧的类集推断主色值，来提取所述视频图像序列中的所述背景图像。
11.根据权利要求9所述的方法，包括：通过将视频图像帧与对应的背景图像级联，来执行车辆分割。
12.根据权利要求9所述的方法，包括：使用机器可学习组件。
13.根据权利要求9所述的方法，包括：生成方向，沿着所述方向，车辆的作为分布的所述形状的变化被最大化。
14.根据权利要求9所述的方法，包括：确定车辆检测是否在两个连续的图像帧中重叠。
15.根据权利要求9所述的方法，其中所述输出和可视化包括每个所标识的车辆的视觉边界框和速度向量。
16.根据权利要求9所述的方法，还包括：提供被配置为对人类驾驶员行为进行预测或者模拟的人类驾驶员模型。
17.一种系统，包括：
无人驾驶飞行器(UAV)，配备有相机，以升高的位置被部署在被监测的位置处，所述UAV被配置为使用所述UAV相机来在预定时间段内捕获所述被监测的位置的视频图像序列；
背景提取电路，被通信地耦合至所述UAV，以接收所述被监测的位置的所述视频图像序列，以提取所述被监测的位置的背景图像；
车辆分割电路，被耦合至所述背景提取电路，以接收所述被监测的位置的所述背景图像，所述车辆分割电路被通信地耦合至所述UAV，以接收所述被监测的位置的所述视频图像序列，以对每个视频帧进行分割，并且将每个视频帧与所述被监测的位置的所述背景图像级联，以产生级联图像数据，所述车辆分割电路还被配置为使用经训练的神经网络对单个像素分类并产生与所述视频图像序列对应的像素分类的类集，以逐个像素地标识所述视频图像序列中的车辆；
掩码生成电路，被耦合至所述车辆分割电路，以生成车辆分割掩码以确定在所述视频图像序列中标识的每个车辆的总体形状，所述车辆分割掩码通过使用由经训练的所述神经网络产生的像素分类的所述类集来生成；以及
车辆追踪电路，被耦合至所述车辆分割电路和所述掩码生成电路，以接收所述级联图像数据，以在所述视频图像序列的多个图像帧中检测相同的所标识的车辆。
18.根据权利要求17所述的系统，其中所述车辆分割电路包括具有U-net架构的神经网络。
19.根据权利要求17所述的系统，其中所述车辆分割电路生成在视场中的每个像素的二进制分类，所述二进制分类表示所述像素是否是车辆的一部分。
20.根据权利要求19所述的系统，其中在所述视场中的每个像素的所述二进制分类被采集，以生成所述车辆分割掩码，所述车辆分割掩码定义在所述视场内的视频图像帧中标识的每个车辆物体的位置和形状。
21.根据权利要求17所述的系统，其中所述车辆追踪电路被配置为：如果与车辆检测对应的图像数据在两个连续的图像帧中重叠，则在所述多个图像帧中推断相同的车辆检测。
22.根据权利要求21所述的系统，其中所述车辆追踪电路被配置为：通过多个图像帧来追随相同的车辆，并且确定所述车辆的速度。
23.根据权利要求21所述的系统，其中所述车辆追踪电路被配置为：利用标识符来对相同的所标识的车辆进行标记，以区分不同的车辆，并且使得能够利用相同的标识符来在不同的图像帧中追踪所述相同的车辆。
CN201880065098.5A 2017-10-05 2018-10-01 用于航拍视频交通分析的系统和方法 Active CN111201496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310794571.6A CN116844072A (zh) 2017-10-05 2018-10-01 用于航拍视频交通分析的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/725,747 US10410055B2 (en) 2017-10-05 2017-10-05 System and method for aerial video traffic analysis
US15/725,747 2017-10-05
PCT/US2018/053795 WO2019070604A1 (en) 2017-10-05 2018-10-01 SYSTEM AND METHOD FOR VIDEO ANALYSIS OF AIR TRAFFIC

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310794571.6A Division CN116844072A (zh) 2017-10-05 2018-10-01 用于航拍视频交通分析的系统和方法

Publications (2)

Publication Number Publication Date
CN111201496A CN111201496A (zh) 2020-05-26
CN111201496B true CN111201496B (zh) 2023-06-30

Family

ID=65993218

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310794571.6A Pending CN116844072A (zh) 2017-10-05 2018-10-01 用于航拍视频交通分析的系统和方法
CN201880065098.5A Active CN111201496B (zh) 2017-10-05 2018-10-01 用于航拍视频交通分析的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310794571.6A Pending CN116844072A (zh) 2017-10-05 2018-10-01 用于航拍视频交通分析的系统和方法

Country Status (5)

Country Link
US (1) US10410055B2 (zh)
EP (1) EP3692428A4 (zh)
CN (2) CN116844072A (zh)
AU (2) AU2018345330B2 (zh)
WO (1) WO2019070604A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
CN109993824B (zh) * 2017-12-29 2023-08-04 深圳市优必选科技有限公司 图像处理方法、智能终端及具有存储功能的装置
CN112004729B (zh) 2018-01-09 2023-12-01 图森有限公司 具有高冗余的车辆的实时远程控制
EP3738106A4 (en) 2018-01-11 2021-09-08 TuSimple, Inc. MONITORING SYSTEM FOR AUTONOMOUS VEHICLE OPERATION
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10679362B1 (en) * 2018-05-14 2020-06-09 Vulcan Inc. Multi-camera homogeneous object trajectory alignment
CA3043621C (en) * 2018-05-18 2020-03-24 The Governing Council Of The University Of Toronto Method and system for color representation generation
US10878588B2 (en) * 2018-06-22 2020-12-29 X Development Llc Detection and replacement of transient obstructions from high elevation digital images
WO2020056203A1 (en) 2018-09-13 2020-03-19 TuSimple Remote safe driving methods and systems
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
EP3696768B1 (en) * 2019-02-12 2022-07-27 Ordnance Survey Limited Method and system for generating composite geospatial images
US11790773B2 (en) * 2019-02-25 2023-10-17 Quantifly Llc Vehicle parking data collection system and method
CA3081259C (en) 2019-05-03 2024-04-30 The Governing Council Of The University Of Toronto System and method for generation of an interactive color workspace
US11554785B2 (en) * 2019-05-07 2023-01-17 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation
US11610142B2 (en) * 2019-05-28 2023-03-21 Ati Technologies Ulc Safety monitor for image misclassification
US11210199B2 (en) 2019-05-31 2021-12-28 Ati Technologies Ulc Safety monitor for invalid image transform
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110619282B (zh) * 2019-08-26 2023-01-10 海南撰云空间信息技术有限公司 一种无人机正射影像建筑物自动提取方法
US20210097382A1 (en) * 2019-09-27 2021-04-01 Mcafee, Llc Methods and apparatus to improve deepfake detection with explainability
CN110889394A (zh) * 2019-12-11 2020-03-17 安徽大学 基于深度学习UNet网络的水稻倒伏识别方法
US11644331B2 (en) * 2020-02-28 2023-05-09 International Business Machines Corporation Probe data generating system for simulator
US11814080B2 (en) 2020-02-28 2023-11-14 International Business Machines Corporation Autonomous driving evaluation using data analysis
US11702101B2 (en) 2020-02-28 2023-07-18 International Business Machines Corporation Automatic scenario generator using a computer for autonomous driving
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
US11971719B2 (en) * 2020-06-04 2024-04-30 Firefly Automatix, Inc. Performing low profile object detection on a mower
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
US11841479B2 (en) 2020-07-31 2023-12-12 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as a function of position in a subsurface volume of interest
US11733424B2 (en) 2020-07-31 2023-08-22 Chevron U.S.A. Inc. Systems and methods for identifying subsurface features as functions of feature positions in a subsurface volume of interest
CN112700654A (zh) * 2020-12-21 2021-04-23 上海眼控科技股份有限公司 视频处理方法、装置、电子设备和存储介质
US11702011B1 (en) * 2022-06-30 2023-07-18 Plusai, Inc. Data augmentation for driver monitoring
US11699282B1 (en) 2022-06-30 2023-07-11 Plusai, Inc. Data augmentation for vehicle control
US11574462B1 (en) 2022-06-30 2023-02-07 Plus AI, Inc. Data augmentation for detour path configuring
CN116630832B (zh) * 2023-07-21 2023-09-29 江西现代职业技术学院 一种无人机目标识别方法、系统、计算机及可读存储介质
CN117218858A (zh) * 2023-10-25 2023-12-12 河北高速公路集团有限公司承德分公司 用于高速公路的交通安全预警系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413444A (zh) * 2013-08-26 2013-11-27 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
CN104170370A (zh) * 2012-01-16 2014-11-26 谷歌公司 为了稳定而使用动态裁切对视频进行处理的方法和系统
CN106683119A (zh) * 2017-01-09 2017-05-17 河北工业大学 基于航拍视频图像的运动车辆检测方法

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6263088B1 (en) * 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US9007197B2 (en) * 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
EP1741079B1 (en) 2004-04-08 2008-05-21 Mobileye Technologies Limited Collision warning system
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US8417060B2 (en) * 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
EP2383679A1 (en) 2006-12-06 2011-11-02 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8345956B2 (en) * 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
CN102365651A (zh) 2009-03-26 2012-02-29 皇家飞利浦电子股份有限公司 用于通过使用基于色彩频率的显著图来修改图像的方法和装置
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US9002632B1 (en) 2009-07-19 2015-04-07 Aaron T. Emigh Fuel cost optimized routing
TWI393074B (zh) * 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9179072B2 (en) 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
WO2012068154A1 (en) 2010-11-15 2012-05-24 Huawei Technologies Co., Ltd. Method and system for video summarization
EP2463843B1 (en) 2010-12-07 2015-07-29 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
SG192881A1 (en) * 2011-02-21 2013-09-30 Stratech Systems Ltd A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
CN103718427B (zh) 2011-07-28 2017-04-12 本田技研工业株式会社 无线送电方法
US8891820B2 (en) * 2011-09-29 2014-11-18 The Boeing Company Multi-modal sensor fusion
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US8737690B2 (en) * 2012-04-06 2014-05-27 Xerox Corporation Video-based method for parking angle violation detection
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
EP2946336B1 (en) 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9652860B1 (en) * 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
AU2013205548A1 (en) * 2013-04-30 2014-11-13 Canon Kabushiki Kaisha Method, system and apparatus for tracking objects of a scene
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
EP3008708B1 (en) 2013-06-13 2019-12-18 Mobileye Vision Technologies Ltd. Vision augmented navigation
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9090260B2 (en) 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
EP3108264A2 (en) 2014-02-20 2016-12-28 Mobileye Vision Technologies Ltd. Advanced driver assistance system based on radar-cued visual imaging
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9471889B2 (en) * 2014-04-24 2016-10-18 Xerox Corporation Video tracking based method for automatic sequencing of vehicles in drive-thru applications
US9390329B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Method and system for automatically locating static occlusions
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
EP4187523A1 (en) 2014-05-14 2023-05-31 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
EP3152704A2 (en) 2014-06-03 2017-04-12 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US9959903B2 (en) * 2014-10-23 2018-05-01 Qnap Systems, Inc. Video playback method
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US9483839B1 (en) * 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
CN107925476B (zh) 2015-07-23 2020-11-10 日本电气株式会社 路由切换设备、路由切换系统和路由切换方法
US9989965B2 (en) * 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10261574B2 (en) * 2016-11-30 2019-04-16 University Of Macau Real-time detection system for parked vehicles
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104170370A (zh) * 2012-01-16 2014-11-26 谷歌公司 为了稳定而使用动态裁切对视频进行处理的方法和系统
CN103413444A (zh) * 2013-08-26 2013-11-27 深圳市川大智胜科技发展有限公司 一种基于无人机高清视频的交通流调查处理方法
CN106683119A (zh) * 2017-01-09 2017-05-17 河北工业大学 基于航拍视频图像的运动车辆检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DRONE-BASED TRAFFIC FLOW ESTIMATION AND TRACKING USING COMPUTER VISION;Bruin A ET AL;《URL:https://www.researchgate.net/profile/M j-thinus-Booysen/publication/279537782_DR0 NE-BASED_TRAFFIC_FLOW_ESTIMATION_AND_TRACKING_USING_C0MPUTER_VISI0N/links/55968d6608ae793dl37cQ85b》;20150703;第1-11页 *

Also Published As

Publication number Publication date
EP3692428A1 (en) 2020-08-12
AU2018345330A1 (en) 2020-05-07
US10410055B2 (en) 2019-09-10
CN116844072A (zh) 2023-10-03
AU2018345330B2 (en) 2023-09-07
EP3692428A4 (en) 2021-07-14
WO2019070604A1 (en) 2019-04-11
AU2023278047A1 (en) 2024-01-04
US20190108384A1 (en) 2019-04-11
CN111201496A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN111201496B (zh) 用于航拍视频交通分析的系统和方法
US9952594B1 (en) System and method for traffic data collection using unmanned aerial vehicles (UAVs)
US20240096014A1 (en) Method and system for creating and simulating a realistic 3d virtual world
US10830669B2 (en) Perception simulation for improved autonomous vehicle control
CN109840880B (zh) 一种路面识别方法和装置
US20200151512A1 (en) Method and system for converting point cloud data for use with 2d convolutional neural networks
CN110889464B (zh) 检测目标对象的神经网络训练、目标对象的检测方法及装置
US20200242777A1 (en) Depth-aware object counting
US20200143179A1 (en) Infrastructure-free nlos obstacle detection for autonomous cars
EP3410404B1 (en) Method and system for creating and simulating a realistic 3d virtual world
CN112560698B (zh) 图像处理方法、装置、设备和介质
US11436839B2 (en) Systems and methods of detecting moving obstacles
US11430199B2 (en) Feature recognition assisted super-resolution method
CN109543634B (zh) 定位过程中的数据处理方法、装置、电子设备和存储介质
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法
JP2022512165A (ja) 交差点検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置及びデバイス
CN110874610A (zh) 一种使用机器学习的人类驾驶行为建模系统
CN109903308B (zh) 用于获取信息的方法及装置
EP3913527A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
KR20210095925A (ko) 카메라 측위
Krump et al. UAV based vehicle detection on real and synthetic image pairs: performance differences and influence analysis of context and simulation parameters
KR101611789B1 (ko) 주행영상의 모션 파라미터 추출을 통한 자동화된 주행도로 노면의 시각화 방법
Kovács Single image visual obstacle avoidance for low power mobile sensing
Barrozo et al. Simulation of an Autonomous Vehicle Control System Based on Image Processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant