CN112061138A - 车辆偏心率映射 - Google Patents

车辆偏心率映射 Download PDF

Info

Publication number
CN112061138A
CN112061138A CN202010525875.9A CN202010525875A CN112061138A CN 112061138 A CN112061138 A CN 112061138A CN 202010525875 A CN202010525875 A CN 202010525875A CN 112061138 A CN112061138 A CN 112061138A
Authority
CN
China
Prior art keywords
vehicle
moving object
determining
magnitude
eccentricity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010525875.9A
Other languages
English (en)
Inventor
布鲁诺·西利·贾尔斯科斯塔
金塔拉斯·文森特·普斯科里奥斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN112061138A publication Critical patent/CN112061138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“车辆偏心率映射”。一种计算机包括处理器和存储器，所述存储器包括要由所述处理器执行的指令，以基于确定偏心率映射图来检测视频流数据中的移动对象。所述指令还可包括用于以下各项的指令：确定所述移动对象的运动幅度和方向，将所述幅度和方向变换为全球坐标，以及基于经变换的幅度和方向来操作车辆。

Description

车辆偏心率映射
技术领域
本公开总体上涉及车辆传感器，并且更具体地，涉及对象检测和避让。
背景技术
车辆可被配备为以自主模式和乘员驾驶模式两者操作。车辆可配备有计算装置、网络、传感器和控制器以获取关于车辆的环境的信息并基于该信息来操作车辆。车辆的安全且舒适的操作可取决于获取关于车辆的环境的准确且及时的信息。车辆传感器可提供关于在车辆的环境中要行驶的路线和要避开的对象的数据。车辆的安全且高效的操作可取决于在车辆正在道路上进行操作时获取关于在车辆的环境中的路线和对象的准确且及时的信息。
发明内容
车辆可被配备为以自主模式和乘员驾驶模式两者操作。半自主或完全自主模式意指其中车辆可由作为具有传感器和控制器的信息系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可被占用或未被占用，但是在任一情况下，都可在没有乘员辅助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被定义为其中车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些都不由计算机控制。
车辆中的计算装置可被编程为获取关于车辆的外部环境的数据并使用该数据来确定车辆路径，在该车辆路径上以自主或半自主模式操作车辆。车辆路径是描述车辆在平行于车辆在其上操作的道路的表面的二维(2D)平面上的连续位置(即，在不同时间的位置)的直线和/或曲线。基于车辆的路径通过确定命令以指导车辆的动力传动系统、制动和转向部件来操作车辆以便沿着路径移动，车辆可在道路上操作。与外部环境有关的数据可包括在全球坐标中对象的位置。相对于所定义的参考系例如纬度、经度和海拔测量全球坐标。示例对象可包括车辆和行人。移动对象数据可基于处理由车辆传感器或交通基础设施系统中包括的传感器获取的摄像机数据。
基于移动对象数据来操作车辆可包括确定避开移动对象的车辆路径。预测包括移动对象的未来位置的移动对象的路径可允许计算装置确定避开移动对象的车辆路径。本文讨论的技术可通过确定在来自固定式摄像机的视频流数据中检测到的移动对象的速度和方向来改进车辆操作。可基于处理视频流数据以确定偏心率映射图来确定移动对象的速度和方向，如下面关于图3所述。移动对象的速度和方向可基于偏心率映射图来确定而无需任何先前信息输入或离线训练。本文描述的技术可提供改进的计算速度和效率，例如，可以使用当前的计算技术以每秒超过一百帧的速率估计相对于视频数据帧中的像素坐标的移动对象速度和方向。本文描述的技术不需要用户定义的参数或关于与图像数据相对应的概率分布的假设。本文描述的技术可处理概念漂移或概念演进，其中概念漂移或概念演进是指视频流数据中与移动对象相对应的基础像素数据随时间的变化。
本文公开了一种方法，包括：基于确定偏心率映射图来检测视频流数据中的移动对象，确定移动对象的运动幅度和方向，将该幅度和方向变换为全球坐标，以及基于经变换的幅度和方向操作车辆。可基于在视频流数据上计算出的每像素平均值和每像素方差来确定偏心率映射图。可基于由用户输入遗忘因子α确定的视频帧的有限窗口来确定偏心率映射图。可通过基于对偏心率映射图进行阈值分割来确定前景掩模，从而检测移动对象。可通过基于前景掩模确定像素的连接区域并基于该连接区域确定边界框来检测移动对象。可通过分别计算和累加边界框中前景像素的水平和竖直线段的梯度来确定移动对象的x和y运动梯度。可基于x和y运动梯度来确定移动对象的运动幅度和方向。
可基于获取视频流数据的摄像机的视野的三维六轴位置和方向、摄像机中包括的镜头的放大倍数以及与摄像机的视野中的道路相对应的二维平面的位置，将该幅度和方向从像素坐标变换为全球坐标。可基于该幅度和方向确定车辆路径。车辆可以在车辆路径上操作，从而避开移动对象。可基于由交通基础设施系统中包括的固定式摄像机获取的视频流数据来确定偏心率映射图。可由交通基础设施系统中包括的服务器计算机来确定移动对象的运动幅度和方向。移动对象的运动幅度和方向可从交通基础设施系统中包括的服务器计算机传送到车辆中包括的计算装置。移动对象可包括行人、骑自行车的人、车辆或任何其他感兴趣对象中的一者或多者。
还公开了一种计算机可读介质，其存储用于执行上述方法步骤中的一些或全部的程序指令。还公开了一种被编程为执行上述方法步骤中的一些或全部的计算机，其包括计算机设备，该计算机设备被编程为：基于确定偏心率映射图来检测视频流数据中的移动对象，确定移动对象的运动幅度和方向，将该幅度和方向变换为全球坐标，并且基于经变换的幅度和方向操作车辆。可基于在视频流数据上计算出的每像素平均值和每像素方差来确定偏心率映射图。可基于由用户输入遗忘因子α确定的视频帧的有限窗口来确定偏心率映射图。可通过基于对偏心率映射图进行阈值分割来确定前景掩模，从而检测移动对象。可通过基于前景掩模确定像素的连接区域并基于该连接区域确定边界框来检测移动对象。可通过分别计算和累加边界框中前景像素的水平和竖直线段的梯度来确定移动对象的x和y运动梯度。可基于x和y运动梯度来确定移动对象的运动幅度和方向。
计算机设备还可被编程为基于获取视频流数据的摄像机的视野的三维六轴位置和方向、摄像机中包括的镜头的放大倍数以及与摄像机的视野中的道路相对应的二维平面的位置，将该幅度和方向从像素坐标变换为全球坐标。可基于该幅度和方向确定车辆路径。车辆可以在车辆路径上操作，从而避开移动对象。可基于由交通基础设施系统中包括的固定式摄像机获取的视频流数据来确定偏心率映射图。可由交通基础设施系统中包括的服务器计算机来确定移动对象的运动幅度和方向。移动对象的运动幅度和方向可从交通基础设施系统中包括的服务器计算机传送到车辆中包括的计算装置。移动对象可包括行人和车辆中的一者或多者。
附图说明
图1是示例交通基础设施系统的框图。
图2是交通场景的示例图像的图示。
图3是由固定式相机获取的交通场景的示例图像的图示。
图4是示出了偏心率处理的交通场景的示例图像的图示。
图5是具有所识别出的移动对象的交通场景的示例图像的图示。
图6是示例偏心率梯度的图示。
图7是具有包括方向和速度的移动对象的交通场景的示例图像的图示。
图8是用于基于移动对象的运动分量来操作车辆的过程的流程图。
具体实施方式
图1是交通基础设施系统100的图示，该交通基础设施系统包括可以自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和/或乘员驾驶(也称为非自主)模式操作的车辆110。一个或多个车辆110计算装置115可从传感器116接收关于车辆110的操作的信息。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储可由处理器执行的用于进行包括如本文所公开的各种操作的指令。例如，计算装置115可包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是操作人员)是否和何时控制此类操作。
计算装置115可包括或例如经由如下文进一步描述的车辆通信总线通信地耦合到多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))。计算装置115一般被布置为用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)进行通信；车辆110网络可以另外地或可选地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从各种装置接收消息。可选地或另外地，在计算装置115实际上包括多个装置的情况下，车辆通信网络可用于在本公开中表示为计算装置115的装置之间的通信。此外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可被配置为经由网络130通过车辆对基础设施(V对I)接口111与远程服务器计算机120(例如，云服务器)进行通信，如下所述，该接口包括允许计算装置115经由诸如无线互联网(Wi-Fi)或蜂窝网络的网络130与远程服务器计算机120进行通信的硬件、固件和软件。因此，V对I接口111可包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、
Figure BDA0002533773480000061
和有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置为使用例如在附近车辆110间在自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V对V)网络(例如，根据专用短程通信(DSRC)和/或类似的通信)通过V对I接口111与其他车辆110进行通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可通过将信息存储在非易失性存储器中来记录信息，以用于稍后经由车辆通信网络和通向服务器计算机120或用户移动装置160的车辆对基础设施(V对I)接口111来进行检索和传输。
如已经提及的，用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程通常包括在存储器中所存储的并可由计算装置115的处理器执行的指令中。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可在没有驾驶员的情况下作出各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，典型地以预期实现路线的安全且有效的行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、在特定位置处的到达时间和为了通过十字路口的十字路口(无信号灯)最小到达时间。
控制器(如该术语在本文中所使用)包括典型地被编程为控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加编程。控制器可通信地连接到计算装置115并从该计算装置接收指令以根据指令来致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并连接到车辆110通信总线(诸如控制器局域网(CAN)总线或局域互连网(LIN)总线)，以从计算机115接收指令并基于指令来控制致动器。
传感器116可包括已知的多种装置以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来例如自主地或半自主地操作车辆110。
车辆110一般是能够进行自主和/或半自主操作并具有三个或更多个车轮的基于地面的车辆110(例如，乘用车、轻型卡车等)。车辆110包括一个或多个传感器116、V对I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但非限制，传感器116可包括例如测高仪、相机、激光雷达、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可用于感测车辆110的操作环境，例如，传感器116可检测诸如天气状况(降水、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如相邻车辆110)的位置。传感器116还可用来收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性、以及车辆110的部件的准确且及时的性能。
图2是交通场景200的图示。交通场景200包括道路202和在道路202上行驶的车辆204。交通场景200还包括安装在杆208上的摄像机206，该杆208允许摄像机206从交通场景200中用虚线示出的视野210获取包括视频数据帧的视频流数据。摄像机206可获取红绿蓝(RGB)视频数据或包括其他编码和光的波长的视频数据。例如，摄像机206可获取红外(IR)视频数据或可见光和IR波长的组合。摄像机206可安装在提供道路202和车辆204在其不时地穿过视野210时的视图的其他平台上，例如，建筑物或如高架桥、标志或交通信号灯的其他结构。摄像机206还可安装在如车辆、无人机或便携式塔架之类的可移动平台上，只要摄像机206且因此视野210可在执行本文所讨论的计算所需的时间段内保持静止即可。执行本文所讨论的计算所需的时间段的范围可从小于一秒到小于10秒。
摄像机206可与交通基础设施系统100通信。交通基础设施系统100可包括计算装置，该计算装置从摄像机206获取视频流数据并处理该视频流数据以确定与视野210中的移动对象(例如包括车辆204和行人)有关的数据。交通基础设施系统100可获取与摄像机206的六轴位置有关的数据。可通过获取对象的图像来获得与摄像机的六轴位置有关的数据，其中在真实世界中以全球坐标测量对象相对于道路202的大小、位置和定向。六轴位置包括摄像机206在x轴、y轴和z轴上的三维(3D)位置，相对于诸如纬度、经度和海拔的全球坐标系来测量。六轴位置还包括被测量为分别绕x轴、y轴和z轴中的每一个的侧倾、俯仰和横摆旋转的方向。通过确定摄像机206的六轴位置、摄像机206中包括的镜头的放大倍数以及因此视野210的形状和大小以及与平行于道路202的二维平面的位置有关的数据，可将位于来自摄像机206的视频数据中的对象从相对于视频帧的像素坐标变换为真实世界坐标。
图3是为了符合专利局规定而以黑白色呈现的交通场景的图像300的图示。例如，图像300可以是来自摄像机206的视频数据帧。图像300包括道路302和与两个行人304、306相对应的像素数据。本文描述的技术可以通过确定在摄像机206的视野210中移动对象的速度和方向来改进车辆110的操作，在这个示例中，所述移动对象是两个行人304、306。车辆110可通过确定车辆路径来在道路302上操作，该车辆路径预测在车辆110在道路302上操作时车辆110的未来位置。确定移动对象相对于车辆110的速度和方向可允许计算装置115基于车辆110和移动对象的预测未来位置来确定避开移动对象的车辆路径。
图4是为了符合专利局规定而以黑白色呈现的示例偏心率图像或映射图400。另外，注意到的是偏心率映射图400的背景呈现为白色(其通常表示高的偏心率值)，而不是黑色(其通常表示低的偏心率值)，以提高易辨识性。响应于输入视频流数据，通过由等式(1)-(5)描述的偏心率过程来输出偏心率映射图400。在计算偏心率映射图440之前，可将像素数据从如红绿蓝(RGB)编码的多值格式(其中每个像素可包括与红色、绿色和蓝色视频信道相对应的三个八位值)变换为例如单个八位灰度值。偏心率是视频流数据中的像素值的变化量的度量，其中视频流数据包括以相等的时间间隔获取的多个视频数据帧。偏心率处理基于确定视频流数据的每像素平均值和方差并将像素的当前值与该像素的平均值(包括方差)进行比较来计算视频流数据的视频帧(时间)k的每像素归一化偏心率εk。偏心率εk可通过基于像素的偏心率εk值来确定前景和背景像素来确定与视频流数据中的移动对象相对应的连续像素区域。对于不随时间在视频帧之间改变值的像素(即，背景像素)，偏心率εk趋于为零或较小(接近零)。对于随时间而改变值的像素(即，前景像素)，偏心率εk趋于为非零。前景像素对应于移动对象，如车辆和行人。在时间k，直至时间k的像素值样本的每像素平均值μk可通过等式(1)来计算：
μk＝(1-α)μk-1+αxk (1)
其中xk是在时间k的像素值，并且α是在范围(0，1)内的指数衰减因子且对应于“遗忘因子”，所述遗忘因子随距时间k的距离增加而降低视频数据对偏心率εk的影响，从而具有更新每个帧的有限视频帧窗口的效果。常数α可通过用户输入来确定。直至时间k的样本的每像素方差
Figure BDA0002533773480000101
可使用临时变量
Figure BDA0002533773480000102
通过等式(2)和(3)来计算：
Figure BDA0002533773480000103
Figure BDA0002533773480000104
每像素平均值μk和方差
Figure BDA0002533773480000105
可组合以计算偏心率εk：
Figure BDA0002533773480000106
其中
Figure BDA00025337734800001012
是选择方差
Figure BDA0002533773480000107
与常数γ之间的最大值的函数，该常数可由用户输入确定以避免在
Figure BDA0002533773480000108
接近零时的数值不稳定性。归一化偏心率
Figure BDA0002533773480000109
可通过等式(5)来计算，该归一化偏心率将偏心率
Figure BDA00025337734800001010
归一化以使值在(0，1)范围内：
Figure BDA00025337734800001011
图4包括与图3中的行人302、304相对应的两个移动对象402、404。与移动对象402、404相对应的像素数据值在移动对象402、404的最接近运动方向的边缘附近具有较高的平均强度，其中像素强度与移动对象402、404的速度成比例。本文描述的技术检测并分析与移动对象402、404相对应的像素数据，以确定移动对象402、404的速度和方向。可处理视频数据流以确定偏心率映射图400。可通过以下操作来处理偏心率映射图400以确定前景映射图：使用用户输入阈值对偏心率映射图400进行阈值分割，以将前景(非零)像素与背景(零或接近零)像素分开。可使用图像形态来处理前景像素，以创建连续前景像素的连接区域。图像形态是一种图像处理技术，其依赖于2D形状来形成空间滤波器。前景掩模可用于识别和定位移动对象。通过在偏心率映射图400的像素和前景掩模之间形成逻辑与，可识别并定位与移动对象402、404相对应的偏心率像素数据。
图5是包括移动对象402、404的偏心率映射图500的图示，其包括分别适配在移动对象402、404周围的边界框502、504。与图4类似，注意到的是偏心率映射图500的背景呈现为白色(其通常表示高的偏心率值)，而不是黑色(其通常表示低的偏心率值)，以提高易辨识性。通过确定在与如上面关于图4所确定的移动对象402、404相对应的连续前景像素的连接区域周围的最小包围矩形来形成边界框502、504。边界框502、504在像素坐标中的位置是移动对象402、404的位置。例如，边界框502、504在像素坐标中的几何中心可分别是移动对象402、404的位置。边界框502、504内的像素数据可以通过计算梯度来处理，如下面关于图6所讨论的，以确定移动对象402、404的方向和速度。
图6是示例偏心率梯度计算的图示。与图4和图5类似，注意到的是边界框602的背景呈现为白色(其通常表示高的偏心率值)，而不是黑色(其通常表示低的偏心率值)，以提高易辨识性。偏心率梯度计算通过首先计算水平梯度gx和竖直梯度gy确定每个移动对象402、404的梯度。图6用示例边界框602对此进行了说明，该边界框602包括与移动对象402、404相对应的前景像素604。偏心率梯度计算通过将水平线段606内的像素值608复制到缓冲器610中，从边界框602中提取水平线段606。缓冲器610分为左部分612和右部分614。通过从右部分614中的像素值608的总和(在这个示例中是4.6)减去左部分612中的像素值608的总和(在这个示例中是1.0)并将结果(在这个示例中是3.6)与水平梯度gx相加来确定水平梯度gx。对边界框602中的每个水平线段606重复该计算以确定水平梯度gx。
偏心率梯度计算以相同的方式计算竖直梯度gy，从边界框602中包括的每个竖直线段中提取像素值608，将所得缓冲器的顶部总和与底部总和相减，并将结果加到竖直梯度gy。可根据以下等式组合水平梯度gx和竖直梯度gy以计算包括运动方向θ和幅度或速度G的运动分量:
Figure BDA0002533773480000121
Figure BDA0002533773480000122
方向θ和速度G的值可与每个移动对象402、404的边界框中的x,y位置组合。
图7是交通场景的图像700的图示，该交通场景包括分别带有覆盖在图像700上的箭头706、708的移动对象402、404，其中箭头706、708的方向等于运动方向θ并且箭头706、708的长度与速度G成比例，如以上通过如上面关于图4至图6所讨论的对偏心率映射图数据执行的梯度计算来确定。使用与获取视频流数据的摄像机的六轴位置和定向有关的数据、摄像机中包括的镜头的放大倍数以及与平行于在摄像机的视野中包括的道路710的2D平面的位置有关的数据，可将每个移动对象402、404的方向θ和速度G的值以及像素坐标中的位置变换为全球坐标。通过如上所述获取在视野中的测量位置处具有测量特征的对象的视频图像，可凭经验确定摄像机位置、定向、放大倍数和2D平面的位置。
可将在全球坐标中移动对象的位置、方向和速度传送到车辆110中所包括的计算装置115。计算装置115可使用位置、速度和方向数据来确定在其上操作车辆110的车辆路径。计算装置115可确定车辆路径并经由控制器112、113、114命令车辆动力传动系统、转向和制动以使车辆110沿着车辆路径操作。例如，关于与移动对象402、404相对应的位置、方向和速度的数据可包括在车辆路径的确定中，以确定避开移动对象402、404的车辆路径。本文描述的技术通过提供对移动对象402、404的方向、速度和位置的快速且高效的计算改进了车辆110的操作，而无需复杂的用户定义参数，从而允许计算装置115高效地确定用于车辆110的安全地避开移动对象402、404的操作的车辆路径。
图8是关于图1至图7所描述的用于基于确定移动对象的运动分量来操作车辆的过程800的流程图的图示。过程800可以由计算装置115的处理器来实施，例如将来自传感器的信息作为输入，以及执行命令，以及将对象跟踪信息发送到车辆110。过程800包括以所公开的顺序进行的多个框。过程800可以替代地或另外包括更少的框，或者可以包括以不同顺序进行的框。
过程800开始于框802，其中计算装置如上面关于图4所讨论的获取视频流数据并确定偏心率映射图400。可从具有确定的六轴位置和定向、镜头放大倍数以及与摄像机206的视野210中的道路202平行的2D平面的位置的固定式摄像机206获取视频流数据。
在框804处，计算装置通过如上面关于图4所讨论的确定前景掩模并遮盖偏心率映射图400以确定每个移动对象402、404的像素连接区域和边界框502、504，从而确定移动对象402、404。
在框806处，计算装置根据上面关于图5以及等式(6)和(7)所讨论的计算来为每个移动对象402、404计算水平梯度gx和竖直梯度gy。
在框808处，计算装置基于水平梯度gx和竖直梯度gy来确定每个移动对象402、404的方向和速度运动分量。该数据可与边界框502、504中的位置数据组合并从像素坐标变换为全球坐标，如以上关于上面的图6所描述的。
在框810处，车辆110中的计算装置115可基于经变换的方向和速度坐标来确定避开移动对象402、404的车辆路径，并且通过命令车辆动力传动系统、转向和制动来使车辆110沿着该车辆路径行驶来操作车辆110。在框810之后，过程800结束。
诸如本文所讨论的那些的计算装置一般各自包括命令，所述命令可由诸如上文所描述的那些的一个或多个计算装置执行并用于执行上文所描述的过程的框或步骤。例如，上文所讨论的过程框可体现为计算机可执行命令。
计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于：JavaTM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。一般，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所描述的过程中的一者或多者。此类命令和其他数据可存储在文件中并使用各种计算机可读介质来传输。计算装置中的文件一般是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，命令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从其中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语旨在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例”在本文中以表示示例的意义使用，例如，对“示例小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“约”是指形状、结构、测量、值、确定、计算等可能因材料、加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何结构、距离、测量、值、确定、计算等有偏差。
在附图中，相同的附图标记指示相同的元件。此外，可改变这些要素中的一些或全部。有关本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤或框已被描述为按照特定顺序的序列发生，但是此类过程可通过以本文所描述的顺序以外的顺序执行的所描述步骤来实践。还应理解，可同时地执行某些步骤，可添加其他步骤，或者可省略本文所描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且绝不应当被解释为限制所要求保护的发明。
根据本发明，提供了一种计算机，其具有处理器和存储器，所述存储器包括将由所述处理器执行以执行以下操作的指令：基于确定偏心率映射图，检测视频流数据中的移动对象；确定所述移动对象的运动幅度和方向；将所述幅度和方向变换为全球坐标；以及基于经变换的幅度和方向来操作车辆。
根据实施例，本发明的特征还在于包括用于以下操作的指令：基于在视频流数据上计算出的每像素平均值和每像素方差来确定所述偏心率映射图。
根据实施例，本发明的特征还在于包括用于以下操作的指令：基于通过用户输入遗忘因子α确定的视频流数据来确定所述偏心率映射图。
根据实施例，本发明的特征还在于包括用于以下操作的指令：通过基于对所述偏心率映射图进行阈值分割来确定前景掩模，从而检测所述移动对象。
根据实施例，本发明的特征还在于包括用于以下操作的指令：通过基于所述前景掩模确定像素的连接区域并基于所述连接区域确定边界框来检测所述移动对象。
根据实施例，本发明的特征还在于包括用于以下操作的指令：通过分别计算和累加所述边界框中前景像素的水平和竖直线段的梯度来确定所述移动对象的x和y运动梯度。
根据实施例，本发明的特征还在于包括包括用于以下操作的指令：基于所述x和y运动梯度来确定所述移动对象的运动幅度和方向。
根据实施例，本发明的特征还在于包括用于以下操作的指令：基于获取所述视频流数据的摄像机的视野的三维六轴位置和方向、所述摄像机中包括的镜头的放大倍数以及与所述摄像机的所述视野中的道路相对应的二维平面的位置，将所述幅度和方向从像素坐标变换为全球坐标。
根据实施例，本发明的特征还在于包括用于基于所述幅度和方向来确定车辆路径的指令。
根据实施例，本发明的特征还在于包括用于在所述车辆路径上操作所述车辆并从而避开所述移动对象的指令。
根据本发明，一种方法包括：基于确定偏心率映射图来检测视频流数据中的移动对象；确定所述移动对象的运动幅度和方向；将所述幅度和方向变换为全球坐标；以及基于经变换的幅度和方向来操作车辆。
根据实施例，本发明的特征还在于基于在视频流数据上计算出的每像素平均值和每像素方差来确定所述偏心率映射图。
根据实施例，本发明的特征还在于基于由用户输入遗忘因子α确定的视频流数据来确定所述偏心率映射图。
根据实施例，本发明的特征还在于通过基于对所述偏心率映射图进行阈值分割来确定前景掩模，从而检测所述移动对象。
根据实施例，本发明的特征还在于通过基于所述前景掩模确定像素的连接区域并基于所述连接区域确定边界框来检测所述移动对象。
根据实施例，本发明的特征还在于通过分别计算和累加所述边界框中前景像素的水平和竖直线段的梯度来确定所述移动对象的x和y运动梯度。
根据实施例，本发明的特征还在于基于所述x和y运动梯度来确定所述移动对象的运动幅度和方向。
根据实施例，本发明的特征还在于基于获取所述视频流数据的摄像机的视野的三维六轴位置和方向、所述摄像机中包括的镜头的放大倍数以及与所述摄像机的所述视野中的道路相对应的二维平面的位置，将所述幅度和方向从像素坐标变换为全球坐标。
根据实施例，本发明的特征还在于基于所述幅度和方向来确定车辆路径。
根据实施例，本发明的特征还在于在所述车辆路径上操作所述车辆并从而避开所述移动对象。

Claims (15)

1.一种方法，其包括：
基于确定偏心率映射图来检测视频流数据中的移动对象；
确定所述移动对象的运动幅度和方向；
将所述幅度和方向变换为全球坐标；以及
基于经变换的幅度和方向来操作车辆。
2.如权利要求1所述的方法，其还包括基于在视频流数据上计算出的每像素平均值和每像素方差来确定所述偏心率映射图。
3.如权利要求1所述的方法，其还包括基于由用户输入遗忘因子α确定的视频流数据来确定所述偏心率映射图。
4.如权利要求1所述的方法，其还包括通过基于对所述偏心率映射图进行阈值分割来确定前景掩模，从而检测所述移动对象。
5.如权利要求4所述的方法，其还包括通过基于所述前景掩模确定像素的连接区域并基于所述连接区域确定边界框来检测所述移动对象。
6.如权利要求5所述的方法，其还包括通过分别计算和累加所述边界框中前景像素的水平和竖直线段的梯度来确定所述移动对象的x和y运动梯度。
7.如权利要求6所述的方法，其还包括基于所述x和y运动梯度来确定所述移动对象的运动幅度和方向。
8.如权利要求1所述的方法，其还包括基于获取所述视频流数据的摄像机的视野的三维六轴位置和方向、所述摄像机中包括的镜头的放大倍数以及与所述摄像机的所述视野中的道路相对应的二维平面的位置，将所述幅度和方向从像素坐标变换为全球坐标。
9.如权利要求1所述的方法，其还包括基于所述幅度和方向来确定车辆路径。
10.如权利要求9所述的方法，其还包括在所述车辆路径上操作所述车辆，从而避开所述移动对象。
11.如权利要求1所述的方法，其还包括基于由交通基础设施系统中包括的固定式摄像机获取的视频流数据来确定所述偏心率映射图。
12.如权利要求11所述的方法，其中由所述交通基础设施系统中包括的服务器计算机确定所述移动对象的所述运动幅度和方向。
13.如权利要求12所述的方法，其还包括将所述移动对象的所述运动幅度和方向从所述交通基础设施系统中包括的所述服务器计算机传送到所述车辆中包括的计算装置。
14.如权利要求1所述的方法，其中所述移动对象能包括行人和车辆中的一者或多者。
15.一种系统，其包括被编程为执行如权利要求1-14中任一项所述的方法的计算机。
CN202010525875.9A 2019-06-11 2020-06-10 车辆偏心率映射 Pending CN112061138A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/437,292 2019-06-11
US16/437,292 US11521494B2 (en) 2019-06-11 2019-06-11 Vehicle eccentricity mapping

Publications (1)

Publication Number Publication Date
CN112061138A true CN112061138A (zh) 2020-12-11

Family

ID=73546977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010525875.9A Pending CN112061138A (zh) 2019-06-11 2020-06-10 车辆偏心率映射

Country Status (3)

Country Link
US (1) US11521494B2 (zh)
CN (1) CN112061138A (zh)
DE (1) DE102020115499A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US11460851B2 (en) * 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706417A (en) 1992-05-27 1998-01-06 Massachusetts Institute Of Technology Layered representation for image coding
KR100235344B1 (ko) 1994-12-29 1999-12-15 전주범 영역 분할 부호화 방식의 전경/배경 화상 선택 장치
US6580812B1 (en) 1998-12-21 2003-06-17 Xerox Corporation Methods and systems for automatically adding motion lines representing motion to a still image
US20020041339A1 (en) 2000-10-10 2002-04-11 Klaus Diepold Graphical representation of motion in still video images
JP4187448B2 (ja) 2002-03-07 2008-11-26 富士通マイクロエレクトロニクス株式会社 画像における移動体追跡方法及び装置
AU2003256435A1 (en) 2002-08-16 2004-03-03 Evolution Robotics, Inc. Systems and methods for the automated sensing of motion in a mobile robot using visual data
US6956469B2 (en) 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
JP4868236B2 (ja) 2004-12-21 2012-02-01 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
US7418113B2 (en) 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
US7920959B1 (en) * 2005-05-01 2011-04-05 Christopher Reed Williams Method and apparatus for estimating the velocity vector of multiple vehicles on non-level and curved roads using a single camera
US8120661B2 (en) 2006-07-26 2012-02-21 Human Monitoring Ltd Image stabilizer
US20080195316A1 (en) 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
US7881497B2 (en) 2007-03-08 2011-02-01 Honeywell International Inc. Vision based navigation and guidance system
EP2185255A4 (en) 2007-09-21 2013-08-14 Playdata Llc SYSTEM AND PROCESS FOR LOCATION AND MOVEMENT
US8041116B2 (en) 2007-09-27 2011-10-18 Behavioral Recognition Systems, Inc. Identifying stale background pixels in a video analysis system
US8379926B2 (en) * 2007-12-13 2013-02-19 Clemson University Vision based real time traffic monitoring
CN101582160B (zh) 2009-06-18 2013-09-18 北京中星微电子有限公司 前景检测方法和装置以及自适应阈值调节方法和装置
US9171390B2 (en) 2010-01-19 2015-10-27 Disney Enterprises, Inc. Automatic and semi-automatic generation of image features suggestive of motion for computer-generated images and video
TW201133358A (en) 2010-03-18 2011-10-01 Hon Hai Prec Ind Co Ltd System and method for detecting objects in a video image
CN102201121A (zh) 2010-03-23 2011-09-28 鸿富锦精密工业（深圳）有限公司 视频场景中的物件侦测系统与方法
EP2697743A4 (en) 2011-04-11 2014-09-24 Intel Corp GESTURE DETECTION USING DEPTH PICTURES
US8760513B2 (en) 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
KR101299237B1 (ko) 2011-11-23 2013-08-22 서울대학교산학협력단 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
CN102592112B (zh) 2011-12-20 2014-01-29 四川长虹电器股份有限公司 基于隐马尔科夫模型判断手势运动方向的方法
US9300871B2 (en) 2012-06-08 2016-03-29 Apple Inc. Stationary camera detection and virtual tripod transition for video stabilization
ITTO20120842A1 (it) * 2012-09-27 2014-03-28 St Microelectronics Srl Procedimento e sistema per rilevazione di dito, relativa apparecchiatura a schermo e prodotto informatico
CN103077531B (zh) 2012-12-04 2015-11-18 北京航空航天大学 基于边缘信息的灰度目标自动跟踪方法
US9179071B2 (en) * 2013-02-01 2015-11-03 Htc Corporation Electronic device and image selection method thereof
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
KR101883481B1 (ko) 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법
US9542626B2 (en) 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
FR3013487B1 (fr) 2013-11-18 2017-04-21 Univ De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
US9854168B2 (en) 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization
US9390329B2 (en) 2014-04-25 2016-07-12 Xerox Corporation Method and system for automatically locating static occlusions
US20150339589A1 (en) 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
GB2544944B (en) * 2014-08-29 2021-07-07 Zunum Aero Inc System and methods for implementing regional air transit network using hybrid-electric aircraft
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
US9460522B2 (en) 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
US9349054B1 (en) 2014-10-29 2016-05-24 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
US9665804B2 (en) 2014-11-12 2017-05-30 Qualcomm Incorporated Systems and methods for tracking an object
KR101623826B1 (ko) 2014-12-10 2016-05-24 주식회사 아이디스 히트맵 영상 기능을 가진 감시카메라
WO2016108847A1 (en) 2014-12-30 2016-07-07 Nokia Technologies Oy Methods and apparatus for processing motion information images
US9558424B2 (en) 2015-06-30 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. On-road stereo visual odometry without explicit pose determinations
EP3300524A1 (en) 2015-08-06 2018-04-04 Accenture Global Services Limited Condition detection using image processing
US20170053555A1 (en) * 2015-08-21 2017-02-23 Trimble Navigation Limited System and method for evaluating driver behavior
US20170053554A1 (en) * 2015-08-21 2017-02-23 Trimble Navigation Limited System and method for reviewing driver behavior
US20170206717A1 (en) * 2016-01-19 2017-07-20 Trendfire Technologies, Inc. System and method for driver evaluation, rating, and skills improvement
US10157448B2 (en) * 2016-02-12 2018-12-18 Qualcomm Incorporated Foveated video rendering
US9756248B1 (en) 2016-03-02 2017-09-05 Conduent Business Services, Llc Methods and systems for camera drift correction
JP6551283B2 (ja) * 2016-04-01 2019-07-31 株式会社デンソー 車両制御装置、車両制御方法
DE102016209625A1 (de) 2016-06-01 2017-12-07 Continental Teves Ag & Co. Ohg Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera
US10008024B2 (en) * 2016-06-08 2018-06-26 Qualcomm Incorporated Material-aware three-dimensional scanning
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
US10535127B1 (en) 2017-01-11 2020-01-14 National Technology & Engineering Solutions Of Sandia, Llc Apparatus, system and method for highlighting anomalous change in multi-pass synthetic aperture radar imagery
US11468318B2 (en) 2017-03-17 2022-10-11 Portland State University Frame interpolation via adaptive convolution and adaptive separable convolution
US10705525B2 (en) 2017-04-07 2020-07-07 Nvidia Corporation Performing autonomous path navigation using deep neural networks
CN106952474B (zh) 2017-04-12 2020-09-22 湖南源信光电科技股份有限公司 基于运动车辆检测的车流量统计方法
US10268205B2 (en) 2017-09-13 2019-04-23 TuSimple Training and testing of a neural network method for deep odometry assisted by static scene optical flow
CN108230367A (zh) 2017-12-21 2018-06-29 西安电子科技大学 一种对灰度视频中既定目标的快速跟踪定位方法
US11537139B2 (en) 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
US10616486B2 (en) * 2018-08-09 2020-04-07 Ford Global Technologies, Llc Video stabilization
US11017296B2 (en) 2018-08-22 2021-05-25 Ford Global Technologies, Llc Classifying time series image data
US11055859B2 (en) * 2018-08-22 2021-07-06 Ford Global Technologies, Llc Eccentricity maps
US10769799B2 (en) * 2018-08-24 2020-09-08 Ford Global Technologies, Llc Foreground detection
US11783707B2 (en) * 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US11016495B2 (en) 2018-11-05 2021-05-25 GM Global Technology Operations LLC Method and system for end-to-end learning of control commands for autonomous vehicle
US11104332B2 (en) * 2018-12-12 2021-08-31 Zoox, Inc. Collision avoidance system with trajectory validation
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11250613B2 (en) 2019-06-03 2022-02-15 Nvidia Corporation Bayesian machine learning system for adaptive ray-tracing
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) * 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
CN110737834B (zh) 2019-10-14 2024-04-02 腾讯科技（深圳）有限公司 业务对象的推荐方法、装置、存储介质和计算机设备
CN113118632B (zh) 2021-04-08 2022-03-22 北京理工大学 基于电子动态调控空间整形加工单向流动表面的方法

Also Published As

Publication number Publication date
DE102020115499A1 (de) 2020-12-17
US20200394917A1 (en) 2020-12-17
US11521494B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
US10345822B1 (en) Cognitive mapping for vehicles
US11783707B2 (en) Vehicle path planning
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
US10528055B2 (en) Road sign recognition
US11460851B2 (en) Eccentricity image fusion
US20200331465A1 (en) Vehicle path prediction
US10616486B2 (en) Video stabilization
US11521494B2 (en) Vehicle eccentricity mapping
CN110858325A (zh) 车辆自适应学习
US11055859B2 (en) Eccentricity maps
US10955857B2 (en) Stationary camera localization
US10769799B2 (en) Foreground detection
US20200020117A1 (en) Pose estimation
US11662741B2 (en) Vehicle visual odometry
US11189049B1 (en) Vehicle neural network perception and localization
US11030774B2 (en) Vehicle object tracking
US20210103745A1 (en) Vehicle neural network training
CN111791814A (zh) 车辆胶囊网络
CN114114239A (zh) 组对象跟踪
US11610412B2 (en) Vehicle neural network training
US11631197B2 (en) Traffic camera calibration
US20240094384A1 (en) Object detection using reflective surfaces
CN116403181A (zh) 对象检测
CN117999497A (zh) 用于检测环境中的对象的系统
CN116311216A (zh) 三维对象检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination