CN110858866A - 前景检测 - Google Patents

前景检测 Download PDF

Info

Publication number
CN110858866A
CN110858866A CN201910783596.XA CN201910783596A CN110858866A CN 110858866 A CN110858866 A CN 110858866A CN 201910783596 A CN201910783596 A CN 201910783596A CN 110858866 A CN110858866 A CN 110858866A
Authority
CN
China
Prior art keywords
vehicle
image
determining
eccentricity
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910783596.XA
Other languages
English (en)
Inventor
布鲁诺·西利·贾尔斯科斯塔
恩里克·科罗纳
金塔拉斯·文森特·普斯科里奥斯
迪米塔尔·彼得罗夫·费尤伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110858866A publication Critical patent/CN110858866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3469—Fuel consumption; Energy use; Emission aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/435—Computation of moments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“前景检测”。一种计算系统可以接收包括前景像素的图像。所述前景像素可以基于基于由固定式传感器获取的一系列的图像确定偏心率εk而确定。所述车辆可以基于所述前景像素确定在所述图像中的移动对象。所述车辆可以基于所述图像中的所述移动对象进行操作。

Description

前景检测
技术领域
本公开总体涉及车辆传感器。
背景技术
车辆可以被配备以在自主和乘员驾驶模式两者下操作。车辆可以配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并且基于所述信息来操作车辆。车辆的安全和舒适的操作可以取决于获取关于车辆环境的准确且及时的信息。车辆传感器可以提供关于在车辆环境中要行进的路线和要避开的对象的数据。车辆的安全且有效的操作可以取决于当车辆在道路上操作时获取关于车辆环境中的路线和对象的准确且及时的信息。
发明内容
可以配备车辆以在自主和乘员驾驶模式两者下操作。就半自主-或完全-自主模式而言，是指其中车辆可以由计算装置进行驾驶的操作模式，所述计算装置作为具有传感器和控制器的车辆信息系统的一部分。车辆可以被占用或未被占用，但在任一种情况下，车辆可以在没有乘员辅助的情况下被驾驶。出于本公开的目的，自主模式被定义为如下：车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一者由一个或多个车辆计算机控制；在半自主模式下，车辆计算机控制车辆推进、制动和转向中的一者或两者。在非自主车辆中，这些中没有一个由计算机控制。
车辆中的计算装置可以被编程为获取关于车辆的外部环境的数据并且使用数据来确定用于在自主模式或半自主模式下操作车辆的轨迹，例如，其中计算装置可以向控制器提供信息，以便在包括其他车辆的交通道路上操作车辆。基于传感器数据，计算装置可以确定在车辆附近的包括车辆和行人的移动对象，并且基于所述移动对象操作车辆。例如，计算装置可以检测并识别在车辆附近的移动对象，以及基于在多个时间段检测并识别移动对象来确定移动对象的速度，包括速率和方向。因此，计算装置在分析传感器(例如，图像、数据)以及识别和确定移动对象的轨迹方面享有提高的准确性。
本文公开了一种方法，其包括：接收包括前景像素的图像，所述前景像素是基于针对由固定式传感器获取的一系列图像确定偏心率εk而确定的；基于所述前景像素确定在所述图像中的移动对象；以及基于所述图像中的所述移动对象操作车辆。可以基于根据等式μk＝(1-α)μk-1+αxk基于先前的平均值μk-1确定所述系列的图像的像素的平均值μk来确定偏心率εk，其中α是以经验确定的常数。可以基于根据等式
Figure BDA0002177316250000021
基于先前的方差和所述平均值μk确定所述系列的图像的像素的方差
Figure BDA0002177316250000023
来确定所述偏心率εk。可以根据等式
Figure BDA0002177316250000024
基于平均值μk和方差
Figure BDA0002177316250000025
来确定所述偏心率εk。
可以通过比较εk与α倍于以经验确定的常数来确定所述前景像素。可以基于利用以经验确定的最小和最大区域确定前景像素的连接区域来确定在所述图像中的移动对象。所述前景像素的连接区域可以基于具有类似的偏心率εk来确定。所述固定式传感器可以是包括在交通基础设施系统中的摄像机。所述车辆可以基于所述车辆的位置经由网络从所述交通基础设施系统接收包括前景像素的所述图像。可以基于所述摄像机的所述位置将所述移动对象投影到认知地图上。可以基于所述车辆的所述位置、地图数据、车辆传感器数据和所述移动对象来确定所述认知地图。可以基于路径多项式(其基于所述认知地图)来操作所述车辆。可以固定所述摄像机以获取不变的视野。可以通过控制车辆转向、制动和动力传动系统来操作所述车辆。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤的一些或全部的程序指令。还公开了一种计算机，其被编程为执行上述方法步骤的一些或全部，所述计算机包括计算机设备，所述计算机设备被编程为接收包括前景像素的图像，所述前景像素是基于针对由固定式传感器获取的一系列图像确定偏心率εk而确定的；基于所述前景像素确定在所述图像中的移动对象；以及基于所述图像中的所述移动对象操作车辆。可以基于根据等式μk＝(1-α)μk-1+αxk基于先前的平均值μk-1确定所述系列的图像的像素的平均值μk来确定偏心率εk，其中α是以经验确定的常数。可以基于根据等式
Figure BDA0002177316250000031
基于先前的方差和平均值μk确定所述系列的图像的像素的方差来确定所述偏心率εk。可以根据等式
Figure BDA0002177316250000034
基于平均值μk和方差
Figure BDA0002177316250000035
来确定所述偏心率εk。
所述计算机设备还可以被编程为通过比较εk与α倍于以经验确定的常数来确定所述前景像素。可以基于利用以经验确定的最小和最大区域确定前景像素的连接区域来确定在所述图像中的移动对象。所述前景像素的连接区域可以基于具有类似的偏心率εk来确定。例如，所述固定式传感器可以是包括在交通基础设施系统中的红色、绿色、蓝色(RGB)彩色摄像机。所述车辆可以基于所述车辆的位置经由网络从所述交通基础设施系统接收包括前景像素的所述图像。可以基于所述摄像机的所述位置将所述移动对象投影到认知地图上。可以基于所述车辆的所述位置、地图数据、车辆传感器数据和所述移动对象来确定所述认知地图。可以基于路径多项式(其基于所述认知地图)来操作所述车辆。可以固定所述摄像机以获取不变的视野。可以通过控制车辆转向、制动和动力传动系统来操作所述车辆。
附图说明
图1是示例车辆的框图。
图2是包括固定式相机的示例交通场景的图。
图3是由固定式相机获取的交通场景的示例图像的图。
图4是包括确定的移动对象的示例图像的图。
图5是示例认知地图的图。
图6是基于移动对象来操作车辆的示例过程的流程图。
图7是确定前景对象的示例过程的流程图。
具体实施方式
图1是一种交通基础设施系统100的图，交通基础设施系统100包括可在自主(在本公开中“自主”本身表示“完全自主”)模式和乘员驾驶(也称为非自主)模式下操作的车辆110。车辆110也包括用于在自主操作期间执行计算以驾驶车辆110的一个或多个计算装置115。计算装置115可以从传感器116接收关于车辆的操作的信息。计算装置115可以以自主模式、半自主模式或非自主模式来操作车辆110。出于本公开的目的，将自主模式定义为由计算装置控制车辆110的推进、制动和转向中的每一者的模式；在半自主模式下，计算装置115控制车辆110的推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆的推进、制动和转向。
计算装置115包括诸如已知的处理器和存储器。另外，存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由处理器执行以便执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速)、转向、气候控制、内部和/或外部灯等中的一项或多项，以及确定计算装置115而不是人类操作员是否以及何时控制此类操作。
计算装置115可以包括一个以上的计算装置(例如，包括在车辆110中用于监测和/或控制各种车辆部件的控制器等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等)或例如经由如下文进一步描述的车辆通信总线通信地耦合到所述一个以上的计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)通信；车辆110网络可以另外地或替代地包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
经由车辆网络，计算装置115可以向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。替代地或另外，在计算装置115实际上包括多个装置的情况下，车辆通信网络可以用于本公开中被表示为计算装置115的装置之间的通信。此外，如下所述，各种控制器或感测元件(诸如传感器116)可以经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可以被配置用于经由网络130通过车辆对基础设施(V对I)接口111与远程服务器计算机120(例如，云服务器)进行通信，如下所述，所述接口111包括允许计算装置115经由诸如无线因特网(Wi-Fi)或蜂窝网络的网络130与远程服务器计算机120通信的硬件、固件和软件。因此，V对I接口111可以包括处理器、存储器、收发器等，它们被配置成利用各种有线和/或无线联网技术，例如蜂窝、
Figure BDA0002177316250000051
和有线和/或无线分组网络。计算装置115可以被配置用于使用例如在附近车辆110之间在自组织网基础形成或通过基于基础设施的网络形成的车辆对车辆(V对V)网络(例如，根据专用短距离通信(DSRC)和/或类似通信)通过V对I接口111与其他车辆110通信。计算装置115也包括诸如已知的非易失性存储器。计算装置115可以通过将信息存储在非易失性存储器中来记录信息以供以后检索和经由车辆通信网络和车辆对基础设施(V对I)接口111传输到服务器计算机120或用户移动装置160。
如上文已经提及，通常包括在存储在存储器中并且可由计算装置115的处理器执行的指令中的是编程用于在没有人类操作员的干预的情况下操作(例如，制动、转向、推进等)一个或多个车辆110部件。使用在计算装置115中接收的数据(例如，来自传感器116、服务器计算机120等的传感器数据)，计算装置115可以在没有驾驶员操作车辆110的情况下作出各种确定和/或控制各种车辆110部件和/或操作。例如，计算装置115可以包括编程来调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以预期实现路线的安全且高效行驶的方式进行的操作行为控制)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、特定位置处的到达时间和通过十字路口的十字路口(不具有信号灯)最小到达时间。
控制器(如该术语在本文中所使用的那样)包括通常被编程以控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113以及转向控制器114。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本文所述的附加编程。控制器可以通信地连接到计算装置115并且从计算装置接收指令以根据指令致动子系统。例如，制动控制器113可以从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113以及一个或多个转向控制器114。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可以被编程并且连接到车辆110通信总线(诸如控制器局域网(CAN)总线或局部互连网络(LIN)总线)以从计算机115接收指令并且基于指令控制致动器。
传感器116可以包括已知的各种装置以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前面的下一车辆的距离，或设置在车辆110中的全球定位系统(GPS)传感器可以提供车辆110的地理坐标。由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可以由计算装置115使用来自主地或半自主地操作车辆110。
车辆110通常是能够进行自主和/或半自主操作并且具有三个或更多个车轮的陆基车辆110，例如，客车、轻型卡车等。车辆110包括一个或多个传感器116、V对I接口111、计算装置115以及一个或多个控制器112、113、114。传感器116可以收集与车辆110和车辆110的操作环境相关的数据。以举例的方式但不受限制，传感器116可以包括例如测高仪、相机、激光雷达(LIDAR)、雷达、超声传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可以用来感测车辆110的操作环境，例如，传感器116可以检测诸如天气状况(降雨、外界温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用来收集数据，包括与车辆110的操作相关的动态车辆110数据(诸如速度、横摆率、转向角度、发动机转速、制动压力、油压力、施加到车辆110中的控制器112、113、114的功率电平、部件之间的连接性和车辆110的部件的准确和及时性能)。
图2是交通场景的示例图像200的图，其以黑白渲染以符合37C.F.R.§1.84(a)(1)。这个示例图像200包括道路202和交通对象204。交通对象可以包括车辆、行人、自行车、动物或碎片等。图像200还包括固定式摄像机206，其可以安装在安装杆208或任何其他适当的结构，包括交通信号灯或建筑物上。固定式摄像机206具有镜头210，其具有由点划线表示的视野214，以及由虚线表示的光轴212。视野214可以由与光轴212相组合的镜头210的放大表示，被定义为位于镜头210的光学中心的3D位置处的3D空间中的方向。光轴212可以表示视野214的3D空间中的中心。
视野214确定由固定式摄像机206捕获在图像(即，数字图像)中的并且从而由固定式摄像机206获取为视频图像的3D空间的部分。可以赁经验确定固定式摄像机206的3D位置和姿势，其中3D位置是由关于纬度、经度和海拔的x、y、z坐标限定的，并且姿势是由关于由纬度、经度和海拔限定的轴的ρ、φ、θ旋转角限定的。基于确定固定式摄像机206的3D位置和姿势，可以确定视野214。
例如，因为固定式摄像机206的视野214没有改变，所以可以通过物理地测量对象诸如由固定式摄像机206获取的视频图像中表示出来的道路的真实世界3D位置来确定从固定式摄像机206到真实世界背景位置的真实世界3D距离。用于确定对象的真实世界3D位置的其他技术包括摄影测量法，其中关于对象大小的先验信息可以用于确定对象相对于固定式摄像机的真实世界3D位置。例如，一旦确定了在固定式摄像机206的视野内的对象的真实世界3D位置，则可以将3D位置分配给视频图像中的像素坐标(i,j)。3D位置信息可以存储在交通基础设施系统100中包括的计算装置处。
固定式摄像机206可以是交通基础设施系统100的一部分。如本文使用的术语交通基础设施系统包括计算装置和传感器的网络，所述计算装置和传感器获取关于包括道路和道路的部分的区域中的车辆交通的数据以及与包括在车辆交通中的车辆进行通信。例如,交通基础设施系统100可以包括通信网络和计算装置，其监测和引导在诸如城市、社区、地区或高速公路的区域上的车辆交通。交通基础设施系统100可以包括传感器，如固定式摄像机206，以记录交通的视频数据并处理视频数据并将其传输到与例如许多固定式摄像机206通信的计算装置，所述计算装置可以使用交通的视频数据来确定交通模式和速率。交通基础设施系统100还可以包括无线通信设备，其允许交通基础设施系统100基于由交通基础设施系统定义的地理区域中的位置与车辆110形成自组织网络。例如，交通基础设施系统100可以包括多个传输和接收站，并且以与蜂窝电话网络管理蜂窝电话通信的方式相同的方式管理自组织网络。例如，交通基础设施系统100可以包括每当车辆110在交通基础设施系统100的范围内时使用V对I接口111从服务器120与车辆110的通信，例如，包括在网络130中的通信元件，其中“在范围内”被定义为车辆110在其中可以从交通基础设施系统100收发器接收可用信号的区域。
图3是由固定式摄像机206获取的示例视频图像300，其以黑白渲染以符合专利局的规定。视频图像300包括道路302、背景对象304(包括路沿、桶和杆等)以及前景对象(包括交通车辆306、308、310、312)的图像。
例如，确定视频图像300中的前景对象和背景对象可以由交通基础设施系统100用于各种任务，包括交通流分析、行人跟踪和车辆110操作。可以通过在计算装置115处获取并存储第一视频图像300来确定视频图像300中的前景对象和背景对象。可以获取第二视频图像300并且从第二视频图像300中减去第一视频图像300。减去结果图像在其中数据在第一视频图像和第二视频图像300之间没有变化的像素位置处包含零，而在确实变化了的像素位置处包含非零值。非零值是由导致非零像素值的第二视频图像300中的移动对象或前景对象导致的。从结果图像中减去非移动对象或背景对象，仅留下由非零像素的连接区域形成的前景对象。
简单的背景减法可以将前景像素与背景像素分开；然而，改变光度以及背景外观中的其他改变可能需要获取新的背景图像。例如，如果场景包括移动的车辆，那么则可能很难知道何时获取了新的背景图像。用于前景/背景的其他技术可能依赖于阈值或其他以经验确定的参数，其可能需要调整以跟踪变化的条件。本文讨论的技术计算视频图像流的像素的偏心率ε，从而确定在从视频图像流导出的结果图像中的前景像素和背景像素，而不需要调整以跟踪变化的条件。视频图像流可以被定义为由摄像机以连续的时间间隔获取的多个视频图像。
与上面讨论的用于确定图像前景/背景的其他技术相比，可以由计算装置更有效地执行基于视频图像的输入流的偏心率ε的计算。例如，可以在容易获得的计算装置上以每秒数百个视频图像的速率执行基于视频图像的输入流的偏心率ε的计算。偏心率ε的计算没有复杂的用户定义参数并且没有关于数据及其分布的先前假设。
偏心率ε是度量，即，如下所述确定的值，其指示像素与相同像素位置处的过去样本的差异。关于作为n维变量向量的相同像素位置的一组样本，随着这些变量偏离其“正常”行为，偏心率ε的值增大。对于前景检测而言，基于像素的强度，将所有“异常”或“反常”的像素标记为前景。可以通过下列等式给出在时刻k的偏心率ε：
其中α是以经验确定的无量纲常数(通常是小值，例如0.005)，其表示背景模型的学习率，其中学习率表示偏心率εk的哪个部分基于当前像素xk，并且因此例如表示偏心率εk可以多快地适应输入视频数据流中的变化，以及其中当前像素xk是在时间k的包括视频数据流样本的强度的向量。变量μk和
Figure BDA0002177316250000102
是在时刻k的当前像素xk的平均值和方差，其根据等式递归更新：
μk＝(1-α)μk-1+αxk (2)
Figure BDA0002177316250000111
当在时刻k计算的偏心率εk高于5α时，确定像素xk是前景像素。
图4是示例偏心率εk图像400，其包括在具有值为零的像素的背景402上的前景区域406、408、410、412。例如，基于将等式(1)、(2)和(3)应用于包括视频图像300的视频图像流来确定前景区域406、408、410、412。通过确定前景像素的连接区域可以将由等式(1)、(2)和(3)确定的偏心率εk图像400中的前景像素分组为前景区域406、408、410、412，其中当前景像素是8向相邻，包括对角相邻时，其被确定为是连接的。前景区域406、408、410、412可以表示针对背景移动的对象，例如，在道路上或在道路附近的车辆或行人。
交通基础设施系统100可以包括多个固定式摄像机，其例如经由网络130向多个计算装置提供偏心率εk图像400。例如，相应的多个车辆110中的计算机115可以接收偏心率εk图像400。包括在多个计算装置115中的软件程序可以基于关于每个固定式摄像机206的位置、姿势和视野以及关于每辆车辆110的位置、速度和行进方向的信息识别与相应的车辆110相关的一个或多个特定偏心率εk图像400。然后，每辆车辆110中的计算装置115可以经由网络130仅下载被确定为与相应车辆110相关的那些偏心率εk图像400，从而使网络带宽消耗最小化。每个固定式摄像机206可以包括识别获取了偏心率εk图像400的固定式摄像机的位置、姿势和视野的信息以及偏心率εk图像400。
图5是基于从交通基础设施系统下载的偏心率εk图像400和3D位置数据由车辆110中的计算装置115确定的示例认知地图500。如上面关于图3所讨论的，3D位置数据可以用于基于对象的像素坐标(i,j)来确定结果图像400中的对象的真实世界3D位置。认知地图是指定对象在环境中相对于彼此的位置的局部空间环境的表示。
在图5的示例中，认知地图500是局部空间环境的俯视图，所述局部空间环境包括与车辆110导航相关的区域和对象，包括道路502和车辆504、506、508、510。可以基于关于车辆110的位置和行进方向的信息以及存储的地图数据来确定认知地图500。例如，车辆110可以位于箭头512处并在箭头512所指示的方向中行进。因为认知地图500是基于真实世界3D坐标构建的，所以来自偏心率εk图像400的对象的真实世界3D位置可以位于认知地图500中。计算装置115可以输入车辆110的位置和行进方向，并且基于下载或存储的地图信息和来自车辆传感器116的数据确定包括道路502的认知地图500的特征。例如，激光雷达传感器116可以测量确认道路502的存在的距离。
计算装置115可以包括在认知地图500中的关于来自从交通基础设施系统下载的偏心率εk图像400的前景区域406、408、410、412的信息。因为固定式摄像机已经包括关于3D位置、姿势和视野以及偏心率εk图像400的信息，所以计算装置115可以通过基于前景区域406、408、410、412的像素坐标(i,j)和包括道路502的背景像素位置的真实世界3D位置来确定前景区域406、408、410、412的像素将在何处与道路502相交来将前景区域406、408、410、412投影到认知地图500上作为移动对象504、506、508、510。通过将前景区域406、408、410、412投影到认知地图500中的适当位置上，可以由计算装置115基于位置、大小和形状来识别移动对象504、506、508、510并且由计算装置115使用移动对象504、506、508、510来确定避开移动对象504、506、508、510的在道路502上操作车辆110的路径。通过在连续时刻获取的一系列结果图像500中跟踪移动对象504、506、508、510，可以确定每个移动对象504、506、508、510的速度和方向，并且计算装置115可以确定和使用所述速度和方向来确定避开碰撞或接近碰撞移动对象504、506、508、510的车辆110在道路502上行进的路径。
计算装置115可以基于路径多项式来操作车辆110，所述路径多项式指定至少部分地基于移动对象504、506、508、510确定的路径514(虚线)。路径多项式是真实世界3D位置和运动的数学表示，其包括例如横向和纵向加速度的变化率。计算装置115可以基于车辆110的当前位置、速度和方向(由箭头512表示)确定路径多项式115。然后，计算装置可以在称为样条的分段中确定度为3或更小的多项式函数，其中通过对一阶导数的约束来约束分段以平滑地拟合在一起以表示车辆110的预测的连续位置。在真实世界3D坐标中对路径多项式514的约束包括横向和纵向加速度的上限和下限，以及沿路径多项式514操作车辆110所需的横向和纵向加速度的变化率(加加速度)的上限。路径多项式514还可以被约束为停留在道路502中并且在保持目标速度的同时避开移动对象504、506、508、510。计算装置115可以通过向控制器112、113、114发送命令来控制车辆110的转向、制动和动力传动系统以使车辆110以目标速度沿道路502上避开了移动对象504、506、508、510的路径514行进来操作车辆110以沿根据确定的路径多项式的路径514行进。
计算装置115可以基于存储的地图数据、来自包括车辆传感器116(包括GPS和加速度计、雷达、激光雷达和视频传感器)的位置数据来确定路径514的路径多项式。计算装置115可以使用机器视觉技术(包括例如神经网络和贝叶斯统计)处理来自雷达、激光雷达和视频传感器的数据，以基于雷达、激光雷达和视频传感器中的每一个来确定视野中的对象。使用基于每个传感器116的视野的信息，可以在认知地图500中定位对象。然后，计算装置可以通过估计认知地图500中包括的自由空间区域和非自由空间区域来确定认知地图500中的路径多项式，其允许车辆110行进到目的地，同时避开碰撞或接近碰撞对象。自由空间区域是可以预测到车辆110在道路表面上无阻碍地行进的认知地图500的区域。
例如，计算装置115可以确定用于车辆110行进的认知地图500中的目的地，这将是完成更高级别的目标导向活动(如在目的地让乘客上车和让乘客下车)的步骤。包括在认知地图500中的非自由空间区域可以包括非道路区域和围绕对象(固定对象如交通锥和障碍物两者)的区域，以及当确定对象是移动的时，对象可能移动到的位置，例如，预测车辆、行人和骑自行车者的行进。可以基于对象随时间的重复观察来确定对象可能移动到的在认知地图500中的位置，例如，基于确定的对象速度和方向来确定对象的位置概率。可以确定路径多项式以指引车辆110在自由空间区域内行进以到达目的地，同时避开非自由空间区域。来自包括雷达、激光雷达和视频传感器的车辆传感器116的数据以及因此检测到的对象局限于雷达、激光雷达和视频传感器中的每一个的视野。将关于移动对象504、506、508、510的数据添加到认知地图500可以通过包括除了在车辆传感器116的视野中可见的对象之外的对象来改进认知地图500。
图6是基于确定在图像中的移动对象来操作车辆的过程600的相关于图1至图5所述的流程图的图。例如，过程600可以通过计算装置115的处理器从传感器116获得信息作为输入并经由控制器112、113、114执行命令和发送控制信号来实施。过程600包括以所公开的顺序采用的多个框。过程600还包括包括更少框的实现方式或可以包括按不同顺序采用的框。
过程600开始于框602，其中包括在车辆110中的计算装置115从固定式摄像机206接收偏心率εk图像400。如上面关于图2至图4所讨论的，固定式摄像机206可以包括在交通基础设施系统中，所述交通基础设施系统确定何时将偏心率εk图像400从固定式摄像机206传输到车辆110。例如，交通基础设施系统还可以响应于车辆110经由自组织网络传输到交通基础设施系统的查询来传输偏心率εk图像400。除了偏心率εk图像400之外，交通基础设施系统可以传输关于固定式摄像机206的位置、姿势和视野信息。
在框604处，计算装置115可以基于组合位置、姿势和视野与关于视野中的对象的真实世界3D位置的信息来组合离心率εk图像400与认知地图500，以确定在车辆110正在行进的道路502中或附近的移动对象504、506、508、510，如上面关于图4和图5所讨论的。
在框606处，计算装置115可以通过基于确定认知地图500中的自由空间区域和非自由空间区域并且至少部分地基于上面关于图5所讨论的移动对象504、506、508、510确定路径多项式514来操作车辆110。计算装置115可以通过向控制器112、113、114发送命令来控制车辆110的转向、制动和动力传动系统来操作车辆110以沿路径多项式514行进。在这个框之后，过程600结束。
图7是基于确定在图像中的移动对象来操作车辆的过程700的相关于图3所述的流程图的图。例如，过程700可以通过计算装置115的处理器从传感器116获得信息作为输入并经由控制器112、113、114执行命令和发送控制信号来实施。过程700包括以所公开的顺序采用的多个框。过程700还包括包括更少框的实现方式或可以包括按不同顺序采用的框。
过程700开始于框702，其中包括在车辆110中的计算装置115从来自固定式摄像机的输入图像(i,j)确定样本像素xk。过程700描述了应用于来自固定式摄像机的输入图像(i,j)的每个像素xk的过程。例如，固定式摄像机可以是RGB彩色摄像机，其中像素是RGB像素。例如，可以按光栅扫描顺序选择像素xk，其中按顺序从上到下地扫描输入图像的行。对输入图像(i,j)的每个像素重复过程700。
在框704处，计算装置115基于图像(i,j)的像素xk根据上面的等式(2)更新平均值μk。
在框706处，计算装置115基于图像(i,j)的像素xk和平均值μk根据上面的等式(3)更新方差
Figure BDA0002177316250000151
在框708处，计算装置115基于图像(i,j)的像素xk、平均值μk和方差
Figure BDA0002177316250000152
根据上面的等式(1)计算偏心率图像εk。
在框710处，计算装置115将偏心率图像εk的像素与5倍以经验确定的常数α进行比较。如果偏心率图像εk的像素的值大于或等于5α，过程700则分支到框612。如果像素的值小于5α，过程700则分支到框614。
在框712处，通过将输出(i,j)设置为等于前景来计算偏心率图像εk。在框712之后，过程700结束。
在框714处，通过将输出(i,j)设置为等于背景来计算偏心率图像εk。在框714之后，过程700结束。
诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所述的那些的一个或多个计算装置执行并且用于执行上文描述的过程的框或步骤。例如，上文所讨论的过程框可以被体现为计算机可执行命令。
计算机可执行命令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下的单一形式或组合形式：JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可以使用各种计算机可读介质来将这类命令和其他数据存储在文件中并且传输这类命令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存储存储器等)上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，命令)的任何介质。这种介质可采取许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘以及其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、带有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带，或计算机可以从中读取的任何其他介质。
除非本文做出相反的明确指示，否则权利要求中使用的所有术语旨在给予其如本领域技术人员所理解的普通和通常的含义。特别地，除非权利要求叙述明确的相反限制，否则单数冠词(诸如，“一”、“该”、“所述”等)的使用应理解为叙述所指示元件的一个或多个。
术语“示例性”在本文以表示示例的意义使用，例如，对“示例性小部件”的引用应被理解为仅指代小部件的示例。
修饰值或结果的副词“大约”指的是形状、结构、测量、值、确定、计算结果等可由于材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷等而与确切描述的几何结构、距离、测量、值、确定、计算结果等有所偏差。
在附图中，相同的附图标记指示相同元件。此外，可以改变这些元件中的一些或全部。关于本文所述的介质、过程、系统、方法等，应该理解，尽管这种过程等的步骤或框已被描述为依据某个有序序列发生，但是这种过程也可以按不同于本文所述的顺序的顺序执行所述步骤的方式进行实践。还应理解，可以同时执行某些步骤、可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对过程的描述是为了示出某些实施例而提供，而决不应当将其理解为对所要求保护发明进行限制。
根据本发明，一种方法包括：接收包括前景像素的图像，所述前景像素是基于针对由固定式传感器获取的一系列图像确定偏心率εk而确定的；基于所述前景像素确定在所述图像中的移动对象；以及基于所述图像中的所述移动对象操作车辆。
根据实施例，本发明的特征还在于基于根据等式μk＝(1-α)μk-1+αxk基于先前的平均值μk-1确定所述系列的图像的像素的平均值μk来确定偏心率εk，其中α是以经验确定的常数。
根据实施例，本发明的特征还在于基于根据等式
Figure BDA0002177316250000181
基于先前的方差
Figure BDA0002177316250000182
和所述平均值μk确定所述系列的图像的像素的方差
Figure BDA0002177316250000183
来确定所述偏心率εk。
根据实施例，本发明的特征还在于根据等式
Figure BDA0002177316250000184
基于所述平均值μk和所述方差
Figure BDA0002177316250000185
来确定所述偏心率εk。
根据实施例，本发明的特征还在于通过比较εk与α倍于以经验确定的常数来确定所述前景像素。
根据实施例，本发明的特征还在于基于利用以经验确定的最小和最大区域确定前景像素的连接区域来确定在所述图像中的移动对象。
根据实施例，所述前景像素的连接区域是基于具有类似的偏心率εk来确定的。
根据实施例，所述固定式传感器是包括在交通基础设施系统中的红色、绿色、蓝色(RGB)彩色摄像机。
根据实施例，所述车辆基于所述车辆的位置经由网络从所述交通基础设施系统接收包括前景像素的所述图像。
根据本发明，提供了一种系统，其具有处理器；以及存储器，所述存储器包括指令，所述指令要由所述处理器执行以：接收包括前景像素的图像，所述前景像素是基于确定偏心率εk图像(其基于由固定式传感器获取的一系列图像)而确定的；基于所述前景像素确定在所述图像中的移动对象；以及基于所述图像中的所述移动对象操作车辆。
根据实施例，本发明的特征还在于基于根据等式μk＝(1-α)μk-1+αxk基于先前的平均值μk-1确定所述系列的图像的像素的平均值μk来确定所述偏心率εk。
根据实施例，本发明的特征还在于基于根据等式
Figure BDA0002177316250000191
基于先前的方差
Figure BDA0002177316250000192
和所述平均值μk确定所述系列的图像的像素的方差
Figure BDA0002177316250000193
来确定所述偏心率εk。
根据实施例，本发明的特征还在于根据等式基于所述平均值μk和所述方差
Figure BDA0002177316250000195
来确定所述偏心率εk。
根据实施例，本发明的特征还在于通过比较εk与α倍于以经验确定的常数来确定所述前景像素。
根据实施例，本发明的特征还在于基于利用以经验确定的最小和最大区域确定前景像素的连接区域来确定在所述图像中的移动对象。
根据实施例，所述前景像素的连接区域是基于具有类似的偏心率εk来确定的。
根据实施例，所述固定式传感器是包括在交通基础设施系统中的红色、绿色、蓝色(RGB)彩色摄像机。
根据实施例，所述车辆基于所述车辆的位置经由网络从所述交通基础设施系统接收包括前景像素的所述图像。
根据本发明，提供了一种系统，其具有：用于控制车辆转向、制动和动力传动系统的工具；计算机工具，所述计算机工具用于：接收包括前景像素的图像，所述前景像素是基于确定偏心率εk(其基于由固定式传感器获取的一系列图像)而确定的；基于所述前景像素确定在所述图像中的移动对象；以及基于所述图像中的所述移动对象并且基于所述用于控制车辆转向、制动和动力传动系统的工具来操作车辆。
根据实施例，本发明的特征还在于基于基于等式μk＝(1-α)μk-1+αxk确定平均值μk来确定所述偏心率εk。

Claims (15)

1.一种方法，其包括：
接收包括前景像素的图像，所述前景像素是基于针对由固定式传感器获取的一系列图像确定偏心率εk而确定的；
基于所述前景像素确定在所述图像中的移动对象；以及
基于所述图像中的所述移动对象操作车辆。
2.如权利要求1所述的方法，其还包括基于根据等式μk＝(1-α)μk-1+αxk基于先前平均值μk-1确定所述系列的图像的像素的平均值μk来确定偏心率εk，其中α是以经验确定的常数。
3.如权利要求2所述的方法，其还包括基于根据等式
Figure FDA0002177316240000011
基于先前的方差
Figure FDA0002177316240000012
和所述平均值μk确定所述系列的图像的像素的方差
Figure FDA0002177316240000013
来确定所述偏心率εk。
4.如权利要求3所述的方法，其还包括根据等式
Figure FDA0002177316240000014
基于所述平均值μk和所述方差
Figure FDA0002177316240000015
来确定所述偏心率εk。
5.如权利要求4所述的方法，其还包括通过比较εk与α倍于以经验确定的常数来确定所述前景像素。
6.如权利要求1所述的方法，其还包括基于利用以经验确定的最小和最大区域确定前景像素的连接区域来确定在所述图像中的移动对象。
7.如权利要求6所述的方法，其中所述前景像素的连接区域是基于具有类似的偏心率εk来确定的。
8.如权利要求1所述的方法，其中所述固定式传感器是包括在交通基础设施系统中的红色、绿色、蓝色(RGB)彩色摄像机。
9.如权利要求8所述的方法，其中所述车辆基于所述车辆的位置经由网络从所述交通基础设施系统接收包括前景像素的所述图像。
10.如权利要求9所述的方法，其还包括基于所述RGB彩色摄像机的所述位置将所述移动对象投影到认知地图上。
11.如权利要求10所述的方法，其还包括基于所述车辆的所述位置、地图数据、车辆传感器数据和所述移动对象来确定所述认知地图。
12.如权利要求11所述的方法，其还包括基于基于所述认知地图的路径多项式来操作所述车辆。
13.如权利要求12所述的方法，其中固定所述RGB彩色摄像机以获取不变的视野。
14.如权利要求1所述的方法，其还包括通过控制车辆转向、制动和动力传动系统来操作所述车辆。
15.一种系统，其包括被编程来执行如权利要求1-14中任一项所述的方法的计算机。
CN201910783596.XA 2018-08-24 2019-08-23 前景检测 Pending CN110858866A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/111,589 US10769799B2 (en) 2018-08-24 2018-08-24 Foreground detection
US16/111,589 2018-08-24

Publications (1)

Publication Number Publication Date
CN110858866A true CN110858866A (zh) 2020-03-03

Family

ID=69412365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910783596.XA Pending CN110858866A (zh) 2018-08-24 2019-08-23 前景检测

Country Status (3)

Country Link
US (1) US10769799B2 (zh)
CN (1) CN110858866A (zh)
DE (1) DE102019122822A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US10885775B2 (en) * 2019-06-06 2021-01-05 Verizon Patent And Licensing Inc. Monitoring a scene to analyze an event using a plurality of image streams
US11521494B2 (en) * 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
TWI775123B (zh) * 2020-07-29 2022-08-21 財團法人資訊工業策進會 交通狀況預測系統與交通狀況預測方法
US12046047B2 (en) 2021-12-07 2024-07-23 Ford Global Technologies, Llc Object detection
EP4224288A1 (en) * 2022-02-07 2023-08-09 Robert Ohrenstein Gaze direction determination apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100235344B1 (ko) 1994-12-29 1999-12-15 전주범 영역 분할 부호화 방식의 전경/배경 화상 선택 장치
US5768401A (en) * 1995-08-02 1998-06-16 Lucent Technologies Inc. Balanced focus system and method for achieving optimal focus of different areas of an object that are concurrently imaged
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US8094943B2 (en) 2007-09-27 2012-01-10 Behavioral Recognition Systems, Inc. Background-foreground module for video analysis system
CN101582160B (zh) 2009-06-18 2013-09-18 北京中星微电子有限公司 前景检测方法和装置以及自适应阈值调节方法和装置
TW201133358A (en) 2010-03-18 2011-10-01 Hon Hai Prec Ind Co Ltd System and method for detecting objects in a video image
CN102201121A (zh) 2010-03-23 2011-09-28 鸿富锦精密工业（深圳）有限公司 视频场景中的物件侦测系统与方法
KR101299237B1 (ko) 2011-11-23 2013-08-22 서울대학교산학협력단 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법

Also Published As

Publication number Publication date
US10769799B2 (en) 2020-09-08
US20200065978A1 (en) 2020-02-27
DE102019122822A1 (de) 2020-02-27

Similar Documents

Publication Publication Date Title
US11783707B2 (en) Vehicle path planning
US10345822B1 (en) Cognitive mapping for vehicles
US10616486B2 (en) Video stabilization
US10769799B2 (en) Foreground detection
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
US10981564B2 (en) Vehicle path planning
US10733510B2 (en) Vehicle adaptive learning
US11460851B2 (en) Eccentricity image fusion
US20180120857A1 (en) Road sign recognition
US10955857B2 (en) Stationary camera localization
US20200020117A1 (en) Pose estimation
US11055859B2 (en) Eccentricity maps
US11521494B2 (en) Vehicle eccentricity mapping
US11662741B2 (en) Vehicle visual odometry
US11030774B2 (en) Vehicle object tracking
US11119491B2 (en) Vehicle steering control
US11610412B2 (en) Vehicle neural network training
US20190294164A1 (en) Action-conditioned vehicle control
CN116580374A (zh) 车辆定位
US12046047B2 (en) Object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination