CN109941286A - 用于评估车辆行驶表面的方法和设备 - Google Patents

用于评估车辆行驶表面的方法和设备 Download PDF

Info

Publication number
CN109941286A
CN109941286A CN201811496131.8A CN201811496131A CN109941286A CN 109941286 A CN109941286 A CN 109941286A CN 201811496131 A CN201811496131 A CN 201811496131A CN 109941286 A CN109941286 A CN 109941286A
Authority
CN
China
Prior art keywords
image
vehicle
running surface
camera
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811496131.8A
Other languages
English (en)
Other versions
CN109941286B (zh
Inventor
B·B·利特库西
赵庆荣
王劲松
金京福
王天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109941286A publication Critical patent/CN109941286A/zh
Application granted granted Critical
Publication of CN109941286B publication Critical patent/CN109941286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

车辆包括多个车载相机，并且控制器执行通过捕获相应相机的视场的图像来评估行驶表面的方法。识别图像的对应的受关注区域，其中，每个受关注区域与相应相机的视场的包括行驶表面的部分相关联。提取图像的部分，其中，每个提取部分与相应相机的视场的包括行驶表面的部分中的受关注区域相关联，并且其中，相应图像的一个提取部分包括天空。将图像的提取部分编译成合成图像数据文件，并且执行合成图像数据文件的图像分析以确定行驶表面状态。行驶表面状态被传送给另一控制器。

Description

用于评估车辆行驶表面的方法和设备
引言
车辆控制系统可以受益于与行驶表面的状况有关的信息，并且可以采用这种信息作为用于控制例如制动、转弯和加速的一个或多个系统的输入。路面的不同状况可能影响轮胎与路面之间的摩擦系数。干燥路面状况提供高摩擦系数，而积雪路面状况提供较低的摩擦系数。因此，期望车辆能够确定路面的当前状况。
发明内容
描述了一种包括多个车载相机的车辆。一种用于评估车辆的行驶表面的方法包括通过车载相机捕获与相应相机的多个视场(FOV)相关联的多个图像，其中，每个视场的至少一部分包括行驶表面。识别图像的对应的受关注区域，其中，每个受关注区域与相应相机的视场(FOV)的包括行驶表面的部分相关联。提取图像的部分，其中，相应图像的每个提取部分与相应相机的视场的包括行驶表面的一部分的部分中的受关注区域相关联。将图像的提取部分编译成合成图像数据文件，并执行合成图像数据文件的图像分析以确定行驶表面状态。行驶表面状态被传送给车载控制器。
本公开的一个方面包括作为包括车辆周围的行驶表面的合成图像的合成图像数据文件。
本公开的另一方面包括合成图像，该合成图像包括车辆周围的行驶表面，该行驶表面包括与车辆前部的行驶表面相关联的第一部分、与车辆后部的行驶表面相关联的第二部分、与车辆左侧的行驶表面相关联的第三部分、以及与车辆右侧的行驶表面相关联的第四部分。
本公开的另一方面包括确定行驶表面包括干燥状态、湿润状态、结冰状态和积雪状态中的一个。
本公开的另一方面包括将合成图像数据文件的图像分析的结果与在路面图案数据库中捕获的多个表面状况进行比较，并基于该比较对行驶表面状态进行分类。
本公开的另一方面包括捕获多个图像文件，其中，每个图像文件包括处于其原始分辨率的相应车载相机的整个FOV的数字表示。
本公开的另一方面包括每个视场的包括行驶表面的部分。
本公开的另一方面包括通过裁剪相应图像以包括相应相机的视场的包括行驶表面的部分来提取图像的部分。
本公开的另一方面包括通过缩放、旋转和压缩相应相机的视场的包括行驶表面的部分中的相应图像的受关注区域来提取图像的部分。
本公开的另一方面包括同时捕获多个图像。
本公开的另一方面包括一种用于评估车辆的行驶表面的方法，该方法包括：通过车载相机捕获与相应相机的视场相关联的图像，其中，至少一部分视场包括行驶表面；以及识别图像的多个受关注区域，其中，每个受关注区域与相应相机的视场的包括行驶表面的部分相关联。
本公开的另一方面包括一种用于评估车辆的行驶表面的方法，该方法包括通过车载相机捕获与相机的视场相关联的图像，其中，该视场包括行驶表面和周围环境。识别图像的多个受关注区域，其中，受关注区域与相机的视场的包括行驶表面和周围环境的部分相关联。执行图像的图像分析，并且基于图像的图像分析确定行驶表面状态。行驶表面状态被传送给车载控制器。
本公开的另一方面包括提取图像的部分，其中图像的部分中之一与相机的视场的包括行驶表面的部分中的受关注区域相关联，并且其中，图像的部分中之一包括周围环境。将图像的提取部分编译成合成图像数据文件，并经受图像分析例程。基于合成图像数据文件的图像分析确定行驶表面状态，并将其传送给车载控制器
本公开的另一方面包括执行合成图像数据文件的深度神经网络分析。
本公开的另一方面包括进一步包括天空的视场，其中，与相机的视场的部分相关联的受关注区域还包括天空，并且其中，提取图像的部分包括提取天空以提供环境照明的指示。
本教导的上述特征和优点以及其他特征和优点从以下结合附图对一些最佳模式的详细描述和用于执行如所附权利要求中限定的本教导的其他实施例中变得明显。
附图说明
现在将参考附图通过示例描述一个或多个实施例，在附图中：
图1示意性地示出了根据本公开的包括车载视觉系统的车辆的侧视图，其中，车辆设置在行驶表面上；
图2示意性地示出了根据本公开的用于基于来自多个车载相机的图像对车辆行驶表面进行分类的行驶表面识别过程的细节；
图3示意性地示出了根据本公开的用于对车辆行驶表面的状况进行分类以确定行驶表面状态的图像分析过程的实施例，包括训练过程和图像分析步骤；
图4示出了根据本公开的参考图2描述的合成图像数据文件的实施例，包括与相机的FOV的包括车辆行驶表面的部分相关联的多个受关注区域，并且描绘处于干燥状态的车辆行驶表面；
图5示出了根据本公开的参考图2描述的合成图像数据文件的实施例，包括与相机的FOV的包括车辆行驶表面的部分相关联的多个受关注区域，并且描绘处于湿润状态的车辆行驶表面；
图6示出了根据本公开的参考图2描述的合成图像数据文件的实施例，包括与相机的FOV的包括车辆行驶表面的部分相关联的多个受关注区域，并且描绘了处于积雪状态的车辆行驶表面；
图7示出了根据本公开的参考图2描述的合成图像数据文件的实施例，包括与单个相机的FOV的包括车辆行驶表面、周围环境和车辆前方的天空的一部分的部分相关联的多个受关注区域。
应当理解，附图不一定按比例绘制，而是呈现如本文所公开的本公开的各种优选特征的略微简化的表示，包括例如特定尺寸、方向、位置和形状。与这些特征相关联的细节将部分地由特定的预期应用和使用环境确定。
具体实施方式
如本文所描述和示出的，所公开的实施例的组件可以以各种不同的配置来布置和设计。因此，以下详细描述不旨在限制所要求保护的本公开的范围，而仅仅代表其可能的实施例。另外，尽管在以下描述中阐述了许多具体细节以便提供对本文公开的实施例的透彻理解，但是可以在没有这些细节中的一些的情况下实践一些实施例。此外，为了清楚起见，没有详细描述相关领域中理解的某些技术材料，以避免不必要地模糊本公开。此外，附图是简化的形式，并且不是精确的比例。仅出于方便和清楚的目的，关于附图可以使用诸如顶、底、左、右、上、以上、上方、下方、以下、后和前的方向术语。这些和类似的方向术语不应被解释为限制本公开的范围。此外，如本文所示和所述的本公开可以在缺少本文未具体公开的要素的情况下实施。
参考附图，其中相同的附图标记在若干个附图中对应于相同或相似的部件。与本文公开的实施例一致的图1示意性地示出了包括车载视觉系统20的车辆10的侧视图，其中，车辆10设置在行驶表面70(例如铺设的路面)上并且能够横穿行驶表面70(例如铺设的路面)。在一个实施例中，车辆10可以配备有自主控制器65，其实现自主车辆功能。车辆10可以包括但不限于商用车辆、工业车辆、农用车辆、客车、飞机、船只、火车、全地形车辆、个人移动装置、机器人等形式以实现本公开的目的的移动平台。
自主控制器65配置成实现自主车辆操作。自主车辆功能可以包括能够提供一定程度的驾驶自动化的车载控制系统。术语“驾驶员”和“操作者”描述负责指导车辆10的操作的人员，无论其是主动地参与控制一个或多个车辆功能还是指导自主车辆操作。驾驶自动化可以包括一系列动态驾驶和车辆操作。驾驶自动化可以包括在驾驶员持续地对车辆10进行总体控制的情况下与例如转向、加速和/或制动的单个车辆功能相关的某种水平的自动控制或干预。驾驶自动化可以包括在驾驶员持续地对车辆10进行整体控制的情况下与多个车辆功能(例如转向、加速和/或制动)的同时控制相关的某种水平的自动控制或干预。驾驶自动化可以包括车辆驾驶功能(包括转向、加速和制动)的同时自动控制，其中，驾驶员在行驶期间放弃对车辆的控制一段时间。驾驶自动化可以包括同时自动控制包括转向、加速和制动的车辆驾驶功能，其中驾驶员在整个行驶中放弃对车辆10的控制。驾驶自动化包括硬件和控制器，其被配置为在各种驾驶模式下监视空间环境以在动态车辆操作期间执行各种驾驶任务。作为非限制性示例，驾驶自动化可以包括巡航控制、自适应巡航控制、车道变换警告、干预和控制、自动停车、加速、制动等。作为非限制性示例，自主车辆功能包括自适应巡航控制(ACC)操作、车道引导和车道保持操作、车道变换操作、转向辅助操作、对象避免操作、停车辅助操作、车辆制动操作、车辆速度和加速操作、车辆横向运动操作，例如作为车道引导、车道保持和车道变换操作的一部分等。如此，制动命令可以由自主控制器65独立于车辆操作者的动作并且响应于自主控制功能而产生。
操作者控制件可以包括在车辆10的乘客舱中，并且作为非限制性示例可以包括方向盘、加速器踏板、制动踏板和作为HMI设备60的元件的操作者输入设备。操作者控制使车辆操作者能够与车辆10交互并引导操作车辆10以用于提供乘客运输。在车辆10的一些实施例中，可以省略包括方向盘、加速器踏板、制动踏板、变速器档位选择器等的操作者控制装置。
为了引导信息娱乐系统、全球定位传感器(GPS)52、导航系统等的操作，HMI设备60提供人/机交互，并且包括控制器。HMI设备60监视操作者请求并向操作者提供包括车辆系统的状态、服务和维护信息的信息。HMI设备60与多个操作者接口设备通信和/或控制多个操作者接口设备的操作，其中，操作者接口设备能够发送与自主车辆控制系统之一的操作相关联的消息。HMI设备60还可以与监视与车辆操作者相关联的如下的生物识别数据的一个或多个设备通信：包括例如眼睛注视位置、姿势和头部位置跟踪等。为了便于描述，HMI设备60被描绘为单一设备，但是在本文描述的系统的实施例中可以被配置为多个控制器和相关联的感测设备。操作者接口设备可以包括能够发送促使操作者动作的消息的设备，并且可以包括电子可视化显示模块，例如液晶显示器(LCD)设备、抬头显示器(HUD)、音频反馈设备、可穿戴设备和触觉座椅。能够促使操作者动作的操作者接口设备优选地由HMI设备60控制或通过HMI设备60控制。HUD可以在操作者的视场中投射反射到车辆挡风玻璃内侧的信息，包括发送与操作自主车辆控制系统之一相关联的置信水平。HUD还可以提供增强现实信息，例如车道位置、车辆路径、方向和/或导航信息等。
视觉系统20由与相机控制器40通信的多个图像检测器(相机)21组成。相机21有利地安装并定位在车辆10上允许捕获视场(FOV)的图像的位置，其中，每个FOV的至少一部分包括行驶表面70的一个方面。至少一个FOV包括周围环境，包括例如车辆交通、路边对象和其他特征、天空和地平线。天空和地平线提供了环境照明的指示。诸如交通或道路路边对象的环境对象可以在湿润表面上投射镜像，其可以帮助行驶表面识别。如图所示，存在三个相机21，包括第一相机22、第二相机24和第三相机26。在一个实施例中，第一相机22可以设置在车辆10的前部，以监视位于车辆10前方的第一FOV32，从而捕获包括行驶车道和车辆10的即将到来的前向交通的图像。在一个实施例中，第二相机24可以设置在车辆10的后部，以监视车辆10后方的第二FOV34，从而捕获包括行驶车道和车辆10后方的交通的图像。在一个实施例中，第三相机26可以设置在车辆10的侧部上，以监视位于车辆10的右侧或左侧之一上的第三FOV36，从而捕获包括车辆10的一个侧视图的图像。在一个实施例中，第四相机(未示出)可以设置在车辆10的右侧或左侧中的另一侧上，以监视包括车辆10的另一侧视图的另一FOV。其他相机21可以设置在车辆10上的其他地方，并且第一相机22、第二相机24和第三相机26中的一个或多个可以被配置为监视采用诸如鱼眼镜头的镜头配置或者采用旋转或枢轴布置的多个FOV。如所理解的，设置在车辆上以监视前、后和侧FOV的相机21的数量是可选择的。
在一个实施例中，如参考图7所述，视觉系统20可以由与相机控制器40通信的一个图像检测器(相机)21组成，并且具有包括行驶表面、周围环境(包括例如车辆交通、路边对象和其他特征)以及天空的FOV。天空提供环境照明的指示。
相机21可以被配置为包括诸如针孔镜头、鱼眼镜头、立体镜头、红外检测器等的特征。每个相机21包括能够捕获、处理和电子地存储相关联的FOV的图像文件，并且将图像文件传送到相机控制器40以进行存储和分析的图像采集传感器。如图所示，存在与第一FOV32相关联的第一图像文件23、与第二FOV34相关联的第二图像文件25、以及与第三FOV36相关联的第三图像文件27。可以周期性地捕获图像文件作为期望的速率，例如每秒30个文件。
每个图像文件是以相机21的原始分辨率捕获的相应FOV的数字表示。在一个实施例中，每个图像文件是如下24位立体图像的形式：包括RGB(红-绿-蓝)可见光谱值和表示相关FOV的深度值。图像文件的其他实施例可以包括在某个分辨率水平的2D或3D图像，其描绘相应FOV的黑白或灰度可见光谱表示、相应FOV的红外光谱表示、或其他图像，并且没有限制。在一个实施例中，可以针对与亮度和/或照度有关的参数来评估图像文件的图像表示。替代地，可以基于RGB颜色分量、纹理、轮廓或其组合来评估图像表示。图像采集传感器与编码器通信，编码器对相应图像文件执行数字信号处理(DSP)。每个相机21的图像采集传感器可以被配置为以标称标准清晰度分辨率(例如，640×480像素)捕获相应图像。替代地，相机21的图像采集传感器可以被配置为以标称高清晰度分辨率(例如，1440×1024像素)或以另一合适的分辨率捕获相应图像。相机21的图像采集传感器可以捕获静止图像，或者可替代地以预定的图像捕获速率捕获数字视频图像。在一个实施例中，图像文件作为编码数据文件被传送到相机控制器40用于车载或车外分析，该编码数据文件存储在非暂时性数字数据存储介质中。
车辆10包括远程信息处理控制器75，其包括能够进行车外通信的无线远程信息处理通信系统，车外通信包括与具有无线和有线通信能力的通信网络系统90的通信。远程信息处理控制器75能够进行如下车辆外通信：包括短距离车辆到车辆(V2V)通信和/或车辆到基础设施(V2x)通信，其可以包括与基础设施监视器80例如交通相机的通信。替代地或另外地，远程信息处理控制器75具有能够与手持设备(例如，蜂窝电话、卫星电话或另一电话设备)进行短距离无线通信的无线远程信息处理通信系统。在一个实施例中，手持设备装载有软件应用程序，该软件应用程序包括与远程信息处理控制器75通信的无线协议，并且手持设备执行车外通信，包括经由通信网络90与车外控制器95通信。替代地或另外地，远程信息处理控制器75通过经由通信网络90与车外控制器95通信来直接执行车外通信。
术语“控制器”和诸如控制模块、模块、控制、控制单元、处理器和类似术语的相关术语是指专用集成电路(ASIC)、电子电路、例如微处理器的中央处理单元和以存储器和存储设备(只读、可编程只读、随机存取、硬盘驱动器等)形式的相关联的非暂时性存储器组件的一种或多种组合。非暂时性存储器组件能够以一个或多个软件或固件程序或例程、组合逻辑电路、输入/输出电路和设备、信号调节和缓冲电路系统以及可以由一个或多个处理器访问以提供所描述的功能的其他组件的形式存储机器可读指令。输入/输出电路和设备包括模拟/数字转换器和监视来自传感器的输入的相关设备，并且这些输入以预设的采样频率或响应于触发事件被监视。软件、固件、程序、指令、控制例程、代码、算法和类似术语表示包括校准和查找表的控制器可执行指令集。每个控制器执行控制例程以提供期望的功能。例程可以以规则的间隔执行，例如在正在进行的操作期间每100微秒执行一次。替代地，可以响应于触发事件的发生来执行例程。控制器之间的通信以及控制器、致动器和/或传感器之间的通信可以使用直接有线点对点链路、网络通信总线链路、无线链路或其他合适的通信链路来实现。通信包括以如下合适的形式交换数据信号：包括例如经由导电介质的电信号、经由空气的电磁信号、经由光波导的光信号等。数据信号可以包括表示来自传感器的输入、致动器命令和控制器之间的通信的离、模拟或数字化模拟信号。术语“信号”指的是传送信息的物理上可辨别的指示符，并且可以是能够穿过介质的合适的波形(例如，电、光、磁、机械或电磁)，例如DC、AC、正弦波、三角波、方波、振动等。
通过同时捕获和分析来自包括行驶表面70的一些部分并且例如可以通过天空的图像提供还捕获环境照明的相机21的图像文件，可以部署相机控制器40和其他车载控制器以评估车辆10的行驶表面70。图像文件与相机21的多个FOV相关联，其中多个FOV中的每一个的至少一部分包括行驶表面70的一些部分。
可以生成输入图像以供行驶表面识别过程100分析。一个图像(其示例参考图4、图5、图6示出)包括来自具有不同FOV的多个车载相机21的图像。第二图像(其示例参考图7示出)包括来自车载相机21中的被定位成具有位于车辆10前方的FOV的一个车载相机的图像的部分。
图2示意性地示出了可以在参考图1描述的车辆10的实施例上实现的行驶表面识别过程100的细节。行驶表面识别过程100在相机控制器40中可执行，以基于来自多个相机21的图像对车辆10行驶在其上的行驶表面70进行分类，其中来自车载相机21的图像具有不同的FOV。多个相机21包括第一相机22、第二相机24和第三相机26以及第n相机28，其中第n相机28指示期望数量的车载相机。第一相机22、第二相机24、第三相机26以及第n相机28捕获并生成传送到相机控制器40的相应图像文件23、25、27、29。图像文件23、25、27、29分别经受提取过程120，该提取过程120包括识别与相应相机的FOV的包括行驶表面70的部分相关联的受关注区域，并提取裁剪的数据文件。裁剪的数据文件与相应的第一相机22、第二相机24、第三相机26和第n相机28的FOV中的包括行驶表面70和包括用于辨别环境照明的天空的周围环境的一部分的相应受关注区域相关联，并且显示为相应的裁剪的图像122、124、126和128。裁剪的图像122、124、126和128通过步骤130编译成合成图像数据文件140进行处理，并且合成图像数据文件140经受图像分析过程150以对行驶表面70的状态进行分类，并且确定行驶表面状态190。行驶表面识别过程100的替代实施例可以在相机控制器40中执行，以基于来自相机21中的捕获车辆10前方的FOV图像的单个相机(例如，第一相机22)的图像对车辆10行驶在其上的行驶表面70进行分类。
图3示意性地示出了用于对行驶表面70的状况进行分类以确定行驶表面状态190的图像分析过程150的一个实施例。图像分析过程150包括训练过程160和图像分析步骤180，其中，图像分析步骤180评估合成图像数据文件140以确定行驶表面状态190。图像分析过程150可以基于RGB、灰度、黑/白、光谱分析中的一个或组合。
训练过程160可以离线执行，其结果存储在车辆10中的控制器40中的存储器设备中，或者替代地存储在诸如车外控制器95的远程站点处的存储器设备中。
图像分析过程150是基于包括手工制作的特征分析方法的图像处理的图像分析过程的一个图示，手工制作的特征分析方法可以包括手动提取特征，然后基于机器学习单独训练分类器。替代地，深度学习方法通过几层神经网络统一特征提取过程和分类步骤。在执行训练过程160期间，将学习神经网络的参数，然后将实时图像实时地馈送到经训练的神经网络中。离线训练和在线分析是基于一种通用方法，其包括训练以学习未知参数，执行在线分析以将图像馈送给参数学习方法进行分类。
训练过程160包括采用机器学习工具，例如人工神经网络(ANN)、或卷积神经网络(ConvNet)深度学习分析、或其他分析过程。训练过程160包括采用一个或多个相机收集多个训练图像161，所述一个或多个相机可以被配置为类似于本文描述的第一相机22、第二相机24、第三相机26和第n相机28。训练图像161是包括行驶表面70的表现出外观均匀的单个表面状态的图像的图像文件。表面状况可以包括干燥行驶表面、湿润行驶表面、冰覆盖表面、积雪表面等。训练图像161经受包括预处理162、特征提取164和分类器构造166的步骤以生成路面图案数据库170。预处理步骤162包括噪声去除和提取一个或多个受关注区域的步骤，所述一个或多个受关注区域代表并对应于相应的表面状况。捕获数据文件，其是由相机21捕获和记录的图像文件的提取部分。特征提取步骤164包括对包含在图像文件的提取部分中的数据执行统计分析、模板匹配、颜色/亮度分析等，以识别数据中与相应表面状况相关的图案。特征提取步骤164的结果被输入到分类器构造步骤166，其产生与可以在路面图案数据库170中捕获的相应表面状况相关联的分类器168。路面图案数据库170作为校准文件存储在车辆上，或者存储在车辆外的远程站点处以供车辆询问。
图像分析步骤180在车辆操作期间操作，并且包括鉴于路面图案数据库170评估合成图像数据文件140，以实时确定行驶表面状态190。
图像分析步骤180可以基于合成图像数据文件140对行驶表面70进行分类，该合成图像数据文件140采用机器学习工具例如智能矢量机、人工神经网络(ANN)或卷积神经网络(ConvNet)深度学习分析或另一分析过程。图像分析步骤180和训练过程160采用相同的机器学习工具。由图像分析步骤180产生的输出是行驶表面状态190，作为非限制性示例，其可以是干燥状态、湿润状态、冰状态或积雪状态。行驶表面状态190可以被传送到车辆控制器50，车辆控制器50可以在与加速、制动和转弯相关的车辆动态控制中采用行驶表面状态190。行驶表面状态190还可以经由人机接口(HMI)设备60传送给车辆操作者。行驶表面状态190还可以被传送到远程信息处理控制器75，用于短程车辆到车辆(V2V)通信、到智能公路系统的通信、或到另一个车辆外系统的通信。
训练过程160包括采用一个或多个相机收集多个训练图像161，所述一个或多个相机可以被配置为类似于本文描述的第一相机22、第二相机24、第三相机26和第n相机28。训练图像161是包括行驶表面70的表现出外观均匀的单个表面状态的图像的图像文件。表面状况可以包括干燥行驶表面、湿润行驶表面、积雪表面等。训练图像161经受包括预处理162、特征提取164和分类器构造166的步骤以生成路面图案数据库170。预处理步骤162包括噪声去除和提取一个或多个受关注区域的步骤，所述一个或多个受关注区域代表并对应于相应的表面状况。捕获数据文件，其是由相机21捕获和记录的图像文件的提取部分。特征提取步骤164包括对包含在图像文件的提取部分中的数据执行统计分析等，以识别数据中与各个表面状况相关的图案。特征提取步骤164的结果被输入到分类器构造步骤166，其产生与可以在路面图案数据库170中捕获的相应表面状况相关联的分类器168。路面图案数据库170作为校准文件存储在车辆上，或者存储在车辆外的远程站点处以供车辆询问。
图4图示了与参考图2和图3描述的行驶表面识别过程100相关联的图像的第一实施例，其在参考图1描述的车辆10上执行。行驶表面识别过程100包括通过提取、裁剪、旋转和压缩图像的包括由多个车载相机捕获的行驶表面的部分来编译合成图像数据文件。如图所示，合成图像由要素430指示，并且包括与多个相机的FOV的包括行驶表面的部分相关联的多个受关注区域的图像，并且可以从捕获不同FOV的多个同时捕获的图像生成。图4中的行驶表面处于干燥状态。第一图像422可以由相机中具有前向FOV的一个捕获，第二图像424可以由相机中具有后向FOV的一个捕获，第三图像426可以由相机21中具有左侧FOV的一个捕获，以及第四图像428可以由相机21中具有右侧FOV的一个捕获。
同时捕获的第一图像422、第二图像424、第三图像426和第四图像428可以被裁剪、旋转、缩放和组合成合成图像430，合成图像430描绘完全围绕车辆10的行驶表面70的视图。裁剪包括去除相应图像的不包括行驶表面的部分，例如从前向FOV去除可以由第一图像422捕获的即将到来的车辆、或从后向FOV去除可以由第二图像424捕获的另一车辆。旋转包括改变相应图像的方向，例如显示右侧FOV的第四图像428的90°逆时针旋转和显示左侧FOV的第三图像426的90°顺时针旋转。缩放可以包括压缩或扩展第一图像422、第二图像424、第三图像426和第四图像428中的一个或多个。组合包括拼接所得到的图像，其描绘为可以以描绘车辆10的周围的行驶表面70的视图的方式被裁剪、旋转和/或缩放的第一图像422'、第二图像424'、第三图像426'和第四图像428'，车辆10示出为具有如合成图像430中所示的轨迹410。裁剪、旋转和缩放以形成编译成合成图像430的第一图像422'、第二图像424'、第三图像426'和第四图像428'的过程可以对第一图像422、第二图像424、第三图像426和第四图像428的相应数据文件执行，并且可以包括去除选择像素、平均像素和其他形式的像素数据操纵。
图4描绘了处于干燥状态的行驶表面70，并且捕获的第三图像426具有低水平的照度和/或亮度，其可能是由阴影引起的。在某些状况下，第三图像426可能被错误地解释为行驶表面70处于湿润状态。然而，参考图2和图3描述的行驶表面识别过程100的图像分析步骤180可以有利地被执行以评估与合成图像430相关联的合成图像数据文件，以通过评估第一图像422'、第二图像424'、第三图像426'和第四图像428'来实时确定行驶表面状态190确实处于干燥状态。
图5图示了与参考图2和图3描述的并且在参考图1描述的车辆10上执行的行驶表面识别过程100相关联的图像的第二实施例。行驶表面识别过程100包括通过提取、裁剪、旋转和压缩图像的包括由多个车载相机捕获的行驶表面的部分来编译合成图像数据文件。如图所示，合成图像由要素530指示，并且包括与多个相机的FOV的包括行驶表面的部分相关联的多个受关注区域，并且可以从捕获不同FOV的多个同时捕获的图像生成。图5中的行驶表面处于湿润状态。
第一图像522可以由相机中具有前向FOV的一个捕获，第二图像524可以由相机中具有后向FOV的一个捕获，第三图像526可以由相机21中具有左侧FOV的一个捕获，以及第四图像528可以由相机21中具有右侧FOV的一个捕获。
同时捕获的第一图像522、第二图像524、第三图像526和第四图像528可以被裁剪、旋转、缩放和组合成合成图像530，合成图像530描绘了车辆10周围的行驶表面70的视图。组合包括拼接所得到的图像，其描绘为可以以描绘车辆10的周围的行驶表面70的视图的方式被裁剪、旋转和/或缩放的第一图像522'、第二图像524'、第三图像526'和第四图像528'，车辆10示出为具有如合成图像530中所示的轨迹510。裁剪、旋转和缩放以形成编译成合成图像530的第一图像522'、第二图像524'、第三图像526'和第四图像528'的过程可以对第一图像522、第二图像524、第三图像526和第四图像528的相应数据文件执行，并且可以包括去除选择像素、平均像素和其他形式的像素数据操纵。
图5描绘了处于湿润状态的行驶表面70，并且捕获的第三图像526具有高水平的照度和/或亮度，这可能是由照明差异引起的。在某些状况下，第三图像526可能被错误地解释为行驶表面70处于积雪表面。然而，参考图2和图3描述的行驶表面识别过程100的图像分析步骤180可以有利地被执行以评估与合成图像530相关联的合成图像数据文件，以通过评估第一图像522'、第二图像524'、第三图像526'和第四图像528'来实时确定行驶表面状态190确实处于湿润状态。
图6图示了与参考图2和图3描述的并且在参考图1描述的车辆10上执行的行驶表面识别过程100相关联的图像的第三实施例。行驶表面识别过程100包括通过提取、裁剪、旋转和压缩图像的包括由多个车载相机捕获的行驶表面的部分来编译合成图像数据文件。如图所示，合成图像由要素630指示，并且包括与多个相机的FOV的包括行驶表面的部分相关联的多个受关注区域，并且可以从捕获不同FOV的多个同时捕获的图像生成。图6中的行驶表面处于积雪状态。第一图像622可以由相机21中的具有前向FOV的一个捕获，第二图像624可以由相机21中的具有后向FOV的一个捕获，第三图像626可以由相机21中的具有左侧FOV的一个捕获，以及第四图像628可以由相机21中的具有右侧FOV的一个捕获。
同时捕获的第一图像622、第二图像624、第三图像626和第四图像可以被裁剪、旋转、缩放和组合成合成图像630，合成图像630描绘了车辆10周围的行驶表面70的视图。组合包括拼接所得到的图像，其描绘为可以以描绘车辆10的周围的行驶表面70的视图的方式被裁剪、旋转和/或缩放的第一图像622'、第二图像624'、第三图像626'和第四图像628'，车辆10示出为具有如合成图像630中所示的轨迹610。裁剪、旋转、缩放和组合第一图像622'、第二图像624'、第三图像626'和第四图像628'成合成图像630的过程对第一图像622、第二图像624、第三图像626和第四图像628的相应数据文件执行，并且可以包括去除选择像素、平均像素和其他形式的像素数据操纵。
图6描绘了处于积雪状态的行驶表面70。第三图像626具有低水平的照度和/或亮度，其可能由照明或其他差异引起。在某些状况下，第三图像626可能被错误地解释为行驶表面70处于干燥表面。然而，参考图2和图3描述的行驶表面识别过程100的图像分析步骤180可以有利地被执行以评估与合成图像630相关联的合成图像数据文件，以通过评估第一图像622'、第二图像624'、第三图像626'和第四图像628'来实时确定行驶表面状态190确实处于积雪状态。当车辆在新鲜的雪上行驶时，前相机图像即第一图像622显示没有轮胎轨迹并且具有低亮度水平。它可以分类为干燥表面。但是两个侧面图像即第二图像624和第三图像626以及后面图像628示出了由车辆产生的轮胎轨迹。结合四幅图像描绘了新鲜的雪上出现的新图案，这有助于检测新鲜的雪。
图7图示了与参考图2和图3描述并且在参考图1描述的车辆10上执行的行驶表面识别过程100的替代实施例相关联的图像的实施例。这包括来自车载相机21之一的原始图像720，其被定位成具有包括车辆10前方的部分的FOV。原始图像720包括行驶表面722、周围环境724以及位于车辆10前方的天空726的部分。天空726提供环境照明的指示。行驶表面识别过程100的替代实施例包括通过提取、裁剪、旋转和压缩图像的包括由车载相机中之一(具体地为相机中具有前向FOV的一个)捕获的行驶表面的部分来编译合成图像数据文件。如图所示，合成图像由要素730指示，并且包括与前向相机的前向FOV相关联的包括行驶表面和环境照明的受关注区域。行驶表面处于干燥状态。原始图像720可以由具有前向FOV的相机捕获。
合成图像730包括第一图像720'和第二图像732。可以通过裁剪和/或缩放第一原始图像720来生成第一图像720'，使得受关注区域包括在前向FOV中捕获的行驶表面722'、周围环境724'和天空726'以评估环境照明，其是原始图像720的已经经受裁剪、数据压缩和其他提取技术的部分。在一个实施例中，可以移除第一图像720的包括前向FOV中的车辆、越野部分和其他非行驶表面部分的部分以生成第二图像732。可以通过裁剪和缩放第一原始图像720来生成第二图像732，使得受关注区域仅包括紧接在车辆10前方(例如，在预定行驶距离内，例如距车辆10前部25英尺)的前向FOV中的行驶表面。这包括去除第一图像720的包括车辆、越野部分和其他非行驶表面部分的部分。
合成图像730描绘了车辆10前方的行驶表面70的视图。参考图2和图3描述的行驶表面识别过程100的图像分析步骤180可以有利地被执行以评估与合成图像730相关联的合成图像数据文件，以通过评估第一图像720'和第二图像732来实时确定行驶表面状态190。
在一个实施例中，原始图像720可以经受本文描述的图像分析过程150。如此，天空部分726提供环境照明的指示，其可以被集成到对应的道路图像表示中，这消除了对白天模型和夜间模型的需要，并且消除了对来自环境照明传感器的输入的需要。通过采用来自周围环境724的分析来进一步增强检测，例如能够基于周围环境中的雪的存在来检测道路上的雪的存在、识别湿润的道路状况、以及检测道路上的环境对象。另外，图像分析过程150可以基于包括手工制作的特征分析方法的图像处理，手工制作的特征分析方法可以包括手动提取特征，然后基于机器学习单独训练分类器。替代地，深度学习方法通过几层神经网络统一特征提取过程和分类步骤。在训练过程中，将学习神经网络的参数，然后将实时图像实时地馈送到经训练的神经网络。
由于天气状况，行驶表面70的即时外观可以在不同的视角处具有一定的均匀性。将各种FOV处的相机图像组合到车辆10周围的行驶表面70的一个视图中可以提供比可能受到诸如阴影和反射光的局部噪声的影响的来自单个相机的图像更完整的行驶表面70的透视图。此外，来自侧视和后视相机的FOV的图像可以提供除了仅从前视相机产生的特征之外的特征。如此，组合的图像提供了对整个道路状况环境的更完整的图片，其用于减轻从单个相机捕获的道路噪声(例如车辆阴影)。还有助于增强的图像分析结果，包括特征学习和特征分类，因为四个不相关的局部图像变得相关并且相关以便更好地进行特征学习。此外，组合的图像场景允许各个图像场景之间的上下文相关性，以改进特征学习和分类。合成图像分析可以简化数据处理和算法开发，因为数据标记和训练可以在一个过程而不是另外四个过程中完成，并且可以采用单个算法框架而不是采用开发另外的融合算法的另外四个算法。当在具有自主功能的车辆10的实施例上实施时，来自行驶表面识别过程100的结果可以由自主控制器65采用以自主地致动车辆制动以减轻车辆制动器上的冷凝物积聚。此外，来自行驶表面识别过程100的结果可以由自主控制器65采用，以自动地致动牵引力控制系统，以减轻车辆制动器上的冷凝物积聚。此外，来自行驶表面识别过程100的结果可以通过无线通信系统传送，以警告其他车辆表面状况。此外，来自行驶表面识别过程100的结果可以由自主控制器65和HMI设备60采用，以警告驾驶员车辆轮胎与行驶路面之间的牵引力可能降低，并警告车辆驾驶员不要使用自动功能例如巡航控制。
流程图中的框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，框图中的每个框可以表示模块、片段或代码的部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用功能硬件的系统或专用功能硬件和计算机指令的组合来实现。这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以引导计算机或其他可编程数据处理装置以特定方式起作用，使得存储在计算机可读介质中的指令产生包括指令装置的制品，该制品实现流程图和/或一个或多个框图框中指定的功能/动作。
详细描述和附图或图是对本教导的支持和描述，但是本教导的范围仅由权利要求限定。虽然已经详细描述了用于执行本教导的一些最佳模式和其他实施例，但是存在用于实践所附权利要求中限定的本教导的各种替代设计和实施例。

Claims (10)

1.一种用于评估车辆的行驶表面的方法，所述方法包括：
通过多个车载相机捕获与各个所述相机的多个视场(FOV)相关联的多个图像，其中，每个所述视场的至少一部分包括所述行驶表面；
识别所述图像的对应的受关注区域，其中，每个所述受关注区域与相应相机的视场(FOV)的包括所述行驶表面的部分相关联；
提取所述图像的部分，其中，相应图像的每个提取部分与相应相机的FOV的包括所述行驶表面的部分中的受关注区域相关联；
将图像的所述提取部分编译成合成图像数据文件；
通过控制器执行所述合成图像数据文件的图像分析；
基于所述合成图像数据文件的所述图像分析确定行驶表面状态；以及
将所述行驶表面状态传送给车载控制器。
2.根据权利要求1所述的方法，其中，所述合成图像数据文件包括合成图像，所述合成图像包括所述车辆周围的所述行驶表面。
3.根据权利要求2所述的方法，其中，包括所述车辆周围的所述行驶表面的所述合成图像包括与所述车辆的前方的行驶表面相关联的第一部分、与所述车辆的后方的行驶表面相关联的第二部分、与所述车辆的左侧的行驶表面相关联的第三部分、以及与所述车辆的右侧的行驶表面相关联的第四部分。
4.根据权利要求1所述的方法，其中，确定所述行驶表面状态包括确定干燥状态、湿润状态、结冰状态和积雪状态中的一个。
5.根据权利要求1所述的方法，其中，基于所述合成图像数据文件的所述图像分析确定所述行驶表面状态包括：
将所述合成图像数据文件的所述图像分析的结果与在路面图案数据库中捕获的多个表面状况进行比较；以及
基于所述图像分析的比较结果，通过所述控制器对所述行驶表面状态进行分类。
6.一种用于评估车辆的行驶表面的方法，所述方法包括：
通过车载相机捕获与所述相机的视场(FOV)相关联的图像，其中，所述FOV包括行驶表面和周围环境；
识别所述图像的多个受关注区域，其中，所述受关注区域与所述相机的所述FOV的包括所述行驶表面和所述车辆的前方的周围环境的部分相关联；
通过控制器执行所述图像的图像分析；
基于所述图像的所述图像分析确定行驶表面状态；以及
将所述行驶表面状态传送给车载控制器。
7.根据权利要求6所述的方法，还包括：
提取图像的部分，其中，所述图像的部分中之一与所述相机的FOV的包括所述行驶表面的部分中的受关注区域相关联，并且其中，所述图像的部分中之一包括所述周围环境；
将所述图像的提取部分编译成合成图像数据文件；
通过所述控制器执行所述合成图像数据文件的图像分析；以及
基于所述合成图像数据文件的所述图像分析确定行驶表面状态。
8.根据权利要求6所述的方法，其中，执行所述图像的所述图像分析包括采用深度学习分析来评估所述图像。
9.一种设置在行驶表面上的车辆，包括：
视觉系统，包括：
多个车载相机，被设置为监视所述车辆周围的对应的多个视场，
第一控制器，操作地连接到所述车载相机并与第二控制器通信，所述第一控制器包括第一指令集，所述第一指令集能够执行以：
通过所述车载相机捕获与相应相机的多个视场相关联的多个图像，其中，每个所述视场的至少一部分包括所述行驶表面；
识别所述图像的对应的受关注区域，其中，每个所述受关注区域与相应相机的视场(FOV)的包括所述行驶表面的部分相关联；
提取所述图像的部分，其中，相应图像的每个提取部分与所述相应相机的FOV的包括所述行驶表面的部分中的受关注区域相关联；
将所述图像的所述提取部分编译成合成图像数据文件；
执行所述合成图像数据文件的图像分析；
基于所述合成图像数据文件的所述图像分析确定行驶表面状态；以及
将所述行驶表面状态传送给所述第二控制器。
10.根据权利要求9所述的车辆，其中，所述第二控制器操作地连接到被配置为执行车辆功能的设备，所述第二控制器包括第二指令集，所述第二指令集能够执行以：
监视从所述第一控制器传送的所述行驶表面状态；以及
基于所述行驶表面状态控制所述被配置为执行车辆功能的设备。
CN201811496131.8A 2017-12-18 2018-12-07 用于评估车辆行驶表面的方法和设备 Active CN109941286B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/845381 2017-12-18
US15/845,381 US10558868B2 (en) 2017-12-18 2017-12-18 Method and apparatus for evaluating a vehicle travel surface

Publications (2)

Publication Number Publication Date
CN109941286A true CN109941286A (zh) 2019-06-28
CN109941286B CN109941286B (zh) 2022-11-25

Family

ID=66674665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496131.8A Active CN109941286B (zh) 2017-12-18 2018-12-07 用于评估车辆行驶表面的方法和设备

Country Status (3)

Country Link
US (1) US10558868B2 (zh)
CN (1) CN109941286B (zh)
DE (1) DE102018132525A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822348A (zh) * 2019-11-18 2021-05-18 通用汽车环球科技运作有限责任公司 交通工具机载成像系统
US20210194674A1 (en) * 2017-12-28 2021-06-24 Intel Corporation Context-aware image compression
CN113119977A (zh) * 2020-01-15 2021-07-16 通用汽车环球科技运作有限责任公司 用于评估车辆行驶表面的方法和设备
CN113343746A (zh) * 2020-03-03 2021-09-03 通用汽车环球科技运作有限责任公司 用于车辆行驶表面上的车道检测的方法和设备
CN114454889A (zh) * 2022-04-14 2022-05-10 新石器慧通（北京）科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车
US20220309776A1 (en) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Method and system for determining ground level using an artificial neural network

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US10678255B2 (en) * 2018-02-14 2020-06-09 GM Global Technology Operations LLC Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis
US10632913B2 (en) * 2018-04-13 2020-04-28 GM Global Technology Operations LLC Vehicle behavior using information from other vehicles lights
DE102018207923A1 (de) * 2018-05-18 2019-11-21 Robert Bosch Gmbh Verbessertes Training eines Klassifikators
US10872419B2 (en) * 2018-09-04 2020-12-22 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US11100680B2 (en) * 2018-11-08 2021-08-24 Toyota Jidosha Kabushiki Kaisha AR/VR/MR ride sharing assistant
US11157765B2 (en) * 2018-11-21 2021-10-26 Samsung Electronics Co., Ltd. Method and system for determining physical characteristics of objects
JP7150593B2 (ja) * 2018-12-26 2022-10-11 株式会社クボタ 作業車両
KR102297683B1 (ko) * 2019-07-01 2021-09-07 (주)베이다스 복수의 카메라들을 캘리브레이션하는 방법 및 장치
JP7264028B2 (ja) * 2019-12-05 2023-04-25 トヨタ自動車株式会社 情報提供システム、情報提供方法、情報端末及び情報表示方法
EP4148683A1 (de) * 2021-09-10 2023-03-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Eine vorrichtung und ein verfahren zum erkennen eines zustands einer fahrbahnoberfläche
US20240166192A1 (en) * 2022-11-21 2024-05-23 GM Global Technology Operations LLC Machine learning-based tractive limit and wheel stability status estimation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102292249A (zh) * 2009-01-23 2011-12-21 戴姆勒股份公司 用于获得处于车辆前方的行车道的道路轮廓的方法
US20120134576A1 (en) * 2010-11-26 2012-05-31 Sharma Avinash Automatic recognition of images
US20120147187A1 (en) * 2010-12-08 2012-06-14 Xue Li Vehicle detection device and vehicle detection method
US20130325323A1 (en) * 1998-10-22 2013-12-05 American Vehicular Sciences Vehicle software upgrade techniques
US20150049193A1 (en) * 2011-04-25 2015-02-19 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2016131018A1 (en) * 2015-02-12 2016-08-18 Glowforge Inc. Visual preview for laser fabrication
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101925916B (zh) * 2007-11-21 2013-06-19 高通股份有限公司 基于媒体偏好控制电子设备的方法和系统
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
US9429425B2 (en) * 2013-03-05 2016-08-30 Here Global B.V. Aerial image collection
US10509390B2 (en) * 2015-02-12 2019-12-17 Glowforge Inc. Safety and reliability guarantees for laser fabrication
US10331125B2 (en) * 2017-06-06 2019-06-25 Ford Global Technologies, Llc Determination of vehicle view based on relative location

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130325323A1 (en) * 1998-10-22 2013-12-05 American Vehicular Sciences Vehicle software upgrade techniques
CN102292249A (zh) * 2009-01-23 2011-12-21 戴姆勒股份公司 用于获得处于车辆前方的行车道的道路轮廓的方法
US20120134576A1 (en) * 2010-11-26 2012-05-31 Sharma Avinash Automatic recognition of images
US20120147187A1 (en) * 2010-12-08 2012-06-14 Xue Li Vehicle detection device and vehicle detection method
US20150049193A1 (en) * 2011-04-25 2015-02-19 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
WO2016131018A1 (en) * 2015-02-12 2016-08-18 Glowforge Inc. Visual preview for laser fabrication
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210194674A1 (en) * 2017-12-28 2021-06-24 Intel Corporation Context-aware image compression
US11531850B2 (en) * 2017-12-28 2022-12-20 Intel Corporation Context-aware image compression
CN112822348A (zh) * 2019-11-18 2021-05-18 通用汽车环球科技运作有限责任公司 交通工具机载成像系统
CN112822348B (zh) * 2019-11-18 2022-07-08 通用汽车环球科技运作有限责任公司 交通工具机载成像系统
CN113119977A (zh) * 2020-01-15 2021-07-16 通用汽车环球科技运作有限责任公司 用于评估车辆行驶表面的方法和设备
CN113343746A (zh) * 2020-03-03 2021-09-03 通用汽车环球科技运作有限责任公司 用于车辆行驶表面上的车道检测的方法和设备
CN113343746B (zh) * 2020-03-03 2024-04-16 通用汽车环球科技运作有限责任公司 用于车辆行驶表面上的车道检测的方法和设备
US20220309776A1 (en) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Method and system for determining ground level using an artificial neural network
CN114454889A (zh) * 2022-04-14 2022-05-10 新石器慧通（北京）科技有限公司 用于远程驾驶的行驶路面状况反馈方法、装置和无人车

Also Published As

Publication number Publication date
CN109941286B (zh) 2022-11-25
US10558868B2 (en) 2020-02-11
DE102018132525A1 (de) 2019-06-19
US20190188495A1 (en) 2019-06-20

Similar Documents

Publication Publication Date Title
CN109941286A (zh) 用于评估车辆行驶表面的方法和设备
US11341667B2 (en) Camera systems using filters and exposure times to detect flickering illuminated objects
CN106448260B (zh) 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
US10872419B2 (en) Method and apparatus for evaluating a vehicle travel surface
JP2017109740A (ja) 乗物の制御システムと制御方法
DE102018120786A1 (de) Verfahren und Vorrichtung zum Überwachen eines autonomen Fahrzeugs
EP2759999A1 (en) Apparatus for monitoring surroundings of vehicle
CN108960035A (zh) 使用场景检测模式在感知场景图中分类对象的方法和系统
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
US20110157184A1 (en) Image data visualization
CN108944919B (zh) 为机动车辆生成具有聚焦区的感知场景图的方法和系统
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
CN111386563B (zh) 教师数据生成装置
EP3407249A2 (en) A method and system for generating and using a perception scene graph in motor vehicle applications
US12017587B2 (en) Vehicle driving and monitoring system, vehicle including the vehicle driving and monitoring system, method for maintaining a situational awareness at a sufficient level, and computer readable medium for implementing the method
CN108958908A (zh) 用于对感知系统的传感器进行优先排序的方法和系统
DE102018220791A1 (de) Verfahren und Fahrzeug zum Reagieren auf ein Objekt im Fahrzeugumfeld
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
KR101752798B1 (ko) 차량 및 그 제어방법
CN115016453A (zh) 一种智能网联无人车驾驶系统
DE112018005039T5 (de) Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und mobiler körper
Bertozzi et al. Development and test of an intelligent vehicle prototype
WO2022214330A1 (de) Verfahren und optisches ausgabesystem für ein fahrzeug zur optischen ausgabe eines merkmals eines in einem fahrzeugumfeld befindlichen zu erfassenden fahrzeugs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant