CN110874559A - 用于评估车辆行驶表面的方法及设备 - Google Patents

用于评估车辆行驶表面的方法及设备 Download PDF

Info

Publication number
CN110874559A
CN110874559A CN201910498453.4A CN201910498453A CN110874559A CN 110874559 A CN110874559 A CN 110874559A CN 201910498453 A CN201910498453 A CN 201910498453A CN 110874559 A CN110874559 A CN 110874559A
Authority
CN
China
Prior art keywords
regions
vehicle
driving surface
image features
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910498453.4A
Other languages
English (en)
Inventor
赵庆荣
M·哈利利
B·B·利特库西
金京福
王劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110874559A publication Critical patent/CN110874559A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/55—External transmission of data to or from the vehicle using telemetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种车辆子系统包括车载相机，所述车载相机被设置成监控包括用于所述车辆的行驶表面的视野(FOV)。控制器经由所述车载相机捕获与所述FOV相关联的图像文件，并将所述图像文件分割成与所述行驶表面相关联的第一组区域和与地平线以上部分相关联的第二组区域。提取所述第一组区域和所述第二组区域中的每一者上的图像特征并对所述图像特征进行分类。基于经分类的来自所述第一组区域和所述第二组区域中的每一者的提取图像特征来识别用于所述车辆的所述行驶表面的表面状况。基于所述识别的表面状况来控制所述车辆的操作。

Description

用于评估车辆行驶表面的方法及设备
背景技术
车辆控制系统可以受益于与行驶表面的状况有关的信息。行驶表面的不同状况可能影响轮胎与行驶表面之间的摩擦系数。作为示例，干燥路面条件提供高摩擦系数，而积雪和结冰道路条件提供较低的摩擦系数。期望车辆能够确定行驶表面的当前状况，其中行驶表面可能为结冰、潮湿、干燥、积雪等，其中行驶表面状况用作控制一个或多个系统的输入(诸如制动、转弯和加速)。另外，行驶路面状况可以用在行驶路径规划程序中，无论是车载还是车外。
由于环境光照明和环境照明条件的变化，使用相机难以准确地且重复地辨别行驶表面细节，因为此类变化影响行驶表面图像的外观。在不同照明条件下行驶表面图像的变化可能干扰特定路面状况的准确检测。
发明内容
描述了一种车辆子系统，所述车辆子系统包括车载相机，所述车载相机被设置成监控包括用于所述车辆的行驶表面的视野(FOV)。控制器与所述车载相机通信并且包括可执行以进行以下操作的指令集：经由所述车载相机捕获与所述FOV相关联的图像文件，并将所述图像文件分割成与所述行驶表面相关联的第一组区域和与地平线以上部分相关联的第二组区域。提取所述第一组区域和所述第二组区域中的每一者上的图像特征并对所述图像特征进行分类。基于经分类的来自所述第一组区域和所述第二组区域中的每一者的提取图像特征来识别用于所述车辆的所述行驶表面的表面状况。基于所述识别的表面状况来控制所述车辆的操作。
本发明的一方面包括可执行以进行以下操作的指令集：将来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征与分类器数据库的内容进行比较。
本发明的另一方面包括分类器数据库的内容，其包括多个编译的特征集和相应的行驶表面状况。
本发明的另一方面包括所述多个编译的特征集中的每一者是来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征，其已经针对所述行驶表面状况中的预定行驶表面状况进行了预定。
本发明的另一方面包括所述图像文件是多个像素，其中所述图像特征包括与所述像素中的每一者相关联的红绿蓝图像特征。
本发明的另一方面包括可执行以进行以下操作的指令集：经由所述车载相机动态地捕获与所述FOV相关联的所述图像文件。
本发明的另一方面包括可执行以进行以下操作的指令集：评估环境光照明的幅度，并基于来自所述第一组区域和所述第二组区域的所述经分类提取图像特征以及所述环境光照明的幅度来识别所述车辆的所述行驶表面状况。
本发明的另一方面包括所述车载相机是单个车载相机。
本发明的另一方面包括可执行以进行以下操作的指令集：采用夜间特征提取程序从所述第一组区域和所述第二组区域中的每一者中提取第一组图像特征，采用日间特征提取程序从所述第一组区域和所述第二组区域中的每一者中提取第二组图像特征，并置所述提取的第一和第二组图像特征以生成第三组提取图像特征：并且对来自所述第一组区域和所述第二组区域中的每一者的所述第三组提取图像特征进行分类。
本发明的另一方面包括一种用于经由与控制器通信的相机监控包括行驶表面的视野(FOV)的方法。所述方法包括经由所述相机捕获与所述FOV相关联的图像文件并将所述图像文件传送到所述控制器。所述方法还包括将所述图像文件分割成与所述行驶表面相关联的第一组区域和与地平线以上部分相关联的第二组区域，在所述第一组区域和所述第二组区域中的每一者上提取图像特征，对来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征进行分类，基于来自所述第一组区域和所述第二组区域的所述经分类提取图像特征来识别所述行驶表面的表面状况，其中所述表面状况包括干态、湿态、冰态和积雪状态中的一种；以及将所述行驶表面的所述识别的表面状况传送到基础设施监控装置。
上述特征和优点以及本教导的其他特征和优点从某些最佳模式的以下详述和用于执行如随附权利要求中限定、结合附图取得的本教导的其他实施例将容易地显而易见。
附图说明
现在将参考附图以举例方式描述一个或多个实施例，其中：
图1示意性地示出了根据本发明的包括车载视觉系统的车辆的侧视图，其中车辆设置在行驶表面上：
图2示意性地示出了根据本发明的夜间行驶表面状况检测过程，其用于动态地评估由相机捕获的图像文件以检测车辆在夜间的一系列环境照明条件下的行驶表面状况；
图3-1以图形方式描绘了根据本发明的已经由关于图1描述的车辆的相机捕获的示例性预处理图像文件；
图3-2以图形方式描绘了根据本发明的参考图3-1所示的预处理图像文件，其已被分割为上部区域和下部区域，其中分界线由地平线限定；
图3-3以图形方式描绘了根据本发明的参考图3-1所示的预处理图像文件，其已被分割为上部区域和下部区域，其中第一分界线由地平线限定，并且进一步被居中设置的垂直分界线分割为左区域和右区域；
图3-4以图形方式描绘了根据本发明的参考图3-1所示的预处理图像文件，其已被分割为上部区域和下部区域，其中第一分界线由地平线限定，并且进一步被两条垂直分界线分割为左区域、中心区域和右区域；
图4-1至图4-6描绘了根据本发明的在夜间在各种照明源和各种行驶表面状况下的不同行驶表面的图像文件；
图5示意性地示出了根据本发明的行驶表面状况检测过程，其用于动态地评估由相机捕获的图像文件以检测车辆的行驶表面状况以检测在一系列环境光照明条件和环境照明条件下的行驶表面状况，所述照明条件包括日间、黄昏、夜间和黎明；并且
图6示意性地示出了根据本发明的行驶表面状况检测过程的另一个实施例，所述行驶表面状况检测过程可以经由参考图1描述的车辆上的视觉系统采用来自环境光传感器和环境光照明的其他指示器的照度级来执行。
应当理解，附图不一定按比例绘制，并且呈现如本文所公开的本发明的各种优选特征的略微简化的表示，所述优选特征包括例如具体尺寸、定向、位置和形状。与此类特征相关联的细节将部分地由特定的预期应用和使用环境来确定。
具体实施方式
如本文所描述和说明的所公开的实施例的部件可以各种不同的配置来布置和设计。因此，以下详细描述并不旨在限制如所要求保护的本发明的范围，而是仅仅表示其可能的实施例。另外，虽然在以下描述中阐述了许多具体细节以提供对本文所公开的实施例的透彻理解，但是在没有一些这样的细节的情况下可实践某些实施例。另外，为了清楚起见，在现有技术中已知的某些技术材料没有详细描述，以避免不必要地使本发明变得混淆。此外，附图是以简化形式呈现并且没有按精确比例绘制。仅为了方便和清楚起见，可以对附图使用诸如顶部、底部、左侧、右侧、向上、上方、上面、下面、下方、后面和前面的方向术语。这些以及类似的方向术语不应被解释为限制本发明的范围。另外，如本文所说明和描述的本发明可以在没有在本文没有具体公开的元件的情况下实践。
术语'模型'是指基于处理器或处理器可执行代码以及模拟装置或物理过程的物理存在的相关刻度。如本文所使用，术语‘动态的'和‘动态地'以及相关术语描述了实时执行并且以监控或以其他方式确定参数的状态和在程序的执行期间或程序执行的迭代之间规则地或定期地更新参数的状态为特征的步骤或程序。术语“校准(calibration)”、“校准(calibrate)”和相关术语是指将与装置相关联的实际或标准测量值与感知到的或观察到的测量值或命令位置进行比较的结果或过程。如本文所述的校准可以被精简至可存储的参数表、多个可执行方程或另一种合适的形式。参数被定义为表示使用一个或多个传感器和/或物理模型可辨别的装置或其他元件的物理性质的可测量。参数可以具有离散值，例如“1”或“0”，或它的值可无限可变地变化。
参考附图，其中相同的附图标记在全部几个附图中对应于相同或类似的部件，与本文公开的实施例一致，图1示意性地示出了包括车载视觉系统20的车辆10的侧视图，其中车辆10设置在行驶表面70(诸如铺砌的路面)上并且能够横穿所述行驶表面。车辆10包括车载视觉系统20、车辆控制器50、人/机界面(HMI)装置60，并且在一个实施例中包括自主控制器65和远程信息处理控制器75。车辆10可以包括环境光传感器25，其被设置成使得它能够感测入射到车辆10的环境光的照度。车辆10可以包括但不限于商用车辆、工业车辆、农用车辆、乘用车辆、飞机、船只、火车、全地形车辆、个人移动设备、机器人等形式的移动平台以完成本发明的目的。
环境光和环境光照明条件是指源自太阳的自然光照条件。环境光照明条件根据太阳的位置和云量的存在与否等而变化，并且包括诸如夜间、黎明、黄昏和日间等时间段。环境照明条件是指由车灯和诸如路灯、建筑物等固定装置产生的照明(lighting/illumination)。例如，行驶表面状况包括干燥表面、湿润表面、积雪表面、冰面等。
视觉系统20由与相机控制器40通信的一个或多个图像检测器(相机)(包括相机21)组成。相机21有利地安装并定位在车辆10上的允许捕获视野(FOV)的图像的位置中，其中FOV的至少一部分包括车辆10前方的行驶表面70的一部分。FOV还可以包括周围环境，包括例如车辆交通、路边物体和其他特征、天空和地平线。天空和地平线可以提供环境光照明的指示。
相机控制器40有利地被部署用于通过动态地捕获和分析来自相机21的图像文件来评估车辆10的行驶表面70，所述图像文件包括行驶表面70的一些部分并且还捕获诸如可以通过天空的图像提供的环境光照明。图像文件与相机21的FOV相关联，其中多个FOV中的每一者的至少一部分包括行驶表面70的一些部分。
如所示，相机21可以设置在车辆10的前部以监控位于车辆10前方的FOV 32，因此捕获包括行驶车道和车辆10前方的即将到来的交通的图像。还可以采用其他相机(未示出)，包括例如设置在车辆10的后部上的第二相机以监控车辆10后方的FOV，因此捕获包括行驶车道和车辆10后面的交通的图像。另一个相机可以设置在车辆10的侧部上以监控位于车辆10的右侧或左侧中的一侧的FOV，因此捕获包括车辆10的一个侧视图的图像。其他相机可以设置在车辆10上的其他地方，并且一个或多个相机可以被配置为监控采用诸如鱼眼镜头等镜头配置或采用旋转或枢转布置的多个FOV。如所明白的，设置在车辆上以监控前向、后向和侧向FOV的相机的数量是可选择的，其中所述相机中的信息可以用于监控FOV 32。替代地，相机21可以设置在静止的固定装置上，诸如在私人财产上，例如，在私人住宅的车库上，或在公共设施上，诸如在灯杆、交通信号灯上或在公共建筑物的外表面上，并且视觉系统20可以被设置成将从由相机21捕获的图像中提取的信息传送到基础设施监视器，例如交通相机。
视觉系统20可以由与相机控制器40通信的相机21组成。相机21的FOV 32包括行驶表面、周围环境(包括例如车辆交通、路边物体和其他特征)以及天空。相机21包括镜头和图像采集传感器，所述图像采集传感器能够捕获、处理并以电子行驶存储相关FOV的图像文件，并将图像文件传送到相机控制器40以进行存储和分析。相机21的镜头可以被配置为包括诸如针孔镜头、鱼眼镜头、立体镜头、远摄镜头等特征。图像采集传感器可以包括红外检测器等。
相机21以所需速率(例如，每秒30个图像文件)周期性地捕获与FOV32相关联的图像文件23。每个图像文件23都是以相机21的原始分辨率捕获的FOV 32的数字表示。在一个实施例中，图像文件23是24比特图像的形式，包括RGB(红-绿-蓝)可见光谱值和表示FOV 32的深度值。图像文件23的其他实施例可以无限制地包括描绘FOV 32的黑白或灰度可见光谱表示、FOV 32的红外光谱表示或其他图像表示的某种分辨率水平的2D或3D图像。在一个实施例中，可以针对与亮度和/或照度相关的参数评估多个图像文件23的图像表示。替代地，可以基于RGB颜色分量、亮度、纹理、轮廓或其组合来评估图像表示。图像采集传感器与编码器通信，所述编码器对每个图像文件执行数字信号处理(DSP)。相机21的图像采集传感器可以被配置为以标称的标准清晰度分辨率(例如，640×480像素)捕获图像。替代地，相机21的图像采集传感器可以被配置为以标称的高清晰度分辨率(例如，1440×1024像素)或以另一种合适的分辨率捕获图像。相机21的图像采集传感器可以按预定图像捕获速率捕获静止图像，或者替代地地捕获数字视频图像。图像文件23作为编码的数据文件被传送到相机控制器40，所述编码数据文件在一个实施例中存储在非暂时性数字数据存储介质中以用于车载或车外分析。
在一个实施例中，车辆10可以配备有自主控制器65，其实施自主车辆功能性。自主控制器65被配置为实现自主车辆操作。自主车辆功能性可以包括能够提供一定程度的驾驶自动化的车载控制系统。术语‘驾驶员’和‘操作员’描述负责指导车辆10的操作的人员，无论是主动地参与控制一个或多个车辆功能还是指导自主车辆操作。驾驶自动化可以包括一系列动态驾驶和车辆操作。驾驶自动化可以包括与单个车辆功能(诸如转向、加速和/或制动)相关的某种程度的自动控制或干预，其中驾驶员持续地对车辆10进行整体控制。驾驶自动化可以包括与多个车辆功能(诸如转向、加速和/或制动)的同时控制相关的某种程度的自动控制或干预，其中驾驶员持续地对车辆10进行整体控制。驾驶自动化可以包括同时自动控制包括转向、加速和制动的车辆驾驶功能，其中驾驶员在行程期间的一段时间放弃对车辆的控制。驾驶自动化可以包括同时自动控制包括转向、加速和制动的车辆驾驶功能，其中驾驶员在整个行程中放弃对车辆10的控制。驾驶自动化包括硬件和控制器，其被配置为在各种驾驶模式下监控空间环境以在动态车辆操作期间执行各种驾驶任务。作为非限制性示例，驾驶自动化可以包括巡航控制、自适应巡航控制、变道警告、干预和控制、自动停车、加速、制动等。作为非限制性示例，自主车辆功能包括自适应巡航控制(ACC)操作、车道引导和车道保持操作、变道操作、转向辅助操作、物体规避操作、停车辅助操作、车辆制动操作、车速和加速操作、例如作为车道引导、车道保持和变道操作的一部分的车辆横向运动操作等。因而，制动命令可以由自主控制器65独立于车辆操作员的动作并响应自主控制功能而生成。
操作员控件可以包括在车辆10的乘客舱中，并且作为非限制性示例，可以包括方向盘、加速踏板、制动踏板和作为HMI装置60的元件的操作员输入装置。操作员控件使车辆操作员能够与正运作的车辆10交互并直接操作所述车辆以提供乘客运输。在车辆10的一些实施例中，可以省略包括方向盘、加速踏板、制动踏板、变速器挡位选择器等操作员控件。
HMI装置60提供人/机交互以便引导信息娱乐系统、全球位置传感器(GPS)52、导航系统等的操作，并且包括控制器。HMI装置60监控操作员请求并向操作员提供信息，所述信息包括车辆系统的状态、服务和维护信息。HMI装置60与多个操作员界面装置通信和/或控制多个操作员界面装置的操作，其中操作员界面装置能够传输与自主车辆控制系统中的一者的操作相关联的消息。HMI装置60还可以与监控与车辆操作员相关联的生物识别数据的一个或多个装置通信，所述生物识别数据包括例如眼睛注视位置、姿势和头部位置跟踪等。为了便于描述，HMI装置60被描绘为单一装置，但是在本文描述的系统的实施例中可以被配置为多个控制器和相关感测装置。操作员界面装置可以包括能够传输促使操作员动作的消息的装置，并且可以包括电子可视显示模块，例如液晶显示器(LCD)装置、抬头显示器(HUD)、音频反馈装置、可穿戴装置和触觉座椅。能够促使操作员动作的操作员界面装置优选地由或通过HMI装置60控制。HUD可以在操作员的视野中投射反射到车辆挡风玻璃内侧的信息，所述信息包括传输与操作自主车辆控制系统中的一者相关联的置信水平。HUD还可以提供增强现实信息，诸如车道位置、车辆路径、方向和/或导航信息等。
车辆10可以包括远程信息处理控制器75，其包括能够进行车外通信(包括与具有无线和有线通信能力的通信网络90通信)的无线远程信息处理通信系统。远程信息处理控制器75能够进行车辆外通信，其包括短程车辆对车辆(V2V)通信和/或车辆对基础设施(V2x)通信，所述车辆对基础设施通信可以包括与基础设施监视器(例如，交通相机)的通信。替代地或另外，远程信息处理控制器75具有能够与手持装置(例如，蜂窝电话、卫星电话或另一种电话装置)进行短程无线通信的无线远程信息处理通信系统。在一个实施例中，手持装置装载有软件应用程序，所述软件应用程序包括与远程信息处理控制器75通信的无线协议，并且所述手持装置执行车外通信，其包括经由通信网络90与车外控制器95通信。替代地或另外，远程信息处理控制器75通过经由通信网络90与车外控制器95通信来直接执行车外通信。
术语“控制器”和诸如控制模块、模块、控制、控制单元、处理器等相关术语和类似术语是指专用集成电路(ASIC)、电子电路、中央处理单元(例如，微处理器)以及呈存储器和存储装置(只读、可编程只读、随机存取、硬盘等)的形式的相关非暂时性存储器部件的一个或各种组合。非暂时性存储器部件能够存储呈一个或多个软件或固件程序或程序的形式的机器可读指令，是组合逻辑电路、输入/输出电路和装置、信号调节和缓冲电路，以及可由提供所描述功能性的一个或多个处理器存取的其他部件。输入/输出电路和装置包括模拟/数字转换器以及监控来自传感器的输入的相关装置，其中此类输入以预设采样频率或响应于触发事件而监控。软件、固件、程序、指令、控制程序、代码、算法和类似术语意味着包括刻度和查找表的任何控制器可执行指令集。每个控制器执行控制程序以提供期望功能。程序可以规则的间隔而执行，例如正进行的操作期间每100微秒执行一次。替代地，程序可以响应于触发事件的发生而执行。控制器之间的通信和控制器、致动器和/或传感器之间的通信可以使用直接有线点对点链路、联网通信总线链路、无线链路或另一种合适的通信链路而实现。通信包括以合适形式交换数据信号，包括(例如)经由导电介质交换电信号、经由空气交换电磁信号、经由光学波导交换光学信号等。数据信号可包括表示来自传感器的输入的离散、模拟或数字化模拟信号、致动器命令和控制器之间的通信。术语“信号”是指传达信息的任何物理上可辨别指示器，并且可为能够行进通过介质的合适波形(例如，电、光学、磁性、机械或电磁)，诸如DC、AC、正弦波、三角波、方形、振动等。
图2示意性地示出了夜间行驶表面状况检测过程100，其可作为车辆控制器50和/或相机控制器40中的一个或多个控制程序执行，以动态地评估由相机21捕获的多个图像文件23以检测车辆10在夜间的一系列环境照明条件下的行驶表面状况。
夜间行驶表面状况检测过程100主动监控环境照明源及其表面投射图案和效果并将它们结合到图像分析过程中以识别行驶表面状况，所述行驶表面状况可以被传送到车辆操作员或自主控制器65以根据其实现自主车辆操作。夜间行驶表面状况检测过程100包括动态执行的行驶表面状况检测程序110和可以离线执行的训练程序160。
训练程序160被配置为评估包含在训练数据集155中的图像文件，并且包括预处理165、感兴趣区域(ROI)提取170、特征提取180、特征编译190和分类器训练195的步骤。
训练数据集155包括多个图像文件，其描绘具有暴露于各种环境照明条件的各种行驶表面状况的行驶表面，其可以在由视觉系统20的实施例的FOV中捕获，所述视觉系统由与如参考图1所述的相机控制器40通信的相机21组成。作为示例，行驶表面可以包括基于沥青的表面、基于混凝土的表面、砾石表面、复合表面等。作为示例，行驶表面状况有利地包括干燥表面、湿润表面、积雪表面、冰面等。作为示例，环境照明条件包括仅前照灯照明、与多个路灯组合的前照灯照明、与多个路灯组合的前照灯照明以及具有一系列照度的一系列店面和广告照明灯具。环境照明条件可以通过它们的组合照度来表征。训练数据集155的每个图像文件经历预处理步骤165，其包括噪声滤波、缩小尺寸、裁剪、图像重新投射以及用于压缩图像文件数据以进行进一步处理的其他步骤。预处理后图像文件经历ROI提取步骤170，其包括分割预处理后图像文件。
图3-1以图形方式描绘了在视觉系统20的实施例的FOV中捕获的示例性预处理后图像文件310，所述视觉系统由与参考图1描述的车辆10的相机控制器40通信的相机21组成。示例性预处理后图像文件310描绘了行驶表面。图3-2、3-3和3-4以图形方式描绘了ROI提取步骤170分割参考图3-1所示的示例性预处理后图像文件310的结果。如所示，预处理后图像文件310中示出的FOV包括湿润路面，所述湿润路面包括从路灯、即将到来的车辆和商业店面建筑物发出的环境光。示例性预处理后图像文件310以未分割状态示出，即，在ROI提取步骤170之前或无ROI提取步骤。图3-2以图形方式描绘了已经被分割为上部区域322和下部区域324的示例性预处理后图像文件310，其中分界线325由地平线限定。因而，上部区域322包含表示地平线上方的预处理后图像文件310的部分，而下部区域包含表示行驶表面的预处理后图像文件310的部分。
图3-3以图形方式描绘了已经被分割为上部区域和下部区域的预处理后图像文件310的示例，其中第一分界线335由地平线和居中设置的第二条垂直分界线331限定。在ROI提取步骤170的该实施例中，上部区域和下部区域被划分为左部分和右部分，从而产生左上区域332、右上区域334、左下区域336和右下区域338。因而，左上区域332和右上区域334包含表示在地平线上方的预处理后图像文件310的部分，而左下区域336和右下区域338包含表示行驶表面的预处理后图像文件310的部分。
图3-4以图形方式描绘了已经被分割为上部区域和下部区域的预处理后图像文件310的示例，其中第一分界线345由分别地平线以及两条垂直分界线341和346限定。在ROI提取步骤170的该施例中，上部区域和下部区域被划分为左部分、中心部分和右部分，从而产生左上区域342、上中心区域343和右上区域344、左下区域347、下中心区域348和右下区域349。因而，左上区域342、中心区域343和右区域344包含表示在地平线上方的预处理后图像文件310的部分，而左下区域347、中心区域348和右区域349包含表示行驶表面的预处理后图像文件310的部分。
再次参考图2，特征提取步骤180包括第一步骤182以提取与环境光(即，从地平线上方的来源发出的光)相关联的特征，诸如在参考图3-1至3-4限定的上部区域中描绘的。环境光从路灯和其他固定装置以及即将到来的车辆的前照灯发出。特征提取步骤180还包括第二步骤184以提取与环境光投射到行驶表面上相关联的特征，诸如在参考图3-1至3-4限定的下部区域中描绘的。特征提取180的第一步骤182有利地评估上部区域中的至少一者以确定环境照明。特征提取180的第二步骤184有利地评估下部区域中的至少一者以确定行驶表面状况。
特征提取步骤180包括对每个区域中的光强进行逐像素评估。当图像文件23是包括RGB(红-绿-蓝)可见光谱值和表示相关FOV的深度值的24位图像的形式时，每个像素具有与红色、绿色和蓝色相关联的值，并且可以根据红色、绿色和蓝色区域中的每一者中的强度之和来限定特征。替代地，图像文件23可以由具有另一组光和深度值(包括例如灰度、黑白、红外、紫外等)的像素组成。
当每个像素具有与红色、绿色和蓝色相关联的值时，可以根据红色、绿色和蓝色区域中的每一者中的强度之和来限定特征，所述特征可以由以下方程1至6表示。参考图3-2，特征提取可以包括根据以下方程1至3对来自与上部区域相关联(即，与地平线上方的环境光相关联)的像素的信息进行编译：
Figure BDA0002089394380000121
Figure BDA0002089394380000122
Figure BDA0002089394380000123
其中
Ir表示红色光谱中的像素强度的幅度，
Ig表示绿色光谱中的像素强度的幅度，
Ib表示蓝色光谱中的像素强度的幅度，
x表示ROI中的x轴像素位置，
y表示ROI中的y轴像素位置，并且
α是与基于训练数据分析确定的阈值强度相关联的标量值。
特征提取可以包括根据以下方程4至6对来自与下部区域相关联(即，与环境光投射到行驶表面上相关联)的像素的信息进行编译：
Figure BDA0002089394380000124
Figure BDA0002089394380000131
Figure BDA0002089394380000132
在一个实施例中，仅使用大于阈值强度的那些像素值来计算特征。作为非限制性示例，仅可以使用大于阈值强度50％的那些像素值来计算特征，并且小于阈值强度50％的那些像素值在计算特征中忽略。替代地，仅可以使用大于阈值强度25％的那些像素值来计算特征。替代地，仅可以使用大于另一个阈值强度的那些像素值来计算特征，其中基于使用中测试和/或评估来选择和校准阈值强度。
在特征编辑步骤190中采用来自特征提取步骤180的提取特征，所述特征编辑步骤将特定图像文件的所有上部区域和下部区域的所有特征编译成特征集。将用于图像文件的所有上部区域和下部区域的编译特征集作为输入提供给分类器训练步骤195，其将特定图像文件的编译特征集与具有暴露在特定环境照明条件下的特定行驶表面状况的相关行驶表面关联。分类器训练步骤195为训练数据集155的每个图像文件开发编译特征集。分类器数据库200由训练程序160生成，并且包括编译特征集以及相应的行驶表面状况和环境照明条件。训练程序160可以离线执行，其中分类器数据库200存储在车辆10中的控制器40中的存储器装置中，或者替代地存储在诸如车外控制器95等远程站点的存储器装置中。分类器数据库200可以由行驶表面状况检测程序110询问。
作为示例，当行驶表面状况是湿润表面时，前照灯将在行驶表面上被反射回来，并且其他环境照明将以相同颜色垂直投射到行驶表面上。因此，由可以由方程1、2和3确定的特征指示的下部区域的强度之和将与如由方程4、5和6确定的特征指示的相应上部区域的强度之和紧密关联。
作为示例，当行驶表面状况是雪面时，前照灯将在行驶表面上经历次表面散射，使得行驶表面非常明亮。因此，由可以由方程1、2和3确定的特征指示的下部区域的强度之和将显著地大于与如由方程4、5和6确定的特征指示的相应上部区域的强度之和。
作为示例，当行驶表面状况是干燥表面时，由于光漫射，仅包括车辆前照灯的光照条件将散射在行驶表面上。因而，由可以由方程1、2和3确定的特征指示的下部区域的强度之和将在与湿润表面和雪面相关联的针对如由方程4、5和6确定的特征指示的相应上部区域的那些强度的中间。
再次参考图2，夜间行驶表面状况检测过程100包括采用预处理115、感兴趣区域(ROI)提取120、夜间特征提取130、特征编译140和分类145的步骤处理实时捕获的图像文件23。行驶表面状况检测程序110的结果包括动态检测和识别可以与图像文件23相关联的行驶表面状况150。行驶表面状况150有利地传送到车辆控制器50和/或自主控制器65。预处理115、ROI提取120、夜间特征提取130和特征编译140的步骤类似于由训练程序160执行的预处理165、感兴趣区域(ROI)提取170、特征提取180和特征编译190的相应步骤。上述步骤115、120、130和140实时执行以动态评估图像文件23以检测和识别行驶表面状况150。
夜间特征提取130包括采用方程1、2和3提取与环境光相关联的特征的第一步骤132。环境光从路灯和其他固定装置以及即将到来的车辆发出。特征提取步骤180还包括第二步骤184以采用方程4、5和6提取与环境光投射到行驶表面上相关联的特征。
分类步骤145涉及执行特征编译步骤140的输出与分类器数据库200的内容之间的比较以动态地确定行驶表面状况150。特征编译步骤140的输出与分类器数据库200的内容之间的比较涉及识别包含在分类器数据库200中的哪个编译特征集最接近特征编译步骤140的输出，并基于此识别相应的行驶表面状况和环境照明条件。作为非限制性示例，行驶表面状况150可以是干态、湿态、冰态或积雪状态。行驶表面状况150可以被传送到车辆控制器50，所述车辆控制器可以在与加速、制动和转弯相关的车辆动态控制(包括与自适应巡航控制系统相关的控制)中采用行驶表面状况150。行驶表面状况150还可以经由HMI装置60传送给车辆操作员。行驶表面状况还可以被传送到远程信息处理控制器75以用于短程车辆对车辆(V2V)通信、与智能公路系统的通信，或与另一个车辆外系统的通信。
图4-1至图4-6以图形方式描绘了在夜间在各种照明源和各种行驶表面状况下的行驶表面的示例的图像文件。图形文件被捕获在视觉系统20的实施例的FOV中，所述视觉系统由与参考图1描述的车辆10的相机控制器40通信的相机21组成。由于缺乏环境光照明，在夜间可能难以看到或以其他方式辨别行驶表面状况。此外，行程表面状况影响光漫射、吸收、反射和散射，并且环境照明的不确定性和变化显著影响表面图像外观。在夜间，环境照明源在不同的行驶表面状况下投射不同的图案。车辆前照灯和其他环境照明源在行驶表面上的照明和照明投射在不同的路面条件下表现出不同程度的相关性。
图4-1以图形方式描绘了在夜间的干燥行驶表面的图像文件401，所述干燥行驶表面仅由主车辆的前照灯照亮。行驶表面照明是相对明亮和漫射的。
图4-2以图形方式描绘了在夜间的湿润行驶表面的图像文件402，所述湿润行驶表面仅由主车辆的前照灯照亮。与参考图4-1所示的干燥行驶表面的图像文件401相比，行驶表面照明相对较暗，其中光被反射远离车辆。
图4-3以图形方式描绘了在夜间的积雪行驶表面的图像文件403，所述积雪行驶表面仅由主车辆的前照灯照亮。与参考图4-1所示的干燥行驶表面的图像文件401相比，行驶表面照明相对较明亮，其中光散射在多个方向上。
图4-4以图形方式描绘了在夜间的干燥行驶表面的图像文件404，所述干燥行驶表面由主车辆的前照灯和其他环境照明源照亮。行驶表面照明相对明亮和漫射，其中其他环境照明源被漫射。
图4-5以图形方式描绘了在夜间的结冰行驶表面的图像文件405，所述结冰行驶表面由主车辆的前照灯和其他环境照明源照亮。行驶表面照明包括被反射到行驶表面上的其他环境照明源，其他环境照明源的按比例大小的垂直投射图像被反射到湿润表面上。
图4-6以图形方式描绘了在夜间的积雪行驶表面的图像文件406，所述积雪行驶表面由主车辆的前照灯和其他环境照明源照亮。与参考图4-4所示的干燥行驶表面的图像文件404相比，行驶表面照明相对较明亮，其中光被漫射。环境照明没有明确的投射。
图像文件401到406中的每一者具有包括唯一可识别的照明特性的图像特征，所述照明特性可以被量化并且以其他方式参数化以形成编译特征集，其可以存储在关于图2描述的分类器数据库200中。作为示例，包括可识别的照明特性的图像特征可以采用包括方程1至6的图2的特征提取步骤180来量化和以其他方式参数化。编译特征集可以简化为作为训练程序160的一部分的算法代码。
图5示意性地示出了行驶表面状况检测过程500的另一实施例，其可以经由参考图1描述的车辆10上的视觉系统20来执行。行驶表面状况检测过程500可以作为车辆控制器50和/或相机控制器40中的一个或多个控制程序来执行，以动态地评估由相机21捕获的图像文件23以检测在一系列环境光照明条件和环境照明条件(包括包含日间、夜间以及包括黄昏和黎明的过渡时间的环境光照明条件)下的行驶表面状况。行驶表面状况检测过程500适于通过特征级融合来检测一系列照明条件下的行驶表面状况。
相机21周期性地捕获FOV的图像文件23以进行评估。每个图像文件23经历预处理515和ROI提取520。预处理步骤515类似于参考图2描述的预处理115。ROI提取步骤520包括两个要素，包括执行第一提取以将预处理后图像文件310分割为第一分割图像522，以及执行第二提取以将预处理后图像文件310分割为第二分割图像524。在一个实施例中，第一分割图像522和第二分割图像524可以具有相同的图像分辨率。在一个实施例中，第二分割图像524具有比第一分割图像522更大量的ROI区域，诸如以便能够为夜间场景提取更好的光和表面投射比例属性。作为非限制性示例，第二分割图像524被分割为上部区域和下部区域，每个区域被划分为左部分、中心部分和右部分，从而产生左上区域、上中心区域和右上区域、左下区域、下中心区域和右下区域。作为非限制性示例，第一分割图像522被分割为上部区域和下部区域，每个区域被划分为左部分和右部分，从而产生左上区域、右上区域、左下区域和右下区域。在第一分割图像522和第二分割图像524中，上部区域包含表示地平线上方的预处理后图像文件505的部分，而下部区域包含表示行驶表面的预处理后图像文件505的部分。
第一分割图像522被输入到第一特征提取步骤530，并且第二分割图像524作为输入提供到第二特征提取步骤，所述第二特征提取步骤是夜间特征提取步骤130，是参考图2描述的夜间行驶表面状况检测过程100的一部分。夜间特征提取步骤130包括采用方程1、2和3提取与环境光相关联的特征的第一步骤132和采用方程4、5和6提取与环境光投射到行驶表面上相关联的特征的第二步骤134，这些特征被传送到特征编译步骤140。
第一特征提取步骤530与日间特征提取相关联，并且包括提取与环境光相关联的特征的第一步骤532和提取与环境光投射到行驶表面上的特征相关联的第二步骤534。执行第三步骤536以提取与整体路面状况相关联的特征。来自第一特征提取步骤530的提取特征被传送到日间特征编译步骤540。日间特征编译步骤540的一个实施例包括用于检测表面状况的表面检测系统。表面检测系统包括由相机捕获的图像场景，其中所述图像场景包括：多个感兴趣区域(ROI)的集合；以及处理器，所述处理器被配置为接收所述图像场景以从所述图像场景的多个ROI的集合中提取第一和第二ROI：将第一ROI与地平线上方区域相关联并将第二ROI与表面区域相关联，并且针对与第一ROI中的环境光照明相关的条件和与第二ROI中的环境照明相关的效果并行地分析第一ROI和第二ROI。可以从第一ROI中提取环境光照明条件的特征，并且可以从第二ROI中提取环境光照明在表面区域上的效果的特征。分析第二ROI以提取环境光照明在表面区域上的效果的特征以及环境光照明条件的第一ROI的特征可以基于多个图像属性，其中提取特征包括两个RO的公共特征集。图像属性可以包括纹理、亮度和颜色信息中的一者或多者的集合。表面检测系统还可以包括通过将每个公共特征集与每个图像属性中的一者或多者组合来从两个ROI生成一个或多个公共特征集。表面检测系统还可以包括通过分类器将每个公共特征集分类为特定表面类型。这可以包括通过与环境光照明的条件的第一ROI特征的像素值相关的阈值和与环境光照明在表面区域上的效果的第二ROI特征的像素值相关的阈值来确定。
来自日间特征编译步骤540和来自特征编译步骤140的编译特征被输入到并置步骤550，所述并置步骤采用像素特有或特征特有的比较来数字地组合特征，其中结果被传送到分类步骤560。并置步骤550采用与日间的特征提取相关联的第一特征提取步骤530和夜间特征提取步骤130两者的提取特征。并置步骤550并置提取特征并生成输入到分类步骤560的一组特征，所述分类步骤基于日间和夜间场景两者的并置特征、采用离线训练过程来训练。基于日间和夜间场景的并置特征的另一个分类器数据库离线生成以用于实时分类过程。
分类步骤560涉及执行并置步骤550的输出与分类器数据库200(或基于日间和夜间场景两者的并置特征的分类器数据库)的内容之间的比较以确定行驶表面状况570。并置步骤550的输出与相应的分类器数据库的内容之间的比较涉及识别包含在相应的分类器数据库中的哪个编译特征集最紧密地类似于并置步骤550的输出，并基于此识别相应的行驶表面状况和环境照明条件。
图6示意性地示出了根据本发明的行驶表面状况检测过程600的另一个实施例，所述行驶表面状况检测过程可以经由参考图1描述的车辆10上的视觉系统20采用来自环境光传感器25和环境光照明的其他指示器(例如，日时传感器、GPS/映射和其他输入)的照度级来执行。照度级与图像文件23关联。如本文所采用的，术语“1”指示答案是肯定的，或“是”，而术语“0”指示答案是否定的，或“否”。
来自环境光传感器25的照度级被输入到环境光照明评估步骤610以确定环境光照明的幅度，即，照度级。当环境光的照度级大于第一阈值时(612)(1)，它指示日间，并且程序执行日间解决方案，即，参考图5描述的第一特征提取步骤530和日间特征编译步骤540，以针对图像文件23识别行驶表面620的状态。
当环境光的照度级小于第二阈值时，它指示夜间(616)(1)，并且程序执行夜间解决方案，即，参考图2描述的夜间行驶表面状况检测处理100，以针对图像文件23识别行驶表面620的状态。
当环境光的照度级小于与日间(612)(0)相关联的第一阈值但大于与夜间(614)(1)相关联的第二阈值时，所述程序执行第三解决方案，即，参考图5描述的夜间行驶表面状况检测过程500，以针对图像文件23识别行驶表面620的状态。
行驶表面状况检测过程600具有以下优点：基于环境光的照度级来选择用于特征提取的特定过程，因此减少在不同条件下的计算需求。当它是日间时，计算日间特征而无需计算夜间特征，反之亦然。当环境光处于转变中时，所述过程计算如参考根据图5描述的行驶表面状况检测过程500所描述的并置的日间和夜间特征，以针对图像文件23识别行驶表面620的状态。
流程图中的框图说明了根据本发明的各个实施例的系统、方法和计算机程序产品的可能实施方案的架构、功能性和操作。关于这一点，框图中的每个框可以表示模块、代码段或部分，其包括用于实施指定逻辑功能的一个或多个可执行指令。还应当注意的是，框图和/或流程图中的每个框以及框图和/或流程图中的框的组合可由执行指定功能或作用的基于专用硬件的系统或专用硬件与计算机指令的组合来实施。这些计算机程序指令还可被存储在计算机可读介质中，该计算机可读介质可指导计算机或其它可编程数据处理设备以特定方式起作用，使得存储在计算机可读介质中的指令产生包括实施流程图和/或框图的框或多个框中指定的功能或作用的指令装置的制品。
详述和图或图示支持并且描述本教导，但是本教导的范围仅仅是由权利要求限定。虽然已详细地描述了用于实行本教导的某些最佳模式和其他实施例，但是存在用于实践随附权利要求中限定的本发明的各种替代设计和实施例。

Claims (10)

1.一种车辆子系统，其包括：
车载相机，其被设置成监控包括用于所述车辆的行驶表面的视野(FOV)；
控制器，其与所述车载相机通信，所述控制器包括指令集，所述指令集能够执行以：
经由所述车载相机捕获与所述FOV相关联的图像文件；
将所述图像文件分割成与所述行驶表面相关联的第一组区域和与地平线以上部分相关联的第二组区域；
从所述第一组区域和所述第二组区域中的每一者中提取图像特征；
对来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征进行分类；
基于经分类的来自所述第一组区域和所述第二组区域的提取图像特征来识别用于所述车辆的行驶表面状况；以及
将所述识别的行驶表面状况传送给第二控制器。
2.根据权利要求1所述的车辆子系统，其中能够执行以对来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征进行分类的所述指令集包括能够执行以将来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征与分类器数据库的内容进行比较的指令集。
3.根据权利要求1所述的车辆子系统，其还包括能够执行以进行以下操作的指令集：
采用夜间特征提取程序从所述第一组区域和所述第二组区域中的每一者中提取第一组图像特征；
采用日间特征提取程序从所述第一组区域和所述第二组区域中的每一者中提取第二组图像特征；
并置所述提取的第一和第二组图像特征以生成第三组提取的图像特征：以及
对来自所述第一组区域和所述第二组区域中的每一者的所述第三组提取图像特征进行分类。
4.根据权利要求1所述的车辆子系统，其中所述行驶表面状况包括干态、湿态、冰态和积雪状态中的一种。
5.根据权利要求1所述的车辆子系统，其包括能够执行以从所述第一组区域中提取与环境光相关联的图像特征的指令集以及能够执行以从所述第二区域组中提取与环境光投射到所述行驶表面上相关联的图像特征。
6.根据权利要求5所述的车辆子系统，其中能够执行以从所述第一组区域中提取与环境光相关联的图像特征的所述指令集包括对来自与所述第一组区域相关联的所述图像文件的一部分的像素的信息进行编译。
7.根据权利要求5所述的车辆子系统，其中能够执行以从所述第二组区域中提取与环境光投射到所述行驶表面上相关联的图像特征的所述指令集包括能够执行以对来自与所述第二组区域相关联的所述图像的一部分的像素的信息进行编译的指令集。
8.一种用于控制包括车载相机的车辆的方法，所述车载相机被设置成监控包括用于所述车辆的行驶表面的视野(FOV)，所述方法包括
经由所述车载相机捕获与所述FOV相关联的图像文件；
将所述图像文件分割成与所述行驶表面相关联的第一组区域和与地平线以上部分相关联的第二组区域；
在所述第一组区域和所述第二组区域中的每一者上提取图像特征；
对来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征进行分类；
基于经分类的来自所述第一组区域和所述第二组区域的提取图像特征来识别用于所述车辆的行驶表面状况；以及
基于所述识别的行驶表面状况来控制所述车辆的操作。
9.一种用于经由与控制器通信的相机监控包括行驶表面的视野(FOV)的方法，其包括：
经由所述相机捕获与所述FOV相关联的图像文件；
将所述图像文件传送到所述控制器：
经由所述控制器将所述图像文件分割成与所述行驶表面相关联的第一组区域和与地平线以上部分相关联的第二组区域；
在所述第一组区域和所述第二组区域中的每一者上提取图像特征；
对来自所述第一组区域和所述第二组区域中的每一者的所述提取图像特征进行分类；
基于所述经分类的来自所述第一组区域和所述第二组区域的提取图像特征来识别所述行驶表面的表面状况，其中所述表面状况包括干态、湿态、冰态和积雪状态中的一种；以及
经由所述控制器将所述行驶表面的所述识别的表面状况传送到基础设施监控装置。
10.根据权利要求9所述的方法，其还包括：
采用夜间特征提取程序从所述第一组区域和所述第二组区域中的每一者中提取第一组图像特征；
采用日间特征提取程序从所述第一组区域和所述第二组区域中的每一者中提取第二组图像特征；
并置所述提取的第一和第二组图像特征以生成第三组提取的图像特征：以及
对来自所述第一组区域和所述第二组区域中的每一者的所述第三组提取图像特征进行分类。
CN201910498453.4A 2018-09-04 2019-06-10 用于评估车辆行驶表面的方法及设备 Pending CN110874559A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/120616 2018-09-04
US16/120,616 US10872419B2 (en) 2018-09-04 2018-09-04 Method and apparatus for evaluating a vehicle travel surface

Publications (1)

Publication Number Publication Date
CN110874559A true CN110874559A (zh) 2020-03-10

Family

ID=69527450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910498453.4A Pending CN110874559A (zh) 2018-09-04 2019-06-10 用于评估车辆行驶表面的方法及设备

Country Status (3)

Country Link
US (1) US10872419B2 (zh)
CN (1) CN110874559A (zh)
DE (1) DE102019115459A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3546312A1 (en) * 2018-03-26 2019-10-02 Volvo Car Corporation Method and system for handling conditions of a road on which a vehicle travels
US10872419B2 (en) * 2018-09-04 2020-12-22 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US10796402B2 (en) * 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
DE102018222476A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Informationsvorrichtung zum Informieren eines Fahrers und Verfahren zum Informieren eines Fahrers
US11418387B2 (en) * 2019-02-28 2022-08-16 Shoppertrak Rct Corporation Systems and methods for optical device configuration
US11891067B2 (en) * 2019-12-11 2024-02-06 Electronics And Telecommunications Research Institute Vehicle control apparatus and operating method thereof
EP4081995A4 (en) * 2019-12-23 2023-07-26 A^3 By Airbus, LLC SYSTEMS AND METHODS FOR DETECTING SURFACE CONDITIONS
DE102020104182A1 (de) * 2020-02-18 2021-08-19 HELLA GmbH & Co. KGaA Verfahren zur Bestimmung der Fahrbahntemperatur aus einem Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900562A (zh) * 2009-05-29 2010-12-01 通用汽车环球科技运作公司 采用基于分割方法的畅通路径检测
US20110074955A1 (en) * 2007-08-30 2011-03-31 Valeo Schalter Und Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
JP2014013454A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載用環境認識装置
CN105190288A (zh) * 2013-03-15 2015-12-23 罗伯特·博世有限公司 用于在白天有雾时确定视距的方法和设备
US20150371095A1 (en) * 2013-02-19 2015-12-24 Conti Temic Microelectronic Gmbh Method and Apparatus for Determining a Road Condition
US20180194286A1 (en) * 2017-01-12 2018-07-12 Mobileye Vision Technologies Ltd. Determining a road surface characteristic

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04263400A (ja) * 1991-02-18 1992-09-18 Matsushita Electric Ind Co Ltd 車両動態計測装置
US5987174A (en) * 1995-04-26 1999-11-16 Hitachi, Ltd. Image processing apparatus for vehicles
JPH08318765A (ja) * 1995-05-25 1996-12-03 Hitachi Ltd 情報化自動車制御装置及び方法
JPH11321440A (ja) * 1998-05-18 1999-11-24 Koito Mfg Co Ltd 車輌用灯具装置
US6405128B1 (en) * 1999-12-20 2002-06-11 Navigation Technologies Corp. Method and system for providing an electronic horizon in an advanced driver assistance system architecture
US8958079B2 (en) * 2004-06-30 2015-02-17 Georgetown Rail Equipment Company System and method for inspecting railroad ties
JP4603421B2 (ja) * 2005-05-27 2010-12-22 本田技研工業株式会社 車両、画像処理システム、画像処理方法、及び画像処理プログラム
JP2007304407A (ja) * 2006-05-12 2007-11-22 Alpine Electronics Inc 車載カメラ用自動露出装置および車載カメラ用自動露出方法
JP5867807B2 (ja) * 2010-12-08 2016-02-24 株式会社リコー 車両識別装置
WO2012145822A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
US8559727B1 (en) * 2012-04-09 2013-10-15 GM Global Technology Operations LLC Temporal coherence in clear path detection
US20150178572A1 (en) * 2012-05-23 2015-06-25 Raqib Omer Road surface condition classification method and system
WO2014024763A1 (ja) * 2012-08-08 2014-02-13 日産自動車株式会社 路面状態検出装置及び路面状態検出方法
DE102013226760A1 (de) * 2013-12-19 2015-06-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objektreflexionen
US9623878B2 (en) * 2014-04-02 2017-04-18 Magna Electronics Inc. Personalized driver assistance system for vehicle
US9139204B1 (en) * 2014-06-12 2015-09-22 GM Global Technology Operations LLC Road surface condition detection with recursive adaptive learning and validation
US9598087B2 (en) * 2014-12-12 2017-03-21 GM Global Technology Operations LLC Systems and methods for determining a condition of a road surface
US9840256B1 (en) * 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US10558868B2 (en) * 2017-12-18 2020-02-11 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US10678255B2 (en) * 2018-02-14 2020-06-09 GM Global Technology Operations LLC Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis
US10872419B2 (en) * 2018-09-04 2020-12-22 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110074955A1 (en) * 2007-08-30 2011-03-31 Valeo Schalter Und Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
CN101900562A (zh) * 2009-05-29 2010-12-01 通用汽车环球科技运作公司 采用基于分割方法的畅通路径检测
JP2014013454A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載用環境認識装置
US20150371095A1 (en) * 2013-02-19 2015-12-24 Conti Temic Microelectronic Gmbh Method and Apparatus for Determining a Road Condition
CN105190288A (zh) * 2013-03-15 2015-12-23 罗伯特·博世有限公司 用于在白天有雾时确定视距的方法和设备
US20180194286A1 (en) * 2017-01-12 2018-07-12 Mobileye Vision Technologies Ltd. Determining a road surface characteristic

Also Published As

Publication number Publication date
DE102019115459A1 (de) 2020-03-05
US20200074639A1 (en) 2020-03-05
US10872419B2 (en) 2020-12-22

Similar Documents

Publication Publication Date Title
US10872419B2 (en) Method and apparatus for evaluating a vehicle travel surface
CN109941286B (zh) 用于评估车辆行驶表面的方法和设备
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
KR101768500B1 (ko) 운전 보조 장치 및 그 제어방법
JP5820843B2 (ja) 周囲環境判定装置
US11721213B1 (en) Displaying sensor data and supplemental data as a mask for autonomous vehicles
US20160252905A1 (en) Real-time active emergency vehicle detection
JP2017109740A (ja) 乗物の制御システムと制御方法
US11620419B2 (en) Systems and methods for identifying human-based perception techniques
JP2002083297A (ja) 物体認識方法および物体認識装置
CN108960035A (zh) 使用场景检测模式在感知场景图中分类对象的方法和系统
CN112825127B (zh) 生成用于自动驾驶标记的紧密2d边界框的方法
US11756317B2 (en) Methods and systems for labeling lidar point cloud data
CN116601681A (zh) 基于3d地图的相关输入通过优先处理感兴趣物体估计摄像机的自动曝光值
CN112334947A (zh) 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆
JP6151569B2 (ja) 周囲環境判定装置
CN108733020A (zh) 用于车辆的远程控制设备和方法
US10767989B2 (en) Method and device for detecting a light-emitting object at a traffic junction for a vehicle
Yaşar et al. A new approach for camera supported machine learning algorithms based dynamic headlight model's design
EP4170305A1 (en) System and method for simultaneous online lidar intensity calibration and road marking change detection
US11865965B2 (en) Systems and methods for adapting headlights with color according to speed
CN116653965B (zh) 车辆变道重规划触发方法、装置及域控制器
CN118096562A (zh) 图像增强方法、装置、计算机设备以及存储介质
JP2023089311A (ja) 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム
CN117714887A (zh) 图像采集参数调整方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination