CN110163074B - 提供用于基于图像场景和环境光分析的增强路面状况检测的方法 - Google Patents

提供用于基于图像场景和环境光分析的增强路面状况检测的方法 Download PDF

Info

Publication number
CN110163074B
CN110163074B CN201910114240.7A CN201910114240A CN110163074B CN 110163074 B CN110163074 B CN 110163074B CN 201910114240 A CN201910114240 A CN 201910114240A CN 110163074 B CN110163074 B CN 110163074B
Authority
CN
China
Prior art keywords
road surface
image
target
target area
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910114240.7A
Other languages
English (en)
Other versions
CN110163074A (zh
Inventor
M·哈利利
赵庆荣
王劲松
B·B·利特库西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110163074A publication Critical patent/CN110163074A/zh
Application granted granted Critical
Publication of CN110163074B publication Critical patent/CN110163074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于检测路面状况的系统、方法和装置，其包括：由照相机捕获的图像场景，其中图像场景包括：多个目标区域(ROI)的集合；处理器，其被配置为接收图像场景以：从图像场景的多个ROI的集合提取至少第一ROI和第二ROI；将第一ROI与地平线上方区域相关联，并将第二ROI与路面区域相关联；针对第一ROI中与环境照明相关的条件并且针对第二ROI中与环境照明相关的效应，并行地分析第一ROI和第二ROI；以及从第一ROI提取环境照明的状况的特征并从第二ROI提取环境照明对路面区域的效应的特征。

Description

提供用于基于图像场景和环境光分析的增强路面状况检测的 方法
技术领域
技术领域总体涉及图像处理，并且更具体地涉及用于路面状况检测的系统、方法及装置，其基于捕获整个图像场景并结合环境照明分析以增强对在整个图像的目标区域(ROI)中捕获的各种路面状况的检测，以增强与特定路面状况相关的车辆性能和安全性。
背景技术
在不同的照明状况下，路面状况的图像可能显得不同，并且这种不同可能对准确检测或试图检测特定路面状况造成障碍。在增强路面状况的检测方面，基于捕获含有路面和道路地平线上方信息的整个图像场景的环境照明状况分析可被示出为富有成效的。即，通过分析投影关于车辆的整个场景的照相机图像，其含有路面区域以及地平线上方区域的周围区域(包括但不限于天空、树木和侧路面区域)；还可以分析包括来自周围环境的阴影和照明的投影对路面区域的效应以及对特定路面状况进行分析，以更好地识别特定路面状况。例如，通过使用整个捕获的场景的环境光分析，可以在捕获的照相机图像中分析投影在过多的道路状况(包括结冰、潮湿、干燥、非冰、积雪等类型的道路状况)上的阳光或阴影。
然而，通常，除了路面和环境照明状况分析之外的图像场景还没有被结合到路面或者任何路面状况检测和分析；即使在实例中，此类场景和环境光状况通常与所捕获图像的路面状况的变化相关。因此，考虑到与路面状况的图像中发生的变化的这种相关性，通过结合环境光状况分析基于捕获的图像场景在路面状况检测的结果中可以实现或可以提供增强的路面状况检测，而非目前可用于路面状况检测的分析。这对于检测结冰、干燥、潮湿和积雪路面状况尤其如此，但也不受限于此，因为在结冰、干燥、潮湿和积雪路面上，经常显示出照明状况中的显著差异，将环境光状况分析结合在路面状况检测中可以在基于图像场景检测路面状况时抵消平衡或减轻，从而产生更好的路面状况检测结果。
自主或半自主辅助车辆是能够感测其环境并且在很少或没有用户输入的情况下导航的车辆。自主或半自主车辆使用诸如雷达、激光雷达、图像传感器等的一种或多种传感装置来感测其环境。自主车辆系统还使用来自全球定位系统(GPS)技术、导航系统、车辆对车辆通信、车辆对基础设施技术和/或线控驾驶系统的信息来导航车辆。通过基于图像场景和环境光分析的路面状况检测，将增强自主以及半自主或者传统驾驶员辅助车辆的环境感测能力。也就是说，改进的环境感测的能力有益于当前使用或未来使用的所有类型的车辆，甚至适用于非车辆应用。例如，通过使用安装在交叉路口处的照相机观察道路场景并检测与所观察的照相机场景相关联的路面状况。
因此，期望将基于图像场景的环境光状况分析结合在用于车辆的路面状况检测系统、方法及装置中。另外，期望提供用于自主、半自主和传统车辆的基于图像场景和环境照明状况分析的路面状况检测系统、方法及装置。而且，期望为非车辆应用提供此类路面状况分析。此外，通过随后的详细描述和所附权利要求，结合附图和前述技术领域及背景，本发明的其他期望特征和特性将变得显而易见。
发明内容
提供了用于检测路面状况的系统、方法及装置。
在一种实施例中，提供了一种用于检测路面状况的路面检测系统。路面检测系统包括：由照相机捕获的图像场景，其中图像场景包括：多个目标区域(ROI)的集合；以及处理器，其被配置为接收图像场景以：从图像场景的多个ROI的集合提取至少第一ROI和第二ROI；将第一ROI与地平线上方区域相关联，并将第二ROI与路面区域相关联；针对第一ROI中与环境照明相关的状况并且针对第二ROI中与环境照明相关的效应，并行地分析第一ROI和第二ROI；以及从第一ROI提取环境照明的状况的特征并从第二ROI提取环境照明对路面区域的效应的特征。
路面检测系统还包括：分析第二ROI以基于多个图像属性提取环境照明对路面区域的效应的特征与环境照明的状况的第一ROI的特征共同的特征，其中提取的特征包括：ROI两者的共同特征集合。图像属性包括：纹理、亮度和颜色信息中的一个或多个的集。路面检测系统还包括：通过将每个共同特征集合与每个图像属性中的一个或多个组合，由ROI两者生成一个或多个共同特征集合。路面检测系统还包括：通过分类器将每个共同特征集合分类为特定路面类型。路面检测系统还包括：自主、半自主或非自主车辆系统，或非车辆应用。处理器被配置为：通过与第一ROI的像素值相关的阈值，确定环境照明的状况的特征，并且通过与第二ROI的像素值相关的阈值，确定环境照明对路面区域的效应的特征。
在另一种实施例中，提供了一种用于检测路面状况的方法。该方法包括：通过照相机捕获图像场景，其中图像场景包括：多个目标区域(ROI)的集合；通过与车辆相关联的处理器，从图像场景的多个ROI的集合提取至少第一ROI和第二ROI；处理器将第一ROI与地平线上方区域相关联，并将第二ROI与路面区域相关联；针对第一ROI中与环境照明相关的状况并且针对第二ROI中与环境照明相关的效应，处理器并行地分析第一ROI和第二ROI；以及通过处理器从第一ROI提取环境照明的状况的特征并从第二ROI提取环境照明对路面区域的效应的特征。
该方法还包括：自主、半自主、非自动驾驶方法或非驾驶用途。该方法还包括：基于路面状况的特征或与车辆控制相关的对路面的效应，通过处理器采取动作。该方法还包括：基于路面状况或对路面的效应，通过处理器采取动作，发送通知，以通知特定路面状况或对路面的效应。该方法还包括：通过处理器分析第二ROI，以基于多个图像属性，提取环境照明对路面区域的效应的特征与环境照明的状况的第一ROI的特征共同的特征，其中提取的特征包括：ROI两者的共同特征集合。图像属性包括：纹理、亮度和颜色信息中的一个或多个的集合。路面检测系统还包括：通过将每个共同特征集合与每个图像属性中的一个或多个组合，由ROI两者生成一个或多个共同特征集合。该方法还包括：分析第二ROI，以基于多个图像属性，提取环境照明对路面区域的效应的特征与环境照明的状况的第一ROI的特征共同的特征，其中提取的特征包括：ROI两者的共同特征集合。
在又一种实施例中，提供了一种路面检测装置。该路面检测装置包括：用于产生图像的照相机，其中图像包括：目标区域(ROI)；处理器模块，其被配置为接收图像以：从图像场景的多个ROI的集合中提取至少第一ROI和第二ROI；将第一ROI与地平线上方区域相关联，并将第二ROI与路面区域相关联；针对第一ROI中与环境照明相关的状况并且针对第二ROI中与环境照明相关的状况，并行地分析第一ROI和第二ROI；并且从第一ROI提取环境照明的状况的特征并从第二ROI提取环境照明对路面区域的效应的特征。
该装置还包括：自主、半自主或传统的驾驶设备。该设备还包括：云连接设备，用于向第三方网络发送路面状况的消息。该设备还包括：处理器，其被配置为：通过与环境照明状况的第一ROI特征的像素值相关的阈值以及与第二ROI特征的像素值相关的阈值确定路面区域的环境照明。该装置还包括：处理器被配置为：分析第二ROI，以基于多个图像属性，提取环境照明对路面区域的效应的特征与环境照明的状况的第一ROI的特征共同的特征，其中提取的特征包括：ROI两者的共同特征集合；通过将每个共同特征集合与每个图像属性中的一个或多个组合，由ROI两者生成一个或多个共同特征集合；以及通过分类器将每个共同特征集合分类为特定路面类型。
应注意，在各种实施例中，该方法含有对应于上述路面状况检测系统及装置的各种实施例中的一种或多种的功能的步骤。
附图说明
在下文中将结合以下附图描述示例性实施例，其中相同的数字表示相同的元件，并且其中：
图1是示出根据各种实施例的具有路面检测系统的车辆的功能框图；
图2是示出根据各种实施例的具有一部或多部自主或半自主车辆的运输系统的功能框图；
图3是示出根据各种实施例的自主或半自主驾驶系统的数据流程图，该自动或半自主驾驶系统包括自主或半自主车辆中的路面检测系统；
图4是示出根据各种实施例的用于路面检测系统的车辆的照相机的安装的图；
图5是示出根据各种实施例的结合环境照明分析的路面检测系统的图；
图6A和图6B是示出根据各种实施例的与结合环境照明分析的路面检测系统相结合的离线图像训练的图；
图7示出了根据各种实施例的结合图1-6B的环境照明分析的路面检测系统的整个图像场景的道路地平线和道路上方的目标区域的图像；
图8示出了根据各种实施例的结合图1-6B的环境照明分析的路面检测系统的天空的目标区域的图像；
图9示出了根据各种实施例的投射在路面上的阳光的效应在结合图1-6B的环境照明分析的路面检测系统的目标区域的分析中的图像；
图10A、图10B和图10C示出了整个场景的图像，其包括潮湿路面以及反射在路面上的阴影的效应、以及特定目标区域的整个场景的周围，其由根据各种实施例的结合图1-6B的环境照明分析的路面检测系统分析；
图11A、图11B、图11C、图11D、图11E和图11F示出了整个图像场景的图像，其包括干燥路面、以及特定目标区域的阴影、阳光、晴天、晴空、树的效应，这些构成了根据各种实施例通过结合图1-6B的环境照明分析的路面检测系统分析的整个图像场景；和
图12是示出根据实施例的步骤的流程图，该流程图示出了利用路面检测方法进行环境光分析的步骤。
具体实施方式
以下详细描述本质上仅是示例性的，并不旨在限制应用和用途。此外，无意受前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。如这里所使用的，术语模块是指单独或任意组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、电子电路处理器(共享、专用或成组的)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的部件。
可以在功能和/或逻辑块部件和各种处理步骤方面描述本发明的实施例。应理解，可以通过被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现此类块部件。例如，本发明的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。另外，本领域技术人员将理解，本发明的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本发明的示例性实施例。
为简洁起见，本文中可能不详细描述与信号处理、数据传输、信令、控制以及系统的其他功能方面(以及系统的各个操作部件)有关的传统技术。此外，本文含有的各幅图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理耦合。应当注意，在本发明的实施例中可以存在许多替代或附加的功能关系或物理连接。
术语“自主”意指车辆在没有人的干预或半自主的情况下执行运动，即在车辆运动期间具有一些人的相互作用。
虽然部分描述涉及自动或半自主车辆，但是可以预期所描述的功能可以类似地适用于非自动车辆以及甚至另外的非车辆应用。
此外，对“道路”路面状况的提及不应被解释为限制性的，并且可类似地适用于任何“路面”状况，包括非道路路面、人行道、草地、橡胶、水泥、瓷砖等路面。另外，道路地平线上方的区域包括路面上方的任何区域，包括天空区域。换言之，对天空区域或道路地平线上方的区域的提及应被解释为至少包括“不包括特定路面的路面区域的所有周围区域”。
为了实现高水平的自动化，车辆通常配备有越来越多的不同类型的装置，用于分析车辆周围的环境，例如照相机或其他成像装置，其捕获环境的图像以用于测量或检测环境等内部的特征。实际上，不同的车载设备位于车辆上的不同位置，并且通常以不同的采样率或刷新率操作，并且因此从不同的视点或视角捕获对应于不同时间点的不同类型的数据和参数，这些不同类型的数据和参数导致大量异常，特别是在执行图像处理应用程序时。
如所指出的，环境照明状况(特别是当与对路面图像的效应相关联时)通常并未结合到路面状况分析中，即使在这种情况下，此类环境光状况通常与所捕获的路面图像的变化相关。因此，假定该环境光相关性发生；在整个场景图像的分析中可以提供比当前环境中当前可用的更强的检测。另外，在此类增强分析期间，特别是在路面图像呈现方面，不同的环境照明状况在捕获的照相机图像中具有不同的RGB呈现。例如，捕获的照相机图像的天空部分以不同的方式反射环境光信息。天空反射的效应可以在各种实例中示出如下：在晴空部分中，反射的晴空部分可以产生蓝色饱和的高强度像素；在晴天部分，反射的晴天部分可能对所有颜色具有非常高的强度；在暗云反射的天空部分，暗云反射的天空部分可能有蓝色主导的非饱和像素；并且在反射天空部分内的绿树中，反射天空部分的树部分可以具有绿色主导像素。
环境照明状况还可能对捕获的照相机图像相对于路面的反射部分的图像呈现具有显著效应。也就是说，路面上的阴影可以显示捕获的照相机图像的变化强度的像素信息。例如，雪地和干燥路面上的阴影可以导致低强度的青色显性(即，绿色加蓝色)像素。在湿路和干路上的阴影的情况下，可以在捕获的照相机图像中呈现低强度黄色主导(即，红色加绿色)像素的强度。最后，在路面上的阳光的情况下，可以在捕获的照相机图像中呈现黄色饱和高强度像素的强度。因此，将环境照明效应结合到路面上以进行图像分析可以提供用于检测道路状况的附加信息。
本发明的各种实施例提供了系统和方法，当在分析经受环境光状况分析的捕获图像时必须考虑处理能力的限制时，该系统和方法使得能够在汽车传感硬件中实现路面状况检测，以便仍然维持稳健和实用的解决方案。例如，用于硬件传感器的汽车级硬件加速器的可用性至多是有限的，因此大多数用于汽车传感器的硬件加速器来自消费者市场。因此，必须使用消费级或更便宜的传感硬件来实现路面道路状况检测的必要分析水平。
本发明的各种实施例提供了系统和方法，其使得能够在足够实用的方法中结合环境光分析的路面状况检测与消费者车辆一起使用，所述消费者车辆使用或需要处于使用中的处理器范围内的特定或适当水平的处理器能力。在消费者汽车市场。也就是说，支持环境光检测分析的算法不应该需要通常在车辆中找不到的大量计算，而应该认识到我的车辆处理器系统的处理能力所带来的环境限制，包括例如功耗、处理速度等的限制，并提供轻量级和高效的计算解决方案。
本发明的各种实施例提供了系统和方法，其使得与视觉处理系统一起使用的常规方法相比，路面状况检测和环境光分析对于照明状况更稳健，并且与其他感测或检测方法相比还不需要过于昂贵的硬件。此外，此类系统应该共享已被车辆中的其他标准特征应用使用的车辆照相机设置应用。例如，该共享使用将允许在图像捕获分析中未结合、无效结合或有限程度结合环境光检测分析的车辆的遗留系统中与结合环境光状况的增强检测应用相结合。
本发明的各种实施例提供了系统和方法，其使得路面状况检测能够作为方法或框架的一部分，以通过所公开的算法解决方案能够通过分析捕获的照相机图像来检测光滑的道路状况。
本发明的各种实施例提供了系统和方法，其使得路面状况检测能够在驾驶时提供增强的咨询通知、警告警报以及自动或辅助用户控制以改善车辆操作。也就是说，通过增强检测特定车辆路径上的状况和这些路径上的状况的适当控制设置，通过更精确地操作自主和半自主路线规划特征，来增强主动安全性、驾驶员辅助控制系统和整体车辆稳定性的稳健性和性能。
如图1所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16-18各自在车身14的相应拐角附近可旋转地联接至底盘12。
在一些实施例中，车辆10是自主车辆，并且结合环境照明分析200的路面检测系统被结合到车辆10(下文中称为自主车辆10)中。本描述集中于自动车辆应用中的示例性应用。然而，应理解的是，本文所述的结合环境照明分析200的路面检测系统被设想为用于包括驾驶员辅助系统的传统和半自主机动车辆，作为示例，其利用车道感知信息，诸如车道偏离警告系统和车道保持辅助系统。
例如，自动车辆10是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所示实施例中，车辆10被描绘为乘用车，但是应理解，也可以使用包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、船舶、飞机等的任何其他车辆。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，指的是即使人类驾驶员没有对干预请求做出适当响应，自动驾驶系统在动态驾驶任务的所有方面的驾驶模式特定性能。五级系统表示“完全自动化”，指的是在可由人类驾驶员管理的所有道路和环境状况下自动驾驶系统在动态驾驶任务的所有方面的全时性能。
如图所示，自主车辆10通常包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34、以及通信系统36。在各种实施例中，推进系统20可包括内燃发动机、电机(诸如牵引电动机)和/或燃料电池推进系统。传动系统22被配置为根据可选择的速比将动力从推进系统20传递到车轮16-18。根据各种实施例，传动系统22可包括步进比自动变速器、无级变速器或其他适当的变速器。制动系统26被配置成向车轮16-18提供制动扭矩。在各种实施例中，制动系统26可包括摩擦制动器、线控制动器、再生制动系统(诸如电机)和/或其他适当的制动系统。转向系统24影响车轮16-18的位置。尽管被描绘为包括用于说明性目的的方向盘，但是在本发明的范围内预期的一些实施例中，转向系统24可以不包括方向盘。
传感器系统28包括一个或多个感测装置40a-40n，其感测自主车辆10的外部环境和/或内部环境的可观察状况。感测装置40a-40n可包括但不限于雷达、激光雷达、全球定位系统、光学相机140a-140n、热学照相机、超声波传感器和/或其他传感器。在实施例中，感测设备40a-40n包括用于以特定帧速率获得图像的一个或多个照相机。一个或多个照相机安装在车辆10上并且被布置用于捕获车辆10的外部环境的图像(例如，视频形式的图像序列)。
致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中，车辆特征还可包括内部和/或外部车辆特征，诸如但不限于门、行李箱和舱室特征(诸如空气、音乐，照明等)(未标号)。
数据存储设备32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的定义的地图。在各种实施例中，定义的地图可以由远程系统预定义并从远程系统获得(关于图2进一步详细描述)。例如，定义的地图可以由远程系统组装并且以无线方式和/或以有线方式传送到自主车辆10并存储在数据存储设备32中。可以理解，数据存储设备32可以是控制器34的一部分、与控制器34分开、或是控制器34的一部分以及单独系统的一部分。
控制器34包括至少处理器44和处理器45的冗余计算机体系结构，处理器44可以被认为是主处理器而处理器45可以被认为是备用处理器。处理器44和处理器45耦合到至少一个计算机可读存储设备或介质46。处理器44和处理器45可以是任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(硬件加速器)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、微处理器、其任何组合、或通常用于执行指令的任何设备。计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是持久性或非易失性存储器，其可用于在两个处理器44、45都断电时存储各种操作变量。可以使用许多已知存储器设备中的任何一种来实现计算机可读存储设备或介质46，诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的任何其他电、磁、光或组合存储器设备，其中一些数据代表可执行指令，由控制器34用于控制自主车辆10。
指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。当由处理器44和处理器45执行时，指令接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并产生控制信号，使致动器系统30基于逻辑、计算、方法和/或算法自动控制自主车辆10的部件。尽管图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任何数量的控制器34，其通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号，执行逻辑、计算、方法和/或算法，并生成控制信号以自动控制自主车辆10的特征。
在各种实施例中，并且参考图4，控制器34的一个或多个指令体现在路面检测系统200中，并且当由处理器44、45执行时，被配置为接收输入数据和输入参数数据并产生输出数据和输出参数数据供车辆10的自动化特征使用。
通信系统36被配置为与其他实体48无线地通信信息，该实体48诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备(关于图2更详细地描述)。在示例性实施例中，通信系统36是无线通信系统，被配置为使用IEEE 802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信。然而，诸如专用短程通信(DSRC)信道等附加或替代通信方法也被认为在本发明的范围内。DSRC信道是指专为汽车应用而设计的单向或双向短程到中程无线通信信道以及相应的协议和标准集。
现在参考图2，在各种实施例中，关于图1描述的自主车辆10可适用于特定地理区域(例如城市、学校或企业、校园、购物中心、游乐园、活动中心等)中的出租车或穿梭系统的情况中，或者可以简单地由远程系统管理。例如，自主车辆10可以与基于自动车辆的远程运输系统相关联。图2示出了总体上以50示出的操作环境的示例性实施例，其包括基于自主车辆的远程运输系统52，该远程运输系统52与关于图1描述的一部或多部自主车辆10a-10n相关联。在各种实施例中，操作环境50还包括一个或多个用户设备54，其通过通信网络56与自主车辆10和/或远程运输系统52通信。
通信网络56根据需要支持由操作环境50支持的设备、系统和部件之间的通信(例如，通过有形通信链路和/或无线通信链路)。例如，通信网络56可以包括无线载波系统60，诸如蜂窝电话系统，其包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)、以及任何将无线载波系统60与陆地通信系统连接所需的其他网络部件。每个蜂窝塔包括发送和接收天线以及基站，来自不同蜂窝塔的基站直接或通过诸如基站控制器的中间设备连接到MSC。无线载波系统60可以实现任何合适的通信技术，例如，包括数字技术，诸如CDMA(例如CDMA2000)、LTE(例如4G LTE或5G LTE)、GSM/GPRS或其他当前或新兴的无线技术。其他蜂窝塔/基站/MSC布置是可能的并且可以与无线载波系统60一起使用。例如，基站和蜂窝塔可以共同位于同一站点或者它们可以彼此远程定位，每个基站可以负责单个蜂窝塔，或者单个基站可以服务于各个蜂窝塔，或者各个基站可以耦合到单个MSC，此为仅列举几种可能的安排。
除了包括无线载波系统60之外，还可以包括卫星通信系统64形式的第二无线载波系统，以提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发送站(未示出)来完成。单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发送站接收，打包以便上载，然后发送到卫星，卫星将节目广播给用户。双向通信可以包括例如使用卫星来中继车辆10和站之间的电话通信的卫星电话服务。除了无线载波系统60之外或作为无线载波系统60的替代，可以使用卫星电话。
还可以包括陆地通信系统62，其是连接到一个或多个陆线电话的传统陆基电信网络，并且将无线载波系统60连接到远程传输系统52.例如，陆地通信系统62可以包括：公共交换电话网(PSTN)，诸如用于提供硬连线电话、分组交换数据通信和因特网基础设施的公共交换电话网。陆地通信系统62的一个或多个段可以通过使用标准有线网络、光纤或其他光网络、有线网络、电力线、其他无线网络(诸如无线局域网(WLAN)、或提供宽带无线接入(BWA)的网络)、或其任何组合来实现。此外，远程传输系统52不需要经由陆地通信系统62连接，而是可以包括无线电话设备，使得它可以直接与无线网络(诸如无线载波系统60)通信。
尽管图2中仅示出了一个用户设备54，但是操作环境50的实施例可以支持任何数量的用户设备54，包括由一个人拥有、操作或以其他方式使用的多个用户设备54。可以使用任何合适的硬件平台来实现由操作环境50支持的每个用户设备54。在这方面，用户设备54可以以任何常见的形态因素实现，包括但不限于：台式计算机；移动计算机(例如平板电脑、笔记本电脑或上网本电脑)；智能手机；视频游戏设备；数字媒体播放器；家庭娱乐设备；数码相机或照相机；可穿戴计算设备(例如智能手表、智能眼镜、智能服装)；等等。由操作环境50支持的每个用户设备54被实现为由计算机实现的或基于计算机的设备，其具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑。例如，用户设备54包括可编程设备形式的微处理器，其包括存储在内部存储器结构中的一个或多个指令，并应用于接收二进制输入以创建二进制输出。在一些实施例中，用户设备54包括能够接收GPS卫星信号并基于那些信号生成GPS坐标的GPS模块。在其他实施例中，用户设备54包括蜂窝通信功能，使得设备使用一个或多个蜂窝通信协议在通信网络56上执行语音和/或数据通信，如本文所讨论的。在各种实施例中，用户设备54包括视觉显示器，诸如触摸屏图形显示器或其他显示器。
远程运输系统52包括一个或多个后端服务器系统，其可以是基于云的、基于网络的、或者驻留在由远程运输系统52服务的特定园区或地理位置。远程运输系统52可以由现场顾问、自动顾问、或两者组合操纵。远程运输系统52可以与用户设备54以及自动车辆10a-10n通信以安排乘坐、调度自主车辆10a-10n等。在各种实施例中，远程运输系统52存储商店账户信息，诸如订户认证信息、车辆标识符、简档记录、行为模式和其他相关订户信息。
根据典型的用例工作流程，远程运输系统52的注册用户可以通过用户设备54创建乘车请求。乘车请求通常将指示乘客的期望的接载地点(或当前的GPS位置)、期望的目的地位置(其可以标识预定义的车辆停靠点和/或用户指定的乘客目的地)和接载时间。远程运输系统52接收乘车请求，处理该请求，并且发送所选择的自动驾驶车辆10a-10n中的一部(当且如果一部可用时)以在指定的接载地点和适当的时间接载乘客。运输系统52还可以生成适当配置的确认消息或通知给用户设备54，以使乘客知道车辆正在途中。
可以理解，本文所公开的主题为可为被视为标准或基线自主车辆10和/或基于自动车辆的远程运输系统52提供某些增强特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可以修改、增强或补充，以提供下面更详细描述的附加特征。
这里描述的涉及结合环境照明分析的路面检测系统200的主题不仅适用于自动驾驶系统、设备和应用，而且还适用于具有利用计算机能力的一个或多个自动特征的其他驱动系统。此外，结合环境照明分析的路面检测系统200可在除汽车球体之外的其他系统、设备和应用中操作，用于检测来自图像中的环境照明分析的信息。
根据示例性自主驾驶应用，控制器34实现如图3所示的自主驾驶系统(ADS)70。即，控制器34的合适的软件和/或硬件部件(例如，处理器44、45和计算机可读存储设备46)用于提供与车辆10结合使用的自主驾驶系统70。
在各种实施例中，自主驾驶系统70的指令可以由功能、模块或系统组织。例如，如图3所示，自主驾驶系统70可包括计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80。可以理解，在各种实施例中，因为本发明不限于本示例，所以可以将指令组织成任何数量的系统(例如，组合、进一步分区等)。
在各种实施例中，计算机视觉系统74合成并处理传感器数据并预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，计算机视觉系统74可以结合来自多个传感器的信息，包括但不限于照相机、激光雷达、雷达和/或任何数量的其他类型的传感器。
定位系统76处理传感器数据以及其他数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其他数据以确定车辆10遵循的路径。车辆控制系统80根据确定的路径产生用于控制车辆10的控制信号。
在各种示例性实施例中，控制器34实现机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍缓解、路线遍历、映射、传感器集成、地面实况确定等。
如上面简要提到的，结合图1(和图5)的环境照明分析的路面检测系统200可以包括在自主驾驶系统和应用中的ADS 70内，例如，作为结合环境照明分析的路面检测系统200的一部分，以增强在光滑的路面状况(包括冰雪和潮湿状况)中的车辆控制。结合环境照明分析的路面检测系统200被配置为输出参数数据以供在依赖于特征检测(诸如图像特征分类和定位)的各种可能的自动控制模块中使用。
在一些实施例中，检测到的图像特征包括用于道路特征参数数据的路径规划和车辆控制的参数数据(诸如道路边界和道路标记，包括道路侧标志和交通灯)；车道特征参数数据(诸如车道边界和车道标记)；以及周围物体参数数据(包括行人、其他车辆、建筑物等)。此类检测到的图像特征参数数据可由导航系统78使用，以确定车辆10的轨迹。车辆控制系统80与致动器系统30一起工作以遍历这样的轨迹。
在各种示例性实施例中，Wi-Fi、WiMAX或蓝牙连接的相机和智能设备可以通过将附加图像发送到结合环境照明分析200的路面检测系统来结合使用，以用于检测路面状况。例如，使用智能电话的应用程序的乘客或驾驶员可能能够利用嵌入的GPS标签远程捕获路面状况，以通过IP连接发送到车辆处理系统以添加到路面状况检测。
在各种示例性实施例中，来自通过云网络结合环境光分析的路面检测系统的信息可以与其他用户共享，提供给第三方数据库，聚合以供进一步分析，提供给第三方映射和交通相关应用，提供给社交网络应用程序，并发送到政府交通维护和支持机构。例如，此类信息可以发送到云共享流量应用程序，如
Figure SMS_1
MAPS和/>
Figure SMS_2
用于自动智能、路线规划、路线报告和其他应用程序。另外，可以执行对所分析的图像的信息(诸如标题数据包)的自动标记并且添加与结合环境照明分析的路面检测系统的结果相关联的各种归类和分类，以用于添加信息的使用和共享。例如，可以经由网络云发送特定路面或场景的捕获图像，其中描述了在捕获图像中发现的路面状况。
图4示出了根据各种实施例的用于路面检测系统的车辆的照相机的示例性安装。在图4中，示出了安装在车辆上的各个位置处的照相机的照相机配置400。照相机配置400包括前照相机405、侧照相机410和后照相机415。附加照相机(未示出)可以安装或集成在前/后保险杠或挡风玻璃后面的后视镜上。侧照相机可以安装或集成在车辆的后视镜中。在该特定相机配置400中，可以捕获围绕车辆的图像场景的图像，包括例如地平线道路地平线区域上方的路面和图像。也就是说，前照相机400可以捕获包括车辆前方的路面的前视图的图像场景，该前视图可以包括路面、道路地平线上方的区域和道路两侧的区域。同样地，侧照相机410和后照相机415的其他照相机将在照相机的方向上捕获类似的周围图像。捕获场景图像可以被发送到路面检测系统，以用环境照明状况进行进一步的处理分析。
图5示出了根据各种实施例的结合环境照明分析的道路检测系统。特别地，图5更详细地示出了路面检测系统400，继续参考图1至图4。图5的用于环境照明分析的框架，包括特征提取模块505，其具有处理器，该处理器执行环境照明状况、对路面的效应以及图像分析呈现等方面的分析。也就是说，特征提取模块包括用于分析环境照明状况的环境光状况模块507、用于分析路面上的环境照明效应的环境照明效应模块509、以及用于分析整体路面呈现的整体路面呈现模块511。照相机图像520可以包括用于从车辆的图像传感装置接收照相机图像的原始数据。在示例性实施例中，所采用的流水线架构从图像传感器(未示出)接收照相机图像520，以便由预处理模块515进行预处理，以进行噪声消除、图像重新投影、缩小尺寸等。在该初步预处理照相机图像之后，通过ROI提取模块512识别照相机的目标区域图像(ROI)。
尽管示例性实施例描述了路面和天空的ROI两者，但是可以预期这不是ROI的穷详尽列表，并且ROI列表可以根据位置、天气模式、环境以及在照相机图像中找到的其他属性、或特定应用程序的检测分辨率要求来扩展。在这种情况下，ROI提取模块512提取或确定ROI两者以供进一步处理。第一ROI可以包括天空区域的照相机图像的上部图像区域用于通过环境照明状况分析模块507进行的天气和环境照明状况分析。第二ROI可以包括下部图像区域，该下部图像区域包括用于分析的路面区域，用于提高环境照明效应分析模块509分析环境照明对路面的效应。特征提取过程可以被认为是照相机图像的一个或多个部分的分离、分割、划分或分开。也就是说，可以设想可以采用多个处理来定义ROI，包括针对照相机图像的分离部分和部分、照相机图像的分割部分和部分、照相机图像的划分部分和部分、以及照相机图像的分开部分和部分的处理。在示例性实施例中，例如，可能期望监测不同车道(在车道、左车道、右车道)中的道路状况；在这种情况下，有必要进一步将道路区域划分为三个ROI，包括左路区域、中间道路区域和右路区域。天空地区也一样。通过这种分割，可以检查不同车道中的道路状况，并确定每条车道如何与道路地平线上方的目标区域相关联。
图6A和图6B示出了离线训练图像并将从照相机接收的实时图像与结合环境照明分析的路面检测系统集成。图6A包括由安装在车辆上的照相机捕获的实时接收的场景的输入图像605，图像预处理610之后是提取道路地平线区域和路面上方的部分616中的特定捕获图像场景611的ROI615。接下来，执行环境照明状况和场景特征计算625的特征提取620、环境照明和场景对路面效应的特征提取630、以及整个路面呈现特征提取635。接下来，确定列表执行特征640并根据分类器645对特征进行分类。通过离线获得分类器645以执行图像的分类。在图6B中，离线分类训练最初以训练集655的图像开始。类似于实时预处理610(图6A)的与预处理600有关的处理被应用于训练集655的图像的训练场景661。接下来，执行以下步骤：提取上述道路区域和路面区域的部分666的训练场景661的ROI665。离线670的类似特征提取被执行到环境照明状况和场景特征计算的实时特征提取675、环境照明和场景对路面效应的特征提取680、以及整体路面呈现特征提取685。之后，确定相关特征690的列表，并执行分类器模型参数学习695的步骤。也就是说，利用具有已知参数696的分类器来执行图像的实时分类645。因此，分类器645被提供有分类参数的已知配置，随着更多图像被实时分类，该分类参数将被修改为随时间改变。分类器模型参数学习的离线模型695还可以与分类器参数中的实时更新同步，因此结合了智能学习能力。
图7示出了根据各种实施例的结合了图1-图6B的环境照明分析的路面检测系统的整个图像场景的道路地平线和路面之上的目标区域的图像。图7示出了结合环境照明分析的路面检测系统的天空和道路的目标区域的图像，来自提取模块512的ROI可以包括路面区域并且在道路区域的地平线上方(即天空区域)。图7示出了道路区域710的地平线上方的两个目标区域的图像700用于天气和环境照明分析以及道路区域715用于路面和环境光分析。ROI 720示出了图像700的单独的、分段的、分开的或隔离的部分，其含有用于环境照明状况分析的天空，并且ROI 725示出了图像700的单独的、分段的、分开的或隔离的部分，其含有用于路面分析的路面。
返回图5，特征模块525接收通过特征提取模块的分析和子模块分析提取的特征或突出特征的信息。分类器模块530依次针对特征模块525的特征对路面状况进行分类，并确定道路状况分类。
特征提取模块505的环境照明状况分析模块507执行多步骤分析：接收ROI的某些主色分量的红色、绿色、蓝色(RGB)表示，分析可能性或通过主色分量分析确定是否存在一种或至少一种环境照明状况。例如，主色分量分析可以涉及通过基于数据分析的预定阈值的二进制转换来评估主色分量在整个ROI上的百分比的方面。尽管数据分析描述了基于阈值执行确定，但是也可以适用或集成替代的数据分析。例如，用于基于色频、k均值聚类和模板匹配的数据分析的工具也可以与所描述的预定的基于阈值的数据分析集成或结合使用。
图8示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的天空的目标区域的图像。在图8中，示出了特征提取模块805(图4)的环境照明状况分析模块807对环境照明状况的分析800。在示例性实例中，描述了满足特定阈值的高强度像素的百分比的分析800。将道路区域的地平线上方(即天空区域)的RGB彩色图像810的ROI分割成R图像矩阵811、G图像矩阵812、B图像矩阵813的矩阵。通过环境状况分析模块507(图5)的处理器将阈值与每个RGB图像矩阵比较，对于特定二进制图像矩阵815，阈值比较函数820是min(IR(i,j),IG(i,j),IB(i,j))＞thrh，其中IBi(i,j)＝1，以将RGB彩色图像810转换为二进制图像830。提取的特征可以由白色像素的百分比来确定，白色像素的百分比等于白色像素的数量除以ROI的所有像素的数量。天空区域的二进制图像830由阈值比较820得出。在示例性实施例中，在晴天的环境照明状况下，白色像素可能构成显著或相当大百分比的部分或占据ROI中的区域(area)或区域(region)或整个照相机图像中。在图8所示的示例性实施例中，由环境照明分析确定的晴天状况的百分比相当于二进制图像830中由区域835示出的整个天空区域的27％或大约四分之一区域附近。此外，白色像素的占有百分比在二进制图像830中比在RGB彩色图像810中更清晰可见且更容易定义。
返回图5，图5中的特征提取模块505的环境照明状况分析模块507可以基于二进制图像转换(如图8中实例转换的二进制图像830)的数据分析来定义用于分析要提取的其他类型的天空照明的阈值状况。在各种示例性实施例中，天空呈现的特征和颜色特征基于各种阈值状况。对于晴天图像，对于具有thrh＝250的所有颜色具有非常高强度的颜色特征，阈值将是min(IR,IG,IB)＞thrh并且亮像素被转换为二进制中的白色像素图片。对于晴空图像，具有饱和度s(*)＝1.2且thrh＝200的蓝色饱和高强度像素的颜色特征，阈值状况为IB＞s*max(IR,IG)且IB＞thrh，蓝色饱和高强度像素将被转换为二进制图像中的白色像素。对于具有蓝色主导像素的颜色特征的暗阴天图像，其未饱和s＝1.2，阈值状况是max(IR,IG)＜IB＜s*max(IR,IG)。对于绿色覆盖的天空图像，颜色字符是绿色主导像素，阈值状况为IG＞max(IR,IB)。对于每种类型的天空呈现和图像，计算白色像素的百分比除以整个二进制图像的像素数以确定白色像素百分比。然后，针对所有列出的天空类型的像素确定或提取的百分比被提取或关联为特征模块525中的突出特征，用于分类器模块535中的道路状况分类。
图9示出了根据各种实施例的在结合图1-图6B的环境照明分析的路面检测系统的道路的目标区域分析中投影在干燥路面上的阳光的效应的图像。图9示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的道路的目标区域的图像。在图9中，示出了环境照明对路面效应的特征提取模块505(图5)分析的环境照明对路面效应分析模块509。在示例性实例中，还可以通过前面描述的主色分量分析来检查环境照明对路面效应。类似于环境照明状况模块507(图5)的先前分析，通过使用二进制图像转换过程计算整个ROI图像区域(但在这种情况下在道路上)的主色分量的百分比。
在示例性实施例中，检测阳光对路面的效应，环境照明对路面效应分析模块509(图5)通过分析900评估黄色饱和高强度像素(具有thrh＝200且s＝1.2*)的百分比。描述了满足特定阈值的黄色饱和高强度像素的百分比的分析900。路面区域的RGB彩色图像910的ROI被分割成R图像矩阵911、G图像矩阵912、B图像矩阵913的矩阵。环境照明对路面效应分析模块509(图5)的处理器对阈值与每个RGB图像矩阵进行比较，对于具有IBi(i,j)＝1的特定二进制图像矩阵915，阈值比较函数920是min(IR，IG)＞s*IB且min(IR,IG)＞thrh以将RGB彩色图像910转换为二进制图像930。提取的特征可以通过等于白色像素的百分比确定，白色像素的百分比等于白色像素数除以ROI的所有像素数。由阈值比较920示出路面区域的二进制图像930。在示例性实施例中，在晴天的环境照明对路面效应中，黄色饱和光强度像素(其在二进制图像930中为白色像素)将可能构成显著或相当大百分比的部分或占据ROI中的区域(area)或区域(region)或整个照相机图像中。在图9所示的示例性实施例中，通过环境照明对路面效应的分析确定的晴天的百分比达到在二进制图像930中区域935所示的整个路面区域的30％或大约三分之一区域附近。此外，白色像素的占有百分比在二进制图像930中比在RGB彩色图像910中更清晰可见且更容易定义。
返回图5，图5中的特征提取模块505的环境照明对路面效应分析模块509可以定义阈值状况，该阈值状况用于基于二进制图像转换(如图9中的实例转换的二进制图像930)的数据分析来分析要提取的其他类型的路面。在各种示例性实施例中，路面呈现的特征和颜色特征基于各种阈值状况。对于图像，在雪和干燥道路(浅色)路面上的阴影，颜色特征是低强度青色主导(绿色与蓝色组合)像素，其中thrl＝100，阈值状况为thrl＞min(IG,IB)＞IR。对于图像，在潮湿和干燥道路(具有较暗颜色)路面上的阴影具有低强度黄色主导(红色与绿色组合)像素的颜色特征，其中thrl＝100，阈值状况为thrl＞min(IR, G)＞IB。对于图像，路面上有阳光，颜色特征是黄色饱和的高强度像素，其中thrh＝100x N其中N＝2…且s＝N，其中N＝1.2...阈值状况为min(IR,IG)＞s*IB和min(IR,IG)＞thrh。
对于环境光对路面各种其他效应的图像，可以使用或结合使用其他或不同的颜色特征以改善环境光效应的路面检测。也就是说，在示例性实施例中，如下所示的其他颜色特征：
Figure SMS_3
Figure SMS_4
具有各种示例性实例诸如由于湿路面的暗像素：IR＜64、IG＜64、IB＜64；由于阳光直接反射在潮湿路面上的亮像素IR＞220、IG＞220、IB＞220；以及通常干燥的路面或在湿路面上反射的阳光100＜IR＜165、100＜IG＜165、100＜IB＜165。应预期，颜色特征的值或特定数字不是固定的，并且可以基于使用中的特定照相机类型或模型的图像形成特征来调整或配置。也就是说，由于与特定照相机类型或模型相关联的不同色度，不同类型的照相机和模型可具有或可保证不同的颜色特征值。对于路面上的每种类型的光效应，计算白色像素的百分比除以整个二进制图像的像素数以确定白色像素百分比。然后，针对所有列出的环境光对路面效应的像素确定或提取的百分比被提取或关联为特征模块525中用于分类器模块535中的道路状况分类的突出特征。
在各种实施例中，用于由分类器模块535进行路面分类的示例性特征可以被分类，如对用于评估环境照明的特征(基于二进制天空图像的白色像素)、对用于评估照明对路面效应的特征(基于二进制路面图像的白色像素)、以及对用于评估整体路面呈现的特征。例如，对用于评估环境照明的特征(基于二进制天空图像的白色像素)用于各种天空评估和随后的路面分类可以如下：高强度蓝色/红色/绿色像素相对于天空区域的百分比，用于晴天评估；蓝色饱和高强度像素相对于天空区域的百分比，用于晴空评估；非饱和蓝色主导像素相对于天空区域的百分比，用于暗云评估；以及绿色主导像素相对于天空区域的百分比，用于绿树覆盖评估等。对于评估照明对路面效应的特征(基于二进制路面图像的白色像素)，分类可以如下：低强度青色主导(绿色与蓝色组合)像素占路面区域的百分比，用于雪/干燥路面的阴影分析；低强度黄色主导(红色与绿色)像素占路面区域的百分比，用于干湿路面阴影分析；黄色饱和高强度像素占路面区域的百分比，用于阳光效应等。对于评估整体路面呈现的特征，分类可以如下：关于路面强度的平均值、关于路面强度的方差、关于平均色调、强度和亮度等。
图10A、图10B和图10C示出了捕获的整个场景的图像以及在路面上反射的阴影的效应，以及由根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统分析的特定目标区域中的整个场景的周围。图10A示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的湿路面的目标区域(ROI)的图像。图10A示出了ROI 800的湿路面，其具有天空亮度以及在路面805上反射的绿树。在二进制图像的ROI 810中，路面上反射了19％百分比815的绿树。
图10B示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的湿路面的目标区域的图像。图10B示出了ROI 900的湿路面，其在二进制图像中具有16％天空910。
图10C示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的湿路面的目标区域的图像。图10C示出了ROI 1000的湿路面，其在二进制图像中具有32％树1010。
图11A、图11B、图11C、图11D、图11E和图11F示出了整个图像场景的图像，以及阴影、阳光、晴天、晴空、构成整个图像场景的特定目标区域的树的效应，其由根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统分析。图11A示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的干燥路面的目标区域的图像组成的整个图像场景。图11B示出了二进制图像1110中具有62％阴影1115的干燥路面的图像1100，并且图11C示出了二进制图像1120中的30％阳光1125。
图11D示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的晴天的目标区域的图像。图11D示出了具有27％晴天1210的干燥路面的二进制图像1200。
图11E示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的晴空的目标区域的图像。图11E示出了具有20％晴空1310的干燥路面的二进制图像1300。
图11F示出了根据各种实施例的结合图1-图6B的环境照明分析的路面检测系统的树木的目标区域的图像。图11F示出了具有15％树木1410的干燥路面的二进制图像1400。
图12是示出根据实施例的利用路面检测方法进行环境光分析的步骤的流程图。在图12中，过程1200示出了根据各种实施例的结合环境照明分析的路面检测系统的任务。特别地，图12更详细地示出了图5的路面检测系统500的处理步骤，继续参考图1至图6B。图5的用于环境照明分析的框架，包括具有各种处理器的特征提取模块505，各个模块执行分析环境照明对状况、对路面的效应以及图像分析的呈现等方面。
在1210，接收用于从车辆的图像感测装置接收用于特征提取的照相机图像的任务。接下来在1220处，通过噪声去除、图像重新投影、缩小尺寸等来预处理照相机图像的任务。在该照相机图像的初始预处理之后，在1230处执行通过ROI提取模块识别照相机图像的目标区域(ROI)的任务。用于ROI提取的任务1230涉及在路面的ROI中并在道路地平线上方(即，包括天空的其他周围环境、树木等)划分照相机图像。在实例中，ROI提取任务1230可以提取或确定ROI两者以供进一步处理。第一ROI可以包括用于天气的天空区域的照相机图像的上部图像区域以及由环境照明状况分析模块507(图5)分析的环境照明状况。第二ROI可以包括下部图像区域，该下部图像区域包括用于通过环境照明效应分析模块509(图5)分析环境照明对路面效应的路面区域。与提取处理有关的任务可以被认为是照相机图像的部分的分离、分割、划分或分开。也就是说，可以设想可以采用许多处理任务来定义ROI，包括指向照相机图像的分离部分和部分、照相机图像的分割部分和部分、照相机图像的划分部分和部分、以及照相机图像的分开部分或部分的处理。
接下来，在1240，通过特征提取模块505(图5)的处理步骤执行与特征提取相关的任务，以通过ROI确定接收环境光分析以执行环境光分析、环境照明对路面效应分析、以及整体路面呈现分析的适当流程。例如，如果流程进行到1245，则可以执行与环境光状况模块507(图5)的处理步骤相关的任务以分析环境照明状况。如果流程进行到1250，则可以执行与环境照明效应模块509(图5)相关的任务以分析环境照明对路面效应，并且如果流程进行到1260，则可以执行与整个路面呈现模块相关的任务511(图5)以分析整体路面呈现。
接下来，流程进行到1265，用于与特征模块525(图5)的处理步骤相关的任务，以处理通过特征提取模块和子模块分析的分析提取的特征或突出特征的信息。接下来在1270，执行与分类器模块530(图5)的处理步骤相关的任务，以关于特征模块的特征对路面状况进行分类，并确定道路状况分类。
在本发明的示例性实施例的过程中采用的该架构配置是ROI的分析的并行架构，但是可以使用其他架构。也就是说，可以采用图像数据的串行处理，或者也可以是部分并行和部分串行流水线架构的组合。例如，如果ROI或照相机的确定或预设配置被定位，那么可以采用对选择的环境照明状况或路面效应进行串行处理。
最后，在1275，与显示或发送环境照明分析的结果有关的任务被执行。例如，结果可以被发送给第三方或显示给用户，或者用于在操作期间实时控制和配置车辆设置。
如本说明书和权利要求书中所使用的，关于一个或多个元件的列表的短语“至少一个”应理解为表示选自元件列表中的任何一个或多个元件中的至少一个元件。元件列表，但不必须包括元件列表中具体列出的每个元件中的至少一个元件，并且不排除元件列表中元件的任何组合。该定义还允许除了在短语“至少一个”所指的元件列表内具体标识的元件之外，可选地存在元件，无论是与具体标识的那些元件相关还是不相关。因此，作为非限制性实例，“A和B中的至少一个”(或等效地“A或B中的至少一个”，或等效地“A和/或B中的至少一个”)在一种实施例中可以指至少一个(任选地包括多于一个)A，不存在B(并且任选地包括除B之外的元件)；在另一种实施例中，指至少一个(任选地包括多于一个)B，不存在A(并且任选地包括除A之外的元件)；在又一种实施例中，指至少一个(任选地包括多于一个)A，以及至少一个(任选地包括多于一个)B(以及任选地包括其他元件)；等等
在权利要求以及以上说明书中，诸如“包含”、“包括”、“带有”、“具有”、“含有”、“涉及”、“持有”等所有过渡短语都是被理解为开放式的，即包括但不限于。只有过渡短语“由...组成”和“基本上由...组成”应分别是封闭或半封闭的过渡短语。
虽然在前面的详细描述中已经呈现了至少一个示例性实施例，但是应理解存在大量的变型。还应理解，示例性实施例或多个示例性实施例仅是实例，并不旨在以任何方式限制本发明的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供用于实现示例性实施例或多个示例性实施例的便利路线图。应理解，在不脱离所附权利要求及其合法等同方案所阐述的本发明的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种检测路面状况的路面检测系统，其包含：
由照相机捕获的图像场景，其中所述图像场景包含：多个目标区域的集合；以及处理器，其被配置为接收所述图像场景以：
从所述图像场景的所述多个目标区域的集合提取至少第一目标区域和第二目标区域；
将所述第一目标区域与地平线上方区域相关联，并将所述第二目标区域与路面区域相关联；
针对所述第一目标区域中与环境照明相关的状况并且针对所述第二目标区域中与所述环境照明相关的效应，并行地分析所述第一目标区域和所述第二目标区域；以及
从所述第一目标区域提取所述环境照明的状况的特征并从所述第二目标区域提取所述环境照明对路面区域的效应的特征。
2.根据权利要求1所述的路面检测系统，还包含：
分析所述第二目标区域以基于多个图像属性提取所述环境照明对所述路面区域的效应的特征与所述环境照明的状况的所述第一目标区域的特征共同的特征，其中所述提取的特征包含：目标区域两者的共同特征集合。
3.根据权利要求2所述的路面检测系统，其中所述图像属性包含：纹理、亮度和颜色信息中的一个或多个的集合。
4.根据权利要求3所述的路面检测系统，还包含：
通过将每个共同特征集合与每个图像属性中的一个或多个组合，由目标区域生两者成一个或多个共同特征集合。
5.根据权利要求4所述的路面检测系统，还包含：
通过分类器将每个所述共同特征集合分类为特定路面类型。
6.根据权利要求1所述的路面检测系统，还包含：
自主、半自主或非自主车辆系统，或非车辆应用。
7.根据权利要求1所述的路面检测系统，其中
所述处理器被配置为：
通过与所述第一目标区域的像素值相关的阈值，确定所述环境照明的状况的特征，并且通过与所述第二目标区域的像素值相关的阈值，确定所述环境照明对所述路面区域的效应的特征。
8.一种路面检测装置，其包含：
用于生成图像的照相机，其中所述图像包含：目标区域；
处理器模块，其被配置为接收所述图像以：
从所述图像场景的多个目标区域的集合提取至少第一目标区域和第二目标区域；
将所述第一目标区域与地平线上方区域相关联，并将所述第二目标区域与路面区域相关联；
针对所述第一目标区域中与环境照明相关的状况并且针对所述第二目标区域中与所述环境照明相关的效应，并行地分析所述第一目标区域和所述第二目标区域；以及
从所述第一目标区域提取所述环境照明的状况的特征并从所述第二目标区域提取所述环境照明对路面区域的效应的特征。
9.根据权利要求8所述的装置，还包含：
所述处理器被配置为：
通过与所述第一目标区域的像素值相关的阈值，确定所述环境照明的状况的特征，并且通过与所述第二目标区域的像素值相关的阈值，确定所述环境照明对所述路面区域的效应的特征。
10.根据权利要求8所述的装置，还包含：
所述处理器被配置为：
分析所述第二目标区域以基于多个图像属性提取所述环境照明对所述路面区域的效应的特征与所述环境照明的状况的所述第一目标区域的特征共同的特征，其中所述提取的特征包含：目标区域两者的共同特征集合；
通过将每个共同特征集合与每个图像属性中的一个或多个组合，由目标区域两者生成一个或多个共同特征集合；以及
通过分类器将每个所述共同特征集合分类为特定路面类型。
CN201910114240.7A 2018-02-14 2019-02-14 提供用于基于图像场景和环境光分析的增强路面状况检测的方法 Active CN110163074B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/896104 2018-02-14
US15/896,104 US10678255B2 (en) 2018-02-14 2018-02-14 Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis

Publications (2)

Publication Number Publication Date
CN110163074A CN110163074A (zh) 2019-08-23
CN110163074B true CN110163074B (zh) 2023-06-13

Family

ID=67399963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910114240.7A Active CN110163074B (zh) 2018-02-14 2019-02-14 提供用于基于图像场景和环境光分析的增强路面状况检测的方法

Country Status (3)

Country Link
US (1) US10678255B2 (zh)
CN (1) CN110163074B (zh)
DE (1) DE102019103341A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113564B2 (en) * 2017-01-09 2021-09-07 Texas Instruments Incorporated Performing distance-based feature suppression
US11062149B2 (en) * 2018-03-02 2021-07-13 Honda Motor Co., Ltd. System and method for recording images reflected from a visor
US10803743B2 (en) * 2018-05-02 2020-10-13 Lyft, Inc. Monitoring ambient light for object detection
US10872419B2 (en) * 2018-09-04 2020-12-22 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
CN112461829B (zh) * 2019-09-06 2022-11-18 科沃斯机器人股份有限公司 一种光流传感模块、自移动机器人以及材质检测的方法
US11082622B2 (en) * 2019-12-13 2021-08-03 Nuro, Inc. Systems and methods for dynamically switching image signal processor configurations
CN111142539B (zh) * 2020-01-13 2020-10-27 中智行科技有限公司 一种无人驾驶车辆控制方法、装置和无人驾驶车辆
US11521127B2 (en) 2020-06-05 2022-12-06 Waymo Llc Road condition deep learning model
DE102020209910A1 (de) 2020-08-05 2022-02-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Generierung eines gerenderten dreidimensionalen Modells eines Fahrzeugs
US11645844B2 (en) * 2021-10-05 2023-05-09 RS1 Worklete, LLC Computing devices programmed to detect slippery surfaces within enclosures and methods/systems of used thereof
WO2024054815A1 (en) * 2022-09-06 2024-03-14 University Of Georgia Research Foundation, Inc. Pavement management system using satellite data and machine learning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714343A (zh) * 2013-12-31 2014-04-09 南京理工大学 线激光器照明条件下双线阵相机采集的路面图像拼接及匀化方法
CN107209856A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 环境场景状况检测

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JP3931891B2 (ja) 2004-07-05 2007-06-20 日産自動車株式会社 車載用画像処理装置
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
US8436902B2 (en) 2007-08-30 2013-05-07 Valeo Schalter And Sensoren Gmbh Method and system for weather condition detection with image-based road characterization
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
WO2013048994A1 (en) 2011-09-26 2013-04-04 Magna Electronics, Inc. Vehicle camera image quality improvement in poor visibility conditions by contrast amplification
US20160341848A1 (en) * 2015-05-22 2016-11-24 Satoshi Nakamura Object detection apparatus, object removement control system, object detection method, and storage medium storing object detection program
ITUB20151802A1 (it) * 2015-07-01 2017-01-01 Magneti Marelli Spa Sistema a bordo veicolo e procedimento perfezionati per il rilevamento di oggetti in un ambiente circostante un veicolo.
EP3299993A1 (en) * 2016-09-22 2018-03-28 OmniKlima AB Method and arrangement for determining a condition of a road surface
CN107454969B (zh) * 2016-12-19 2019-10-29 深圳前海达闼云端智能科技有限公司 障碍物检测方法及装置
WO2018132605A1 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Determining a road surface characteristic
US10558868B2 (en) * 2017-12-18 2020-02-11 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714343A (zh) * 2013-12-31 2014-04-09 南京理工大学 线激光器照明条件下双线阵相机采集的路面图像拼接及匀化方法
CN107209856A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 环境场景状况检测

Also Published As

Publication number Publication date
CN110163074A (zh) 2019-08-23
US10678255B2 (en) 2020-06-09
DE102019103341A1 (de) 2019-08-14
US20190250630A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
CN110163074B (zh) 提供用于基于图像场景和环境光分析的增强路面状况检测的方法
AU2021200258B2 (en) Multiple operating modes to expand dynamic range
CN109902552B (zh) 用于车道特征分类和定位的人工神经网络
CN111204346B (zh) 用于自动车辆的控制命令的端对端学习的方法及系统
CN109426806B (zh) 用于车辆信号灯检测的系统和方法
CN108574929B (zh) 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备
US11334753B2 (en) Traffic signal state classification for autonomous vehicles
CN109466548B (zh) 用于自主车辆操作的地面参照确定
CN109817008B (zh) 自主车辆中用于交通繁忙情况中的无保护左转弯的系统和方法
Mu et al. Traffic light detection and recognition for autonomous vehicles
US11173838B2 (en) Switchable display during parking maneuvers
US20190026588A1 (en) Classification methods and systems
CN110554691B (zh) 用于检测高架高速公路以防止接合巡航特征的系统、方法和装置
US10528057B2 (en) Systems and methods for radar localization in autonomous vehicles
CN109076167A (zh) 图像处理器、摄像装置和图像处理系统
US11645779B1 (en) Using vehicle cameras for automatically determining approach angles onto driveways
CN110816547A (zh) 用于自主驾驶的实际感知系统的感知不确定性建模
CN112389454A (zh) 自动驾驶/主动安全车辆中的感知系统的错误隔离

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant