CN105701444A - 用于确定道路表面的状况的系统和方法 - Google Patents

用于确定道路表面的状况的系统和方法 Download PDF

Info

Publication number
CN105701444A
CN105701444A CN201510912608.6A CN201510912608A CN105701444A CN 105701444 A CN105701444 A CN 105701444A CN 201510912608 A CN201510912608 A CN 201510912608A CN 105701444 A CN105701444 A CN 105701444A
Authority
CN
China
Prior art keywords
interest
region
road surface
image
overall area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510912608.6A
Other languages
English (en)
Other versions
CN105701444B (zh
Inventor
Q.赵
Q.张
J.王
B.B.利特库希
W.张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN105701444A publication Critical patent/CN105701444A/zh
Application granted granted Critical
Publication of CN105701444B publication Critical patent/CN105701444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了用于确定道路表面的状况的系统和方法。系统和方法使用由相机产生的道路表面的图像。图像包括来自光源的图案。图像中的感兴趣区基于来自光源的图案确定。确定总区域，其包括感兴趣区的至少部分以及邻近该感兴趣区的区域。基于感兴趣区和总区域提取特征向量。基于特征向量和分类器确定道路状况。

Description

用于确定道路表面的状况的系统和方法
技术领域
当前公开总地涉及用于确定道路表面的状况的系统和方法。
背景技术
出于主动安全、辅助驾驶和车辆稳定性目的确定道路表面的状况是有用的。例如，确定道路表面是潮湿的或者被覆盖在冰（例如薄冰）中允许车辆对该道路状况作出响应。
许多先前的方法要求昂贵的硬件并且在某些照明状况期间失灵。例如，某些先前的方法在环境照明状况变化（例如，太阳光，街灯等）时失灵，其使得这些方法不一致并且不可靠。
发明内容
当前技术涉及用于检测道路表面的状况的系统和方法。这些系统能够使用经济的发光源，诸如闪光灯或发光二极管（LED）。发光源使得这些系统和方法对于变化的环境状况是稳健的。
根据示例性的实施例，一种方法包括通过处理器访问由相机产生的道路表面的图像。该图像包括来自光源的图案。该方法进一步包括通过处理器确定图像中的感兴趣区和图像中的总区域。感兴趣区包括来自图像的像素并且基于来自光源的图案。该总区域包括来自图像的像素并且包括感兴趣区的至少部分和邻近感兴趣区的区域。该方法进一步包括基于感兴趣区和总区域的特性提取特征向量，并且基于特征向量和分类器确定道路状况。
方案1.一种方法，包括：
通过处理器访问由相机产生的道路表面的图像，其中，所述图像包括来自光源的图案；
通过处理器确定所述图像中的感兴趣区，所述感兴趣区包括来自所述图像的像素，其中，所述感兴趣区基于来自所述光源的图案；
通过处理器确定所述图像中的总区域，所述总区域包括来自所述图像的像素，其中，所述总区域包括所述感兴趣区的至少部分以及邻近所述感兴趣区的区域；
基于所述感兴趣区和总区域的特性提取特征向量；以及
通过将所述特征向量与分类器比较来确定道路状况。
方案2.根据方案1所述的方法，其中，所述感兴趣区的像素是所述总区域的像素的子集。
方案3.根据方案1所述的方法，其中，所述分类器包括代表道路状况的边界。
方案4.根据方案3所述的方法，其中，所述分类器包括代表是冰覆盖的表面和水覆盖的表面之一的道路状况的边界。
方案5.根据方案3所述的方法，其中，所述分类器是使用支持向量机技术和线性判别分析技术之一产生的。
方案6.根据方案1所述的方法，进一步包括通过处理器将所述感兴趣区和总区域转换为下列数值之一：
二元数值；和
使用高斯拉普拉斯算子过滤器产生的数值。
方案7.根据方案1所述的方法，其中，提取特征向量包括：
从所述感兴趣区提取第一组特性；
从所述总区域提取第二组特性；以及
基于所述第一组特性和第二组特性产生特征向量。
方案8.根据方案7所述的方法，其中：
所述第一组特性包括所述感兴趣区的强度的平均值；
所述第二组特性包括所述总区域的强度的平均值；以及
所述特征向量包括为所述感兴趣区的强度的平均值除以所述总区域的强度的平均值的第一特征。
方案9.根据方案7所述的方法，其中：
所述第一组特性包括所述感兴趣区的强度方差；以及
所述特征向量包括为所述感兴趣区的强度方差的第一特征。
方案10.根据方案7所述的方法，其中：
所述第一组特性包括所述感兴趣区的强度方差；
所述第二组特性包括所述总区域的强度方差；以及
所述特征向量包括为所述感兴趣区的强度方差除以所述总区域的强度方差的第一特征。
方案11.根据方案7所述的方法，所述特征向量包括为在被高斯拉普拉斯算子过滤器处理之后所述感兴趣区的最大响应的第一特征。
方案12.根据方案1所述的方法，其中，提取特征向量包括使用主成分分析技术选择特征子集。
方案13.根据方案1所述的方法，其中，所述道路状况是第一道路状况，所述方法进一步包括：
访问第二道路状况；以及
基于至少第一道路状况和第二道路状况确定总体道路状况迹象。
方案14.根据方案13所述的方法，其中，所述感兴趣区是第一感兴趣区；
其中，所述第一道路状况是基于所述第一感兴趣区；
其中，所述第二道路状况是基于第二感兴趣区；以及
其中，所述第一感兴趣区和第二感兴趣区在时间和空间的至少一个上分布。
方案15.根据方案14所述的方法，其中，所述第一感兴趣区和第二感兴趣区在所述图像中包括不同的像素。
方案16.根据方案15所述的方法，其中，所述第一感兴趣区和第二感兴趣区基于所述光源的图案来选择。
方案17.根据方案14所述的方法，其中，所述第一感兴趣区和第二感兴趣区在不同的图像中，其中，所述不同的图像是在不同的时间产生和由不同的相机产生中的至少一个。
方案18.一种系统，用于车辆，包括：
光源，配置成在道路表面上提供光图案；
相机，配置成产生道路表面的图像，所述图像包括光图案；
处理器；以及
存储器，包括：
指令，当由所述处理器执行时，导致所述处理器实施操作，所述操作包括：
访问由所述相机产生的道路表面的图像，所述图像包括像素，所述像素的每一个具有强度值；
从所述图像确定感兴趣区，所述感兴趣区包括来自所述图像的像素；
从所述图像确定总区域，所述总区域包括来自所述图像的像素，其中，所述总区域包括在所述感兴趣区中的像素和在所述图像的邻近所述感兴趣区的区域中的像素；
基于所述感兴趣区和总区域提取特征向量；以及
基于所述特征向量和分类器确定道路状况。
方案19.根据方案18所述的系统，基于所述感兴趣区和总区域提取特征向量包括：
从所述感兴趣区提取第一组特性；以及
从所述总区域提取第二组特性。
方案20.一种计算机可读介质，包括指令，当由处理器执行时导致所述处理器实施操作，所述操作包括：
访问由相机产生的道路表面的图像，所述图像包括像素，所述像素的每一个具有强度值；
从所述图像确定感兴趣区，所述感兴趣区包括来自所述图像的像素；
从所述图像确定总区域，所述总区域包括来自所述图像的像素，其中，所述总区域包括在所述感兴趣区中的像素和在所述图像的邻近所述感兴趣区的区域中的像素；
基于所述感兴趣区和总区域提取特征向量；以及
基于所述特征向量和分类器确定道路状况。
附图说明
图1示意地示出根据当前公开的实施例的包括道路表面检测系统的车辆。
图2示出图1的道路表面检测系统的计算单元。
图3示出道路状况分析方法和分类器产生方法。
图4示出图1的道路表面检测系统的相机的图像。
图5示出图1的道路表面检测系统的相机的图像。
图6示出图1的道路表面检测系统的相机的图像。
图7示出在潮湿道路状况期间道路表面的训练（training）图像。
图8示出在薄冰道路状况期间道路表面的训练图像。
图9示出在干燥道路状况期间道路表面的训练图像。
图10示出在新雪道路状况期间道路表面的训练图像。
图11示出在半融雪道路状况期间道路表面的训练图像。
图12示出图7的训练图像作为二元训练图像。
图13示出图8的训练图像作为二元训练图像。
图14示出图9的训练图像作为二元训练图像。
图15示出图10的训练图像作为二元训练图像。
图16示出图11的训练图像作为二元训练图像。
图17是一组训练特征向量和代表分类器的边界的图形说明。
图18是多组训练特征向量和代表分类器的边界的图形说明。
图19示出随时间产生的一系列图像的感兴趣区。
这些图不必按比例决定，并且一些特征可以被夸大或最小化，诸如来显示特定部件的细节。在一些情况下，公知的部件、系统、材料或方法没有被详细描述以避免使当前公开模糊。因此，在本文公开的特定结构和功能细节不要被解释为是限制，而仅仅是作为权利要求的基础，以及作为教导本领域技术人员以不同方式使用当前公开的代表性基础。
具体实施方式
如所要求的，当前公开的详细实施例在本文公开。所公开的实施例仅仅是可以各种且替代的形式实施的实例及其组合。如在本文所使用的，例如，“示例性的”及类似术语扩张地是指用作说明、范例、模型或样式的实施例。
如在本文所使用的，术语“车辆”不限于汽车。尽管当前技术在本文主要是关于汽车被描述，但是该技术不限于汽车。这些概念能够用在很广种类的应用中，诸如与飞机、船舶、和其它车辆相关。
根据图1中所示的实施例，车辆10包括道路表面检测系统20。道路表面检测系统20包括计算单元30，光源40和相机50。
相机50能够安装在车辆10的各种位置，给与它观察道路表面70。例如，相机50是前视相机，右视相机，左视相机或后视相机。
光源40包括一个或多个发光装置，诸如发光二极管（LED），闪光灯，激光及类似的。光源40在道路表面70上产生图案86（见图4-6）产生。例如，该图案能够是斑点、圆点、线、斑点线、圆、其它已知的几何形状及类似的。
相机50和光源40定位和取向成使得来自光源40的光图案86从道路表面70反射到相机50。例如，光源40和相机50的每一个瞄准道路表面70上的反射点60。光源40照亮围绕反射点60的道路表面区域72以便于控制道路表面70的照明。
相机50配置成产生道路表面70的可视数据，诸如视频或图像80（见图4-6），代表包括光图案86的照亮的道路表面区域72。为了说明的目的，在本文描述的实施例是关于图像，但是本公开的教导类似地可应用到视频。
例如，图像80是灰度图像，或者转换为灰度图像。图像80在不同时间产生（例如，定期地或者根据触发器或其它指令）。
在替代实施例中，多于一个的相机，每个相机都与它自己的光源配对或使用共享的光源，配置成产生道路表面的图像。例如，前视相机、右视相机、左视相机和后视相机的每一个在相同时间捕捉道路表面的图像。
参考图2，示出计算单元。该计算单元30配置成访问（例如，直接从相机50接收或访问存储器110中的已储存的版本）由相机50产生的图像80。该计算单元30包括处理器100，用于控制和/或处理数据（例如，图像80的数据）；输入/输出数据端口102和存储器110。
处理器能够是多重处理器，其能够包括在单个机器或多重机器中的分布式处理器或平行处理器。处理器能够包括虚拟处理器（多个）。处理器能够包括状态机、专用集成电路（ASIC）、可编程门阵列（PGA）（包括现场PGA）或状态机。当处理器执行指令来履行“操作”时，这能够包括处理器直接履行操作和/或便于另一装置或部件、指导另一装置或部件或与另一装置或部件合作以履行操作。
计算单元30能够包括多种计算机可读介质，包括挥发性介质、非挥发性介质、可去除介质和非可去除介质。如在说明书和权利要求中所使用的，术语“计算机可读介质”及其变体包括存储介质。存储介质包括挥发性和/或非挥发性介质，可去除和/或非可去除介质，诸如例如RAM，ROM，EEPROM，闪速存储器或其它存储器技术，CDROM，DVD，或其它光盘存储器、磁带，磁盘存储器，或其它磁存储装置或任何其它的介质，其被配置成用于储存能够由车辆计算单元30访问的信息。
尽管存储器110被示出驻留贴近处理器100，但是应该理解的是该存储器的至少一部分能够是远程访问的存储系统，例如，在通信网络上的服务器，远程硬盘驱动器，可去除存储介质，其组合以及类似的。因此，数据、应用程序和/或下面所描述的软件中的任一种能够储存在存储器内和/或经由至其它数据处理系统（未示出）的网络连接访问，这些网络连接可以包括例如局域网（LAN），城域网（MAN），或广域网（WAN）。
存储器110包括用在计算单元30中的一些种类的软件和数据，包括应用程序120、数据库130和操作系统140，以及输入/输出装置驱动器150。
如对于本领域技术人员将理解的，操作系统140可以是与数据处理系统一起使用的任何操作系统。输入/输出装置驱动器150可以包括各种例程，通过操作系统140由应用程序访问来与装置或某些存储部件通信。应用程序120能够作为执行指令储存在存储器110和/或固件（未示出）中，以及能够由处理器100执行。
应用程序120包括各种程序，其当由处理器100执行时实施计算单元30的各种特征。应用程序120包括图像处理应用程序，其关于示例性方法被进一步详细描述。应用程序120储存在存储器110中并且配置成由处理器100执行。
应用程序120可以使用储存在数据库130中的数据，诸如由相机50测量的特性的数据（例如，经由输入/输出数据端口102接收）。数据库130包括静态和/或动态数据，由应用程序120、操作系统140、输入/输出装置驱动器150和可以驻留在存储器110中的其它软件程序使用。
应该理解的是图2和上述的描述意在提供当前公开的一些实施例的各种方面在其中能够被实施的适当环境的简短、概括的描述。如在说明书和权利要求中所使用的，术语“计算机可读介质”、“计算机可读存储装置”及其变体，能够包括存储介质。存储介质能够包括挥发性和/或非挥发性介质，可去除和/或非可去除介质，诸如例如RAM，ROM，EEPROM，闪速存储器或其它存储器技术，CDROM，DVD，或其它光盘存储器、磁带，磁盘存储器，或其它磁存储装置或任何其它的介质，排除传播信号，其能够被用于储存能够由图2中所示的装置访问的信息。
尽管该说明书提及计算机可读指令，但是除了计算机可读指令之处或取代计算机可读指令，当前公开的实施例也能够被实施与其它程序模块组合和/或作为硬件和软件的组合。
尽管该说明书包括计算机可执行指令的一般背景，但是当前公开也能够被实施与其它程序模块组合和/或作为硬件和软件的组合。术语“应用程序”或其变体，在本文被扩展地使用，以包括例程、程序模块、程序、部件、数据结构、算法及类似的。应用程序能够被实施在各种系统配置上，包括单个处理器或多处理系统，小型计算机、大型计算机、个人计算机、手持计算装置、基于微处理器的可编程的消费电子产品、其组合以及类似的。
图3显示了根据当前公开的实施例的道路状况分析方法200和分类器产生方法300。应该理解的是方法的步骤不必以任何特定顺序呈现，并且在替代顺序中的一些或全部步骤的性能是可能的并且可预期。为了容易描述和说明，已经以示范顺序呈现这些步骤。步骤能够增加、省略和/或同时执行，而不偏离所附权利要求的范围。
还应该理解的是所示方法能够在任何时间结束。在某些实施例中，这个方法的一些或全部步骤和/或实质等同的步骤通过储存或包括在计算机可读介质（诸如例如上面所描述的计算单元30的存储器110）上的计算机可读的指令的执行来实施。
参考图3，在本文描述的道路状况分析方法200包括图像捕捉步骤210，预处理步骤220，特征向量产生步骤230，分类步骤240和道路状况判定步骤250。这些步骤现在被简短地描述，并且然后在下面关于示例性的应用程序被进一步详细地应用。
预处理步骤220包括使用感兴趣区82和总区域84产生或选择区域强度矩阵和图像80中的总强度矩阵。预处理步骤220还包括使用至少一个预处理技术222（例如，转换到二元图像或灰度图像）将图像80转换到用于特征提取的形式。该预处理步骤也可以包括噪声去除、反扭曲及类似的。
为了清晰目的，尽管特征提取技术用于从形成特征向量的特征区别开，但是从矩阵提取的特征可以称为特性。
特征向量产生步骤230包括使用特征提取技术232从矩阵的每一个提取特性。然后，根据特征选择技术234选择和组合特性。示例性的特征和组合特征的方程式在下面被进一步详细地描述。所选择的特征形成特征向量236，其在分类步骤240处被使用。
分类步骤240包括使用分类器242对特征向量236分类以确定道路状况244。
道路状况判定步骤250包括基于多道路状况确定总体道路状况252。例如，保存在道路状况数据库246中的道路状况（例如，道路状况244和先前确定的或与道路状况244并行的道路状况）用于确定总体道路状况252。
分类器产生方法300使用一组训练图像310并且包括预处理步骤320，特征向量产生步骤330和分类器产生步骤340。一般地，分类器产生方法300使用训练图像310组；选择和应用预处理技术222；选择和应用特征提取技术232；选择和应用特征选择技术234；以及选择和应用分类技术342。预处理技术222、特征提取技术232、特征选择技术234和分类器242储存在存储器110中用于道路状况分析方法200。该分类器产生方法300现在被进一步详细地描述。
参考图4，根据预处理步骤320，计算单元30从图像80选择感兴趣区82和总区域84。一般地，感兴趣区82基于来自光源40的光图案86的位置和几何形状，并且总区域84包括并围绕或相邻于感兴趣区82。例如，总区域84包括感兴趣区82，以及感兴趣区82包括光图案86。在替代实施例中，总区域包括感兴趣区82的至少部分，并且邻近感兴趣区。
为了教导的目的，感兴趣区82是紧密围绕圆形光图案86（例如圆点）的正方形区域。总区域84包括感兴趣区82以及围绕感兴趣区82的五个其它类似尺寸的正方形区域。在这里，总区域84被分裂为子区域，以及包括光图案86的子区域被选择作为感兴趣区82。
替代地，一个或多个感兴趣区82可以由来自光源40的光图案86的尺寸和形状来限定。光图案的尺寸和形状取决于光源，相机安装位置和特定应用场合。感兴趣区82可以是各种几何形状，诸如圆或矩形，以及在某些实施例中符合光源40的图案的几何形状。
例如，参考图5和6，如果光图案86是光圆点线，那么单个感兴趣区82能够包括光图案86（图5），或者多重感兴趣区82被选择，每个感兴趣区82包括光图案86的光圆点（图6）。下面的方法被描述用于单个感兴趣区82，并且其它方法被描述用于多重感兴趣区82。对于多重感兴趣区82，判定算法能够被使用来基于道路状况确定关于道路表面的状况的总体判定，该道路状况是基于感兴趣区82的每一个确定的。
总区域84和感兴趣区82对应于来自图像80的像素。例如，总区域84和感兴趣区82是保存在存储器110中并用于选择来自图像80的像素的边界位置。总区域84的像素矩阵在本文称作总强度矩阵IT。每个像素是在总强度矩阵IT的行(i)和列(j)中的元素(i,j)。每个元素(i,j)具有强度值IT(i,j)。总区域84的总强度矩阵IT具有XT行和YT列。
在感兴趣区82中的每个像素是在区强度矩阵IR的行(i)和列(j)中的元素(i,j)。每个元素(i,j)具有强度值I-R(i,j)。感兴趣区82的区强度矩阵I-R具有XR行和YR列。
总区域84的像素包括感兴趣区82的像素。尽管感兴趣区82中的像素是总区域84中的像素的子集，但是为了清晰和处理目的，感兴趣区82中的像素从总强度矩阵IT（例如，总区域84的总强度矩阵）拷贝并且分开保存作为区强度矩阵IR。这使得下面的方程式更简单，因为区强度矩阵IR的行和元素分别以i=1andj=1开始。然而，下面的方程式能够被修改，在区强度矩阵IR中的元素的每一个线性地映射到总强度矩阵IT。
参考图7-11，训练图像310示出不同道路状况。例如，道路状况包括：道路表面70是潮湿的；在道路表面70上有冰（例如薄冰）；道路表面70是干燥的；在道路表面70上有新雪；以及在道路表面70上有半融雪。图7是训练图像310，在这里道路表面70是潮湿的，图8是在道路表面70上冰（例如薄冰）的训练图像310，图9是训练图像310，在这里道路表面70是干燥的，图10是在道路表面70上新雪的训练图像310，以及图11是在道路表面70上半融雪的训练图像310。
根据预处理步骤320，区强度矩阵IR和总强度矩阵IT根据预处理技术222来处理。图像处理技术包括但是不限于转换到二元、转换到灰度，过滤技术（例如，高斯拉普拉斯算子（LOG）过滤器）、封装器方法以及植入技术。
在一些应用程序中，预处理技术2222包括使用不同的技术（例如多于一个）处理区强度矩阵IR和总强度矩阵IT的每一个，以扩展能够提取的特征的数目。例如，预处理技术222分开地使用二元和LOG处理来产生二元区强度矩阵IR，二元总强度矩阵IT，LOG区强度矩阵IR和LOG总强度矩阵IT。
根据示例性的预处理步骤320，计算单元30将总强度矩阵IT和区强度矩阵IR从灰度转换到二元。为了教导的目的，在图7-11中的训练图像310的每一个显示被转换到图12-16中的二元训练图像310。图12是从图7的灰度训练图像310产生的二元训练图像310，图13是从图8的灰度训练图像310产生的二元训练图像310，图14是从图9的灰度训练图像310产生的二元训练图像310，图15是从图10的灰度训练图像310产生的二元训练图像310，以及图16是从图11的灰度训练图像310产生的二元训练图像310。
例如，处理器100将总强度矩阵IT和区强度矩阵IR从灰度转换到二元是通过用比一定程度大的具有数值1（即白色）的强度取代总强度矩阵IT和区强度矩阵IR的每一个中的全部像素以及用数值0（即黑色）取代所有其它像素。该程度是可变的并且规定在从0到1的范围内。
例如，该程度由大津法（Otsu'smethod）来确定，其自动地执行基于群集（clustering）的图像阈值化。该算法假定图像包括遵循双模柱状图的两个种类的像素，并且计算将两个种类分开的最佳阈值，以使得它们的组合范围(spread)（类间分散（variance））是最小的。
参考特征向量产生步骤330，根据特征提取技术232，特征从矩阵提取。特别地，矩阵的每一个变换成减少的特征代表组。被提取的特征可以取决于所选择的预处理技术222。特征提取技术232包括但是不限于过滤技术（例如，LM过滤器簇），基于共生矩阵的纹理特征分析，空间频率分析和强度柱状图分析。
矩形的提取特征包括平均强度、强度的变化、最大响应（例如在应用LOG过滤器之后），其组合及类似的。
特征向量产生步骤330进一步包括根据特征选择技术从特性组选择特征，这些特性组从每个矩阵提取。每个被选择的特征是特征向量的维数（dimension）。
例如，如果从矩阵提取的一组特性是很大的，那么特征选择技术234可以被应用来选择该特性组的子集，以努力除去多余或不相关的特性（例如，没有将一个道路状况与另一个道路状况区别开的特性），以及由此减少特征向量的维数。特征选择技术234包括但是不限于主成份分析、奇异值分解、独立分量分析或类似的。
此外，特征选择技术234可以被应用来组合提取的特性（例如，根据方程式）以产生特征向量的特征。用于选择和组合提取的特性的技术作为特征选择技术234储存用于产生特征向量（例如，特征向量236或下面描述的训练特征向量332）。示例性的特征现在被进一步详细地描述。
下面，第一特征400（feature1）是基于比较感兴趣区82（区强度矩阵IR）中的离散度与总区域84（总强度矩阵IT）中的离散度。第一特征400（feature1）将在总区域84上更均匀离散的道路状况与离散度（dispersion）集中在感兴趣区82中的道路状况分开。
第一平均强度从区强度矩阵提取，并且第二平均强度从总强度矩阵提取。第一平均强度和第二平均强度然后被组合以限定第一特征400。特别地，第一特征400（feature1）是区强度矩阵IR（感兴趣区82）的强度值的平均值除以总强度矩阵IT（总区域84）的强度值的平均值。第一特征400具有更大的数值，在这里，感兴趣区82中的强度平均值与总区域84中的强度平均值相比是更大的。
例如，第一特征400被计算作为：
方程式1
其中，XR是区强度矩阵IR的行的数目；YR是区强度矩阵IR的列的数目；区强度矩阵IR是感兴趣区82的强度值的矩阵；XT是总强度矩阵IT的行的数目；YT是总强度矩阵IT的列的数目；以及总强度矩阵IT是总区域84的强度值的矩阵。
第二特征402（feature2）基于感兴趣区82（区强度矩阵IR）中的离散度以在离散度集中于感兴趣区82中的道路状况之间区别开。
强度方差(variance)从区强度矩阵提取。强度方差限定第二特征402。特别地，第二特征402（feature2）是区强度矩阵（感兴趣区82）的强度的方差。例如，第二特征402被计算作为：
方程式2
其中，XR是区强度矩阵IR的行的数目；YR是区强度矩阵IR的列的数目；区强度矩阵IR是感兴趣区82的强度值的矩阵；以及μR是区强度矩阵IR的强度值的平均值。
第一强度方差从区强度矩阵提取，并且第二强度方差从总强度矩阵提取。第一强度方差和第二强度方差然后被组合以限定第三特征404。特别地，第三特征404（feature3）是区强度矩阵IR（感兴趣区82）的强度值的方差除以总强度矩阵IT（总区域84）的强度值的方差。例如，第三特征404（feature3）被计算作为：
方程式3
其中，XR是区强度矩阵IR的行的数目；YR是区强度矩阵IR的列的数目；区强度矩阵IR是感兴趣区82的强度值的矩阵；μR是区强度矩阵IR的强度值的平均值；XT是总强度矩阵IT的行的数目；YT是总强度矩阵IT的列的数目；总强度矩阵IT是总区域84的强度值的矩阵；μT是总强度矩阵IT的强度值的平均值。
类似于第一特征400（feature1），第三特征404（feature3）将潮湿道路状况和薄冰与其它道路状况分开。如果第三特征404（feature3）是大约1，那么总区域84的强度的变化在总区域84（包括感兴趣区82）上被离散或铺开达更大程度。图像80中的强度的变化在总区域84上离散达更大程度的道路表面状况包括道路表面70是干燥的，在道路表面70上有新雪，或在道路表面70上有半融雪。
如果感兴趣区82的强度的变化大于总区域84的强度（薄冰或水坑的情况），那么第三特征是相当大的。否则，如果感兴趣区82的强度的变化类似于总区域84（干燥的情况），那么第三特征与薄冰或水坑的情况相比是小的。
最大强度从区强度矩阵提取。最大强度限定第四特征406。例如，第四特征406（feature4）被计算作为：
方程式4
这些特征（例如，feature1,feature2,feature3和feature4）仅是示例性的被选择特征组，其可以储存作为特征选择技术234的部分。替代特征可以通过应用上面提及的特征提取和选择技术被限定和选择。
根据分类器产生步骤340，分类器242使用训练特征向量332产生。训练图像310根据所选择的预处理技术222来处理以产生被处理的区强度矩阵IR和被处理的总强度矩阵IT。特性根据特征提取技术232从被处理的矩阵提取，并且被提取的特性根据特征选择技术234来选择和组合以产生一组训练特征向量332。该组训练特征向量332的每一个与已知的道路状况相关联。在分类器产生步骤340处，该组训练特征向量332用于使用分类技术342产生分类器242。
分类技术342包括支持向量机（SVM）、线性判别分析（LDA）、自适应增强算法（adaBoost）、随机森林、群集及类似的。分类技术342用于通过使用与已知状况相关联的该组训练特征向量332训练分类器242来设计分类器242。
分类器242的每一个包括在特征空间中的边界，其在不同类型的道路状况之中区分开。替代地描述，每个分类器242是代表已知状况的有界限空间。示例性的分类技术342现在被进一步详细地描述。
参考图17，对于在训练图像310组中的每个图像，区强度矩阵和总强度矩阵被选择和转换到二元（例如，示例性的预处理技术222）。对于在训练图像310组中的每个图像，特征从被处理的区强度矩阵和总强度矩阵提取（例如根据示例性的特征提取技术232）；第一特征400和第二特征402被选择和计算（例如根据示例性的特征选择技术234）来产生训练特征向量332（在图17中，为了清晰只有一个被标注，其余作为数据点显示）。在这里，训练特征向量332是二维的——一维是第一特征400的维数（dimension）的数值，并且第二维是第二特征402的维数的数值。
在图17中，对于每个训练特征向量332，数据点基于道路状况（在这里描绘的不同状况是干燥420、水坑422、新雪424、薄冰426、半融雪428）被按照符号认别（例如，圆、六边形、x、菱形、三角形），并且数据点被绘在曲线图430上。第一特征的数值被沿着x-轴绘制，并且第二特征402的数值被沿着y-轴绘制。
分类器242（由边界412、414、416示出示例性的边界）被确定，每一个与一个或多个道路状况420、422、424、426、428相关联。一般地，每个分类器242能够适合训练特征向量332群，这些训练特征向量332与已知的道路状况（或多重道路状况）相关联。例如，使用支持向量机分类技术和训练特征向量332组，分类器（例如，由方程式或函数代表）将包括判定边界。
在图17中的分类器的圆和直线突出了特征向量群并且代表分类器的判定边界。然而，由分类技术或手动产生的判定边界能够具有任何几何形状。例如，分类器242的边界能够具有不同形状和维数，取决于分类技术和训练特征向量332组。
为了说明的目的，具有边界412的分类器242适合训练特征向量332群，这些训练特征向量332与干燥420、新雪424和半融雪428的道路状况相关联；具有边界414的分类器242适合训练特征向量332群，这些训练特征向量332与潮湿422的道路状况相关联；以及具有边界416的分类器242适合训练特征向量332群，这些训练特征向量332与薄冰426的道路状况相关联。
分类器242的空间维数取决于使用特征选择技术234选择的特征的数目。例如，对于使用两个特征的特征向量，分类器242是二维的（例如区域）。
在图17中，具有边界414、416的分类器242与具有边界412的分类器242分开，因为一般来讲第一特征400对于潮湿422和薄冰426是较大的，而对于其它道路状况420、424、428是较小的。例如，如果总区域84的强度在总区域84（包括感兴趣区82）上被离散或铺开达更大的程度，那么第一特征400大约是1。强度在总区域84上被离散达更大程度的道路表面状况包括道路表面70是干燥的，在道路表面70上有新雪，或在道路表面70上有半融雪。
如果总区域84的强度集中（例如更少离散）在感兴趣区82中或者以其它方式在感兴趣区82中远大于总区域84的其余部分，那么第一特征400远大于1。例如，如果第一特征400大于4，那么强度集中在感兴趣区82中。如果强度集中在感兴趣区82中，那么道路状况是潮湿道路状况或薄冰道路状况之一。
具有边界414、416的分类器242彼此分离，因为一般来讲，第二特征402对于薄冰426道路状况是较大的，而对于潮湿422道路状况是较小的。特别地，潮湿422道路状况的方差小于薄冰426道路状况的方差。换言之，来自潮湿道路表面的反射更加紧紧地集中在感兴趣区82内的反射点周围。
参考图18中所示的另一实例，分类器242根据分类器产生方法300确定，每一个分类器与道路状况相关联。
在这里，对于该组训练图像310中的每一个图像，区强度矩阵和总强度矩阵在预处理步骤320（例如根据所选择的预处理技术222）处被选择和转换到灰度并且用高斯拉普拉斯算子（LOG）过滤器来过滤。在特征向量产生步骤330处，对于每个被处理的矩阵，根据所选择的特征提取技术来提取特性。根据特征选择技术234，第一特征400从特性产生，这些特性从灰度总强度矩阵IT和灰度区强度矩阵IR的的每一个提取；第三特征404从特性产生，这些特性从灰度总强度矩阵IT和灰度区强度矩阵IR的的每一个提取；以及第四特征406从特性产生，该特性从LOG区强度矩阵IR产生。
对于每个训练图像310，第一特征400、第三特征404和第四特征406的数值提供训练特征向量332（例如，为了清晰，仅一个被标注，其余的作为数据点显示）。每个训练特征向量332包括在第一特征400、第三特征404和第四特征406的每一个的维数的数值。
如上面的，在分类器产生步骤340处，具有边界（例如边界434、436）的分类器242根据分类技术适合训练特征向量332群。
再次参考图3，在图像捕捉步骤210处，图像80由相机50产生。该图像80由计算单元30访问。
在预处理步骤220处，计算单元30根据储存在存储器110中的感兴趣区82和总区域84选择总强度矩阵IT和区强度矩阵IR的每一个。另外，总强度矩阵IT和区强度矩阵IR根据储存在存储器110中的预处理技术222来处理。
在特征向量产生步骤230处，计算单元30产生特征向量236。计算单元30根据储存在存储器110中的特征提取技术232从被处理的矩阵提取特性。计算单元30然后根据特征选择技术234选择和产生特征，并且产生特征向量236。
在分类步骤240处，计算单元30基于储存在存储器110中的特征向量236和分类器242确定道路状况。例如，计算单元30将特征向量236与分类器242进行比较，并且如果特征向量236落入分类器242的边界内，那么与分类器242相关联的道路状况244由计算单元30确定或选择。
在道路状况判定步骤250处，来自分类步骤240的道路状况244是总体道路状况252。替代地，在道路状况判定步骤250处，来自道路状况数据库246的多重道路状况被分析和合成以确定总体道路状况252。
一般来讲，通过分类步骤240使用道路状况分析方法200，道路状况244被确定用于每个配对的感兴趣区82和总区域84。多重对能够从单个图像80（例如，如在图6中）选择，并且在不同图像80中能够选择对。在多重图像80的情况下，例如，图像80由不同相机50在同一时间捕捉，并且在每个图像中有至少一个对，或者一系列图像由相机50随时间进行捕捉（例如，如在图19中），并且在每个图像中有至少一个对。
参考图19，一系列图像80用于确定总体道路状况252。在这里，道路状况分析方法200用于确定时间501,502,503,504,505,506,507,508,509,510的每一个处的道路状况244，并且道路状况244被保存在道路状况数据库246中。然后，来自道路状况数据库246的多于一个的道路状况244被用于确定总体道路状况252。例如，在时间窗520中的时间501,502,503,504,505处的道路状况244被计数。作为实例，对于时间窗520的总体道路状况252是被计数最多的道路状况244。例如，如果薄冰被计数三次，那么薄冰是总体道路状况252。替代地，如果道路状况244的计数大于阈值，那么道路状况244是总体道路状况252。例如，如果薄冰在时间窗520中为道路状况至少两次，那么薄冰就被选择作为道路状况。
时间窗520然后移动，并且在时间窗520中的时间502,503,504,505,506处的道路状况被计数等等。
时间窗520减少燥声并且提供正确道路表面识别的更高可信度。时间窗520能够是不同大小以包括更多或更少的时间。时间窗520在不同时间场合能够被重设。
在本文公开了当前公开的各种实施例。上面描述的实施例仅仅是为了清楚理解本公开的原理而阐述的实施方式的示例性说明。可以对上面描述的实施例作出变更、修改和组合，而不偏离权利要求的范围。所有这样的变更、修改和组合通过这个公开和下面权利要求的范围而被包括在本文中。

Claims (10)

1.一种方法，包括：
通过处理器访问由相机产生的道路表面的图像，其中，所述图像包括来自光源的图案；
通过处理器确定所述图像中的感兴趣区，所述感兴趣区包括来自所述图像的像素，其中，所述感兴趣区基于来自所述光源的图案；
通过处理器确定所述图像中的总区域，所述总区域包括来自所述图像的像素，其中，所述总区域包括所述感兴趣区的至少部分以及邻近所述感兴趣区的区域；
基于所述感兴趣区和总区域的特性提取特征向量；以及
通过将所述特征向量与分类器比较来确定道路状况。
2.根据权利要求1所述的方法，其中，所述感兴趣区的像素是所述总区域的像素的子集。
3.根据权利要求1所述的方法，其中，所述分类器包括代表道路状况的边界。
4.根据权利要求3所述的方法，其中，所述分类器包括代表是冰覆盖的表面和水覆盖的表面之一的道路状况的边界。
5.根据权利要求3所述的方法，其中，所述分类器是使用支持向量机技术和线性判别分析技术之一产生的。
6.根据权利要求1所述的方法，进一步包括通过处理器将所述感兴趣区和总区域转换为下列数值之一：
二元数值；和
使用高斯拉普拉斯算子过滤器产生的数值。
7.根据权利要求1所述的方法，其中，提取特征向量包括：
从所述感兴趣区提取第一组特性；
从所述总区域提取第二组特性；以及
基于所述第一组特性和第二组特性产生特征向量。
8.一种系统，用于车辆，包括：
光源，配置成在道路表面上提供光图案；
相机，配置成产生道路表面的图像，所述图像包括光图案；
处理器；以及
存储器，包括：
指令，当由所述处理器执行时，导致所述处理器实施操作，所述操作包括：
访问由所述相机产生的道路表面的图像，所述图像包括像素，所述像素的每一个具有强度值；
从所述图像确定感兴趣区，所述感兴趣区包括来自所述图像的像素；
从所述图像确定总区域，所述总区域包括来自所述图像的像素，其中，所述总区域包括在所述感兴趣区中的像素和在所述图像的邻近所述感兴趣区的区域中的像素；
基于所述感兴趣区和总区域提取特征向量；以及
基于所述特征向量和分类器确定道路状况。
9.根据权利要求8所述的系统，基于所述感兴趣区和总区域提取特征向量包括：
从所述感兴趣区提取第一组特性；以及
从所述总区域提取第二组特性。
10.一种计算机可读介质，包括指令，当由处理器执行时导致所述处理器实施操作，所述操作包括：
访问由相机产生的道路表面的图像，所述图像包括像素，所述像素的每一个具有强度值；
从所述图像确定感兴趣区，所述感兴趣区包括来自所述图像的像素；
从所述图像确定总区域，所述总区域包括来自所述图像的像素，其中，所述总区域包括在所述感兴趣区中的像素和在所述图像的邻近所述感兴趣区的区域中的像素；
基于所述感兴趣区和总区域提取特征向量；以及
基于所述特征向量和分类器确定道路状况。
CN201510912608.6A 2014-12-12 2015-12-11 用于确定道路表面的状况的系统和方法 Active CN105701444B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/568,656 US9598087B2 (en) 2014-12-12 2014-12-12 Systems and methods for determining a condition of a road surface
US14/568656 2014-12-12

Publications (2)

Publication Number Publication Date
CN105701444A true CN105701444A (zh) 2016-06-22
CN105701444B CN105701444B (zh) 2019-11-29

Family

ID=56082495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510912608.6A Active CN105701444B (zh) 2014-12-12 2015-12-11 用于确定道路表面的状况的系统和方法

Country Status (3)

Country Link
US (1) US9598087B2 (zh)
CN (1) CN105701444B (zh)
DE (1) DE102015121339B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205647A (zh) * 2016-12-20 2018-06-26 乐视汽车（北京）有限公司 道路状况监测方法、装置及电子设备
CN109409183A (zh) * 2017-08-15 2019-03-01 通用汽车环球科技运作有限责任公司 分类路面状况的方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6343987B2 (ja) * 2014-03-18 2018-06-20 富士通株式会社 路面劣化検出方法、情報処理装置及びプログラム
US9950700B2 (en) 2016-03-30 2018-04-24 GM Global Technology Operations LLC Road surface condition detection with multi-scale fusion
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness
US10310298B2 (en) 2016-10-25 2019-06-04 GM Global Technology Operations LLC Smart sensor-cover apparatus and methods and computer products for implementing same
DE102017107434A1 (de) * 2017-04-06 2018-10-11 Hochschule Bochum Vorrichtung und Verfahren zum Unterscheiden von Bodenbelägen
US11566902B2 (en) * 2017-08-03 2023-01-31 Idealab Localization of autonomous vehicles via ground image recognition
US10814846B2 (en) 2017-08-11 2020-10-27 Ford Global Technologies, Llc Traction control based on friction coefficient estimation
JP6637936B2 (ja) * 2017-09-14 2020-01-29 株式会社Ｓｕｂａｒｕ 車両の路面判定装置
US10641391B2 (en) 2018-04-23 2020-05-05 GM Global Technology Operations LLC System and method for CVT clamp control based on oncoming conditions in a vehicle propulsion system
US11124193B2 (en) 2018-05-03 2021-09-21 Volvo Car Corporation System and method for providing vehicle safety distance and speed alerts under slippery road conditions
US10706294B2 (en) 2018-05-03 2020-07-07 Volvo Car Corporation Methods and systems for generating and using a road friction estimate based on camera image signal processing
US11592566B2 (en) 2019-08-15 2023-02-28 Volvo Car Corporation Vehicle systems and methods utilizing LIDAR data for road condition estimation
DE102018209595A1 (de) * 2018-06-14 2019-12-19 Robert Bosch Gmbh Verfahren zum automatischen Bestimmen eines Straßenzustands
DE102018114956A1 (de) * 2018-06-21 2019-12-24 Connaught Electronics Ltd. Verfahren zum Bestimmen eines aktuellen Nässezustands einer Fahrbahn mittels einesNässezustandsmodells, elektronische Recheneinrichtung sowie Fahrerassistenzsystem
US10872419B2 (en) * 2018-09-04 2020-12-22 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US20230215045A1 (en) * 2022-01-03 2023-07-06 GM Global Technology Operations LLC On-vehicle camera alignment monitoring system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807473B1 (en) * 2003-04-09 2004-10-19 Continental Teves, Inc. Road recognition system
US20080199045A1 (en) * 2005-05-31 2008-08-21 Koninklijke Philips Electronics, N.V. Method and a System For Detecting a Road at Night
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
US20090067675A1 (en) * 2007-09-07 2009-03-12 Yi Tan Radar guided vision system for vehicle validation and vehicle motion characterization
US20130027511A1 (en) * 2011-07-28 2013-01-31 Hitachi, Ltd. Onboard Environment Recognition System
US20140063250A1 (en) * 2012-09-06 2014-03-06 Hyun Jin Park Apparatus and method of processing image of vehicle and system for processing image of vehicle using the same
WO2014127777A2 (de) * 2013-02-19 2014-08-28 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730414A1 (de) 1997-07-16 1999-01-21 Opel Adam Ag Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung
JP6176028B2 (ja) * 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
EP2852831A4 (en) * 2012-05-23 2016-04-20 Raqib Omer METHOD AND SYSTEM FOR CLASSIFYING ROLLING SURFACE CONDITIONS
US9139204B1 (en) * 2014-06-12 2015-09-22 GM Global Technology Operations LLC Road surface condition detection with recursive adaptive learning and validation
US10272919B2 (en) * 2014-10-09 2019-04-30 Gm Global Technology Operations, Llc Methods and systems for estimating road surface friction coefficient using self aligning torque

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807473B1 (en) * 2003-04-09 2004-10-19 Continental Teves, Inc. Road recognition system
US20080199045A1 (en) * 2005-05-31 2008-08-21 Koninklijke Philips Electronics, N.V. Method and a System For Detecting a Road at Night
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
US20090067675A1 (en) * 2007-09-07 2009-03-12 Yi Tan Radar guided vision system for vehicle validation and vehicle motion characterization
US20130027511A1 (en) * 2011-07-28 2013-01-31 Hitachi, Ltd. Onboard Environment Recognition System
US20140063250A1 (en) * 2012-09-06 2014-03-06 Hyun Jin Park Apparatus and method of processing image of vehicle and system for processing image of vehicle using the same
WO2014127777A2 (de) * 2013-02-19 2014-08-28 Conti Temic Microelectronic Gmbh Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205647A (zh) * 2016-12-20 2018-06-26 乐视汽车（北京）有限公司 道路状况监测方法、装置及电子设备
CN109409183A (zh) * 2017-08-15 2019-03-01 通用汽车环球科技运作有限责任公司 分类路面状况的方法
CN109409183B (zh) * 2017-08-15 2022-04-26 通用汽车环球科技运作有限责任公司 分类路面状况的方法

Also Published As

Publication number Publication date
US9598087B2 (en) 2017-03-21
DE102015121339A1 (de) 2016-06-16
US20160167669A1 (en) 2016-06-16
DE102015121339B4 (de) 2023-09-21
CN105701444B (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN105701444A (zh) 用于确定道路表面的状况的系统和方法
US10860882B2 (en) Apparatus and methods for tracking salient features
Han et al. A comparative study on illumination preprocessing in face recognition
JP6592000B2 (ja) 目追跡でのグレアに対処すること
US7724962B2 (en) Context adaptive approach in vehicle detection under various visibility conditions
US11700457B2 (en) Flicker mitigation via image signal processing
Souani et al. Efficient algorithm for automatic road sign recognition and its hardware implementation
US9295415B2 (en) Foreign object determination device, foreign object determination method and foreign object determination program
KR20220125377A (ko) 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법
Suh et al. Improved vegetation segmentation with ground shadow removal using an HDR camera
Rajeshwari et al. Object detection: an overview
Zhao et al. Automatic blur region segmentation approach using image matting
CN113243354A (zh) 一种基于计算机视觉算法和人工智能技术的激光驱鸟方法、装置
Li et al. SMWE-GFPNNet: A high-precision and robust method for forest fire smoke detection
US20210216799A1 (en) Method and apparatus for detecting on-duty state of driver, device, and computer storage medium
Tao Detecting smoky vehicles from traffic surveillance videos based on dynamic features
Zulkarnain et al. Fire Detection based on Smoke Image using Convolutional Neural Network (CNN)
US20120328184A1 (en) Optically characterizing objects
Paczolay et al. Wlab of university of szeged at lifeclef 2014 plant identification task
Lin et al. Foreground object detection in highly dynamic scenes using saliency
TWI451342B (zh) Shadow Removal Method in Mobile Light Source Environment
Tingting et al. Pattern recognition of decorative elements based on neural network
Zhan et al. Lithium battery swollen detection based on computer vision
Snorrason et al. Modeling cognitive effects on visual search for targets in cluttered backgrounds
Fernández et al. Multi-level paralelism in image identification

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant