CN107782413A - 水膜厚度的基于视觉的车载实时估计 - Google Patents

水膜厚度的基于视觉的车载实时估计 Download PDF

Info

Publication number
CN107782413A
CN107782413A CN201710723709.8A CN201710723709A CN107782413A CN 107782413 A CN107782413 A CN 107782413A CN 201710723709 A CN201710723709 A CN 201710723709A CN 107782413 A CN107782413 A CN 107782413A
Authority
CN
China
Prior art keywords
water
film thickness
verification
water film
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710723709.8A
Other languages
English (en)
Other versions
CN107782413B (zh
Inventor
B·B·利特库希
Q·赵
张奇
王劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107782413A publication Critical patent/CN107782413A/zh
Application granted granted Critical
Publication of CN107782413B publication Critical patent/CN107782413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F23/00—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm
    • G01F23/22—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water
    • G01F23/28—Indicating or measuring liquid level or level of fluent solid material, e.g. indicating in terms of volume or indicating by means of an alarm by measuring physical variables, other than linear dimensions, pressure or weight, dependent on the level to be measured, e.g. by difference of heat transfer of steam or water by measuring the variations of parameters of electromagnetic or acoustic waves applied directly to the liquid or fluent solid material
    • G01F23/284—Electromagnetic waves
    • G01F23/292—Light, e.g. infrared or ultraviolet
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/172—Determining control parameters used in the regulation, e.g. by calculations involving measured or detected parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/10—Detection or estimation of road conditions
    • B60T2210/13—Aquaplaning, hydroplaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Fluid Mechanics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一种用于确定行进路径上的水的厚度的方法。通过图像采集装置在预定采样时期期间采集行进路径的表面的多个图像。将多个湿表面检测技术应用至各个图像。针对每种湿表面检测技术实时地确定检测率。根据车辆的速度针对每个检测率确定检测率触发条件。将实时确定的检测率触发条件与分类模块中的预定检测率触发条件相比较以便识别匹配结果模式。在分类模块中识别与匹配结果模式相关联的水膜厚度。将水膜厚度信号提供至控制装置。控制装置应用水膜厚度信号以缓和湿表面条件。

Description

水膜厚度的基于视觉的车载实时估计
技术领域
实施例总体上涉及检测在行进路径上的水和水膜厚度。
背景技术
在驾驶表面上的降水引起对于车辆的多个不同问题。例如，在道路上的水会减小车辆的轮胎与道路的表面之间的摩擦系数，从而导致车辆稳定性问题。对行进道路上的降水的检测通常是由主车辆通过使用一些感测操作来感测道路上的降水来确定，这些感测操作发生在当降水已经影响车辆操作时，诸如，检测车轮滑移。因此，车辆必须监测其自身在干路面操作条件下的操作条件(例如，车轮滑移)以确定是否存在降水。因此，这些系统可以等待发生这种条件或者可以引入对车辆的激励以确定是否存在该条件(例如，生成对从动轮的突然加速以在存在降水的情况下引起车轮滑移)。
发明内容
实施例的优点在于检测行进路径的表面上存在的水膜厚度。本文所描述的技术协作地使用多个基于视觉的湿表面检测方法来识别道路湿度以及行进路径上的表面上的水膜的厚度水平。基于积水量将水膜的厚度水平预先分类为多个类别。对于各种相应方法，经由车辆测试在不同的速度水平下建立方法的检测性能(通过检测率来量化)与水膜厚度之间的关联图。基于关联图，给定车辆速度，可以通过与上述方法相关联的检测率触发条件的一种组合来独特地绘制每个相应水膜厚度水平的图案，这可以用作分类数据库。当通过以相应速度在行进路径上驾驶的车辆实时地分析行进路径的表面时，在时间窗口时期期间基于样本图像数量来估计每个湿表面检测方法的检测率。将该组估计的检测率与实时车辆速度信息一起发送至分类器以便与分类数据库中的检测率触发条件的各种预储存组合进行比较以识别模式匹配。基于该匹配，将与分类数据库中的检测率触发条件的匹配组合相关联的水膜厚度识别为行进路径的表面上的水膜厚度。向驾驶员提供警报，以及将水膜厚度信号提供至车辆控制装置以缓和行进路径的表面上的水的影响以维持检测到的湿表面上的车辆稳定性。
实施例设想了一种用于确定行进路径上的水的厚度的方法。通过图像采集装置在预定采样时期期间采集行进路径的表面的多个图像。图像采集装置聚焦在当车辆沿着行进路径行进时预期有水飞溅的表面上。通过处理器将多个湿表面检测技术应用至各个图像。通过处理器针对每种湿表面检测技术实时地确定检测率。通过处理器根据车辆的速度针对每个检测率确定检测率触发条件。将实时确定的检测率触发条件与分类模块中的预定检测率触发条件相比较以便识别匹配结果模式。预定检测率触发条件表示各种水膜厚度水平。识别与分类模块中的匹配结果模式相关联的水膜厚度。将水膜厚度信号提供至控制装置。控制装置应用水膜厚度信号以缓和湿表面条件。
附图说明
图1是由摄像机采集到的在湿表面上的车辆场景的示例性透视图。
图2示出了湿表面检测系统的框图。
图3是具有周围视图覆盖的车辆周围的示例性透视图。
图4示出了表示行进路径上的摩擦系数与水膜厚度之间的相互关系的示例性曲线图。
图5示出了采集到的镜像表面的示例性图像。
图6示出了采集到的发生向后飞溅时的示例性图像。
图7示出了采集到的侧轮胎飞溅的示例性图像。
图8示出了当在湿表面上生成轮胎轨迹时的图像。
图9示出了用于建立基于示例性查阅表的离线分类器的过程。
图10a示出了第一技术T1所产生的关联图。
图10b示出了第二技术T2所产生的查阅表。
图10c示出了第三技术T3所产生的关联图。
图10d示出了第四技术T4所产生的关联图。
图11示出了图表，该图表示出了针对每种相应技术分立地确定的检测率。
图12示出了示例性查阅表，包括针对每个相应层对每种技术的检测结果进行的协作分类。
图13示出了在车辆中实时地使用查阅表的方法的流程图。
具体实施方式
图1中示出了沿着车辆道路12行进的车辆10。示出了呈水的形式的降水19在车辆道路12上。当轮胎在车辆道路12或者其它行进路径上的湿表面上旋转时，降水19通常通过车辆车轮14和安装在车轮14的轮辋18上的轮胎16进行位移。有利的不仅是了解车辆何时将沿着湿车辆道路12行进从而使得可以识别并且消除由水引起的问题(诸如，由进入外部进气口的水引起的牵引力损失或者发动机劣化)，同样有利的是识别道路表面上存在的水量，因为道路上的水的厚度水平可能影响实际轮胎/道路摩擦。识别车辆道路12上的水的厚度可以进一步帮助车辆确定恰当的对抗措施以消除牵引力的损失以及水可能对车辆具有的其它负面影响。应理解，尽管本文使用了汽车用于示例性目的，但本文所描述的实施例可以应用于除了汽车之外的、期望检测湿表面条件的其它类型的系统。除了汽车之外的可以使用该系统的车辆的示例包括但不限于：铁路系统、飞机、越野运动车辆、机器人车辆、摩托车、自行车、农用设备、以及施工设备。
车辆道路12上的降水19可以导致当在湿表面上驾驶时牵引力的减小。落在车辆道路12上的降水19降低了车辆轮胎与车辆道路12之间的摩擦系数。因此，车辆轮胎与车辆道路12之间的牵引力降低。识别道路上的水量可以进一步帮助车辆确定恰当的缓和技术以通过各种缓和技术来使牵引力的任何损失最小化，这些缓和技术包括但不限于：警告驾驶员将车辆速度降低至有益于环境条件的速度；使用非常低的制动力来致动车辆制动器的自动应用以便使形成在制动部件的制动表面上的降水最小化；当检测到降水时，停用或者限制一些先进驾驶员辅助特征(诸如，巡航控制)的启动；或者通知驾驶员维持与前方车辆的较大停车距离。
图2示出了湿表面检测系统的框图。多个基于车辆的图像采集装置20安装在车辆上以采集车辆周围的图像。多个基于车辆的图像采集装置20可以安装在车辆的前部、后部、以及侧面。图3示出了示例性360度周围视图覆盖以确定车辆周围的物体。各个基于图像的采集装置协作地用于检测和识别在车辆的每一侧上的物体。基于图像的采集装置20包括但不限于：前视摄像机22，前视摄像机22安装至车辆的前部，采集前向图像以及车辆的部分侧面的图像；驾驶员侧摄像机24，驾驶员侧摄像机24采集车辆的驾驶员侧上的图像；乘客侧摄像机26，乘客侧摄像机26采集车辆的乘客侧上的图像；以及后视摄像机28，后视摄像机28采集车辆的后向图像和侧面的图像。
再次参照图2，处理器30处理图像采集装置20采集到的图像。处理器30分析图像和数据以便基于各个水检测技术来确定行进路径的表面上是否存在水。这些技术可以包括：镜像光图像分析技术、轮胎向后飞溅分析技术、轮胎侧面飞溅分析技术、以及轮胎轨迹分析技术。在如下申请案中描述了各种相应技术：日期为2014年12月12日、标题为“确定路面条件的系统和方法(Systems And Method For Determining A Condition Of A RoadSurface)”的共同未决申请案(14/568,656)；日期为2015年12月3日、标题为“使用轮胎向后飞溅分析进行基于视觉的湿路面条件检测(Vision-Based Wet Road Surface ConditionDetection Using Tire Rearward Splash)”的共同未决申请案(14/957,953)；日期为2015年12月3日、标题为“使用轮胎侧面飞溅分析进行基于视觉的湿路面条件检测(Vision-Based Wet Road Surface Condition Detection Using Tire Side Splash)”的共同未决申请案(14/957,998)；以及日期为2015年12月3日、标题为“使用轮胎轨迹进行基于视觉的湿路面条件检测(Vision-Based Wet Road Surface Condition Detection Using TireTracks)”的共同未决申请案(14/957,983)，其全部内容分别以引用的方式并入。
处理器30可以是现有系统的一部分，诸如，牵引力控制系统或者其它系统，或者可以是专用于分析来自图像采集装置22的数据的独立式处理器。
处理器30可以联接至一个或多个输出装置(诸如，控制器32)以基于处理器所应用的分析来发起或者致动控制动作。可以基于所估计的在道路表面上的水量来致动一个或多个对抗措施以缓和水可能对车辆的操作具有的影响。
控制器32可以是车辆子系统的一部分或者可以用于启用车辆子系统以抵抗水的影响。例如，响应于确定道路是湿的，控制器32可以启用电气或者电动液压制动系统34或者在发生牵引力损失的情况下准备好制动策略的类似物。除了准备制动策略之外，制动系统可以在驾驶员不知道的情况下自主地施加较轻制动力，以便一旦车辆进入水中就移除车辆制动器的水。当手动地施加驾驶员进行的制动时，移除从车轮和制动器积累的水会在车辆制动致动器与车轮的制动表面之间维持期望的摩擦系数。
控制器32可以控制牵引力控制系统36，牵引力控制系统36单独地将功率分配给每个相应车轮以当在行进路径的表面上检测到相应水量时(诸如，在湿路打滑的情况下)减小相应车轮的车轮滑移。
控制器32可以控制先进驾驶员辅助系统(例如，巡航控制系统、自适应巡航控制、车道跟踪系统、车道改变系统、规避/协助转向操纵系统、自动紧急制动系统等)，当在行进路径的表面上检测到水时，先进驾驶员辅助系统可以停用系统功能或者限制系统的启动。
控制器32本身可以是先进驾驶员辅助系统，其设计为：当在行进路径的表面上检测到水时，自动地调节其系统功能以便通过将湿表面信号集成到其控制器设计过程中并且安全地执行来适应表面湿度。
控制器32可以控制驾驶员信息系统40以给车辆的驾驶员提供关于在车辆道路上检测到的水的警告。由控制器32致动的该警告可以使驾驶员警惕将接近的行进路径的表面上的水，并且可以建议驾驶员将车辆速度降低至有益于当前环境条件的速度，或者控制器32可以致动警告以维持与该驾驶车辆前方的车辆的安全驾驶距离。应理解，如本文所描述的，控制器32可以包括控制单个功能或者可以控制组合功能的一个或多个控制器。
控制器32可以进一步控制自动地打开和关闭空气挡板42的致动以防止将水吸入到车辆的发动机中。在这种条件下，当检测到在车辆前方的行进路径的表面上存在水时，控制器32自动地致动空气挡板42的关闭，并且当检测到表面上不再存在水时，可以重新打开空气挡板。
控制器32可以进一步控制无线通信装置44的致动以使用车辆对车辆通信系统或者车辆对基础设施通信系统自主地将湿路面条件传达给其它车辆。
控制器可以进一步使用先进驾驶员辅助系统给车辆的驾驶员提供湿表面信号警报。
图4示出了表示行进路径的表面上的摩擦系数(μ)与水膜厚度(D)之间的相互关系的示例性曲线图。如曲线图中示出的，当相应摩擦系数变得小于相应临界摩擦系数值(μf+Δμ/4)时，表面的摩擦损失变得至关重要。这可以与当道路的表面上的水膜厚度变得大于相应厚度(Dc)时的时期相关联。因此，了解表面上的当前水膜厚度可以有助于警告驾驶员潜在的湿路打滑条件以及/或者控制和实施先进驾驶员辅助系统(ADAS)。
上文描述的各种技术分别提供关于确定湿表面的新颖方法。如下附图中的每一个表示示例性图像，其中，相应技术能够基于图像中的水的分配或者光的反射来检测表面上的水。例如，图5示出了采集到的镜像表面的图像，其中，通过镜像光图像分析技术检测到了冰或者湿道路。图6示出了当发生由向后飞溅分析技术检测到的向后飞溅时采集到的图像。图7示出了当发生由侧面飞溅分析技术检测到的侧面轮胎飞溅时采集到的图像。图8示出了当在湿表面上生成由轮胎轨迹分析技术检测到的轮胎轨迹时的图像。早先描述的各种技术擅长于在存在排水或者非排水时识别道路上的水；然而，关于相应技术是否能够熟练地检测到水，表面上的水厚度可以是附加因数。如下技术描述了协作地使用各种湿表面技术来识别表面上的水量的过程。为了实时地在车辆中使用该过程，首先执行离线训练以建立分类器、关联图、或者具有区别特征的类似物，该区别特征可以很好地代表水膜厚度水平以在车辆中进行实时的分类分析。
图9示出了用于建立离线分类器的过程。在步骤50中，设立测试条件，其中，预定深度的水落在道路的表面上。定义出各种水厚度水平。例如，可以使用如下标签来对各种水厚度水平进行分类：将水厚度＜0.5mm分类为第一层水平(L1)；将0.5mm＜水厚度＜1.0mm分类为第二层水平(L2)；将1.0mm＜水厚度＜2.5mm分类为第三层水平(L3)；以及将水厚度＞2.5mm分类为第四层水平(L4)。应理解，在不背离本发明的范围的情况下，可以使用更多或者更少的相应范围。
在步骤51中，测试车辆以不同的速度并且在各种水膜厚度下在覆盖有水的行进路径上驾驶，并且当车辆在湿表面上行进时通过图像采集装置采集该表面。
在步骤52中，当轮胎在湿表面上行进时，通过图像采集装置采集光、飞溅、非飞溅、或者轮胎轨迹的图像。
在步骤53中，收集图像数据并且通过处理器将每种湿表面检测技术应用至图像数据以确定表面上的水的存在。处理器基于当车辆以相应速度行进时成功识别或者未识别到表面上的水来确定每个相应分析图像的检测率。
在步骤54中，基于在每个相应速度(例如，10mph、20mph、30mph、40mph、50mph、60mph)下检测率(Pi)对水厚度(Di)来针对各种相应技术生成关联图。图10a至图10d示出了每种技术的关联图，其包括针对每个相应速度的根据水厚度(Di)对检测率(Pi)的关联曲线图。图10a示出了针对第一技术T1(例如，镜像光图像分析)所产生的关联图。图10b示出了针对第二技术T2(例如，轮胎向后飞溅分析)所产生的关联图。图10c示出了针对第三技术T3(例如，轮胎侧面飞溅分析)所产生的关联图。图10d示出了针对第四技术T4(例如，轮胎轨迹分析)所产生的关联图。将各个图中的曲线图划分并且分类为第一层部段L1、第二层部段L2、第三层部段L3、以及第四层部段L4。这些层部段分别代表如早先所描述的水膜厚度范围。
再次参照图9，在步骤55中，生成了示出二元检测率结果的图表。图11示出了图表，其中，针对每种相应技术分立地确定出检测率。由于针对基于所设立的测试获取的每个图像已知水膜厚度，所以可以恰当地将检测率分配至表示相应水膜厚度的相应层。应理解，相应膜厚度不是零，因为零厚度将表示非湿表面。如在图表中示出的，将每种相应技术的每个相应层的所确定的检测率与基于速度的阈值进行比较以便指示表面上是否存在水的确定度。可以使该比较标准化以便指示与每个相应检测率相关联的确定度。例如，可以使用各种类别来识别从该比较生成的标准化检测率触发条件。标准化检测率触发条件可以包括如下其中一项：表面上存在的水的肯定确定；表面上存在水的肯定指示；表面上是否存在水的不确定性；以及在表面未检测到水。表面上存在水的肯定确定表示检测率大体上等于值1，指示当实际上存在水时使用相应技术在图像中识别出的所有样本图像水。表面上存在水的肯定指示表示检测率大于基于速度的阈值但小于1。表面上存在水的不确定性表示检测率小于基于速度的阈值但大于0。检测率大体上等于0表示未检测到表面上的水。应理解，本文所使用的如示出的检测率触发条件类别的数量是示例性的，并且可以使用更多或者更少的检测率触发条件类别。
图11中示出的结果是二元条件，从而仅仅独立地使用一种技术来识别表面上的水的深度。如图9中的示例性图表中示出的，对于第一技术T1，该技术擅长于当水位在第一层或者第二层中时检测表面上的水，并且当水位在第三层或者第四层中时不能检测表面上的水。针对每种相应技术生成该图表。使用该图表的缺陷在于结果仅仅是二元的，从而检测仅仅可以基于单个技术。为了增加用于识别图像中存在哪种水位的稳健性，在决策制定过程中协作地使用来自各种技术的结果以基于组合的检测率触发条件来确定相应水位条件。
图12示出了作为分类模块进行应用的示例性查阅表，其中，针对每个相应层对每种技术的检测率触发条件协作地进行分类。如在查阅表中示出的，将针对每种检测技术的第一水膜厚度生成的各个检测结果分组在第一层L1下面。对于第二层L2，将针对每种检测技术的第二水膜厚度生成的各个检测结果进行分组。对于第三层L3，将针对每种检测技术的第三水膜厚度生成的各个检测结果进行分组。对于第四层L4，将针对每种检测技术的第四检测技术生成的各个检测结果进行分组。应理解，除了查阅表之外，可以使用各种方法来生成分类模块，包括但不限于：Dempster-Shafer证据理论、Bayesian网络理论、或者投票逻辑理论。
如下是在查阅表中示出的示例。对于在具有第一层L1水位深度的表面上驾驶的车辆，查阅表指示第一技术T1非常善于识别在该相应水位下的水的存在，因为检测率P1大于基于速度的阈值th1(Vx)。第二技术T2指示水的存在，但数据质量下降并且在该相应水膜厚度下前后矛盾，其是由检测率P2小于th2(Vx)确定的。当该水膜厚度实际上存在于表面上时，第三技术T3和第四技术T4不能检测到水(P3和P4≈0)。
在查阅表中的第二分组中，将针对每种检测技术的第二水膜厚度生成的各个检测结果分组在第二层L2下面。对于在具有第二层L2水位深度的行进路径的表面上驾驶的车辆，查阅表指示第一技术T1非常善于识别在该相应水位下的水的存在，因为检测率P1＞基于速度的阈值th1(Vx)。同样示出了第二技术T2非常善于识别在该相应水位下的水的存在，因为检测率D2＞基于速度的阈值th2(Vx)。当该水膜厚度存在于表面上时，第三技术T3和第四技术T4不能检测到水(D3和D4≈0)。
在查阅表中的第三分组中，将针对每种检测技术的第三水膜厚度生成的各个检测结果分组在第三层L3下面。对于在具有第三层L3水位深度的行进路径的表面上驾驶的车辆，查阅表指示第一技术T1不能检测到水，因为数据质量下降并且在该相应水膜厚度下前后矛盾，其是由检测率D1小于th1(Vx)确定的。第二技术T2、第三技术T3、以及第四技术T4非常善于识别在该相应水位下的水的存在，因为其相应检测率分别大于其相应基于速度的阈值。
在查阅表中的第四分组中，将针对每种检测技术的第四水膜厚度生成的各个检测结果分组在第四层L4下面。对于在具有第四层L4水位深度的行进路径的表面上驾驶的车辆，查阅表指示第一技术T1非常善于识别存在。在查阅表的另一示例中，对于在具有在深层部段L4的范围内的水位的表面上驾驶的车辆，查阅表指示当该相应水位实际上存在时第一技术T1不会检测到水。第二技术T2指示水的存在，但数据质量下降并且当存在该水位时前后矛盾。当存在该水位时，第三技术T3和第四技术T4擅长于识别水的存在。
一旦针对每种技术生成了查阅表，查阅表就用作车辆中的分类数据库或者类似物在线地进行实施以实时地检测和分析水。
图13描述了在车辆中实时地使用查阅表的过程。在步骤80中，通过使用图像采集装置由图像采集装置实时地采集车辆道路的图像，并且将数据提供给处理器以供分析。一个或多个图像采集装置采集相应时期期间的图像(例如，在1秒钟期间采样的30帧)。
在步骤81中，对于在该相应时间帧期间采集到的各个图像，处理器使用每种相应水检测技术来分析每个图像并且针对每种技术确定检测率。由于在较短时间内仅仅可以获得和分析少量样本，所以仅仅可以生成估值。在步骤82中，粗略算出每种技术的检测率。每种技术的检测率PTi可以按照如下计算：
其中，湿道路决策样本数量表示由该相应技术在表面上明确地识别到的水的样本的数量，N表示针对该相应技术采样的总图像数量，以及Ti表示用于识别表面条件的相应技术。基于每种技术的估计检测率，可以作出关于相应技术最适合于哪个水位的确定。
在步骤83中，将针对每种技术所确定的用于识别表面上的水的检测率输入到处理器中以确定当前表面上的水的深度。此外，将当前车辆速度输入到处理器中。
在步骤84中，处理器从与输入速度(在步骤83中)相关联的每个水膜厚度来识别每组预定条件，并且将如在步骤82中在线地确定的检测率与在步骤83中识别出的各组预定条件相比较。即是说，当与基于速度的阈值相比时，每种相应技术的各个相应输入检测率将生成检测率触发条件，诸如，超过基于速度的阈值、不超过基于速度的阈值、或者大体上为零。将这些结果与查阅表进行模式匹配以识别表面上的水膜厚度水平。例如，在表中，在离线过程中识别第一水平条件，因为第一技术的检测率大于比较的基于速度的阈值，第二技术的检测率小于比较的基于速度的阈值，并且第三技术和第四技术的检测率大体上为零。如果各种技术的实时检测率触发条件与在表中针对第一层水平(L1)列出的检测率触发条件实时地相匹配，则处理器确定当前驾驶表面上的水位在第一层水平(L1)中(例如，D＜0.5mm)。即是说，执行模式匹配以便使实时地确定的检测率触发条件与来自查阅表的预定检测率触发条件相匹配来识别匹配。
在步骤85中，从处理器输出与实时结果相匹配的与来自查阅表的预定检测率触发条件相关联的水膜厚度水平。
在步骤86中，将水膜厚度水平信息提供至控制装置，在控制装置处，向驾驶员输出警告以通知使用者该湿道路条件，或者将警告提供至控制装置，控制装置使用该信息来致动车辆控制以抵消湿道路条件。
尽管已经详细地描述了本发明的某些实施例，但本发明所涉及领域的技术人员将意识到各种替代设计，筛选用于实践如以下权利要求书所限定的本发明的过程和实施例。

Claims (10)

1.一种用于确定行进路径上的水的厚度的方法，所述方法包括如下步骤：
通过图像采集装置在预定采样时期期间采集行进路径的表面的多个图像，所述图像采集装置聚焦在当车辆沿着所述行进路径行进时预期有水飞溅的表面上；
通过处理器将多个湿表面检测技术应用至各个所述图像；
通过所述处理器针对每种湿表面检测技术实时地确定检测率；
通过所述处理器根据所述车辆的速度针对每个检测率确定检测率触发条件；
将所述实时确定的检测率触发条件与分类模块中的预定检测率触发条件相比较以便识别匹配结果模式，所述预定检测率触发条件表示各种水膜厚度水平；
识别与所述分类模块中的所述匹配结果模式相关联的水膜厚度；以及将水膜厚度信号提供至控制装置，所述控制装置应用所述水膜厚度信号以缓和所述湿表面条件。
2.根据权利要求1所述的方法，其中，所述多个湿表面检测技术包括至少向后轮胎飞溅分析技术。
3.根据权利要求1所述的方法，其中，所述多个湿表面技术包括至少侧面轮胎飞溅分析技术。
4.根据权利要求1所述的方法，其中，所述多个湿表面技术包括至少轮胎轨迹分析技术。
5.根据权利要求1所述的方法，其中，所述多个湿表面技术包括至少镜像光图像分析技术。
6.根据权利要求1所述的方法，其中，使用如下公式来确定应用的每种湿表面检测技术的所述检测率：
其中，湿道路决策样本数量表示由相应技术在窗口时期期间在所述表面上明确地识别到的水的样本的数量，N表示在所述窗口时期期间针对该相应技术采样的总图像数量，以及Ti表示用于识别所述表面条件的所述相应技术。
7.根据权利要求1所述的方法，其中，根据将每个检测率与相应预定基于速度的阈值相比较来确定每个检测率触发条件。
8.根据权利要求1所述的方法，其中，将所述识别出的水膜厚度信号提供至车辆控制器，所述控制器使用所述识别出的水膜厚度来确定自主致动车辆制动策略。
9.根据权利要求1所述的方法，其中，将所述识别出的水膜厚度信号提供至车辆控制器，所述控制器使用所述识别出的水膜厚度来确定用于自主地致动牵引力控制系统的牵引力控制策略。
10.根据权利要求1所述的方法，其中，将所述识别出的水膜厚度信号提供至无线通信系统以使其它车辆警惕在所述表面上的所述识别出的水膜厚度。
CN201710723709.8A 2016-08-24 2017-08-22 水膜厚度的基于视觉的车载实时估计 Active CN107782413B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/245522 2016-08-24
US15/245,522 US10082795B2 (en) 2016-08-24 2016-08-24 Vision-based on-board real-time estimation of water film thickness

Publications (2)

Publication Number Publication Date
CN107782413A true CN107782413A (zh) 2018-03-09
CN107782413B CN107782413B (zh) 2020-03-17

Family

ID=61242424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710723709.8A Active CN107782413B (zh) 2016-08-24 2017-08-22 水膜厚度的基于视觉的车载实时估计

Country Status (2)

Country Link
US (1) US10082795B2 (zh)
CN (1) CN107782413B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness
US20190057272A1 (en) * 2017-08-18 2019-02-21 GM Global Technology Operations LLC Method of detecting a snow covered road surface
US10556584B2 (en) * 2018-01-09 2020-02-11 Ford Global Technologies, Llc Vehicle vision
DE102018203807A1 (de) * 2018-03-13 2019-09-19 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
WO2020033967A1 (en) 2018-08-10 2020-02-13 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
IT201900003295A1 (it) * 2019-03-07 2020-09-07 Tsl Engineering Soc A Responsabilita Limitata Metodo di misurazione della tessitura superficiale e dell’aderenza delle pavimentazioni stradali connesse alla guida sul bagnato
CN110646219A (zh) * 2019-09-29 2020-01-03 深圳市鹏巨术信息技术有限公司 一种adas功能标靶调整方法、装置及相关设备
US11897478B2 (en) * 2021-05-13 2024-02-13 Here Global B.V. Method, apparatus and computer program product for determining the presence of precipitation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013439A1 (en) * 2001-05-23 2006-01-19 Kabushiki Kaisha Toshiba System and method for detecting obstacle
US9207323B2 (en) * 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
CN105184263A (zh) * 2014-06-12 2015-12-23 通用汽车环球科技运作有限责任公司 使用纹理分析的基于视觉的潮湿道路表面检测
CN105261007A (zh) * 2014-06-12 2016-01-20 通用汽车环球科技运作有限责任公司 基于视觉的潮湿道路表面检测
CN105270263A (zh) * 2014-07-02 2016-01-27 Lg电子株式会社 车辆驾驶辅助装置及车辆

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5092169A (en) * 1990-08-17 1992-03-03 Continuum Dynamics, Inc. Aircraft safety measurement system
DE19608064C2 (de) * 1996-03-02 1998-02-19 Daimler Benz Ag Verfahren und Vorrichtung zur Ermittlung der Bodenhaftung von Laufrädern bei Kraftfahrzeugen
DE10060333A1 (de) * 2000-12-04 2002-06-13 Daimler Chrysler Ag Vorrichtung zur Erkennung einer während des Fahrbetriebes eines Fahrzeuges auftretenden Aquaplaninggefahr
JP4046059B2 (ja) * 2002-11-08 2008-02-13 株式会社豊田中央研究所 路面状態推定装置
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
DE102010050634A1 (de) * 2010-11-05 2012-05-10 Wabco Gmbh Steuereinrichtung für ein Fahrzeug-Regelsystem und Verfahren zur Ermittlung von Reifenzuständen von Fahrzeugreifen
US9499172B2 (en) * 2012-09-20 2016-11-22 Google Inc. Detecting road weather conditions
DE102012112725A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Reibwertschätzung aus Kamera- und Raddrehzahldaten
DE102012112724A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
DE102013223367A1 (de) * 2013-11-15 2015-05-21 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
US9598087B2 (en) * 2014-12-12 2017-03-21 GM Global Technology Operations LLC Systems and methods for determining a condition of a road surface
US9971945B2 (en) * 2015-12-03 2018-05-15 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire side splash
US9836660B2 (en) * 2015-12-03 2017-12-05 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire tracks
US9928427B2 (en) * 2015-12-03 2018-03-27 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire rearward splash
US9972206B2 (en) * 2015-12-03 2018-05-15 GM Global Technology Operations LLC Wet road surface condition detection
US10339391B2 (en) * 2016-08-24 2019-07-02 Gm Global Technology Operations Llc. Fusion-based wet road surface detection
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013439A1 (en) * 2001-05-23 2006-01-19 Kabushiki Kaisha Toshiba System and method for detecting obstacle
US9207323B2 (en) * 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
CN105184263A (zh) * 2014-06-12 2015-12-23 通用汽车环球科技运作有限责任公司 使用纹理分析的基于视觉的潮湿道路表面检测
CN105261007A (zh) * 2014-06-12 2016-01-20 通用汽车环球科技运作有限责任公司 基于视觉的潮湿道路表面检测
CN105270263A (zh) * 2014-07-02 2016-01-27 Lg电子株式会社 车辆驾驶辅助装置及车辆

Also Published As

Publication number Publication date
US20180059677A1 (en) 2018-03-01
CN107782413B (zh) 2020-03-17
US10082795B2 (en) 2018-09-25

Similar Documents

Publication Publication Date Title
CN107782413A (zh) 水膜厚度的基于视觉的车载实时估计
CN107782727B (zh) 基于融合的湿路面检测
US10338600B2 (en) Autonomous driving control apparatus, vehicle having the same, and method for controlling the same
CN107093180B (zh) 使用轮胎向后飞溅的基于视觉的潮湿路面状况检测
CN107273785B (zh) 多尺度融合的道路表面状况检测
US8521357B2 (en) Impaired operation detection method
CN105261007B (zh) 基于视觉的潮湿道路表面检测
WO2017078072A1 (ja) 物体検知方法及び物体検知システム
CN106841195A (zh) 湿路面状况检测
JP2009202610A (ja) 駐車支援装置
CN101131321A (zh) 一种实时测量安全车距用于汽车防撞预警的方法及装置
CN106845332B (zh) 利用轮胎旁溅的基于视觉的潮湿路面状况检测
CN110765807A (zh) 驾驶行为分析、处理方法、装置、设备和存储介质
US10588549B2 (en) Driver's physical condition detection device and method
CN108944920A (zh) 在机动车应用程序中生成并使用感知场景图的方法和系统
WO2014007286A1 (ja) 状態認識システム及び状態認識方法
CN109204306A (zh) 车辆基于跟随车辆变换车道
US20170180723A1 (en) Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
KR102297801B1 (ko) 사업용 차량을 이용하여 도로 위험정보를 탐지하는 방법 및 장치
CN106355152A (zh) 识别当前道路车辆的方法、系统及行车记录仪
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
US20190057272A1 (en) Method of detecting a snow covered road surface
US20210155249A1 (en) Device and method for estimating the attention level of a driver of a vehicle
CN114820691B (zh) 本车运动状态检测方法、装置、设备及存储介质
CN116434190A (zh) 基于视觉分析的行车障碍识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant