CN105261007B - 基于视觉的潮湿道路表面检测 - Google Patents

基于视觉的潮湿道路表面检测 Download PDF

Info

Publication number
CN105261007B
CN105261007B CN201510579901.5A CN201510579901A CN105261007B CN 105261007 B CN105261007 B CN 105261007B CN 201510579901 A CN201510579901 A CN 201510579901A CN 105261007 B CN105261007 B CN 105261007B
Authority
CN
China
Prior art keywords
image
vehicle
ground
feature point
method described
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510579901.5A
Other languages
English (en)
Other versions
CN105261007A (zh
Inventor
Q·赵
W·张
J·王
B·B·利特库希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN105261007A publication Critical patent/CN105261007A/zh
Application granted granted Critical
Publication of CN105261007B publication Critical patent/CN105261007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/172—Determining control parameters used in the regulation, e.g. by calculations involving measured or detected parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • B60T8/176—Brake regulation specially adapted to prevent excessive wheel slip during vehicle deceleration, e.g. ABS
    • B60T8/1764—Regulation during travel on surface with different coefficients of friction, e.g. between left and right sides, mu-split or between front and rear
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/10—Detection or estimation of road conditions
    • B60T2210/12—Friction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
    • B60T2210/30—Environment conditions or position therewithin
    • B60T2210/32—Vehicle surroundings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于视觉的潮湿道路表面检测。一种用于确定在道路上行驶的车辆的潮湿道路表面状况的方法。在第一和第二时刻由图像采集装置采集车辆外部的图像。在第一时刻和第二时刻在行驶道路的地面上检测潜在物体和特征物体。基于三角测量技术利用在第一时刻和第二时刻所采集图像中的特征点来确定地面是否包括镜面效果反射表面。响应于确定地面包括镜面效果反射表面，产生潮湿行驶表面指示信号。

Description

基于视觉的潮湿道路表面检测
技术领域
实施例大体涉及使用镜面效果反射表面对潮湿道路表面的检测。
背景技术
在行驶表面上的降水对车辆造成几种不同的问题。例如，道路上的水降低车辆的轮胎和道路的表面之间的摩擦系数，这导致了车辆稳定性问题。通常，车辆的系统或子系统利用一些感测操作(例如，检测车轮打滑)来感测道路上的降水，这些感测操作是在降水已经对车辆操作造成负面影响时才出现的。在这样的情况下，降水已经影响车辆(例如，车轮打滑)，并且因此，在这个点上的任何反应都变得被动。主动方法是提前知道潮湿表面状况，这与为了使这样的系统起作用相反，其能够阻止由潮湿表面引起的控制损失。
发明内容
实施例的优点是使用基于视觉的成像装置来检测道路上的水。本文所描述的技术启动确定是否存在水或降水不需要车辆或驾驶员的激励。相反，在两个不同图像中检测地面上的虚拟物体，这两个不同图像在不同位置采集，并且三角技术被应用于虚拟物体以确定通过其检测虚拟物体的地面是否具有镜面效果反射表面。确定检测到的物体是否是在镜状表面内的虚拟物体或者该物体是否是在地面上的物体参考图像被拍摄的位置以及从物体到摄像机的光射线与地面相交的位置来确定。
实施例设想一种确定在道路上行驶的车辆的潮湿道路表面状况的方法。在第一时刻(at a first instance of time)由图像采集装置采集车辆外部的图像。由处理器检测行驶道路的地面上的潜在物体。由处理器识别行驶道路的地面上的潜在物体的特征点。在第二时刻由图像采集装置采集车辆外部的图像。由处理器检测在第二时刻所采集的行驶道路的地面上的潜在物体。由处理器识别在第二时刻(at a second instance of time)所采集图像的潜在物体的特征点。基于三角测量技术利用在第一时刻和第二时刻所采集图像中的特征点，确定地面是否包括镜面效果反射表面。响应于确定地面包括镜面效果反射表面，产生潮湿行驶表面指示信号。
方案1.一种用于确定在道路上行驶的车辆的潮湿道路表面状况的方法，所述方法包括以下步骤：
在第一时刻由图像采集装置采集车辆外部的图像；
由处理器检测在行驶道路的地面上的潜在物体；
由所述处理器识别在所述行驶道路的地面上的潜在物体的特征点；
在第二时刻由图像采集装置采集所述车辆外部的图像；
由所述处理器检测在第二时刻采集的在所述行驶道路的地面上的潜在物体；
由所述处理器识别在第二时刻所采集的图像的潜在物体的特征点；
基于三角测量技术利用在第一时刻和第二时刻所采集图像中的特征点，确定地面是否包括镜面效果反射表面；以及
响应于确定地面包括镜面效果反射表面，产生潮湿行驶表面指示信号。
方案2.根据方案1所述的方法，其中，利用在第一时刻和第二时刻所采集图像中的特征点的三角测量技术，采用在所述图像采集装置与第一和第二特征点之间延伸的视线光射线。
方案3.根据方案2所述的方法，其中，所述三角测量技术包括以下步骤：
识别与所述第一特征点相关联的光射线与地面相交的第一位置；
当第二图像由所述图像采集装置采集时，识别与第二特征点相关联的光射线与地面相交的第二位置；
确定第一位置和第二位置是否在相同位置；
其中，响应于第一位置和第二位置是不同的位置，地面被确定为包括静水；否则，确定地面包括非静水表面。
方案4.根据方案3所述的方法，其中，确定第一位置和第二位置是不同位置，响应于以下不等式来确定：
d1-dtravel＜d2
其中，dtravel是在第一图像被采集的时间与第二图像被采集的时间之间由车辆行驶的距离，d1代表从第一图像被采集时的车辆位置和与检测到的第一特征点相关联的光射线与地面相交的位置的距离，以及d2代表示从第二图像被采集时的车辆位置和与第二特征点相关联的光射线与地面相交的位置的距离。
方案5.根据方案3所述的方法，其中，确定第一位置和第二位置是相同位置是响应于以下等式来确定：
d1-dtravel＝d2
其中，dtravel是在第一图像被采集的时间和第二图像被采集的时间之间由车辆行驶的距离，d1代表从第一图像被采集时的车辆位置和与第一特征点相关联的光射线与地面相交的位置的距离，以及d2代表从第二图像被采集时的车辆位置和与第二特征点相关联的光射线与地面相交的位置的距离。
方案6.根据方案1所述的方法，其中，当第一图像和第二图像被采集时，图像采集装置定位在车辆上处于地面以上相同高度。
方案7.根据方案1所述的方法，进一步包括以下步骤：
分析在第一图像中识别的特征点和在第二图像中识别的特征点以确定类似特性；以及
响应于确定第一和第二特征点包括类似特性并且被确定为是在所述物体上的相同点而执行三角测量技术。
方案8.根据方案7所述的方法，其中，分析在第一图像中识别的特征点和在第二图像中识别的特征点以确定类似特性由尺度不变特征变换技术来执行。
方案9.根据方案7所述的方法，其中，分析在第一图像中识别的特征点和在第二图像中识别的特征点以确定类似特性由加速鲁棒特征算法技术来执行。
方案10.根据方案1所述的方法，其中，潮湿行驶表面指示信号用于提醒驾驶员道路表面上的水。
方案11.根据方案1所述的方法，其中，潮湿行驶表面指示信号警告驾驶员在车辆轮胎和道路表面之间的潜在降低的牵引力。
方案12.根据方案1所述的方法，其中，潮湿行驶表面指示信号警告驾驶员车辆不要使用巡航控制。
方案13.根据方案1所述的方法，其中，潮湿行驶表面指示信号警告驾驶员降低车辆速度。
方案14.根据方案1所述的方法，其中，潮湿行驶表面指示信号被提供给车辆控制器以关闭在车辆的戽形进气口上的挡板来防止水注入。
方案15.根据方案1所述的方法，其中，潮湿行驶表面指示信号被提供给车辆控制器，所述控制器自主地启动车辆制动以减轻在车辆制动器上的冷凝水积累。方案16.根据方案1所述的方法，其中，潮湿行驶表面指示信号被提供给无线通信系统以警告其他车辆潮湿道路表面状况。
方案17.根据方案1所述的方法，其中，多个瞬时图像被分析以检测对于采集的每个瞬时图像地面是否包括镜面效果反射表面，并且其中，每个采集图像的每个检测结果被协同使用以产生地面是否包括镜面效果反射表面的置信度。
方案18.根据方案17所述的方法，其中，协同使用每个检测结果以产生置信度通过将多个瞬时图像的检测结果平均来执行。
方案19.根据方案17所述的方法，其中，协同使用每个检测结果以产生置信度通过多个瞬时图像的检测结果的多表决技术来执行。
附图说明
图1a是由摄像机采集的潮湿表面的场景的透视图。
图1b是在静水上光反射的示例性说明图。
图2a是由摄像机采集的干燥表面的场景的透视图。
图2b是在干燥表面上光反射和散射的示例性说明图。
图3示出了潮湿道路表面检测系统的方框图。
图4是在各种不同时刻由摄像机采集的虚拟物体的示例性立体说明图。
图5是在两个时刻匹配的特征点的示例性说明图。
图6是用于潮湿表面的三角测量技术的示例。
图7是用于干燥表面的三角测量技术的示例。
具体实施方式
在图1a中示出了沿着车辆道路12行驶的车辆。示出降水14置于车辆道路12上，并且随着车辆轮胎在潮湿车辆道路12上转动，所述降水14通常被车辆轮胎移动位置。通常有利的是，预先知道车辆何时将沿着潮湿车辆道路12行驶，使得由降水导致的问题(例如，由水进入外部空气进风口导致的牵引力损失或发动机退化)能够被抵消或至少减轻。
当行驶在潮湿道路表面上时，车辆道路12上的降水能够导致降低牵引力。置于车辆道路12上的降水14降低在车辆轮胎和车辆道路12之间的摩擦系数。因此，在车辆轮胎和车辆道路12之间的牵引力被降低。通过以下方式牵引力损失能够被减轻：提醒驾驶员降低车辆速度到有利于环境状况的速度；使用非常低的制动力致动车辆制动器的自动应用程序以最小化在制动组件的制动表面上形成的降水；当降水被检测到时，停用或限制巡航控制功能的致动；或者通知驾驶员与前面车辆保持更大的制动距离。
如图1a中所示，水置于道路上以及物体(例如，树16和灯杆18)在由降水14(以车辆道路12上的静水的形式)产生的反射表面中可见。车辆道路上的静水起到投射反射的镜面型表面的作用。如图1b中所示，道路表面(特别是水是静止的光滑平面)上的光反射，将具有大致等于反射光角度的入射光角度。因此，通过静水的反射表面采集图像的摄像机将采集光射线，所述光射线具有等于反射光角度的入射光角度。
图2a示出了在行驶道路上没有降水的干燥道路上行驶的车辆。如图所示，在车辆道路12上不存在降水。阴影19可以由物体(例如树18)投射；然而，阴影不会产生反射镜表面。如图2b中所示，一旦入射光射线从非镜像表面上弹回，反射光射线就被漫射。因此，如图1b中所示，反射光射线被散射并且反射角度不等于入射角度。
图3示出了潮湿道路表面检测系统20的方框图。基于车辆的图像采集装置22安装在车辆上，用于采集车辆前方的图像。图像装置22可以包括，但不限于，用于采集道路的图像的摄像机。图像采集装置22的功能是采集图像，所述图像包括道路以上的物体并附加地道路本身，以检测在行驶道路上的水的存在。由基于车的图像采集装置22采集的图像被分析以检测其中的水。
处理器24处理由图像采集装置22采集的图像。处理器24分析行驶道路的反射特性以确定在道路表面上是否存在水。
处理器24可以联接到一个或多个控制器26，以当降水被发现在道路表面上时启动或致动控制动作。一个或多个对策可以被致动以减轻降水可能对车辆的操作带来的影响。
控制器26可以是车辆子系统的一部分或者可以用于使得车辆子系统能够抵制水的影响。例如，响应于确定道路是潮湿的，控制器26可以启用电气或电动液压制动系统30，在其中制动策略在牵引力损失出现的情况下被准备好。除了准备制动策略，制动系统可以自主地施加轻微的制动力，在不让驾驶员知道的情况下，一旦车辆进入降水就从车辆制动器去除降水。当制动由驾驶员手动施加时，从车轮和制动器去除积聚的降水，保持车辆制动致动器和车轮的制动表面之间预期的摩擦系数。
控制器26可以控制牵引力控制系统32，当在道路表面上检测到降水时，控制器26将功率分别地分配给每个相应的车轮以减少相应车轮的车轮打滑。
控制器26可以控制巡航控制系统34，当在道路表面上检测到降水时，控制器26能够停用巡航控制或限制巡航控制的致动。
控制器26可以控制驾驶员信息系统36，以向驾驶员提供警告有关在车辆道路上检测到的降水。由控制器26致动的这样的警告可以警告驾驶员正在接近道路表面上的降水，并且可以建议驾驶员将车辆速度降低到有利于当前环境状况的速度，或者控制器26可以启动警告以使行驶车辆保持与前方车辆的安全行驶距离。应当理解的是，如本文所描述的，控制器26可以包括一个或多个控制器，其控制单独的功能或者可以控制功能组合。
控制器26可以进一步控制自动打开和关闭空气挡板38的致动，以防止水吸入车辆的发动机。在这样的情况下，当检测到在车辆前方的道路表面上存在降水时，控制器26自动地致动空气挡板38的关闭，并且当确定在道路表面上不再存在降水时可以重新打开空气挡板。
控制器26可以进一步控制无线通信装置39的致动，以自主地使用车辆到车辆或车辆到基础设施通信系统将潮湿路面状况传输给其他车辆。
本文所描述技术的优势在于启动确定是否存在水或降水不需要车辆或驾驶员的激励。也就是说，现有技术需要车辆的某种相当大的激励(是否通过制动操纵、增加加速度、转向操纵)以进行表面水检测。基于所述响应(例如，车轮打滑、偏航)，这样的技术确定车辆是否正行驶在水或降水上。相反，本文所描述的技术提供预期或预测分析，以便在车辆到达水或降水的位置之前为驾驶员或车辆采取预防措施留有时间。
图4示出了利用三角测量技术在第一时刻t1和第二时刻t2采集的图像之间可以如何使用反射特性来确定是否在行驶道路的表面上存在水的立体说明图。如图4中所示，在时间t1，图像采集装置22采集行驶道路12。静水39存在于道路表面上，并且实际物体40的反射由图像采集装置22采集在图像中。道路上的静水39起到具有反射特性的镜面型表面的作用。在用于静水表面的道路表面上的光反射将具有入射光角度，其大致等于反射光角度。此外，图像中的实际物体40的尺寸将大致等于反射中的虚拟物体42的尺寸。类似地，到实际物体40的距离将大致等于到反射中虚拟物体42的距离。由于图像采集装置22实质上通过镜像表面采集图像，因此当图像被查看时，虚拟物体42将是关于实际物体40的倒转。如图4中所示，除了物体被翻转之外，物体被显示为在地面下方具有与在地面以上的实际物体大致相同尺寸的虚拟图像。
在车辆行驶一时间段之后，在时间t2下一个图像被采集，如果仍然存在静水，那么在时间t2采集的图像将包括实际物体40和虚拟物体41。实际物体40和虚拟物体41的特征点从图像被提取。如果存在静水反射，那么实际部分中物体的特征点应当与虚拟部分中物体的特征点相匹配。此外，如在图5的放大图中所示，在时间t1虚拟物体41的特征点应该与在时间t2采集的虚拟物体42的特征点相匹配。为了确定虚拟物体41是否是相同的，以下的三角测量技术被应用到图像内的虚拟物体41。然而，在执行三角测量技术之前，相应的特征集被识别，并且对相应的特征集上执行分析以确定相应的特征是否匹配，并且因此是否是从两个单独图像提取的相同特征。特征点匹配可以通过在时间t1和t2检测的点的匹配特征描述符来执行。这样的匹配特征描述符技术可以包括，但不限于，尺度不变特征变换(SIFT)或加速鲁棒特征算法(SURF)。三角测量技术用于确定特征点是否在地面以下或地面以上/在地面上。如果特征点在地面以下，那么虚拟图像上的特征点由潮湿表面反射。如果该特征点被检测到，那么可以确定特征点很可能是由镜状表面(例如，道路上的水膜)反射。如果特征点在道路表面以上或在道路表面上，那么确定实际物体点来自地面以上的物体或道路表面本身上的点。
在图6中，三角测量技术分析在两个时刻(例如，t1和t2)采集的场景。在每个时刻，虚拟物体41的提取特征被分析。在时间t1，摄像机被定位在地面以上的高度h。图像采集装置22采集反射图像中的虚拟物体41，如同该物体在地面以下。所示的光射线42从虚拟物体41上的特征点44延伸到图像采集装置22的镜头。角度(α)代表从提取特征点44和图像采集装置22延伸的光射线的角度，通过事先对图像采集装置的校准该角度是很容易知道的。所示的光射线42在反射点46与反射表面39相交。
当车辆行驶相应的距离时，在时间t2下一个图像被采集。在时间t2，摄像机保持在地面以上的高度位置(h)。图像采集装置22采集反射图像中的虚拟物体41，如同该物体在地面以下。如果存在反射静水表面，那么图像中相同的特征点44被采集并且识别。所示的光射线48从虚拟物体41上的相同特征点44延伸到现在定位在离原始位置的距离(dtravel)处的图像采集装置22的镜头。如果在虚拟物体41上相同的特征点44被图像采集装置22采集，那么在时间t2光射线的角度将不同于在时间t1光射线的角度。如图所示，角度(β)代表在时间t2在提取特征点44和图像采集装置22之间延伸的光射线的角度，通过事先对图像采集装置的校准该角度是很容易知道的。所示的光射线48在反射点50与反射表面39相交。如在图6中所示，每个相应光射线42和48在不同的位置与反射表面相交。光射线42在地面点46与反射表面相交，而光射线48在地面点50与光表面相交。
由于当车辆从t1行驶到t2时车辆的速度是已知的，采集图像点之间的距离dtravel被计算。第一距离d1代表从车辆在时间t1到相交地面点46的距离。由于α和h是已知的，d1能够基于三角函数计算。距离d2代表从车辆在时间t2到地面点50的距离。由于β和h是已知的，d2能够基于三角函数计算。如果在两个时刻t1和t2采集的特征点都是基于地面(即，在反射表面中)以下的相应虚拟物体，与在非反射地面上的点相反，那么以下公式将是适用的：
d1-dtravel＜d2 (1)
在替代方法中，确定特征点是否在地面以下可以由特征点高度hpf来确定。特征点高度hpf被确定为α、β、h和dtravel的函数，并且由以下公式表示：
如果公式(2)中的结果是hpf＜0，那么确定特征点在地面以下，并且特征点很可能来自由镜状水表面反射的虚拟物体。
图7示出了指示何时提取的特征是在地面上的点的三角计算。如图7中所示，在t1图像被采集。特征点52从图像中提取。在时间t2，下一个图像被采集，并且在图像中相同点被识别。所示的光射线54在时间t1从摄像机延伸到提取的特征点。类似地，光射线56在时间t2从摄像机延伸到提取的特征点。由于当车辆从t1行驶到t2时车辆的速度是已知的，距离dtravel被计算。距离d1代表从车辆在时间t1到特征点(其是光射线与地面相交的位置)的距离。由于α和h是已知的，d1能够基于三角函数计算。距离d2表示代表从车辆在时间t2到特征点52(其是光射线与地面相交的位置)的距离。由于β和h是已知的，d2能够基于三角函数计算。如果在两个时刻采集的特征点都是基于地面上的物体(即，地面不具有反射表面)，这与反射中的虚拟点相反，那么以下公式将是适用的：
d1-dtravel=d2 (3)
在替代方法中，确定特征点是否在地面以上可以由公式(2)的结果来确定。如果公式(2)中的结果是hpf＞0，那么确定特征点是在地面上或以上。
根据水/潮湿表面尺寸和车辆行驶速度，来自镜状水/潮湿表面的镜面反射效应可以存在于多个连续视频帧中。上述方法应用于每个帧并且为每个帧输出相应的检测结果。基于从多个瞬时视频帧得到的多个检测结果，决策制定策略可以被使用。例如，平滑/平均方法或多表决方法可以增加检测置信度以及减少检测误差或噪声。
虽然已经对本发明的一些实施例进行了详细描述，但是那些熟悉与本发明相关的技术的技术人员将认识到用于实现由以下权利要求限定的本发明的各种可替代设计、滤波处理和实施例。

Claims (19)

1.一种用于确定在道路上行驶的车辆的潮湿道路表面状况的方法，所述方法包括以下步骤：
在第一时刻由图像采集装置采集车辆外部的第一图像；
由处理器检测第一图像中的在行驶道路的地面上的潜在物体；
由所述处理器识别第一图像中的的潜在物体的第一特征点；
在第二时刻由图像采集装置采集所述车辆外部的第二图像；
由所述处理器检测第二图像中的在所述行驶道路的地面上的潜在物体；
由所述处理器识别第二图像中的潜在物体的第二特征点；
基于三角测量技术利用在第一图像中的第一特征点和第二图像中的第二特征点，确定地面是否包括镜面效果反射表面；以及
响应于确定地面包括镜面效果反射表面，产生潮湿行驶表面指示信号。
2.根据权利要求1所述的方法，其中，三角测量技术采用在所述图像采集装置与第一特征点和第二特征点之间延伸的视线光射线。
3.根据权利要求2所述的方法，其中，所述三角测量技术包括以下步骤：
识别与所述第一特征点相关联的光射线与地面相交的第一位置；
当第二图像由所述图像采集装置采集时，识别与第二特征点相关联的光射线与地面相交的第二位置；
确定第一位置和第二位置是否在相同位置；
其中，响应于第一位置和第二位置是不同的位置，地面被确定为包括静水；否则，确定地面包括非静水表面。
4.根据权利要求3所述的方法，其中，确定第一位置和第二位置是不同位置，响应于以下不等式来确定：
d1-dtravel<d2
其中，dtravel是在第一图像被采集的时间与第二图像被采集的时间之间由车辆行驶的距离，d1代表从第一图像被采集时的车辆位置和与检测到的第一特征点相关联的光射线与地面相交的位置的距离，以及d2代表从第二图像被采集时的车辆位置和与第二特征点相关联的光射线与地面相交的位置的距离。
5.根据权利要求3所述的方法，其中，确定第一位置和第二位置是相同位置是响应于以下等式来确定：
d1-dtravel=d2
其中，dtravel是在第一图像被采集的时间和第二图像被采集的时间之间由车辆行驶的距离，d1代表从第一图像被采集时的车辆位置和与第一特征点相关联的光射线与地面相交的位置的距离，以及d2代表从第二图像被采集时的车辆位置和与第二特征点相关联的光射线与地面相交的位置的距离。
6.根据权利要求1所述的方法，其中，当第一图像和第二图像被采集时，图像采集装置定位在车辆上处于地面以上相同高度。
7.根据权利要求1所述的方法，进一步包括以下步骤：
分析在第一图像中识别的第一特征点和在第二图像中识别的第二特征点以确定类似特性；以及
响应于确定第一特征点和第二特征点包括类似特性并且被确定为是在所述物体上的相同点而执行三角测量技术。
8.根据权利要求7所述的方法，其中，分析在第一图像中识别的第一特征点和在第二图像中识别的第二特征点以确定类似特性由尺度不变特征变换技术来执行。
9.根据权利要求7所述的方法，其中，分析在第一图像中识别的第一特征点和在第二图像中识别的第二特征点以确定类似特性由加速鲁棒特征算法技术来执行。
10.根据权利要求1所述的方法，其中，潮湿行驶表面指示信号用于提醒驾驶员道路表面上的水。
11.根据权利要求1所述的方法，其中，潮湿行驶表面指示信号警告驾驶员在车辆轮胎和道路表面之间的潜在降低的牵引力。
12.根据权利要求1所述的方法，其中，潮湿行驶表面指示信号警告驾驶员车辆不要使用巡航控制。
13.根据权利要求1所述的方法，其中，潮湿行驶表面指示信号警告驾驶员降低车辆速度。
14.根据权利要求1所述的方法，其中，潮湿行驶表面指示信号被提供给车辆控制器以关闭在车辆的戽形进气口上的挡板来防止水注入。
15.根据权利要求1所述的方法，其中，潮湿行驶表面指示信号被提供给车辆控制器，所述控制器自主地启动车辆制动以减轻在车辆制动器上的冷凝水积累。
16.根据权利要求1所述的方法，其中，潮湿行驶表面指示信号被提供给无线通信系统以警告其他车辆潮湿道路表面状况。
17.根据权利要求1所述的方法，其中，多个瞬时图像被分析以检测对于采集的每个瞬时图像地面是否包括镜面效果反射表面，并且其中，每个采集图像的每个检测结果被协同使用以产生地面是否包括镜面效果反射表面的置信度。
18.根据权利要求17所述的方法，其中，协同使用每个检测结果以产生置信度通过将多个瞬时图像的检测结果平均来执行。
19.根据权利要求17所述的方法，其中，协同使用每个检测结果以产生置信度通过多个瞬时图像的检测结果的多表决技术来执行。
CN201510579901.5A 2014-06-12 2015-06-12 基于视觉的潮湿道路表面检测 Active CN105261007B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/302632 2014-06-12
US14/302,632 US9090264B1 (en) 2014-06-12 2014-06-12 Vision-based wet road surface detection

Publications (2)

Publication Number Publication Date
CN105261007A CN105261007A (zh) 2016-01-20
CN105261007B true CN105261007B (zh) 2018-08-10

Family

ID=53638338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510579901.5A Active CN105261007B (zh) 2014-06-12 2015-06-12 基于视觉的潮湿道路表面检测

Country Status (3)

Country Link
US (1) US9090264B1 (zh)
CN (1) CN105261007B (zh)
DE (1) DE102015109238B4 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9892296B2 (en) 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
US10082795B2 (en) * 2016-08-24 2018-09-25 GM Global Technology Operations LLC Vision-based on-board real-time estimation of water film thickness
US10339391B2 (en) * 2016-08-24 2019-07-02 Gm Global Technology Operations Llc. Fusion-based wet road surface detection
US10310298B2 (en) 2016-10-25 2019-06-04 GM Global Technology Operations LLC Smart sensor-cover apparatus and methods and computer products for implementing same
US10710593B2 (en) 2018-09-04 2020-07-14 GM Global Technology Operations LLC System and method for autonomous control of a vehicle
US10795357B2 (en) * 2018-09-14 2020-10-06 Guangzhou Automobile Group Co., Ltd Method and device for controlling vehicle and autonomous driving vehicle
EP3626553A1 (en) * 2018-09-18 2020-03-25 Ningbo Geely Automobile Research & Development Co. Ltd. Brake performance optimizer
US20200189463A1 (en) * 2018-12-13 2020-06-18 Waymo Llc Detecting puddles and standing water
CN112052751A (zh) * 2020-08-21 2020-12-08 上海核工程研究设计院有限公司 一种安全壳水膜覆盖率检测方法
US11673581B2 (en) * 2020-12-11 2023-06-13 Waymo Llc Puddle occupancy grid for autonomous vehicles
DE102021128115A1 (de) 2021-10-28 2023-05-04 Cariad Se Verfahren zum Bestimmen einer Gravitationsrichtung für ein Fahrzeugsteuersystem eines Kraftfahrzeugs, Fahrzeugsteuersystem und Kraftfahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809853A (zh) * 2003-03-14 2006-07-26 利瓦斯有限责任公司 用于道路表面状况检测的设备
CN103134777A (zh) * 2011-12-01 2013-06-05 现代自动车株式会社 用于检测路面特性的装置和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19730414A1 (de) 1997-07-16 1999-01-21 Opel Adam Ag Verfahren und Vorrichtung zur vorausschauenden Fahrbahnbeurteilung
US8306672B2 (en) * 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
WO2012037528A2 (en) * 2010-09-16 2012-03-22 California Institute Of Technology Systems and methods for automated water detection using visible sensors
US9297641B2 (en) * 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
US9207323B2 (en) * 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1809853A (zh) * 2003-03-14 2006-07-26 利瓦斯有限责任公司 用于道路表面状况检测的设备
CN103134777A (zh) * 2011-12-01 2013-06-05 现代自动车株式会社 用于检测路面特性的装置和方法

Also Published As

Publication number Publication date
CN105261007A (zh) 2016-01-20
US9090264B1 (en) 2015-07-28
DE102015109238B4 (de) 2024-01-25
DE102015109238A1 (de) 2015-12-17

Similar Documents

Publication Publication Date Title
CN105261007B (zh) 基于视觉的潮湿道路表面检测
CN106841196B (zh) 使用轮胎轨迹的基于视觉的潮湿路面状况检测
CN105184263B (zh) 使用纹理分析的基于视觉的潮湿道路表面检测
CN107782727B (zh) 基于融合的湿路面检测
AU2015306477B2 (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
US10013617B2 (en) Snow covered path of travel surface condition detection
CN106841195B (zh) 湿路面状况检测
CN107273785B (zh) 多尺度融合的道路表面状况检测
CN105260700A (zh) 使用镜像图像及实际图像的基于视觉的潮湿道路表面检测
CN106845332B (zh) 利用轮胎旁溅的基于视觉的潮湿路面状况检测
CN107093180B (zh) 使用轮胎向后飞溅的基于视觉的潮湿路面状况检测
US10944958B2 (en) Method and device for detecting height-limiting rod, and automatic driving system
JP6133861B2 (ja) 状態認識システム及び状態認識方法
CN107782413B (zh) 水膜厚度的基于视觉的车载实时估计
CN101131321A (zh) 一种实时测量安全车距用于汽车防撞预警的方法及装置
US20150169980A1 (en) Object recognition device
CN110431060B (zh) 用于路面状况和车辆行为的实时评估的方法和系统
KR101687094B1 (ko) 교통 표지판 인식 장치 및 교통 표지판 인식 방법
JP2011174794A (ja) 路面状態検出装置及び方法
CN109409185A (zh) 检测积雪覆盖路面的方法
CN114065844A (zh) 一种基于视频检测移动中火灾的检测系统
He Practical research on lane recognition and driving state monitoring method based on computer vision
KR20240053377A (ko) 비전센서와 음파센서가 구비된 도로 상태 모니터링 시스템 및 그 방법
KR101551058B1 (ko) 주행환경 기반의 차량 제어 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant