CN106845332A - 利用轮胎旁溅的基于视觉的潮湿路面状况检测 - Google Patents
利用轮胎旁溅的基于视觉的潮湿路面状况检测 Download PDFInfo
- Publication number
- CN106845332A CN106845332A CN201611044064.7A CN201611044064A CN106845332A CN 106845332 A CN106845332 A CN 106845332A CN 201611044064 A CN201611044064 A CN 201611044064A CN 106845332 A CN106845332 A CN 106845332A
- Authority
- CN
- China
- Prior art keywords
- image
- water
- concern area
- road surface
- diagram picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000010287 polarization Effects 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 229910002056 binary alloy Inorganic materials 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- JEGUKCSWCFPDGT-UHFFFAOYSA-N h2o hydrate Chemical compound O.O JEGUKCSWCFPDGT-UHFFFAOYSA-N 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/06—Combustion engines, Gas turbines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/40—Torque distribution
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2756/00—Output or target parameters relating to data
- B60W2756/10—Involving external transmission of data to or from the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
一种确定道路的潮湿路面状况的方法。通过主车辆的图像捕获装置捕获路面的图像。所述图像捕获装置安装在主车辆的一侧并且捕获向下方向上的图像。由处理器识别所捕获的图像中的关注区。所述关注区是在朝向车轮表面旁边的区域侧面中。所述关注区表示其中发生如由车轮产生的发生旁溅的位置。确定关注区中是否有水。响应于关注区中的水的识别而产生潮湿路面信号。
Description
技术领域
实施例大体上涉及利用轮胎旁溅的检测对潮湿路面进行检测。
背景技术
行驶路面上的积水导致车辆出现若干不同的问题。例如,道路上的水减小车辆轮胎与路面之间的摩擦系数,从而导致车辆的稳定性问题。对行驶道路上的积水的检测通常是通过利用某个感测操作对道路上的积水进行主车辆感测来确定的,当积水已经影响诸如检测车轮滑转的车辆操作时,进行所述感测操作。因此,车辆必须针对干燥路面运行状况监测其自身的运行状况(例如,车辆滑移)用于确定是否存在积水。因此,这样的系统可以等待发生这种状况或可以对车辆进行激励以确定是否存在所述状况(例如,如果存在积水,那么对从动轮产生突然加速以引起车轮滑转)。
发明内容
实施例的优点在于使用基于视觉的成像装置检测道路上的水,所述成像装置识别从路面分散至车轮一侧的积水。本文所述的技术不需要来自车辆或驾驶员的激励来确定是否存在积水。相反,响应于监测车轮一侧的飞溅来确定积水。所述技术优选地捕获包括各个方向上的水飞溅的图像。所述技术利用捕获的场景的极化图像并且应用边缘滤波来识别表示水飞溅的短暂的不连续铅垂线。下文使用二进制成像来进一步增强图像以检测捕获的图像内的边缘。应用相关性分析以通过使用共现矩阵技术来分析二进制图像中的竖直方向上的白色像素之间的相关性程度。积水存在的程度越大,所述共现矩阵技术中识别的相关性程度就越大。
实施例预期一种确定道路的潮湿路面状况的方法。通过所述主车辆的图像捕获装置捕获路面的图像。所述图像捕获装置安装在所述主车辆的一侧并且捕获向下方向上的图像。由处理器识别捕获的图像中的关注区。所述关注区在所述车轮面旁边的区域中。所述关注区表示发生如由所述车轮产生的旁溅的地方。确定所述关注区中是否有水。响应于所述关注区中对水的识别而产生潮湿路面信号。
附图说明
图1是示出潮湿路面检测系统的框图。
图2是潮湿路面上由摄像机捕获的车辆场景的示例性透视图。
图3是具有周围视图覆盖的车辆周围的示例性透视图。
图4示出了用于检测潮湿路面的方法的流程图。
图5示出了由图像捕获装置捕获的图像。
图6示出了示例性极化图像。
图7示出了二进制转换图像。
图8示出了捕获的干燥路面的图像。
图9示出了干燥路面的示例性极化图像。
图10示出了干燥路面的极化图像的二进制转换图像。
图11表示示出了示例性相关性分析结果的示例性图。
具体实施方式
图1中示出了沿着车12行驶的车辆10。以水的形式被示出为设置在车道12上的积水19通常随着安装在车轮14的轮缘18上的轮胎16在车道12上的潮湿路面上旋转而被车轮14和轮胎16移位。通常有利的是己知车辆将在何时沿着潮湿车道12行驶,使得由于水导致的问题,诸如进入外部进气通风孔的牵引力损耗或发动机性能下降可被解决或至少得到缓解。
车道12上的积水19可引起车辆在潮湿路面上行驶时的牵引力的减小。设置在车道12上的积水19降低了车辆轮胎与车道12之间的摩擦系数。因此,降低车辆轮胎与车道12之间的牵引力。可通过各种缓解技术来缓解牵引力损耗,所述缓解技术包括(但不限于)警告驾驶员将车速降低至有利于环境状况的速度;使用极低的制动力来致动车辆制动器的自动应用来最小化形成在制动部件的制动表面上的积水;当检测到积水时停用或限制巡航控制功能性的激活;或通知驾驶员维持与前面车辆的更大的停车距离。应当理解的是,本文所述的实施例可应用于除其中希望检测到潮湿路面状况的汽车之外的其它类型的系统。除可利用此系统的汽车之外的车辆的实例包括但不限于铁路系统、飞机、越野运动车辆、机器人车辆、摩托车、自行车、农用设备和建筑设备。
图2示出了潮湿路面检测系统的框图。多个基于车辆的图像捕获装置20安装在车辆上用于捕获车辆周围的图像。多个基于车辆的图像捕获装置20可以安装在车辆前面、后面和侧面。图3示出了用于检测车辆周围的物体的示例性360度周围视图覆盖。每个基于图像的捕获装置均配合用于检测并且识别车辆的每一侧上的物体。基于图像的捕获装置20包括但不限于前视摄像机22,其安装至捕获前面的图像的车辆正前方以及部分地安装至车辆侧面。驾驶员的侧视摄像机24捕获车辆的驾驶员一侧的图像。乘客的侧视摄像机26捕获车辆的乘客侧的图像。后置摄像机28捕获车辆后部和侧面的图像。
再次参考图2,处理器30处理由图像捕获装置20捕获的图像。处理器30分析图像和数据以确定是否有水被车辆10的车轮溅起。因为摄像机优选地固定在具有固定方位位置的车辆上,所以图像中的车轮位置是固定的。因此,关注区是预定的并且在摄像机校准时离线执行。接着处理器可容易地将关注区在线局部化。处理器30可以是现有系统,诸如牵引力控制系统或其它系统的一部分,或可为专用于分析图像捕获装置20中的数据的独立处理器。
处理器30可以联接至一个或多个输出装置,诸如控制器32,以便如果在关注区中发现水时启动或致动控制动作。可以使用一个或多个对策来缓解水可能对车辆操作产生的影响。
控制器32可以是车辆子系统的部分或可以用于启用车辆子系统来抵抗水的影响。例如,响应于道路是潮湿的确定,控制器32可以启用电气或电动液压制动系统34或其中当发生牵引力损耗时准备好制动策略的类似系统。除准备好制动策略之外,制动系统可以自主地应用驾驶员感知不到的少量制动力以在一旦车辆进水时便立即去除车辆制动器中的水。去除积累在车轮和制动器中的水维持了当驾驶员手动地进行制动时车辆制动致动器与车轮的制动表面之间的期望摩擦系数。
控制器32可以控制牵引力控制系统36,当路面上检测到水时,所述牵引力控制系统36通过相应车轮将动力单独地分配至每个相应车轮以减小车轮滑转。
控制器32可以控制巡航控制系统38,当路面上检测到水时,所述巡航控制系统38可停用巡航控制或限制巡航控制的激活。
控制器32可以控制驾驶员信息系统40以在涉及到车道上检测到水时向车辆的驾驶员提供警告。由控制器32致动的这种警告可以警示驾驶员正靠近路面上的水并且可以建议驾驶员将车速降低至有利于当前环境状况的速度,或控制器32可以致动警告以维持车辆在跟随车辆前面具有安全行驶距离。应当理解的是,如本文所述的控制器32可以包括控制个别功能或可以控制功能组合的一个或多个控制器。
控制器32可以进一步控制自动地打开和关闭空气挡板42的致动,用于防止水吸至车辆的发动机中。在这样的状况下,控制器32在检测到车辆前面的路面上有水时自动地致动空气挡板42的关闭,并且在确定路面上不再有水时可以重新打开空气挡板。
控制器32可以进一步控制无线通信装置44的致动以利用车辆间或车辆与基础设施通信系统将潮湿路面状况自主地传送至其它车辆。
控制器可以针对自动化特征的使用,进一步向车辆的驾驶员提供潮湿路面信号警示,所述自动化特征包括但不限于自适应巡航控制、车道跟踪、变道、规避/辅助转向操控、自动紧急制动等。
本文所述的技术的优点在于不需要激励车辆或驾驶员来确定是否有水。即,现有技术需要车辆进行相当大的激励以便进行路面水检测,激励的方式无论是借助于制动操控、增大加速度还是转向操控均是可行的。基于响应(例如,车轮滑转、横摆),此技术确定车辆当前是否正在水上行驶。相比之下,本文所述的技术不需要驾驶员激励来确定道路上的水。
图4示出了用于检测潮湿路面的方法的流程图。在步骤50中,获得与车辆的车轮并排的区域的图像。分析图像用于获得其中可以分析场景中的各种特性来确定图像中是否有水的场景信息。图5示出了由安装在车辆的侧面的图像捕获装置来捕获的图像。可以处理图像以便捕获到俯视图(即,俯视行驶道路)。由相应的图像捕获装置利用的镜头可以利用其中捕获宽的视觉(例如,180度)的鱼眼镜头。图像处理还可以应用于改变摄像机的方位使得如图像中观察到的方位指向下。例如,如果利用一个相应侧摄像机中的图像,那么尽管图像中的相应位置并非摄像机方位的焦点,其仍可以用于产生虚拟方位,该虚拟方位使得场景呈现为就如同摄像机在直接向下看时捕获车轮14、路面12和水19一样。为了改变方位,可以结合捕获的图像使用虚拟摄像机模型使得利用虚拟方位来将图像重新定向,使得产生虚拟图像就如同摄像机重新定向并且面向不同方向(例如,直接面朝下)一样。将图像重新定向以产生虚拟图像包括识别虚拟访问且将虚拟图像上的每个虚拟点映射至真实图像上的对应点。如本文所使用的术语方位是指由摄像机坐标以及摄像机z轴的定向界定的摄像机位置的摄像机视角(无论是真实摄像机还是虚拟摄像机)。如本文所使用的术语虚拟摄像机是指除模拟摄像机方位之外还具有模拟摄像机模型参数和模拟成像表面的模拟摄像机。如由处理器执行的摄像机建模在本文描述为使用虚拟摄像机建模获得的是场景的合成图像的虚拟图像。
再次参考图4,在步骤51中,根据真实图像或虚拟图像识别关注区。此技术将关注区局部化,所述关注区相对于如果有旁溅存在的预期存在分散的水的位置来识别相应位置。对于旁溅引起的分散的水,关注区通常从车轮侧面径向地向外延伸。如图5中所示,由49识别的示例性区域表示图像中的关注区。
再次参考图4,在步骤52中,将极坐标转换应用于图像。极坐标转换将原始关注区图像转换为极化图像。极坐标转换利用呈现为二维坐标系统的极坐标系统,在所述二维坐标系统中,通过相距参考点的距离和与相应参考方向所成的角度来确定平面上的每一点。通常,参考点称为极点,其在图5中示出为元件60。参考方向通常称为极轴。相距极点的距离在本文称为半径。利用半径和角度将关注区内的每一像素映射至极化图像。
图6示出了示例性极化图像。y轴表示从极点至每个像素的半径(R)。x轴表示相对于参考方向的角度度数。将原始图像转换为极坐标系统有助于将全部方向的水飞溅的线性移动仅归至竖直方向。这辅助简化用于识别图像中的水的图像分析。如图6中所示,垂直条纹表示图像中的水。
再次参考图4,在步骤53中,对分散的水进行分析以确定关注区中是否有水。可以利用滤波器(诸如索贝尔(Sobel)滤波器)执行边缘检测。索贝尔滤波器对图像进行二维空间梯度测量。滤波器计算输入灰阶图像中的每一点处的绝对梯度大小的近似值。在本文中,仅仅重点关注竖直方向上的梯度信息。通过将输入图像与某个掩模进行卷积来计算梯度。掩模设计成对相对于像素栅格垂直地延长的边缘作出最大程度的响应。即,索贝尔滤波器的作用是求取一阶导数并且计算图像中的像素强度差值。识别的边缘辅助确定介于有水存在与没有水存在之间的边缘。边缘检测突显捕获的图像内的纹理的线性移动。纹理是由其中存在飞溅的图像中的许多不连续的短铅垂线表示。相比之下,如果路面是干燥的或雪覆盖的路面,那么干燥的或雪覆盖的路面的纹理无线性移动图案。应当理解的是,在不违背本发明的范围的情况下,除了索贝尔滤波之外可以使用其它类型的滤波来识别图像中的边缘。
另外,将二进制转换应用于图像使得任何水均被突显并且更易于识别。图7表示其中与没有水64(利用像素值0表示为黑色)相比利用像素值1将水62表示为白色的二进制转换。
再次参考图4,在步骤54中,进行相关性分析以通过利用灰度共现矩阵技术分析二进制图像内的纹理。相关性分析集中于分析二进制图像中的竖直方向上的白色像素之间的相关性关系。灰度共现矩阵通过计算图像中发生竖直方向上的白色像素对的频率将图像的纹理特征化。统计测量包括但不限于从该共现矩阵提取的相关性程度。因此,如图7中所示,具有旁溅的有水路面与无飞溅路面状况相比示出了竖直方向上的白色像素之间的更强相关性。
图8至10表示无飞溅状况分析。图8示出了在干燥路面上行驶时相对于车轮的路面的图像捕获。分析轮胎旁边的区域49。
图9示出了示例性极化图像。将原始图像转换为极坐标系统将辅助统一水飞溅(如果存在)的线性移动。
图10示出了应用于图像的二进制转换,使得任何水均被突显并且更易于识别。路面上存在的水将识别为经二进制转换的图像中垂直延伸的白线。如图10中所示,不存在铅垂线,从而指示没有水飞溅至空气中。
图11表示示例性相关性分析结果。此图形示出了在将共现矩阵技术应用于极化二进制图像之后从干燥和潮湿路面收集的样本图像。x轴表示图像样本数量,而y轴表示纹理相关性程度。基于纹理分析,针对飞溅和理想干燥路面示出纹理相关性程度。符号“o”表示飞溅,而符号“x”表示理想干燥路面。利用经过训练的分类器,特征空间中的样本分布之间的间距(由阈值66表示)在飞溅与理想干燥路面之间具有明显的区别。
再次参考图4,在步骤55中,做出对相关性是否大于阈值的确定。如果确定相关性大于阈值,那么例程进行至步骤56;否则,例程进行至步骤57。
在步骤56中,响应于确定相关性大于阈值,设置所标记的潮湿路面指示符,指示关注区中有水。将信号传送至控制器,其中可致动如前面描述的各种车辆操作,其包括(但不限于)制动控制、牵引力控制、速度控制、驾驶员警告、空气挡板控制和车辆间通信。
如果在步骤55中确定关注区中没有水,那么例程进行至步骤57,其中可以利用其它另外的技术来验证是否有水。
虽然已详细地描述了用于实行本发明的某些实施例,但是熟悉本发明所涉及的领域的技术人员将认识到用于实践如由随附权利要求书界定的本发明的各种替代设计、滤波过程和实施例。
Claims (10)
1.一种用于确定道路的潮湿路面状况的方法,所述方法包括以下步骤:
由主车辆的图像捕获装置捕获路面的图像,所述图像捕获装置安装在所述主车辆的一侧并且捕获向下方向上的图像;
由处理器识别所捕获的图像中的关注区,所述关注区是在朝向车轮表面旁边的区域中,所述关注区表示由所述车轮产生的发生旁溅的位置;
确定所述关注区中是否有水;以及
响应于所述关注区中的水的识别而产生潮湿路面信号。
2.根据权利要求1所述的方法,其中确定所述关注区中是否有水进一步包括将所述图像转换为极化图像的步骤,所述极化图像辅助识别水飞溅的线性竖直方向。
3.根据权利要求1所述的方法,其中确定将所述图像转换为极化图像包括以下步骤:
识别所述关注区中的极点;
识别源于所述极点的极轴;
根据半径和角度产生所述极化图像,所述极化图像中的每个半径根据所述极点相距每个图像像素的距离而确定,且所述极化图像中的每个角度确定为所述极轴与每个图像像素之间的角度。
4.根据权利要求1所述的方法,其进一步包括将滤波器应用于所述极化图像以识别所述图像中的铅垂线的步骤。
5.根据权利要求1所述的方法,其中应用边缘滤波器包括应用纹理分类滤波器。
6.根据权利要求5所述的方法,其中将索贝尔滤波器应用于所述极化图像。
7.根据权利要求5所述的方法,其中所述将滤波器应用于所述关注区的步骤包括应用边缘滤波器,所述边缘滤波器的响应通过区分所述极化图像中的线性移动纹理来识别所述关注区中的水与没有水存在之间的边缘,所述纹理由所述极化图像中的不连续铅垂线表示。
8.根据权利要求7所述的方法,其进一步包括确定所述关注区中是否有水的所述步骤,该步骤进一步包括将二进制转换应用于所述已滤波的图像以进一步区分有水存在和没有水存在的步骤。
9.根据权利要求8所述的方法,其中确定所述关注区中是否有水进一步包括通过比较所述图像中的竖直方向上的白色像素的相关性程度与相关性阈值来应用相关性分析,其中如果所述已滤波的图像的竖直方向上的白色像素之间的所述相关性程度大于相关性阈值,那么确定有水。
10.根据权利要求1所述的方法,其中捕获向下方向上的图像包括基于真实图像产生向下方向上的虚拟图像,其中通过将所述图像重新定向产生虚拟图像,使得所述虚拟图像就如同摄像机方位面朝下那样生成。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/957998 | 2015-12-03 | ||
US14/957,998 US9971945B2 (en) | 2015-12-03 | 2015-12-03 | Vision-based wet road surface condition detection using tire side splash |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106845332A true CN106845332A (zh) | 2017-06-13 |
CN106845332B CN106845332B (zh) | 2020-11-24 |
Family
ID=58722940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611044064.7A Active CN106845332B (zh) | 2015-12-03 | 2016-11-23 | 利用轮胎旁溅的基于视觉的潮湿路面状况检测 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9971945B2 (zh) |
CN (1) | CN106845332B (zh) |
DE (1) | DE102016122487A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111055848A (zh) * | 2018-10-16 | 2020-04-24 | 现代自动车株式会社 | 用于应对车辆溅水的装置、具有该装置的系统及其方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10134188B2 (en) * | 2015-12-21 | 2018-11-20 | Intel Corporation | Body-centric mobile point-of-view augmented and virtual reality |
US10082795B2 (en) * | 2016-08-24 | 2018-09-25 | GM Global Technology Operations LLC | Vision-based on-board real-time estimation of water film thickness |
US10814846B2 (en) | 2017-08-11 | 2020-10-27 | Ford Global Technologies, Llc | Traction control based on friction coefficient estimation |
US11226620B2 (en) | 2019-02-08 | 2022-01-18 | GM Global Technology Operations LLC | Automated driving systems and control logic with enhanced longitudinal control for transitional surface friction conditions |
US11052914B2 (en) | 2019-03-14 | 2021-07-06 | GM Global Technology Operations LLC | Automated driving systems and control logic using maneuver criticality for vehicle routing and mode adaptation |
US11300677B2 (en) | 2019-07-08 | 2022-04-12 | GM Global Technology Operations LLC | Automated driving systems and control logic for host vehicle velocity estimation using wide aperture radar |
DE102020203585A1 (de) | 2020-03-20 | 2021-09-23 | Zf Friedrichshafen Ag | Anordnung und Filter für Bildverarbeitung, computerimplementiertes Verfahren zum Steuern eines derartigen Filters, Steuergerät für einen Bildgebungssensor, Kamera zum Polarisieren von Licht und Steuerungssystem für ein Fahrzeug umfassend eine derartige Kamera |
US20220366786A1 (en) * | 2021-05-03 | 2022-11-17 | Here Global B.V. | Method and apparatus for estimating lane pavement conditions based on street parking information |
US12065170B2 (en) | 2021-09-28 | 2024-08-20 | GM Global Technology Operations LLC | Automated driving systems and control logic for lane localization of target objects in mapped environments |
US12014552B2 (en) | 2021-12-07 | 2024-06-18 | GM Global Technology Operations LLC | Intelligent vehicle systems and control logic for incident prediction and assistance in off-road driving situations |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011081362A1 (de) * | 2011-08-23 | 2013-02-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn |
CN103136292A (zh) * | 2011-12-05 | 2013-06-05 | 中国移动通信集团公司 | 一种基于图像特征的图像检索方法和装置 |
WO2015070861A1 (de) * | 2013-11-15 | 2015-05-21 | Continental Teves Ag & Co. Ohg | Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems |
CN109932719A (zh) * | 2019-03-18 | 2019-06-25 | 西安电子科技大学 | 基于sar成像的rcs高精度测量方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9499172B2 (en) * | 2012-09-20 | 2016-11-22 | Google Inc. | Detecting road weather conditions |
-
2015
- 2015-12-03 US US14/957,998 patent/US9971945B2/en active Active
-
2016
- 2016-11-22 DE DE102016122487.1A patent/DE102016122487A1/de active Pending
- 2016-11-23 CN CN201611044064.7A patent/CN106845332B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011081362A1 (de) * | 2011-08-23 | 2013-02-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn |
CN103136292A (zh) * | 2011-12-05 | 2013-06-05 | 中国移动通信集团公司 | 一种基于图像特征的图像检索方法和装置 |
WO2015070861A1 (de) * | 2013-11-15 | 2015-05-21 | Continental Teves Ag & Co. Ohg | Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands mittels eines fahrzeugkamerasystems |
CN109932719A (zh) * | 2019-03-18 | 2019-06-25 | 西安电子科技大学 | 基于sar成像的rcs高精度测量方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111055848A (zh) * | 2018-10-16 | 2020-04-24 | 现代自动车株式会社 | 用于应对车辆溅水的装置、具有该装置的系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106845332B (zh) | 2020-11-24 |
DE102016122487A1 (de) | 2017-06-08 |
US9971945B2 (en) | 2018-05-15 |
US20170161573A1 (en) | 2017-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106845332A (zh) | 利用轮胎旁溅的基于视觉的潮湿路面状况检测 | |
CN106841196B (zh) | 使用轮胎轨迹的基于视觉的潮湿路面状况检测 | |
CN107782727B (zh) | 基于融合的湿路面检测 | |
US10558868B2 (en) | Method and apparatus for evaluating a vehicle travel surface | |
US9928427B2 (en) | Vision-based wet road surface condition detection using tire rearward splash | |
CN106841195B (zh) | 湿路面状况检测 | |
JP7291129B2 (ja) | 路面状態と天候に基づく環境影響を認識し評価する方法及び装置 | |
CN106846394B (zh) | 积雪覆盖行进路径表面状况检测 | |
US9950700B2 (en) | Road surface condition detection with multi-scale fusion | |
JP5132750B2 (ja) | 運転者支援システムのための実世界の交通場面からの視覚特性の行動ベース学習 | |
US8976040B2 (en) | Intelligent driver assist system based on multimodal sensor fusion | |
US9594964B2 (en) | Vision-based wet road surface detection using texture analysis | |
CN101131321A (zh) | 一种实时测量安全车距用于汽车防撞预警的方法及装置 | |
CN108960035A (zh) | 使用场景检测模式在感知场景图中分类对象的方法和系统 | |
CN108944920A (zh) | 在机动车应用程序中生成并使用感知场景图的方法和系统 | |
US20150363654A1 (en) | Vision-based wet road surface detection using mirrored and real images | |
CN107782413A (zh) | 水膜厚度的基于视觉的车载实时估计 | |
KR101748646B1 (ko) | 카메라를 이용한 측면차량 검출 장치 및 방법 | |
JPH11142168A (ja) | 環境認識装置 | |
JP6972798B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
EP4113377A1 (en) | Use of dbscan for lane detection | |
Ben Romdhane et al. | A lane detection and tracking method for driver assistance system | |
US20210403020A1 (en) | Vehicular control system with detection and prevention of unintended motion | |
US20240282120A1 (en) | Information processing apparatus, information processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |