CN111357012A - 用于识别与评估车道状况和与天气相关的环境影响的方法和装置 - Google Patents
用于识别与评估车道状况和与天气相关的环境影响的方法和装置 Download PDFInfo
- Publication number
- CN111357012A CN111357012A CN201980005798.XA CN201980005798A CN111357012A CN 111357012 A CN111357012 A CN 111357012A CN 201980005798 A CN201980005798 A CN 201980005798A CN 111357012 A CN111357012 A CN 111357012A
- Authority
- CN
- China
- Prior art keywords
- lane
- vehicle
- interference
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000007613 environmental effect Effects 0.000 title claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 34
- 238000001035 drying Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000011156 evaluation Methods 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 14
- 238000011157 data evaluation Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000001454 recorded image Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract 1
- 238000009825 accumulation Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004061 bleaching Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/05—Type of road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
Abstract
本发明涉及一种用于基于一车载摄像系统的图像数据对一车道状况进行分类的方法以及一种相应车载摄像系统。该方法具有以下步骤：通过一车载摄像系统提供(S12)图像数据，该车载摄像系统配置用于，对一车辆周围环境的至少一部分进行成像，其中，该图像部分的至少一部分包含车辆正在行驶的车道；通过分析评估车道的至少一个点在摄像系统的至少两个图像中的外观图像差异，来区分(S14)车道的漫反射和镜面反射；其中，这些图像是从不同的拍摄角度拍摄的；确定(S16)在摄像系统的至少一幅图像中是否存在由于车辆的一轮子碾过车道时扬起车道积物所引起的干扰；以及，在考虑有关反射类型和干扰强度结果情况下，将车道状况分类(S18)为以下五种车道状况等级之一：a)干燥车道：无干扰的漫反射型；b)普通湿车道：有干扰的镜面反射型；c)有水漂危险的极湿车道：有大量干扰的镜面反射型；d)积雪车道：有干扰的漫反射型；e)结冰车道(薄冰层)：无干扰的镜面反射型。
Description
技术领域
本发明涉及一种用于基于一车载摄像系统的图像数据对一车道状况进行分类的方法以及一种相应车载摄像系统。
背景技术
光学图像检测领域的技术进步使得使用基于摄像装置的驾驶员辅助系统成为可能，这些系统安装在车辆不同位置处，并以被驾驶员视觉感知的方式检测车辆周围环境。同时，这类系统的功能范围涵盖了从远光灯自动控制、识别和显示速度限制直至对车道保持错误或危险的碰撞情况发出预警。
从纯粹的车辆前端信息检测到在所谓的全景环视摄像系统的情况下的完整的360度全景观察，摄像装置如今在现代化车辆中被应用于多种应用并被广泛运用于驾驶员辅助系统的各种功能中。数字化图像处理的主要任务作为是作为独立的功能或者与雷达或激光雷达传感器相结合来首先识别目标、随后对目标进行分类以及在图像区中跟踪目标。经典的目标通常包括轿车、货车、两轮车等不同车辆或行人。此外，摄像装置还承担了交通标志、车道标记、防撞护栏、空间或其他普通目标的信息检测工作。
自动学习和识别目标类别及其层级是数字化图像处理最重要的任务。这方面的许多方法是已知的。基于目前已非常先进的处理方式，它们几乎已可与人一样完成该项任务，因此，目前研究重点已从目标的大致定位转移到目标的精准定位。
在现代化的驾驶员辅助领域内，使用了包括视频摄像装置等不同的传感器，用于尽可能精确、可靠地检测车辆周围环境信息。这些周围环境信息与车辆行驶动力学信息(例如来自惯性传感器装置)相结合，可得出一有关车辆当前行驶状态以及总体行驶状况的良好印象。由此可推导出行驶状态的严重性，并启动相应的驾驶员信息/预警，直至通过刹车和转向进行行驶动态干预。
但是，由于到目前为止尚无法提供或知道用于驾驶员辅助系统的可用摩擦系数或车道状况，因此警告和干预时间原则上是基于一干燥车道设计的，该车道在轮胎与车道之间具有很高的摩擦系数。摩擦系数也称为摩擦值、附着系数、(静态)摩擦的系数或摩擦的系数，其表示相对于车轮负荷在一车道表面和一车辆轮胎之间(例如在切线方向)可传输的最大力，由此是行驶安全性的一重要指标。除了车道状况外，要完整确定摩擦系数还需要轮胎的特性。
由此给驾驶员辅助系统以及自动驾驶带来了实际挑战。用于事故防范或减少事故危害的系统过迟发出驾驶员预警或做出系统干预，那些预警或干预只能在确实干燥的车道上才能避免事故或将事故后果降低到可接受程度。如果在湿、下雪甚至结冰等不太理想的车道情况下，系统则无法阻止事故发生，在降低事故后果程度方面也无法达到令人满意的效果。
如果系统方面能确定车道状况，甚至能确定可供应用的摩擦系数，则可相应更有针对性地进行驾驶员预警及系统干预。由此将明显提高用于事故防范的驾驶员辅助系统的有效性。监控车道状况或估计摩擦系数是自动驾驶系统的一基本前提要求。
例如WO 2014/127777 A2展示借助一车载摄像装置基于图像确定车道状况。在此，将一包括车道表面图像的图像区域馈送到一分类装置。
发明内容
本发明的一项任务是提供一种基于摄像装置的改进型车道状况分类以及必要时说明所出现的、与天气有关的周围环境影响。
本解决方案的出发点基于这样一种认知，即根据摄像图像数据中车道表面上的漫反射和镜面反射，区分特定车道状况的特征。WO 2016/177371A1中描述了这样一种方法。
尤其是，车辆上具有不同视角和视线方向的不同摄像装置和摄像系统的组合，首先可利用数字图像处理和机器学习装置来区分图像中或图像局部区域或一图像序列中车道表面上的漫反射和镜面反射。例如，一由于车辆的运动，各个摄像装置在不同时间点所采用的一空间点上的视角不同，从而提供了不同的视角。作为另一示例，具有部分重叠检测区域的两个摄像装置在一时间点已提供了重叠区域中一空间点上的不同视角。
用于一车道表面状况的一第二个基本特征是确定图像或图像部分区域或一图像序列中的干扰，这些干扰是由于(诸如积水或积雪等)车道积物在自身所在车辆的车轮或其他车辆的车轮驶过或碾过时被扬起而产生的。可根据其在图像中的影响对车道积物进行分析评估。被车轮扬起的车道积物的颗粒会在图像或图像部分区域或图像序列中不同程度地引起干扰。WO 2015/070861 A1中描述了这样一种方法。
现在可将这两个特性结合在一起，并共同分配给一经精确定义的车道状况。由此，仅基于摄像图像就可确保以下五种相关车道状况的区分：
-干燥车道
-有少量积水的湿车道
-有大量积水的湿车道(水漂/滑水危险)
-积雪车道
-结冰车道。
根据下列简单标准进行区分：
干燥车道：不会由车轮造成干扰的漫反射；
有少量积水的湿车道：有少量干扰的镜面反射；
有大量积水的湿车道(水漂危险)：有大量干扰的镜面反射；
积雪车道：有干扰的漫反射；以及
结冰车道：无干扰的镜面反射。
湿车道上通过溅水引起的干扰优选可通过下列方法识别，与一无干扰的图像或无干扰的图像部分区域或无干扰的图像序列相比，有干扰的图像或图像部分区域或图像序列在亮度和/或对比度和/或颜色以及结构上都存在区别。
另一方面，积雪情况下有益的是没有亮度和/或对比度和/或颜色上的区别。扬起的雪涡旋只会造成结构上的差异。
干燥车道的特征尤其在于一无干扰的漫反射。
结冰车道(薄冰层/“黑冰”)典型情况下显示一无干扰的镜面反射。
原则上，所述方法可应用于单一摄像装置上，只要该摄像装置适用于对自身所在车辆或其他车辆的车轮扬起的涡旋进行检测。因此，摄像系统可由一单一摄像装置构成，只要该摄像装置有一合适的检测区域，在该区域中可对干扰(如果有干扰出现)进行检测并可确定反射类型。
这优选适用于一(单目)车载前置摄像装置，该摄像装置至少部分检测前方车道，并且如果一前方行驶车辆、一横向交汇车辆或一对向驶来车辆在其轮胎驶过车道积物时例如扬起溅水或雪尘涡旋情况下，能对一车道积物加以识别。
特别优选的是，由一例如朝向自身所在车辆的车轮上、朝向自身所在车辆一侧面或朝向一车轮周围区域的摄像装置等设置在侧面的车载摄像装置生成图像数据。换句话说，至少一车轮或罩在该车轮上的车轮罩或车辆的一侧在侧置摄像装置的视野(视场—简称FOV)中。这例如适用于一全景环视摄像系统的一第一侧置摄像装置。要评估的图像区域(感兴趣区域，简称ROI)优选涉及出现溅水或扬起积雪效应最严重一侧的前轮周围空间。作为替代选择或附加措施，后轮周围空间可用作(第二个)感兴趣区域(ROI)。
换句话说，在至少一个特别感兴趣区域(ROI)中确定图像干扰，这些图像干扰的原因是，在所观察车轮附近因车轮碾过车道造成车道积物被扬起，因而导致对至少一个特别感兴趣区域(ROI)的干扰。
根据优选的另一结构形式，设置在车辆侧面的一第二摄像装置以可比较的方式生成车辆对面一侧上的第二图像数据。由此例如可“监控”两个前轮和/两个后轮。
车载摄像系统以有益的方式包括一检测车辆后部区域的车尾摄像装置。
优选以不同的视线方向和/或视角提供一车载摄像系统的不同的单独摄像装置的图像数据。由此可更可靠区分车道的反射类型。
也能可靠确定干扰强度。
具有至少或正好四个广角(视场角度最大可达180度)摄像装置的全景环视摄像系统可检测相对于车辆及其周围环境的前方区域、左侧区域、右侧区域和后方区域，这将以有益的方式为稳定检测反射类型和干扰提供理想可能性。
摄像图像优选被划分为多个不同的特别感兴趣区域(ROI)，这些区域根据不同内容以不同方式有针对性地用于反射类型和干扰的分析评估。
单独的摄像装置优选以不同方式有针对性地用于反射类型和干扰的分析评估。例如，一设置在侧面的摄像装置可用于分析评估车轮区域的干扰，而一前置摄像装置或车尾摄像装置可用于确定反射类型。
不同摄像装置和图像区域一优选组合的特殊优点在于，可在不同图像和/或区域中完全有针对性地查找由车轮造成的车道积物涡旋产生的干扰。
这样一种组合使整体结果明显更可靠，并提高了信息的可用性。
另一有益的特征在于，将一个或多个前置摄像装置与一全景环视摄像系统的摄像装置加以组合。与一全景环视摄像系统朝向前方的一卫星摄像装置相比，前置摄像装置能为前方(更远处)周围环境区域提供一更好的分辨率(和更小的失真)。
一车辆其他非基于摄像装置的周围环境传感器的行驶动力学数据和/或其他传感器数据和/或周围环境信息和/或天气信息可优选用作分析评估或分类车道状况和与天气条件相关的周围环境影响的附加决策依据。
为区分车道状况，优选根据一第一训练样本训练一种第一机器学习方法。所述第一机器学习方法包括下列步骤：
-检测和/或分类反射类型；以及
-检测和/或回归干扰强度。
根据一优选实施方法，根据一第二训练样本，借助一第二机器学习方法，学习从反射类型和干扰强度到车道状况等级/类别的映射。
优选从至少一个摄像图像中提取至少一个区域的图像特征，可选地将其转换成一中间表征，并借助一回归装置将其映射到一干扰强度上，或借助一分类装置将其映射到一反射类型和/或一车道状况上。
作为替代选择，优选训练一神经网络，该神经网络根据一第三随机训练样本学习将来自一个或多个摄像图像的一个或多个图像部分映射到车道状况上。这种端到端的分类尤其可作为深度学习方法进行；所述神经网络可是一卷积神经网络(CNN)。
行驶动力学数据和/或传感器数据优选用作一机器学习方法或一神经网络训练的附加输入。
此外，本发明还涉及一种包括至少一个摄像装置和一个图像数据分析评估单元的车载摄像系统。
所述摄像装置被配置(尤其是被设置和被控制)用于，对车辆外部周围环境的至少一部分进行成像，其中，该部分的至少一部分包含车辆正在行驶的车道，并将图像数据提供给图像数据分析评估单元。图像数据分析评估单元配置用于，通过分析评估摄像系统从不同拍摄角度拍摄的至少两个图像中车道至少一个点的外观图像差异，对车道的漫反射和镜面反射加以区分。
此外，图像数据分析评估单元还配置用于，确定摄像系统的至少一幅图像中是否存在，由于一车辆的轮子碾过车道时扬起车道积物所导致的干扰。此外，图像数据分析评估单元还配置用于，在考虑了反射类型和干扰强度结果的情况下，将车道状况分为以下五个车道状况等级之一：
a)干燥车道：无干扰的漫反射型
b)普通湿车道：有干扰的镜面反射型
c)有水漂危险的极湿车道：有大量干扰的镜面反射型
d)积雪车道：有干扰的漫反射型
e)结冰车道(薄冰层)：无干扰的镜面反射型。
所述车载摄像系统尤其设置用于，在使用数字图像处理和机器学习的算法情况下，检测例如干燥车道、湿车道、积雪车道和结冰车道等车道状况，并可靠检测诸如水漂等危险情形，通过车道反射类型和干扰强度的交叉比较对它们加以区分。
所述图像数据分析评估单元尤其可包括一微控制器或微处理器，一数字信号处理器(DSP)，一ASIC(专用集成电路)，一FPGA(现场可编程门阵列)等许多类似器件，以及用于执行相应方法步骤的软件等。
因此，本发明可在数字电子电路、计算机硬件、固件或软件中实现。
此外，所述车载摄像系统还可包括一用于通知驾驶员或控制一自动(半自动或全自动)行驶车辆的输出单元。
用于分析评估摩擦系数的计算单元可整合在车载摄像系统或图像数据分析评估单元中。
本发明的另一主题涉及一种带有一根据本发明所述车载摄像系统的车辆。所述车辆优选包括用于干预车辆行驶动力学的致动装置，该致动装置由车载摄像系统根据所确定的车道状况进行控制。
附图说明
下面对实施例和附图进行更详细的描述。其中
图1示出了带有多个单独的摄像装置的一车载摄像系统的不同检测区域；
图2示出了一全景环视摄像系统的四个单独的图像，其中，全景环视摄像系统具有带鱼眼镜头的四个摄像装置
图3示出了在很湿车道上一车辆轮胎的示意图；
图4示意性展示在一下雨天湿车道行驶车辆的一车轮的二值摄像图像；
图5示出了由一置于车辆右侧的摄像装置拍摄的、分别针对不同湿车道情况下的各干扰强度中的一个等级的三个示例图像部分；
图6示出了一车载摄像装置的示意图，以及
图7示出了用于识别和分析评估车道状况的一方法的方法步骤示意图。
具体实施方式
图1展示配置在一第一车辆(E)中或车辆上的摄像系统的检测区域(1a-1d、2、3)。一第二车辆(F)侧面错开处于第一车辆(E)前行方向的前方。第一辆汽车(E)的摄像系统包括三个不同的摄像装置子系统(1、2和3)：一全景环视系统(1)，其包括四个具有广角检测区域(1a到1d)的单独摄像装置传感器，它们可一起对车辆进行360度检测；一个具有朝前检测区域(2)的前置摄像装置和具有一朝后检测区域(3)的车尾摄像装置。
可以通过具有朝前检测区域(1a，2)的行驶方向上的摄像装置传感器来检测或确定图像或一图像部分中的干扰，当有车道积物时，由于前方行驶车辆(F)或对向驶来车辆(未示出)驶过车道，会产生所述干扰，由此可确定车道上是否有车道积物。
用于确定一车道积物的图像处理可以有益的方式限于一个或多个具有一轮胎接触区的摄像图像区域。
借助具有一朝向侧面的检测区域(1b、1c)的摄像装置传感器，当自身所在车辆(E)的轮胎驶过车道时，可确定一车道积物在图像中造成的干扰。
这样做的好处是，不必依靠前方行驶或偏离车道行驶的外来车辆(F)，而是根据一朝向侧面的传感器，独立于其它车辆(F)，依靠检测和确定由自身所在车辆(E)造成的影响来确定一当前相关的车道积物。由于如今车辆已越来越多地配备了可进行全景环视检测的360度摄像装置传感器，它例如可以鸟瞰角度将全景环视图作为“顶视图”显示给驾驶员，由此可以有益的方式确保一车道积物的可靠确定。
图2展示一全景环视摄像系统的四个单独图像的示例，该全景环视摄像系统带有四个有鱼眼镜头的摄像装置。上方(20a)、左侧(20b)、右侧(20c)和下方(20d)的图像分别对应于图1所示前方(1a)、左侧(1b)、右侧(1c)和后方(1d)的检测区域。尤其是，设置在左侧的摄像装置(20b)和设置在右侧的摄像装置(20c)的图像分别包含前轮和后轮。应选择相应的图像区域或感兴趣区域(ROI)，并将其输入到一个分类装置中，该装置根据车道积物确定所述区域中一图像干扰强度。
图3展示具有水漂危险情形的一示意图。一轮胎30和一车道35之间的接触是决定性的。处于车道35上的积水37，即车道积物用阴影线表示。同时，轮胎30与车道35的接触面可被划分为31到33这三个区域。如果车辆以及由此轮胎30在箭头方向标注的行驶方向上运动，则在轮胎上首先形成一个接近区域31，在该接近区域中轮胎30和车道35之间存在一些楔形的积水。一过渡区32与该接近区31相邻。在与过渡区32相邻的接触区33中，轮胎30与车道35直接接触，由此可达到一相应的附着效果。随着水位的提高和/或行驶速度的提高，接触区33、以及轮胎30与车道35之间的接触面积减小，如果接触区33的这种范围接近零，则直接存在水漂的危险。因此，这种状况被称为微水漂。如果不再有接触区33，也就是说轮胎30和车道35之间整个区域中都是水，则发生水漂，在该状态下一车辆不再以受控方式被控制或制动。
图4展示下雨天在湿车道上驶过时一车辆轮胎30的摄像图像的黑白(反转)图像。车辆轮胎30在一轮辋(白色，圆形)上，车辆向左行驶。车辆驶过被水覆盖的车道表面时，积水被排开并甩出，由此可看到水滴和水线40(白点和线)。驶过湿的道路时，会从车辆轮胎构成溅水。通过高表面压力，轮胎将车道上的积水从所有各面排出。在货车中，这种现象特别明显，货车轮胎具有相对较高的表面压力，排出的水必定比轿车更多。从行驶方向观察，溅水主要出现在车轮的后方和侧面。在那里，可通过一车载摄像装置对溅水加以检测，并通过一图像处理装置将其识别为溅水，由此可将一雨水层推断为车道积物。
如果车道上有雪泥，则以可比较的方式构成飞溅的雪泥，这些雪泥也可以相同方法被检测和识别。
根据不同车道积物，例如如果车道潮而不是湿，以及根据车道积物的结构，在车辆驶过时不会引起溅水，而只会引起喷雾或水沫或两者都有。在驶过有新雪或粉雪覆盖的道路时，会出现典型的雪涡旋，这些雪涡旋在车辆侧面以及车辆后部作为龙卷雪粉传播。
每种被扬起的车道积物在一靠近车轮的图像区域中会造成干扰，可通过这些干扰的强度对其加以识别。
图5展示具有不同湿度的车道中一置于侧面(右侧)的车载摄像机的三个示例图像部分。
图5a展示一干燥车道，其中，在与车辆侧(下方)相邻的区域51构成了车道表面，其结构在图像中不受干扰并因此可被识别。
图5b展示一普通湿车道，车道表面的图像被各可识别的溅水水滴52干扰。
图5c展示一极湿车道(参见图3)，它有严重的水漂危险。在此，车道表面几乎无法被识别，因为强烈的溅水水沫53在该图像区域造成严重的干扰。
图6展示包括至少一个摄像装置10和一个图像数据分析评估单元60的车辆摄像装置的一示意图。所述图像数据分析评估单元60确定反射类型和干扰强度，因此可对车道状况进行分类。所述车道状况等级可输出到一车辆致动装置66、一驾驶员警告装置或一驾驶员辅助功能控制单元。
图7展示用于识别和分析评估车道状况的一方法的方法步骤示意图。
在步骤S12中，由一车载摄像系统提供图像数据。在步骤S14中，根据图像数据区分，是否存在由车道表面或一车道积物造成的漫反射或镜面反射。
在步骤S16中，确定一图像区域的干扰强度。在步骤S18中，根据步骤S14和S16的结果对车道状况进行分类。
在一可选步骤S20中，输出车道状况等级。
数字图像处理和机器学习的方法：
在一有益的实施方式中，使用数字图像处理和机器学习的算法，其目的是结合诸如积水或雪等被卷起的车道积物来可靠检测车道反射，以识别例如干燥、湿、积雪、结冰等车道状况以及例如水漂等危险情形。所述方法部分既适用于单目摄像装置、立体摄像装置也适用于全景环视摄像装置和/或其组合。
基础是在一幅或多幅摄像图像中可被静态规定或通过例如机器学习自动确定的一个或多个区域。在此重要的是，图像区域提供关于反射类型以及车道上是否存在被扬起的积物的信息。或者，几个图像区域和/或带有多个图像区域的几个摄像装置的组合提供有关反射类型以及是否存在导致图像区域出现干扰的被扬起积物的信息。
为检测车道反射，使用代表车道表面特征的一个或多个摄像图像中的一个或多个区域。根据运行时间和精度要求，这可是一分段截面，或在一特别有益的实施方式中，可是一梯形，该梯形借助一估计的单应性转换为一直角俯视图(“鸟瞰”)。如WO 2016/177371 A1中介绍，现在例如可从时间的前后关联确定不同的车道反射类型(漫反射和镜面反射)。
为检测被卷起的车道积物，在一个或多个摄像图像中规定相应区域，在一特别有益的方式中，这些区域是从侧面观察角度出发，车辆轮胎和/或车身附近一全景环视摄像装置的图像部分。由此，可在一限制区域内有针对性地确定所出现的被扬起积物，并不受车辆周围环境干扰的影响。另一种可能性是借助机器学习对相应场景(自身所在车辆和其他车辆)中的车轮和/或车轮截面进行检测。在此，可对提供所需图像部分的一检测装置进行训练。
对给定车道状况类别的分类构成了一中心方面。已检测图像部分用作可能被卷起的车道积物以及有关道路上当前反射类型的信息的基础。然后，将这些数据输入到一机器学习系统，该系统根据一训练样本学习将图像部分、反射类型和附加信息映射到一经定义的车道状况之一上。由此构成一模型，该模型一方面提取/学习用于描述被卷起的车道积物的一基于结构的特征，另一方面对这些特征与反射类型和/或附加信息的适当组合进行估计。
| 反射\干扰 | 无 | 普通 | 强 |
| 漫反射 | 干燥 | 积雪 | - |
| 镜面反射 | 薄冰层 | 一般湿度 | 水漂危险 |
表1：通过交叉比较反射类型和干扰程度对车道状况进行分类
此外，可以通过关联知识/附加信息支持分类。在此，特别适合使用车辆动力学数据的整合和可供使用的传感器数据(温度、空气湿度、雨水传感器、雨刷器活动性等)。
带前置摄像系统和全景环视摄像系统的费舍尔向量编码：
所提出方法需要输入一个或多个摄像图像，这些摄像图像包含图像中对决策很重要的区域，此外，排除了不必要的背景。这很重要，因为周围基础设施和其他交通参与者的干扰会影响所述方法。
由于所选的图像部分过大，所以即使在数据库非常小的情况下也能实现：不是基于期望的车道积物的涡旋结构，而是基于个性化情况下偶然发生的背景现象来做出决定。
从所有训练图像的输入图像区域中提取一密集网格上的局部特征，这些局部特征通过一边缘直方图(包括HOG“方向梯度直方图”，LBP“局部二值模式”)描述所述图像部分。然后，根据全部特征集估计高斯混合分布模型。然后，根据来自所述特征向量和混合分布模型，即所谓的费舍尔向量编码(Fisher-Vector-Encoding)的高阶统计来描述单个图像。最终，借助所获得整个训练集的图像表征，教导一线性分类装置，其在运行时为一给定图像提供概率类从属关系。
一特别有益的方式是使用来自前置摄像装置的两个图像区域以及使用全景环视摄像装置的图像部分。前置摄像装置的一第一图像区域用于将车道中现有的反射标准化。此外，另一较大的图像部分还提供有关天气条件和与车道状况相关的影响的全局图像背景信息，这些是由基础设施(例如积雪覆盖的人行道和绿化带等)造成的。另一方面，全景环视摄像装置的图像部分提供与扬起的车道积物有关的信息。来自不同摄像装置的这些图像部分的组合可作为费舍尔向量编码的输入。
通过编码，一方面可映射涡旋的特征结构，另一方面也可反映扬起的涡旋与反射信息和附加信息的关系。此外，还可检测车辆前和车辆旁的结构特征，这也有助于区分车道状况(积雪车道中的车道)。
如有必要，可通过一后处理来稳定分类结果，方法是对各图像的估计进行随时间推移的平滑处理。作为替代选择，一迟滞现象阈值方法也可过滤不确定的决策。
使用前置摄像系统和全景摄像系统进行深度学习：
经典的机器学习，就像借助费舍尔向量编码(见上)进行车道状况估计方法一样，包括多个彼此独立执行的步骤。首先，从图像中提取特征，这些特征可直接使用或转换为一个中间表征。然后，对一分类装置进行教导，该分类装置根据特征或中间表征做出分类决定。
相反，在深度学习中，各步骤不是明确执行的，而是随神经网络深度的增加以隐性方式进行。这被称为所谓的端到端学习，它导致对一系统中存在的所有参数的联合优化。对本发明，这意味着来自前置摄像装置和全景环视摄像装置的图像部分或整幅图像用作神经网络的输入。此外，反射类型和诸如传感器数据和行驶动力学数据等附加信息也可被整合为输入。根据一训练样本对网络进行训练，无需特征提取或中间表征的明确建模。仅学习一输入数据到所属车道状况的映射。
Claims (16)
1.用于识别和分析评估车道状况以及与天气条件相关的周围环境影响的方法，该方法包括下列方法步骤：
-通过车载摄像系统提供(S12)图像数据，该车载摄像系统配置用于，对车辆周围环境的至少一部分进行成像，其中，该部分至少部分地包含车辆正在行驶的车道；
-通过分析评估车道的至少一个点在摄像系统的至少两个图像中的外观图像差异，区分(S14)车道的漫反射和镜面反射；其中，这些图像是从不同拍摄角度拍摄的；
-确定(S16)在摄像系统的至少一幅图像中，是否存在由于车辆的至少一个轮子在碾过车道时卷起车道积物而引起的干扰，
-在考虑有关反射类型和干扰强度结果的情况下，将车道状况分类(S18)为以下五种车道状况等级之一：
a)干燥车道：无干扰的漫反射型
b)普通湿车道：有干扰的镜面反射型
c)有水漂危险的极湿车道：有大量干扰的镜面反射型
d)积雪车道：有干扰的漫反射型
e)结冰车道(薄冰层)：无干扰的镜面反射型。
2.根据权利要求1所述的方法，其中，车载摄像系统配置用于，对车辆轮子周围空间的至少一部分进行拍摄，并确定是否在至少一幅图像的至少一个区域中存在由于车辆轮子在碾过车道时卷起车道积物而引起的干扰。
3.根据权利要求2所述的方法，其中，车载摄像系统包括第一侧置摄像装置。
4.根据权利要求3所述的方法，其中，车载摄像系统包括第二侧置摄像装置，该第二侧置摄像装置设置在车辆的第一侧置摄像装置的对面。
5.根据上述权利要求中任一权利要求所述的方法，其中，车载摄像系统包括车辆的车尾摄像装置。
6.根据上述权利要求中任一权利要求所述的方法，其中，车载摄像系统包括车载前置摄像装置。
7.根据上述权利要求中任一权利要求所述的方法，其中，提供车载摄像系统的不同单独摄像装置以不同的视线方向和/或视角拍摄的图像数据。
8.根据上述权利要求中任一权利要求所述的方法，其中，摄像图像被划分为多个不同的特别感兴趣区域，这些区域根据内容以不同方式有针对性地被用于反射类型和干扰的分析评估。
9.根据上述权利要求中任一权利要求所述的方法，其中，各个摄像装置以不同方式有针对性地被用于反射类型和干扰的分析评估。
10.根据上述权利要求中任一权利要求所述的方法，其中，车载摄像系统具有处于自身所在车辆(E)前方的检测区域(2、1a)，确定由在前方行驶车辆、横向交汇车辆或对向驶来车辆驶过车道积物时扬起的车道积物在图像上引起的干扰。
11.根据权利要求1到10中任一权利要求所述的方法，其中，将车辆其他非基于摄像装置的周围环境传感器的行驶动力学数据和/或其他传感器数据和/或周围环境信息和/或天气信息用作分析评估车道状况和与天气条件相关的周围环境影响的附加决策依据。
12.根据上述权利要求中任一权利要求所述的方法，其中，为区分车道状况，根据训练样本对机器学习系统进行训练，其中包括以下步骤：
-检测和/或分类反射类型；
-检测和/或回归干扰强度。
13.根据权利要求12所述的方法，其中，借助机器学习系统基于训练样本学习从反射类型和干扰强度到车道状况等级的映射。
14.根据权利要求10或11所述的方法，其中，从至少一个摄像图像的至少一个区域中提取图像特征，借助回归装置将其映射到干涉强度，或借助分类装置将其映射到反射类型和/或车道状况上。
15.根据权利要求1到11中任一权利要求所述的方法，其特征在于，训练神经网络，该神经网络学习根据训练样本将来自一个或多个摄像图像的一个或多个图像部分映射到车道状况上。
16.包括至少一个摄像装置和图像数据分析评估单元的车载摄像系统，其中，
所述摄像装置配置用于，对车辆周围环境的至少一部分进行成像，其中，该部分至少部分地包含车辆正在行驶的车道，并将图像数据提供给图像数据分析评估单元；以及
图像数据分析评估装置配置用于，
通过分析评估车道的至少一个点在摄像系统的至少两幅图像的图像序列中的外观图像差异，来区分车道的漫反射和镜面反射；
确定在摄像系统的至少一幅图像中是否存在由于车辆的一轮子碾过车道时扬起车道积物所引起的干扰；以及
在考虑反射类型和干扰强度结果的情况下，将车道状况分为以下五个车道状况等级之一：
a)干燥车道：无干扰的漫反射型
b)普通湿车道：有干扰的镜面反射型
c)有水漂危险的极湿车道：有大量干扰的镜面反射型
d)积雪车道：有干扰的漫反射型
e)结冰车道(薄冰层)：无干扰的镜面反射型。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018203807.4 | 2018-03-13 | ||
| DE102018203807.4A DE102018203807A1 (de) | 2018-03-13 | 2018-03-13 | Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen |
| PCT/DE2019/200016 WO2019174682A1 (de) | 2018-03-13 | 2019-02-26 | Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111357012A true CN111357012A (zh) | 2020-06-30 |
Family
ID=66175116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980005798.XA Pending CN111357012A (zh) | 2018-03-13 | 2019-02-26 | 用于识别与评估车道状况和与天气相关的环境影响的方法和装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20200406897A1 (zh) |
| JP (1) | JP7291129B2 (zh) |
| CN (1) | CN111357012A (zh) |
| DE (2) | DE102018203807A1 (zh) |
| WO (1) | WO2019174682A1 (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017214030A1 (de) * | 2017-08-11 | 2019-02-14 | Robert Bosch Gmbh | Verfahren zum Bestimmen eines Reibwerts für einen Kontakt zwischen einem Reifen eines Fahrzeugs und einer Fahrbahn und Verfahren zum Steuern einer Fahrzeugfunktion eines Fahrzeugs |
| DE102019209268B4 (de) * | 2019-06-26 | 2023-03-02 | Continental Automotive Technologies GmbH | Verfahren zur Bewertung eines Fahrbahnzustandes einer Fahrbahn, auf der sich ein Kraftfahrzeug bewegt, sowie Verfahren zum Reduzieren eines Gefährdungsgrades für ein sich auf einer Fahrbahn bewegendes Kraftfahrzeug in Bezug auf eine Gefahrenstelle |
| KR102297683B1 (ko) * | 2019-07-01 | 2021-09-07 | (주)베이다스 | 복수의 카메라들을 캘리브레이션하는 방법 및 장치 |
| DE102019210935A1 (de) * | 2019-07-24 | 2021-01-28 | Zf Friedrichshafen Ag | Erkennen und Bewerten einer Wasseransammlung auf einer Fahrbahn |
| DE102019218461A1 (de) * | 2019-11-28 | 2021-06-02 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln einer Aquaplaninggefahr für ein Fortbewegungsmittel |
| DE102019135751A1 (de) * | 2019-12-23 | 2021-06-24 | Nira Dynamics Ab | Verfahren, Vorrichtungen, Systeme und Computerprogrammprodukte zum Schätzeneiner Fahrbahnoberflächentemperatur |
| US11521127B2 (en) * | 2020-06-05 | 2022-12-06 | Waymo Llc | Road condition deep learning model |
| CN112131963B (zh) * | 2020-08-31 | 2023-09-01 | 青岛秀山移动测量有限公司 | 一种基于行驶方向结构特征约束的道路标识线提取方法 |
| AT524256B1 (de) * | 2020-10-08 | 2023-06-15 | Thomas Genitheim Ing Dipl Ing Fh | Verfahren zur Ermittlung eines Reibbeiwertes |
| DE102021101788A1 (de) * | 2021-01-27 | 2022-07-28 | Zf Cv Systems Global Gmbh | Verfahren zum ortsaufgelösten Ermitteln einer Oberflächeneigenschaft eines Untergrundes, Verarbeitungseinheit und Fahrzeug |
| DE102021110184A1 (de) | 2021-04-22 | 2022-10-27 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Computerimplementiertes Verfahren zur Abschätzung von Fahrbahneigenschaften |
| US11878717B2 (en) | 2022-01-24 | 2024-01-23 | International Business Machines Corporation | Mirage detection by autonomous vehicles |
| DE102022206625A1 (de) | 2022-06-29 | 2024-01-04 | Continental Autonomous Mobility Germany GmbH | Verfahren und System zur Straßenzustandsüberwachung durch ein maschinelles Lernsystem sowie Verfahren zum Trainieren des maschinellen Lernsystems |
| KR102449392B1 (ko) * | 2022-07-05 | 2022-10-07 | 전해석 | 노면 상태에 기반한 주행 안전 확보를 위한 차량용 ecu의 최적화 및 제어 시스템 및 이를 이용한 차량용 ecu의 최적화 및 제어 방법 |
| DE102022211241A1 (de) | 2022-10-24 | 2024-04-25 | Continental Autonomous Mobility Germany GmbH | Erkennen von Fahrbahnauflage auf einer Fahrbahn |
| CN116229765B (zh) * | 2023-05-06 | 2023-07-21 | 贵州鹰驾交通科技有限公司 | 一种基于数字数据处理的车路协同方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809853A (zh) * | 2003-03-14 | 2006-07-26 | 利瓦斯有限责任公司 | 用于道路表面状况检测的设备 |
| WO2016177372A1 (de) * | 2015-05-06 | 2016-11-10 | Continental Teves Ag & Co. Ohg | Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld |
| US20160379065A1 (en) * | 2013-11-15 | 2016-12-29 | Continental Teves Ag & Co. Ohg | Method and Device for Determining a Roadway State by Means of a Vehicle Camera System |
| DE102016009928A1 (de) * | 2016-08-16 | 2017-02-02 | Daimler Ag | Verfahren zum Erfassen von Nässe auf einer Fahrbahn |
| CN107667378A (zh) * | 2015-05-06 | 2018-02-06 | 大陆-特韦斯贸易合伙股份公司及两合公司 | 用于识别和评估路面反射的方法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005044486B4 (de) * | 2005-09-16 | 2009-02-05 | Daimler Ag | Verfahren zur Detektion des Oberflächenzustands einer Fahrbahn, sowie Detektionssystem und Fahrerassistenzsystem zur Umsetzung des Verfahrens |
| DE102013101639A1 (de) | 2013-02-19 | 2014-09-04 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands |
| JP6036421B2 (ja) * | 2013-03-14 | 2016-11-30 | 富士通株式会社 | 道路管理支援方法、道路管理支援装置、及び道路管理支援プログラム |
| US10832426B2 (en) * | 2015-09-24 | 2020-11-10 | Apple Inc. | Systems and methods for surface monitoring |
| JP2017078972A (ja) * | 2015-10-20 | 2017-04-27 | トヨタ自動車株式会社 | 運転支援装置 |
| US10082795B2 (en) * | 2016-08-24 | 2018-09-25 | GM Global Technology Operations LLC | Vision-based on-board real-time estimation of water film thickness |
-
2018
- 2018-03-13 DE DE102018203807.4A patent/DE102018203807A1/de not_active Withdrawn
-
2019
- 2019-02-26 WO PCT/DE2019/200016 patent/WO2019174682A1/de active Application Filing
- 2019-02-26 JP JP2020519331A patent/JP7291129B2/ja active Active
- 2019-02-26 CN CN201980005798.XA patent/CN111357012A/zh active Pending
- 2019-02-26 DE DE112019000092.6T patent/DE112019000092A5/de active Pending
-
2020
- 2020-09-14 US US17/019,824 patent/US20200406897A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1809853A (zh) * | 2003-03-14 | 2006-07-26 | 利瓦斯有限责任公司 | 用于道路表面状况检测的设备 |
| US20160379065A1 (en) * | 2013-11-15 | 2016-12-29 | Continental Teves Ag & Co. Ohg | Method and Device for Determining a Roadway State by Means of a Vehicle Camera System |
| WO2016177372A1 (de) * | 2015-05-06 | 2016-11-10 | Continental Teves Ag & Co. Ohg | Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld |
| CN107667378A (zh) * | 2015-05-06 | 2018-02-06 | 大陆-特韦斯贸易合伙股份公司及两合公司 | 用于识别和评估路面反射的方法和装置 |
| US20180060676A1 (en) * | 2015-05-06 | 2018-03-01 | Continental Teves Ag & Co. Ohg | Method and device for detecting and evaluating environmental influences and road condition information in the vehicle surroundings |
| DE102016009928A1 (de) * | 2016-08-16 | 2017-02-02 | Daimler Ag | Verfahren zum Erfassen von Nässe auf einer Fahrbahn |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200406897A1 (en) | 2020-12-31 |
| DE112019000092A5 (de) | 2020-06-10 |
| JP2021517675A (ja) | 2021-07-26 |
| WO2019174682A1 (de) | 2019-09-19 |
| JP7291129B2 (ja) | 2023-06-14 |
| DE102018203807A1 (de) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111357012A (zh) | 用于识别与评估车道状况和与天气相关的环境影响的方法和装置 | |
| US10289920B2 (en) | Method and device for determining a roadway state by means of a vehicle camera system | |
| JP6174975B2 (ja) | 周囲環境認識装置 | |
| US10147002B2 (en) | Method and apparatus for determining a road condition | |
| EP2195688B1 (en) | Method and system for weather condition detection with image-based road characterization | |
| US9205810B2 (en) | Method of fog and raindrop detection on a windscreen and driving assistance device | |
| US9827956B2 (en) | Method and device for detecting a braking situation | |
| US20150251659A1 (en) | Friction Coefficient Estimation from Camera and Wheel Speed Data | |
| WO2014017403A1 (ja) | 車載用画像認識装置 | |
| US9508015B2 (en) | Method for evaluating image data of a vehicle camera taking into account information about rain | |
| WO2018054910A2 (en) | Method and arrangement for determining a condition of a road surface | |
| US20200361418A1 (en) | Predictive Windshield Wiper System | |
| EP3410146B1 (en) | Determining objects of interest for active cruise control | |
| WO2015197237A1 (en) | Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle | |
| US20220194425A1 (en) | Method for operating a vehicle configured for automated, in particular highly automated or autonomous driving | |
| CN104732233A (zh) | 用于识别对象反射的方法和装置 | |
| JPWO2019174682A5 (zh) | ||
| KR20180075985A (ko) | 주행환경 감응형 자율 조향 예측 장치 및 그 방법 | |
| CN111414857B (zh) | 一种基于视觉的多特征融合的前方车辆检测方法 | |
| US8379088B2 (en) | Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems | |
| US20220001897A1 (en) | Vehicular vision system with trailer assist and traffic detection functions | |
| US11866050B2 (en) | Method and device for operating a vehicle assistance system | |
| US20200410256A1 (en) | Method and Device for Detecting Lanes, Driver Assistance System and Vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230110 Address after: Germany Ingolstadt Applicant after: Continental Zhixing Germany Co.,Ltd. Address before: Frankfurt, Germany Applicant before: CONTINENTAL TEVES AG & Co. OHG |
|
| TA01 | Transfer of patent application right |