CN107092920A - 评估其上行驶有车辆的路面的方法和装置 - Google Patents
评估其上行驶有车辆的路面的方法和装置 Download PDFInfo
- Publication number
- CN107092920A CN107092920A CN201710075915.2A CN201710075915A CN107092920A CN 107092920 A CN107092920 A CN 107092920A CN 201710075915 A CN201710075915 A CN 201710075915A CN 107092920 A CN107092920 A CN 107092920A
- Authority
- CN
- China
- Prior art keywords
- image
- road
- vehicle
- classification
- traveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000000704 physical effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000010426 asphalt Substances 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 241000272814 Anser sp. Species 0.000 description 1
- 206010074080 Autoscopy Diseases 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 240000003173 Drymaria cordata Species 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种评估其上行驶有车辆的路面的方法和装置。在根据本发明的方法中，基于呈现在车辆上的由摄像机记录的至少一个图像，其上行驶有车辆的路面使用分类器进行分类，其中分类器基于从至少一个图像提取的图像特征进行训练，其中多个图像细节被限定在至少一个图像中，其中图像特征的提取针对这些图像细节中的每个被单独执行。
Description
技术领域
本发明涉及评估其上行驶有车辆的路面的方法和装置。
背景技术
现代机动车辆正在越来越大程度上被提供具有自主驾驶的能力。机动车辆靠其自身驾驶以关于机动车辆的环境的信息将是可用的为先决条件。例如，被设计用于自主驾驶的机动车辆必须能够识别其它道路使用者，例如，第二车辆和行人。
另一重要方面涉及在给定的情况下当前其上行驶有机动车辆的路面。机动车辆的驾驶员典型地形象地记录道路条件，适当调节他的/她的驾驶风格。如果，例如，对于驾驶员来说道路看起来滑或光滑，则驾驶员典型地更谨慎地驾驶并且，在适当的情况下，也激活合适的系统，例如，全轮驱动。
另一方面，在机动车辆靠其自身或，更确切的说，自主地驾驶的情况下，机动车辆自身检查路面是有必要的。道路的摩擦的自动估算可对车辆更智能的控制做出贡献，尤其是在机动车辆自主驾驶的情况下。
不同的方法在现有技术中是已知的，其能够利用摄像系统区分不同类型的道路。在这一点上使用的一种技术包含两个摄像机的连接，每个装备有偏振滤波器，所述偏振滤波器相对于彼此旋转90°角。由于在湿表面上偏振的光仅由具有适当偏振滤波器的摄像机记录，所以通过各自摄像图像之间的差异可推断出，例如，车辆是否正行驶在湿的道路上。然而，该方法不能用在仅装备有一个摄像机的车辆中。
在另一个方法中，不同图像参数——例如，发冷光、颜色信息和表面结构——被提取，并且相应的性质被用于训练分类器的目的。然而，已知的方法被相应地限制彩色摄像机的使用以及有限数量的性质或滤波器的使用。
关于现有技术，仅以示例性方式对WO 2013/173911A1、US 2013/0226421A1、CN101609607A、JP 2002162343A和JP 2002162343A进行参考。
发明内容
本发明的目标是使用于评估其上行驶有车辆的路面的方法和装置可用，该方法和装置能够快速并有效的评估，尤其是为了由驾驶员辅助系统或类似的使用的目的。
该目标由根据独立权利要求1的特征的方法和根据独立权利要求7的特征的装置实现。
在根据本发明的方法中，基于由处在车辆上的摄像机记录的至少一个图像，对其上行驶有车辆的路面使用分类器进行分类，其中分类器基于从至少一个图像提取的图像特征进行训练，其中多个图像细节被限定在至少一个图像中，其中图像特征的提取针对这些图像细节中的每个被单独执行。
根据本发明，尤其是使用车载摄像机对路面进行分类，其中执行对多个道路类型或道路条件(例如，三类“干的道路”、“湿的道路”和“白雪覆盖的道路”)中的一个的评估。不同的性质或特征从记录的图像中提取，这些特征被用于训练不同分类器的目的。最终，这些分类器基于验证图像进行检查，导致增加准确度(例如，超过95％的准确度)。
进一步隐含在本发明中的概念是，尤其是，实现和训练用于评估其上行驶有车辆的路面的分类器，其中使用对应于不同道路条件(例如，干、湿、雪、冰、泥、草、沙等)的多个道路图像。
本发明进一步包含，尤其是，使用由一个或多个摄像机在某些时间点记录的多个图像的概念，在这一点上，各个摄像机(或多个摄像机)可以是前置摄像机、侧置摄像机或后置摄像机。在每个图像中，之后进行记录或识别道路以及将摄像机图像分成更小的图像，这在以下也被称为“路段”(“道路区(roadboxes)”)。根据本发明，每个路段可被实时地分类。针对所有路段的该分类的结果被彼此结合，以便产生针对车辆的环境的相应的路面地图。
本发明的一个优点是使用灰度摄像机的可能性(也就是说，没有提供色彩信息)，在这种情况下，此外，相对低的摄像机分辨率是足够的。
根据本发明的方法被设计成实时应用，在该过程中，尤其是，在数据处理之后无需存储各个图像。
根据本发明，尤其是可使用两组图像，这些图像组中的一个是用于训练根据本发明的算法的训练组，并且这些图像组的另一个是用于验证算法的效率的验证组。在这种情况下，两组图像中的每个可以，仅以示例性方式，包含45个图像，15个图像在每个示例中用于三类道路中的每个。在这种情况下，验证组的图像可属于与训练组的图像相同的图像序列或相同的剪辑并且，例如，可在几秒钟后被记录，使得在每个示例中，呈现相同类型的道路，仅表现出道路的不同细节。各个图像组的单个图像优先呈现关于路面(例如，沥青或鹅卵石路面)、照明条件(晴朗或多云)或天气条件(例如，暴雨)的大差异，以便实现根据本发明的算法面对场景或天气条件变化时的更大鲁棒性。
在图像的可选的修整之后(为了消除不良信息)，可以选择单个图像中的例如，三个区域或细节(例如，根据图2a，各个车道的两个细节以及天空或视野的细节为了计算进一步的性质——参见以下关于步骤S130的解释性说明)。如图2b中描述的，可进行选择的图像细节关于数量和形状或几何的随后修改，以便考虑在每个示例中在图像细节中重现的在道路的区域的实际尺寸中由视角产生的包含在各个图像中的干预对象的影响，光强度中的波动以及改变的影响。
分类——在以下描述的进一步步骤中执行——针对之前选择的(例如，三个)图像细节分开进行，其中，如在以下更详细地阐明的，在每个实例中对分类的分配可参考基于加权的多个(例如，三个)区域执行。
因为用于训练分类器的图像的数量对于实现估算的质量是至关重要的，所以分类的更高精度可通过考虑适合预定义分类的进一步的“子类”来实现。
而且，在根据本发明的方法无需车辆或道路的物理模式的情况下，在这一点上，尤其是，也无需估算道路轮廓高度。而且，如果，例如，出现路面的误分类，则可进行自动校准。本发明的进一步优点是无需彩色摄像机。通过增加摄像机分辨率，也可获得根据本发明的方法的更高准确性。根据本发明的方法可用于不同的车辆控制系统中，例如，防抱死制动系统(ABS)、电动助力转向系统(EPAS)、高级驾驶辅助系统(ADAS)或自适应循环控制系统(ACC)。
根据本发明的道路分类能够，尤其是，用于建立道路图像和各个轮胎摩擦力能力之间的联系，以便获得针对车辆控制系统的容易使用的接口。
根据本发明分配的道路分类可以，尤其是，包含不同信息的组合，例如关于路面条件(“干”、“潮湿”、“湿”、“雪”、“冰”、“泥”)、道路类型(例如，新沥青、老沥青、鹅卵石路面、混凝土、碎石、建筑工程、沙、越野地形)或摩擦间距类别(例如，高摩擦：0.8至1.2、中摩擦：0.3至0.8、低摩擦：0至0.3)。
通过根据本发明的方法获得的结果可与中央单元进行交换，以便在包含来自于不同来源(或车辆)的实时数据的智能道路地图的构建中提供帮助。
本发明的进一步配置可通过说明书以及从属权利要求获得。
本发明将基于在附图中呈现的示例性实施例在以下被更详细地描述。
附图说明
附图中：
图1示出了在实施例中用于阐明根据本发明的方法的顺序的流程图；
图2a-b示出了在每个实例中，用于阐明在根据本发明执行的图像选择过程中进行的可能方式的示例性图像；
图3示出了用于阐明根据本发明的实施例执行的图像分析的直方图；以及
图4示出了用于阐明根据本发明的方法的可能基本顺序的进一步流程图。
具体实施方式
根据本发明，一种方法是可用的，其能够将由安装在车辆中的摄像机记录的路面的图像分配给关于道路条件的多个类别中的一个，例如，“干的道路”、“湿的道路”或“白雪覆盖的道路”，其中不断扩展的类别也可为了合并进一步的道路条件(例如，冰、泥、沙等)而发生。
根据本发明的算法包含，特别地，在图1的流程图中表示的以下步骤。
在第一步骤S110中，来自于摄像机的单个图像的载入通过使用图像载入单元发生，各自的单个图像从摄像机传输至相应的处理单元。
一旦讨论中的(单个)图像被恰当接收到，就在第二步骤S120中执行图像选择，在该过程中，将被处理的路段图像从主要或全部图像中选择。在下面，将首先假定分为三类——即“干的道路”、“湿的道路”和“白雪覆盖的道路”。根据本发明的算法的更稳健行为可通过选择针对这些类别中的每个的路段图像被实现，这些类别中的每个的路段图像关于另外的性质有所不同，例如，路面(沥青、鹅卵石路面等)或照明条件(例如，晴、多云、逆光、暴雨等)。
而且，算法的改进可通过在适当的情况下，如果例如，对象(例如树或桥)——其此外减少有用的光强度——被定位在各个图像细节中，则图像选择被修改而获得。
根据本发明，尤其是路段(“道路区”)可被限定在每个图像中(在这种情况下，例如，可使用每个图像至少6个路段)。这些路段中的每个或者每个“道路区”代表在车辆前方或车辆的环境中(例如，与车辆有已知的间隔)的特定的、限定的和有界限的路段。通过这些路段中的每个，相应的图像特征在之后被提取，如以下描述的。
在进一步的步骤S130中，进行道路性质或道路特征的计算。在示例性实施例中，例如，针对每个道路图像，可以计算出总共22个性质或特征。这些特征构成特殊图像滤波器的初始值。在根据本发明提出的算法中，可使用标准性质或特征，例如，直方图和对比。
图3示出了图像的示例性直方图，其中在“0”(＝“黑”)和“255”(＝“白”)之间的亮度值被分配至每个像素。在图3的直方图中可识别到两个峰，处于较黑的区域中的峰对应于道路，并且处于较亮的区域中的峰对应于天空。
在根据本发明的图像分析的过程中，不同的图像性质或特征在步骤S130中被计算。这些性质中的一个是作为随机分布的度量的熵。在这一点上，高的熵表示所有像素在灰度范围上比较均匀地分布，而直方图中明显的峰和相对不均匀的分布被呈现在低熵的情况下。这样，熵可以关于道路的表面结构(“质地”)进行设置。
作为另外的图像性质，针对“道路”和“天空”获得的强度的强度比被确定。在这种情况下，环境可被考虑成，虽然白雪覆盖的道路呈现出，通常，比干净或干的柏油路更亮，但是强度也由场景的亮度决定，使得黑暗中的白雪覆盖的道路可导致与在极亮的情况下的干净的柏油路相同的强度值。然而，通过利用道路和天空的强度比，对上述场景可进行区分，因为在亮的天空的情况下暗的柏油路比暗的或多云的天空的情况下白雪覆盖的道路提供更高的强度比。
作为另外的性质，所谓的灰度值矩阵(GLCM＝灰度共生矩阵(gray-level co-occurrence matrix))可为了提供质地信息而被计算。在这种情况下，针对像素的各自相邻像素的灰度级值的某些结合的频率以已知方式确定，该确定针对所有像素被成功地执行。
用于从各个图像确定质地信息的进一步的可能性是所谓的LBP(＝局部二值模式(local binary pattern))的计算，其中针对每个像素，在预定半径内的周围的像素的值被确定并与阈值(对应于中心像素的值)比较。用这种方法，在各个图像中的特别大梯度的出现可被识别，通过其，各个路面的均匀性可被同样推断出。
数值的定量登记或分配可通过相关性进行，其中首先，LBP的灰度值矩阵被确定并且之后该灰度值矩阵的相关性被计算。
在接下来的步骤S240中，进行道路的分类。在这种情况下，针对每个道路图像，计算出的性质或特征被用作分类器的输入数据，以便实现或输出道路的最优分类。在这种情况下，总共六个可能的道路类别，例如，可基于同一个主图像的六个不同的道路图像获得。
根据本发明能够使用的分类模型包括(然而，本发明对其没有限制)，例如，训练的支持向量机(SVM＝support vector machine)模型或训练的神经网络(深度学习神经网络)。根据本发明的分类器模型的训练可脱机或在线进行为分类器模型的自我训练，以便执行对不同道路类型和调节的适应。
每个路段以取决于提取的图像性质或特征的方式进行分类。物理性质由车载传感器(例如，惯性测量单元(IMU)、全球定位系统(GPS))提取，或者由用于确定悬架高度、转向角、车轮转速的传感器提取、或通过驾驶员输入提取。提取的物理特征可包括(本发明对其没有限制)轮胎摩擦系数、轮胎刚度参数、轮胎力和转向扭矩。天气数据(例如，露点或温度)可同样被用作物理性质。而且，数据联动可进行，以便将每个路段的分类结果和物理性质彼此结合并且，例如，以便提取处于各个车辆前方的路段或车辆的环境的道路摩擦地图。
根据本发明，可以实施具有不同复杂性的不同的分类方法。
一个可能性是所谓的“最近邻分类”(也称为KNN，“k-近邻”算法)，其中执行类别分配，将k-近邻纳入考虑。在这种情况下，为了将新数据点分类，k最近数据点被分析，新数据点被分配给对应于大多数k最近数据点的类别。
进一步可能的方法是分类树方法，其中基于做出的多个决定的数据的逐次划分以已知的方式连续进行。
在进一步的实施例中，也可使用一组(集合)分类器，例如，一组决策树或分类树。
上述分类针对不同的图像细节被单独执行，其中，结果是，针对类别的多数决定可在每个实例中进行。该多数决定可相应地以加权为先导，通过其，另外存在的问题可被考虑，即结合的分数可导致针对每个图像细节获得的各个不同的类别的情况。由于该加权，在每个实例中，提供最有意义的信息的图像细节可被尤其重要的考虑。仅以示例性的方式，较低的图像区域可考虑具有1.5的权重因数、中心图像区域具有1.25的权重因数、以及较高的图像区域具有1的权重因数。
根据图4，根据本发明的分类以(例如，45个)训练图像的图像分析(步骤S411-S414)开始。用这种方式，训练数据(S420)被获得，其包含训练图像的各自性质。训练数据随即被使用以便训练分类器(S440)的相应的组或集合，导致收到集合分类器。该分类器基于验证数据(S430)被随即检查，验证数据通过验证图像的分析而确定。在验证数据的分类之后，结果与已知的类别比较，通过这样，执行的方法的准确度被计算。在表1中，不同分类器的准确度基于示例性实施例被指定。
在这种情况下，准确度已经被限定为类别的正确分类的图像的数量除以考虑中的类别的图像的总数量。如果，例如，对于已经被相应地分类为“干的道路”的干道路29的30个图像，相应的准确度量值达到96.7％。
表1:
| 分类器 | 干[％] | 湿[％] | 雪[％] | 平均值[％] | 速度(FPS) |
| 分类器树 | 96.7 | 86.7 | 86.7 | 90 | 19 |
| 集合 | 99.7 | 86 | 95.6 | 93.7 | 6 |
| SVM | 100 | 93.3 | 96.7 | 96.7 | 12 |
在进一步的步骤S150中，针对每个道路图像，固有的加权可被考虑。
在考虑单个道路图像的各自加权之后和在适当的组合之后，通过重新参照图1，最终的道路分类的输出在步骤S160进行。随后，根据图1，返回至步骤S110进行，以便接收用于处理的新的摄像机图像。
上述方法可被实时执行。在在机动车辆中实施之前，优先执行校准，以便执行针对将要在给定情况下确定的路面或性质的分类器的训练。
虽然在实施例中仅描述了单个图像被用于道路评估并因此，尤其是，无需立体摄像机，但本发明不限于使用单个摄像机。在进一步的实施例中，立体摄像机也可被用于改进效率。
Claims (7)
1.一种评估其上行驶有车辆的路面的方法，其中基于由处在所述车辆上的摄像机记录的至少一个图像，对所述其上行驶有车辆的路面使用分类器进行分类，其中所述分类器基于从所述至少一个图像中提取的图像特征进行训练，其中多个图像细节被限定在所述至少一个图像中，其中所述图像特征的提取针对这些所述图像细节中的每个被单独执行。
2.根据权利要求1所述的方法，
其特征在于
针对单个所述图像细节提取的所述图像特征在所述分类中被不同地加权。
3.根据权利要求1或2所述的方法，
其特征在于
所述分类实时进行。
4.根据权利要求1至3中的一项所述的方法，
其特征在于
执行的所述分类根据验证数据被检查。
5.根据上述其中一项权利要求所述的方法，
其特征在于
通过以传感器辅助的方式确定的物理性质进行执行的所述分类的结果的数据联动，所述物理性质尤其是轮胎摩擦系数、车轮转速或转向扭矩。
6.根据上述其中一项权利要求所述的方法，
其特征在于
通过分配至多个道路类别中的一个道路类别进行所述分配，这些所述道路类别各自由表示所述道路的条件的多个参数的组合限定，尤其是道路类型、由于天气的所述道路的条件、或所述道路的摩擦系数。
7.一种评估其上行驶有车辆的路面的装置，
其特征在于
所述装置配置为执行上述其中一项权利要求所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016202380 | 2016-02-17 | ||
| DE102016202380.2 | 2016-02-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107092920A true CN107092920A (zh) | 2017-08-25 |
Family
ID=59560369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710075915.2A Withdrawn CN107092920A (zh) | 2016-02-17 | 2017-02-13 | 评估其上行驶有车辆的路面的方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10467482B2 (zh) |
| CN (1) | CN107092920A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977641A (zh) * | 2017-12-14 | 2018-05-01 | 东软集团股份有限公司 | 一种智能识别地形的方法、装置、车载终端及车辆 |
| CN109583464A (zh) * | 2017-09-27 | 2019-04-05 | 罗伯特·博世有限公司 | 用于操控执行器的方法和装置 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018081404A (ja) * | 2016-11-15 | 2018-05-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 識別方法、識別装置、識別器生成方法及び識別器生成装置 |
| EP3544856B1 (en) * | 2017-01-12 | 2023-12-20 | Mobileye Vision Technologies Ltd. | Determining a road surface characteristic |
| US10467486B2 (en) * | 2017-12-29 | 2019-11-05 | Automotive Research & Testing Center | Method for evaluating credibility of obstacle detection |
| CN109214334B (zh) * | 2018-09-03 | 2020-12-29 | 百度在线网络技术（北京）有限公司 | 车道线处理方法和装置 |
| CN109785313B (zh) * | 2019-01-21 | 2023-03-14 | 山东女子学院 | 一种基于lbp的轮胎合格检测方法 |
| FI20195751A1 (en) * | 2019-09-11 | 2021-03-12 | Roadcloud Oy | Calibration of sensors for road surface monitoring |
| US11572663B2 (en) * | 2020-03-26 | 2023-02-07 | Caterpillar Paving Products Inc. | Facilitating a screed assembly in laying a paving material mat with a uniform finish |
| US11708066B2 (en) * | 2021-01-21 | 2023-07-25 | Motional Ad Llc | Road surface condition guided decision making and prediction |
| US20230085098A1 (en) * | 2021-09-10 | 2023-03-16 | Transportation Ip Holdings, Llc | Vehicle Network Monitoring System |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103518230A (zh) * | 2011-03-14 | 2014-01-15 | 加州大学评议会 | 用于车辆分类的方法和系统 |
| CN104709215A (zh) * | 2013-12-12 | 2015-06-17 | 沃尔沃汽车公司 | 安全系统和用于操作车辆的安全系统的方法 |
| CN104885097A (zh) * | 2012-12-19 | 2015-09-02 | 奥迪股份公司 | 预测性地获取车辆可行驶的表面的参数值的方法和设备 |
| US9139204B1 (en) * | 2014-06-12 | 2015-09-22 | GM Global Technology Operations LLC | Road surface condition detection with recursive adaptive learning and validation |
| US20150371095A1 (en) * | 2013-02-19 | 2015-12-24 | Conti Temic Microelectronic Gmbh | Method and Apparatus for Determining a Road Condition |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5774070A (en) * | 1995-11-22 | 1998-06-30 | Rendon; Edward | Method and system for the precise thermal mapping of roads, runways and the like for wintertime safety monitoring and maintenance |
| JP3500425B2 (ja) | 2000-11-24 | 2004-02-23 | 国土交通省国土技術政策総合研究所長 | 可視画像式路面状況把握装置における路面状況判定方法 |
| JP4046059B2 (ja) * | 2002-11-08 | 2008-02-13 | 株式会社豊田中央研究所 | 路面状態推定装置 |
| CN101872477B (zh) * | 2009-04-24 | 2014-07-16 | 索尼株式会社 | 检测图像中的对象的方法、装置，及包括该装置的系统 |
| CN101609607B (zh) | 2009-07-23 | 2011-07-27 | 华为终端有限公司 | 路面信息获取方法及设备 |
| JP5728861B2 (ja) | 2010-09-15 | 2015-06-03 | 株式会社ジェイテクト | 四輪駆動車及びその制御装置 |
| EP2537727B1 (en) * | 2011-06-22 | 2015-03-11 | Volvo Car Corporation | Method for estimating a speed profile for a vehicle |
| GB2492953A (en) | 2011-07-13 | 2013-01-23 | Land Rover Uk Ltd | Vehicle control system and method employing output from an imaging device |
| WO2013173911A1 (en) | 2012-05-23 | 2013-11-28 | Omer Raqib | Road surface condition classification method and system |
| US9815476B2 (en) * | 2014-12-22 | 2017-11-14 | Here Global B.V. | Method and apparatus for providing road surface friction data for a response action |
| US9686451B2 (en) * | 2015-01-21 | 2017-06-20 | Toyota Jidosha Kabushiki Kaisha | Real time driving difficulty categorization |
| CN104834912B (zh) * | 2015-05-14 | 2017-12-22 | 北京邮电大学 | 一种基于图像信息检测的天气识别方法及装置 |
| US9672446B1 (en) * | 2016-05-06 | 2017-06-06 | Uber Technologies, Inc. | Object detection for an autonomous vehicle |
| US20180141563A1 (en) * | 2016-06-30 | 2018-05-24 | Faraday&Future Inc. | Classifying of weather situations using cameras on automobiles |
| US10907980B2 (en) * | 2017-08-11 | 2021-02-02 | Here Global B.V. | Method and apparatus for detecting false positive slippery road reports using mapping data |
-
2017
- 2017-02-13 CN CN201710075915.2A patent/CN107092920A/zh not_active Withdrawn
- 2017-02-17 US US15/435,860 patent/US10467482B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103518230A (zh) * | 2011-03-14 | 2014-01-15 | 加州大学评议会 | 用于车辆分类的方法和系统 |
| CN104885097A (zh) * | 2012-12-19 | 2015-09-02 | 奥迪股份公司 | 预测性地获取车辆可行驶的表面的参数值的方法和设备 |
| US20150371095A1 (en) * | 2013-02-19 | 2015-12-24 | Conti Temic Microelectronic Gmbh | Method and Apparatus for Determining a Road Condition |
| CN104709215A (zh) * | 2013-12-12 | 2015-06-17 | 沃尔沃汽车公司 | 安全系统和用于操作车辆的安全系统的方法 |
| US9139204B1 (en) * | 2014-06-12 | 2015-09-22 | GM Global Technology Operations LLC | Road surface condition detection with recursive adaptive learning and validation |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583464A (zh) * | 2017-09-27 | 2019-04-05 | 罗伯特·博世有限公司 | 用于操控执行器的方法和装置 |
| CN107977641A (zh) * | 2017-12-14 | 2018-05-01 | 东软集团股份有限公司 | 一种智能识别地形的方法、装置、车载终端及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10467482B2 (en) | 2019-11-05 |
| US20170236011A1 (en) | 2017-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107092920A (zh) | 评估其上行驶有车辆的路面的方法和装置 | |
| US9415779B2 (en) | Vehicle control system and method | |
| Eisenbach et al. | How to get pavement distress detection ready for deep learning? A systematic approach | |
| US11022052B2 (en) | Vehicle power output control method, apparatus and system | |
| US8294794B2 (en) | Shadow removal in an image captured by a vehicle-based camera for clear path detection | |
| JP6615933B2 (ja) | 知的地形特定のための方法及び装置、車両搭載端末、並びに車両 | |
| CN101900567B (zh) | 基于像素的无纹理畅通路径检测 | |
| CN102254161B (zh) | 基于路面轮廓及路面图像特征的路面类型识别方法及装置 | |
| CN101900566B (zh) | 基于像素的纹理丰富畅通路径检测 | |
| CN102289674B (zh) | 基于垂直加速度及路面图像的路面类型识别方法及装置 | |
| US20170262713A1 (en) | Method and Device of Lane Departure Warning and Automobile Driving Assistance System | |
| CN110502971B (zh) | 基于单目视觉的道路车辆识别方法及系统 | |
| CN103958325A (zh) | 用于定位预定义的泊车位置的方法和设备 | |
| CN114572183A (zh) | 一种汽车路面自适应的车辆控制方法及设备 | |
| CN107117173A (zh) | 车辆的制动及降扭控制方法、装置及系统 | |
| CN107180228A (zh) | 一种用于车道线检测的梯度增强转换方法及系统 | |
| CN116092015B (zh) | 一种道路施工状态监测方法 | |
| CN113200052B (zh) | 一种用于无人驾驶的路况智能识别方法 | |
| CN111563478A (zh) | 一种积水情况下安全行驶的全自动处理方法 | |
| CN108256470A (zh) | 一种车道偏移判断方法及汽车 | |
| CN110427026A (zh) | 一种轮胎道路摩擦的确定方法及装置 | |
| CN110399664A (zh) | 一种驾驶速度的确定方法及装置 | |
| CN110321973B (zh) | 一种基于视觉的组合车辆检测方法 | |
| CN111091066B (zh) | 一种自动驾驶汽车地面状态评定方法及系统 | |
| Langstrand et al. | Using Deep Learning to classify road surface conditions and to estimate the coefficient of friction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170825 |
|
| WW01 | Invention patent application withdrawn after publication |