CN110371016A - 车辆前灯的距离估计 - Google Patents

车辆前灯的距离估计 Download PDF

Info

Publication number
CN110371016A
CN110371016A CN201910283584.0A CN201910283584A CN110371016A CN 110371016 A CN110371016 A CN 110371016A CN 201910283584 A CN201910283584 A CN 201910283584A CN 110371016 A CN110371016 A CN 110371016A
Authority
CN
China
Prior art keywords
image
vehicle
distance
headlight
ahc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910283584.0A
Other languages
English (en)
Other versions
CN110371016B (zh
Inventor
E·安德里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN110371016A publication Critical patent/CN110371016A/zh
Application granted granted Critical
Publication of CN110371016B publication Critical patent/CN110371016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

车辆前灯的距离估计。本发明涉及在AHC系统中使用的用于确定到车辆的距离的方法，该方法包括：在夜间通过使用AHC系统的摄像头拍摄原始图像；由AHC系统确定该原始图像包括车辆的前灯；由AHC系统提取原始图像中包括车辆的前灯的图像片段；通过应用分类器来精选该图像片段，以生成包括车辆的前灯的精选图像；基于该精选图像构建特征向量；以及基于该特征向量估计到该车辆的距离。本发明还涉及用于执行上述方法的图像处理系统。

Description

车辆前灯的距离估计
技术领域
本发明涉及在自动远光灯控制系统(AHC系统)中使用的用于确定到车辆的距离的方法，并且涉及相应的图像处理系统，该图像处理系统包括AHC系统并且用于确定到车辆的距离。
背景技术
AHC系统是在现有技术水平的高级驾驶员辅助系统(ADAS)中广泛使用的工具。它使得驾驶员能够使用其前灯的全部照明功率，而其它交通参与者无论何时都不会受到远光灯的干扰。AHC系统使用前摄像头(单目或立体)检测其它车辆的前灯，跟踪这些检测并将所跟踪的检测分类为车辆灯或非车辆灯。基于该分类，控制远光灯(关闭、打开、偏转或变暗)。
在ADAS系统中，通常不由使用单目摄像头的AHC系统来执行所跟踪的前灯的距离估计。这些距离是利用雷达系统获得的。使用雷达的缺点有两个：第一，基于雷达的距离必须与AHC轨迹相关联，这可能是有挑战性的并且容易出错；第二，基于雷达系统的距离估计被限制在150m的范围内。然而，在夜间的典型交通场景中，传统的前摄像头可以在更远的距离(例如，800米)处检测照明的前灯。
鉴于此，已经提出了替代方案，例如基于几何分析的方法、将单目图像映射到2D真实世界图像的方法以及基于摄像头图像处理的AHC系统距离估计。
例如，M.Rezaei等人在IEEE Trans里的文献“Robust Vehicle Detection andDistance Estimation Under Challenging Lighting Conditions”。该文献在2015年基于实时单目视觉提出了关于智能交通系统的技术，该技术用于同时进行车辆检测和车辆间距离估计。假设在远距离处，车辆看起来具有相似的特征和外观，包括车辆与道路背景之间的遮挡边缘，具有在后挡风板上的与车辆的车身相比不同的光反射图案，这表明车辆趋向于矩形形状。基于该假设，提出了结合自适应全局Haar分类算法、基于使用边缘和角点特征的数据融合法的车辆检测。然后，在车辆检测阶段之后，基于将鸟瞰图固有的选择与基于姿态的三角法相结合的混合方法来执行单目距离估计。
2015年，M.Diaz等人在Expert Systems with Applications里的文献“Robustreal-time traffic light detection and distance estimation using a singlecamera”提出了基于分析颜色属性的交通灯检测。为了增强视频序列中的颜色，根据图像顶部上的像素的光度来调整采集。使用基于交通灯纵横比以及跟踪阶段的滤波器来决定视频帧上的点是否可能是交通灯。然后，通过将贝叶斯滤波器应用于呈现在帧上的交通灯来估计交通灯与自主车辆之间的距离。
不幸的是，在实践中，这些方法不是很稳健，并且可能容易导致误分类，例如由于来自街道或其它光源的光反射而导致误分类。
发明内容
鉴于上述内容，本发明的目的是改进AHC系统中的车辆距离估计，尤其是改进距离估计的鲁棒性和精度。本发明的另一个目的是增加车辆距离估计的范围，例如高达800m，这明显超过由传统车辆实现的基于雷达系统所提供的150m的距离估计范围。
通过根据权利要求1的AHC系统中所使用的用于确定到车辆的距离的方法以及通过具有权利要求15的特征的图像处理系统来实现这些目的。
根据本发明的第一方面，一种在AHC系统中使用的用于确定到车辆的距离的方法包括：
优选在夜间通过使用AHC系统的摄像头拍摄原始图像；
由AHC系统确定原始图像包括车辆的前灯或其它特征，优选包括车辆的单个前灯；
由AHC系统提取原始图像中包括车辆前灯的图像片段；
通过应用分类器来精选该图像片段，如此以生成包括车辆前灯的精选图像；
基于该精选图像来构建特征向量；以及
基于该特征向量估计到该车辆的距离。
换句话说，AHC系统在夜间拍摄原始图像并确定该原始图像包括车辆的前灯。在该过程中，或者作为结果，AHC系统提取原始图像的图像片段，其中，提取包括车辆前灯的图像片段。
本发明规定首先精选图像片段，而不是通过分析所提取的图像片段的属性(例如通过直接分析图像片段的大小或像素强度)来估计到前灯的距离。
更具体地，通过应用分类器来精选图像片段，如此以生成包括车辆前灯的精选图像。因此，执行额外的图像处理步骤以使分类器精选由AHC系统提供的图像片段，例如以提供改进的或简化的图像信息，该图像信息使得能够增强确定到车辆前灯的距离的效率和鲁棒性。
为此目的，分类器基于由AHC系统提供的图像片段生成精选图像。然后，使用该精选图像来构建特征向量，并且使用该特征向量估计到车辆的距离。
因此，所述分类器可以用于处理图像片段，以生成更适合于距离估计的精选图像，例如通过提取或增强与距离估计尤其相关的图像信息，或者通过拒绝诸如可能使后续距离估计的结果复杂化或劣化的光反射或像素图案的图像信息。
用于生成精选图像的分类器可以表示训练的分类器，例如已经基于机器学习算法训练的分类器。
优选地，分类器包括神经网络，例如卷积神经网络、深度学习网络、多层感知器网络、径向基函数网络和/或广义回归神经网络。
分类器可以在分类方案中(例如在神经模糊法中)使用模糊逻辑。
优选地，在AHC系统中使用的用于确定到车辆的距离的方法包括训练步骤，其中，训练分类器以用来精选图像片段，目的是生成更适合于执行距离估计的精选图像。
例如，可以基于训练数据集来训练分类器，以教导分类器从图像片段中提取图像摘录或其它信息，这可能有助于简化或改进距离估计。
优选地，可以将分类器训练成在图像片段中进一步分离车辆的前灯，并且因此提供表示从图像片段获取的并且包括前灯的图像摘录的精选图像。
优选地，可以将分类器训练成从图像片段中提取与前灯相关的像素集。例如，所提取的像素集可以表示从图像片段中获取的像素框或不同形状的像素集。
以这种方式，分类器可以提供更好地与到前灯的距离相关的精选图像。例如，该精选图像可以定义检测框，该检测框提供前灯的改进的表示，例如通过定义较小的框来包围前灯，但是排除可能使随后的距离估计复杂化或劣化的不期望的光反射或光效应。因此，由分类器确定精选图像，以提供与由AHC系统传送的图像片段提供的整体图像信息相比，与到前灯的距离更紧密相关的图像信息。
例如，由分类器提供的精选图像可以与图像片段的图像摘录相对应，其中，图像摘录定义包围或勾勒车辆的前灯的边界。
在一个示例中，分类器可以生成从由AHC系统传送的图像片段提取的图像框，其中假设前灯尺寸近似相等，图像框的更大的尺寸指示距检测到的前灯更近的距离，反之亦然。
精选图像中的像素可以提供对距离估计有用的进一步的信息。例如，平均像素强度以及像素强度相对其平均值的统计偏差可能与到前灯的距离相关。
此外，精选图像相对于图像片段或相对于原始图像的位置可以指示到前灯的距离，尤其是在将摄像头定位和定向成使得检测到的车辆前灯相对于摄像头的视点具有到摄像头的高度差的情况下。例如，将AHC系统摄像头安装在承载AHC系统的车辆的后视镜后面。
考虑到由精选图像提供的改进信息，根据本发明的方法包括基于精选图像构建特征向量，然后基于该特征向量估计到车辆的距离。
例如，可以基于精选图像来构建特征向量，其中，该特征向量包括由精选图像定义的框的大小或维度，例如通过确定由精选图像提供的像素的数量或像素面积。优选地，特征向量包括修正图像中的平均像素强度、像素强度的标准偏差以及框(例如，相对于图像片段或原始图像)的位置。在任何情况下，特征向量提供使得能够稳健且精确地估计到车辆前灯的距离的参数。
在一个示例中，特征向量不包含精选图像或精选图像的图像摘录。换句话说，特征向量可以仅包含图像片段的特征，而不包含图像本身，或者不包含图像摘录本身，以便为了简化而减少在基于特征向量的后续距离估计中使用的信息量。
为了基于特征向量来估计到车辆前灯的距离，可以通过使用距离估计器来分析特征向量。例如，可以通过使用训练数据来训练距离估计器，其中，该距离估计器用于基于特征向量来估计到车辆的距离。
在一个示例中，基于机器学习算法来训练距离估计器，优选地基于神经网络训练算法，例如其中距离估计器接收特征向量作为输入，以提供与所估计的到车辆的距离相对应的离散或连续值作为输出。
优选地，训练数据包括定义不同特征向量与到车辆的不同距离之间的关系的地面真实数据。例如，训练数据可以包括包含到车辆的已知距离的数据集，以定义特征向量与到车辆的距离之间的关系，其中，到车辆的距离优选地在5m至600m、50m至400m或者200m至300m的范围内。
更具体地，距离估计器可以表示将作为输入的特征向量与作为输出的到车辆前灯的估计距离关联起来的数学函数。例如，该数学函数可以与回归模型相对应，优选地是多元线性模型，其中，系数用于使数学函数将特征向量映射至对应的距离估计。
优选地，用于确定距离估计的数学函数具有简单的结构和少量的模型系数，以改进函数的生成属性、降低计算工作量并简化基于训练数据对数学函数进行的训练，例如通过减小用于确定数学模型的系数的训练数据集的大小。例如，可以仅使用地面真实数据的一小部分来训练回归模型，因为在雷达范围之外收集地面真实数据可能是非常耗时和困难的，所以这是特别有利的。
本发明支持这些属性，尤其是因为精选图像表示与到前灯的距离紧密相关的紧凑且明确定义的信息容器。换句话说，精选图像表示与AHC系统提供的图像片段的总体信息相比，与到前灯的距离更紧密相关的紧凑且明确定义的信息容器。
因此，根据本发明的方法提供了一种用于估计到车辆的距离的稳健、高效且精确的方法。该方法基于精选由AHC系统摄像头提供的图像片段，其中，该图像片段包含车辆的前灯，然后基于特征向量估计到前灯的距离，其中已经基于精选图像构建了特征向量。
因此，尤其是当与使用单目摄像头和/或雷达设备进行距离估计的传统方法相比时，可以扩大距离估计的范围。
此外，由于分类器用于精选由AHC系统提供的图像片段，尤其是提供与后续距离估计步骤相关的信息，因此不需要训练分类器以基于图像片段来估计距离。因此，即使在不知道地面真实距离的情况下也可以训练分类器，这简化了分类器的训练并且提高了分类的性能。
此外，由于分类器提供特别适合于距离估计的精选图像，因此可以简化基于特征向量(已经基于精选图像构建)估计距离的后续步骤，从而进一步改进距离估计方法的鲁棒性、效率和精度。
为此目的，优选地，特征向量提供使得能够稳健且精确地估计到车辆前灯的距离的参数。例如，可以构建特征向量以包括修正图像中的平均像素强度、像素强度的标准偏差、或者从图像片段提取的上述图像框(例如，相对于图像片段或原始图像)的位置。在这个方面，框的位置(例如，X-Y位置)可以提供用于估计到车辆的距离的指示，尤其是当框的位置反映从摄像头的视点看车辆的透视距离投影时。
在一个示例中，当执行图像片段精选的分类器与第一神经网络相对应并且距离估计器与第二神经网络相对应时，第一神经网络中的神经元的数目可以大于第二神经网络中的神经元的数目，优选地至少大2、5或10倍。
优选地，根据本发明的在AHC系统中使用的用于确定到车辆的距离的方法包括：如果AHC系统确定图像片段包括车辆的前灯，则通过应用分类器来触发精选图像片段的步骤。
以此方式，由AHC系统有效地触发距离估计，以避免不必要的图像处理。例如，只有当AHC系统将原始图像中检测到的光斑识别为车辆前灯时，才会触发分类器来精选由AHC系统提供的图像片段，例如以调整包围前灯的图像框的大小并重新定位该图像框。然后，对精选后的图像进行处理，以构建特征向量(其条目与距离尽可能相关)，从而改进或简化后续基于特征向量的距离估计。
在任何情况下，根据本发明，原始图像优选地由AHC系统通过使用单目摄像头(优选地为视频摄像头，进一步优选地为车辆的前摄像头)来拍摄。然而，也可以使用立体摄像头。
在一个示例中，在线执行根据本发明的方法。更具体地，通过分别针对不同的原始图像重复确定到车辆的距离的方法，可以实时地执行根据本发明的方法。例如，可以由同一摄像头但是在不同的时间点拍摄不同的原始图像，并且可以针对每个拍摄到的原始图像执行确定到车辆的距离的方法。优选地，将每个原始图像拍摄为视频流中的帧，并且对于视频流的每个不同帧执行距离估计，例如以在夜间驾驶期间辅助车辆的驾驶员。
在任何情况下，到车辆的估计距离可用于AHC系统中以提供对车辆前灯的改进的远光灯控制。例如，可以将远光灯关闭、切断、偏转或变暗，如果所估计的到迎面而来的车辆的距离表明这样的措施将防止其它交通参与者受到远光灯的干扰。另选地，或者除了所估计的到迎面而来的车辆的距离之外，在特征向量中提供的信息可以用于使远光灯控制的效率和可靠性增强。例如，如特征向量所指示的，可以基于在原始图像或图像片段中检测到的迎面而来的前灯的位置，偏转或至少部分地调暗或打开或关闭远光灯。尤其是，如果在特征向量中表示从图像片段提取的框的位置在左手侧，则可以关闭在左手侧的远光灯，而可以保持在右手侧的远光灯打开。此外，如果框内的平均像素强度(例如，在特征矢量中表示)超过阈值，则可以完全关闭远光灯(因为高强度可能表明迎面而来的车辆使用其自身的远光灯发信号示意远光灯可能不合适)。
根据本发明的第二方面，图像处理系统用于执行根据本发明的上述方法。为此目的，本发明的第二方面定义了一种图像处理系统，该图像处理系统包括：
AHC系统，该AHC系统被配置成：
在夜间通过使用摄像头拍摄原始图像；
确定该原始图像包括车辆的前灯；并且
提取原始图像中包括车辆前灯的图像片段；该图像处理系统还包括图像处理装置，该图像处理装置被配置成：
通过应用分类器来精选图像片段，以生成包括车辆前灯的精选图像；
基于该精选图像构建特征向量；并且
基于该特征向量估计到该车辆的距离。
应用根据本发明的用于确定到车辆距离的方法的上述优点和益处也适用于上述图像处理系统，尤其是当在汽车中使用时。
附图说明
在以下附图的描述中描述了本发明的其它实施方式。下面将通过实施方式并参照附图来解释本发明，在附图中：
图1示出了自动远光灯控制系统的应用；
图2示出了车辆前灯的原始图像；
图3示出了用于估计到车辆距离的方法；以及
图4示出了用于估计到车辆距离的图像处理系统。
在下文中，关于部件的方向所作的任何陈述都是相对于图中所示的位置作出的，并且在实际应用的位置上可以自然地变化。
具体实施方式
图1示出了AHC系统在道路交通场景100中的应用。该图示出了配备有包括摄像头120的AHC系统的车辆110沿着直线道路行驶。AHC系统使得车辆110的驾驶员能够使用他的前灯的全部照明功率，而无论何时其它交通参与者130都不会受到远光灯干扰。
具体地，当AHC系统检测到属于迎面而来的交通的车辆130的前灯时，系统跟踪该前灯并将跟踪检测分类为是否对应于车辆灯。基于该分类，对承载AHC系统的车辆110的远光灯进行控制(关闭、开启、偏转或变暗)。
此外，到迎面驶来的车辆130的估计距离140可用于进一步提高AHC系统的可用性。例如，如果在非常大的距离处检测到迎面而来的交通130，则使前灯偏转或变暗足以避免对其它交通参与者造成不便。然而，当在近距离处检测到迎面而来的车辆130时，可以出于提高安全性的原因而关闭远光灯。
在夜间的典型交通场景中，传统的前摄像头可以在更远的距离(例如，800米)处检测照明的前灯。
图2示出了由AHC系统的摄像头拍摄的相应原始图像200，其中已经在类似于光源的像素云周围绘制了白框210。
然而，仔细观察像素云可以发现车辆的两个前灯一起被检测为单个像素云。因此，由AHC系统绘制的白框210高估了单个前灯边界的大小，结果，将会过度估计距离估计。
鉴于此问题，本发明提出精选由AHC系统提供的表示上述像素云的图像片段，以在估计距离之前改进或简化图像信息。例如，在图2中，黑框220表示与示出车辆的前灯中的一个的图像片段的区域相对应的精选图像。因此，精选图像提供可以增强后续距离估计的鲁棒性和精度的信息。
更具体地说，图3示出了根据本发明的用于估计到车辆的距离的方法300的相应示例。
这里，如由AHC系统的摄像头拍摄到的原始图像310在步骤320中被AHC系统用来确定原始图像310中的光斑是否对应于车辆前灯。如果AHC系统在图像中没有识别出任何这样的前灯，则在步骤330中终止距离估计。
然而，如果AHC系统确定原始图像310包括前灯，则AHC系统从原始图像提取图像片段，其中该图像片段包括检测到的车辆的前灯。
然后，在步骤340中由分类器对所提取的图像片段进行处理，以进一步精选图像片段用于改进的后续距离估计。在该示例中，分类器可以表示训练的分类器，诸如已经基于机器学习算法训练的分类器。
换句话说，本发明规定首先通过分类器来精选图像片段以提供改进或简化的图像信息，而不是通过分析所提取的图像片段的属性来估计到前灯的距离，这使得能够提高确定到车辆前灯的距离的效率和鲁棒性。
例如，分类器可以通过提取或增强与距离估计特别相关的图像信息，或者通过拒绝诸如可能使后续距离估计的结果复杂化或劣化的光反射或像素图案的图像信息，来精选图像片段。
在图3所示的示例中，分类器已经被训练成在图像片段中进一步分离车辆的前灯，从而提供在黑框中表示从图像片段中获取的图像摘录的精选图像350，其中黑框350包括前灯。
因此，分类器从图像片段提取与确定到前灯的距离特别相关的像素集。在图3所示的示例中，所提取的像素集表示从图像片段获取的像素的黑框350。
因此，精选图像定义了包围前灯的黑框350，但是排除了可能使随后的距离估计复杂化或劣化的不期望的光反射或光效应。因此，由分类器确定精选图像，以提供与到前灯的距离紧密相关的图像信息。
在步骤360中使用像素的黑框350来构建特征向量，以使得能够基于特征向量来估计到车辆的距离。
在该示例中，构建特征向量以包括由精选图像定义的黑框350大小，例如通过确定由精选图像提供的像素的尺寸或数量。另选地，可以基于黑盒350中的平均像素强度、像素强度的标准偏差或黑框350相对于图像片段或原始图像的位置来构建特征向量。在任何情况下，特征向量提供使得能够稳健且精确地估计到车辆前灯的距离的参数。
为了估计到车辆前灯的距离，在步骤370中通过使用距离估计器来分析特征向量。在此示例中，距离估计器与具有系数的回归模型相对应，该系数已经用于使回归模型映射特征向量以提供相应距离估计380。换句话说，距离估计器表示已经通过使用训练数据来训练的回归模型，其中距离估计器用于基于特征向量来估计到车辆的距离。
这里，用于确定距离估计的回归模型具有简单的结构和少量的模型系数，以改进距离估计器的生成属性、降低计算工作量以及简化回归模型的训练，例如通过减小用于确定回归系数的训练数据集的大小。
以这种方式，可以仅使用地面真实数据的一小部分来训练回归模型，因为在雷达范围之外收集地面真实数据可能是非常耗时和困难的，所以这是特别有利的。
因此，提供了一种用于估计到车辆的距离的稳健、高效且精确的方法。该方法基于精选由AHC系统摄像头提供的图像片段，其中该图像片段包含车辆的前灯，然后基于特征向量估计到前灯的距离，其中已经基于精选的图像构建了特征向量。
因此，尤其是当与使用单目摄像头和/或雷达设备进行距离估计的传统方法相比时，可以扩大距离估计的范围。
此外，由于将分类器用于精选由AHC系统提供的图像片段，因此不需要训练分类器以基于图像片段来估计距离。因此，即使在不知道地面真实距离的情况下也可以训练分类器，这简化了分类器的训练并且提高了分类的性能。
在图3中所示的示例中，在线执行用于估计到车辆的距离的方法。因此，将原始图像310拍摄为视频流中的帧，并且针对视频流的不同帧执行距离估计，例如在夜间驾驶期间辅助车辆的驾驶员。
图4示出了相应的图像处理系统400，该图像处理系统400用于执行上述估计到车辆的距离的方法。
更具体地，图4中示出的图像处理系统400包括AHC系统410和图像处理装置420。
AHC系统410被配置成：在夜间使用摄像头拍摄原始图像；确定该原始图像包括车辆的前灯；并且
提取原始图像中包括车辆前灯的图像片段。
图像处理装置420被配置成：通过应用分类器来精选图像片段，以生成包括车辆前灯的精选图像；基于该精选图像构建特征向量；并且基于该特征向量来估计到该车辆的距离。
为此目的，AHC系统和图像处理装置可以共享计算资源，这例如通过使用共享的计算装置来实现，例如通过共享联接到存储装置的数字信号处理器的计算能力来实现。这里，存储装置可以存储要由数字信号处理器执行的指令，以执行图3中所示的方法步骤的至少部分。
参考编号列表：
100 道路交通场景
110 承载有AHC系统的车辆
120 AHC系统的摄像头
130 其它交通参与者/迎面而来的车辆
140 到车辆的估计距离
200、310 由AHC系统摄像头拍摄的原始图像
210 表示图像片段的白框
220、350 表示精选图像的黑框
300 估计到车辆的距离的方法
320 确定所检测到的光斑是否是车辆前灯
330 终止距离估计
340 精选图像片段
360 基于精选图像构建特征向量
370 通过使用距离估计器来分析特征向量
380 提供距离估计
400 图像处理系统
410 AHC系统
420 图像处理装置

Claims (15)

1.一种在AHC系统中使用的用于确定到车辆(130)的距离(140)的方法(300)，该方法(300)包括：
在夜间使用AHC系统的摄像头(120)拍摄原始图像(200、310)；
由所述AHC系统确定所述原始图像(200、310)包括车辆(130)的前灯(320)；以及
由所述AHC系统提取所述原始图像(200、310)中包括车辆(130)的所述前灯的图像片段(210)；
其特征在于：
通过应用分类器来精选所述图像片段(340)，以生成包括车辆(130)的所述前灯的精选图像(220、350)；
基于所述精选图像(220)构建特征向量(360)；以及
基于所述特征向量估计到所述车辆(130)的距离(140)(370)。
2.根据权利要求1所述的方法(300)，该方法(300)还包括：基于机器学习算法训练所述分类器，优选地将所述分类器配置成进一步分离车辆(130)的所述前灯。
3.根据权利要求2所述的方法(300)，其中，所述分类器是神经网络，优选地是深度学习网络、多层感知网络、径向基函数网络或者广义回归神经网络。
4.根据权利要求1至3中任一项所述的方法(300)，该方法(300)还包括：使用训练数据来确定距离估计器，其中，所述距离估计器被配置成基于所述特征向量估计到所述车辆(130)的距离(140)(370)。
5.根据权利要求4所述的方法(300)，其中，所述训练数据包括地面真实数据，该地面真实数据定义不同特征向量与到车辆(130)的不同距离(140)之间的关系，优选地，其中，到所述车辆(130)的距离(140)在10m至400m、50m至200m或者100m至150m的范围内。
6.根据权利要求4或5所述的方法(300)，其中，所述距离估计器基于回归模型。
7.根据权利要求4或5所述的方法(300)，其中，所述距离估计器基于机器学习算法，优选地是神经网络，进一步优选地，其中，所述距离估计器提供与到所述车辆(130)的估计距离(140)相对应的离散或连续值。
8.根据权利要求7所述的方法(300)，其中，所述分类器与第一神经网络相对应，并且所述距离估计器与第二神经网络相对应，并且其中，所述第一神经网络中的神经元的数目大于所述第二神经网络中的神经元的数目，优选地至少大2倍、5倍或10倍。
9.根据权利要求1至8中任一项所述的方法(300)，其中，所述精选图像(220、350)与所述图像片段(210)的图像摘录相对应。
10.根据权利要求1至9中任一项所述的方法(300)，该方法(300)还包括：如果所述AHC系统确定所述图像片段(210)包括车辆(130)的前灯，则通过应用分类器来触发精选所述图像片段的步骤(340)。
11.根据权利要求1至10中任一项所述的方法(300)，其中，基于所述精选图像构建特征向量(360)的步骤包括：确定由所述精选图像(220、350)定义的像素的数量或像素面积、所述精选图像(220、350)中的平均像素强度、或者所述精选图像(220、350)中的像素强度的标准偏差。
12.根据权利要求1至11中任一项所述的方法(300)，其中，基于所述精选图像构建特征向量(360)的步骤包括：确定所述精选图像(220、350)相对于所述图像片段(210)或相对于所述原始图像(200、310)的位置。
13.根据权利要求1至12中任一项所述的方法(300)，其中，所述特征向量不包含所述精选图像(220、350)或所述精选图像(220、350)的图像摘录。
14.根据权利要求1至13中任一项所述的方法(300)，其中，所述原始图像(200、310)是由所述AHC系统使用单目摄像头(120)、优选地使用视频摄像头(120)、进一步优选地使用车辆(130)的前摄像头(120)来拍摄的。
15.一种图像处理系统(400)，该图像处理系统(400)包括：
AHC系统(410)，该AHC系统(410)被配置成：
在夜间使用摄像头(120)拍摄原始图像；
确定所述原始图像(200、310)包括车辆(130)的前灯(320)；并且
提取所述原始图像(200、310)中包括车辆(130)的所述前灯(320)的图像片段(210)；
其特征在于：
图像处理装置(420)被配置成：
通过应用分类器来精选所述图像片段(340)，以生成包括车辆(130)的所述前灯的精选图像(220、350)；
基于所述精选图像(220、350)构建特征向量(360)；并且
基于所述特征向量估计到所述车辆的距离(140)(370、380)。
CN201910283584.0A 2018-04-12 2019-04-10 车辆前灯的距离估计 Active CN110371016B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18166934.2 2018-04-12
EP18166934.2A EP3553694A1 (en) 2018-04-12 2018-04-12 Distance estimation of vehicle headlights

Publications (2)

Publication Number Publication Date
CN110371016A true CN110371016A (zh) 2019-10-25
CN110371016B CN110371016B (zh) 2022-12-20

Family

ID=61972000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910283584.0A Active CN110371016B (zh) 2018-04-12 2019-04-10 车辆前灯的距离估计

Country Status (3)

Country Link
US (1) US10922827B2 (zh)
EP (1) EP3553694A1 (zh)
CN (1) CN110371016B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327252A (zh) * 2020-02-28 2021-08-31 Aptiv技术有限公司 用于对象检测的方法和系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443881B (zh) * 2019-05-29 2023-07-07 重庆交通大学 桥面形态变化识别桥梁结构损伤的cnn-grnn方法
DE102019209152A1 (de) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
US11620522B2 (en) * 2019-12-31 2023-04-04 Magna Electronics Inc. Vehicular system for testing performance of headlamp detection systems
US11964610B2 (en) 2022-04-19 2024-04-23 Toyota Research Institute, Inc. Changing headlight properties to recommend vehicle speed

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021581A1 (en) * 2007-07-18 2009-01-22 Qin Sun Bright spot detection and classification method for a vehicular night-time video imaging system
US20100265330A1 (en) * 2009-04-17 2010-10-21 International Business Machines Corporation Intelligent headlight control using camera sensors
US8605154B2 (en) * 2011-03-25 2013-12-10 International Business Machines Corporation Vehicle headlight management
US20170154241A1 (en) * 2015-12-01 2017-06-01 Mobileye Vision Technologies Ltd. Detecting visual information corresponding to an animal

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4853160B2 (ja) * 2006-08-02 2012-01-11 株式会社デンソー 車両検出装置及びヘッドランプ制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090021581A1 (en) * 2007-07-18 2009-01-22 Qin Sun Bright spot detection and classification method for a vehicular night-time video imaging system
US20100265330A1 (en) * 2009-04-17 2010-10-21 International Business Machines Corporation Intelligent headlight control using camera sensors
US8605154B2 (en) * 2011-03-25 2013-12-10 International Business Machines Corporation Vehicle headlight management
US20170154241A1 (en) * 2015-12-01 2017-06-01 Mobileye Vision Technologies Ltd. Detecting visual information corresponding to an animal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113327252A (zh) * 2020-02-28 2021-08-31 Aptiv技术有限公司 用于对象检测的方法和系统
CN113327252B (zh) * 2020-02-28 2024-03-22 Aptiv制造管理服务公司 用于对象检测的方法和系统

Also Published As

Publication number Publication date
US20190318490A1 (en) 2019-10-17
US10922827B2 (en) 2021-02-16
EP3553694A1 (en) 2019-10-16
CN110371016B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN110371016A (zh) 车辆前灯的距离估计
Chadwick et al. Distant vehicle detection using radar and vision
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
Bertozzi et al. Pedestrian detection for driver assistance using multiresolution infrared vision
JP6537385B2 (ja) 車載環境認識装置
CN113243016A (zh) 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法
CN101900567B (zh) 基于像素的无纹理畅通路径检测
O'malley et al. Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
CN101929867B (zh) 使用道路模型的畅通路径检测
JP6453490B2 (ja) 路面反射を認識し評価するための方法及び装置
US8773535B2 (en) Adaptation for clear path detection using reliable local model updating
CN110287779A (zh) 车道线的检测方法、装置及设备
Kühnl et al. Monocular road segmentation using slow feature analysis
US8019157B2 (en) Method of vehicle segmentation and counting for nighttime video frames
CN101900566A (zh) 基于像素的纹理丰富畅通路径检测
CN110450706B (zh) 一种自适应远光灯控制系统及图像处理算法
US8681222B2 (en) Adaptation for clear path detection with additional classifiers
JP2018516799A5 (zh)
CN110210474A (zh) 目标检测方法及装置、设备及存储介质
CN102712284A (zh) 用于控制车辆的前照灯装置的方法和前照灯装置
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
Liu et al. Multi-type road marking recognition using adaboost detection and extreme learning machine classification
Jain et al. Relative vehicle velocity estimation using monocular video stream
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant