CN108082037B - 制动灯检测 - Google Patents

制动灯检测 Download PDF

Info

Publication number
CN108082037B
CN108082037B CN201711164489.6A CN201711164489A CN108082037B CN 108082037 B CN108082037 B CN 108082037B CN 201711164489 A CN201711164489 A CN 201711164489A CN 108082037 B CN108082037 B CN 108082037B
Authority
CN
China
Prior art keywords
vehicle
data
mode
brake light
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711164489.6A
Other languages
English (en)
Other versions
CN108082037A (zh
Inventor
马里亚姆·穆萨埃
盖伊·霍特森
帕尔萨·马哈茂迪尔
维迪亚·那利亚姆布特·穆拉里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108082037A publication Critical patent/CN108082037A/zh
Application granted granted Critical
Publication of CN108082037B publication Critical patent/CN108082037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/44—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating braking action or preparation for braking, e.g. by detection of the foot approaching the brake pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1284—Mirror assemblies combined with other articles, e.g. clocks with communication systems other than radio-receivers, e.g. keyless entry systems, navigation systems; with anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0002—Type of accident
    • B60R2021/0004—Frontal collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R2021/01204—Actuation parameters of safety arrangents
    • B60R2021/01252—Devices other than bags
    • B60R2021/01259—Brakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

本文公开了用于检测制动灯的系统、方法和设备。一种系统包括模式部件、车辆区域部件和分类部件。模式部件被配置为基于图像帧中的像素亮度来选择夜间模式或白天模式。车辆区域部件被配置为当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式下基于摄像机图像数据来检测与车辆相对应的区域。分类部件被配置为基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。

Description

制动灯检测
技术领域
本公开总体上涉及用于自动制动灯检测的方法、系统和装置，并且更具体地涉及使用深度学习实现的白天或夜间制动灯检测的方法、系统和装置。
背景技术
机动车为商业、政府和私人实体提供了大部分的运输。目前正在开发和部署自主车辆和驾驶辅助系统以提供安全性、减少所需的用户输入量、甚至完全消除用户参与。例如，一些驾驶辅助系统(例如防撞系统)可以在人类驾驶时监视车辆以及其他对象的行驶、位置和速度。当系统检测到碰撞或撞击即将到来时，防撞系统可能会干预并施加制动、转向车辆，或执行其他规避或安全操纵。作为另一示例，自主车辆可以在很少或者没有用户输入的情况下驾驶和导航车辆。由于驾驶中包含的危险以及车辆成本，重要的是自主车辆和驾驶辅助系统安全运行，并且能够准确地检测对象和当前状况。
发明内容
根据本发明，提供一种方法，包含：
基于图像帧中的像素亮度来选择夜间模式或白天模式；
当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域；和
基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。
根据本发明的一个实施例，方法进一步包含确定在与车辆相对应的区域中的与车辆的制动灯相对应的一个或多个边界框。
根据本发明的一个实施例，确定一个或多个边界框包含：
在与车辆相对应的区域中提取轮廓；和
选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓。
根据本发明的一个实施例，分类制动灯包含：基于与一个或多个边界框相对应的图像数据来分类。
根据本发明的一个实施例，确定与制动灯相对应的一个或多个边界框包含：针对白天模式基于色调、饱和度和明度(HSV)格式的图像数据以及针对夜间模式基于亮度、A通道和B通道(LAB)格式的图像数据来确定。
根据本发明的一个实施例，将车辆的制动灯分类为开或关包含：使用神经网络来分类。
根据本发明的一个实施例，当处于夜间模式时基于来自距离传感器的数据来检测与车辆相对应的区域包含：
识别与车辆相对应的距离数据中的点集群；和
将点集群的边界框映射到相应的图像帧。
根据本发明的一个实施例，夜间模式中的距离数据包含雷达数据、超声数据和LIDAR数据中的一个或多个。
根据本发明，提供一种系统，包含：
模式部件，模式部件被配置为基于图像帧中的像素亮度来选择夜间模式或白天模式；
车辆区域部件，车辆区域部件被配置为当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域；和
分类部件，分类部件被配置为基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。
根据本发明的一个实施例，系统进一步包含制动灯区域部件，制动灯区域部件被配置为确定在与车辆相对应的区域中的与车辆的制动灯的相对应的一个或多个边界框。
根据本发明的一个实施例，制动灯区域部件被配置为通过以下方式来确定一个或多个边界框：
在与车辆相对应的区域中提取轮廓；和
选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓。
根据本发明的一个实施例，分类部件被配置为通过基于与一个或多个边界框相对应的图像数据进行分类来将制动灯分类为开或关。
根据本发明的一个实施例，制动灯区域部件被配置为针对白天模式基于色调、饱和度和明度(HSV)格式中的图像数据以及针对夜间模式基于Lab格式中的图像数据来确定与制动灯相对应的一个或多个边界框。
根据本发明的一个实施例，分类部件被配置为使用神经网络将车辆的制动灯分类为开或关。
根据本发明的一个实施例，车辆区域部件在处于夜间模式时基于来自距离传感器的数据来检测与车辆相对应的区域包含：
识别与车辆相对应的距离数据中的点集群；和
将点集群的边界框映射到相应的图像帧。
根据本发明，提供一种存储指令的计算机可读存储介质，指令在由一个或多个处理器执行时使得一个或多个处理器执行下面的操作：
基于图像帧中的像素亮度来选择夜间模式或白天模式；
当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域；和
基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。
根据本发明的一个实施例，计算机可读存储介质进一步包含使得一个或多个处理器确定在与车辆相对应的区域中的与车辆的制动灯相对应的一个或多个边界框的指令。
根据本发明的一个实施例，指令使得一个或多个处理器通过以下方式来确定一个或多个边界框：
在与车辆相对应的区域中提取轮廓；和
选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓；
其中指令使得一个或多个处理器基于与一个或多个边界框相对应的图像数据来对制动灯进行分类。
根据本发明的一个实施例，指令使得一个或多个处理器使用神经网络将车辆的制动灯分类为开或关。
根据本发明的一个实施例，车辆区域部件在处于夜间模式时基于来自距离传感器的数据来检测与车辆相对应的区域包含：
识别与车辆相对应的距离数据中的点集群；和
将点集群的边界框映射到相应的图像帧。
附图说明
参考以下附图描述本公开的非限制性和非穷尽性实现，其中除非另有说明，相同的附图标记表示各个视图中的相似部分。关于下面的描述和附图，本公开的优点将变得更好地理解，其中：
图1是示出包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；
图2是示出根据一个实施方式的一种用于制动灯检测的方法的示意性框图；
图3示出了根据一个实施方式的具有用于车辆和制动灯的边界框的道路上的车辆的透视图；
图4是示出根据一个实施方式的制动灯部件的示例部件的示意性框图；
图5是示出根据一个实施方式的一种用于制动灯检测的方法的示意性流程图；和
图6是示出根据一个实施方式的一种计算系统的示意性框图。
具体实施方式
自主和辅助驾驶车辆将需要知道它们之前的车辆是否制动以便减速并保持安全距离。另外，如果交通信号灯被识别为绿色，但是前方的车辆有制动灯亮起，则自主车辆不应该试图通过交叉路口。类似地，当接近具有破碎或视觉遮蔽(例如，由自主车辆前面的大型车辆)的交通信号灯的交叉路口时，识别制动灯将使得自主车辆能够推断何时可以前进或移动。在一个实施例中，自动制动灯检测也可以被并入用于普通车辆的驾驶员辅助系统中。例如，如果驾驶员分心，并且没有注意到驾驶员前方的车辆正在制动，则系统可以通过音频/视觉警告来警告驾驶员。
申请人已经开发了用于检测制动灯以及它们的状态的方法、系统和设备。在一个实施例中，一种用于检测制动灯的系统包括模式部件、车辆区域部件和分类部件。模式部件被配置为基于图像帧中的像素亮度来选择夜间模式或白天模式。车辆区域部件被配置为当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域。分类部件被配置为基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。
在一个实施例中，计算机视觉与深度学习相结合，以使用光检测和测距(LIDAR)数据和摄像机数据来自动检测车辆的制动灯。可以使用深度学习和计算机视觉来检测自主车辆或普通车辆前方的车辆的制动灯是否打开。这有助于不仅保持与前方车辆的安全距离，还有助于安全地通过交叉路口。
在一个实施例中，系统可以检测是否使用白天模式或夜间模式来执行制动灯检测。在一个实施例中，系统确定图像帧的上部中的像素的平均强度。可以针对每个图像帧或者一段时间内的一个或多个图像帧，例如在第二时间段内的一个或多个图像帧，来计算平均强度。如果像素强度大于阈值，则系统可以确定使用白天模式，并且如果强度小于阈值，则系统可以使用夜间模式。
系统可以执行车辆检测以识别车辆位于图像帧中的哪里。在白天模式下，系统可以检测每个图像(例如红-绿-蓝“RGB”图像)内的所有车辆，以便识别制动灯检测的关注区域。在白天模式下，这可以通过首先从RGB或RGB深度图(RGB-D)(使用LIDAR创建深度图)提取特征图来实现。特征图可能包括2D(二维)映射，示出了对识别车辆有用的图像特征的位置。可以使用没有任何完全连接的分类层的深度卷积体系架构(例如，VGG16网络或GoogLeNet网络)来提取这些特征图。然后可以使用来自一个或多个先前层的特征图用作对候选区域和对象分类层的输入来识别潜在车辆对象。该网络可以基于诸如Ren，S.、He，K.、Girshick，R.和Sun，J.的“更快的R-CNN：面向具有候选区域网络的实时对象检测，神经信息处理系统的进展”(2015)(第91-99页)(“Faster R-CNN:Towards real-time objectdetection with region proposal networks.Advances in neural informationprocessing systems”by Ren,S.,He,K.,Girshick,R.,&Sun,J.(2015)(pp.91-99))或者Liu，W.、Anguelov，D.、Erhan，D.、Szegedy，C.和Reed，S.的“SSD：单镜多检测器”，arXiv预印版arXiv：1512.02325，(2015)("SSD:Single Shot MultiBox Detector",arXiv preprintarXiv:1512.02325,Liu,W.,Anguelov,D.,Erhan,D.,Szegedy,C.,&Reed,S.(2015))中的那些架构。分类的输出可以包括包含潜在车辆的边界框(例如，图像帧的区域)，以及车辆在这些图像区域内的相应置信度。这些区域用作制动灯检测的输入。
在夜间模式下，LIDAR用于检测车辆(和/或它们在图像或LIDAR帧内的相应位置)。使用LIDAR，可以通过使用基于密度的聚类算法(例如具有噪声的基于密度的空间聚类应用(DBSCAN))来找到车辆候选以在去除地平面(例如，对应于路面的点)之后聚类对象。如果集群的尺寸在与车辆的合理尺寸相对应的尺寸范围内，则将该集群馈送到具有深度结构(例如VGG-16)的经过训练的深层神经网络(DNN)中以将其分类为车辆或者非车辆。经过训练的DNN接收3D(三维)点集群，并针对集群与车辆是否相对应进行二进制分类。检测作为车辆的区域被用作制动灯检测的输入。在一些实施例中，可以使用其他类型的距离数据来代替LIDAR。例如，可以使用来自超声感测系统、雷达系统的数据或者甚至从图像得到的距离数据。
系统可以处理与车辆相对应的区域内的数据(通过白天模式中的图像识别或者夜间模式中的LIDAR聚类来确定)。如果系统要在白天模式下处理图像，系统会将图像转换为HSV(hue,saturation,and value(色调、饱和度和明度))颜色空间。系统可以以不同尺寸对饱和度通道进行滤波，以考虑不同强度的阳光和一天中的不同时间。例如，饱和度通道可以用3种不同尺寸(例如100像素、150像素和200像素)来进行滤波，这将导致3个不同的阈值HSV图像。对于三个阈值HSV图像中的每个，提取与车辆相对应的帧或区域中的轮廓。这些轮廓的形状和尺寸可以用于过滤掉它们中的一些。任何剩余的候选将被用作检测制动灯的状态的关注区域(ROI)。这些ROI被馈送到在大型制动灯数据集上训练的深层神经网络。输出将是两个标签中的一个：正(制动灯开)和负(制动灯关)。系统然后可以在所有检测到的制动灯上绘制一个标记。在一个实施例中，神经网络可以类似于在“用于交通标志分类的多列深层神经网络”Ciressan，D.、Meier，U.、Masci，J.、和Schmidhuber，J.，神经网络，32,333-338.23,201(2012)(“Multi-column deep neural network for traffic signclassification”,Ciressan,D.,Meier,U.,Masci,J.,and Schmidhuber,J.,NeuralNetworks,32,333–338.23,201(2012))中公开的那样。例如，诸如Ciressan的神经网络可以被修改为包括两个额外的层并且改变用于处理制动灯的内核的尺寸。
在夜间模式中，系统可以将图像转换成亮度和两个颜色通道(A和B)颜色空间图像(LAB)。在一个实施例中，系统利用不同尺寸对A通道进行滤波以考虑不同的照明条件。例如，A通道可以用3种不同尺寸(100像素、150像素和200像素)进行滤波，以生成3种不同的阈值LAB图像。对于三个阈值LAB图像中的每个，提取轮廓。这些轮廓的形状和尺寸可以用于过滤掉一个或多个轮廓。任何剩余的候选将是ROI。ROI可以被馈送到在大型制动灯数据集上训练的DNN。DNN的输出可以是正(制动灯开)或负(制动灯关)。系统然后在所有检测到的制动灯上绘制一个标记。
在白天模式或夜间模式中，如果系统检测到自主车辆前方的任何制动灯，则系统可以向车辆的驾驶系统或驾驶员提供通知。例如，对驾驶员的通知可以是视觉和/或音频警告消息的形式，该消息表示自主车辆(或普通车辆)前方的车辆正在制动。作为另一示例，系统可以向自主驾驶系统提供车辆正在制动的通知，这可以允许自动驾驶系统采取行动(施加制动、执行避让操纵等)。
将关于下面的附图讨论其它实施例和示例。
现在参考附图，图1示出了示例车辆控制系统100。车辆控制系统100包括自动驾驶/辅助系统102。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或者为人类驾驶员提供协助。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电、悬架阻尼或车辆的任何其它驾驶或辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102可能不能提供对驾驶(例如，转向、加速或制动)的任何控制，但是可以提供通知和警报以辅助人类驾驶者安全驾驶。例如，自动驾驶/辅助系统102可以包括通过控制器总线提供或接收数据，并使用这些数据来确定要执行的动作和/或提供指令或信号以启动这些动作的一个或多个控制器。
车辆控制系统100还包括用于检测附近对象、车道标记、凸块、道路纹理的存在，和/或确定主车辆的位置(例如，包括车辆控制系统100的车辆)的一个或多个传感器系统/设备。例如，车辆控制系统100可以包括雷达系统106、一个或多个激光雷达(LIDAR)系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或超声系统114。车辆控制系统100可以包括用于存储诸如车辆信息(型号信息或车辆性能特征)、地图数据、驾驶历史(即，行驶历史)或其他数据的相关或有用数据的数据存储器116。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施、云或远程计算或存储源或者任何其它通信系统进行无线通信的收发器118。
车辆控制系统100可以包括车辆控制致动器120，以控制诸如电动马达、开关或其他致动器的车辆的驾驶的各个方面，以控制制动、加速、转向、悬架等。车辆控制系统100可以包括一个或多个显示器122、扬声器124或者其他设备，使得可以为人类驾驶员或乘客提供通知。显示器122可以包括可以被车辆的驾驶员或乘客看到的抬头显示器、仪表板显示器或指示器、显示屏幕或者任何其它视觉指示器。扬声器124可以包括车辆的声音系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。车辆控制致动器120、显示器122、扬声器124或者车辆控制系统100的其他部件可以通过自动驾驶/辅助系统102的一个或多个控制器来控制。
在一个实施例中，自动驾驶/辅助系统102仅在由人类驾驶员驾驶期间提供辅助和车辆控制。在一个实施例中，自动驾驶/辅助系统102被配置为控制主车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120行驶在道路的车道、停车场、私家车道或其他位置上的路径。例如，自动驾驶/辅助系统102可以基于由任何部件106-118提供的信息或感知数据来确定路径。传感器系统/设备106-110和114可以用于获得实时传感器数据，使得自动驾驶/辅助系统102可以辅助驾驶员或者实时驾驶车辆。在一个实施例中，自动驾驶/辅助系统102还使用存储在驾驶历史(本地或远程)中的信息来确定当前环境中的状况。自动驾驶/辅助系统102可以实现驾驶或辅助驾驶车辆的一个或多个算法、应用、程序或功能。
自动驾驶/辅助系统102可以包括用于检测制动灯和/或制动灯的状态的制动灯部件104。在一个实施例中，制动灯部件104可以识别与车辆相对应的图像的子区域，并且还可以确定子区域内与车辆的制动灯相对应的边界框。可以使用深层神经网络来处理边界框内的图像数据，以将制动灯分类为开或关。
应当理解的是，图1的实施例仅以示例的方式给出。在不脱离本公开的范围的情况下，其他实施例可以包括更少的或附加的部件。另外，所示的部件可以组合或包括在其他部件中而不受限制。
图2是示出一种用于检测制动灯的方法200的示意性流程图。方法200可以由图1的自动驾驶系统102和/或制动灯部件104执行。
输入数据202可以被提供用作系统的输入。输入数据202包括摄像机数据以及距离数据。距离数据可以来自摄像机数据、超声数据、雷达数据和/或LIDAR数据或者基于这些数据来生成。基于输入数据202，制动灯部件104在204确定是以白天模式还是以夜间模式来处理数据。例如，如果摄像机图像的上部区域中的像素的平均亮度大于阈值(204处的白天)，则制动灯部件104可以使用白天模式。类似地，如果摄像机图像的上部区域中的像素的平均亮度小于阈值(204处的夜间)，则制动灯部件104可以使用夜间模式。
在白天模式下，制动灯部件104可以使用在包括车辆的图像或框上训练的一个或多个DNN 206来处理摄像机图像。DNN 206输出包含车辆的一个或多个图像区域208。例如，这些图像区域208可以包括在车辆所在的原始图像或帧内的边界框内的数据。制动灯部件104将图像转换成HSV格式，并且在212利用不同大小阈值对S通道进行滤波。例如，制动灯部件104可以利用各种像素尺寸(例如，100、150、200或其它像素尺寸)对S通道进行滤波。HSV格式可能很好地适用于日光图像，因为S通道(饱和度通道)可以有效地检测白天图像中的明亮的或闪光的对象。
在夜间模式中，制动灯部件104可以使用在包括车辆的距离数据图像或帧上训练的一个或多个DNN 214来处理距离数据(诸如LIDAR数据或者任何其它距离数据)。DNN 214输出包含车辆的一个或多个图像区域216。例如，DNN 214可以执行聚类以识别可能与车辆相对应的距离数据中的3D点的集群。基于距离数据点的集群，可以识别并输出与距离数据聚类相对应的摄像机图像的区域216。例如，这些图像区域216可以包括车辆所在的原始图像或帧内的边界框内的数据。制动灯部件104在218将图像转换成LAB格式，并在220利用不同大小阈值对A通道进行过滤。例如，制动灯部件104可以利用各种像素尺寸(例如100、150、200或其他像素尺寸)来对A通道进行滤波。LAB格式可以很好地适用于夜间图像，因为A通道可用于在黑暗或夜间照明条件下检测明亮的或闪亮的对象。
对于在夜间模式或白天模式中生成的每个阈值图像(例如，如在212或220生成的)，制动灯部件104提取轮廓并且在222基于形状和尺寸对轮廓候选进行滤波。例如，轮廓可以被滤波以去除具有可能与制动灯的尺寸不对应的形状或尺寸的轮廓。在一个实施例中，不同的轮廓和滤波算法可用于夜间或白天模式图像。在222处进行滤波之后，使用在制动灯图像上训练的DNN 226来处理任何关注区域224。DNN 226可仅用于处理关注区域以减少分类中处理功率量并提高速度。不同的神经网络可以用于白天模式图像和夜间模式图像。响应于使用DDN 226的处理，DNN 226为每个检测到的车辆和/或制动灯输出制动灯状态228。制动灯状态228可以是正，表示制动灯开，或者是负，表示制动灯关。该信息可以提供给人类驾驶员或自动驾驶系统，使得驾驶操纵者可以应对这种情况。
图3示出了根据一个实施例的可以被车辆捕获的道路的图像300。车辆边界框302被示出为围绕位于包含制动灯部件104的车辆前方的车辆周围。车辆边界框302可以对应于如关于图2所讨论的图像区域208、216。例如，制动灯部件104可以使用图像(白天模式)或距离数据(例如夜间模式中的LIDAR)来识别车辆边界框302中的车辆。还示出了围绕车辆边界框302内的车辆的制动灯的制动灯边界框304。在一个实施例中，仅处理车辆边界框302内的图像数据的轮廓以检测可能包含制动灯的关注区域。这可以显著地提高效率并且减少处理时间，这两者在机动车应用中是重要的。一旦确定制动灯边界框304，可以处理制动灯边界框304内的数据以确定制动灯是开(正)还是关(负)。例如，可以使用DNN来将制动灯边界框304内的制动灯分类为开或关。
转向图4，示出了根据一个实施例的制动灯部件104的部件的示意性框图。制动灯部件104包括数据部件402、模式部件404、车辆区域部件406、制动灯区域部件408和分类部件410。部件402-410仅以说明的方式给出，并且可以不都包括在所有实施例中。事实上，一些实施例可以仅包括部件402-410中一个或者两个或更多个的任何组合。例如，部件402-410中的一些可以位于制动灯部件104的外部，诸如在自动驾驶/辅助系统102内。
数据部件402被配置为获得车辆附近的区域的摄像机图像数据和距离数据。参见例如图2的202处的方法200。例如，数据部件402可以获得由摄像机(例如车辆的前向摄像机)捕获的摄像机帧和图像。数据部件402还可以捕获距离数据，例如指示与车辆的周围环境中的空间中的一个或多个点的距离的数据。距离数据可以包括由LIDAR系统、雷达系统、超声感测系统等获得或生成的距离数据。在一个实施例中，距离数据可以包括基于图像数据生成的距离数据。然而，从图像数据生成的距离数据可能需要更多的处理时间和/或在低光条件下可能不是如此精确。在一个实施例中，数据部件402可以获得或生成具有与图像内的每个像素或一个或多个像素相关联的范围(距离)的图像数据。例如，可见光光谱图像可以具有与图像中的一个或多个像素相关联的距离。
模式部件404被配置为选择用于检测车辆和/或车辆的制动灯的夜间模式或白天模式。参见例如图2中的204处的方法200。在一个实施例中，模式部件404处理将用于制动灯检测的每个图像帧，并且为该图像选择白天模式或夜间模式。模式部件404可以基于图像的一部分像素的亮度来选择模式。例如，模式部件可以确定图像帧顶部的多行的平均像素强度。基于平均像素强度高于或低于阈值，模式部件404可以选择白天模式(平均像素强度高于阈值)或者夜间模式(平均像素强度低于阈值)。选择适当的模式可能允许更准确的车辆检测，并且从而允许更准确的制动灯检测。
车辆区域部件406检测与车辆相对应的区域。参见例如206、208、214和216处的方法200。如果模式部件404已经选择了夜间模式，则车辆区域部件406可以基于来自距离传感器的数据来检测车辆。在夜间模式中，车辆区域部件406可以使用聚类算法或DNN来检测可能与车辆相对应的3D点集群。在一个实施例中，车辆区域部件406识别摄像机图像内的与已经被识别为与车辆的位置相对应的3D点相对应的2D像素位置。例如，车辆区域部件406可以将与车辆相对应的距离数据中的3D点映射到摄像机图像数据中的2D点，以创建车辆边界框。
在白天模式中，车辆区域部件406可以使用计算机视觉算法或方法来检测车辆。如果光线充足，白天模式可能允许检测车辆的范围更大。然而，如果光线不足，则来自LIDAR、雷达等的距离数据可以在检测车辆时提供更高的精度。在一个实施例中，距离数据和图像数据二者都可以用于在夜间模式或白天模式下检测车辆。在白天模式和夜间模式中，可以生成用于车辆的2D位置或边界框。
制动灯区域部件408检测与车辆的制动灯相对应的图像内的区域。参见例如图2的210、212、218、220、222和224处的方法200。在一个实施例中，制动灯区域部件408确定指示车辆的制动灯可能所在的摄像机图像内的位置的一个或多个制动灯边界框。在一个实施例中，制动灯区域部件408通过在与车辆相对应的区域(例如，由车辆区域部件406确定)中提取轮廓来确定制动灯边界框。制动灯区域部件408也可以基于它们的形状或尺寸来对这些轮廓的子集进行滤波或选择。例如，制动灯区域部件408可以识别具有与预期制动灯形状或尺寸相对应的形状和尺寸的轮廓。在一个实施例中，轮廓的形状和尺寸可以基于车辆和/或制动灯的图像来预先确定或训练。
在一个实施例中，可以根据是否选择白天模式或夜间模式，使用不同的图像格式来执行轮廓的确定。例如，在白天模式中，RGB图像可以被转换为用于轮廓检测的HSV颜色空间。在夜间模式下，RBG图像可以被转换为用于轮廓检测的LAB颜色空间。一旦检测到轮廓，则可以确定相应的制动灯边界框(以RGB或其他格式)，然后可以将图像数据提供给分类部件410，以将制动灯分类为开或关。
分类部件410将制动灯分类为开或关。参见例如图2的224、226处的方法200。在一个实施例中，分类部件410处理由制动灯区域部件408确定的区域内的摄像机图像数据。例如，分类部件410可以包括或使用DNN以处理制动灯边界框中的图像数据，并将制动灯分类为开或关。在一个实施例中，使用的DNN可以取决于模式部件404是否被选择。例如，一个或多个DNN可以用于处理白天模式图像，而一个或多个其他DNN可以用于处理夜间模式图像。分类部件410可以将制动灯或车辆的分类结果提供给车辆控制系统100，以通知人类驾驶员或者用于自动驾驶决策。
图5是示出用于一种检测制动灯及其状态的方法500的示意性流程图。方法500可以由诸如图1或图4的制动灯部件104的制动灯部件或者由诸如图1的车辆控制系统100的车辆控制系统执行。
方法500开始，并且模式部件404在502处基于图像帧中的像素亮度来选择夜间模式或白天模式。模式部件404可以在502处基于RGB帧的上部中的像素亮度来选择夜间模式或白天模式。例如，上部可以对应于天空或车辆上方的另一区域。如果图像上部的区域高于阈值，则方法500可以以白天模式继续。如果图像上部的区域低于阈值，则方法500可以以夜间模式继续。
车辆区域部件406在504处在处于夜间模式时基于来自距离传感器的数据，或者在处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域。例如，在夜间模式中，车辆区域部件406在504处可以使用聚类算法来检测车辆，以识别可能与车辆相对应的距离数据点的集群。车辆区域部件406然后可以将点集群的位置与摄像机图像的相应区域相关联，以产生指示摄像机图像中的车辆可能所在的车辆区域或车辆边界框。可以使用DNN来检测距离数据(例如，LIDAR数据)内的与车辆相对应的3D点集群。作为另一示例，在白天模式中，车辆区域部件406在504处可以使用对由摄像机捕获的图像的图像识别来检测车辆。车辆区域部件406然后可以生成在摄像机图像内包含车辆的车辆区域或车辆边界框。可以使用DNN来检测车辆、其尺寸和/或其在图像内的位置。因此，是否使用白天模式或夜间模式，车辆被检测和/或位于摄像机图像中，并且确定包含车辆的区域或边界框。使用例如来自LIDAR的距离数据，可以允许在黑暗或夜间驾驶条件下对车辆进行更准确和可靠的检测。
分类部件410在506处基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。分类在506处可以使用已经在白天和/或夜间制动灯图像上训练的DNN来执行。因为分类在506处仅在可能包含制动灯的较小区域上执行，所以可以使用显著更小和更容易训练的DNN，从而降低训练成本、加快处理时间并且提高效率。在一个实施例中，制动灯的边界框也位于与车辆相对应的区域内，以进一步提高处理效率。
现在参考图6，示出了示例计算设备600的框图。计算设备600可以用于执行各种过程，例如本文讨论的那些。计算设备600可以用作制动灯部件104、自动驾驶/辅助系统102等。计算设备600可以执行如本文所讨论的各种监测功能，并且可以执行一个或多个应用程序，诸如本文描述的应用程序或功能。计算设备600可以是诸如台式计算机、嵌入式计算机、车辆控制系统、笔记本电脑、服务器计算机、掌上电脑、平板电脑等各种各样的计算设备中的任何一种。
计算设备600包括一个或多个处理器602、一个或多个存储器设备604、一个或多个界面606、一个或多个大容量存储设备608、一个或多个输入/输出(I/O)设备610和显示设备630，所有这些都连接到总线612。处理器602包括执行存储在存储器设备604和/或大容量存储设备608中的指令的一个或多个处理器或控制器。处理器602还可以包括各种类型的计算机可读介质，例如高速缓冲存储器。
存储器设备604包括各种计算机可读介质，例如易失性存储器(例如，随机存取存储器(RAM)614)和/或非易失性存储器(例如，只读存储器(ROM)616)。存储器设备604还可以包括可重写ROM，例如闪存。
大容量存储设备608包括各种计算机可读介质，例如磁带、磁盘、光盘、固态存储器(例如，闪存)等。如图6所示，特定的大容量存储设备是硬盘驱动器624。也可以在大容量存储设备608中包括各种驱动器，以使得能够从各种计算机可读介质读取和/或向各种计算机可读介质写入。大容量存储设备608包括可移动介质626和/或不可移动介质。
I/O设备610包括允许将数据和/或其他信息输入到计算设备600或者从计算设备600检索的各种设备。示例I/O设备610包括光标控制设备、键盘、键板、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器等。
显示设备630包括能够向计算设备600的一个或多个用户显示信息的任何类型的设备。显示设备630的示例包括监视器、显示终端、视频投影设备等。
界面606包括允许计算设备600与其他系统、设备或计算环境交互的各种界面。示例界面606可以包括任何数量的不同的网络界面620，例如到局域网(LAN)、广域网(WAN)、无线网络和因特网的界面。其他界面包括用户界面618和外围设备界面622。界面606还可以包括一个或多个用户界面元件618。界面606还可以包括一个或多个外围界面，例如用于打印机、指示设备(鼠标、跟踪板或者为本领域普通技术人员已知的或稍后发现的任何合适的用户界面)、键盘等。
总线612允许处理器602、存储器设备604、界面606、大容量存储设备608和I/O设备610以及连接到总线612的其他设备或部件彼此通信。总线612表示多种类型的总线结构(例如系统总线、PCI(外设部件互联标准)总线、IEEE总线、USB总线等)中的一种或多种。
为了说明的目的，程序和其他可执行程序部件在本文中示出为离散框，但是应当理解的是，这样的程序和部件可以在不同时间驻留在计算设备600的不同存储部件中，并且通过处理器602执行。或者，本文描述的系统和过程可以以硬件、或者硬件、软件和/或固件的组合来实现。例如，可以编程一个或多个专用集成电路(ASIC)来执行本文所述的一个或多个系统和过程。
示例
以下示例涉及另外的实施例。
示例1是一种方法，该方法包括基于图像帧中的像素亮度来选择夜间模式或白天模式。该方法包括当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域。该方法包括基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。
在示例2中，示例1的方法包括确定在与车辆相对应的区域中的与车辆的制动灯相对应的一个或多个边界框。
在示例3中，如示例2中的确定一个或多个边界框包括：在与车辆相对应的区域中提取轮廓和选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓。
在示例4中，如示例2-3中任一项的分类制动灯包括：基于与一个或多个边界框相对应的图像数据来分类。
在示例5中，如示例2-4中任一项的确定与制动灯相对应的一个或多个边界框包括：针对白天模式基于HSV格式的图像数据和针对夜间模式基于LAB格式的图像数据来确定。
在示例6中，如示例1-5中任一项的分类制动灯包括使用神经网络来分类。
在示例7中，如示例1-6中任一项当处于夜间模式时基于来自距离传感器的数据来检测与车辆相相对应的区域包括：识别与车辆相对应的距离数据中的点集群和将点集群的边界框映射到相应的图像帧。
在示例8中，如示例1-7中任一项的夜间模式中的距离数据包括雷达数据、超声数据和LIDAR数据中的一个或多个。
示例9是一种包括模式部件、车辆区域部件和分类部件的系统。模式部件被配置为基于图像帧中的像素亮度来选择夜间模式或白天模式。车辆区域部件被配置为当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域。分类部件被配置为基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。
在示例10中，如示例9的系统还包括制动灯区域部件，该制动灯区域部件被配置为确定在与车辆相对应的区域中的与车辆的制动灯相对应的一个或多个边界框。
在示例11中，如示例10中的制动灯区域部件被配置为通过在与车辆相对应的区域中提取轮廓以及选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓来确定一个或多个边界框。
在示例12中，如示例10-11中任一项的分类部件被配置为通过基于与一个或多个边界框相对应的图像数据进行分类来分类制动灯。
在示例13中，如示例10-12中任一示例的制动灯区域部件被配置为针对白天模式基于HSV格式的图像数据以及针对夜间模式基于LAB格式的图像数据来确定一个或多个边界框。
在示例14中，如示例9-13中任一项的分类部件被配置为使用神经网络将车辆的制动灯分类为开或关。
在示例15中，如示例9-14中任一项的车辆区域部件在处于夜间模式时基于来自距离传感器的数据检测与车辆相对应的区域包括：识别与车辆相对应的距离数据中的点集群以及将点集群的边界框映射到相应的图像帧。
示例16是一种存储指令的计算机可读存储介质，该指令在由一个或多个处理器执行时使得一个或多个处理器基于图像帧中的像素亮度来选择夜间模式或白天模式。该指令使得一个或多个处理器在处于夜间模式时基于来自距离传感器的数据或者在处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域。该指令使得一个或多个处理器基于与车辆相对应的区域中的图像数据来将车辆的制动灯分类为开或关。
在示例17中，如示例16的计算机可读介质还包括使得一个或多个处理器确定在与车辆相对应的区域中的与车辆的制动灯相对应的一个或多个边界框的指令。
在示例18中，指令使得一个或多个处理器通过在与车辆相对应的区域中提取轮廓并选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓来实现如示例17中所述的确定一个或多个边界框。该指令使得一个或多个处理器基于与一个或多个边界框相对应的图像数据对所述制动灯进行分类。
在示例19中，指令使得一个或多个处理器使用神经网络实现如示例16-18中任一项所述的将车辆的制动灯分类为开或关。
在示例20中，如示例16-19中任一项的在处于夜间模式时基于来自距离传感器的数据来检测与车辆相对应的区域包括：识别与车辆相对应的距离数据中的点集群和将点集群的边界框映射到相应的图像帧。
示例21是包括用于实施如示例1-20任一项所述的方法或者实现如示例1-20任一项所述的系统或装置的装置的系统或设备。
在上述公开内容中，已经参考了形成其一部分的附图，并且通过图示的方式示出了可以实践本公开的具体实施方式。应当理解的是，在不脱离本公开的范围的情况下，可以利用其他实现并且可以进行结构改变。说明书中对“一个示例”、“一示例”、“示例示例”等的参考表明所描述的示例可以包括特定特性、结构或特征，但是每个示例可以不一定包括特定特性、结构或特性。此外，这样的短语不一定指代相同的示例。此外，当结合示例描述特定特性、结构或特征时，认为结合其他示例影响这些特性、结构或特征都在本领域技术人员的知识范围内，不论是否明确描述。
本文公开的系统、设备和方法的实施方式可以包含或利用包括计算机硬件(例如，一个或多个处理器和系统存储器)的专用或通用计算机，如本文所讨论的。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包含至少两种明显不同种类的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其它类型存储器、其他光盘存储器、磁盘存储器或者其他磁存储设备、或者可用于以计算机可执行指令或数据结构的形式存储期望的程序代码并且可以由通用或专用电脑访问的任何其他介质。
本文公开的设备、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线、或者硬连线或无线的组合)传送或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码装置，并且可以由通用或专用计算机访问。上面的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包含例如在处理器上执行时使通用计算机、专用计算机或专用处理设备执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令，甚至是源代码。尽管主题已经用特定于结构特征和/或方法动作的语言描述，但是应当理解的是，所附权利要求中限定的主题不一定限于上述所描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解的是，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实现，所述计算机系统配置包括：内置车载计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程消费者电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实现，其中通过网络链接(或者通过硬连线数据链路、无线数据链路，或者通过硬连线数据链路和无线数据链路的组合)使本地和远程计算机系统二者都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储设备中。
此外，在适当的情况下，可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行本文所描述的功能。例如，可以编程一个或多个专用集成电路(ASIC)来执行本文所描述的一个或多个系统和过程。在整个描述和权利要求中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以通过不同的名称引用。本文档不旨在区分名称不同而不是功能不同的部件。
应当注意的是，上面讨论的传感器示例可以包含计算机硬件、软件、固件或者它们的任何组合，以执行它们的功能的至少一部分。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例设备在本文中为了说明的目的而提供，并且不旨在是限制性的。本公开的示例可以在相关领域的技术人员已知的更多类型的设备中实现。
本公开的至少一些示例已经针对包含存储在任何计算机可用介质上的逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备如本文所述地进行操作。
虽然上面已经描述了本公开的各种示例，但是应当理解的是，它们已经仅作为示例而不是限制来呈现。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由上述示例性示例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，已经呈现了前述描述。它不旨在是穷举的，也不是将本公开限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意的是，可以以期望形成本公开的附加混合实施方式的任何组合来使用上述替代实施方式中的任何或全部。
此外，虽然已经描述和示出了本公开的具体实施方式，但是本公开不旨在限于如此描述和示出的部件的具体形式或布置。本公开的范围将通过所附权利要求、本文和不同申请中提出的任何未来权利要求以及它们的等同物来限定。

Claims (15)

1.一种用于自动制动灯检测的方法，包含：
基于图像帧中的像素亮度来选择夜间模式或白天模式；
当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域；
当处于夜间模式时，将来自距离传感器的数据转换为亮度、A通道和B通道（LAB）颜色空间；
当处于白天模式时，将摄像机图像数据转换为色调、饱和度和明度（HSV）颜色空间；和
基于与所述车辆相对应的所述区域中的图像数据来将所述车辆的制动灯分类为开或关。
2.根据权利要求1所述的方法，所述方法进一步包含确定在与所述车辆相对应的区域中的与所述车辆的制动灯相对应的一个或多个边界框。
3.根据权利要求2所述的方法，其中包含以下中一个或多个：
确定所述一个或多个边界框包含：在与所述车辆相对应的所述区域中提取轮廓和选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓；
分类所述制动灯包含：基于与所述一个或多个边界框相对应的图像数据来进行分类；或者
确定与制动灯相对应的所述一个或多个边界框包含：针对所述白天模式基于色调、饱和度和明度（HSV）格式的图像数据以及针对所述夜间模式基于亮度、A通道和B通道（LAB）格式的图像数据来进行确定。
4.根据权利要求1所述的方法，其中将所述车辆的制动灯分类为开或关包含：使用神经网络来分类。
5. 根据权利要求1所述的方法，其中当处于所述夜间模式时基于来自距离传感器的数据来检测与车辆相对应的区域包含：
识别所述距离数据中与所述车辆相对应的点集群；和
将所述点集群的边界框映射到相应的图像帧。
6.根据权利要求1所述的方法，其中所述夜间模式中的所述距离数据包含雷达数据、超声数据、光检测和测距（LIDAR）数据中的一个或多个。
7.一种用于自动制动灯检测的系统，包含：
模式部件，所述模式部件被配置为基于图像帧中的像素亮度来选择夜间模式或白天模式；
车辆区域部件，所述车辆区域部件被配置为当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域；
当处于夜间模式时，将来自距离传感器的数据转换为亮度、A通道和B通道（LAB）颜色空间；
当处于白天模式时，将摄像机图像数据转换为色调、饱和度和明度（HSV）颜色空间；和
分类部件，所述分类部件被配置为基于与所述车辆相对应的所述区域中的图像数据来将所述车辆的制动灯分类为开或关。
8.根据权利要求7所述的系统，进一步包含制动灯区域部件，所述制动灯区域部件被配置为确定在与所述车辆相对应的区域中的与所述车辆的制动灯相对应的一个或多个边界框。
9.根据权利要求8所述的系统，其中包含以下中的一个或多个：
所述制动灯区域部件被配置为通过在与所述车辆相对应的所述区域中提取轮廓和选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓来确定所述一个或多个边界框：
所述分类部件被配置为通过基于与所述一个或多个边界框相对应的图像数据进行分类来将所述制动灯分类为开或关；或者
所述制动灯区域部件被配置为针对所述白天模式基于色调、饱和度和明度（HSV）格式的图像数据以及针对所述夜间模式基于Lab格式的图像数据来确定与制动灯相对应的所述一个或多个边界框。
10.根据权利要求7所述的系统，其中所述分类部件被配置为使用神经网络将所述车辆的所述制动灯分类为开或关。
11. 根据权利要求7所述的系统，其中所述车辆区域部件在处于夜间模式时基于来自距离传感器的数据来检测与车辆相对应的区域包含：
识别所述距离数据中与所述车辆相对应的点集群；和
将所述点集群的边界框映射到相应的图像帧。
12.一种存储指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行下面的操作：
基于图像帧中的像素亮度来选择夜间模式或白天模式；
当处于夜间模式时基于来自距离传感器的数据或者当处于白天模式时基于摄像机图像数据来检测与车辆相对应的区域；
当处于夜间模式时，将来自距离传感器的数据转换为亮度、A通道和B通道（LAB）颜色空间；
当处于白天模式时，将摄像机图像数据转换为色调、饱和度和明度（HSV）颜色空间；和
基于与所述车辆相对应的所述区域中的图像数据来将所述车辆的制动灯分类为开或关。
13. 根据权利要求12所述的计算机可读存储介质，所述指令进一步使得所述一个或多个处理器确定在与所述车辆相对应的区域中的与所述车辆的制动灯相对应的一个或多个边界框，其中所述指令使得所述一个或多个处理器通过以下方式来确定所述一个或多个边界框：
在与所述车辆相对应的所述区域中提取轮廓；和
选择具有与制动灯形状或尺寸相对应的形状或尺寸的轮廓；
其中所述指令使得所述一个或多个处理器基于与所述一个或多个边界框相对应的图像数据来对所述制动灯进行分类。
14.根据权利要求12所述的计算机可读存储介质，其中所述指令使得所述一个或多个处理器使用神经网络将所述车辆的所述制动灯分类为开或关。
15. 根据权利要求12所述的计算机可读存储介质，其中车辆区域部件在处于夜间模式时基于来自距离传感器的数据来检测与车辆相对应的区域包含：
识别所述距离数据中与所述车辆相对应的点集群；和
将所述点集群的边界框映射到相应的图像帧。
CN201711164489.6A 2016-11-22 2017-11-21 制动灯检测 Active CN108082037B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/359,158 US10248874B2 (en) 2016-11-22 2016-11-22 Brake light detection
US15/359,158 2016-11-22

Publications (2)

Publication Number Publication Date
CN108082037A CN108082037A (zh) 2018-05-29
CN108082037B true CN108082037B (zh) 2023-05-23

Family

ID=60805427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711164489.6A Active CN108082037B (zh) 2016-11-22 2017-11-21 制动灯检测

Country Status (6)

Country Link
US (5) US10248874B2 (zh)
CN (1) CN108082037B (zh)
DE (1) DE102017127346A1 (zh)
GB (1) GB2559007A (zh)
MX (1) MX2017014779A (zh)
RU (1) RU2017135414A (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146174A (ja) * 2015-02-06 2016-08-12 パナソニックＩｐマネジメント株式会社 決定方法およびプログラム
US10144527B2 (en) * 2015-03-25 2018-12-04 Skyfront Corp. Flight controller with generator control
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
EP3828657A1 (en) * 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
US10643084B2 (en) 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
US10387736B2 (en) * 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10510154B2 (en) * 2017-12-21 2019-12-17 Intel Corporation Adaptive processing of spatial imaging data
JP7067067B2 (ja) 2018-01-11 2022-05-16 トヨタ自動車株式会社 信号機認識装置、及び自動運転システム
US10955851B2 (en) 2018-02-14 2021-03-23 Zoox, Inc. Detecting blocking objects
DE112019001421T5 (de) * 2018-03-20 2021-02-18 Mobileye Vision Technologies Ltd. Systeme und verfahren zum navigieren eines fahrzeugs
WO2019195593A1 (en) * 2018-04-05 2019-10-10 Apex.AI, Inc. Efficient and scalable three-dimensional point cloud segmentation for navigation in autonomous vehicles
US10414395B1 (en) 2018-04-06 2019-09-17 Zoox, Inc. Feature-based prediction
US10732640B2 (en) * 2018-04-13 2020-08-04 Blackberry Limited System and method for preforming differential analysis of vehicles
US11294060B2 (en) * 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
US11126873B2 (en) * 2018-05-17 2021-09-21 Zoox, Inc. Vehicle lighting state determination
US11341356B2 (en) 2018-06-15 2022-05-24 Uatc, Llc System and method for determining object intention through visual attributes
EP3818474A4 (en) * 2018-07-05 2022-04-06 Optimum Semiconductor Technologies, Inc. OBJECT DETECTION WITH MULTIPLE SENSORS AND REDUCED COMPLEX NEURAL NETWORKS
EP3842304A3 (en) 2018-08-14 2021-09-15 Mobileye Vision Technologies Ltd. Systems and methods for navigating with safe distances
US11747444B2 (en) * 2018-08-14 2023-09-05 Intel Corporation LiDAR-based object detection and classification
US11699207B2 (en) 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US11227409B1 (en) * 2018-08-20 2022-01-18 Waymo Llc Camera assessment techniques for autonomous vehicles
CN109085851A (zh) * 2018-09-12 2018-12-25 哈尔滨工业大学（威海） 无人机定点降落方法
EP3626585A1 (en) 2018-09-21 2020-03-25 Visteon Global Technologies, Inc. Driver assistance system and method for displaying traffic information
CN109334557B (zh) * 2018-10-26 2020-04-17 厦门理工学院 一种基于车载视觉的车辆大灯调节控制方法及控制系统
JP7369921B2 (ja) * 2018-12-10 2023-10-27 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
WO2020160144A1 (en) 2019-01-29 2020-08-06 Aptiv Technologies Limited Traffic light estimation
US11148670B2 (en) * 2019-03-15 2021-10-19 Honda Motor Co., Ltd. System and method for identifying a type of vehicle occupant based on locations of a portable device
JP7240916B2 (ja) 2019-03-22 2023-03-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
EP3806044A4 (en) * 2019-04-23 2021-08-18 SZ DJI Technology Co., Ltd. DATA PROCESSING METHOD, SETUP AND DEVICE AND MOBILE PLATFORM
CN110163187B (zh) * 2019-06-02 2022-09-02 东北石油大学 基于f-rcnn的远距离交通标志检测识别方法
DE102019211100A1 (de) * 2019-07-25 2021-01-28 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Aufbereiten von Daten über eine Ampelanlage
CN112307833A (zh) * 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
US11195033B2 (en) * 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
AT523558B1 (de) * 2020-03-05 2023-07-15 Nekonata Xr Tech Gmbh Verfahren zur Darstellung einer Umgebung mittels einer an einer Person angeordneten und für die Person sichtbaren Anzeigeeinheit
US20210347387A1 (en) * 2020-05-07 2021-11-11 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic reconstruction via cooperative perception
EP3937066A1 (en) * 2020-07-07 2022-01-12 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Peer vehicle center line determination system and method
KR102423334B1 (ko) * 2020-07-23 2022-07-20 숭실대학교산학협력단 후미등 검출 방법 및 그 장치
US11729371B2 (en) 2020-10-14 2023-08-15 Ford Global Technologies, Llc Systems and methods for improved camera color calibration
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US11776281B2 (en) 2020-12-22 2023-10-03 Toyota Research Institute, Inc. Systems and methods for traffic light detection and classification
KR102345777B1 (ko) * 2021-02-23 2021-12-30 국민대학교산학협력단 광학 카메라 통신(occ) 기반 차량 위치 판단 방법 및 장치
US12014549B2 (en) 2021-03-04 2024-06-18 Toyota Research Institute, Inc. Systems and methods for vehicle light signal classification
CN116091959B (zh) * 2022-11-21 2024-03-22 武汉坤达安信息安全技术有限公司 基于全天候烟火的双光联动识别方法及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335682B1 (en) * 2000-07-05 2002-01-01 International Business Machines Corporation Method and system for enhanced system automotive brake light control
US7724962B2 (en) 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP2008189148A (ja) * 2007-02-05 2008-08-21 Toyota Motor Corp 走行状態検知装置
JP2009067240A (ja) 2007-09-13 2009-04-02 Auto Network Gijutsu Kenkyusho:Kk 発車報知装置
DE102009025545A1 (de) * 2009-06-15 2010-12-16 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Erkennen von Bremslichtsystemen
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
US9690997B2 (en) * 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP6176028B2 (ja) * 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
WO2013009697A1 (en) * 2011-07-08 2013-01-17 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
JP5499011B2 (ja) * 2011-11-17 2014-05-21 富士重工業株式会社 車外環境認識装置および車外環境認識方法
US9165463B2 (en) * 2012-06-26 2015-10-20 Microsoft Technology Licensing, Llc Ambient vehicle and pedestrian state detection for device notification
WO2014002413A1 (ja) 2012-06-27 2014-01-03 日本電気株式会社 先行車両検知装置、先行車両検知方法、及び先行車両検知プログラム記憶媒体
KR101502088B1 (ko) 2013-07-22 2015-03-12 (주)에이치엠씨 카메라 영상을 이용한 차량 후미등 정상 작동 여부 검출 방법 및 그 시스템
EP3058511A4 (en) * 2013-10-16 2017-11-08 3M Innovative Properties Company Note recognition and association based on grouping
WO2015114654A1 (en) * 2014-01-17 2015-08-06 Kpit Technologies Ltd. Vehicle detection system and method thereof
CN103984950B (zh) 2014-04-22 2017-07-14 北京联合大学 一种适应白天检测的运动车辆刹车灯状态识别方法
KR101616462B1 (ko) * 2014-04-30 2016-04-29 전자부품연구원 차량의 브레이크등을 이용한 야간 전방 차량 인식 방법 및 시스템
CN104392629B (zh) 2014-11-07 2015-12-09 深圳市中天安驰有限责任公司 检测车距的方法和装置
US9779312B2 (en) * 2015-01-30 2017-10-03 Honda Motor Co., Ltd. Environment recognition system
US20160371983A1 (en) * 2015-06-22 2016-12-22 Garmin Switzerland Gmbh Parking assist system and method
US10073965B2 (en) * 2015-12-15 2018-09-11 Nagravision S.A. Methods and systems for validating an autonomous system that includes a dynamic-code module and a static-code module
US9897415B2 (en) * 2015-12-22 2018-02-20 Huntercraft Limited Infrared-light and low-light two-phase fusion night-vision sighting device
WO2017115371A1 (en) * 2015-12-30 2017-07-06 Foresight Automotive Ltd. Apparatus and method for avoiding vehicular accidents
JP2017130721A (ja) * 2016-01-18 2017-07-27 富士ゼロックス株式会社 画像処理装置及びプログラム
JP7081835B2 (ja) * 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
US10248874B2 (en) * 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection

Also Published As

Publication number Publication date
GB2559007A (en) 2018-07-25
US10248874B2 (en) 2019-04-02
US10853673B2 (en) 2020-12-01
US20220292845A1 (en) 2022-09-15
US11386673B2 (en) 2022-07-12
CN108082037A (zh) 2018-05-29
RU2017135414A (ru) 2019-04-05
US20190156132A1 (en) 2019-05-23
US20230290136A1 (en) 2023-09-14
DE102017127346A1 (de) 2018-05-24
US20180144202A1 (en) 2018-05-24
US11694430B2 (en) 2023-07-04
US20210019538A1 (en) 2021-01-21
MX2017014779A (es) 2018-10-04
GB201719001D0 (en) 2018-01-03

Similar Documents

Publication Publication Date Title
CN108082037B (zh) 制动灯检测
US10055652B2 (en) Pedestrian detection and motion prediction with rear-facing camera
US11847917B2 (en) Fixation generation for machine learning
CN108388834B (zh) 利用循环神经网络和级联特征映射的对象检测
CN108571974B (zh) 使用摄像机的车辆定位
CN111095291B (zh) 由自动驾驶车辆实时检测车道和边界
CN107644197B (zh) 后部摄像机车道检测
US9898668B2 (en) System and method of object detection
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US11527078B2 (en) Using captured video data to identify pose of a vehicle
GB2548200A (en) Pedestrian detection with saliency maps
CN110945534A (zh) 稀有实例分类器
US20190049560A1 (en) Lidar-based object detection and classification
JP2009037622A (ja) 画像を評価するための方法および装置
US11688179B2 (en) Inferring intent using computer vision
EP4113377A1 (en) Use of dbscan for lane detection
Dai et al. A driving assistance system with vision based vehicle detection techniques
JP6877651B1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant