CN108345840A - 在低光条件下检测车辆 - Google Patents

在低光条件下检测车辆 Download PDF

Info

Publication number
CN108345840A
CN108345840A CN201810059790.9A CN201810059790A CN108345840A CN 108345840 A CN108345840 A CN 108345840A CN 201810059790 A CN201810059790 A CN 201810059790A CN 108345840 A CN108345840 A CN 108345840A
Authority
CN
China
Prior art keywords
vehicle
profile
lab
image
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810059790.9A
Other languages
English (en)
Inventor
马里亚姆·穆萨埃
盖伊·霍特森
维迪亚·那利亚姆布特·穆拉里
西蒙·穆尔萨·史密斯
玛德琳·J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108345840A publication Critical patent/CN108345840A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Mechanical Engineering (AREA)

Abstract

本发明扩展到用于在低光条件下检测车辆的方法、系统和计算机程序产品。摄像机用于获取车辆周围的环境的RGB图像。RGB图像被转换为LAB图像。“A”通道被过滤以从LAB图像提取轮廓。轮廓基于它们的形状/大小来过滤，以减少来自不可能对应于车辆的轮廓的误报。神经网络基于轮廓来将对象归类为车辆或非车辆。因此，各个方面提供具有较低成本的传感器和改进的美学的可靠的自主驾驶。车辆可以在夜间以及在其它低光条件下使用它们的前照灯和尾灯来检测，以使自主车辆能够更好地检测它们的环境中的其它车辆。车辆检测可以使用虚拟数据、深度学习和计算机视觉的组合来促进。

Description

在低光条件下检测车辆
技术领域
本发明总体上涉及自主车辆的领域，并且更具体地，涉及在低光条件下检测其他车辆。
背景技术
自主驾驶解决方案需要在夜间(以及在其他低光条件下)可靠地检测其他车辆以便安全驾驶。大多数车辆视觉方法使用激光雷达(LIDAR)传感器在夜间和其他低光条件下检测其他车辆。LIDAR传感器安装在车辆上，通常在车顶上。LIDAR传感器具有移动部件，该移动部件能够感测车辆周围向外大约100-150米的距离的360°的环境。来自LIDAR传感器的传感器数据被处理为感知车辆周围的环境的“视图”。该视图用于自动控制车辆系统(例如转向、加速、制动等)以在环境内驾驶。该视图随着车辆在环境中驾驶(移动)而持续地更新。
发明内容
根据本发明的一方面，提供一种用于检测在车辆环境中的另一车辆的方法，该方法包含：
将RGB帧转换为LAB帧；
通过至少一个阈值来过滤LAB帧的“A”通道以获取至少一个阈值化的LAB图像；
从至少一个阈值化的LAB图像提取至少一个轮廓；并且
通过神经网络将至少一个轮廓归类为车辆的环境内的另一车辆。
根据本发明的一个实施例，该方法进一步包含从由多个摄像机融合的RGB图像制定RGB帧。
根据本发明的一个实施例，其中过滤LAB帧的“A”通道包含以多个不同大小的阈值过滤LAB帧的“A”通道。
根据本发明的一个实施例，其中提取至少一个轮廓包含：
从至少一个阈值化的LAB图像识别多个轮廓；并且
从多个轮廓过滤至少一个轮廓，该至少一个轮廓相对于多个轮廓中的其他轮廓具有更可能对应于车辆的形状和大小。
根据本发明的一个实施例，该方法进一步包含识别至少一个阈值化的LAB图像中的至少一个关注区域，包括针对至少一个轮廓中的每个，从包括轮廓的至少一个阈值化的LAB图像裁剪出关注区域。
根据本发明的一个实施例，其中通过神经网络将至少一个轮廓归类为车辆的环境内的另一车辆包含，针对至少一个关注区域中的每个：
将关注区域发送到神经网络；并且
接收从神经网络返回的类别，该类别将轮廓归类为车辆。
根据本发明的一个实施例，该方法进一步包含：
接收来自车辆处的摄像机的在车辆周围的环境内的光强度低于指定阈值时被捕获的RGB图像；并且
从RGB图像提取RGB帧。
根据本发明的一个实施例，其中将RGB帧转换为LAB帧包含转换由车辆处的摄像机在夜间捕获的RGB帧。
根据本发明的一个实施例，其中通过神经网络将至少一个轮廓归类为车辆的环境内的另一车辆包含将至少一个轮廓与来自LIDAR传感器的距离数据一起发送到神经网络。
根据本发明的另一方面，提供一种车辆，该车辆包含：
一个或多个处理器；
系统存储器，该系统存储器连接到一个或多个处理器，该系统存储器存储可由一个或多个处理器执行的指令；
一个或多个摄像机，该一个或多个摄像机用于捕获车辆周围的环境的图像；
神经网络，该神经网络用于确定车辆周围的环境中检测到的轮廓是否是其他车辆；以及
该一个或多个处理器执行存储在系统存储器中的用以检测车辆周围的低光环境中的另一车辆的指令，该指令包括执行以下步骤的指令：
接收由一个或多个摄像机捕获的红、绿、蓝(RGB)图像，车辆周围的低光环境的红、绿、蓝(RGB)图像；
将红、绿、蓝(RGB)图像转换为LAB色彩空间图像；
通过一个或多个阈值来过滤LAB图像的“A”通道以获取至少一个阈值化的LAB图像；
基于轮廓的大小和形状从至少一个阈值化的LAB图像提取轮廓；并且
基于对由神经网络确定的车辆类别的亲和度来将轮廓归类为车辆周围的低光环境内的另一车辆。
根据本发明的一个实施例，其中一个或多个摄像机包含多个摄像机，并且其中一个或多个处理器执行存储在系统存储器中的用以接收红、绿、蓝(RGB)图像的指令包含一个或多个处理器执行存储在系统存储器中的用以接收由在多个摄像机处捕获的图像融合的红、绿、蓝(RGB)图像的指令。
根据本发明的一个实施例，其中一个或多个处理器执行存储在系统存储器中的用以接收红、绿、蓝(RGB)图像的指令包含一个或多个处理器执行存储在系统存储器中的用以接收来自车辆处摄像机的红、绿、蓝(RGB)图像的指令，红、绿、蓝(RGB)图像在车辆周围的环境内的光强度低于指定阈值时被捕获。
根据本发明的一个实施例，其中一个或多个处理器执行存储在系统存储器中的用以提取至少一个轮廓的指令包含一个或多个处理器执行存储在系统存储器中的用以执行以下步骤的指令：
从至少一个阈值化的LAB图像识别多个轮廓；并且
从多个轮廓过滤至少一个轮廓，该至少一个轮廓相对于多个轮廓中的其他轮廓具有更可能对应于车辆的形状和大小。
根据本发明的一个实施例，车辆进一步包含一个或多个处理器执行存储在系统存储器中的用以识别至少一个阈值化的LAB图像帧中的至少一个关注区域的指令，包括针对至少一个轮廓中的每个，从包括轮廓的至少一个阈值化的LAB图像裁剪出关注区域；并且
其中一个或多个处理器执行存储在系统存储器中的用以将轮廓归类为车辆周围的环境内的另一车辆的指令包含一个或多个处理器执行存储在系统存储器中的用以执行以下步骤的指令：
将关注区域发送到神经网络；并且
接收从神经网络返回的类别，该类别将轮廓归类为车辆。
根据本发明的一个实施例，其中一个或多个处理器执行存储在系统存储器中的用以将轮廓归类为车辆周围的环境内的另一车辆的指令包含一个或多个处理器执行存储在系统存储器中的用以将至少一个轮廓与来自LIDAR传感器的距离数据一起发送到神经网络的指令。
根据本发明的一个实施例，其中一个或多个处理器执行存储在系统存储器中的用以将轮廓归类为车辆周围的环境内的另一车辆的指令包含一个或多个处理器执行存储在系统存储器中的用以将至少一个轮廓归类为车辆的指令，该车辆从以下车辆中选择：汽车、厢式货车、卡车或摩托车。
根据本发明的又一方面，提供一种在车辆处使用的方法，该方法用于检测车辆周围的低光环境中的另一车辆，该方法包含：
接收由车辆处的一个或多个摄像机捕获的红、绿、蓝(RGB)图像，车辆周围的低光环境的红、绿、蓝(RGB)图像；
将红、绿、蓝(RGB)图像转换成LAB色彩空间图像；
通过至少一个阈值来过滤LAB图像的“A”通道以获取至少一个阈值化的LAB图像；
基于轮廓的大小和形状从阈值化的LAB图像提取轮廓；并且
基于对由神经网络确定的车辆类别的亲和度来将轮廓归类为车辆周围的低光环境内的另一车辆。
根据本发明的一个实施例，其中接收由车辆处的一个或多个摄像机捕获的红、绿、蓝(RGB)图像包含接收当车辆周围的环境中的光强度低于指定阈值时由一个或多个摄像机捕获的红、绿、蓝(RGB)图像。
根据本发明的一个实施例，其中接收当车辆周围的环境中的光强度低于指定阈值时由一个或多个摄像机捕获的红、绿、蓝(RGB)图像包含接收在夜间由一个或多个摄像机捕获的红、绿、蓝(RGB)图像。
根据本发明的一个实施例，其中将轮廓归类为车辆周围的环境内的另一车辆包含将至少一个轮廓归类为车辆，该车辆从以下车辆中选择：汽车、厢式货车、卡车或摩托车。
附图说明
针对下面的说明书和附图，本发明的特定特征、方面和优点将变得更好理解，附图中：
图1示出了计算装置的示例框图；
图2示出了便于在低光条件下检测另一车辆的示例环境；
图3示出了用于在低光条件下检测另一车辆的示例方法的流程图；
图4A示出了示例车辆；
图4B示出了用于检测另一车辆的示例低光环境的俯视图；
图4C示出了用于检测另一车辆的示例低光环境的透视图；
图5示出了用于在低光条件下检测另一车辆的示例方法的流程图。
具体实施方式
本发明扩展到用于在低光条件下(例如，在夜间)检测车辆的方法、系统和计算机程序产品。
大多数基于车辆的自主视觉系统在夜间和其他低光条件(例如，雾、雪、雨、其他较低能见度条件等)下表现不佳。一些表现较佳的视觉系统使用LIDAR传感器来观察车辆周围的环境。然而，LIDAR传感器相对昂贵并且包括机械旋转部件。此外，LIDAR传感器经常安装在车辆的顶部上，限制了美学设计。
摄像机传感器相对于LIDAR传感器提供更便宜的替代方案。另外，用于在夜间和其他低光条件下检测车辆的可靠的基于摄像机的视觉系统可以通过传感器融合提高基于LIDAR的车辆检测的精确度。许多当前的机器学习和计算机视觉算法由于有限的能见度而无法在夜间和其他低光条件下精确地检测车辆。另外，更多先进的机器学习技术(例如深度学习)需要相对大量的标记数据，并且在夜间和其他低光条件下获得用于车辆的大量的标记数据是具有挑战性的。因此，本发明的方面使用虚拟数据来增加标记数据以用于训练。
虚拟驾驶环境(例如，使用3D建模和动画工具创建的)与虚拟摄像机成为一体以在短时间内大量生成虚拟图像。相关的参数(例如，照明以及车辆的存在和范围)被提前生成，并且然后被用作虚拟驾驶环境的输入以确保有代表性的和不同的数据集。
车辆的虚拟数据被提供给神经网络以用于训练。当访问真实世界测试帧(例如，在红、绿、蓝(RGB)色彩空间中)时，测试帧被转换为色彩对立的色彩空间(例如，LAB色彩空间)。“A”通道用不同的滤波器大小和从帧提取的轮廓进行过滤。轮廓基于它们的形状和大小来过滤，以帮助减少来自例如交通信号灯、自行车、行人、路标、交通控制灯、眩光等来源的误报。以多尺度和纵横比围绕轮廓的区域被认为是用于车辆的潜在的关注区域(RoI)。启发法(例如，轮廓(例如，灯)之间的对称性的位置)可以用于生成附加的RoI。
在虚拟数据上进行训练并在一小组真实世界数据上进行微调的神经网络(例如，深度神经网络(DNN))然后用于归类/边界框精化。神经网络在ROI对RGB像素和/或从RGB像素提取的特征执行归类和回归。神经网络输出每个RoI是否对应于车辆，以及用于汽车的位置的精化边界框。高重叠/冗余的边界框使用例如非最大抑制的方法滤出，其丢弃与高置信度车辆检测重叠的低置信度车辆检测。
因此，本发明的方面可以提供具有较低成本的传感器和改进的美学的可靠的自主驾驶。车辆可以在夜间以及在其他低光条件下使用它们的前照灯和尾灯进行检测，以使自主车辆能够更好地检测在它们的环境中的其他车辆。车辆检测可以使用虚拟数据、深度学习和计算机视觉的组合来促进。
本发明的方面可以在各种不同类型的计算装置中实施。图1示出了计算装置100的示例框图。计算装置100可以用于执行各种程序，例如本文所讨论的那些。计算装置100可以用作服务器、客户端或任何其它计算实体。计算装置100可以用于执行如本文所述的各种通信和数据传输功能，并且可以执行一个或多个应用程序，例如本文所述的应用程序。计算装置100可以是任何各种各样的计算装置，例如移动电话或其它移动装置、台式计算机、笔记本电脑、服务器计算机、手持式计算机、平板电脑等等。
计算装置100包括一个或多个处理器102、一个或多个存储器装置104、一个或多个接口106、一个或多个大容量存储装置108、一个或多个输入/输出(I/O)装置110和显示装置130，所有这些装置连接到总线112。处理器102包括执行存储在存储器装置104和/或大容量存储装置108中的指令的一个或多个处理器或控制器。处理器102还可以包括各种类型的计算机存储介质，例如高速缓冲存储器。
存储器装置104包括各种计算机存储介质，例如易失性存储器(例如，随机存取存储器(RAM)114)和/或非易失性存储器(例如，只读存储器(ROM)116))。存储器装置104还可以包括可重写ROM，例如闪存存储器。
大容量存储装置108包括各种计算机存储介质，例如磁带、磁盘、光盘、固态存储器(例如，闪存存储器)等等。如图1所示，特定的大容量存储装置是硬盘驱动器124。各种驱动器也可以被包括在大容量存储装置108中，以实现从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置108包括可移除介质126和/或不可移除介质。
I/O装置110包括允许将数据和/或其他信息输入到计算装置100或从计算装置100调取的各种装置。示例I/O装置110包括光标控制装置、键盘、小键盘、条形码扫描器、麦克风，监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、摄像机、透镜、雷达、电荷耦合器件(CCD)或其他图像捕获装置等等。
显示装置130包括能够向计算装置100的一个或多个用户显示信息的任何类型的装置。显示装置130的示例包括监视器、显示终端、视频投影装置等等。
接口106包括允许计算装置100与其他系统、装置或计算环境以及人类交互的各种接口。示例接口106可以包括任何数量的不同的网络接口120，例如，与个人局域网(PAN)、局域网(LAN)、广域网(WAN)、无线网络(例如，近场通信(NFC)、蓝牙、无线保真(Wi-Fi)等网络)和互联网的接口。其他接口包括用户界面118和外围装置接口122。
总线112允许处理器102、存储器装置104、接口106、大容量存储装置108和I/O装置110彼此通信，以及与连接到总线112的其他装置或部件通信。总线112表示几种类型的总线结构中的一种或多种，例如系统总线、外围部件互连(PCI)总线、电气与电子工程师协会(IEEE)1394总线、通用串行总线(USB)等等。
在本说明书和下面的权利要求书中，“色彩对立过程(color-opponent process)”被定义为一种色彩理论，该色彩理论声明人类视觉系统通过以对立的方式处理来自锥体和棒的信号来解释关于色彩的信息。三种类型的锥体(L为长，M为中，S为短)在它们响应的光的波长中具有一些重叠，所以对于视觉系统而言记录锥体的响应之间的差异更有效，而不是每个锥体的单独响应之间的差异。对立色彩理论建议有三个对立通道：红对绿、蓝对黄、和黑对白(最后的类型是消色差的并且检测明暗变化或亮度)。对对立通道的一种色彩的响应与对另一种色彩的响应是对立的。也就是说，相反的对立色彩永远不会被一起感知–没有“呈绿色的红色”或“呈黄色的蓝色”。
在本说明书和下面的权利要求书中，“LAB色彩空间”被定义为包括用于亮度的尺寸L和用于色彩对立尺寸的尺寸a和b的色彩对立的色彩空间。
在本说明书和下面的权利要求书中，“RGB色彩模型”被定义为添加色彩模型，其中红、绿和蓝光以各种方式加在一起以再现广泛的色彩阵列。模型的名称来自三个添加的原色，红、绿和蓝的首字母。
在本说明书和下面的权利要求书中，RGB色彩空间被定义为基于RGB色彩模型的色彩空间。在一方面中，在RGB色彩空间中，图像中的每个像素的色彩可以具有从0到255的红色值、从0到255的绿色值和从0到255的蓝色值。
图2示出了便于在低光条件下检测另一车辆的示例低光道路环境200。当光强度低于指定阈值时，可能存在低光条件。低光道路环境200包括车辆201，例如汽车、卡车或公共汽车。车辆201可以包含或不包含任何乘员，例如一个或多个乘客。低光道路环境200还包括对象221A、221B和221C。对象221A、221B和221C中的每个可以是以下中的任一个：道路标记(例如车道边界)、行人、自行车、其他车辆、标志、建筑物、树木、灌木、障碍物、任何其他类型的对象等。车辆201可以在低光道路环境200内移动，例如在道路或公路上行驶、通过交叉口、在停车场中等。
如图所示，车辆201包括传感器202、图像转换器213、通道滤波器214、轮廓提取器216、神经网络217、车辆控制系统254和车辆部件211。传感器202、图像转换器213、通道滤波器214、轮廓提取器216、神经网络217、车辆控制系统254和车辆部件211中的每个以及它们各自的部件可以通过网络(例如PAN、LAN、WAN、控制器局域网(CAN)总线，以及甚至互联网)彼此连接(或者可以是网络的一部分)。因此，传感器202、图像转换器213、通道滤波器214、轮廓提取器216、神经网络217、车辆控制系统254和车辆部件211中的每个以及任何其他连接的计算机系统和它们的部件都可以创建消息相关的数据并且通过网络交换消息相关的数据(例如，近场通信(NFC)有效负载、蓝牙分组、互联网协议(IP)数据报和利用IP数据报的其他更高层协议(例如，传输控制协议(TCP)、超文本传输协议(HTTP))、简单邮件传输协议(SMTP)等))。
传感器202进一步包括摄像机204和可选的LIDAR传感器206。摄像机204可以包括捕获在低光道路环境200中的其他对象(例如，对象221A、221B和221C)的视频和/或静止图像的一个或多个摄像机。摄像机204可以捕获光谱的不同部分中的图像，例如在可见光谱和红外(IR)光谱中。摄像机204可以安装到车辆201以面向车辆201正在移动的方向(例如向前或向后)。车辆201可以包括面向不同方向(例如，前方、后方和每侧)的一个或多个其它摄像机。
在一方面中，摄像机204是红-绿-蓝(RGB)摄像机。因此，摄像机204可以生成其中每个图像部分包括红色像素、绿色像素、蓝色像素的图像。在另一方面中，摄像机204是红-绿-蓝/红外(RGB/IR)摄像机。因此，摄像机204可以生成其中每个图像部分包括红色像素、绿色像素、蓝色像素和IR像素的图像。来自IR像素的强度信息可以用于在夜间以及在其他低(或无)光环境中基于RGB像素的补充决策，以感测道路环境200。低(或无)光环境可以包括行驶通过隧道、降水或自然光受阻的其他环境。在另外的方面中，摄像机204包括从以下摄像机中选择的摄像机的不同组合：RGB、IR或RGB/IR摄像机。
当被包括在内时，LIDAR传感器206可以在低光以及其他照明环境二者中的低光道路环境200中感测距对象的距离。
虽然摄像机204可以捕获RGB视频和/或图像，但是RGB色彩方案可能不足以揭示用于在低(或无)光环境中识别其他车辆的信息。因此，图像转换器213被配置为将RGB视频和/或静止图像从RGB色彩空间转换为LAB色彩空间。在一方面中，图像转换器213将RGB视频转换成LAB帧。LAB色彩空间可以更好地适用于低(或无)光环境，因为A通道提供在各种低光或夜间照明条件下检测明亮或有光泽的对象的增加的效率。
因此，通道滤波器214被配置成将LAB帧过滤成阈值化的LAB图像。LAB帧可以基于在“A”通道的域内的一个或多个阈值处它们的“A”通道来过滤。在一方面中，通道滤波器214以不同的大小过滤“A”通道以应对不同的照明条件。例如，“A”通道可以以多个不同的大小(例如100个像素、150个像素和200个像素)进行过滤，这将导致多个对应的不同阈值化的LAB图像。
轮廓提取器216被配置为从阈值化的LAB图像中提取相关的轮廓。轮廓提取器216可以包括用于从阈值化的LAB图像描绘或识别低光道路环境200中的一个或多个对象(例如，对象221A、221B和221C中的任一个)的轮廓的功能。在一方面中，轮廓由在阈值化的LAB图像内检测到的一个或多个边缘和/或闭合曲线来标识。轮廓提取器216还可以包括用于基于大小和/或形状来过滤轮廓的功能。例如，轮廓提取器216可以滤出具有不可能对应于车辆的大小和/或形状的轮廓。轮廓提取器216可以选择剩余的轮廓作为相关的并且提取那些轮廓。
不同的滤波算法可以用来过滤对应于不同类型的车辆(例如卡车、厢式货车、汽车、公共汽车、摩托车等)的轮廓。滤波算法可以分析一个或多个轮廓的大小和/或形状以确定大小和/或形状是否符合车辆预期的参数。如果大小(例如，高度、宽度、长度、直径等)和/或形状(例如正方形、矩形、圆形、椭圆形等)不符合这样的参数，则轮廓被滤出。
例如，许多——即使不是大多数——四轮车辆超过四英尺宽但小于81/2英尺宽。因此，用于汽车、厢式货车或卡车的滤波算法可以滤出小于四英尺宽或大于81/2英尺宽的对象，例如，路标、交通信号灯、自行车、建筑物等。
其他滤波算法可以考虑灯之间的间隔和/或对称性。例如，滤波算法可以滤出不可能是前照灯或尾灯的灯。
在一方面中，阈值化的LAB图像可以保持IR像素。IR像素可以用来检测热量。用于摩托车的滤波算法可以使用IR像素以基于发动机热量来选择摩托车的轮廓。
轮廓提取器216可以将相关的轮廓发送到神经网络217以进行归类。
在一方面中，车辆201还包括裁剪模块(未示出)。裁剪模块可以从RGB图像裁剪出一个或多个关注区域，该一个或多个关注区域对应于在轮廓提取器216处经过滤波的一个或多个对象(例如，对象221A、221B和221C)。裁剪的边界可以匹配或紧密跟踪由轮廓提取器216识别的轮廓。供选择地，裁剪边界可以包含比由轮廓提取器216提取的轮廓更多(例如略多)的轮廓。当一个或多个区域被裁剪出时，区域可以被发送到神经网络217以进行归类。
神经网络217采取一个或多个相关的轮廓，并且可以针对一个或多个轮廓中的任一个是否指示在低光道路环境200中存在车辆而进行二元归类。二元归类可以被发送到车辆控制系统254。
神经网络217可以使用真实世界和虚拟数据两者来预先地训练。在一方面中，神经网络217使用来自视频游戏引擎(或可以呈现三维环境的其他部件)的数据来训练。视频游戏引擎可以用于建立虚拟道路环境，例如城市交叉路口、公路、停车场、乡村道路等。透视图可以从车辆上安装摄像机的位置考虑。从各个透视图来看，针对在各种低光和无光情景下在三维环境内的车辆运动、速度、方向等记录虚拟数据。虚拟数据然后用来训练神经网络217。
神经网络模块217可以包括根据多层(或“深度”)模型构建的神经网络。多层神经网络模型可以包括输入层、多个隐藏层和输出层。多层神经网络模型也可以包括损耗层。为了将对象归类为车辆或非车辆，将提取的轮廓的值(例如，像素值)分配给输入节点，并且然后馈送通过神经网络的多个隐藏层。多个隐藏层可以执行多个非线性变换。在转换结束时，输出节点产生对象是否可能是车辆的指示。
至少部分地由于轮廓过滤和/或裁剪，可以对相对于图像的其他部分更可能包含车辆的图像的有限部分执行归类。对图像的有限部分(潜在地显着地)归类降低在归类方面(其可能相对慢和/或资源密集)花费的时间。因此，根据本发明的车辆的检测和归类可以是相对快的过程(例如，在约1秒或更少的时间内完成)。
通常，车辆控制系统254包括用于完全自主驾驶的一组集成的控制系统。例如，车辆控制系统254可以包括用于控制节气门242的巡航控制系统、用于控制车轮241的转向系统、用于控制制动器243的避碰系统等。车辆控制系统254可以接收来自车辆201的其他部件(包括神经网络217)的输入并且可以将自动控制253发送到车辆部件211以控制车辆201。
响应于在低光道路环境200中检测到的车辆，车辆控制系统254可以向驾驶员发出一个或多个警告(例如，闪光、发出警报、使方向盘振动等)。供选择地或组合地，车辆控制系统254还可以发送制动、减速、转弯等的自动控制253以在适当的情况下躲避车辆。
在一些方面中，摄像机204、图像转换器213、通道滤波器214、轮廓提取器216和神经网络217中的一个或多个被包括在车辆201处的计算机视觉系统中。计算机视觉系统可以用于车辆201的自主驾驶和/或用于辅助驾驶员驾驶车辆201。
图3示出了用于在低光条件下检测另一车辆的示例方法300的流程图。方法300将针对低光道路环境200的部件和数据进行描述。
方法300包括接收由车辆处的一个或多个摄像机捕获的红、绿、蓝(RGB)图像，车辆周围的环境的红、绿、蓝(RGB)图像(301)。例如，图像转换器213可以接收由摄像机204捕获的低光道路环境200的RGB图像231。RGB图像231包括对象221A、221B和221C。RGB图像231可以由在不同的摄像机204处捕获的图像融合。
方法300包括将红、绿、蓝(RGB)图像转换为LAB色彩空间图像(302)。例如，图像转换器213可以将RGB图像231转换为LAB帧233。方法300包括通过至少一个阈值来过滤LAB图像的“A”通道以获取至少一个阈值化的LAB图像(303)。例如，通道滤波器214可以通过至少一个阈值(例如，100个像素、150个像素、200个像素等)来过滤LAB帧233中的每个的“A”通道以获取阈值化的LAB图像234。
方法300包括基于轮廓的大小和形状从至少一个阈值化的LAB图像提取轮廓(304)。例如，轮廓提取器可以从阈值化的LAB图像234中提取轮廓236。轮廓236可以包括针对对象221A、221B和221C中的至少一个而不是全部的轮廓。针对对象221A、221B和221C中的一个或多个的轮廓可以由于相对于轮廓236中的其他轮廓具有不可能对应于车辆的大小和/或形状而被滤出。
方法300包括基于由神经网络确定的车辆类别的亲和度来将轮廓归类为车辆周围的环境内的另一车辆(305)。例如，神经网络217可以将针对221A、221B和221C中的任一个的轮廓236(未被轮廓提取器216滤出)分类成类别237。可以是在将轮廓236提交给神经网络217之前，对象的所有轮廓被轮廓提取器216滤出。对于其他对象，一个或多个轮廓可以被确定为相关的(或更可能对应于车辆)。
亲和度可以是神经网络217被训练的每个类别的数值亲和度(例如，百分比分数)。因此，如果神经网络217在两个类别(例如车辆和非车辆)上已被训练，则神经网络217可以输出两个数字分数。另一方面，如果神经网络217在例如汽车、卡车、厢式货车、摩托车和非车辆的五个类别上已被训练，则神经网络217可以输出五个数字分数。每个数字分数可以表示一个或多个输入(例如，对象的一个或多个轮廓)对不同类别的亲和度。
在决定性的或明确的类别中，一个或多个输入可以显示对一个类别的强亲和度和对所有其他类别的弱亲和度。在非决定性的或不明确的类别中，一个或多个输入可以不显示对任何特定类别的优先亲和度。例如，特定类别可以有“最高”的分数，但是这个分数可能接近其他类别的其他分数。
因此，在一方面中，轮廓可以具有对为车辆的类别的亲和度，或者可以具有对为非车辆的类别的亲和度。在其他方面中，轮廓可以具有对为特定类型的车辆(例如汽车、卡车、厢式货车、公共汽车、摩托车等)的类别的亲和度，或者可以具有对为非车辆的类别的亲和度。
神经网络217可以将类别237发送到车辆控制系统254。在一方面中，类别237将对象221B归类为车辆。作为响应，车辆控制系统254可以警告车辆201的驾驶员(例如，通过声音、方向盘振动、在显示装置上等)对象221B是车辆。供选择地或组合地，鉴于对象221B是车辆，车辆控制系统254可以采取自动措施(制动、减速、转向等)以在低光道路环境200中安全地驾驶。
在一些方面中，LIDAR传感器206还将距离数据232发送到神经网络217。距离数据表示距对象221A、221B和221C中的每个的距离。神经网络217可以使用轮廓236结合距离数据232来将对象归类为车辆(或一种类型的车辆)或非车辆。
图4A示出了示例车辆401。车辆401可以是自主车辆或者可以包括用于辅助驾驶员的驾驶员辅助特征。如图所示，车辆401包括摄像机402、激光雷达(LIDAR)403和计算机系统404。计算机系统404可以包括计算机视觉系统的部件，该部件包括与图像转换器213、通道滤波器214、轮廓提取器216、裁剪模块、神经网络217和车辆控制系统254中任一个相似的部件。
图4B示出了用于检测另一车辆的示例低光环境450的俯视图。在低光环境450内的光强度可以低于在道路451上导致低(或无)光条件的指定阈值。如图所示，低光环境450包括树木412A和412B、灌木413、分隔物414A和414B、建筑物417、标记418和停车场419。车辆401和对象411(卡车)在道路451上运行。
图4C示出了从摄像机402的角度来看的示例低光环境450的透视图。基于来自摄像机402(和可能的一个或多个其他摄像机)的图像和/或来自LIDAR 403的距离数据，计算机系统404可以确定形成对象411的后部的轮廓可能对应于车辆。计算机系统404可以识别围绕形成对象411的后部的轮廓的关注区域(RoI)421。神经网络可以将轮廓归类为车辆或更具体地为卡车。在知道对象411是卡车的情况下，车辆401可以通知驾驶员和/或采取其他措施以在道路451上安全地驾驶。
针对在低光环境450中的其他对象(例如树木412A和412B、灌木413、分隔物414A和414B、建筑物417和标记418)的轮廓可以在由神经网络处理之前被滤出。
图5示出了用于在低光条件下检测另一车辆的示例方法500的流程图。在虚拟游戏引擎501内，可以在夜间生成车辆的虚拟数据(503)。在一方面中，可以在前照灯和/或尾灯开启的夜间生成车辆的虚拟数据。虚拟数据可以用来训练神经网络(504)。已训练的神经网络被复制到车辆502。
在车辆502中，在夜间拍摄车辆的RGB真实世界图像(505)。RGB真实世界图像被转换成LAB图像(506)。LAB图像在“A”通道上以不同大小被过滤(507)。轮廓从过滤的图像中提取(508)。轮廓基于它们的形状和大小来过滤(509)。提出图像内的关注区域(例如，相关的轮廓周围)(510)。关注区域被馈送到已训练的神经网络(511)。已训练的神经网络512输出指示对象是车辆还是非车辆的车辆类别513。
在一方面中，一个或多个处理器被配置为执行指令(例如，计算机可读指令、计算机可执行指令等)以执行多个所描述操作中的任一个。一个或多个处理器可以访问来自系统存储器的信息和/或将信息存储在系统存储器中。一个或多个处理器可以在不同的格式(例如，RGB视频、RGB图像、LAB帧、LAB图像、阈值化的LAB图像、轮廓、关注区域(ROI)、距离数据、类别、训练数据、虚拟训练数据等)之间转换信息。
系统存储器可以连接到一个或多个处理器，并且可以存储由一个或多个处理器执行的指令(例如，计算机可读指令、计算机可执行指令等)。系统存储器还可以被配置为存储由所描述的部件生成的多个其它类型的数据中的任一个，例如RGB视频、RGB图像、LAB帧、LAB图像、阈值化的LAB图像、轮廓，关注区域(ROI)、距离数据、类别、训练数据、虚拟训练数据等。
在上面的公开内容中，参照附图，附图形成公开内容的一部分并且在附图中通过例证的方式示出可以实践本发明的特定实施方式。应当理解的是，在不脱离本发明的范围的前提下，可以利用其他实施方式并且可以进行结构变化。说明书中引用“一个实施例”、“实施例”，“示例实施例”等表示所描述的实施例可以包括特定特征、结构或特性，但每个实施例可能未必包括特定特征、结构或特性。另外，这样的短语未必是指代同样的实施例。此外，当特定特征、结构或特性关于实施例进行描述时，可以主张的是，关于无论是否明确描述的其他实施例，影响这样的特征、结构或特性在本领域技术人员的知识的范围内。
本文所公开的系统、装置和方法的实施方式可以包含或利用专用或通用计算机，该专用或通用计算机包括计算机硬件，例如，一个或多个处理器和系统存储器，如下面更详细讨论的。在本发明的范围内的实施方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例的方式，而非限制，本发明的实施方式可以包含至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、只读光盘存储器(CD-ROM)、固态驱动器(“SSD”)(例如，基于RAM)、闪速存储器、相变存储器(“PCM”)、其他类型的存储器、其它光盘存储器、磁盘存储器或其它磁性存储装置、或者可以被用来存储以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机访问的任何其它介质。
本文所公开的装置、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为实现电子数据在计算机系统和/或模块和/或其他电子装置之间传输的一个或多个数据链路。当信息通过网络或另一通信连接(硬线连接、无线、或硬线连接或无线的组合)被传送或提供到计算机时，计算机适当地将该连接视为传输介质。传输介质可以包括可以被用来承载以计算机可执行指令或数据结构的形式的所需的程序代码手段并且可以由通用或专用计算机来访问的网络和/或数据链路。上述的组合也应该被包括在计算机可读介质的范围之内。
计算机可执行指令包含例如指令和数据，当在处理器执行时，该指令和数据使通用计算机、专用计算机、或专用处理装置执行某些功能或功能组。计算机可执行指令可以是例如二进制、比如汇编语言的中间格式指令、或甚至源代码。尽管本发明主题已经以针对结构特征和/或方法论动作的语言进行了描述，但是应当理解的是，在所附权利要求中定义的发明主题不一定限制于所描述的特征或上述动作。相反地，所描述的特征和动作被公开作为实施权利要求的示例形式。
本领域技术人员将领会的是，本发明可以在网络计算环境中通过许多类型的计算机系统配置来实践，包括内置式计算机、个人计算机、台式计算机、便携式计算机、消息处理器、手持式装置、多处理器系统、基于微处理器或可编程的消费者电子产品、网络个人电脑(PC)、小型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换机、各种存储装置等等。本发明也可以在本地和远程计算机系统都执行任务的分布式系统环境中实践，本地和远程计算机系统通过网络链接(或者通过硬线数据链路、无线数据链路或者通过硬线和无线数据链路的组合)。在分布式系统环境中，程序模块可以位于本地和远程存储器存储装置中。
此外，在适当情况下，本文所描述的功能可以在下列一种或多种中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一个或多个。在整个下面的说明书和权利要求书中，某些术语被用来指代特定的系统部件。本领域技术人员将领会的是，部件可以通过不同的名称来称呼。本文献不旨在区分名称不同但作用相同的部件。
应当注意的是，以上所讨论的传感器实施例可以包含计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电子电路。本文提供这些示例装置是为了说明的目的，并不旨在进行限制。本发明的实施例可以在另外类型的装置中实施，如相关领域技术人员将已知的。
本发明的至少一些实施例已针对包含存储在任何计算机可用介质上的这样的逻辑(例如，以软件的形式)的计算机程序产品。这样的软件，当在一个或多个数据处理装置中执行时，使装置如本文所描述的那样操作。
尽管以上已经描述了本发明的各种实施例，但是应当理解的是，它们已仅通过示例的方式呈现，而非限制。对相关领域的技术人员来说将显而易见的是，形式和细节的各种改变可以在不脱离本发明的精神和范围的前提下进行。因此，本发明的广度和范围不应该被上述示例性实施例中的任意一个限制，而是应该仅根据下面的权利要求书及其等同物来限定。为了说明和描述的目的，前面的描述已被呈现。它不旨在是穷尽或将本发明限制为所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。此外，应当注意的是，上述替代实施方式中的任意一个或全部可以以任意所需的组合使用以形成本发明的附加混合实施方式。

Claims (17)

1.一种用于检测在另一车辆的环境内的车辆的方法，包含：
将RGB帧转换为LAB帧；
通过阈值来过滤所述LAB帧的“A”通道以获取阈值化的LAB图像；
从所述阈值化的LAB图像提取轮廓；并且
通过神经网络将所述轮廓归类为所述另一车辆的所述环境内的所述车辆。
2.根据权利要求1所述的方法，进一步包含从由多个摄像机融合的RGB图像制定所述RGB帧；并且
其中过滤所述LAB帧的所述“A”通道包含以多个不同大小的阈值过滤所述LAB帧的所述“A”通道。
3.根据权利要求1所述的方法，其中提取轮廓包含：
从所述阈值化的LAB图像识别多个轮廓；并且
基于所述轮廓相对于所述多个轮廓中的其他轮廓具有更可能对应于所述车辆的形状和大小，从所述多个轮廓过滤所述轮廓。
4.根据权利要求1所述的方法，进一步包含通过从所述阈值化的LAB图像裁剪出关注区域来识别所述阈值化的LAB图像中的所述关注区域；并且
其中通过神经网络将所述轮廓归类为所述另一车辆的所述环境内的所述车辆包含：
将所述关注区域发送到所述神经网络；并且
接收从所述神经网络返回的类别，所述类别将所述轮廓归类为所述车辆。
5.根据权利要求1所述的方法，进一步包含：
接收来自所述车辆处的摄像机在所述另一车辆的所述环境内的光强度低于指定阈值时被捕获的RGB图像；并且
从所述RGB图像提取所述RGB帧。
6.一种车辆，所述车辆包含：
处理器；
系统存储器，所述系统存储器连接到所述处理器，所述系统存储器存储可由所述处理器执行的指令；
一个或多个摄像机；
所述处理器执行存储在所述系统存储器中的用以检测所述车辆周围的环境中的另一车辆的所述指令，所述指令包括执行以下步骤的指令：
在所述车辆周围的所述环境中在低光条件下接收由所述一个或多个摄像机捕获的红、绿、蓝(RGB)图像；
将所述红、绿、蓝(RGB)图像转换为LAB色彩空间图像；
通过阈值来过滤所述LAB图像的“A”通道以获取阈值化的LAB图像；
基于轮廓的大小和形状从所述阈值化的LAB图像提取所述轮廓；并且
基于对由神经网络确定的车辆类别的亲和度来将所述轮廓归类为所述车辆周围的所述环境内的另一车辆。
7.根据权利要求6所述的车辆，其中所述一个或多个摄像机包含多个摄像机，并且其中所述处理器执行存储在所述系统存储器中的用以接收红、绿、蓝(RGB)图像的所述指令包含所述一个或多个处理器执行存储在所述系统存储器中的用以接收由在所述多个摄像机处捕获的图像融合的红、绿、蓝(RGB)图像的所述指令。
8.根据权利要求6所述的车辆，其中所述处理器执行存储在所述系统存储器中的用以接收红、绿、蓝(RGB)图像的所述指令包含所述处理器执行存储在所述系统存储器中的用以接收在所述车辆周围的所述环境内的光强度低于指定阈值时捕获的红、绿、蓝(RGB)图像的所述指令。
9.根据权利要求6所述的车辆，其中所述处理器执行存储在所述系统存储器中的用以提取轮廓的所述指令包含所述处理器执行存储在所述系统存储器中的用以执行以下步骤的所述指令：
从所述阈值化的LAB图像识别多个轮廓；并且
基于所述轮廓相对于所述多个轮廓中的其他轮廓更可能对应于车辆的形状和大小，从所述多个轮廓过滤所述轮廓。
10.根据权利要求6所述的车辆，进一步包含所述处理器执行存储在所述系统存储器中的用以通过从所述阈值化的LAB图像裁剪出关注区域来识别所述阈值化的LAB图像帧中的所述关注区域的所述指令；并且
其中所述处理器执行存储在所述系统存储器中的用以将所述轮廓归类为所述车辆周围的所述环境内的另一车辆的所述指令包含所述处理器执行存储在所述系统存储器中的用以执行以下步骤的所述指令：
将所述关注区域发送到所述神经网络；并且
接收从所述神经网络返回的类别，所述类别将所述轮廓归类为车辆。
11.根据权利要求6所述的车辆，其中所述处理器执行存储在所述系统存储器中的用以将所述轮廓归类为所述车辆周围的所述环境内的另一车辆的所述指令包含所述处理器执行存储在所述系统存储器中的用以将所述轮廓与来自LIDAR传感器的距离数据一起发送到所述神经网络的所述指令。
12.根据权利要求6所述的车辆，其中所述处理器执行存储在所述系统存储器中的用以将所述轮廓归类为所述车辆周围的所述环境内的另一车辆的所述指令包含所述处理器执行存储在所述系统存储器中的用以将所述轮廓归类为车辆的所述指令，所述车辆从以下车辆中选择：汽车、厢式货车、卡车或摩托车。
13.一种在车辆处使用的方法，所述方法用于检测所述车辆周围的低光环境中的另一车辆，所述方法包含：
接收由所述车辆处的一个或多个摄像机捕获的红、绿、蓝(RGB)图像，所述车辆周围的所述低光环境的所述红、绿、蓝(RGB)图像；
将所述红、绿、蓝(RGB)图像转换成LAB色彩空间图像；
通过至少一个阈值来过滤所述LAB图像的“A”通道以获取至少一个阈值化的LAB图像；
基于轮廓的大小和形状从所述阈值化的LAB图像提取所述轮廓；并且
基于对由神经网络确定的车辆类别的亲和度来将所述轮廓归类为所述车辆周围的所述低光环境内的另一车辆。
14.根据权利要求13所述的方法，其中接收由所述车辆处的一个或多个摄像机捕获的红、绿、蓝(RGB)图像包含接收在夜间由所述一个或多个摄像机捕获的红、绿、蓝(RGB)图像。
15.根据权利要求13所述的方法，其中将所述轮廓归类为所述车辆周围的所述环境内的另一车辆包含将所述轮廓归类为车辆，所述车辆从以下车辆中选择：汽车、厢式货车、卡车或摩托车。
16.一种用于检测在车辆环境中的另一车辆的方法，包含：
将RGB帧转换为LAB帧；
通过至少一个阈值来过滤所述LAB帧的“A”通道以获取至少一个阈值化的LAB图像；
从至少一个阈值化的LAB图像提取至少一个轮廓；并且
通过神经网络将所述至少一个轮廓归类为所述车辆的所述环境内的另一车辆。
17.一种车辆，包含：
一个或多个处理器；
系统存储器，所述系统存储器连接到所述一个或多个处理器，所述系统存储器存储可由所述一个或多个处理器执行的指令；
一个或多个摄像机，所述一个或多个摄像机用于捕获所述车辆周围的环境的图像；
神经网络，所述神经网络用于确定所述车辆周围的所述环境中检测到的轮廓是否是其他车辆；以及
所述一个或多个处理器执行存储在所述系统存储器中的用以检测所述车辆周围的低光环境中的另一车辆的所述指令，所述指令包括执行以下步骤的指令：
接收由所述一个或多个摄像机捕获的红、绿、蓝(RGB)图像，所述车辆周围的所述低光环境的所述红、绿、蓝(RGB)图像；
将所述红、绿、蓝(RGB)图像转换为LAB色彩空间图像；
通过一个或多个阈值来过滤所述LAB图像的“A”通道以获取至少一个阈值化的LAB图像；
基于轮廓的大小和形状从所述至少一个阈值化的LAB图像提取所述轮廓；并且
基于对由所述神经网络确定的车辆类别的亲和度来将所述轮廓归类为所述车辆周围的所述低光环境内的另一车辆。
CN201810059790.9A 2017-01-25 2018-01-22 在低光条件下检测车辆 Withdrawn CN108345840A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/415,733 US20180211121A1 (en) 2017-01-25 2017-01-25 Detecting Vehicles In Low Light Conditions
US15/415,733 2017-01-25

Publications (1)

Publication Number Publication Date
CN108345840A true CN108345840A (zh) 2018-07-31

Family

ID=61283751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810059790.9A Withdrawn CN108345840A (zh) 2017-01-25 2018-01-22 在低光条件下检测车辆

Country Status (6)

Country Link
US (1) US20180211121A1 (zh)
CN (1) CN108345840A (zh)
DE (1) DE102018101366A1 (zh)
GB (1) GB2560625A (zh)
MX (1) MX2018000835A (zh)
RU (1) RU2018102638A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465155A (zh) * 2019-08-12 2021-03-09 美光科技公司 汽车照明设备的预测性维护
CN112652162A (zh) * 2019-10-11 2021-04-13 Aptiv技术有限公司 确定对象在预定时间点的属性的方法和系统
CN112912896A (zh) * 2018-12-14 2021-06-04 苹果公司 机器学习辅助的图像预测
CN117459669A (zh) * 2023-11-14 2024-01-26 镁佳(武汉)科技有限公司 一种基于虚拟摄像头的视觉应用开发方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796204B2 (en) * 2017-02-27 2020-10-06 Huawei Technologies Co., Ltd. Planning system and method for controlling operation of an autonomous vehicle to navigate a planned path
KR20200140527A (ko) * 2019-06-07 2020-12-16 현대자동차주식회사 자율주행차량의 위치 인식 장치 및 그 방법
CN110909666B (zh) * 2019-11-20 2022-10-25 西安交通大学 一种基于改进型YOLOv3卷积神经网络的夜间车辆检测方法
US11823458B2 (en) 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
CN112308803B (zh) * 2020-11-25 2021-10-01 哈尔滨工业大学 一种基于深度学习的自监督低照度图像增强及去噪方法
EP4113460A1 (en) * 2021-06-29 2023-01-04 Ford Global Technologies, LLC Driver assistance system and method improving its situational awareness
US11766938B1 (en) * 2022-03-23 2023-09-26 GM Global Technology Operations LLC Augmented reality head-up display for overlaying a notification symbol over a visually imperceptible object
WO2023194826A1 (en) * 2022-04-04 2023-10-12 3M Innovative Properties Company Thermal imaging with ai image identification

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5487116A (en) * 1993-05-25 1996-01-23 Matsushita Electric Industrial Co., Ltd. Vehicle recognition apparatus
US9122934B2 (en) * 2013-12-27 2015-09-01 Automotive Research & Testing Center Object detection method with a rising classifier effect and object detection device with the same
US9940527B2 (en) * 2014-07-28 2018-04-10 Hyundai Mobis Co., Ltd. Driving assist system for vehicle and method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112912896A (zh) * 2018-12-14 2021-06-04 苹果公司 机器学习辅助的图像预测
US11915460B2 (en) 2018-12-14 2024-02-27 Apple Inc. Machine learning assisted image prediction
CN112465155A (zh) * 2019-08-12 2021-03-09 美光科技公司 汽车照明设备的预测性维护
CN112652162A (zh) * 2019-10-11 2021-04-13 Aptiv技术有限公司 确定对象在预定时间点的属性的方法和系统
CN112652162B (zh) * 2019-10-11 2022-12-20 Aptiv技术有限公司 确定对象在预定时间点的属性的方法和系统
US11676488B2 (en) 2019-10-11 2023-06-13 Aptiv Technologies Limited Method and system for determining an attribute of an object at a pre-determined time point
CN117459669A (zh) * 2023-11-14 2024-01-26 镁佳(武汉)科技有限公司 一种基于虚拟摄像头的视觉应用开发方法及系统

Also Published As

Publication number Publication date
MX2018000835A (es) 2018-11-09
RU2018102638A (ru) 2019-07-25
GB201801029D0 (en) 2018-03-07
US20180211121A1 (en) 2018-07-26
GB2560625A (en) 2018-09-19
DE102018101366A1 (de) 2018-07-26

Similar Documents

Publication Publication Date Title
CN108345840A (zh) 在低光条件下检测车辆
US20220254048A1 (en) Camera systems using filters and exposure times to detect flickering illuminated objects
US11386673B2 (en) Brake light detection
US11455793B2 (en) Robust object detection and classification using static-based cameras and events-based cameras
US10614327B2 (en) Traffic-light detection and classification using computer vision and deep learning
US10877485B1 (en) Handling intersection navigation without traffic lights using computer vision
CN108388834A (zh) 利用循环神经网络和级联特征映射的对象检测
US11833966B2 (en) Switchable display during parking maneuvers
JP7183390B2 (ja) 自律型車両用のカメラ評価技術
US11721100B2 (en) Automatic air recirculation systems for vehicles
US20230184560A1 (en) Visual interface display method and apparatus, electronic device, and storage medium
CN110188482B (zh) 一种基于智能驾驶的测试场景创建方法及装置
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
CN114418895A (zh) 驾驶辅助方法及装置、车载设备及存储介质
US11250279B2 (en) Generative adversarial network models for small roadway object detection
US11645779B1 (en) Using vehicle cameras for automatically determining approach angles onto driveways
CN113815627A (zh) 用于确定车辆乘员的命令的方法和系统
US11702011B1 (en) Data augmentation for driver monitoring
US20230316789A1 (en) Object labeling in images using dense depth maps
CN113752940A (zh) 进出隧道车灯控制方法、设备、存储介质及装置
JP2020513638A (ja) 画像を評価し、評価を車両のドライブアシストシステムに対し提供するための方法および装置
US20230202525A1 (en) System and method for providing a situational awareness based adaptive driver vehicle interface
WO2023178510A1 (zh) 图像处理方法、装置和系统、可移动平台
US20230256973A1 (en) System and method for predicting driver situational awareness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180731

WW01 Invention patent application withdrawn after publication