CN111079508A - 用于求取车辆的车灯的状态的方法和设备 - Google Patents

用于求取车辆的车灯的状态的方法和设备 Download PDF

Info

Publication number
CN111079508A
CN111079508A CN201911005022.6A CN201911005022A CN111079508A CN 111079508 A CN111079508 A CN 111079508A CN 201911005022 A CN201911005022 A CN 201911005022A CN 111079508 A CN111079508 A CN 111079508A
Authority
CN
China
Prior art keywords
vehicle
state
signal
image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911005022.6A
Other languages
English (en)
Inventor
A·伦斯费尔德
E·迪特里希
M·布吕克纳
P·伦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN111079508A publication Critical patent/CN111079508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Abstract

本发明涉及一种用于求取车辆(115)的车灯的状态的方法。所述方法包括读取的步骤和分析处理的步骤。在读取的步骤中，读取图像信号(130)，所述图像信号包括具有所探测到的车辆(115)的车辆区域的摄像机图像。在分析处理的步骤中，在使用可人工学习的模型(135)、尤其人工神经网络的情况下分析处理所述图像信号(130)。在此，区分分别代表所述车辆(115)的车灯的一个状态的至少两个状态类别。求取代表所述车辆(115)的车灯的当前状态的状态类别作为分析处理结果。

Description

用于求取车辆的车灯的状态的方法和设备
技术领域
本发明从根据独立权利要求所述类型的一种设备或一种方法出发。一种计算机程序也是本发明的主题。
背景技术
可能的是，识别在前方行驶的车辆的尾灯是否闪烁。为此，可以在使用在前方行驶的车辆的尾灯的图像信号的情况下对尾灯的强度变化过程进行频率研究，并且可以求取尾灯激活、即闪烁的可能性。
US 2017039435 A1描述一种用于识别在前方行驶的车辆闪烁的方法。
发明内容
在此背景下，借助在此提出的方案提出根据主权利要求所述的用于求取车辆的车灯状态的一种方法和一种设备以及可人工学习的模型、尤其人工神经网络的训练。通过在从属权利要求中列举的措施能够实现在独立权利中说明的设备的有利的扩展方案和改进方案。
借助在此提出的方案可能的是，在使用在前方行驶的车辆的背视的图像的情况下识别车辆的车灯的状态，或者在使用迎面驶来的车辆的前视的图像的情况下识别车辆的车灯的状态。除了闪烁外也可以识别制动。例如可以对尾灯的形状和组合进行分类(制动、警告闪光灯、制动和闪烁等)。因此，尾灯应至少亮一次以进行识别。不强制性地需要闪烁(即重复地或周期性地接通/关断灯)。在此，有利地不需要单独地定位或单独地跟踪各个车灯。可以与设计和所使用的灯类型不相关地识别车灯的状态，由此例如也可以识别脉冲式的发光二极管车灯。此外，也可以识别部分有缺陷的车灯。有利地，可以与闪烁频率不相关地识别闪烁的车灯。
提出一种用于求取车辆的车灯的状态的方法。所述方法具有读取的步骤和分析处理的步骤。在读取的步骤中读取图像信号，所述图像信号包括具有所探测到的车辆的车辆区域的摄像机图像。在分析处理的步骤中，在使用可人工学习的模型、尤其人工神经网络的情况下分析处理图像信号。在此，区分分别代表车辆的车灯的一个状态的至少两个状态类别。求取代表车辆的车灯的当前状态的状态类别作为分析处理的结果。
所述车辆可以是陆地车辆或商用车辆或其他的交通或运输工具，其也可以实施为具有自动化的驾驶运行的自行驶的车辆。“车灯”可以例如理解为车辆照明装置，例如车辆的尾灯，即行驶方向指示器、制动灯、倒车灯或大灯(Scheinwerfer)(例如车辆的前大灯或后雾灯)。图像信号可以通过与车辆的传感器装置的接口来读取。图像信号可以包括所探测到的车辆的车辆区域的包覆体
Figure BDA0002242475860000021
所谓的边界框。车辆区域例如可以是车辆尾部或车辆前部。可人工学习的模型可以理解为具有可学习结构的模型，所述可学习结构可以用于重新识别所读取的(图像)信号中的模式。可人工学习的模型也可以简化地称为可学习的模型。例如，可(人工)学习的模型可以实施为人工神经网络或单层的、多层的或递归的网络。替代地，也可以在使用其他的顺序的机器学习方法，例如隐马尔可夫模型(HMM)、条件随机场(CRF)或任意的递归神经网络(RNN)的情况下进行分析处理的步骤。这些学习方法或模型也可以理解为可人工学习的模型或可人工学习的模型的训练。分别代表车辆的车灯的一个状态的至少两个状态类别可以代表为如下状态：例如车灯的运行状态(例如开或关)，并且附加地或替代地，代表车灯的类型，即灯类型的辨识。可以求取车灯的当前状态，例如“左闪光灯打开”或“尾灯打开”或“倒车灯关闭”。
根据一种实施方式，在分析处理的步骤中可以区分分别代表车辆的另外的车灯的一个状态的至少两个另外的状态类别。在这种情况下，可以求取代表所述车辆的另外的车灯的当前状态的另外的状态类别作为分析处理结果。这对于借助所述方法求取多个车灯的当前状态是有利的。由此例如可以求取在车辆区域中可见的所有车灯(例如所有尾灯)的当前状态，由此可以区分也可能包括多个车灯的不同灯状态。因此，有利地可能的是，借助所述方法区分制动的闪烁或紧急制动的闪烁。
根据一种实施方式，在读取的步骤中，可以读取图像信号，所述图像信号具有至少两个图像部分信号。至少两个图像部分信号可以分别包含图像信号的不同颜色信息。可以在使用至少两个图像部分信号的情况下执行分析处理的步骤。作为不同的颜色信息，可以包含例如不同的图像区域、相同图像区域的不同颜色通道或者图像区域的具有图像区域的细分的颜色直方图。
此外，根据一种实施方式，在读取的步骤中可以读取至少两个图像部分信号，所述至少两个图像部分信号分别代表不同光谱范围内的车辆区域。这关于车灯的清晰对比度是有利的。附加地或替代地，在读取的步骤中，至少两个图像部分信号可以代表所探测到的车辆的不同的车辆部分区域。作为车辆部分区域，例如可以使用车辆轮廓(Fahrzeugsilhouette)的或车辆边界框的图像区域的颜色直方图。这关于图像信号的空间信息的识别是有利的。
根据一种实施方式，可以在使用可反馈式学习的模型、尤其反馈式神经网络作为人工神经网络的情况下实施分析处理的步骤。为此，可反馈式学习的模型例如可以具有长的短期记忆，所谓的“长短期记忆”(LSTM)，或具有“门控循环单元”(GRU)。
根据一种实施方式，在读取的步骤中，也可以读取探测信号。探测信号可以代表车辆的第一次识别。在分析处理的步骤中，可以响应于探测信号将可反馈式学习的模型置于预先确定的状态中。可以将可反馈式学习的模型置于基本状态中，例如在成功训练可人工学习的模型后将其置于初始状态中。这有利地防止：用于求取车辆的车灯状态的先前方法的值影响后续方法。
此外，根据一种实施方式，在读取的步骤中，图像信号可以包括具有所探测到的另外的车辆的车辆区域的摄像机图像。在此，在分析处理的步骤中，可以区分分别代表另外的车辆的车灯的一个状态的至少两个状态类别。然后可以求取代表另外的辆车的车灯的当前状态的状态类别作为分析处理结果。由此，有利地可能的是，求取多个车辆的车灯的状态，以便例如在具有多个交通参与者的交通状况中进行状况估计。这尤其对于在具有自动化的驾驶运行的车辆中的应用可能是有利的。
根据一种实施方式，如果探测到另外的车辆，则可以在使用另外的可人工学习的模型、尤其另外的人工神经网络的情况下实施分析处理的步骤，以便求取另外的车辆的车灯的状态。例如，对于在图像信号中代表的所探测到的每个车辆可以分别初始化一个可人工学习的模型或神经网络，以求取所探测到的车辆的车灯的状态。
根据一种实施方式，在分析处理的步骤中还可以在使用函数argumentum maximi的情况下求取分析处理结果。这对于确定车灯的所求取的状态的置信度是有利的。
根据一种实施方式，所述方法还可以包括输出分析处理信号的步骤。分析处理信号可以代表分析处理结果。此外，可以将分析处理信号作为视觉信号并且附加地或替代地作为听觉信号来输出。分析处理信号例如可以通过与车辆的显示装置的接口来提供。为了显示车辆的车灯的当前状态，例如具有所探测到的车辆的摄像机图像或车辆的边界框可以显示在车辆的显示装置上，并且车灯的状态例如可以彩色地和符号地(例如通过在所显示的车辆的激活的车灯的位置上的彩色箭头)显示，以便例如可视化借助车灯的所求取的状态来识别的闪烁过程或制动过程。有利地，分析处理结果因此可以清楚且省时地提供给车辆的驾驶员。
借助该方案还提出一种用于学习可人工学习的模型、尤其人工神经网络以便分析处理图像信号的方法。所述方法包括读取的步骤和训练的步骤。在读取的步骤中，读取图像信号和目标信号。图像信号包括具有所探测到的车辆的车辆区域的摄像机图像。目标信号代表车辆的车灯的状态类别。在此，状态类别相应于车灯的在图像信号中反映的状态。在训练的步骤中，如此训练可人工学习的模型、尤其人工神经网络，使得可人工学习的模型响应于图像信号地识别状态类别。在此，可以训练可人工学习的模型以便区分分别代表车辆的车灯的一个状态的至少两个状态类别。
在此提出的方法可以例如以软件或硬件或以软件和硬件的混合形式例如在控制设备中实现。
在此提出的方案还实现一种设备，所述设备被构造用于在相应的装置中实施、控制或者实现在此提出的方法的变型方案的步骤。通过本发明的以设备形式的实施变型方案可以快速和高效地解决本发明所基于的任务。
为此，所述设备可以具有用于处理信号或数据的至少一个计算单元、用于存储信号或数据的至少一个存储单元、用于从传感器读取传感器信号或用于输出数据信号或控制信号到执行器的与传感器或执行器的至少一个接口和/或用于读取或输出数据的至少一个通信接口，其嵌入到通信协议中。计算单元可以是例如信号处理器、微控制器等等，其中，存储单元可以是闪存、EPROM或磁性存储单元。通信接口可以构造用于无线地或有线地读取或输出数据，其中，可以读取或输出有线的数据的通信接口可以例如以电的方式或以光学的方式从相应的数据传输线路读取数据或将数据输出到相应的数据传输线路中。
设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有可以按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。
具有程序代码的计算机程序产品或者计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或者存储介质，如半导体存储器、硬盘存储器或光学存储器上并且尤其用于当在计算机或者设备上执行程序产品或者程序时实施、实现和/或控制根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在下面的描述中详细阐述在此提出的方案的实施例。
图1根据一个实施例示出一种具有用于求取车辆的车灯状态的设备的车辆的示意图；
图2根据一个实施例示出一种用于求取车辆的车灯状态的方法的流程图；
图3根据一个实施例示出一种用于求取多个车辆的车灯状态的方法的流程图；
图4和图5分别根据一个实施例示出一种用于求取车辆的车灯状态的方法的示意图；
图6至图8分别根据一个实施例示出一种车辆的车灯的状态的显示的示意图；
图9和图10分别根据一个实施例示出一种可人工学习的模型的示意图；
图11分别根据一个实施例示出一种用于学习可人工学习的模型以便分析处理图像信号的方法的流程图。
具体实施方式
在本发明的有利的实施例的以下描述中，对于在不同的附图中示出的并且作用相似的元件使用相同或相似的附图标记，其中，省略对这些元件的重复描述。
图1根据一个实施例示出一种具有用于求取第二车辆115的车灯110的状态的设备105的第一车辆100的示意图。设备105包括读取装置120和分析处理装置125。读取装置120构造用于读取图像信号130。图像信号130包括具有所探测到的车辆(在此所示出的第二车辆115)的车辆区域的摄像机图像。分析处理装置125构造用于在使用可人工学习的模型135的情况下分析处理图像信号130。在说明书的其他过程中，出于简化阐述的原因，将人工神经网络描述为可人工学习的模型为例来描述本发明，其中，本领域技术人员根据先前的实施也会无疑问地认识到，对于人工神经网络替代地或附加地也可以使用其他的可人工学习的模型，例如隐式马尔可夫模型等。因此，为简单起见，人工神经网络作为可人工学习的模型的代表或同义也理解或描述为附图标记135，其中，相应的模型的结构作为人工神经网络或作为可人工学习的模型的其他设计形式对于在此提出的发明的描述和理解是次要的。
在此，区分分别代表所探测到的车辆115的车灯110的一个状态的至少两个状态类别。求取代表所探测到的车辆115的车灯110的当前状态的状态类别作为分析处理结果。
根据在此示出的实施例，以分析处理信号140的形式提供分析处理结果。图像信号130示例性地由车辆100的周围环境检测装置145提供。所探测到的车辆115的车灯110示例性地实施为尾灯。借助在此示出的设备105例如有利地可能的是，求取不同灯类型的状态。由此可能的是，例如不仅识别在前方行驶的车辆115的闪烁，而且识别制动过程或紧急制动。这是可能的，因为在此示出的设备105在没有借助后续的傅立叶变换的车灯的强度考虑的情况下并且在没有频率分析的情况下足以用于识别商业上通用的闪光灯。在此，不需要精确地定位车灯110的位置并且不需要单独地跟踪各个车灯110。在使用图像信号130的情况下可能的是，与设计和所使用的灯类型(例如脉冲式的发光二极管尾灯)不相关地求取车灯110的状态。此外，设备105也构造用于识别部分有缺陷的车灯110或快速闪烁的闪光灯作为车灯110，以便求取所探测到的车辆115的车灯110的当前状态。设备105可以在白天和晚上使用。此外，不需要缓存先前的摄像机图像或图像信号130的图像块例如以便能够计算差异图像，这尤其在将专用集成电路用于设备105的情况下是节省成本的。
图2根据一个实施例示出一种用于求取车辆的车灯状态的方法200的流程图。方法200至少具有读取的步骤205和分析处理的步骤210。在读取的步骤205中，读取图像信号，所述图像信号包括具有探测到的车辆的车辆区域的摄像机图像。在分析处理的步骤210中，在使用人工神经网络的情况下分析处理图像信号。在此，区分分别代表车辆的车灯的一个状态的至少两个状态类别。求取代表车辆的车灯的当前状态的状态类别作为分析处理结果。
根据一个实施例，方法200还包括输出分析处理信号的步骤215。分析处理信号代表分析处理的步骤210的分析处理结果。将分析处理信号作为视觉信号输出，并且替代地或附加地作为听觉信号输出。这示例性地参照以下的图6至图8示出。
图3根据一个实施例示出一种用于求取多个车辆115、305、310的车灯的状态的方法200的流程图。在此示出多个车辆115、305、310的车灯分类的流程。以分步骤执行方法200以便求取多个车辆115、305、310的车灯的状态。根据一个实施例，在读取的步骤205中，图像信号包括具有所探测到的车辆115的车辆区域的和所探测到的另外的车辆305的车辆区域的摄像机图像315。在此，摄像机图像315示例性地包括所探测到的第三车辆310的车辆区域。为了分析处理具有所探测到的三个车辆115、305、310的图像信号，在分析处理的步骤210中，对于所探测到的每个车辆115、305、310，区分分别代表另外的车辆305、310的车灯的一个状态的至少两个状态类别。求取代表另外的车辆305、310的车灯的当前状态的状态类别作为分析处理结果。
根据在此示出的实施例，对于每个另外的所探测到的车辆305、310，在使用另外的人工神经网络的情况下执行分析处理的步骤210。为此，对于每个所探测到的车辆115、305、310，以分步骤执行步骤210。在此，摄像机图像315示例性地作为车辆115、305、310的边界框来提供。对于每个所探测到的车辆115、305、310并且因此对于车辆115、305、310的每个边界框，分别初始化人工神经网络。在此示例性地示出三个车辆115、305、310的情况下，三个人工神经网络并行地运行，其中，由一个人工神经网络分别考虑一个车辆，以便求取车灯的状态。在此，可以相应于人工神经网络的数目任意地确定所探测到的车辆的最大数目。
此外，在此，在求取车辆115、305、310的车灯的状态后，实施输出分析处理信号的可选步骤215。在此，以三个分步骤分别输出分析处理的步骤210的分步骤的分析处理结果。
图4根据一个实施例示出一种用于求取车辆115的车灯状态的方法200的示意图。示出，基于摄像机图像315的图像区域来求取车辆115的车灯的状态。在此，摄像机图像315例如示例性地示出所探测到的车辆115的车辆尾部。
根据在此示出的实施例，在使用反馈式神经网络405作为人工神经网络的情况下执行分析处理的步骤。在此，人工神经网络包括至少一个长的短期记忆层、“长的短期记忆层”(LSTM层)作为反馈神经元件。
此外，根据在此所示的实施例，在读取的步骤中，读取探测信号410。探测信号410代表车辆115的第一次识别。因此，检查是否第一次探测到车辆115。然后，在分析处理的步骤中，响应于探测信号410将反馈式神经网络405置于预先确定的状态中。为此，将反馈式神经网络405重置于基本状态中。将反馈式神经网络405例如在成功训练人工神经网络后置于初始状态中。
根据在此所示的实施例，在读取的步骤中，图像信号130具有至少两个图像部分信号415。至少两个图像部分信号415分别包含图像信号130的不同颜色信息。在这种情况下，在使用至少两个图像部分信号415的情况下执行分析处理的步骤。
至少两个图像部分信号415分别代表在不同光谱范围内的车辆115的车辆区域。在此，图像信号130示例性地具有三个图像部分信号415，其分别代表车辆区域的不同颜色通道。附加地或替代地，至少两个图像部分信号415代表所探测到的车辆115的不同的车辆部分区域，如根据以下的图5所示的那样。
在分析处理的步骤中，区分分别代表车辆115的车灯的一个状态的至少两个状态类别420。根据一个实施例，区分分别代表车辆的另外的车灯的一个状态的至少两个另外的状态类别420。在这种情况下，求取分别代表车灯的或其他车灯的当前状态的状态类别420作为分析处理结果。根据在此所示的实施例，所探测到的车辆115具有例如六个不同的车灯类型：左闪光灯、右闪光灯、制动灯、倒车灯、尾灯和雾大灯。在分析处理的步骤中，相应地区分六个不同的车灯类型。此外，分别区分车灯的运行状态(车灯打开或关闭)。因此，区分分别代表车辆的车灯的一个状态的十二个状态类别420：左闪光灯打开、左闪光灯关闭、右闪光灯打开、右闪光灯关闭、制动灯打开、制动灯关闭、倒车灯打开、倒车灯关闭、尾灯打开、尾灯关闭、雾大灯打开、雾大灯关闭。分析处理结果可以包括例如所有车灯的状态类别420。有利地，借助在此示出的方法200并且因此借助唯一的方法200能够实现车辆115的所有尾灯的状态的分类。因此，借助方法200可能的是，区分不同的尾灯状态，例如闪烁、制动或紧急制动。分析处理结果的输出相应地包括在车辆115的所检测到的车辆区域中车辆115的所有车灯的状态，例如所有尾灯的状态。
根据一个实施例，通过argmax(即在使用函数argumentum maximi的情况下)确定反馈式神经网络405的车灯的分类结果，由此对于状态类别420的所求取到的每个状态求取置信度，所述置信度可选地与分析处理结果一起输出。
图5根据一个实施例示出一种用于求取车辆的车灯状态的方法200的示意图。在此示出的方法200的流程类似于根据图4描述的实施例，其具有含有所探测到的车辆115的摄像机图像315、探测信号410、反馈式神经网络405和车辆115的车灯的十二个状态类别。
然而，根据在此示出的实施例，与图像信号130一起读取的至少两个图像部分信号415在此代表所探测到的车辆115的不同的车辆部分区域505。为此，将车辆115的借助摄像机图像315检测到的车辆区域划分为多个图像区域。在此，相应于车辆115的灯位置(右、中、左)将车辆区域示例性地划分为三列。在此，相应于图像部分信号415的三个车辆部分区域分别通过以三种不同颜色的三个颜色直方图510来代表。作为用于反馈式神经网络405的输入，相应地读取九个颜色直方图510。车辆115的车辆轮廓的或边界框的图像区域、车辆部分区域505是颜色直方图510的基础，出于车辆区域的空间信息的目的将所述车辆轮廓划分为多个图像部分，在此示例性地是三个车辆部分区域505。
图6根据一个实施例示出车辆115的车灯605的状态显示的示意图。从第一车辆的驾驶员朝所探测到的车辆115的视向示出第一车辆的内部空间的视图。在第一车辆的内部空间中布置有显示装置610，在所述显示装置上示例性地显示图像信号的摄像机图像315和因此将车辆115的车辆尾部的探测作为边界框显示。
根据在此所示的实施例，用于求取车辆115的车灯605的状态的方法的分析处理结果以分析处理信号615的形式输出。分析处理信号615代表分析处理结果并且在此作为视觉信号在显示装置610上输出。附加地或替代地，分析处理信号615也可以作为听觉信号输出。在这里示出的实施例中，所探测到的车辆115制动，因此示例性地车辆115的三个车灯615是激活的。除了在显示装置610上可识别出车灯605的闪烁外，借助分析处理信号615——在此示例性地通过在显示装置610上显示的车辆的车辆尾部的边界框上的指向下方的红色箭头——在视觉上信号化车辆115的制动。
图7根据一个实施例示出车辆115的车灯605的状态的显示的示意图。在此示出的实施例类似于根据图6描述的实施例，其具有所探测到的车辆115的车灯605的另一状态，该车辆在此不制动而是在左侧闪烁。这在此示例性地通过在显示装置610上的以具有所探测到的车辆的车辆区域的边界框的摄像机图像315的形式显示分析处理信号来示出。为了使闪烁过程可视化，在此示例性地示出在车辆尾部的边界框处的指向闪烁方向的橙色箭头。
图8根据一个实施例示出车辆115的车灯605的状态显示的示意图。在此示出的实施例类似于根据图6和图7描述的实施例，其中，所探测到的车辆115在此在右侧闪烁。这在此示例性地通过在显示装置610上的以摄像机图像315的形式显示分析处理信号615来示出，所述摄像机图像具有所探测到的车辆的车辆区域的边界框连同相应于闪烁方向指向右的橙色箭头，以便使所探测到的车辆115的车灯605的所求取的状态可视化。
图9根据一个实施例示出可人工学习的模型135的示意图。在此示出用于区分四个状态类别的示例性架构。作为用于可人工学习的模型135的或神经网络的输入，在此如根据图4描述的那样假设图像块为图像信号。示出Convolutional Neural Network，也称为卷积神经网络。在此，人工神经网络作为可学习的模型135具有卷积层905，所述卷积层具有过滤器16、内核尺寸6×6和步长(Stride)2。卷积层905与“批标准化(batchnormalization)”910相关联，其输出在另一卷积层915中处理，所述另一卷积层与另一“批标准化”920相关联，紧接着是具有2×2的尺寸(池尺寸)和步长2的最大池化层925。最大池化层925具有0.5的Dropout(丢弃)并且与反馈元件930、LSTM层10以0.6的Dropout和0.25的Dropout相关联，接下来是两个完全连接的层935和940、稠密层(Dense-Layer)10和稠密层4，其中，在层935和940之间发生0.8的Dropout。
图10根据一个实施例示出以神经网络形式的可人工学习的模型135的示意图。在此示出用于区分四个状态类别的示例性架构。人工神经网络135的输入，如根据图4所描述的那样，在此假设图像块为图像信号。示出基于Inception思想的人工神经网络135。在此，人工神经网络135具有第一卷积层1005，所述第一卷积层具有过滤器32、内核尺寸3×3和步长2，所述第一卷积层与具有过滤器32、内核尺寸2×2和步长1的第二卷积层1010相关联。第二卷积层1010的输出在下一层中处理，该下一层具有第三卷积层1015、第四卷积层1020和第五卷积层1025。第三卷积层1015具有过滤器64、内核尺寸1×1和步长2，而所述第四卷积层1020具有过滤器64、内核尺寸3×3和步长2，而第五卷积层1025具有过滤器64、内核尺寸5×5、步长2。接下来是具有池尺寸2×2、步长2和0.6的Dropout的最大池化层1030。最大池化层1030与“批标准化”1035相关联。接下来重复具有另外的层的类似的结构，所述另外的层具有第六卷积层1040、第七卷积层1045和第八卷积层1050，该结构与具有池尺寸2×2和步长2的另一最大池化层1055相关联。第六卷积层1040具有过滤器128、内核尺寸3×3和步长2，第七卷积层1045具有过滤器128、内核尺寸1×1和步长2，而第八卷积层1050具有过滤器128、内核尺寸5×5和步长2。最大池化层1050与反馈元件1060、LSTM层16以0.6的Dropout和0.4的Dropout相关联，接下来是两个完全连接的层1065和1070、稠密层10和稠密层4，其中，在层1065和1070之间发生0.7的Dropout。
图11根据一个实施例示出一种用于学习用于分析处理图像信号的可人工学习的模型的方法1100的流程图。方法1100包括读取的步骤1105和训练的步骤1110。在读取的步骤1105中，读取图像信号和目标信号。图像信号包括具有所探测到的车辆的车辆区域的摄像机图像。目标信号代表车辆的车灯的状态类别。在此，状态类别相应于车灯的在图像信号中反映的状态。在训练的步骤1110中，如此训练可人工学习的模型，使得可人工学习的模型响应于图像信号地识别状态类别。
如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则这可以解读如下：所述实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。

Claims (14)

1.一种用于求取车辆(115)的车灯(605)的状态的方法(200)，其中，所述方法(200)具有以下步骤：
读取(205)图像信号(130)，所述图像信号包括具有所探测到的车辆(115)的车辆区域的摄像机图像(315)；以及
在使用可人工学习的模型(135)、尤其人工神经网络的情况下分析处理(210)所述图像信号(130)，其中，区分分别代表所述车辆(115)的车灯(605)的一个状态的至少两个状态类别(420)，其中，求取代表所述车辆(115)的车灯(605)的当前状态的状态类别(420)作为分析处理结果。
2.根据权利要求1所述的方法(200)，其中，在所述分析处理的步骤(210)中，区分分别代表所述车辆(115)的另外的车灯(605)的一个状态的至少两个另外的状态类别(420)，其中，求取代表所述车辆(115)的另外的车灯(605)的当前状态的另外的状态类别(420)作为分析处理结果。
3.根据以上权利要求中任一项所述的方法(200)，其中，在所述读取的步骤(205)中，读取所述图像信号(130)，所述图像信号具有至少两个图像部分信号(415)，所述至少两个图像部分信号分别包含所述图像信号(130)的不同颜色信息，其中，在使用所述至少两个图像部分信号(415)的情况下执行所述分析处理的步骤(210)。
4.根据权利要求3所述的方法，其中，在所述读取的步骤(205)中，读取所述至少两个图像部分信号(415)，所述至少两个图像部分信号分别代表不同光谱范围内的车辆区域，和/或，其中，在所述读取的步骤(205)中，所述至少两个图像部分信号(415)分别代表所探测到的车辆(115)的不同的车辆部分区域(505)。
5.根据以上权利要求中任一项所述的方法(200)，其中，在使用可反馈式学习的模型(405)、尤其反馈式神经网络作为所述可人工学习的模型(135)、尤其所述人工神经网络的情况下实施所述分析处理的步骤(210)。
6.根据权利要求5所述的方法(200)，其中，在所述读取的步骤(205)中，读取探测信号(410)，所述探测信号代表所述车辆(115)的第一次识别，其中，在所述分析处理的步骤(210)中响应于所述探测信号(410)将所述可反馈式学习的模型(405)置于预先确定的状态中。
7.根据以上权利要求中任一项所述的方法(200)，其中，在所述读取的步骤(205)中，所述图像信号(130)包括具有所探测到的另外的车辆(305，310)的车辆区域的摄像机图像(315)，其中，在所述分析处理的步骤(210)中，区分分别代表所述另外的车辆(305，310)的车灯(605)的一个状态的至少两个状态类别(420)，其中，求取代表所述另外的车辆(305、310)的车灯(605)的当前状态的状态类别(420)作为分析处理结果。
8.根据权利要求7所述的方法(200)，其中，在使用另外的可人工学习的模型、尤其另外的人工神经网络的情况下实施所述分析处理的步骤(210)。
9.根据以上权利要求中任一项所述的方法(200)，其中，在所述分析处理的步骤(210)中，在使用函数argumentum maximi的情况下求取所述分析处理结果。
10.根据以上权利要求中任一项所述的方法(200)，所述方法还具有以下步骤(215)：输出代表所述分析处理结果的分析处理信号(615)，其中，将所述分析处理信号(615)作为视觉信号和/或听觉信号输出。
11.一种用于学习可人工学习的模型(135)、尤其人工神经网络的方法(1110)，所述可人工学习的模型、尤其所述人工神经网络用于分析处理(210)图像信号(130)，其中，所述方法(1110)至少具有以下步骤：
读取(1105)图像信号(130)和目标信号，所述图像信号包括具有所探测到的车辆(115)的车辆区域的摄像机图像(315)，所述目标信号代表所述车辆(115)的车灯(605)的状态类别(420)，所述状态类别相应于所述车灯(605)的在所述图像信号(130)中反映的状态；以及
如此训练(1110)所述可人工学习的模型(135)、尤其所述人工神经网络，使得所述可人工学习的模型(135)响应于所述图像信号(130)地识别所述状态类别(420)。
12.一种设备(105)，其设置用于在相应的单元(120，125)中实施和/或控制根据权利要求1至10中任一项所述的方法(200)的步骤或根据权利要求11所述的方法(1110)的步骤。
13.一种计算机程序，其设置用于执行和/或控制根据权利要求1至10中任一项所述的方法(200)或根据权利要求11所述的方法(1110)。
14.一种机器可读的存储介质，在其上存储有根据权利要求13所述的计算机程序。
CN201911005022.6A 2018-10-22 2019-10-22 用于求取车辆的车灯的状态的方法和设备 Pending CN111079508A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018218015.6 2018-10-22
DE102018218015.6A DE102018218015A1 (de) 2018-10-22 2018-10-22 Verfahren und Vorrichtung zum Ermitteln eines Zustands einer Fahrzeugleuchte eines Fahrzeugs

Publications (1)

Publication Number Publication Date
CN111079508A true CN111079508A (zh) 2020-04-28

Family

ID=70279136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911005022.6A Pending CN111079508A (zh) 2018-10-22 2019-10-22 用于求取车辆的车灯的状态的方法和设备

Country Status (3)

Country Link
US (1) US11415985B2 (zh)
CN (1) CN111079508A (zh)
DE (1) DE102018218015A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10882449B2 (en) * 2017-10-03 2021-01-05 Ford Global Technologies, Llc Vehicle light platoon
US10776655B1 (en) * 2019-04-09 2020-09-15 Banjo, Inc. Estimating color of vehicles on a roadway
CN111723690B (zh) * 2020-06-03 2023-10-20 北京全路通信信号研究设计院集团有限公司 一种电路设备状态监测方法和系统
US11741722B2 (en) * 2020-09-04 2023-08-29 International Business Machines Corporation Coarse-to-fine attention networks for light signal detection and recognition
CA3199555A1 (en) * 2020-10-01 2022-04-01 Redarc Technologies Pty Ltd Brake controller for a towed vehicle with combined brake and turn lights
CN112949578B (zh) * 2021-03-30 2023-04-07 苏州科达科技股份有限公司 车灯状态识别方法、装置、设备及存储介质
DE102021124560A1 (de) 2021-09-22 2023-03-23 Marelli Automotive Lighting Reutlingen (Germany) GmbH Steuereinrichtung für eine LED-Lichtquellenanordnung und Verfahren zur Programmierung einer Steuereinrichtung

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305223B1 (en) 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
US10163017B2 (en) * 2017-09-01 2018-12-25 GM Global Technology Operations LLC Systems and methods for vehicle signal light detection
US10733465B2 (en) * 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10387736B2 (en) * 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
US10691962B2 (en) * 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
CN108509907B (zh) * 2018-03-30 2022-03-15 北京市商汤科技开发有限公司 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
US10632913B2 (en) * 2018-04-13 2020-04-28 GM Global Technology Operations LLC Vehicle behavior using information from other vehicles lights
US11361557B2 (en) * 2019-01-18 2022-06-14 Toyota Research Institute, Inc. Attention-based recurrent convolutional network for vehicle taillight recognition

Also Published As

Publication number Publication date
US20200125095A1 (en) 2020-04-23
US11415985B2 (en) 2022-08-16
DE102018218015A1 (de) 2020-04-23

Similar Documents

Publication Publication Date Title
CN111079508A (zh) 用于求取车辆的车灯的状态的方法和设备
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
CN110796007B (zh) 场景识别的方法与计算设备
JP5100159B2 (ja) 車載投光器の自動切換え制御方法
US9563807B2 (en) Method for analyzing an image recorded by a camera of a vehicle and image processing device
CN108737992A (zh) 通过车辆间通信的摄像机辅助的车辆车灯的诊断
US11704912B2 (en) Label-free performance evaluator for traffic light classifier system
US11645360B2 (en) Neural network image processing
CN110874559A (zh) 用于评估车辆行驶表面的方法及设备
WO2021017341A1 (zh) 识别智能行驶设备的行驶状态的方法及装置、设备
US20220410931A1 (en) Situational awareness in a vehicle
US11358519B2 (en) Headlight control system
CN113442916A (zh) 车辆不确定性共享
JP7381388B2 (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
WO2023151241A1 (zh) 一种运动意图确定方法、装置、设备及存储介质
KR101877809B1 (ko) Gpu를 이용한 신호등 인식 장치 및 방법
US10767989B2 (en) Method and device for detecting a light-emitting object at a traffic junction for a vehicle
Dawid et al. The Digital Twin to Train a Neural Network Detecting Headlamps Failure of Motor Vehicles
US11881031B2 (en) Hierarchical processing of traffic signal face states
CN110789449A (zh) 基于图像识别技术的超车避让的提醒方法、系统及车载终端
EP4213112A1 (en) Method and device for detecting a color of a traffic light in an environment of a vehicle
US11590885B2 (en) Method for the operation of a self-driving motor vehicle
US20220309799A1 (en) Method for Automatically Executing a Vehicle Function, Method for Evaluating a Computer Vision Method and Evaluation Circuit for a Vehicle
JP2023084575A (ja) 点灯状態識別装置
CN112926476A (zh) 车辆识别方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination