CN111931715B - 识别车灯状态的方法、装置、计算机设备和存储介质 - Google Patents

识别车灯状态的方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111931715B
CN111931715B CN202010998252.3A CN202010998252A CN111931715B CN 111931715 B CN111931715 B CN 111931715B CN 202010998252 A CN202010998252 A CN 202010998252A CN 111931715 B CN111931715 B CN 111931715B
Authority
CN
China
Prior art keywords
brightness
frame
lamp group
vehicle
vehicle lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010998252.3A
Other languages
English (en)
Other versions
CN111931715A (zh
Inventor
程飞洋
郑伟
杨广
刘国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co.,Ltd.
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202010998252.3A priority Critical patent/CN111931715B/zh
Publication of CN111931715A publication Critical patent/CN111931715A/zh
Application granted granted Critical
Publication of CN111931715B publication Critical patent/CN111931715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能驾驶技术领域，提供了一种识别车灯状态的方法、装置、计算机设备和存储介质。本申请能够提高对车灯状态进行识别的准确性。该方法包括：获取包含目标车辆的相邻两帧图像，然后分别确定出该相邻两帧图像中对应于预设车体局部的车体局部图像，从而得到前帧车体局部图像和后帧车体局部图像，利用该前帧车体局部图像和后帧车体局部图像，确定第一车灯组在该相邻两帧图像中呈现的第一帧间亮度变化信息以及第二车灯组在该相邻两帧图像中呈现的第二帧间亮度变化信息，最后基于第一帧间亮度变化信息和第二帧间亮度变化信息即可分析出目标车辆的车灯状态。

Description

识别车灯状态的方法、装置、计算机设备和存储介质
技术领域
本申请涉及智能驾驶技术领域，特别是涉及一种识别车灯状态的方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的发展，基于计算机视觉和神经网络等技术可使得如车载终端等计算机设备具有对行车信息、路况信息进行智能分析的能力，由此可主导对车辆行驶的控制操作或辅助驾驶员安全控制车辆。其中，车灯信号反映了车辆周边的其他车辆的行驶状态。例如，前方车辆的刹车灯亮时要及时采取减速操作避免追尾，相邻车道车辆发出转向灯信号时，要注意减速让对方车辆顺利变道，前方车辆故障打开应急闪光灯时要注意减速绕行等。由此，在开发高级辅助驾驶系统以及更高级的自动驾驶系统的过程中，自适应巡航控制（Adaptive Cruise Control，ACC）功能须具备识别车灯状态的能力，从而在周边车辆发出减速、变道或故障信号时，及时采取措施谨慎驾驶，避免交通事故的发生，从而有助于使智能驾驶系统具备适应复杂多变的道路驾驶环境的能力。
传统技术所提供的车灯状态识别方案，通常是在一图像上检测出各车灯位置，然后在该图像上识别各车灯亮灭来分析车灯状态。然而，这种方式首先需确保对每个车灯进行准确定位，而且对各车灯亮灭的判断容易受到实际成像环境的影响而出现很大分类误差，存在对车灯状态进行识别的准确性低的问题。
发明内容
基于此，有必要针对传统技术对车灯状态进行识别的准确性低的技术问题，提供一种识别车灯状态的方法、装置、计算机设备和存储介质。
一种识别车灯状态的方法，所述方法包括：
获取包含目标车辆的相邻两帧图像；
分别确定所述相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；所述预设车体局部为所述目标车辆上安装第一车灯组和第二车灯组的车体局部；
利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一车灯组在所述相邻两帧图像中呈现的第一帧间亮度变化信息以及所述第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息；
基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态。
一种识别车灯状态的装置，包括：
图像获取模块，用于获取包含目标车辆的相邻两帧图像；
局部确定模块，用于分别确定所述相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；所述预设车体局部为所述目标车辆上安装第一车灯组和第二车灯组的车体局部；
信息确定模块，用于利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一车灯组在所述相邻两帧图像中呈现的第一帧间亮度变化信息以及所述第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息；
状态识别模块，用于基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取包含目标车辆的相邻两帧图像；分别确定所述相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；所述预设车体局部为所述目标车辆上安装第一车灯组和第二车灯组的车体局部；利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一车灯组在所述相邻两帧图像中呈现的第一帧间亮度变化信息以及所述第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息；基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取包含目标车辆的相邻两帧图像；分别确定所述相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；所述预设车体局部为所述目标车辆上安装第一车灯组和第二车灯组的车体局部；利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一车灯组在所述相邻两帧图像中呈现的第一帧间亮度变化信息以及所述第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息；基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态。
上述识别车灯状态的方法、装置、计算机设备和存储介质，获取包含目标车辆的相邻两帧图像，然后分别确定出该相邻两帧图像中对应于预设车体局部的车体局部图像，从而得到前帧车体局部图像和后帧车体局部图像，利用该前帧车体局部图像和后帧车体局部图像，确定第一车灯组在该相邻两帧图像中呈现的第一帧间亮度变化信息以及第二车灯组在该相邻两帧图像中呈现的第二帧间亮度变化信息，最后基于第一帧间亮度变化信息和第二帧间亮度变化信息即可分析出目标车辆的车灯状态。该方案通过目标车辆的两组车灯在相邻两帧图像中分别呈现的亮度明暗变化而非通过单张图像上各车灯亮灭来识别车灯状态，提高了对车灯状态进行识别的准确性，使得计算机设备在对周边车辆的车灯语义识别上具有更高的鲁棒性，而且通过两帧即可输出识别车灯语义所需的感知信息，计算复杂度低。
附图说明
图1为一个实施例中识别车灯状态的方法的应用环境图；
图2为一个实施例中识别车灯状态的方法的流程示意图；
图3（a）为一个实施例中应急双闪灯状态和刹车灯状态的判断流程示意图；
图3（b）为一个实施例中转向灯的判断流程示意图；
图4（a）为一个实施例中右转向灯的统计结果示意图；
图4（b）为一个实施例中应急双闪灯的统计结果示意图；
图5为一个实施例中车灯信息预测模型的结构示意图；
图6（a）为一个实施例中一组样本图像的示意图；
图6（b）为一个实施例中另一组样本图像的示意图；
图7（a）为一个实施例中车灯状态的一种识别结果示意图；
图7（b）为一个实施例中车灯状态的另一种识别结果示意图；
图7（c）为一个实施例中车灯状态的又一种识别结果示意图；
图7（d）为一个实施例中车灯状态的再一种识别结果示意图；
图8为一个实施例中识别车灯状态的装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的识别车灯状态的方法，可以应用于如图1所示的应用环境中。其中，该应用场景可以包括通信连接的图像采集设备和车载终端。图像采集设备可以在车辆行驶过程中实时采集该车辆前方或周围其他车辆的图像，该其他车辆可以视为目标车辆，图像采集设备可拍摄目标车辆的视频图像传输至车载终端，车载终端获取包含有目标车辆的相邻两帧图像进行针对该目标车辆的车灯状态分析，也即车载终端可基于对包含有目标车辆的相邻两帧图像分析其车灯状态，也可以在图像采集设备持续拍摄目标车辆的视频图像过程中，持续通过连续多组相邻两帧图像分析其车灯状态，这样能有助于提高对该目标车辆车灯状态识别的准确性和稳定性。
具体的，车载终端获取包含目标车辆的相邻两帧图像，然后该车载终端可分别确定该相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；其中，该预设车体局部是指目标车辆上安装第一车灯组和第二车灯组的车体局部；接着，车载终端利用该前帧车体局部图像和后帧车体局部图像确定出第一车灯组在相邻两帧图像中呈现的第一帧间亮度变化信息以及第二车灯组在该相邻两帧图像中呈现的第二帧间亮度变化信息，最后车载终端可基于该第一帧间亮度变化信息和第二帧间亮度变化信息，识别目标车辆的车灯状态。该方案中，车载终端可通过对目标车辆的两组车灯在相邻两帧图像中分别呈现的亮度明暗变化识别该目标车辆的车灯状态，提高了对车灯状态进行识别的准确性，使得车载终端对其周边车辆的车灯语义识别上具有更高的鲁棒性。而且，这种方式只需通过两帧即可输出识别车灯语义所需的感知信息，计算复杂度低，可部署在边缘计算设备上运行，具有较高实用性。
在一个实施例中，如图2所示，提供了一种识别车灯状态的方法，以该方法应用于图1中的车载终端为例进行说明，包括以下步骤：
步骤S201，获取包含目标车辆的相邻两帧图像。
本步骤中，车载终端可在车辆启动后通过安装于该车辆上的图像采集设备实时采集驾驶场景图像序列并传输至车载终端，该车载终端可通过车辆检测算法从中获取包含目标车辆的相邻两帧图像。具体的，该相邻两帧图像的其中一帧可以是图像采集设备最新采集到的当前帧图像，另一帧是该当前帧图像的前一帧图像。其中，该目标车辆可以是车辆在行驶过程中行驶于该车辆前方和周围的其他车辆。
步骤S202，分别确定相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像。
本步骤中，车载终端在得到相邻两帧图像后，可以确定出目标车辆分别在两帧图像中的图像区域，然后检测预设车体局部在该图像区域中对应的位置，依据该位置从两帧图像中提取出对应于该预设车体局部的车体局部图像。其中，预设车体局部为目标车辆上安装第一车灯组和第二车灯组的车体局部。
具体的，该预设车体局部可以是车辆的尾部也即车尾，安装在车尾的车灯组可以包括左车灯组和右车灯组，该左车灯组可以对应于第一车灯组，该右车灯组可以对应于第二车灯组。示例性的，车载终端在得到相邻两帧图像后，可采用车辆检测器定位目标车辆在两帧图像的位置，具体可以通过利用特征点光流跟踪到同一车辆的方式定位出该目标车辆在两帧图像的位置，然后车载终端可以进一步通过回归车辆尾部区域的尾框来获取相对精准的车辆尾部区域，由此可以获取到两帧图像中对应于车尾的车尾图像，也即得到前帧车尾图像和后帧车尾图像。
步骤S203，利用前帧车体局部图像和后帧车体局部图像，确定第一车灯组在相邻两帧图像中呈现的第一帧间亮度变化信息以及第二车灯组在相邻两帧图像中呈现的第二帧间亮度变化信息。
本步骤中，车载终端可通过例如将前帧车体局部图像和后帧车体局部图像的像素值进行比对的方式，确定出第一车灯组在相邻两帧图像中呈现的第一帧间亮度变化信息以及第二车灯组在相邻两帧图像中呈现的第二帧间亮度变化信息。其中，该第一帧间亮度变化信息可以用于表征第一车灯组在相邻两帧图像中的亮度变亮、亮度不变或者亮度变暗的信息，相应的，第二帧间亮度变化信息可以用于表征第二车灯组在相邻两帧图像中的亮度变亮、亮度不变或者亮度变暗的信息。也即，第一帧间亮度变化信息可以包括：第一车灯组亮度变暗、第一车灯组亮度不变和第一车灯组亮度变亮，而第二帧间亮度变化信息则可以包括：第二车灯组亮度变暗、第二车灯组亮度不变和第二车灯组亮度变亮。
步骤S204，基于第一帧间亮度变化信息和第二帧间亮度变化信息，识别目标车辆的车灯状态。
本步骤，车载终端可以基于第一帧间亮度变化信息和第二帧间亮度变化信息，确定第一车灯组在相邻两帧图像中的亮度变亮、亮度不变或者亮度变暗以及确定第二车灯组在相邻两帧图像中的亮度变亮、亮度不变或者亮度变暗等信息，基于这些车灯变化信息车载终端可识别目标车辆的车灯状态。在具体场景中，车载终端可基于这些车灯变化信息对车辆尾灯状态进行识别。其中，车辆尾灯状态识别是指基于图像中车辆尾灯的变化识别车辆尾灯传递的状态信息，主要包括刹车灯、转向灯和应急双闪灯等状态，其中转向灯还可以具体包括左转向灯和右转向灯。
上述识别车灯状态的方法，获取包含目标车辆的相邻两帧图像，然后分别确定出该相邻两帧图像中对应于预设车体局部的车体局部图像，从而得到前帧车体局部图像和后帧车体局部图像，利用该前帧车体局部图像和后帧车体局部图像，确定第一车灯组在该相邻两帧图像中呈现的第一帧间亮度变化信息以及第二车灯组在该相邻两帧图像中呈现的第二帧间亮度变化信息，最后基于第一帧间亮度变化信息和第二帧间亮度变化信息即可分析出目标车辆的车灯状态。该方案通过目标车辆的两组车灯在相邻两帧图像中分别呈现的亮度明暗变化而非通过单张图像上各车灯亮灭来识别车灯状态，提高了对车灯状态进行识别的准确性，使得计算机设备在对周边车辆的车灯语义识别上具有更高的鲁棒性，而且通过两帧即可输出识别车灯语义所需的感知信息，计算复杂度低。
在一个实施例中，车载终端还可以进一步通过统计一定帧数下的图像所对应的帧间亮度变化信息来识别目标车辆的车灯状态，以提高对车灯状态进行识别的可靠性和准确性。具体的，步骤S204中的基于第一帧间亮度变化信息和第二帧间亮度变化信息，识别目标车辆的车灯状态，可以包括：
统计满足第一预设帧数的连续多组相邻两帧图像对应的第一帧间亮度变化信息和第二帧间亮度变化信息，得到第一车灯组在连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息以及第二车灯组在连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息；根据第一帧间亮度变化统计信息和第二帧间亮度变化统计信息，识别车灯状态。
本实施例中，车载终端可以对满足第一预设帧数的多组相邻两帧图像进行持续地帧间亮度变化检测。以连续的三帧图像（也即第一预设帧数为三）为例对此进行说明，该三帧图像可以依序记为第一帧、第二帧和第三帧，可以分为两组相邻两帧图像，也即将第一帧和第二帧分为一组相邻两帧图像，第二帧和第三帧作为另一组相邻两帧图像。
由此，通过如上实施例提供的方法可分别得到该两组相邻两帧图像对应的第一帧间亮度变化信息和第二帧间亮度变化信息，从而根据该两组相邻两帧图像对应的第一帧间亮度变化信息和第二帧间亮度变化信息，确定出第一车灯组在连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息和第二车灯组在连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息。其中，第一帧间亮度变化统计信息可以包括第一车灯组亮度变暗次数、第一车灯组亮度不变次数和第一车灯组亮度变亮次数，第二帧间亮度变化统计信息可以包括：第二车灯组亮度变暗次数、第二车灯组亮度不变次数和第二车灯组亮度变亮次数。最后，车载终端可根据在该第一预设帧数里统计得到的第一帧间亮度变化统计信息和第二帧间亮度变化统计信息识别车灯状态，以提高对车灯状态进行识别的可靠性和准确性。
在一个实施例中，上述实施例中的根据第一帧间亮度变化统计信息和第二帧间亮度变化统计信息，识别车灯状态，可进一步包括：
当第一车灯组亮度变暗次数和第一车灯组亮度变亮次数均大于第一阈值，且第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均大于第二阈值时，判断车灯状态为应急双闪灯状态；当第一车灯组亮度变暗次数和第二车灯组亮度变暗次数均小于第三阈值、第一车灯组亮度变亮次数和第二车灯组亮度变亮次数均大于第四阈值且第一车灯组亮度不变次数和第二车灯组亮度不变次数均大于第五阈值时，判断车灯状态为刹车灯状态。
参考图3（a），车载终端根据在该第一预设帧数里统计得到的第一帧间亮度变化统计信息和第二帧间亮度变化统计信息，可检测到两组车灯同时存在变化状态。此时，如果车载终端进一步检测到第一车灯组亮度变暗次数和第一车灯组亮度变亮次数均大于第一阈值，则说明两组车灯都在高频率闪动，车载终端可将其分类为应急双闪灯状态；如果车载终端进一步检测到第一车灯组亮度变暗次数和第二车灯组亮度变暗次数均小于第三阈值、第一车灯组亮度变亮次数和第二车灯组亮度变亮次数均大于第四阈值且第一车灯组亮度不变次数和第二车灯组亮度不变次数均大于第五阈值，则将其分类为刹车灯状态。通过本实施例的方案，可使得车载终端基于一定帧数下的图像所对应的帧间亮度变化统计信息准确且可靠地识别出目标车辆的车灯状态处于应急双闪灯状态、刹车灯状态。
在一些实施例中，车载终端还可以在帧间亮度变化信息的基础上结合两组车灯在图像上的相对亮度信息识别车灯状态。具体的，步骤S203中的利用前帧车体局部图像和后帧车体局部图像，确定第一车灯组在相邻两帧图像中呈现的第一帧间亮度变化信息以及第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息，可以包括：
利用前帧车体局部图像和后帧车体局部图像，确定第一帧间亮度变化信息和第二帧间亮度变化信息，以及第一车灯组与第二车灯组在相邻两帧图像的后帧图像中呈现的相对亮度信息。
具体的，相对亮度信息是指第一车灯组与第二车灯组在同一帧图像上的相对亮度信息，该相对亮度信息可以包括第一车灯组亮度大于第二车灯组亮度、第一车灯组亮度与第二车灯组亮度相同和第一车灯组亮度小于第二车灯组亮度。本实施例中，车载终端基于得到的前帧车体局部图像和后帧车体局部图像确定第一帧间亮度变化信息和第二帧间亮度变化信息，以及第一车灯组与第二车灯组在相邻两帧图像的后帧图像中呈现的相对亮度信息。也即车载终端根据前帧车体局部图像和后帧车体局部图像还确定出第一车灯组与第二车灯组在前述相邻两帧图像的后帧图像中呈现的相对亮度信息，以当前帧图像和该当前帧图像的前一帧图像为例，本实施例中车载终端还确定出当前帧图像上两组车灯的相对亮度，以获得在该当前帧图像上，第一车灯组亮度大于第二车灯组亮度、第一车灯组亮度与第二车灯组亮度相同还是第一车灯组亮度小于第二车灯组亮度。
基于此，在一些实施例中，步骤S204中的基于第一帧间亮度变化信息和第二帧间亮度变化信息，识别目标车辆的车灯状态，进一步包括：基于第一帧间亮度变化信息和第二帧间亮度变化信息以及相对亮度信息，确定车灯状态。
本实施例中，车载终端可以结合前述帧间亮度变化信息和当前帧图像上的两组车灯的相对亮度识别车灯状态，可丰富车灯状态识别类型和进一步提高车灯状态识别准确性和可靠性。
进一步的，车载终端同样可以通过统计一定帧数下的图像所对应的帧间亮度变化信息和相对亮度信息来识别目标车辆的车灯状态，以提高对车灯状态进行识别的可靠性和准确性。具体的，上述实施例中的基于第一帧间亮度变化信息和第二帧间亮度变化信息以及相对亮度信息，确定车灯状态，可以包括：
统计满足第二预设帧数的连续多组相邻两帧图像对应的第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息，得到第一车灯组在连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息、第二车灯组在连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息以及第一车灯组与第二车灯组在连续多组相邻两帧图像的相应后帧图像中呈现的相对亮度统计信息；根据第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息，识别车灯状态。
本实施例中，车载终端可以对满足第二预设帧数的多组相邻两帧图像进行持续地帧间亮度变化和相对亮度信息的检测。以连续的三帧图像（也即第二预设帧数可以为三）为例对此进行说明，该三帧图像可以依序记为第一帧、第二帧和第三帧，可以分为两组相邻两帧图像，也即将第一帧和第二帧分为一组相邻两帧图像，第二帧和第三帧作为另一组相邻两帧图像。
由此，通过如上实施例提供的方法可分别得到该两组相邻两帧图像对应的第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息，从而可以确定出第一组相邻两帧图像对应的第一帧间亮度变化信息和第二帧间亮度变化信息，以及第二帧对应的相对亮度信息，以及确定第二组相邻两帧图像对应的第一帧间亮度变化信息和第二帧间亮度变化信息，以及第三帧对应的相对亮度信息，根据这两组帧间亮度变化信息、相对亮度信息可以得到第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息。其中，相对亮度统计信息可以包括：第一车灯组亮度大于第二车灯组亮度次数、第一车灯组亮度与第二车灯组亮度相同次数和第一车灯组亮度小于第二车灯组亮度次数。
最后，车载终端可根据在该第二预设帧数里统计得到的第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息识别车灯状态，以提高对多种类型车灯状态进行识别的可靠性和准确性。
在一个实施例中，上述实施例中的根据第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息，识别车灯状态，可进一步包括：
当第一车灯组亮度变暗次数或第一车灯组亮度变亮次数大于第六阈值、第一车灯组亮度大于第二车灯组亮度次数大于第七阈值、第一车灯组亮度小于第二车灯组亮度次数小于第八阈值且第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均小于第九阈值时，判断车灯状态为第一方向的转向灯状态；当第二车灯组亮度变暗次数或第二车灯组亮度变亮次数大于第十阈值、第一车灯组亮度大于第二车灯组亮度次数小于第十一阈值、第一车灯组亮度小于第二车灯组亮度次数大于第十二阈值且第一车灯组亮度变暗次数和第一车灯组亮度变亮次数小于第十三阈值时，判断车灯状态为第二方向的转向灯状态。
参考图3（b），车载终端根据在该第二预设帧数里统计得到的第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息，可识别目标车辆的车灯是否处于转向灯状态。
具体的，转向灯状态可以分为三种状态，一种是无转向灯状态，一种是第一方向的转向灯状态，一种是第二方向的转向灯状态。其中，第一方向的转向灯状态可以是左转向灯状态，第二方向的转向灯状态可以是右转向灯状态。由此，当检测到第一车灯组亮度变暗次数或第一车灯组亮度变亮次数大于第六阈值，则说明第一车灯组出现闪烁状态，而且还检测到第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均小于第九阈值，则说明第二车灯组出现闪烁状态，若在此基础上，车载终端还检测到第一车灯组亮度大于第二车灯组亮度次数大于第七阈值且第一车灯组亮度小于第二车灯组亮度次数小于第八阈值，则车载终端可以准确判断出车灯状态为第一方向的转向灯状态也即左转向灯状态。
相应的，当检测到第二车灯组亮度变暗次数或第二车灯组亮度变亮次数大于第十阈值时，说明第二车灯组出现闪烁状态，而且还检测到第一车灯组亮度变暗次数和第一车灯组亮度变亮次数小于第十三阈值，则说明第一车灯组没有出现闪烁状态，若在此基础上，车载终端还检测到第一车灯组亮度大于第二车灯组亮度次数小于第十一阈值并且第一车灯组亮度小于第二车灯组亮度次数大于第十二阈值，则车载终端可以准确判断出车灯状态为第二方向的转向灯状态也即右转向灯状态。
而对于其他情况，车载终端可判断目标车辆没有发出转向灯信号，即目标车辆的车灯状态处于无转向灯亮状态。
示例性的，如图4（a）和图4（b）分别示出了右转向灯和应急双闪灯的信息统计结果。图4（a）表明了识别右转向灯信号时，三种统计信息的直方图分布情况，其中0、1和2分别代表在不同统计维度下信息的分类，以第一帧间亮度变化统计信息为例，0表示第一车灯组亮度变暗次数、1表示第一车灯组亮度不变次数以及2表示第一车灯组亮度变亮次数。在图4（a）当中，第一车灯组亮度小于第二车灯组亮度次数比较多，说明第二车灯组明显亮于第一车灯组亮度的状态，而同时出现第二车灯组亮度变暗次数表明第二车灯组有明暗闪烁变化，符合右转向灯的特征。在图4（b）当中，第一车灯组亮度变暗次数、第一车灯组亮度不变次数、第二车灯组亮度变暗次数、第二车灯组亮度不变次数比较多，说明第一第二灯组都在频繁闪烁，而且第一车灯组亮度大于第二车灯组亮度次数和第一车灯组亮度小于第二车灯组亮度次数比较少，而第一车灯组亮度与第二车灯组亮度相同次数比较多，说明第一车灯组和第二车灯组始终保持同等明暗状态，符合应急双闪灯的信号特征。
在一些实施例中，车载终端可以通过如下方式确定帧间亮度变化信息和相对亮度信息。具体包括：
将前帧车体局部图像和后帧车体局部图像输入至预先构建的车灯信息预测模型，以使车灯信息预测模型通过预先构建的光流预测网络预测后帧车体局部图像相对于前帧车体局部图像的光流后，利用光流将后帧车体局部图像向前帧车体局部图像对齐，并将对齐后的后帧车体局部图像和前帧车体局部图像输入预先构建的标签预测网络，以通过标签预测网络预测并输出分别与第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息预测标签；根据车灯信息预测模型输出的车灯信息预测标签，得到第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息。
本实施例主要是将前帧车体局部图像和后帧车体局部图像作为输入数据，输入到预先构建的车灯信息预测模型中，以通过该车灯信息预测模型预测得到第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息。具体的，车灯信息预测模型可以包括光流预测网络和标签预测网络，而车灯信息预测模型中的光流预测网络和标签预测网络均可以基于卷积神经网络构建得到。其中，卷积神经网络作为一种通过不同神经网络层深度连接构建高复杂度模型，从而学习高层图像特征的机器学习方法，针对特定的任务，设计相应的神经网络模型结构，利用设计的损失函数和基于反向传播算法训练，能够达到提取任务相关高层特征和输出任务对应的回归和分类结果的目的。上述车灯信息预测模型中，光流预测网络用于预测后帧车体局部图像相对于前帧车体局部图像的光流。对于光流，同一三维空间点在前后帧图像成像，分别对应不同的像素点，这两个像素点在图像平面内的位移即为光流的大小，光流用于描述不同图像间像素的对应关系，可用于图像的对齐。
参考图5，本实施例中，车载终端可以将前帧车体局部图像510和后帧车体局部图像520输入至预先构建的车灯信息预测模型，车灯信息预测模型通过光流预测网络预测后帧车体局部图像相对于前帧车体局部图像的光流530，车灯信息预测模型可根据该光流530将后帧车体局部图像520向前帧车体局部图像510对齐，得到对齐后的后帧车体局部图像540，接着将对齐后的后帧车体局部图像540以及前帧车体局部图像510作为输入数据输入至标签预测网络，标签预测网络可以用于基于对齐后的后帧车体局部图像540以及前帧车体局部图像510，预测分别与第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息预测标签，即可以得到对应于第一帧间亮度变化信息的预测标签1、对应于第二帧间亮度变化信息的预测标签2和对应于相对亮度信息的预测标签3。其中，标签预测网络用于根据光流预测网络输出的信息对帧间亮度变化信息和相对亮度信息进行预测。在一些实施例中，该标签预测网络可以包括主干网络和多个标签预测分支，该主干网络可以用于图像特征的提取，主干网络可以将提取的图像特征分别传输至各标签预测分支进行共享。具体的，每个标签预测分支可以用于对不同的信息预测，各标签预测分支可包括相应的全连接层和分类器，分别得到不同的预测标签。
采用本实施例的技术方案，车载终端可将前帧车体局部图像和后帧车体局部图像输入至车灯信息预测模型，即可以端对端以及多任务同时进行的方式预测得到分别与第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息预测标签，而车载终端在获取这些预测标签后可得到第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息。其中，通过端到端的方式，车灯信息预测模型的输出即为车载终端需求的结果，所有中间数据处理环节都包含在神经网络框架中，其输入与输出的映射关系可被直接利用，高效且准确可靠地预测得到帧间亮度变化信息和相对亮度信息。
在一些实施例中，可以通过如下方式训练车灯信息预测模型，具体步骤包括：
获取归属于相邻两帧样本图像的前帧车体局部样本图像和后帧车体局部样本图像；获取对前帧车体局部样本图像和后帧车体局部样本图像标注的分别与第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息样本真实标签；基于前帧车体局部样本图像和后帧车体局部样本图像和车灯信息样本真实标签，对光流预测网络和标签预测网络进行联合训练，得到车灯信息预测模型。
本实施例主要是通过对光流预测网络和标签预测网络进行联合训练构建出车灯信息预测模型。在训练阶段，需要获取样本图像，该样本图像可以包括多组相邻两帧样本图像。如图6（a）和图6（b）示出了两组相邻两帧样本图像，第一样本图像610、第二样本图像620为一组相邻两帧样本图像，第三样本图像630和第四样本图像630为另一组相邻两帧样本图像。对于各组相邻两帧样本图像，可分别提取出相邻两帧样本图像中前帧车体局部样本图像和后帧车体局部样本图像，以车尾作为车体局部为例，可以在相邻两帧样本图像中提取出前帧车尾样本图像和后帧车尾样本图像。
然后获取对前帧车体局部样本图像和后帧车体局部样本图像标注的分别与第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息样本真实标签。具体的，该车灯信息样本真实标签作为训练标签预测网络时的监督信息。
对于真实标签的标注，示例性的，可通过对比两帧图像间两组车灯的明暗变化，将标签分为三类，分别对应于第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息，一类是第一车灯组变化标签，一类是第二车灯组变化标签，以及第一车灯组和第二车灯组的相对亮度标签。
根据具体存在的车灯状态，对于第一车灯组变化标签，可以细分为：L0代表当前帧相较于前一帧，第一车灯组亮度变暗、L1代表当前帧相较于前一帧，第一车灯组亮度不变、L2代表当前帧相较于前一帧，第一车灯组亮度变亮；
对于第二车灯组变化标签，可以细分为：R0代表当前帧相较于前一帧，第二车灯组亮度变暗；R1代表当前帧相较于前一帧，第二车灯组亮度不变；R2代表当前帧相较于前一帧，第二车灯组亮度变亮；
对于相对亮度标签，可以细分为：LR0代表当前帧第一车灯组比第二车灯组亮；LR1代表当前帧第一车灯组和第二车灯组一样亮；LR2代表当前帧第二车灯组比第一车灯组亮；
通过上述方式，可以对每一帧图像进行三个真实标签标注，按此方式搜集对应的图像并标注数据，构成具备真实标签的训练数据集。
然后即可进一步基于前帧车体局部样本图像和后帧车体局部样本图像和车灯信息样本真实标签，对光流预测网络和标签预测网络进行联合训练，得到车灯信息预测模型。也即可以将车灯信息预测模型训练为多任务统一神经网络模型，完成光流预测和标签预测两个任务。其中，对于光流预测网络可以采用无监督光流预测进行训练，标签预测网络则可以基于车灯信息样本真实标签作为监督信息进行训练。
结合图5所示，对光流预测网络和标签预测网络进行联合训练的具体步骤可以包括：将前帧车体局部样本图像和后帧车体局部样本图像作为光流预测网络的输入数据，以使光流预测网络输出后帧车体局部样本图像相对于前帧车体局部样本图像的光流预测结果；其中，该光流预测结果可以用于得到对齐后的后帧车体局部样本图像，然后该对齐后的后帧车体局部样本图像可以与前帧车体局部样本图像一起作为标签预测网络的输入数据，以使标签预测网络通过主干网络提取前帧车体局部样本图像和对齐后的后帧车体局部样本图像的样本图像特征，然后将该样本图像特征作为共享特征分别传输至与前述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的标签预测分支，每个标签预测分支分别输出第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息样本预测标签。
接着，可获取光流预测网络对应的损失函数，以及获取标签预测网络对应的损失函数。在联合训练过程中，对光流预测网络的训练可以采用无监督光流预测网络进行，该无监督光流预测网络可具体采用编码-解码（Encoder-Decoder）的结构来完成稠密光流预测任务。而由于针对光流预测网络的无监督训练没有真实的光流图作为监督训练数据，因此本实施例根据基于光流预测结果得到的对齐后的后帧车体局部样本图像与所述前帧车体局部样本图像的像素一致性Ld构建该光流预测网络对应的损失函数，用于评判预测光流的质量。同时由于在运动产生的遮挡区域存在像素不可见问题，需要增加平滑约束正则函数Ls来保证预测光流的平滑性，所采用的针对光流预测网络训练的损失函数L如下：
Figure 190010DEST_PATH_IMAGE001
Figure 950155DEST_PATH_IMAGE002
Figure 686030DEST_PATH_IMAGE003
其中，α和β为各函数项之间的平衡参数，ρ为Charbonnier惩罚函数，P0和P1表示相邻两帧图像，（x，y）表示图像上像素的坐标，（u，v）表示对应像素点的光流值，∇为梯度算子。
而对于标签预测网络，三个标签预测分支可共享同一特征提取主干网络，最后通过训练不同的分类器分支分别预测三个类别的标签。该标签预测网络对应的损失函数可根据车灯信息样本预测标签与车灯信息样本真实标签的一致性构建，具体可采用交叉熵（Cross Entropy Loss）函数作为标签预测网络对应的损失函数L：
Figure 353772DEST_PATH_IMAGE004
其中，yi为第i个样本图像的预测标签，c为第i个样本图像的真实标签，p(yi)为第i个样本图像的标签为yi的概率．1{}为指示函数，当判断条件为真时值为1，反之值为0。
最后即可基于光流预测网络对应的损失函数和标签预测网络对应的损失函数，训练光流预测网络和标签预测网络，以构建得到一种端到端可训练的多任务统一神经网络模型，避免了传统技术路线中尾灯定位困难和识别精度不高的问题，不需要复杂的计算步骤，仅用一个统一的神经网络模型预测所需要的视觉感知信息，而且可以仅用两帧图像即可输出所需要的感知信息，避免了以长图像序列为输入带来的计算负担，在模型输出的感知信息的基础上，还可以进一步结合如上各实施例提供的鲁棒性高的车灯状态识别方案，能够同时识别刹车灯、转向灯和应急双闪灯等车灯状态。
如图7（a）至图7（d）示出了实际应用中车灯状态的多种识别结果，并且可以在输出的图像上显示出预测标签和车灯状态识别结果，具体的，图7（a）的预测标签为L1，R1和LR2，车灯状态识别结果为右转向灯；图7（b）的预测标签为L2，R1和LR1，车灯状态识别结果为应急双闪灯；图7（c）的预测标签为L1，R1和LR1，车灯状态识别结果为刹车灯；图7（d）的预测标签为L1，R1和LR0，车灯状态识别结果为左转向灯。
本申请提供的技术方案具有如下有益效果：
（1）通过对车灯状态的识别任务的标注方式，从而能够通过组合方式同时识别刹车灯、转向灯和应急双闪灯三种状态，并保持驾驶系统对车灯识别具有较高的鲁棒性；
（2）通过上述标注方式简化了模型预测的标签类型，能够降低卷积神经网络需要的计算复杂度，使车灯信息预测模型能够部署在边缘计算设备上运行，保证了实用性；
（3）使得无监督光流预测分支能够和标签预测分支联合优化训练，保证端到端的网络训练和输出；
（4）基于上述标注方式对应的标签类型，提高驾驶系统对车灯状态的识别的鲁棒性，避免最终的车灯状态识别结果依赖单一的网络预测结果。
因此，本申请提供的对车灯状态进行识别的方案，避免了传统技术先定位车灯位置再分析车灯开关状态的技术路线所存在的缺点，可通过分析车灯的多种明暗变化标签而非车灯的开关状态来识别车灯状态，而对于针对帧间图像的车尾不对齐问题，可通过融合无监督光流预测和尾灯明暗变化预测两个任务，构建得到一种端到端可训练的统一神经网络模型，其中的光流预测结果可用于矫正对齐车辆在连续图像帧间的相对位置，最后根据对车灯信息标签的预测结果，结合统计分析得到车灯状态，从而能够同时识别刹车灯，转向灯和应急双闪灯等多种车灯语义。
在一个实施例中，如图8所示，提供了一种识别车灯状态的装置，该装置800可以包括：
图像获取模块801，用于获取包含目标车辆的相邻两帧图像；
局部确定模块802，用于分别确定所述相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；所述预设车体局部为所述目标车辆上安装第一车灯组和第二车灯组的车体局部；
信息确定模块803，用于利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一车灯组在所述相邻两帧图像中呈现的第一帧间亮度变化信息以及所述第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息；
状态识别模块804，用于基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态。
在一个实施例中，状态识别模块804，进一步用于统计满足第一预设帧数的连续多组相邻两帧图像对应的所述第一帧间亮度变化信息和第二帧间亮度变化信息，得到所述第一车灯组在所述连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息以及所述第二车灯组在所述连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息；根据所述第一帧间亮度变化统计信息和第二帧间亮度变化统计信息，识别所述车灯状态。
在一个实施例中，所述第一帧间亮度变化信息包括：第一车灯组亮度变暗、第一车灯组亮度不变和第一车灯组亮度变亮；所述第二帧间亮度变化信息包括：第二车灯组亮度变暗、第二车灯组亮度不变和第二车灯组亮度变亮；所述第一帧间亮度变化统计信息包括：第一车灯组亮度变暗次数、第一车灯组亮度不变次数和第一车灯组亮度变亮次数；所述第二帧间亮度变化统计信息包括：第二车灯组亮度变暗次数、第二车灯组亮度不变次数和第二车灯组亮度变亮次数；状态识别模块804，进一步用于当所述第一车灯组亮度变暗次数和第一车灯组亮度变亮次数均大于第一阈值，且所述第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均大于第二阈值时，判断所述车灯状态为应急双闪灯状态；当所述第一车灯组亮度变暗次数和第二车灯组亮度变暗次数均小于第三阈值、所述第一车灯组亮度变亮次数和第二车灯组亮度变亮次数均大于第四阈值且所述第一车灯组亮度不变次数和第二车灯组亮度不变次数均大于第五阈值时，判断所述车灯状态为刹车灯状态。
在一个实施例中，信息确定模块803，进一步用于利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一帧间亮度变化信息和第二帧间亮度变化信息，以及所述第一车灯组与所述第二车灯组在所述相邻两帧图像的后帧图像中呈现的相对亮度信息；状态识别模块804，进一步用于基于所述第一帧间亮度变化信息和第二帧间亮度变化信息以及所述相对亮度信息，确定所述车灯状态。
在一个实施例中，状态识别模块804，进一步用于统计满足第二预设帧数的连续多组相邻两帧图像对应的所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息，得到所述第一车灯组在所述连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息、所述第二车灯组在所述连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息以及所述第一车灯组与所述第二车灯组在所述连续多组相邻两帧图像的相应后帧图像中呈现的相对亮度统计信息；根据所述第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息，识别所述车灯状态。
在一个实施例中，所述第一帧间亮度变化信息包括：第一车灯组亮度变暗、第一车灯组亮度不变和第一车灯组亮度变亮；所述第二帧间亮度变化信息包括：第二车灯组亮度变暗、第二车灯组亮度不变和第二车灯组亮度变亮；所述相对亮度信息包括：第一车灯组亮度大于第二车灯组亮度、第一车灯组亮度与第二车灯组亮度相同和第一车灯组亮度小于第二车灯组亮度；所述第一帧间亮度变化统计信息包括：第一车灯组亮度变暗次数、第一车灯组亮度不变次数和第一车灯组亮度变亮次数；所述第二帧间亮度变化统计信息包括：第二车灯组亮度变暗次数、第二车灯组亮度不变次数和第二车灯组亮度变亮次数；所述相对亮度统计信息包括：第一车灯组亮度大于第二车灯组亮度次数、第一车灯组亮度与第二车灯组亮度相同次数和第一车灯组亮度小于第二车灯组亮度次数；状态识别模块804，进一步用于当所述第一车灯组亮度变暗次数或第一车灯组亮度变亮次数大于第六阈值、所述第一车灯组亮度大于第二车灯组亮度次数大于第七阈值、第一车灯组亮度小于第二车灯组亮度次数小于第八阈值且所述第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均小于第九阈值时，判断所述车灯状态为第一方向的转向灯状态；当所述第二车灯组亮度变暗次数或第二车灯组亮度变亮次数大于第十阈值、第一车灯组亮度大于第二车灯组亮度次数小于第十一阈值、第一车灯组亮度小于第二车灯组亮度次数大于第十二阈值且所述第一车灯组亮度变暗次数和第一车灯组亮度变亮次数小于第十三阈值时，判断所述车灯状态为第二方向的转向灯状态。
在一个实施例中，信息确定模块803，进一步用于将所述前帧车体局部图像和后帧车体局部图像输入至预先构建的车灯信息预测模型，以使所述车灯信息预测模型通过预先构建的光流预测网络预测所述后帧车体局部图像相对于所述前帧车体局部图像的光流后，利用所述光流将所述后帧车体局部图像向所述前帧车体局部图像对齐，并将对齐后的后帧车体局部图像和所述前帧车体局部图像输入预先构建的标签预测网络，以通过所述标签预测网络预测并输出分别与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息预测标签；根据所述车灯信息预测模型输出的所述车灯信息预测标签，得到所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息。
在一个实施例中，上述装置800还可以包括：模型构建模块，用于获取归属于相邻两帧样本图像的前帧车体局部样本图像和后帧车体局部样本图像；获取对所述前帧车体局部样本图像和后帧车体局部样本图像标注的分别与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息样本真实标签；基于所述前帧车体局部样本图像和后帧车体局部样本图像和所述车灯信息样本真实标签，对所述光流预测网络和所述标签预测网络进行联合训练，得到所述车灯信息预测模型。
在一个实施例中，模型构建模块，进一步用于将所述前帧车体局部样本图像和后帧车体局部样本图像作为所述光流预测网络的输入数据，以使所述光流预测网络输出所述后帧车体局部样本图像相对于所述前帧车体局部样本图像的光流预测结果；其中，所述光流预测网络对应的损失函数根据基于所述光流预测结果得到的对齐后的后帧车体局部样本图像与所述前帧车体局部样本图像的像素一致性构建；将所述前帧车体局部样本图像和所述对齐后的后帧车体局部样本图像作为所述标签预测网络的输入数据，以使所述标签预测网络通过主干网络提取所述前帧车体局部样本图像和对齐后的后帧车体局部样本图像的样本图像特征后，分别传输至与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的标签预测分支，输出分别与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息样本预测标签；其中，所述标签预测网络对应的损失函数根据所述车灯信息样本预测标签与所述车灯信息样本真实标签的一致性构建；基于所述光流预测网络对应的损失函数和所述标签预测网络对应的损失函数，训练所述光流预测网络和标签预测网络。
关于识别车灯状态的装置的具体限定可以参见上文中对于识别车灯状态的方法的限定，在此不再赘述。上述识别车灯状态的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是车载终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种识别车灯状态的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种识别车灯状态的方法，其特征在于，所述方法包括：
获取包含目标车辆的相邻两帧图像；
分别确定所述相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；所述预设车体局部为所述目标车辆上安装第一车灯组和第二车灯组的车体局部；
利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一车灯组在所述相邻两帧图像中呈现的第一帧间亮度变化信息以及所述第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息；包括：利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一帧间亮度变化信息和第二帧间亮度变化信息，以及所述第一车灯组与所述第二车灯组在所述相邻两帧图像的后帧图像中呈现的相对亮度信息；所述相对亮度信息为所述第一车灯组与第二车灯组在同一帧图像上的相对亮度信息；所述相对亮度信息包括：第一车灯组亮度大于第二车灯组亮度、第一车灯组亮度与第二车灯组亮度相同和第一车灯组亮度小于第二车灯组亮度；
基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态；其中，
所述基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态，包括：
基于所述第一帧间亮度变化信息和第二帧间亮度变化信息以及所述相对亮度信息，确定所述车灯状态；
或者，
统计满足第一预设帧数的连续多组相邻两帧图像对应的所述第一帧间亮度变化信息和第二帧间亮度变化信息，得到所述第一车灯组在所述连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息以及所述第二车灯组在所述连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息；所述第一帧间亮度变化信息包括：第一车灯组亮度变暗、第一车灯组亮度不变和第一车灯组亮度变亮；所述第二帧间亮度变化信息包括：第二车灯组亮度变暗、第二车灯组亮度不变和第二车灯组亮度变亮；所述第一帧间亮度变化统计信息包括：第一车灯组亮度变暗次数、第一车灯组亮度不变次数和第一车灯组亮度变亮次数；所述第二帧间亮度变化统计信息包括：第二车灯组亮度变暗次数、第二车灯组亮度不变次数和第二车灯组亮度变亮次数；
当所述第一车灯组亮度变暗次数和第一车灯组亮度变亮次数均大于第一阈值，且所述第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均大于第二阈值时，判断所述车灯状态为应急双闪灯状态；
当所述第一车灯组亮度变暗次数和第二车灯组亮度变暗次数均小于第三阈值、所述第一车灯组亮度变亮次数和第二车灯组亮度变亮次数均大于第四阈值且所述第一车灯组亮度不变次数和第二车灯组亮度不变次数均大于第五阈值时，判断所述车灯状态为刹车灯状态。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一帧间亮度变化信息和第二帧间亮度变化信息以及所述相对亮度信息，确定所述车灯状态，包括：
统计满足第二预设帧数的连续多组相邻两帧图像对应的所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息，得到所述第一车灯组在所述连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息、所述第二车灯组在所述连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息以及所述第一车灯组与所述第二车灯组在所述连续多组相邻两帧图像的相应后帧图像中呈现的相对亮度统计信息；
根据所述第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息，识别所述车灯状态。
3.根据权利要求2所述的方法，其特征在于，所述相对亮度统计信息包括：第一车灯组亮度大于第二车灯组亮度次数、第一车灯组亮度与第二车灯组亮度相同次数和第一车灯组亮度小于第二车灯组亮度次数；
所述根据所述第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息，识别所述车灯状态，包括：
当所述第一车灯组亮度变暗次数或第一车灯组亮度变亮次数大于第六阈值、所述第一车灯组亮度大于第二车灯组亮度次数大于第七阈值、第一车灯组亮度小于第二车灯组亮度次数小于第八阈值且所述第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均小于第九阈值时，判断所述车灯状态为第一方向的转向灯状态；
当所述第二车灯组亮度变暗次数或第二车灯组亮度变亮次数大于第十阈值、第一车灯组亮度大于第二车灯组亮度次数小于第十一阈值、第一车灯组亮度小于第二车灯组亮度次数大于第十二阈值且所述第一车灯组亮度变暗次数和第一车灯组亮度变亮次数小于第十三阈值时，判断所述车灯状态为第二方向的转向灯状态。
4.根据权利要求1所述的方法，其特征在于，所述利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一帧间亮度变化信息和第二帧间亮度变化信息，以及所述第一车灯组与所述第二车灯组在所述相邻两帧图像的后帧图像中呈现的相对亮度信息，包括：
将所述前帧车体局部图像和后帧车体局部图像输入至预先构建的车灯信息预测模型，以使所述车灯信息预测模型通过预先构建的光流预测网络预测所述后帧车体局部图像相对于所述前帧车体局部图像的光流后，利用所述光流将所述后帧车体局部图像向所述前帧车体局部图像对齐，并将对齐后的后帧车体局部图像和所述前帧车体局部图像输入预先构建的标签预测网络，以通过所述标签预测网络预测并输出分别与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息预测标签；
根据所述车灯信息预测模型输出的所述车灯信息预测标签，得到所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息。
5.根据权利要求4所述的方法，其特征在于，还包括步骤：
获取归属于相邻两帧样本图像的前帧车体局部样本图像和后帧车体局部样本图像；
获取对所述前帧车体局部样本图像和后帧车体局部样本图像标注的分别与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息样本真实标签；
基于所述前帧车体局部样本图像和后帧车体局部样本图像和所述车灯信息样本真实标签，对所述光流预测网络和所述标签预测网络进行联合训练，得到所述车灯信息预测模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述前帧车体局部样本图像和后帧车体局部样本图像和所述车灯信息样本真实标签，对所述光流预测网络和所述标签预测网络进行联合训练，包括：
将所述前帧车体局部样本图像和后帧车体局部样本图像作为所述光流预测网络的输入数据，以使所述光流预测网络输出所述后帧车体局部样本图像相对于所述前帧车体局部样本图像的光流预测结果；其中，所述光流预测网络对应的损失函数根据基于所述光流预测结果得到的对齐后的后帧车体局部样本图像与所述前帧车体局部样本图像的像素一致性构建；
将所述前帧车体局部样本图像和所述对齐后的后帧车体局部样本图像作为所述标签预测网络的输入数据，以使所述标签预测网络通过主干网络提取所述前帧车体局部样本图像和对齐后的后帧车体局部样本图像的样本图像特征后，分别传输至与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的标签预测分支，输出分别与所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息对应的车灯信息样本预测标签；其中，所述标签预测网络对应的损失函数根据所述车灯信息样本预测标签与所述车灯信息样本真实标签的一致性构建；
基于所述光流预测网络对应的损失函数和所述标签预测网络对应的损失函数，训练所述光流预测网络和标签预测网络。
7.一种识别车灯状态的装置，其特征在于，包括：
图像获取模块，用于获取包含目标车辆的相邻两帧图像；
局部确定模块，用于分别确定所述相邻两帧图像中对应于预设车体局部的车体局部图像，得到前帧车体局部图像和后帧车体局部图像；所述预设车体局部为所述目标车辆上安装第一车灯组和第二车灯组的车体局部；
信息确定模块，用于利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一车灯组在所述相邻两帧图像中呈现的第一帧间亮度变化信息以及所述第二车灯组在所述相邻两帧图像中呈现的第二帧间亮度变化信息；包括：利用所述前帧车体局部图像和后帧车体局部图像，确定所述第一帧间亮度变化信息和第二帧间亮度变化信息，以及所述第一车灯组与所述第二车灯组在所述相邻两帧图像的后帧图像中呈现的相对亮度信息；所述相对亮度信息为所述第一车灯组与第二车灯组在同一帧图像上的相对亮度信息；所述相对亮度信息包括：第一车灯组亮度大于第二车灯组亮度、第一车灯组亮度与第二车灯组亮度相同和第一车灯组亮度小于第二车灯组亮度；
状态识别模块，用于基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态；其中，
所述基于所述第一帧间亮度变化信息和第二帧间亮度变化信息，识别所述目标车辆的车灯状态，包括：
基于所述第一帧间亮度变化信息和第二帧间亮度变化信息以及所述相对亮度信息，确定所述车灯状态；
或者，
统计满足第一预设帧数的连续多组相邻两帧图像对应的所述第一帧间亮度变化信息和第二帧间亮度变化信息，得到所述第一车灯组在所述连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息以及所述第二车灯组在所述连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息；所述第一帧间亮度变化信息包括：第一车灯组亮度变暗、第一车灯组亮度不变和第一车灯组亮度变亮；所述第二帧间亮度变化信息包括：第二车灯组亮度变暗、第二车灯组亮度不变和第二车灯组亮度变亮；所述第一帧间亮度变化统计信息包括：第一车灯组亮度变暗次数、第一车灯组亮度不变次数和第一车灯组亮度变亮次数；所述第二帧间亮度变化统计信息包括：第二车灯组亮度变暗次数、第二车灯组亮度不变次数和第二车灯组亮度变亮次数；
当所述第一车灯组亮度变暗次数和第一车灯组亮度变亮次数均大于第一阈值，且所述第二车灯组亮度变暗次数和第二车灯组亮度变亮次数均大于第二阈值时，判断所述车灯状态为应急双闪灯状态；
当所述第一车灯组亮度变暗次数和第二车灯组亮度变暗次数均小于第三阈值、所述第一车灯组亮度变亮次数和第二车灯组亮度变亮次数均大于第四阈值且所述第一车灯组亮度不变次数和第二车灯组亮度不变次数均大于第五阈值时，判断所述车灯状态为刹车灯状态。
8.根据权利要求7所述的装置，其特征在于，所述状态识别模块，进一步用于统计满足第二预设帧数的连续多组相邻两帧图像对应的所述第一帧间亮度变化信息、第二帧间亮度变化信息和相对亮度信息，得到所述第一车灯组在所述连续多组相邻两帧图像中呈现的第一帧间亮度变化统计信息、所述第二车灯组在所述连续多组相邻两帧图像中呈现的第二帧间亮度变化统计信息以及所述第一车灯组与所述第二车灯组在所述连续多组相邻两帧图像的相应后帧图像中呈现的相对亮度统计信息；根据所述第一帧间亮度变化统计信息、第二帧间亮度变化统计信息和相对亮度统计信息，识别所述车灯状态。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202010998252.3A 2020-09-22 2020-09-22 识别车灯状态的方法、装置、计算机设备和存储介质 Active CN111931715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010998252.3A CN111931715B (zh) 2020-09-22 2020-09-22 识别车灯状态的方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010998252.3A CN111931715B (zh) 2020-09-22 2020-09-22 识别车灯状态的方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111931715A CN111931715A (zh) 2020-11-13
CN111931715B true CN111931715B (zh) 2021-02-09

Family

ID=73333535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010998252.3A Active CN111931715B (zh) 2020-09-22 2020-09-22 识别车灯状态的方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111931715B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699781A (zh) * 2020-12-29 2021-04-23 上海眼控科技股份有限公司 车灯状态检测方法、装置、计算机设备和可读存储介质
CN112949470A (zh) * 2021-02-26 2021-06-11 上海商汤智能科技有限公司 车辆变道转向灯识别方法、装置、设备及存储介质
CN112926476A (zh) * 2021-03-08 2021-06-08 京东鲲鹏(江苏)科技有限公司 车辆识别方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529411A (zh) * 2016-10-11 2017-03-22 北京小米移动软件有限公司 车辆提示方法及装置
CN108197523A (zh) * 2017-05-15 2018-06-22 武汉光庭科技有限公司 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统
CN111382735A (zh) * 2018-12-29 2020-07-07 浙江宇视科技有限公司 夜间车辆检测方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977007B1 (en) * 2013-04-23 2015-03-10 Google Inc. Detecting a vehicle signal through image differencing and filtering
CN108052893B (zh) * 2017-12-11 2020-05-26 浙江大华技术股份有限公司 一种识别远光灯是否开启的方法及设备
CN110646173A (zh) * 2019-09-30 2020-01-03 青岛讯极科技有限公司 一种远光灯持续开启的检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529411A (zh) * 2016-10-11 2017-03-22 北京小米移动软件有限公司 车辆提示方法及装置
CN108197523A (zh) * 2017-05-15 2018-06-22 武汉光庭科技有限公司 基于图像转换及轮廓邻域差异的夜间车辆检测方法及系统
CN111382735A (zh) * 2018-12-29 2020-07-07 浙江宇视科技有限公司 夜间车辆检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111931715A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931715B (zh) 识别车灯状态的方法、装置、计算机设备和存储介质
CN110660254B (zh) 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
EP3859708B1 (en) Traffic light image processing method and device, and roadside device
CN112733818B (zh) 基于注意力机制的车灯状态识别方法、装置、终端和介质
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
Ciberlin et al. Object detection and object tracking in front of the vehicle using front view camera
CN111932596B (zh) 摄像头遮挡区域的检测方法、装置、设备和存储介质
CN112766038B (zh) 一种根据图像识别的车辆跟踪方法
US11495022B2 (en) Method for recognizing an object of a mobile unit
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN110263623A (zh) 列车攀爬监测方法、装置、终端及存储介质
CN111738109A (zh) 一种基于深度学习的厢式货车厢门状态识别方法
US11900690B2 (en) Apparatus, method, and computer program for identifying state of signal light, and controller
CN114359196A (zh) 雾气检测方法及系统
CN110909607B (zh) 一种智慧地铁运营中客流感知的装置系统
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
Pan et al. Traffic Light Detection for Self-Driving Vehicles Based on Deep Learning
Schörkhuber et al. Feature selection and multi-task learning for pedestrian crossing prediction
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
CN117068036A (zh) 灯光调节方法、装置及存储介质
CN113569774B (zh) 一种基于持续学习的语义分割方法及系统
US20240185566A1 (en) Machine learning and computer vision solutions to seamless vehicle identification and environmental tracking therefor
CN112180285B (zh) 识别交通信号灯故障的方法、装置、导航系统和路侧设备
US20240185569A1 (en) Machine learning and computer vision solutions to seamless vehicle identification and environmental tracking therefor
CN116935168B (zh) 目标检测的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 1101, west block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address