CN108509907B - 车灯检测方法、实现智能驾驶的方法、装置、介质及设备 - Google Patents

车灯检测方法、实现智能驾驶的方法、装置、介质及设备 Download PDF

Info

Publication number
CN108509907B
CN108509907B CN201810278351.7A CN201810278351A CN108509907B CN 108509907 B CN108509907 B CN 108509907B CN 201810278351 A CN201810278351 A CN 201810278351A CN 108509907 B CN108509907 B CN 108509907B
Authority
CN
China
Prior art keywords
vehicle
car
lamp
image
external frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810278351.7A
Other languages
English (en)
Other versions
CN108509907A (zh
Inventor
刘诗男
曾星宇
闫俊杰
王晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810278351.7A priority Critical patent/CN108509907B/zh
Publication of CN108509907A publication Critical patent/CN108509907A/zh
Priority to SG11201909146W priority patent/SG11201909146WA/en
Priority to PCT/CN2019/079300 priority patent/WO2019184825A1/zh
Priority to US16/588,126 priority patent/US10984266B2/en
Application granted granted Critical
Publication of CN108509907B publication Critical patent/CN108509907B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Atmospheric Sciences (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请的实施方式公开了一种车灯检测方法、神经网络的训练方法、用于实现智能驾驶的方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的车灯检测方法包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。

Description

车灯检测方法、实现智能驾驶的方法、装置、介质及设备
技术领域
本申请涉及计算机视觉技术，尤其是涉及一种车灯检测方法、车灯检测装置、神经网络的训练方法、神经网络的训练装置、用于实现智能驾驶的方法、用于实现智能驾驶的装置、电子设备、计算机可读存储介质以及计算机程序。
背景技术
在智能驾驶技术中，准确的对车辆周围信息进行检测和判别，对于智能驾驶车辆行驶路线的选择以及车辆规避制动等决策，是非常重要的。
车辆上的车灯往往可以起到，向其他车辆以及行人等，传达相应信息(如左转弯、右转弯或者刹车等)的作用。准确识别行驶环境中的其他车辆的车灯所传达的信息，对于智能驾驶的决策而言，是具有一定的意义的。
发明内容
本申请实施方式提供一种车灯检测、训练神经网络以及用于实现智能驾驶的技术方案。
根据本申请实施方式其中一方面，提供一种车灯检测方法，所述方法包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。
在本申请一实施方式中，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。
在本申请又一实施方式中，所述方法还包括：根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息。
在本申请再一实施方式中，所述方法还包括：根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
在本申请再一实施方式中，所述方法在根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息之前，还包括：针对存在时序关系的多个图像块，根据车灯检测结果，进行车灯外接框漏检和/或车灯外接框平滑处理，以获得修正的各图像块中的车灯外接框信息。
在本申请再一实施方式中，所述针对存在时序关系的多个图像块，根据车灯检测结果，进行车灯外接框漏检和/或车灯外接框平滑处理包括：根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识；根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检和/或车灯外接框平滑处理。
在本申请再一实施方式中，所述根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检和/或车灯外接框平滑处理包括：针对一车灯标识而言，根据位于第m1个图像块之前的n1个图像块中的具有所述车灯标识的车灯外接框的位置，预测第m1个图像块中的具有所述车灯标识的车灯外接框的位置；基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理。
在本申请再一实施方式中，所述基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理包括：在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据所述预测的车灯外接框的位置，为第m1个图像块添加车灯外接框；或者，在第m1个图像块中存在具有所述车灯标识的车灯外接框的情况下，对所述预测的车灯外接框的位置以及第m1个图像块中的具有所述车灯标识的车灯外接框的位置进行加权平均处理。
在本申请再一实施方式中，所述车灯指示信息包括：单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭以及双侧车灯全亮中的至少一个。
在本申请再一实施方式中，所述根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息包括：针对存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定所述车灯指示信息。
在本申请再一实施方式中，所述图像块为待处理图像；或者，所述图像块为待处理图像中包含车辆的局部图像，或者，所述图像块为基于待处理图像中包含车辆的局部图像处理而得到的图像块。
在本申请再一实施方式中，所述获取包含有车辆的图像块包括：对待处理图像进行车辆检测，并根据车辆检测结果，对所述待处理图像进行切分，以获得包含有车辆的所述图像块。
在本申请再一实施方式中，所述对待处理图像进行车辆检测包括：利用车辆检测模型对所述待处理图像进行车辆检测，以获得所述待处理图像中的车辆外接框信息。
在本申请再一实施方式中，所述对待处理图像进行车辆检测还包括：针对存在时序关系的多个待处理图像，进行车辆外接框漏检和/或车辆外接框平滑处理，以获得修正的各待处理图像中的车辆外接框信息。
在本申请再一实施方式中，所述针对存在时序关系的多个待处理图像，进行车辆外接框漏检和/或平滑处理包括：根据存在时序关系的多个待处理图像及其车辆外接框信息，获取各车辆外接框所对应的车辆标识；根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检和/或车辆外接框平滑处理。
在本申请再一实施方式中，所述根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检和/或车辆外接框平滑处理包括：针对一车辆标识而言，根据位于第m2个待处理图像之前的n2个待处理图像中的具有所述车辆标识的车辆外接框的位置，预测第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置；基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理。
在本申请再一实施方式中，所述基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理包括：在第m2个待处理图像中不存在具有所述车辆标识的车辆外接框的情况下，根据所述预测的车辆外接框的位置，为第m2个待处理图像添加车辆外接框；或者，在第m2个待处理图像中存在具有所述车辆标识的车辆外接框的情况下，对所述预测的车辆外接框的位置以及第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置进行加权平均处理。
在本申请再一实施方式中，所述深度神经网络包括：快速区域卷积神经网络Faster RCNN。
在本申请再一实施方式中，所述深度神经网络是利用带有车灯标注信息的样本图像块训练获得的。
在本申请再一实施方式中，所述训练所述深度神经网络的过程包括：获取包括有车辆的样本图像块；经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。
在本申请再一实施方式中，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。
根据本申请实施方式的其中再一方面，提供一种神经网络的训练方法，所述方法包括：获取包括有车辆的样本图像块；经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。
在本申请一实施方式中，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。
根据本申请实施方式其中再一方面，提供一种用于实现智能驾驶的方法，所述方法包括：获取包含有车辆的图像块；经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息；根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
根据本申请实施方式其中再一方面，提供一种车灯检测装置，所述装置包括：获取图像块模块，用于获取包含有车辆的图像块；第一车灯检测模块，用于经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。
在本申请一实施方式中，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。
在本申请又一实施方式中，所述装置还包括：确定车灯指示模块，用于根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息。
在本申请再一实施方式中，所述装置还包括：智能控制模块，用于根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
在本申请再一实施方式中，所述装置还包括：第一修正模块，用于针对存在时序关系的多个图像块，根据车灯检测结果，进行车灯外接框漏检和/或车灯外接框平滑处理，以获得修正的各图像块中的车灯外接框信息。
在本申请再一实施方式中，所述第一修正模块包括：第一单元，用于根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识；第二单元，用于根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检和/或车灯外接框平滑处理。
在本申请再一实施方式中，所述第二单元进一步用于：针对一车灯标识而言，根据位于第m1个图像块之前的n1个图像块中的具有所述车灯标识的车灯外接框的位置，预测第m1个图像块中的具有所述车灯标识的车灯外接框的位置；基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理。
在本申请再一实施方式中，所述第二单元进一步用于：在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据所述预测的车灯外接框的位置，为第m1个图像块添加车灯外接框；或者，在第m1个图像块中存在具有所述车灯标识的车灯外接框的情况下，对所述预测的车灯外接框的位置以及第m1个图像块中的具有所述车灯标识的车灯外接框的位置进行加权平均处理。
在本申请再一实施方式中，所述车灯指示信息包括：单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭以及双侧车灯全亮中的至少一个。
在本申请再一实施方式中，所述确定车灯指示模块进一步用于：针对存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定所述车灯指示信息。
在本申请再一实施方式中，所述图像块为待处理图像；或者，所述图像块为待处理图像中包含车辆的局部图像，或者，所述图像块为基于待处理图像中包含车辆的局部图像处理而得到的图像块。
在本申请再一实施方式中，所述获取图像块模块包括：检测模块，用于对待处理图像进行车辆检测；切分模块，用于根据车辆检测结果，对所述待处理图像进行切分，以获得包含有车辆的所述图像块。
在本申请再一实施方式中，所述检测模块进一步用于：利用车辆检测模型对所述待处理图像进行车辆检测，以获得所述待处理图像中的车辆外接框信息。
在本申请再一实施方式中，所述获取图像块模块还包括：第二修正模块，用于针对存在时序关系的多个待处理图像，进行车辆外接框漏检和/或车辆外接框平滑处理，以获得修正的各待处理图像中的车辆外接框信息。
在本申请再一实施方式中，所述第二修正模块包括：第三模块，用于根据存在时序关系的多个待处理图像及其车辆外接框信息，获取各车辆外接框所对应的车辆标识；第四模块，用于根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检和/或车辆外接框平滑处理。
在本申请再一实施方式中，所述第四模块进一步用于：针对一车辆标识而言，根据位于第m2个待处理图像之前的n2个待处理图像中的具有所述车辆标识的车辆外接框的位置，预测第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置；基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理。
在本申请再一实施方式中，所述第四模块进一步用于：在第m2个待处理图像中不存在具有所述车辆标识的车辆外接框的情况下，根据所述预测的车辆外接框的位置，为第m2个待处理图像添加车辆外接框；或者，在第m2个待处理图像中存在具有所述车辆标识的车辆外接框的情况下，对所述预测的车辆外接框的位置以及第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置进行加权平均处理。
在本申请再一实施方式中，所述深度神经网络包括：快速区域卷积神经网络Faster RCNN。
在本申请再一实施方式中，所述深度神经网络是，神经网络的训练装置利用带有车灯标注信息的样本图像块训练获得的。
在本申请再一实施方式中，所述神经网络的训练装置包括：获取样本图像块模块，用于获取包括有车辆的样本图像块；第二车灯检测模块，用于经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；监督模块，用于以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。
在本申请再一实施方式中，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。
根据本申请实施方式的其中再一方面，提供一种神经网络的训练装置，所述装置包括：获取样本图像块模块，用于获取包括有车辆的样本图像块；第二车灯检测模块，用于经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；监督模块，用于以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。
在本申请一实施方式中，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。
根据本申请实施方式的其中再一方面，提供一种用于实现智能驾驶的装置，所述装置包括：获取图像块模块，用于获取包含有车辆的图像块；第一车灯检测模块，用于经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；确定车灯指示模块，用于根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息；智能控制模块，用于根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
根据本申请实施方式再一方面，提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本申请任一方法实施方式。
根据本申请实施方式再一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一方法实施方式。
根据本申请实施方式的再一个方面，提供一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一方法实施方式。
基于本申请提供的上述车灯检测方法、车灯检测装置、神经网络的训练方法、神经网络的训练装置、用于实现智能驾驶的方法、用于实现智能驾驶的装置、电子设备、计算机可读存储介质及计算机程序，本申请通过利用深度神经网络对包含有车辆的图像块进行车灯检测，有利于快速且准确的获得图像块的车灯检测结果，从而有利于使本申请的车灯检测技术应用于自动驾驶、辅助驾驶等智能驾驶的实时环境中，进而有利于提高智能驾驶的决策准确性或预警准确性。
下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请的车灯检测方法一个实施方式的流程图；
图2为本申请的待处理图像的一个实施方式的示意图；
图3为本申请的神经网络的训练方法一个实施方式的流程图；
图4为本申请的用于实现智能驾驶的方法一个实施方式的流程图；
图5为本申请的车灯检测结果的一个实施方式示意图；
图6为本申请的车灯检测结果的另一个实施方式示意图；
图7为本申请的车灯检测装置一个实施方式的结构示意图；
图8为本申请的神经网络的训练装置一个实施方式的结构示意图；
图9为本申请的用于实现智能驾驶的装置一个实施方式的结构示意图；
图10为实现本申请实施方式的一示例性设备的框图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法以及设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应当注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其它通用或者专用的计算系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性实施例
图1为本申请车灯检测方法一个实施例的流程图。如图1所示，该实施例方法包括：
S100、获取包含有车辆的图像块。
S110、经由深度神经网络对图像块进行车灯检测，以获取车灯检测结果。
本申请通过利用深度神经网络对包含有车辆的图像块进行车灯检测，有利于快速且准确的获得图像块的车灯检测结果，从而有利于使本申请的车灯检测技术应用于自动驾驶、辅助驾驶等智能驾驶的实时环境中，进而有利于提高智能驾驶的决策准确性或预警准确性。
在一个可选示例中，本申请中的包含有车辆的图像块可以为整个待处理图像，也可以为待处理图像中的包含有车辆的局部图像。另外，本申请中的包含有车辆的图像块还可以为通过针对待处理图像中的包含有车辆的局部图像进行处理，而得到的图像块。
在一个可选示例中，本申请中的待处理图像可以为呈现静态的图片或照片等图像，也可以为呈现动态的视频中的视频帧，例如，车辆中设置的摄像装置所摄取到的视频中的视频帧。该待处理图像中的车辆可以为摄像装置摄取到的位于其所在车辆的后方(包括正后方以及侧后方等)的车辆，也可以为摄像装置摄取到的位于其所在车辆的前方(包括正前方以及侧前方等)的车辆，还可以为摄像装置摄取到的位于其所在车辆的正侧方的车辆。本申请不限制待处理图像中的车辆相对于摄像装置所在车辆的具体位置关系。
在一个可选示例中，本申请的图像块中所包含的车辆可以是完整的车辆(如图2中最右侧的车辆)，也可以是由于遮挡等原因而造成的局部部分车辆(即车辆的局部，如图2中左侧的多个车辆等)。本申请不限制待处理图像中的车辆的具体表现形态。
在一个可选示例中，本申请可以通过对待处理图像进行车辆检测，从而获得车辆检测结果，进而根据车辆检测结果，对待处理图像进行切分处理，可以获得包含有车辆的图像块，从而有利于提高车灯检测的准确性。在待处理图像中包含有多个车辆的情况下，本申请可以从待处理图像中切分出多个包含有车辆的图像块。上述车辆检测结果可以为车辆外接框信息，例如，位于车辆外接框对角线上的两个顶点坐标等。
在一个可选示例中，本申请可以利用神经网络，对待处理图像进行车辆检测，从而可以根据神经网络输出的信息获得车辆检测结果。例如，本申请可以使用车辆检测模型(该车辆检测模型可以为用于车辆检测的神经网络)等，对待处理图像进行车辆检测处理。在一些可选示例中，本申请中的车辆检测模型可以为R-CNN(Regions with ConvolutionalNeural Network，区域卷积神经网络)、Fast R-CNN(快速区域卷积神经网络)或者FasterR-CNN(更快速区域卷积神经网络)等。本申请不限制对待处理图像进行车辆检测处理，以获得包含有车辆的图像块的具体实现方式。本申请也不限制车辆检测模型(如用于车辆检测的神经网络)的具体结构等。本申请通过使用车辆检测模型从待处理图像中检测出车辆，并从待处理图像中切分出包含有车辆的图像块，有利于避免待处理图像中的非车辆信息对车灯检测的干扰，从而有利于降低车灯检测的虚检率，进而有利于提高车灯检测的准确性。
在一个可选示例中，本申请中的图像块的大小通常与深度神经网络对输入图像的尺寸要求相关，例如，图像块的大小可以为256×256等。本申请中的深度神经网络即用于车灯检测的深度神经网络。为了获得具有预定大小的图像块，本申请可以先对待处理图像进行缩放处理，然后，按照预定大小从缩放处理后的待处理图像中切分出包含有车辆的图像块。本申请可以根据车辆检测结果(如车辆外接框信息)对待处理图像进行缩放处理，以便于使剪切出的包含有车辆的图像块具有预定大小。在针对一个待处理图像的车辆检测结果包括多个车辆外接框信息的情况下，本申请可以针对每一个车辆外接框信息，分别对该待处理图像进行相应的缩放处理，从而使基于该待处理图像而获得的每一个图像块分别具有预定大小。另外，本申请也可以先进行切分处理，再进行缩放处理。本申请对图像块的大小以及缩放处理的具体实现方式不作限制。
在一个可选示例中，本申请可以针对神经网络(如车辆检测模型)输出的车辆检测结果，进行车辆外接框漏检以及车辆外接框平滑处理中的至少一个(如在对待处理图像进行切分处理前，执行车辆外接框漏检以及车辆外接框平滑处理)，从而可以有利于提高车辆检测结果的准确性，进而有利于提高车灯检测结果的准确性。一个可选例子，在针对视频中的多个视频帧进行车辆检测的情况下，多个视频帧通常存在时序关系(如视频中连续排列的视频帧，再如针对视频进行抽帧，基于抽帧的结果而形成的多个连续抽取出的视频帧)，本申请可以针对多个存在时序关系的视频帧(即待处理图像)进行车辆外接框漏检以及车辆外接框平滑处理，从而可以获得车辆检测模型漏检的车辆外接框信息，并可以对车辆检测模型输出的车辆外接框信息进行位置校正。例如，根据位于第n2视频帧之前的多个视频帧中的车辆外接框，来补全第n2视频帧中未被检测出的车辆外接框；再例如，根据位于第n2视频帧之前的多个视频帧中的车辆外接框，对第n2视频帧中的相应车辆外接框的位置进行校正。本申请可以根据车辆外接框漏检以及车辆外接框平滑处理后的各车辆外接框信息，分别对相应的待处理图像进行切分处理，从而获得存在时序关系的多个包含有车辆的图像块。
在一个可选示例中，本申请可以先获得存在时序关系的多个待处理图像中的图像块(即车辆外接框信息)，然后，再针对存在时序关系的多个待处理图像以及车辆外接框信息，进行车辆外接框漏检处理以及车辆外接框平滑处理。
在一个可选示例中，本申请获得存在时序关系的多个待处理图像中的图像块的一个具体例子为：将存在时序关系的多个待处理图像及其各待处理图像中的车辆外接框信息，分别提供给车辆跟踪模型(该车辆跟踪模型可以为目标对象为车辆的物体跟踪模型)，本申请可以根据车辆跟踪模型输出的信息，获得每一个车辆外接框所对应的车辆标识。由此，本申请可以成功建立各车辆分别与相应的待处理图像之间的关联关系。由于本申请中的图像块可以是基于车辆外接框信息对待处理图像进行切分而产生的，因此，车辆外接框所对应的车辆标识，也可以称为图像块标识，包含有相同车辆的图像块的图像块标识通常相同，而包含不同车辆的图像块的图像块标识通常不相同，由此有利于实现多车情形下各车的车灯检测。
在一个可选示例中，本申请中的车辆跟踪模型可以为基于前后相邻的两视频帧对比的CNN或者RNN(Recurrent Neural Networks，循环神经网络)等。
在一个可选示例中，本申请可以根据存在时序关系的多个待处理图像及其图像块标识，进行车辆外接框漏检以及车辆外接框平滑处理，例如，可以采用下述公式(1)针对当前视频帧进行车辆外接框漏检以及车辆外接框平滑处理：
Figure GDA0002650690890000111
在上述公式(1)中，a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3以及c4均为线性方程(即公式(1))的参数，t表示当前时刻之前的第t个时刻(如t＝0、......、t＝8，每一个时刻对应一个视频帧，即每一个时刻对应一个待处理图像)，Δx表示前一视频帧中的车辆外接框的中心点横坐标与下一视频帧中的具有相同车辆标识的车辆外接框的中心点横坐标之间的差值，Δy表示前一视频帧中的车辆外接框的中心点纵坐标与下一视频帧中的具有相同车辆标识的车辆外接框的中心点纵坐标之间的差值，Δw表示前一视频帧中的车辆外接框的宽度与下一视频帧中的具有相同车辆标识的车辆外接框的宽度之间的差值，Δh表示前一视频帧中的车辆外接框的高度与下一视频帧中的具有相同车辆标识的车辆外接框的高度之间的差值。
本申请可以根据当前视频帧(即当前时刻)的前N(如N＝8)个视频帧(即前N个时刻)中的具有相同车辆标识的车辆外接框信息，计算出上述公式(1)中的线性方程参数a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3以及c4。从而本申请可以在已知上述公式(1)的参数的情况下，利用上述公式(1)计算出当前视频帧对应的Δx、Δy、Δw以及Δh，针对一车辆标识而言，本申请可以根据当前视频帧的上一视频帧中具有该车辆标识的车辆外接框的位置以及上述计算出的当前视频帧对应的Δx、Δy、Δw以及Δh，预测出当前视频帧中的具有该车辆标识的车辆外接框的位置，如果当前视频帧不存在具有该车辆标识的车辆外接框，则本申请可以根据预测出的车辆外接框的位置，为当前视频帧中添加车辆外接框，从而实现对当前视频帧的车辆外接框漏检处理；如果当前视频帧存在具有该车辆标识的车辆外接框，则本申请可以针对预测出的车辆外接框的位置与当前视频帧中的具有该车辆标识的车辆外接框的位置进行加权平均，从而实现对当前视频帧中的具有该车辆标识的车辆外接框的平滑处理。
另外，本申请可以采用现有的其他漏检处理以及平滑处理技术，针对各视频帧进行车辆外接框的漏检处理以及车辆外接框的平滑处理。本申请不限制对待处理图像进行车辆外接框漏检处理以及车辆外接框平滑处理的具体实现方式。本申请也不限制车辆跟踪模型的具体结构等。
在一个可选示例中，本申请中的深度神经网络可以采用基于区域检测的深度神经网络，例如，可以采用RCNN(Regions with Convolutional Neural Network，区域卷积神经网络)或者Faster RCNN(快速区域卷积神经网络)等。该深度神经网络的网络结构可以根据提取车灯检测结果的实际需求灵活设计，本申请实施例并不限制该深度神经网络的具体网络结构；例如，本申请的该深度神经网络可以包括但不限于卷积层、非线性Relu层、池化层以及全连接层等，该深度神经网络所包含的层数越多，则网络越深；再例如，本申请的该深度神经网络的网络结构可以采用但不限于ALexNet、深度残差网络(Deep ResidualNetwork，ResNet)或VGGnet(Visual Geometry Group Network，视觉几何组网络)等神经网络所采用的网络结构。本申请中的深度神经网络是利用带有车灯标注信息的样本图像块训练获得的，使得训练后的深度神经网络具有准确检测车灯状态的能力。为了提高神经网络的训练效率，样本图像块的车灯标注信息可以包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的一个或者多个。该深度神经网络的训练过程可以参见下述针对图3的描述，在此不再重复说明。
在一个可选示例中，本申请的深度神经网络所输出的车灯检测结果可以包括：车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。例如，深度神经网络输出车灯外接框信息、车灯亮灭状态以及车灯方位。其中的车灯外接框信息通常是指能够表示出车灯外接框在图像块中的位置的信息(如位于车灯外接框对角线上的两个顶点在图像块上的坐标)，进而本申请可以根据车灯外接框在图像块中的位置确定车灯在待处理图像中的位置(如位于车灯外接框对角线上的两个顶点在待处理图像上的坐标)。当然，深度神经网络输出的车灯外接框信息也可以直接为车灯外接框在待处理图像中的位置的信息(如位于车灯外接框对角线上的两个顶点在待处理图像块上的坐标)。其中的车灯亮灭状态通常可以表示出车灯处于亮状态，还是处于灭状态。其中的车灯方位通常用于指示车灯在车辆中的方位，例如，车灯方位可以具体为：左前车灯、右前车灯、左后车灯或者右后车灯等。
在一个可选示例中，本申请可以针对深度神经网络输出的车灯检测结果进行车灯外接框漏检以及车灯外接框平滑处理中的至少一个，从而可以有利于提高车灯检测结果的准确性。一个可选例子，在针对多个图像块进行车灯检测的情况下，多个图像块通常存在时序关系(例如，视频中连续排列的多个视频帧中的各图像块，再例如，针对视频进行抽帧，基于抽帧的结果而形成的多个连续抽取出的视频帧中的各图像块等)，本申请可以针对多个存在时序关系的图像块，进行车灯外接框漏检以及车灯外接框平滑处理，从而可以获得深度神经网络漏检的车灯外接框信息，并可以对深度神经网络输出的车灯外接框信息进行位置校正。例如，根据位于第n1图像块之前的多个图像块中的车灯外接框，来补全第n1图像块中未被检测出的车灯外接框；再例如，根据位于第n1图像块之前的多个图像块中的车灯外接框，对第n1图像块中的相应车灯外接框的位置进行校正。本申请可以基于车灯外接框漏检以及车灯外接框平滑处理后的各车灯外接框信息以及车灯亮灭状态等其他信息，进行车灯指示信息分析。
在一个可选示例中，本申请可以先获得存在时序关系的多个图像块中的车灯外接框信息(如车灯外接框的对角线上的两个顶点的坐标)，然后，在针对存在时序关系的多个图像块以及各车灯外接框信息，进行车灯外接框漏检处理以及车灯外接框平滑处理。
在一个可选示例中，本申请可以将存在时序关系的多个图像块以及图像块中的车灯外接框信息分别提供给车灯跟踪模型(该车灯跟踪模型可以为目标对象为车灯的物体跟踪模型)，本申请可以根据车灯跟踪模型输出的信息，获得每一个车灯外接框所对应的车灯标识。由此，本申请可以成功建立车灯与车辆之间的关联关系。包含有相同车灯标识的不同车灯外接框通常对应同一车辆的同一车灯。
在一个可选示例中，本申请可以根据存在时序关系的多个图像块及其所包括的各车灯外接框的车灯标识，进行车灯外接框漏检处理以及车灯外接框平滑处理，例如，可以采用上述公式(1)针对当前图像块进行车灯外接框漏检处理以及车灯外接框平滑处理。在利用公式(1)进行车灯外接框漏检处理以及车灯外接框平滑处理的过程中，上述公式(1)中的a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3以及c4仍然为线性方程的参数，t表示当前时刻之前的第t个时刻(如t＝0、......、t＝8，每一个时刻对应一个图像块，即每一个时刻对应一个视频帧或者待处理图像)，Δx表示前一图像块中的车灯外接框的中心点横坐标与下一图像块中的具有相同车灯标识的车灯外接框的中心点横坐标之间的差值，Δy表示前一图像块中的车灯外接框的中心点纵坐标与下一图像块中的具有相同车灯标识的车灯外接框的中心点纵坐标之间的差值，Δw表示前一图像块中的车灯外接框的宽度与下一图像块中的具有相同车灯标识的车灯外接框的宽度之间的差值，Δh表示前一图像块中的车灯外接框的高度与下一图像块中的具有相同车灯标识的车灯外接框的高度之间的差值。
本申请可以根据当前图像块(即当前时刻)的前N(如N＝8)个图像块(即前N个时刻)中的各图像块的具有相同车灯标识的车灯外接框信息，计算出上述公式(1)中的线性方程参数a1、a2、a3、a4、b1、b2、b3、b4、c1、c2、c3以及c4。从而本申请可以在已知上述公式(1)的线性方程参数的情况下，利用公式(1)计算出当前图像块的Δx、Δy、Δw以及Δh，针对一车灯标识而言，本申请可以根据当前图像块的上一图像块中具有该车灯标识的车灯外接框的位置以及上述计算出的当前图像块对应的Δx、Δy、Δw以及Δh，预测出当前图像块中的具有该车灯标识的车灯外接框的位置，如果当前图像块中不存在具有该车灯标识的车灯外接框，则本申请可以根据预测出的车灯外接框的位置，为当前图像块添加车灯外接框，从而实现对当前图像块的车灯外接框漏检处理；如果当前图像块存在具有该车灯标识的车灯外接框，则本申请可以针对预测出的车灯外接框的位置与当前图像块中的具有该车灯标识的车灯外接框的位置进行加权平均，从而实现对当前图像块中的具有该车灯标识的车灯外接框的平滑处理。
另外，本申请可以采用现有的其他漏检处理以及平滑处理技术，针对各视频帧中的各图像块进行车灯外接框的漏检处理以及车灯外接框的平滑处理。本申请不限制对待处理图像中的图像块进行车灯外接框漏检处理以及车灯外接框平滑处理的具体实现方式。本申请也不限制车灯跟踪模型的具体结构等。
在一个可选示例中，本申请可以根据存在时序关系的包含有同一车辆的多个图像块的车灯检测结果，确定车灯指示信息。具体的，本申请可以根据同一车辆的多个图像块的车灯检测结果，对同一车辆的同一个车灯在一段时间内的亮灭状态进行统计，并对统计结果进行判断识别，从而可以获知同一车辆的同一个车灯是否处于闪烁状态、长亮状态或者长灭状态等，进而本申请可以结合车灯方位以及同一车辆的其他车灯所处的状态，判断出该车辆的车灯指示信息为：单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭或者双侧车灯全亮。单侧左车灯闪烁(右车灯不亮)通常表示车辆向左侧移动(如左并线或者左转弯等)。单侧右车灯闪烁(左车灯不亮)通常表示车辆向右侧移动(如右并线或者右转弯等)。双侧车灯闪烁通常表示车辆存在应急或者临时停车等特殊状态。双侧车灯全灭表示正常不改变方向行驶。双侧车灯全亮表示刹车减速行驶。
本申请通过运用同一个车灯的瞬时状态的时序信息，可以对车灯的状态进行更加细致的分类。通过结合同一辆车的两个车灯(如两个后车灯)的状态对整个车的趋向进行判定，从而可以对智能驾驶系统中的车辆环境感知系统提供准确快速且直观的信息，有利于帮助智能驾驶系统进行决策，从而有利于使车辆更加安全快速的行驶。
在一个可选示例中，本申请可以利用下述公式(2)至公式(5)实现对同一车辆的同一个车灯在一段时间内的亮灭状态的统计：
Figure GDA0002650690890000151
Figure GDA0002650690890000161
Dm＝count(Ai＝m) 公式(4)
Figure GDA0002650690890000162
在上述公式(2)中，i表示第i个阶段，一个阶段通常包括多个时刻，Sn表示车灯在第n个时刻的亮灭状态，Sn的取值为0，则表示该车灯在第n个时刻处于灭状态，Sn的取值为1，则表示该车灯在第n个时刻处于亮状态；Ci表示第i个阶段，车灯处于亮状态的次数。
上述公式(4)用于对取值为m的Ai的数量进行统计。
在上述公式(5)中，如果St的取值为2，则表示该车灯处于长亮状态，如果St的取值为1，则表示该车灯处于闪烁状态，如果St的取值为0，则表示该车灯处于长灭状态。
需要特别说明的是，上述公式(2)至公式(5)仅为一种统计方式，本申请可以采用其他统计方式来确定车灯指示信息，且统计方式可以根据实际需求灵活设计。本申请不限制确定车灯指示信息的具体统计方式。
图3为本申请训练神经网络的一个实施例的流程图。如图3所示，该实施例方法包括：步骤S300、步骤S310以及步骤S320。下面对图3中的各步骤进行详细说明。
S300、获取包括有车辆的样本图像块。
S310、经由待训练的深度神经网络，对样本图像块进行车灯检测，以获取车灯检测结果。
S320、以车灯检测结果与样本图像块的车灯标注信息之间的差异为指导信息，对待训练的深度神经网络进行监督学习。
在一个可选示例中，本申请中的包含有车辆的样本图像块可以为整个图像样本，也可以为图像样本中的包含有车辆的局部图像。另外，本申请中的包含有车辆的样本图像块还可以为通过针对图像样本中的包含有车辆的局部图像进行处理，而得到的样本图像块。
在一个可选示例中，从训练数据集中获取图像样本，并获取图像样本中的包含有车辆的样本图像块。本申请中的训练数据集中包括多条用于训练深度神经网络的图像样本，通常情况下，每一个图像样本均设置有车灯标注信息，车灯标注信息可以包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。本申请可以按照随机读取方式或者按照图像样本排列次序顺序读取方式，一次从训练数据集中读取一个或者多个图像样本。
在一个可选示例中，本申请可以采用多种方式获取包含有车辆的样本图像块，例如，本申请可以利用神经网络的方式，来获取图像样本中的包含有车辆的图像块。一个具体的例子，本申请可以通过对图像样本进行车辆检测，从而获得车辆检测结果，进而根据车辆检测结果，对图像样本进行切分处理，可以获得包含有车辆的样本图像块。在图像样本中包含有多个车辆的情况下，本申请可以从图像样本中切分出多个包含有车辆的样本图像块。上述车辆检测结果可以为车辆外接框信息，例如，位于车辆外接框对角线上的两个顶点坐标等。
在一个可选示例中，本申请可以车辆检测模型(也可以称为目标对象为车辆的物体检测模型)等，对读取出的图像样本进行车辆检测。本申请不限制对图像样本进行车辆检测，以获得包含有车辆的样本图像块的具体实现方式。
在一个可选示例中，本申请中的样本图像块的大小通常与深度神经网络对输入图像的尺寸要求相关，例如，样本图像块的大小可以为256×256等。为了获得具有预定大小的样本图像块，本申请可以在进行车辆检测后，根据车辆检测结果对图像样本进行缩放处理，然后，按照预定大小以及车辆外接框信息(如车辆外接框的中心位置)，从缩放处理后的图像样本中切分出包含有车辆的样本图像块。在车辆检测结果包括多个车辆外接框信息的情况下，本申请可以针对每一个车辆外接框信息，分别对图像样本进行相应倍数的缩放处理，从而使获得的每一个样本图像块分别具有预定大小。本申请对样本图像块的大小以及缩放处理的具体实现方式不作限制。
在一个可选示例中，本申请中的待训练的深度神经网络，会针对输入的每一个样本图像块，进行车灯检测，并输出车灯检测结果，例如，输出车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。在通常情况下，待训练的深度神经网络针对每一个样本图像块均输出车灯外接框信息、车灯亮灭状态以及车灯方位。其中的车灯外接框信息通常是指能够表示出车灯外接框在样本图像块中的位置的信息(如位于车灯外接框对角线上的两个顶点在样本图像块上的坐标)，进而本发明可以根据车灯外接框在图像块中的位置确定车灯在图像样本中的位置(如位于车灯外接框对角线上的两个顶点在图像样本上的坐标)。
当然，待训练的深度神经网络输出的车灯外接框信息也可以直接为车灯外接框在图像样本中的位置的信息。其中的车灯亮灭状态通常可以表示出车灯处于亮状态，还是处于灭状态。其中的车灯方位通常用于指示车灯在车辆中的方位，例如，车灯方位可以具体为：左前车灯、右前车灯、左后车灯或者右后车灯等。
在一个可选示例中，本申请可以以待训练的深度神经网络输出的各样本图像块的车灯检测结果与相应样本图像块的车灯标注信息之间的差异为指导信息，以减小差异为目的，利用相应的损失函数，对待训练的深度神经网络进行监督学习。
在一个可选示例中，在针对待训练的深度神经网络的训练达到预定迭代条件时，本次训练过程结束。本申请中的预定迭代条件可以包括：待训练的深度神经网络输出的车灯检测结果与图像样本的车灯标注信息之间的差异满足预定差异要求。在差异满足该预定差异要求的情况下，本次对待训练的深度神经网络成功训练完成。本申请中的预定迭代条件也可以包括：对该待训练的深度神经网络进行训练，所使用的图像样本的数量达到预定数量要求等。在使用的图像样本的数量达到预定数量要求，然而，差异并未满足预定差异要求的情况下，本次对待训练的深度神经网络并未训练成功。成功训练完成的深度神经网络可以用于对待处理图像中的包含有车辆的图像块进行车灯检测处理。
图4为本申请的用于实现智能驾驶的方法的一个实施例的流程图。如图4所示，该实施例方法包括：步骤S400、步骤S410、步骤S420以及步骤S430。下面对图4中的各步骤进行详细说明。
S400、获取包含有车辆的图像块。
S410、经由深度神经网络对图像块进行车灯检测，以获取车灯检测结果。
S420根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息。
S430、根据车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
在一个可选示例中，车灯检测结果可以包括：车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。在通常情况下，深度神经网络输出车灯外接框信息、车灯亮灭状态以及车灯方位。在一个可选示例中，本申请中的车灯指示信息可以具体包括：单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭或双侧车灯全亮等。另外，本申请还可以进一步区分出上述左车灯为左前车灯还是左后车灯。也就是说，车灯指示信息可以包括：单侧左前车灯闪烁、单侧左后车灯闪烁、单侧右前车灯闪烁、单侧右后车灯闪烁、双侧前车灯闪烁、双侧后车灯闪烁、双侧前车灯全灭、双侧后车灯全灭、双侧前车灯全亮以及双侧后车灯全亮等。
双侧后车灯全亮的一个具体例子如图5所示，图5中左侧的on表示左侧后车灯亮，图5中右侧的on表示右侧后车灯亮。单侧右后车灯闪烁的一个具体例子如图6所示，图6中左侧的off表示左侧后车灯灭，图6中右侧的flash表示右侧后车灯闪烁。
在一个可选示例中，本申请根据车灯指示信息，生成的驾驶控制信息可以包括：减速行驶控制信息、左并线控制信息、右并线控制信息、保持当前速度行驶控制信息或者加速行驶控制信息等。本申请根据车灯指示信息，生成的驾驶预警提示信息可以包括：前方车辆并线提示信息、前方车辆减速提示信息、前方车辆左/右转向提示信息等。本申请不限制驾驶控制信息及驾驶预警提示信息的具体表现形式。
上述步骤S400、步骤S410以及步骤S420的具体实现方式，可以参见上述方法实施方式中针对图1的描述，在此不再详细说明。
图7为本申请的车灯检测装置一个实施例的结构示意图。如图7所示，该实施例的装置主要包括：获取图像块模块700以及第一车灯检测模块710。可选的，该装置还可以包括：确定车灯指示模块720、智能控制模块730、第一修正模块740以及神经网络的训练装置750中的至少一个。
获取图像块模块700主要用于获取包含有车辆的图像块。
第一车灯检测模块710主要用于经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果。
确定车灯指示模块720主要用于根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息。
智能控制模块730主要用于根据车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
第一修正模块740主要用于针对存在时序关系的多个图像块，根据车灯检测结果，进行车灯外接框漏检和/或车灯外接框平滑处理，以获得修正的各图像块中的车灯外接框信息。
神经网络的训练装置750主要用于利用带有车灯标注信息的样本图像块对待训练的深度神经网络进行训练。
在一个可选示例中，本申请中的获取图像块模块700可以包括：检测模块以及切分模块。获取图像块模块700还可以包括：第二修正模块。其中的检测模块可以用于对待处理图像进行车辆检测。例如，检测模块利用车辆检测模型对待处理图像进行车辆检测，以获得待处理图像中的车辆外接框信息。其中的切分模块可以用于根据车辆检测结果，对待处理图像进行切分，以获得包含有车辆的图像块。其中的第二修正模块可以用于针对存在时序关系的多个待处理图像，进行车辆外接框漏检和/或车辆外接框平滑处理，以获得修正的各待处理图像中的车辆外接框信息。
在一个可选示例中，本申请中的第二修正模块可以包括：第三模块以及第四模块。其中的第三模块可以用于根据存在时序关系的多个待处理图像及其车辆外接框信息，获取各车辆外接框所对应的车辆标识。其中的第四模块可以用于根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检和/或车辆外接框平滑处理。
在一个可选示例中，针对一车辆标识而言，第四模块可以根据位于第m2个待处理图像(如前述描述中的当前待处理图像)之前的n2个(如8个)待处理图像中的具有车辆标识的车辆外接框的位置，预测第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置；基于预测的车辆外接框的位置，第四模块对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理。例如，在第m2个待处理图像中不存在具有该车辆标识的车辆外接框的情况下，第四模块根据预测的车辆外接框的位置，为第m2个待处理图像添加车辆外接框，从而实现漏检处理；再例如，在第m2个待处理图像中存在具有该车辆标识的车辆外接框的情况下，第四模块可以对预测的车辆外接框的位置以及第m2个待处理图像中的具有车辆标识的车辆外接框的位置进行加权平均处理，从而实现平滑处理。
在一个可选示例中，本申请中的车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位中的至少一个。
在一个可选示例中，本申请中的第一修正模块740可以包括：第一单元和第二单元。其中的第一单元用于根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识。其中的第二单元用于根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检和/或车灯外接框平滑处理。例如，第二单元可以进一步用于，针对一车灯标识而言，根据位于第m1个图像块(如前述描述中的当前图像块)之前的n1个(如8个)图像块中的具有该车灯标识的车灯外接框的位置，预测第m1个图像块中的具有该车灯标识的车灯外接框的位置；基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理。第二单元基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理可以包括：在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据预测的车灯外接框的位置，为第m1个图像块添加车灯外接框。第二单元基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理也可以包括：在第m1个图像块中存在具有车灯标识的车灯外接框的情况下，对预测的车灯外接框的位置以及第m1个图像块中的具有车灯标识的车灯外接框的位置进行加权平均处理。
在一个可选示例中，本申请中的车灯指示信息包括：单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭以及双侧车灯全亮中的至少一个。
在一个可选示例中，本申请中的确定车灯指示模块720可以进一步用于针对存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定车灯指示信息。
在一个可选示例中，本申请中的图像块可以为待处理图像。本申请中的图像块也可以为待处理图像中包含车辆的局部图像。本申请中的图像块还可以为基于待处理图像中包含车辆的局部图像处理而得到的图像块。
在一个可选示例中，本申请中的深度神经网络包括：Faster RCNN。
在一个可选示例中，本申请中的神经网络的训练装置750可以包括：获取样本图像块模块800、第二车灯检测模块810以及监督模块820。其中的获取样本图像块模块800可以用于获取包括有车辆的样本图像块。其中的第二车灯检测模块810可以用于经由待训练的深度神经网络，对样本图像块进行车灯检测，以获取车灯检测结果。其中的监督模块820可以用于以车灯检测结果与样本图像块的车灯标注信息之间的差异为指导信息，对待训练的深度神经网络进行监督学习。本申请中的车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。神经网络的训练装置750中的各模块所具体执行的操作可以参见上述方法实施方式中针对图3的描述。神经网络的训练装置750的具体结构可以参见下述实施方式中针对图8的描述。在此不再重复说明。
在一个可选示例中，获取图像块模块700、第一车灯检测模块710、确定车灯指示模块720、智能控制模块730以及第一修正模块740所执行的具体操作，可以参见上述方法实施方式中针对图1、图2、图4、图5以及图6的描述。在此不再重复说明。
图8为本申请的神经网络的训练装置一个实施例的结构示意图。如图8所示，该实施例的装置主要包括：获取样本图像块模块800、第二车灯检测模块810以及监督模块820。
获取样本图像块模块800可以用于获取包括有车辆的样本图像块。
第二车灯检测模块810可以用于经由待训练的深度神经网络，对样本图像块进行车灯检测，以获取车灯检测结果。
监督模块820可以用于以车灯检测结果与样本图像块的车灯标注信息之间的差异为指导信息，对待训练的深度神经网络进行监督学习。
本申请中的车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。
神经网络的训练装置750中的各模块所具体执行的操作可以参见上述方法实施方式中针对图3的描述。在此不再重复说明。
图9为本申请的用于实现智能驾驶的装置的一个实施例的结构示意图。图9中的装置主要包括：获取图像块模块700、第一车灯检测模块710、确定车灯指示模块720以及智能控制模块730。可选的，该装置还可以包括：第一修正模块740。
获取图像块模块700主要用于获取包含有车辆的图像块。
第一车灯检测模块710主要用于经由深度神经网络对图像块进行车灯检测，以获取车灯检测结果。
确定车灯指示模块720主要用于根据存在时序关系的多个图像块的车灯检测结果，确定车灯指示信息。
智能控制模块730主要用于根据车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
第一修正模块740主要用于针对存在时序关系的多个图像块，根据车灯检测结果，进行车灯外接框漏检和/或车灯外接框平滑处理，以获得修正的各图像块中的车灯外接框信息。
获取图像块模块700、及第一车灯检测模块710、确定车灯指示模块720、智能控制模块730及第一修正模块740执行的具体操作以及模块的结构，可以参见上述方法实施方式中针对图1及图7中的相关描述。在此不再重复说明。
示例性设备
图10示出了适于实现本申请的示例性设备1000，设备1000可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图10中，设备1000包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)1001，和/或，一个或者多个利用神经网络进行车灯检测的图像处理器(GPU)1013等，处理器可以根据存储在只读存储器(ROM)1002中的可执行指令或者从存储部分1008加载到随机访问存储器(RAM)1003中的可执行指令而执行各种适当的动作和处理。通信部1012可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器1002和/或随机访问存储器1003中通信以执行可执行指令，通过总线1004与通信部1012相连、并经通信部1012与其他目标设备通信，从而完成本申请中的相应步骤。
上述各指令所执行的操作可以参见上述方法实施例中的相关描述，在此不再详细说明。此外，在RAM 1003中，还可以存储有装置操作所需的各种程序以及数据。CPU1001、ROM1002以及RAM1003通过总线1004彼此相连。
在有RAM1003的情况下，ROM1002为可选模块。RAM1003存储可执行指令，或在运行时向ROM1002中写入可执行指令，可执行指令使中央处理单元1001执行上述物体分割方法所包括的步骤。输入/输出(I/O)接口1005也连接至总线1004。通信部1012可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装在存储部分1008中。
需要特别说明的是，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。
特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包含有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请提供的方法中的步骤对应的指令。
在这样的实施方式中，该计算机程序可以通过通信部分1009从网络上被下载及安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请中记载的实现上述相应步骤的指令。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中所述的车灯检测方法或者神经网络的训练方法或者用于实现智能驾驶的方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
在一个或多个可选实施方式中，本公开实施例还提供了另一种车灯检测方法和神经网络的训练方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中的方法包括：第一装置向第二装置发送车灯检测指示或者训练神经网络指示或者用于实现智能驾驶的指示，该指示使得第二装置执行上述任一可能的实施例中的车灯检测方法或者训练神经网络方法或者用于实现智能驾驶的方法；第一装置接收第二装置发送的车灯检测结果或者神经网络的训练结果或者用于实现智能驾驶的驾驶控制信息或驾驶预警提示信息。
在一些实施例中，该车灯检测指示或者训练神经网络指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行车灯检测操作或者训练神经网络操作或者用于实现智能驾驶的操作，相应地，响应于接收到调用指令，第二装置可以执行上述车灯检测方法或者训练神经网络的方法或者用于实现智能驾驶的方法中的任意实施例中的步骤和/或流程。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述，是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言，是显然的。选择和描述实施方式是为了更好说明本申请的原理以及实际应用，并且使本领域的普通技术人员能够理解本申请实施例可以从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (34)

1.一种车灯检测方法，其特征在于，包括：
获取包含有车辆的图像块；
经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；其中，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位，其中，所述车灯外接框信息是指能够表示出车灯外接框在图像块中的位置的信息；针对存在时序关系的多个图像块，根据各图像块的车灯检测结果，进行所述多个图像块的车灯外接框漏检处理；
针对所述多个图像块车灯外接框漏检处理后的车灯检测结果中的，存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定车灯指示信息；
其中，所述针对存在时序关系的多个图像块，根据各图像块的车灯检测结果，进行所述多个图像块的车灯外接框漏检处理包括：
根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识；
根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检处理；
所述根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检处理包括：
针对一车灯标识而言，根据位于第m1个图像块之前的n1个图像块中的具有所述车灯标识的车灯外接框的位置，预测第m1个图像块中的具有所述车灯标识的车灯外接框的位置；
基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理；
在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据所述预测的车灯外接框的位置，为第m1个图像块添加车灯外接框。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
3.根据权利要求1所述的方法，其特征在于，所述基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理包括：
在第m1个图像块中存在具有所述车灯标识的车灯外接框的情况下，对所述预测的车灯外接框的位置以及第m1个图像块中的具有所述车灯标识的车灯外接框的位置进行加权平均处理。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述车灯指示信息包括：
单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭以及双侧车灯全亮中的至少一个。
5.根据权利要求1至3中任一项所述的方法，其特征在于，
所述图像块为待处理图像；或者，
所述图像块为待处理图像中包含车辆的局部图像，或者，
所述图像块为基于待处理图像中包含车辆的局部图像处理而得到的图像块。
6.根据权利要求5所述的方法，其特征在于，所述获取包含有车辆的图像块包括：
对待处理图像进行车辆检测，并根据车辆检测结果，对所述待处理图像进行切分，以获得包含有车辆的所述图像块。
7.根据权利要求6所述的方法，其特征在于，所述对待处理图像进行车辆检测包括：
利用车辆检测模型对所述待处理图像进行车辆检测，以获得所述待处理图像中的车辆外接框信息。
8.根据权利要求7所述的方法，其特征在于，所述对待处理图像进行车辆检测还包括：
针对存在时序关系的多个待处理图像，进行车辆外接框漏检和/或车辆外接框平滑处理，以获得修正的各待处理图像中的车辆外接框信息。
9.根据权利要求8所述的方法，其特征在于，所述针对存在时序关系的多个待处理图像，进行车辆外接框漏检包括：
根据存在时序关系的多个待处理图像及其车辆外接框信息，获取各车辆外接框所对应的车辆标识；
根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检处理。
10.根据权利要求9所述的方法，其特征在于，所述根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检处理包括：
针对一车辆标识而言，根据位于第m2个待处理图像之前的n2个待处理图像中的具有所述车辆标识的车辆外接框的位置，预测第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置；
基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加处理。
11.根据权利要求10所述的方法，其特征在于，所述基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理包括：
在第m2个待处理图像中不存在具有所述车辆标识的车辆外接框的情况下，根据所述预测的车辆外接框的位置，为第m2个待处理图像添加车辆外接框；或者
在第m2个待处理图像中存在具有所述车辆标识的车辆外接框的情况下，对所述预测的车辆外接框的位置以及第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置进行加权平均处理。
12.根据权利要求1至3中任一项所述的方法，其特征在于，所述深度神经网络包括：快速区域卷积神经网络Faster RCNN。
13.根据权利要求1至3中任一项所述的方法，其特征在于，所述深度神经网络是利用带有车灯标注信息的样本图像块训练获得的。
14.根据权利要求13所述的方法，其特征在于，所述训练所述深度神经网络的过程包括：
获取包括有车辆的样本图像块；
经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；
以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。
15.根据权利要求13所述的方法，其特征在于，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。
16.一种用于实现智能驾驶的方法，其特征在于，包括：
获取包含有车辆的图像块；
经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；其中，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位；
针对存在时序关系的多个图像块，根据各图像块的车灯检测结果，进行所述多个图像块的车灯外接框漏检处理；
针对所述多个图像块车灯外接框漏检处理后的车灯检测结果中的，存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定车灯指示信息；
根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息；
所述针对存在时序关系的多个图像块，根据各图像块的车灯检测结果，进行所述多个图像块的车灯外接框漏检处理，包括：
根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识；
根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检处理；
所述根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检处理包括：
针对一车灯标识而言，根据位于第m1个图像块之前的n1个图像块中的具有所述车灯标识的车灯外接框的位置，预测第m1个图像块中的具有所述车灯标识的车灯外接框的位置；
基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理；
在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据所述预测的车灯外接框的位置，为第m1个图像块添加车灯外接框。
17.一种车灯检测装置，其特征在于，包括：
获取图像块模块，用于获取包含有车辆的图像块；
第一车灯检测模块，用于经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；其中，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位；
第一修正模块，用于针对存在时序关系的多个图像块，根据各图像块的车灯检测结果，进行所述多个图像块的车灯外接框漏检处理；
确定车灯指示模块，用于针对所述多个图像块车灯外接框漏检处理后的车灯检测结果中的，存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定车灯指示信息；其中，
第一单元，用于根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识；
第二单元，用于根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检处理；
所述第二单元进一步用于：
针对一车灯标识而言，根据位于第m1个图像块之前的n1个图像块中的具有所述车灯标识的车灯外接框的位置，预测第m1个图像块中的具有所述车灯标识的车灯外接框的位置；
基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理；
在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据所述预测的车灯外接框的位置，为第m1个图像块添加车灯外接框。
18.根据权利要求17所述的装置，其特征在于，所述装置还包括：
智能控制模块，用于根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息。
19.根据权利要求17所述的装置，其特征在于，所述第二单元进一步用于：
在第m1个图像块中存在具有所述车灯标识的车灯外接框的情况下，对所述预测的车灯外接框的位置以及第m1个图像块中的具有所述车灯标识的车灯外接框的位置进行加权平均处理。
20.根据权利要求17-19中任一项所述的装置，其特征在于，所述车灯指示信息包括：
单侧左车灯闪烁、单侧右车灯闪烁、双侧车灯闪烁、双侧车灯全灭以及双侧车灯全亮中的至少一个。
21.根据权利要求17至19中任一项所述的装置，其特征在于，
所述图像块为待处理图像；或者，
所述图像块为待处理图像中包含车辆的局部图像，或者，
所述图像块为基于待处理图像中包含车辆的局部图像处理而得到的图像块。
22.根据权利要求21所述的装置，其特征在于，所述获取图像块模块包括：
检测模块，用于对待处理图像进行车辆检测；
切分模块，用于根据车辆检测结果，对所述待处理图像进行切分，以获得包含有车辆的所述图像块。
23.根据权利要求22所述的装置，其特征在于，所述检测模块进一步用于：
利用车辆检测模型对所述待处理图像进行车辆检测，以获得所述待处理图像中的车辆外接框信息。
24.根据权利要求23所述的装置，其特征在于，所述获取图像块模块还包括：
第二修正模块，用于针对存在时序关系的多个待处理图像，进行车辆外接框漏检处理，以获得修正的各待处理图像中的车辆外接框信息。
25.根据权利要求24所述的装置，其特征在于，所述第二修正模块包括：
第三模块，用于根据存在时序关系的多个待处理图像及其车辆外接框信息，获取各车辆外接框所对应的车辆标识；
第四模块，用于根据各车辆外接框所对应的车辆标识，对各待处理图像进行车辆外接框漏检处理。
26.根据权利要求25所述的装置，其特征在于，所述第四模块进一步用于：
针对一车辆标识而言，根据位于第m2个待处理图像之前的n2个待处理图像中的具有所述车辆标识的车辆外接框的位置，预测第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置；
基于预测的车辆外接框的位置，对第m2个待处理图像进行车辆外接框添加或车辆外接框位置校正处理。
27.根据权利要求26所述的装置，其特征在于，所述第四模块进一步用于：
在第m2个待处理图像中不存在具有所述车辆标识的车辆外接框的情况下，根据所述预测的车辆外接框的位置，为第m2个待处理图像添加车辆外接框；或者
在第m2个待处理图像中存在具有所述车辆标识的车辆外接框的情况下，对所述预测的车辆外接框的位置以及第m2个待处理图像中的具有所述车辆标识的车辆外接框的位置进行加权平均处理。
28.根据权利要求17至19中任一项所述的装置，其特征在于，所述深度神经网络包括：快速区域卷积神经网络Faster RCNN。
29.根据权利要求17至19中任一项所述的装置，其特征在于，所述深度神经网络是，神经网络的训练装置利用带有车灯标注信息的样本图像块训练获得的。
30.根据权利要求29所述的装置，其特征在于，所述神经网络的训练装置包括：
获取样本图像块模块，用于获取包括有车辆的样本图像块；
第二车灯检测模块，用于经由待训练的深度神经网络，对所述样本图像块进行车灯检测，以获取车灯检测结果；
监督模块，用于以所述车灯检测结果与所述样本图像块的车灯标注信息之间的差异为指导信息，对所述待训练的深度神经网络进行监督学习。
31.根据权利要求29所述的装置，其特征在于，所述车灯标注信息包括：车灯外接框信息标注信息、车灯亮灭状态标注信息以及车灯方位标注信息中的至少一个。
32.一种用于实现智能驾驶的装置，其特征在于，包括：
获取图像块模块，用于获取包含有车辆的图像块；
第一车灯检测模块，用于经由深度神经网络对所述图像块进行车灯检测，以获取车灯检测结果；其中，所述车灯检测结果包括：车灯外接框信息、车灯亮灭状态以及车灯方位；
确定车灯指示模块，用于针对存在时序关系的多个图像块，根据各图像块的车灯检测结果，进行所述多个图像块的车灯外接框漏检和/或车灯外接框平滑处理；针对所述多个图像块车灯外接框漏检和/或车灯外接框平滑处理后的车灯检测结果中的，存在时序关系的对应同一车辆的同一车灯的多个车灯外接框，进行车灯亮灭状态统计，并根据统计结果确定车灯指示信息；
智能控制模块，用于根据所述车灯指示信息生成驾驶控制信息或驾驶预警提示信息；
所述确定车灯指示模块进一步用于：
根据存在时序关系的多个图像块及其车灯外接框信息，获取各车灯外接框所对应的车灯标识；
根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检处理；
所述根据各车灯外接框所对应的车灯标识，对各图像块进行车灯外接框漏检处理包括：
针对一车灯标识而言，根据位于第m1个图像块之前的n1个图像块中的具有所述车灯标识的车灯外接框的位置，预测第m1个图像块中的具有所述车灯标识的车灯外接框的位置；
基于预测的车灯外接框的位置，对第m1个图像块进行车灯外接框添加或车灯外接框位置校正处理；
在第m1个图像块中不存在具有所述车灯标识的车灯外接框的情况下，根据所述预测的车灯外接框的位置，为第m1个图像块添加车灯外接框。
33.一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-16中任一项所述的方法。
34.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求1-16中任一项所述的方法。
CN201810278351.7A 2018-03-30 2018-03-30 车灯检测方法、实现智能驾驶的方法、装置、介质及设备 Active CN108509907B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810278351.7A CN108509907B (zh) 2018-03-30 2018-03-30 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
SG11201909146W SG11201909146WA (en) 2018-03-30 2019-03-22 Vehicle lamp detection methods and apparatuses, methods and apparatuses for implementing inteliggent driving, media and devices
PCT/CN2019/079300 WO2019184825A1 (zh) 2018-03-30 2019-03-22 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
US16/588,126 US10984266B2 (en) 2018-03-30 2019-09-30 Vehicle lamp detection methods and apparatuses, methods and apparatuses for implementing intelligent driving, media and devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810278351.7A CN108509907B (zh) 2018-03-30 2018-03-30 车灯检测方法、实现智能驾驶的方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN108509907A CN108509907A (zh) 2018-09-07
CN108509907B true CN108509907B (zh) 2022-03-15

Family

ID=63379362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810278351.7A Active CN108509907B (zh) 2018-03-30 2018-03-30 车灯检测方法、实现智能驾驶的方法、装置、介质及设备

Country Status (4)

Country Link
US (1) US10984266B2 (zh)
CN (1) CN108509907B (zh)
SG (1) SG11201909146WA (zh)
WO (1) WO2019184825A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509907B (zh) 2018-03-30 2022-03-15 北京市商汤科技开发有限公司 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
CN109389064B (zh) * 2018-09-27 2021-02-23 东软睿驰汽车技术（沈阳）有限公司 一种车辆特征获取方法及装置
DE102018218015A1 (de) * 2018-10-22 2020-04-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Zustands einer Fahrzeugleuchte eines Fahrzeugs
US10831189B2 (en) * 2019-01-31 2020-11-10 StradVision, Inc. Learning method and learning device for providing functional safety by warning driver about potential dangerous situation by using explainable AI which verifies detection processes of autonomous driving network, and testing method and testing device using the same
CN110532990A (zh) * 2019-09-04 2019-12-03 上海眼控科技股份有限公司 转向灯使用状态识别方法、装置、计算机设备及存储介质
CN110647863B (zh) * 2019-09-30 2024-02-02 重庆元韩汽车技术设计研究院有限公司 用于智能驾驶的视觉信号采集分析系统
CN111860090A (zh) * 2019-11-06 2020-10-30 北京嘀嘀无限科技发展有限公司 一种车辆验证方法及装置
CN110969647B (zh) * 2019-12-04 2023-06-30 苏州智加科技有限公司 一种整合车辆的识别跟踪与车灯检测的方法
US11195033B2 (en) * 2020-02-27 2021-12-07 Gm Cruise Holdings Llc Multi-modal, multi-technique vehicle signal detection
US11741722B2 (en) 2020-09-04 2023-08-29 International Business Machines Corporation Coarse-to-fine attention networks for light signal detection and recognition
CN112149639A (zh) * 2020-10-23 2020-12-29 北京嘀嘀无限科技发展有限公司 检测车灯状态的方法、装置、电子设备和存储介质
CN112699781A (zh) * 2020-12-29 2021-04-23 上海眼控科技股份有限公司 车灯状态检测方法、装置、计算机设备和可读存储介质
CN113537003B (zh) * 2021-07-02 2022-10-21 安阳工学院 一种用于辅助驾驶的车外环境视觉检测方法及装置
CN114323583B (zh) * 2021-12-21 2024-06-04 广汽本田汽车有限公司 一种车辆灯光检测方法、装置、设备及系统
CN114677500B (zh) * 2022-05-25 2022-08-23 松立控股集团股份有限公司 一种基于眼动仪点标注信息的弱监督视频车牌识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304593A1 (en) * 2012-11-27 2015-10-22 Sony Corporation Display apparatus, display method, and computer program
DE102013100804A1 (de) * 2013-01-28 2014-07-31 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von gepulst betriebenen Lichtquellen
CN103927548B (zh) * 2014-04-18 2017-05-24 北京航空航天大学 一种新的避免车辆碰撞的刹车行为检测方法
CN103984950B (zh) * 2014-04-22 2017-07-14 北京联合大学 一种适应白天检测的运动车辆刹车灯状态识别方法
US20170116488A1 (en) * 2015-10-23 2017-04-27 MAGNETI MARELLI S.p.A. Method for identifying an incoming vehicle and corresponding system
JP6310899B2 (ja) * 2015-11-25 2018-04-11 株式会社Ｓｕｂａｒｕ 車外環境認識装置
CN105975915B (zh) * 2016-04-28 2019-05-21 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法
US10387736B2 (en) * 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
CN108509907B (zh) * 2018-03-30 2022-03-15 北京市商汤科技开发有限公司 车灯检测方法、实现智能驾驶的方法、装置、介质及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607554A (zh) * 2013-10-21 2014-02-26 无锡易视腾科技有限公司 一种基于全自动人脸无缝合成的视频合成方法
CN107316010A (zh) * 2017-06-13 2017-11-03 武汉理工大学 一种识别前方车辆尾灯及判断其状态的方法

Also Published As

Publication number Publication date
US10984266B2 (en) 2021-04-20
CN108509907A (zh) 2018-09-07
WO2019184825A1 (zh) 2019-10-03
US20200026936A1 (en) 2020-01-23
SG11201909146WA (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN108509907B (zh) 车灯检测方法、实现智能驾驶的方法、装置、介质及设备
US11643076B2 (en) Forward collision control method and apparatus, electronic device, program, and medium
US11314973B2 (en) Lane line-based intelligent driving control method and apparatus, and electronic device
EP3036730B1 (en) Traffic light detection
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
US10572741B2 (en) Image-based vehicle classification system
EP3839888B1 (en) Compute device and method for detection of occlusions on a camera
US20200125869A1 (en) Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof
US20090110286A1 (en) Detection method
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN111191611A (zh) 基于深度学习的交通标志标号识别方法
CN111275036A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
CN112312001A (zh) 一种图像检测的方法、装置、设备和计算机存储介质
CN111079621A (zh) 检测对象的方法、装置、电子设备和存储介质
CN110909568A (zh) 用于面部识别的图像检测方法、装置、电子设备及介质
CN108509876B (zh) 针对视频的物体检测方法、装置、设备、存储介质及程序
CN112949423B (zh) 物体识别方法、物体识别装置及机器人
CN117710921A (zh) 目标检测模型的训练方法、检测方法及相关装置
CN104657972A (zh) 一种图像块的模糊度判断方法及系统
Małecki et al. Mobile system of decision-making on road threats
KR101865958B1 (ko) 속도 제한 표지판 인식 장치 및 방법
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN111401104B (zh) 分类模型的训练方法、分类方法、装置、设备及存储介质
CN115588171A (zh) 一种图像处理方法及终端、存储介质
CN103714552A (zh) 运动阴影消除方法及装置和智能视频分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant