CN117437612A - 一种利用深度相机的汽车尾灯检测与制动判别方法 - Google Patents

一种利用深度相机的汽车尾灯检测与制动判别方法 Download PDF

Info

Publication number
CN117437612A
CN117437612A CN202311385833.XA CN202311385833A CN117437612A CN 117437612 A CN117437612 A CN 117437612A CN 202311385833 A CN202311385833 A CN 202311385833A CN 117437612 A CN117437612 A CN 117437612A
Authority
CN
China
Prior art keywords
vehicle
network
detection
tail lamp
taillight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311385833.XA
Other languages
English (en)
Inventor
徐林浩
张忠森
王万家
徐通
华德正
刘新华
郝敬宾
刘晓帆
周皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Bdstar Navigation Automotive Electronics Co ltd
Original Assignee
Jiangsu Bdstar Navigation Automotive Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Bdstar Navigation Automotive Electronics Co ltd filed Critical Jiangsu Bdstar Navigation Automotive Electronics Co ltd
Priority to CN202311385833.XA priority Critical patent/CN117437612A/zh
Publication of CN117437612A publication Critical patent/CN117437612A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及涉及图像检测与处理领域，具体涉及一种利用深度相机的汽车尾灯检测与制动判别方法，包括用于车辆检测的深度神经网络模块、用于尾灯检测的深度神经网络模块以及基于HSV图像变换的尾灯状态判别模块，本发明通过数据驱动的方式实现对车辆区域以及尾灯区域的识别，通过大量的样本训练，可以有效提升实际检测率；通过先检测车辆ROI区域，之后在车辆ROI区域内检测尾灯区域，利用二级检测模式，可以有效的规避尾灯类似物体的干扰，如交通信号灯等；并且通过利用尾灯的对称性计算左右尾灯IoU值在检测网络后施加约束模块，进一步提高尾灯检测的置信度。

Description

一种利用深度相机的汽车尾灯检测与制动判别方法
技术领域
本发明涉及图像检测与处理领域，具体涉及一种利用深度相机的汽车尾灯检测与制动判别方法。
背景技术
在现代汽车的日常驾驶中，尾灯的重要性不容忽视，其可以很好的标志前车的行进状态以及短时间内的速度变化趋势；尤其在在亮度过大或照明不足以及不良天气等恶劣条件下，只能通过尾灯的存在来观察前方车辆。为了避免在这种情况下发生交通事故，任何正在使用或配备自动驾驶或者辅助驾驶的汽车，其检测模型都应该能够感知前方任何汽车的尾灯，并进行后续的处理，以便搭载的车机系统能够做出正确的反应，或者提醒人类驾驶员能够预先采取行动以避免碰撞。
且目前工厂制造的汽车尾灯有一些共同的特征，这些特征源自与安全相关的法律要求，也为利用视觉进行相关检测提供了可能性。这些硬性要求包括但不限于：首先，尾灯必须具有红色调。其次，任何一对尾灯都应该是对称的。第三，尾灯区域应该比夜景图像中的任何其他区域具有更大的亮度。这些已有的以及相对确定的特征，可以很好的训练模型且使得模型具有良好的泛用性。
目前车机系统所搭载的如自动刹车功能以及前车距离判断等，多采用雷达等实现距离检测，从而进行相应的动作。这种方法虽然也可以实现相关功能，但是其可预测性较低，即大多是在其所检测到的距离达到一定阈值时系统介入，有一定的突然性不太利于驾驶人驾驶体验等。但如果能够获得前车的尾灯状态信息，进而提前进行处理和提醒，则可以更加从容应对部分突发情况，也便于自动驾驶模块在人类驾驶员能够采取行动之前提前介入以避免碰撞等事故发生。
发明内容
本发明针对背景技术中的问题，研发了一种利用深度相机的汽车尾灯检测与制动判别方法，能够检测出前车的尾灯位置并对其状态进行判定以提供给车机系统或者人类驾驶员前车的行车状态，根据已有的yolox与FCOS检测模型算法进行改良，分别进行车辆位置检测与尾灯区域检测，再利用尾灯对称性的位置约束降低误检率，最后通过对尾灯区域HSV处理与阈值判定得出尾灯的开关状态以及制动状态，通过该串联约束方式有效提升识别与判定准确率。
为实现上述目的，本发明采用如下技术方案：
一种利用深度相机的汽车尾灯检测与制动判别方法，包括用于车辆检测的深度神经网络模块、用于尾灯检测的深度神经网络模块以及基于HSV图像变换的尾灯状态判别模块，具体包括以下步骤：
步骤一：采用SKKU数据集以及KITTI等其他汽车数据集中的一部分数据预训练车辆检测网络中孪生主干网络的分支一，预训练完成后构建孪生网络分支二；网络构建完成后再根据数据集中标注的数据训练整个完整的网络，直到其在测试集上的测试正确率满足要求，且能准确输出车辆的ROI区域以及图像中的位置信息；
步骤二：裁切提取数据集中的车辆ROI区域并标记其中的尾灯区域，组成新的尾灯训练数据集，并将其分为训练集以及测试集用于训练尾灯检测网络，采用梯度反向传播方式训练尾灯检测模块中改进的FCOS网络，直到其在直到其在测试集上的测试正确率满足要求，且能准确输出尾灯的ROI区域以及图像中的位置信息；
步骤三：利用深度相机实时采集车辆前方的RGB图像信息以及深度图像信息，将RGB图像信息传输到车辆检测网络进行正向推理，识别出车辆的ROI区域；
步骤四：提取上一模块输出的车辆ROI区域，并将图像大小进行归一化后传如尾灯检测网路进行尾灯ROI区域检测；
步骤五：调用尾灯约束模块对上一模块所检测的尾灯区域进行再筛选以确定真尾灯区域，调用深度图像中的数据，对真尾灯区域所对应的车辆区域进行标记并给出实时的相对于自身车辆的三维坐标信息；
步骤六：对上一模块计算得到的真尾灯区域施加车道约束，并将自身车道范围内的尾灯图像传输进制动判定模块，判断其制动状态后通信至车机系统，并在实时图像中标出相关信息，再通过显示器等展示给驾驶人员。
优选地，所述步骤一中孪生主干网络的分支一训练方法为：孪生网络分支由基于ResNet-18的网络架构改进得到，R1代表经原ResNet-18中的64层7*7卷积后的特征图层、R2代表经过3*3的max pool后的特征图层、R3代表经过两组3*3卷积(每组由两个64层3*3卷积组成)后的特征图层、R4代表经过两组3*3卷积(每组由两个128层3*3卷积组成)后的特征图层、R5代表经过两组3*3卷积(每组由两个256层3*3卷积组成)后的特征图层、R6代表经过一组3*3卷积(由一个512层3*3卷积组成)后的特征图层、R7代表经过一组3*3卷积(由一个512层3*3卷积组成)后的特征图层，并通过在R3至R7层对应的卷积层上添加注意力机制组成孪生网络的分支之一。
优选地，所述步骤一中孪生网络分支二训练方法为：利用空间信息融合机制生成新的R′ 3至R′ 7层与原R1至R3层一同组成孪生网络的分支之二。
优选地，所述步骤二具体检测方法为：以FCOS作为基础网络，通过Backbone提取输入图像的特征信息，取B3、B4、B5层(即原FCOS网络中的C3至C5层)特征图构建FPN，其中，对P5特征图依次下采样得到P6、P7，以提取图像的多尺度特征信息，再在每个层级下通过权值共享的Head模块提取该层级的类别、回归决策输出，并以此构建类别空间金字塔和回归空间金字塔增强各个特征层之间的信息流动并且对抗尺度变化减少漏检率。尾灯检测网络其输入为车辆检测网络所输出的ROI区域，因为车辆尾灯只有可能出现在车辆当中，所以通过先对车辆ROI区域进行检测，可以极大程度的规避非目标区域，同时减少误检测的概率。尾灯检测模块最终将输出车辆中的尾灯ROI区域以及对应的位置信息。
优选地，为了进一步减少由于其他类似尾灯物体(如：交通信号灯、路旁的非机动车以及信号牌等)对尾灯检测的影响，在尾灯检测网络后，利用尾灯约束模块进一步对检测的结果进行筛选；以车辆检测网络输出的车辆ROI区域的中线为轴线，计算左右尾灯的IoU值，当其大于阈值时，尾灯约束模块判断其为真尾灯区域，反之，当其小于阈值时，则认为是假尾灯区域，给予剔除；并记录真尾灯区域所对应的车辆ROI区域和位置信息。
优选地，为了解决预测框与真实框两框的相对位置出现旋转偏差，但IoU值却不变的情况，即采用IoU值不能够有效的区分两个对象间不同角度的位置偏差的问题，采用GIoU用于计算预测框与实际框之间的偏差损失，计算方式如下：
其中，C/(A∪B)表示矩形C与(A∪B)的面积差值，C表示包含A与B在内的最小矩形框。
优选地，所述步骤三具体步骤为：利用车辆ROI区域的x、y、z信息以及车道宽度信息，对某一前车时候处于本车道进行判断；对于未处于本车道的车辆，仅标记出其相对于本车的x、y、z信息，不进入制动状态判定模块。而对于本车道的车辆，不但需要标记出相对于本车的x、y、z信息，还需要进一步对制动状态进行判定，以确认前车行车状态。
相对于现有技术，本发明具有如下有益效果：
(1)本发明通过数据驱动的方式实现对车辆区域以及尾灯区域的识别，通过大量的样本训练，可以有效提升实际检测率；并且通过对现有检测网络进行改进，提升其网络特征提取能力并通过融合机制增加了各特征层之间的信息流动，进一步提高网络性能。
(2)本发明通过先检测车辆ROI区域，之后在车辆ROI区域内检测尾灯区域，利用二级检测模式，可以有效的规避尾灯类似物体的干扰，如交通信号灯等；并且通过利用尾灯的对称性计算左右尾灯IoU值在检测网络后施加约束模块，进一步提高尾灯检测的置信度。
(3)本发明通过利用深度相机便捷获取三维信息的特点，可以轻松得到某一车辆相较于本车的实时距离信息，并通过车道宽度等物理约束，对制动判定区域进行筛选；在保留重要信息的同时，减少后续模块的计算量。
(4)本发明利用HSV变换将尾灯区域与车体区域的亮度值进行比较从而判断出尾灯以及制动状态，可以有效的对抗行车过程中亮度变换带来的影响，增加检测算法的鲁棒性。
附图说明
图1为本发明检测系统功能模块框图。
图2为本发明孪生网络示意图。
图3为本发明R′ 3至R′ 7层计算方式图。
图4为本发明多尺度空间金字塔结构框架图。
图5为本发明中原FCOS网络结构图。
图6为本发明的Head模块结构图。
图7为本发明GIoU计算流程图。
图8为本发明制动判定模块流程图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。
一种利用深度相机的汽车尾灯检测与制动判别方法，采用三个模块顺序实现上述功能，并在模块间加入相关约束以提升系统的可靠性。其中包括：由数据驱动的深度神经网络模块用于车辆检测、由数据驱动的深度神经网络模块用于尾灯检测以及基于HSV图像变换的尾灯状态判别模块；各模块的连接以及模块间的约束如图1所示。以下，将对各个功能模块进行详细说明。
车辆检测模块：车辆检测模块的深度神经网络为将yolox中的Backbone网络替换为孪生网络(孪生网络示例见图2)并对接后续的FPN网络得到，孪生网络分支由基于ResNet-18的网络架构改进得到。以下，对其网络模块化以便于后续说明：其中R1代表经原ResNet-18中的64层7*7卷积后的特征图层、R2代表经过3*3的max pool后的特征图层、R3代表经过两组3*3卷积(每组由两个64层3*3卷积组成)后的特征图层、R4代表经过两组3*3卷积(每组由两个128层3*3卷积组成)后的特征图层、R5代表经过两组3*3卷积(每组由两个256层3*3卷积组成)后的特征图层、R6代表经过一组3*3卷积(由一个512层3*3卷积组成)后的特征图层、R7代表经过一组3*3卷积(由一个512层3*3卷积组成)后的特征图层。并通过在R3至R7层对应的卷积层上添加注意力机制组成孪生网络的分支之一。
同时为了兼顾各个特征层之间的信息流动以提升网络的特征表达能力，本发明利用空间信息融合机制生成新的R′ 3至R′ 7层与原R1至R3层一同组成孪生网络的分支之二。分支之一与分支之二组成整个孪生网络，即车辆检测网络的Backbone网络；并在经过FPN对接的yolox网络后可以输出目标框的类别信息、置信度以及位置信息。
R′ 3至R′ 7层的计算方式如图3所示，其中回归空间邻级信息融合机制即利用前后层的注意力机制实现不同特征层之间的信息流通；具体来讲在网络经过预训练以后，孪生网络分支一中不同的卷积层上会训练出注意力层，对各个注意力层中的值计算其均值，再对前后两者进行归一化处理作为邻层间的分配权重。其中，为了保证相邻特征图层间的大小一致，当后一级向前一层融合时，需要利用双线性插值以扩大特征图层；反之，当前一级向后一级融合时则需要利用最大池化以缩小特征图层实现正确的融合。车辆检测模块最终将输出车辆的ROI区域以及位置信息。
尾灯检测模块：则以FCOS作为基础网络(如图5所示)，通过Backbone提取输入图像的特征信息。取B3、B4、B5层特征图构建FPN，其中，对P5特征图依次下采样得到P6、P7，以提取图像的多尺度特征信息。再在每个层级下通过权值共享的Head(如图6所示)模块提取该层级的类别、回归决策输出，并以此构建类别空间金字塔和回归空间金字塔。多尺度空间金字塔结构框架如图4中所示。尾灯检测网络其输入为车辆检测网络所输出的ROI区域，因为车辆尾灯只有可能出现在车辆当中，所以通过先对车辆ROI区域进行检测，可以极大程度的规避非目标区域，同时减少误检测的概率。尾灯检测模块最终将输出车辆中的尾灯ROI区域以及对应的位置信息。
同时，为了进一步减少由于其他类似尾灯物体(如：交通信号灯、路旁的非机动车以及信号牌等)对尾灯检测的影响，在尾灯检测网络后，利用尾灯约束模块进一步对检测的结果进行筛选。具体的讲，汽车的尾灯总是成对出现的，以车辆检测网络输出的车辆ROI区域的中线为轴线，计算左右尾灯的IoU值，当其大于阈值时，尾灯约束模块判断其为真尾灯区域，反之，当其小于阈值时，则认为是假尾灯区域，给予剔除；并记录真尾灯区域所对应的车辆ROI区域和位置信息。
作为本发明的进一步方案，在上述神经网络的边界框损失计算过程中，为了解决预测框与真实框两框的相对位置出现旋转偏差，但IoU值却不变的情况，即采用IoU值不能够有效的区分两个对象间不同角度的位置偏差的问题。本发明采用GIoU用于计算预测框与实际框之间的偏差损失，计算方式如下：
其中，C/(A∪B)表示矩形C与(A∪B)的面积差值，C表示包含A与B在内的最小矩形框，详细计算流程见图7所示。
深度图像模块：此模块的作用在于利用深度相机可以直接获取深度的优势(即可以直接对前述车辆的ROI区域输出实际的三维坐标信息)，对不在本车道的车辆进行筛选。具体的讲，可以利用车辆ROI区域的x、y、z信息以及车道宽度信息，对某一前车时候处于本车道进行判断。对于未处于本车道的车辆，仅标记出其相对于本车的x、y、z信息，不进入制动状态判定模块。而对于本车道的车辆，不但需要标记出相对于本车的x、y、z信息，还需要进一步对制动状态进行判定，以确认前车行车状态。
制动状态判定模块：因为尾灯区域其亮度要远大于车体其他区域亮度，所以本发明通过计算尾灯区域亮度与车体其他区域亮度的比值，再将该值与提前设置的阈值进行判断，进而得到制动状态。该模块的输入为经过尾灯约束判别后的真尾灯ROI区域，以及对应的车辆ROI区域。其具体判断流程如图8所示：首先，获得经过上述算法筛选以后的本车道车辆ROI区域以及尾灯ROI区域；其次，将车辆ROI区域中的尾灯ROI区域剔除以获得尾灯区域外的车辆区域；然后，分别对其进行HSV变换以减少颜色变化所带来的影响，并计算出两区域中H通道的平均亮度；最后，计算出尾灯区域H通道亮度值与车体其他区域H通道亮度值的比值，并与提前设置的阈值进行比较，高于阈值判定为制动，反之低于阈值判定为非制动。
本发明判别方法不局限于控制车窗，可以将汽车中其他元器件都标为控制终端，比如座椅、扬声器、空调等。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种利用深度相机的汽车尾灯检测与制动判别方法，其特征在于：包括用于车辆检测的深度神经网络模块、用于尾灯检测的深度神经网络模块以及基于HSV图像变换的尾灯状态判别模块，具体包括以下步骤：
步骤一：采用SKKU数据集以及KITTI等其他汽车数据集中的部分数据预训练车辆检测网络中孪生主干网络的分支一，预训练完成后构建孪生网络分支二；网络构建完成后再根据数据集中标注的数据训练整个完整的网络，直到其在测试集上的测试正确率满足要求，且能准确输出车辆的ROI区域以及图像中的位置信息；
步骤二：裁切提取数据集中的车辆ROI区域并标记其中的尾灯区域，组成新的尾灯训练数据集，并将其分为训练集以及测试集用于训练尾灯检测网络，采用梯度反向传播方式训练尾灯检测模块中改进的FCOS网络，直到其在直到其在测试集上的测试正确率满足要求，且能准确输出尾灯的ROI区域以及图像中的位置信息；
步骤三：利用深度相机实时采集车辆前方的RGB图像信息以及深度图像信息，将RGB图像信息传输到车辆检测网络进行正向推理，识别出车辆的ROI区域；
步骤四：提取上一模块输出的车辆ROI区域，并将图像大小进行归一化后传如尾灯检测网路进行尾灯ROI区域检测；
步骤五：调用尾灯约束模块对上一模块所检测的尾灯区域进行再筛选以确定真尾灯区域，调用深度图像中的数据，对真尾灯区域所对应的车辆区域进行标记并给出实时的相对于自身车辆的三维坐标信息；
步骤六：对上一模块计算得到的真尾灯区域施加车道约束，并将自身车道范围内的尾灯图像传输进制动判定模块，判断其制动状态后通信至车机系统，并在实时图像中标出相关信息，再通过显示器等展示给驾驶人员。
2.如权利要求1所述的一种利用深度相机的汽车尾灯检测与制动判别方法，其特征在于：所述步骤一中孪生主干网络的分支一训练方法为：孪生网络分支由基于ResNet-18的网络架构改进得到，R1代表经原ResNet-18中的64层7*7卷积后的特征图层、R2代表经过3*3的max pool后的特征图层、R3代表经过两组3*3卷积(每组由两个64层3*3卷积组成)后的特征图层、R4代表经过两组3*3卷积(每组由两个128层3*3卷积组成)后的特征图层、R5代表经过两组3*3卷积(每组由两个256层3*3卷积组成)后的特征图层、R6代表经过一组3*3卷积(由一个512层3*3卷积组成)后的特征图层、R7代表经过一组3*3卷积(由一个512层3*3卷积组成)后的特征图层，并通过在R3至R7层对应的卷积层上添加注意力机制组成孪生网络的分支之一。
3.如权利要求2所述的一种利用深度相机的汽车尾灯检测与制动判别方法，其特征在于：所述步骤一中孪生网络分支二训练方法为：利用空间信息融合机制生成新的R′ 3至R′ 7层与原R1至R3层一同组成孪生网络的分支之二。
4.如权利要求3所述的一种利用深度相机的汽车尾灯检测与制动判别方法，其特征在于：所述步骤二具体检测方法为：以FCOS作为基础网络，通过Backbone提取输入图像的特征信息，取B3、B4、B5层特征图构建FPN，其中，并对P5特征图依次下采样得到P6、P7，以提取图像的多尺度特征信息，再在每个层级下通过权值共享的Head模块提取该层级的类别、回归决策输出，并以此构建类别空间金字塔和回归空间金字塔；尾灯检测网络其输入为车辆检测网络所输出的ROI区域，因为车辆尾灯只有可能出现在车辆当中，所以通过先对车辆ROI区域进行检测，可以极大程度的规避非目标区域，同时减少误检测的概率。尾灯检测模块最终将输出车辆中的尾灯ROI区域以及对应的位置信息。
5.如权利要求4所述的一种利用深度相机的汽车尾灯检测与制动判别方法，其特征在于：为了进一步减少由于其他类似尾灯物体对尾灯检测的影响，在尾灯检测网络后，利用尾灯约束模块进一步对检测的结果进行筛选；以车辆检测网络输出的车辆ROI区域的中线为轴线，计算左右尾灯的IoU值，当其大于阈值时，尾灯约束模块判断其为真尾灯区域，反之，当其小于阈值时，则认为是假尾灯区域，给予剔除；并记录真尾灯区域所对应的车辆ROI区域和位置信息。
6.如权利要求5所述的一种利用深度相机的汽车尾灯检测与制动判别方法，其特征在于：为了解决预测框与真实框两框的相对位置出现旋转偏差，但IoU值却不变的情况，即采用IoU值不能够有效的区分两个对象间不同角度的位置偏差的问题，采用GIoU用于计算预测框与实际框之间的偏差损失，计算方式如下：
其中，C/(A∪B)表示矩形C与(S∪B)的面积差值，C表示包含S与B在内的最小矩形框。
7.如权利要求6所述的一种利用深度相机的汽车尾灯检测与制动判别方法，其特征在于：所述步骤三具体步骤为：利用车辆ROI区域的x、y、z信息以及车道宽度信息，对某一前车时候处于本车道进行判断；对于未处于本车道的车辆，仅标记出其相对于本车的x、y、z信息，不进入制动状态判定模块。而对于本车道的车辆，不但需要标记出相对于本车的x、y、z信息，还需要进一步对制动状态进行判定，以确认前车行车状态。
CN202311385833.XA 2023-10-25 2023-10-25 一种利用深度相机的汽车尾灯检测与制动判别方法 Pending CN117437612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311385833.XA CN117437612A (zh) 2023-10-25 2023-10-25 一种利用深度相机的汽车尾灯检测与制动判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311385833.XA CN117437612A (zh) 2023-10-25 2023-10-25 一种利用深度相机的汽车尾灯检测与制动判别方法

Publications (1)

Publication Number Publication Date
CN117437612A true CN117437612A (zh) 2024-01-23

Family

ID=89547394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311385833.XA Pending CN117437612A (zh) 2023-10-25 2023-10-25 一种利用深度相机的汽车尾灯检测与制动判别方法

Country Status (1)

Country Link
CN (1) CN117437612A (zh)

Similar Documents

Publication Publication Date Title
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
CN107766821B (zh) 基于卡尔曼滤波与深度学习的视频中全时段车辆检测跟踪方法及系统
US10380434B2 (en) Vehicle detection system and method
CN106845453B (zh) 基于图像的尾灯检测与识别方法
EP2575078B1 (en) Front vehicle detecting method and front vehicle detecting apparatus
CN108357418B (zh) 一种基于尾灯识别的前车驾驶意图分析方法
KR101772178B1 (ko) 차량용 랜드마크 검출 장치 및 방법
Cui et al. A vision-based hierarchical framework for autonomous front-vehicle taillights detection and signal recognition
CN107316486A (zh) 基于双摄像头的无人驾驶汽车视觉识别系统
US11688179B2 (en) Inferring intent using computer vision
CN103984950A (zh) 一种适应白天检测的运动车辆刹车灯状态识别方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN103927548A (zh) 一种新的避免车辆碰撞的刹车行为检测方法
WO2021017341A1 (zh) 识别智能行驶设备的行驶状态的方法及装置、设备
CN112287861A (zh) 基于夜间环境感知的道路信息增强与驾驶预警方法
US11482012B2 (en) Method for driving assistance and mobile device using the method
Li et al. A low-cost and fast vehicle detection algorithm with a monocular camera for adaptive driving beam systems
Sushmitha et al. Multiple car detection, recognition and tracking in traffic
JP3562278B2 (ja) 環境認識装置
CN113895439B (zh) 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法
WO2023151241A1 (zh) 一种运动意图确定方法、装置、设备及存储介质
CN117437612A (zh) 一种利用深度相机的汽车尾灯检测与制动判别方法
US20230368545A1 (en) Method for processing images
CN113743226A (zh) 一种日间前车灯语识别及预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination