CN110969647B - 一种整合车辆的识别跟踪与车灯检测的方法 - Google Patents

Abstract

本发明涉及一种整合车辆的识别跟踪与车灯检测的方法，包含如下的步骤：S1:采集周围车辆的图像数据，对于输入的每一帧图像，提取图像特征；S2：将S1步骤中获得的两帧或者两帧以上时序连续的图像特征整合在一起，提取关系特征；S3：利用S2步骤中获得的关系特征，进行目标跟踪和车灯状态检测，最终输出目标跟踪结果与车灯状态结果。本发明通过将车辆的识别跟踪与车辆信号灯检测统一在一个框架中，对于图像序列中存在的所有车辆同时进行识别跟踪以及信号灯的检测，而无需对每个车辆单独进行处理，从而大大节省计算资源。另外，还通过利用多帧的图像信息，解决单帧信号灯状态难以判断的问题，提高检测准确率。

Description

一种整合车辆的识别跟踪与车灯检测的方法

技术领域

本发明属于无人驾驶车辆技术领域，尤其是涉及到一种整合车辆的识别跟踪与车灯检测的方法。

背景技术

在自动驾驶、辅助驾驶系统中，其他车辆的识别跟踪起着至关重要的作用。同时，对车辆的未来意图的判断也十分关键，而对车辆信号灯状态的检测可以很大程度上帮助对该车意图的判断。目前，在工业界和学术界，车辆的跟踪与车辆信号灯状态的检测都是分成两个问题分别解决。一般流程如图4所示，先解决车辆的识别跟踪问题，再基于识别跟踪的结果，分别对每个被跟踪到的车辆，逐帧进行信号灯状态(亮/灭)的检测。而车辆的意图可以通过汇总每帧检测到的信号灯状态来判断。

以上方法主要存在两个问题，其一，对于每帧图像中存在的每个车辆，都需要进行一遍信号灯检测，当图像中车辆较多时，这种方法需要极大的计算资源；其二，信号灯的亮/灭状态通过一帧图像往往难以判断。这是由于多方面原因造成的，如，环境光条件不同造成的相机成像的色彩、亮度变化，车体本身的反光与信号灯亮的混淆，夜晚时常亮的示廓灯与刹车灯的混淆，等等。

基于此，特提出本发明。

发明内容

为了解决现有技术存在的上述问题，本发明的目的是提供一种整合车辆的识别跟踪与车灯检测的方法，通过将车辆的识别跟踪与车辆信号灯检测统一在一个框架中，对于图像序列中存在的所有车辆，同时进行识别跟踪以及信号灯的检测，而无需对每个车辆单独进行处理，从而大大节省计算资源。另外，还通过利用多帧的图像信息，解决单帧信号灯状态难以判断的问题，提高检测准确率。

本发明的技术方案是：一种整合车辆的识别跟踪与车灯检测的方法，包含如下的步骤，

S1:采集周围车辆的图像数据，对于输入的每一帧图像，提取图像特征，所述图像特征包含该图像内每个周围车辆的位置信息、尺寸信息，以及该车辆上的所有车灯的位置信息；

S2：将S1步骤中获得的两帧或者两帧以上时序连续的图像特征整合在一起，提取关系特征，所述关系特征包括车辆外形的相似关系、车辆状态的异同；

S3：利用S2步骤中获得的关系特征，进行目标跟踪和车灯状态检测，最终输出目标跟踪结果与车灯状态结果。

进一步地，在S1步骤中，利用检测网络的结构构建出目标识别模块，该目标识别模块检测每一帧图像的车辆目标特征，同时也检测该车辆目标中车灯的位置。

进一步地，所述目标识别模块输出每一帧图像中所有车辆的外接框，同时对于每个车辆，目标识别模块还输出其所有车灯的位置检测信息，所述车灯的位置检测信息包括车灯的外接框与车灯的方位类别。

进一步地，所述S1步骤中的特征提取的骨架网络为残差网络或特征金字

塔网络。

进一步地，所述S2步骤中，所述关系特征的提取方法采用循环神经网络技术或者相关系数层技术。

进一步地，所述S3步骤中，利用检测网络的结构构建出目标跟踪/车灯状态检测模块。

进一步地，所述S3步骤中，所述目标跟踪结果表示为，

1)在当前帧中该车是否继续可见，

2)若可见则其外接框在当前帧中相对于之前帧的位移，

3)其各个车灯是否当前帧中继续可见，

4)车灯外接框的相对位移；

所述车灯状态检测结果表示为:

1)该车各个车灯在当前帧中是否亮起，

2)亮起的车灯是何类型。

进一步地，所述S1和S3步骤中，目标识别、目标跟踪/车灯状态检测的

头网络为检测网络的结构。

本发明的优点在于：

1.在一个算法框架下同时进行目标识别、多目标跟踪以及车灯状态检测，对于图像中的所有车辆，可同时进行跟踪，以及同时检测其车灯及车灯状态，无需对于每一个车辆单独进行跟踪和车灯检测。

2.车灯的状态检测利用了多帧信息，更好地避免了由于环境光条件不同造成的相机成像的色彩、亮度变化，车体本身的反光与信号灯亮的混淆，夜晚时常亮的示廓灯与刹车灯的混淆等因素造成的对车灯亮/灭状态的混淆。

附图说明

图1是本发明一种整合车辆的识别跟踪与车灯检测的方法的流程图。

图2是本发明一种整合车辆的识别跟踪与车灯检测的方法中的深度神经网络训练部分流程图。

图3是本发明一种整合车辆的识别跟踪与车灯检测的方法在实际应用时的算法流程。

图4是现有技术中车辆的跟踪与车辆信号灯状态的检测流程图。

具体实施方式

以下结合附图1-3，对本发明一种整合车辆的识别跟踪与车灯检测的方法做进一步地说明，需要说明的是，下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，为本发明一种整合车辆的识别跟踪与车灯检测的方法的流程图，该方法包括如下的几个步骤：

S1:采集周围车辆的图像数据，对于输入的每一帧图像，利用如卷积神经网络(CNN)的技术(例如残差神经网络ResNet)提取其图像特征，此时，图像中所有车辆的信息都包含在提取的特征中，这种图像特征包含该图像内每个周围车辆的位置信息、尺寸信息，以及该车辆上的所有车灯的位置信息。

对于每一帧图像所对应的特征，利用检测网络的结构构建出目标识别模块，目标识别模块将检测车辆目标，同时检测该车辆目标中车灯的位置。具体来说，目标识别模块将输出一帧图像中所有车辆的外接框，表示为(x,y,w,h)，即车辆的位置坐标(x,y)和车辆外廓矩形框的长与宽(w,h)，同时对于每个车辆，目标识别模块还将输出其所有车灯的位置检测信息，如车灯外廓的外接框与方位类别，外接框类似地表示为(xl,yl,wl,hl)，方位类别是指车灯位于车辆的方位，通常为左后车灯、左前车灯、中后车灯等，表示为cpl。

S2：利用如循环神经网络(RNN)、相关系数(correlation)、互信息(mutualinformation)等技术，将S1步骤中获得的多帧时序连续的图像特征整合在一起，提取关系特征。这样，两帧或者多帧图像之间的关系信息，如车辆外形的相似关系，车辆状态的异同等，都被包含在关系特征之中。

S3：利用S2步骤中获得的关系特征，进行目标跟踪和车灯状态检测，最终输出目标跟踪结果与车灯状态结果。具体地，利用检测网络的结构构建出目标跟踪/车灯状态检测模块，然后利用S2步骤中获得的该关系特征，对于给定之前帧的所有车辆外接框与车灯外接框，目标跟踪/车灯状态检测模块将输出目标跟踪结果与车灯状态结果。更具体来说，对于每一个之前帧检测到的车辆，目标跟踪结果表示为：

1)在当前帧中该车是否继续可见(e)，

2)若可见则其外接框在当前帧中相对于之前帧的位移(dx,dy,dw,dh)，

3)其各个车灯是否当前帧中继续可见(el)，

4)车灯外接框的相对位移(dxl,dyl,dwl,dhl)；

另外，对于每一个之前帧检测到的车辆，车灯状态检测结果表示为:

1)该车各个车灯在当前帧中是否亮起(sl，亮/灭)，

2)亮起的车灯是何类型(dsl，转向/刹车/无法判断)。

另外，如图1所示，S2步骤中获得的关系特征同样可以被利用于目标识别模块，以利用连续帧信息提高目标识别效果。

需要强调的是，本发明一种整合车辆的识别跟踪与车灯检测的方法，其中的深度神经网络需要经过训练步骤，然后应用于实际场景。其中训练部分流程图如图2所示，对于数据的采集，由于需要利用连续帧信息进行目标跟踪及车灯状态检测，因此图像序列数据是必需的。而一般的不具备时序连续性的图像数据是可选的，由于目标识别网络可以只对单帧图像进行处理，因此这种数据也可以辅助目标识别网络的训练。

经过人工标注(车辆外接框，车灯位置信息，车灯状态，外接框的位移则可以通过前后帧的外接框标注推算得到)后，以标注信息为监督，模型的训练可以有多种方式。这里列出最常用的两种方式：一、先利用单帧图像数据训练好特征提取/目标识别网络，然后固定住该网络参数，基于图像序列数据训练目标跟踪/车灯状态检测网络，最终可选择是否需要进行两者的联合训练；二、直接基于图像序列数据联合训练特征提取/目标识别网络与目标跟踪/车灯状态检测网络。

一般来说，特征提取网络为目标识别网络的骨架网络(backbone)，而目标识别网络、目标跟踪/车灯状态检测网络均可视为应用在特征上的头网络(head)。

本发明的一种整合车辆的识别跟踪与车灯检测的方法，在实际应用时，算法流程如图3所示，实际应用时，摄像头采集连续图像序列，每当一帧图像被采集到之后，先利用训练好的网络提取特征，结合之前图像特征提取关系特征，然后利用这些特征分别进行目标识别网络与目标跟踪/车灯状态检测网络的处理(可并行)，其中，如前面所述，关系特征也可应用在目标识别网络中。最终，将目标识别网络的结果与目标跟踪/车灯状态检测网络的结果进行融合。需要融合的信息有车辆外接框(x,y,w,h)与帧间车辆外接框的位移(dx,dy,dw,dh)。基于之前帧外接框信息与帧间外接框的位移信息，可预测出当前帧外接框的位置(x’,y’,w’,h’)，其中：

x’＝x+dx,y’＝y+dy,w’＝w+dw,h’＝h+dh

根据预测出的外接框的位置(x’,y’,w’,h’)，与当前帧的外接框(x,y,w,h)识别结果，可计算两者之间的重合比(IoU,intersection over union)，即外接框交集面积与并集面积的比值。利用重合比，即可找到当前帧中与之前帧中属于同一车辆的外接框，再进行最终外接框位置的修正(可为两种外接框位置的加权平均)，这样就完成了车辆跟踪的任务。类似地，对于车灯外接框也可进行相同的操作。

最终融合输出的结果为：当前帧的车辆跟踪信息(如身份ID)，车辆外接框，每辆车的车灯位置信息(包括方位类别与外接框)及该车灯状态(是否亮起、亮起的是何种灯)。

上述实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.一种整合车辆的识别跟踪与车灯检测的方法，其特征在于，将车辆的识别跟踪与车辆信号灯检测统一在一个框架中，对于图像序列中存在的所有车辆同时进行识别跟踪以及信号灯的检测，该方法包含如下的步骤：

S1:采集周围车辆的图像数据，对于输入的每一帧图像，提取图像特征，所述图像特征包含该图像内每个周围车辆的位置信息、尺寸信息，以及该车辆上的所有车灯的位置信息；

利用检测网络的结构构建出目标识别模块，该目标识别模块检测每一帧图像的车辆目标特征，同时也检测该车辆目标中车灯的位置；

所述目标识别模块输出每一帧图像中所有车辆的外接框，同时对于每个车辆，目标识别模块还输出其所有车灯的位置检测信息；

S2：将S1步骤中获得的两帧或者两帧以上时序连续的图像特征整合在一起，提取关系特征，所述关系特征的提取方法采用循环神经网络技术或者相关系数层技术；所述关系特征包括车辆外形的相似关系、车辆状态的异同；

S3：利用S2步骤中获得的关系特征，利用检测网络的结构构建出目标跟踪/车灯状态检测模块，进行目标跟踪和车灯状态检测，最终输出目标跟踪结果与车灯状态结果；

所述目标跟踪结果表示为：

1)在当前帧中该车是否继续可见，

2)若可见则其外接框在当前帧中相对于之前帧的位移，

3)其各个车灯是否当前帧中继续可见，

4)车灯外接框的相对位移；

所述车灯状态检测结果表示为:

1)该车各个车灯在当前帧中是否亮起，

2)亮起的车灯是何类型。

2.如权利要求1所述的整合车辆的识别跟踪与车灯检测的方法，其特征在于，所述S1步骤中的特征提取的骨架网络为残差网络或特征金字塔网络。

3.如权利要求1或2所述的整合车辆的识别跟踪与车灯检测的方法，其特征在于，所述S1和S3步骤中，目标识别、目标跟踪/车灯状态检测的头网络为检测网络的结构。

Images