CN110543818A - 基于权图匹配的红绿灯跟踪方法、装置、介质及设备 - Google Patents

Abstract

本发明公开了一种基于权图匹配的红绿灯跟踪方法、装置、介质及设备，属于红绿灯识别技术领域，解决了目前识别精度不高的技术问题，采用的技术方案为：获取目标图片，对当前帧目标图片进行红绿灯检测；当检测到红绿灯时，获取当前帧红绿灯的属性信息；基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重；通过步骤S03获得的权重得到预设跟踪队列中与当前帧红绿灯最优匹配的目标红绿灯，更新目标红绿灯的多帧序列，多帧序列根据目标图片依次平移；当跟踪队列中某个目标红绿灯的多帧序列中相同状态数大于预设序列长度，则将此目标红绿灯的状态作为跟踪输出的红绿灯。上述技术方案具有跟踪识别精度高等优点。

Description

基于权图匹配的红绿灯跟踪方法、装置、介质及设备

技术领域

本发明主要涉及红绿灯识别技术领域，特指一种基于权图匹配的红绿灯跟踪方法、装置、介质及设备。

背景技术

在自动驾驶技术中，为保障无人车(如自动物流车)能够安全通过路口，需要无人车能够实时检测路口红绿灯状态，并识别红灯、绿灯和黄灯，得到这些灯的状态后，输出给后级的无人车中的控制系统，由控制系统根据灯的状态发出通过或者停止的命令。

现有技术中，无人车在识别红绿灯时主要是基于摄像头来做图像采集，由摄像头对前方道路中的信息进行采集，然后对采集的图像的全图做红绿灯的检测和识别，最后将识别的结果即灯的状态进行输出，具体识别过程为：1)在当前帧图像中检测红绿灯；2)提取检测出的红绿灯特征点与特征编码；3)使用当前帧检测出的红绿灯特征与跟踪队列中的红绿灯中的特征进行匹配，若存在匹配则更新状态，若不存在匹配则将新检测的红绿灯添加到跟踪队列。上述识别过程具有如下不足：1、基于单帧检测的红绿灯检测方法仅输出单帧检测状态，在检测出现误检、漏检时红绿灯状态输出错误可能会导致无人车规划错误，从而增加了发生事故的危险；2、基于检测的跟踪方法需要对单帧检测的目标进行特征提取然后对连续帧检测的目标进行匹配，最后对匹配目标进行跟踪。而不同红绿灯特征相似，且单灯状态切换时(例如由红灯变为绿灯)特征变化巨大，基于特征的匹配方法无法对红绿灯进行匹配和跟踪。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种跟踪精准的基于权图匹配的红绿灯跟踪方法、装置、介质及设备。

为解决上述技术问题，本发明提出的技术方案为：

一种基于权图匹配的红绿灯跟踪方法，包括步骤：

S01、获取目标图片，对当前帧目标图片进行红绿灯检测；

S02、当检测到红绿灯时，获取当前帧红绿灯的属性信息；

S03、基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重；

S04、通过步骤S03获得的权重得到预设跟踪队列中与当前帧红绿灯最优匹配的目标红绿灯，更新目标红绿灯的多帧序列，多帧序列根据目标图片依次平移；

S05、当跟踪队列中某个目标红绿灯的多帧序列中相同状态数大于预设序列长度，则将此目标红绿灯的状态作为跟踪输出的红绿灯。

作为上述技术方案的进一步改进：

在步骤S02中，所述属性信息包括红绿灯的类别、在目标图像中的位置、置信度和特征描述向量中的一种或多种。

在步骤S03中，所述权重为三项子权重的乘积；三项子权重分别为：一是当前帧红绿灯与跟踪队列中目标红绿灯的特征向量的差的二范数，二是当前帧红绿灯与跟踪队列中目标红绿灯位置交并比，三是当前帧红绿灯形状与跟踪队列中目标红绿灯形状是否相同，相同为1，不同为0。

在步骤S04中，将步骤S03中得到的权重作为KM算法的输入，得到当前帧红绿灯最优匹配的目标红绿灯。

在步骤S05中，所述预设序列长度为多帧序列的一半。

在步骤S01中，通过红绿灯检测神经网络对当前帧目标图片进行红绿灯检测，对红绿灯检测神经网络的输出进行极大值抑制，得到当前帧目标图片的红绿灯检测结果。

所述目标红绿灯的状态包括未知、红直行、黄直行、绿直行、红左转、黄左转、绿左转、红右转、黄右转、绿右转、红掉头、黄掉头和绿掉头。

本发明还公开了一种基于权图匹配的红绿灯跟踪装置，包括

第一模块，用于获取目标图片，对当前帧目标图片进行红绿灯检测；

第二模块，用于当检测到红绿灯时，获取当前帧红绿灯的属性信息；

第三模块，用于基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重；

第四模块，用于通过步骤S03获得的权重得到预设跟踪队列中与当前帧红绿灯最优匹配的目标红绿灯，更新目标红绿灯的多帧序列，多帧序列根据目标图片依次平移；

第五模块，用于当跟踪队列中某个目标红绿灯的多帧序列中相同状态数大于预设序列长度，则将此目标红绿灯的状态作为跟踪输出的红绿灯。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述的基于权图匹配的红绿灯跟踪方法的步骤。

本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述的基于权图匹配的红绿灯跟踪方法的步骤。

与现有技术相比，本发明的优点在于：

本发明的基于权图匹配的红绿灯跟踪方法、装置、介质及设备，基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重，并依据此权重得到预设跟踪队列中最优匹配的目标红绿灯，并在某个目标红绿灯的多帧序列中相同状态数大于预设序列长度时才输出最终的跟踪红绿灯，对单帧红绿灯状态变换和位置变化不敏感，跟踪结果更加精度；由于采用连续多帧的方式，不受单帧误检漏检的影响，能大大降低漏检误检概率，提高无人车系统安全性。

附图说明

图1为本发明在实施例中的方法流程图。

具体实施方式

以下结合说明书附图和具体实施例对本发明作进一步描述。

如图1所示，本实施例的基于权图匹配的红绿灯跟踪方法，包括步骤：

S01、获取目标图片，对当前帧目标图片进行红绿灯检测；

S02、当检测到红绿灯时，获取当前帧红绿灯的属性信息；

S03、基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重；

S04、通过步骤S03获得的权重得到预设跟踪队列中与当前帧红绿灯最优匹配的目标红绿灯，更新目标红绿灯的多帧序列，多帧序列根据目标图片依次平移；

S05、当跟踪队列中某个目标红绿灯的多帧序列中相同状态数大于预设序列长度，则将此目标红绿灯的状态作为跟踪输出的红绿灯。

在本发明的实施例中，基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重，并依据此权重得到预设跟踪队列中最优匹配的目标红绿灯，并在某个目标红绿灯的多帧序列中相同状态数大于预设序列长度时才输出最终的跟踪红绿灯，对单帧红绿灯状态变换和位置变化不敏感，跟踪结果更加精度；由于采用连续多帧的方式，不受单帧误检漏检的影响，能大大降低漏检误检概率，提高无人车系统安全性。

本实施例中，在步骤S02中，属性信息包括红绿灯的类别、在目标图像中的位置、置信度和特征描述向量共四种；当然，在其它实施例中，也可以采用上述四种中的一种或多种组合。

本实施例中，在步骤S03中，权重为三项子权重的乘积；三项子权重分别为：一是当前帧红绿灯与跟踪队列中目标红绿灯的特征向量的差的二范数，二是当前帧红绿灯与跟踪队列中目标红绿灯位置交并比，三是当前帧红绿灯形状与跟踪队列中目标红绿灯形状是否相同，相同为1，不同为0。

本实施例中，在步骤S04中，将步骤S03中得到的权重作为KM算法的输入，得到当前帧红绿灯最优匹配的目标红绿灯。

本实施例中，在步骤S05中，预设序列长度为多帧序列的一半。当然，在其它实施例中，也可以根据实际情况进行长度的选择

本实施例中，在步骤S01中，通过红绿灯检测神经网络对当前帧目标图片进行红绿灯检测，对红绿灯检测神经网络的输出进行极大值抑制，得到当前帧目标图片的红绿灯检测结果。

本实施例中，目标红绿灯的状态包括未知、红直行、黄直行、绿直行、红左转、黄左转、绿左转、红右转、黄右转、绿右转、红掉头、黄掉头和绿掉头。

本发明的实施例还公开了一种基于权图匹配的红绿灯跟踪装置，包括

第一模块，用于获取目标图片，对当前帧目标图片进行红绿灯检测；

第二模块，用于当检测到红绿灯时，获取当前帧红绿灯的属性信息；

第三模块，用于基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重；

第四模块，用于通过步骤S03获得的权重得到预设跟踪队列中与当前帧红绿灯最优匹配的目标红绿灯，更新目标红绿灯的多帧序列，多帧序列根据目标图片依次平移；

第五模块，用于当跟踪队列中某个目标红绿灯的多帧序列中相同状态数大于预设序列长度，则将此目标红绿灯的状态作为跟踪输出的红绿灯。

本发明的实施例进一步公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器运行时执行如上所述的基于权图匹配的红绿灯跟踪方法的步骤。

本发明的实施例进一步公开了一种计算机设备，包括存储器和处理器，存储器上存储有计算机程序，计算机程序在被处理器运行时执行如上所述的基于权图匹配的红绿灯跟踪方法的步骤。

下面结合一完整的具体实施例对本发明的方法、装置进行详细说明：

1)使用红绿灯检测神经网络对当前帧目标图片进行红绿灯检测，详细步骤为：

a.对输入当前帧目标图片进行预处理(包括常规图像裁剪与归一化等)；

b.将预处理后的数据输入红绿灯检测神经网络；

c.将红绿灯检测神经网络的输出进行极大值抑制，得到当前帧的红绿灯检测结果；若本帧检测到红绿灯，则输出红绿灯的类别、在输入图像中的位置、置信度和特征描述向量四类属性；

2)若当前帧目标图片检测到红绿灯，跳转3)；

否则预设跟踪队列的中目标红绿灯的多帧状态依次向后平移(如第19帧平移至20帧，18帧平移至19帧……第1帧平移至第2帧)，将第1帧状态设置为未检测，跳转6)；其中红绿灯跟踪队列是指目标红绿灯在时间维度的序列记录，记录的是某红绿灯从当前帧至前20帧的每帧的红绿灯类别、图像中的位置、置信度和特征描述向量四类属性；

3)若跟踪队列中的目标红绿灯个数不为0，跳转到4)，否则将本帧检测的红绿灯添加到跟踪队列中，跳转7)；

4)计算当前帧红绿灯与跟踪队列中每个目标红绿灯的权重，该权重为三项子权重的乘积，一是当前帧检测到的红绿灯与跟踪队列中红绿灯的特征向量的差的二范数，二是当前帧检测到的红绿灯与跟踪队列中红绿灯位置IOU，三是当前帧检测到的红绿灯与跟踪队列中红绿灯的状态(同为圆形或同为左箭头)是否相同，相同为1不同为0；其中二范数：2-范数：║x║2＝(│x1│2+│x2│2+…+│xn│2)1/2，2-范数就是通常意义下的距离；IoU的全称为交并比(Intersection over Union)，IoU计算的是“预测的边框”和“真实的边框”的交集和并集的比值；

5)用步骤4)中得到的关联权重作为KM算法的权重，求得当前帧红绿灯与跟踪队列中目标红绿灯的最优匹配；其中KM算法是一种常规计算机算法，功能是求完备匹配下的最大权匹配，流程为：(1)初始化可行顶标的值；(2)寻找完备匹配；(3)若未找到完备匹配则修改可行顶标的值；(4)重复步骤(2)(3)直到找到相等子图的完备匹配为止。在一个二分图内，左顶点为X，右顶点为Y，现对于每组左右连接XiYj有权wij，求一种匹配使得所有wij的和最大；

目标红绿灯的多帧状态依次向后平移(即第19帧平移至20帧，18帧平移至19帧……第1帧平移至第2帧)，将第1帧状态设置为未检测；

对于当前帧红绿灯最优匹配到的目标红绿灯，则将当前红绿灯状态覆盖目标红绿灯的第1帧；若不存在最优匹配，则将本帧红绿灯添加到跟踪队列中，输出未知的红绿灯；

6)定义红绿灯的状态包括未知、红直行、黄直行、绿直行、红左转、黄左转、绿左转、红右转、黄右转、绿右转、红掉头、黄掉头、绿掉头。对于跟踪队列中的每个目标红绿灯，计算其在多帧序列中各状态的数目。若某个状态的出现数目大于序列长度的一半，则将该目标红绿灯的输出状态设置为该状态，将该目标红绿灯的输出置信度设置为该状态下置信度的和除以跟踪序列长度，将该目标红绿灯的输出位置设置为该状态下最新的位置。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于权图匹配的红绿灯跟踪方法，其特征在于，包括步骤：

S01、获取目标图片，对当前帧目标图片进行红绿灯检测；

S02、当检测到红绿灯时，获取当前帧红绿灯的属性信息；

S03、基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重；

S04、通过步骤S03获得的权重得到预设跟踪队列中与当前帧红绿灯最优匹配的目标红绿灯，更新目标红绿灯的多帧序列的状态，多帧序列根据目标图片依次平移；

S05、当跟踪队列中某个目标红绿灯的多帧序列中相同状态数大于预设序列长度，则将此目标红绿灯的状态作为跟踪输出的红绿灯。

2.根据权利要求1所述的基于权图匹配的红绿灯跟踪方法，其特征在于，在步骤S02中，所述属性信息包括红绿灯的类别、在目标图像中的位置、置信度和特征描述向量中的一种或多种。

3.根据权利要求2所述的基于权图匹配的红绿灯跟踪方法，其特征在于，在步骤S03中，所述权重为三项子权重的乘积；三项子权重分别为：一是当前帧红绿灯与跟踪队列中目标红绿灯的特征向量的差的二范数，二是当前帧红绿灯与跟踪队列中目标红绿灯位置交并比，三是当前帧红绿灯形状与跟踪队列中目标红绿灯形状是否相同，相同为1，不同为0。

4.根据权利要求3所述的基于权图匹配的红绿灯跟踪方法，其特征在于，在步骤S04中，将步骤S03中得到的权重作为KM算法的输入，得到当前帧红绿灯最优匹配的目标红绿灯。

5.根据权利要求1至4中任意一项所述的基于权图匹配的红绿灯跟踪方法，其特征在于，在步骤S05中，所述预设序列长度为多帧序列的一半。

6.根据权利要求1至4中任意一项所述的基于权图匹配的红绿灯跟踪方法，其特征在于，在步骤S01中，通过红绿灯检测神经网络对当前帧目标图片进行红绿灯检测，对红绿灯检测神经网络的输出进行极大值抑制，得到当前帧目标图片的红绿灯检测结果。

7.根据权利要求1至4中任意一项所述的基于权图匹配的红绿灯跟踪方法，其特征在于，所述目标红绿灯的状态包括未知、红直行、黄直行、绿直行、红左转、黄左转、绿左转、红右转、黄右转、绿右转、红掉头、黄掉头和绿掉头。

8.一种基于权图匹配的红绿灯跟踪装置，其特征在于，包括

第一模块，用于获取目标图片，对当前帧目标图片进行红绿灯检测；

第二模块，用于当检测到红绿灯时，获取当前帧红绿灯的属性信息；

第三模块，用于基于当前帧红绿灯的属性信息，得到当前帧红绿灯与预设跟踪队列中每个目标红绿灯的权重；

第四模块，用于通过步骤S03获得的权重得到预设跟踪队列中与当前帧红绿灯最优匹配的目标红绿灯，更新目标红绿灯的多帧序列，多帧序列根据目标图片依次平移；

第五模块，用于当跟踪队列中某个目标红绿灯的多帧序列中相同状态数大于预设序列长度，则将此目标红绿灯的状态作为跟踪输出的红绿灯。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1至7中任意一项所述的基于权图匹配的红绿灯跟踪方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述计算机程序在被处理器运行时执行如权利要求1至7中任意一项所述的基于权图匹配的红绿灯跟踪方法的步骤。