CN113761981B - 一种自动驾驶视觉感知方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种自动驾驶视觉感知方法、装置及存储介质，属于自动驾驶技术领域。该方法主要包括前处理步骤，包括将摄像头采集到的图像队列中图像的大小处理成模型输入的大小；模型推理步骤，将经过前处理步骤的每一帧图像输入模型，将每一帧图像中目标的评分分别与第一检测阈值比较，将每一帧图像中评分不低于第一检测阈值的目标确定为每一帧图像各自的中间目标；以及后处理步骤，将前后两帧图像进行比较，最终合并连续N帧输出目标。本发明实时进行目标检测和识别输出，确保了目标检测结果的高召回和高精度，同时对目标进行保持和跟踪，方便了自动驾驶车辆的决策判断。

Description

一种自动驾驶视觉感知方法、装置及存储介质

技术领域

本发明涉及自动驾驶技术领域，特别是一种自动驾驶视觉感知方法、装置及存储介质。

背景技术

环境感知是自动驾驶核心技术之一，目前对于环境中物体目标的感应主要是通过使用多个不同长短焦摄像头组成图像采集设备，将采集的图像数据输入目标检测网络进行目标检测和识别。其中，需要使用传统或者深度的跟踪算法来对目标进行身份识别号（ID，Identity Document）保持。

然而，在现有技术条件下，由多个摄像头组成的采集设备成本高；对于目标检测过程中误检和漏检情况时有发生；在使用跟踪算法进行ID保持阶段，跟踪过程中前期需要一个目标框来初始化跟踪器，由于窗口宽度大小保持不变，当目标尺度有所变化时，跟踪就会失败，并且跟踪过程中还会出现跟踪框突然变的很大和跟踪漂移的情况，导致跟踪效果不太好。

发明内容

本发明主要是提供一种自动驾驶视觉感知方法、装置及存储介质，在确保自动驾驶车辆视觉模块的需求时，减少摄像头的使用量，降低硬件成本，减少目标误检和漏检情况，保证目标跟踪效果。

为了实现上述目的，本发明采用的一个技术方案是：提供一种自动驾驶视觉感知方法，其包括：前处理步骤，包括将摄像头采集到的图像队列中图像的大小处理成模型输入的大小；模型推理步骤，将经过前处理步骤的每一帧图像输入模型，将每一帧图像中目标的评分分别与第一检测阈值比较，将每一帧图像中评分不低于第一检测阈值的目标确定为每一帧图像各自的中间目标；以及后处理步骤，其包括，对每连续N帧图像进行输出目标处理：当第一帧图像输入时，将第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标，其中第二检测阈值大于第一检测阈值，当第i帧图像输入时，判断第i帧图像中的中间目标是共同存在于第i-1帧输出目标中的已有目标，还是第i-1帧输出目标中没有的第i帧新目标，如果是第i帧新目标，将第i帧新目标当中评分大于第二检测阈值的，与共同存在于第i-1帧输出目标中的已有目标，一同确定为第i帧输出目标，当第N帧图像输入时，判断第N帧图像中的中间目标是共同存在于第N-1帧输出目标中的已有目标，还是第N-1帧输出目标中没有的第N帧新目标，如果为第N帧新目标，将第N帧新目标当中评分大于第二检测阈值的，与共同存在于第N-1帧输出目标中的已有目标，一同确定为第N帧输出目标，以及将第一帧输出目标、第i帧输出目标、第N帧输出目标当中不同的目标合并，作为一组输出目标。

本发明采用的另一个技术方案是：提供一种自动驾驶视觉感知装置，其包括：前处理模块，用于将摄像头采集到的图像队列中图像的大小处理成模型输入的大小；模型推理模块，用于将经过前处理步骤的每一帧图像输入模型，将每一帧图像中目标的评分分别与第一检测阈值比较，将每一帧图像中评分不低于第一检测阈值的目标确定为每一帧图像各自的中间目标；以及后处理模块，用于对每连续N帧图像进行输出目标处理：当第一帧图像输入时，将第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标，其中第二检测阈值大于第一检测阈值，当第i帧图像输入时，判断第i帧图像中的中间目标是共同存在于第i-1帧输出目标中的已有目标，还是第i-1帧输出目标中没有的第i帧新目标，如果是第i帧新目标，将第i帧新目标当中评分大于第二检测阈值的，与共同存在于第i-1帧输出目标中的已有目标，一同确定为第i帧输出目标，当第N帧图像输入时，判断第N帧图像中的中间目标是共同存在于第N-1帧输出目标中的已有目标，还是第N-1帧输出目标中没有的第N帧新目标，如果为第N帧新目标，将第N帧新目标当中评分大于第二检测阈值的，与共同存在于第N-1帧输出目标中的已有目标，一同确定为第N帧输出目标，以及将第一帧输出目标、第i帧输出目标、第N帧输出目标当中不同的目标合并，作为一组输出目标。

本发明采用的另一个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行方案一中的自动驾驶视觉感知方法。

本发明的技术方案可以达到的有益效果是：本发明设计了一种自动驾驶视觉感知方法、装置及存储介质。在该方法中利用检测高低阈值和连续帧数检测相结合的方法，将连续帧中所有的目标极大程度识别出来以及将结果中误检的目标过滤掉，保证目标检测结果的高召回和高精度；同时本发明通过比较前后帧目标框的交并比（IOU，Intersection overUnion）和中心点之间的距离dist_object实现对目标的跟踪和保持，保证了跟踪效果和保持效果，方便了自动驾驶车辆的决策判断。

附图说明

图1是本发明一种自动驾驶视觉感知方法的第一具体实施方式的示意图；

图2是本发明一种自动驾驶视觉感知方法的一个具体实施例的示意图；

图3是本发明一种自动驾驶视觉感知装置的第二具体实施方式的示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

随着自动驾驶的快速发展，实现自动驾驶视觉感知变得尤为重要。在现有技术中，主要是通过使用多个不同长短焦摄像头组成图像采集设备，图像数据输入目标检测网络进行目标检测和识别，其中还可以利用传统或者深度的跟踪算法来对目标进行ID保持。但是在上述过程中，容易出现目标漏检或误检和目标跟踪失败的情况。

基于以上问题，本发明设计了一种自动驾驶视觉感知方法、装置及存储介质。在该方法中利用检测高低阈值和连续帧数检测相结合的方法，将连续帧中所有的目标极大程度识别出来以及将结果中误检的目标过滤掉，保证目标检测结果的高召回和高精度；同时本发明通过比较前后帧目标框的交并比IOU和中心点之间的距离dist_object实现对目标的跟踪和保持，保证跟踪效果和保持效果。

目前自动驾驶车辆上为了降低耗电量、减少体积、增加系统功能、节省成本，部署的是低功耗的系统级芯片（SOC，System on Chip），这就要求整个自动驾驶视觉感知方法在精度和性能上达到一个平衡，本发明中使用多线程的思想将摄像头采集、图像前处理、模型推理和图像后处理并行处理，保证视觉工程可以实时运行。

图1示出了本发明一种自动驾驶视觉感知方法的第一具体实施方式。

在该具体实施方式中，自动驾驶视觉感知方法主要包括：前处理步骤S101。该步骤包括将摄像头采集到的图像队列中图像的大小处理成模型输入的大小。

在本发明的一个具体实施例中，前处理步骤S101还包括，在存储摄像头采集到的图像队列中的图像数据时，设置图像队列的大小为1。也就是摄像头内只存储最近一帧采集到的图像，删除上一历史帧图像。

在该具体实施例中，设置图像队列的大小为1，能够保证在处理过程中处理的数据都是摄像头最新采集的数据。

在本发明的一个具体实施例中，在把图像输入模型进行推理前，需要对图像进行前处理操作，包括图像的缩放、归一化处理等。而将图像大小缩放到模型输入的大小时，在现有技术中，常规办法是直接将图像resize到模型输入大小，但此种操作会导致输入模型的图像目标改变了原有的尺度，发生图像中的目标扭曲、变形等现象，造成目标检测效果不理想。

在该具体实施例中，前处理步骤S101还包括，首先新建一个空白的图片，其大小为模型输入的大小，然后，通过将图像队列中的图像数据粘贴到空白的图片上。

优选的，空白图片的格式可以为img、jpg、tiff等常用的格式，本实施例中对图片的格式不做限制，本领域技术人员根据实际情况而设定，但是空白图片的大小需要符合模型规定的大小。

在该具体实施例中，首先新建空白图片能够保证图像保持原有尺度，提高检测的效果。

图2示出了一种自动驾驶视觉感知方法的一个具体实施例，该具体实施例在前处理步骤之前还可以包括图像信息采集步骤S100。该步骤包括摄像头实时采集图像数据。

在现有技术中，采用多个不同长短焦摄像头组成图像采集设备。在该具体实施例中，采用单目摄像头采集图像数据。图像数据中既包括车、人等动态目标又包括红绿灯、标志牌等静态目标。单目摄像头选用时，既要保证有广角度以保证自动驾驶车辆宽广的视野角度，也要保证足够远的有效感知距离从而保证自动驾驶车辆自身的安全。单目摄像头可以结合具体的镜头外形、镜头焦距、摄像机分辨率、摄像机供电方式等参数进行选择。

优选的，本发明可以选择为参数为视场角（FOV，field of view）为105度、有效感知距离150m的单目摄像头。本具体实施例中单目摄像头的参数不做具体的限制，本领域技术人员可以根据实际自动驾驶情况的而设定。

可选的，在该具体实施例中，单目摄像头设置有存储图像数据的内存空间。单目摄像头在拍摄一帧图像后，确定是否有内存存储该一帧的图像数据。若是有内存存储该图像数据，则存储该图像数据，上一历史帧的图像数据删除。

在该具体实施例中，采用单目摄像头能够确保自动驾驶视觉方法的需求，能够减少摄像头的使用量，能够降低自动驾驶车辆视觉硬件设备的成本，而且单目摄像头图像测距具有低成本和计算快等优点。

在本发明的一个具体实施方式中，该自动驾驶视觉感知方法还包括模型推理步骤S102。该步骤主要包括将经过前处理步骤的每一帧图像输入模型，将每一帧图像中目标的评分分别与第一检测阈值比较，将每一帧图像中评分不低于第一检测阈值的目标确定为每一帧图像各自的中间目标。

在本发明的一个具体实施例中，在模型推理步骤S102中，可以先将原始深度学习框架训练出来的全精度浮点数（32位）的模型进行模型压缩量化操作，对模型常量权重和偏差值的精度从32位量化到半精度浮点数（16位）数据类型。

在该具体实施例中，能够确保在模型精度变化很小的情况下，模型大小显著减小即减少量达50%，从而进一步加速模型推理，保证本方法的实时性。

在本发明的一个具体实施例中，在步骤S102模型推理前，可以根据其自身内部算法计算图片帧中每个目标的评分（score）和设定一个较低的检测阈值作为第一检测阈值。

优选的，目标的评分标准可以依据目标的运动状态或静止状态，目标的颜色，目标不同类别或不同朝向或不同大小等特征而设定。本实施例中对目标的评分标准和方式不做限制，本领域技术人员可以根据实际情况而规定评分标准。例如可以将周围最近的车辆或人等目标的分数设置为最高1，从而提醒自动驾驶的车辆注意此目标，使其尽快改变方向或减速。

在现有技术中，评价一个目标检测方法“优劣”的时候，会使用Precision（精确率）和Recall（召回率）。精确率和召回率的求解公式为：

Precision = TP / TP+FP （公式1）

Recall = TP / TP+FN （公式2）

在上述公式中，TP（True Positive，真正）表示被模型预测为正的正样本，可以称作判断为真的正确率；TN（True Negative，真负）表示被模型预测为负的负样本，可以称作判断为假的正确率；FP（False Positive，假正）表示被模型预测为正的负样本，可以称作误报率；FN（False Negative，假负）表示被模型预测为负的正样本，可以称作漏报率。

在本发明的一个具体实施例中，为了保证模型输出结果的召回率，在模型推理步骤S102中先设定一个较低的第一检测阈值，将模型对检测的目标的评分大于等于该较低的第一检测阈值的目标作为模型中间输出目标。

优选的，第一检测阈值thresh_low设定为0.2-0.3任一值，本具体实施例中对如何设定第一检测阈值的方式和数值不做限制。在该具体实施例中，假设连续3帧中，若第一帧中有5个目标的评分大于第一检测阈值，则将这5个目标作为第一帧对应的中间目标。若第二帧中有10个目标的评分大于第一检测阈值，则将这10个目标作为第二帧对应的中间目标。若第三帧中有8个目标的评分大于第一检测阈值，则将这8个目标作为第三帧对应的中间目标。在该具体实施例中，对每帧中大于第一检测阈值的目标个数不做限制。

在该具体实施例中，设置一个较低的第一检测阈值能够使属于正样本的目标都检测出来，保证原本属于正样本的目标漏报为负样本检测不到，从而能够提高公式2中的TP值，同时降低FN值，最终能够提高目标检测结果的召回率，使得中间输出目标结果更加可靠。

在本发明的一个具体实施方式中，该自动驾驶视觉感知方法还包括后处理步骤S103。该步骤主要包括，对每连续N帧图像进行输出目标处理：当第一帧图像输入时，将第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标，其中第二检测阈值大于第一检测阈值，当第i帧图像输入时，判断第i帧图像中的中间目标是共同存在于第i-1帧输出目标中的已有目标，还是第i-1帧输出目标中没有的第i帧新目标，如果是第i帧新目标，将第i帧新目标当中评分大于第二检测阈值的，与共同存在于第i-1帧输出目标中的已有目标，一同确定为第i帧输出目标，当第N帧图像输入时，判断第N帧图像中的中间目标是共同存在于第N-1帧输出目标中的已有目标，还是第N-1帧输出目标中没有的第N帧新目标，如果为第N帧新目标，将第N帧新目标当中评分大于第二检测阈值的，与共同存在于第N-1帧输出目标中的已有目标，一同确定为第N帧输出目标，以及将第一帧输出目标、第i帧输出目标、第N帧输出目标当中不同的目标合并，作为一组输出目标，其中i为大于1小于N的整数。

优选的，N为3-6的整数。N选择3-6的原因是在一般情况下认为在3-6帧内摄像头视野范围内的目标数据基本不变。连续N帧重复进行上述步骤，以此实现目标保持和跟踪的目的。

优选的，本领域技术人员可以根据实际图像帧中的目标数量和目标评分而设定第二检测阈值，第二检测阈值设定为0.4-0.6任一数值，本实施例中对如何设定第二检测阈值的方式和数值不做限制。

作为该具体实施方式的一个实例，取N=3，i=2。则该实例中的后处理步骤主要包括：

当第一帧图像输入时，将第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标，

当第二帧图像输入时，判断第二帧图像中的中间目标是共同存在于第一帧输出目标中的已有目标，还是第一帧输出目标中没有的第二帧新目标，如果是第二帧新目标，将第二帧新目标当中评分大于第二检测阈值的，与共同存在于第一帧输出目标中的已有目标，一同确定为第二帧输出目标，

当第三帧图像输入时，判断第三帧图像中的中间目标是共同存在于第二帧输出目标中的已有目标，还是第二帧输出目标中没有的第三帧新目标，如果为第三帧新目标，将第三帧新目标当中评分大于第二检测阈值的，与共同存在于第二帧输出目标中的已有目标，一同确定为第三帧输出目标，

以及将第一帧输出目标、第二帧输出目标、第三帧输出目标当中不同的目标合并，作为一组输出目标。

在该实施方式的另一实例中，取N=4，i=2、3。在该实例中，后处理步骤的过程与上述取N=3时的实例类似，不同之处在于，在该N=4的实例中，还需要增加判断第四帧图像中的中间目标是共同存在于第三帧输出目标中的已有目标，还是第三帧输出目标中没有的四帧新目标，最后将四帧输出目标当中不同的目标合并作为一组输出目标。类似的步骤，此处不再赘述。

在该实施方式的另一实例中，取N=5，i=2、3、4；在该实施方式的另一实例中，取N=6，i=2、3、4、5。在这些实例中，与N=4的实例的不同之处在于，还需要依次增加与N=4的实例中类似的判断步骤和合并输出步骤，此处不再赘述。

在该具体实施方式中，设置一个大于第一检测阈值的第二检测阈值和连续数帧检测能够在一定程度下过滤掉误将负样本检测为正样本的数据，能够降低误报率FP值，最终能够提高目标检测结果的精确率，使得自动驾驶视觉感知输出目标结果更加可靠。在本发明的一个具体实施例中，可以通过如下方法判断是否是第i帧新目标和/或第N帧新目标。

当第i帧图像中的中间目标框与第i-1帧的输出目标框的交并比IOU大于预定的交并比阈值，并且两个相应目标各自中心点之间的距离dist_object小于预定的中心点距离阈值时，则为第i帧图像中的中间目标为共同存在于第i-1帧输出目标中的已有目标，否则为第i-1帧输出目标中没有的第i帧新目标；以及

当第N帧图像中的中间目标框与第N-1帧的输出目标框的IOU大于交并比阈值，并且两个相应目标各自dist_object小于中心点距离阈值时，则为第N帧图像中的中间目标为共同存在于第N-1帧输出目标中的已有目标，否则为第N-1帧输出目标中没有的第N帧新目标。

优选的，交并比阈值为0.5-0.7，中心点距离阈值为1-3个像素。在现有技术中，一般约定，如果lOU≥0.5，就说检测正确，如果两个框完美重叠，lOU就是1，因为交集就等于并集。但一般来说只要lOU≥0.5，那么检测结果是可以接受的。因此一般约定，lOU≥0.5是交并比阈值，用来判断当前的边界框是否正确。但是如果希望检测更正确，可以将lOU定得更高，比如说大于 0.6 或者更大的数字。本发明中对交并比阈值和中心点距离阈值的大小不做限制，本领域技术人员根据实际情况而设定。

在该具体实施例的一个实例中，取N=3，i=2，该判断过程如下：

当第二帧图像中的中间目标框与第一帧的输出目标框的IOU大于预定的交并比阈值，并且两个相应目标各自dist_object小于预定的中心点距离阈值时，则为第二帧图像中的中间目标为共同存在于第一帧输出目标中的已有目标，否则认为第一帧输出目标中没有的第二帧新目标；以及

当第三帧图像中的中间目标框与第二帧的输出目标框的IOU大于交并比阈值，并且两个相应目标各自dist_object小于中心点距离阈值时，判断第三帧图像中的中间目标为共同存在于第二帧输出目标中的已有目标，否则为第二帧输出目标中没有的第三帧新目标。

在该具体实施例的另一实例中，取N=4。在该实例中，判断是否是第四帧新目标的过程和判断是否是第三帧新目标的过程类似，不同之处在于，判断是否是第三帧新目标的过程是根据第三帧中间目标和第二帧输出目标进行的，判断是否是第四帧新目标的过程是根据第四帧中间目标和第三帧输出目标进行的，因此，将判断是否是第三帧新目标的过程中用到第三帧中间目标和第二帧输出目标的地方替换为第四帧中间目标和第三帧输出目标的地方即可得到判断是否是第四帧新目标的过程。类似的步骤，此处不再赘述。

在该具体实施例的其他实例中，例如，取N=5或N=6，需要做与N=4的实例类似的相应替换，此处不再赘述。

在本发明的一个具体实施例中，可以利用目标的身份识别号ID、目标的颜色、目标的状态等特征实现对目标的跟踪和保持。在本实施例中，对目标的特征选取方式和选取哪一个或几个特征不做限制，本领域技术人员根据实际自动驾驶情况而确定。

在该具体实施例的一个实例中，利用目标的ID来实现目标的跟踪和保持。该过程可以如下：

首先预先设定一个记录目标ID的存储池id_pool。当有一帧图像输入时，通过判断id_pool里面元素的个数是否为第一帧图像输入。若个数为0则表示目前检测的是第一帧图像输入，第一帧图像输入到模型后，将第一帧图像中的中间目标再经过第二检测阈值的进一步过滤，然后将进一步过滤后的目标作为第一帧输出目标，并对第一帧输出目标均赋予一个对应的ID。

第i帧输入时，设定存储第i-1帧目标的容器为历史容器，存储第i帧目标的容器为当前容器，循环计算历史容器中输出目标框与当前容器中间目标框之间的IOU和dist_object，若当前容器中间目标框与历史容器输出目标框的IOU大于交并比阈值和各自dist_object小于中心点距离阈值，则可以判断当前容器中间目标存在于历史容器输出目标已有的目标，此时保持第i-1帧输出目标的ID，更新历史容器中的数据，清除当前容器中的数据。若不符合IOU和dist_object的大小，则判定有新的目标被检测出，利用第二检测阈值对新的目标进行进一步过滤，将新的目标中评分大于第二检测阈值的目标作为真正的新目标，则将id_pool中最大的ID加一作为真正的新目标的ID，然后更新当前容器中的数据，从而实现第i帧目标的ID的保持和跟踪。

第N帧输入时，设定存储第N-1帧目标的容器为历史容器，存储第N帧目标的容器为当前容器，循环计算历史容器中输出目标框与当前容器中间目标框之间的IOU和dist_object，若当前容器中间目标框与历史容器输出目标框的IOU大于交并比阈值和各自dist_object小于中心点距离阈值，则可以判断当前容器中间目标存在于历史容器输出目标已有的目标，此时保持第N-1帧输出目标的ID，将历史容器中的数据更新，清除当前容器中的数据。若不符合IOU和dist_object的大小，则判定有新的目标被检测出，利用第二检测阈值对新的目标进行进一步过滤，将新的目标评分中大于第二检测阈值的目标作为真正的新目标，则将id_pool中最大的ID加一作为真正的新目标的ID，然后更新当前容器中的数据，从而实现第N帧目标的ID的保持和跟踪。

在该具体实施例的一个实例中，取N=3，i=2。在该实例中，实现三帧目标ID的保持和跟踪的过程如下：

设定id_pool。

在第一帧输入时，id_pool中没有元素，将第一帧图像经过第一检测阈值过滤的中间目标再经过第二检测阈值的进一步过滤，然后将进一步过滤后的目标作为第一帧输出目标，并将第一帧输出目标均赋予一个对应的ID。例如第一帧输出目标中第一个目标的ID为“1”，第二个目标的ID为“2”，依次类推，直至每个第一帧输出目标都有对应的ID。

在第二帧输入时，若当前容器中间目标框与历史容器输出目标框的IOU大于交并比阈值和各自dist_object小于中心点距离阈值，则保持第一帧输出目标的ID，历史容器中的数据更新，清除当前容器中的数据。若不符合IOU和dist_object的大小，则判定有新的目标被检测出，将新的目标中评分大于第二检测阈值的目标作为真正的新目标，则将id_pool中最大的ID加一作为真正的新目标的ID，然后更新当前容器中的数据，从而实现第二帧目标ID的保持和跟踪。

同理，第三帧目标ID的保持和跟踪过程和第二帧目标ID的保持和跟踪的过程类似，不同点在于，第二帧目标ID是根据第二帧中间目标和第一帧输出目标ID进行的，第三帧目标ID是根据第三帧中间目标和第二帧输出目标ID进行的，因此，将第二帧目标ID中用到第二帧中间目标和第一帧输出目标ID的地方替换为第三帧中间目标和第二帧输出目标ID的地方即可得到第三帧输出目标的过程，从而实现第三帧目标ID的保持和跟踪。

在该具体实施例中，通过使用比较前一帧输出目标框与后一帧中间目标框的IOU和dist_object实现对目标的跟踪，能够保证目标的跟踪和保持，提高结果的稳定性，有助于自动驾驶车辆的精准定位和路径规划。

在本发明的一个具体实施例中，对于连续N帧中每一帧图像对应的中间目标进行处理，判断是否为同一中间目标，如是同一中间目标，则当该中间目标在N帧图像中出现的次数大于K并且评分大于第二检测阈值的次数大于K，但该中间目标未在第N帧图像中出现，或者在第N帧中出现不大于第一检测阈值或不大于第二检测阈值，亦确定为第N帧图像的输出目标，K的取值范围为0.5N-0.9N。

在该具体实施例中，判断两帧中间目标是否为同一中间目标的过程如下：

一帧图像中的中间目标框与另一帧的中间目标框的IOU大于预定的交并比阈值，并且两个相应目标各自dist_object小于预定的中心点距离阈值时，则为两帧中间目标为同一目标。

在上述利用目标的ID来实现目标的跟踪和保持的实例中，以N=5，K=2.5时为例，该第五帧输出目标确定过程如下所示：

对连续5帧中的一帧的中间目标框与另一帧的中间目标框进行IOU和dist_object比较，当在五帧内有三帧及以上都出现了同一中间目标并且评分大于第二检测阈值的次数大于3，则保留该同一中间目标并也确定为第五帧输出目标。当该同一中间目标出现的次数小于3，则把该同一中间目标舍弃。例如一种情况，五帧中第一帧，第三帧，第四帧中都存在了同一中间目标并且对应的评分都大于第二检测阈值，则该中间目标也作为第五帧输出目标。最终五帧输出目标结果合并作为一组输出目标。依次更新历史容器里面的数据，清除当前容器中的数据，有新的输出结果时更新当前容器中的数据，以此类推。

在该具体实施例中，对每一帧图像对应的中间目标进一步处理，能够过滤掉误将负样本检测为正样本的数据，降低FP值，最终能够提高目标检测结果的精确率，使得自动驾驶视觉感知输出目标结果更加可靠，能够有助于自动驾驶车辆的精准定位和路径规划。

在本发明的一个具体实施例中，后处理步骤S103还包括：当摄像头采集到的图像中的目标为交通信号灯目标时，当图像中涉及多个路口交通信号灯时，仅保留当前路口的信号灯目标，舍弃其它路口交通信号灯目标。

在该具体实施例中，保留或舍弃操作可以通过以下步骤实现：

若交通信号灯目标的面积大于预定的面积阈值，和/或交通信号灯距摄像头的距离小于预定的交通信号灯距离阈值时，则认为是当前路口交通信号灯目标；

反之，若交通信号灯目标的面积小于预定的面积阈值，和/或交通信号灯距摄像头的距离大于预定的交通信号灯距离阈值时，则认为是其它路口交通信号灯目标。

本实施例中主要是根据近大远小以和单目摄像头测距得到的距离信息对面积阈值和交通信号灯距离阈值而进行设置，但是对面积阈值和交通信号灯距离阈值的具体数值不做限制，本领域技术人员可以根据实际自动驾驶情况而设定。

在该具体实施例中，通过对当前路口交通信号灯的判定能够只将当前路口的交通信号灯作为自动驾驶车辆的信号灯决策，从而能够保证红绿灯识别结果的准确性，使自动驾驶车辆可以准确稳定地判断此时红绿灯信号，使其用于车体的控制。

本发明提供的一种自动驾驶视觉感知方法：(1)采用一个单目摄像头，能够降低自动驾驶车辆视觉硬件设备的成本。(2)采用检测高低阈值和连续帧数检测相结合的方法，能够保证目标检测结果的高召回和高精度，使得目标输出结果更加可靠。(3)采用比较前后帧目标框的IOU和dist_object，能够保证目标的跟踪和保持，提高结果的稳定性，有助于自动驾驶车辆的精准定位和路径规划。(4)对当前路口交通信号灯的判定，能够保证红绿灯识别结果的准确性，使自动驾驶车辆可以准确稳定地判断此时红绿灯信号用于车体的控制。(5)对模型进行压缩以及方法中各个过程并行运行，能够提高整个工程的运行效率，降低功耗，保证能够部署运行到目前自驾车辆上安装的体积较小、功耗较低、价格便宜的系统级芯片上。

图3示出了本发明一种自动驾驶视觉感知装置的第二具体实施方式。

在该具体实施方式中，自动驾驶视觉感知装置主要包括：

前处理模块，用于将摄像头采集到的图像队列中图像的大小处理成模型输入的大小。

在本发明的一个具体实施例中，前处理模块还用于，在存储摄像头采集到的图像队列中的图像数据时，设置图像队列的大小为1。

在本发明的一个具体实施例中，前处理模块还用于，首先新建一个空白的图片，其大小为模型输入的大小，然后，通过将图像队列中的图像数据粘贴到空白的图片上。

模型推理模块，用于将经过前处理步骤的每一帧图像输入模型，将每一帧图像中目标的评分分别与第一检测阈值比较，将每一帧图像中评分不低于第一检测阈值的目标确定为每一帧图像各自的中间目标。

在本发明的一个具体实施例中，模型推理模块还用于，在使用模型推理模块时，先对原始深度学习框架训练出来的全精度浮点数（32位）的模型进行模型压缩量化操作，对模型常量权重和偏差值的精度从32位量化到半精度浮点数（16位）数据类型。

后处理模块，用于对每连续N帧图像进行输出目标处理：

当第一帧图像输入时，将第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标，其中第二检测阈值大于第一检测阈值，

当第i帧图像输入时，判断第i帧图像中的中间目标是共同存在于第i-1帧输出目标中的已有目标，还是第i-1帧输出目标中没有的第i帧新目标，如果是第i帧新目标，将第i帧新目标当中评分大于第二检测阈值的，与共同存在于第i-1帧输出目标中的已有目标，一同确定为第i帧输出目标，

当第N帧图像输入时，判断第N帧图像中的中间目标是共同存在于第N-1帧输出目标中的已有目标，还是第N-1帧输出目标中没有的第N帧新目标，如果为第N帧新目标，将第N帧新目标当中评分大于第二检测阈值的，与共同存在于第N-1帧输出目标中的已有目标，一同确定为第N帧输出目标，以及

将第一帧输出目标、第i帧输出目标、第N帧输出目标当中不同的目标合并，作为一组输出目标。

在本发明的一个具体实施例中，后处理模块还可以用于执行以下操作：

当第i帧图像中的中间目标框与第i-1帧的输出目标框的IOU大于预定的交并比阈值，并且两个相应目标各自dist_object小于预定的中心点距离阈值时，则认为第i帧图像中的中间目标为共同存在于第i-1帧输出目标中的已有目标，否则为第i-1帧输出目标中没有的第i帧新目标；以及

当第N帧图像中的中间目标框与第N-1帧的输出目标框的IOU大于交并比阈值，并且两个相应目标各自dist_object小于中心点距离阈值时，则认为第N帧图像中的中间目标为共同存在于第N-1帧输出目标中的已有目标，否则为第N-1帧输出目标中没有的第N帧新目标。

在本发明的一个具体实施例中，后处理模块还可以用于执行以下操作：

对于连续N帧中每一帧图像对应的中间目标进行处理，判断是否为同一中间目标，如是同一中间目标，则当该中间目标在N帧图像中出现的次数大于K并且评分大于第二检测阈值的次数大于K，但该中间目标未在第N帧图像中出现，或者在第N帧中出现不大于第一检测阈值或不大于第二检测阈值，亦确定为第N帧图像的输出目标，K的取值范围为0.5N-0.9N。

在本发明的一个具体实施例中，后处理模块还可以用于执行以下操作：

当摄像头采集到的图像中的目标为交通信号灯目标时，当图像中涉及多个路口交通信号灯时，若交通信号灯目标的面积大于预定的面积阈值，和/或交通信号灯距摄像头的距离小于预定的交通信号灯距离阈值时，则认为是当前路口交通信号灯目标，此时仅保留当前路口的信号灯目标。若交通信号灯目标的面积小于预定的面积阈值，和/或交通信号灯距摄像头的距离大于预定的交通信号灯距离阈值时，则认为是其它路口交通信号灯目标，此时舍弃其它路口交通信号灯目标。

本发明提供的自动驾驶视觉感知装置，可用于执行上述任一实施例描述的自动驾驶视觉感知方法，其实现原理和技术效果类似，在此不再赘述。

在本发明的一个具体实施例中，本发明一种自动驾驶视觉感知装置中前处理模块，模型推理模块，后处理模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。

软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。

处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列（英文：Field Programmable Gate Array，简称：FPGA）或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。

在本发明的第三个具体实施方式中，一种计算机可读存储介质，其存储有计算机指令，其特征在于，计算机指令被操作以执行任一实施例描述的自动驾驶视觉感知方法。

在本发明的第四个具体实施方式中，一种程序产品，程序产品包括计算机程序，计算机程序存储在可读存储介质中，至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使执行任一实施例描述的自动驾驶视觉感知方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种自动驾驶视觉感知方法，其特征在于，包括：

前处理步骤，包括将摄像头采集到的图像队列中图像的大小处理成模型输入的大小；

模型推理步骤，将经过所述前处理步骤的每一帧图像输入模型，将所述每一帧图像中目标的评分分别与第一检测阈值比较，将所述每一帧图像中评分不低于所述第一检测阈值的目标确定为所述每一帧图像各自的中间目标；以及

后处理步骤，其包括，对每连续N帧图像进行输出目标处理：

当第一帧图像输入时，将所述第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标，其中所述第二检测阈值大于所述第一检测阈值，当第i帧图像输入时，判断所述第i帧图像中的所述中间目标是共同存在于所述第i-1帧输出目标中的已有目标，还是所述第i-1帧输出目标中没有的第i帧新目标，如果是所述第i帧新目标，将所述第i帧新目标当中评分大于所述第二检测阈值的，与所述共同存在于所述第i-1帧输出目标中的已有目标，一同确定为第i帧输出目标，

当第N帧图像输入时，判断所述第N帧图像中的所述中间目标是共同存在于所述第N-1

帧输出目标中的已有目标，还是所述第N-1帧输出目标中没有的第N帧新目标，如果为第N帧新目标，将所述第N帧新目标当中评分大于所述第二检测阈值的，与所述共同存在于所述第N-1帧输出目标中的已有目标，一同确定为第N帧输出目标，以及

将所述第一帧输出目标、第i帧输出目标、第N帧输出目标当中不同的目标合并，作为一组输出目标，其中i为大于1小于N的整数。

2.如权利要求1所述的自动驾驶视觉感知方法，其特征在于，所述对每连续N帧图像进行输出目标处理，还包括：

当所述第i帧图像中的中间目标框与所述第i-1帧的输出目标框的交并比大于预定的交并比阈值，并且两个相应目标各自中心点之间的距离小于预定的中心点距离阈值时，则认为所述第i帧图像中的所述中间目标为共同存在于所述第i-1帧输出目标中的已有目标，否则为所述第i-1帧输出目标中没有的第i帧新目标；以及

当所述第N帧图像中的中间目标框与所述第N-1帧的输出目标框的交并比大于所述交并比阈值，并且两个相应目标各自中心点之间的距离小于所述中心点距离阈值时，则认为所述第N帧图像中的所述中间目标为共同存在于所述第N-1帧输出目标中的已有目标，否则为所述第N-1帧输出目标中没有的第N帧新目标。

3.如权利要求1所述的自动驾驶视觉感知方法，其特征在于，所述对每连续N帧图像进行输出目标处理，还包括：

对于连续N帧中所述每一帧图像对应的中间目标进行处理，判断是否为同一中间目标，如是同一中间目标，则当该中间目标在N帧图像中出现的次数大于K并且评分大于所述第二检测阈值的次数大于K，但该中间目标未在第N帧图像中出现，或者在第N帧中出现不大于所述第一检测阈值或不大于所述第二检测阈值，亦确定为第N帧图像的输出目标，所述K的取值范围为0 .5N-0 .9N。

4.如权利要求1所述的自动驾驶视觉感知方法，其特征在于，所述后处理步骤还包括：当所述摄像头采集到的所述图像中的目标为交通信号灯目标时，当图像中涉及多个路口交通信号灯时，仅保留当前路口的信号灯目标，舍弃其它路口交通信号灯目标。

5.如权利要求4所述的自动驾驶视觉感知方法，其特征在于，所述后处理步骤还包括：

若所述交通信号灯目标的面积大于预定的面积阈值，和/或交通信号灯距所述摄像头的距离小于预定的交通信号灯距离阈值时，则认为是所述当前路口交通信号灯目标；

反之，若所述交通信号灯目标的面积小于预定的面积阈值，和/或交通信号灯距所述摄像头的距离大于预定的交通信号灯距离阈值时，则认为是所述其它路口交通信号灯目标。

6.如权利要求1-5中任一项所述的自动驾驶视觉感知方法，其特征在于，所述每连续N帧图像中N的取值范围为3-6。

7.如权利要求1所述的自动驾驶视觉感知方法，其特征在于，所述模型推理步骤还包括，将所述模型进行模型压缩量化操作，从而使所述模型的常量权重和偏差值的精度由全精度浮点数量化至半精度浮点数。

8.如权利要求1或2所述的自动驾驶视觉感知方法，其特征在于，所述前处理步骤还包括，在存储所述摄像头采集到的图像队列中的图像数据时，设置所述图像队列的大小为1。

9.如权利要求1所述的自动驾驶视觉感知方法，其特征在于，所述前处理步骤还包括：在所述将摄像头采集到的图像队列中图像的大小处理成模型输入的大小的过程之前，新建大小为所述模型输入的大小的空白图片；以及将所述图像队列中的图像数据粘贴到所述空白图片上。

10.如权利要求1或2所述的自动驾驶视觉感知方法，其特征在于，在所述前处理步骤之前还包括图像信息采集步骤，其中该步骤中采用单目摄像头进行图像信息采集。

11.一种自动驾驶视觉感知装置，其特征在于，包括：

前处理模块，用于将摄像头采集到的图像队列中图像的大小处理成模型输入的大小；

模型推理模块，用于将经过所述前处理模块的每一帧图像输入模型，将所述每一帧图像中目标的评分分别与第一检测阈值比较，将所述每一帧图像中评分不低于所述第一检测阈值的目标确定为所述每一帧图像各自的中间目标；以及

后处理模块，用于对每连续N帧图像进行输出目标处理：

当第一帧图像输入时，将所述第一帧图像的中间目标当中评分大于第二检测阈值的确定为第一帧输出目标，其中所述第二检测阈值大于所述第一检测阈值，

当第i帧图像输入时，判断所述第i帧图像中的所述中间目标是共同存在于所述第i-1帧输出目标中的已有目标，还是所述第i-1帧输出目标中没有的第i帧新目标，如果是所述第i帧新目标，将所述第i帧新目标当中评分大于所述第二检测阈值的，与所述共同存在于所述第i-1帧输出目标中的已有目标，一同确定为第i帧输出目标，

当第N帧图像输入时，判断所述第N帧图像中的所述中间目标是共同存在于所述第N-1帧输出目标中的已有目标，还是所述第N-1帧输出目标中没有的第N帧新目标，如果为第N帧新目标，将所述第N帧新目标当中评分大于所述第二检测阈值的，与所述共同存在于所述第N-1帧输出目标中的已有目标，一同确定为第N帧输出目标，以及

将所述第一帧输出目标、第i帧输出目标、第N帧输出目标当中不同的目标合并，作为一组输出目标。

12.如权利要求11所述的自动驾驶视觉感知装置，其特征在于，所述后处理模块还用于当所述第i帧图像中的中间目标框与所述第i-1帧的输出目标框的交并比大于预定的交并比阈值，并且两个相应目标各自中心点之间的距离小于预定的中心点距离阈值时，则认为所述第i帧图像中的所述中间目标为共同存在于所述第i-1帧输出目标中的已有目标，否则为所述第i-1帧输出目标中没有的第i帧新目标；以及

当所述第N帧图像中的中间目标框与所述第N-1帧的输出目标框的交并比大于所述交并比阈值，并且两个相应目标各自中心点之间的距离小于所述中心点距离阈值时，则认为所述第N帧图像中的所述中间目标为共同存在于所述第N-1帧输出目标中的已有目标，否则为所述第N-1帧输出目标中没有的第N帧新目标。

13.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令被操作以执行权利要求1-10中任一项所述的自动驾驶视觉感知方法。

Images