CN111186432B - 一种车辆盲区预警的方法及装置 - Google Patents

Abstract

本申请提供一种车辆盲区预警的方法及装置，其中所述方法包括：获取车辆设有的摄像装置采集的当前帧图像，所述当前帧图像为所述车辆的盲区的图像；将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置；基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置；根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。本申请实施例可以获取目标障碍物的准确位置，有助于提高盲区预警的准确性，提升预警效果。

Description

一种车辆盲区预警的方法及装置

技术领域

本申请涉及智能交通技术领域，尤其涉及一种车辆盲区预警的方法以及一种车辆盲区预警的装置。

背景技术

随着汽车电子产品的快速发展，越来越多的车辆开始借助盲区检测技术来实时获知路况信息，以保障车辆的安全驾驶。其中，车辆盲区是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域。

在现有技术中，一般采用毫米波雷达、超声波传感器、红外传感器等传感器，向待检测的车辆盲区发射检测信号，通过接收到的反射信号来判断车辆盲区内的路况信息。但这种方式只能通过传感器来探测盲区内的路况信息，预警效果较差。

发明内容

有鉴于此，本申请提供一种车辆盲区预警的方法以及一种车辆盲区预警的装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供了一种车辆盲区预警的方法，所述方法包括：

获取车辆设有的摄像装置采集的当前帧图像，所述当前帧图像为所述车辆的盲区的图像；

将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置；

基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置；

根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。

优选地，所述将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置包括：

将所述当前帧图像输入至所述神经网络模型，所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层；

所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置，其中，所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。

优选地，所述基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置包括：

获取所述摄像装置采集的上一帧图像；

分别确定所述上一帧图像以及所述当前帧图像的灰度图，并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量；

基于所述一个或多个目标障碍物的光流矢量，确定所述一个或多个目标障碍物的运动趋势；

根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置；

基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置。

优选地，所述根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置，包括：

获取所述一个或多个目标障碍物在上一帧图像中的最终位置；

基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置，确定所述一个或多个目标障碍物在当前帧图像的预测位置。

优选地，所述基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置，包括：

根据所述一个或多个目标障碍物的类别以及预测位置，生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框；

获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框；

对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联；

根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置，确定所述目标障碍物的最终位置。

优选地，所述对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联包括：

分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图；

计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离，生成余弦距离矩阵；

采用匈牙利算法，从所述余弦距离矩阵中，确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框，作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。

优选地，所述当前帧图像中的盲区包括第一盲区以及第二盲区，其中，第二盲区为由所述第一盲区外扩预设像素后得到的范围；

所述根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理包括：

获取所述车辆的实时姿态信息；

确定与所述实时姿态信息对应的报警策略；

根据所述目标障碍物在当前帧图像中的最终位置，确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区；

当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时，则进行报警处理。

优选地，所述进行报警处理，包括：

在车辆内的显示设备中显示对应的报警图像，其中，所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。

根据本申请实施例的第二方面，提供了一种车辆盲区预警的装置，所述装置包括：

图像获取模块，用于获取车辆设有的摄像装置采集的当前帧图像，所述当前帧图像为所述车辆的盲区的图像；

目标障碍物识别模块，用于将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置；

目标障碍物跟踪模块，用于基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置；

报警模块，用于根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。

优选地，所述目标障碍物识别模块包括：

图像输入子模块，用于将所述当前帧图像输入至所述神经网络模型，所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层；所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置，其中，所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。

优选地，所述目标障碍物跟踪模块包括：

图像获取子模块，用于获取所述摄像装置采集的上一帧图像；

光流矢量确定子模块，用于分别确定所述上一帧图像以及所述当前帧图像的灰度图，并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量；

运动趋势确定子模块，用于基于所述一个或多个目标障碍物的光流矢量，确定所述一个或多个目标障碍物的运动趋势；

位置预测子模块，用于根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置；

最终位置确定子模块，用于基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置。

优选地，所述位置预测子模块包括：

最终位置获取单元，用于获取所述一个或多个目标障碍物在上一帧图像中的最终位置；

预测单元，用于基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置，确定所述一个或多个目标障碍物在当前帧图像的预测位置。

优选地，所述最终位置确定子模块包括：

预测外接矩形框生成单元，用于根据所述一个或多个目标障碍物的类别以及预测位置，生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框；

检测外接矩形框获取单元，用于获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框；

目标关联单元，用于对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联；

最终位置确定单元，用于根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置，确定所述目标障碍物的最终位置。

优选地，所述目标关联单元包括：

颜色直方图计算子单元，用于分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图；

余弦距离计算子单元，用于计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离，生成余弦距离矩阵；

关联子单元，用于采用匈牙利算法，从所述余弦距离矩阵中，确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框，作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。

优选地，所述当前帧图像中的盲区包括第一盲区以及第二盲区，其中，第二盲区为由所述第一盲区外扩预设像素后得到的范围；

所述报警模块包括：

实时姿态信息获取子模块，用于获取所述车辆的实时姿态信息；

报警策略确定子模块，用于确定与所述实时姿态信息对应的报警策略；

区域确定子模块，用于根据所述目标障碍物在当前帧图像中的最终位置，确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区；

策略匹配子模块，用于当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时，则进行报警处理。

优选地，所述报警模块包括：

图像提醒子模块，用于在车辆内的显示设备中显示对应的报警图像，其中，所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。

根据本申请实施例的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法的步骤。

根据本申请实施例的第四方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，针对车辆的摄像装置采集的车辆盲区的当前帧图像，可以通过神经网络模型确定该当前帧图像中存在的目标障碍物的类别和位置，随后，根据目标障碍物的类别和位置，对目标障碍物进行目标跟踪，以确定目标障碍物的运动趋势以及最终位置，并根据目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。本申请通过神经网络模型识别目标障碍物以及目标障碍物的位置，并通过目标跟踪的方式，对上述位置进行校正，以确定目标障碍物的最终位置，使得获得的最终位置更加准确，提高了报警的准确率。另外，在报警时，除了考虑目标障碍物的最终位置，还考虑了目标障碍物的类别和运动趋势等，有助于提高预警的准确性，提升预警效果，最大程度的避免因驾驶员视觉盲区而引发的交通事故。

附图说明

图1是本申请一示例性实施例示出的一种车辆盲区预警的方法实施例的步骤流程图；

图2是本申请一示例性实施例示出的盲区示意图；

图3是本申请一示例性实施例示出的侧方盲区图像示意图；

图4是本申请一示例性实施例示出的后方盲区图像示意图；

图5是本申请一示例性实施例示出的对目标障碍物进行目标跟踪的步骤流程图；

图6是本申请一示例性实施例示出的确定最终位置的步骤流程图；

图7是本申请的装置所在设备的一种硬件结构图；

图8是本申请一示例性实施例示出的一种车辆盲区预警的装置实施例的结构框图；

图9是本申请另一示例性实施例示出的一种车辆盲区预警的装置实施例的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参考图1，示出了本申请一示例性实施例示出的一种车辆盲区预警的方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，获取车辆设有的摄像装置采集的当前帧图像，所述当前帧图像为所述车辆的盲区的图像；

其中，上述车辆可以包括普通的小型汽车，也可以包括大型汽车，本申请实施例对车辆的类型不作限制。

上述图像为覆盖车辆对应的盲区的图像。其中，车辆的盲区是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域，例如，如图2的盲区示意图所示，车辆的盲区可以包括车辆的左侧后方、右侧后方和正后方的盲区。

在具体实现中，可以在车辆的盲区所在车体一侧架设摄像装置，并设置该摄像装置所能采集的图像区域覆盖该对应的盲区，以采集该盲区对应的图像。

例如，如图2所示，可以在车辆的左后视镜、右后视镜以及车辆尾部偏顶端等位置分别安装摄像装置，以分别采集车辆的左侧后方的盲区、右侧后方的盲区和正后方的盲区对应的图像。

需要说明的是，上述摄像装置可以根据实际需要架设在上述位置的任一位置或者组合的位置，也可以架设在车体外部的其他位置，如车辆顶部、车辆尾部两侧等，本申请实施例对此不作限制。

另外，上述摄像装置可以包括普通摄像头，也可以包括旋转摄像头，本申请实施例对摄像装置的类型不作限制。

在实际中，可以根据车辆的高度来调整摄像装置的视场角，以使得该摄像装置所能采集的图像的区域覆盖对应的盲区。例如，若该摄像装置为旋转摄像头，或者，该摄像装置具有可以控制摄像装置转向的控制装置，则可以根据车辆盲区的区域大小以及车辆高度，按照设定规则计算摄像装置的旋转角度，并按照该旋转调度控制摄像头旋转。当然，也可以人工调整摄像装置的角度，本申请实施例对此不作限制。

在一种实施方式中，为了提高盲区预警的精度、丰富预警策略，可以为每个盲区设置至少两级区域，则在每个盲区对应的图像中，至少可以显示两个盲区区域，如图3以及图4所示的第一盲区A以及第二盲区B，其中，第二盲区B为由第一盲区A外扩预设像素后得到的范围。对应的在物理空间中，第二盲区可以为由第一盲区外扩1米后得到的范围。

需要说明的是，上述盲区的等级划定方式，可以根据不同车辆的实际情况，如车高、车宽等，设定划分规则进行自动划分；也可以由人为根据经验划分，本申请实施例对此不作限制。

步骤102，将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置；

在具体实现中，可以根据历史数据，预先训练神经网络模型，并采用该神经网络模型分别对每个盲区的摄像装置采集的当前帧图像进行处理，以确定该盲区的当前帧图像中存在的目标障碍物的类别和位置。

具体的，针对每个盲区的摄像装置采集的当前帧图像，将该图像输入神经网络模型后，该神经网络模型对该图像进行特征提取、类型识别以及定位等处理，当神经网络模型输出该盲区的当前帧图像中存在的一个或多个目标障碍物的类别和位置时，则表示该盲区存在一个或多个目标障碍物；若神经网络模型输出默认值或者出错提示，则表示该盲区不存在目标障碍物。

作为一种示例，目标障碍物可以包括但不限于机动车、非机动车、行人等。

目标障碍物的类别是指目标障碍物属于机动车、摩托车、行人等类别。

目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。

在本申请实施例的一种优选实施例中，步骤102进一步可以包括如下子步骤：

将所述当前帧图像输入至所述神经网络模型，所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层；所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置。

在具体实现中，神经网络模型可以包括卷积层以及全连接层，全连接层连接卷积层，卷积层的输出可以作为全连接层的输入。其中，卷积层用于对当前帧图像进行特征提取处理，并向全连接层输出图像特征信息。全连接层用于对图像特征信息进行类型识别、定位等处理，输出当前帧图像存在的一个或多个目标障碍物的类别和位置。

为了提高图像数据的处理效率和处理精度，可以针对不同的处理目的设置不同的全连接层，在本实施例中，全连接层可以包括第一全连接层以及第二全连接层，其中，第一全连接层用于对卷积层输入的图像特征信息进行类型识别处理并输出目标障碍物的类别，第二全连接层用于对卷积层输入的图像特征信息进行定位并输出目标障碍物的位置。

在实现时，可以将第二全连接层连接第一全连接层，则第一全连接层可以将目标障碍物的类别输出至第二全连接层。第二全连接层可以结合第一全连接层输入的目标障碍物的类别，生成该目标障碍物的外接矩形框，并将该外接矩形框的底边中心位置作为该目标障碍物的位置。最终第二全连接层可以输出每个目标障碍物的外接矩形框以及目标障碍物的位置。例如，第二全连接层输出的当前帧图像中各个目标障碍物的外接矩形框可以如图3的框形C所示。

步骤103，基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置；

目标障碍物的运动趋势可以为预估的目标障碍物在当前帧图像中即将移动的位移或偏移量。

在实际中，上述步骤102中神经网络模型输出的当前帧图像中各个目标障碍物的位置为初步识别出来的检测位置，为了提高定位的精度，可以结合目标跟踪的方式来对上述位置进行校正，从而获得各个目标障碍物的最终位置。

在本申请实施例的一种优选实施例中，如图5所示，步骤103进一步可以包括如下子步骤：

子步骤S11，获取所述摄像装置采集的上一帧图像；

子步骤S12，分别确定所述上一帧图像以及所述当前帧图像的灰度图，并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量；

子步骤S13，基于所述一个或多个目标障碍物的光流矢量，确定所述一个或多个目标障碍物的运动趋势；

在具体实现中，可以采用光流法计算各个目标障碍物的运动趋势。其中，光流法是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

在一种实施方式中，可以分别将当前帧图像和上一帧图像转换成灰度图，通过光流算法确定前后两帧图像的灰度图之间的光流场，其中，光流场是指图像中所有像素点构成的一种二维(2D)瞬时速度场，其中的二维速度矢量(即光流矢量)是空间中可见点的三维速度矢量在成像表面的投影。

光流场中所有像素点的二位速度矢量的平均值可以作为目标障碍物的二维速度矢量。

在实现中，由于前后两帧图像的间隔时间是固定的，根据前后两帧图像的间隔时间，以及目标障碍物的二维速度矢量，可以计算目标障碍物在当前帧图像中即将移动的位移(即偏移量)，作为运动趋势。

需要说明的是，本申请实施例对具体的光流算法不作限定，例如，光流算法可以包括基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法、神经动力学方法等。

子步骤S14，根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置；

在本申请实施例的一种优选实施例中，子步骤S14进一步可以包括如下子步骤：

子步骤S141，获取所述一个或多个目标障碍物在上一帧图像中的最终位置；

子步骤S142，基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置，确定所述一个或多个目标障碍物在当前帧图像的预测位置。

在具体实现中，当获取到目标障碍物在上一帧图像中的最终位置以后，可以在该最终位置上移动上述子步骤S13中计算出的位移，从而得到目标障碍物在当前帧图像的预测位置。

子步骤S15，基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置。

在具体实现中，可以融合目标障碍物在当前帧图像的预测位置和神经网络模型输出的当前帧存在的一个或多个目标障碍物的检测位置，得到目标障碍物在当前帧图像的最终位置。

在本申请实施例的一种优选实施例中，如图6所示，子步骤S15进一步可以包括如下子步骤：

子步骤S151，根据所述一个或多个目标障碍物的类别以及预测位置，生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框；

在具体实现中，可以首先获得上一帧图像最终确定的各个目标障碍物的外接矩形框的长和宽，然后该长和宽，在对应目标障碍物在当前帧图像中的预测位置，生成预测外接矩形框。例如，可以将目标障碍物在当前帧图像中的预测位置作为宽的中点位置，然后依据长度绘制预测外接矩形框。

子步骤S152，获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框；

子步骤S153，对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联；

针对当前帧图像而言，检测外接矩形框可以有多个，预测外接矩形框也可以有多个，且两者的数量可以不相同。在实际中，可以首先对多个检测外接矩形框以及多个预测外接矩形框进行目标关联，以确定同属一个目标障碍物的检测外接矩形框与预测外接矩形框。

在本申请实施例的一种优选实施例中，子步骤S153进一步可以包括如下子步骤：

子步骤S153-1，分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图；

在具体实现中，可以分别计算各个外接矩形框(包括预测外接矩形框以及检测外接矩形框)的R、G、B三个通道的红色分量、绿色分量以及蓝色分量，并分别确定红色分量、绿色分量以及蓝色分量要绘制的高度，根据该高度以及对应的分量，绘制红色分量直方图、蓝色分量直方图以及绿色分量直方图。

子步骤S153-2，计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离，生成余弦距离矩阵；

在具体实现中，采用余弦算法计算当前帧图像中多个预测外接矩形框的颜色直方图与多个检测外接矩形框的颜色直方图两两之间的余弦距离，构成余弦距离矩阵。

例如，当前帧图像中预测外接矩形框与检测外接矩形框分别有N个，那么能得一个N*N的两两目标颜色直方图的余弦距离矩阵。

子步骤S153-3，采用匈牙利算法，从所述余弦距离矩阵中，确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框，作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。

在具体实现中，可以采用匈牙利算法，从该余弦距离矩阵中，确定两两关联使得总的余弦距离最小颜色直方图，将其关联为同一目标障碍物。具体的，针对当前帧图像的各个预测外接矩形框，可以从所述余弦距离矩阵中，确定与该预测外接矩形框的余弦距离最短的检测外接矩形框，作为与该预测外接矩形框关联为同一目标障碍物的检测外接矩形框。当然，也可以针对当前帧图像的各个检测外接矩形框，可以从所述余弦距离矩阵中，确定与该检测外接矩形框的余弦距离最短的预测外接矩形框，作为与该检测外接矩形框关联为同一目标障碍物的预测外接矩形框。

子步骤S154，根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置，确定所述目标障碍物的最终位置。

针对关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框，可以采用预设位置融合规则，例如，计算两个位置的平均值，对该目标障碍物在当前帧图像的检测位置以及预测位置进行融合，得到目标障碍物在当前帧图像的最终位置。

需要说明的是，在实际中，可能会存在当前帧图像中预测的目标障碍物的个数与检测的目标障碍物的个数不相同的情况，例如，预测当前帧图像有5个目标障碍物，但当前帧图像检测的目标障碍物只有4个，在这种情况下，当前帧图像中有一个预测外接矩形框关联不到对应的检测外接矩形框，则可以直接将该预测外接矩形框的预测位置作为最终位置。反之亦然，例如，检测当前帧图像有5个目标障碍物，但当前帧图像预测的目标障碍物只有4个，在这种情况下，当前帧图像中有一个检测外接矩形框关联不到对应的预测外接矩形框，则可以直接将该检测外接矩形框的检测位置作为最终位置。

步骤104，根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。

当确定目标障碍物的类别、最终位置以及运动趋势以后，则可以根据上述三个要素进行车辆预警处理。

在本申请实施例的一种优选实施例中，步骤104进一步可以包括如下子步骤：

子步骤S21，获取所述车辆的实时姿态信息；

在具体实现中，本申请实施例可以检测车辆自身执行的动作，获得车辆的实时姿态信息。

作为一种示例，实时姿态信息可以包括车辆的行驶状态以及行驶速度，其中，行驶状态可以包括直行状态或者非直行状态。

例如，非直行状态可以包括转向状态，倒车状态等。

子步骤S22，确定与所述实时姿态信息对应的报警策略；

在具体实现中，可以预先制定车辆每种姿态信息对应的报警策略。例如，在车辆挂前进档(D档)的时候，对应左、右两侧盲区的报警策略。在车辆挂倒车档(R档)的时候，对应后方盲区的报警策略。

又如，当车辆直行或者转向时，可以设置如下报警策略：当车辆直行的时候，左右两侧的第二盲区内，存在行人、非机动车或者有超越本车辆运动趋势的机动车时，则进行报警。当车辆有转向动作的时候，左右两侧的第一盲区内存在行人、非机动车、机动车或者在第一盲区外第二盲区内存在向本车辆移动的行人、非机动车、机动车时，则进行报警。

在车辆倒车时，可以制定如下报警策略：

如果第一盲区内存在行人、非机动车、机动车或者第一盲区外第二盲区内存在向车辆移动的行人、非机动车、机动车时，则进行报警。

在实际中，还可以设置一些其他的报警策略，例如，车辆需要转向时，若车辆未打转向灯或者打了相反的转向灯，也可以进行报警。

子步骤S23，根据所述目标障碍物在当前帧图像中的最终位置，确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区；

根据目标障碍物在当前帧图像中的最终位置，可以确定该目标障碍物落在当前帧图像中的第一盲区内还是第二盲区内。

子步骤S24，当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时，则进行报警处理。

在实际中，可以根据目标障碍物在当前帧图像中的运动趋势，换算所述目标障碍物在物理空间中的三维速度矢量。根据该三位速度矢量以及车辆的实时运动速度和运动方向，可以确定目标障碍物与车辆的相对运动趋势。例如，若目标障碍物和车辆都是直行运动，如果目标障碍物的速度大于车辆的速度，则目标障碍物具有超越车辆的趋势。又如，如果目标障碍物的运动方向朝向车辆，则可以判定目标障碍物有靠近车辆的趋势。将上述相对运动趋势结合目标障碍物的类别、所处区域与上述的报警策略匹配，如果报警策略中所有条件都满足或者满足的条件的个数达到设定规则，则可以进行报警处理，否则，不进行报警处理。

在本申请实施例的一种可选实施例中，可以采用如下方式进行报警处理：在车辆内的显示设备中显示对应的报警图像，其中，所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。

具体的，如果通过步骤104判定需要进行报警处理，则可以将触发报警的盲区对应的报警图像显示在车辆内的显示设备中，如显示在车辆内的液晶显示屏上。同时，可以在显示的报警图像中标注该盲区对应的目标障碍物的类别、最终位置和/或运动趋势等，以供驾驶员直观地了解周围的盲区中的障碍物情况。

需要说明的是，本申请实施例并不限于上述的报警处理方式，还可以根据实际需求进行其他的视觉提醒或者听觉提醒或上述多方协同提醒，以达到快速有效将报警信息告知驾驶员的目的。例如，使用车辆内部的语音系统，播报触发报警的目标障碍物的类别和运动趋势来提醒驾驶员；如果左右两侧存在触发报警的目标障碍物，则对应侧后视镜上的报警灯闪烁报警；如果后方存在触发报警的障碍物，则车辆后方的蜂鸣器发出连续蜂鸣声报警，等等。

在本申请实施例中，针对车辆的摄像装置采集的车辆盲区的当前帧图像，可以通过神经网络模型确定该当前帧图像中存在的目标障碍物的类别和位置，随后，根据目标障碍物的类别和位置，对目标障碍物进行目标跟踪，以确定目标障碍物的运动趋势以及最终位置，并根据目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。本申请通过神经网络模型识别目标障碍物以及目标障碍物的位置，并通过目标跟踪的方式，对上述位置进行校正，以确定目标障碍物的最终位置，使得获得的最终位置更加准确，提高了报警的准确率。另外，在报警时，除了考虑目标障碍物的最终位置，还考虑了目标障碍物的类别和运动趋势等，有助于提高预警的准确性，提升预警效果，最大程度的避免因驾驶员视觉盲区而引发的交通事故。

与前述方法的实施例相对应，本申请还提供了车辆盲区预警的装置的实施例。

本申请的装置实施例可以应用在终端设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本申请的装置所在设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该装置的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图8，示出了本申请一示例性实施例示出的一种车辆盲区预警的装置实施例的结构框图，该装置可以包括图像获取模块801、目标障碍物识别模块802、目标障碍物跟踪模块803以及报警模块804：

图像获取模块801，用于获取车辆设有的摄像装置采集的当前帧图像，所述当前帧图像为所述车辆的盲区的图像；

目标障碍物识别模块802，用于将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置；

目标障碍物跟踪模块803，用于基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置；

报警模块804，用于根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理。

在本申请实施例的一种优选实施例中，目标障碍物识别模块802进一步可以包括如下子模块：

图像输入子模块，用于将所述当前帧图像输入至所述神经网络模型，所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层；所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置，其中，所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。

在本申请实施例的一种优选实施例中，如图9所示，所述目标障碍物跟踪模块803进一步可以包括如下子模块：

图像获取子模块8031，用于获取所述摄像装置采集的上一帧图像；

光流矢量确定子模块8032，用于分别确定所述上一帧图像以及所述当前帧图像的灰度图，并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量；

运动趋势确定子模块8033，用于基于所述一个或多个目标障碍物的光流矢量，确定所述一个或多个目标障碍物的运动趋势；

位置预测子模块8034，用于根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置；

最终位置确定子模块8035，用于基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置。

在本申请实施例的一种优选实施例中，所述位置预测子模块8034进一步可以包括如下单元：

最终位置获取单元，用于获取所述一个或多个目标障碍物在上一帧图像中的最终位置；

预测单元，用于基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置，确定所述一个或多个目标障碍物在当前帧图像的预测位置。

在本申请实施例的一种优选实施例中，所述最终位置确定子模块8035进一步可以包括如下单元：

预测外接矩形框生成单元，用于根据所述一个或多个目标障碍物的类别以及预测位置，生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框；

检测外接矩形框获取单元，用于获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框；

目标关联单元，用于对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联；

最终位置确定单元，用于根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置，确定所述目标障碍物的最终位置。

在本申请实施例的一种优选实施例中，所述目标关联单元进一步可以包括如下子单元：

颜色直方图计算子单元，用于分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图；

余弦距离计算子单元，用于计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离，生成余弦距离矩阵；

关联子单元，用于采用匈牙利算法，从所述余弦距离矩阵中，确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框，作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。

在本申请实施例的一种优选实施例中，所述当前帧图像中的盲区包括第一盲区以及第二盲区，其中，第二盲区为由所述第一盲区外扩预设像素后得到的范围；

所述报警模块804进一步可以包括如下子模块：

实时姿态信息获取子模块，用于获取所述车辆的实时姿态信息；

报警策略确定子模块，用于确定与所述实时姿态信息对应的报警策略；

区域确定子模块，用于根据所述目标障碍物在当前帧图像中的最终位置，确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区；

策略匹配子模块，用于当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时，则进行报警处理。

在本申请实施例的一种优选实施例中，所述报警模块804进一步可以包括如下子模块：

图像提醒子模块，用于在车辆内的显示设备中显示对应的报警图像，其中，所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (16)

1.一种车辆盲区预警的方法，其特征在于，所述方法包括：

获取车辆设有的摄像装置采集的当前帧图像，所述当前帧图像为所述车辆的盲区的图像；

将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置；

基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置；

根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理；

所述当前帧图像中的盲区包括第一盲区以及第二盲区，其中，第二盲区为由所述第一盲区外扩预设像素后得到的范围；

所述根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理包括：

获取所述车辆的实时姿态信息；

确定与所述实时姿态信息对应的报警策略；

根据所述目标障碍物在当前帧图像中的最终位置，确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区；

当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时，则进行报警处理。

2.根据权利要求1所述的方法，其特征在于，所述将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置包括：

将所述当前帧图像输入至所述神经网络模型，所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层；

所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置，其中，所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置包括：

获取所述摄像装置采集的上一帧图像；

分别确定所述上一帧图像以及所述当前帧图像的灰度图，并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量；

基于所述一个或多个目标障碍物的光流矢量，确定所述一个或多个目标障碍物的运动趋势；

根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置；

基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置，包括：

获取所述一个或多个目标障碍物在上一帧图像中的最终位置；

基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置，确定所述一个或多个目标障碍物在当前帧图像的预测位置。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置，包括：

根据所述一个或多个目标障碍物的类别以及预测位置，生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框；

获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框；

对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联；

根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置，确定所述目标障碍物的最终位置。

6.根据权利要求5所述的方法，其特征在于，所述对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联包括：

分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图；

计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离，生成余弦距离矩阵；

采用匈牙利算法，从所述余弦距离矩阵中，确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框，作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。

7.根据权利要求1所述的方法，其特征在于，所述进行报警处理，包括：

在车辆内的显示设备中显示对应的报警图像，其中，所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。

8.一种车辆盲区预警的装置，其特征在于，所述装置包括：

图像获取模块，用于获取车辆设有的摄像装置采集的当前帧图像，所述当前帧图像为所述车辆的盲区的图像；

目标障碍物识别模块，用于将所述当前帧图像输入已训练的神经网络模型，由所述神经网络模型输出所述当前帧图像中存在的目标障碍物的类别和位置；

目标障碍物跟踪模块，用于基于所述目标障碍物的类别和位置，对所述目标障碍物进行目标跟踪，以确定所述目标障碍物的运动趋势以及最终位置；

报警模块，用于根据所述目标障碍物的类别、最终位置以及运动趋势进行车辆盲区预警处理；

所述当前帧图像中的盲区包括第一盲区以及第二盲区，其中，第二盲区为由所述第一盲区外扩预设像素后得到的范围；

所述报警模块包括：

实时姿态信息获取子模块，用于获取所述车辆的实时姿态信息；

报警策略确定子模块，用于确定与所述实时姿态信息对应的报警策略；

区域确定子模块，用于根据所述目标障碍物在当前帧图像中的最终位置，确定所述目标障碍物所处的区域为当前帧图像中的第一盲区或者第二盲区；

策略匹配子模块，用于当所述目标障碍物的类别、所处的区域以及运动趋势与所述报警策略匹配时，则进行报警处理。

9.根据权利要求8所述的装置，其特征在于，所述目标障碍物识别模块包括：

图像输入子模块，用于将所述当前帧图像输入至所述神经网络模型，所述神经网络模型中的卷积层对所述当前帧图像进行处理并输出图像特征信息给全连接层；所述全连接层对所述卷积层输入的图像特征信息进行处理并输出所述当前帧图像存在的一个或多个目标障碍物的类别和位置，其中，所述目标障碍物的位置是指目标障碍物的外接矩形框所处的位置。

10.根据权利要求9所述的装置，其特征在于，所述目标障碍物跟踪模块包括：

图像获取子模块，用于获取所述摄像装置采集的上一帧图像；

光流矢量确定子模块，用于分别确定所述上一帧图像以及所述当前帧图像的灰度图，并基于所述灰度图确定所述一个或多个目标障碍物的光流矢量；

运动趋势确定子模块，用于基于所述一个或多个目标障碍物的光流矢量，确定所述一个或多个目标障碍物的运动趋势；

位置预测子模块，用于根据所述一个或多个目标障碍物的运动趋势，对所述一个或多个目标障碍物在当前帧图像的位置进行预测，得到所述一个或多个目标障碍物在当前帧图像的预测位置；

最终位置确定子模块，用于基于所述目标障碍物的类别，融合所述一个或多个目标障碍物在当前帧图像的预测位置以及所述神经网络模型输出的位置，确定所述一个或多个目标障碍物在当前帧图像的最终位置。

11.根据权利要求10所述的装置，其特征在于，所述位置预测子模块包括：

最终位置获取单元，用于获取所述一个或多个目标障碍物在上一帧图像中的最终位置；

预测单元，用于基于所述一个或多个目标障碍物的运动趋势以及所述一个或多个目标障碍物在上一帧图像中的最终位置，确定所述一个或多个目标障碍物在当前帧图像的预测位置。

12.根据权利要求10或11所述的装置，其特征在于，所述最终位置确定子模块包括：

预测外接矩形框生成单元，用于根据所述一个或多个目标障碍物的类别以及预测位置，生成所述一个或多个目标障碍物在当前帧图像的预测外接矩形框；

检测外接矩形框获取单元，用于获取所述神经网络模型输出的当前帧图像存在的一个或多个目标障碍物的检测外接矩形框；

目标关联单元，用于对所述检测外接矩形框以及所述预测外接矩形框进行目标障碍物关联；

最终位置确定单元，用于根据关联为同一目标障碍物的检测外接矩形框以及预测外接矩形框所处的位置，确定所述目标障碍物的最终位置。

13.根据权利要求12所述的装置，其特征在于，所述目标关联单元包括：

颜色直方图计算子单元，用于分别计算所述预测外接矩形框以及所述检测外接矩形框的颜色直方图；

余弦距离计算子单元，用于计算当前帧图像的预测外接矩形框的颜色直方图与检测外接矩形框的颜色直方图两两之间的余弦距离，生成余弦距离矩阵；

关联子单元，用于采用匈牙利算法，从所述余弦距离矩阵中，确定与每个预测外接矩形框的余弦距离最短的检测外接矩形框，作为与所述预测外接矩形框关联为同一目标障碍物的检测外接矩形框。

14.根据权利要求8所述的装置，其特征在于，所述报警模块包括：

图像提醒子模块，用于在车辆内的显示设备中显示对应的报警图像，其中，所述报警图像中标注有所述目标障碍物的类别、最终位置和/或运动趋势。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。

Images