CN109615858A - 一种基于深度学习的智能停车行为判断方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的智能停车行为判断方法，包括：步骤一、对车位进行标定，建立车位到相机坐标系的转换；步骤二、加载预先训练好的神经网络模型；步骤三、将相机前端实时捕获到的视频画面，输入到车辆检测框架中，进行车身、车牌的实时跟踪检测；步骤四、判断当前视频帧是否有车辆，当存在车辆时执行步骤五，当不存在车辆时，执行步骤三；步骤五、对检测到的车辆进行跟踪与定位；步骤六、通过跟踪车辆的运动轨迹，判断该车辆所触发的进出泊位事件；步骤七、输出最终的停车结果信息。本发明通过对停车行为有效的检测识别，减少了多检、漏检的车辆，大大提高了车位的管理效率，减少了人工干预的操作次数，降低了人工维护的成本。

Description

一种基于深度学习的智能停车行为判断方法

技术领域

本发明涉及停车管理技术领域，具体涉及一种基于深度学习的智能停车行为判断方法。

背景技术

在当前路内侧方位停车管理领域，因应用方案以及安装环境等其他因素的限制，通过视频流的方式监控停车位的车辆出入时，仍然存在不少问题。例如：在上下班高峰时期的行人、电动车的遮挡，当前的解决方案不能够有效的检测到车辆的出入。

发明内容

针对上述现有路内侧方位停车管理技术存在的问题，本发明提供一种基于深度学习的智能停车行为判断方法，其包括：

步骤一、对车位进行标定，建立车位到相机坐标系的转换；

步骤二、加载预先训练好的神经网络模型；

步骤三、将所述相机前端实时捕获到的视频画面，输入到车辆检测框架中，进行车身、车牌的实时跟踪检测；

步骤四、判断当前视频帧是否有车辆，当存在车辆时执行步骤五，当不存在车辆时，执行步骤三；

步骤五、对检测到的车辆进行跟踪与定位；

步骤六、通过跟踪车辆的运动轨迹，判断该车辆所触发的进出泊位事件；

步骤七、输出最终的所述车辆的停车结果信息。

进一步地，所述神经网络模型是预先采集了多个素材，并对素材中的车辆进行了人工、机器标定后作为数据集。

进一步地，所述神经网络模型的网络结构由三个全卷积层、一个池化层、七个优化的分步卷积层组成，其中，七个优化的分步卷积层用来代替全卷积。

进一步地，所述车辆检测框架通过减枝压缩神经网络模型参数的大小，使其能够加载进嵌入式设备的内存，来改善提高深度学习在嵌入式设备上运行的不足。

更进一步地，所述车辆检测框架还通过优化的网络结构，减少计算量，来改善提高深度学习在嵌入式设备上运行的不足。

再进一步地，所述车辆检测框架还通过自适应的预测方法来减少需要执行深度学习推理的帧数，从而减少计算复杂度，进而来改善提高深度学习在嵌入式设备上运行的不足。

进一步地，所述步骤四中在判断当前视频帧是否有车辆时，在计算出被检测车辆的真实长度和宽度后，首先通过先验知识，过滤掉一些不符合条件的多检数据；然后对过滤之后的数据进行信息保存更新；如果过滤后没有数据，则进入步骤三，重新开始检测。

进一步地，所述步骤五中对检测到的车辆进行跟踪与定位的车辆坐标是由步骤三中检测出来的像素位置，通过检测车头和车尾，精确的获取车辆在相机坐标系下的位置，然后通过相机坐标系到世界坐标系的转换，计算出车辆所在的世界坐标系下的坐标。

进一步地，所述步骤六中对车辆运动轨迹的跟踪可同时检测由运动到静止状态触发的进入泊位事件，以及由静止到运动状态所触发的出泊位事件。

进一步地，当步骤六确认车辆在执行进出泊位事件后，会连续对所述车辆进行抓拍，并保存所述车辆的进/出的过程大图信息；

所述步骤七中输出的所述停车结果信息包括车牌信息、车身信息、泊位信息、车辆进/出时间的信息、车辆进/出的过程大图信息。

本发明通过一台高清车牌设备一体机，使用深度神经网络模型进行实时车辆检测，对路内的侧方停车位的车辆出入进行跟踪和检测，并对触发进出泊位事件的车辆进行抓怕；持续监控停车状态的泊位。本发明的方案能够准确地判断出车辆的驶入驶出状态。因此，大大提高了车位的管理效率，减少了多检、漏检的车辆，减少了人工干预的操作次数，降低了人工维护的成本。

附图说明

图1为发明实施例提供的基于深度学习的智能停车行为判断方法的流程示意图。

具体实施方式

为使发明实施例的目的、技术方案和优点更加清楚，下面将结合发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是发明的一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于发明保护的范围。

请参阅图1，图1示出了本实施例的基于深度学习的智能停车行为判断方法，其具体步骤如下：

S101，对车位进行标定，建立车位到相机坐标系的转换，然后进入S102；

需要说明的是，上述S101为基本的初始化过程。也即安装好设备后，采用相机标定法对各个车位进行标定，并在此基础上建立相机坐标系到世界坐标系的转换与建模。

S102，加载预先训练好的神经网络模型，然后进入S103；

需要说明的是，上述S102中的神经网络模型，是在前期的准备工程中，采集了大量的素材，并对素材中的车辆进行了人工、机器标定后作为数据集。且该深度神经网络模型是一个经过优化、在嵌入式设备上具有较好的计算复杂度和时间复杂度的网络模型，其网络结构由三个全卷积层、一个池化层、七个优化的分步卷积层所组成，其中，七个优化的分步卷积用来代替全卷积，能够在内存占用上减少60％，计算时间提高三倍，而准确率损失可以忽略。

S103，将相机前端实时捕获到的视频画面，输入到车辆检测框架中，进行车身、车牌的实时跟踪检测，然后进入S104；

需要说明的是，上述检测框架应用了三种方法来改善提高深度学习在嵌入式设备上运行的不足。第一种，通过减枝压缩深度神经网络模型参数的大小，使其能够加载进嵌入式设备的内存；第二种，通过优化的网络结构，减少计算量。第三种，通过自适应的预测方法来减少需要直行深度学习推理的帧数，从而减少计算复杂度。这一优化方法的主要依据是自然的视频数据下，物体并非单独的出现在某一视频帧上，物体是连续运动或静止的状态。因此，对于每一个视频帧，将其和参考帧(在此之前的经过深度神经网络检测过车身、车牌的视频帧)组合起来执行1*1的卷积计算以产生运动概率图。然后检测框架通过计算确定当前帧是否需要执行深度神经网络的推理，如果需要，则使用S102加载好的神经网络模型去执行推理，然后将结果更新保存，同时更新参考帧；如果不需要，则直接使用参考帧的结果作为当前帧的结果来输出。通过这一判断过程，只对需要处理的视频帧进行深度神经网络的处理，这将极大降低了设备的功耗，减少每一帧的平均处理时间，可以更好的处理静止状态、频发发生的微小变化的状态提供快速的处理。

S104，判断当前视频帧是否有车辆，当存在车辆时进入S105，当不存在车辆时，进入S103；

需要说明的是，在计算出被检测车辆的真实长度和宽度后，上述处理过程首先通过先验知识，过滤掉一些不符合条件的多检数据。然后对过滤之后的数据则进行信息保存更新。如果过滤后没有数据，则进入S103，重新开始检测。

S105，对检测到的车辆进行跟踪与定位，然后进入S106；

需要说明的是，上述对检测到的车辆进行跟踪与定位的车辆坐标是由S103中检测出来的像素位置，通过检测车头和车尾，精确的获取车辆在相机坐标系下的位置，然后通过S101所建立的世界坐标系模型，准确的计算出车辆所在的世界坐标系下的坐标。

S106,通过跟踪车辆的运动轨迹，判断该车辆所触发的进出泊位事件，然后进入S107。

需要说明的是，车辆的运动轨迹侦测可以同时检测由运动到静止状态触发的进入泊位事件，以及由静止到运动状态所出发的出泊位事件。并且，由于深度学习模型能够很好的对细节以及整体的特征提取，当静止状态，或者运动状态下的车辆受到行人以及电动等遮挡的情况下，仍然能够有效的进行状态的跟踪，极大的减少多检结果的产生。同时，对于压泊位线行驶的过路车进行跟踪并过滤。

S107，输出最终的车辆的停车结果信息；

需要说明的是，当上述S106确认进出泊位事件后，会连续对车辆进行抓拍，保存车辆在进/出的过程信息。而上述S107主要输出的是车牌信息、车身信息、泊位好信息、车辆进/出时间的信息、车辆进/出的过程大图信息。

本实施例的基于深度学习的智能停车行为判断方法，通过建立相机坐标系到世界坐标系的转换模型；通过实践优化的深度神经网络模型来进行嵌入式设备上的实时车辆、车牌的检测识别；判断识别车辆所触发的事件类型；抓拍并输出车辆信息及停车信息。通过对停车行为有效的检测识别，减少多检、漏检的车辆，大大提高了车位管理效率、减少了人工干预以及人工成本。

此外，还需要说明的是，本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上仅为发明的优选实施例而已，并不用于限制发明，对于本领域的技术人员来说，发明可以有各种更改和变化。凡在发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在发明的保护范围之内。

Claims (10)

1.一种基于深度学习的智能停车行为判断方法，其特征在于，包括：

步骤一、对车位进行标定，建立车位到相机坐标系的转换；

步骤二、加载预先训练好的神经网络模型；

步骤三、将所述相机前端实时捕获到的视频画面，输入到车辆检测框架中，进行车身、车牌的实时跟踪检测；

步骤四、判断当前视频帧是否有车辆，当存在车辆时执行步骤五，当不存在车辆时，执行步骤三；

步骤五、对检测到的车辆进行跟踪与定位；

步骤六、通过跟踪车辆的运动轨迹，判断该车辆所触发的进出泊位事件；

步骤七、输出最终的所述车辆的停车结果信息。

2.如权利要求1所述的基于深度学习的智能停车行为判断方法，其特征在于，所述神经网络模型是预先采集了多个素材，并对素材中的车辆进行了人工、机器标定后作为数据集。

3.如权利要求1所述的基于深度学习的智能停车行为判断方法，其特征在于，所述神经网络模型的网络结构由三个全卷积层、一个池化层、七个优化的分步卷积层所组成，其中，所述七个优化的分步卷积层用来代替全卷积。

4.如权利要求1所述的基于深度学习的智能停车行为判断方法，其特征在于，所述车辆检测框架通过减枝压缩神经网络模型参数的大小，使其能够加载进嵌入式设备的内存，来改善提高深度学习在嵌入式设备上运行的不足。

5.如权利要求4所述的基于深度学习的智能停车行为判断方法，其特征在于，所述车辆检测框架还通过优化的网络结构，减少计算量，来改善提高深度学习在嵌入式设备上运行的不足。

6.如权利要求5所述的基于深度学习的智能停车行为判断方法，其特征在于，所述车辆检测框架还通过自适应的预测方法来减少需要执行深度学习推理的帧数，从而减少计算复杂度，进而来改善提高深度学习在嵌入式设备上运行的不足。

7.如权利要求1所述的基于深度学习的智能停车行为判断方法，其特征在于，所述步骤四中在判断当前视频帧是否有车辆时，在计算出被检测车辆的真实长度和宽度后，首先通过先验知识，过滤掉一些不符合条件的多检数据；然后对过滤之后的数据进行信息保存更新；如果过滤后没有数据，则进入步骤三，重新开始检测。

8.如权利要求1所述的基于深度学习的智能停车行为判断方法，其特征在于，所述步骤五中对检测到的车辆进行跟踪与定位的车辆坐标是由步骤三中检测出来的像素位置，通过检测车头和车尾，精确的获取车辆在相机坐标系下的位置，然后通过相机坐标系到世界坐标系的转换，计算出车辆所在的世界坐标系下的坐标。

9.如权利要求1所述的基于深度学习的智能停车行为判断方法，其特征在于，所述步骤六中对车辆运动轨迹的跟踪可同时检测由运动到静止状态触发的进入泊位事件，以及由静止到运动状态所触发的出泊位事件。

10.如权利要求1所述的基于深度学习的智能停车行为判断方法，其特征在于，当步骤六确认车辆在执行进出泊位事件后，会连续对所述车辆进行抓拍，并保存所述车辆的进/出的过程大图信息；

所述步骤七中输出的所述停车结果信息包括车牌信息、车身信息、泊位信息、车辆进/出时间的信息、车辆进/出的过程大图信息。