CN107945566A - 基于多目标跟踪与深度学习的路边停车管理系统及方法 - Google Patents

Abstract

本公开提供了一种基于多目标跟踪与深度学习的路边停车智能管理系统，包括：服务器端，所述服务器端包括：数据采集模块，通过采用多路摄像头采集车辆以及路边停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的机动车视频和/或图像数据上传至后台计算模块；以及后台计算模块，通过多路摄像头与多个车位之间的关联实现停车车辆信息的处理，包括：深度学习模型训练子模块以及车辆行为判断子模块。本公开具有适应性强、安装使用方便、价格便宜、抗电磁干扰能力强等优点，并具有良好的实时性和准确性。

Description

基于多目标跟踪与深度学习的路边停车管理系统及方法

技术领域

本公开涉及停车路段智能管理领域，尤其涉及一种基于多目标跟踪与深度学习的路边停车智能管理系统及方法。

背景技术

近年来，随着城镇化的快速发展、机动车保有量的迅速增长，停车路段的数量、管理等停车问题日益凸显，国家需要建设更多的停车位以满足停车的需求。参考国外的经验，政府将部分道路两侧的地带划分出来作为路边临时停车路段以缓解停车压力，但由于路边车位管理部门的不同，其管理方式及收费标准也不尽相同，期间存在着许多问题，如停车过程管理不严谨、停车收费管理不规范等，另外泊车咪表的购买、安装及人工管理成本过高也是停车收费标准居高不下的主要原因。同时，有别于封闭式停车路段，由于路边停车路段没有特定的入口与出口，行经车辆可自由停放于空车位，停放车辆也可以自由离开，使得违章停车、人为盗窃、破坏、剐蹭、碰撞等异常情况更易发生，这引起的纠纷及取证困难也往往令车主和管理方头疼。

公开内容

(一)要解决的技术问题

本公开提供了一种基于多目标跟踪与深度学习的路边停车智能管理系统及方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种基于多目标跟踪与深度学习的路边停车智能管理系统，包括：服务器端，所述服务器端包括：数据采集模块，通过采用多路摄像头采集车辆以及路边停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的机动车视频和/或图像数据上传至后台计算模块；以及后台计算模块，通过多路摄像头与多个车位之间的关联实现停车车辆信息的处理，包括：深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号机动车各个方位的图像数据，停车路段、停车位的区域视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行深度学习训练，训练后生成深度神经网络模型；以及车辆行为判断子模块，根据训练后生成的深度神经网络模型判断车辆行为。

在本公开一些实施例中，对所述多路摄像头与车位分别实施编号，将摄像头与车位按编号绑定；每个摄像头管理p个车位、相邻摄像头有q个重叠车位，其中，p≥3,q≥1。

在本公开一些实施例中，所述后台计算模块还包括：车辆识别与跟踪子模块，采用多目标跟踪和深度学习实现摄像头监控范围内多目标车辆的信息提取与轨迹的追踪；车辆停放与取车子模块，采用深度神经网络判断车辆是否进入停车和取车状态，根据用户请求查询预定范围内配有基于多目标跟踪与深度学习的路边停车智能管理系统的各路段路边停车状况，判断该车辆停车状态以及在确认停车后开始计时计费；违规停车分析子模块，用于检测、判断停放车辆是否按照规定停放；以及异常行为分析子模块，用于对停车、取车及停车期间发生的异常情况进行预警。

在本公开一些实施例中，所述后台计算模块的车辆停放与取车子模块包括：数据模型训练子分模块，采集数据样本中标记出的机动车整体及其特征，并通过多层CNN卷积神经网络，针对停车场全局以及局部车位训练得到包含各种品牌、型号机动车各个方位特征的深度神经网络模型；行为识别预测子分模块，使用训练所得的基于多路摄像头的深度神经网络，获得全局车辆的位置信息与各车位的局部停车信息，若两者匹配程度超过一定阈值则认为结果可信并输出结果，识别子分模块的局部组件根据车辆与车位特征判断车辆是否正确停放于指定车位。

在本公开一些实施例中，所述异常行为分析子模块包括：数据模型训练子分模块，通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的多帧图像作为一个样本，并将数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型；行为识别预测子分模块，将停车场多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式；若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。

在本公开一些实施例中，所述后台计算模块的违规停车分析子模块根据车辆位置信息从视频流中截取出大于该车辆的图片，并输入深度神经网络进行图像识别，获得车辆的准确位置；根据该位置从数据库中读取车辆附近相邻两个停车位的位置信息，并比较车辆位置与相邻两个车位的位置：若车辆中心接近于其中一个车位的中心，车辆在该车位所占面积较高，而在另一车位所占面积非常低，则认为该车辆正确停放；若车辆中心离两个车位中心距离接近，且在两个车位中所占面积接近，则认为该车辆占用两个车位；若车辆在停车位中所占的面积均较小，则判断车辆停放于车位外侧，即车辆在车位一侧出界。

在本公开一些实施例中，所述后台计算模块包括超算集群服务器，所述超算集群服务器包括多核和众核并行服务器，用于提供：计算服务，包括：视频和/或图像数据的深度学习及机动车特征提取、比对；存储服务，包括监控视频的实时存储，以及网络传输过程中出现丢包或者网络故障时，监控视频的临时存储；以及资源调控服务，包括：计算机集群的资源调配，避免出现进程堵塞、排队的情况。

在本公开一些实施例中，所述数据采集模块包括：硬件接口子模块，用于摄像头的调用；人机交互子模块，用于每处摄像头实时监控画面信息、每一个停车位内机动车停放状态记录信息、空车位信息及预警提示信息记录的调取及显示。

在本公开一些实施例中，所述的路边停车智能管理系统，还包括：客户端，所述客户端包括：空车位查询模块，用于查询停车路段空车位数量及位置；空车位定位及道路导航模块，用于获取空车位定位及道路导航信息；停车计时付费模块，用于查看该停放车辆的停车时长及停车费用，并实现自助在线缴费。

根据本公开的另一个方面，提供了一种基于多目标跟踪与深度学习的路边停车智能管理方法，包括以下步骤：当服务器后台计算模块接收到用户的停车查询请求时，进行停车路段空位查询，并将信息推送给用户；当用户选定目标停车路段后，服务器后台计算模块向客户端的空车位定位及道路导航模块推送空车位导航信息，引导该车辆驶向目标停车路段及停车位；当车辆进入停车路段后，服务器后台计算模块开始进行轨迹追踪，提取车辆特征及车牌信息，并为车辆分配车位，同时监测异常行为；服务器后台计算模块通过获取的车辆信息，判断车辆是否为可停靠车辆及是否规范停车；当服务器后台计算模块获取用户通过客户端确认停车指令后，开始计时计费，并在用户取车时，自动检测用户是否取车成功，并进行停车费用结算。

在本公开一些实施例中，所述的路边停车智能管理方法，进一步包括：服务器接收到用户通过客户端的空车位查询模块发送查询请求后，调用后台计算模块的车辆停放与取车子模块，查询预定范围内配有基于多目标跟踪与深度学习的路边停车智能管理系统各路段的路边停车状况，并将车位信息向客户端推送；

当车辆进入系统监控范围内，所述服务器的后台计算模块的车辆识别与跟踪子模块获得车辆在摄像头监控范围内的实时位置，包括：所述车辆识别与跟踪子模块采用正向摄像头与反向摄像头监控同一片区域，该监控区域包括相同的车位以及路面情况，并根据车辆行驶方向划分车辆驶入触发区域；当触发区域中图像发生明显变化，车辆识别与跟踪子模块调用训练所得的深度神经网络对该区域进行识别，获取车辆型号、颜色以及车牌号信息，并将识别所得车辆加入跟踪队列；所述车辆识别与跟踪子模块实时跟踪队列中车辆位置，若发现车辆驶离摄像头监控区域并出现于相邻摄像头监控区域，则将该车辆移除本跟踪模块队列，并将相关信息传送于相邻区域的跟踪模块；若所跟踪车辆驶入本摄像头监控区域内的停车触发区域，则协同车辆停放与取车子模块判断该车辆是否进入停车状态：若存在减速、侧方位停车入库行为，则认为该车有可能停车，系统则将离该车最近的一个空车位标识为已分配状态；在确认车辆停车后，将该车辆信息移除跟踪队列并结束跟踪，并将空车位标识变更为已占用状态，异常行为分析随之开始；若停车触发区域中特定车位的图像发生明显变化，则表示可能发生取车行为，车辆识别与跟踪子模块同样调用深度神经网络对该车位进行识别，获取车辆特征，将识别所得车辆加入跟踪队列，等待车辆离开车位并获取车辆车牌信息，并协同车辆停放与取车子模块判断该车辆是否进入取车状态；在确认车辆取车后，继续跟踪该车辆直至该车辆离开基于多目标跟踪与深度学习的路边停车智能管理系统监控范围。

在本公开一些实施例中，所述判断车辆是否为可停靠车辆及是否规范停车的步骤包括：服务器将提取该车辆的视频、图像信息，通过网络传输模块发送给后台计算模块，利用训练后生成的深度神经网络模型识别并比对该机动车的车辆信息，判断该停靠车辆是否为本停车路段允许停放的车型，若是则进入判断是否在基于多目标跟踪与深度学习的路边停车智能管理系统中注册的子步骤，若否则将该车标记为异常，将信息发送至管理员，同时进入检测违规停车的子步骤；若该车辆属于本停车路段可以停放的车型，服务器开始检测该车号是否在基于多目标跟踪与深度学习的路边停车智能管理系统中注册，若该车号已注册则进入检测违规停车检测子步骤，若该车没有注册，则将该车标记为异常，将信息发送至管理员同时进入检测违规停车检测子步骤；在注册用户车辆停入分配车位后，服务器会通过违规停车分析子模块进行违规停车检测；若该车辆符合停车规则停放，则客户端提供停车确认，若该车辆违规停放，则服务器端发送消息至客户端，提醒用户重新停放，用户重新停放后再判断符合停放规则，若符合则提醒用户进行停车确认，若仍未按要求停放，服务器会将该车辆信息作为异常发送给管理员，并推送至客户端；当车辆进入停车路段后，服务器调用后台计算模块的异常行为分析子模块实时检测停车路段内是否出现异常情况，为用户提供异常行为的告警服务。

在本公开一些实施例中，所述计时计费及停车费用结算的步骤包括：服务器接收到用户通过客户端发送的确认停车指令，开始计时计费；若用户忘记在客户端确认停车，服务器在等待一定时间后自动开始计时计费；当用户取车时，后台计算模块将识别停车触发区域中的移动车辆和跟踪车辆的行车轨迹，并借助深度神经网络判断车辆是否进入取车状态；若后台计算模块检测车辆取车成功，则将其停放的车位设置为空车位；以服务器接收到的结束停车指令时间作为取车时间，结算停车费用，并向客户端发送结算指令，用以使用户通过客户端的停车计时付费模块进行在线支付；若用户在取车后一定时间内未收到系统推送的结算信息，则通过客户端向系统发送结束停车指令，服务器将核实该车辆及所在车位状态并取证或通过管理员做人工处理；服务器自动识别客户端付费是否成功，若付费成功，系统则认为停车结束，并结束异常行为分析；若付费不成功，则给客户端发送付费不成功的提示，提醒用户尽快付费；若用户在预定时间内未完成支付，收费系统则将该车辆信息作为异常发送给管理员，同时推送至用户客户端，并对用户处以一定处罚。

(三)有益效果

从上述技术方案可以看出，本公开基于多目标跟踪与深度学习的路边停车智能管理系统及方法至少具有以下有益效果其中之一：

(1)由于摄像头架设方式与现有用于违章监控的摄像头类似，而不需要像地磁检测技术一样对停车路段地面进行额外施工，也不需要配置定位卡，其成本远低于地磁检测技术、射频定位和蓝牙定位技术。本公开具有适应性强、安装使用方便、价格便宜、抗电磁干扰能力强等优点，可以在露天环境、不同天气温度状态下使用；

(2)由于每一个摄像头可监控多个车位，并使用多目标跟踪监控行经路段的所有车辆，确认车辆是否停靠或离开车位。除具有良好的实时性外，基于多目标跟踪与深度学习的路边停车智能管理系统多摄像头间的相互配合验证也提高了系统冗余度和准确性；

(3)通过多路摄像头实现路边停车路段的管理、收费，以及对停车过程中出现的车辆违章停车、被盗窃、破坏、剐蹭、碰撞等异常情况的分析预警。

附图说明

图1为本公开实施例的基于多目标跟踪与深度学习的路边停车智能管理系统结构示意图；

图2为本公开实施例的路边停车智能管理系统多路摄像头数据采集传输示意图；

图3为本公开实施例的编号摄像头与编号停车位绑定示意图；

图4为本公开实施例的监控区域多目标触发与跟踪示意图；

图5为本公开实施例的服务器端后台计算模块异常行为分析子模块流程图；

图6为本公开实施例的基于多目标跟踪与深度学习的路边停车智能管理方法流程图。

具体实施方式

本公开提供了一种基于多目标跟踪与深度学习的路边停车智能管理系统及方法，所述该系统包括服务器端和客户端，服务器端由数据采集模块、网络传输模块、后台计算模块三部分组成；客户端由空车位查询模块、空车位定位及道路导航模块以及停车计时付费模块等三部分组成。服务器端首先使用数据采集模块采集各种品牌、型号机动车各个方位的视频和/或图像，以及停车路段道路、停车位的区域边界线等视频和/或图像数据，并将所采集数据用于系统深度学习训练，生成深度神经网络模型，用户使用客户端与服务器端实现信息交互。本公开可以有效地解决目前路边停车路段停车位的管理及收费等问题。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。

在本公开的第一个示例性实施例中，提供了一种多目标跟踪与深度学习的路边停车智能管理系统。图1为本公开第一实施例多目标跟踪与深度学习的路边停车智能管理系统的结构示意图。如图1所示，本公开多目标跟踪与深度学习的路边停车智能管理系统包括：服务器端10和客户端20。其中服务器端10包括数据采集模块101、网络传输模块102及后台计算模块103；客户端20包括空车位查询模块201、空车位定位及道路导航模块202以及停车计时付费模块203。

以下分别对本实施例基于多目标跟踪与深度学习的路边停车智能管理系统的各个组成部分进行详细描述。

所述服务器端10中：

数据采集模块101通过使用多路摄像头采集用于深度神经网络训练的各种品牌、型号机动车以及停车路段停车位边界的各个方位的视频和/或图像数据，和进入路边停车路段范围内的机动车等的视频和/或图像数据。其包括两个子模块：子模块一为硬件接口子模块，包括摄像头的调用等。本公开中所使用的摄像头既可以是路边停车路段管理方在马路边设置的监控摄像头，也可以是城市现有的视频监控系统。

图2为本公开实施例的路边停车智能管理系统多路摄像头数据采集传输示意图，如图2所示，摄像头作为数据采集装置，假设在离地面需一定距离并在一侧车道上方，以保证足够宽阔的视野。若路边路段为直线型，则可每隔一定距离布设一对摄像头，其方向相反，能够监控该段道路内所有往来车辆的行驶轨迹及车牌号；若该停车路段所在的道路具有一定的弧形，则可根据具体情况加设摄像头的数量及调整摄像头的角度，使之能够监控到该路段中所有行驶的车辆。摄像头一般采用低照度图像传感器，支持高清视频，实现高清晰图像的网络低带宽传输，支持昼夜监控及无线网络，具备功耗低、发热低、延时短、解析度高的特征；子模块二为人机交互子模块，主要用于每处摄像头实时监控画面信息、每一个停车位内机动车停放状态记录信息、空车位信息及预警提示等信息记录的调取及显示。

网络传输模块102用于将采集到的机动车视频和/或图像数据上传至后台计算模块103，并将比对结果实时发送到客户端20模块及显示在数据采集模块101的操作界面上。该模块可通过专线网络和互联网进行传输实现，专线网络传输稳定、保密性强，适用于保护用户隐私；互联网分布广泛，且价格低廉，广泛适用于各种情况，而对于互联网的加密保护用户隐私情况，需要增设加密和解密设备；图2中以常用的无线基站传输为示例标示。

后台计算模块103为本公开的核心部分，通过多路摄像头与多个车位之间的关联实现停车车辆信息的处理，包括：深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号机动车各个方位的图像数据，停车路段、停车位的区域视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行深度学习训练，训练后生成深度神经网络模型；车辆行为判断子模块，根据训练后生成的神经网络模型判断车辆行为。

后台计算模块103主要由超算集群服务器构成，其主要包括多核和众核并行服务器，集群服务器提供计算服务、存储服务、资源调控服务和传输服务。其中，计算服务主要用于视频和/或图像信息的深度学习及机动车车牌号及特征的提取、比对；存储服务主要用于两方面存储，一方面存储实时的监控视频，一方面负责网络传输过程中出现丢包或者网络故障时，临时存储视频；资源调控服务主要用于计算机集群的资源调配，避免出现进程堵塞、排队的情况，传输服务用于视频和/或图像数据、特征提取及比对结果的实时传送。

后台计算模块103以多路摄像头与多个车位之间的关联为基础，通过分别对摄像头与车位实施编号，并将摄像头与车位按编号绑定。为提高系统的冗余度和稳定性，本公开在每一固定杆处部署正反双向摄像头，并且同一方向的相邻摄像头所管理车位具有一定重叠。设每个摄像头管理p个车位、相邻摄像头有q个重叠车位，其中，p≥3，q≥1,以下以p＝5，q＝1为例介绍本公开的摄像头与车位的绑定。如图3所示，左侧n-1号正向摄像头管理车位4n+1，4n+2，到4n+5，共5个车位，右侧n+1号反向摄像头管理相同的车位4n+1到4n+5。中间n号正向摄像头管理车位4n+5到4n+9，与n-1号正向摄像头有重叠车位4n+5，n号反向摄像头管理车位4n-3到4n+1，与n+1号反向摄像头有重叠车位4n+1。如此类推，从而实现摄像头与车位的冗余绑定。车位数p与重叠数q可根据实际情况设置。

后台计算模块103包括四个子模块：车辆识别与跟踪子模块、车辆停放与取车子模块、违规停车分析子模块以及异常行为分析子模块。

(1)车辆识别与跟踪子模块主要采用多目标跟踪和深度学习实现摄像头监控范围内多目标车辆的信息提取与轨迹的追踪。如图2、3、4所示，正向摄像头与反向摄像头监控同一片区域，注意正向与反向摄像头编号不同。该监控区域包括相同的车位以及路面情况，并根据车辆行驶方向划分相同的车辆驶入触发区域(图4)。当触发区域中图像发生明显变化，车辆识别与跟踪子模块调用训练所得的深度神经网络对该区域进行识别，获取车辆型号、颜色以及车牌号等信息，并将识别所得车辆加入跟踪队列。子模块实时跟踪队列中车辆位置，若发现车辆驶离摄像头监控区域并出现于相邻摄像头监控区域，则将该车辆移除本跟踪模块队列，并将相关信息传送于相邻区域的跟踪模块。若所跟踪车辆驶入本摄像头监控区域内的停车触发区域，则协同车辆停放与取车子模块判断该车辆是否进入停车状态。在确认车辆停车后，将该车辆信息移除跟踪队列并结束跟踪。

若停车触发区域中特定车位的图像发生明显变化，意味着可能发生取车行为，车辆识别与跟踪子模块同样调用深度神经网络对该车位进行识别，获取车辆特征，将识别所得车辆加入跟踪队列，等待车辆离开车位并获取车辆车牌信息，并协同车辆停放与取车子模块判断该车辆是否进入取车状态。在确认车辆取车后，继续跟踪该车辆直至该车辆离开基于多目标跟踪与深度学习的路边停车智能管理系统监控范围。

(2)车辆停放与取车子模块主要采用深度神经网络判断车辆是否进入停车和取车状态。车辆停放与取车子模块主要分为数据模型训练以及行为识别预测两部分。有别于传统的基于单一摄像头的深度神经网络，车辆停放与取车子模块在训练时使用多路摄像头同时进行采集，将采集到的小段视频(即多帧图像)作为一个样本，并将大量数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型，从而有效地提高神经网络识别率与稳定性。在真实路况下，当车辆停放与取车子模块收到车辆识别与跟踪子模块所发送的车辆进入停车触发区域的信息，车辆停放与取车子模块则按照车辆位置截取视频流，并实时识别该车辆是否进入停车状态。若深度神经网络确认车辆停车，并且车辆轨迹在一段时间内不发生明显变化，则视为车辆停车，将车辆信息及停车时间位置记录入库，并向车辆识别与跟踪子模块以及违规停车分析子模块发送指令确认该车辆已停车。

类似地，当车辆停放与取车子模块收到车辆识别与跟踪子模块所发送的车辆离开停车触发区域的信息，车辆停放与取车子模块则按照车辆位置截取视频流，并实时识别该车辆是否进入取车状态。若深度神经网络确认车辆取车，且车辆轨迹发生较为明显变化甚至离开摄像头的监控区域，则进一步将车辆信息与系统中停靠于该车位的车辆信息进行比对。若两者相符则视为车辆结束停车，将车辆信息及取车时间位置记录入库，并向车辆识别与跟踪子模块发送指令确认该车辆已取车，否则记录异常情况，并向管理员推送相关信息。

(3)违规停车分析子模块主要用于检测、判断停放车辆是否按照规定停放。违规停车分析子模块可采用如下方法判断一辆车是否占用两个车位：当接收到车辆停放与取车子模块所发送的停车信息后，违规停车分析子模块可获得由车辆识别与跟踪子模块所记录的车辆的位置。违规停车分析子模块可根据车辆位置信息从视频流中截取出略大于该车辆的图片，并输入深度神经网络进行图像识别，获得车辆的准确位置。根据该位置从数据库中读取车辆附近相邻两个停车位的位置信息，并比较车辆位置与相邻两个车位的位置。若车辆中心接近于其中一个车位的中心，车辆在该车位所占面积较高，而在另一车位所占面积非常低，则认为该车辆正确停放。若车辆中心离两个车位中心距离接近，且在两个车位中所占面积接近，则认为该车辆占用两个车位。若车辆在停车位中所占的面积均较小，则判断车辆停放于车位外侧，即车辆在车位一侧出界。

(4)异常行为分析子模块可对停车、取车及停车期间发生的，如违章停车、人为盗窃、破坏，车辆剐蹭、碰撞等异常情况进行预警。如图5所示，异常行为分析子模块主要分为数据模型训练以及行为识别预测两部分。类似于车辆停放与取车子模块，异常行为分析子模块首先通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的小段视频(即多帧图像)作为一个样本，并将大量数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型。该子模型的识别子分模块将停车路段多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式。若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。

以上各模块中，使用多路摄像头通过数据采集模块101预先对各品牌、型号机动车各个方位的图像数据，停车路段、停车位的区域等视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行采集，并传输至后台计算模块103中进行深度学习训练，训练后生成深度神经网络模型的过程均为预处理。

所述基于多目标跟踪与深度学习的路边停车智能管理系统的客户端20可以为智能手机或平板电脑等设备，其中智能手机和平板电脑通常采用Android或IOS操作系统，且下载并注册了具有接收、推送数据信息功能的软件，客户端20能够实时查询、接收服务器端10计算后传输的结果。用户可以通过客户端20的各个模块及时准确地查询一定范围内各路段路边停车空车位数量及位置、空车位定位及道路导航等信息，同时用户还可以通过客户端20停车计时付费模块203随时查看该停放车辆的停车时长及停车费用，并在取车时选择通过该模块进行自助在线缴费，节省用户时间，提高出行效率。管理方也可根据实际情况设置包天、包月等缴费方式，或对停车记录良好的用户予以折扣等优惠措施。

至此，本公开第一实施例基于多目标跟踪与深度学习的路边停车智能管理系统介绍完毕。

在本公开的第二个示例性实施例中，提供了本公开提出的一种基于多目标跟踪与深度学习的路边停车智能管理方法，图6为本公开实施例的基于多目标跟踪与深度学习的路边停车智能管理方法流程图。如图6所示，本公开提出的基于多目标跟踪与深度学习的路边停车智能管理方法，具体通过以下步骤实现：

步骤S1，当服务器接收到用户的停车查询请求时，进行停车路段空位查询，并将信息推送给用户。

当用户有停车需求时，服务器接收到用户通过智能手机或平板电脑等客户端20的空车位查询模块201发送查询请求，调用后台计算模块103的车辆停放与取车子模块，查询预定范围内配有基于多目标跟踪与深度学习的路边停车智能管理系统各路段的路边停车状况，并将车位信息，如已占用、空闲及已分配待等信息向客户端20推送，客户端20接收信息后以图文方式向用户显示。

步骤S2，当用户选定目标停车路段后，服务器向客户端20的空车位定位及道路导航模块202推送空车位导航信息，引导该车辆驶向目标停车路段及停车位。

基于多目标跟踪与深度学习的路边停车智能管理系统可接入通用的地图软件，通过GPS或无线基站对车辆进行导航。当车辆进入基于多目标跟踪与深度学习的路边停车智能管理系统监控范围内，后台计算模块103的车辆识别与跟踪子模块可获得车辆在摄像头监控范围内的实时位置。由于车位位置固定，并且摄像头与车位绑定，因此可根据车辆与摄像头绑定的车位的相对位置，获得车辆更为精确的真实位置，实现停车导航。

步骤S3，当车辆进入停车路段后，服务器开始进行轨迹追踪，提取车辆特征及车牌信息，并为车辆分配车位，同时监测异常行为。

当用户进入安装有基于多目标跟踪与深度学习的路边停车智能管理系统的停车路段时，服务器通过安装在路边的摄像头便开始检测并追踪该车辆的行车轨迹，同时提取车辆特征及车牌信息。若该车一直向前行驶，并驶出该摄像头的监控视野，则认为该车辆没有在该路段停车并结束追踪；若该车进入停车触发区域并存在减速、侧方位停车等入库行为，则认为该车有可能停车，系统则将离该车最近的一个空车位标识为已分配状态，在确认车辆停车后，将空车位标识变更为已占用状态，异常行为分析随之开始，将停车路段多路摄像头采集的数据输入训练所得深度神经网络模型内，并判断其行为模式。若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。

步骤S4，服务器通过获取的车辆信息，判断车辆是否为可停靠车辆及是否规范停车。

所述步骤S4进一步包括：

子步骤S41，服务器将提取该车辆的视频、图像信息，通过网络传输模块102发送给后台计算模块103，利用训练后生成的深度神经网络模型识别并比对该机动车的车型等车辆信息，判断该停靠车辆是否为本停车路段允许停放的车型，若是则进入子步骤S42，若否则将该车标记为异常，将信息发送至管理员同时进入子步骤S43。

子步骤S42，若该车辆属于本停车路段可以停放的车型，服务器开始检测该车号是否在基于多目标跟踪与深度学习的路边停车智能管理系统中注册，若该车号已注册则进入子步骤S43，若该车没有注册，则将该车标记为异常，将信息发送至管理员同时进入子步骤S43。

子步骤S43、在注册用户车辆停入分配的车位后，服务器会通过违规停车分析子模块进行违规停车检测，分析该车是否按照规定停入分配的停车位，是否存在违章停车、占用两个停车位等不规范的停车行为。若该车辆符合停车规则停放，则在客户端20可以进行停车确认，若该车辆违规停放，则服务器端10会发送消息至客户端20，提醒用户重新停放，用户重新停放后系统判断符合停放规则，若符合则提醒用户进行停车确认，若仍未按要求停放，系统会将该车辆信息作为异常发送给管理员，并推送至客户端20。

子步骤S44，当车辆进入停车路段后，服务器调用后台计算模块103的异常行为分析子模块实时检测停车路段内是否出现异常情况，为用户提供异常行为的告警服务，可对停车路段内发生的，如人为盗窃、破坏，车辆剐蹭、碰撞等异常情况进行预警。一旦车辆在进出停车路段过程中，或在停放车位时可能出现剐蹭、碰撞等情况，或在车辆停放过程中可能出现人为破坏、偷窃等情况，系统将向客户端20推送预警信息，并备案相关视频数据，为破案提供证据。

步骤S5，当用户通过客户端20确认停车后，服务器开始计时计费，并在用户取车时，自动检测用户是否取车成功，并进行停车费用结算。

所述步骤S5进一步包括：

子步骤S51，服务器接收到用户通过客户端20发送的确认停车指令，开始计时计费。若用户忘记在客户端20确认停车，系统在等待一定时间后自动开始计时计费。用户可以在停车过程中随时通过客户端20查询该车辆的停车时间及计费情况。

子步骤S52，当用户取车时，后台计算模块103将识别停车触发区域中的移动车辆和跟踪车辆的行车轨迹，并借助深度神经网络判断车辆是否进入取车状态。若后台计算模块103检测车辆取车成功，则将其停放的车位设置为空车位。系统以服务器接收到的结束停车指令时间作为取车时间，结算停车费用，并向客户端20发送结算指令。此时用户可以通过客户端20的停车计时付费模块203进行在线支付。若用户在取车后一定时间内未收到系统推送的结算信息，也可通过客户端20向系统发送结束停车指令，系统将核实该车辆及所在车位状态并取证，必要时也可通过管理员做人工处理。

子步骤S53，此时系统会自动识别用户是否在客户端20付费成功，若付费成功，系统则认为停车结束，并结束异常行为分析；若付费不成功，系统则给用户的客户端20进行付费不成功的提示，可为文字信息或语音信息，提醒用户尽快付费。若超过一定阈值，收费系统则自动恢复为停车状态，继续计时计费，并将该车辆信息作为异常发送给管理员，同时推送至用户客户端20。以上所有作为异常的情况，对车主均可采用一定的措施进行处罚。

为了达到简要说明的目的，上述实施例1中任何可作相同应用的技术特征叙述皆并于此，无需再重复相同叙述。

至此，本公开第二实施例基于多目标跟踪与深度学习的路边停车智能管理系统介绍完毕。

本公开提出了一种基于多目标跟踪与深度学习的路边停车智能管理系统及方法，其目的是使用多路摄像头实现路边停车路段的管理、收费，以及对停车过程中出现的车辆违章停车、被盗窃、破坏、剐蹭、碰撞等异常情况的分析预警。基于多目标跟踪与深度学习的路边停车智能管理系统具有适应性强、安装使用方便、价格便宜、抗电磁干扰能力强等优点，可以在露天环境、不同天气温度状态下使用。其不需要像地磁检测技术一样对停车路段地面进行额外施工，不需要像射频定位和蓝牙定位技术一样向用户配发定位卡，不需要设置额外的围栏以及停车出入口，也不需要在每个停车位处架设含摄像头的短杆识别车辆信息，可基本实现无人管理、自助缴费。基于多目标跟踪与深度学习的路边停车智能管理系统中每一个摄像头可监控多个车位，并使用多目标跟踪监控行经路段的所有车辆，确认车辆是否停靠或离开车位。除具有良好的实时性外，基于多目标跟踪与深度学习的路边停车智能管理系统多摄像头间的相互配合验证也提高了系统冗余度和准确性。同时还具有较明显的价格优势，摄像头架设方式与现有用于违章监控的摄像头类似，成本远低于地磁检测技术，由于不需要配置定位卡，其成本也低于射频定位和蓝牙定位技术。基于多目标跟踪与深度学习的路边停车智能管理系统也可作为公共车辆管理系统使用，如共享汽车，以及具有铭牌号标识的共享自行车、共享电动车等。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。

本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且，在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (13)

1.一种基于多目标跟踪与深度学习的路边停车智能管理系统，包括：

服务器端，所述服务器端包括：

数据采集模块，通过采用多路摄像头采集车辆以及路边停车位边界的各个方位的视频和/或图像数据；

网络传输模块，用于将采集到的机动车视频和/或图像数据上传至后台计算模块；以及

后台计算模块，通过多路摄像头与多个车位之间的关联实现停车车辆信息的处理，包括：

深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号机动车各个方位的图像数据，停车路段、停车位的区域视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行深度学习训练，训练后生成深度神经网络模型；以及

车辆行为判断子模块，根据训练后生成的深度神经网络模型判断车辆行为。

2.根据权利要求1所述的路边停车智能管理系统，对所述多路摄像头与车位分别实施编号，将摄像头与车位按编号绑定；每个摄像头管理p个车位、相邻摄像头有q个重叠车位，其中，p≥3,q≥1。

3.根据权利要求2所述的路边停车智能管理系统，所述后台计算模块还包括：

车辆识别与跟踪子模块，采用多目标跟踪和深度学习实现摄像头监控范围内多目标车辆的信息提取与轨迹的追踪；

车辆停放与取车子模块，采用深度神经网络判断车辆是否进入停车和取车状态，根据用户请求查询预定范围内配有基于多目标跟踪与深度学习的路边停车智能管理系统的各路段路边停车状况，判断该车辆停车状态以及在确认停车后开始计时计费；

违规停车分析子模块，用于检测、判断停放车辆是否按照规定停放；以及

异常行为分析子模块，用于对停车、取车及停车期间发生的异常情况进行预警。

4.根据权利要求3所述的停车场智能管理系统，其中，所述后台计算模块的车辆停放与取车子模块包括：

数据模型训练子分模块，采集数据样本中标记出的机动车整体及其特征，并通过多层CNN卷积神经网络，针对停车场全局以及局部车位训练得到包含各种品牌、型号机动车各个方位特征的深度神经网络模型；

行为识别预测子分模块，使用训练所得的基于多路摄像头的深度神经网络，获得全局车辆的位置信息与各车位的局部停车信息，若两者匹配程度超过一定阈值则认为结果可信并输出结果，识别子分模块的局部组件根据车辆与车位特征判断车辆是否正确停放于指定车位。

5.根据权利要求3所述的停车场智能管理系统，其中，所述异常行为分析子模块包括：

数据模型训练子分模块，通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的多帧图像作为一个样本，并将数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型；

行为识别预测子分模块，将停车场多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式；若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。

6.根据权利要求3所述的停车场智能管理系统，其中，

所述后台计算模块的违规停车分析子模块根据车辆位置信息从视频流中截取出大于该车辆的图片，并输入深度神经网络进行图像识别，获得车辆的准确位置；根据该位置从数据库中读取车辆附近相邻两个停车位的位置信息，并比较车辆位置与相邻两个车位的位置：

若车辆中心接近于其中一个车位的中心，车辆在该车位所占面积较高，而在另一车位所占面积非常低，则认为该车辆正确停放；

若车辆中心离两个车位中心距离接近，且在两个车位中所占面积接近，则认为该车辆占用两个车位；

若车辆在停车位中所占的面积均较小，则判断车辆停放于车位外侧，即车辆在车位一侧出界。

7.根据权利要求1所述的路边停车智能管理系统，所述后台计算模块包括超算集群服务器，所述超算集群服务器包括多核和众核并行服务器，用于提供：

计算服务，包括：视频和/或图像数据的深度学习及机动车特征提取、比对；

存储服务，包括监控视频的实时存储，以及网络传输过程中出现丢包或者网络故障时，监控视频的临时存储；以及

资源调控服务，包括：计算机集群的资源调配，避免出现进程堵塞、排队的情况。

8.根据权利要求1所述的路边停车智能管理系统，所述数据采集模块包括：

硬件接口子模块，用于摄像头的调用；

人机交互子模块，用于每处摄像头实时监控画面信息、每一个停车位内机动车停放状态记录信息、空车位信息及预警提示信息记录的调取及显示。

9.根据权利要求1所述的路边停车智能管理系统，还包括：客户端，所述客户端包括：

空车位查询模块，用于查询停车路段空车位数量及位置；

空车位定位及道路导航模块，用于获取空车位定位及道路导航信息；

停车计时付费模块，用于查看该停放车辆的停车时长及停车费用，并实现自助在线缴费。

10.一种基于多目标跟踪与深度学习的路边停车智能管理方法，采用如权利要求1至9中任一项所述的路边停车智能管理系统，包括以下步骤：

当服务器后台计算模块接收到用户的停车查询请求时，进行停车路段空位查询，并将信息推送给用户；

当用户选定目标停车路段后，服务器后台计算模块向客户端的空车位定位及道路导航模块推送空车位导航信息，引导该车辆驶向目标停车路段及停车位；

当车辆进入停车路段后，服务器后台计算模块开始进行轨迹追踪，提取车辆特征及车牌信息，并为车辆分配车位，同时监测异常行为；

服务器后台计算模块通过获取的车辆信息，判断车辆是否为可停靠车辆及是否规范停车；

当服务器后台计算模块获取用户通过客户端确认停车指令后，开始计时计费，并在用户取车时，自动检测用户是否取车成功，并进行停车费用结算。

11.根据权利要求10所述的路边停车智能管理方法，进一步包括：

服务器接收到用户通过客户端的空车位查询模块发送查询请求后，调用后台计算模块的车辆停放与取车子模块，查询预定范围内配有基于多目标跟踪与深度学习的路边停车智能管理系统各路段的路边停车状况，并将车位信息向客户端推送；

当车辆进入系统监控范围内，所述服务器的后台计算模块的车辆识别与跟踪子模块获得车辆在摄像头监控范围内的实时位置，包括：

所述车辆识别与跟踪子模块采用正向摄像头与反向摄像头监控同一片区域，该监控区域包括相同的车位以及路面情况，并根据车辆行驶方向划分车辆驶入触发区域；当触发区域中图像发生明显变化，车辆识别与跟踪子模块调用训练所得的深度神经网络对该区域进行识别，获取车辆型号、颜色以及车牌号信息，并将识别所得车辆加入跟踪队列；

所述车辆识别与跟踪子模块实时跟踪队列中车辆位置，若发现车辆驶离摄像头监控区域并出现于相邻摄像头监控区域，则将该车辆移除本跟踪模块队列，并将相关信息传送于相邻区域的跟踪模块；

若所跟踪车辆驶入本摄像头监控区域内的停车触发区域，则协同车辆停放与取车子模块判断该车辆是否进入停车状态：若存在减速、侧方位停车入库行为，则认为该车有可能停车，系统则将离该车最近的一个空车位标识为已分配状态；

在确认车辆停车后，将该车辆信息移除跟踪队列并结束跟踪，并将空车位标识变更为已占用状态，异常行为分析随之开始；

若停车触发区域中特定车位的图像发生明显变化，则表示可能发生取车行为，车辆识别与跟踪子模块同样调用深度神经网络对该车位进行识别，获取车辆特征，将识别所得车辆加入跟踪队列，等待车辆离开车位并获取车辆车牌信息，并协同车辆停放与取车子模块判断该车辆是否进入取车状态；

在确认车辆取车后，继续跟踪该车辆直至该车辆离开基于多目标跟踪与深度学习的路边停车智能管理系统监控范围。

12.根据权利要求10所述的路边停车智能管理方法，所述判断车辆是否为可停靠车辆及是否规范停车的步骤包括：

服务器将提取该车辆的视频、图像信息，通过网络传输模块发送给后台计算模块，利用训练后生成的深度神经网络模型识别并比对该机动车的车辆信息，判断该停靠车辆是否为本停车路段允许停放的车型，若是则进入判断是否在基于多目标跟踪与深度学习的路边停车智能管理系统中注册的子步骤，若否则将该车标记为异常，将信息发送至管理员，同时进入检测违规停车的子步骤；

若该车辆属于本停车路段可以停放的车型，服务器开始检测该车号是否在基于多目标跟踪与深度学习的路边停车智能管理系统中注册，若该车号已注册则进入检测违规停车检测子步骤，若该车没有注册，则将该车标记为异常，将信息发送至管理员同时进入检测违规停车检测子步骤；

在注册用户车辆停入分配车位后，服务器会通过违规停车分析子模块进行违规停车检测；若该车辆符合停车规则停放，则客户端提供停车确认，若该车辆违规停放，则服务器端发送消息至客户端，提醒用户重新停放，用户重新停放后再判断符合停放规则，若符合则提醒用户进行停车确认，若仍未按要求停放，服务器会将该车辆信息作为异常发送给管理员，并推送至客户端；

当车辆进入停车路段后，服务器调用后台计算模块的异常行为分析子模块实时检测停车路段内是否出现异常情况，为用户提供异常行为的告警服务。

13.根据权利要求10所述的路边停车智能管理方法，所述计时计费及停车费用结算的步骤包括：

服务器接收到用户通过客户端发送的确认停车指令，开始计时计费；若用户忘记在客户端确认停车，服务器在等待一定时间后自动开始计时计费；

当用户取车时，后台计算模块将识别停车触发区域中的移动车辆和跟踪车辆的行车轨迹，并借助深度神经网络判断车辆是否进入取车状态；若后台计算模块检测车辆取车成功，则将其停放的车位设置为空车位；以服务器接收到的结束停车指令时间作为取车时间，结算停车费用，并向客户端发送结算指令，用以使用户通过客户端的停车计时付费模块进行在线支付；若用户在取车后一定时间内未收到系统推送的结算信息，则通过客户端向系统发送结束停车指令，服务器将核实该车辆及所在车位状态并取证或通过管理员做人工处理；

服务器自动识别客户端付费是否成功，若付费成功，系统则认为停车结束，并结束异常行为分析；若付费不成功，则给客户端发送付费不成功的提示，提醒用户尽快付费；若用户在预定时间内未完成支付，收费系统则将该车辆信息作为异常发送给管理员，同时推送至用户客户端，并对用户处以一定处罚。