CN107967817A - 基于多路摄像头深度学习的停车场智能管理系统及方法 - Google Patents

Abstract

本公开提供了一种多路摄像头深度学习的停车场智能管理系统，包括：服务器端，包括：数据采集模块，通过采用多路摄像头采集停车场的车辆以及停车场停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的车辆视频和/或图像数据上传至后台计算模块；以及后台计算模块，用于停车车辆信息的处理，包括：深度学习模型训练子模块以及车辆行为判断子模块。本公开提高了神经网络识别率与稳定性，并具有适应性强、安装使用方便、价格便宜、抗电磁干扰能力强等优点。

Description

基于多路摄像头深度学习的停车场智能管理系统及方法

技术领域

本公开涉及停车场智能管理领域，尤其涉及一种基于多路摄像头深度学习的停车场智能管理系统及方法。

背景技术

近年来，随着城市的快速发展、车辆保有量的迅速增长，停车场的管理及车主的停车问题日益凸显，例如人们经常会遇到无法在短时间内找到合适的停车场及停车位，或在陌生的停车场内无法找到空车位或出口等情况，这使得停车成为了一个非常耗时、令人头疼的事情，极大地降低了人们的生活效率。

而目前，停车场的管理仍主要采用人工或半人工的管理模式，而且大部分的停车场都没有导航系统，其主要以路标，指示灯为主，只能靠车主自己摸索寻找空位，这不仅增加了寻位时间，而且容易导致停车场内部拥堵，甚至发生车祸。同时，在停车过程中出现的车辆被盗窃、破坏、剐蹭、碰撞等异常情况也时常发生，但其引起的纠纷及取证困难也往往令车主和管理方头疼。

公开内容

(一)要解决的技术问题

本公开提供了一种多路摄像头深度学习的停车场智能管理系统及方法，以至少部分解决以上所提出的技术问题。

(二)技术方案

根据本公开的一个方面，提供了一种多路摄像头深度学习的停车场智能管理系统，包括：服务器端，所述服务器端包括：数据采集模块，通过采用多路摄像头采集停车场的车辆以及停车场停车位边界的各个方位的视频和/或图像数据；网络传输模块，用于将采集到的车辆视频和/或图像数据上传至后台计算模块；以及后台计算模块，用于停车车辆信息的处理，包括：深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号车辆各个方位的图像数据，停车场道路、停车位的区域的视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行采集，将所得视频和/或图片数据进行编组进行深度学习训练，训练后生成深度神经网络模型；以及车辆行为判断子模块，根据训练后生成的神经网络模型对车辆行为进行监控和判断。

在本公开一些实施例中，所述后台计算模块包括：车辆停放子模块，用于基于多路摄像头的深度神经网络实现停车场车位的自动识别和管理，包括根据用户请求查询停车场的停车状况，判断该车辆停车状态以及在确认停车后开始计时计费；车辆定位及导航子模块，以车牌识别和计算机视觉为核心，当车辆进入通道后，多摄像头实时捕捉视频信号，将实时视频信息传送到系统中进行处理，通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，得到该车辆与不同摄像头的相对位置及距离，得到特定车牌号的车辆在停车场的位置，从而获得不同时刻停车场所有通道内车辆的位置信息并提供导航信息；以及异常行为分析子模块，对停车场内发生的异常情况进行预警。

在本公开一些实施例中，所述后台计算模块的车辆停放子模块包括：数据模型训练子分模块，所述车辆停放子模块的训练部分采集数据样本中标记出的车辆整体及其特征，并通过多层CNN卷积神经网络，针对停车场全局以及局部车位训练得到包含各种品牌、型号车辆各个方位特征的深度神经网络模型；行为识别预测子分模块，所述车辆停放子模块的识别部分包含全局和局部两个组件，使用训练所得的基于多路摄像头的深度神经网络，获得全局车辆的位置信息与各车位的局部停车信息，若两者匹配程度超过一定阈值则认为结果可信并输出结果，识别部分的局部组件根据车辆与车位特征判断车辆是否正确停放于指定车位；

所述后台计算模块的异常行为分析子模块包括：数据模型训练子分模块，通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的多帧图像作为一个样本，并将数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型；行为识别预测子分模块，将停车场多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式；若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。

在本公开一些实施例中，所述数据采集模块包括：硬件接口子模块，用于包括摄像头的调用；人机交互子模块，用于每处摄像头实时监控画面信息、每一个停车位内车辆停放状态记录信息、空车位信息及预警提示信息记录的调取及显示。

在本公开一些实施例中，所述的停车场智能管理系统，还包括客户端，所述客户端包括：空车位查询模块，用于查询停车场空车位数量及位置；车位定位及道路导航模块，用于获取空车位定位及道路导航信息；停车计时付费模块，用于查看该停放车辆的停车时长及停车费用，并实现自助在线缴费。

在本公开一些实施例中，所述后台计算模块包括超算集群服务器，所述超算集群服务器包括多核和众核并行服务器，用于提供：计算服务，包括：视频和/或图像数据的深度学习及车辆特征提取、比对；存储服务，包括：监控视频的实时存储，以及网络传输过程中出现丢包或者网络故障时，监控视频的临时存储；以及资源调控服务，包括：计算机集群的资源调配，避免出现进程堵塞、排队的情况。

根据本公开的另一个方面，提供了一种多路摄像头深度学习的停车场智能管理方法，包括以下步骤：当服务器后台计算模块车辆停放子模块接收到用户的停车查询请求时，进行停车场空位查询，并将信息推送给用户；服务器后台计算模块的车辆停放子模块判断到达停车场入口的车辆是否允许进入；服务器后台计算模块为允许进入停车场的车辆分配车位，车辆定位及导航子模块提供空车位导航信息，并且异常行为分析子模块开始对车辆行为异常情况进行监测；服务器后台服务器车辆停放子模块检测到达指定车位的车辆是否按要求停放，并在车辆停好后开始计时计费；若服务器收到用户提交的结束停车指令，则后台计算模块的车辆定位及导航子模向该用户提供出口导航信息；服务器识别停车场出口处车辆车牌号信息，并进行停车费用结算。

在本公开一些实施例中，停车场空位查询的过程包括：服务器接收到用户通过客户端的空车位查询模块发送的查询请求，调用后台计算模块的车辆停放子模块查询周边预定范围内配有多路摄像头深度学习的停车场智能管理系统的停车场的停车状况，并将空车位信息向客户端推送。

在本公开一些实施例中，所述的停车场智能管理方法，进一步包括：当车辆进入停车场时，服务器首先识别该车辆的车牌号，并与进入停车场内的车辆车牌号进行比对校验，同时通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，获得车辆与各摄像头的相对距离从而判断车辆的实时位置，其中直接测量依据计算机视觉原理由车牌尺寸大小推算车辆与摄像头的距离，间接测量则预先测量通道及两旁标记物与摄像头距离，并由车辆与标记物的关系测算车辆与摄像头的距离，最后服务器将车辆的定位信息推送到用户的客户端，引导车辆行驶到相应的停车位。

在本公开一些实施例中，车辆进入停车场后的处理步骤包括：当用户到达停车场入口时，服务器通过数据采集模块中的摄像头，提取请求进入停车场的车辆视频、图像信息，通过网络传输模块发送给后台计算模块，利用训练后生成的深度神经网络模型识别并比对该车辆是否符合进入该停车场的车辆类型标准；符合标准的车辆允许进入，并分配空车位；否则拒绝进入并给予信息提示，此时对该车辆进行人工识别，若人工识别结果为符合停放标准，则将人工识别结果及该车型视频和/或图像数据导入后台计算模块强化学习；若人工识别结果为不符合停放标准；若该车辆允许进入停车场，服务器将向客户端推送允许进入指令，并向客户端的车辆定位及道路导航模块推送空车位导航信息，引导该车辆驶向服务器分配的停车位，当车辆进入停车场后，服务器就调用后台计算模块的异常行为分析子模块开始实时检测停车场内是否出现异常情况，当出现异常情况时，服务器将向管理员与用户推送报警信息当用户到达指定空车位后，服务器会通过数据采集模块中的摄像头实时捕获该停车位的边界线及车辆的停放位置，并调用后台计算模块的车辆停放子模块分析判断该车辆是否停放在了指定区域内，若用户按照要求进行停放，则将该停车位状态变更为已占用，并将停车的时长及需要付费的金额信息发送到客户端，使用户通过客户端的停车计时付费模块进行查询；若车辆未按规定停放，则发出报警提示，或在停车场内安装具有提示功能的扩音器，提醒用户重新停放，若仍在指定时间内不按照要求重新停放，则服务器将该停车位状态变更为异常并将该情况发送给系统管理员，同时给予用户一定的处罚；当用户取车离开时，服务器若接收到客户端提交的结束停车指令，则向客户端的空车位定位及道路导航模块提供实时导航信息，引导用户离开停车场；当用户到达停车场出口时，服务器将识别车辆车牌号并计算车辆停车费用，并将信息推送至客户端用于提供在线支付。

(三)有益效果

从上述技术方案可以看出，本公开基于多路摄像头深度学习的停车场智能管理系统及方法至少具有以下有益效果其中之一：

(1)相对于传统的基于单一摄像头的深度神经网络，由于采用了多路摄像头的深度神经网络实现停车场车位的自动识别和管理，将所得视频和/或图片数据进行编组，再将各组数据作为深度神经网络的训练输入，从而更有效地提高神经网络识别率与稳定性，并解决由于车辆辆的停放角度、物体遮挡、白天或夜晚光照不均匀等产生的影响；

(2)通过多路摄像头实现停车场内车辆的精确定位、管理和导航，以及对停车过程中出现的车辆被盗窃、破坏、剐蹭、碰撞等异常情况的分析预警，因此具有适应性强、安装使用方便、价格便宜、抗电磁干扰能力强等优点。

附图说明

图1为本公开实施例的基于深度学习的停车场智能管理系统结构示意图；

图2为本公开实施例的停车场多路摄像头数据采集示意图；

图3为本公开实施例的服务器端后台计算模块车辆停放子模块流程图；

图4为本公开实施例的服务器端后台计算模块车辆定位及导航子模块流程图；

图5为本公开实施例的服务器端后台计算模块异常行为分析子模块流程图；

图6为本公开实施例的基于多路摄像头深度学习算法的停车场智能管理方法流程图。

具体实施方式

本公开一种基于多路摄像头深度学习的停车场智能管理系统以及管理方法，所述该系统包括服务器端和客户端，服务器端由数据采集模块、网络传输模块、后台计算模块三部分组成；客户端由空车位查询模块、空车位定位及道路导航模块以及停车计时付费模块等三部分组成。服务器端首先使用数据采集模块采集各种品牌、型号车辆各个方位的视频和/或图像，以及停车场道路、停车位的区域边界线等视频和/或图像数据，并将所采集数据用于系统深度学习训练，生成深度神经网络模型，用户使用客户端与服务器端实现信息交互。本公开可以有效地解决目前停车场停车位的精确定位、管理及导航等问题。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开某些实施例于后方将参照所附附图做更全面性地描述，其中一些但并非全部的实施例将被示出。实际上，本公开的各种实施例可以许多不同形式实现，而不应被解释为限于此数所阐述的实施例；相对地，提供这些实施例使得本公开满足适用的法律要求。

在本公开的第一个示例性实施例中，提供了一种基于多路摄像头深度学习的停车场智能管理系统。图1为本公开第一实施例基于多路摄像头深度学习的停车场智能管理系统的结构示意图。如图1所示，本公开基于多路摄像头深度学习的停车场智能管理系统包括：服务器端10和客户端20。所述服务器端10包括数据采集模块101、网络传输模块102及后台计算模块103，客户端20包括空车位查询模块201、空车位定位及道路导航模块202以及停车计时付费模块203。

以下分别对本实施例基于多路摄像头深度学习的停车场智能管理系统的各个组成部分进行详细描述。

所述基于多路摄像头深度学习的停车场智能管理系统服务器端10中：

数据采集模块101通过使用多路摄像头采集用于深度神经网络训练的各种品牌、型号车辆以及停车场停车位边界的各个方位的视频和/或图像数据，和用于比对的请求进入停车场的车辆等的视频和/或图像数据。数据采集模块101包括两个子模块：子模块一为硬件接口子模块，包括摄像头的调用等，本公开中所使用的摄像头既可以是停车场管理方在停车场周边设置的监控摄像头，也可以是城市现有的视频监控系统，一般采用低照度图像传感器，支持高清视频，实现高清晰图像的网络低带宽传输，支持昼夜监控，其主要特点有：支持无线网络，具备功耗低、发热低、延时短、解析度高的特征；子模块二为人机交互子模块，主要用于每处摄像头实时监控画面信息、每一个停车位内车辆停放状态记录信息、空车位信息及预警提示等信息记录的调取及显示。

网络传输模块102用于将采集到的车辆视频和/或图像数据上传至后台计算模块103，并将比对结果实时发送到客户端20模块及显示在数据采集模块101的操作界面上。该模块可通过专线网络和互联网进行传输实现，专线网络传输稳定、保密性强，适用于保护用户隐私；互联网分布广泛，且价格低廉，广泛适用于各种情况，而对于互联网的加密保护用户隐私情况，需要增设加密和解密设备。

后台计算模块103为本公开的核心部分，用于停车场车辆信息的处理。后台计算模块103主要由超算集群服务器构成，其主要包括多核和众核并行服务器，集群服务器提供计算服务、存储服务、资源调控服务和传输服务。其中，计算服务主要用于视频和/或图像信息的深度学习及车辆特征提取、比对；存储服务主要用于两方面存储，一方面存储实时的监控视频，一方面负责网络传输过程中出现丢包或者网络故障时，临时存储视频；资源调控服务主要用于计算机集群的资源调配，避免出现进程堵塞、排队的情况。

后台计算模块103包括三个子模块：车辆停放子模块、车辆定位及导航子模块以及异常行为分析子模块等。其中：

车辆停放子模块主要采用基于多路摄像头的深度神经网络实现停车场车位的自动识别和管理。如图2所示，有别于传统的基于单一摄像头的深度神经网络，本公开使用多路摄像头同时进行采集，将所有摄像头在同一时刻采集所得的视频和/或图片数据分为一组进行编组，再将各组数据作为深度神经网络的训练输入，从而有效地提高神经网络识别率与稳定性，并解决由于车辆辆的停放角度、物体遮挡、白天或夜晚光照不均匀等产生的影响。如图3所示，车辆停放子模块主要分为训练与识别两部分。训练部分采集大量数据样本中标记出的车辆整体及其特征，然后通过多层CNN卷积神经网络，针对停车场全局以及局部车位训练得到包含各种品牌、型号车辆各个方位特征的深度神经网络模型。识别部分包含全局和局部两个组件，可使用训练所得的基于多路摄像头的深度神经网络，获得全局车辆的位置信息与各车位的局部停车信息，若两者匹配程度超过一定阈值则认为结果可信并输出结果。识别部分的局部组件可根据车辆与车位特征判断车辆是否正确停放于指定车位。

车辆定位及导航子模块以车牌识别和计算机视觉原理为核心。车牌识别为市面上的成熟技术，已广泛应用于停车场管理，可非常精确地识别车辆。由于摄像头位置固定，因此可根据车辆与摄像头的相对距离获得车辆的真实位置，实现停车导航。车辆与摄像头的距离可通过直接测量和间接测量两种方式获得。直接测量中，由于车辆车牌尺寸具有统一标准，因此可以根据计算机视觉原理通过摄像头拍摄得到的车牌尺寸测算出车辆与摄像头的距离；间接测量中，由于通道两旁均包含车位、划线等各类标志，因此可预先测量各标志与摄像头的距离，再根据车辆与各标记的相对位置实现车辆定位。车辆定位及导航的具体实施如图4所示，为使用多摄像头实现导航功能，本系统在规划布局时可根据需要设置摄像头的位置及个数，例如在直通道可布设双向摄像头，在分叉路口可设置多摄像头。当车辆进入通道后，多摄像头可实时捕捉视频信号，将实时视频信息传送到系统中进行处理。系统可通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，获得该车辆与不同摄像头的相对位置及距离。以此方式可以得到特定车牌号车辆在停车场的位置，从而获得不同时刻停车场所有通道内车辆的位置信息。

异常行为分析子模块可对停车场内发生的，如人为盗窃、破坏，车辆剐蹭、碰撞等异常情况进行预警。如图5所示，异常行为分析子模块主要分为数据模型训练以及行为识别预测两部分。训练部分首先通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的小段视频(即多帧图像)作为一个样本，并将大量数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型。识别部分将停车场多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式。若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。

以上各模块中，使用多路摄像头通过数据采集模块101预先对各品牌、型号车辆各个方位的图像数据，停车场道路、停车位的区域等视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行采集，并传输至后台计算模块103中进行深度学习训练，训练后生成深度神经网络模型的过程均为预处理。

所述基于多路摄像头深度学习的停车场智能管理系统的客户端20可以为智能手机或平板电脑等设备，其中智能手机和平板电脑通常采用Android或IOS操作系统，且下载并注册了具有接收、推送数据信息功能的软件，客户端20能够实时查询、接收服务器端10计算后传输的结果。用户可以通过客户端20的各个模块及时准确地查询停车场空车位数量及位置、空车位定位及道路导航等信息，同时用户还可以通过客户端20停车计时付费模块203随时查看该停放车辆的停车时长及停车费用，并在取车时选择通过该模块进行自助在线缴费，节省用户时间，提高出行效率。管理方也可根据实际情况设置包天、包月等缴费方式，或对停车记录良好的用户予以折扣等优惠措施。

至此，本公开第一实施例基于多路摄像头深度学习的停车场智能管理系统介绍完毕。

在本公开的第二个示例性实施例中，提供了一种基于多路摄像头深度学习的停车场智能管理方法。图6为本公开实施例的基于多路摄像头深度学习算法的停车场智能管理方法流程图，如图6所示，本公开提出的一种基于多路摄像头深度学习的停车场智能管理方法，具体通过以下步骤实现：

步骤S1，当服务器接收到用户的停车查询请求时，进行停车场空位查询，并将信息推送给用户。

当用户有停车需求时，服务器接收到用户通过智能手机或平板电脑等客户端20的空车位查询模块201发送查询请求，调用后台计算模块103的车辆停放子模块周边配有本系统的停车场的停车状况，并将车位信息，如已占用、空闲及已分配待等信息向客户端20推送，客户端20接收信息后以图文方式向用户显示。

步骤S2，服务器判断到达停车场入口的车辆是否允许进入。

当用户到达停车场入口时，服务器通过数据采集模块101中的摄像头，提取请求进入停车场的车辆视频、图像信息，通过网络传输模块102发送给后台计算模块103，利用训练后生成的深度神经网络模型识别并比对该车辆是否符合进入该停车场的车辆类型标准。符合标准的车辆允许进入，并分配空车位；否则拒绝进入并给予信息提示，此时对该车辆进行人工识别，若人工识别结果为符合停放标准，则将人工识别结果及该车型视频和/或图像数据导入后台计算模块103强化学习；若人工识别结果为不符合停放标准。特别地，所述人工识别可由停车场管理人员完成。

步骤S3，服务器为允许进入停车场的车辆分配车位，提供空车位导航信息，并开始对车辆行为异常情况进行监测。

若该车辆允许进入停车场，服务器将向客户端20推送允许进入指令，并向客户端20的车辆定位及道路导航模块推送空车位导航信息，引导该车辆驶向服务器分配的停车位。上述步骤进一步包括：服务器首先识别该车辆的车牌号，并与进入停车场内的车辆车牌号进行比对校验。同时根据计算机视觉原理，根据多摄像头获得的车牌尺寸大小推算车辆与各摄像头的相对位置从而判断车辆的实时位置。最后服务器将车辆的定位信息推送到用户的客户端20，引导车辆行驶到相应的停车位。

当车辆进入停车场后，服务器就调用后台计算模块103的异常行为分析子模块开始实时检测停车场内是否出现异常情况，当出现异常情况时，例如车辆逆行等，服务器将向管理员与用户推送报警信息。上述出现异常情况时，服务器可对停车场内发生的，如人为盗窃、破坏，车辆剐蹭、碰撞等异常情况进行预警。一旦车辆在进出停车场过程中，或在停放车位时可能出现剐蹭、碰撞等情况，或在车辆停放过程中可能出现人为破坏、偷窃等情况，服务器将向客户端20推送预警信息，并备案相关视频数据，为破案提供证据。

步骤S4，服务器检测到达指定车位的车辆是否按要求停放，并在车辆停好后开始计时计费。

当用户到达指定空车位后，服务器会通过数据采集模块101中的摄像头实时捕获该停车位的边界线及车辆的停放位置，并调用后台计算模块103的车辆停放子模块分析判断该车辆是否停放在了指定区域内，若用户按照要求进行停放，则将该停车位状态变更为已占用，并将停车的时长及需要付费的金额等信息发送到客户端20，使用户可通过客户端20的停车计时付费模块203进行查询；若车辆未按规定停放，则发出报警提示，或在停车场内安装具有提示功能的扩音器，提醒用户重新停放，若仍在指定时间内不按照要求重新停放，则服务器将该停车位状态变更为异常并将该情况发送给系统管理员，同时给予用户一定的处罚。

步骤S5，服务器向提交结束停车指令的用户提供出口导航信息，并识别出口处车辆车牌号以结算停车费用。

当用户取车离开时，服务器若接收到客户端20提交的结束停车指令，则向客户端20的空车位定位及道路导航模块202提供实时导航信息，引导用户离开停车场，从而减少用户寻找出口的时间。当用户到达停车场出口时，服务器将识别车辆车牌号并计算车辆停车费用，用户可选择人工付费或客户端20的停车计时付费模块203进行在线支付。服务器若接收不到客户端20提交的结束停车指令，则识别停车场出口处车辆车牌号并向用户收费。当用户完成交费后将该车辆所占用车位的状态变更为空车位。

为了达到简要说明的目的，上述实施例一中任何可作相同应用的技术特征叙述皆并于此，无需再重复相同叙述。

至此，本公开第二实施例多路摄像头深度学习算法的停车场智能管理方法介绍完毕。

本公开提供的基于多路摄像头深度学习的停车场智能管理系统以及管理方法，其目的是使用多路摄像头实现停车场内车辆的精确定位、管理和导航，以及对停车过程中出现的车辆被盗窃、破坏、剐蹭、碰撞等异常情况的分析预警。具有适应性强、安装使用方便、价格便宜、抗电磁干扰能力强等优点。本公开不需要像地磁导航技术一样对停车场地面进行额外施工，也不需要像射频定位和蓝牙定位技术一样向用户配发定位卡，可基本实现无人管理。其不仅具有良好的实时性，多摄像头间的相互配合验证提高了系统冗余度和准确性，还具有较明显的价格优势，成本远低于地磁导航技术，由于不需要配置定位卡，其成本也低于射频定位和蓝牙定位技术。本公开可以在室内外、不同天气温度状态下使用。本系统也可作为公共车辆管理系统使用，如共享车辆，以及具有铭牌号标识的共享自行车、共享电动车等。

至此，已经结合附图对本公开实施例进行了详细描述。需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。

还需要说明的是，实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本公开的保护范围。贯穿附图，相同的元素由相同或相近的附图标记来表示。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。

并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其他实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本公开也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本公开的内容，并且上面对特定语言所做的描述是为了披露本公开的最佳实施方式。

本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开实施例的相关设备中的一些或者全部部件的一些或者全部功能。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。并且，在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。

类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种多路摄像头深度学习的停车场智能管理系统，包括：

服务器端，所述服务器端包括：

数据采集模块，通过采用多路摄像头采集停车场的车辆以及停车场停车位边界的各个方位的视频和/或图像数据；

网络传输模块，用于将采集到的车辆视频和/或图像数据上传至后台计算模块；以及

后台计算模块，用于停车车辆信息的处理，包括：

深度学习模型训练子模块，通过所述多路摄像头预先对不同品牌、型号车辆各个方位的图像数据，停车场道路、停车位的区域的视频和/或图像数据，以及用于异常行为判断的视频和/或图像数据进行采集，将所得视频和/或图片数据进行编组进行深度学习训练，训练后生成深度神经网络模型；以及

车辆行为判断子模块，根据训练后生成的神经网络模型对车辆行为进行监控和判断。

2.根据权利要求1所述的停车场智能管理系统，其中，所述后台计算模块包括：

车辆停放子模块，用于基于多路摄像头的深度神经网络实现停车场车位的自动识别和管理，包括根据用户请求查询停车场的停车状况，判断该车辆停车状态以及在确认停车后开始计时计费；

车辆定位及导航子模块，以车牌识别和计算机视觉为核心，当车辆进入通道后，多摄像头实时捕捉视频信号，将实时视频信息传送到系统中进行处理，通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，得到该车辆与不同摄像头的相对位置及距离，得到特定车牌号的车辆在停车场的位置，从而获得不同时刻停车场所有通道内车辆的位置信息并提供导航信息；以及

异常行为分析子模块，对停车场内发生的异常情况进行预警。

3.根据权利要求2所述的停车场智能管理系统，其中，

所述后台计算模块的车辆停放子模块包括：

数据模型训练子分模块，所述车辆停放子模块的训练部分采集数据样本中标记出的车辆整体及其特征，并通过多层CNN卷积神经网络，针对停车场全局以及局部车位训练得到包含各种品牌、型号车辆各个方位特征的深度神经网络模型；

行为识别预测子分模块，所述车辆停放子模块的识别部分包含全局和局部两个组件，使用训练所得的基于多路摄像头的深度神经网络，获得全局车辆的位置信息与各车位的局部停车信息，若两者匹配程度超过一定阈值则认为结果可信并输出结果，识别部分的局部组件根据车辆与车位特征判断车辆是否正确停放于指定车位；

所述后台计算模块的异常行为分析子模块包括：

数据模型训练子分模块，通过多路摄像头从不同角度对目标区域内正常行为以及非正常行为进行图像数据采集，将采集到的多帧图像作为一个样本，并将数据样本作为训练数据输入，通过深度神经网络训练得到深度神经网络的模型；

行为识别预测子分模块，将停车场多路摄像头采集的新数据输入训练所得深度神经网络模型内，并判断其行为模式；若判断为非正常的行为，则发送该数据图像及相关信息至管理员，以备用户查询。

4.根据权利要求1所述的停车场智能管理系统，所述数据采集模块包括：

硬件接口子模块，用于包括摄像头的调用；

人机交互子模块，用于每处摄像头实时监控画面信息、每一个停车位内车辆停放状态记录信息、空车位信息及预警提示信息记录的调取及显示。

5.根据权利要求1所述的停车场智能管理系统，还包括客户端，

所述客户端包括：

空车位查询模块，用于查询停车场空车位数量及位置；

空车位定位及道路导航模块，用于获取空车位定位及道路导航信息；

停车计时付费模块，用于查看该停放车辆的停车时长及停车费用，并实现自助在线缴费。

6.根据权利要求1所述的停车场智能管理系统，所述后台计算模块包括超算集群服务器，所述超算集群服务器包括多核和众核并行服务器，用于提供：

计算服务，包括：视频和/或图像数据的深度学习及车辆特征提取、比对；

存储服务，包括：监控视频的实时存储，以及网络传输过程中出现丢包或者网络故障时，监控视频的临时存储；以及

资源调控服务，包括：计算机集群的资源调配，避免出现进程堵塞、排队的情况。

7.一种多路摄像头深度学习的停车场智能管理方法，采用如权利要求1至6中任一项所述的多路摄像头深度学习的停车场智能管理系统，包括以下步骤：

当服务器后台计算模块车辆停放子模块接收到用户的停车查询请求时，进行停车场空位查询，并将信息推送给用户；

服务器后台计算模块的车辆停放子模块判断到达停车场入口的车辆是否允许进入；

服务器后台计算模块为允许进入停车场的车辆分配车位，车辆定位及导航子模块提供空车位导航信息，并且异常行为分析子模块开始对车辆行为异常情况进行监测；

服务器后台计算模块的车辆停放子模块检测到达指定车位的车辆是否按要求停放，并在车辆停好后开始计时计费；

服务器识别停车场出口处车辆车牌号信息，进行停车费用结算。

8.根据权利要求7所述的停车场智能管理方法，所述服务器后台计算模块向用户提供导航信息，包括：

若服务器接收到用户通过客户端的空车位查询模块发送的查询请求，则调用后台计算模块的车辆停放子模块查询周边预定范围内配有多路摄像头深度学习的停车场智能管理系统的停车场的停车状况，并将空车位及导航信息向客户端推送；

若服务器收到客户端提交的结束停车指令，则后台计算模块的车辆定位及导航子模块向该客户端提供出口导航信息。

9.根据权利要求7所述的停车场智能管理方法，包括：

当车辆进入停车场时，服务器首先识别该车辆的车牌号，并与进入停车场内的车辆车牌号进行比对校验，同时通过直接测量车牌尺寸大小和/或通过通道及两旁标记物进行间接测量，获得车辆与各摄像头的相对距离从而判断车辆的实时位置，其中直接测量依据计算机视觉原理由车牌尺寸大小推算车辆与摄像头的距离，间接测量则预先测量通道及两旁标记物与摄像头距离，并由车辆与标记物的关系测算车辆与摄像头的距离，最后服务器将车辆的定位信息推送到用户的客户端，引导车辆行驶到相应的停车位。

10.根据权利要求7所述的停车场智能管理方法，其中，车辆进入停车场后的处理步骤包括：

当用户到达停车场入口时，服务器通过数据采集模块中的摄像头，提取请求进入停车场的车辆视频、图像信息，通过网络传输模块发送给后台计算模块，利用训练后生成的深度神经网络模型识别并比对该车辆是否符合进入该停车场的车辆类型标准；符合标准的车辆允许进入，并分配空车位；否则拒绝进入并给予信息提示，此时对该车辆进行人工识别，若人工识别结果为符合停放标准，则将人工识别结果及该车型视频和/或图像数据导入后台计算模块强化学习；若人工识别结果为不符合停放标准；

若该车辆允许进入停车场，服务器将向客户端推送允许进入指令，并向客户端的车辆定位及道路导航模块推送空车位导航信息，引导该车辆驶向服务器分配的停车位，当车辆进入停车场后，服务器就调用后台计算模块的异常行为分析子模块开始实时检测停车场内是否出现异常情况，当出现异常情况时，服务器将向管理员与用户推送报警信息

当用户到达指定空车位后，服务器会通过数据采集模块中的摄像头实时捕获该停车位的边界线及车辆的停放位置，并调用后台计算模块的车辆停放子模块分析判断该车辆是否停放在了指定区域内，若用户按照要求进行停放，则将该停车位状态变更为已占用，并将停车的时长及需要付费的金额信息发送到客户端，使用户通过客户端的停车计时付费模块进行查询；若车辆未按规定停放，则发出报警提示，或在停车场内安装具有提示功能的扩音器，提醒用户重新停放，若仍在指定时间内不按照要求重新停放，则服务器将该停车位状态变更为异常并将该情况发送给系统管理员，同时给予用户一定的处罚；

当用户取车离开时，服务器若接收到客户端提交的结束停车指令，则向该客户端的空车位定位及道路导航模块提供实时导航信息，引导用户离开停车场；当用户到达停车场出口时，服务器将识别车辆车牌号并计算车辆停车费用，并将信息推送至客户端用于提供在线支付。