CN110473428A - 一种智能停车方法、设备和系统 - Google Patents

Abstract

本发明的实施例提供一种智能停车方法，其包括：获取停车区域的实时视频流；根据所述停车区域的实时视频流，获得当前的空闲车位信息；向预设接收端发送所述当前的空闲车位信息。本实施例的智能停车方法，可以使停车场景里的车位信息便捷、高效地被采集和传输到服务器，并且快速、实时、准确地检测识别出空闲车位，以提供给车主。

Description

一种智能停车方法、设备和系统

技术领域

本发明属于智能控制领域，具体涉及一种智能停车方法、设备和系统。

背景技术

在现有的停车方案中，由于停车场本身的复杂特性(结构错综复杂，资源配置有限)，要实现对停车情况的全方位监督极其困难。空车位更新不及时，漏收停车费，人工收费流程繁琐，找零麻烦，保安的人情因素等等弊病影响着停车场资源优化配置。

完整的停车系统包括出入口控制系统、场内管理系统、缴费系统和运营管理系统。目前场内管理系统功能点分散，密度和力度远远不够，对于空闲车位的检测一般采用地磁车检测器，而地磁车检测器使用的小无线技术因为需要额外安装中继网关，增加了项目建设和后期维护的难度，影响规模化的形成。

发明人在实现本申请的过中发现，当前现状存在的问题包括：停车场景里的车位信息无法便捷、高效地被采集和传输到管理平台；对于大量的停车区域，信息孤岛问题仍然存在，数据很难被共享。

发明内容

本发明所要解决的技术问题是，提供一种智能停车方法、设备和系统，以使停车场景里的车位信息便捷、高效地被采集和传输到管理平台。

第一方面，提供一种智能停车方法，其包括：

获取停车区域的实时视频流；

根据所述停车区域的实时视频流，获得当前的空闲车位信息；

向预设接收端发送所述当前的空闲车位信息。

第二方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的智能停车方法。

第三方面，提供一种计算机设备，其包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的智能停车方法。

第四方面，提供一种智能停车系统，其包括：

视频监控设备，用于采集停车区域的实时视频流；以及，

所述的计算机设备。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本实施例的智能停车方法、设备和系统，可以使停车场景里的车位信息便捷、高效地被采集和传输到服务器。并且，还可以依托停车区域中既有的视频监控设备，进行车位空闲检测，结合车牌号检测识别技术实现车辆停放位置提醒，能够帮助车主快速找到停车位和取车离场，提高车位使用率并规避场内拥堵。

本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1示出了本发明实施例一的智能停车方法的流程图；

图2示出了本发明实施例一的智能停车系统的框图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

实施例一

为解决现有技术中存在的上述技术问题，本发明实施例提供了一种智能停车方法。

图1是本发明实施例一的智能停车方法的流程图。如图1所示，其包括如下步骤：

步骤110：获取停车区域的实时视频流；

停车区域包括地下停车厂库，地上停车厂库，或者路边停车位等。

步骤120：根据所述停车区域的实时视频流，获得当前的空闲车位信息；

步骤130：向预设接收端发送所述当前的空闲车位信息。

本实施例的智能停车方法，可以使停车场景里的车位信息便捷、高效地被采集和传输到服务器，并且快速、实时、准确地检测识别出空闲车位，以提供给车主。

在可选的实施例中，步骤120具体可以包括如下步骤：采用深度卷积神经网络模型对所述实时视频流进行分析，对视频流中的车辆图像和车位图像分别进行检测，获得当前的空闲车位信息；其中，当前的空闲车位信息，包括：当前是否具有处于空闲状态的空闲车位，以及空闲车位的标识信息或地理位置信息。空闲车位的标识信息例如包括空闲车位的编号，该编号可由一串唯一的数字构成，或者由数字与字母共同构成，或者由数字、汉字和字母共同构成。数字与字母的组合可用于指示停车区域的层数或者子区域。空闲车位的地理位置信息可以有多种情况，例如包括路边停车位对应的具体街道信息，或者空闲车位的导航定位信息，例如经度信息、纬度信息、海拔信息、车主与空闲车位之间的距离信息、地下停车库的层数信息中的一种或多种。在优选的实施例中，该导航定位信息能够随着用户的预设接收端(例如用户终端设备)的位置改变而实时地更新。在可选的实施例中，步骤120具体可以包括如下步骤：获取停车区域的至少一个预设监控范围内的多个车位对应的实时视频流；或者，获取停车区域的实时视频流中的间隔帧。其中，一个预设监控范围通常与一个视频监控设备相对应。

在可选的实施例中，所述深度卷积神经网络模型通过以下步骤确定：建立深度卷积神经网络模型；获取停车区域中的车位目标样本数据集和车辆目标样本数据集；根据所述车位目标样本数据集和所述车辆目标样本数据集，对所述深度卷积神经网络模型进行训练，确定所述深度卷积神经网络模型的参数。

在可选的实施例中，预设接收端包括：用户终端设备或者客户端，该用户终端设备包括：用户的手持移动通信终端、用户的具备有线或无线通信功能的平板电脑、用户的车载显示通信设备(例如车载中控大屏，具有信息显示及通信功能的汽车前挡风玻璃，或者车载导航仪，或者其他具有通信功能的电子设备)、或者用户的智能可穿戴电子设备(例如智能手环、智能手表、智能眼镜、智能耳机等，这些可穿戴电子设备均可以通过语音、振动、视觉的方式向车主语音播报或输出当前的实时空闲车位信息，包括空闲车位的导航定位信息，空闲车位的地理位置信息、空闲车位的标识信息中的至少一种)，该客户端包括：运行于该用户终端设备上的应用程序，包括但不限于微信小程序，或者其他的APP应用程序。图1所示方法还包括如下步骤：根据所述停车区域的实时视频流，对每个已占用的车位对应的车辆的车牌号进行识别，并建立识别出的车牌号与停车车位信息之间的对应关系；接收用户的预设接收端的查询请求，所述查询请求中包括：车主姓名或车牌号；根据该查询请求，向该预设接收端返回停车车位信息。

在可选的实施例中，深度卷积神经网络模型包括：CornerNet Lite。

在可选的实施例中，对视频流中的车辆图像和车位图像分别进行检测，包括：采用Anchor-Free的目标检测方法，对视频流中的车辆图像和车位图像分别进行检测。

本发明的实施例的上述技术方案具备如下有益技术效果：

本发明的实施例基于视频流进行车辆等目标进行检测和识别，采用深度卷积神经网络需达到检测的实时性要求，同时满足精度要求。对于多路监控视频的分析，需合理利用计算资源，以最小的计算代价获取最大的计算收益。优化网络结构与训练过程，使其对光照条件与拍摄角度具有鲁棒性，对真实多变的使用场景具有更好的泛化能力。

基于停车区域中的高清摄像头，对摄像头采集的视频流数据进行分析，采用深度卷积神经网络对监控范围内的车位进行实时监测与识别，对车位上是否有车辆停靠进行实时检测，并将车位空闲状态信息实时反馈到服务端。再由服务端将空闲车位信息分发至客户端。客户端可以对空闲车位进行预约、共享、取消等操作。根据已有的摄像头布局，建立车位与摄像头，摄像头与车库之间的位置信息系统，并结合车牌号识别结果为车主提供车位引导和反向寻车等功能。

图2是本发明实施例一的智能停车系统的框图。以下结合图2对本发明实施例一的上述方法进行更加详细的说明。

本发明的实施例有别于传统传感器检测的方式，基于已有的监控设备，无需进行额外的设备升级与安装，复用视频流数据，可进行车位识别检测、车辆检测、车牌号识别以及位置信息识别。同时单个摄像头能关涉多个可识别区域，有效降低部署成本。

本发明的实施例采用Anchor-Free的目标检测方法进行车位检测和车辆检测，不要大量的anchor框，即可规避正负样本不均衡、训练速度慢和超参数手工设计等缺点，实现one-stage的检测网络。采用corner pooling替代max pooling，便于训练出角点左右目标与非目标的特征特异性。该方法在满足精度的基础上能很好的满足实时性要求。

以下对在停车场环境下，Anchor-Free的目标检测方法进行说明：

停车场景下，需要识别并检测出具体位置的目标主要为车辆、车牌和人。传统anchor-based方法是在图像中生成大量目标的anchor框，这些anchor框大部分并不包含实际目标，产生方式本质是滑动窗口；而Anchor-Free方法时直接对可能目标(车辆、车牌、人)的中心进行预测，根据中心点对四周边框进行回归预测，此方法可以极大减少anchor框，即有针对地生成目标框，提高检测效率的同时不会折损检测准确率。

以下对现有技术中存在正负样本不均衡的问题进行说明：

基于anchor-based检测模型采用滑动窗口进行目标候选框的生成，为了将所有可能目标都包含在框中，需生成大量anchor框，而这些框中大部分都没有包含目标，或者只包含目标的一部分，这些框为负样本，较好的框选出目标的anchor框为正样本。所以导致实际负样本比正样本多，引发正负样本不均衡问题。

以下对现有技术中需要超参数手工设计的原因进行说明：

因为图像中的待测目标尺度和比例不一(如车辆和车牌大小差异，车牌和人的比例差异)，所以在进行anchor框生成时一般采取多个尺度多比例的方式，尺度和比例的确定即为超参数设计，因为无法训练得到，只能采取手工设计使其尽可能满足待测图像中各目标的真实尺度和比例要求。

max pooling为卷积神经网络中的特征提取操作，将图像分成若干个子块，然后将每个子块中最大像素值取出作为该子块的特征。该操作对特征进行降维，保证特征位置与旋转不变性，减少模型参数量，减少过拟合问题。

corner pooling用于定位角点，因为检测任务的变化，传统的max pooling方法不适用该网络，自然界的大部分目标既没有边界框也没有矩形顶点，corner pooling取水平和垂直两个方向上的最大值，然后求和最为corner pooling的输出。

以下对在停车场环境中，角点左右目标与非目标的特征特异性进行说明：

角点指左上角和右下角，匹配的左上角点和右下角点即可确定目标物体的检测框。例如车辆的一对角点，左上角点右边及下边为可能的目标区域，即包含目标物体的特征，比如车辆的边缘特征，颜色纹理特征，外形特征等，而左上角点的上边与左边为背景区域，即不包含目标物体，即为背景特征，明显区别于物体特征。右下角点类似。

本发明的实施例进行视频数据分析和算法处理时，利用间隔帧进行检测，在实际情况中并不影响检测结果的时效性，同时能避免消耗过多的计算资源。针对多路视频的处理，采用redis内存数据库对待处理的视频帧进行队列缓存便于以多进程的方式利用GPU计算资源。

本发明实施例构建的是一种视觉识别的智能停车方法，有别于传统的基于传感器的车位车辆检测，利用停车区域中既有的摄像头数据进行检测识别，由于拍摄角度、光照条件等因素将影响识别精度，所以在进行摄像头布置时需要考虑角度平均的获取车位图像信息，尽可能避免角度原因导致的监控区域顶角位置出现目标畸变的情况。安装环境不可太暗，导致无法正确识别目标，尽量避免监控区域之间的重叠，防止误识别与重识别。

采用深度卷积神经网络进行车辆、车位目标检测与识别，关键在于数据集的准备与训练，对于车位空闲状态检测，需要车位和车辆两类目标数据集，同时可以将车牌识别结合在一起，数据集准备时，尽量采集真实停车区域中的目标数据，多角度、多种光照情况以及多尺度都应考虑，提高识别率与网络泛化能力。

CornerNet是基于关键点的目标检测方法，不需要anchor box，在单阶段检测器取得了SOTA的精度。本发明的实施例对比CornerNet的有效变体，采用CornerNet-Lite模型的CornerNet-Saccade。该模型在精度与速度上都优于YOLO v3。数据集准备阶段根据不同的标注工具生成的json或xml文件，作为训练数据准备文件。除了训练需要GPU(GraphicsProcessing Unit，图形处理器)进行加速外，实际部署检测时也需要GPU进行检测计算，提高检测速度，同时使用redis进行待检测帧的队列缓存，提高GPU的检测使用效率。

CornerNet Lite为目标检测的深度卷积神经网络模型，其功能为车辆、车牌和人的检测。

OCR(Optical Character Recognition，光学字符识别)的功能为车牌的识别(识别出车牌号)。

CornerNet Lite的网络结构输出为所检测目标(车辆、车牌、人)的坐标，即左上角(x1,y2)和右下角(x2,y2)一对角点的坐标。

OCR的输出为识别出的车牌字符串，即将车牌图像转为车牌号字符串，以便于处理。

以下对CornerNet-Saccade的输入、输出及训练方式和过程进行说明：

训练阶段：CornerNet-Saccade模型的输入为图片训练数据和对应的标签。图片数据为从实际车库中采集的真实场景图片，包含车位、车辆、车牌和人，尽可能保证覆盖真实情况下各种光照、遮挡、变形的情况，且要保证数据集数量。标签数据为图片中对应目标的矩形框角点坐标以及对应的目标类别。训练阶段的输出为模型预测的目标角点以及类别。

测试阶段：测试阶段输入为实时采集的车库视频帧，输出为预测目标的角点坐标以及相应目标识别分类结果。

训练过程：CornerNet-Saccade应用在本系统的场景时，可以利用已有的训练完成的模型权重进行初始化网络，然后使用自己的数据集对模型进行微调训练。

以下对GPU进行实际部署检测进行说明：

实际部署检测时，检测对象为车辆、车牌和行人，检测模型的输入检测对象为监控视频的视频帧。硬件条件允许可部署多台GPU服务器，硬件条件有限情况下，可使用redis缓存队列实现GPU检测的多进程调用以及抽帧检测。redis为高速内存数据库，可以实现高性能的队列缓存。将待测帧放入队列缓存是为了GPU资源的多进程调用与完成非阻塞检测任务。

基于BS架构设计本发明实施例的智能停车系统，服务端负责摄像头设备采集图片的处理与计算，空闲车位状态的位置关联，车牌号识别并关联车主，车牌号与摄像头以及车位信息的位置关联。客户端支持查询，位置索引，预定，取消，共享等功能。

基于摄像头建立整个停车区域的地理位置信息，将摄像头辐射的监控区域车位位置信息与摄像头的位置信息相关联，当某个摄像头检测到车位空闲状态的变化，即可反馈至服务端，服务端根据反馈的摄像头位置信息与摄像头中的车位位置信息综合计算实际的车位信息，并根据车牌号关联车主，进行消息的实时推送，方便车主查找与反向索引。

本发明实施例的技术方案可以应用多个方面，例如工业生产线场景的目标监测、路况交通场景的目标检测、景区、车站等人员密集区域的目标检测与统计等。

实施例二

为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如实施例一中的任意一种智能停车方法。

为解决现有技术中存在的上述技术问题，本发明实施例还提供了一种计算机设备，其包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如实施例一中的任意一种智能停车方法。

为解决现有技术中存在的上述技术问题，本发明实施例还提供一种智能停车系统，其包括：视频监控设备，用于采集停车区域的实时视频流；以及，如上述计算机设备。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种智能停车方法，其特征在于，包括：

获取停车区域的实时视频流；

根据所述停车区域的实时视频流，获得当前的空闲车位信息；

向预设接收端发送所述当前的空闲车位信息。

2.根据权利要求1所述的方法，其特征在于，所述根据停车区域的实时视频流，获得当前的空闲车位信息，包括：

采用深度卷积神经网络模型对所述实时视频流进行分析，以对视频流中的车辆图像和车位图像分别进行检测，获得当前的空闲车位信息；其中，所述当前的空闲车位信息包括：当前是否具有处于空闲状态的空闲车位，以及空闲车位的标识信息或地理位置信息。

3.根据权利要求1或2所述的方法，其特征在于，所述获取停车区域的实时视频流，包括：

获取停车区域的至少一个预设监控范围内的多个车位对应的实时视频流；或者，

获取停车区域的实时视频流中的间隔帧。

4.根据权利要求2所述的方法，其特征在于，所述深度卷积神经网络模型通过以下步骤确定：

建立深度卷积神经网络模型；

获取停车区域中的车位目标样本数据集和车辆目标样本数据集；

根据所述车位目标样本数据集和所述车辆目标样本数据集，对所述深度卷积神经网络模型进行训练，确定所述深度卷积神经网络模型的参数。

5.根据权利要求1所述的方法，其特征在于，所述预设接收端包括：用户终端设备或者客户端，所述用户终端设备包括：用户的手持移动通信终端、用户的具备有线或无线通信功能的平板电脑、用户的车载显示通信设备、或者用户的智能可穿戴电子设备，所述客户端包括：运行于所述用户终端设备上的应用程序；

所述方法还包括：

根据所述停车区域的实时视频流，对每个已占用的车位对应的车辆的车牌号进行识别，并建立识别出的车牌号与停车车位信息之间的对应关系；

接收预设接收端的查询请求，所述查询请求中包括：车主姓名或车牌号；

根据所述查询请求，向所述预设接收端返回所述停车车位信息。

6.根据权利要求2所述的方法，其特征在于，所述深度卷积神经网络模型包括：CornerNet Lite。

7.根据权利要求2所述的方法，其特征在于，所述对视频流中的车辆图像和车位图像分别进行检测，包括：

采用Anchor-Free的目标检测方法，对视频流中的车辆图像和车位图像分别进行检测。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任意一项所述的智能停车方法。

9.一种计算机设备，其特征在于，其包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的智能停车方法。

10.一种智能停车系统，其特征在于，包括：

视频监控设备，用于采集停车区域的实时视频流；以及，

如权利要求9所述的计算机设备。