CN111210657A - 一种智能视频停车方法、停车桩及停车系统 - Google Patents

Abstract

本发明公开了一种智能视频停车方法、停车桩及停车系统。方法包括：步骤S10，图像采集；步骤S20，车辆检测；步骤S30，车牌矫正，基于神经网络算法模型对图像进行矫正；步骤S40，车牌识别；停车桩包括：桩体、摄像头，控制板，控制板与摄像头连接，控制板包括车辆检测模块、车牌矫正模块、车牌识别模块、存储模块、通信模块；停车系统包括：停车桩、中间件、停车平台，中间件分别与停车桩、停车平台连接。

Description

一种智能视频停车方法、停车桩及停车系统

技术领域

本发明涉及智能停车技术领域，尤其是涉及了一种智能视频停车方法、停车桩及停车系统。

背景技术

随着私家车的普及和物联网的兴起，智能停车成为了高效的停车的代名词，以前停车收费多是人工收费，尤其是道路两旁停车的场景，导致人工成本提高，资源的浪费，且人为因素的接入，可能会导致漏缴的现象；目前人工收费逐步被扫描二维码、智能停车桩等方式取代，传统的智能停车桩多为一桩一目，即一个停车桩管控一个车位，效率较低，且难以处理两个车位被一辆车占用的情况，对于车辆、车牌的识别也未做到足够的智能化，导致经常无法检测出车型，无法识别出车牌，此外，停车数据容易丢失等问题也接踵而来。

发明内容

为解决现有技术的不足，实现高效停车的目的，本发明采用如下的技术方案：

一种智能视频停车方法，包括如下步骤：

步骤S10，图像采集；

步骤S20，车辆检测，通过采集的所述图像，检测车型及车辆的状态，所述状态包括驶入、停稳、驶离；

步骤S30，车牌矫正，对所述车辆从驶入到停稳的所有照片做车牌矫正，所述车牌矫正是基于神经网络算法模型对所述图像进行矫正；

步骤S40，车牌识别，对矫正的所述车牌进行车牌识别；当未能识别到车牌时，进行人工复检，当人工复检仍无法识别车牌时，由现场人员进行现场确认、录入；对无车牌的所述车辆，通过现场人员现场确认后，通过生成专属虚拟ID来定义。

所述步骤S10，采集至少两个以上车位的图像，用于同时管控两个以上车位；同时，所述步骤S20，当不同车位的图像检测到同一辆车时，判定为车位被占用。

所述步骤S30，车牌矫正包括如下步骤：

步骤301，构建车牌矫正模型，使所述模型输出特征图为M×N×8的三维数据；所述特征图中，对于每个点cell(m，n)，有8个值需要预测，第一个、第二个值是对象和非对象概率，第三至第八个值用于构建局部仿射变换参数；

步骤302，训练所述车牌矫正模型，将训练时的输入图像，通过随机仿射变换合成训练样本，将训练样本转换为灰度图并将尺寸归一化；使得训练loss值下降速度增快，训练样本多样化，更贴近真实数据，提高在特有的路边停车的场景下车牌矫正的准确率；

步骤303，将所述图像输入所述车牌矫正模型，假设围绕cell中心有一个固定大小的假想正方形（m，n），通过构建所述模型得到的所述仿射变换参数，将假想正方形经过仿射变换成车牌区域。

所述步骤S20，检测到车位被异常占用时，发出占用告警，当检测到车辆被异常遮挡时，发出遮挡告警；所述告警减少了人工巡检内容、频次等，减少了资源浪费，提高了效率；

所述车位异常占用的检测，是对相邻车位分别进行所述图像采集，当所述相邻车位采集到的图像经车辆检测为同一辆车时，判定一辆车占用两个车位，发出占用告警；

所述车辆被异常遮挡的检测，是对采集的所述图像的亮度、相似度进行检测，当所述亮度长时间过低和相似度不变时，判定所述车辆被遮挡，发出遮挡告警；

所述停车方法，实时进行振动感应检测，当振动感应原件感应到振动时，发出撞击告警，实时进行温度检测，当超过预设的元器件工作温度时，发出高温告警；所述告警减少了人工巡检内容、频次等，减少了资源浪费，提高了效率。

还包括步骤S50，将所述停车的数据上传至中间件，所述中间件用于收集、整理停车数据，并通过Mq订阅接口将所述数据发送至停车平台，有利于智能停车设备的远程更新，确保数据不丢失，停车平台可以延后处理智慧桩的数据，停车平台的稳定性不会影响智能停车设备的数据上传，停车平台按照统一的数据格式对接更为方便。

一种智能视频停车桩，包括：桩体、摄像头，还包括控制板，所述控制板与所述摄像头连接，所述控制板包括车辆检测模块、车牌矫正模块、车牌识别模块、存储模块、通信模块；

所述摄像头，用于采集图像；

所述车辆检测模块，用于检测车辆的驶入、停稳、驶离；

所述车牌矫正模块，基于神经网络算法模型对所述车牌的图像进行矫正；

所述车牌识别模块，用于识别车牌；

所述存储模块，用于存储停车数据，使断网不影响正常工作，网络恢复后可进行数据续传；

所述通信模块，用于将采集的所述停车数据上传至云端。

所述摄像头至少有两个，用于同时管控两个以上车位，用于检测车位被异常占用。提高了停车桩的使用效率，降低了施工量；通过两个摄像头同时捕捉到同一辆车来识别一辆车占用两个车位的情况。

所述控制板还包括毫米波感应单元，用于感知感应区内的物体。毫米波作为一段感应源，其感知能力相较超声波更强，抗干扰性更好，甚至可以感知物体的速度，提高了车辆检测的准确率。

所述控制板还包括告警模块，减少人工巡检内容、频次等，减少了资源浪费，提高了效率；所述告警模块包括占用告警单元、遮挡告警单元、撞击告警单元、高温告警单元；所述占用告警单元用于车位被异常占用的告警；所述遮挡告警单元用于摄像头被异常遮挡的告警；所述撞击告警单元是振动感应元件用于所述停车桩被异常撞击的告警；所述高温告警单元是温度传感器用于所述停车桩内部元器件所在工作环境的高温告警，避免不必要的损失。

一种智能视频停车系统，包括智能视频停车桩、中间件、停车平台，所述中间件分别与所述智能视频停车桩、所述停车平台连接，所述中间件用于收集、整理所述智能视频停车桩上传的停车数据，并通过Mq订阅接口将所述数据发送至所述停车平台。

本发明的优势和有益效果在于：

一桩多目，即一个停车桩管控多个车位，提高了效率，且克服了多个车位被一辆车占用的情况；通过告警模块减少了人力巡检的成本；通过神经网络的智能识别，提高了智能停车桩对于车辆检测、车牌识别的能力，通过中间件、停车平台的加入，提高了停车数据的可靠性、兼容性、安全性。

附图说明

图1是本发明中智能视频停车方法的流程图。

图2a是本发明中向车牌矫正模型输入的原图。

图2b是本发明中车牌矫正模型对输入原图的假象示意图。

图2c是本发明中车牌矫正模型将假想仿射变换成车牌区域的示意图。

图3是本发明中智能视频停车桩示意图。

图4是本发明中智能视频停车桩正面内部结构图。

图5是本发明中智能视频停车桩背面内部结构图。

图中：1、桩体，2、摄像头，3、顶盖，4、信号灯，5、外壳，6、补光灯，7、连接件，8、底座，9、功能区，10、控制板。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

如图1所示，一种智能视频停车方法，包括如下步骤：

步骤S10，图像采集，采集停车区域图像；无车停泊时，摄像头2保持工作，补光灯6长闭，信号灯4保持长绿以表示空位状态；有车驶入时，由摄像头2捕捉影像；

步骤S20，车辆检测，通过采集的所述图像，检测车型及车辆的状态，所述状态包括驶入、停稳、驶离；根据图像，与传统图像处理相结合，运用yolo v3（You Only Look Once系列目标检测算法第三版）的目标检测进行车型的检测；当检测有车辆驶入时，信号灯4由绿变红，补光灯6亮起，相较传感器根据环境亮度开启补光灯6，直接点亮补光灯6节省了传感器及相应运算空间，且补光有助于提高车辆检测、车牌矫正及车牌识别的准确度；所述停稳状态是通过检测所述车辆的视频流图像的相似度来判断，当所述车辆的视频流图像的相似度维持稳定8秒时，判断车辆为停稳状态，车辆停稳时，补光灯6关闭，信号灯4长红；当车辆驶离后，信号灯4由红变绿；

基于9万张车型图片通过近70个小时训练出来的目标检测网络能在智能停车设备中以3fps的速度实时检测车型，准确率接近99.99%，通过逻辑判断车辆的驶入、停稳、驶离过程；

步骤S30，车牌矫正，对所述车辆从驶入到停稳过程中的所有照片做车牌矫正，所述车牌矫正是基于神经网络算法模型对所述图像进行矫正；

步骤S40，车牌识别，对矫正的所述车牌进行车牌识别；当未能识别到车牌时，判定为未知车牌，由管理人员对采集的所述图像进行人工复检，当人工复检仍无法识别车牌时，由现场巡检人员进行现场确认、录入；对无车牌的所述车辆，通过现场巡检人员现场确认后，通过生成专属虚拟ID来定义。

所述车牌识别，是基于CRNN的神经网络模型，所述CRNN模型为CNN+LSTM+CTCLOSS的结构，完成对文字的端到端识别。CNN包括卷积、batchNormal（数据批标准化）、激活层、池化层，负责学习字符的各个特征，尽可能区分不同的字符，输出的shape相当于一张宽为170，高为80的彩色（红黄蓝三色）图像（170，80，3），再将其压缩；然后再将其输入双向LSTM中，LSTM解决了不同特征向量组合会代表什么字符，或者一些粘连字体的问题，最后通过Droupout层接一个全连接，作为输出每一个字符的概率；CTCLOSS可以在不确定文字具体位置的情况下，加速对模型的收敛速度。

所述步骤S10，采集至少两个以上相邻车位的图像，用于同时管控两个以上相邻车位；同时，所述步骤S20，当不同车位的图像检测到同一辆车时，判定为车位被占用，即一辆车占用两个车位的情况，发出占用告警。

如图2a-c所示，所述步骤S30，车牌矫正包括如下步骤：

步骤301，构建车牌矫正模型，使所述模型输出特征图为M×N×8的三维数据；所述特征图中，对于每个点cell(m，n)，有8个值需要预测，第一个、第二个值(v1和v2)是对象和非对象概率，第三至第八个值(v3到v8)用于构建局部仿射变换参数；

步骤302，训练所述车牌矫正模型，将训练时的输入图像，通过随机仿射变换合成训练样本，将训练样本转换为灰度图并将尺寸归一化；使得训练loss值下降速度增快，训练样本多样化，更贴近真实数据，提高在特有的路边停车的场景下车牌矫正的准确率；

步骤303，将所述图像输入所述车牌矫正模型，假设围绕cell中心有一个固定大小的假想正方形（m，n），通过构建所述模型得到的所述仿射变换参数，将假想正方形经过仿射变换成车牌区域。

所述步骤S20，检测到车位被异常占用时，发出占用告警，当检测到车辆被异常遮挡时，发出遮挡告警；所述告警减少了人工巡检内容、频次等，减少了资源浪费，提高了效率，当告警时，系统会第一时间发送工单到巡检员手持PDA上告知巡检员前去解决；

所述车位异常占用的检测，是对相邻车位分别进行所述图像采集，当所述相邻车位采集到的图像经车辆检测为同一辆车时，判定一辆车占用两个车位，发出占用告警；

所述车辆被异常遮挡的检测，是对采集的所述图像的亮度、相似度进行检测，当所述亮度长时间过低和相似度不变时，判定所述车辆被遮挡，发出遮挡告警；

所述停车方法，实时进行振动感应检测，当振动感应原件感应到振动时，发出撞击告警，实时进行温度检测，当超过预设的元器件工作温度时，发出高温告警；所述告警减少了人工巡检内容、频次等，减少了资源浪费，提高了效率，当告警时，系统会第一时间发送工单到巡检员手持PDA上告知巡检员前去解决。

还包括步骤S50，将所述停车的数据，包括图像采集数据、车辆检测数据、车牌矫正数据、车牌识别数据上传至中间件，所述中间件是一项软件服务，部署在云端，用于收集、整理停车数据，并通过Mq订阅接口将所述数据发送至停车平台，有利于智能停车设备的远程更新，确保数据不丢失，停车平台可以延后处理智慧桩的数据，停车平台的稳定性不会影响智能停车设备的数据上传，停车平台按照统一的数据格式对接更为方便。

如图3-5所示，一种智能视频停车桩，包括：桩体1、摄像头2，还包括控制板10，所述控制板与所述摄像头连接，所述控制板10包括车辆检测模块、车牌矫正模块、车牌识别模块、存储模块、通信模块；

所述摄像头2，用于采集停车区域的图像；自动采集停车全过程图像；

所述车辆检测模块，用于检测车辆的驶入、停稳、驶离；

所述车牌矫正模块，基于神经网络算法模型对所述车牌的图像进行矫正；

所述车牌识别模块，用于识别车牌；

所述存储模块是SD卡，用于存储停车数据，使断网不影响正常工作，网络恢复后可进行数据续传，所述停车的数据，包括图像采集数据、车辆检测数据、车牌矫正数据、车牌识别数据等；

所述通信模块，包括蓝牙单元、WiFi单元、有线网络单元，用于将采集的所述停车数据上传至云端。

桩体1还包括顶盖3、信号灯4、外壳5、补光灯6、连接件7、底座8、功能区9；

顶盖3印有二维码，二维码链接一个H5页面弹窗，通过页面可直接选择相应泊位付款，也可以链接定制功能，如绑定车牌体验无感支付、App的下载接口等；

无车停泊时，摄像头2保持工作，补光灯6长闭，信号灯4保持长绿以表示空位状态；有车驶入时，由摄像头2捕捉影像；

摄像头2采集到停车区域的图像，车辆检测模块对图像进行检测，得到车辆的驶入、停稳、驶离数据，在车辆停稳时，车牌矫正模块对车牌图像进行矫正，车牌识别模块对矫正后的图像进行车牌的识别；

当检测有车辆驶入时，信号灯4变红，补光灯6亮起，补光灯6提高车辆检测、车牌矫正及车牌识别的准确度；车辆停稳时，补光灯6关闭；当车辆驶离后，信号灯4变绿；

主要用于城市中无固定围栏的开放式车位，一字，非，斜非皆可。

所述摄像头2至少有两个，用于同时管控两个以上相邻车位，用于检测车位被异常占用。一桩双目，即一桩管控双车位，提高了停车桩的使用效率，降低了施工量；通过两个摄像头2同时捕捉到同一辆车来识别一辆车占用两个车位的情况。

所述控制板10还包括毫米波感应单元，用于感知感应区内的物体。毫米波作为一段感应源，其感知能力相较超声波更强，抗干扰性更好，甚至可以感知物体的速度，提高了车辆检测的准确率。

所述控制板10还包括告警模块，减少人工巡检内容、频次等，减少了资源浪费，提高了效率；所述告警模块包括占用告警单元、遮挡告警单元、撞击告警单元、高温告警单元；所述占用告警单元用于车位被异常占用的告警；所述遮挡告警单元用于所述摄像头2被异常遮挡的告警；所述撞击告警单元是振动感应元件用于所述停车桩被异常撞击的告警，当振动感应元件感应到振动时，判定所述停车桩被撞击，发出撞击告警；所述高温告警单元是温度传感器用于所述停车桩内部元器件所在工作环境的高温告警，内部元器件会有一个工作环境的温度上限，设备故障或火灾等因素导致的高温，都会使元器件工作温度过高造成损坏，高温告警单元可以及时提醒巡检人员前来查看情况，避免不必要的损失。

一种智能视频停车系统，包括智能视频停车桩、中间件、停车平台，所述中间件分别与所述智能视频停车桩、所述停车平台连接，所述中间件是一项软件服务，部署在云端，用于收集、整理所述智能视频停车桩上传的停车数据（包括图像采集数据、车辆检测数据、车牌矫正数据、车牌识别数据等），并通过Mq订阅接口将所述数据发送至所述停车平台。

Claims (10)

1.一种智能视频停车方法，其特征在于，包括如下步骤：

步骤S10，图像采集；

步骤S20，车辆检测，通过采集的所述图像，检测车型及车辆的状态，所述状态包括驶入、停稳、驶离；

步骤S30，车牌矫正，对所述车辆从驶入到停稳的所有照片做车牌矫正，所述车牌矫正是基于神经网络算法模型对所述图像进行矫正；

步骤S40，车牌识别，对矫正的所述车牌进行车牌识别；当未能识别到车牌时，进行人工复检，当人工复检仍无法识别车牌时，由现场人员进行现场确认、录入；对无车牌的所述车辆，通过现场人员现场确认后，通过生成专属虚拟ID来定义。

2.根据权利要求1所述的一种智能视频停车方法，其特征在于，所述步骤S10，采集至少两个以上车位的图像，用于同时管控两个以上车位；同时，所述步骤S20，当不同车位的图像检测到同一辆车时，判定为车位被占用。

3.根据权利要求1所述的一种智能视频停车方法，其特征在于，所述步骤S30，车牌矫正包括如下步骤：

步骤301，构建车牌矫正模型，使所述模型输出特征图为M×N×8的三维数据；所述特征图中，对于每个点cell（m，n），有8个值需要预测，第一个、第二个值是对象和非对象概率，第三至第八个值用于构建局部仿射变换参数；

步骤302，训练所述车牌矫正模型，将训练时的输入图像，通过随机仿射变换合成训练样本，将训练样本转换为灰度图并将尺寸归一化；

步骤303，将所述图像输入所述车牌矫正模型，假设围绕cell中心有一个固定大小的假想正方形（m，n），通过构建所述模型得到的所述仿射变换参数，将假想正方形经过仿射变换成车牌区域。

4.根据权利要求1所述的一种智能视频停车方法，其特征在于，所述步骤S20，检测到车位被异常占用时，发出占用告警，当检测到车辆被异常遮挡时，发出遮挡告警；

所述车位异常占用的检测，是对相邻车位分别进行所述图像采集，当所述相邻车位采集到的图像经车辆检测为同一辆车时，判定一辆车占用两个车位，发出占用告警；

所述车辆被异常遮挡的检测，是对采集的所述图像的亮度、相似度进行检测，当所述亮度长时间过低和相似度不变时，判定所述车辆被遮挡，发出遮挡告警；

所述停车方法，实时进行振动感应检测，当振动感应原件感应到振动时，发出撞击告警，实时进行温度检测，当超过预设的元器件工作温度时，发出高温告警。

5.根据权利要求1-4之一所述的一种智能视频停车方法，其特征在于，还包括步骤S50，将所述停车的数据上传至中间件，所述中间件用于收集、整理停车数据，并通过Mq订阅接口将所述数据发送至停车平台。

6.一种智能视频停车桩，包括：桩体（1）、摄像头（2），其特征在于，还包括控制板（10），所述控制板与所述摄像头连接，所述控制板（10）包括车辆检测模块、车牌矫正模块、车牌识别模块、存储模块、通信模块；

所述摄像头（2），用于采集图像；

所述车辆检测模块，用于检测车辆的驶入、停稳、驶离；

所述车牌矫正模块，基于神经网络算法模型对所述车牌的图像进行矫正；

所述车牌识别模块，用于识别车牌；

所述存储模块，用于存储停车数据；

所述通信模块，用于将采集的所述停车数据上传至云端。

7.根据权利要求6所述的一种智能视频停车桩，其特征在于，所述摄像头（2）至少有两个，用于同时管控两个以上车位，用于检测车位被异常占用。

8.根据权利要求6所述的一种智能视频停车桩，其特征在于，所述控制板（10）还包括毫米波感应单元，用于感知感应区内的物体。

9.根据权利要求6所述的一种智能视频停车桩，其特征在于，所述控制板（10）还包括告警模块；所述告警模块包括占用告警单元、遮挡告警单元、撞击告警单元、高温告警单元；所述占用告警单元用于车位被异常占用的告警；所述遮挡告警单元用于所述摄像头（2）被异常遮挡的告警；所述撞击告警单元是振动感应元件用于所述停车桩被异常撞击的告警；所述高温告警单元是温度传感器用于所述停车桩内部元器件所在工作环境的高温告警。

10.根据权利要求6-9之一所述的一种智能视频停车系统，其特征在于，包括智能视频停车桩、中间件、停车平台，所述中间件分别与所述智能视频停车桩、所述停车平台连接，所述中间件用于收集、整理所述智能视频停车桩上传的停车数据，并通过Mq订阅接口将所述数据发送至所述停车平台。

Images