CN111062285B - 一种基于深度学习算法的停车场智能监控识别系统 - Google Patents

Abstract

本发明公开了一种基于深度学习算法的停车场智能监控识别系统，包括图像灰度化处理模块、图像边缘提取检测模块、直线变换检测模块、控制器、空余车位识别模块、训练模型建立模块和数据显示模块；本发明是提取感兴趣的停车场的车位图像，并对其进行灰度化处理，再检测其边缘区域与识别相应直线，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像，并在检测出停车场的全部停车位的基础上，经训练集的训练来建立CNN训练模型，再依据该CNN训练模型来将图像导入，并将其缩放至所需尺寸，之后对停车位进行预测判断，检测停车位是否为空，即能够直接针对停车场的实时图像进行处理，识别出停车场车位的使用和空余情况。

Description

一种基于深度学习算法的停车场智能监控识别系统

技术领域

本发明涉及图像处理与识别技术领域，具体为一种基于深度学习算法的停车场智能监控识别系统。

背景技术

随着经济条件的日益飞速发展，汽车数量的增长不断加快，开车出行停车逐渐成为了一大难题，而在一些大型停车场中，无法精确定位空车位的位置，以致于寻找车位更是耗费时间，且传统的停车场所使用的空车位检测器，其硬件设备要求高、后期维护代价大和维护不便；

为了解决上述缺陷，现提供一种技术方案。

发明内容

本发明的目的在于提供一种基于深度学习算法的停车场智能监控识别系统，本发明是提取感兴趣的停车场的车位图像，并对其进行灰度化处理，再检测其边缘区域与识别相应直线，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像，并在检测出停车场的全部停车位的基础上，经训练集的训练来建立CNN训练模型，再依据该CNN训练模型来将图像导入，并将其缩放至所需尺寸，之后对停车位进行预测判断，检测停车位是否为空，即能够直接针对停车场的实时图像进行处理，识别出停车场车位的使用和空余情况。

本发明所要解决的技术问题如下：

如何提供一种有效的方式，来解决现有的一些大型停车场中，无法精确定位空车位的位置，以致于寻找车位更是耗费时间，且传统的停车场所使用的空车位检测器，其硬件设备要求高、后期维护代价大和维护不便的问题。

本发明的目的可以通过以下技术方案实现：

一种基于深度学习算法的停车场智能监控识别系统，包括图像灰度化处理模块、图像边缘提取检测模块、直线变换检测模块、控制器、空余车位识别模块、训练模型建立模块和数据显示模块；

所述图像灰度化处理模块用于实时的采集停车场的车位图像，并对其进行图像提取分析操作，得到感兴趣灰度图像，进而在实时的采集到停车场的车位图像后，立即对其进行图像预处理，来为后续的功能实现做出铺垫，而基于得出的是彩色图像，采用的CANNY算法或霍夫变换等均是建立在灰度基础上，即需要获得灰度化后的相关图像；

所述图像边缘提取检测模块则依据实时接收到的感兴趣灰度图像，对其进行CANNY边缘检测分析操作，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像，并将其传输至直线变换检测模块；

所述直线变换检测模块则据此对其进行直线检测识别操作，而将上述图像进行直线检测且检测到与其相关联的所有直线，则需采用霍夫变换直线检测对直线进行过滤，以选取符合要求的相应直线，得到停车场的全部停车位图像，并将其经控制器传输至空余车位识别模块；

所述空余车位识别模块在接收到实时的停车场的全部停车位图像后，则生成数据集创建信号并将其传输至训练模型建立模块，而训练模型建立模块则据此将其内部存储的该停车场中的空车位图像和被占用车位图像进行剪切，即将上述各类图像的原始图像剪切成一个个15*60的单独停车位，并将其分别置于空车位集合文件夹和被占用车位集合文件夹，进而将空车位集合文件夹和被占用车位集合文件夹一同作为最初的训练集，同时还可依据翻转、旋转和缩放等操作，来扩充图片样例、增强扩充训练集，以提供更为充分的训练集数据，且训练模型建立模块则据此对其进行CNN模型训练操作，得到训练模型并将其反馈至空余车位识别模块，而空余车位识别模块则据此将停车场的全部停车位图像导入，即基于Opencv的图像读取接口读入图像数据，再对其进行缩放，即将输入的图像缩放纸训练模型的所需尺寸，之后预测识别空余车位，即将其导入训练模型进行预测，得到每个车位的位置和空余状态，最后输出结果，即按特定的格式(X，Y)来输出结果，其中X表示停车场中的车位编号，取值为字符串，Y表示车位状态，且将1标定为占用，0标定为空余，并将输出结果传输至数据显示模块；

所述训练模型建立模块还用于实时的采集该停车场中的空车位图像和被占用车位图像，并将其存储至内部空间；

所述数据显示模块则据此将输出结果经显示器进行显示，进而在检测出停车场的全部停车位的基础上，经训练集的训练来建立CNN训练模型，再依据该CNN训练模型来将图像导入，并将其缩放至所需尺寸，之后对停车位进行预测判断，检测停车位是否为空，即能够直接针对停车场的实时图像进行处理，识别出停车场车位的使用和空余情况。

进一步的，所述图像提取分析操作的具体步骤如下：

步骤一：实时获取到停车场的车位图像，且依据掩膜算法来统计并提取其中的白色区域与黄色区域的RGB通道的颜色空间范围，得出提取的目标图像区域的RGB各通道分布的上下限，而黄色区域表示与车位相关的图像区域；

步骤二：依据输入的原始停车场的车位图像的RGB通道，当各RGB通道的结果均位于上下限之内时，则将其输出为255，反正则将其输出为0，得出感兴趣掩膜矩阵mask1；

步骤三：依据获取的停车场的车位图像内的待识别停车场区域，得出该停车场区域的多边形顶点，当将其位于该多边形区域之内时，则将其输出为255，反之则将其输出为0，得出停车场区域掩膜矩阵mask2；

步骤四：先将感兴趣掩膜矩阵mask1与停车场区域掩膜矩阵mask2分别与待处理的停车场的车位图像一同做“与”运算，得出感兴趣图像，此时除了所需区域内的图像值保持不变，其它区外的图像值均为0且一同表现为黑色，再将其进行灰度化处理，得出感兴趣灰度图像，进而将上述图像中的原有地面、道路和建筑等背景、装饰均去除。

进一步的，所述CANNY边缘检测分析操作的具体步骤如下：

实时获取到感兴趣灰度图像，且依据CANNY算法提取该感兴趣灰度图像的边缘，并经图像梯度计算、非极大值抑制和双阈值处理，而图像梯度计算是采用Sobel算子计算幅度梯度，找到图像边缘，而非极大值抑制是将每个梯度方向上的梯度强度的最大值进行保留，使其边缘变得更加清晰，而双阈值处理是将高的阈值用于检测上述图像中明显的边缘，但基于此种检测的精确度低，边缘检测出来是断断续续的，以及将低的阈值链接这些边缘，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像。

进一步的，所述直线检测识别操作的具体步骤如下：

步骤一：实时获取到感兴趣灰度图像，且依据霍夫变换直线检测对该感兴趣灰度图像中的直线进行检测，而基于霍夫变换是采用极坐标系来确定直线的，即先对角精确度、距离精确度的标定参数进行设定，并将得出结果位于预设范围之外的直线记录，再对直线所对应的线段最小长度、线段及间隔进行设定，且两条直线间的最大间隔小于该值时，则被认为是一条直线，而依据停车场的实际情形，来过滤出无需求的直线，由于车位呈水平方向，则只需识别斜率接近于0或位于预设范围之内的直线，则将其斜率位于预设范围之内的直线记录，得到所有的横向车位直线；

步骤二：先提取到所有的横向车位直线，并将其y坐标之差为定值的一组直线，标定为一列车道，再依据得到的每一组直线，取出该组直线中的每条直线终点x坐标的最大值和最小值，画出垂直于x轴的两条直线，并与该组与x轴平行的直线一同得到一列车道，最后依据得到的所有车道，将所有车道内的垂直于x轴的距离相比较，得出M与2M形式的车道，且将2M形式的车道标定为一列车道是两个车位并排的情况，即在其头尾两个终点的直线之间，再画出一条垂直于x轴的直线，得出两列并排的车位，并据此得到停车场的全部停车位图像，则依据停车场中的车位都是采用白色实线画出的一个个矩形框，即正需对一个个矩形框进行识别处理，一般认为所有的停车位均为等大小，再依据停车场的实际情形来分析停车位的分布情况，并将该停车场看作是一列列停车道，每列并排两个停车位。

进一步的，所述CNN模型训练操作的具体步骤如下：

实时获取到空车位集合文件夹和被占用车位集合文件夹，并依据经训练的VGG模型，来导入权重文件，定义空车位和被占用车位，并将上述两部分的训练集导入，同时标定预设的图像宽度参数和图像高度参数、训练文件路径参数和测试文件路径、随机梯度下降算法中的一次随机选取的图片样本数量参数、训练轮数参数、输出的类别数量参数、设置的损失函数为交叉熵参数、优化策略为随机梯度算法参数、学习率参数0.0001和动量参数0.9，并据此进行CNN模型训练，得到训练模型。

本发明的有益效果：

本发明是提取感兴趣的停车场的车位图像，并对其进行灰度化处理，再检测其边缘区域与识别相应直线，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像，并在检测出停车场的全部停车位的基础上，经训练集的训练来建立CNN训练模型，再依据该CNN训练模型来将图像导入，并将其缩放至所需尺寸，之后对停车位进行预测判断，检测停车位是否为空，即能够直接针对停车场的实时图像进行处理，识别出停车场车位的使用和空余情况。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明；

图1为本发明的系统框图；

图2为本发明的整体流程图。

具体实施方式

如图1-2所示，一种基于深度学习算法的停车场智能监控识别系统，包括图像灰度化处理模块、图像边缘提取检测模块、直线变换检测模块、控制器、空余车位识别模块、训练模型建立模块和数据显示模块；

图像灰度化处理模块用于实时的采集停车场的车位图像，并对其进行图像提取分析操作，具体步骤如下：

步骤一：实时获取到停车场的车位图像，且依据掩膜算法来统计并提取其中的白色区域与黄色区域的RGB通道的颜色空间范围，得出提取的目标图像区域的RGB各通道分布的上下限，而黄色区域表示与车位相关的图像区域；

步骤二：依据输入的原始停车场的车位图像的RGB通道，当各RGB通道的结果均位于上下限之内时，则将其输出为255，反正则将其输出为0，得出感兴趣掩膜矩阵mask1；

步骤三：依据获取的停车场的车位图像内的待识别停车场区域，得出该停车场区域的多边形顶点，当将其位于该多边形区域之内时，则将其输出为255，反之则将其输出为0，得出停车场区域掩膜矩阵mask2；

步骤四：先将感兴趣掩膜矩阵mask1与停车场区域掩膜矩阵mask2分别与待处理的停车场的车位图像一同做“与”运算，得出感兴趣图像，此时除了所需区域内的图像值保持不变，其它区外的图像值均为0且一同表现为黑色，再将其进行灰度化处理，得出感兴趣灰度图像，进而将上述图像中的原有地面、道路和建筑等背景、装饰均去除；

以得到感兴趣灰度图像，进而在实时的采集到停车场的车位图像后，立即对其进行图像预处理，来为后续的功能实现做出铺垫，而基于得出的是彩色图像，采用的CANNY算法或霍夫变换等均是建立在灰度基础上，即需要获得灰度化后的相关图像；

图像边缘提取检测模块则依据实时接收到的感兴趣灰度图像，对其进行CANNY边缘检测分析操作，具体步骤如下：

实时获取到感兴趣灰度图像，且依据CANNY算法提取该感兴趣灰度图像的边缘，并经图像梯度计算、非极大值抑制和双阈值处理，而图像梯度计算是采用Sobel算子计算幅度梯度，找到图像边缘，而非极大值抑制是将每个梯度方向上的梯度强度的最大值进行保留，使其边缘变得更加清晰，而双阈值处理是将高的阈值用于检测上述图像中明显的边缘，但基于此种检测的精确度低，边缘检测出来是断断续续的，以及将低的阈值链接这些边缘，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像；

以得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像，并将其传输至直线变换检测模块；

直线变换检测模块则据此对其进行直线检测识别操作，而将上述图像进行直线检测且检测到与其相关联的所有直线，则需采用霍夫变换直线检测对直线进行过滤，以选取符合要求的相应直线，具体步骤如下：

步骤一：实时获取到感兴趣灰度图像，且依据霍夫变换直线检测对该感兴趣灰度图像中的直线进行检测，而基于霍夫变换是采用极坐标系来确定直线的，即先对角精确度、距离精确度的标定参数进行设定，并将得出结果位于预设范围之外的直线记录，再对直线所对应的线段最小长度、线段及间隔进行设定，且两条直线间的最大间隔小于该值时，则被认为是一条直线，而依据停车场的实际情形，来过滤出无需求的直线，由于车位呈水平方向，则只需识别斜率接近于0或位于预设范围之内的直线，则将其斜率位于预设范围之内的直线记录，得到所有的横向车位直线；

步骤二：先提取到所有的横向车位直线，并将其y坐标之差为定值的一组直线，标定为一列车道，再依据得到的每一组直线，取出该组直线中的每条直线终点x坐标的最大值和最小值，画出垂直于x轴的两条直线，并与该组与x轴平行的直线一同得到一列车道，最后依据得到的所有车道，将所有车道内的垂直于x轴的距离相比较，得出M与2M形式的车道，且将2M形式的车道标定为一列车道是两个车位并排的情况，即在其头尾两个终点的直线之间，再画出一条垂直于x轴的直线，得出两列并排的车位，并据此得到停车场的全部停车位图像，则依据停车场中的车位都是采用白色实线画出的一个个矩形框，即正需对一个个矩形框进行识别处理，一般认为所有的停车位均为等大小，再依据停车场的实际情形来分析停车位的分布情况，并将该停车场看作是一列列停车道，每列并排两个停车位；

以得到停车场的全部停车位图像，并将其经控制器传输至空余车位识别模块；

空余车位识别模块在接收到实时的停车场的全部停车位图像后，则生成数据集创建信号并将其传输至训练模型建立模块，而训练模型建立模块则据此将其内部存储的该停车场中的空车位图像和被占用车位图像进行剪切，即将上述各类图像的原始图像剪切成一个个15*60的单独停车位，并将其分别置于空车位集合文件夹和被占用车位集合文件夹，进而将空车位集合文件夹和被占用车位集合文件夹一同作为最初的训练集，同时还可依据翻转、旋转和缩放等操作，来扩充图片样例、增强扩充训练集，以提供更为充分的训练集数据，且训练模型建立模块则据此对其进行CNN模型训练操作，具体步骤如下：

实时获取到空车位集合文件夹和被占用车位集合文件夹，并依据经训练的VGG模型，来导入权重文件，定义空车位和被占用车位，并将上述两部分的训练集导入，同时标定预设的图像宽度参数和图像高度参数、训练文件路径参数和测试文件路径、随机梯度下降算法中的一次随机选取的图片样本数量参数、训练轮数参数、输出的类别数量参数、设置的损失函数为交叉熵参数、优化策略为随机梯度算法参数、学习率参数0.0001和动量参数0.9，并据此进行CNN模型训练，得到训练模型；

以得到训练模型并将其反馈至空余车位识别模块，而空余车位识别模块则据此将停车场的全部停车位图像导入，即基于Opencv的图像读取接口读入图像数据，再对其进行缩放，即将输入的图像缩放纸训练模型的所需尺寸，之后预测识别空余车位，即将其导入训练模型进行预测，得到每个车位的位置和空余状态，最后输出结果，即按特定的格式(X，Y)来输出结果，其中X表示停车场中的车位编号，取值为字符串，Y表示车位状态，且将1标定为占用，0标定为空余，并将输出结果传输至数据显示模块；

训练模型建立模块还用于实时的采集该停车场中的空车位图像和被占用车位图像，并将其存储至内部空间；

数据显示模块则据此将输出结果经显示器进行显示，进而在检测出停车场的全部停车位的基础上，经训练集的训练来建立CNN训练模型，再依据该CNN训练模型来将图像导入，并将其缩放至所需尺寸，之后对停车位进行预测判断，检测停车位是否为空，即能够直接针对停车场的实时图像进行处理，识别出停车场车位的使用和空余情况。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (5)

1.一种基于深度学习算法的停车场智能监控识别系统，其特征在于，包括图像灰度化处理模块、图像边缘提取检测模块、直线变换检测模块、控制器、空余车位识别模块、训练模型建立模块和数据显示模块；

所述图像灰度化处理模块用于实时的采集停车场的车位图像，并对其进行图像提取分析操作，得到感兴趣灰度图像；

所述图像边缘提取检测模块则依据实时接收到的感兴趣灰度图像，对其进行CANNY边缘检测分析操作，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像，并将其传输至直线变换检测模块；

所述直线变换检测模块则据此对其进行直线检测识别操作，得到停车场的全部停车位图像，并将其经控制器传输至空余车位识别模块；

所述空余车位识别模块在接收到实时的停车场的全部停车位图像后，则生成数据集创建信号并将其传输至训练模型建立模块，而训练模型建立模块则据此将其内部存储的该停车场中的空车位图像和被占用车位图像进行剪切，即将上述各类图像的原始图像剪切成一个个15*60的单独停车位，并将其分别置于空车位集合文件夹和被占用车位集合文件夹，且训练模型建立模块则据此对其进行CNN模型训练操作，得到训练模型并将其反馈至空余车位识别模块，而空余车位识别模块则据此将停车场的全部停车位图像导入，即基于Opencv的图像读取接口读入图像数据，再对其进行缩放，即将输入的图像缩放纸训练模型的所需尺寸，之后预测识别空余车位，即将其导入训练模型进行预测，得到每个车位的位置和空余状态，最后输出结果，即按特定的格式(X，Y)来输出结果，其中X表示停车场中的车位编号，取值为字符串，Y表示车位状态，且将1标定为占用，0标定为空余，并将输出结果传输至数据显示模块；

所述训练模型建立模块还用于实时的采集停车场中的空车位图像和被占用车位图像，并将其存储至内部空间；

所述数据显示模块则据此将输出结果经显示器进行显示。

2.根据权利要求1所述的一种基于深度学习算法的停车场智能监控识别系统，其特征在于，所述图像提取分析操作的具体步骤如下：

步骤一：实时获取到停车场的车位图像，且依据掩膜算法来统计并提取其中的白色区域与黄色区域的RGB通道的颜色空间范围，得出提取的目标图像区域的RGB各通道分布的上下限；

步骤二：依据输入的原始停车场的车位图像的RGB通道，当各RGB通道的结果均位于上下限之内时，则将其输出为255，反正则将其输出为0，得出感兴趣掩膜矩阵mask1；

步骤三：依据获取的停车场的车位图像内的待识别停车场区域，得出该停车场区域的多边形顶点，当将其位于该多边形区域之内时，则将其输出为255，反之则将其输出为0，得出停车场区域掩膜矩阵mask2；

步骤四：先将感兴趣掩膜矩阵mask1与停车场区域掩膜矩阵mask2分别与待处理的停车场的车位图像一同做“与”运算，得出感兴趣图像，再将其进行灰度化处理，得出感兴趣灰度图像。

3.根据权利要求1所述的一种基于深度学习算法的停车场智能监控识别系统，其特征在于，所述CANNY边缘检测分析操作的具体步骤如下：

实时获取到感兴趣灰度图像，且依据CANNY算法提取该感兴趣灰度图像的边缘，并经图像梯度计算、非极大值抑制和双阈值处理，而图像梯度计算是采用Sobel算子计算幅度梯度，找到图像边缘，而非极大值抑制是将每个梯度方向上的梯度强度的最大值进行保留，而双阈值处理是将高的阈值用于检测上述图像中明显的边缘，以及将低的阈值链接这些边缘，得到该感兴趣灰度图像的停车场所有边缘图像和停车位所有边缘图像。

4.根据权利要求1所述的一种基于深度学习算法的停车场智能监控识别系统，其特征在于，所述直线检测识别操作的具体步骤如下：

步骤一：实时获取到感兴趣灰度图像，且依据霍夫变换直线检测对该感兴趣灰度图像中的直线进行检测，即先对角精确度、距离精确度的标定参数进行设定，并将得出结果位于预设范围之外的直线记录，再对直线所对应的线段最小长度、线段及间隔进行设定，则将其斜率位于预设范围之内的直线记录，得到所有的横向车位直线；

步骤二：先提取到所有的横向车位直线，并将其y坐标之差为定值的一组直线，标定为一列车道，再依据得到的每一组直线，取出该组直线中的每条直线终点x坐标的最大值和最小值，画出垂直于x轴的两条直线，并与该组与x轴平行的直线一同得到一列车道，最后依据得到的所有车道，将所有车道内的垂直于x轴的距离相比较，得出M与2M形式的车道，且将2M形式的车道标定为一列车道是两个车位并排的情况，即在其头尾两个终点的直线之间，再画出一条垂直于x轴的直线，得出两列并排的车位，并据此得到停车场的全部停车位图像。

5.根据权利要求1所述的一种基于深度学习算法的停车场智能监控识别系统，其特征在于，所述CNN模型训练操作的具体步骤如下：

实时获取到空车位集合文件夹和被占用车位集合文件夹，并依据经训练的VGG模型，来导入权重文件，定义空车位和被占用车位，并将上述两部分的训练集导入，同时标定预设的图像宽度参数和图像高度参数、训练文件路径参数和测试文件路径、随机梯度下降算法中的一次随机选取的图片样本数量参数、训练轮数参数、输出的类别数量参数、设置的损失函数为交叉熵参数、优化策略为随机梯度算法参数、学习率参数0.0001和动量参数0.9，并据此进行CNN模型训练，得到训练模型。

Images