CN109147374A - 停车场管理方法、系统、车载单元及后台服务器 - Google Patents

Abstract

本发明涉及了一种基于机器视觉的停车场管理方法、系统、车载单元及后台服务器，该基于机器视觉的停车场管理方法包括：接收车载单元发送的地图，其中，所述车载单元在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成所述地图，并在判断出所述车辆停好后发送所述地图；根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。实施本发明的技术方案，几乎不需要对停车场进行施工改造，因此降低了成本。

Description

停车场管理方法、系统、车载单元及后台服务器

技术领域

本发明涉及停车场管理领域，尤其涉及一种基于机器视觉的停车场管理方法、系统、车载单元及后台服务器。

背景技术

随着国家经济的发展和人们生活水平的不断提高，汽车已经越来普及。据不完全统计，目前全国民用汽车保有量已远远超过20000万辆。车辆的增加直接导致了“停车难”的现象。而部分商业地区的超大型停车场的出现，则导致了停车后找不到车的“取车难”现象。

停车场的管理核心在于车辆定位，目前业内定位的技术主要有GPS、UWB、超声波、红外识别车位等，这些方案虽然在一定程度上缓解了上述现象，但由于施工复杂度高、成本昂贵等原因，仍然无法满足绝大部分停车场的应用需求。

另外，SLAM(Simultaneous Localization and Mapping，即时定位与地图构建技术，或，并发建图与定位)，其是指运动物体根据传感器的信息，一边计算自身位置，一边构建环境地图的过程。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述停车场管理成本昂贵的缺陷，提供一种基于机器视觉的停车场管理方法、系统、车载单元及后台服务器，降低了停车场管理的成本。

本发明解决其技术问题所采用的技术方案是：构造一种基于机器视觉的停车场管理方法，包括：

接收车载单元发送的地图，其中，所述车载单元在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成所述地图，并在判断出所述车辆停好后发送所述地图；

根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

优选地，还包括：

接收用户终端发送的寻车指令，所述寻车指令包括车辆标识；

根据所述寻车指令，查询相应车辆的车位信息；

将查询到的所述车位信息发送至用户终端，以使用户终端输出所述车位信息。

本发明还构造一种基于机器视觉的停车场管理方法，包括：

当判断出安装车载单元的车辆驶入停车场时，车载单元基于机器视觉技术实时描绘行车轨迹并生成地图；

当判断出所述车辆停好后，将生成的所述地图发送至后台服务器，以使后台服务器根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

优选地，基于机器视觉技术实时描绘行车轨迹并生成地图的步骤包括：

实时拍摄监控区域的图片；

根据预先获取的旋转变换矩阵及平移变换矩阵，将当前图片中的特征点在图片坐标系下的位置坐标，转换成三维坐标系下的位置坐标；

通过分析当前图片与之前图片中的特征点在图片坐标系下的位置坐标的差别，获取所述车辆在三维坐标系下的位移数据；

根据获取的所述位移数据描绘行车轨迹并生成地图。

优选地，根据以下步骤获取的旋转变换矩阵及平移变换矩阵：

设置基准点，且基准点在图片坐标系下的坐标点集合为P，在三维坐标系下的坐标点集合为U，而且，P＝{Pi，i＝0，1，2，…，k}，U＝{Ui，i＝0，1，2，…，n}，k≥n；

在集合P中分别查找出距集合U中的每个点最近的对应点，将集合P中所查找出的点组成集合Q，Q＝{qi，i＝0，1，2，…，n}；

通过最小均方根法计算集合U与Q之间的配准，以得到配准旋转矩阵R及配准平移矩阵T；

使用配准旋转矩阵R及配准平移矩阵T，对集合U进行坐标变换，以获取集合U1，且U1＝RU+T；

计算集合U1与Q之间的均方根误差，并判断所述均方根差是否小于极限值，若是，则将配准旋转矩阵R设置成旋转变换矩阵，及将配准平移矩阵T设置成平移变换矩阵；若否，则以集合U1替换集合U，并重复上述步骤。

本发明还构造一种后台服务器，包括：

地图接收模块，用于接收车载单元发送的地图，其中，所述车载单元在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成所述地图，并在判断出所述车辆停好后发送所述地图；

车位获取模块，用于根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

本发明还构造一种后台服务器，包括第一处理器和第一存储器，其特征在于，所述第一存储器用于存储第一程序指令，所述第一程序指令由所述第一处理器加载并执行实现如以上方法的步骤。

本发明还构造一种车载单元，包括：

主控模块；

射频模块，用于在所述主控模块的控制下，通过与设置在停车场入口处的路侧单元进行通讯来判断所述车辆驶入停车场；

SLAM模块，用于在所述主控模块的控制下，在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成地图；

网络模块，用于在所述主控模块的控制下，在判断出所述车辆停好后，将生成的所述地图发送至后台服务器，以使后台服务器根据接收的所述地图及预先存储的全局地图获取车辆的车位信息。

本发明还构造一种车载单元，包括第二处理器和第二存储器，所述第二存储器用于存储第二程序指令，所述第二程序指令由所述第二处理器加载并执行实现如以上所述方法的步骤。

本发明还构造一种基于机器视觉的停车场管理系统，包括以上所述的车载单元及以上所述的后台服务器。

实施本发明的技术方案，在对停车场进行管理时，车载单元可基于机器视觉技术实时描绘行车轨迹并生成所述地图，然后将其发送至后台服务器，后台服务器就可根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息，从而实现了停车场内的车辆定位，而且，这种方式相比现有技术，几乎不需要对停车场进行施工改造，因此降低了成本。随着机器视觉技术的不断发展，不仅能推进停车场系统的智能化管理进程，更能扩展车载单元的应用，推动交通行业的发展。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：

图1是本发明基于机器视觉的停车场管理方法实施例一的流程图；

图2是本发明基于机器视觉的停车场管理方法实施例二的流程图；

图3是图片坐标系与三维坐标系的示意图；

图4是本发明基于机器视觉的停车场管理系统实施例一的逻辑结构图；

图5是图4中后台服务器实施例一的逻辑结构图；

图6是图4中车载单元实施例一的逻辑结构图。

具体实施方式

首先说明的是，在很多环境中，车辆等运动的物体不能利用全局定位系统进行定位，而且事先获取运动物体的工作环境地图十分困难，甚至是不可能的，本申请使用SLAM算法进行在线的定位和地图创建，车辆根据自身携带的摄像头识别未知环境中的环境特征，然后根据物体与环境特征之间的相对位置和里程计的度量估计特征和物体的全局坐标。

图1是本发明基于机器视觉的停车场管理方法实施例一的流程图，该实施例的停车场管理方法应用在后台服务器中，且可具体包括：

S11.接收车载单元发送的地图，其中，所述车载单元在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成所述地图，并在判断出所述车辆停好后发送所述地图；

在该步骤中，首先说明的是，停车场入口处设置有路侧单元，且可实时发送射频信号，当安装有车载单元的车辆驶入该路侧单元的有效通讯范围内时，车载单元可接收到该路侧单元发送的射频信号，且根据所接收的射频信号可判断车辆驶入停车场，然后可启动车载单元的SLAM模块，而该SALM模块包括摄像头及处理单元，摄像头实时拍摄监控区域的图片，处理单元基于机器视觉技术根据所拍摄图片实时描绘行车轨迹并生成地图。当SLAM模块的处理单元检测到车辆在一定时间内不再移动时，便认为已经车辆已经停好，然后，车载单元便可将生成的地图发送至后台服务器，这样，后台服务器便接收到了地图。

S12.根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

在该步骤中，首先说明的是，后台服务器预先存储有停车场的全局地图，该全局地图是后台服务器基于深度学习的模型训练而获得的。考虑到停车场的路线都是固定的，在导入模型之前，对停车场每个入口到停车位的路线进行样本的大量采集，并进行训练，使后台服务器能够识别出车载单元传递过来的地图和路线，并能正确分类，进而获取该车辆的车位信息，从而实现车辆的定位。在获取到该车辆的车位信息后，后台服务器便将其进行存储，且将该车位的状态有空闲修改为占用。

当车辆用户需要将车辆驶出停车场时，可开始智能寻车流程，具体地，本发明的停车场管理方法可进一步包括：

S13.接收用户终端发送的寻车指令，所述寻车指令包括车辆标识；

在该步骤中，用户终端例如为手机、PAD，或者为固定设置在停车场内的客户端。用户通过操作用户终端来输入车辆标识，例如车牌号，当用户终端接收到车辆标识后便向后台服务器发送寻车指令。可以理解的，该车辆标识为车辆停好后，由车载单元将其随地图一起发送给后台服务器，后台服务器将车辆的位置和该车辆标识一一对应保存。

S14.根据所述寻车指令，查询相应车辆的车位信息；

在该步骤中，后台服务器从接收的寻车指令中提取车辆标识，并查询该车辆所对应的车位信息。

S15.将查询到的所述车位信息发送至用户终端，以使用户终端输出所述车位信息。

在该步骤中，后台服务器将查询到的车位信息发送至用户终端后，用户终端便输出该车位信息，以指引车辆用户快速找到车辆。其中，所输出的车位信息可为停车场的车位编号，例如，**区**号车位，所输出的车位信息还可为带标记的地图信息，且所述标记的位置即为车位位置。

进一步地，当用户终端获取到车辆的车位信息后，还可进一步进行以下步骤：

用户终端获取当前位置；

用户终端将所述当前位置作为出发地，将所述车位信息作为目的地，进行路径规划；

根据规划路径进行导航。

当用户根据用户终端输出的车位信息或导航信息寻找到车辆后，可驾驶车辆驶出停车场。同样地，停车场出口也设置有路侧单元，当车辆进入该路侧单元的有效通信范围内时，车载单元可接收到该路侧单元发送的射频信号，车载单元根据所接收的射频信号可判断车辆驶出停车场，进而可关闭SALM模块。同时，车载单元还将车辆驶出停车场的消息发送至后台服务器，以通知后台服务器删除该车辆的车位信息，和/或，将该车位的状态由占用修改为空闲。

图2是本发明基于机器视觉的停车场管理方法实施例二的流程图，该实施例的停车场管理方法应用在车载终端中，且可包括以下步骤：

S21.当判断出安装车载单元的车辆驶入停车场时，车载单元基于机器视觉技术实时描绘行车轨迹并生成地图；

在该步骤中，首先说明的是，停车场入口处设置有路侧单元，且可实时发送射频信号。当安装有车载单元的车辆驶入该路侧单元的有效通讯范围内时，车载单元可接收到该路侧单元发送的射频信号，且根据所接收的射频信号可判断车辆驶入停车场，然后可启动车载单元的SLAM模块，而该SALM模块包括摄像头及处理单元，摄像头实时拍摄监控区域的图片，处理单元基于机器视觉技术根据所拍摄图片实时描绘行车轨迹并生成地图。

S22.当判断出所述车辆停好后，将生成的所述地图发送至后台服务器，以使后台服务器根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

在该步骤中，当SLAM模块的处理单元检测到车辆在一定时间内不再移动时，便认为已经车辆已经停好，然后，车载单元便可将生成的地图发送至后台服务器。后台服务器在接收到车载单元发送的地图后，将其与所存储的全局地图进行比对，便可获取到该车辆的车位信息。

在一个优选实施例中，在步骤S21中，基于机器视觉技术实时描绘行车轨迹并生成地图的步骤可具体包括：

S211.实时拍摄监控区域的图片；

S212.根据预先获取的旋转变换矩阵及平移变换矩阵，将当前图片中的特征点在图片坐标系下的位置坐标，转换成三维坐标系下的位置坐标；

S213.通过分析当前图片与之前图片中的特征点在图片坐标系下的位置坐标的差别，获取所述车辆在三维坐标系下的位移数据；

S214.根据获取的所述位移数据描绘行车轨迹并生成地图。

在该实施例中，首先说明的是，车载单元的SALM模块包括摄像头和处理单元，而且，对于摄像头所拍摄的每一帧图片，均可知其每个点在图片坐标系中的位置坐标，同时，该点在三维坐标系(摄像头坐标系或世界坐标系)下也对应有位置坐标，例如，结合图3，o′-uv是图片坐标系，o-xyz是三维坐标系。对于图片中的某一特征点，其在图片坐标系下的位置坐标为(u，v)，其在三维坐标系下的位置作为(x，y，z)，且它们之间的转换关系可表示为：

这也是OpenCV中默认的表示方式，或者表示为：

后面将会给出两个坐标系下的转换方式。

在获取了每帧图片的每个点的位置坐标后，就可根据两帧图片间的差别计算车辆的位移，需说明的是，在此过程中需要用到特征提取与信息匹配。最常用的就是ICP算法，它是一种基于轮廓特征的点配准方法。

在一个优选实施例中，可基于轮廓特征的点配准方法来计算两个坐标系下的转换关系，配准的过程即为求取旋转变换矩阵和平移变换矩阵的过程，具体可包括：

S01.设置基准点，且基准点在图片坐标系下的坐标点集合为P，在三维坐标系下的坐标点集合为U，而且，P＝{Pi，i＝0，1，2，…，k}，U＝{Ui，i＝0，1，2，…，n}，k≥n；

在该步骤中，需说明的是，U与P元素间不必存在一一对应关系，元素数目亦不必相同。

S02.在集合P中分别查找出距集合U中的每个点最近的对应点，将集合P中所查找出的点组成集合Q，Q＝{qi，i＝0，1，2，…，n}；

在该步骤中，对于集合U中的每一个点，在集合P中都找出距该点最近的对应点，设集合P中由这些对应点组成的新集合Q。

S03.通过最小均方根法计算集合U与Q之间的配准，以得到配准旋转矩阵R及配准平移矩阵T；

在该步骤中，R是3×3的配准旋转矩阵，T是3×1的配准平移矩阵。

S04.使用配准旋转矩阵R及配准平移矩阵T，对集合U进行坐标变换，以获取集合U1，且U1＝RU+T；

S05.计算集合U1与Q之间的均方根误差，并判断所述均方根差是否小于极限值，若是，则将配准旋转矩阵R设置成旋转变换矩阵，及将配准平移矩阵T设置成平移变换矩阵；若否，则以集合U1替换集合U，并重复上述步骤。

在得到匹配点之后，就可以计算两张图片的转换关系，它的模型为：

其中，R为摄像头的姿态，其是不断运动的；C为摄像头的标定矩阵。

通过不断的匹配计算就能定位出车辆的位置并描绘出车辆的轨迹。

需要说明的是，在处理图像时，存在“噪声”问题，并存在着噪声累积。因为在不断的更换图片，不断的更改匹配的对象，当然，也可以和更前面的图片对比(不是单纯的和最近的图片对比)，并且不止一次的对比，这也是SLAM框架和算法一直在优化的地方，此处不再赘述。

当SLAM模块的处理单元检测到车辆在一定时间内不再移动(多次提取图像特征和信息匹配之后，发现匹配度较高，且几乎不存在位移)，认为车辆已经停好，此时将生成的地图通过网络发送给后台服务器。

后台服务器接收到地图之后，通过与预先存储的全局地图进行对比，确定车辆所在位置。在后台服务器已知全局地图的前提下，对后台服务器做基于深度学习的模型训练。考虑到停车场的路线都是固定的，在导入模型之前，对停车场每个入口到停车位的路线进行样本的大量采集，并进行训练，使后台服务器能够识别出车载单元传递过来的地图和路线，并能正确分类，从而完成一次车辆定位。

图4是本发明基于机器视觉的停车场管理系统实施例一的逻辑结构图，该实施例的停车场管理系统包括后台服务器10及多个车载单元10、…、10′。进一步地，还可包括多个用户终端。

图5是图4中后台服务器实施例一的逻辑结构图，该实施例的后台服务器包括地图接收模块11和车位获取模块12，其中，地图接收模块11用于接收车载单元发送的地图，其中，所述车载单元在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成所述地图，并在判断出所述车辆停好后发送所述地图；车位获取模块12用于根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

进一步地，本发明的后台服务器还包括：指令接收模块、查询模块和车位发送模块，其中，指令接收模块用于接收用户终端发送的寻车指令，所述寻车指令包括车辆标识；查询模块用于根据所述寻车指令，查询相应车辆的车位信息；车位发送模块将查询到的车位信息发送至用户终端，以使用户终端输出所述车位信息。

图6是图4中车载单元实施例一的逻辑结构图，该实施例的车载单元包括主控模块21、射频模块22、SLAM模块23和网络模块24。其中，射频模块22用于在主控模块21的控制下，通过与设置在停车场入口处的路侧单元进行通讯来判断车辆驶入停车场。SLAM模块23用于在主控模块21的控制下，在判断出车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成地图。网络模块24用于在主控模块21的控制下，在判断出车辆停好后，将生成的地图发送至后台服务器，以使后台服务器根据接收的地图及预先存储的全局地图获取车辆的车位信息。在此需说明的是，该实施例的车载单元除了包括上述四个模块外，还包括有读卡模块、ESAM安全模块、电源模块、LCD显示模块、防拆卸模块、声光提示模块等。

进一步地，SALM模块23包括摄像头和处理单元，而处理单元包括坐标转换子单元、位移获取子单元和生成子单元。其中，摄像头用于实时拍摄监控区域的图片。坐标转换子单元用于根据预先获取的旋转变换矩阵及平移变换矩阵，将当前图片中的特征点在图片坐标系下的位置坐标，转换成三维坐标系下的位置坐标。位移获取子单元用于通过分析当前图片与之前图片中的特征点在图片坐标系下的位置坐标的差别，获取所述车辆在三维坐标系下的位移数据。生成子单元用于根据获取的所述位移数据描绘行车轨迹并生成地图。

本发明还构造一种后台服务器，其包括第一处理器和第一存储器，其中，第一存储器用于存储第一程序指令，该第一程序指令由第一处理器加载并执行实现如上述图1所示的停车场管理方法的步骤。

本发明还构造一种车载单元，其包括第二处理器和第二存储器，其中，第二存储器用于存储第二程序指令，该第二程序指令由第二处理器加载并执行实现如上述图2所示的停车场管理方法的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于机器视觉的停车场管理方法，其特征在于，包括：

接收车载单元发送的地图，其中，所述车载单元在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成所述地图，并在判断出所述车辆停好后发送所述地图；

根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

2.根据权利要求1所述的基于机器视觉的停车场管理方法，其特征在于，还包括：

接收用户终端发送的寻车指令，所述寻车指令包括车辆标识；

根据所述寻车指令，查询相应车辆的车位信息；

将查询到的所述车位信息发送至用户终端，以使用户终端输出所述车位信息。

3.一种基于机器视觉的停车场管理方法，其特征在于，包括：

当判断出安装车载单元的车辆驶入停车场时，车载单元基于机器视觉技术实时描绘行车轨迹并生成地图；

当判断出所述车辆停好后，将生成的所述地图发送至后台服务器，以使后台服务器根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

4.根据权利要求3所述的基于机器视觉的停车场管理方法，其特征在于，基于机器视觉技术实时描绘行车轨迹并生成地图的步骤包括：

实时拍摄监控区域的图片；

根据预先获取的旋转变换矩阵及平移变换矩阵，将当前图片中的特征点在图片坐标系下的位置坐标，转换成三维坐标系下的位置坐标；

通过分析当前图片与之前图片中的特征点在图片坐标系下的位置坐标的差别，获取所述车辆在三维坐标系下的位移数据；

根据获取的所述位移数据描绘行车轨迹并生成地图。

5.根据权利要求4所述的基于机器视觉的停车场管理方法，其特征在于，根据以下步骤获取的旋转变换矩阵及平移变换矩阵：

设置基准点，且基准点在图片坐标系下的坐标点集合为P，在三维坐标系下的坐标点集合为U，而且，P＝{Pi，i＝0，1，2，…，k}，U＝{Ui，i＝0，1，2，…，n}，k≥n；

在集合P中分别查找出距集合U中的每个点最近的对应点，将集合P中所查找出的点组成集合Q，Q＝{qi，i＝0，1，2，…，n}；

通过最小均方根法计算集合U与Q之间的配准，以得到配准旋转矩阵R及配准平移矩阵T；

使用配准旋转矩阵R及配准平移矩阵T，对集合U进行坐标变换，以获取集合U1，且U1＝RU+T；

计算集合U1与Q之间的均方根误差，并判断所述均方根差是否小于极限值，若是，则将配准旋转矩阵R设置成旋转变换矩阵，及将配准平移矩阵T设置成平移变换矩阵；若否，则以集合U1替换集合U，并重复上述步骤。

6.一种后台服务器，其特征在于，包括：

地图接收模块，用于接收车载单元发送的地图，其中，所述车载单元在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成所述地图，并在判断出所述车辆停好后发送所述地图；

车位获取模块，用于根据接收的所述地图及预先存储的全局地图获取所述车辆的车位信息。

7.一种后台服务器，包括第一处理器和第一存储器，其特征在于，所述第一存储器用于存储第一程序指令，所述第一程序指令由所述第一处理器加载并执行实现如权利要求1或2所述方法的步骤。

8.一种车载单元，其特征在于，包括：

主控模块；

射频模块，用于在所述主控模块的控制下，通过与设置在停车场入口处的路侧单元进行通讯来判断所述车辆驶入停车场；

SLAM模块，用于在所述主控模块的控制下，在判断出所述车辆驶入停车场时，基于机器视觉技术实时描绘行车轨迹并生成地图；

网络模块，用于在所述主控模块的控制下，在判断出所述车辆停好后，将生成的所述地图发送至后台服务器，以使后台服务器根据接收的所述地图及预先存储的全局地图获取车辆的车位信息。

9.一种车载单元，包括第二处理器和第二存储器，其特征在于，所述第二存储器用于存储第二程序指令，所述第二程序指令由所述第二处理器加载并执行实现如权利要求3-5任一项所述方法的步骤。

10.一种基于机器视觉的停车场管理系统，其特征在于，包括权利要求8或9所述的车载单元及权利要求6或7所述的后台服务器。