CN111986508A - 基于多目标跟踪和视觉定位的路侧停车管理方法及系统 - Google Patents

Abstract

本发明公开了基于多目标跟踪和视觉定位的路侧停车管理方法，包括停车环境标定步骤和实时停车监控步骤；停车环境标定步骤完成后，实时停车监控步骤通过多目标跟踪技术，基于跟踪队列对整个停车过程进行车牌识别。本发明避免了车辆停车过程中车牌有时处于视频盲区，从而导致识别失败的问题；采用评估车牌图像质量并对车牌识别结果引入投票机制的方法，将多目标跟踪和车牌识别技术结合，提高了高位视频设备的可靠性、准确性。

Description

基于多目标跟踪和视觉定位的路侧停车管理方法及系统

技术领域

本发明涉及停车路段智能管理领域，特别涉及基于多目标跟踪和视觉定位的路侧停车管理方法及系统。

背景技术

近年来，随着汽车保有量逐年增多，停车压力日渐增大，随停、乱停现象十分普遍，这也加剧了城市拥堵。为解决停车难题，推动实现“停车入位、停车付费、违停受罚”，已有多地推进路侧停车改革。

专用于城市路侧停车管理的设备，包括POS机、咪表、车牌扫描PDA设备、地磁、视频桩等，而随着人工智能技术获得长足发展，基于智能视频分析的实现方式也获得更多的关注和应用。

与POS机、矮桩视频收费设备相比，基于高位视频多目标跟踪和视觉定位的方法不仅对车位的覆盖率更高，且不容易受到人为破坏，维护成本低；从识别率和智能化的角度来说，基于高位视频的方法采用先进的人工智能视频分析技术，能有效避免感应不准确、无法识别收费等弊端；在实施中通过与智慧路灯相结合，无需重复架杆，对城市景观影响降到最低，并压缩实施成本。

目前各大城市路侧停车管理主要采用地磁和视频桩两种技术。地磁感应设置在车位中间，有车驶入车位即可进行监测，它的稳定性高、安装便捷，缺点是还需配合人工拍照留证。视频桩则是在车位的某个角落安装视频装置，监测车辆驶入驶出，全程无需人管，能够施行停车、收费自动一条龙，但造价高，施工较为复杂。

许多路侧停车管理越来越多的偏向于采用视频设备，也就是基于车牌识别的停车收费解决方案。在视频设备中，也会更多的采用高位视频；经过算法优化的高位视频停车设备表现出色，能够适应诸多光线条件下的停车环境。

目前高位视频设备在路侧停车管理领域已经获得了越来越多的应用。在高位视频路侧停车管理中，主要存在以下难点：

(1)车牌识别效果因车辆角度的影响变化比较大，会出现识别不到的情况，特别是在车辆驶入停车位的阶段；

(2)为了补漏识别不到的情况，就需要补充人工巡查、或者视频桩辅助，会增加人力成本和施工成本；

(3)车辆与车位匹配不够准确，存在匹配出错的情况。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供基于多目标跟踪和视觉定位的路侧停车管理方法，该方法通过多目标跟踪和视觉定位技术，提高车牌识别和车位匹配的准确性，降低人力成本和施工成本。

本发明的另一目的在于提供基于多目标跟踪和视觉定位的路侧停车管理系统。

本发明的目的通过以下的技术方案实现：

基于多目标跟踪和视觉定位的路侧停车管理方法，包括停车环境标定步骤和实时停车监控步骤，其中：

停车环境标定步骤，用于标定停车位、道路标线，以及相机坐标系建模；

实时停车监控步骤，包括以下步骤：

1)获取高分辨率相机视频流解码后图片；从视频解码模块获取高分辨率相机视频流解码后图片，进入后续步骤；

2)视域内车辆实时检测；采用基于yolo v4算法训练好的车辆检测模型对视域内车辆进行实时检测；如果没有检测到车辆，则直接返回；如果检测到了车辆，则将车辆加入到多目标跟踪队列；

3)车辆多目标跟踪；采用DeepSort多目标跟踪算法结合卡尔曼滤波，实时更新车辆跟踪队列；

4)车牌抓拍；针对步骤3)中跟踪队列的最新检测目标，进行车牌抓拍；

5)车牌识别；通过训练好的CCPD算法模型进行车牌识别；对车牌方向相较于正对摄像头方向偏转较大的情况进行偏斜扭转，并判断车牌图像质量；车牌质量超过质量阈值的车牌识别结果保存到跟踪队列关联的车牌识别队列中；最终对车牌识别队列中的结果采用投票机制以确定最终车牌识别结果；车牌识别结果以及车型、车辆颜色作为车辆信息关联到相应的跟踪队列；

6)对各目标进行视觉定位；基于环境标定阶段得到的世界坐标系模型，以及相机像素和平面坐标的映射关系，对步骤3)中跟踪队列中的最新检测目标进行视觉定位；

7)通过位置匹配判定停车状态；基于步骤6)中的视觉定位结果，进行位置匹配；

8)通过步骤6)中结果结合车位信息数据库，得到实时车位状态信息，所述实时车位状态信息包括当前使用车位和空置车位信息；

9)输出停车信息、车辆信息、车位状态信息到运营管理后台；所述停车信息包括停车位编号、停车起始和终止时间，所述车辆信息包括车牌号、车型、车辆颜色，所述车位状态信息包括当前使用车位、空置车位。

所述步骤7)，包括以下步骤：

g)通过跟踪队列中目标的移动方向矢量判断车辆的行驶方向，基于车辆行驶方向关联待匹配的同向停车位；

h)通过标定的道路标线信息，判断车辆是否进入到停车位所在车道；

i)如果车辆进入到停车位所在车道，则通过标定的车位电子围栏，判断车辆是否进入到停车区域；

j)如果车辆进入到停车区域，通过标定的车位坐标信息，判断车辆进入到哪一个车位中；

k)通过移动方向矢量判断来确定车辆进入停车位的起始和终止时间；

l)得到车辆停止信息。

步骤b)中，所述停车位所在车道为道路最外侧车道。

步骤f)中，所述车辆停止信息包括停车位编号、停车起始和终止时间。

停车环境标定步骤中，所述标定停车位，具体为：采用北斗高精度定位终端(达到厘米级定位精度，作为位置标定的工具)标定每个停车位的四个角，并对呈条状的路侧停车区域建立电子围栏；通过对每个车位和停车区域的编号和标定，形成车位信息数据库，是后续车位匹配的基础；

所述标定道路标线，具体为：采用北斗高精度定位终端标定道路标线，后续用于辅助判断车辆位置信息；

所述相机坐标系建模，具体为：采用北斗高精度定位终端标定智慧灯杆和其他标定点，通过相机标定程序进行相机视域内世界坐标系建模，得到的相机像素和平面坐标的映射关系，是后续对车辆进行视觉定位的基础。

所述道路标线包括道路边线、道路中心线、车道边线。

本发明的另一目的通过以下的技术方案实现：

基于多目标跟踪和视觉定位的路侧停车管理系统，包括视频解码模块、路侧停车管理模块、运营管理后台、共享停车APP/公众号；其中

视频解码模块，按需求提供高位摄像头实时视频解码后的图片信息，所述图片信息包括图像时间戳、解码后的jpg图片、该路摄像头的ID；

路侧停车管理模块，基于车辆目标检测、多目标跟踪、车牌识别、视觉定位技术来实现输出停车信息、车辆信息、车位状态信息；所述停车信息包括停车位编号、停车起始和终止时间，所述车辆信息包括车牌号、车型、车辆颜色，所述车位状态信息包括当前使用车位、空置车位；

运营管理后台，实现收费、发票、信用稽查、车位位置及状态查询、充电桩位置及状态查询、其他车辆服务增值业务或公共服务；

共享停车APP/公众号，提供缴费、发票、查询和其他服务入口。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明通过多目标跟踪技术，基于跟踪队列对整个停车过程进行车牌识别，避免了车辆停车过程中车牌有时处于视频盲区，从而导致识别失败的问题；采用评估车牌图像质量并对车牌识别结果引入投票机制的方法，将多目标跟踪和车牌识别技术结合，提高了高位视频设备的可靠性、准确性。

2、本发明通过高精度标定和视觉定位技术，提高了高位视频路侧停车管理中车牌识别的可靠性；提高了基于视觉定位的车位匹配的可靠性；降低人力消耗和施工成本，路侧停车管控更加便利。

附图说明

图1是本发明所述高位视频路侧停车管理示意图；

图2是本发明所述基于多目标跟踪和视觉定位的路侧停车管理系统的各个模块的调用逻辑关系图；

图3是本发明所述基于多目标跟踪和视觉定位的路侧停车管理方法的停车环境标定步骤的流程图；

图4是本发明所述基于多目标跟踪和视觉定位的路侧停车管理方法的实时停车监控步骤的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

基于多目标跟踪和视觉定位的路侧停车管理系统，包括视频解码模块、路侧停车管理模块、运营管理后台、共享停车APP/公众号等四个模块。路侧停车管理方法属于路侧停车管理模块，不涉及其他三个模块的具体实现，它们需要具备一些功能。高位视频路侧管理建设如图1所示。

视频解码模块，按需求提供高位摄像头实时视频解码后的图片信息，信息包括图像时间戳、解码后的jpg图片、该路摄像头的ID等。

路侧停车管理模块基于车辆目标检测、多目标跟踪、车牌识别、视觉定位、等技术，实现输出停车信息、车辆信息、车位状态信息。停车信息包括停车位编号、停车起始和终止时间等，车辆信息包括车牌号、车型、车辆颜色等，车位状态信息包括当前使用车位、空置车位等。

运营管理后台实现收费、发票、信用稽查、车位位置及状态查询、充电桩位置及状态查询、其他车辆服务等增值业务或公共服务。

共享停车APP/公众号提供缴费、发票、查询和其他服务入口。

各个模块的调用逻辑关系如图2。

路侧停车管理模块包括停车环境标定和实时停车监控两个部分。

停车环境标定流程：

如图3，停车环境标定包括停车位标定、道路标线标定、相机坐标系建模三个部分。

1)停车位标定：采用高精度定位终端标定每个停车位的四个角，并对呈条状的路侧停车区域建立电子围栏。通过对每个车位和停车区域的编号和标定，形成车位信息数据库，是后续车位匹配的基础。

2)道路标线标定：采用高精度终端标定道路边线、道路中心线、车道边线等道路标线，后续用于辅助判断车辆位置信息等。

3)相机坐标系建模：采用高精度终端标定智慧灯杆和其他标定点，通过相机标定程序进行相机视域内世界坐标系建模，得到的相机像素和平面坐标的映射关系，是后续对车辆进行视觉定位的基础。

实时停车监控流程：

1)获取高分辨率相机视频流解码后图片。从视频解码模块获取高分辨率相机视频流解码后图片，进入后续步骤。

2)视域内车辆实时检测。采用基于最新的yolo v4算法训练好的车辆检测模型对视域内车辆进行实时检测。如果没有检测到车辆，则直接返回；如果检测到了车辆，则将车辆加入到多目标跟踪队列。

3)车辆多目标跟踪。采用DeepSort多目标跟踪算法结合卡尔曼滤波，实时更新车辆跟踪队列。

4)车牌抓拍。针对3)中跟踪队列的最新检测目标，进行车牌抓拍。

5)车牌识别。通过训练好的CCPD算法模型进行车牌识别。对车牌方向相较于正对摄像头方向偏转较大的情况进行偏斜扭转，并判断车牌图像质量；车牌质量超过质量阈值的车牌识别结果保存到跟踪队列关联的车牌识别队列中。最终对车牌识别队列中的结果采用投票机制以确定最终车牌识别结果。

车牌识别结果以及车型、车辆颜色作为车辆信息关联到相应的跟踪队列。

6)对各目标进行视觉定位。基于环境标定阶段得到的世界坐标系模型，以及相机像素和平面坐标的映射关系，对3)中跟踪队列中的最新检测目标进行视觉定位。

7)通过位置匹配判定停车状态。基于6)中的视觉定位结果，进行位置匹配，主要包括以下流程：

m)通过跟踪队列中目标的移动方向矢量判断车辆的行驶方向，基于车辆行驶方向关联待匹配的同向停车位；

n)通过标定的道路标线信息，判断车辆是否进入到停车位所在车道，通常是道路最外侧车道；

o)如果满足条件b)，通过标定的车位电子围栏，判断车辆是否进入到停车区域；

p)如果满足条件c)，通过标定的车位坐标信息，判断车辆进入到哪一个车位中；

q)通过移动方向矢量判断来确定车辆进入停车位的起始和终止时间。

r)得到车辆停止信息，包括停车位编号、停车起始和终止时间。

8)通过6)中结果结合车位信息数据库，得到实时车位状态信息，包括当前使用车位和空置车位信息。

9)输出停车信息、车辆信息、车位状态信息到运营管理后台。停车信息包括停车位编号、停车起始和终止时间等，车辆信息包括车牌号、车型、车辆颜色等，车位状态信息包括当前使用车位、空置车位等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.基于多目标跟踪和视觉定位的路侧停车管理方法，其特征在于，包括停车环境标定步骤和实时停车监控步骤，其中：

停车环境标定步骤，用于标定停车位、道路标线，以及相机坐标系建模；

实时停车监控步骤，包括以下步骤：

1)获取高分辨率相机视频流解码后图片；从视频解码模块获取高分辨率相机视频流解码后图片，进入后续步骤；

2)视域内车辆实时检测；采用基于yolo v4算法训练好的车辆检测模型对视域内车辆进行实时检测；如果没有检测到车辆，则直接返回；如果检测到了车辆，则将车辆加入到多目标跟踪队列；

3)车辆多目标跟踪；采用DeepSort多目标跟踪算法结合卡尔曼滤波，实时更新车辆跟踪队列；

4)车牌抓拍；针对步骤3)中跟踪队列的最新检测目标，进行车牌抓拍；

5)车牌识别；通过训练好的CCPD算法模型进行车牌识别；对车牌方向相较于正对摄像头方向偏转较大的情况进行偏斜扭转，并判断车牌图像质量；车牌质量超过质量阈值的车牌识别结果保存到跟踪队列关联的车牌识别队列中；最终对车牌识别队列中的结果采用投票机制以确定最终车牌识别结果；车牌识别结果以及车型、车辆颜色作为车辆信息关联到相应的跟踪队列；

6)对各目标进行视觉定位；基于环境标定阶段得到的世界坐标系模型，以及相机像素和平面坐标的映射关系，对步骤3)中跟踪队列中的最新检测目标进行视觉定位；

7)通过位置匹配判定停车状态；基于步骤6)中的视觉定位结果，进行位置匹配；

8)通过步骤6)中结果结合车位信息数据库，得到实时车位状态信息，所述实时车位状态信息包括当前使用车位和空置车位信息；

9)输出停车信息、车辆信息、车位状态信息到运营管理后台；所述停车信息包括停车位编号、停车起始和终止时间，所述车辆信息包括车牌号、车型、车辆颜色，所述车位状态信息包括当前使用车位、空置车位。

2.根据权利要求1所述基于多目标跟踪和视觉定位的路侧停车管理方法，其特征在于，所述步骤7)，包括以下步骤：

a)通过跟踪队列中目标的移动方向矢量判断车辆的行驶方向，基于车辆行驶方向关联待匹配的同向停车位；

b)通过标定的道路标线信息，判断车辆是否进入到停车位所在车道；

c)如果车辆进入到停车位所在车道，则通过标定的车位电子围栏，判断车辆是否进入到停车区域；

d)如果车辆进入到停车区域，通过标定的车位坐标信息，判断车辆进入到哪一个车位中；

e)通过移动方向矢量判断来确定车辆进入停车位的起始和终止时间；

f)得到车辆停止信息。

3.根据权利要求2所述基于多目标跟踪和视觉定位的路侧停车管理方法，其特征在于，步骤b)中，所述停车位所在车道为道路最外侧车道。

4.根据权利要求2所述基于多目标跟踪和视觉定位的路侧停车管理方法，其特征在于，步骤f)中，所述车辆停止信息包括停车位编号、停车起始和终止时间。

5.根据权利要求1所述基于多目标跟踪和视觉定位的路侧停车管理方法，其特征在于，停车环境标定步骤中，所述标定停车位，具体为：采用北斗高精度定位终端标定每个停车位的四个角，并对呈条状的路侧停车区域建立电子围栏；通过对每个车位和停车区域的编号和标定，形成车位信息数据库，是后续车位匹配的基础；

所述标定道路标线，具体为：采用北斗高精度定位终端标定道路标线，后续用于辅助判断车辆位置信息；

所述相机坐标系建模，具体为：采用北斗高精度定位终端标定智慧灯杆和其他标定点，通过相机标定程序进行相机视域内世界坐标系建模，得到的相机像素和平面坐标的映射关系，是后续对车辆进行视觉定位的基础。

6.根据权利要求5所述基于多目标跟踪和视觉定位的路侧停车管理方法，其特征在于，所述道路标线包括道路边线、道路中心线、车道边线。

7.基于多目标跟踪和视觉定位的路侧停车管理系统，其特征在于，包括视频解码模块、路侧停车管理模块、运营管理后台、共享停车APP/公众号；其中

视频解码模块，按需求提供高位摄像头实时视频解码后的图片信息，所述图片信息包括图像时间戳、解码后的jpg图片、该路摄像头的ID；

路侧停车管理模块，基于车辆目标检测、多目标跟踪、车牌识别、视觉定位技术来实现输出停车信息、车辆信息、车位状态信息；所述停车信息包括停车位编号、停车起始和终止时间，所述车辆信息包括车牌号、车型、车辆颜色，所述车位状态信息包括当前使用车位、空置车位；

运营管理后台，实现收费、发票、信用稽查、车位位置及状态查询、充电桩位置及状态查询、其他车辆服务增值业务或公共服务；

共享停车APP/公众号，提供缴费、发票、查询和其他服务入口。

Images