CN114255428A - 一种基于边缘智能和路边高位监控视频的车辆停车识别方法 - Google Patents

Abstract

本发明公开了一种基于边缘智能和路边高位监控视频的车辆停车识别方法，首先通过摄像头采集停车区域的实时视频作为检测的输入，在边缘终端中完成视频流的处理。其次通过深度学习网络提取视频中车辆和车牌位置，通过字符识别技术提取车牌号，采用网络模型的结合进行车辆及对应车牌的实时绑定。然后根据上下帧图像之间的位置坐标进行和动态跟踪，通过三维和二维坐标对应进行车辆与车位相对位置的判定。最后根据上述识别结果对车辆是否停车进行相应判断。本发明提高了路边停车场景下车辆停车行为的识别率以及算法的鲁棒性，降低了计算量，可以准确的根据车辆及车牌位置信息确定车辆的停车行为，可用于智能交通领域，有较大的推广前景。

Description

一种基于边缘智能和路边高位监控视频的车辆停车识别方法

技术领域

本发明涉及智能交通系统领域，尤其涉及一种基于边缘智能和路边高位监控视频的车辆停车识别方法。

背景技术

近年来，我国机动车的数量持续增长，据公安部交管局统计，截止2021年6月，我国机动车保有量已有3.84亿辆，其中汽车保有量达到了2.92亿辆，占比达到了总数的76.04％，且其数量仍在不断增长。停车开始成为了部分城市继续解决的难题。而路边停车位的规划可以较大程度缓解停车的压力，得到了很多城市的推广。但目前阶段，我国很多城市对路边停车位的监管还是主要以人工管理的方式为主，这种方式管理效率很低，消耗了较大的人力成本，同时在停车高峰期时管理难度较大，容易出现错收费、乱收费的问题。因此，急需一种高效的路边车位管理方式。

目前路边车位的管理方案主要有基于咪表、基于地磁以及基于视频的车位管理方案。这两种方案均需要在路边或路面架设监测设备，部署成本较高，且会破坏路边，在一些设施完善的地区难以推广。基于视觉的管理方案可以规避这些问题，部署成本较低，但路边停车场景下的一些遮挡及拍摄角度倾斜较大等问题导致停车识别准确率较低，并且在云端进行视频流处理的方式需要的网络带宽成本较大。基于此难题，提出了一种基于边缘智能和路边高位监控视频的车辆停车识别方法，采取了边缘智能技术进行视频流处理，并考虑了路边停车实际场景存在的各种影响因素，提高了车辆有效停车订单识别率，且具有较高的鲁棒性。

发明内容

本发明结合了边缘智能技术与机器视觉技术，在边缘终端中进行视频流处理，并解决了路边高位监控视频中常出现的遮挡、角度畸变较大、光照多变等因素导致车辆停车识别率低的问题，提高了针对多种场景的鲁棒性。

本发明的目的是通过以下技术方案实现的：一种基于边缘智能和路边高位监控视频的车辆停车识别方法，包括以下步骤：

1)边缘端设备获取路边高位监控摄像头采集的车位附近区域视频流；通过识别车辆位置的目标检测网络和识别车牌位置的目标检测网络提取视频中车辆位置识别结果及车牌位置识别结果，并通过字符识别模型进行车牌号的识别；

2)针对视频中的每帧图像，把识别车辆位置的目标检测网络的输出结果作为识别车牌位置的目标检测网络的输入，根据识别车牌位置的目标检测网络的输出结果得到车辆及其对应车牌的绑定信息，将识别得到的信息记录在边缘端设备。

3)每帧图像的车辆位置识别结果与上一帧图像的车辆位置识别结果进行重合度计算，根据重合度计算结果，若判断前后两帧图像中的车辆为同一车辆，对上一帧图像的车辆位置信息进行更新。

4)把视频中的车位区域加入高度信息扩展为立方体，再取立方体最外部四个边界点连接成矩形框，与根据车辆位置识别结果得到的识别框比较，进行车辆与车位之间相对位置关系的判断。

5)根据步骤2)-4)的识别与判断结果，以车辆行为识别算法对车辆是否有驶入或驶离车位的行为进行判断，将判断结果上报到云端。

进一步地，步骤1)中每个路边高位监控摄像头监管4-8个车位，获取的视频流在本地的边缘端设备中进行处理，采用计算机视觉中的目标检测技术进行车辆和车牌位置信息的提取，并用字符识别模型进行车牌号的识别。

进一步地，步骤2)中将用于车辆位置识别的神经网络模型与用于车牌位置识别的神经网络模型进行结合，前者的输出结果作为后者的输入，并将二者的识别结果存储在一个容器中，同时进行车辆及其对应车牌信息的绑定。

进一步地，步骤3)中车辆位置信息的更新采取上下帧图像的车辆位置识别框之间的重合度作为评判标准，如果重合度大于设定阈值，则将对应的车辆位置信息进行更新，如果小于阈值则会继续遍历，直到遍历完容器内的全部车辆。如果容器内的车辆均未成功匹配，则认为车辆是首次进入监控区域，会在容器内新建车辆信息。对于每帧图像中未被匹配的车辆信息，对其进行计数操作，当连续未匹配的帧数超过设定值，则会删除此车的信息。若车辆已被判定为停入车位，则会始终保存此车辆的信息直到车辆驶离车位。

进一步地，车辆与车位之间相对位置关系的判断方式为：将监控视频中的二维信息扩展为三维信息进行计算，把车位的四边形区域加入与车辆相应的高度信息从而扩展为立方体，再取立方体最外部四个边界点连接成矩形框，计算该矩形框与根据车辆位置识别结果得到的识别框之间的重合度，设定高低两个阈值进行判断，大于高阈值则认为车辆已经驶入车位，低于低阈值则认为车辆还未停入车位或驶离车位，若重合度在二者之间则保持上一判别结果，此次识别无效。

进一步地，车辆行为识别算法根据车辆与车位之间相对位置关系判断的结果作为依据，根据判断的结果变化得到驶入、驶离的行为。进一步地，当车辆与车位之间相对位置关系判断的结果发生改变时，车辆行为识别算法在遍历容器的同时开始计时，达到设定的时间阈值后，对各车位的停车占用情况再进行一次判别，如果首先判断车辆可能驶离车位，则会在第二次判别时判断对应车位是否空闲，若两次判断结果一致，则确认车辆已经驶离，若两次判断结果不一致，则会认为此次识别无效，保持原有的识别结果；若首次判断车辆可能驶入车位，则会在第二次判别时判断对应车位是否空闲，若两次判断结果一致，则确认车辆已经驶入。若两次判断结果不一致，则会认为此次识别无效，保持原有的识别结果。

本发明的有益效果是：本发明中由边缘端设备进行视频流信息的处理及车辆行为的判断，仅将识别结果进行后续上传。降低本地视频流传输消耗的带宽成本。将车辆位置识别网络的输出作为车牌识别网络的输入，降低了车牌识别网络模型的搜索范围，减小了计算量，提高了精确度，并基于此操作，实现了车辆及车牌信息的全程绑定。以上下帧图像的车辆识别框重合度作为衡量标准，实现了车辆位置的动态跟踪，保证了车辆信息不丢失。通过二维和三维信息的结合，解决了由于拍摄角度等影响造成的车辆及车位相对位置难以判断的问题。考虑了实际路边停车存在的可能影响行为判断的因素，以触发和定时再确认的方式提高车辆驶入和驶离车位判断的可靠性。总体上提高了基于视觉的路边停车管理系统的有效订单识别率以及针对在各种影响因素下的鲁棒性。

附图说明

图1是本发明的整体结构框图。

图2是本发明的车辆和车牌信息提取流程图。

图3是本发明的车辆位置信息更新流程图。

图4是本发明的车辆与车位之间相对位置关系判定流程图。

图5是本发明的车辆行为识别的流程图。

具体实施方式

下面结合附图对本发明作进一步的说明。

如图1所示，本发明通过路边高位监控摄像头提取管理路边车位附近的视频流，每个路边高位监控摄像头监管4-8个车位，视频流通过边缘端的嵌入式设备(如单片机、FPGA等)进行处理，其中包括通过计算机视觉相关技术实现车辆和车牌位置以及车牌号信息的提取。后续根据提取的信息分别进行车辆及车牌信息绑定、车辆位置信息更新、车辆车位相对位置关系判断、车辆行为识别四个步骤，最终得到对于车辆是否停车以及停入车位的车辆的车牌号、动作时间、对应车位编号等信息，这些信息可上传至云服务平台进行后续的处理。

如图2所示，通过计算机视觉技术进行车辆和车牌信息提取的流程为：首先通过识别车辆位置的目标检测网络(如YOLO、SSD等)，得到车辆位置的识别框。然后，根据识别框的具体坐标，对图像中车辆的区域进行分割。之后，将分割得到的图像作为车牌定位模型的输入，得到车牌的具体位置，并得到车辆及其对应车牌的绑定信息，将识别得到的信息记录在边缘端设备。然后，通过LPRNet等字符识别模型依据图像分割得到的车牌区域图像进行车牌号的识别。最后，重复上述操作，遍历所有车辆识别区域，得到车辆和车牌位置以及车牌号的信息，并据此进行后续的停车行为识别。

如图3所示，车辆位置信息更新方法为：对于每一帧图像中的每个车辆识别框，会遍历容器中的车辆位置坐标，计算二者之间的重合度，重合度采用交并比的方法进行衡量，即计算两帧图像中车辆识别框的交集和并集的比值。重合度的阈值根据视频流的帧数和实际的处理速度设定，如果重合度大于阈值，则将对应的车辆位置信息进行更新，如果小于阈值则会继续遍历，直到遍历完容器内的全部车辆。如果容器内的车辆均未成功匹配，则认为车辆是首次进入监控区域，在容器内新建车辆信息。对于每帧图像中未被匹配的车辆信息，对其进行计数操作，当连续未匹配的帧数超过10帧，则会删除此车的信息。但若车辆已被判定为停入车位，则会始终保存此车辆的信息直到车辆驶离车位。

如图4所示，车辆与车位之间相对位置关系判定的流程为：将监控视频中的二维信息扩展为三维信息进行计算，根据摄像头拍摄高度、角度以及具体需求设定高度信息，把车位的四边形区域加入此高度信息从而扩展为立方体，再取立方体最外部四个边界点连接成矩形框，得到车位区域，车辆识别框逐一计算与车位区域之间的重合度，取其中的最大值进行阈值判断，设置两个阈值MAX，MIN作为判断标准，当重合度大于MAX时，认为车辆已经停入车位，输出对应车位的编号。当重合度处于MAX和MIN之间时，处于可疑状态，此时车辆判断结果保持不变，输出-1，防止由于识别算法以及环境因素导致的车辆识别框位置发生抖动，避免车辆识别产生错误结果。当重合度小于MIN时，设备会判断此车辆没有停入任何车位或驶离车位，输出0。

如图5所示，车辆行为识别的方法为：首先记录每辆车的停车判定结果，并对比当前帧与上一帧图像的车辆停车判定算法的输出结果，如果输出值发生了变化，例如输出值由P0变为P1，P0和P1为车辆与车位之间相对位置关系判定的输出结果，此时P0和P1均可能为0或对应的某车位编号，若P0不为0，此时判断该车辆可能有驶出P0对应车位的行为。同理，若P1不为0，此时车辆可能驶入了P1对应编号的车位。之后，会分别判断P0是否空闲以及P1是否已被占用，从而确定是否存在车辆驶入或驶离车位的动作。车辆行为识别算法会记录每种动作发生的时间，将数据进行上报，作为后续云服务平台中生成停车订单的依据。为了提高车辆行为识别算法的鲁棒性，防止由于车辆的不规范停车或某帧的停车判断错误导致行为识别出错，当车辆停车判定输出值发生改变时，将会在遍历容器的同时开始计时，达到设定的时间阈值60秒后，对各车位的停车占用情况再进行一次判别，如果首先判断车辆可能驶离车位，则会在第二次判别时判断对应车位是否空闲，若两次判断结果一致，则确认车辆已经驶离，若两次判断结果不一致，则会认为此次识别无效，保持原有的识别结果；若首次判断车辆可能有驶入车位，则会在第二次判别时判断此车辆是否已经停入车位，若两次判断结果一致，则确认车辆已经驶入。若两次判断结果不一致，则会认为此次识别无效，保持原有的识别结果；从而验证行为识别算法结果的正确性。

本发明在边缘终端中完成视频流的处理，不需要进行视频流的传输，节省了网络带宽。并且考虑了路边停车场景下的各种影响识别的因素，以计算机视觉技术进行车辆及车牌信息的提取并据此进行车辆停车行为的识别。此方法识别准确率高，鲁棒性强，可在各种路边环境下进行应用。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种基于边缘智能和路边高位监控视频的车辆停车识别方法，其特征在于，包括以下步骤：

1)边缘端设备获取路边高位监控摄像头采集的车位附近区域视频流；通过识别车辆位置的目标检测网络和识别车牌位置的目标检测网络提取视频中车辆位置识别结果及车牌位置识别结果，并通过字符识别模型进行车牌号的识别；

2)针对视频中的每帧图像，把识别车辆位置的目标检测网络的输出结果作为识别车牌位置的目标检测网络的输入，根据识别车牌位置的目标检测网络的输出结果得到车辆及其对应车牌的绑定信息，将识别得到的信息记录在边缘端设备。

3)每帧图像的车辆位置识别结果与上一帧图像的车辆位置识别结果进行重合度计算，根据重合度计算结果，若判断前后两帧图像中的车辆为同一车辆，对上一帧图像的车辆位置信息进行更新。

4)把视频中的车位区域加入高度信息扩展为立方体，再取立方体最外部四个边界点连接成矩形框，与根据车辆位置识别结果得到的识别框比较，进行车辆与车位之间相对位置关系的判断。

5)根据步骤2)-4)的识别与判断结果，以车辆行为识别算法对车辆是否有驶入或驶离车位的行为进行判断，将判断结果上报到云端。

2.根据权利要求1所述的一种基于边缘智能和路边高位监控视频的车辆停车识别方法，其特征在于：步骤1)中每个路边高位监控摄像头监管4-8个车位，获取的视频流在本地的边缘端设备中进行处理，采用计算机视觉中的目标检测技术进行车辆和车牌位置信息的提取，并用字符识别模型进行车牌号的识别。

3.根据权利要求1所述的一种基于边缘智能和路边高位监控视频的车辆停车识别方法，其特征在于：步骤2)中将用于车辆位置识别的神经网络模型与用于车牌位置识别的神经网络模型进行结合，前者的输出结果作为后者的输入，并将二者的识别结果存储在一个容器中，同时进行车辆及其对应车牌信息的绑定。

4.根据权利要求3所述的一种基于边缘智能和路边高位监控视频的车辆停车识别方法，其特征在于：步骤3)中车辆位置信息的更新采取上下帧图像的车辆位置识别框之间的重合度作为评判标准，如果重合度大于设定阈值，则将对应的车辆位置信息进行更新，如果小于阈值则会继续遍历，直到遍历完容器内的全部车辆。如果容器内的车辆均未成功匹配，则认为车辆是首次进入监控区域，会在容器内新建车辆信息。对于每帧图像中未被匹配的车辆信息，对其进行计数操作，当连续未匹配的帧数超过设定值，则会删除此车的信息。若车辆已被判定为停入车位，则会始终保存此车辆的信息直到车辆驶离车位。

5.根据权利要求1所述的一种基于边缘智能和路边高位监控视频的车辆停车识别方法，其特征在于：车辆与车位之间相对位置关系的判断方式为：将监控视频中的二维信息扩展为三维信息进行计算，把车位的四边形区域加入与车辆相应的高度信息从而扩展为立方体，再取立方体最外部四个边界点连接成矩形框，计算该矩形框与根据车辆位置识别结果得到的识别框之间的重合度，设定高低两个阈值进行判断，大于高阈值则认为车辆已经驶入车位，低于低阈值则认为车辆还未停入车位或驶离车位，若重合度在二者之间则保持上一判别结果，此次识别无效。

6.根据权利要求3所述的一种基于边缘智能和路边高位监控视频的车辆停车识别方法，其特征在于：车辆行为识别算法根据车辆与车位之间相对位置关系判断的结果作为依据，根据判断的结果变化得到驶入、驶离的行为。进一步地，当车辆与车位之间相对位置关系判断的结果发生改变时，车辆行为识别算法在遍历容器的同时开始计时，达到设定的时间阈值后，对各车位的停车占用情况再进行一次判别，如果首先判断车辆可能驶离车位，则会在第二次判别时判断对应车位是否空闲，若两次判断结果一致，则确认车辆已经驶离，若两次判断结果不一致，则会认为此次识别无效，保持原有的识别结果；若首次判断车辆可能驶入车位，则会在第二次判别时判断对应车位是否空闲，若两次判断结果一致，则确认车辆已经驶入。若两次判断结果不一致，则会认为此次识别无效，保持原有的识别结果。

Images