CN113205692A - 一种路侧停车泊位异常变动的自动识别方法 - Google Patents

Abstract

本发明公开一种路侧停车泊位异常变动的自动识别方法。通过对采集的连续视频帧中泊位线的检测及差异对比，初步判断泊位是否发生异常变动；如果两视频帧中的泊位线发生变化，则检测视频帧中是否存在障碍物，若不存在障碍物，则可能是由于摄像机镜头发生偏转造成的泊位线发生变化，若存在障碍物，则检测连续视频帧中障碍物的坐标，所述障碍物不限于车辆及行人等；结合车辆及行人等的坐标信息判断视频帧中是否发生被车辆及行人遮挡的情况，进而确定泊位是否发生异常变动。本识别方法基于对图像连续视频帧的处理，计算效率高，适用于城市路侧停车场景，对于保持停车管理系统的稳定性，提高城市路侧停车管理的效率及自动化水平具有重要的意义。

Description

一种路侧停车泊位异常变动的自动识别方法

技术领域

本发明涉及路侧停车的自动控制领域，特别涉及一种路侧停车泊位异常变动的自动识别方法。

背景技术

路侧停车是城市管理的重要组成部分。近年以来，基于高位视频的路侧停车系统由于其安装后不易损坏、捕捉视频全面清晰、现场不需人操作等优点，在很多城市开始大规模上线应用。作为智慧城市建设的重要一环，它确实解决了原来路侧停车中只能依靠人工巡逻进行低效的管理，成本高企，劳动条件差等缺点。在停车管理系统中，前场摄像设备获取稳定的视频帧，针对视频帧中标记的停车位，经过精确的算法，自动捕捉车辆的出入场等停车行为，自动定位及捕捉清晰的车牌，得到准确的停车信息。可以看到，系统正确运行的前提是摄像设备能获取稳定清晰的停车视频，或者说能获取视频帧中标记的稳定的停车位位置。如果视频帧中停车位的位置经常发生被动的、意料之外的变动，那么后续计算车辆出入场的算法便失去了计算的依据，车辆在视频帧中运动时，由于失去了停车位的准确标记或标记不准，车辆的运动很难被准确的计算为特定的出入场行为，后续也就很难自动判定为停车记录进而计费。所以，稳定的视频帧或者说稳定的停车位对于基于高位视频的路侧停车系统来说至关重要，是后续算法的基础，有着特殊的重要性。

但是，路侧停车系统的前场设备大都安装在路侧停车场上方，容易受到外部环境及外部行为的影响和干扰。例如城市绿化的树叶等障碍物的遮挡、大风暴雨等极端天气、外部车辆或人员的施工等导致的设备易位，这些都成为前场设备获取稳定视频或稳定停车位的隐患。一旦发生了外部因素导致的设备被动变动，如何更快速、更智能的自动发现并报警，成为该系统长期稳定运行的难题之一。

基于此，本发明提供一种路侧停车泊位异常变动的自动识别方法，用来自动检测前场设备是否发生了意外变动。

发明内容

为了解决现有技术中摄像机容易受到外部环境及外部行为的影响和干扰，造成其拍摄的视频帧中停车位标记不清楚或标记错误导致的停车行为判定不准确的问题。

基于此，本发明的提供一种路侧停车泊位异常变动的自动识别方法，所述方法包括：

获取通过视频设备采集的多个视频帧，

检测任意相邻视频帧，得到视频帧中任一泊位线区域图像；

比对该相邻视频帧图像中同一泊位区域图像的变化情况；

根据变化结果确定该泊位是否发生变动。

作为发明的进一步改进，在检测任意相邻视频帧之前还包括加载泊位检测模型，根据泊位检测模型运算，得到泊位线的二值图像。

作为发明的进一步改进，所述方法还包括：

标记泊位线的二值图像中的泊位线区域和背景区域，

分别计算两视频帧图像中泊位线的二值图像的泊位线区域的总面积以及两图像中泊位线重叠区域的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，则泊位未发生变动，否则发生变动。

作为发明的进一步改进，若泊位发生变动，则检测相邻视频帧中是否存在障碍物，若存在，检测障碍物的位置信息，根据检测结果再次确定泊位是否发生变动，所述障碍物包括行人和/或车辆中的一种或多种。

作为发明的进一步改进，获取障碍物的矩形框，计算障碍物区域的面积，所述泊位线区域的总面积为剔除障碍物区域之后的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，则泊位未发生变动，否则发生变动。

本发明还公开了一种路侧停车泊位异常变动的自动识别装置，所述装置包括：

采集模块，所述采集装置用于采集多个视频帧，

检测模块，所述检测装置用于检测任意相邻视频帧，得到视频帧中任一泊位线的区域图像；

计算模块，所述计算模块用于计算该相邻视频帧中同一泊位区域图像的变化情况，

判断模块，所述判断模块用于根据变化结果确定该泊位是否发生变动。

作为发明的进一步改进，在检测相邻视频帧之前还包括加载泊位检测模型，所述计算模块还用于根据泊位检测模型运算，得到视频帧中泊位线的二值图像。

作为发明的进一步改进，所述装置还包括标记模块：所述标记模块用于标记泊位线二值图像中的泊位线区域和背景区域，

所述计算模块还用于计算泊位线二值图像中的泊位线区域的总面积和泊位线重叠区域的面积；

以及计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，所述判断模块还用于判定泊位是否发生变动。

作为发明的进一步改进，若泊位发生变动，所述检测模块还用于检测相邻视频帧中的障碍物的位置信息，根据检测结果再次确定泊位是否发生变动，所述障碍物包括行人和/或车辆中的一种或多种。

作为发明的进一步改进，所述计算模块还用于，在获取障碍物的矩形框之后计算障碍物区域的面积，所述泊位线区域的总面积为剔除障碍物区域之后的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，所述计算模块还用于判定泊位是否发生变动。

本发明的有益效果：采用智能图像处理算法，检测不同时段时该设备及停车位是否发生异常变动，为实现复杂场景中路侧停车的自动化管理，提高智慧城市交通治理和停车管理效率提供技术的支持，具体的采用本发明提供的通过连续的视频帧中泊位区域图像的差异对比，自动检测前场设备的异常变动，原理简单，计算效率高，适用于城市路侧停车场景，对于提高城市路侧停车管理系统的自动化水平具有较大的意义。

附图说明

图1是本发明一种路侧停车泊位异常变动的自动识别方法的流程图；

图2是本发明视频帧中停车位区域的绘制示意图；

图3是本发明泊位发生变化的示意图;

图4是本发明车辆遮挡导致泊位残缺的示意图。

具体实施方式

结合上述实施例对本发明一种路侧停车泊位异常识别方法的流程做进一步的说明。

如图1所示，本发明公开了一种路侧停车泊位异常变动的自动识别方法，所述方法包括：

S101；获取通过视频设备采集的多个视频帧，所述视频帧是指同一采集设备采集的同一泊位的间隔一定时间段的不同视频帧，以方便检测不同时段时该泊位是否发生异常变动。具体的，采集视频帧的设备可选用枪型摄像机或者球型摄像机中的一种或多种，确保采集图像的清晰度和稳定性即可；

S102；检测任意相邻视频帧，得到视频帧中任一泊位线的区域图像；

如图2所示的是视频帧中停车位区域的绘制示意图，具体的采用基于神经网络的深度学习方法，通过加载泊位线检测模型得到视频帧中泊位线的区域图像，该模型运算后得到的区域图像为经输出得到的泊位线的二值图像；图像中检测到泊位线的位置为泊位线区域，标记为1，非泊位线的区域为背景区域，标记为0；

需要提及的是，上述泊位线检测模型是根据路侧停车场景中真实视频帧图像进行标注及迭代训练得到的语义分割模型。

S103；计算该相邻视频帧中同一泊位区域图像的变化情况；

具体的，分别计算两视频帧图像中泊位线的二值图像的泊位线区域的总面积以及两图像中泊位线重叠区域的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，则泊位未发生变动，否则发生变动。

假设前后相邻两视频帧经检测后的泊位线二值图像中像素点的集合分别为集合A、B；则前后相邻二值图像帧中的泊位线区域、重叠区域的面积分别定义为

、

、

；其中：

重叠区域面积占泊位线部分的总面积的占比为：

S104；根据变化结果确定该泊位是否发生变动，如果

，那么可以判断泊位未发生变动；否则，就判断泊位发生了变动。通常

，如果判定泊位未发生变动，则本方法结束。

如果判定泊位发生了变动，则需要进一步检测视频帧中是否存在障碍物以及障碍物的变化情况，若视频帧中存在障碍物，则获取障碍物的矩形框，计算障碍物区域的面积以及重新统计泊位线区域的总面积，所述泊位线区域的总面积为剔除障碍物区域之后的面积；计算重叠区域面积在泊位线区域的总面积的占比，若占比大于设定的预值，则泊位未发生变动，否则发生变动，本实施例中，所述障碍物选取行人和车辆；

具体如下，检测相邻的视频帧，若前后相邻视频帧中泊位区域内部存在疑似背景区域的标记，那说明此泊位可能部分被遮挡，加载行人和车辆检测模型，采用基于神经网络的深度学习方法，检测视频帧中的车辆和行人位置信息，获取车辆和行人的检测矩形框并计算障碍物区域的面积。

假设前后视频帧经检测后的泊位线二值图像中像素点的集合分别为集合分别为A、B，前后帧中检测到的车辆和行人的集合分别为

和

，是车辆和行人的检测矩形框所包围的像素点集合，重叠区域的面积为

；则A、B二值图像中的泊位线重叠区域的面积

、

、

，则分别为

其中重叠区域面积占泊位线部分的总面积的占比为

。

具体的如果

，那么可以判断泊位未发生变动；否则，就判断泊位发生了变动。通常

。

本发明中获取车辆以及行人检测矩形框的步骤如下： 视频帧图像作为输入，经车辆训练模型运算后得到的输出为车辆的坐标信息，每个车辆的检测框为矩形，记录并保存每个视频帧中检测到的车辆检测框；

经行人训练模型运算后得到的输出为行人的坐标信息，每个行人的检测框为矩形，记录并保存每个视频帧中检测到的行人检测框；根据得到的矩形框，计算其面积。

进一步的，结合检测到的车辆和行人矩形框，再次比对前后视频帧中检测到的泊位线信息，避免因车辆遮挡车道线造成检测的误差，进而判断泊位的变动情况。在系统中提前载入车辆和行人检测模型，所述模型是根据路侧停车场景中真实视频帧图像进行标注及迭代训练得到的训练模型；

需要说明的是，本发明中，对连续多个视频帧中车辆坐标进行检测之前还包括建立车辆训练模型，建立训练模型具体包括：预先采集视频帧中停车区域内的多个车辆样本图片，通过基于卷积神经网络的深度学习多个所述车辆样本图形进行标注训练，得到车辆训练模型；

对连续多个视频帧中行人坐标进行检测之前还包括建立行人训练模型，建立训练模型具体包括：预先采集视频帧中停车区域内的多个行人样本图片，通过基于卷积神经网络的深度学习多个所述行人样本图形进行标注训练，得到行人训练模型。

如图3所示为本发明中泊位的变化状态图，其中ABCD构成的区域为第一帧的视频图像， A₀B₀C₀D₀为第二帧的视频图像，从图中可以看出，两连续的视频帧中重叠部位只有两点，那判定此泊位异常，可能导致异常的原因不排除由于摄像机角度的偏转造成的。

如图4所示的车辆遮挡导致泊位残缺的示意图，图中矩形框虚线部分为被车辆遮挡的部分，在计算泊位区域的总面积时，需要剔除掉被车子遮挡部分的面积。

本发明还公开了一种路侧停车泊位异常变动的自动识别装置，其用于执行上述方法，所述装置包括：

采集模块，所述采集装置用于采集多个视频帧，

检测模块，所述检测装置用于检测相邻视频帧，得到视频帧中任一泊位线的区域图像；

计算模块，所述计算模块用于计算该相邻视频帧中同一泊位区域图像的变化情况，

判断模块，所述判断模块用于根据变化结果确定该泊位是否发生变动。

进一步的，在检测相邻视频帧之前还包括加载泊位检测模型，所述计算模块还用于根据泊位检测模型运算，得到视频帧中泊位线的二值图像。

进一步的，所述装置还包括标记模块：所述标记模块用于标记泊位线二值图像中的泊位线区域和背景区域，

所述计算模块还用于计算泊位线二值图像中的泊位线区域的总面积、背景区域面积和/或泊位线重叠区域的面积；

以及计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，所述判断模块还用于判定泊位是否发生变动。

进一步的，若泊位发生变动，所述检测模块还用于检测相邻视频帧中是否存在障碍物，若存在障碍物，则检测障碍物的位置信息，根据检测结果再次确定泊位是否发生变动，所述障碍物包括行人和/或车辆中的一种或多种。

进一步的，所述计算模块还用于，在获取障碍物的矩形框之后计算障碍物区域的面积，所述泊位线区域的总面积为剔除障碍物区域之后的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，所述计算模块还用于判定泊位是否发生变动。

结合上述实施例对本发明一种路侧停车泊位异常识别方法的流程做进一步的说明，一种路侧停车泊位异常变动的自动识别方法，基于路侧停车的高位视频中同一采集设备采集的同一泊位的间隔一定时间段的不同视频帧，以某一时刻的视频帧中场景及停车位的信息为基准，在本发明中，采集的前后视频帧是选取间隔为数天甚至数月的连续视频帧作为样本，但实际采集中不对间隔进行限制，以方便检测帧间的停车位变化。但间隔时间较短，如数分钟，则泊位发生变动的可能性较小，检测的意义不大；相反，检测的间隔时间较长，周围环境和采集条件发生较大变化时，可引起误报警，如季节变换导致的绿植遮挡变化、工程施工导致的环境变化、长时间导致的相机采集条件变化等等。

在本发明中，采集的前后视频帧是选取间隔为数天甚至数月的连续视频帧作为样本，但实际采集中不对间隔进行限制，以方便检测帧间的停车位变化。但间隔时间较短，如数分钟，则泊位发生变动的可能性较小，检测的意义不大；相反，检测的间隔时间较长，周围环境和采集条件发生较大变化时，可引起误报警，如季节变换导致的绿植遮挡变化、工程施工导致的环境变化、长时间导致的相机采集条件变化等等。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。

因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种路侧停车泊位异常变动的自动识别方法，其特征在于，所述方法包括：

获取通过视频设备采集的多个视频帧；

检测任意相邻视频帧，得到视频帧中任一泊位线区域图像；

比对该相邻视频帧图像中同一泊位区域图像的变化情况；

根据变化结果确定该泊位是否发生变动。

2.根据权利要求1所述的方法，其特征在于：在检测任意相邻视频帧之前还包括加载泊位检测模型，根据泊位检测模型运算，得到泊位线的二值图像。

3.根据权利要求2所述的方法，其特征在于：所述方法还包括：

标记泊位线的二值图像中的泊位线区域和背景区域，

分别计算两视频帧图像中泊位线的二值图像的泊位线区域的总面积以及两图像中泊位线重叠区域的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，则泊位未发生变动，否则发生变动。

4.根据权利要求3所述的方法，其特征在于：若泊位发生变动，则检测相邻视频帧中是否存在障碍物，若存在，检测障碍物的位置信息，根据检测结果再次确定泊位是否发生变动，所述障碍物包括行人和/或车辆中的一种或多种。

5.根据权利要求4所述的方法，其特征在于：获取障碍物的矩形框，计算障碍物区域的面积，所述泊位线区域的总面积为剔除障碍物区域之后的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，则泊位未发生变动，否则发生变动。

6.一种路侧停车泊位异常变动的自动识别装置，其特征在于，所述装置包括：

采集模块，所述采集装置用于采集多个视频帧，

检测模块，所述检测装置用于检测任意相邻视频帧，得到视频帧中任一泊位线的区域图像；

计算模块，所述计算模块用于计算该相邻视频帧中同一泊位区域图像的变化情况，

判断模块，所述判断模块用于根据变化结果确定该泊位是否发生变动。

7.根据权利要求6所述的装置，其特征在于：在检测相邻视频帧之前还包括加载泊位检测模型，所述计算模块还用于根据泊位检测模型运算，得到视频帧中泊位线的二值图像。

8.根据权利要求7所述的装置，其特征在于：所述装置还包括标记模块：所述标记模块用于标记泊位线二值图像中的泊位线区域和背景区域，

所述计算模块还用于计算泊位线二值图像中的泊位线区域的总面积和泊位线重叠区域的面积；

以及计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，所述判断模块还用于判定泊位是否发生变动。

9.根据权利要求8所述的装置，其特征在于：若泊位发生变动，所述检测模块还用于检测相邻视频帧中是否存在障碍物，若存在，检测障碍物的位置信息，根据检测结果再次确定泊位是否发生变动，所述障碍物包括行人和/或车辆中的一种或多种。

10.根据权利要求9所述的装置，其特征在于：

所述计算模块还用于，在获取障碍物的矩形框之后计算障碍物区域的面积，所述泊位线区域的总面积为剔除障碍物区域之后的面积；

计算重叠区域面积在泊位线区域的总面积的占比，

若占比大于设定的预值，所述计算模块还用于判定泊位是否发生变动。

Images