CN109325502B - 基于视频渐进区域提取的共享单车停放检测方法和系统 - Google Patents

Abstract

本发明公开了基于视频渐进区域提取的共享单车停放检测方法，包括有以下步骤：对视频图像进行注意力区域提取处理得到背景图像；对训练集图像中目标对象的长宽值进行聚类；根据聚类结果调整区域卷积神经网络的区域生成网络参数，并采用区域卷积神经网络提取目标对象的候选区域。本发明利用现有部署完善的监控视频系统，采用目标检测技术的过程中，利用聚类方法对目标对象的聚类结果调整区域卷积神经网络的区域生成网络参数，从而能够准确获取目标对象的位置和分类，利于对目标对象的管理规范。本发明作为基于视频渐进区域提取的共享单车停放检测方法和系统可广泛应用于图像处理领域。

Description

基于视频渐进区域提取的共享单车停放检测方法和系统

技术领域

本发明涉及图像处理领域，尤其是基于视频渐进区域提取的共享单车停放检测方法和系统。

背景技术

随着共享单车的迅猛发展，停放混乱已成为当前城市管理的最大痛点之一。作为处理此问题的常用手段，人工巡查方式工作量大、目标性不强、难以发现非主干道的零散单车，停放问题中，发现乱停放的共享单车是其首要和关键步骤。

在共享单车检测的相关技术中，主要分为两类，一类是人工检测，通过人工查看视频或现实场景，发现是否存在公共自行车存在乱停放现象；第二类主要通过传感设备，利用电子围栏等技术手段设定停车位，确定是否存在乱停放的共享单车。第一类方法准确率高，但不论是通过观看监控视频亦或是人工现场巡查，都将会带来人力物力的极度浪费，效率极其低下。第二类方法常见的有基于卫星定位技术以及基于蓝牙电子标签的电子围栏的方法。基于卫星定位技术(GPS)的电子围栏，其解决了人工观察的巨大工作量，同时也能较准确的检测到共享单车，但受限GPS定位精度与通讯耗电量，无法精准确定共享单车是否是停在规定的停车区域；基于蓝牙电子标签的电子围栏，需要在停放点和车锁内加装蓝牙设备，提供相应的网络与供电服务，增加安装及维护成本，物力消耗较大，且挖坑立杆涉及市政规划管理问题,同时受到定位精度的影响，定位偏差较大。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种基于视频渐进区域提取的高准确度共享单车停放检测方法。

为了解决上述技术问题，本发明的另一目的是：提供一种基于视频渐进区域提取的高准确度共享单车停放检测系统。

本发明所采用的技术方案是：基于视频渐进区域提取的共享单车停放检测方法，包括有以下步骤：

对视频图像进行注意力区域提取处理得到背景图像；

对训练集图像中目标对象的长宽值进行聚类；

根据聚类结果调整区域卷积神经网络的区域生成网络参数，并采用区域卷积神经网络提取目标对象的候选区域。

进一步，所述对训练集图像中目标对象的长宽值进行聚类这一步骤，具体包括有以下子步骤：

获取训练集图像中目标对象的长宽值二维数据作为样本数据集合；

随机选取其中一个二维数据作为初始聚类中心；

计算每个样本数据与当前最近的聚类中心之间的最短距离，计算每个样本被选为下一个聚类中心的概率，概率最大的样本数据作为聚类中心；

重复上一步骤得到多个聚类中心；

根据多个聚类中心将样本数据集合分为多个聚类集合，并对多个聚类集合分别计算新的聚类中心；

重复上一步骤直至所有样本数据与其所属的聚类集合的聚类中心的距离之和最小。

进一步，所述区域卷积神经网络为Faster R-CNN。

进一步，所述根据聚类结果调整区域卷积神经网络的区域生成网络参数，并采用区域卷积神经网络提取目标对象的候选区域这一步骤，具体包括有以下子步骤：

将背景图像提取后的待检测视频帧输入至区域卷积神经网络；

根据聚类得到的长宽值以及长宽值之比调整区域生成网络中的anchors参数，并采用区域生成网络生成候选区域；

利用Softmax分类器和边框回归判断候选区域内是否为目标对象，并获取目标对象的前景位置；

把候选区域映射到卷积神经网络的最后一层卷积特征图上，通过RoI pooling层使每个感兴趣区域生成固定尺寸的特征图；

利用特征图计算目标对象的类别，并利用边框回归获得最终候选区域。

进一步，所述对视频图像进行注意力区域提取处理得到背景图像这一步骤，具体为：

获取视频图像的多个视频帧；

采用混合高斯背景建模去除运动状态下的前景目标，得到背景图像。

本发明所采用的另一技术方案是：基于视频渐进区域提取的共享单车停放检测系统，包括有

注意力区域提取模块，用于对视频图像进行注意力区域提取处理得到背景图像；

聚类模块，用于对训练集图像中目标对象的长宽值进行聚类；

候选区域提取模块，用于根据聚类结果调整区域卷积神经网络的区域生成网络参数，并采用区域卷积神经网络提取目标对象的候选区域。

进一步，所述聚类模块包括有

数据获取子模块，用于获取训练集图像中目标对象的长宽值二维数据作为样本数据集合；

初始聚类中心选择子模块，用于随机选取样本数据集合中的一个二维数据作为初始聚类中心；

多中心计算子模块，用于计算每个样本数据与当前最近的聚类中心之间的最短距离，计算每个样本被选为下一个聚类中心的概率，概率最大的样本数据作为聚类中心；然后重复上述计算过程得到多个聚类中心；

迭代计算子模块，用于根据多个聚类中心将样本数据集合分为多个聚类集合，并对多个聚类集合分别计算新的聚类中心；然后重复上述计算过程直至所有样本数据与其所属的聚类集合的聚类中心的距离之和最小。

进一步，所述候选区域提取模块中的区域卷积神经网络为Faster R-CNN。

进一步，所述候选区域提取模块包括有

输入子模块，用于将背景图像提取后的待检测视频帧输入至区域卷积神经网络；

第一候选区域生成子模块，用于根据聚类得到的长宽值以及长宽值之比调整区域生成网络中的anchors参数，并采用区域生成网络生成候选区域；

前景位置获取子模块，用于利用Softmax分类器和边框回归判断候选区域内是否为目标对象，并获取目标对象的前景位置；

特征图生成子模块，用于把候选区域映射到卷积神经网络的最后一层卷积特征图上，通过RoI pooling层使每个感兴趣区域生成固定尺寸的特征图；

第二候选区域生成子模块，用于利用特征图计算目标对象的类别，并利用边框回归获得并利用边框回归获得最终候选区域。

进一步，所述注意力区域提取模块包括有

数据获取子模块，用于获取视频图像的多个视频帧；

背景提取子模块，用于采用混合高斯背景建模去除运动状态下的前景目标，得到背景图像。

本发明的有益效果是：利用现有部署完善的监控视频系统，采用目标检测技术的过程中，利用聚类方法对目标对象的聚类结果调整区域卷积神经网络的区域生成网络参数，从而能够准确获取目标对象的位置和分类，利于对目标对象的管理规范。

附图说明

图1为本发明方法的步骤流程图；

图2为本发明方法中聚类的步骤流程图；

图3为本发明方法中候选区域提取的步骤流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

参照图1，基于视频渐进区域提取的共享单车停放检测方法，包括有以下步骤：

对视频图像进行注意力区域提取处理得到背景图像，即将运动前景与静止背景分离开，减少了行进中目标对象对检测结果的影响，同时也减少了监控视频中行进的行人或车辆对停止状态下目标对象的检测所带来的干扰；

对训练集图像中目标对象的长宽值进行聚类；

根据聚类结果调整区域卷积神经网络的区域生成网络参数，并采用区域卷积神经网络提取目标对象的候选区域。

由于区域卷积神经网络中的区域生成网络参数根据聚类结果调整，本发明方法可更加精确地对停放状态下的目标对象进行位置信息和类别信息的获取，不仅适用与共享单车的停放检测，还可扩展到复杂背景下其他物体的检测与识别。

进一步作为优选的实施方式，所述对视频图像进行注意力区域提取处理得到背景图像这一步骤，具体为：

获取视频图像的多个视频帧；

采用混合高斯背景建模去除运动状态下的前景目标，得到背景图像。

例如采集一段时间内连续的多个视频帧，设视频中的某个像素点在t时刻的像素值为X_t，则X_t服从的混合高斯分布概率密度函数如式(1)(2)(3)所示：

其中，k为高斯分布的个数，

为t时刻第i个高斯分布，μ_i,t为其均值，τ_i,t为其协方差矩阵，σ_i,t为方差，ω_i,t是第i个高斯分布的权重。

逐次读取视频序列的N帧图像，将图像当前像素值X_t与K个被赋予了权值的模型进行比较，如果它与某个高斯模型间的关系满足式(4)，那么认为这个像素与该模型匹配，若所匹配的模型符合背景要求，则该属于背景，否则属于前景。

|X_t-μ_i,t-1|≤2.5σ_i,t-1 (4)

各模式权值按公式(5)更新，其中α为模型的更新率，对于匹配的模型M_k,t＝1，不匹配的模型M_k,t＝0，然后各模型的权重进行归一化。

ω_k,t＝(1-α)*ω_k,t-1+αM_k,t (5)

未匹配模型的均值μ_i,t与标准差σ不变，匹配模型的参数按公式(6)(7)(8)更新。

μ_t＝(1-ρ)*μ_t-1+ρ*X_t (7)

若现有的背景模型中没有可满足关系式(4)的，则权重值小的模型会被当前像素值替换，之后各个模型按ω/α²先进行降序，继续选前B个模型作为背景，这里B满足式(9)，参数T表示背景所占比例。

参照图2，进一步作为优选的实施方式，所述对训练集图像中目标对象的长宽值进行聚类这一步骤，以共享单车目标为例，具体包括有以下子步骤：

获取训练集图像中共享单车的标注数据，即长宽值二维数据作为样本数据集合；

随机选取其中一个二维数据作为初始聚类中心c₁；

计算每个样本数据与当前最近的聚类中心之间的最短距离D(x)，计算每个样本被选为下一个聚类中心的概率

概率最大的样本数据作为聚类中心；

重复上一步骤得到多个聚类中心，例如选出k个聚类中心μ₁,μ₂,…,μ_k；

根据多个聚类中心将样本数据集合分为多个聚类集合，并对多个聚类集合分别计算新的聚类中心；具体为对多个聚类中心之外的样本数据分别计算其与多个聚类中心的相似度，并根据相似度分配到最相似的聚类集合中，其中第i个数据对象所属类别c⁽ⁱ⁾计算如下：

c⁽ⁱ⁾＝arg min_j||x⁽ⁱ⁾-μ_j||²,j＝1,2,…,k (10)

计算聚类中所有对象的均值，更新每个聚类的聚类中心，聚类中心算法如式(11):

式中1{c⁽ⁱ⁾＝j}表示的函数为：

重复上一步骤直至所有样本数据与其所属的聚类集合的聚类中心的距离之和f(x)最小：

进一步作为优选的实施方式，所述区域卷积神经网络为Faster R-CNN。

参照图3，进一步作为优选的实施方式，所述根据聚类结果调整区域卷积神经网络的区域生成网络参数，并采用区域卷积神经网络提取目标对象的候选区域这一步骤，具体包括有以下子步骤：

将背景图像提取后的待检测视频帧输入至区域卷积神经网络进行特征提取；

根据聚类得到的长宽值以及长宽值之比调整区域生成网络中的anchors参数，并采用区域生成网络生成候选区域，例如在每张图像中生成300个候选区域；

利用Softmax分类器和边框回归(Bounding box regression)判断候选区域内是否为目标对象，即是否为共享单车，并获取目标对象的前景位置；

把候选区域映射到卷积神经网络的最后一层卷积特征图上，通过RoI pooling层使每个感兴趣区域(RoI，Region of Interest)生成固定尺寸的特征图；

利用特征图计算目标对象的类别，即共享单车的种类，并利用边框回归获得最终候选区域。

对应上述基于视频渐进区域提取的共享单车停放检测方法，本发明另一具体实施例为基于视频渐进区域提取的共享单车停放检测系统，包括有

注意力区域提取模块，用于对视频图像进行注意力区域提取处理得到背景图像；

聚类模块，用于对训练集图像中目标对象的长宽值进行聚类；

候选区域提取模块，用于根据聚类结果调整区域卷积神经网络的区域生成网络参数，并采用区域卷积神经网络提取目标对象的候选区域。

进一步作为优选的实施方式，所述聚类模块包括有

数据获取子模块，用于获取训练集图像中目标对象的长宽值二维数据作为样本数据集合；

初始聚类中心选择子模块，用于随机选取样本数据集合中的一个二维数据作为初始聚类中心；

多中心计算子模块，用于计算每个样本数据与当前最近的聚类中心之间的最短距离，计算每个样本被选为下一个聚类中心的概率，概率最大的样本数据作为聚类中心；然后重复上述计算过程得到多个聚类中心；

迭代计算子模块，用于根据多个聚类中心将样本数据集合分为多个聚类集合，并对多个聚类集合分别计算新的聚类中心；然后重复上述计算过程直至所有样本数据与其所属的聚类集合的聚类中心的距离之和最小。

进一步作为优选的实施方式，所述候选区域提取模块中的区域卷积神经网络为Faster R-CNN。

进一步作为优选的实施方式，所述候选区域提取模块包括有

输入子模块，用于将背景图像提取后的待检测视频帧输入至区域卷积神经网络；

第一候选区域生成子模块，用于根据聚类得到的长宽值以及长宽值之比调整区域生成网络中的anchors参数，并采用区域生成网络生成候选区域；

前景位置获取子模块，用于利用Softmax分类器和边框回归判断候选区域内是否为目标对象，并获取目标对象的前景位置；

特征图生成子模块，用于把候选区域映射到卷积神经网络的最后一层卷积特征图上，通过RoI pooling层使每个感兴趣区域生成固定尺寸的特征图；

第二候选区域生成子模块，用于利用特征图计算目标对象的类别，并利用边框回归获得并利用边框回归获得最终候选区域。

进一步作为优选的实施方式，所述注意力区域提取模块包括有

数据获取子模块，用于获取视频图像的多个视频帧；

背景提取子模块，用于采用混合高斯背景建模去除运动状态下的前景目标，得到背景图像。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.基于视频渐进区域提取的共享单车停放检测方法，其特征在于，包括有以下步骤：

对视频图像进行注意力区域提取处理得到背景图像；

获取训练集图像中目标对象的长宽值二维数据作为样本数据集合；

随机选取其中一个二维数据作为初始聚类中心；

计算每个样本数据与当前最近的聚类中心之间的最短距离，计算每个样本被选为下一个聚类中心的概率，概率最大的样本数据作为聚类中心；

重复上一步骤得到多个聚类中心；

根据多个聚类中心将样本数据集合分为多个聚类集合，并对多个聚类集合分别计算新的聚类中心；

重复上一步骤直至所有样本数据与其所属的聚类集合的聚类中心的距离之和最小；

区域卷积神经网络为Faster R-CNN，将背景图像提取后的待检测视频帧输入至区域卷积神经网络；

根据聚类得到的长宽值以及长宽值之比调整区域生成网络中的anchors参数，并采用区域生成网络生成候选区域；

利用Softmax分类器和边框回归判断候选区域内是否为目标对象，并获取目标对象的前景位置；

把候选区域映射到卷积神经网络的最后一层卷积特征图上，通过RoI pooling层使每个感兴趣区域生成固定尺寸的特征图；

利用特征图计算目标对象的类别，并利用边框回归获得最终候选区域；

其中，逐次读取视频序列的N帧图像，将图像当前像素值与K个被赋予了权值的模型进行比较，如果满足如下关系式，那么认为这个像素与该模型匹配，若所匹配的模型符合背景要求，则属于背景，否则属于前景，关系式为：

|X_t-μ_i,t-1|≤2.5σ_i,t-1

其中，为K高斯分布的个数，X_t为视频中的某个像素点在t时刻的像素值，μ_i,t-1为高斯分布均值，σ_i,t-1为方差。

2.根据权利要求1所述的基于视频渐进区域提取的共享单车停放检测方法，其特征在于：所述对视频图像进行注意力区域提取处理得到背景图像这一步骤，具体为：

获取视频图像的多个视频帧；

采用混合高斯背景建模去除运动状态下的前景目标，得到背景图像。

3.基于视频渐进区域提取的共享单车停放检测系统，其特征在于：包括有

注意力区域提取模块，用于对视频图像进行注意力区域提取处理得到背景图像；

聚类模块，用于获取训练集图像中目标对象的长宽值二维数据作为样本数据集合；随机选取其中一个二维数据作为初始聚类中心；计算每个样本数据与当前最近的聚类中心之间的最短距离，计算每个样本被选为下一个聚类中心的概率，概率最大的样本数据作为聚类中心；重复上一步骤得到多个聚类中心；根据多个聚类中心将样本数据集合分为多个聚类集合，并对多个聚类集合分别计算新的聚类中心；重复上一步骤直至所有样本数据与其所属的聚类集合的聚类中心的距离之和最小；区域卷积神经网络为FasterR-CNN，将背景图像提取后的待检测视频帧输入至区域卷积神经网络；

候选区域提取模块，用于根据聚类得到的长宽值以及长宽值之比调整区域生成网络中的anchors参数，并采用区域生成网络生成候选区域；利用Softmax分类器和边框回归判断候选区域内是否为目标对象，并获取目标对象的前景位置；把候选区域映射到卷积神经网络的最后一层卷积特征图上，通过RoIpooling层使每个感兴趣区域生成固定尺寸的特征图；利用特征图计算目标对象的类别，并利用边框回归获得最终候选区域；

其中，逐次读取视频序列的N帧图像，将图像当前像素值与K个被赋予了权值的模型进行比较，如果满足如下关系式，那么认为这个像素与该模型匹配，若所匹配的模型符合背景要求，则属于背景，否则属于前景，关系式为：

|X_t-μ_i,t-1|≤2.5σ_i,t-1

其中，为K高斯分布的个数，X_t为视频中的某个像素点在t时刻的像素值，μ_i,t-1为高斯分布均值，σ_i,t-1为方差。

4.根据权利要求3所述的基于视频渐进区域提取的共享单车停放检测系统，其特征在于：所述注意力区域提取模块包括有数据获取子模块，用于获取视频图像的多个视频帧；

背景提取子模块，用于采用混合高斯背景建模去除运动状态下的前景目标，得到背景图像。

Images