CN102034212A - 一种基于视频分析的城市管理系统 - Google Patents

Abstract

一种基于视频分析的城市管理系统，包括信息采集模块、视频分析模块和系统管理模块三部分。信息采集模块，主要负责城市各摄像头监控区域的视频图像的拍摄、传输和贮存，结合地理信息系统(GIS)能定位各个采集点的地理信息数据。视频分析模块，主要负责对采集到的视频录像进行智能分析，在复杂的室外环境下将感兴趣目标提取出来，分成静止目标和运动目标，对视频提取低级特征后融合形成高级特征向量，从内容上理解和表达视频事件，通过实时分析，建立视频事件分类器，将异常事件主动监测出来。系统管理模块，用于视频采集设备和信息系统的管理，根据视频分析模块输出的事件分类结果异常事件发生的具体位置，以及异常事件的严重等级，送出对应的告警信息。

Description

一种基于视频分析的城市管理系统

技术领域

本发明涉及城市管理信息系统领域，尤其涉及一种利用计算机视觉进行视频分析的城市管理系统。

背景技术

视频监控网络在城市社会治安等方面发挥了重要的作用，同样的，也可以在城市管理信息系统中利用视频监控实现远距离的监管，提高城市管理的效率。视频监控用于城市管理必须解决庞大视频数据量的处理、分析和应用的问题。由于视频监控存在可视范围特性，城市内必须部署足够多的摄像装置，这些摄像装置采集到的大量视频信息如果仅仅依靠人工处理和分析，将会造成大量的人力资源浪费，同时由于监控人员长时间盯着监控屏幕，很容易造成人员疲劳，引发思想松懈，从而导致漏报警。要想实时地分析处理海量的视频信息，必须通过基于计算机视觉的视频分析技术手段，而不是单纯地增加人员配置。

另一方面，城市管理中的基础设施、市容景观、环境卫生等领域，发生的异常事件通常具有明显的视频特征：如路面新增覆盖物、路面完整性被破坏等，可以通过智能视频分析提取这些事件的低级特征，经过融合形成高级语义特征，即从内容上理解视频事件，从而实现主动、及时的报告异常事件的发生。

发明内容

本发明的目的是提供一种基于视频分析的城市管理系统，能够在复杂多变的室外环境中提取视频特征，从而主动监测异常事件，结合异常事件发生的具体位置和严重等级，及时发出告警信息，辅助城市管理。

为达到上述目的，本发明采用如下的技术方案：

基于视频分析的城市管理系统，包括：

信息采集模块，主要负责城市各摄像头监控区域的视频图像的拍摄、传输和贮存，结合地理信息系统(GIS)能定位各个采集点的地理信息数据。

视频分析模块，对采集到的视频录像进行智能分析，能够从复杂多变的背景中分割感兴趣区域目标，提取视频的低级特征，并将这些低级特征进行融合后形成高级语义特征，从内容上理解视频事件，主动监测异常事件的发生；

系统管理模块，用于视频采集设备和信息系统的管理，根据视频分析模块输出的事件分类结果和由GIS提供的异常事件发生的具体位置，以及异常事件的严重等级，发出对应的告警信息。

所述的视频分析模块包括以下步骤：

①复杂室外环境下目标分割算法。通过机器学习，建立自适应背景模型；获取的实时图像，采用背景减除的方法，提取感兴趣区域目标。

这种方法能够适应路面环境的复杂多变的要求，包括光照、司机昼夜、晴雨等，并能很好地抗摄像头抖动。

②视频特征提取和目标跟踪。对视频提取有效的低级特征，包括全局特征和局部特征。目标分为两类：静止目标和运动目标。采用基于特征的方法跟踪运动目标。

全局特征采用颜色特征来描述，具体为颜色直方图：首先选择颜色空间，本发明采用HSV空间，再根据公式构建颜色直方图作为颜色特征向量。

局部特征采用SIFT算子来描述：通过尺度空间极值检测、关键点的位置确定、关键点方向参数的确定、特征向量描述这四个步骤提取SIFT特征向量。并采用视觉特征布袋模型(Bag-of-visual-words)的方法来构筑局部特征向量。

③视频事件表达。将提取的全局特征和局部特征向量融合后表达视频事件，本发明采用并行融合的方法：即将全局特征和局部特征表示向量并成一个复向量。假设M和N分别是全局特征和局部特征的特征空间，特征表示向量α∈M和β∈N，并行融合策略将这两个特征向量并成一个大的复合特征向量γ，使得γ＝α+i·β，这样并行合成的复合特征向量构成了一个新的特征空间。在这个新的特征空间里表达各种不同的视频事件，将这些表达对应到相应类型的视频事件。

④视频事件分类器的建立。定义城市管理中的几类异常事件，构建这些异常事件的语义特征模型，将视频事件进行分类。异常事件按照背景模型的更新动态分为三类：(1)路面新增覆盖物，(2)路面完整性被破坏，(3)路面目标活动异常。

本发明的分类器选择随机森林分类器，其中采用Adaboost算法更新权重来构建随机森林分类器。

⑤异常事件监测。实时分析视频，通过视频事件分类器，将异常事件及时、主动地监测出来，并根据事件的严重程度进行分级管理。

本发明具有以下优点和积极效果：

1)利用基于计算机视觉的视频分析技术进行城市管理；

2)显著提高城市管理水平，提升城市管理效率，节省人员开支，改善民生环境。

附图说明

图1是本发明提供的基于视频分析的城市管理系统结构示意图。

图2是本发明提供的视频分析模块流程图。

图3是本发明提供的视频事件表达流程图。

其中，11-信息采集模块、12-视频分析模块、13-系统管理模块；

21-视频特征提取、22-视频特征融合、23-视频事件表达、24-视频事件分类器、25-异常事件监测；

31-提取全局特征、32-提取局部特征。

具体实施方式

下面以具体实施例结合附图对本发明作进一步说明：

本发明提供了一种基于视频分析的城市管理系统，具体采用如下的技术方案，下面结合图1首先对本发明的工作机制进行详细描述。

基于视频分析的城市管理系统结构，其中11为信息采集模块，主主要负责城市各摄像头监控区域的视频图像的拍摄、传输和贮存，结合地理信息系统(GIS)能定位各个采集点的地理信息数据。；12为视频分析模块，是本系统的核心模块。具体流程是，能够适应室外复杂的环境，通过机器学习，建立自适应背景模型；获取实时图像，采用背景减除的方法，提取感兴趣区域目标。然后提取视频的低级特征，融合成高级语义特征后表达视频事件，预先定义城市管理中的几类异常事件，构建这些异常事件的语义特征模型，将视频事件进行分类，即构建视频事件分类器。实时分析视频，通过视频事件分类器，将异常事件及时自动地监测出来，并根据事件的严重程度进行分级管理。13为管理模块，用于视频采集设备和信息系统的管理，根据视频分析模块输出的事件分类结果和由GIS提供的异常事件发生的具体位置，以及异常事件的等级，发出对应的告警信息。通过这三个部分的有机结合，系统能够主动监测异常事件的发生，实现对城市的智能化管理。

本发明与传统的城市管理系统不同，以往的城市管理系统只是单纯地搜集底层信息，没有利用计算机超强的计算能力对视频信息进行处理和分析，从而需要大量人工进行监测，造成极大地人力资源浪费，并且仅仅停留在事后查找资料，无法实现主动地管理。而本系统利用基于计算机视觉的视频分析技术这一人工智能领域的前沿技术，结合GIS的空间分析能力，能够有效地辅助城市管理，提高管理质量。

本发明提供的基于视频分析的城市管理系统可以适用于大中小型城市和市政管理部门。

本发明提供的基于视频分析的城市管理系统，具体采用如下模块：

第一部分信息模块包括：

1.信息采集：拍摄城市各摄像头监控区域的视频图像，然后分别传输到主服务器进行处理和分析，由主服务器将有用的视频图像贮存起来。

2.GIS管理：GIS地理信息系统是以地理空间数据库为基础，在计算机软硬件的支持下，运用系统工程和信息科学的理论，科学管理和综合分析具有空间内涵的地理数据，以提供管理、决策等所需信息的技术系统。面对各个采集点共同采集到的海量数据，利用GIS的空间分析能力，能够对城市各区域的视频信息进行统一管理、分析和综合应用，实现政府部门总体管理和分区管理的目的，对某些敏感地区实施重点管理。

第二部分视频分析模块包括：

1.复杂环境下的目标分割算法：进行复杂多变背景下感兴趣区域目标的分割，我们采用背景减除的方法，这种方法复杂度低，易于实现，该算法的难点是通过机器学习，建立自适应背景模型，来适应路面环境的复杂多变性，根据获取的实时视频图像，采用背景减除的方法，提取感兴趣区域目标，这一步是提取视频特征的基础。目标是该算法能够适应不同的环境变化，包括光照、四季、昼夜、晴雨等，并能够很好地抗摄像头抖动。

目前背景建模的方法有很多，本发明采用混合高斯模型的方法，对多个背景状态分别建模，根据实时数据更新各个状态下的模型参数，用以解决复杂背景的建模问题。分为三个阶段实现：(1)训练阶段，进行背景建模。(2)检测阶段，将检测图像和背景模型进行减除运算，得到目标。(3)更新阶段，更新背景模型参数。

高斯混合模型的实现方法：将序列图像中某一像素点处在时间轴上的一系列观察值记录为X＝{X₁，X₂，...，X_t}，把这一系列观察值看作是一个独立于其它点的统计随机过程，用K个高斯分布的混合模型去模拟。由于各个分布互不相关，混合高斯模型可以表示为：

其中，μ_k和∑_k分别为第k个格斯分布的均值矢量和协方差矩阵。式中，G表示高斯概率密度函数，

w_k为第k个分布的权值，且所有个K权值之和为1，即满足

然后初始化模型，进行模型训练。在背景更新阶段，首先用当前观测值与已存在的第i个高斯模型匹配，如果匹配成功则按下式更新匹配的第i个高斯模型分布参数：

其中μ_i，t、σ_i，t为i时刻第i个高斯分布的均值、标准差，其中

如果匹配不成功则μ、σ保持不变，K个高斯分布的权重按下式更新：w_i，t+1＝(1-α_i)w_i，t+α_iM_i，t，其中w_i，t为第i个高斯分布的权值，对于匹配的高斯成分M_i，t＝1，不匹配的K-1个成分M_i，t＝0。这里α据顶高斯成分权重的更新速度，确定各个高斯分布在背景中的优先级，其值越小，背景成分越稳定；β决定背景的更新速度，其值越大，背景成分收敛速度越快。若α取较小的值，β取一个相对较大的值，可以提高收敛速度，同时保持背景模型的稳定性。

2.视频特征提取和目标跟踪：提取视频的有效的低级特征，进行融合后形成高级语义特征向量。本发明提取的低级特征包括全局特征和局部特征。全局特征就是通过捕捉整个图像的某些特征来表示该图像。而局部特征就是着重描述图像某个局部的细节特征。一次，全局特征包含一些冗余信息，鲁棒性不够。局部特征具有冗余性低、可以有效抵抗各种几何变换等优点。将这两者结合起来，能够很好的表达视频事件。

a.全局特征。

全局特征主要有颜色特征，纹理特征等。本发明采用的是颜色特征。颜色特征作为一种全局特征，它描述了图像或图像区域所对应的景物的表面性质。与其它特征相比，颜色特征非常稳定，它对于旋转、平移、尺度变化，甚至各种形变都不敏感，表现出相当强的鲁棒性，而且颜色特征计算简单，应用广泛。本发明具体使用的是颜色直方图来描述全局特征，其函数表达式为：

$H\left(K\right)=\frac{n_K}{N}(N=\mathrm{0,1}...,L-1)$

其中，K代表图像的特征取值，L是特征可取值的个数，n_K是图像中具有特征值为K的象素的个数，N是图像象素的总数。

b.局部特征。

局部特征的提取也称为特征点(关键点)问题，主要包括特征点的检测、描述和匹配。特征点是由于景物的物理与几何特性使图像中局部区域的灰度产生明显变化而形成的，如果某些点的邻域变化比较大，则称之为特征点，如角点、噪声点等。目前常用的特征点提取方法主要有Harris角点提取、SUSAN角点提取等，但这些特征点都不具有尺度、旋转不变性，从本发明的实际情况出发，采用SIFT算法来提取特征点，其本质就是从图像中提取关键点，它包括了以下4个步骤：尺度空间极值检测、关键点的位置确定、关键点方向参数的确定、特征向量描述。再用视觉特征布袋模型(Bag-of-visual-words)方法来构筑局部特征向量。

运动目标的跟踪过程，就是依据目标及其所处的环境，选择表示目标的特征，在后续帧中搜索与该特征向量最匹配的目标位置的过程，本发明采用基于特征的跟踪方法，通过各帧运动目标个体特征的匹配实现跟踪，该算法简单，易于实时处理。基于特征的目标跟踪方法利用了特征位置的变化来跟踪目标，通常分为三步：第一步特征提取，本发明中已经提取了SIFT特征，该特征具有旋转不变性等特点，在图像处理研究领域中应用十分广泛。第二部特征匹配，在连续帧图像上寻找特征点的对应关系，在计算运动信息之前，需要逐帧对目标上的特征点进行跟踪。第三步计算运动信息。

3.视频事件表达：将提取的全局特征和局部特征融合成新的特征向量，用它来表达视频事件，本发明采用并行融合的方法：即将全局特征和局部特征向量并成一个复向量。假设M和N分别是全局特征和局部特征的特征空间，都在模式样本空间Ω中，特征表示向量α∈M和β∈N，并行融合策略将这两个特征向量并成一个大的复合特征向量γ，使得γ＝α+i·β，其中i虚数单位。如果α和β维数不一致，则通过对低维的向量补0达到维数一致。例如，a＝(a₁，a₂，a₃)^τ，β＝(β₁，β₂)^τ，则首先将β转换成β＝(β₁，β₂，0)^τ，然后合成向量γ＝(a₁+i·β₁，a₂+i·β₂，a₃+i·0)^τ。在Ω上定义一个并行融合的特征空间C＝{α+i·β|α∈M，β∈N}，这是一个n的复向量空间，其中n＝max{dimM，dimN}，在这个空间里，内积可以定义为：(X，Y)＝X^HY，其中X，Y∈C，H表示共轭转置。这种内积的复向量空间称为酉空间，酉空间中有一种范数：

其中Z＝(a₁+i·β₁，a₂+i·β₂，...，a_n+i·β_n)^τ。相应的，复向量Z₁和Z₂之间的距离(酉距离)可定义为：

并行融合方法与串行融合方法相比，降低了融合后向量的维数，同时引入了酉空间的概念，把两个实向量空间的融合问题转化成一个复向量空间的数学问题。

这样并行融合后复向量构成了一个新的特征空间，在这个新的特征空间里，用不同的复特征向量表达各种视频事件，将这些表达对应到相应类型的视频事件，为后续的监测提供有力的技术支持。

4.视频事件分类：定义城市管理中的几类异常事件，构建这些异常事件的语义特征模型，将视频事件进行分类。异常事件按照背景模型的更新动态分为三类：(1)路面新增覆盖物，(2)路面完整性被破坏，(3)路面目标活动异常。

视频事件分类算法的核心是分类器的建立，我们采用随机森林这种机器学习方法，随机森林以它自身固有的特点和优良的分类效果在众多的机器学习方法中脱颖而出，其实质是一种树预测器的组合，每一棵树都依赖于一个随机向量，森林中所有的向量都是独立同分布的。构建随机森林的方式很多，本发明采用Adaboost算法更新权重来构建随机森林分类器。这种算法是在助推算法的基础上发展而来的，它是在前面分类器错误分类的基础之上，为下一个分类器的输入选择训练集上的权重。

设

为关于训练集的K个不同的权重向量，对训练集进行K种不同方式加权，那么，所得的加权数据全体构成一个大集合。特别地，取权重为概率P(1)，P(2)，...P(k)且时，依据概率P(l)，...，p(k)从1，2，...，K中抽取整数，记为θ，如果θ＝k，则利用训练集与权重w(k)产生分类器h(x，θ)。

下面使用Adaboost算法产生随机森林：(1)使用Adaboost在某一数据集上运行了75次，产生75个权系数向量，保留后50个，记为w(1)，w(2)，...，w(50)。(2)第k个权系数向量的概率与Q(w_k)＝log[(1-error(k)/error(k))]成正比，其中error(k)是以w(k)加权的训练集产生的第k个分类器的误差。(3)运行250次，在少量的数据集上重复了100次，每一次都拿出10％作为检测集，然后将这100次的检测误差平均。在这个过程中，w(k+1)＝φ(w(k))，φ是一个有基础分类器定义的函数，记第k个个分类器为h(x，w_k)，第k个分类器的权重为Q(w_k)，对于将输入x分类为j的规范化投票等于将其收敛到E_Qπ[I(h(x，w)＝j)]，其中分布Qπ(dw)＝Q(w)π(dw)/∫Q(v)πd(v)，若猜测为真，则Adaboost等同于一个随机森林，训练集上的权重是服从分布Qπ的总体样本集中随机选择的。

5.异常事件监测：针对定义的三类异常事件，通过视频事件分类器进行主动监测。

(1)自动识别路面新增覆盖物，如一个物体(如箱子、包裹、麻袋)或者多个物体(垃圾)在监控区域突然出现，并超过了预定义的时间长度时就发出告警信息。这类异常事件的监测主要依据物体识别技术，这一技术目前已经比较成熟，但还没有系统地应用到城市信息管理系统当中。

(2)自动检测路面完整性被破坏，如下水井盖被移走，路面新出现的破损。通过和原始背景比对，自动检测出路面新出现的空洞和凹陷，主动监测这类异常事件，可以有效避免可能引发的事故。

(3)路面目标活动异常，如小商贩占道经营。在连续的图像帧间创建基于特征点等有关特征的对应匹配问题，得到运动目标的运动轨迹和运动信息，建立机器学习活动模式，当它学习到模式“人是在道路旁行走的”，“道路上停止的行人没有过多的手部动作”后，当某人在道路上长期停留，并且有交易的手部动作时，系统就能够主动将其监测出来。

第三部分管理模块包括：

1.发出告警：当监测到异常事件以后，系统会及时发出告警，提醒相关部门的工作人员采取相应措施。预警和报警的方法很多，可以采用尖锐的音乐或者鸣笛进行，也可以集成已经有的语音合成方案，但这种方案可能会在系统开销方面有较大的需求。

2.市政部门采取相应措施：系统会结合GIS数据及时定位异常事件发生的具体地点，同时将事件的严重程度告知工作人员，工作人员可以采取不同的应对措施，最大限度地减少危害和损失。

Claims (4)

1.一种基于视频分析的城市管理系统，包括信息采集模块、视频分析模块和系统管理模块三部分。信息采集模块，主要负责城市各摄像头监控区域的视频图像的拍摄、传输和贮存，结合地理信息系统(GIS)能定位各个采集点的地理信息数据。视频分析模块，主要负责对采集到的视频内容进行智能分析，提取视频事件，主动监测异常事件。系统管理模块，用于视频采集设备和信息系统的管理，根据视频分析模块输出的事件分类结果和异常事件发生的具体位置，以及异常事件的等级，送出对应的告警信息。其中视频分析模块，其特征在于，包括以下步骤：

①复杂室外环境下目标分割算法。通过机器学习，建立自适应背景模型；获取实时图像，采用背景减除的方法，提取感兴趣区域目标。目标分为两类：静止目标和运动目标。

②视频特征提取和目标跟踪。对视频提取有效的低级特征，包括全局特征和局部特征。跟踪运动目标，采用基于特征的跟踪方法。

③视频事件表达。将特征采用串行融合后形成高层语义特征向量，从内容上理解视频事件，以表达各种不同的视频事件，将这些表达对应到相应类别的视频事件。

④视频事件分类器的建立。定义城市管理中的几类异常事件，构建这些异常事件的语义特征模型，将视频事件进行分类。

⑤异常事件监测。实时分析视频，通过视频事件分类器，将异常事件及时自动地监测出来，并根据事件的严重程度进行分级管理。

2.根据权利要求1所述的一种基于视频分析的城市管理系统，其特征在于：

所述的视频分析模块步骤②中全局特征包括颜色特征，具体为颜色直方图，局部特征采用SIFT算子，并利用视觉特征布袋模型(Bag-of-visual-words)的方法来构筑局部特征向量。

3.根据权利要求1所述的一种基于视频分析的城市管理系统，其特征在于：

所述的视频分析模块步骤④中分类器选择随机森林分类器，其中采用Adaboost算法更新权重来构建随机森林分类器。

4.根据权利要求1所述的一种基于视频分析的城市管理系统，其特征在于：

所述的视频分析模块步骤④中异常事件分为三类：(1)路面新增覆盖物，(2)路面完整性被破坏，(3)路面目标活动异常。

Images