CN103491351A - 违章建筑物的智能视频监控方法 - Google Patents

Abstract

本发明提供一种违章建筑物智能监控方法，包括步骤：建立背景历史数据库；对背景图片进行预处理，消除背景图片中光照的影响；对视频图像基于纹理模式和运动模式进行背景建模，滤除视频图像中的流动前景，获得每一个监控预置点在不同时间节点下的背景图片；将相同监控预置点在不同时相的背景图片与历史背景组合成新视频流，在新视频流中检测动态目标；分析新视频流中动态目标的变化特征，基于建筑物的变化特征确定监控预置点是否有建筑物；再结合监控预置点所在地块的建筑物规划数据库，判断当前在建建筑是否属于违建。本发明的方法适于国土资源监察、督查系统上使用，确保监管效率和检查的准确度，具有智能化、准确程度高、监控及时等优点。

Description

违章建筑物的智能视频监控方法

技术领域

本发明涉及智能监控技术领域，具体而言涉及一种违章建筑物的智能视频监控方法。

背景技术

城市违章建筑物的存在给城市的规划、建设和发展带来了诸多危害。主要包括：（1）缺乏统一的规划设计，破坏城市布局整体性，阻碍城市规划进程，增大城市规划与建设成本；（2）建设质量没有保障，存在火灾等严重安全隐患和公共卫生隐患，甚至破坏或阻碍电网、通讯网络等公共设施的检修与维护；（3）破坏城市形象；（4）影响了相邻之间的通风、采光，造成居住环境的恶化，增加安全隐患；（5）影响道路交通；（6）扩张无序严重影响到城市建设用地的构成从而极大地破坏了土地供求关系，甚至破环生态环境。目前城市规划行政主管有关部门主要通过人工巡查，热线举报的方式进行监管。这种监管措施实际运作起来存在很多弊端，其中监管效率低、智能化水平低等问题亟待解决。

国外发达国家对土地资源管理的研究主要侧重于数据采集、生态监测、环境保护。由于体制的差异（土地私有制），政府采用视频技术进行土地利用管理，发现违法违规现象的需求几乎不存在。

国内对土地利用管理大多停留在人工阶段，如依靠12336举报热线、媒体曝光、年度卫片检查、动态巡查等途径实现土地利用管理，监管实时性差、人为监督效率低、人力投资性价比低。

随着国土资源的合法利用受到国内各界越来越多重视，部分城市已率先提出了一系列创新性技术：利用视频监控技术管理国有土地方案，取得了一定的效果。比如，北京市在2011年5月开始在顺义试点这种土地执法新模式，目前已确定了466个视频监控点，可监控基本农田面积279.6万亩，覆盖比率达到90%；2012年9月，天津市计划投入1000万元，用3年时间，在基本农田、矿山、违法用地行为易发区安装远程视频监控设备，实施24小时全天候监控，监控边界达330公里，可对全市535万亩基本农田中的约75万亩进行监控；2011年11月，深圳市国土部门开通“天地网”数字监督平台，并将定点视频监控系统融入平台，从“天上看、地上查、网上管、视频探、群众报”五方面建立了立体空间监管模式，实现了统一指挥、统一监督、统一管理、统一评价和统一发布。但这些视频监控系统属于纯硬件平台，监控获取的视频图像中是否有违法违规行为，仍停留在人工判读阶段,自动化程度不高，缺乏智能化发现手段；方案效率低,容易漏判误判,违法违规行为难以做到早发现、早处理。图像作为人类获取信息的重要来源，已经涉及到日常生产，生活的各个角落。随着图像、视频处理技术的日新月异，其在各个领域的应用价值也得到了逐步的体现。把图像、视频处理技术拓展到城市建设监管领域，提高监测设备的智能化水平，从而提高城市规划和城市建设监管的效率和力度，具有很大的经济效益和社会意义。

智能视频监控是目前机器视觉领域研究的热点问题，具有广阔的应用前景和技术上实现的可能性。近些年西方发达国家从政府到企业，从学术界到工业界都在智能视频监控领域的研究上投入了巨大的精力，并且己经取得了很多实用的成果。美国国防高级研究项目署(TheU.S.DefenseAdvancedResearchProjectsAgencyDARPA)在1997年设立了以卡内基梅隆大学为首，联合麻省理工学院等多所高等院校和研究机构参加的视频监控项目(VideoSurveillanceandMonitoring,VSAM)，主要研究了实时自动监控军事和民用场景的视频理解技术。1999年，欧盟六所科研机构共同实施了视频监控和检索重大项目ADVISOR(AnnotatedDigitalVideoforSurveillanceandOptimizedRetrieval)，研究了公共交通网络的视频分析问题，通过多摄像机对地铁站点人的检测与跟踪监控，分析人和人群的密度、运动和行为等信息，用于检测危险或犯罪行为。智能视频监控在中国的应用和推广时间并不长。但随着我国经济的快速发展，带有一定智能的视频监控系统已经是很多行业的迫切需求。

发明内容

本发明目的在于提供一种违章建筑物的智能视频监控方法，用于城市违章加盖建筑物的自动发现，利用数字图像、视频处理技术对目标监控区域的视频图像进行处理，建立监控目标的背景历史数据库，通过分析当前目标背景和历史目标背景，自动发现违章加盖建筑物。

为达成上述目的，本发明所采用的技术方案如下：

违章建筑物的智能视频监控方法，包括以下步骤：

步骤1：对于每一个监控预置点采集视频序列，滤除其中的流动前景后存储入库，形成背景历史数据库，所述流动前景包括人流、车流和自然微扰；

步骤2：对获取的背景图片进行预处理，消除背景图片中光照的影响；

步骤3：对摄像头输出的视频图像基于纹理模式和运动模式进行背景建模，滤除视频图像中的流动前景，获得每一个监控预置点在不同时间节点下的背景图片；

步骤4：将相同监控预置点在不同时相的背景图片与所述背景历史数据库中历史背景组合形成新的视频流，在新的视频流中检测动态目标；

步骤5：分析新视频流中动态目标的变化特征，基于建筑物的变化特征确定监控预置点是否有建筑物，所述建筑物的变化特征是指建筑物在建造过程中地理位置不变的特性，体现在图像上即为动态目标在图像上坐标位置呈直线上移的特征；以及

步骤6：结合监控预置点所在地块的建筑物规划数据库，判断当前在建建筑是否属于违建，其中所述建筑物规划数据库为城镇建筑物规划设计的数据库。

进一步，所述步骤2中，采用图像的标准差特征来描述像素点，消除背景图片中光照的影响，为背景建模提供有效的数据源，实现过程如下：

令R表示一个N×N图像块，对于该图像块R上的任意像素点p(i，j)，I(p)表示该像素点的灰度值，图像块R的标准差特征可以定义为：

$\mathrm{\σ}=\sqrt{\frac{1}{M\×N}\underset{p\∈R}{\mathrm{\Σ}}{(I\left(p\right)-\mathrm{\μ})}^2}$

其中，μ为图像块的加权均值；

然后采用颜色空间来初步消除光照不同所带来的干扰。

进一步，所述颜色空间为RGB颜色空间和HSV颜色空间中的一种。

进一步，所述基于纹理模式和运动模式进行背景建模的过程如下：

首先计算视频图像内每一帧中各个像素的纹理模式，表达为：

${\mathrm{LBP}}^t(i_{t,c},j_{t,c})=\underset{k=1}{\overset{8}{\mathrm{\Σ}}}S(g_{t,k}-g_{t,c})\·2^k$

$S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

上式中，t表示帧数，(i_t，c，j_t，c)表示中心像素点位置，g_t，c表示中心像素灰度值，g_t，k表示其8邻域像素值；

然后，计算视频图像内每一帧中各个像素的运动模式，表达为：

${\mathrm{LBP}}^{t-1}(i_{t,c},j_{t,c})=\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}S(g_{t-1,k}-g_{t,c})\&CenterDot;2^k$

$S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

通过所述运动模式和纹理模式得到局部纹理模式直方图和运动模式直方图，分析视频图像的局部纹理模式直方图和运动模式直方图，分别进行基于纹理模式的背景建模以及基于运动模式的背景建模，从而获得两个背景模型，其中：

将当前帧的局部纹理直方图和局部运动模式直方图与相应的背景模型匹配，设定阈值T，对局部纹理模式和局部运动模式分配权重，得出纹理、运动整体匹配率，若整体匹配率大于阈值T，那么当前帧的该像素点判断为背景，否则判断为流动前景。

进一步，所述步骤6中，在城镇建筑物规划数据库内自动进行搜索，检索监控预置点所在地块的建筑物规划数据，判断当前在建建筑是否属于违建。

由以上本发明的技术方案可知，本发明的有益效果在于通过前期建立背景历史数据库，然后在不同的时间相上采集监控预置点的当前图像，并与背景历史数据库中的背景图片相组合再检测其中的动态目标，根据动态目标的地理位置不变的特性，结合城市建筑物规划数据库中的建筑物准建规划数据，判断建筑物是否为违建。本发明中结合光照影响过滤技术、自然扰动影响的过滤技术来消除动态目标检测的动态干扰，使得检测更加准确，而且自动在数据库内检索建筑物规划数据，然后进行判断，具有智能化、准确程度高、监控及时等优点，适于国土资源监察、督查系统上使用，确保监管效率和检查的准确度。

附图说明

图1为违章建筑物的智能视频监控方法的实现流程图。

图2为纹理模式和运动模式实例示意图，其中：(a)纹理模式算子，(b)运动模式算子。

图3为背景建模流程图。

图4为违章建筑物的智能视频监控过程实现违章建筑发现的示例，其中：(a)未加盖的视频序列中某一帧图片；(b)加盖过程中某一帧图像；(c)背景新视频序列的背景图像；(d)经过处理后得到的前景目标图像标出；(e)违章建筑发现。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

本实施例的违章建筑物的智能视频监控方法，用于城市违章加盖建筑物的自动发现，利用数字图像、视频处理技术对目标监控区域的视频图像进行处理，建立监控目标的背景历史数据库，通过分析当前目标背景和历史目标背景，结合监控预置点所在地块的建筑物规划数据库，自动发现违章加盖建筑物。

如图1所示，根据本发明的较优实施例，违章建筑物的智能视频监控方法，包括以下步骤：

步骤1：建立监控目标即动态目标的背景历史数据库

对于每一个监控预置点采集视频序列，滤除其中的流动前景后存储入库，形成背景历史数据库，所述流动前景包括人流、车流和自然微扰。

自然微扰是来自自然界的微扰动，例如：随风飘动的树叶、波浪、云朵、烟、雨、雾等。

步骤2：对获取的背景图片进行预处理，消除背景图片中光照的影响。

随着时间的变化，视频图像序列的光照强度会发生比较明显的变化，这会干扰视频图像序列中动态目标的检测。基于此，本实施例中根据图像的标准差对光照变化的不敏感特性，采用图像的标准差特征来描述像素点，消除光照变化、动态背景以及其他噪声等因素的干扰，为背景建模提供有效的数据源。

令R表示一个N×N图像块。对于该图像块上某个像素点p(i，j)，I(p)表示该像素点的灰度值，图像块R的标准差特征可以定义为：

$\mathrm{\&sigma;}=\sqrt{\frac{1}{M\&times;N}\underset{p\&Element;R}{\mathrm{\&Sigma;}}{(I\left(p\right)-\mathrm{\&mu;})}^2}$

上式中，μ为图像块的加权均值。从上式可以看出标准差特征对灰度尺度的变化具有不变性，例如当整个图像块的灰度都增加或减少相同的数值时，标准差特征仍然保持不变。这为滤除动态场景中的光照变化干扰，带来了好处。这样，可保证下面所采用的目标检测算法对光照变化具有良好鲁棒性。

本实施例中，接着采用颜色空间来初步消除光照不同所带来的干扰，例如RGB颜色空间，或者HSV颜色空间。

步骤3：对摄像头输出的视频图像基于纹理模式和运动模式进行背景建模，滤除视频图像中的流动前景，获得每一个监控预置点在不同时间节点下的背景图片。

本步骤的目的是从复杂动态场景的视频图像序列中将前景、背景分离，获得准确的背景图像，为后续的动态目标检测提供可靠的图像数据源。

动态场景中不利于后续的动态目标检测的因数有光照变化和流动前景，光照变化包括缓慢的光照变化和光照的突变，流动前景包括人流、车流和自然微扰，自然微扰是来自自然界的微扰动，例如：随风飘动的树叶、波浪、云朵、烟、雨、雾等。

基于动态场景中相邻像素之间存在着空间域上关联性的特征，本实施例中利用局部二值模式(LocalBinaryPattern,LBP)提取纹理模式，将其扩展到空间，提取运动模式，结合上述两种模式，从而有效地描述这种关联性并进行建模，可以实现稳健的背景建模和后续检测。

结合图2和图3所示的示意图，背景建模的实现过程如下：

首先计算视频图像中每一帧中各个像素的纹理模式，表达为：

${\mathrm{LBP}}^t(i_{t,c},j_{t,c})=\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}S(g_{t,k}-g_{t,c})\&CenterDot;2^k$

$S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

上式中，t表示帧数，(i_t，c，j_t，c)表示中心像素点位置，g_t，c表示中心像素灰度值，g_t，k表示其8邻域像素值。

然后计算视频图像中每一帧中各个像素的运动模式，表达为：

${\mathrm{LBP}}^{t-1}(i_{t,c},j_{t,c})=\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}S(g_{t-1,k}-g_{t,c})\&CenterDot;2^k$

$S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

通过所述运动模式和纹理模式得到局部纹理模式直方图和运动模式直方图，分析视频图像的局部纹理模式直方图和运动模式直方图，分别进行基于纹理模式的背景建模以及基于运动模式的背景建模，从而获得两个背景模型，其中：

将当前帧的局部纹理直方图和局部运动模式直方图与相应的背景模型匹配，设定阈值T，对局部纹理模式和局部运动模式分配权重，本实施例中，各分配一半的权重，即各取权重值0.5，这样可得出纹理、运动整体匹配率，若整体匹配率大于阈值T，那么当前帧的该像素点判断为背景，否则判断为流动前景。

步骤4：将相同预置点在不同时相(T_k,k=1,2,3,…,n)的背景图片与历史背景组合形成新的视频流，在新的视频流中检测动态目标。

动态目标的检测方法具有多种，例如光流法、帧间差分法、背景差分法、或者是基于动态背景更新的检测算法，其中帧间差分法、背景差分法是最常用的，帧间差分法是利用相邻两帧图像之间亮度差的绝对值，判断其是否大于已设定的阈值来确定图像中有无动态目标，例如Foresti在Objectrecognitionandtrackingforremotevideosurveillance提出的帧间差分法。背景差分法是利用当前图像与背景图像的灰度差分来检测动态目标。当然，本发明中使用的动态目标检测方法并不以此为限制。

步骤5：分析新视频流中动态目标的变化特征，基于建筑物的变化特征确定监控预置点是否有建筑物，所述建筑物的变化特征是指建筑物在建造过程中地理位置不变的特性，体现在图像上即为动态目标在图像上坐标位置呈直线上移的特征。

对于前一步的动态目标检测，分析动态目标的质心运动轨迹，从而判断动态目标的运动方向。根据建筑物变化过程可知，其运动质心大致是向上运动。所以保留符合这一运动学特征的动态目标所形成的前景。

步骤6：结合监控预置点所在地块的建筑物规划数据库，判断当前在建建筑是否属于违建，其中所述建筑物规划数据库为城镇建筑物规划设计的数据库。

在本实施例中，在城镇建筑物规划数据库内自动进行搜索，检索监控预置点所在地块的建筑物规划数据，判断当前在建建筑是否属于违建。

图4所示为违章建筑物的智能视频监控过程实现违章建筑发现的示例，其中：(a)未加盖的视频序列中某一帧图片；(b)加盖过程中某一帧图像；(c)背景新视频序列的背景图像；(d)经过处理后得到的前景目标图像标出；(e)违章建筑发现。

综上所述，本发明的违章建筑物智能视频监控方法通过前期建立背景历史数据库，然后在不同的时间相上采集监控预置点的当前图像，并与背景历史数据库中的背景图片相组合再检测其中的动态目标，根据动态目标的地理位置不变的特性，结合城市建筑物规划数据库中的建筑物准建规划数据，判断建筑物是否为违建。本发明中结合光照影响过滤技术、自然扰动影响的过滤技术来消除动态目标检测的动态干扰，使得检测更加准确，而且自动在数据库内检索建筑物规划数据，然后进行判断，具有智能化、准确程度高、监控及时等优点，适于国土资源监察、督查系统上使用，确保监管效率和检查的准确度。虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种违章建筑物的智能视频监控方法，其特征在于，包括以下步骤：

步骤1：对于每一个监控预置点采集视频序列，滤除其中的流动前景后存储入库，形成背景历史数据库，所述流动前景包括人流、车流和自然微扰；

步骤2：对获取的背景图片进行预处理，消除背景图片中光照的影响；

步骤3：对摄像头输出的视频图像基于纹理模式和运动模式进行背景建模，滤除视频图像中的流动前景，获得每一个监控预置点在不同时间节点下的背景图片；

步骤4：将相同监控预置点在不同时相的背景图片与所述背景历史数据库中历史背景组合形成新的视频流，在新的视频流中检测动态目标；

步骤5：分析新视频流中动态目标的变化特征，基于建筑物的变化特征确定监控预置点是否有建筑物，所述建筑物的变化特征是指建筑物在建造过程中地理位置不变的特性，体现在图像上即为动态目标在图像上坐标位置呈直线上移的特征；以及

步骤6：结合监控预置点所在地块的建筑物规划数据库，判断当前在建建筑是否属于违建，其中所述建筑物规划数据库为城镇建筑物规划设计的数据库。

2.根据权利要求1所述的违章建筑物的智能视频监控方法，其特征在于，所述步骤2中，采用图像的标准差特征来描述像素点，消除背景图片中光照的影响，为背景建模提供有效的数据源，实现过程如下：

令R表示一个N×N图像块，对于该图像块R上的任意像素点p(i，j)，I(p)表示该像素点的灰度值，图像块R的标准差特征可以定义为：

$\mathrm{\&sigma;}=\sqrt{\frac{1}{M\&times;N}\underset{p\&Element;R}{\mathrm{\&Sigma;}}{(I\left(p\right)-\mathrm{\&mu;})}^2}$

其中，μ为图像块的加权均值；

然后采用颜色空间来初步消除光照不同所带来的干扰。

3.根据权利要求2所述的违章建筑物的智能视频监控方法，其特征在于，所述颜色空间为RGB颜色空间和HSV颜色空间中的一种。

4.根据权利要求1所述的违章建筑物的智能视频监控方法，其特征在于，所述基于纹理模式和运动模式进行背景建模的过程如下：

首先计算视频图像内每一帧中各个像素的纹理模式，表达为：

${\mathrm{LBP}}^t(i_{t,c},j_{t,c})=\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}S(g_{t,k}-g_{t,c})\&CenterDot;2^k$

$S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

上式中，t表示帧数，(i_t，c，j_t，c)表示中心像素点位置，g_t，c丈表示中心像素灰度值，g_t，k，土表示其8邻域像素值；

然后，计算视频图像内每一帧中各个像素的运动模式，表达为：

${\mathrm{LBP}}^{t-1}(i_{t,c},j_{t,c})=\underset{k=1}{\overset{8}{\mathrm{\&Sigma;}}}S(g_{t-1,k}-g_{t,c})\&CenterDot;2^k$

$S\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.$

通过所述运动模式和纹理模式得到局部纹理模式直方图和运动模式直方图，分析视频图像的局部纹理模式直方图和运动模式直方图，分别进行基于纹理模式的背景建模以及基于运动模式的背景建模，从而获得两个背景模型，其中：

将当前帧的局部纹理直方图和局部运动模式直方图与相应的背景模型匹配，设定阈值T，对局部纹理模式和局部运动模式分配权重，得出纹理、运动整体匹配率，若整体匹配率大于阈值T，那么当前帧的该像素点判断为背景，否则判断为流动前景。

5.根据权利要求1所述的违章建筑物的智能视频监控方法，其特征在于，所述步骤6中，在城镇建筑物规划数据库内自动进行搜索，检索监控预置点所在地块的建筑物规划数据，判断当前在建建筑是否属于违建。

Images