CN103034860A - 基于sift特征的违章建筑检测方法 - Google Patents

Abstract

本发明属于视频监控领域，涉及图像识别技术，具体涉及一种基于SIFT特征的违章建筑检测方法，包括如下步骤：步骤一：在视频图像中自定义监控区域；步骤二：加载监控区域的初始信息，提取SIFT特征描述子，用k均值算法进行聚类，获得监控区域的二维SIFT特征直方图；步骤三：定时获得待检测视频图像，按步骤二提取待检测监控区域的当前帧的二维SIFT特征直方图，根据监控区域的不同图像之间的直方图距离进行图像匹配，判断监控区域是否发生变化。本发明针对特定区域或者特定建筑进行长期跟踪检测及预警，通过自定义感兴趣监控区域以及监控对象来减少图像处理时间和复杂度，以提高系统实时处理能力及鲁棒性。

Description

基于SIFT特征的违章建筑检测方法

技术领域

本发明属于视频监控领域，涉及图像识别技术，具体涉及一种基于SIFT特征的违章建筑检测方法。

背景技术

采用智能识别技术的数字监控系统正逐渐替代传统监控系统，成为现代视频监控系统的发展趋势。在该领域，针对特定区域或者特定建筑进行长期状态跟踪检测及预警，以替代人工管控的系统，还是个空白。从具体应用环境出发，如果指定的区域里不能存在违建，或者指定的违建进行了拆除，智能视频监控都能予以报警或记录。

发明内容

本发明的目的在于提出一种基于SIFT特征的违章建筑检测方法，针对特定区域或者特定建筑进行长期跟踪检测及预警，通过自定义感兴趣监控区域以及监控对象来减少图像处理时间和复杂度，以提高系统实时处理能力及鲁棒性。

为了实现上述目的，本发明采用的技术方案为：基于SIFT特征的违章建筑检测方法，其特征在于，包括如下步骤：

步骤一：在视频图像中自定义监控区域；

步骤二：加载监控区域的初始信息，提取SIFT特征描述子，用k均值算法进行聚类，获得监控区域的二维SIFT特征直方图；

步骤三：定时获得待检测视频图像，按步骤二提取待检测监控区域的当前帧的二维SIFT特征直方图，根据监控区域的不同图像之间的直方图距离进行图像匹配，判断监控区域是否发生变化。

前述的基于SIFT特征的违章建筑检测方法，在步骤二中，提取SIFT特征描述子的具体步骤如下：1）构建尺度空间，检测极值点，获得尺度不变性；2)极值点过滤并进行精确定位；3）为每个特征点指定方向参数；4）生成特征点描述子。

前述的基于SIFT特征的违章建筑检测方法，

在步骤二中，用k均值算法进行聚类的具体步骤如下：1）从监控区域的图像中提取SIFT特征描述子；2）用k均值算法进行聚类，根据聚类特征均值距离将特征描述子分成32个簇群，累加聚类直方图，并通过直方图归一化，获得监控区域的二维SIFT特征直方图。

前述的基于SIFT特征的违章建筑检测方法，在步骤三中，所述的直方图距离包括Minkowski距离、直方图相交距离、Jeffrey距离、x2距离、一维匹配距离和Kolmogorov-Smirnov统计距离。

前述的基于SIFT特征的违章建筑检测方法，在步骤3）中，在以特征点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，直方图的峰值代表了特征点处邻域梯度的主方向；当存在一个相当于主峰值80%能量的峰值时，所对应的方向为特征点的辅方向。

前述的基于SIFT特征的违章建筑检测方法，在步骤三中，六种直方图距离同时达到各自预设的阈值时，才判定为监控区域发生了违建或违建发生变化。

本发明通过从视频图像的指定区域中提取SIFT特征，绘制基于k均值技术的特征聚类的直方图特征。根据设定的规则，定期跟踪统计该区域图像的直方图与原特征直方图的距离差，当达到或超过设定的阈值，则认为该区域发生了违建或者违建发生了变化，针对特定区域或者特定建筑进行长期跟踪检测及预警。本发明通过自定义感兴趣监控区域以及监控对象来减少图像处理时间和复杂度，以提高系统实时处理能力及鲁棒性。

附图说明

图1为DOG尺度空间局部极值检测示意图；

图2为由梯度方向直方图确定主梯度方向的示意图；

图3为由关键点领域梯度信息生成特征向量的示意图。

具体实施方式

下面结合附图对本发明作进一步描述，主要分以下两部分阐述，第一部分阐述违章建筑监控区域的设置方法，第二部分阐述监控区域的SIFT特征的提取方法，第三部分涉及基于SIFT特征的违章建筑检测方法的具体检测步骤。

1.1违章建筑监控区域的设置

在视频图像中设置闭合的虚拟线圈，通过自定义感兴趣监控区域以及监控对象来减少图像处理时间和复杂度，以提高系统实时处理能力及鲁棒性。具体过程为：通过航道沿岸前端摄像头拍摄获得具违章建筑信息的视频采集图像，对视频采集图像进行图像分割，过滤非必要信息，保留有效的识别区域（即感兴趣监控区域）的图像信息。

1.2违章建筑监控区域的SIFT特征提取方法

在图像特征提取与匹配领域中，如何提取稳定的特征，提高匹配的准确度是一个关键的问题。尺度不变特征变换(SIFT，ScaleInvariantFeatureTransform)方法，主要思想是利用多尺度变换在尺度空间中寻找极值点，提取特征点位置和方向，使其对图像缩放、旋转、光线变化甚至仿射变换保持不变。

SIFT特征匹配算法主要包括两个阶段，第一阶段是SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量；第二阶段是SIFT特征向量的匹配。这里我们主要用到第一阶段。

SIFT特征生成的算法步骤：

⑴构建尺度空间，检测极值点，获得尺度不变性；

尺度空间理论目的是模拟图像数据的多尺度特征。

高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

L(x，y，σ)=G(x，y，σ)*I(x，y)

其中G(x，y，σ)是尺度可变高斯函数，

$G(x,y,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-(x^2+y^2)/{2\mathrm{\σ}}^2}$

(x，y)是空间坐标,σ是尺度坐标，I（x，y）为原始影像。

为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积生成。

D(x，y，σ)=(G(x，y，kσ)-G(x，y，σ))*I(x，y)

=L(x，y，kσ)-L(x，y，σ)

DOG算子计算简单，是尺度归一化的LoG算子的近似。

图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到。

为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如图1所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

⑵极值点过滤并进行精确定位；

通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。

边缘响应的去除

一个定义不好的

跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2的Hessian矩阵H求出:

$H=\left[\begin{array}{cc}{D}_{\mathrm{xx}}& D_{\mathrm{xy}}\\ D_{\mathrm{xy}}& D_{\mathrm{yy}}\end{array}\right]$

导数由采样点相邻差估计得到。

D的主曲率和H的特征值成正比，令α为最大特征值，β为最小的特征值，则:

T_r(H)=D_xx+D_yy=α+β

Det(H)=D_xxD_yy-(D_xy)²=αβ

令α=γβ，则：

$\frac{T_r{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}=\frac{{(\mathrm{\α}+\mathrm{\β})}^2}{\mathrm{\α\β}}=\frac{{(\mathrm{\γ\β}+\mathrm{\β})}^2}{{\mathrm{\γ\β}}^2}=\frac{{(\mathrm{\γ}+1)}^2}{\mathrm{\γ}}$

(γ+1)²/γ的值在两个特征值相等的时候最小，随着γ的增大而增大，因此，为了检测主曲率是否在某域值γ下，只需检测

$\frac{T_r{\left(H\right)}^2}{\mathrm{Det}\left(H\right)}<\frac{{(\mathrm{\&gamma;}+1)}^2}{\mathrm{\&gamma;}}$

⑶为每个特征点指定方向参数；

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}$

θ(x，y)=tan^-1((L(x，y+1)-L(x，y-1))/(L(x+1，y)-L(x-1，y)))

上述为(x，y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。

在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。图2是采用7个柱时使用梯度直方图为关键点确定主方向的示例。

在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性。

至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。

⑷特征点描述子的生成。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。

接下来以关键点为中心取8×8的窗口。图3左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图3右部分所示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

实际计算过程中，为了增强匹配的稳健性，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。

1.3违章建筑检测步骤：

1、系统加载时，从系统配置文件中装载违章建筑监控区域信息，通过标记的监控区域坐标，从第一帧图像中获取该区域内的标准子图像。

2、统计已有特定航道设施（包括违章建筑）的SIFT特征分布直方图。

2.1从彩色全图中提取全图的SIFT特征描述子，全图是指完整的拍摄图，提取全图的SIFT特征描述子目的是为了计算聚类特征均值距离。而聚类特征均值距离用来将指定监控区域的SIFT特征描述子直方图化。

2.2用k-means（k均值）算法进行聚类，将全图的特征描述子分成32个簇群，累加聚类直方图，并计算聚类特征均值距离(FeatureMeanDistance,FMD)；

聚类特征均值距离可以用来表示任意两个特征描述子簇群之间的相似度，假设C_i和C_j(i，j=1，...，Nc)表示两个簇群，其中N_c表示簇群的个数。第n个簇群S_n(n=1，...，N)的特征矩阵表示为 $O_n=\{O_n^{m,l},m=1,..,M_n,l=1,...,L\},$ 其中N,M_n和L分别表示特征描述子的个数，特征矩阵O_n的帧数和维数。N_i表示第i个簇群C_i所包含的特征描述子个数，且

$N=\underset{i=1}{\overset{N_c}{\mathrm{\&Sigma;}}}{N}_i$

C_i由N_i个均值矢量U_n组成，即

T表示矩阵的转置。分别对特征矩阵O_n的每一列求均值得到均值矢量U_n= $\{U_n^l,l=\mathrm{1,2},...,L\},$ 其中

$U_n^l=\frac{1}{M_n}\underset{m=1}{\overset{M_n}{\mathrm{\&Sigma;}}}{O}_n^{m,l}$

采用欧氏距离(Euclidean distance)d(U_n，U′_n)刻画任意两个均值矢量U_n(取自簇群C_i)与U′_n(取自簇群C_j)之间的相似度，即

$d(U_n,U_n^{\&prime;})=\sqrt{\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{(U_n^l-U_n^{\&prime;l})}^2}$

从而得到任意两个簇群C_i与C_j之间的距离矩阵d(C_i，C_j)如下：

依次计算距离矩阵d(C_i，C_j)每一行元素之和，从而得到一个列矢量

再计算该列矢量各元素之和。因此，任意两簇群之间的特征均值距离D(C_i，C_j)定义如下：

$D(C_i,C_j)=\frac{\mathrm{\&xi;}}{2}\&CenterDot;\underset{i=1}{\overset{N_i}{\mathrm{\&Sigma;}}}\left(\underset{j=1}{\overset{N_j}{\mathrm{\&Sigma;}}}d(U_i,U_j^{\&prime;})\right),\mathrm{\&xi;}=\lg (N_i+N_j)$

D(C_i，C_j)越小，表示这两特征描述子簇群越相似。ξ是一个权重系数。由于ξ的存在，两个大簇群(N_i和N_j较大，即特征描述子个数或均值矢量个数较多的两个簇群)之间的特征均值距离将倾向于大于两个小簇群之间的特征均值距离。也就是说，由于ξ的存在，在迭代合并的过程中，两个大簇群将倾向于不被合并(因为它们之间的距离较大)，而两个小簇群将倾向于被合并。

2.3从指定监控区域的图片中提取指定监控区域的SIFT特征描述子；

2.4根据聚类特征均值距离将指定监控区域的SIFT特征描述子进行分类，累加直方图，并通过直方图归一化，获得指定区域的二维SIFT特征直方图。

3、初始化数据完成后，开始进行违章建筑监控区域的监控。由于违建的监控是个长期的过程，所以可以定时在每天固定时间段内进行后期处理。

3.1根据上述2.3和2.4的算法流程，取得违章建筑监控区域当前帧的二维SIFT特征直方图；

3.2得到图像特征的统计直方图后，不同图像之间的特征匹配可借助计算直方图间的距离度量来进行,理想的距离度量函数应该与人类视觉感知一致，即距离度量函数Dist(H，H′)的值越小，表明两幅图像看来越相似。定期跟踪统计该区域图像的直方图与原特征直方图的距离差，当超过设定的阈值，则认为该区域发生了违建或者违建发生了变化。目前，由于相似性度量方式依赖于特征，没有任何一种距离度量函数可以适用于所有情况，且效果各异，单一方式求取直方图距离来判断是否图像异同都有所局限和武断，所以我们统计多种直方图距离；

①Minkowski距离

设H为用作匹配的违建设施区域的SIFT归一化直方图，H′为违建设施区域当前帧的SIFT归一化直方图，H_i为H的一个分量，同理，H′_i为H′的一个分量，满足 $\underset{i}{\mathrm{\&Sigma;}}{H}_i=1$ 和 $\underset{i}{\mathrm{\&Sigma;}}{H}_i^{\&prime;}=1$

则其距离度量函数定义为：

${\mathrm{Dist}}_m(H,H^{\&prime;})={\left(\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{|H_i-H_i^{\&prime;}|}^r\right)}^{\frac{1}{r}}$

当r=1和r=2，分别为Manhattan距离和Euclidean距离。

②直方图相交

其距离度量函数定义为：

$\mathrm{Sim}(H_i,H_i^{\&prime;})=\underset{i}{\mathrm{\&Sigma;}}\min (H_i,H_i^{\&prime;}),$

Dist_hi(H，H′)=1-Sim(H_i，H′_i)

Swain和Ballad的直方图相交算法就是根据Sim(H_i，H_i′)值的大小来衡量两图像的相似程度。当其值为1时，两图像最相似，直方图距离最近；为0时，两图像最不相似，直方图距离最远。

③Jeffrey散度

其距离度量函数定义为：

$m_i=\frac{H_i+H_i^{\&prime;}}{2},$

${\mathrm{Dist}}_{\mathrm{jef}}(H,H^{\&prime;})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}[H_i\log \frac{H_i}{m_i}+H_i^{\&prime;}\log \frac{H_i^{\&prime;}}{m_i}]$

④x²距离

其距离度量函数定义为：

$m_i=\frac{H_i+H_i^{\&prime;}}{2},$

${\mathrm{Dist}}_{x^2}(H,H^{\&prime;})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}[H_i\log \frac{H_i}{m_i}+H_i^{\&prime;}\log \frac{H_i^{\&prime;}}{m_i}]$

⑤一维匹配距离

其距离度量函数定义为：

累加直方图： ${\mathrm{\&lambda;}}_k=\underset{k=1}{\mathrm{\&Sigma;}}{H}_k$ 和 ${\mathrm{\&lambda;}}_k^{\&prime;}=\underset{k=1}{\mathrm{\&Sigma;}}{H}_k^{\&prime;}$

${\mathrm{Dist}}_{\mathrm{od}}(H,H^{\&prime;})=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}|{\mathrm{\&lambda;}}_i-{\mathrm{\&lambda;}}_i^{\&prime;}|$

⑥Kolmogorov-Smirnov统计

其距离度量函数定义为：

累加直方图： ${\mathrm{\&lambda;}}_k=\underset{k=1}{\mathrm{\&Sigma;}}{H}_k$ 和 ${\mathrm{\&lambda;}}_k^{\&prime;}=\underset{k=1}{\mathrm{\&Sigma;}}{H}_k^{\&prime;}$

Dist_ks(H，H′)=max(|λ_i-λ_i′|)

3.3根据六种直方图距离来判断是否为违建警报

根据实验的经验数据，只有当条件Dist_m(H，H′)≥(1.414×0.15)、Dist_hi(H，H′)≥(1.0×0.3)、Dist_jef(H，H′)≥(0.25×0.05)、 ${\mathrm{Dist}}_{x^2}(H,H^{\&prime;})\&GreaterEqual;(1.0\&times;0.15),$ Dist_od(H，H′)≥(16×0.1)、Dist_ks(H，H′)≥(1.0×0.1)全部满足时，才认为两幅图像不匹配，有违章建设的可能性。

上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围。

Claims (6)

1.基于SIFT特征的违章建筑检测方法，其特征在于，包括如下步骤：

步骤一：在视频图像中自定义监控区域；

步骤二：加载监控区域的初始信息，提取SIFT特征描述子，用k均值算法进行聚类，获得监控区域的二维SIFT特征直方图；

步骤三：定时获得待检测视频图像，按步骤二提取待检测监控区域的当前帧的二维SIFT特征直方图，根据监控区域的不同图像之间的直方图距离进行图像匹配，判断监控区域是否发生变化。

2.根据权利要求1所述的基于SIFT特征的违章建筑检测方法，其特征在于，在步骤二中，提取SIFT特征描述子的具体步骤如下：1）构建尺度空间，检测极值点，获得尺度不变性；2)极值点过滤并进行精确定位；3）为每个特征点指定方向参数；4）生成特征点描述子。

3.根据权利要求2所述的基于SIFT特征的违章建筑检测方法，其特征在于，

在步骤二中，用k均值算法进行聚类的具体步骤如下：1）从监控区域的图像中提取SIFT特征描述子；2）用k均值算法进行聚类，根据聚类特征均值距离将特征描述子分成32个簇群，累加聚类直方图，并通过直方图归一化，获得监控区域的二维SIFT特征直方图。

4.根据权利要求1所述的基于SIFT特征的违章建筑检测方法，其特征在于：在步骤三中，所述的直方图距离包括Minkowski距离、直方图相交距离、Jeffrey距离、x²距离、一维匹配距离和Kolmogorov-Smirnov统计距离。

5.根据权利要求2所述的基于SIFT特征的违章建筑检测方法，其特征在于：在步骤3）中，在以特征点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向，直方图的峰值代表了特征点处邻域梯度的主方向；当存在一个相当于主峰值80%能量的峰值时，所对应的方向为特征点的辅方向。

6.根据权利要求4所述的基于SIFT特征的违章建筑检测方法，其特征在于：在步骤三中，六种直方图距离同时达到各自预设的阈值时，才判定为监控区域发生了违建或违建发生变化。

Images