CN102354422B - 一种面向周界防护的可疑目标监测方法 - Google Patents

Abstract

本发明涉及一种面向周界防护的可疑目标监测方法。主要包括三个步骤：目标侦测、目标特征提取和目标分类。采用计算机辅助手段和视频分析技术，智能化检测周界监视视频中出现的可疑目标，及时发现异常情况和快速预警，可以有效降低可疑目标对监视场所的威胁，同时安装和使用方便，经济和社会效益显著。

Description

一种面向周界防护的可疑目标监测方法

技术领域

本发明涉及一种面向周界防护的可疑目标监测方法。

背景技术

目前，视频监控已经非常普遍，许多重要的场所都安装有多个摄像头，用于监视场所周界的状况，及时发现非法闯入的可疑人员或车辆。然而，由于大多监视室内都有许多监视屏幕，值班人员很难兼顾所有待监视场所，再加上值班人员疲劳或者疏忽，经常会遗漏许多可疑目标，给监视场所带来重大损失。在周界检测领域，主要采用物理传感器方法实现预警。专利【CN201946080U】采用无源光纤定址传感光缆检测入侵物体，专利【CN201984589U】采用高压脉冲电子围栏检测入侵物体，专利【CN101840615A】采用光纤分布式光栅振动传感器检测入侵物体，然而上述设备不仅安装不方便、不够直观，而且无法区分闯入和走出监视区域的物体，也无法区分动物、人体、车辆等目标，导致系统的虚警率较高。

发明内容

为此，本发明提出一种面向周界防护的可疑目标监测方法，采用计算机辅助手段和视频分析技术，智能化检测周界监视视频中出现的可疑目标，及时发现和预警，可以有效降低可疑目标对监视场所的威胁，同时安装和使用方便，经济和社会效益显著。

本发明提出的面向周界防护的可疑目标监测方法主要包括三个步骤：目标侦测、目标特征提取和目标分类，如图1所示。

一、目标侦测

周界监视的主要目的是检测和发现非法闯入特定区域的人员或者车辆，而对于特定区域以外的目标或者移出特定区域的目标不感兴趣。为此，本发明提出基于空间约束和方向约束的目标侦测方法，具体步骤如下：

1、运动侦测

step1取相邻四帧图像I_k、I_k+1、I_k+2、I_k+3，分别计算帧差数据E₁、E₂、E₃。

E₁＝|I_k+1-I_k|

E₂＝|I_k+2-I_k+1|

E₃＝|I_k+3-I_k+2|

step2确定自适应阈值T_o计算三帧帧差数据均值，并将其乘以一个加权系数，以之作为自适应阈值。

$m=\frac{1}{3\×M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}[E_1(i,j)+E_2(i,j)+E_3(i,j)]$

T＝β×m

其中，M×N图像尺寸，β为加权系数，这里取β＝10。step3阈值分割，得到二值图像MR₁、MR₂。

2、目标空间约束

我们感兴趣的是闯入特定区域内的目标，故可以依据特定区域的空间位置，剔除不在感兴趣区域内的无关目标，具体步骤是：

step1获取特定区域空间位置

主要是依据人工交互的方式，由人工主动在监视场景中标定特定区域矩形框，程序负责读取矩形框的空间位置，包括矩形框的起点坐标、长度和宽度信息。

step2目标块标记

针对二值图像MR₂，在特定区域矩形框内，采用8-邻接连通方法，搜索和标记目标块，记为TR_i，i表示目标块的序号。

3、目标方向约束

我们感兴趣的是闯入的目标，而非移出的目标，故可以依据目标运动方向剔除不感兴趣的目标。对于每一个目标块TR_i，其方向约束步骤是：

step1目标匹配

在二值图像MR₁中找到与目标块TR_i相匹配目标MTR_i，匹配方法是：

首先，提取TR_i和二值图像MR₁中各个目标块的7个Hu不变矩特征，计算方法如下：

Φ₁＝η₂₀+η₀₂

Φ₂＝(η₂₀-η₀₂)²+4η₁₁ ²

Φ₃＝(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

Φ₄＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

Φ₅＝(η₃₀-3η₁₂)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁+η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

Φ₆＝(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

Φ₇＝(3η₁₂-η₃₀)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₁₂+η₃₀)²]

其中，

${\mathrm{\η}}_{\mathrm{pq}}=\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(i-\stackrel{\‾}{i})}^p{(j-\stackrel{\‾}{j})}^{q}I(i,j)\right]/\left\{{\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}I(i,j)\right]}^{\frac{(p+q)}{2}+1}\right\}$

$\stackrel{\‾}{i}=\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{iI}(i,j)\right]/\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}I(i,j)\right]$

$\stackrel{\‾}{j}=\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{jI}(i,j)\right]/\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}I(i,j)\right]$

然后，按照最小欧式距离准则，在MR₁的目标块中搜索与TR_i的矩特征距离最近的目标块，用数学公式描述如下：

$d=\underset{j}{\min }\sqrt{\underset{k=1}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Φ}}_{i,k}-{\mathrm{\Φ}}_{j,k})}^2}$

其中，Φ_i，k表示TR_i的第k个Hu矩，Φ_j，k表示MR₁中第j个目标块的第k个Hu矩，d表示在MR₁的目标块中与TR_i的矩特征的最近距离，对应的目标块记为MTR_i。

最后，判断最小距离是否满足阈值要求，即：如果d＜T₂，则认为目标块TR_i和该目标块相匹配，记为MTR_i；否则，认为该目标块没有对应的匹配目标，可以剔除。这里T₂＝8.0。

step2距离计算

分别计算TR_i重心(x_i1，y_i1)和MTR_i重心(x_i2，y_i2)到特定区域中心(x₀，y₀)的距离，记为D_i和MD_i。

$D_i=\sqrt{{(x_{i1}-x_0)}^2+{(y_{i1}-y_0)}^2}$

${\mathrm{MD}}_i=\sqrt{{(x_{i2}-x_0)}^2+{(y_{i2}-y_0)}^2}$

step3目标删除

如果D_i＞MD_i，则剔除目标TR_i。

4、目标标记

二值图像MR₂中的目标块经过以上的空间约束和方向约束后，剩下的目标块即为感兴趣目标。我们采用以下步骤标记感兴趣的目标区域：

step1采用中值滤波方法平滑目标块，去除毛刺，滤波器窗口为3×3；

step2采用数学形态学中的开运算操作填补目标块的“孔洞”，并合并相邻的目标块；

step3采用8-邻接连通方法搜索和标记目标。

二、目标特征提取

周界监视关注的目标是人员或者车辆，然而监视场景一般非常复杂，可能会出现许多干扰物体，包括动物、晃动的树木等，有效剔除干扰物是降低系统虚警率的重要途径。为此，本发明采用基于区域HOG特征的目标特征提取方法，具体步骤如下：

1、目标尺寸归一化

目标距离摄像机越远，成像尺寸越小，反之越大。因此，需要将目标的尺寸进行归一化处理，这样后续的特征提取才有统一的量纲。

本发明提出基于成像模型的目标尺寸归一化方法，具体描述如下：

针孔摄像机模型是目前常用的成像模型，如图2所示。这里将成像平面和真实物体放在了焦点的同侧，用于避免真实物体在成像平面被反转。其中，F为摄像机镜头的焦距，C为焦点，高度分别为h₁、h₂的目标T₁、T₂在成像平面上的图像高度分别为h₁′、h₂′，它们存在如下几何关系：

$\frac{h_1^{\′}}{h_2^{\′}}=\frac{h_1{D}_2}{h_2{D}_1}$

已知针孔摄像机模型视场角为β，其焦距为F，成像平面位于摄像机焦点处，成像大小为m×n，如图3所示。由它们之间的几何关系，可以容易地推导出如下关系：

$F=\frac{\sqrt{m^2+n^2}}{2\tan (\mathrm{\β}/2)}$

以成像平面的中心点为原心O，建立笛卡尔坐标系，由摄像机镜头的有关性质可知，光轴OC垂直于成像平面，如图4所示。设目标基准点T′的坐标为(x，y)，它在u、v轴上的投影与焦点C所形成的连线与光轴所成的夹角分别为α、γ，于是：

$\mathrm{\α}=\arctan \left(\frac{y-\frac{m}{2}}{F}\right)$

$\mathrm{\γ}=\arctan \left(\frac{x-\frac{n}{2}}{F}\right)$

式中，目标基准点T′的坐标(x，y)以图像左下角为坐标原点，F为焦距。

图5所示是一个摄像头位于监控区域斜上方的监控系统的几何示意图。其中，C为焦点，其与地面高度CA＝H，光轴与地面的夹角为θ，T为目标点，其在成像平面上的位置为T′(x，y)，其中，TB⊥OA，可以通过几何模型得到如下关系：

$\mathrm{CT}=\frac{\mathrm{CB}}{\cos \mathrm{\γ}}=\frac{H}{\sin (\mathrm{\θ}+\mathrm{\α})\cos \mathrm{\γ}}$

于是可得两者成像大小的比值k_n：

$k_n=\frac{h_t^{\′}}{h_0^{\′}}=\frac{h_t{D}_0}{h_{0}H\sin (\mathrm{\θ}+\mathrm{\α})\cos \mathrm{\γ}}=\frac{h_t}{h_0}\·\frac{D_0}{H}\·\frac{1}{\sin (\mathrm{\θ}+\mathrm{\α})\cos \mathrm{\γ}}$

对于同一物体在不同距离上的成像大小的比值，h_t/h₀＝1，而D₀/H是摄像机高度与参考高度的比值，记为η。于是上式可以简化为：

$k_n=\frac{\mathrm{\η}}{\sin (\mathrm{\θ}+\mathrm{\α})\cos \mathrm{\γ}}$

这里k_n称为归一化因子，对于得到的每一个目标，将其乘以相应的归一化因子，即可实现目标尺寸的归一化处理。

2、目标区域划分

由于目标在分割过程中可能存在误差，譬如丢失部分有效部位，或者部分无效干扰块(如阴影、遮挡物)被连接，因此，依据目标的整体特征进行目标分类往往会丢失很多目标，这里，将目标划分为统一规格的小区域，针对每一个小区域提取局部特征，可以有效解决上述问题引起的漏警现象。本发明采用的目标区域划分方法是，以16×16的区块为基本块，将目标区域无重叠地划分为多个区域，边界部分不足基本块尺寸的区域用0填充。目标TR_i的第j个基本块记为B_ij。

3、区域HOG特征提取

对于目标的每一个基本块B_ij，提取其区域HOG特征，详述如下：

step1确定单元格尺寸和梯度算子

基本块的单元格尺寸定为8×8，这样每一个基本块有4个单元格。梯度算子定为[-1，0，1]。

Step2梯度模值和方向计算

按照梯度算子计算各像素点梯度：

G_x(i，j)＝I(i+1，j)-I(i-1，j)

G_y(i，j)＝I(i，j+1)-I(i，j-1)

梯度模值为：

$G(i,j)=\sqrt{G_x{(i,j)}^2+G_y{(i,j)}^2}$

梯度方向为：

α(i，j)＝tan^-1(G_x(i，j)²/G_y(i，j)²)

把[-π/2，π/2]的梯度方向均匀划分为9个区间(记为area_k，1≤k≤9)，各个像素点在分量区间上的9维梯度向量特征为：

$V_k=(i,j)=\left\{\begin{array}{c}G(i,j),\mathrm{\α}(i,j)\∈{\mathrm{area}}_k\\ 0,\mathrm{otherwise}\end{array}\right.$

Step3区域HOG特征

对于每一个基本块，共有4个单元格，这样可以得到36维梯度向量特征。对于每一个目标，将其所有基本块的向量特征组合在一起，就得到该目标的区域HOG特征。

三、目标分类

我们感兴趣的目标有两类：人体和车辆。对于同类目标，其区域HOG特征之间有很强的相似性，而不同目标的特征之间相似性较弱。为了有效遴选人体和车辆目标，同时又减少人体和车辆目标之间的错分现象，本发明采用基于三级融合策略的SVM分类方法，详述如下：

SVM是在统计学习理论基础上发展起来的一种学习方法，可以有效解决小样本问题、模型选择问题和非线性问题，且具有很强的泛化性能。核函数是SVM算法的关键，本发明选择径向基函数作为SVM的核函数：

$K(x,y)=\exp (-\frac{{\left|\right|x-y\left|\right|}^2}{{\mathrm{\σ}}^2})$

采用三级融合策略的SVM方法进行目标分类，其中三级融合主要体现在正负样本的选择上。在训练阶段，通常要选择尽可能多的正样本和负样本，提高分类器的学习性能。由于本发明中有效目标只有两类：人体和车辆，所以正样本也有两类。而对于每一次分类，有效目标之间也会产生混淆，从而影响整体的分类效果，譬如在分类人体目标时，车辆目标应当是负样本。为此，我们建立三级特征库：第一级，人体和车辆为正样本，其他虚假目标为负样本；第二级，人体为正样本，其他目标为负样本；第三级，车辆为正样本，其他目标为负样本。基于三级特征库分别进行特征训练，得到三个SVM分类单元。在目标分类阶段，首先使用第一个SVM分类单元进行第一级分类，剔除大量虚假目标；然后采用第二个SVM分类单元进行第二级分类，选择人体目标；最后采用第三个SVM分类单元进行第三级分类，选择车辆目标。

采用三级融合的SVM分类方法，可以有效减少目标分类过程的虚警率和漏警率。

附图说明

图1可疑目标监测流程图

图2针孔摄像机的透视投影

图3针孔摄像机的焦距与视场角

图4目标像素在成像平面的投影角度

图5监控系统的几何示意图

具体实施方式

本发明提出的面向周界防护的可疑目标监测方法主要包括三个步骤：目标侦测、目标特征提取和目标分类。

一、目标侦测

本发明采用基于空间约束和方向约束的目标侦测方法，具体步骤如下：

1、运动侦测

step1取相邻四帧图像I_k、I_k+1、I_k+2、I_k+3，分别计算帧差数据E₁、E₂、E₃；

E₁＝|I_k+1-I_k|

E₂＝|I_k+2-I_k+1|

E₃＝|I_k+3-I_k+2|

step2确定自适应阈值T；计算三帧帧差数据均值，并将其乘以一个加权系数，以之作为自适应阈值；

$m=\frac{1}{3\×M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}[E_1(i,j)+E_2(i,j)+E_3(i,j)]$

T＝β×m

其中，M×N为图像尺寸，β为加权系数，这里取β＝10；

step3阈值分割，得到二值图像MR₁、MR₂；

2、目标空间约束

依据特定区域的空间位置，剔除不在感兴趣区域内的无关目标，具体步骤是：

step1获取特定区域空间位置

由人工主动在监视场景中标定特定区域矩形框，程序负责读取矩形框的空间位置，包括矩形框的起点坐标、长度和宽度信息；

step2目标块标记

针对二值图像MR₂，在特定区域矩形框内，采用8-邻接连通方法，搜索和标记目标块，记为TR_i，i表示目标块的序号；

3、目标方向约束

我们感兴趣的是闯入的目标，而非移出的目标，故可以依据目标运动方向剔除不感兴趣的目标，对于每一个目标块TR_i，其方向约束步骤是：

step1目标匹配；

step2距离计算；

step3目标删除；

4、目标标记

二值图像MR₂中的目标块经过以上的空间约束和方向约束后，剩下的目标块即为感兴趣目标，我们采用以下步骤标记感兴趣的目标区域：

step1采用中值滤波方法平滑目标块，去除毛刺，滤波器窗口为3×3；

step2采用数学形态学中的开运算操作填补目标块的“孔洞”，并合并相邻的目标块；

step3采用8-邻接连通方法搜索和标记目标。

二、目标特征提取

具体步骤如下：

1、目标尺寸归一化

$k_n=\frac{\mathrm{\η}}{\sin (\mathrm{\θ}+\mathrm{\α})\cos \mathrm{\γ}}$

k_n为归一化因子；D₀/H是摄像机高度与参考高度的比值，记为η；对于得到的每一个目标，将其乘以相应的归一化因子，即可实现目标尺寸的归一化处理；

2、目标区域划分

目标区域划分方法是，以16×16的区块为基本块，将目标区域无重叠地划分为多个区域，边界部分不足基本块尺寸的区域用0填充；目标TR_i的第j个基本块记为B_ij；

3、区域HOG特征提取

对于目标的每一个基本块B_ij，提取其区域HOG特征，具体过程如下：

step1确定单元格尺寸和梯度算子；

基本块的单元格尺寸定为8×8，这样每一个基本块有4个单元格，梯度算子定为[-1，0，1]；

Step2梯度模值和方向计算；

Step3区域HOG特征

对于每一个基本块，共有4个单元格，这样可以得到36维梯度向量特征，对于每一个目标，将其所有基本块的向量特征组合在一起，就得到该目标的区域HOG特征。

三、目标分类

采用三级融合策略的SVM方法进行目标分类，建立三级特征库：第一级，人体和车辆为正样本，其他虚假目标为负样本；第二级，人体为正样本，其他目标为负样本；第三级，车辆为正样本，其他目标为负样本；基于三级特征库分别进行特征训练，得到三个SVM分类单元；在目标分类阶段，首先使用第一个SVM分类单元进行第一级分类，剔除大量虚假目标；然后采用第二个SVM分类单元进行第二级分类，选择人体目标；最后采用第三个SVM分类单元进行第三级分类，选择车辆目标。

Claims (1)

1.一种面向周界防护的可疑目标监测方法，其特征在于，包括以下步骤：

一、视频图像采集；

二、目标侦测，采用基于空间约束和方向约束的目标侦测方法，包括

（1）、运动侦测，具体为：

step1 取相邻四帧图像I_k、I_k+1、I_k+2、I_k+3，分别计算帧差数据E₁、E₂、E₃；

$E_1=|I_{k+1}-I_k|$

$E_2=|I_{k+2}-I_{k+1}|$

$E_3=|I_{k+3}-I_{k+2}|$

step2 确定自适应阈值T；计算三帧帧差数据均值，并将其乘以一个加权系数，以之作为自适应阈值；

$m=\frac{1}{3\×M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}[E_1(i,j)+E_2(i,j)+E_3(i,j)]$

$T=\mathrm{\β}\×m$

其中，M×N为图像尺寸，β为加权系数，这里取β=10；

step3 阈值分割，得到二值图像MR₁、MR₂；

；

（2）、目标空间约束，具体为：

依据特定区域的空间位置，剔除不在感兴趣区域内的无关目标，具体步骤是：

Step2.1 获取特定区域空间位置

由人工主动在监视场景中标定特定区域矩形框，程序负责读取矩形框的空间位置，包括矩形框的起点坐标、长度和宽度信息；

Step2.2 目标块标记

针对二值图像MR₂，在特定区域矩形框内，采用8-邻接连通方法，搜索和标记目标块，记为TR_i，i表示目标块的序号；

（3）、目标方向约束，具体为：

依据目标运动方向剔除不感兴趣的目标，对于每一个目标块TR_i，其方向约束步骤是：

Step3.1 目标匹配；

在二值图像MR₁中找到与目标块TR_i相匹配目标MTR_i，匹配方法是：

首先，提取TR_i和二值图像MR₁中各个目标块的7个Hu不变矩特征，计算方法如下：

${\mathrm{\Φ}}_1={\mathrm{\η}}_{20}+{\mathrm{\η}}_{02}$

${\mathrm{\Φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+4{{\mathrm{\η}}_{11}}^2$

${\mathrm{\Φ}}_3={({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})}^2+{(3{\mathrm{\η}}_{21}-{\mathrm{\η}}_{03})}^2$

${\mathrm{\Φ}}_4={({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2+{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2$

$\begin{array}{c}{\mathrm{\Φ}}_5=({\mathrm{\η}}_{30}-3{\mathrm{\η}}_{12})({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-3{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]+\\ (3{\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})[3{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]\end{array}$

${\mathrm{\Φ}}_6=({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]+4{\mathrm{\η}}_{11}({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})$

$\begin{array}{c}{\mathrm{\Φ}}_7=(3{\mathrm{\η}}_{12}-{\mathrm{\η}}_{30})({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})[{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-3{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]+\\ (3{\mathrm{\η}}_{21}-{\mathrm{\η}}_{03})({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})[3{({\mathrm{\η}}_{30}+{\mathrm{\η}}_{12})}^2-{({\mathrm{\η}}_{21}+{\mathrm{\η}}_{03})}^2]\end{array}$

其中，

${\mathrm{\η}}_{\mathrm{pq}}=\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(i-\stackrel{\‾}{i})}^p{(j-\stackrel{\‾}{j})}^{q}I(i,j)\right]/\left\{\right[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}I(i,j){]}^{\frac{(p+q)}{2}+1}$

$\stackrel{\‾}{i}=\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{iI}(i,j)\right]/\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}I(i,j)\right]$

$\stackrel{\‾}{j}=\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\mathrm{jI}(i,j)\right]/\left[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}I(i,j)\right]$

然后，按照最小欧式距离准则，在MR₁的目标块中搜索与TR_i的矩特征距离最近的目标块，用数学公式描述如下：

$d=\underset{j}{\min }\sqrt{\underset{k=1}{\overset{7}{\mathrm{\Σ}}}{({\mathrm{\Φ}}_{i,k}-{\mathrm{\Φ}}_{j,k})}^2}$

其中，Φ_i,k表示TR_i的第k个Hu矩，Φ_j,k表示MR₁中第j个目标块的第k个Hu矩，d表示在MR₁的目标块中与TR_i的矩特征的最近距离，对应的目标块记为MTR_i；

最后，判断最小距离是否满足阈值要求，即：如果d<T₂，则认为目标块TR_i和该目标块相匹配，记为MTR_i；否则，认为该目标块没有对应的匹配目标，剔除，这里T₂=8.0；

Step3.2 距离计算；

分别计算TR_i重心(x_i1, y_i1)和MTR_i重心(x_i2, y_i2)到特定区域中心(x₀, y₀)的距离，记为D_i和MD_i；

$D_i=\sqrt{{(x_{i1}-x_0)}^2+{(y_{i1}-y_0)}^2}$

${\mathrm{MD}}_i=\sqrt{{(x_{i2}-x_0)}^2+{(y_{i2}-y_0)}^2}$ ；

Step3.3 目标删除；

如果D_i>MD_i，则剔除目标TR_i；

（4）、目标标记，具体为：

二值图像MR₂中的目标块经过以上的空间约束和方向约束后，剩下的目标块即为感兴趣目标，采用以下步骤标记感兴趣的目标区域：

Step4.1 采用中值滤波方法平滑目标块，去除毛刺，滤波器窗口为3×3；

Step4.2 采用数学形态学中的开运算操作填补目标块的“孔洞”，并合并相邻的目标块；

Step4.3 采用8-邻接连通方法搜索和标记目标；

三、目标特征提取，采用基于区域HOG特征的目标特征提取方法，包括

（ⅰ）、目标尺寸归一化，

将成像平面和真实物体放在了焦点的同侧，用于避免真实物体在成像平面被反转，其中，F为摄像机镜头的焦距，C为焦点，高度分别为h₁、h₂的目标T₁、T₂在成像平面上的图像高度分别为h₁＇、h₂＇，它们存在如下几何关系：

$\frac{{h_1}^{\&prime;}}{{h_2}^{\&prime;}}=\frac{h_1{D}_2}{h_2{D}_1}$

D₁为焦点C与目标T₁之间的距离，D₂为焦点C与目标T₂之间的距离；

已知针孔摄像机模型视场角为β，其焦距为F，成像平面位于摄像机焦点处，成像大小为m×n，由它们之间的几何关系，可推导出如下关系：

$F=\frac{\sqrt{m^2+n^2}}{2\tan (\mathrm{\&beta;}/2)}$

以成像平面的中心点为原心O，建立笛卡尔坐标系，由摄像机镜头的有关性质可知，光轴OC垂直于成像平面，设目标基准点T＇的坐标为(x,y)，它在u、v轴上的投影与焦点C所形成的连线与光轴所成的夹角分别为α、γ，于是：

$\mathrm{\&alpha;}=\arctan \left(\frac{y-\frac{m}{2}}{F}\right)$

$\mathrm{\&gamma;}=\arctan \left(\frac{x-\frac{n}{2}}{F}\right)$

式中，目标基准点T＇的坐标(x,y)以图像左下角为坐标原点，F为焦距，

一个摄像头位于监控区域斜上方的监控系统中，其中，C为焦点，其与地面高度CA=H，光轴与地面的夹角为θ，T为目标点，其在成像平面上的位置为T＇(x,y)，其中，TB⊥OA，通过几何模型得到如下关系：

$\mathrm{CT}=\frac{\mathrm{CB}}{\cos \mathrm{\&gamma;}}=\frac{H}{\sin (\mathrm{\&theta;}+\mathrm{\&alpha;})\cos \mathrm{\&gamma;}}$

于是可得两者成像大小的比值k_n：

$k_n=\frac{{h_t}^{\&prime;}}{{h_0}^{\&prime;}}=\frac{h_t{D}_0}{h_{0}H\sin (\mathrm{\&theta;}+\mathrm{\&alpha;})\cos \mathrm{\&gamma;}}=\frac{h_t}{h_0}\&CenterDot;\frac{D_0}{H}\&CenterDot;\frac{1}{\sin (\mathrm{\&theta;}+\mathrm{\&alpha;})\cos \mathrm{\&gamma;}}$

对于同一物体在不同距离上的成像大小的比值，h_t/h₀=1，而D₀/H是摄像机高度与参考高度的比值，记为η，上式可简化为：

$k_n=\frac{\mathrm{\&eta;}}{\sin (\mathrm{\&theta;}+\mathrm{\&alpha;})\cos \mathrm{\&gamma;}}$

k_n为归一化因子；对于得到的每一个目标，将其乘以相应的归一化因子，即可实现目标尺寸的归一化处理；

（ⅱ）、目标区域划分，具体为：

目标区域划分方法是，以16×16的区块为基本块，将目标区域无重叠地划分为多个区域，边界部分不足基本块尺寸的区域用0填充；目标TR_i的第j个基本块记为B_ij；

（ⅲ）、区域HOG特征提取，具体为：

对于目标的每一个基本块B_ij，提取其区域HOG特征，具体过程如下：

StepⅠ 确定单元格尺寸和梯度算子；

基本块的单元格尺寸定为8×8，这样每一个基本块有4个单元格，梯度算子定为[-1，0，1]；

StepⅡ 梯度模值和方向计算；

按照梯度算子计算各像素点梯度：

$G_x(i,j)=I(i+1,j)-I(i-1,j)$

$G_y(i,j)=I(i,j+1)-I(i,j-1)$

梯度模值为：

$G(i,j)=\sqrt{G_x{(i,j)}^2+G_y{(i,j)}^2}$

梯度方向为：

$\mathrm{\&alpha;}(i,j)={\tan }^{-1}(G_x{(i,j)}^2/G_y{(i,j)}^2)$

把[-π/2, π/2]的梯度方向均匀划分为9个区间，记为area_k,1≤k≤9，各个像素点在分量区间上的9维梯度向量特征为：

$V_k(i,j)=\left\{\begin{array}{cc}G(i,j),& \mathrm{\&alpha;}(i,j)\&Element;{\mathrm{area}}_k\\ 0,& \mathrm{otherwise}\end{array}\right.$ ；

StepⅢ 区域HOG特征

对于每一个基本块，共有4个单元格，这样得到36维梯度向量特征，对于每一个目标，将其所有基本块的向量特征组合在一起，就得到该目标的区域HOG特征；

四、目标分类，采用基于三级融合策略的SVM分类方法，建立三级特征库，具体为：

第一级，人体和车辆为正样本，其他虚假目标为负样本；第二级，人体为正样本，其他目标为负样本；第三级，车辆为正样本，其他目标为负样本；基于三级特征库分别进行特征训练，得到三个SVM分类单元；在目标分类阶段，首先使用第一个SVM分类单元进行第一级分类，剔除大量虚假目标；然后采用第二个SVM分类单元进行第二级分类，选择人体目标；最后采用第三个SVM分类单元进行第三级分类，选择车辆目标；

五、判断是否存在人体或车辆目标，存在则报警然后返回步骤一，不存在则直接返回步骤一。

Images