CN104301669A - 基于双摄像头协同的可疑目标检测跟踪与识别方法 - Google Patents

Abstract

本发明公开了一种基于双摄像头协同的可疑目标检测跟踪与识别方法，属于视频图像处理技术领域。利用全景监控摄像机采集全景图像，采用改进的混合高斯建模方法进行前景检测，并提取出运动目标基本参数，利用Kalman滤波器预估特定目标运动轨迹，结合速度分析识别特定目标，由双摄像机协同策略，控制特写跟踪摄像头对运动目标进行特写跟踪，锁定可疑目标，对人脸进行检测，进行人脸识别，与数据库比对，有异常则发出警报。本方法采用双摄像头协同跟踪监控策略，弥补了单一监控摄像头在特定场景下的不足，并且增加的人脸识别功能，能很大程度协助工作人员识别特定目标。同时，本方法使用的跟踪算法实时性好，目标识别判断标准简单可靠，运算过程快速准确。

Description

基于双摄像头协同的可疑目标检测跟踪与识别方法

技术领域

本发明属于视频图像技术领域，涉及一种基于双摄像头协同的可疑目标检测跟踪与识别方法。 

背景技术

进入二十一世纪的十多年来，社会公共安全问题突出，发生了一系列的以美国“911”恐怖袭击事件为代表的公共安全事件，造成巨大的恐慌和影响，引起各国政府和社会民众的极大关注。建设一个安全、和谐、繁荣的社会环境成为世界各国政府的首要任务。随着数字采集和存储技术的快速发展，图像采集设备迅速普及，视频监控成为主要的安全监控手段和方法，被全球各国普遍采用。在我国，为保障经济建设顺利进行，维护社会安定，我们国家近年来大规模开展“平安城市”和“科技强警”工程建设。目的是要在城市中建立泛在的立体的智能的安全监控平台，保障社会的安定和谐。据《中国安防行业“十二五”发展规划》预计，我国2015年安防产业总产值将达到5000亿元，而智能视频监控是公共安防的核心和主体部分，其市场规模占整个安防产业的一半以上。作为关键技术，高效、稳定、实用的运动目标发现与跟踪技术具有重要的应用价值。 

目前，首先，现有视频监控系统仅能实现监控数据的采集与存储，尚不能实现基于内容理解的检索。一旦需要进行较大时空范围的查找时，现有大多数系统仅能根据时间和地点进行查询和回放，将耗费大量的人力与物力。一个监控系统往往需要配备电视墙和盯梢人员，但是随着摄像头数量的不断增多，监控代价越发变得难以接受；其次，数据利用率低。绝大部分的数据都只是在存储超期后被自动删除，没有得到充分利用。第三，数据查询困难。现有大多数系统仅能根据时间和地点进行查询和回放，一旦需要进行较大时空范围的查找时，其难度和代价往往将成倍增长。在现有技术中，已有一种基于双摄像头联动结构的视频运动目标特写跟踪监视方法，该申请方案提出通过一个全景摄像头对监视区域的目标进行识别，确定并锁定目标之后，将目标信息传给由云台控制转向的特写跟踪摄像头，由特写跟踪摄像头对锁定目标进行特写、放大后跟踪。这种方法虽然在一定程度上可以提高智能监控效率，但是仍然无法在第一时间对特定的异常目标发出预警，快速有效地定位并锁定特定目标。 

因此，在人流量巨大，存在巨大公共安全隐患的地方，目前急需一种可以有效提高监控效率的智能监控系统，既能解决单一监控摄像头不能同时获得广域视角监控和目标特写的矛盾，又能很大程度协助监控人员识别并锁定特定的目标。 

发明内容

有鉴于此，本发明的目的在于提供一种基于双摄像头协同的可疑目标检测跟踪与识别方法，该方法基于全景监控摄像头和特写跟踪摄像头协同监控技术与基于分块PCA算法的人脸识别算法，可以在广域视角下进行精准的运动目标特写跟踪，并结合人脸识别技术在发生异常情况时进行报警提示。 

为达到上述目的，本发明提供如下技术方案： 

一种基于双摄像头协同的可疑目标检测跟踪与识别方法，包括以下步骤：步骤一：利用全景监控摄像机进行全景摄像，获取视频图像信号；步骤二：采用改进的混合高斯建模方法进行前景检测，解决前景与背景分离问题，检测并提取出运动目标基本参数；步骤三：利用Kalman滤波器预估特定运动目标团块运动轨迹；步骤四：全景监控摄像头空间坐标系、特写监控摄像头空间坐标系以及世界坐标系之间的转换与校正；步骤五：由双摄像机协同策略，控制特写跟踪摄像头对运动目标进行特写跟踪；步骤六：特写跟踪摄像头采集目标面部特征进行人脸识别，并与数据库比对，有异常则发出警报。 

进一步，在步骤二中具体包括以下步骤：21：建立混合高斯背景模型表征图像帧中的每一个像素点的特征；22：自适应更新背景模型，计算前景掩膜；23：对前景掩膜进行形态学开运算和闭运算滤波；24：基于前景掩膜连通区域的团块检测算法识别目标团块。 

进一步，所述步骤三中利用Kalman滤波器预估特定运动目标团块运动轨迹，结合速度分析提高检测效率和检测精度，更有效识别特定目标，锁定可疑目标。 

进一步，所述步骤四中采用基于摄像头标定的全景监控摄像头空间坐标系、特写监控摄像头空间坐标系以及世界坐标系之间的转换，并运用反馈校正不断修正双摄像头的中心坐标，使跟踪目标快速准确。 

进一步，所述步骤五中采用基于PID控制原理的云台转动控制策略实现双摄像头协同的运动目标特写跟踪。 

进一步，所述步骤六中采用基于分块PCA算法的人脸识别算法并结合海量数据库快速识别特定目标，若为特定目标，即发出预警。 

进一步，步骤二中所述的团块基本参数包括：运动目标个数、运动速度、运动方向及其各自位置。 

本发明的有益效果在于：本发明所述方法基于全景监控摄像头和特写跟踪摄像头协同监控技术与基于分块PCA算法的人脸识别算法。其中，全景监控摄像头和特写跟踪摄像头协同监控，既能对全局区域进行有效监控，又能跟踪、放大特定目标，实现特写并加以识别；在基于分块PCA算法的人脸识别算法中，能有效方便地获取目标人脸特征，使得快速识别人脸得以实现，简单有效，在追求效率的智能监控中优势明显。 

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明： 

图1双摄像头夹角与照射位置关系示意图 

图2摄像头夹角与云台控制角关系示意图 

图3为本发明所述方法的流程图。 

图4为人脸识别模块流程图。 

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。 

(1)混合高斯建模法 

为了检测视频中的可疑运动目标，首先要智能区分运动目标和场景背景。由全景监控摄像头采集图像数据之后，利用混合高斯建模实现背景差分。 

混合高斯模型它的基本设计思路:先读取视频,然后对视频中各个像素点构建K X_t个高斯分布统计模型,当新输入一顿图像,根据更新策略的要求,用该顿的像素值对原高斯模型参数进行更新,接着对高斯模型进行排序并筛选出符合条件的背景分布,最后用该顿输入图像的各个像素点与已筛选出的高斯背景模型逐一进行匹配,若像素点匹配,则判定该点为背景点,否则判定该像素点为前景点。设为当前像素点在时刻t的像素值,则该点的概率函数为: 

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\mathrm{\ωi},t*\mathrm{\η}(X_t,\mathrm{\μi},t,\mathrm{\Σi},t)---\left(1\right)$

其中，K是混合高斯模型中高斯分布的个数,一般取3～5；Xt是像素在t时刻的RGB值；ω_i,t表示时刻t混合高斯模型中第i个高斯分布的权系数的估计值；μ_i,t和Σ_i,t分别表示时刻t混合高斯模型中第i个高斯分布的均值向量和协方差矩阵(此处假定像素的红、绿、蓝分量相互独立)，η(X_t,μ_i,t,Σ_i,t)为高斯分布概率密度函数。 

η(X_t,μ_i,t,Σ_i,t)         (2) 

${\mathrm{\μ}}_{i,t}=({\mathrm{\μ}}_{i,t}^r,{\mathrm{\μ}}_{i,t}^g,{\mathrm{\μ}}_{i,t}^b)---\left(3\right)$

${\mathrm{\Σ}}_{i,t}=\left[\begin{array}{ccc}{\mathrm{\σ}}_r^2& 0& 0\\ 0& {\mathrm{\σ}}_g^2& 0\\ 0& 0& {\mathrm{\σ}}_b^2\end{array}\right]---\left(4\right)$

$\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t}{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|{\mathrm{\Σ}}_{i,t}\right|}^{1/2}}{e}^{-\frac{1}{2}{(X_t-{\mathrm{\μ}}_{i,t})}^T\underset{i,t}{\overset{-1}{\mathrm{\Σ}}}(X_t-{\mathrm{\μ}}_{i,t})},j=\mathrm{1,2,3}......K---\left(5\right)$

为了减少计算量,协方差矩阵Σ_i,t可简化为: 

${\mathrm{\Σ}}_{i,t}={\mathrm{\σ}}_{i,t}^{2}E---\left(6\right)$

为了使模型更好的模拟监控场景像素点的分布规律,我们对视频中新输入像素的像素值来更新高斯背景模型的各个参数:均值μ_i,t、方差以及权值ω_i,t。其具体参数更新步骤如下: 

1)对当前帧新输入的每一个像素值X_t都与已建好的混合高斯背景模型进行匹配,判断是否匹配。 

|X_t-μ_i,t-1|≤λσ_i,t-1        (7) 

其中,λ为经验值,通常取2.5或者3。 

2)新输入的像素值是否匹配,我们有不同的更新策略 

a)如果新输入的像素值与己建好的某个混合高斯背景模型匹配,参数的更新方法如下: 

ω_i,t＝(1-α)ω_i,t-1+α         (8) 

μ_i,t＝(1-ρ)μ_i,t-1+ρX_t         (9) 

${\mathrm{\σ}}_{i,t}^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{i,t-1}^2+{\mathrm{\ρ}(X_t-{\mathrm{\μ}}_{i,t})}^T(X_t-{\mathrm{\μ}}_{i,t-1})---\left(10\right)$

其中a为模型更新速率,a取0.01,参数更新率如下： 

ρ＝αη(X_t|μ_i,t-1,σ_i,t-1)        (11) 

对余下K-1个高斯模型的参数更新,均值和方差的值保持不变,权值如下： 

ω_i,t＝(1-α)ω_i,t-1        (12) 

b)如果新输入的像素值与已建好的混合高斯背景模型不匹配,则权值最小的高斯模型被新的高斯分布模型替换,均值μ_i,t初始化为新输入像素的像素值,方差初始化设定为较大的初始值。 

(3)对模型参数进行完更新以后,需要对所有权值进行归一化处理,如下: 

${\mathrm{\ω}}_{i,t}=\frac{{\mathrm{\ω}}_{i,t}}{\underset{k=1}{\overset{K}{\mathrm{\Σ}}}k,t},j=\mathrm{1,2}......K---\left(13\right)$

将每个像素点的K个高斯分布归一化后的权值按ω_i,t/σ_i,t降序排列,满足下式的前B个高斯分布判定为背景分布,否则判定为前景分布。 

$B=\arg \min b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}>T)---\left(14\right)$

其中T取0.7。 

(2)运动目标跟踪 

计算机对全景监控摄像头拍摄到的视频信号按高斯背景建模方法进行运动目标检测，一旦发现运动目标，就记录下被检测到的运动目标的特性参数，包括“运动方向”、“目标位置”、“运动速度”、“目标位置(坐标信息)”，然后在视频帧与帧之间运用模板匹配的方法对运动目标进行跟踪，并且记录每一个目标的运动轨迹，通过目标运动轨迹及当前位置驱动特写跟踪摄像头，让特写跟踪摄像头找到锁定目标，并进行特写跟踪。 

因为数据传输到特写跟踪摄像头会有一定的时间滞后，因此还需考虑前后视 频帧之间的关系。 

当有多个运动目标进入监视视野，如果运动目标之间没有交叉，本系统通过判断连续两帧上检测的运动目标之间的距离区分目标，并对目标进行编号，同时检测每个运动目标的运动速度和方向。 

在多个运动目标之间出现交叉的情况下，则通过对目标运动速度、颜色特征、方向特征进行比较来区分目标，从而获得每个目标的运动轨迹并对其进行记录。对运动目标速度的统计，采用的是统计目标中心点在不同帧中移动的像素数的方法来实现。目标颜色特征的统计，则是通过对人的体型及人们的日常习惯把颜色特征分为三部分：头、上身、下身，经过一定的比例的分割并统计出每一部分的三个颜色通道的一个均值。对目标运动方向的统计，主要是由目标在当前几帧内的坐标变换求差获得目标的运动方向。然后根据这三个特征来区分我们检测到的目标并对其进行编号，实现获取每个运动目标的运动轨迹的信息。 

双摄像头协同模块 

广域视角下基于双摄像头协同的运动目标特写跟踪，采用一全景监控摄像头和一设置在云台上的特写跟踪摄像头，采用计算机实现双摄像机间联动，即建立场景画面中每个点分别在双摄像头所拍摄的视频画面中位置一一对应，根据全景摄像头中运动目标位置确定特写跟踪摄像头朝向，双摄像头联动方法如下： 

假设两摄像头像点重合于点O，据摄像机成像原理，特写摄像头所对应位置与它与全景监控摄像头夹角有关。 

如图1所示，设全景监控摄像头方向向量为特写跟踪摄像头方向向量为夹角为以为基准建立水平投影面X和垂直投影面Y，将投影在两个面上，投影点分别为A_x、A_y，投影夹角分别为从图1可以看出： 

${\mathrm{\θ}}_X^{({\stackrel{\→}{\mathrm{OO}}}^{,},\stackrel{\→}{\mathrm{OA}})}=k_x*O^{,}{A}_x---\left(15\right)$

${\mathrm{\θ}}_Y^{({\stackrel{\→}{\mathrm{OO}}}^{,},\stackrel{\→}{\mathrm{OA}})}=k_y*O^{,}{A}_y---\left(16\right)$

位置坐标与摄像头夹角成正比，然而该公式仅在OO’足够大时才成立，故将公式调整为： 

${\mathrm{\θ}}_x^{({\stackrel{\→}{\mathrm{OO}}}^{,},\stackrel{\→}{\mathrm{OA}})}=\arctan \frac{O^{,}{A}_x}{{\mathrm{OO}}^{,}}---\left(17\right)$

${\mathrm{\θ}}_Y^{({\stackrel{\→}{\mathrm{OO}}}^{,},\stackrel{\→}{\mathrm{OA}})}=\arctan \frac{O^{,}{A}_y}{{\mathrm{OO}}^{,}}---\left(18\right)$

其中OO’即为前景监控摄像头成像点到该摄像头坐标系原点距离，由此，我们可以通过调整两摄像头夹角来控制特写跟踪摄像头朝向，这一控制过程可转换为云台的转动来实现。 

如图2所示，设全景监控摄像头方向向量为特写跟踪踪摄像头方向向量为全景监控摄像头与竖直方向夹角为对应于∠O'OO″，为一已知值。以 为基准建立水平投影面X和垂直投影面Y，向两个平面做投影，得到X面投 影为A_x、Y面投影为A_y。设两部摄像机X方向夹角为Y方向夹角为分别对应于∠O'OA_x、∠O'OA_y，设云台水平方向转动角度为φ_x，竖直方向转动角度为φ_y，分别对应于∠AO″A_x、∠O″OA，从图3可以看出： 

$\tan {\mathrm{\θ}}_Y^{(\stackrel{\→}{\mathrm{\α}},\stackrel{\→}{\mathrm{\δ}})}=\frac{\left|O^{,}{A}_y\right|}{\left|O{O}^{,}\right|}---\left(19\right)$

$\tan {\mathrm{\φ}}_X=\frac{\left|A{A}_x\right|}{\left|O^{,,}{A}_x\right|}---\left(20\right)$

根据投影关系：|O'A_y|＝|A_xA|，由式(19)、式(20)可知： 

$\tan {\mathrm{\φ}}_X=\tan {\mathrm{\θ}}_Y^{(\stackrel{\→}{\mathrm{\α}},\stackrel{\→}{\mathrm{\δ}})}*\frac{\left|{\mathrm{OO}}^{,}\right|}{\left|O^{,,}{A}_x\right|}---\left(21\right)$

由图2有：

$\left|{\mathrm{OA}}_x\right|=\frac{\left|{\mathrm{OO}}^{,}\right|}{\cos {\mathrm{\θ}}_x^{(\stackrel{\→}{\mathrm{\α}},\stackrel{\→}{\mathrm{\δ}})}}---\left(23\right)$

由此可得： 

由式(17)、式(18)，得： 

                   (27) 

根据图3所示： 

|AA_x|＝|O″A|sinφ_x                   (28) 

|O″A_x|＝|O″A|cosφ_x                  (29) 

将(28)代入(22)可得： 

在直角三角形ΔOA_xA中有如下关系： 

在直角三角形ΔO'OA由如下关系： 

由式(17)、式(18)可得： 

此时双摄像头间夹角为： 

根据上面得到的双摄像头的联动关系，首先计算出全景监控摄像头中运动目标位置，再将特写跟踪摄像头转动至相应位置，将运动目标锁定并显示在特写跟踪摄像头视野中，之后，特写跟踪特写摄像头根据判断出的运动方向和速度相应 的转动，完成对目标的特写跟踪。 

基于分块主成分分析的算法的人脸识别 

为了实现更加快速的跟踪与识别，提高监控效率，针对分块主成分分析算法存在的一些缺陷，本文研究了一种改进的分块算法，这种算法是基于独立特征提取的分块主成分分析的人脸识别算法。 

由上节知识可以对人脸图像进行适当分块，经过分块后原来的训练样本集可以构建出P×Q个子图像集。改进的分块算法对比于传统的分块算法，它最大的特点就是体现在：改进的算法对每个子图像集分别独立求解散布矩阵。通过求取子图像的散布矩阵，我们能很好地得出不同子图像之间的差异，这在很大程度上对于识别率的提高有了帮助。改进算法的步骤如下： 

首先，和传统分块算法一样还是把训练样本和测试样本进行分块。 

其次，针对分块的子图像独立进行主成分分析处理我们可以对第pq个子训练样本集和第pq个测试子图像运用主成分分析算法进行处理，得到了子图像(Ai)的特征值(Yi)和测试子图像(I)的特征矩阵，通过这个特征矩阵，我们就能得到子图像之间的距离，这个距离我们称为pq个子距离： 

d((I)_pq,(A_i)_pq)＝||(y_test)_pq-(y_i)_pq||²     (35) 

然后，根据子图像的距离，计算得到测试样本和训练样本之间的距离，我们把训练样本与测试样本所有子图像的距离相加，就能由下面的公式求得训练样本图像与测试样本之间的距离： 

$d(I,A_i)=\underset{p=1}{\overset{P}{\mathrm{\Σ}}}\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}d({\left(y_{\mathrm{test}}\right)}_{\mathrm{pq}},{\left(y_i\right)}_{\mathrm{pq}})---\left(36\right)$

最后是分类识别根据已有的理论知识知道，当第个测试样本的距离与训练样本中的某个样本的距离最小值相等时，我们就可以认为测试样本和训练样本为同一个样本。 

总体流程 

图3为本发明所述方法的流程图，本方法包括以下步骤： 

S1：利用全景监控摄像机进行全景摄像，获取视频图像信号。 

S2：采用改进的混合高斯建模方法进行前景检测，解决前景与背景分离问题，检测并提取出运动目标团块基本参数，具体步骤如下： 

S21：建立混合高斯背景模型表征图像帧中的每一个像素点的特征； 

S22：自适应更新背景模型，计算前景掩膜； 

S23：对前景掩膜进行形态学开运算和闭运算滤波。 

S24：基于前景掩膜连通区域的团块检测算法识别目标团块(提取团块基本参数包括：运动目标个数、运动速度、运动方向及其各自位置)。 

S3：利用Kalman滤波器预估特定运动目标团块运动轨迹，结合速度分析提高检测效率和检测精度，更有效识别特定目标，锁定可疑目标。 

S4：全景监控摄像头空间坐标系、特写监控摄像头空间坐标系以及世界坐标系之间的转换与校正。 

S5：由双摄像机协同策略，控制特写跟踪摄像头对运动目标进行特写跟踪。 

S6：特写跟踪摄像头采集目标面部特征进行人脸识别，并与数据库比对，有异常则发出警报。本实例中，采用基于分块PCA算法的人脸识别算法实现人脸识别功能。 

人脸识别流程 

图4为本发明所述方法的人脸识别流程图，本方法包括以下步骤： 

S1：特写跟踪摄像头获取放大的特写图象，并对独立特征进行初步检测。 

S2：比对图像特征与数据库，检测是否入库。 

S3：对人脸图像进行预处理，并提取独立特征进行分块PCA人脸识别 

S31：将整块图像划分为若干小块，得到图像矩阵。 

S32：计算图像子图像矩阵的总体散布矩阵S，在矩阵S的基础上，找到投影矩阵的最优矩阵。 

S33：基于最优投影矩阵对人脸图像矩阵进行特征提取。 

S4：根据上一步提取结果对比，显示识别结果。 

S5：若为特定目标，则发出预警。 

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。 

Claims (7)

1.一种基于双摄像头协同的可疑目标检测跟踪与识别方法，其特征在于：包括以下步骤： 

步骤一：利用全景监控摄像机进行全景摄像，获取视频图像信号； 

步骤二：采用改进的混合高斯建模方法进行前景检测，解决前景与背景分离问题，检测并提取出运动目标团块基本参数； 

步骤三：利用Kalman滤波器预估特定运动目标团块运动轨迹； 

步骤四：全景监控摄像头空间坐标系、特写监控摄像头空间坐标系以及世界坐标系之间的转换与校正； 

步骤五：由双摄像机协同策略，控制特写跟踪摄像头对运动目标进行特写跟踪； 

步骤六：特写跟踪摄像头采集目标面部特征进行人脸识别，并与数据库比对，有异常则发出警报。

2.根据权利要求1所述的一种基于双摄像头协同的可疑目标检测跟踪与识别方法，其特征在于：在步骤二中具体包括以下步骤：21：建立混合高斯背景模型表征图像帧中的每一个像素点的特征；22：自适应更新背景模型，计算前景掩膜；23：对前景掩膜进行形态学开运算和闭运算滤波；24：基于前景掩膜连通区域的团块检测算法识别目标团块。 

3.根据权利要求1所述的一种基于双摄像头协同的可疑目标检测跟踪与识别方法，其特征在于：所述步骤三中，利用Kalman滤波器预估特定运动目标团块运动轨迹，结合速度分析提高检测效率和检测精度，更有效识别特定目标，锁定可疑目标。 

4.根据权利要求1所述的一种基于双摄像头协同的可疑目标检测跟踪与识别方法，其特征在于：所述步骤四中采用基于摄像头标定的全景监控摄像头空间坐标系、特写监控摄像头空间坐标系以及世界坐标系之间的转换，并运用反馈校正不断修正双摄像头的中心坐标，使跟踪目标快速准确。 

5.根据权利要求1所述的一种基于双摄像头协同的可疑目标检测跟踪与识别方法，其特征在于：所述步骤五中采用基于PID控制原理的云台转动控制策略实现双摄像头协同的运动目标特写跟踪。 

6.根据权利要求1所述的一种基于双摄像头协同的可疑目标检测跟踪与识别方法，其特征在于：所述步骤六中采用基于分块PCA算法的人脸识别算法并结 合海量数据库快速识别特定目标，若为特定目标，即发出预警。 

7.根据权利要求1所述的一种基于双摄像头协同的可疑目标检测跟踪与识别方法，其特征在于：步骤二中所述的团块基本参数包括：运动目标个数、运动速度、运动方向及其各自位置。