CN108491857B - 一种视域重叠的多摄像机目标匹配方法 - Google Patents

Abstract

本发明公开了一种视域重叠的多摄像机目标匹配方法，具体如下；根据摄像机1和摄像机2的前5帧信息计算两台摄像机的视野分界线；提取摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的特征进行融合获得融合后的特征向量；计算摄像机1中各目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量；计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；更新视野分界线参数，从当前视频帧的前5帧中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新。

Description

一种视域重叠的多摄像机目标匹配方法

技术领域

本发明属于多摄像机视频监控的目标跟踪技术，尤其涉及一种视域重叠的多摄像机目标匹配方法。

背景技术

随着科学技术的发展，“智慧校园”、“智慧城市”等概念不断的涌入人们的生活。信息技术的飞速发展为这些提供了技术支持，使它们逐渐成为现实。而在交通、工业和教育中，视频监控被越来越广泛的应用。大量涌现的摄像机监控视频也促使人们去思考如何高效的进行视频处理这一问题。于是，不同的智能视频监控系统被开发出来，用来对视频中的目标进行检测、匹配和跟踪，甚至有些智能视频监控系统能够对视频中的目标识别和行为分析。

多摄像机目标追踪系统作为智能视频监控系统的一部分，有着更广阔和多角度的视野，可以克服单摄像机中目标被遮挡和目标移出视野的问题。因此多摄像机目标跟踪系统具有更大的研究和应用价值。主要步骤：首先对单摄像机输入视频进行运动目标检测，分别提取目标特征；再对各单摄像机提取的信息进行融合，实现不同摄像机中的目标匹配；最后实现多摄像机协同进行目标跟踪。

本发明主要是对视野重叠情况下多摄像机的目标匹配问题进行研究。目前关于视域重叠的多摄像机目标匹配方法主要有：基于特征融合的目标匹配方法，基于队列的目标匹配方法和基于模型的目标匹配方法。基于特征融合的目标匹配方法将提取的目标特征利用统计学等方法进行目标匹配，该方法对于无遮挡情况下的视频效果较好，但当候选区域较大后会导致迭代次数增多，增加时间成本。基于队列的目标匹配方法是根据相邻摄像机的几何转换关系进行目标的定位。该方法在确定摄像机几何关系时忽略了摄像机受外界因素而导致的相对位置的变化和几何关系确立时产生的误差，从而会导致系统匹配准确率的逐渐下降。基于模型的目标匹配方法是利用先验信息构建一个目标模型，将视频中的目标和目标模型进行匹配，但该方法在目标发生旋转、形变时就会失去作用，而且建立模型也耗费大量运算时间。

1.现有智能视频监控系统中，在人群密集情况下或目标暂时被其他事物遮挡时，一是会因视频中无法搜索匹配到目标而发生目标丢失情况；二是扩大搜索窗，这会导致目标匹配时迭代搜索区域增大，增加计算复杂度，算法实时性下降。本发明将不采用这两种策略。

2.多视频目标匹配模型参数一般分为两类：一类是模型参数固定不变，但现实生活中各种不确定因素会导致摄像机位置发生变动，从而导致模型逐渐失效；另一类是参数不断更新的模型，但目标搜索和定位过程中也会出现异常数据的计算误差，导致模型参数更新错误，从而模型失效。本发明中的目标匹配模型更加稳健，并能够避免参数更新失败造成的模型失效。

3.在视频中出现多个相似目标时，目标很难依靠单一或较少的目标特征进行辨别。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供了一种视域重叠的多摄像机目标匹配方法，其采用基于多摄像机视野分界线的方法对目标进行定位，能够避免因单摄像机视野中目标被遮挡或变形而导致的目标丢失和匹配失败；目标通过空间映射实现定位后再进行目标匹配，也可以缩小迭代搜索区域，降低计算复杂度。

本发明为解决上述技术问题采用以下技术方案

一种视域重叠的多摄像机目标匹配方法，具体包含如下步骤；

步骤1，根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线，其中，n取正整数；

步骤2，提取摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的特征进行融合获得融合后的特征向量；

步骤3，计算摄像机1中各待匹配前景目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量；

步骤4，计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；

步骤5，更新视野分界线参数，从当前视频帧的前5帧的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新；

步骤6，重复步骤2，直至视频结束。

作为本发明一种视域重叠的多摄像机目标匹配方法的进一步优选方案，在步骤1中，两台摄像机的视野分界线具体计算过程如下：

步骤1.1，设两台摄像机中的同一时刻的帧图像为图像1和图像2；

步骤1.2，提取图像1和图像2的sift匹配关键点，并利用RANSAC算法进行过滤；

步骤1.3，从步骤1.2过滤后的sift匹配关键点对中选取4对空间共面的点对，且任意3点都不共线，设I₁和I₂为两个独立的投影不变量，则计算如公式如下：

其中，

是点

在图i中的坐标，在两幅待匹配的背景图像中，已知图像1中的5个点

计算投影不变量I₁,I₂；图像1中的

分别对应图像2中的

根据两个投影不变量，计算图像2中第5个点的对应位置；第5个点的坐标计算公式：

其中

作为本发明一种视域重叠的多摄像机目标匹配方法的进一步优选方案，在步骤1中，视野分界线的初始化和更新具体如下：

初始化视野分界线，即计算a₁,b₁,c₁和a₂,b₂,c₂两组参数，首先选取两组视频的第1,3,5帧图像，根据5.2.2部分计算视野分界线参数，记第n(n>＝5)帧图像视野分界线参数为

和

则当前帧图像视野分界线参数为公式(3)：

公式中λ₁,λ₂和λ₃分别为不同帧参数的加权系数，可根据情况进行调整，本发明中设置为0.2,0.3,0.5；

具体步骤如下：

1)分别从摄像机1和摄像机2中读取视频1和视频2；

2)初始化模型，根据5.2.1计算当前帧a₁,b₁,c₁和a₂,b₂,c₂；

3)当帧数n<5时，直接采用5.2.1方法计算模型参数；当帧数n>＝5时，采用5.2.2公式计算模型参数；

4)重复步骤3)。

作为本发明一种视域重叠的多摄像机目标匹配方法的进一步优选方案，在步骤2和步骤3中，采用图像显著性加权的HSV特征和HOG特征描述进行融合特征量。

作为本发明一种视域重叠的多摄像机目标匹配方法的进一步优选方案，HOG特征提取具体如下：

HOG特征是通过梯度分布来描述图像局部信息，图像先分块，再分解成细胞单元并计算梯度分布直方图，最后把所有的直方图联合起来即为HOG描述子；

具体步骤如下：

(1)Gamma归一化：

为了避免光照、噪声等影响，图像需要先进行Gamma归一化，归一化公式为：

gamma常取2；

I(x,y)＝I(x,y)^gamma，gamma常取0.5；

(2)梯度计算具体如下：

G_x(x,y)＝A(x+1,y)-A(x-1,y)

G_y(x,y)＝A(x,y+1)-A(x,y-1) (7)

其中，G_x为水平方向梯度，G_y为垂直方向梯度，A(x,y)为像素(x,y)的灰度值，则梯度值G和梯度方向α为公式(8)和(9)：

(3)计算各单元梯度分布直方图；

将目标图像分解成若干单元cell，并对每个cell计算其梯度分布直方图。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明采用基于多摄像机视野分界线的方法对目标进行定位，能够避免因单摄像机视野中目标被遮挡或变形而导致的目标丢失和匹配失败。目标通过空间映射实现定位后再进行目标匹配，也可以缩小迭代搜索区域，降低计算复杂度。

2.本发明采用自调节空间模型方法，从视频当前帧的前五帧中选取三帧，保存其空间模型参数作为当前帧空间模型的先验信息。当前帧空间模型参数根据先验信息和当前计算参数这两组数据来确定。本方法充分利用了不同时间帧的信息来避免因摄像机位置变化而导致的模型失效，增强了算法的鲁棒性。

3.本发明利用多特征融合匹配方法进行目标匹配。首先利用提出的像素贡献值加权直方图方法计算HSV颜色空间的H和S通道的直方图，再提取HOG特征，然后将颜色直方图特征和HOG特征联合为目标特征向量，最后再计算所提出的空间加权相似度值，并根据匹配规则进行目标匹配。本发明一定程度上能够在相似目标出现时提高目标匹配的准确率。

附图说明

图1是本发明视域重叠的多摄像目标匹配算法框图；

图2是本发明HSV颜色空间；

图3是本发明目标图像划分示意图；

图4是本发明梯度方向划分

图5是本发明目标cell分解和block划分。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

5.1整体框架

在多摄像机重叠视域中进行多目标匹配时，主要从两个方面进行考虑：一是模型的鲁棒性，摄像机位置会受外界环境的影响而改变，从而使模型参数逐渐失效，除此之外，摄像机视域中的目标会发生遮挡、变形等异常情况，这也会导致目标丢失；二是模型的准确性，由于多目标进行匹配时会存在目标相似情况，而单一的目标特征匹配方法很难能够对相似目标进行辨别从而导致匹配准确率下降。本发明从这两个方面对多摄像机重叠视域中的多目标匹配算法进行改进，构建一种更加鲁棒和准确率更高的基于自适应视野空间模型的目标匹配方法。

本发明的框架如图1所示，具体如下：

本发明以两台摄像机为例，其主要步骤：

1)先根据摄像机1和摄像机2的前5帧信息计算两台摄像机的视野分界线，以此能够定位摄像机1中的任意一点投影在摄像机2中的位置。

2)提取摄像机1视频中的前景目标，根据多特征融合规则将各个目标的特征进行融合获得融合后的特征向量。

3)计算摄像机1中各目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量。

4)计算多特征融合向量的欧式距离，距离最近且在设定阈值范围内的目标为匹配目标。

5)更新视野分界线参数，从当前视频帧的前5帧的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新。

6)重复步骤2，直至视频结束。

本发明中的空间模型参数能够随时间变化进行更新，这能够很好的解决摄像机相对位置的变化，使投影点的定位更准确；而根据投影点定位确定的可靠区域也能够减少目标匹配的计算量。本发明将目标的多个特征进行融合获得特征向量，相比单特征能够更好的辨别相似目标，提高目标匹配的准确率。

5.2自适应视野空间模型

本发明的整体框架是基于自适应视野空间模型的目标匹配方法，即能够根据本发明的优化方法及时更新视野分界线模型的参数。该部分主要包括两个模块：一是初始化视野分界线模型，二是更新模型参数。

5.2.1生成视野分界线

设两台摄像机中的同一时刻的帧图像为图像1和图像2。首先提取图像1和图像2的sift匹配关键点，并利用RANSAC算法进行过滤。从过滤后的关键点对中选取4对空间共面的点对，且任意3点都不共线。设I₁和I₂为两个独立的投影不变量，计算如公式(1)：

其中，

是点

在图i中的坐标。在两幅待匹配的背景图像中，已知图像1中的5个点

计算投影不变量I₁,I₂；图像1中的

分别对应图像2中的

根据两个投影不变量，就可以计算图像2中第5个点的对应位置。第5个点的坐标计算公式：

其中

5.2.2视野分界线的初始化和更新

初始化视野分界线，即计算a₁,b₁,c₁和a₂,b₂,c₂两组参数。首先选取两组视频的第1,3,5帧图像，根据5.2.2部分计算视野分界线参数，记第n(n>＝5)帧图像视野分界线参数为

和

则当前帧图像视野分界线参数为公式(3)：

公式中λ₁,λ₂和λ₃分别为不同帧参数的加权系数，可根据情况进行调整，本发明中设置为0.2,0.3,0.5。

具体步骤如下：

1)分别从摄像机1和摄像机2中读取视频1和视频2；

2)初始化模型，根据5.2.1计算当前帧a₁,b₁,c₁和a₂,b₂,c₂；

3)当帧数n<5时，直接采用5.2.1方法计算模型参数；当帧数n>＝5时，采用5.2.2公式计算模型参数；

4)重复步骤3)。

5.3目标多特征融合方法

当重叠视域中存在多个相似目标时，依靠单一目标特征无法准确进行目标匹配。而本发明中采用一种目标多特征融合的方法来提取目标特征，既可以更好的分辨相似目标，也可以提高目标匹配时的准确率。

常见的单一目标特征有颜色特征，局部特征，纹理特征，空间特征等。本发明主要采用图像显著性加权的HSV特征和HOG特征描述进行融合。

5.3.1像素贡献加权直方图

在图像HSV颜色空间中，H为色相，描述主要的颜色分类，S为饱和度，描述人眼感受到的色彩鲜艳纯正程度，V为亮度，描述人眼感受到的色彩的光的强度。HSV颜色空间可用图2表示，其中H为0-360度；S为到圆锥中心轴的距离，0<S<1，S越大颜色越鲜艳；Y为到圆锥顶点的垂直距离，0<V<1，V越小颜色越暗。而RGB和HSV颜色空间的转换公式如公式(4)：

V＝max (4)

颜色直方图是通过对不同颜色在图像中出现的次数进行统计而计算的比例。假设给定图像I，将图像I的HSV颜色空间的H通道进行量化为8个色彩等级(c₁,c₂,...,c₈)，若像素p(x,y)的颜色为C(p)，则集合I_c为C(p)＝c的像素集合。对于颜色c_i,i＝{1,2,...,8},直方图

归一化直方图为：

其中m×n为图像大小。

S通道的归一化直方图计算方法和H通道相同。为了避免不同摄像机中视频亮度不同而造成的影响，本发明将只提取H和S通道的直方图特征量。

本发明的颜色直方图特征计算采用像素贡献加权直方图特征计算方法。一般待匹配目标是一个矩形区域，本发明将目标从上到下依次分为8个大小相同的条形区域bin，分别对每个bin计算直方图，最后依次将8个bin的直方图特征进行串联{H_bin1,H_bin2,...,H_bin8}，如图3。

假设一个bin的中心为p(x₀,y₀)，则像素p_i(x_i,y_i)的贡献值为K(x_i,y_i)，计算公式如公式(5)：

其中W和H为每个bin的宽和高，则颜色c_i的像素p(x,y)对直方图贡献值为K_ci,p，颜色c_i的直方图特征值为公式(6)：

其中I_ci为颜色为c_i的像素集合，A_p为像素p的通道归一化幅值。

5.3.2HOG特征提取

HOG特征是通过梯度分布来描述图像局部信息，图像先分块，再分解成细胞单元并计算梯度分布直方图，最后把所有的直方图联合起来即为HOG描述子。

具体步骤如下：

(1)Gamma归一化

为了避免光照、噪声等影响，图像需要先进行Gamma归一化，归一化公式为：

gamma常取2

I(x,y)＝I(x,y)^gamma，gamma常取0.5

(2)梯度计算

梯度计算公式(7)：

G_x(x,y)＝A(x+1,y)-A(x-1,y)

G_y(x,y)＝A(x,y+1)-A(x,y-1) (7)

其中G_x为水平方向梯度，G_y为垂直方向梯度，A(x,y)为像素(x,y)的灰度值。则梯度值G和梯度方向α为公式(8)和(9)：

(3)计算各单元梯度分布直方图

将目标图像分解成若干单元cell，并对每个cell计算其梯度分布直方图。计算一个cell的梯度分布直方图，先将梯度方向(0-360o)划分为4个值域带bin(图4)，计算cell内每个像素的梯度值和梯度方向，并将像素梯度值累加到对应的梯度方向bin中，即可获得该cell的梯度分布直方图。

(4)将相邻的2×2个cell组合为块block如图5所示，串联为block梯度分布直方图特征，并采用L2-norm的方式进行归一化。最后联合各block的直方图特征形成目标图像最终的HOG特征。

5.3.3多特征向量

首先将目标图像通过双线性插值方法统一为大小为128×64像素的图像，再分别按照上述方法提取颜色直方图特征和HOG特征。颜色直方图特征为HSV颜色空间中的H和S通道，则颜色直方图特征为8×8×8＝512维；HOG特征提取时，每个cell大小为8×8，相邻的2×2个cell构成block，则HOG特征为128×2×2×4＝2048维。最后将颜色直方图特征和HOG特征联合起来，构成最终512+2048＝2560维的目标特征向量。

5.4目标匹配

计算目标中心的投影点D₀(x₀,y₀)，目标特征向量V₀,以该投影点为中心选取128×64的可靠区域并选择可能匹配目标。假设该区域存在的目标中心点有D_i(x_i,y_i)(i＝1,2,...,n)，n为可靠区域内目标个数，对应目标的特征向量为V_i(i＝1,2,...,n)。目标中心D_i(x_i,y_i)到投影点D₀(x₀,y₀)的欧式距离归一化后为L_i，计算公式为公式(10)：

其中M和N为目标图像高和宽。考虑到距离投影点越远的目标为正确匹配目标的可能性越小，本发明定义目标和可靠区域内待匹配目标之间的相似度S_i,如公式(11)。

计算最佳匹配目标相似度S＝max({S_i})(i＝1,2,...,n)。若S<2/3,则不存在目标匹配对象；若S>2/3,则匹配对象是相似度为S_i＝S的目标。若存在多个目标相似度等于S，则选取L_i比较小的目标。

基于自适应视野空间模型的目标匹配方法，本方法采用多帧图像参数加权的方法实时更新当前模型的参数，既考虑了当前帧参数又考虑了过去帧的模型参数的影响，能够一定程度克服摄像机位移、抖动、缺帧、“鬼影”和目标遮挡的问题。

多特征目标匹配方法，本方法中将目标划分为若干带状区域以扩充直方图特征维度，采用像素贡献加权直方图计算HSV颜色空间的H和S通道的直方图，并联合目标的HOG特征组成目标特征向量。目标匹配时利用定义的空间加权相似度进行确定，既考虑了可能目标和投影点的空间距离关系也考虑了特征向量的相似度，从而能够更准确的辨别匹配目标，一定程度上克服目标尺度不同和光照的影响。

Claims (3)

1.一种视域重叠的多摄像机目标匹配方法，其特征在于：具体包含如下步骤；

步骤1，根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线，其中，n取正整数；

步骤2，提取摄像机1视频中的前景目标，根据多特征融合规则将各个前景目标的特征进行融合获得融合后的特征向量；

步骤3，计算摄像机1中各待匹配前景目标在摄像机2中的投影点，确定待匹配目标的可靠区域后，再计算可靠区域内多特征融合向量；

步骤4，计算多特征融合向量的欧式距离，完成视域重叠的多摄像机目标匹配，距离最近且在设定阈值范围内的目标为匹配目标，保存视野分界线参数；

步骤5，更新视野分界线参数，从当前视频帧的前5帧的中选取2组参数，再结合当前帧的视野分界线参数进行线性加权，并对视野分界线模型进行更新；

步骤6，重复步骤2，直至视频结束；

在步骤1中，根据摄像机1和摄像机2的前n帧信息计算两台摄像机的视野分界线的过程具体如下：

S11，分别从摄像机1和摄像机2中读取视频1和视频2；

S12，初始化模型：按照下述初始化方法计算当前帧图像的视野分界线参数a₁,b₁,c₁和a₂,b₂,c₂：

S121，设两台摄像机中的同一时刻的帧图像为图像1和图像2；

S122，提取图像1和图像2的sift匹配关键点，并利用RANSAC算法进行过滤；

S123，从过滤后的sift匹配关键点对中选取4对空间共面的点对，且任意3点都不共线，设I₁和I₂为两个独立的投影不变量，则计算如公式如下：

其中，

是点

在图i中的坐标，在两幅待匹配的背景图像中，已知图像1中的5个点

计算投影不变量I₁,I₂；图像1中的

分别对应图像2中的

根据两个投影不变量，计算图像2中第5个点的对应位置；第5个点的坐标计算公式为：

其中：

S13，当帧数n<5时，按照步骤S12中的初始化方法直接计算模型参数；当帧数n>＝5时，按照下述更新方法计算模型参数：

首先选取两组视频的第1,3,5帧图像，计算视野分界线参数，记第n帧图像视野分界线参数为

和

则当前帧图像视野分界线参数为：

公式中λ₁，λ₂和λ₃分别为不同帧参数的加权系数，分别设置为0.2，0.3，0.5；

S14，重复步骤S13。

2.根据权利要求1所述的一种视域重叠的多摄像机目标匹配方法，其特征在于：在步骤2和步骤3中，采用图像显著性加权的HSV特征和HOG特征描述进行融合特征量。

3.根据权利要求2所述的一种视域重叠的多摄像机目标匹配方法，其特征在于：HOG特征提取具体如下：

HOG特征是通过梯度分布来描述图像局部信息，图像先分块，再分解成细胞单元并计算梯度分布直方图，最后把所有的直方图联合起来即为HOG描述子；

具体步骤如下：

(1)Gamma归一化：

为了避免光照、噪声影响，图像先进行Gamma归一化，归一化公式为：

I₁(x，y)＝log_gamma1(I(x，y))

I_normal(x，y)＝I₁(x，y)^gamma2

gamma1取2，gamma2取0.5；

(2)梯度计算具体如下：

G_x(x，y)＝A(x+1，y)-A(x-1，y)

G_y(x，y)＝A(x，y+1)-A(x，y-1)

其中，G_x为水平方向梯度，G_y为垂直方向梯度，A(x，y)为像素(x，y)的灰度值，则梯度值G和梯度方向α为：

(3)计算各单元梯度分布直方图

将目标图像分解成若干单元cell，并对每个cell计算其梯度分布直方图。

Images