CN104598883A - 一种多摄像机监控网络中目标再识别的方法 - Google Patents

Abstract

本发明公开了一种多摄像机监控网络中目标再识别的方法，包括步骤为：选取摄像机i、j间N对目标的图像序列，记为测试图像序列和参考图像序列；求取摄像机i和摄像机j间亮度转移函数；采用亮度转移函数将待识别测试图像颜色校正至与参考图像序列同一级别；分别提取待识别测试图像和参考图像序列中每幅图像ColorSIFT特征并进行特征搜索匹配，再根据KNN准则得到显著度图；根据显著图和ColorSIFT特征进行双向相似度计算，将最大相似度所对应的参考图像作为待识别测试图像的匹配目标，则将目标识别出来。本发明的多摄像机监控网络中目标再识别的方法，解决了现有技术中存在的由于未充分利用图像数据集内各个图像的关联关系使得目标识别率低的问题。

Description

一种多摄像机监控网络中目标再识别的方法

技术领域

本发明属于机器视觉技术领域，涉及一种多摄像机监控网络中目标再识别的方法。

背景技术

在多摄像机监控跟踪网络中，由于被跟踪目标的不确定性因素过多，如监控视角、环境光照、目标姿态变化等，如何对目标进行再识别是一个难点。近年来，针对跨视野目标跟踪问题，提出了众多方法，在进行跨视野目标跟踪时，摄像机间的非重叠区域导致了跟踪的不连续性，在被跟踪目标跨越摄像机间的“盲区”后对其进行准确的再识别，即如何建立一种鲁棒性的外观特征模型，是具有挑战性的问题。而提取一种稳健的外观统计特征是目标再识别问题的核心。

因此，有人提出一种基于边缘特征点的外观模型用于目标跨视野跟踪，但因其需要选择特征点耗时，无法保证对目标的实时跟踪，有人又提出利用摄像机间的拓扑结构关系，即摄像机间的连接关系来对目标进行识别，基于目标运动路径结合外观特征的匹配算法，可以提高目标识别的准确性，但其要求摄像机间的视野要有少量重合或不可见区域较小，适用性有一定局限，当摄像机间的“盲区”较小时，可以根据上一摄像机中目标的运动状态，来预测下一摄像机中的目标状态。有人使用Kalman滤波器来进行目标预测，首先使用亮度转移函数将摄像机间的成像校正，然后使用摄像机间的时空(spatio-temporal)关系，利用最大后验概率进行目标的匹配。此类方法对摄像机间的拓扑结构变化较为敏感，一旦摄像机分布发生变化，便要重新学习。

不同于依靠摄像机间的结构信息辅助的识别方法，有人提出一种鲁棒性较高统计性的目标描述。利用行人目标图像的对称，获得了良好不变性的视图，提出将目标分为头部、躯干、腿部三个部分，结合每个部分的彩色直方图(HSV)、最大稳定颜色区域(MSCR)、高复发型结构块(RHSP)对目标进行识别。也有人提出一种结合了Gabor滤波器和协方差的描述算子，可以在一定程度上抑制场景光照变化和背景的差异对目标识别造成的影响。

于是，有人提出通过训练使目标以区分度最高的特征进行表示。例如使用Adaboost方法，结合目标的颜色与空间特征信息进行识别。使用单一的特征进行训练不能适应目标变化的多样性，提取了包括颜色、梯度、纹理等目标信息，并通过局部最小二乘法(PLS)进行降维。或将目标图像按照场景信息、目标姿态分成不同的种类，对每一类使用Adaboost方法选择不同特征、度量方法进行识别。

但是，上述方法都是通过选择一种或多种特征来对待识别目标进行描述，没有充分利用图像数据集内各个图像的关联关系，因此，对于目标的识别率均比较低。

发明内容

本发明的目的是提供一种多摄像机监控网络中目标再识别的方法，解决了现有技术中存在的由于未充分利用图像数据集内各个图像的关联关系使得目标识别率低的问题。

本发明所采用的技术方案是，一种多摄像机监控网络中目标再识别的方法，具体按照以下步骤实施：

步骤1，选取多摄像机监控网络中一对摄像机i、j间N对目标的图像序列，分别记为测试图像序列和参考图像序列，N>0；

步骤2，求取摄像机i和摄像机j之间N对目标的BTF曲线，并计算N对BTF曲线的均值，即得到摄像机i和摄像机j之间的亮度转移函数；

步骤3，采用步骤2中得到的亮度转移函数将待识别测试图像的颜色校正至与参考图像序列颜色为同一级别；

步骤4，分别提取待识别测试图像和参考图像序列中每一幅图像的ColorSIFT特征；

步骤5，将步骤4中待识别测试图像中提取到的包含有ColorSIFT特征的图像块和参考图像序列中每一幅图像进行特征搜索匹配，计算待识别测试图像中包含有ColorSIFT特征的图像块和参考图像序列中每一幅图像中相同位置上下间距为l的范围内的图像块之间的相似度，待识别测试图像中每一个图像块均得到N个最优匹配结果，根据KNN准则对N个最优匹配结果排列计算得到待识别测试图像中图像块的显著程度，结合所有图像块的显著程度得到待识别测试图像的注意力显著图；

步骤6，根据步骤5中得到的注意力显著图和步骤4中提取的ColorSIFT特征对待识别测试图像与参考图像序列中每一幅图像逐一进行双向的相似度计算，将得到的最大相似度所对应的参考图像作为待识别测试图像的匹配目标，则将摄像机i中待识别测试图像中的目标在摄像机j中识别出来。

本发明的特点还在于，

步骤2具体按照以下方法实施：

步骤2.1，分别写出摄像机i和摄像机j中的亮度转移函数；

摄像机i中的亮度转移函数表达式为：

B_i(p,t_i)＝g_i(G_i(t_i)M(p)Y_i(t_i)X_i(t_i))    (1)

式中，B_i(p,t_i)为目标表面一点p，t_i时刻在摄像机i上的成像亮度，G_i(t_i)为摄像机i在t_i时刻的光照、M(p)为目标表面p点反射属性、Y_i(t_i)为摄像机i的镜头参数，X_i(t_i)为摄像机i的曝光时间，g_i(·)为摄像机i的成像函数；

摄像机j中的亮度转移函数的表达式为：

B_j(p,t_j)＝g_j(G_j(t_j)M(p)Y_j(t_j)X_j(t_j))    (2)

式中，B_j(p,t_j)为目标表面一点p，t_j时刻在摄像机j上的成像亮度，G_j(t_j)为摄像机j的光照、M(p)为目标表面p点反射属性、Y_j(t_j)为摄像机j的镜头参数，X_j(t_j)为摄像机j的曝光时间，g_j(·)为摄像机j的成像函数；

步骤2.2，将步骤2.1中得到的摄像机i的亮度转移函数经过转换，得到目标表面像素点P的第一属性表达式为：

$M\left(p\right)=\frac{{g_i}^{-1}\left(B_i(p,t_i)\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}---\left(3\right)$

式中，g_i ^-1(·)为摄像机i成像函数的逆函数；

同样，将步骤2.1中得到的摄像机j的亮度转移函数经过转换，得到目标表面像素点P的第二属性表达式为：

$M\left(p\right)=\frac{{g_j}^{-1}\left(B_j(p,t_j)\right)}{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)}---\left(4\right)$

式中，g_j ^-1(·)为摄像机j成像函数的逆函数；

步骤2.3，根据同一目标在不同摄像机上的反射属性M(p)不变，得到同一目标表面同一像素点的反射属性表达式为：

$M\left(p\right)=\frac{{g_i}^{-1}\left(B_i(p,t_i)\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}=\frac{{g_j}^{-1}\left(B_j(p,t_j)\right)}{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)},$ 并根据反射属性表达式右边推导得到摄像机i和摄像机j之间的目标成像亮度关系为：

$\begin{array}{c}{B}_j(p,t_j)=g\left(\frac{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}{g_i}^{-1}\left(B_i(p,t_i)\right)\right)\\ =g_j\left(w(t_i,t_j){g_i}^{-1}\left(B_i(p,t_i)\right)\right)\\ =f_{\mathrm{ij}}\left(B_i(p,t_i)\right)\end{array}---\left(5\right)$

步骤2.4，通过对图像中运动目标采样分别得到目标表面像素点P在摄像机i上t_i时刻的成像亮度B_i(p,t_i)，以及目标点P在摄像机j上t_j时刻的成像亮度B_j(p,t_j)，除去时间因素，将步骤2.3中得到的摄像机i和摄像机j之间目标成像亮度的表达式简化为：

B_j＝f_ij(B_i)，    (6)

步骤2.5，根据同一目标在摄像机i中的亮度级B_i和在摄像机j中的亮度级B_j的累计概率一样，得到同一目标在摄像机i和摄像机j中亮度级关系的表达式：

H_i(B_i)＝H_j(B_j)，    (7)

式中，H_i(B_i)为摄像机i中目标的颜色累积直方图，H_j(B_j)为摄像机j中目标的颜色累积直方图；

步骤2.6，将步骤2.5中得到的表达式代入步骤2.4中得到的简化后的摄像机i与摄像机j之间目标成像亮度的表达式中，得到摄像机i和摄像机j之间的亮度映射转移关系为：

B_j＝f_ij(B_i)＝H_j ^-1(H_i(B_i))；    (8)

式中，H_j ^-1(·)为H_j(·)的逆函数；

步骤2.7，根据H_i(·)、H_j(·)做查表映射，得到同一累积概率对应的不同摄像机图像的灰阶；统计同一目标中在两个摄像机中灰阶的对应关系，即得到一个目标在摄像机i和摄像机j之间的BTF曲线；

步骤2.8，根据步骤2.7中的方法对N对目标提取BTF曲线并求均值，得到摄像机i和摄像机j之间的亮度转移函数。

步骤4具体按照以下方法实施：

步骤4.1，将待识别测试图像和参考图像序列中每一幅图像分别用8×8网格划分成图像块；

步骤4.2，分别对步骤4.1中得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块采样，得到待识别测试图像的图像块的彩色直方图和参考图像序列中每一幅图像的图像块的彩色直方图，彩色直方图即Color特征；

同时，分别提取待识别测试图像的图像块的SIFT特征和参考图像序列中每一幅图像的图像块的SIFT特征；

步骤4.3，将步骤4.2中得到的待识别测试图像的图像块的Color特征与待识别测试图像的图像块的SIFT特征组合，得到待识别测试图像中每一个图像块的ColorSIFT特征，结合待识别测试图像中所有图像块ColorSIFT特征，得到待识别测试图像的ColorSIFT特征；

将步骤4.2中得到的参考图像序列中每一幅图像的图像块的Color特征与参考图像序列中每一幅图像的图像块的SIFT特征组合，得到参考图像序列中每一幅图像的图像块的ColorSIFT特征，结合参考图像序列中每一幅图像的所有图像块的ColorSIFT特征，则得到参考图像序列中每一幅图像的ColorSIFT特征。

步骤4.2具体按照以下步骤实施：

其中，提取彩色直方图具体按照以下步骤实施：

A，分别提取步骤4.1中划分得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块的Lαβ通道的直方图，并对Lαβ各通道进行降采样；

B，对Lαβ各通道的彩色直方图量化并归一化得到待识别测试图像和参考图像序列中每一幅图像的彩色直方图；

其中，提取SIFT特征具体按照以下步骤实施：

A，分别将步骤4.1中得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块进一步划分成4×4的小格；

B，分别在待识别测试图像的小格和参考图像序列中每一幅图像的小格中将梯度方向进行量化统计，得到待识别测试图像的图像块和参考图像序列中每一幅图像的图像块的SIFT特征。

步骤5具体按照以下步骤实施：

步骤5.1，设摄像机i中待识别测试图像为p，为摄像机i中待识别测试图像p当中的中心位置为(m,n)的小图像块所包含的ColorSIFT特征，同时，摄像机i中待识别测试图像p对应摄像机j中第q帧图像，则待识别测试图像p中所有行标为m的图像块的ColorSIFT特征的表达式为：

${F_i}^p\left(m\right)=\left\{C_{m,n}^{i,p}\right|n=\mathrm{1,2},...,N\}---\left(9\right)$

步骤5.2，搜索与待识别测试图像p中m行图像块相匹配的所有参考图像中的ColorSIFT特征，摄像机i中待识别测试图像p的每一个小图像块均得到N个最优匹配结果，上述N个最优匹配结果均来自不同的参考图像；

每个参考图像与待识别图像中m行图像块匹配按照以下方法进行搜索：

$S(C_{m,n}^{i,p},C_j^q)=\left\{C_j^q\left(m\right)\right|\∈N\left(m\right)\}---\left(10\right)$

式中，N(m)＝{m-l,…,m,…m+l},m-l＞0；

表示摄像机j中第q帧图像中所有的图像块；

上式中l为浮动尺度，由于在不同摄像机场景中提取出来的目标会发生对准误差，因此，在摄像机i中m行的小图像块的特征，在摄像机j中的m行的上下浮动搜索，l为浮动的宽松尺度，l取值为2；

并按照以下方法进行匹配计算：

$\mathrm{Score}(x,y)=\exp (-\frac{d{(x,y)}^2}{{2\mathrm{\σ}}^2})---\left(11\right)$

式中，d(x,y)＝||x-y||₂是图像特征块x,y之间的欧氏距离，σ是高斯方程的带宽，取值为0.6，d(x,y)采用巴氏距离计算；

步骤5.3，根据KNN准则分别计算测试图像p中每一个图像块的显著程度，综合所有图像块的显著程度得到待识别测试图像和参考图像序列中每一幅图像之间的注意力显著图，具体按照以下方法计算：

$\mathrm{Sal}\left(C_{m,n}^{i,p}\right)=D_k\left(\mathrm{Xnn}\left(C_{m,n}^{i,p}\right)\right)---\left(12\right)$

式中，为摄像机i中待识别测试图像p中心点位置为(m,n)的图像块的显著度，D_k()为KNN运算，为摄像机i中待识别测试图像p的中心位置为(m,n)的图像块所对应的N个最优匹配结果；具体为：将图像块按照升序排列，K为近邻数，取值为N/2。

步骤6具体按照以下方法进行双向相似度计算：

$\mathrm{Sim}(C_p^i,C_q^i)=\mathrm{\Σ}\frac{\mathrm{Sal}\left(C_{m,n}^{i,p}\right)\·\mathrm{Score}\left(C_{m,n}^{j,q}\right)\·\mathrm{Sal}\left(C_{m,n}^{j,q}\right)}{|\mathrm{Sal}\left(C_{m,n}^{i,p}\right)-\mathrm{Sal}\left(C_{m,n}^{j,q}\right)|}---\left(13\right)$

并按照以下方法选取相似度最大的参考图像作为待识别测试图像的匹配目标：

$q^{\′}=\underset{q}{\arg \max }\mathrm{Sim}(C_p^i,C_q^j)---\left(14\right)$

式中，q'为参考图像序列中相似度最高的图像，为摄像机i中第p帧图像，为摄像机j中第q帧图像是摄像机i中第p帧图像与摄像机j中第q帧图像相似度。

本发明的有益效果是通过将图像的注意力特征与颜色纹理特征相结合，并进行双向的相似度计算，即双向识别，从而找到最佳匹配结果，充分利用了图像数据集中图像之间的关联关系，从而提高了多摄像机监控网络中目标再识别率。

附图说明

图1是本发明的一种多摄像机监控网络中目标再识别的方法的流程示意图；

图2是本发明中提取ColorSIFT特征的结果图，b、d中的每一列对应图像a、c中的每一个图像块；

图3(a)是本发明中一对样本学习的BTF曲线图；

图3(b)是本发明中多对样本学习的BTF曲线图；

图4是本发明中一组BTF训练样本图，第一行为目标在摄像机i中的表现，第二行为目标在摄像机j中的表现，第三行为摄像机j中的目标经过BTF校正之后的表现；

图5是本发明中特征匹配搜索的过程示意图；

图6是本发明中特征匹配搜索的结果图；

图7是本发明中根据KNN准则生成的注意力显著图；

图8是本发明中采用双向结合法计算相似度的示意图；

图9为利用本发明的方法在自建数据库中进行目标再识别的识别结果图；

图10(a)是采用本发明的方法以及现有的方法在自建数据库中进行识别结果评价的对比图；

图10(b)是采用本发明的方法以及现有的方法在数据库EPFLDataset中进行识别结果评价的对比图；

图10(c)是采用本发明的方法以及现有的方法在数据库CAMPUS-Human Dataset中进行识别结果评价的对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明所依据的原理为：在实际生活观察中，人眼总是能在数据集当中准确地找出匹配的目标，原因在于人眼提取到了能将待识别目标和其他目标区别开的显著性特征，该显著性特征对于目标形变和观察视角变化以及光照场景不同具有较高鲁棒性；能将目标在数据集中寻找到唯一的最优匹配结果并与其他结果良好的区分。直观来说，假设目标在一个摄像机中具有某些显著性的区域，那么当这个目标重新出现在其他摄像机的视野中，也应具有与之对应的显著性区域。

本发明一种多摄像机监控网络中目标再识别的方法，首先利用视觉注意力特征在摄像机间的成像差异作以校正，然后结合注意力特征和颜色纹理特征，提高了多摄像机监控网络中目标识别率，如图1所示，具体按照以下步骤实施：

步骤1，选取多摄像机监控网络中一对摄像机i、j间的N对目标的图像序列，分别记为测试图像序列和参考图像序列，N>0；

步骤2，求取摄像机i和摄像机j之间N对目标的BTF曲线，并计算N对BTF曲线的均值，即得到摄像机i和摄像机j之间的亮度转移函数，由于在多摄像机跨视野跟踪中，不同相机对目标的成像差异很大，其主要来自于光照条件及相机成像参数的不同，为了消除这一差异对特征提取的影响，因此采用一种基于亮度转移函数的颜色直方图匹配方法，使用亮度转移函数(BTF)来消除多摄像机中颜色亮度的差异，具体按照以下方法计算：

步骤2.1，分别写出摄像机i和摄像机j中的亮度转移函数分别为：

摄像机i中的亮度转移函数的表达式为：

B_i(p,t_i)＝g_i(G_i(t_i)M(p)Y_i(t_i)X_i(t_i))    (1)

式中，B_i(p,t_i)为目标表面一点p，t_i时刻在摄像机i上的成像亮度，G_i(t_i)为摄像机i的光照、M(p)为目标表面p点反射属性、Y_i(t_i)为摄像机i的镜头参数，X_i(t_i)为摄像机i的曝光时间，g_i(·)为摄像机i的成像函数；

摄像机j中的亮度转移函数的表达式为：

B_j(p,t_j)＝g_j(G_j(t_j)M(p)Y_j(t_j)X_j(t_j))    (2)

式中，B_j(p,t_j)为目标表面一点p，t_j时刻在摄像机j上的成像亮度，G_j(t_j)为摄像机j的光照、M(p)为目标表面p点反射属性、Y_j(t_j)为摄像机j的镜头参数，X_j(t_j)为摄像机j的曝光时间，g_j(·)为摄像机j的成像函数；

步骤2.2，将步骤2.1中得到的摄像机i的亮度转移函数经过转换，得到目标表面像素点P的第一属性表达式为：

$M\left(p\right)=\frac{{g_i}^{-1}\left(B_i(p,t_i)\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}---\left(3\right)$

同样，将步骤2.1中得到的摄像机j的亮度转移函数经过转换，得到目标表面像素点P的第二属性表达式为：

$M\left(p\right)=\frac{{g_j}^{-1}\left(B_j(p,t_j)\right)}{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)}---\left(4\right)$

式中，g_i ^-1(·)为成像函数的逆函数；

步骤2.3，根据同一目标在不同摄像机上的反射属性M(p)不变，可以得到同一目标点的反射属性 $M\left(p\right)=\frac{{g_i}^{-1}\left(B_i(p,t_i)\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}=\frac{{g_j}^{-1}\left(B_j(p,t_j)\right)}{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)},$ 根据等式右边可推得摄像机i与摄像机j之间目标成像亮度关系为：

$\begin{array}{c}{B}_j(p,t_j)=g\left(\frac{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}{g_i}^{-1}\left(B_i(p,t_i)\right)\right)\\ =g_j\left(w(t_i,t_j){g_i}^{-1}\left(B_i(p,t_i)\right)\right)\\ =f_{\mathrm{ij}}\left(B_i(p,t_i)\right)\end{array}---\left(5\right)$

步骤2.4，通过对图像中运动目标采样分别得到目标表面像素点P在摄像机i上t_i时刻的成像亮度B_i(p,t_i)，以及目标点P在摄像机j上t_j时刻的成像亮度B_j(p,t_j)，在不考虑时间因素的情况下，将步骤2.3中得到的摄像机i与摄像机j之间目标成像亮度的表达式简化为：

B_j＝f_ij(B_i)，    (6)

步骤2.5，根据同一目标在摄像机i中的亮度级B_i和摄像机j中的亮度级B_j的累计概率一样，可以得到同一目标在摄像机i和摄像机j中亮度级关系的表达式：

H_i(B_i)＝H_j(B_j)，    (7)

式中，H_i(B_i)为摄像机i中目标的颜色累积直方图，H_j(B_j)为摄像机j中目标的颜色累积直方图；

步骤2.6，将步骤2.5中得到的表达式代入步骤2.4中得到的简化后的摄像机i与摄像机j之间目标成像亮度的表达式中，得到摄像机i和摄像机j之间的亮度映射转移关系为：

B_j＝f_ij(B_i)＝H_j ^-1(H_i(B_i))；    (8)

式中，H_j ^-1(·)为H_j(·)的逆函数；

步骤2.7，根据H_i(·)、H_j(·)做查表映射，得到同一累积概率大小对应的不同摄像机图像的灰阶；统计一个目标在两个摄像机中灰阶的对应关系，即得到一个目标在摄像机i和摄像机j之间的亮度转移关系，如图3(a)所示；其中，根据H_i(·)、H_j(·)做查表映射为根据图像本身的灰阶和灰阶对应的累积概率所构成的表进行查询，具体为：假设摄像机i中的图像为A，摄像机j中的图像为B，则通过查表映射找到图像A中灰阶x对应的累计概率，利用该累计概率在图像B中再次做查表映射找到B中对应的灰阶，即得到图像A中灰阶在图像B中对应的灰阶；

步骤2.8，根据步骤2.7中的方法对N对目标提取BTF曲线并求均值，如图3(b)所示，即得到摄像机i和摄像机j之间的亮度转移函数；

步骤3，采用步骤2.8中得到的亮度转移函数将待识别测试图像的颜色校正至与参考图像序列颜色为同一级别，结果如图4所示；

步骤4，分别提取待识别测试图像和参考图像序列中每一幅图像的ColorSIFT特征；由于在目标特征选取中，颜色特征往往能很好地表现目标的躯干部分，而纹理信息则能更好的表现腿部信息，故采用一种颜色纹理相融合的特征即ColorSift特征来进行目标的表示，提取结果如图2所示，b、d中的每一列对应图像a、c中的每一个图像块，具体按照以下步骤实施；

步骤4.1，将待识别测试图像和参考图像序列中每一幅图像分别用8×8网格划分成图像块；

步骤4.2，分别对步骤4.1中得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块采样，得到待识别测试图像的图像块的彩色直方图和参考图像序列中每一幅图像的图像块的彩色直方图；

同时，分别提取待识别测试图像的图像块的SIFT特征和参考图像序列中每一幅图像的图像块的SIFT特征；

其中，提取彩色直方图具体按照以下步骤实施：

A，分别提取步骤4.1中划分得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块的Lαβ通道的直方图，对Lαβ各通道进行多尺度降采样，选择的尺度变换因子分别为0.5、0.75、1；

B，对Lαβ各通道的彩色直方图量化并归一化得到待识别测试图像和参考图像序列中每一幅图像的彩色直方图；

其中，提取SIFT特征具体按照以下步骤实施：

A，分别将步骤4.1中得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块进一步划分成4×4的小格；

B，分别在待识别测试图像的小格和参考图像序列中每一幅图像的小格中将梯度方向进行量化统计，得到待识别测试图像的图像块和参考图像序列中每一幅图像的图像块的SIFT特征；

步骤4.3，将步骤4.2中得到的待识别测试图像的图像块的彩色直方图与待识别测试图像的图像块的SIFT特征组合，得到待识别测试图像中每一个图像块的ColorSIFT特征，结合待识别测试图像中所有图像块的ColorSIFT特征，则得到待识别测试图像的ColorSIFT特征；

将步骤4.2中得到的参考图像序列中每一幅图像的图像块的彩色直方图与参考图像序列中每一幅图像的图像块的SIFT特征组合，得到参考图像序列中每一幅图像的图像块的ColorSIFT特征，结合参考图像序列中每一幅图像的所有图像块的ColorSIFT特征，则得到参考图像序列中每一幅图像的ColorSIFT特征；

步骤5，如图5所示，将步骤4.1中得到的待识别测试图像的图像块和参考图像序列中每一幅图像进行特征搜索匹配，计算图像块和图像序列中每一幅图像中相同位置上下间距为l范围内的图像块的之间的相似程度，得到图像中每一个图像块和参考图像序列中每一幅图像最佳匹配结果，结果如图6所示；根据KNN准则对N个最优匹配结果排列计算得到图像块的显著程度，结合所有的图像块的显著度得到待识别图像的注意力显著图，结果如图7所示；

步骤5.1，设摄像机i中待识别测试图像为p，为摄像机i中待识别测试图像p当中的中心位置为(m,n)的小图像块所包含的ColorSIFT特征，同时，摄像机i中待识别测试图像p对应摄像机j中第q帧图像，则待识别测试图像p中所有行标为m的图像块的ColorSIFT特征的表达式为：

${F_i}^p\left(m\right)=\left\{C_{m,n}^{i,p}\right|n=\mathrm{1,2},...,N\}---\left(9\right)$

步骤5.2，搜索与待识别测试图像p中m行图像块相匹配的所有参考图像中的ColorSIFT特征，摄像机i中待识别测试图像p的每一个小图像块均得到N个最优匹配结果，上述N个最优匹配结果均来自不同的参考图像；

每个参考图像与待识别图像中m行图像块匹配按照以下方法进行搜索：

$S(C_{m,n}^{i,p},C_j^q)=\left\{C_j^q\left(m\right)\right|\∈N\left(m\right)\}---\left(10\right)$

式中，N(m)＝{m-l,…,m,…m+l},m-l＞0；

表示摄像机j中第q帧图像中所有的图像块；

上式中l为浮动尺度，由于在不同摄像机场景中提取出来的目标会发生对准误差，因此，在摄像机i中m行的小图像块的特征，在摄像机j中的m行的上下浮动搜索，l为浮动的宽松尺度，l取值为2；

并按照以下方法进行匹配计算：

$\mathrm{Score}(x,y)=\exp (-\frac{d{(x,y)}^2}{{2\mathrm{\σ}}^2})---\left(11\right)$

式中，d(x,y)＝||x-y||₂是图像特征块x,y之间的欧氏距离，σ是高斯方程的带宽，取值为0.6，d(x,y)采用巴氏距离计算；

步骤5.3，根据KNN准则分别计算测试图像p中每一个图像块的显著程度，综合所有图像块的显著程度得到待识别测试图像和参考图像序列中每一幅图像之间的注意力显著图，具体按照以下方法计算：

$\mathrm{Sal}\left(C_{m,n}^{i,p}\right)=D_k\left(\mathrm{Xnn}\left(C_{m,n}^{i,p}\right)\right)---\left(12\right)$

式中，为摄像机i中待识别测试图像p中心点位置为(m,n)的图像块的显著度，D_k()为KNN运算，为摄像机i中待识别测试图像p的中心位置为(m,n)的图像块所对应的N个最优匹配结果；具体为：将图像块按照升序排列，K为近邻数，取值为N/2；

步骤6，在得到每幅图像的显著图之后，可以根据两幅显著图的比较，来确定各自对应的目标是否一致，但显著图只能确定目标的显著性区域，不包含目标的其他特征信息，并且不同的目标图像有可能产生近似的显著图，因此，将步骤5中得到的注意力显著图和步骤4中提取的ColorSIFT特征将待识别测试图像与参考图像序列中每一幅图像逐一进行双向的相似度计算，将得到的最大相似度所对应的参考图像作为待识别测试图像p的匹配目标，则将摄像机i中待识别测试图像p中的目标在摄像机j中识别出来，如图8所示，具体按照以下方法进行双向相似度计算：

$\mathrm{Sim}(C_p^i,C_q^i)=\mathrm{\Σ}\frac{\mathrm{Sal}\left(C_{m,n}^{i,p}\right)\·\mathrm{Score}\left(C_{m,n}^{j,q}\right)\·\mathrm{Sal}\left(C_{m,n}^{j,q}\right)}{|\mathrm{Sal}\left(C_{m,n}^{i,p}\right)-\mathrm{Sal}\left(C_{m,n}^{j,q}\right)|}---\left(13\right)$

并按照以下方法选取相似度最大的参考图像作为待识别测试图像的匹配目标：

$q^{\′}=\underset{q}{\arg \max }\mathrm{Sim}(C_p^i,C_q^j)---\left(14\right)$

式中，q'为参考图像序列中相似度最高的图像，为摄像机i中第p帧图像，为摄像机j中第q帧图像是摄像机i中第p帧图像与摄像机j中第q帧图像相似度。

下面通过实验对本发明的方法进行验证：

目前，国际流行的标准测试序列为VIPeR数据库以及ETHZ多帧数据库，现有的多数方法均在上述两个数据库中计算，但由于其场景事先无法预知，本发明的方法便无法获得摄像机间的亮度转移函数，因此，上述两个数据库并不能作为测试集，故本发明的实验中依照VIPeR数据库格式构造自建数据库，而由于日光随着时间会发生细微的变化，因此，自建数据库中所有数据需保证在10分钟以内采集。另外，采用EPFL Dataset数据库和CAMPUS-Human Dataset数据库作为测试集，其中EPFL测试集包含5个不同场景下3、4组摄像机进行采集数据，EPFL target individual测试集则是针对EPFL测试集中的目标视频序列，选取产生遮挡的的目标图像。

实验中数据分为两组，均为一对摄像机对同一目标序列进行采集，摄像机A中记为测试图像序列Test，摄像机B中记为参考图像序列Reference，实验步骤具体为：

第一步，初始化过程中，在一对摄像机中人为的选取N对目标图像，计算出两个摄像机之间的N对BTF曲线。

第二步，在测试过程中，当获得一帧测试图像(Test)时，先用N对BTF曲线的均值，将测试图像的颜色校正至与参考图像序列(Reference)同一级别。

第三步，逐一提取测试图像与参考图像的ColorSIFT特征。

第四步，对测试图像与参考图像序列，进行特征搜索匹配，并依照KNN准则，生成注意力显著图。

第五步，将测试图像的注意力显著图，与参考序列的注意力图逐一进行双向的相似度计算，最大的相似度所对应的参考图像，便为测试图像对应的目标。

按照以上实验步骤对自建数据库中的图像进行处理，识别结果如图9所示，其中(a)、(c)两列分别为测试图像序列，(c)、(d)两列对应两列测试图像(a)、(b)在参考图像序列中所匹配的结果，黑色框内为匹配正确结果。

为了与现有的方法进行比对，因此，采用CMC-rank曲线进行识别结果评价，CMC-rank曲线即靠前n个结果中包含正确的结果的概率，如下表所示，其中，表1、表2、表3分别是采用本发明的方法以及现有的几种方法在自建数据库、EPFL Dataset数据库和CAMPUS-Human Dataset数据库中进行图像序列识别率的统计表，识别率用百分比进行表示，具体为：

表1自建数据库中测试图像序列识别率(％)

表2EPFL Dataset数据库中测试图像序列识别率(％)

表3CAMPUS-Human Dataset数据库中测试图像序列识别率(％)

如图10(a)所示，测试序列为自建数据库1，其中包含62对行人目标，分别从摄像机A、摄像机B中获得，均标准化至80×180分辨率，由于大部分目标在两对图像中发生了90度的角度变化，因此，为了准确的获得两个场景中对应的BTF曲线，此数据库中的目标要保证在两个摄像机内一段时间里，保持光照不发生剧烈变化，所以无法做到包含大量的目标如VIPeR Dataset，结合表1以及图10(a)中曲线可以看出本发明的方法在Rank值较低时已经表现出较高的识别率，为了验证BTF校正对识别结果的影响，图10(a)中给出了未使用BTF校正直接生成注意力进行识别的结果，曲线表明未使用BTF校正会使识别精准度下降，故而说明了BTF校正的有效性。SDALF方法将目标分区域进行特征统计，在自建数据集中，目标大多没有发生遮挡现象，能进行良好的图像分割，随着Rank值增大结果也逼近了本发明的方法。eLDFV方法将图像分成多个小矩形，对每个矩形提取像素位置、像素值、一阶偏导、二阶偏导等7个维度的局部特征并结合了加权彩色直方图，但其将图像背景部分引入计算，识别准确率较之SDALF有所下降。提取目标HSV彩色直方图进行识别准确率较前几种方法而言，准确率较低；

如图10(b)中所示，测试序列为EPFL Query Instance数据集，原始视频来自于CVLAB网站，共包含5个场景，由三个或四个摄像机从不同角度拍摄，从并原始视频中提取目标。共有30个目标60帧参考图像，449帧测试图像，同样标准化至80×180分辨率，由于超过两个场景，故随机选择两个场景数据进行测试，取多次实验结果的平均值。结合表2以及图10(b)可以看出本发明的方法在低Rank值时表现出较高的识别率，由于测试图像中较多发生遮挡现象故SDALF方法难以对目标进行有效分割，故与eLDFV方法的识别率较为接近。提取目标HSV彩色直方图进行识别准确率较前几种方法而言，准确率仍旧较低；

如图10(c)所示，测试序列为CAMPUS-Human Dataset数据集，来自中山大学智能媒体计算创新实验室。其构成与EPFL Dataset类似，共包含16个场景，由三个摄像机从不同角度拍摄，共有74个目标374帧参考图像，1519帧测试图像，标准化至80×180分辨率，试验方法与EPFL Dataset一致，结合表3以及图10(c)可以看出，本发明的方法较SDALF与eLDFV依然有较高识别率。

综上所述，相比于其他的几种方法，本发明的方法在rank值较低时有较明显的优势，其得益于对背景噪声及目标姿态变化的不敏感性，使用HSV彩色直方图作为特征进行识别时，因其为全局的统计性描述，故识别率不高，本发明的方法在rank较低时的识别率与SDALF方法和eLDFV方法相比来说较高。

Claims (6)

1.一种多摄像机监控网络中目标再识别的方法，其特征在于，具体按照以下步骤实施：

步骤1，选取多摄像机监控网络中一对摄像机i、j间N对目标的图像序列，分别记为测试图像序列和参考图像序列，N>0；

步骤2，求取摄像机i和摄像机j之间N对目标的BTF曲线，并计算N对BTF曲线的均值，即得到摄像机i和摄像机j之间的亮度转移函数；

步骤3，采用步骤2中得到的亮度转移函数将待识别测试图像的颜色校正至与参考图像序列颜色为同一级别；

步骤4，分别提取待识别测试图像和参考图像序列中每一幅图像的ColorSIFT特征；

步骤5，将步骤4中待识别测试图像中提取到的包含有ColorSIFT特征的图像块和参考图像序列中每一幅图像逐一进行特征搜索匹配，计算待识别测试图像中包含有ColorSIFT特征的图像块和参考图像序列中每一幅图像中相同位置上下间距为l的范围内的图像块之间的相似度，待识别测试图像中每一个图像块均得到N个最优匹配结果，根据KNN准则对N个最优匹配结果排列计算得到待识别测试图像中图像块的显著程度，结合所有图像块的显著程度得到待识别测试图像的注意力显著图；

步骤6，根据步骤5中得到的注意力显著图和步骤4中提取的ColorSIFT特征对待识别测试图像与参考图像序列中每一幅图像逐一进行双向的相似度计算，将得到的最大相似度所对应的参考图像作为待识别测试图像的匹配目标，则将摄像机i中待识别测试图像中的目标在摄像机j中识别出来。

2.根据权利要求1所述的一种多摄像机监控网络中目标再识别的方法，其特征在于，步骤2具体按照以下方法实施：

步骤2.1，分别写出摄像机i和摄像机j中的亮度转移函数；

摄像机i中的亮度转移函数表达式为：

B_i(p,t_i)＝g_i(G_i(t_i)M(p)Y_i(t_i)X_i(t_i))   (1)

式中，B_i(p,t_i)为目标表面一点p，t_i时刻在摄像机i上的成像亮度，G_i(t_i)为摄像机i在t_i时刻的光照、M(p)为目标表面p点反射属性、Y_i(t_i)为摄像机i的镜头参数，X_i(t_i)为摄像机i的曝光时间，g_i(·)为摄像机i的成像函数；

摄像机j中的亮度转移函数的表达式为：

B_j(p,t_j)＝g_j(G_j(t_j)M(p)Y_j(t_j)X_j(t_j))   (2)

式中，B_j(p,t_j)为目标表面一点p，t_j时刻在摄像机j上的成像亮度，G_j(t_j)为摄像机j的光照、M(p)为目标表面p点反射属性、Y_j(t_j)为摄像机j的镜头参数，X_j(t_j)为摄像机j的曝光时间，g_j(·)为摄像机j的成像函数；

步骤2.2，将步骤2.1中得到的摄像机i的亮度转移函数经过转换，得到目标表面像素点P的第一属性表达式为：

$M\left(p\right)=\frac{{g_i}^{-1}\left(B_i(p,t_i)\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}---\left(3\right)$

式中，g_i ^-1(·)为摄像机i成像函数的逆函数；

同样，将步骤2.1中得到的摄像机j的亮度转移函数经过转换，得到目标表面像素点P的第二属性表达式为：

$M\left(p\right)=\frac{{g_j}^{-1}\left(B_j(p,t_j)\right)}{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)}---\left(4\right)$

式中，g_j ^-1(·)为摄像机j成像函数的逆函数；

步骤2.3，根据同一目标在不同摄像机上的反射属性M(p)不变，得到同一目标表面同一像素点的反射属性表达式为：

$M\left(p\right)=\frac{{g_i}^{-1}\left(B_i(p,t_i)\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}=\frac{{g_j}^{-1}\left(B_j(p,t_j)\right)}{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)},$ 并根据反射属性表达式右边推导得到摄像机i和摄像机j之间的目标成像亮度关系为：

$\begin{array}{c}{B}_j(p,t_j)=g\left(\frac{G_j\left(t_j\right)Y_j\left(t_j\right)X_j\left(t_j\right)}{G_i\left(t_i\right)Y_i\left(t_i\right)X_i\left(t_i\right)}{g_i}^{-1}\left(B_i(p,t_i)\right)\right)\\ =g_j\left(w(t_i,t_j){g_i}^{-1}\left(B_i(p,t_i)\right)\right)\\ =f_{\mathrm{ij}}\left(B_i(p,t_i)\right)\end{array}---\left(5\right)$

步骤2.4，通过对图像中运动目标采样分别得到目标表面像素点P在摄像机i上t_i时刻的成像亮度B_i(p,t_i)，以及目标点P在摄像机j上t_j时刻的成像亮度B_j(p,t_j)，除去时间因素，将步骤2.3中得到的摄像机i和摄像机j之间目标成像亮度的表达式简化为：

B_j＝f_ij(B_i)，   (6)

步骤2.5，根据同一目标在摄像机i中的亮度级B_i和在摄像机j中的亮度级B_j的累计概率一样，得到同一目标在摄像机i和摄像机j中亮度级关系的表达式：

H_i(B_i)＝H_j(B_j)，   (7)

式中，H_i(B_i)为摄像机i中目标的颜色累积直方图，H_j(B_j)为摄像机j中目标的颜色累积直方图；

步骤2.6，将步骤2.5中得到的表达式代入步骤2.4中得到的简化后的摄像机i与摄像机j之间目标成像亮度的表达式中，得到摄像机i和摄像机j之间的亮度映射转移关系为：

B_j＝f_ij(B_i)＝H_j ^-1(H_i(B_i))；   (8)

式中，H_j ^-1(·)为H_j(·)的逆函数；

步骤2.7，根据H_i(·)、H_j(·)做查表映射，得到同一累积概率对应的不同摄像机图像的灰阶；统计同一目标中在两个摄像机中灰阶的对应关系，即得到一个目标在摄像机i和摄像机j之间的BTF曲线；

步骤2.8，根据步骤2.7中的方法对N对目标提取BTF曲线并求均值，得到摄像机i和摄像机j之间的亮度转移函数。

3.根据权利要求1所述的一种多摄像机监控网络中目标再识别的方法，其特征在于，步骤4具体按照以下方法实施：

步骤4.1，将待识别测试图像和参考图像序列中每一幅图像分别用8×8网格划分成图像块；

步骤4.2，分别对步骤4.1中得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块采样，得到待识别测试图像的图像块的彩色直方图和参考图像序列中每一幅图像的图像块的彩色直方图，所述彩色直方图即Color特征；

同时，分别提取待识别测试图像的图像块的SIFT特征和参考图像序列中每一幅图像的图像块的SIFT特征；

步骤4.3，将步骤4.2中得到的待识别测试图像的图像块的Color特征与待识别测试图像的图像块的SIFT特征组合，得到待识别测试图像中每一个图像块的ColorSIFT特征，结合待识别测试图像中所有图像块ColorSIFT特征，得到待识别测试图像的ColorSIFT特征；

将步骤4.2中得到的参考图像序列中每一幅图像的图像块的Color特征与参考图像序列中每一幅图像的图像块的SIFT特征组合，得到参考图像序列中每一幅图像的图像块的ColorSIFT特征，结合参考图像序列中每一幅图像的所有图像块的ColorSIFT特征，则得到参考图像序列中每一幅图像的ColorSIFT特征。

4.根据权利要求2所述的一种多摄像机监控网络中目标再识别的方法，其特征在于，所述步骤4.2中提取彩色直方图具体按照以下步骤实施：

A，分别提取步骤4.1中划分得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块的Lαβ通道的直方图，并对Lαβ各通道进行降采样；

B，对Lαβ各通道的彩色直方图量化并归一化得到待识别测试图像和参考图像序列中每一幅图像的彩色直方图；

提取SIFT特征具体按照以下步骤实施：

A，分别将步骤4.1中得到的待识别测试图像的图像块和参考图像序列中每一幅图像的图像块进一步划分成4×4的小格；

B，分别在待识别测试图像的小格和参考图像序列中每一幅图像的小格中将梯度方向进行量化统计，得到待识别测试图像的图像块和参考图像序列中每一幅图像的图像块的SIFT特征。

5.根据权利要求1所述的一种多摄像机监控网络中目标再识别的方法，其特征在于，步骤5具体按照以下步骤实施：

步骤5.1，设摄像机i中待识别测试图像为p，为摄像机i中待识别测试图像p当中的中心位置为(m,n)的小图像块所包含的ColorSIFT特征，同时，摄像机i中待识别测试图像p对应摄像机j中第q帧图像，则待识别测试图像p中所有行标为m的图像块的ColorSIFT特征的表达式为：

$F_i^p\left(m\right)=\left\{C_{m,n}^{i,p}\right|n=\mathrm{1,2},...,N\}---\left(9\right)$

步骤5.2，搜索与待识别测试图像p中m行图像块相匹配的所有参考图像中的ColorSIFT特征，摄像机i中待识别测试图像p的每一个小图像块均得到N个最优匹配结果，上述N个最优匹配结果均来自不同的参考图像；

每个参考图像与待识别图像中m行图像块匹配按照以下方法进行搜索：

$S(C_{m,n}^{i,p},C_j^q)=\left\{C_j^q\left(m\right)\right|\∈N\left(m\right)\}---\left(10\right)$

式中，N(m)＝{m-l,…,m,…m+l},m-l>0；

表示摄像机j中第q帧图像中所有的图像块；

上式中l为浮动尺度，由于在不同摄像机场景中提取出来的目标会发生对准误差，因此，在摄像机i中m行的小图像块的特征，在摄像机j中的m行的上下浮动搜索，l为浮动的宽松尺度，l取值为2；

并按照以下方法进行匹配计算：

$\mathrm{Score}(x,y)=\exp (-\frac{d{(x,y)}^2}{{2\mathrm{\σ}}^2})---\left(11\right)$

式中，d(x,y)＝||x-y||₂是图像特征块x,y之间的欧氏距离，σ是高斯方程的带宽，取值为0.6，d(x,y)采用巴氏距离计算；

步骤5.3，根据KNN准则分别计算测试图像p中每一个图像块的显著程度，综合所有图像块的显著程度得到待识别测试图像和参考图像序列中每一幅图像之间的注意力显著图，具体按照以下方法计算：

$\mathrm{Sal}\left(C_{m,n}^{i,p}\right)=D_k\left(\mathrm{Xnn}\left(C_{m,n}^{i,p}\right)\right)---\left(12\right)$

式中，为摄像机i中待识别测试图像p中心点位置为(m,n)的图像块的显著度，D_k()为KNN运算，为摄像机i中待识别测试图像p的中心位置为(m,n)的图像块所对应的N个最优匹配结果；具体为：将图像块按照升序排列，K为近邻数，取值为N/2。

6.根据权利要求1所述的一种多摄像机监控网络中目标再识别的方法，其特征在于，步骤6具体按照以下方法进行双向相似度计算：

$\mathrm{Sim}(C_p^i,C_q^j)=\mathrm{\Σ}\frac{\mathrm{Sal}\left(D_{m,n}^{i,p}\right)\·\mathrm{Score}\left(C_{m,n}^{j,q}\right)\·\mathrm{Sal}\left(C_{m,n}^{j,q}\right)}{|\mathrm{Sal}\left(C_{m,n}^{i,p}\right)-\mathrm{Sal}\left(C_{m,n}^{j,q}\right)|}---\left(13\right)$

并按照以下方法选取相似度最大的参考图像作为待识别测试图像的匹配目标：

$q^{\′}=\underset{q}{\arg \max }\mathrm{Sim}(C_p^i,C_q^j)---\left(14\right)$

式中，q'为参考图像序列中相似度最高的图像，为摄像机i中第p帧图像，为摄像机j中第q帧图像是摄像机i中第p帧图像与摄像机j中第q帧图像相似度。