CN102831385A - 多相机监控网络中的目标识别设备和方法 - Google Patents

Abstract

本公开提供了多相机监控网络中的目标识别设备和方法。一种目标识别设备，用于包括多个相机的监视网络中，所述目标识别设备包括：视角方向估计装置，用于估计所述多个相机中的两个相机中的每一个拍摄到的目标相对于该相机的视角方向；特征提取装置，用于分别从所述两个相机中的每一个拍摄的包含目标的图像中提取一个或更多个特征；以及目标匹配装置，用于根据所述两个相机拍摄到的目标的视角方向为所述一个或更多个特征中的每一个分配权重，并根据经过加权的所述一个或更多个特征来计算所述两个相机拍摄到的目标之间的相似度，以确定所述两个相机拍摄到的目标是否为同一目标。

Description

多相机监控网络中的目标识别设备和方法

技术领域

本公开涉及目标识别，具体地，涉及目标识别设备和方法，其中所述目标识别设备用于包括多个相机的监控网络中的。

背景技术

在包括多个相机的监控网络中，如何获取某个目标与所有关联相机的监控信息是目前大型智能监控系统的一个热点问题。例如，在楼宇监控系统中，当某个房间有人入室盗窃时，监控人员往往希望获取盗窃嫌疑人在整个大楼的其他监控相机的历史画面。在一些监控系统中，需要以人工查找的方法逐个排查，这样需要耗费大量的时间和人力。

已知一种基于颜色和纹理特征对不同相机中的相同目标进行匹配的方法，其中，依赖于准确获取目标的颜色特征来计算目标之间的匹配相似度。当目标在不同相机中均以正面视角出现时，这种方法比较有效。相关文献包括M.Farenzena等人的文章“Person Re-identification bySymmetry-Driven Accumulation of Local Features”(IEEE Conference onComputer Vision and Pattern Recognition(CVPR)，2010年)(称为相关文献1)。

发明内容

在下文中给出关于本公开的一些方面的简要概述，以便提供对于本公开的基本理解。应当理解，这个概述并不是对本公开的穷举性概述。该概述也并非意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本公开的一个方面，提供了一种目标识别设备。该设备用于包括多个相机的监视网络中，包括：视角方向估计装置，用于估计所述多个相机中的两个相机中的每一个拍摄到的目标相对于该相机的视角方向；特征提取装置，用于分别从所述两个相机中的每一个拍摄的包含目标的图像中提取一个或更多个特征；以及目标匹配装置，用于根据所述两个相机拍摄到的目标的视角方向为所述一个或更多个特征中的每一个分配权重，并根据经过加权的所述一个或更多个特征来计算所述两个相机拍摄到的目标之间的相似度，以确定所述两个相机拍摄到的目标是否为同一目标。

根据本公开的一个方面，提供了一种目标识别方法。该方法用于包括多个相机的监视网络中，包括：估计所述多个相机中的两个相机中的每一个拍摄到的目标相对于该相机的视角方向；分别从所述两个相机中的每一个拍摄的包含目标的图像中提取一个或更多个特征；根据所述两个相机拍摄到的目标的视角方向为所述一个或更多个特征中的每一个分配权重；以及根据经过加权的所述一个或更多个特征来计算所述两个相机拍摄到的目标之间的相似度，以确定所述两个相机拍摄到的目标是否为同一目标。

另外，本公开的实施例还提供了用于实现上述方法的计算机程序。

此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

附图说明

参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。附图中的部件只是为了示出本公开的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出根据本公开一个实施例的目标识别方法的示意性流程图；

图2是示出根据估计目标相对于相机的视角方向的方法的一个示例的示意性流程图；

图3是估计目标的运动方向的方法的一个示例的示意性流程图；

图4是示出根据估计目标相对于相机的视角方向的方法的另一示例的示意性流程图；

图5是示出根据本公开一个具体实施例的目标识别方法的示意性流程图；

图6是示出根据本公开一个实施例的目标识别设备的结构的示意性框图；

图7是示出图6所示的视角方向估计装置的结构的一个示例的示意性框图；

图8是示出图6所示的视角方向估计装置的结构的另一示例的示意性框图；以及

图9是示出用于实现本公开的实施例或示例的计算机的结构的示例性框图。

具体实施方式

下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本公开的实施例提供了用于包括多个相机的监视网络中的目标识别的方法和设备。

在本公开的实施例中，待检测的目标可以是人、动物、车辆等各种类型的目标。

图1是示出根据本公开一个实施例的目标识别方法的示意性流程图。在该实施例中，根据不同相机所拍摄的目标在相机中的视角方向之间的关系将从图像中提取的不同特征赋予不同的权重，并利用加权的特征来估计不同相机所拍摄的目标之间的匹配相似度，从而识别不同相机所拍摄的目标是否为同一目标。

如图1所示，该方法包括步骤102、104和106。

在步骤102中，估计相机所拍摄的目标相对于相机的视角方向。在具有多个相机的监控网络中，为了匹配两个不同相机所拍摄的目标，要估计这两个相机中的每一个拍摄到的目标相对于该相机的视角方向。

这里所述目标相对于相机的视角方向(或目标在相机中的视角方向)是指相机拍摄到的目标相对于该相机的拍摄方向的视角。例如，当所监视的目标面对相机镜头时，则该目标相对于该相机的视角方向为正面视角；当所监视的目标背对相机镜头时，则该目标相对于该相机的视角方向为背面视角；当所监视的目标的侧面或顶部向着相机镜头时，则该目标相对于该相机的视角方向为侧面视角。

作为具体示例，可以采用下文中将参考图2-4来描述的方法来估计目标相对于相机的视角方向。

然后，在步骤104中，从每一个相机拍摄的包含目标的图像中提取一个或更多个特征。所提取的特征可以包括下列特征中的一个或更多个：轮廓特征、颜色直方图特征、反映目标的不同部分颜色之间的比值的特征(例如，如果目标为人，该特征可以是上下半身颜色的比值)、局部特征点特征和局部纹理特征等。在图1中，步骤104被示出为在步骤102之后，应理解，该步骤还可以在步骤102之前执行，这里不作详述。

最后，在步骤106中，根据两个相机拍摄到的目标的视角方向为每一个特征分配权重。然后，在步骤108中，利用经过加权的特征来计算两个相机拍摄到的目标之间的匹配相似度，以确定这两个相机拍摄到的目标是否为同一目标。

假设A和B分别表示两个相机所拍摄的图像样本，从每个样本中分别提取M(M≥1)个特征Ftr₁，Ftr₂，...，Ftr_M，从两个样本中提取的特征分别表示为

和

下面以目标在相机中出现的视角分为正面(F)，背面(B)和侧面(S)为例来描述为不同的特征分配不同的权重的方法。在该示例中，不同相机中的目标间的视角关系有六种可能的匹配组合，包括：

1)F-F(正面对正面)；

2)B-B(背面对背面)；

3)S-S(侧面对侧面)；

4)F-B(正面对背面)；

5)F-S(正面对侧面)；和

6)B-S(背面对侧面)。

作为具体实施例，为每一个特征分配的权重可以反映两个相机拍摄到的目标的视角方向之间的关系以及该特征在所述视角方向下对于目标匹配的有效性。具体地，特征在所述视角方向下对于目标匹配的有效性越高，则为其分配的权重越大；而特征在所述视角方向下对于目标匹配的有效性越低，则为其分配的权重越小。

根据特征与不同视角方向的关系，对以上六种视角方向关系F-F、B-B、S-S、F-B、B-S和F-S，可以分别选取不同特征的权重集合W^F-F、W^B-B、W^S-S、W^F-B、W^B-S、W^F-S，即：

W^F-F＝{w₁，w₂，...，w_M}^F-F

W^B-B＝{w₁，w₂，...，w_M}^B-B

W^S-S＝{w₁，w₂，...，w_M}^S-S

W^F-B＝{w₁，w₂，...，w_M}^F-B

W^B-S＝{w₁，w₂，...，w_M}^B-S

W^F-S＝{w₁，w₂，...，w_M}^F-S

其中，M表示在每个图像样本中提取的特征的个数，w₁，w₂，...，w_M分别表示特征Ftr₁，Ftr₂，...，Ftr_M的权重。

作为一个具体示例，假设待检测的目标为人，且采用以下三种特征(M＝3)：颜色直方图特征(Ftr₁)、上下半身颜色比值特征(Ftr₂)和局部特征点特征(Ftr₃)。

本公开的发明人注意到，颜色直方图特征和上下半身颜色比值特征对于F-F(正面对正面)和B-B(背面对背面)视角关系下的目标匹配更有效，因此，在权重集合W^F-F和W^B-B中，可以将颜色直方图特征(Ftr₁)和上下半身颜色比值特征(Ftr₂)的权重w₁和w₂设置得较大，而将局部特征点特征(Ftr₃)的权重w₃设置得较小。作为具体示例，可以选取w₁＝w₂＝0.4，w₃＝0.2。

另外，局部特征点特征对于S-S(侧面对侧面)视角关系下的目标匹配更有效，因此，在权重集合W^S-S中，可以将权重w₃设置得较大，而将w₁和w₂设置得较小。作为具体示例，可以选取w₁＝w₂＝0.2，w₃＝0.6。

另外，上下半身颜色比值特征对于F-B(正面对背面)视角关系下的目标匹配更有效，因此，在权重集合W^F-B中，可以将权重w₂设置得较大，而将权重w₁和w₃设置得较小。作为具体示例，可以选取w₁＝w₃＝0.2，w₂＝0.6。

另外，上下半身颜色比值特征和局部特征点特征对于F-S(正面对侧面)和B-S(背面对侧面)视角关系下的目标匹配更有效，因此，在权重集合W^F-S和W^B-S中，可以将权重w₂和w₃设置得较大，而将权重w₁设置得较小。作为具体示例，可以选取w₂＝w₃＝0.2，w₁＝0.6。

应理解，上述示例中给出的具体特征和具体权重数值均是示例性的，而非限定性的。在实际应用中，可以根据待检测的目标和具体应用场景来选择不同的特征及相应的权重，而不应将本公开视为局限于上述示例或实施例中的具体数值和特征。

在为每个特征加权之后，采用经过加权的特征来计算两个相机所拍摄的目标之间的相似度，以确定二者是否同一目标。

作为一个示例，可以采用下列公式来计算两个相机所拍摄的目标之间的相似度：

$D=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_i\·d({\mathrm{Ftr}}_i^A,{\mathrm{Ftr}}_i^B)---\left(1\right)$

其中，D表示两个相机所拍摄的目标之间的相似度；

表示从两个相机所拍摄的图像中提取的同种特征之间的相似度。可以根据所选择的特征的类型采用任何适当的方法来计算特征之间的相似度。

作为一个示例，可以采用Bhattacharyya距离来计算颜色直方图特征之间的相似度：

$d(H^A,H^B)=\sqrt{1-\underset{i}{\mathrm{\Σ}}\sqrt{H^A\left(i\right)\·H^B\left(i\right)}}---\left(2\right)$

作为另一示例，可以采用χ²距离来计算颜色直方图特征之间的相似度：

$d(H^A,H^B)=\underset{i}{\mathrm{\Σ}}\frac{H^A\left(i\right)-H^B\left(i\right)}{H^A\left(i\right)+H^B\left(i\right)}---\left(3\right)$

在式(2)或(3)中，H^A，H^B分别从两个相机拍摄的图像A和B中提取的颜色直方图特征，d(H^A，H^B)表示二者之间的相似度，i表示颜色直方图中柄(bin)的索引值，如HA(i)表示直方图中第i个bin的值。

作为一个示例，可以采用下式来计算上下半身颜色比值特征之间的距离：

$d({\mathrm{CR}}^A,{\mathrm{CR}}^B)=\exp \left|\log \frac{{\mathrm{CR}}^A}{{\mathrm{CR}}^B}\right|-1---\left(4\right)$

其中，

表示上下半身颜色的比值，Color^Top，Color^Bottom分别表示上、下半身颜色。CR^A，CR^B分别两个相机拍摄的图像A和B中提取的上下半身颜色比值特征，d(CR^A，H^B)表示二者之间的相似度。

作为一个示例，可以采用下式来计算局部特征点特征之间的相似度：

$d({\mathrm{PS}}^A,{\mathrm{PS}}^B)=\frac{\mathrm{Match}({\mathrm{PS}}^A,{\mathrm{PS}}^B)}{\mathrm{Num}\left({\mathrm{PS}}^A\right)+\mathrm{Num}\left({\mathrm{PS}}^B\right)}---\left(5\right)$

其中，PS^A，PS^B分别两个相机拍摄的图像A和B中提取的局部特征点特征，d(PS^A，PS^B)表示二者之间的相似度。Match(PS^A，PS^B)表示匹配的特征点的个数，Num(PS)表示特征点的个数。

应理解，可以采用任何适当的方法来计算从两个相机所拍摄的图像中提取的同种特征之间的相似度。限于篇幅，这里不一一列举。

在计算得到两个相机所拍摄的两个目标之间的相似度之后，可以根据该相似度的值来判断二者是否属于同一目标。例如，可以判断两个目标的相似度是否大于某个预定阈值，若是，则确定二者匹配，为同一目标；否则，确定二者不匹配，不属于同一目标。

作为示例，在两个相机拍摄的图像中出现多个目标的情况下，可以采用上述方法将一个相机(为了方便，称为第一相机)拍摄的某个目标(为了方便，称为第一目标)与另一相机(为了方便，称为第二相机)拍摄的多个目标(为了方便，称为多个第二目标)逐一进行匹配，选择多个第二目标中与第一目标的相似度最高的一个。该相似度最高的第二目标可以作为第一目标的匹配目标，或者还可以进一步判断该第二目标与第一目标的相似度是否大于预定阈值，如果是，则确定其为匹配目标，否则确定第二相机拍摄的图像中没有与第一目标匹配的目标。

在图1所示的方法中，根据不同相机所拍摄的目标在相机中的视角方向之间的关系以及不同特征在这些视角关系下对目标匹配的有效性而将不同特征赋予不同的权重。利用这样加权的特征来估计的目标之间的相似度更为准确，能够大大提高目标识别的准确度。采用这种方法，可以降低图片背景差异以及目标在不同相机中不同的视角姿态对识别结果的影响。

下面参考图2-4来描述估计某个相机所拍摄的某个目标相对于该相机的视角方向的方法的一个示例。

图2示出了估计某个相机所拍摄的某个目标相对于该相机的视角方向的方法的一个示例。在该示例中，通过目标的运动方向与相机的拍摄方向之间的关系来估计目标在相机中的视角方向。

如图2所示，首先，在步骤202-1中获取相机的配置信息。可以从监控网络中(如从监控网络中的用于存储系统信息的装置中)获得相机的配置信息，该配置信息包括相机的拍摄方向，还可以包括相机的位置等信息。

然后，在步骤202-2中，根据相机拍摄的图像来估计目标的运动方向。

可以采用任何适当的方法来估计图像中目标的运动方向。图3示出了估计目标的运动方向的方法的一个示例。如图3所示，首先在步骤302-21中获取目标该相机的监视区域内的运动范围，即估计目标的可能的运动范围。可以采用任何适当的方法来获取目标的可能运动范围。这里不作限定。然后，在步骤302-22中，根据相机拍摄的图像来计算目标的运动信息。可以采用任何适当的方法来计算目标的运动信息。例如，可以采用运动矢量法、光流估计法或者运动历史信息法或其他适当的方法来估计目标的运动信息。涉及运动矢量法的相关文献例如有Bak S.、Corvee E.、BrémondF.、Thonnat M.等人的文章“Person Re-identification Using Haar-basedand DCD-based Signature”(AVSS，2010年)(称为相关文献2)。涉及光流估计法的相关文献例如有标准H.264/MPEG-4 AVC，ISO/IEC14496-10。涉及运动历史信息法的相关文献例如有David J.Fleet和YairWeiss的文献″Optical Flow Estimation″(Handbook of MathematicalModels in Computer Vision，2006年)(称为相关文献3)。这里不作详细描述。最后，在步骤302-23中，基于目标的运动信息来估计目标的运动方向。基于运动信息来估计运动方向估计是目标的运动信息的主方向统计。作为一个示例，可以采用主成分分析法来估计运动方法，相关文献例如有Jolliffe I.T.的论著“Principal Component Analysis，Series：SpringerSeries in Statistics”(第2版，Springer，纽约，2002年)(称为相关文献4)。作为另一示例，还可以采用投票法来估计运动方向，具体地，可以统计运动信息中的所有运动方向，并将出现次数最多的方向作为主方向，即目标的运动方向。

作为一个示例，相机的拍摄方向可以用相机镜头的拍摄方向相对于某个参考方向的角度CAM_D来表示，其中，0°≤CAM_D≤360°。这里所述的参考方向可以是根据实际应用任意选择的方向，本公开不作具体限定。同样，所估计目标的运动方向也可以用其相对于上述参考方向的角度OBJ_D来表示，其中，0°≤OBJ_D≤360°。

然后，在步骤203-3中，基于目标的运动方向以及相机的拍摄方向来判断目标相对于相机的视角方向，即根据相机的拍摄方向(CAM_D)和目标的运动方向(OBJ_D)之间关系来确定目标在相机中的视角方向。作为一个具体示例，当目标的运动方向和相机的拍摄方向相反时，可以确定目标为正面视角；当两个方向相同时，可以确定目标为背面视角；而当两个方向垂直时(此时所监视的目标的侧面或顶部向着相机镜头)，则可以确定目标为侧面视角。当然，在实际应用中，目标在相机中的视角方向并不局限于上述具体示例中列出的几种。作为一个示例，可以根据相机的位置结合相机的拍摄方向与目标的运动方向来进一步细化目标的视角方向。例如，当相机位于监控区域的上方时，则可以确定目标为俯视视角。这里不作详述。

图4示出了估计某个相机所拍摄的某个目标相对于该相机的视角方向的方法的另一示例。在该示例中，利用训练得到的视角方向分类器来检测图像中目标的视角方向。

如图4所示，在步骤402-1中，利用视角方向分类器来检测相机拍摄的图像中的目标的视角方向，得到视角方向分类器的检测结果。

所述视角方向分类器可以是利用多个训练样本训练得到的、能够检测图像中目标的视角方向的分类器。为了叙述简洁，假设训练得到的视角方向分类器能够检测目标三种视角方向：正面视角(F)、背面视角(B)和侧面视角(S)。视角方向分类器处理包含目标的图像后，可以输出如下结果：

$\left\{\begin{array}{c}P\left(x\right|F)\\ P\left(x\right|B)\\ P\left(x\right|S)\end{array}\right.---\left(6\right)$

也就是说，视角方向分类器的检测结果可以包括其检测到的为每一种视角方向的概率值，其中，P(x|F)表示目标为正面视角的概率值，P(x|B)表示目标为背面视角的概率值，P(x|S)表示目标为侧面视角的概率值。

然后，在步骤402-2中，获取相机的配置信息，该配置信息包括相机的拍摄方向，还可以包括相机的位置等信息；在步骤402-3中，估计目标的运动方向。步骤402-2与步骤202-1相似，这里不再重复。步骤402-3与步骤202-2相似，例如可以采用上文参考图3描述的示例来估计目标的运动方向，这里也不再重复。

然后，在步骤402-4中，计算目标的运动方向与相机的拍摄方向之间的夹角与不同视角方向之间的相关概率。

假设目标的运动方向与相机的拍摄方向之间的夹角为θ，θ＝|OBJ_D-CAM_D|。仍以上述三个视角方向为例，夹角θ与三个视角方向的相关概率分别采用下式来计算：

其中，p_front(θ)表示夹角θ与正面视角的相关概率，p_back(θ)表示夹角θ与背面视角的相关概率，p_side(θ)表示夹角θ与侧面视角的相关概率。

然后，在步骤402-5中，利用所述相关概率和所述视角方向分类器的检测结果来计算目标为不同视角方向的概率值。与最大的概率值对应的视角方向即可作为目标在相机中的视角方向。

作为一个具体示例，可以下式来计算目标为不同视角方向的概率值：

$P\left(x\right)=\left\{\begin{array}{c}P\left(x\right|F)\·p_{\mathrm{front}}\left(\mathrm{\θ}\right)\\ P\left(x\right|B)\·p_{\mathrm{back}}\left(\mathrm{\θ}\right)\\ P\left(x\right|S)\·p_{\mathrm{side}}\left(\mathrm{\θ}\right)\end{array}\right.---\left(8\right)$

也就是说，将夹角θ与多个视角方向中的每个视角方向的相关概率分别与视角方向分类器检测到的目标为该视角方向的概率值相乘，得到与所述多个视角方向一一对应的多个乘积值。将最大乘积值对应的视角方向作为目标相对于相机的视角方向。

应理解，可以采用其他适当的方法来估计目标相对于相机的视角方向，而不应将本公开视为局限于上述示例。

图5示出了图1所示的实施例的方法的一个变型。

如图5所示，该方法包括步骤502、510、504和508。步骤502、504和508与步骤102、104和108基本相似，这里不作详述。不同之处在于在步骤510中，根据不同相机所拍摄的目标在相机中的视角方向之间的关系以及不同特征在这些视角关系下对目标匹配的有效性来选择一个或更多个特征，用于后续步骤中计算目标的相似度。在某种意义上，步骤510可以看作步骤106的一个变型，即根据不同特征对于目标匹配的有效性，将有效性高的特征的权重设置为1，而将有效性低的权重设置为0。

步骤510可以在步骤504之前执行，这样，在步骤504中仅提取所选择的特征即可。

作为另一示例，图5所示的方法还可以包括根据不同相机所拍摄的目标在相机中的视角方向之间的关系以及不同特征在这些视角关系下对目标匹配的有效性来对所选择的一个或更多个特征分配权重的步骤。这里不作详述。

下面参考图6-7来描述根据本公开的实施例的目标识别设备。

图6是示出根据本公开一个实施例的目标识别设备的结构的示意性框图。在该实施例中，根据不同相机所拍摄的目标在相机中的视角方向之间的关系将从图像中提取的不同特征赋予不同的权重，并利用加权的特征来估计不同相机所拍摄的目标之间的匹配相似度，从而识别不同相机所拍摄的目标是否为同一目标。

如图6所示，该设备600包括视角方向估计装置601、特征提取装置603和相似度计算装置605。

视角方向估计装置601用于估计监控网络中的相机所拍摄的目标相对于相机的视角方向。为了匹配两个不同相机所拍摄的目标，视角方向估计装置601需要估计这两个相机中的每一个拍摄到的目标相对于该相机的视角方向。与上文的方法实施例或示例相似，这里所述目标相对于相机的视角方向(或目标在相机中的视角方向)是指相机拍摄到的目标相对于该相机的拍摄方向的视角。例如，当所监视的目标面对相机镜头时，则该目标相对于该相机的视角方向为正面视角；当所监视的目标背对相机镜头时，则该目标相对于该相机的视角方向为背面视角；当所监视的目标的侧面或顶部向着相机镜头时，则该目标相对于该相机的视角方向为侧面视角。作为具体示例，视角方向估计装置601可以采用上文中参考图2-4描述的方法来估计目标相对于相机的视角方向，这里不再重复。

特征提取装置603用于从每一个相机拍摄的包含目标的图像中提取一个或更多个特征。所提取的特征可以包括下列特征中的一个或更多个：轮廓特征、颜色直方图特征、反映目标的不同部分颜色之间的比值的特征(例如，如果目标为人，该特征可以是上下半身颜色的比值)、局部特征点特征和局部纹理特征等。

相似度计算装置605用于根据两个相机拍摄到的目标的视角方向为每一个特征分配权重，并利用经过加权的特征来计算两个相机拍摄到的目标之间的匹配相似度，以确定这两个相机拍摄到的目标是否为同一目标。

相似度计算装置605可以采用上文方法实施例中所描述的方法来为特征分配权重，这里不再重复。作为具体实施例，为每一个特征分配的权重可以反映两个相机拍摄到的目标的视角方向之间的关系以及该特征在所述视角方向下对于目标匹配的有效性。例如，特征在所述视角方向下对于目标匹配的有效性越高，则为其分配的权重越大；而特征在所述视角方向下对于目标匹配的有效性越低，则为其分配的权重越小。

相似度计算装置605可以采用上文中的方法实施例中所描述的方法、利用经过加权的特征来计算两个相机所拍摄的目标之间的相似度，这里也不再重复。在计算得到两个相机所拍摄的两个目标之间的相似度之后，相似度计算装置605可以根据该相似度的值来判断二者是否属于同一目标。例如，可以判断两个目标的相似度是否大于某个预定阈值，若是，则确定二者匹配，为同一目标；否则，确定二者不匹配，不属于同一目标。

在图6所示的设备中，根据不同相机所拍摄的目标在相机中的视角方向之间的关系以及不同特征在这些视角关系下对目标匹配的有效性而将不同特征赋予不同的权重。利用这样加权的特征来估计的目标之间的相似度更为准确，能够大大提高目标识别的准确度。采用这种设备，可以降低图片背景差异以及目标在不同相机中不同的视角姿态对识别结果的影响。

图7示出了图6所示的视角方向估计装置601的结构的一个示例。

如图7所示，视角方向估计装置601可以包括拍摄方向获取装置701-1、运动方向估计装置701-2和视角判断装置701-3。

拍摄方向获取装置701-1用于获取相机的配置信息，该配置信息包括相机的拍摄方向，还可以包括相机的位置。拍摄方向获取装置701-1可以采用上文参考步骤202-1描述的方法来获取相机的配置信息，这里不再重复。

运动方向估计装置701-2用于根据相机拍摄的图像来估计目标的运动方向。运动方向估计装置701-2可以采用上文参考步骤202-2和图3所描述的方法来估计目标的运动方向，这里不作重复。

视角判断装置701-3用于根据目标的运动方向以及相机的拍摄方向来判断该目标相对于该相机的视角方向。例如，当目标的运动方向以及相机的拍摄方向相反时，视角判断装置可以判断该目标相对于该相机的视角方向为正面视角；当目标的运动方向以及相机的拍摄方向一致时，视角判断装置可以判断该目标相对于该相机的视角方向为背面视角；当目标的运动方向以及相机的拍摄方向垂直时，视角判断装置可以判断该目标相对于该相机的视角方向为侧面视角。

图8示出了图6所示的视角方向估计装置601的结构的另一示例。

如图8所示，除了拍摄方向获取装置801-1、运动方向估计装置801-2和视角判断装置801-3，视角方向估计装置601还可以包括视角方向分类器801-4。

该视角方向分类器801-4可以与上文参考图4描述的视角方向分类器相似，这里不作重复。

拍摄方向获取装置801-1和运动方向估计装置801-2分别与拍摄方向获取装置701-1和运动方向估计装置701-2相似，这里也不作重复。

视角判断装置801-3用于判断目标相对于该相机的视角方向。具体地，视角判断装置801-3可以计算目标的运动方向与相机的拍摄方向之间的夹角与不同视角方向之间的相关概率，利用所计算的相关概率和所述视角方向分类器的检测结果来计算目标为不同视角方向的概率值，并将与最大的概率值对应的视角方向即可作为目标在相机中的视角方向。视角判断装置801-3可以采用上文参考步骤402-4和402-5描述的方法或其他适当的方法来确定目标相对于相机的视角方向，这里不再重复。

作为图6所示的实施例的一个变型，相似度计算装置605可以根据不同相机所拍摄的目标在相机中的视角方向之间的关系以及不同特征在这些视角关系下对目标匹配的有效性来选择一个或更多个特征，用于后续的目标相似度的计算。在某种意义上，这可以看作步骤106的一个变型，即根据不同特征对于目标匹配的有效性，将有效性高的特征的权重设置为1，而将有效性低的权重设置为0。

作为一个示例，相似度计算装置605可以将选择的特征通知到特征提取装置603，特征提取装置603来提取所选择的一个或更多个特征。

作为另一示例，相似度计算装置605还可以包括根据不同相机所拍摄的目标在相机中的视角方向之间的关系以及不同特征在这些视角关系下对目标匹配的有效性来对所选择的一个或更多个特征分配权重的步骤。这里不作详述。

根据本公开的实施例的方法和设备可以应用于在安装有监控设备(包括多个摄像头)的任何场合，如机场、社区、银行、停车场、军事基地等。

应理解，上述实施例和示例是示例性的，而不是穷举性的，本公开不应被视为局限于任何具体的实施例或示例。

另外，在上述实施例和示例中，采用数字标记来表示方法的步骤或设备的模块。本领域的普通技术人员应理解，这些数字标记只是为了对这些步骤或模块作文字上的区分，而并非表示其顺序或任何其他限定。

另外，各个附图中所示的实施例或示例的方法不一定按照所示出的顺序执行。例如，在图1所示的实施例中，步骤106被示出为在步骤104之后执行，而在其他实施例中，该步骤106也可以在步骤104之前执行。例如，可以按照步骤104、步骤102、步骤106的顺序执行，这里不一一列举。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合。作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成用于实施上述方法的软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图9中，中央处理单元(CPU)901根据只读存储器(ROM)902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，也根据需要存储当CPU 901执行各种处理等等时所需的数据。CPU 901、ROM 902和RAM 903经由总线904彼此链路。输入/输出接口905也链路到总线904。

下述部件链路到输入/输出接口905：输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可链路到输入/输出接口905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质911安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本公开还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本公开的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本公开的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (16)

1.一种目标识别设备，用于包括多个相机的监视网络中，所述目标识别设备包括：

视角方向估计装置，用于估计所述多个相机中的两个相机中的每一个拍摄到的目标相对于该相机的视角方向；

特征提取装置，用于分别从所述两个相机中的每一个拍摄的包含目标的图像中提取一个或更多个特征；以及

目标匹配装置，用于根据所述两个相机拍摄到的目标的视角方向，为所述一个或更多个特征中的每一个分配权重，并根据经过加权的所述一个或更多个特征来计算所述两个相机拍摄到的目标之间的相似度，以确定所述两个相机拍摄到的目标是否为同一目标。

2.根据权利要求1所述的目标识别设备，其中，每一个特征的权重反映所述两个相机拍摄到的目标的视角方向之间的关系和该特征在所述视角方向下用于目标匹配的有效性。

3.根据权利要求1所述的目标识别设备，其中，所述一个或更多个特征包括下列特征中的一个或更多个：

轮廓特征、颜色直方图特征、反映目标的不同部分颜色之间的比值的特征、局部特征点特征和局部纹理特征。

4.根据权利要求1所述的目标识别设备，其中，所述视角方向估计装置包括：

拍摄方向获取装置，用于获取该相机的拍摄方向；

运动方向估计装置，用于根据该相机拍摄的图像来估计该目标的运动方向；及

视角判断装置，用于根据该目标的运动方向以及该相机的拍摄方向来判断该目标相对于该相机的视角方向。

5.根据权利要求4所述的目标识别设备，其中，

当目标的运动方向与相机的拍摄方向相反时，所述视角判断装置判断该目标相对于该相机的视角方向为正面视角；

当目标的运动方向与相机的拍摄方向一致时，所述视角判断装置判断该目标相对于该相机的视角方向为背面视角；

当目标的运动方向与相机的拍摄方向垂直时，所述视角判断装置判断该目标相对于该相机的视角方向为侧面视角。

6.根据权利要求4所述的目标识别设备，其中，所述运动方向估计装置通过以下来估计目标的运动方向包括：

获取该目标在该相机的监视区域内的运动范围；

根据该相机拍摄的图像来计算该目标的运动信息；以及

基于该目标的运动信息来估计该目标的运动方向。

7.根据权利要求4所述的目标识别设备，其中，所述视角方向估计装置还包括：

视角方向分类器，用于检测相机拍摄的图像中目标的视角方向，并且

其中，所述视角判断装置被配置为计算相机的拍摄方向与目标的运动方向之间的夹角与多个视角方向的相关概率，并根据所计算的相关概率以及所述视角方向分类器的检测结果来计算目标为所述多个视角方向中的每一个的概率值，将与最大概率值对应的视角方向作为目标相对于相机的视角方向。

8.根据权利要求1所述的目标识别设备，其中，所述相似度计算装置还被配置为根据所述两个相机拍摄到的目标的视角方向选择一个或更多个特征用于计算所述两个相机拍摄到的目标之间的相似度。

9.一种目标识别方法，用于包括多个相机的监视网络中，所述目标识别方法包括：

估计所述多个相机中的两个相机中的每一个拍摄到的目标相对于该相机的视角方向；

分别从所述两个相机中的每一个拍摄的包含目标的图像中提取一个或更多个特征；

根据所述两个相机拍摄到的目标的视角方向为所述一个或更多个特征中的每一个分配权重；以及

根据经过加权的所述一个或更多个特征来计算所述两个相机拍摄到的目标之间的相似度，以确定所述两个相机拍摄到的目标是否为同一目标。

10.根据权利要求9所述的目标识别方法，其中，每一个特征的权重反映所述两个相机拍摄到的目标的视角方向之间的关系和该特征在所述视角方向下用于目标匹配的有效性。

11.根据权利要求9所述的目标识别方法，其中，所述一个或更多个特征包括下列特征中的一个或更多个：

轮廓特征、颜色直方图特征、反映目标的不同部分颜色之间的比值的特征、局部特征点特征和局部纹理特征。

12.根据权利要求9所述的目标识别方法，其中，估计每一个相机拍摄到的目标相对于该相机的视角方向包括：

获取该相机的拍摄方向；

根据该相机拍摄的图像来估计该目标的运动方向；及

根据该目标的运动方向以及该相机的拍摄方向来判断该目标相对于该相机的视角方向。

13.根据权利要求12所述的目标识别方法，其中，根据该目标的运动方向以及该相机的拍摄方向来判断该目标相对于该相机的视角方向包括：

当该目标的运动方向以及该相机的拍摄方向相反时，判断该目标相对于该相机的视角方向为正面视角；

当该目标的运动方向以及该相机的拍摄方向一致时，判断该目标相对于该相机的视角方向为背面视角；

当该目标的运动方向以及该相机的拍摄方向垂直时，判断该目标相对于该相机的视角方向为侧面视角。

14.根据权利要求12所述的目标识别方法，其中，估计该目标的运动方向包括：

获取该目标在该相机的监视区域内的运动范围；

根据该相机拍摄的图像来计算该目标的运动信息；以及

基于该目标的运动信息来估计该目标的运动方向。

15.根据权利要求12所述的目标识别方法，还包括：

利用能够检测图像中的目标的视角方向的视角方向分类器来检测相机拍摄的图像中目标的视角方向，并且

其中，根据目标的运动方向以及相机的拍摄方向来判断目标相对于相机的视角方向包括：

计算相机的拍摄方向与目标的运动方向之间的夹角与多个视角方向的相关概率；以及

根据所计算的相关概率以及所述视角方向分类器的检测结果来计算目标为所述多个视角方向中的每一个的概率值，将与最大概率值对应的视角方向作为目标相对于相机的视角方向。

16.根据权利要求9所述的目标识别方法，还包括：根据所述两个相机拍摄到的目标的视角方向选择一个或更多个特征用于计算所述两个相机拍摄到的目标之间的相似度。

Images