CN105095905B

CN105095905B - 目标识别方法和目标识别装置

Info

Publication number: CN105095905B
Application number: CN201410157865.9A
Authority: CN
Inventors: 乔刚; 王鑫; 范圣印; 王千; 诸加丹
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2014-04-18
Filing date: 2014-04-18
Publication date: 2018-06-22
Anticipated expiration: 2034-04-18
Also published as: CN105095905A; JP2015207280A

Abstract

本发明公开了一种目标识别方法和装置。该方法用于根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域，并且包括：通过预定的采样方式来对目标图像区域进行采样，以获得多个目标采样点；计算目标采样点的稳定性权重，稳定性权重用于表达目标采样点在特征空间中的稳定程度；根据具有稳定性权重的目标采样点来获得目标图像区域的加权特征描述；以及根据目标图像区域的加权特征描述和样本图像区域的加权特征描述模型来对目标图像区域进行识别，其中样本图像区域的加权特征描述模型是根据具有稳定性权重的样本采样点来获得的。因此，本发明具有较高的识别精度，并且对于由于真实场景中的各种因素而导致的特征点的各种劣化也更加鲁棒。

Description

目标识别方法和目标识别装置

技术领域

本发明涉及数字图像处理领域，更具体地，本发明涉及一种目标识别方法和目标识别装置。

背景技术

近年来，目标识别逐渐成为计算机视觉的活跃研究领域，这是因为它为计算机提供了核心的处理能力，以自动感知目标的类别、维护一个跟踪过程、以及在跟踪丢失之后进行自动恢复等，从而为高层级的应用提供服务，例如人体活动（行为）分析等。

尽管目前对目标识别存在活跃的研究，但是仍然存在一些公知的问题有待克服。例如，由于真实场景中的目标识别对局部特征的要求较高，所以这就要求这些特征不能够受到附近物体的干扰和遮挡等因素的影响等。具体地，用于目标识别的特征通常会容易受如下因素的影响：光照变化、视角改变、遮挡和形变等。

虽然人们已经意识到了上述问题，但是许多现有的研究仍然要么专注于过于特定的应用场景，要么专注于过于宽泛的算法研究。例如，一方面，虽然人们在诸如人脸识别、手势识别、步态识别等具体应用上对于影响特征的上述因素有着大量的研究，但是，这些具体应用往往需要一些依据应用场景而定的先验知识（例如，在人脸识别应用中，需要已知鼻子、眼睛等器官在人脸中的相对位置等），这可能会损害这些方法的通用性和推广能力。另一方面，虽然也存在一些研究偏向于通用的机器学习算法，但是其主要关注高维数据和分类器之间的复杂组合和重构，而在一定程度上忽略了上述挑战（即，识别算法对于光照变化、视角改变、遮挡、形变等因素十分敏感）。综上所述，与图像处理相关的目标识别算法的性能仍然不够理想，这无疑也进一步影响了需要基于目标识别结果来执行的后续过程（例如，跟踪恢复等）的准确性。

例如，目前，在以目标识别（即，目标类别的判定）和跟踪恢复为最终目的的技术方案之中，特征点检测和匹配方案是有代表性的一种。该方案主要包括：使用特征点检测算法（例如，尺度不变特征转换（SIFT）算法）来检测已知类别的样本图像区域中的特征点和未知类别的目标图像区域中的特征点，并且通过特征点匹配来对目标图像区域进行识别。

然而，该技术方案存在以下问题：由于特征点是通过检测算法来检出的，所以特征点的数量往往很少。由此，如果只有很少的特征点被检测到，则对于目标图像区域（也可以称为拍摄目标）的表达将会受到限制，从而导致匹配结果的置信度也会相应地变低。

发明内容

为了解决上述技术问题，根据本发明的一个方面，提供了一种目标识别方法，所述方法用于根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域，所述方法包括：通过预定的采样方式来对所述目标图像区域进行采样，以获得多个目标采样点；计算所述目标采样点的稳定性权重，所述稳定性权重用于表达所述目标采样点在特征空间中的稳定程度；根据具有稳定性权重的目标采样点来获得所述目标图像区域的加权特征描述；以及根据所述目标图像区域的加权特征描述和所述样本图像区域的加权特征描述模型来对所述目标图像区域进行识别，其中所述样本图像区域的加权特征描述模型是根据具有稳定性权重的样本采样点来获得的。

此外，根据本发明的另一方面，提供了一种目标识别装置，所述装置用于根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域，所述装置包括：目标采样单元，用于通过预定的采样方式来对所述目标图像区域进行采样，以获得多个目标采样点；权重计算单元，用于计算所述目标采样点的稳定性权重，所述稳定性权重用于表达所述目标采样点在特征空间中的稳定程度；描述获得单元，用于根据具有稳定性权重的目标采样点来获得所述目标图像区域的加权特征描述；以及目标识别单元，用于根据所述目标图像区域的加权特征描述和所述样本图像区域的加权特征描述模型来对所述目标图像区域进行识别，其中所述样本图像区域的加权特征描述模型是根据具有稳定性权重的样本采样点来获得的。

本发明的实施例提供了一种基于加权特征点的目标识别方法，其具备通过足够的特征点来充分表达对象的能力，同时能够更加关注其中重要的点，从而通过一种能够用于处理带有权重的特征点的识别算法来使得基于加权特征点的识别过程成为可能。此外，由于在本发明的实施例中还可以使用双目相机来捕捉视差信息，所以可以充分地使用3D空间信息。因此，与现有技术相比，本发明的实施例将会有较高的识别精度，并且对于由于真实场景中的各种因素（例如，光照和遮挡等）而导致的特征点的各种劣化也更加鲁棒。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1图示了根据本发明实施例的目标识别方法的总体流程图。

图2A图示了根据现有技术的在样本图像区域中获取特征点的示意图。

图2B图示了根据现有技术的在目标图像区域中获取特征点的示意图。

图3A图示了根据现有技术的在目标图像区域中获取特征点的示意图。

图3B图示了根据本发明实施例的在目标图像区域中获取特征点的示意图。

图4A图示了根据本发明第一实施例的计算目标采样点的尺度稳定性权重的步骤的具体流程图。

图4B图示了根据本发明第二实施例的计算目标采样点的空间稳定性权重的步骤的具体流程图。

图4C图示了根据本发明第三实施例的计算目标采样点的组合稳定性权重的步骤的具体流程图。

图5图示了根据本发明第一实施例的对目标采样点执行尺度不变特征描述和尺度稳定性测量的原理示意图。

图6图示了根据本发明第二实施例的对目标采样点执行空间稳定性测量的原理示意图。

图7A图示了立体相机设置的示意图。

图7B图示了在水平投影图中计算目标采样点高度的示意图。

图8图示了根据本发明实施例的获取样本图像区域的加权特征描述模型的步骤的具体流程示例。

图9图示了根据本发明实施例的对样本采样点执行尺度不变特征描述的原理示意图。

图10A图示了根据现有技术的K均值聚类的原理示意图。

图10B图示了根据本发明实施例的加权K均值聚类的原理示意图。

图11图示了根据本发明实施例的特征空间中最小距离投票的原理示意图。

图12图示了根据本发明实施例的获得目标图像区域的加权特征描述的步骤的具体流程示例。

图13图示了根据本发明实施例的对目标图像区域进行识别的步骤的原理示意图。

图14A图示了将根据现有技术的特征点检测和匹配方法应用于跟踪恢复过程时的跟踪效果示意图。

图14B图示了将根据本发明实施例的目标识别方法应用于跟踪恢复过程时的跟踪效果示意图。

图15图示了根据本发明实施例的目标识别装置的功能配置框图。

图16图示了根据本发明实施例的用于识别目标的系统的功能结构图。

图17图示了根据本发明实施例的用于识别目标的硬件系统的总体硬件框图。

具体实施方式

将参照附图详细描述根据本发明的各个实施例。这里，需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。

下面，将简要地描述本申请的主要思想。

为了解决现有技术中的技术问题，即针对只有少量的特征点可被检测到的情形，在本申请中提出了一种新型的目标识别方法，其能够按照预定的采样方式来直接增加特征点的数目。这样，由于特征点的数量增加，所以对于目标图像区域的表达变得更加丰富，从而在一定程度上提高了匹配结果的置信度。

然而，本发明人通过进一步的研究发现，通过直接增加被采样的位置来增加特征点的上述方法仍然存在一定的副作用，即由于这些采样点是被采样的、而不是使用关键点检测算法被检查出的，所以某些采样点的质量（这里，质量是指该采样点在特征空间中的稳定性）很难有保证，也就是说，这些特征点容易受到诸如光照变化、视角改变、遮挡和形变等现实因素的影响而导致它们在特征空间中的稳定性各不相同，从而最终导致仍然无法获得满意的识别结果。

为此，在本申请中进一步提出，可以确定每个特征点在特征空间中的稳定性，并且使用权重的概念来不均等地处理这些稳定性不同的特征点，以反映这些特征点的稳定性差异，使得稳定性强的特征点对于识别过程具有更大的影响，而稳定性差的特征点对于识别过程具有更小的影响，以最大可能地保证识别过程的正确性。

换言之，在本申请中，为了刻画这些特征点在稳定性上的差异，可以对每个特征点引入权重概念，该权重随着该特征点在特征空间中的稳定性（或称为可靠性）而变化。相应地，在本申请中还提出了一种算法，其能够有区别地处理带有权重的特征点，以便将具有较高质量（即，在特征空间中具有较高稳定性）的特征点（而非具有较低质量的特征点）更多地应用于真实场景中的目标识别过程中，从而使得基于加权特征点的目标识别过程成为可能。

在下文中，将参考图1到图13来描述根据本发明实施例的用于根据已知类别的样本图像区域来识别未知类别的目标图像区域的目标识别方法的总体流程示例。

图1图示了根据本发明实施例的目标识别方法的总体流程图。

如图1所示，该目标识别方法可以包括：

在步骤S110中，通过预定的采样方式来对目标图像区域进行采样。

首先，当用户希望使用计算设备来实现对于目标图像区域的识别操作时，可以获得感兴趣的图像或图像序列，作为输入数据。在该感兴趣的图像或图像序列中可以包括未知类别的目标图像区域。替换地，该感兴趣的图像或图像序列也可以本身就是未知类别的目标图像区域。

例如，该感兴趣的图像或图像序列可以是从图像捕捉装置（例如，摄像机）处接收的由灰度图像和对应的深度图像（或称为视差图像或视差图）组成的图像对的序列。具体地，该视差图可以是基于双目测距原理、利用确定的摄像机所采集的。

显然的是，任何现有的获取视差图的方法均可以用于本发明。例如，该视差图可以是由专门的视差摄像机直接拍摄而成的。替换地，也可以通过双目相机、多目相机、立体相机拍摄灰度图，并然后根据所述灰度图来计算得到对应的视差图。具体地，例如，在检测的对象（或称为目标）是道路上的对象如车辆或行人的情况下，可以通过车载双目相机来拍得左图像和右图像，其中以左图像（或右图像）作为这里的灰度图，并且基于左图像和右图像来计算得到这里的视差图。

这里，在一个实施例中，可以例如通过位于本地的照相机来实现灰度图和视差图的获取。或者在另一个实施例中，也可以利用例如有线网络或者无线网络来从位于远程的照相机获得灰度图和对应的视差图。另外，有关图像拍摄装置（例如，照相机）不是必需安装在车辆上，而是，例如，也可以根据需要而安装在路边建筑物上，或者适于拍摄待检测对象的其他位置等。

需要说明的是，这里的视差图并不限于必需由多个相机才能得到，而是也可以由一个相机基于时域得到。例如，可以由一个相机在一个时刻拍摄得到一幅图像作为左图像，然后在下一时刻，将该相机稍稍移动位置后拍摄得到另一幅图像作为右图像，基于如此得到的左图像和右图像也可以计算得到视差图。

此外，需要说明的是，尽管在上文中以灰度图作为示例进行了说明。然而，本领域技术人员能够理解的是，在摄像机的摄像参数和计算设备的计算性能等参数允许的情况下，也可以使用彩色图（或称为彩色图像）来代替该灰度图。

接下来，在获得了感兴趣的图像或图像序列之后，可以从该图像或图像序列中提取待识别的目标图像区域。

例如，该目标图像区域可以是在感兴趣的图像或图像序列中事先检测得到的包括待识别目标的图像区域。这里，根据识别应用的用途，该目标可以是通用对象或特定对象，该通用对象例如可以是指书、桌子、或不同类别的汽车等（如，小轿车和卡车）；而该特定对象例如可以人、动物等。

然后，可以在所提取出的目标图像区域中获取特征点，以便根据事先已经得知其类别的样本图像区域来识别所述目标图像区域的类别，从而判断该目标图像区域是否对应于所述多个样本图像区域中的某一个样本图像区域。

下面，为了便于理解，首先，将参考图2A和图2B来描述根据现有技术的目标识别方法中的特征点获取过程及其技术问题。

图2A图示了根据现有技术的在样本图像区域中获取特征点的示意图，并且图2B图示了根据现有技术的在目标图像区域中获取特征点的示意图。

典型地，如上所述，根据现有技术的目标识别方法可以包括特征点检测和匹配方案。在该方案中，可以使用检测器来在已知类别的样本图像区域和未知类别的目标图像区域中分别检测特征点，并且通过特征点匹配来对目标图像区域的类别进行识别。

然而，如在背景技术中描述的，该现有方案存在以下技术问题：由于特征点是通过检测算法来检出的，所以特征点的数量往往很少。

具体地，通过参考图2A和图2B可以看出，在样本图像区域和目标图像区域中检测出的特征点个数很少，其数目分别仅仅在15个左右，从而导致图中的目标（即，人）的表达不够充分。特别是，例如，如图2A所示，在使用SIFT算子作为检测器的情况下，在以附图标记1所标记的圆圈区域中仅仅能够检测到5个特征点。

此外，本发明人进一步发现，该现有方案还存在另一个技术问题，即，当在目标图像区域中发生光照变化、视角改变、遮挡和形变等情况时，很可能导致在样本图像区域和目标图像区域之间实际上并不存在可配对的特征点，然而，即使这样，在特征点检测和匹配方案中，特征点匹配处理仍然会实施，从而获得错误的匹配结果。

具体地，通过观察图2A可以发现，在图2A所示的样本图像区域中，在处于后方的人的领口处检测到一个特征点，其示出在以附图标记2所标记的圆圈区域中。然而，通过进一步观察图2B可以发现，该特征点由于处于前方的人与处于后方人之间的相对运动而被处于前方的人所遮挡，从而在图2B所示的目标图像区域中不再存在。这时，由于该方案必须在样本图像区域与目标图像区域之间进行特征点匹配，所以即使在两个图像区域之间没有实际上配对的特征点，仍然会从目标图像区域中选择一个错误的特征点（例如，其示出在以附图标记2’所标记的圆圈区域中）来与样本图像区域中的该特征点2进行匹配，从而导致错误的发生。

由于上述技术问题，采用该现有方案所得到的识别结果的置信度可能不高。

针对现有方案中的第一个技术问题，即针对只有少量的特征点可被检测到的情形，在根据本发明实施例的目标识别方法中提出，可以按照某种规定的采样方式来直接增加特征点的数目。由于特征点的数量增加，所以对于目标图像区域的表达更加丰富，从而在一定程度上提高了匹配结果的置信度。

下面，将参考图3A和图3B，通过与现有技术进行对比的方式来描述根据本发明实施例的目标识别方法中的特征点获取过程及其有益效果。

图3A图示了根据现有技术的在目标图像区域中获取特征点的示意图，并且图3B图示了根据本发明实施例的在目标图像区域中获取特征点的示意图。

为了更加丰富地表达目标图像区域，以提高识别结果的置信度，在本申请中，可以通过预定的采样方式来对所述目标图像区域进行采样，并且将直接获得的采样点作为特征点，以增加特征点的数量。例如，可以通过自定义或随机设置采样点的位置等采样方式来在所述图像或图像序列中直接增加特征点。为了便于描述，下面，将以自定义采样中的均匀采样为例进行描述。

例如，如图3B所图示的，可以根据目标图像区域的尺寸来选择预定的采样间隔，以在该目标图像区域中获得M×N个采样点，其中M表示竖直方向中的采样点个数，N表示水平方向中的采样点个数，并且M和N属于正整数。由于采用均匀采样，所以在该目标图像区域中，竖直方向中的每两个采样点之间的间隔相等，同时水平方向中的每两个采样点之间的间隔相等。

显然，与图3A相比，在图3B中，由于特征点的数量大量增加，所以对于目标图像区域的表达变得更加丰富，从而在一定程度上提高了后续识别结果的置信度。

需要说明的是，由于该采样操作可以是对于目标图像区域进行的，所以在这里为了清楚起见，可以将该目标图像区域中的采样点称为目标采样点。此外，由于在后续步骤中实际上是将采样点作为特征点使用，所以也可以将该目标采样点称为目标特征点。

在步骤S120中，计算目标采样点的稳定性权重。

在通过对目标图像区域进行采样而直接增加目标特征点的数量之后，本发明人进一步发现，由于在本申请中，特征点是通过采样所直接得到的（这是一种弱的条件），而不再是使用关键点检测器通过算法检查所得到的（这是一种强的条件），所以这些特征点的质量（这里，质量是指该采样点在特征空间中的稳定性）很难有所保证。

具体地，在根据现有技术的特征点检测和匹配方案中，由于目标图像区域中的特征点是通过关键点检测器检测出的，也就是说，是通过一种严格的计算条件而获得的，所以它们是最为稳定的点；相反地，在根据本发明实施例的目标识别方法中，由于在上述步骤S110中得到的目标图像区域中的特征点不是通过检测器所获得的，而是通过自定义的或者随机的采样得到（在本实施例中，所述特征点是通过均匀采样得到的），所以它们在特征空间中没有同等的稳定性。

考虑到上述情况，为了避免以下潜在问题，即当均等地处理在特征空间中具有不同的稳定性的特征点时，可能会导致最终的识别结果存在误差，优选地，在本申请中，可以确定每个特征点在特征空间中的稳定性，并且在特征空间中的稳定性意义上，由于更稳定的特征点对于对象识别过程更为重要，所以向其赋予一个较大的权重；相反地，由于更不稳定的特征点对于对象识别过程更不重要，所以向其赋予一个较小的权重，从而最大可能地保证识别过程的正确性。

为此，需要确定采样点在特征空间中的稳定程度。例如，可以在多种不同维度中度量该特征点在特征空间中的稳定性。

在本发明的第一实施例中，例如，该特征点在特征空间中的稳定性可以是所述特征点在尺度空间中的稳定程度。

例如，返回参考图3A和图3B，假设如图3A所示的目标图像区域中的特征点是通过尺度不变算法（例如，尺度不变特征转换（SIFT）算法、加速鲁棒特征（SURF）算法、和仿射性尺度不变特征变换（ASIFT）算法）检测到的，那么这些特征点是在尺度上最稳定的点，也就是说，它们具有相同的尺度稳定性。相反地，由于如图3B所示的目标图像区域中的特征点不是通过尺度不变算法检测到的，所以这些特征点不一定都会满足尺度不变的限制条件，并因此它们在尺度上不是同样稳定的。

具体地，通过同时参考图3A和图3B可知，当在图3B中，一些通过采样得到的特征点（如下方的箭头K所指的点）恰好与图3A中的通过SIFT算子检测得到的特征点重合时，这些特征点必然会比另外一些特征点（如上方的箭头J所指向的点）在尺度空间中更加稳定一些，相应地，也就应该向前者赋予更高的权重。

因此，在第一实施例中，为了刻画这些特征点在尺度空间中的稳定性差异，可以对每一个特征点使用一个尺度稳定性权重，所述尺度稳定性权重用于表达所述目标采样点在尺度空间中的稳定程度，并且随着特征点的尺度稳定性而变化，以便在后续的识别过程中不均等地处理这些不同的特征点。

下面，将参考图4A来描述根据本发明第一实施例的计算目标采样点的尺度稳定性权重的步骤的具体流程示例。

参考图4A，该计算目标采样点的尺度稳定性权重的步骤具体包括：

在步骤S1210中，获取目标图像区域的原始图像。

为了对于目标采样点实施尺度不变描述以及尺度稳定性度量，从而获得每个采样点第一种类型的权重（即，尺度稳定性权重），可以获得目标图像区域的一张原始图像，例如，所述原始图像可以包括灰度图像或彩色图像。

例如，该原始图像可以是在上述的步骤S110中获得的，也可以是在其他操作中获得的。

在步骤S1220中，根据原始图像来对目标采样点执行尺度不变特征描述和尺度稳定性测量，以获得目标采样点的尺度稳定性权重。

下面，将参考图5来描述根据本发明第一实施例的对目标采样点执行尺度不变特征描述和尺度稳定性测量的步骤的具体操作示例。

该对目标采样点执行尺度不变特征描述和尺度稳定性测量的步骤可以包括：

在子步骤1中，可以首先对所述原始图像执行迭代高斯滤波，以生成所述原始图像的尺度空间。

例如，参考图5，在给定一张原始图像（灰度或彩色）之后，本方法可以对该原始图像施加迭代高斯滤波来获得一簇图像，所述一簇图像中的每一幅图像对应于某一个特定的高斯滤波迭代次数。在图5中，该次数以I表示，其中I是整数。例如，I=0表示相关图像是未施加高斯滤波的原始图像，I=1表示相关图像是施加了1次高斯滤波的原始图像，I=2表示相关图像是施加了2次高斯滤波的原始图像，如此类推。

这一簇图像在图像处理技术中被称作原始图像的尺度空间，对尺度空间在图像意义上的解释可以描述如下：在这一簇图像中，如果对每一幅高斯滤波后的图像进行降采样（采样间隔可以与该图像的高斯滤波次数相关，例如，对I=0的图像不进行降采样，对I=1的图像每两个像素进行一次采样，对I=2的图像每四个像素进行一次采样，以此类推），可以生成一个图像金字塔，在该图像金字塔中，由于降采样的原因而导致每个图像的尺寸不同，并且将降采样的次数越多，该图像的尺寸越小。这个图像金字塔在本质上等价于该对象在不同距离上（也即，在不同的尺度上）被拍摄得到的图像。

然而，需要说明的是，在本目标识别方法中，在对目标采样点进行尺度不变特征描述的过程中，降采样被忽略，只有迭代高斯滤波操作被采纳，以保证这些图像具有同样大小的尺寸。并且，如图5所示，所述一簇图像中的每一幅图像都仍然包括M×N个采样点。

在子步骤2中，在生成所述原始图像的尺度空间之后，可以针对每一个目标采样点，沿着所述尺度空间的尺度轴，向所述目标采样点施加尺度不变特征描述，以产生与所述目标采样点对应的在不同尺度中的特征描述集合。

例如，对于这一簇图像而言，可以利用尺度不变特征描述子来描述在相同采样位置处的沿着尺度轴的各个像素点（即，采样点），并且将其提取出，以得到关于那个位置处的采样点的特征集合。

尺度不变特征转换是一种用于电脑视觉的算法，其用来侦测与描述图像中的局部性特征，局部图像特征的描述与侦测可以帮助辨识物体。由于该特征描述是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，所以这些特征点对于光线、噪声、些微视角改变的容忍度也相当高。

例如，在本实施例中，该尺度不变特征描述算法可以采用尺度不变特征转换（SIFT）算法。然而，需要说明的是，本发明不限于此，该尺度不变特征描述算法还可以包括：加速鲁棒特征（SURF）算法、和仿射性尺度不变特征变换（ASIFT）算法等。

在子步骤3中，在针对每一个采样点获得一个特征描述集合之后，可以计算所述特征描述集合中多个特征描述的凝聚程度，所述凝聚程度用于表达所述目标采样点在所述尺度空间中的尺度稳定性。

需要说明的是，这里存在一个潜在的假设，即一个在尺度空间中稳定的采样点的特征描述应该在该尺度变化方面尽可能保持不变，也就是说，其所述特征描述集合中多个特征描述的凝聚程度越高，则所述目标采样点在所述尺度空间中的尺度稳定性越强。

典型地，我们知道，多个特征描述的凝聚程度可以用方差σ²来表示，该方差σ²越大，多个特征描述之间越分散，该方差σ²越小，多个特征描述之间越凝聚。

进一步地，由于可以证明下面的等式（1）是成立的，并且由于这些特征描述两两之间的平均平方距离是可求的，所以可以继而将平均平方距离作为某一个采样点的特征描述集合的凝聚程度的度量：

其中，是每两个特征描述之间的距离平方的均值，n是特征描述的维数，并且(σ_k)²是第k个特征分量的方差。例如，如果采用SIFT算子，则n=128。

根据上述等式（1），可以在特征描述集合之中，计算每两个特征描述之间的距离平方，并且对所得到的所有每两个特征描述之间的距离平方求均值，从而获得所述特征描述集合中每两个特征描述之间的距离平方的均值D²，并因而，获得多个特征描述的凝聚程度。

在子步骤4中，在得到多个特征描述的凝聚程度之后，可以根据所述凝聚程度来向所述目标采样点分配尺度稳定性权重，其中所述尺度稳定性权重与所述凝聚程度成正比。

基于上述假设可知，当等式（1）中的平均平方距离越大时，该目标采样点的多个特征描述之间越分散，其尺度稳定性就越低，相应地，这个位置相应的权值也就应该越小；相反地，当等式（1）中的平均平方距离越小时，该目标采样点的多个特征描述之间越凝聚，其尺度稳定性就越高，相应地，这个位置相应的权值也就应该越大。

因此，在获得平均平方距离之后，可以根据所述距离平方的均值来向所述目标采样点分配尺度稳定性权重，其中所述尺度稳定性权重应该与所述距离平方的均值成反比。

例如，作为某一个采样点的特征描述集合的凝聚程度的度量，可以通过这些特征描述两两之间的平均平方距离的倒数来定义第一种类型的权重W₁（即，目标采样点的尺度稳定性权重）。

具体地，可以如下面的等式（2）来定义目标采样点的尺度稳定性权重：

其中，W₁是目标采样点的尺度稳定性权重。

这样，通过在所形成的尺度空间中，针对每一个目标采样点来执行上述的子步骤2到子步骤4，就可以获得每一个目标采样点的尺度稳定性权重。

此外，在本发明的第二实施例中，例如，该特征点在特征空间中的稳定性也可以是所述特征点在三维空间中的稳定程度。

在针对该现有方案中的第二个技术问题（即，针对当遮挡发生时、即使没有实践中相互配对的特征点、仍然会在样本图像区域与目标图像区域直接实施特征点匹配处理、从而导致错误的匹配结果的情形）的分析过程中，本发明人发现，取决于实际应用的不同，在目标图像区域中，一些特征点可能会比另外一些点更不容易受到遮挡，也就是说，它们在三维空间中更加稳定一些。

例如，在通常情况下，因为双目相机（特别是，监控用的双目相机）往往被部署在较高的位置处，并且带有一个俯视角以向下“俯瞰”，从而监控场景，同时，引起遮挡的障碍物往往放置在地面上，所以特征点的遮挡更可能发生在目标在三维（3D）世界坐标系下的较低处的部位，也就是说，较低部位处的特征点在三维空间中的稳定性更差一些。

具体地，通过观察图3B可知，对于处于后方的人而言，位于其领口部分的特征点显然比位于其头部的特征点更加容易受到处于前方的人的遮挡；相反地，位于三维（3D）世界坐标系中靠上部的特征点更加不容易受到遮挡，因而也就在三维空间中更加稳定一些。

因此，在第二实施例中，为了刻画这些特征点在三维空间中的稳定性差异，可以对每一个特征点使用一个空间稳定性权重，所述空间稳定性权重用于表达所述目标采样点在三维空间中的稳定程度，并且随着特征点的空间可靠性而变化，以在后续的识别过程中不均等地处理这些不同的特征点。

下面，将参考图4B来描述根据本发明第二实施例的计算目标采样点的空间稳定性权重的步骤的具体流程示例。

参考图4B，该计算目标采样点的空间稳定性权重的步骤具体包括：

在步骤S1230中，获取目标图像区域的视差图像。

为了对于目标采样点实施空间稳定性度量，从而获得每个采样点第二种类型的权重（即，空间稳定性权重），可以获得目标图像区域的一张视差图像。

同样地，该视差图像可以是在上述的步骤S110中获得的，也可以是在其他操作中例如通过诸如双目相机之类的图像捕捉装置获得的。

在步骤S1240中，根据视差图像来计算目标采样点的实际高度，以获得目标采样点的空间稳定性权重。

例如，可以通过所获得的深度（或视差）图像（或图像序列）来计算目标采样点在3D世界坐标系（WCS）下的坐标，并且测量它们的3D空域可靠性，从而获得每个采样点的第二种类型的权重。

下面，将参考图6来描述根据本发明第二实施例的对目标采样点执行空间稳定性测量的步骤的具体操作示例。

在子步骤1中，可以针对每一个目标采样点，确定所述目标采样点在所述视差图像中的像素高度坐标。

例如，在给定一张视差图像之后，可以首先确定目标采样点的像素高度坐标，也就是说，该目标采样点在图像坐标系下的高度坐标。

在子步骤2中，可以根据所述视差图像、所述像素高度坐标、用于获得所述目标图像区域的图像捕捉装置的内部参数来计算所述目标采样点在三维世界坐标系下的世界高度坐标，所述世界高度坐标用于表达所述目标采样点的实际高度。

在确定了像素高度坐标之后，利用深度或者视差图以及摄像机的内参矩阵，可以计算采样点在3D世界坐标系（WCS）下的坐标，并度量它的三维空间可靠性。这里需要指出，在本实施例中，为了减少计算量，节约系统资源，可以只计算三维坐标的高度分量（即，图6中的“y”分量），而不考虑宽度和深度分量。

也就是说，在相机和拍摄对象之间距离已知的情况下，拍摄对象的实际物理高度与在相机的图像中的像素高度之间存在一定的换算关系。相机和拍摄对象之间距离由视差体现。

下面，参考图7A和图7B来描述如何计算每个目标采样点所对应的实际高度。

图7A图示了立体相机设置的示意图，并且图7B图示了在水平投影图中计算目标采样点高度的示意图。

参考图7A和图7B，在给定相机设置和视差值d的情况下，对象距相机的距离或所谓的深度Z可以通过如下等式（3）来计算：

其中，Z为目标采样点P(X,Y,Z)的深度，d为目标采样点的视差值，x_l和x_r分别是左图和右图中对应目标采样点的水平坐标，f是镜头长度，并且b为基线距离，如图7A所示。

从水平投影图，即图7B可知，目标采样值所对应的实际高度可以通过如下等式（4）来计算：

其中，H是目标采样点所对应的实际高度，Z为目标采样点P(X,Y,Z)的深度，f是镜头长度，并且h是在视差图中的像素高度。

这样，通过上面的等式（3）和等式（4），可以获得目标采样点所对应的实际高度分布情况。

在子步骤3中，可以根据所述世界高度坐标来向所述目标采样点分配空间稳定性权重，其中所述空间稳定性权重与所述世界高度坐标成正比。

在获得每一个目标采样点在3D世界坐标系下的高度分量之后，可以得到一个与该高度分量负相关的第二种类型的权重W₂（即，目标采样点的空间稳定性权重），并且将该空间稳定性权重赋予该目标采样点。

具体地，可以如下面的等式（5）来定义目标采样点的空间稳定性权重：

W₂=y/y_max 等式（5）

其中，W₂是目标采样点的空间稳定性权重，y是目标采样点所对应的实际高度，y_max是那个目标（在本实施例中，该目标为人）在3D WCS中的最大高度（即，人的身高）。也即，y_max可能会依据对象的不同而变化。

如上所述，这里潜在的假设是，遮挡更有可能发生在目标体的较低部位，这是因为如图6所示，双目相机通常悬挂于高处，并带有一个俯视角向下俯视并记录图像或图像序列，从而监控整个场景，同时引起遮挡的障碍物通常部署在地面上。

这样，通过在所形成的三维空间中，针对每一个目标采样点来执行上述的子步骤1到子步骤3，就可以获得每一个目标采样点的空间稳定性权重，也就是说，通过这种方式，目标采样点的空域可靠性通过高度或高度分布被测度作为第二种类型的权重。

需要说明的是，尽管上面通过示例描述了特征点的遮挡更容易发生在目标在三维（3D）世界坐标系下的较低处的部位，但是，本发明不限于此。例如，图像捕捉装置也可以被部署在较低的位置处，并且带有一个仰视角以向上“仰望”，从而监控场景，同时，引起遮挡的障碍物也可以吊挂在空中，显然，这时，特征点的遮挡更可能发生在目标在三维（3D）世界坐标系下的较高处的部位。同理，图像捕捉装置也可以被部署在与人的视野水平的位置处，并且“平视”地监控场景，同时，引起遮挡的障碍物也可以通过人手握持而悬浮在半空中，显然，这时，特征点的遮挡更可能发生在目标在三维（3D）世界坐标系下的中间处的部位。替换地，除了竖直方向中的遮挡之外，取决于图像捕捉装置所设置的位置，特征点的遮挡也可能更容易发生在目标在三维（3D）世界坐标系下水平方向中的某一部分（例如，靠左、靠右、或中间）处。

此外，尽管上面通过目标采样点在尺度空间和三维空间中的稳定程度来说明了特征点的质量，但是，本发明也不限于此。例如，在其他实施例中，该特性点的质量也可以是所述特征点在亮度空间、色彩空间、分辨率空间等其他维度中的稳定程度。替换地，该特性点的质量也可以是所述特征点在多种不同维度的特征空间中的稳定性的组合。

此外，在本发明的第三实施例中，例如，该特征点在特征空间中的稳定性可以是所述特征点在不同特征空间中的稳定程度的组合。

因此，在第三实施例中，为了综合地刻画这些特征点在不同特征空间中的稳定性差异，可以对每一个特征点使用一个组合的稳定性权重。

下面，将参考图4C来描述根据本发明第三实施例的计算目标采样点的组合稳定性权重的步骤的具体流程示例。

参考图4C，该计算目标采样点的组合稳定性权重的步骤具体包括：

在步骤S1250中，获取目标采样点的关于不同特征空间的稳定性权重。

例如，可以在多种不同维度中度量该目标采样点（或称为目标特征点）在特征空间中的稳定性，并且根据不同的稳定性来向该目标图像区域中的二维（2D）目标采样点分配不同的稳定性权重。尽管特征空间的维度可能不同，但是一个基本的思想在于：向更稳定的特征点赋予一个较大的权重；相反地，向更不稳定的特征点赋予一个较小的权重。

例如，所述稳定性权重可以是在上述第一实施例中获得的用于表达所述目标采样点在尺度空间中的稳定程度的尺度稳定性权重、在上述第二实施例中获得的用于表达所述目标采样点在三维空间中的稳定程度的空间稳定性权重、和/或用于表达所述目标采样点在亮度空间、色彩空间、分辨率空间等其他维度中的稳定程度的其他稳定性权重。

在步骤S1260中，对不同稳定性权重进行组合，以形成组合稳定性权重。

在关于每一个目标采样点获得不同稳定性权重之后，可以通过对它们组合而得到该采样点的最终权重（记为W），作为该采样点的重要性程度的综合度量，从而获得综合加权的特征点。

仍然以在上述第一实施例中获得的用于表达所述目标采样点在尺度空间中的稳定程度的尺度稳定性权重W₁、和在上述第二实施例中获得的用于表达所述目标采样点在三维空间中的稳定程度的空间稳定性权重W₂为例，由于上述两种权重被分别用来表达尺度稳定性和空域可靠性，所以在促进识别和跟踪恢复的意义上，那些具有较高尺度稳定性和/或较大空域可靠性的位置比那些具有较低尺度稳定性和/或较小空域可靠性的位置更重要。因此，可以通过合并这两个权重，对于一个图像位置（即，采样点）而言，它的总体重要程度得到了测度。

例如，对于这两个权重的合并可以如下面的等式（6）来定义组合权重：

W=W₁·W₂ 等式（6）

然而，需要说明的是，本发明不限于此。例如，这两个权重的合并还可以包括但不限于W=W₁+W₂等其他方式。在这里的基本实现原理是直接而明确的，即只要保证有价值的点对于识别和跟踪恢复而言有更大的影响即可。

下面，将返回参考图1来继续描述根据本发明实施例的用于根据已知类别的样本图像区域来识别未知类别的目标图像区域的目标识别方法的总体流程示例。

在步骤S130中，获取样本图像区域的加权特征描述模型。

在获得了综合加权的特征点之后，在该目标识别方法中，将需要进一步执行用于处理加权（即，综合权重W）特征点的识别技术，以根据其重要度来非均匀地、非对等地处理每一个目标特征点。为此，可以获取样本图像区域的加权特征描述模型，以便在后续步骤中，根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域。

例如，可以根据具有稳定性权重的样本采样点来获得所述样本图像区域的加权特征描述模型。

下面，将参考图8来描述根据本发明实施例的获取样本图像区域的加权特征描述模型的步骤的具体流程示例。

参考图8，该获取样本图像区域的加权特征描述模型的步骤包括：

在步骤S1310中，针对每一个样本图像区域，通过预定的采样方式来对样本图像区域进行采样，以获得多个样本采样点。

首先，可以获得作为比较基准的至少一个样本图像区域，并且在每一个样本图像区域中执行具有预定采样间隔的采样操作来获取其特征点。

例如，可以按照与步骤S110中相同的采样方式来对该样本图像区域进行采样。优选地，对于样本图像区域的采样间隔应该与对于目标图像区域的采样间隔相对应，也就是说，采样间隔应该与图像感兴趣区域的大小相适应，以保证后续的样本图像区域的加权特征描述模型生成过程（例如，聚类和向量化）具有相同的采样量。

具体地，可以根据样本图像区域的尺寸来选择预定的采样间隔，以保证与目标图像区域中一样，在样本图像区域中同样地获得M×N个采样点。

需要说明的是，由于该采样操作可以是对于样本图像区域进行的，所以在这里为了清楚起见，可以将该样本图像区域中的采样点称为样本采样点。此外，由于在后续步骤中实际上是将采样点作为特征点使用，所以也可以将该样本采样点称为样本特征点。

在步骤S1320中，计算样本采样点的稳定性权重。

在针对每一个样本图像区域获得其样本采样点之后，可以进一步针对每一个样本图像区域，计算其中每一个样本采样点的稳定性权重，所述稳定性权重用于表达所述样本采样点在特征空间中的稳定程度。

例如，可以按照与步骤S120中相同的采样方式来针对每一个样本图像区域，计算其中包括的每一个样本采样点的稳定性权重。也就是说，每一个样本采样点的稳定性权重也可以是该特征点在尺度空间、三维空间、亮度空间、色彩空间、分辨率空间等维度中的稳定程度、或者其任意组合，只要其与目标采样点的稳定性权重具有相同的维度即可。

在步骤S1330中，根据具有稳定性权重的样本采样点来生成样本图像区域的加权特征描述模型。

在获得样本采样点的稳定性权重之后，可以基于加权识别方法来生成样本图像区域的加权特征描述模型。例如，该加权识别方法可以采用加权词袋法（BoF）、加权距离测量法、加权K最近邻（KNN）算法等。

为了便于理解，下面，将以加权词袋法为例进行描述。

该通过加权BoF方法来生成样本图像区域的加权特征描述模型的步骤可以包括：

在子步骤1中，通过向所有样本采样点施加尺度不变特征描述来产生与所述样本图像区域对应的在同一尺度中的特征描述集合，并且通过组合所有样本图像区域的特征描述集合中的特征描述来形成特征空间。

例如，首先，可以针对每一个样本图像区域，向所有样本采样点施加尺度不变特征描述，以产生与所述样本图像区域对应的在同一尺度中的特征描述集合，其中所述特征描述集合中的每一个特征描述与所述样本图像区域中的每一个样本采样点对应并且具有所述样本采样点的稳定性权重。

下面，将参考图9来描述根据本发明实施例的对样本采样点执行尺度不变特征描述的子步骤的具体操作示例。

为了便于描述，在图9中假设作为比较基准的至少一个样本图像区域包括2个，分别具有两个类别标签，即类别A和类别B，其中类别A的样本图像区域示出在ID=73的边框中，而类别B的样本图像区域示出在ID=78的边框中。此外，假设在步骤S120和S1320中所计算的目标采样点和样本采样点的稳定性权重是包括尺度稳定性权重和空间稳定性权重并且如等式（6）所示的组合稳定性权重。

这时，例如，针对类别A和类别B两个样本图像区域中的每一个样本图像区域，可以对其中的每一个样本采样点执行尺度不变特征描述，以便稍后将组合了上述两种权重的特征点放入特征池中。

具体地，可以对每一个训练样本图像的原始图像（即，在尺度空间中对应I=0，即未施加高斯滤波）的所有采样点进行尺度不变描述，并且将在所有采样位置处的尺度不变描述放入特征空间，以形成一个特征描述集合。因而，针对类别A和类别B两个样本图像区域，将分别存在一个特征描述集合。

然后，可以通过组合所有样本图像区域的特征描述集合中的特征描述来形成特征空间。

在获得关于类别A和类别B样本图像区域的两个特征描述集合之后，可以对两个特征描述集合中的所有特征描述进行组合，以形成一个总的特征空间，如图9右侧的大圆圈所示。更确切的说，这里所有的类别标签（例如，如图9中的类别A和类别B）被暂时去掉，而仅仅留下特征空间中的特征描述。

另一方面，由于上述步骤S1320的操作，所以在特征空间中，针对每个特征描述，存在一个组合了尺度稳定性和空域可靠性的权重，反映了其在特征空间的稳定性，也就是说，反映了其在加权识别过程中的重要性程度。

此外，如图9所图示的，在上述步骤S1310中，样本图像区域和目标图像区域中的采样间隔（为获得描述的位置）与两幅图像中感兴趣区域的大小是相适应的，以便为后续的聚类和向量化保证相同的采样量。

在子步骤2中，根据所述特征描述的稳定性权重来在所述特征空间中对所述特征描述进行加权聚类，以形成多个聚类中心。

例如，在生成特征空间之后，可以对特征空间中的所有特征描述进行加权K均值聚类。

需要说明的是，该加权K均值聚类不同于普通的K均值聚类，这时因为特征空间中各个特征点具有不同的权重，从而影响着这些点的聚类中心。

下面，将参考图10A和图10B，通过与现有技术进行对比的方式来描述根据本发明实施例的加权聚类操作。

图10A图示了根据现有技术的K均值聚类的原理示意图，并且图10B图示了根据本发明实施例的加权K均值聚类的原理示意图。

在图10A中，由于每个特征点不具有权重的概念（或者说，每个特征点的权重值都是1），所以多个特征点的聚类中心就是这些特征点的质心。

相对地，在图10B中，由于每个特征点具有权重的概念（也就是说，每个特征点的权重值可能不同），所以多个特征点的聚类中心不是这些特征点的简单质心，而是这些特征点的加权质心。

具体地，可以如下面的等式（7）来定义多个特征点的聚类中心（或称为质心）：

其中，c_j是多个特征点的质心，x_i是经过特征描述操作之后得到的高维特征描述（例如，如果采用SIFT算子，则其是128维的特征向量），w_i是x_i特征描述的权重，并且S代表特征空间。

更进一步地，上述等式（7）的正确性可以通过下面的等式（8）来证明：

其中，var(X,W,S)是特征点的方差，c是特征空间^S中的任意位置，x_i是经过特征描述操作之后得到的高维特征描述，w_i是x_i特征描述的权重，并且S代表特征空间。

如等式（8）所示，这些特征点的方差var(X,W,S)能够基于这个c来计算。并且，由于能够证明当c被赋予等式（7）中的c_j时，car(X，W，S)取到最小值，所以这就说明了等式（7）和（8）中分别定义的质心和方差的必然性。

因此，接下来，可以利用等式（7）和（8）中分别定义的质心和方差来调整K均值聚类算法，作为加权K均值聚类算法，使得这个算法能够处理加权的特征点。

在子步骤3中，针对每一个样本图像区域中的每一个样本采样点，根据所述聚类中心与对应于所述样本采样点的特征描述在所述特征空间中的距离来对所述样本采样点进行编码。

例如，针对每一个训练样本中被采样的位置（即，样本采样点），可以通过特征空间中的最小距离被判定为属于某一个特定的视觉字。也即，每个样本采样点均可以通过特征空间中最小距离的投票来决定属于哪个视觉字。最终，所有的图像的被采样的位置都会被编码。

下面，将参考图11来描述根据本发明实施例的特征空间中的最小距离投票操作。

具体地，参考图11，当对特征池（即，特征空间）中的带有重要性权重的特征描述施加了加权K均值聚类之后，将会围绕聚类中心（即，上述的加权特征点的加权质心）而产生一些点的群聚。例如，这些点的群聚，在图9中，可以如右侧表示特征空间的大圆圈中的三个小圆圈1、2、3所示，同样地，在图11中，可以如左侧的三个矩形1、2、3所示。其中，圆圈和矩形都仅仅代表不同的群聚（或称为集合），而与其具体形状无关。

在BoF算法中，聚类中心也可以称为视觉字，并且点的群聚也可以称为码书，该码书可以包括所有的视觉字。从图像处理的角度上讲，视觉字的涵义可以被大体理解为特定的微小的“局部纹理”。当然，属于不同类别的对象可能会拥有同一个微小的“局部纹理”，只要这样的局部纹理对于不同类别的对象有不同的空间分布或统计特征。

此外，由于根据BoF算法的框架，一个聚类中心可以很好地代表围绕在这个中心点周围的点的群聚，所以可以使用在特征空间中与一个样本采样点的特征描述具有最小距离的聚类中心来对所述样本采样点进行编码。

因此，基于码书，在样本图像区域中每一个被采样的位置将会通过特征空间中的最小距离被判定为属于某一个特定的视觉字。例如，如图11的右侧所示，在已知类别的样本图像区域中，每个样本采样点均可以通过最小距离投票决定属于哪一个视觉字。也就是说，可以根据所述聚类中心1、2、3与对应于每一个样本采样点的特征描述在所述特征空间中的距离来对该样本采样点进行编码，从而形成一个新的样本图像区域，其中与每一个样本采样点对应的像素重新从可能的值1、2、3之中进行取值。

在子步骤4中，通过对每一个样本图像区域的编码结果进行向量化来生成所述样本图像区域的所述加权特征描述模型。

例如，当每一个样本图像区域的被采样点都被进行上述编码以后，这幅图像应该被进一步编码成适合于分类的一维（1D）向量。这种从2D码转换成1D码的过程应该最大程度地挖掘原2D码的类别可分性，并且该过程可以被称为向量化。

在本发明的实施例中，存在各种可能的向量化方案，其包括但不限于：统计码书的直方图、水平扫描级联、以及保持视觉字的空间分布信息的空域编码方案等。

在步骤S140中，根据具有稳定性权重的目标采样点来获得目标图像区域的加权特征描述。

例如，可以根据在步骤S130中形成的样本图像区域的加权特征描述模型来在步骤S120中获得的目标采样点稳定性权重，来获得目标图像区域的加权特征描述。

下面，将参考图12来描述根据本发明实施例的获得目标图像区域的加权特征描述的步骤的具体流程示例。

参考图12，该获得目标图像区域的加权特征描述的步骤包括：

在步骤S1410中，通过向所述目标图像区域中的所有目标采样点施加尺度不变特征描述来产生与所述目标图像区域对应的在同一尺度中的特征描述集合，并且将所述目标图像区域的特征描述集合中的特征描述添加到所述特征空间中。

例如，首先，可以向所述目标图像区域中的所有目标采样点施加尺度不变特征描述，以产生与所述目标图像区域对应的在同一尺度中的特征描述集合，其中所述特征描述集合中的每一个特征描述与所述目标图像区域中的每一个目标采样点对应并且具有所述目标采样点的稳定性权重。

具体地，如步骤S1330中的子步骤1中一样地，针对未知类别的目标图像区域，可以对其中的每一个目标采样点执行尺度不变特征描述，以产生与所述目标图像区域对应的在同一尺度中的特征描述集合。

然后，可以将所述目标图像区域的特征描述集合中的特征描述添加到所述特征空间中，如图9所示。

在步骤S1420中，针对所述目标图像区域中的每一个目标采样点，根据所述聚类中心与对应于所述目标采样点的特征描述在所述特征空间中的距离来对所述目标采样点进行编码。

具体地，在例如通过步骤S1330中的子步骤2获得了聚类中心（即，视觉字）之后，如步骤S1330中的子步骤3中一样地，每个目标采样点均可以通过特征空间中最小距离的投票来决定其属于哪个视觉字。最终，所有的图像的被采样的位置都会被编码。如图11所示。

在步骤S1430中，通过对所述目标图像区域的编码结果进行向量化来生成所述目标图像区域的所述加权特征描述。

具体地，可以如步骤S1330中的子步骤4中一样地，例如，可以对目标图像区域进一步编码成适合于分类的一维（1D）向量。

在步骤S150中，根据目标图像区域的加权特征描述和样本图像区域的加权特征描述模型来对目标图像区域进行识别。

在获得了目标图像区域的加权特征描述和样本图像区域的加权特征描述模型之后，可以执行用于处理加权（即，综合权重W）特征点的识别技术，以确定目标图像区域到底属于哪一个样本图像区域。

如上所述，这种加权的识别过程可以采样加权词袋法（BoF）、加权距离测量法、加权K最近邻（KNN）算法等，基于加权特征描述和样本图像区域的加权特征描述模型之间的特征向量距离来实现。

下面，将参考图13来描述根据本发明实施例的对目标图像区域进行识别的步骤的具体操作示例。

为了便于理解，下面，将继续以加权词袋法为例进行描述。在加权词袋法中，在通过对每一个样本图像区域的编码结果进行向量化来生成所述样本图像区域的所述加权特征描述模型之后，并且在通过对所述目标图像区域的编码结果进行向量化来生成所述目标图像区域的所述加权特征描述之后，可以使用样本图像模型来训练分类器，并且将目标图像区域的所述加权特征描述输入训练完毕的分类器，从而获得最终的识别结果。

具体地，可以通过使用训练样本建立决策模型，并用该模型对测试图像做判别式决策。决策模型包括但不限于各种分类器（例如随机森林、支持向量机（SVM）、AdaBoost等）以及各种距离测度。

例如，如图13所示，当在步骤S1330中的子步骤4中对于在步骤S1330中的子步骤3中获得的样本特征空间中的最小距离投票结果进行向量化之后，可以将样本的类别标签（例如，如图9中的类别A和类别B）恢复回去，并且使用具有类别标签的向量化结果作为输入，来训练分类器。然后，将在步骤S140中获得的未知类别的目标图像区域的加权特征描述输入训练好的分类器中，从而获得最终的识别结果。

由此可见，本发明的实施例提供了一种基于加权特征点的目标识别方法，其具备通过足够的特征点来充分表达对象的能力，同时能够更加关注其中重要的点，从而通过一种能够用于处理带有权重的特征点的识别算法来使得基于加权特征点的识别过程成为可能。此外，由于在本发明的实施例中还可以使用双目相机来捕捉视差信息，所以可以充分地使用3D空间信息。因此，与现有技术相比，本发明的实施例将会有较高的识别精度，并且对于由于真实场景中的各种因素（例如，光照和遮挡等）而导致的特征点的各种劣化也更加鲁棒。

此外，需要说明的是，尽管在上文中仅仅描述了将根据本发明实施例的目标识别方法应用于单纯的目标识别场景（即用于根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域）的情况，但是，需要说明的是，本发明不限于此。例如，优选地，该目标识别方法也可以应用于目标跟踪的过程（尤其是，跟踪恢复过程）中。

下面，将参考图14A和图14B来描述将根据本发明实施例的目标识别方法应用于跟踪恢复过程中时、与现有技术相比所带的性能提升。

图14A图示了将根据现有技术的特征点检测和匹配方法应用于跟踪恢复过程时的跟踪效果示意图，而图14B图示了将根据本发明实施例的目标识别方法应用于跟踪恢复过程时的跟踪效果示意图。

如图14A所示，在该图像序列中共存在4个被跟踪对象（其包括但不仅限于人）。具体地，在第516帧中，按照从左到右的顺序，这4个被跟踪对象分别被赋予标识符（ID）57、53、78、和73。

具体地，在图14A中可以看出，一个在深色边界框中的对象（ID=78）在第516帧和第517帧处于被跟踪的状态，然而在第518帧它被跟踪器丢失了。这种跟踪丢失可能是由于跟踪器自身的算法原因而导致的，也可能是由于该对象受到诸如光照变化、视角改变、遮挡和形变等因素的影响而导致的。

这时，如果在该跟踪器中存在一个检测器或一个检测机制，那么很有可能在接下来的若干帧中，在跟踪丢失发生的附近区域，这个对象被重新检测到。

如上所述，在特征点检测和匹配方法中，由于受到特征点少、可能存在错误的特征匹配等技术问题的限制，如图14A所示，在跟踪丢失发生之后，重新检测到的对象不能与以前跟踪到的对象建立其关联，即使它们事实上是同一个对象。这时，一个用以标记对象唯一性的新的身份（比如新的ID=85）将会被赋予这个“新”检测出的对象，如同这是一个全新的出现在场景中的对象一样，如第520帧的浅色边界框所示。在这种情形下，对象身份的一致性被损害了，也就是说，相同对象的身份被改变了。

因此，为了维护对象的身份（其目的包括推进一些复杂的应用，包括多个对象跟踪和人的行为分析），可以使用根据本发明实施例的目标识别方法。

如图14B所示，在该图像序列中仍然存在4个被跟踪对象，其ID分别是57、53、78、和73。具体地，与图14A中一样地，在图14B中可以看出，一个在深色边界框中的对象（ID=78）在第516帧和第517帧处于被跟踪的状态，然而在第518帧它被跟踪器丢失了。

然而，与现有技术不同地，通过使用根据本发明实施例的目标识别方法，可以在跟踪丢失发生之后，针对重新检测到的对象，高效快速地对新检测到的对象（仍然示出在深色边框中）的身份进行恢复，也就是说，对于该跟踪丢失的对象重新分配其原始ID=78，好像跟踪器有某种短期记忆一样，使得即使在短暂的中断下，仍然可以回忆起新检测的对象事实上与前面跟踪的对象是一致的。在这种情况下，对象的一致性得到了维护，使得一些进一步的复杂应用（如多个对象的跟踪以及人的行为分析等）成为可能。

因此，通过对比图14A中的跟踪丢失示意图和图14B中的跟踪恢复示意图，可以充分地说明根据本发明实施例的目标识别方法的必要性、以及将其应用于跟踪恢复方法中的有益效果。

此外，根据本发明实施例的目标识别方法与以下替代方法相比也具有明显的有益效果，该替代方法包括：在不同的尺度空间中直接获取训练样本，然后直接将这些训练样本输入分类器进行训练。尽管在这种情况下可以认为，由于训练样本已经包括了足够的用于识别对象/跟踪对象的在不同尺度上的信息，并且这些信息可以由分类器自动且内在地学习，所以没有必要在尺度空间中测度每个点的质量，然而，需要说明的是，上述替代方法仅仅在理想的实验条件下才能成立，但是在实际应用中，由于训练样本往往是实时地在线获得的，所以很难包括不同的尺度，因此上述替代方法在现实场景中几乎无法实现。一个典型的例子正是跟踪恢复过程。

此外，还应该注意到，如上所述，通过使用根据本发明实施例的目标识别方法，仅仅需要在跟踪丢失处的有限时间和空间区域中采集训练样本即可，从而充分节约了系统资源，并且提高了跟踪恢复的效率。

本发明的实施例还可以通过一种目标识别装置来实施。在下文中，将参考图15来描述根据本发明实施例的基于加权特征点的目标识别装置的功能配置框图。

如图15所示，该目标识别装置100可以用于根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域，并且可以包括：

目标采样单元110，用于通过预定的采样方式来对所述目标图像区域进行采样，以获得多个目标采样点；

权重计算单元120，用于计算所述目标采样点的稳定性权重，所述稳定性权重用于表达所述目标采样点在特征空间中的稳定程度；

描述获得单元140，用于根据具有稳定性权重的目标采样点来获得所述目标图像区域的加权特征描述；以及

目标识别单元150，用于根据所述目标图像区域的加权特征描述和所述样本图像区域的加权特征描述模型来对所述目标图像区域进行识别。

可选地，该目标识别装置100还可以包括：模型获取单元130，用于根据具有稳定性权重的样本采样点来获得所述样本图像区域的加权特征描述模型。

上述目标采样单元110、权重计算单元120、模型获取单元130、描述获得单元140、和目标识别单元150的具体功能和操作已经在上面参考图1到图13描述的基于加权特征点的目标识别方法中详细介绍，并因此，将省略其重复描述。

需要说明的是，上述目标识别装置100的部件可以用软件程序来实现，例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上，在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外，除了通用计算机上，还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU（微处理单元）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）、ASIC（专用集成电路）等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在特定位置（例如，车辆）上，并且与安装在特定位置上的用于对道路和道路相关联的对象成像的成像设备例如照相机进行通信，以便对照相机拍摄获得的二维图像和/或立体图像进行分析来识别目标。另外，该目标识别装置100的各个部件可以用专门的硬件来实现，例如特定的现场可编程门阵列、专用集成电路等。另外，目标识别装置100的各个部件也可以利用软件和硬件的结合来实现。

此外，本发明还可以通过一种目标识别系统来实施。在下文中，将参考图16来描述根据本发明实施例的基于加权特征点的目标识别系统的功能结构。

如图16所示，该目标识别系统200可以包括：用于对对象成像的成像设备210，如单目相机、双目相机、多目相机等等；目标识别设备220，用于对来自成像设备210所拍摄的图像进行分析以识别目标，该目标识别设备220例如可以利用图15所示的目标识别装置100的配置来实现。

具体地，该目标识别系统200的输入为灰度图和对应的视差图，例如可以由安装在特定位置处的双目相机来拍摄得到。该输入经过目标识别设备之后，输出为目标识别结果，输出形式可以是多样的，例如在显示器上输出指示识别到的目标的可视形式，或者以麦克风形式进行语音提示，或者以文本形式输出目标识别结果信息等。

本发明还可以通过一种用于识别目标的硬件系统来实施。在下文中，将参考图17来描述根据本发明实施例的基于加权特征点的用于识别目标的硬件系统。

如图17所示，该目标识别系统300可以包括：输入设备310，用于从外部输入有关信息，例如灰度图、视差图、相机设置信息等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等，并且可以包括用于对对象成像的成像设备、以及用于对所形成的图像进行图像解码的解码设备等；处理设备320，用于实施上述的按照本发明实施例的目标识别方法，或者实施为上述的目标识别装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要向远程传送处理后的结果等等；输出设备330，用于向外部输出实施上述目标识别过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备340，用于以易失或非易失的方式存储上述目标识别过程所涉及的数据，诸如目标的左右位置、目标的顶部和目标位置等数据，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

在上面详细描述了本发明的各个实施例。然而，本领域技术人员应该理解，在不脱离本发明的原理和精神的情况下，可对这些实施例进行各种修改，组合或子组合，并且这样的修改应落入本发明的范围内。

Claims

1.一种目标识别方法，所述方法用于根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域，其特征在于，所述方法包括：

通过预定的采样方式来对所述目标图像区域进行采样，以获得多个目标采样点；

计算所述目标采样点的稳定性权重，所述稳定性权重用于表达所述目标采样点在特征空间中的稳定程度；

根据具有稳定性权重的目标采样点来获得所述目标图像区域的加权特征描述；以及

根据所述目标图像区域的加权特征描述和所述样本图像区域的加权特征描述模型来对所述目标图像区域进行识别，其中所述样本图像区域的加权特征描述模型是根据具有稳定性权重的样本采样点来获得的。

2.根据权利要求1的方法，其特征在于，所述计算所述目标采样点的稳定性权重的步骤包括：

获取所述目标图像区域的原始图像，所述原始图像包括灰度图像或彩色图像；以及

根据所述原始图像来对所述目标采样点执行尺度不变特征描述和尺度稳定性测量，以获得所述目标采样点的尺度稳定性权重，所述尺度稳定性权重用于表达所述目标采样点在尺度空间中的稳定程度。

3.根据权利要求2的方法，其特征在于，所述根据所述原始图像来对所述目标采样点执行尺度不变特征描述和尺度稳定性测量、以获得所述目标采样点的尺度稳定性权重的步骤包括：

对所述原始图像执行迭代高斯滤波，以生成所述原始图像的尺度空间；

针对每一个目标采样点，

沿着所述尺度空间的尺度轴，向所述目标采样点施加尺度不变特征描述，以产生与所述目标采样点对应的在不同尺度中的特征描述集合；

计算所述特征描述集合中多个特征描述的凝聚程度，所述凝聚程度用于表达所述目标采样点在所述尺度空间中的尺度稳定性；以及

根据所述凝聚程度来向所述目标采样点分配尺度稳定性权重，其中所述尺度稳定性权重与所述凝聚程度成正比。

4.根据权利要求1的方法，其特征在于，所述计算所述目标采样点的稳定性权重的步骤包括：

获取所述目标图像区域的视差图像；以及

根据所述视差图像来计算所述目标采样点的实际高度，以获得所述目标采样点的空间稳定性权重，所述空间稳定性权重用于表达所述目标采样点在三维空间中的稳定程度。

5.根据权利要求4的方法，其特征在于，所述根据所述视差图像来计算所述目标采样点的实际高度、以获得所述目标采样点的空间稳定性权重的步骤包括：

针对每一个目标采样点，

确定所述目标采样点在所述视差图像中的像素高度坐标；

根据所述视差图像、所述像素高度坐标、用于获得所述目标图像区域的图像捕捉装置的内部参数来计算所述目标采样点在三维世界坐标系下的世界高度坐标，所述世界高度坐标用于表达所述目标采样点的实际高度；以及

根据所述世界高度坐标来向所述目标采样点分配空间稳定性权重，其中所述空间稳定性权重与所述世界高度坐标成正比。

6.根据权利要求1的方法，其特征在于，所述计算所述目标采样点的稳定性权重的步骤包括：

获得所述目标采样点的尺度稳定性权重，所述尺度稳定性权重用于表达所述目标采样点在尺度空间中的稳定程度；

获得所述目标采样点的空间稳定性权重，所述空间稳定性权重用于表达所述目标采样点在三维空间中的稳定程度；以及

对所述尺度稳定性权重和所述空间稳定性权重进行组合，以形成组合稳定性权重。

7.根据权利要求1的方法，其特征在于，所述方法还包括：

针对每一个样本图像区域，

通过所述预定的采样方式来对所述样本图像区域进行采样，以获得多个样本采样点；

计算所述样本采样点的稳定性权重，所述稳定性权重用于表达所述样本采样点在特征空间中的稳定程度；以及

根据具有所述稳定性权重的样本采样点来生成所述样本图像区域的所述加权特征描述模型。

8.根据权利要求7的方法，其特征在于，所述根据具有所述稳定性权重的样本采样点来生成所述样本图像区域的所述加权特征描述模型的步骤包括：

针对每一个样本图像区域，向所有样本采样点施加尺度不变特征描述，以产生与所述样本图像区域对应的在同一尺度中的特征描述集合，其中所述特征描述集合中的每一个特征描述与所述样本图像区域中的每一个样本采样点对应并且具有所述样本采样点的稳定性权重，并且通过组合所有样本图像区域的特征描述集合中的特征描述来形成特征空间；

根据所述特征描述的稳定性权重来在所述特征空间中对所述特征描述进行加权聚类，以形成多个聚类中心；

针对每一个样本图像区域中的每一个样本采样点，根据所述聚类中心与对应于所述样本采样点的特征描述在所述特征空间中的距离来对所述样本采样点进行编码；以及

通过对每一个样本图像区域的编码结果进行向量化来生成所述样本图像区域的所述加权特征描述模型。

9.根据权利要求8的方法，其特征在于，所述根据具有稳定性权重的目标采样点来获得所述目标图像区域的加权特征描述的步骤包括：

向所述目标图像区域中的所有目标采样点施加尺度不变特征描述，以产生与所述目标图像区域对应的在同一尺度中的特征描述集合，其中所述特征描述集合中的每一个特征描述与所述目标图像区域中的每一个目标采样点对应并且具有所述目标采样点的稳定性权重，并且将所述目标图像区域的特征描述集合中的特征描述添加到所述特征空间中；

针对所述目标图像区域中的每一个目标采样点，根据所述聚类中心与对应于所述目标采样点的特征描述在所述特征空间中的距离来对所述目标采样点进行编码；以及

通过对所述目标图像区域的编码结果进行向量化来生成所述目标图像区域的所述加权特征描述。

10.一种目标识别装置，所述装置用于根据已知类别的至少一个样本图像区域来识别未知类别的目标图像区域，其特征在于，所述装置包括：

目标采样单元，用于通过预定的采样方式来对所述目标图像区域进行采样，以获得多个目标采样点；

权重计算单元，用于计算所述目标采样点的稳定性权重，所述稳定性权重用于表达所述目标采样点在特征空间中的稳定程度；

描述获得单元，用于根据具有稳定性权重的目标采样点来获得所述目标图像区域的加权特征描述；以及

目标识别单元，用于根据所述目标图像区域的加权特征描述和所述样本图像区域的加权特征描述模型来对所述目标图像区域进行识别，其中所述样本图像区域的加权特征描述模型是根据具有稳定性权重的样本采样点来获得的。