CN103425991A - 对视频中的目标进行分类的方法和装置 - Google Patents

Abstract

本发明涉及对视频中的目标进行分类的方法和装置。根据本发明的一个方面，提供了一种对视频中的目标进行分类的方法，包括：通过第一分类器初步进行与视频中的至少两个目标相关联的分类；利用训练第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器；以及通过训练好的第二分类器进一步进行与至少两个目标相关联的分类。

Description

对视频中的目标进行分类的方法和装置

技术领域

本发明总体上涉及对视频中的目标进行分类。具体而言，本发明涉及一种高效率高准确率的对视频中的目标进行分类的方法和装置。

背景技术

视频中的多目标跟踪技术是计算机视觉领域中一个重要的研究课题。该技术可用于视频监控、视觉分析和人机交互等多个领域。该项技术的主要任务是获得出现在视频中的所有目标的轨迹。

现有的多目标跟踪方法大多包含两个步骤：目标检测和编号匹配。第一步将标出每帧图像中出现的所有目标的位置和大小，检测结果用矩形框表示。该步骤通常利用离线训练的通用检测器对目标进行检测。在编号匹配步骤中，出现在不同帧的属于同一目标的检测结果被分配相同的编号，其位置被连接生成对应的轨迹。该步骤通常采用在线特定目标检测器对检测结果和编号进行匹配。图1是示出根据现有技术的目标检测和跟踪框架的示意图。如图1所示，在步骤S102中，通过离线通用检测器从视频中检测目标。在步骤S104中，通过在线特定目标检测器对目标进行编号匹配，即跟踪目标。

现有方法的一个重要问题是编号匹配错误：当两个目标的位置上相互接近并且视觉上相似时，其对应的编号容易发生分配错误。而在线特定目标检测器在训练时所选择的特征是用于区分特定目标与其他所有目标和背景的，这些特征并不能最优地包含两个特定目标的区分信息。

此外，现有方法中，不同的检测器或分类器的特征选择过程相互独立。如图2所示，虚线框1中的离线通用目标检测器的特征选择过程与虚线框2中的在线特定目标检测器的特征选择过程相互独立。这样做的缺点是计算效率不高，并且由于样本数量的限制，容易发生过拟合问题。

因此，期望一种能够解决上述问题的技术。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供一种对视频中的目标进行分类的方法和装置。

根据本发明的一个方面，提供了一种对视频中的目标进行分类的方法，该方法包括：通过第一分类器初步进行与视频中的至少两个目标相关联的分类；利用训练第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器；以及通过训练好的第二分类器进一步进行与至少两个目标相关联的分类。

根据本发明的另一个方面，提供了一种对视频中的目标进行分类的装置，该装置包括：第一分类器，用于初步进行与视频中的至少两个目标相关联的分类；第一训练模块，被配置用于利用训练第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器；以及第二分类器，用于进一步进行与所述至少两个目标相关联的分类。

另外，本发明的实施例还提供了用于实现上述方法的计算机程序。

此外，本发明的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出根据现有技术的目标检测和跟踪框架的示意图；

图2是示出根据现有技术的利用独立的特征选择进行目标检测和跟踪的框架的示意图；

图3是示出根据本发明的一个实施例的对视频中的目标进行分类的方法的流程图；

图4是示出特征筛选继承过程的流程图；

图5是示出同时利用特征筛选继承和联合特征选择的对视频中的目标进行分类的目标检测和跟踪的框架的示意图；

图6A是示出联合特征选择过程的流程图；

图6B是示出梯度特征和灰度特征的示意图；

图7是示出同时利用离线通用目标检测器、在线特定目标检测器和在线特定目标组检测器来跟踪视频中的目标的方法的流程图；

图8是示出同时利用离线通用目标检测器、在线特定目标检测器和在线特定目标组检测器来跟踪视频中的目标的框架的示意图；以及

图9是示出根据本发明的实施例的对视频中的目标进行分类的装置的框图；

图10是示出第一训练模块的配置的框图；

图11是示出根据本发明的另一实施例的对视频中的目标进行分类的装置的框图；

图12是示出第二特征选择模块的配置的框图；

图13是示出根据本发明的又一实施例的对视频中的目标进行分类的装置的框图；以及

图14是示出可以用于实施本发明的对视频中的目标进行分类的方法和装置的计算设备的举例的结构图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

以下参照图3来描述根据本发明的一个实施例的对视频中的目标进行分类的方法300。

如图3所示，在步骤S302中，可以通过第一分类器初步进行与视频中的至少两个目标相关联的分类。其中，第一分类器是预先用第一特征训练的。

例如，可以通过第一分类器初步从视频中检测至少两个目标，进一步而言，可以将视频中的至少两个目标与背景区分开。具体而言，假如目标是人，则在步骤S302中，可以将视频中的人与背景区分开。可以理解到，本文所提到的目标例如也可以是动物、汽车等其他物体。

或者，第一分类器也可以用于识别至少两个目标，从而可以初步地将视频中的至少两个目标区分开。

在步骤S304中，可以利用训练第一分类器所用的第一特征中的至少一部分来训练第二分类器。换句话说，可以继承训练第一分类器所用的第一特征，对第一特征进行筛选，然后利用筛选出的这部分第一特征训练第二分类器。稍后将参照图4来描述特征筛选继承过程即步骤S304的详细过程。

在步骤S306中，可以通过训练好的第二分类器进一步进行与至少两个目标相关联的分类。例如，可以通过训练好的第二分类器对所述至少两个目标进行更准确的分类。

仍以目标是人为例，在已经在步骤S302中从视频中检测出作为目标的人（即，将视频中的人与背景区分开）的情况下，在步骤S306中，可以通过训练好的第二分类器进一步将检测出的人分类。例如，在步骤S306中，可以跟踪每个人即识别出特定的人，从而可以将每个人与特定编号联系起来，然后将人与特定轨迹联系起来。

或者，在第一分类器用于识别至少两个目标的情况下，第二分类器可以用于区分过于接近的、容易混淆的至少两个目标。

以下参照图4来描述图1中的特征筛选继承过程即步骤S304。

如图4所示，在步骤S402中，可以对训练样本进行随机采样。其中，训练样本选自第一分类器初步进行与视频中的至少两个目标相关联的分类所得到的候选目标。由于通过特征筛选继承过程得到的特征依赖于最初使用的训练样本，因而如果不对训练样本随机采样，则有最终得到的特征有可能过度地依赖于训练样本，从而出现过拟合的问题。通过在每次循环中对训练样本进行随机采样，可以避免发生过拟合。

在步骤S404中，可以基于采样出的训练样本计算每个第一特征的类可分性度量。具体地，可以将针对第一分类器选择的第一特征作为参考特征集合T，然后计算参考特征集合T中的每一维度（即，每个第一特征）的类可分性度量。

类可分性度量可作为特征选择的准则，其定量地描述了特征对分类的贡献。通常来讲，两类数据在某一维特征上的分布的重叠区域越小，则表示该特征的类可分性越好，从而对分类的帮助也越大。

类可分性度量的构建方式主要有三种：基于几何距离的方式、基于类的概率密度函数的方式和基于熵函数的方式。

以基于几何距离的方式为例。两类数据的类可分性度量可表示为类间距离与类内距离之比。其中类间距离为两类数据样本的几何中心之间的距离；类内距离则为同类数据样本间的均方距离。

关于类可分性度量的计算过程可以参考：Introduction to PatternRecognition 4.7章，A Matlab Approach，作者为Sergios Theodoridis、Aggelos Pikrakis、Konstantinos Koutroumbas和Dionisis Cavouras。通过引用将该文献的全部内容结合于此用于所有目的。

在步骤S406中，可以根据类可分性度量从训练第一分类器所用的第一特征中选择至少一部分第一特征。换句话说，可以根据类可分性度量从训练第一分类器所用的第一特征中删除一部分第一特征，例如，可以将类可分性度量最差的一维（即，类可分性度量最差的第一特征）删除。然后，可以选择剩余的第一特征。当然，所删除的数量不限于一，而可以删除多个最差的第一特征。

上述选择第一特征的过程可以重复多次，以基于多次的随机采样尽量删除类可分性度量不好的多个第一特征。在步骤S408中，可以判断步骤S402至步骤S406的过程是否已重复预定次数（例如，N1次，N1为自然数）。如果步骤S402至步骤S406的过程已重复预定次数，则前进到步骤S410。如果步骤S402至步骤S406的过程还未重复预定次数，则返回到步骤S402，重复步骤S402至步骤S406的过程。

接下来，在步骤S410中，可以利用N1个循环后剩余的第一特征来训练第二分类器，从而得到利用剩余的第一特征训练而成的初级第二分类器Ci。

根据图4所示的特征筛选继承过程，在开始训练第二分类器时，为第一分类器选择的第一特征将全部被继承，即在步骤S404中，将针对第一分类器所选择的第一特征作为参考特征集合T。然后，从参考特征集合T中去除在当前训练样本上的可分性度量较差的N1个特征，并在剩下的第一特征上训练初级的第二分类器Ci。

再次参考图3，在得到初级第二分类器Ci之后，可以在步骤S306中直接利用初级第二分类器Ci进一步进行与所述至少两个目标相关联的分类。

通过图4所示的特征筛选继承过程，能够提高计算效率并避免过拟合问题。

要注意，在参照图4描述的特征筛选继承过程中，步骤S408中的循环判断条件不限于重复N1次，例如，该循环判断条件也可以是判断是否已剩下预定个数的第一特征或其他循环判断条件。此外，例如，也可以不执行步骤S402中的对训练样本进行的随机采样，而可以采用全部的训练样本。

如果仅继承筛选后的第一特征不能取得期望的训练误差，则优选地可以生成新的特征（以下也称作第三特征），并在第三特征中选取一部分作为第二特征，并用第二特征进一步训练初级第二分类器Ci。优选地，在这个过程中，第一分类器和初级第二分类器Ci可以同时起作用，即联合进行特征选择。

以下参照图5来描述同时利用特征筛选继承过程（即步骤S304）和联合特征选择过程对视频中的目标进行分类的目标检测和跟踪的框架。

在如图5所示的框架中，除了利用特征筛选继承过程之外，还利用了联合特征选择过程，即通过第一分类器和初级第二分类器Ci联合起作用。

以下将参照图6A来详细描述联合选择特征的过程。

如图6A所示，在步骤S602中，可以基于训练样本生成第三特征。

在步骤S604，从训练样本中随机采样出一部分训练样本，计算初级第二分类器Ci（即，利用至少一部分第一特征训练的第二分类器）对训练样本分类的困难程度，即计算初级第二分类器Ci在区分各个训练样本时的困难程度，然后根据计算出的困难程度从训练样本中删除部分训练样本。例如，可以删除预定数目的困难程度较高的训练样本。这样做的原因在于，在随机采样的训练样本中，可能有一些不正确的训练样本，不正确的训练样本往往表现为难以用分类器区分，因此根据困难程度来删除部分训练样本有助于删除这些不正确的训练样本。其中，初级第二分类器Ci可以对每个训练样本给出一个分数，因而可以由该分数决定该训练样本的困难程度。

在步骤S606中，其中，根据第三特征与第一特征的集合（即，参考特征集合T）的相似性度量，以及第三特征在剩余的训练样本上的类可分性度量中的至少一个，从第三特征中选择预定数量的第三特征作为第二特征。

此处，由于参考特征集合T是针对第一分类器选择的，所以计算第三特征与第一特征的结合的相似性度量就相当于第一分类器对选择第二特征起一定作用。此外，由于在步骤S604中还考虑了初级第二分类器Ci在区分训练样本的困难程度，所以计算困难程度就相当于第二分类器对选择第二特征起一定作用。

关于类可分性度量的计算过程可以参考：Introduction to PatternRecognition 4.7章，A Matlab Approach，作者为Sergios Theodoridis、Aggelos Pikrakis、Konstantinos Koutroumbas和Dionisis Cavouras。通过引用将该文献的全部内容结合于此用于所有目的。

在图6A的联合特征选择过程中，需要计算第三特征与参考特征集合T的相似性度量。

第一分类器和第二分类器可以使用不同的特征。假设第一分类器是离线通用目标检测器，第二分类器是在线特定目标检测器。离线通用目标检测器例如可以使用梯度直方图特征（HOG），而在线特征目标检测器例如可以使用灰度直方图特征，如图6B所示。如图6B所示，子区域A的梯度特征在离线通用目标检测器被使用，相近子区域B的灰度特征在在线特定目标检测器被使用。这两种特征均针对样本图像中的某个子区域进行计算。可发现，如果一个子区域对应的梯度特征在离线通用目标检测器中的权重较大，那么其对应的灰度特征在在线特定目标检测器中的权重也可能较大。这是由于该区域往往对应目标的特定部分。以行人为例，样本图像中对应躯干部分的梯度特征在离线通用目标检测器中起重要作用，而躯干部分的灰度特征则在在线特定目标检测器中起重要作用。

另一方面，离线通用目标检测器拥有较多训练样本，所选择的子区域较准确。而在线特定目标检测器的训练样本则较少，所选择的子区域不准确。为了提高在线特定目标检测器的性能并减少过拟合问题，将第三特征与参考特征集合T的空间相似性度量作为第三特征选择的标准之一。该相似性衡量的是不同类型特征之间的空间和形状的接近程度。以下是第三特征a与参考特征集合T的相似性度量θ的计算公式：

$\mathrm{\θ}(a,T)=\underset{b\∈T}{\max }{\left(\frac{a\∩b}{a\∪b}\right)}^N$

其中a∩b表示特征a和b对应子区域的交集的面积，而a∪b则表示相应并集的面积，N≥1。

以上过程可以进行多次。例如，在步骤S608中，可以判断步骤S604至步骤S606的过程是否已被重复预定次数（例如，N2次，N2为自然数）。如果步骤S604至步骤S606的过程已重复预定次数，则前进到步骤S610。如果步骤S604至步骤S606的过程还未重复预定次数，则返回到步骤S604，重复步骤S604至步骤S406的过程。

在步骤S610中，利用选择出的第二特征进一步训练初级第二分类器Ci。换句话说，利用选择出的第二特征基于初级第二分类器Ci进行训练以得到次级第二分类器Cj。

再次参考图3，在步骤S306中，可以通过在步骤S610中训练出的次级第二分类器Cj进一步进行与所述至少两个目标相关联的分类。

可选地，在步骤S306中，可以通过初级第二分类器Ci和次级第二分类器Cj的组合进一步进行与所述至少两个目标相关联的分类。例如，在分类的过程中，可以利用初级第二分类器Ci在目标上的分值与次级第二分类器Cj在目标上的分值的乘积、或者两种分值的加权和来进行分类。这样做的优势在于能够充分利用训练出的分类器，从而改进分类性能。此外，如果利用第二特征训练出的次级第二分类器Cj存在过拟合的问题，则通过利用初级第二分类器Ci和次级第二分类器Cj的组合，能够减轻这种过拟合对分类结果的影响。

以下参照图7和图8来描述同时利用离线通用目标检测器、在线特定目标检测器和在线特定目标组检测器跟踪视频中的目标的方法700。

如图7所示，在虚线框A中，将离线通用目标检测器当作第一分类器，而将在线特定目标检测器当作第二分类器。在虚线框B中，将在线特定目标检测器当作第一分类器，而将在线特定目标组分类器当作第二分类器。

在步骤S702中，可以通过离线通用目标检测器检测视频中的至少两个目标。换句话说，通过离线通用目标检测器初步进行与所述至少两个目标相关联的分类，将目标与背景区分开，但是不一定识别和跟踪特定的目标。

在步骤S704中，通过训练好的在线特定目标检测器跟踪至少两个目标。也就是识别特定的目标并跟踪。

在步骤S706中，可以判断是否存在可能跟踪错误的情况。例如，可以将每个目标分配一个特定的编号，如果存在多个目标争夺一个编号的情况，则判定可能存在跟踪错误的情况，如果不存在多个目标争夺一个编号的情况，则判定不存在跟踪错误的情况。跟踪错误往往是由于至少两个目标彼此接近达到一定距离而发生的。当然也可以通过其他方式来判断是否可能出现跟踪错误，例如判断两个或者多个不同的目标是否过于相互接近（例如其间的距离小于预定阈值）。

如果在步骤S706中判定可能存在跟踪错误的情况，则前进到步骤S708，否则结束流程。

在步骤S708中，通过训练好的在线特定目标组检测器区分所述至少两个目标中的多个特定目标。

具体而言，在虚线框A中，将训练好的离线通用目标检测器作为第一分类器，将在线特定目标检测器作为第二分类器，进行参照图3描述的步骤S302和S304、参照图4描述的特征筛选继承过程、参照图5描述的架构、以及参照图6A描述的联合特征选择过程训练在线特定目标检测器。在训练在线特定目标检测器时，所使用的样本是离线通用目标检测器检测出来的候选目标。通过上述特征继承和选择过程训练的在线特定目标检测器能够突出每一个目标个体的特点，从而能够更好地识别和跟踪特定的目标。

在虚线框B中，将训练好的在线特定目标检测器作为第一分类器，将在线特定目标组检测器作为第二分类器，进行参照图3描述的步骤S302和S304、参照图4描述的特征筛选继承过程、参照图5描述的架构、以及参照图6A描述的联合特征选择过程训练在线特定目标组检测器。在在线特定目标组检测器中，样本为相互接近的一组特定目标，在线特定目标组检测器的目的是区分这组特定目标（即相当于其中一个目标以该组特定目标中的其他目标为背景）。通过上述特征继承和选择过程训练的在线特定目标组检测器能够突出特定目标组中的目标之间的不同特征，从而能够更好地区分相互接近的这组特定目标中的每个目标。

由于针对在线特定目标组检测器选择的特征能够最优地区分一组特定目标，所以在线特定目标组检测器能够区分位置上接近并且视觉上相似的一组特定目标，从而能够显著降低跟踪错误的风险。其中，这组特定目标的个数可以为2个、3个或小于总目标个数的其他个数。

以下参照图9来描述根据本发明的实施例的对视频中的目标进行分类的装置900。

如图9所示，对视频中的目标进行分类的装置900可以包括：第一分类器902、第一训练模块904和第二分类器906。

第一分类器902可以初步进行与视频中的至少两个目标相关联的分类。其中，第一分类器902是预先用第一特征训练的。

例如，第一分类器902可以初步从视频中检测至少两个目标，进一步而言，可以将视频中的至少两个目标与背景区分开。具体而言，假如目标是人，则第一分类器可以将视频中的人与背景区分开。可以理解到，本文所提到的目标例如也可以是动物、汽车等其他物体。

或者，第一分类器902也可以用于识别至少两个目标，从而可以初步地将视频中的至少两个目标区分开。

第一训练模块904可以利用训练第一分类器902所用的第一特征中的至少一部分第一特征来训练第二分类器906。换句话说，第一训练模块904可以继承训练第一分类器902所用的第一特征，对第一特征进行筛选，然后利用筛选出的这部分第一特征训练第二分类器906。

训练好的第二分类器906可以进一步进行与至少两个目标相关联的分类。例如，训练好的第二分类器906可以对所述至少两个目标进行更准确的分类。

仍以目标是人为例，在第一分类器902已经从视频中检测出作为目标的人（即，将视频中的人与背景区分开）的情况下，训练好的第二分类器906可以进一步将检测出的人分类。例如，第二分类器906可以跟踪每个人即识别出特定的人，从而可以将每个人与特定编号联系起来，然后将人与特定轨迹联系起来。

或者，在第一分类器902用于识别至少两个目标的情况下，第二分类器906可以用于区分过于接近的、容易混淆的至少两个目标。

以下参照图10来描述第一训练模块904的配置。第一训练模块904可以包括类可分性度量计算子模块904-2、第一特征选择子模块904-4和第一训练子模块904-6。

类可分性度量计算子模块904-2可以基于训练样本计算每个第一特征的类可分性度量，其中，训练样本可以选自第一分类器初步进行与视频中的至少两个目标相关联的分类所得到的候选目标。具体地，类可分性度量计算子模块904-2可以将针对第一分类器选择的第一特征作为参考特征集合T，然后计算参考特征集合T中的每一维度（即，每个第一特征）的类可分性度量。由于已参照图4描述了类可分性度量，因而为了简明起见，在此不再赘述。

第一特征选择子模块904-4可以根据类可分性度量选择至少一部分第一特征。换句话说，第一特征选择子模块904-4可以根据类可分性度量从训练第一分类器902所用的第一特征中删除一部分第一特征，例如，可以将类可分性度量最差的一维（即，类可分性度量最差的第一特征）删除。然后，可以选择剩余的第一特征。当然，所删除的数量不限于一，而可以删除多个最差的第一特征。

第一训练子模块904-6可以利用至少一部分第一特征训练第二分类器906。

可选地，第一训练模块904还可以包括随机采样子模块（未示出），随机采样子模块可以对训练样本进行随机采样。在这种情况下，类可分性度量计算子模块904-2可以基于随机采样子模块随机采样出的训练样本计算每个第一特征的类可分性度量。由于选出的特征依赖于最初使用的训练样本，因而如果不对训练样本随机采样，则有最终得到的特征有可能过度地依赖于训练样本，从而出现过拟合的问题。通过对训练样本进行随机采样，可以避免发生过拟合。

以下参照图11来描述根据本发明的另一实施例的对视频中的目标进行分类的装置900’。

如图11所示，装置900’与装置900的区别在于，装置900’还可以包括第二特征选择模块908和第二训练模块910。

第二特征选择模块908可以选择第二特征。例如，第二特征选择模块908控制第一分类器902和第二分类器906联合选择第二特征。

第二训练模块910可以利用第二特征基于经第一训练子模块904-6训练的第二分类器进行训练以得到经第二特征训练的第二分类器。在这种情况下。可以利用经第二训练模块910训练的第二分类器进一步进行与至少两个目标相关联的分类，或者利用经所述至少一部分第一特征训练的第二分类器进行与至少两个目标相关联的分类，或者利用这两者的组合进行与至少两个目标相关联的分类。

以下参照图12来描述第二特征选择模块908的配置。

如图12所示，第二特征选择模块908可以包括第三特征生成子模块908-2、困难程度计算子模块908-4、训练样本删除子模块908-6和第二特征选择子模块908-8。

第三特征生成子模块908-2可以基于训练样本生成第三特征。困难程度计算子模块908-4可以计算利用至少一部分第一特征训练的第二分类器对训练样本分类的困难程度。训练样本删除子模块908-6可以根据困难程度计算子模块908-4计算出的困难程度从训练样本中删除部分训练样本。第二特征选择子模块908-8根据第三特征与第一特征的集合的相似性度量、以及/或者第三特征在剩余的训练样本上的类可分性度量，从第三特征中选择预定数量的第三特征作为第二特征。

以下参照图13来描述根据本发明的又一实施例的对视频中的目标进行分类的装置900”。

装置900”与装置900’的区别在于，装置900”还可以包括在线特定目标组检测器912。

第一分类器902在进行分类时被具体化为离线通用目标检测器，用于检测视频中的至少两个目标。

第二分类器906在进行分类器是被具体化为在线特定目标检测器，用于跟踪离线通用目标检测器检测出的至少两个目标。

在线特定目标组检测器912可以在至少两个目标中的一组特定目标彼此接近（例如，接近达到阈值距离）时，区分这组特定目标。

其中，在训练在线特定目标组检测器912时，可以将在线特定目标检测器作为第一分类器，将在线特定目标组检测器912作为第二分类器。换句话说，可以通过继承并筛选训练在线特定目标检测器所用的特征来初步训练在线特定目标组检测器。附加地，还可以通过在线特定目标检测器和经初步训练的在线特定目标组检测器联合选择特征，并用选择出的特征训练经初步训练的在线特定目标组检测器。在区分一组特定目标时，可以利用经初步训练的在线特定目标组检测器，或者可以利用经联合选择出的特征训练的在线特定目标组检测器，或者可以利用前两者的组合。

在参照图9描述的实施例中，第一分类器902可以是在线特定目标检测器，用于跟踪视频中的至少两个目标。第二分类器906可以是在线特定目标组检测器。在线特定目标组检测器可以在至少两个目标中的一组特定目标彼此接近时，区分这组特定目标。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

在通过软件和/或固件实现本发明的实施例的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图14所示的通用计算机1400安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。

在图14中，中央处理单元(CPU)1401根据只读存储器(ROM)1402中存储的程序或从存储部分1408加载到随机存取存储器(RAM)1403的程序执行各种处理。在RAM1403中，也根据需要存储当CPU1401执行各种处理等等时所需的数据。CPU1401、ROM1402和RAM1403经由总线1404彼此链路。输入/输出接口1405也链路到总线1404。

下述部件链路到输入/输出接口1405：输入部分1406（包括键盘、鼠标等等）、输出部分1407（包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等）、存储部分1408（包括硬盘等）、通信部分1409（包括网络接口卡比如LAN卡、调制解调器等）。通信部分1409经由网络比如因特网执行通信处理。根据需要，驱动器1410也可链路到输入/输出接口1405。可拆卸介质1411比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1410上，使得从中读出的计算机程序根据需要被安装到存储部分1408中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1411安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图14所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1411。可拆卸介质1111的例子包含磁盘（包含软盘（注册商标））、光盘（包含光盘只读存储器（CD-ROM）和数字通用盘（DVD））、磁光盘（包含迷你盘（MD）（注册商标））和半导体存储器。或者，存储介质可以是ROM1402、存储部分1408中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机（例如图14所示的通用计算机1400）安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

根据上面的说明，可以看出描述了下面的附记。

附记1.一种对视频中的目标进行分类的方法，包括：

通过第一分类器初步进行与所述视频中的至少两个目标相关联的分类；

利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器；以及

通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类。

附记2.根据附记1所述的方法，其中，所述利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器的步骤包括：

基于训练样本计算每个所述第一特征的类可分性度量，其中，所述训练样本选自所述第一分类器初步进行与所述视频中的至少两个目标相关联的分类所得到的候选目标；

根据所述类可分性度量选择所述至少一部分第一特征；以及

利用所述至少一部分第一特征训练所述第二分类器。

附记3.根据附记1所述的方法，其中，在所述利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器之后，所述方法还包括：

选择第二特征；以及

利用所述第二特征基于经所述至少一部分第一特征训练的所述第二分类器训练得到经所述第二特征训练的所述第二分类器；

其中，所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：通过经所述第二特征训练的所述第二分类器和经所述至少一部分第一特征训练的所述第二分类器之一或其组合进一步进行与所述至少两个目标相关联的分类。

附记4.根据附记2所述的方法，其中，在所述利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器之后，所述方法还包括：

选择第二特征；以及

利用所述第二特征基于经所述至少一部分第一特征训练的所述第二分类器训练得到经所述第二特征训练的所述第二分类器；

其中，所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：通过经所述第二特征训练的所述第二分类器和经所述至少一部分第一特征训练的所述第二分类器之一或其组合进一步进行与所述至少两个目标相关联的分类。

附记5.根据附记4所述的方法，其中，所述选择第二特征的步骤包括：

基于训练样本生成第三特征；

根据所述第三特征与所述第一特征的集合的相似性度量，以及所述第三特征在所述训练样本上的类可分性度量中的至少一个，从所述第三特征中选择预定数量的第三特征作为所述第二特征。

附记6．根据附记5所述的方法，其中，在从所述第三特征中选择预定数量的第三特征作为所述第二特征的步骤之前，还包括：

计算利用所述至少一部分第一特征训练的第二分类器对所述训练样本进行分类的困难程度；

根据所述困难程度从所述训练样本中删除部分训练样本，

其中，根据所述第三特征与所述第一特征的集合的相似性度量，以及所述第三特征在剩余的训练样本上的类可分性度量中的至少一个，从所述第三特征中选择预定数量的第三特征作为所述第二特征。

附记7.根据附记1-6之一所述的方法，其中，

所述第一分类器是离线通用目标检测器，而所述第二分类器是在线特定目标检测器，

所述通过第一分类器初步进行与所述视频中的至少两个目标相关联的分类的步骤包括：通过所述离线通用目标检测器检测所述视频中的所述至少两个目标；并且

所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：通过训练好的在线特定目标检测器跟踪所述至少两个目标。

附记8.根据附记7所述的方法，还包括：

在所述至少两个目标中的多个目标彼此接近时，重新将所述训练好的在线特定目标检测器作为第一分类器，将在线特定目标组检测器作为第二分类器，训练在线特定目标组检测器；以及

通过训练好的在线特定目标组检测器区分所述多个目标。

附记9.根据附记1-6之一所述的方法，其中，

所述第一分类器是在线特定目标检测器，而所述第二分类器是在线特定目标组检测器，

所述通过第一分类器初步进行与所述视频中的至少两个目标相关联的分类的步骤包括：通过所述在线特定目标检测器跟踪所述视频中的所述至少两个目标；并且

所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：在所述至少两个目标中的多个目标彼此接近时，通过训练好的在线特定目标组检测器区分所述多个目标。

附记10.根据附记8或9所述的方法，其中，所述多个目标是两个目标。

附记11.一种对视频中的目标进行分类的装置，包括：

第一分类器，用于初步进行与所述视频中的至少两个目标相关联的分类；

第一训练模块，被配置用于利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器；以及

所述第二分类器，用于进一步进行与所述至少两个目标相关联的分类。

附记12.根据附记11所述的装置，其中，所述第一训练模块包括：

类可分性度量计算子模块，被配置用于基于训练样本计算每个所述第一特征的类可分性度量，其中，所述训练样本选自所述第一分类器初步进行与所述视频中的至少两个目标相关联的分类所得到的候选目标；

第一特征选择子模块，被配置用于根据所述类可分性度量选择所述至少一部分第一特征；以及

第一训练子模块，被配置用于利用所述至少一部分第一特征训练所述第二分类器。

附记13.根据附记11所述的装置，还包括：

第二特征选择模块，被配置用于选择第二特征；以及

第二训练模块，被配置用于利用所述第二特征基于经所述至少一部分第一特征训练的所述第二分类器训练得到经所述第二特征训练的所述第二分类器；

其中，经所述第二特征训练的所述第二分类器和经所述至少一部分第一特征训练的所述第二分类器之一或其组合进一步进行与所述至少两个目标相关联的分类。

附记14.根据附记12所述的装置，还包括：

第二特征选择模块，被配置用于选择第二特征；以及

第二训练模块，被配置用于利用所述第二特征基于经所述至少一部分第一特征训练的所述第二分类器训练得到经所述第二特征训练的所述第二分类器；

其中，经所述第二特征训练的所述第二分类器和经所述至少一部分第一特征训练的所述第二分类器之一或其组合进一步进行与所述至少两个目标相关联的分类。

附记15.根据附记14所述的装置，其中，所述第二特征选择模块包括：

第三特征生成子模块，被配置用于基于训练样本生成第三特征；

第二特征选择子模块，被配置用于根据以下两项中的至少一项从所述第三特征中选择预定数量的第三特征作为所述第二特征：所述第三特征与所述第一特征的集合的相似性度量，以及所述第三特征在所述训练样本上的类可分性度量。

附记16．根据附记15所述的装置，其中，所述第二特征选择模块还包括：

困难程度计算子模块，被配置用于计算利用所述至少一部分第一特征训练的第二分类器对所述训练样本进行分类的困难程度；

训练样本删除子模块，被配置用于根据所述困难程度从所述训练样本中删除部分训练样本，

其中，第二特征选择子模块被配置用于根据以下两项中的至少一项从所述第三特征中选择预定数量的第三特征作为所述第二特征：所述第三特征与所述第一特征的集合的相似性度量，以及所述第三特征在经所述训练样本删除子模块删除后剩余的训练样本上的类可分性度量。

附记17.根据附记11-16之一所述的装置，其中：

所述第一分类器为离线通用目标检测器，用于检测所述视频中的所述至少两个目标；

所述第二分类器为在线特定目标检测器，用于跟踪所述至少两个目标。

附记18.根据附记17所述的装置，还包括，

在线特定目标组检测器，用于在所述至少两个目标中的多个目标彼此接近时，区分所述多个目标；

其中，在训练所述在线特定目标组检测器时，将所述在线特定目标检测器作为所述第一分类器，将所述在线特定目标组检测器作为所述第二分类器。

附记19.根据附记11-16之一所述的装置，其中，

所述第一分类器为在线特定目标检测器，用于跟踪所述视频中的所述至少两个目标；

所述第二分类器为在线特定目标组检测器，用于在所述至少两个目标中的多个目标彼此接近时，区分所述多个目标。

附记20.根据附记18或19所述的装置，其中，所述多个目标是两个目标。

Claims (10)

1.一种对视频中的目标进行分类的方法，包括：

通过第一分类器初步进行与所述视频中的至少两个目标相关联的分类；

利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器；以及

通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类。

2.根据权利要求1所述的方法，其中，所述利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器的步骤包括：

基于训练样本计算每个所述第一特征的类可分性度量，其中，所述训练样本选自所述第一分类器初步进行与所述视频中的至少两个目标相关联的分类所得到的候选目标；

根据所述类可分性度量选择所述至少一部分第一特征；以及

利用所述至少一部分第一特征训练所述第二分类器。

3.根据权利要求1所述的方法，其中，在所述利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器之后，所述方法还包括：

选择第二特征；以及

利用所述第二特征基于经所述至少一部分第一特征训练的所述第二分类器训练得到经所述第二特征训练的所述第二分类器；

其中，所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：通过经所述第二特征训练的所述第二分类器和经所述至少一部分第一特征训练的所述第二分类器之一或其组合进一步进行与所述至少两个目标相关联的分类。

4.根据权利要求2所述的方法，其中，在所述利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器之后，所述方法还包括：

选择第二特征；以及

利用所述第二特征基于经所述至少一部分第一特征训练的所述第二分类器训练得到经所述第二特征训练的所述第二分类器；

其中，所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：通过经所述第二特征训练的所述第二分类器和经所述至少一部分第一特征训练的所述第二分类器之一或其组合进一步进行与所述至少两个目标相关联的分类。

5.根据权利要求4所述的方法，其中，所述选择第二特征的步骤包括：

基于训练样本生成第三特征；

根据所述第三特征与所述第一特征的集合的相似性度量，以及所述第三特征在所述训练样本上的类可分性度量中的至少一个，从所述第三特征中选择预定数量的第三特征作为所述第二特征。

6.根据权利要求5所述的方法，其中，在从所述第三特征中选择预定数量的第三特征作为所述第二特征的步骤之前，还包括：

计算利用所述至少一部分第一特征训练的第二分类器对所述训练样本进行分类的困难程度；

根据所述困难程度从所述训练样本中删除部分训练样本，

其中，根据所述第三特征与所述第一特征的集合的相似性度量，以及所述第三特征在剩余的训练样本上的类可分性度量中的至少一个，从所述第三特征中选择预定数量的第三特征作为所述第二特征。

7.根据权利要求1-6之一所述的方法，其中，

所述第一分类器是离线通用目标检测器，而所述第二分类器是在线特定目标检测器，

所述通过第一分类器初步进行与所述视频中的至少两个目标相关联的分类的步骤包括：通过所述离线通用目标检测器检测所述视频中的所述至少两个目标；并且

所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：通过训练好的在线特定目标检测器跟踪所述至少两个目标。

8.根据权利要求7所述的方法，还包括：

在所述至少两个目标中的多个目标彼此接近时，重新将所述训练好的在线特定目标检测器作为第一分类器，将在线特定目标组检测器作为第二分类器，训练在线特定目标组检测器；以及

通过训练好的在线特定目标组检测器区分所述多个目标。

9.根据权利要求1-6之一所述的方法，其中，

所述第一分类器是在线特定目标检测器，而所述第二分类器是在线特定目标组检测器，

所述通过第一分类器初步进行与所述视频中的至少两个目标相关联的分类的步骤包括：通过所述在线特定目标检测器跟踪所述视频中的所述至少两个目标；并且

所述通过训练好的第二分类器进一步进行与所述至少两个目标相关联的分类的步骤包括：在所述至少两个目标中的多个目标彼此接近时，通过训练好的在线特定目标组检测器区分所述多个目标。

10.一种对视频中的目标进行分类的装置，包括：

第一分类器，用于初步进行与所述视频中的至少两个目标相关联的分类；

第一训练模块，被配置用于利用训练所述第一分类器所用的第一特征中的至少一部分第一特征来训练第二分类器；以及

所述第二分类器，用于进一步进行与所述至少两个目标相关联的分类。

Images