CN102737255A

CN102737255A - 目标检测设备和方法

Info

Publication number: CN102737255A
Application number: CN2011100857942A
Authority: CN
Inventors: 孟龙; 吴伟国
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-03-30
Filing date: 2011-03-30
Publication date: 2012-10-17
Also published as: US20120250983A1

Abstract

本公开提供了目标检测设备和方法。一种目标检测设备可包括：检测分类器，用于检测输入图像中的目标，以得到一个或更多个候选目标；验证分类器，用于利用与每个候选目标对应的图像块中的验证特征对每个候选目标进行验证；以及在线学习装置，用于利用所述验证分类器得到的对每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。

Description

目标检测设备和方法

技术领域

本公开涉及目标检测领域，具体地，涉及一种检测图像中的目标的设备和方法。

背景技术

目标检测是图像/视频自动分析中的核心技术之一，广泛应用于视频监控、人工智能、计算机视觉等应用场景。一种常见的目标检测方法是通过离线训练来生成目标检测分类器，并利用该目标检测分类器来检测图像或图像序列(如视频)中的目标。由于离线训练中采用的训练样本是有限的，且不可能完全适合于实际的应用场景，因此，用这种方法生成的目标检测分类器误检率比较高。鉴于此，业内提出了一种在线学习方法，其中，利用在线得到的图像帧作为训练样本对目标检测分类器进行训练。有关在线学习的描述可以参见Oza等人的论文“Online Bagging and Boosting”(刊于Proc.Artificial Intelligence and Statistics，2001年，第105-112页)(下文中称为文献1)。

发明内容

在下文中给出关于本公开的一些方面的简要概述，以便提供对于本公开的基本理解。应当理解，这个概述并不是对本公开的穷举性概述。该概述也并非意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本公开的一个方面，提供了一种目标检测设备，该目标检测设备可包括：检测分类器，用于检测输入图像中的目标，以得到一个或更多个候选目标；验证分类器，用于利用与每个候选目标对应的图像块中的验证特征对每个候选目标进行验证；以及在线学习装置，用于利用所述验证分类器得到的对每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。

根据本公开的另一方面，提供了一种目标检测方法，该目标检测方法可包括：通过检测分类器来检测输入图像中的目标，以得到一个或更多个候选目标；通过验证分类器利用与每个候选目标对应的图像块中的验证特征，对每个候选目标进行验证；以及利用每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。

另外，本公开的实施例还提供了用于实现上述方法的计算机程序。

此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

附图说明

参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。附图中的部件只是为了示出本公开的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出了根据一个实施例的目标检测设备的结构的示意性框图；

图2是示出了根据该实施例的目标检测方法的示意性流程图；

图3是示出了根据另一实施例的目标检测设备的结构的示意性框图；

图4是示出了根据该实施例的目标检测方法的示意性流程图；

图5是示出了检测分类器进行目标检测的方法的一个具体示例的示意流程图；

图6是示出了验证分类器对检测分类器的检测结果进行验证的方法的一个具体示例的示意流程图；

图7是示出了对检测分类器进行在线训练和优化的方法的一个具体示例的示意性流程图；

图8是示出了在线生成或在线优化验证分类器的方法的一个具体示例的示意性流程图；

图9是示出了在线选择用于验证分类器的验证特征的一个具体示例的示意图；以及

图10是示出用于实现本公开的实施例/示例的计算机的结构的示例性框图。

具体实施方式

下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本公开的一些实施例提供了用于检测图像中的目标的设备和方法。在本公开中，所谓的“图像”可以表示一幅或一组静止图像，也可以表示一个图像序列，如视频图像。

图1示意性示出了根据一个实施例的目标检测设备的结构，而图2示意性示出了根据该实施例的目标检测方法的流程。

如图1所示，目标检测设备100可以包括检测分类器101、验证分类器103和在线学习装置105。目标检测设备100可以按照图2所示的方法来检测输入图像中的目标。下面参考图2来描述目标检测设备100的各个部件。

检测分类器101用于检测输入图像中的目标(步骤202)，并将检测结果输出到验证分类器103。在本文中，将检测分类器检测到的一个或更多个目标称为候选目标。检测分类器可以采用任何适当的方法来进行目标检测，例如，检测分类器可以采用下文将参考图5描述的具体方法示例。

验证分类器103用于对检测分类器101得到的检测结果进行验证(步骤204)。所述检测结果包括检测分类器检测到的一个或更多个候选目标，例如，每个候选目标在输入图像中的位置和尺寸。作为一个具体示例，所述检测结果还可以包括有关每个候选目标的其他信息，例如每个候选目标的检测概率(即检测分类器判断该候选目标为目标的概率)等。

具体地，在对检测分类器检测到的每个候选目标进行验证时，验证分类器103可以获取与每个候选目标对应的图像块中的一个或更多个特征(为了便于描述，称为“验证特征”)，并利用验证特征来进一步验证该候选目标为目标还是误检测。

如果某个候选目标被验证为目标，则可以将与该候选目标对应的图像块作为在线目标样本；如果某个候选目标被验证为误检测，则可以将与该候选目标对应的图像块作为在线误检样本。

验证分类器103将验证结果(包括有关每个候选目标是否为目标的验证信息以及每个候选目标的位置和尺寸等)输出到在线学习装置105。在线学习装置105利用验证分类器103得到的对每个候选目标的验证信息、将与每个候选目标对应的图像块作为在线训练样本(包括上述在线目标样本和在线误检样本)对检测分类器101进行训练(步骤206)，从而优化检测分类器。这样，在对后续图像的处理过程时，可以采用经过在线优化的检测分类器进行目标检测。

在图1或图2所示的设备或方法中，使用了检测分类器和验证分类器这两个分类器，由验证分类器对检测分类器的检测结果进行进一步的验证，从而能够进一步提高目标检测的准确率，减少误检和漏检。另外，在该实施例中，根据验证分类器的验证结果、利用在线训练样本(简称为在线样本)对检测分类器进行在线训练。这样能够优化检测分类器，使其更适应于实际的应用场景，从而进一步提高目标检测的准确率。

图3示意性示出了根据另一实施例的目标检测设备的结构，而图4示意性示出了根据该实施例的目标检测方法的流程。

如图3所示，与目标检测设备100相似，目标检测设备300也包括检测分类器301、验证分类器303和在线学习装置305；不同之处在于，目标检测设备300还包括输入装置307。

目标检测设备300可以按照图4所示的方法来检测输入图像中的目标。下面参考图4来描述目标检测设备300的各个部件。

与图1所示的实施例相似，检测分类器301用于检测输入图像中的目标，得到一个或更多个候选目标(步骤402)，并将检测结果输出到验证分类器403；验证分类器403用于对检测分类器301得到的检测结果进行验证，即利用与每个候选目标对应的图像块中的一个或更多个检测特征来判断每个候选目标为目标还是误检测(步骤404)，并输出验证结果。如果某个候选目标被验证为目标，则可以将与该候选目标对应的图像块作为在线目标样本；如果某个候选目标被验证为误检测，则可以将与该候选目标对应的图像块作为在线误检样本。

输入装置307用于接收经过标注的图像样本。例如，当输出的验证结果中包括漏检和误检时，用户可以对出现漏检和误检的图像进行手工标注，并通过输入装置307来输入经过标注的图像样本。

经过标注的图像样本可以与每个候选目标所对应的图像块(即上述在线目标样本和在线误检样本)一起作为在线样本。在线学习装置305利用这些在线样本对检测分类器301进行训练优化(步骤406)。

在图3或图4所示的设备或方法中，除了验证分类器得到的验证结果之外，还采用经标注的图像样本对检测分类器进行优化；与图1-2所示的实施例相比，能够提高对检测分类器的在线优化的效果，从而进一步提高目标检测的准确率，减少误检和漏检。

图5示意性示出了检测分类器(如检测分类器101或301)进行目标检测(如步骤202或402)的一个示例性流程。

如图5所示，在步骤502-1中，检测分类器设置检测窗口，将该检测窗口在输入图像帧中移动，从而得到位于输入图像的不同位置的多个图像块。

检测窗口的尺寸和位置可以根据实际应用场景来设置，这里不作详述。在对某帧图像进行目标检测时，检测窗口的尺寸可以保持不变，也可以发生变化。当检测窗口的尺寸发生变化时，得到的与检测窗口对应的图像块的尺寸也随之变化。作为一个具体示例，检测窗口的尺寸可以保持不变，而可以对输入图像的尺寸进行缩放，这样得到的图像块的尺寸是相同的。

在步骤502-2中，提取利用检测窗口得到的每个图像块中的一个或更多个特征(下文中称为检测特征)。可以根据实际应用场景(如目标的类型等)来选择任何适当的特征作为检测特征，如哈尔特征(Haar特征)或有向梯度直方图(Histogram of Oriented Gradient，HOG)特征等，这里不作详述。

然后，在步骤502-3中，检测分类器根据在每个图像块中提取的一个或更多个检测特征(也称为检测特征集)来判断该图像块是否存在目标。作为一个具体示例，检测分类器可以计算每个图像块中存在目标的概率，并判断该概率是否大于某个预定阈值，若是，则判断该图像块中存在目标，否则，则判断该图像块中没有目标。例如，假设检测窗口的个数为m(即得到m个图像块)，其中，第i个图像块中包括目标的概率为p_i(i＝0，1，...，m)，检测分类器可以将满足p_i＞T1的图像块为候选目标，并记录这些候选目标的位置和尺寸等。T1表示预定阈值。应理解，可以根据实际应用场景来选择该阈值，这里不作详述。

应理解，上文参考图5所描述的方法仅仅是示例性的，而非穷尽性的。检测分类器还可以采用任何其他适当的方法来检测输入图像中的目标，例如，检测分类器可以是基于Adaboost的分类器或基于支持矢量机(SVM)的分类器等，这里不一一列举。

图6示意性示出了验证分类器对检测分类器(如验证分类器103或303)的检测结果(一个或更多个候选目标)进行验证(如步骤204或404)的方法。

如图6所示，在步骤604-1中，验证分类器获取与每个候选目标对应的图像块的一个或更多个验证特征(也称为验证特征集)。

作为一个具体示例，验证特征集可以采用检测分类器进行目标检测所使用的检测特征集的子集，在这种情况下，检测分类器可以直接将检测特征集输出给验证分类器，或者检测分类器还可以将检测特征集存储在存储装置(图中未示出，该存储装置可以为内置于目标检测设备中的存储器，也可以是设置在目标检测设备外部并可由目标检测设备中的各个部件访问的存储器件)中，由检测分类器直接从中读取。

作为另一具体示例，验证分类器可以采用与检测分类器的检测特征不同的特征来进行目标验证，即验证特征集可以不同于检测特征集。例如，所述验证特征集可以是预先设置的一组特征。又如，所述验证特征集可以是目标检测设备(在线学习装置)在线选择的一组特征(如下文中将参考图8和图9描述的示例)。可以根据实际应用场景(如目标的类型等)来选择任何适当的特征(如Haar特征或HOG特征等)作为验证特征，这里不作详述。

在验证特征集不同于检测特征集的情况下，目标检测设备(验证分类器)可以在与每个候选目标对应的图像块中提取所述验证特征。

然后，在步骤604-2中，验证分类器根据一个或更多个验证特征来判断每个候选目标是否为误检。被判断为目标的候选目标可以称为验证目标。

在一个具体示例中，还可以对步骤604-2中得到的验证目标进行进一步的后处理。例如，被验证为目标的、位置和尺寸相近的多个图像块(验证目标)可能代表同一目标，因此，可以将位置和尺寸相近的、代表同一目标的多个图像块合并成一个目标，称为合并目标。

应理解，上文参考图6所描述的方法仅仅是示例性的，而非穷尽性的。验证分类器还可以采用任何其他适当的方法来验证候选目标，例如，验证分类器可以是基于Adaboost的分类器或基于SVM的分类器等，这里不一一列举。

图7示例性示出了在线学习装置(如在线学习装置105或305)对检测分类器(如检测分类器101或301)进行在线训练优化(如步骤206或406)的具体示例。

如图7所示，在步骤706-1中，在线学习装置评估检测分类器对在线样本的检测损失。在线样本可以包括经过验证分类器验证的、与每个候选目标对应的图像块(即在线目标样本和在线误检样本)。在图3或图4所示的情况下，在线样本还可以包括经过用户手工标注的图像样本。

作为一个具体示例，假设检测分类器对在线样本的检测损失表示为loss_on，则在线学习装置可以利用下式来评估该检测损失loss_on：

{loss}_{on} = \underset{i}{Σ} w_{i} \underset{n}{Π} {(y_{i} - h_{n} (x_{i}))}^{2}

式(1)

其中，n表示在线样本的个数；0≤i≤n；y_i表示在线样本的类型，即在线样本为目标还是背景，x_i表示在线样本的特征值；w_i表示在线样本的权重；h_n(·)表示在线样本通过检测分类器的输出值。

在步骤706-2中，在线学习装置计算检测分类器对在线样本的检测损失与检测分类器对离线样本的检测损失的和或加权和，作为总检测损失。这里所述的离线样本为离线获得的图像样本，例如可以是目标检测设备在处理在前图像帧时得到的验证目标和/或候选目标。这些离线样本可以保存于存储装置(图中未示出，该存储装置可以为内置于目标检测设备中的存储器，也可以是设置在目标检测设备外部并可由目标检测设备中的各个部件访问的存储器件)中。在线学习装置可以从该存储装置中读取离线样本。

作为一个具体示例，检测分类器对这些离线样本的检测损失也可以预先存储在该存储装置中。作为另一具体示例，在线学习装置可以利用下式来评估检测分类器对离线样本的检测损失loss_off：

{loss}_{off} = \underset{n}{Π} {loff}_{off, n} = \underset{n}{Π} \underset{i}{Σ} {(y_{i} - h_{n} (x_{i})}^{2}

\approx \underset{n}{Π} &Integral; [p_{n} (z | y) \times {(y - z)}^{2}]

式(2)

= \underset{n}{Π} [p_{n, 1} {(1 - a_{n})}^{2} + p_{n, 2} {(1 + a_{n})}^{2} + p_{n, 3} {(1 - b_{n})}^{2} + p_{n, 4} {(1 + b_{n})}^{2})

其中，

p_{n} (z | y) = \{\begin{matrix} p_{n, 1} & (y = 1, z = a_{n}) \\ p_{n, 2} & (y = - 1, z = a_{n}) \\ p_{n, 3} & (y = 1, z = b_{n}) \\ p_{n, 4} & (y = - 1, z = b_{n}) \end{matrix}

式(3)

上式中，分类器采用Gentle Adaboost方法训练得到的弱分类器，每个弱分类器都有两个可能的输出值，a_n和b_n分别表示第n个弱分类器的两个输出值；loff_off，n表示离线样本在检测分类器的第n个弱分类器的损失；p_n，1表示正样本通过第n个弱分类器的输出为a_n的概率，p_n，2表示背景样本通过第n个弱分类器的输出为a_n的概率，p_n，3是正样本通过第n个弱分类器的输出为b_n的概率，p_n，4是背景样本通过第n个弱分类器的输出为b_n的概率；y表示样本的类型，即用于表示样本为目标还是背景；z表示弱分类器的输出；p_n(z|y)表示样本通过第n个弱分类器得到各种输出的概率。

作为一个具体示例，在线学习装置可以利用下式来计算总检测损失loss：

loss＝(1-λ)×loss_off+λ×loss_on 式(4)

其中，λ表示加权系数，且0≤λ≤1。可以根据实际应用场景来确定λ的值，这里不作具体限定。

该步骤706-2为可选步骤。在另一示例中，可以省略该步骤，而将步骤706-1中得到的检测分类器对在线样本的检测损失值，作为总检测损失。

在步骤706-3中，在线学习装置通过最小化总检测损失来优化或更新检测分类器。

作为具体示例，对于检测分类器的任何改变(即对检测分类器的任何调整)Δ，可以采用下式来计算相应的对离线样本的检测损失的变化loss_off，Δ、相应的对在线样本的检测损失的变化为loss_on，Δ及总检测损失的变化为loss_Δ：

检测分类器的改变Δ

{loss}_{off, Δ} \approx \underset{n}{Π} \begin{matrix} [p_{n, 1} {(1 - a_{n} - {Δa}_{n})}^{2} + p_{n, 2} {(1 + a_{n} + {Δa}_{n})}^{2} \\ + p_{n, 3} {(1 - b_{n} - {Δb}_{n})}^{2} + p_{n, 4} {(1 + b_{n} + {Δb}_{n})}^{2}) \end{matrix}

{loss}_{on, Δ} = \underset{i}{Σ} w_{i} \underset{n}{Π} {(y_{i} - h_{n, Δ} (x_{i}))}^{2}

式(5)

loss_Δ＝(1-λ)×loss_off，Δ+λ×loss_on，Δ

通过使得总检测损失最小化，即可得到优化的检测分类器。

为一个示例，初始的检测分类器(如101或301)可以是通过离线训练而预先生成的。应理解，可以采用任何适当的方法来离线训练初始的检测分类器，这里不作详述。作为另一示例，初始的检测分类器可以是由目标检测设备(在线学习装置105或305)利用在线样本而在线生成或初始化的，然后，在目标检测过程中，该初始的检测分类器101或301可以被在线优化和更新(如采用上文所述的方法)，从而逐渐提高其检测性能。

作为一个具体实施例，目标检测设备中的在线学习装置(如105或305)还可以根据验证分类器得到的验证结果和检测分类器得到的检测结果、利用在线样本对验证分类器进行训练优化(如图4中所示的步骤410)。这里所述的在线样本可以包括验证分类器输出的在线目标样本(即被验证分类器验证为目标的候选目标所对应的图像块)和在线误检样本(即被验证分类器验证为误检的候选目标所对应的图像块)。在图3或图4所示的情况下，在线样本还可以包括通过输入装置接收的用户标注的图像样本。

作为一个示例，初始的验证分类器103或303可以是通过离线训练而预先生成的分类器。应理解，可以采用任何适当的方法来离线训练初始的验证分类器，这里不作详述。作为另一示例，初始的验证分类器103或303可以是由目标检测设备(在线学习装置105或305)利用在线样本而在线生成的。

例如，在线学习装置可以利用下文参考图8或图9描述的方法来生成或优化验证分类器。

图8示例性示出了在线学习装置(如在线学习装置105或305)在线训练优化或生成检测分类器如步骤410)的具体示例。

如图8所示，在步骤810-1中，在线学习装置根据检测分类器的检测结果和验证分类器的验证结果、利用在线样本来更新与每个验证特征对应的目标样本的统计分布模型和误检样本的统计分布模型。也就是说，对于每个验证特征，都建立目标样本的统计分布模型和误检样本的统计分布模型。所述统计分布模型可以为任何适当的数学统计分布模型，如高斯模型等，这里不一一列举。

作为一个具体示例，在线学习装置还可以利用在线样本和离线样本二者来更新与每个检测特征对应的目标样本的统计分布模型和误检样本的统计分布模型。这里所述的离线样本与上文描述的示例相似，在此不再重复。

在步骤810-2中，在线学习装置进行验证特征的在线挑选，即选择使验证分类器的验证错误率最小的一个或多个检测特征，并利用所选择的检测特征来生成或更新(优化)验证分类器。对于某个验证特征，目标样本的验证特征值和误检样本的验证特征值可以分别对应一个统计分布模型(如高斯模型)。每个验证特征对应的两个统计分布模型的重叠部分即表示与该验证特征对应的验证错误率。例如，在线学习装置可以采用贝叶斯原理(Bayes′Theorem)来选择使得验证分类器的错误率最小的检测特征。

作为一个具体示例，验证分类器可以为包括多个弱分类器的强分类器。每个弱分类器对应一个验证特征且包括与该验证特征对应的、分别表示不同的目标样本或误检样本的一个或更多个统计分布模型(所述统计分布模型可以为高斯模型或其他适当的数学统计模型)。在进行候选目标的验证时，验证分类器将每个弱分类器施加于与每个候选目标对应的图像块，以计算该候选目标属于该弱分类器的每个统计分布模型的概率，将最大概率值乘以该弱分类器的加权值(每个弱分类器的加权值可以根据实际的应用场景来选择，这里不作限定)，结果作为该弱分类器的输出。然后，验证分类器计算各弱分类器的输出的和，当该和超过一预定阈值(可以根据实际应用场景来确定该阈值，这里不作限定)时，则认为该候选目标为真实目标；否则，则认为该候选目标为误检测。

图9示出了在线选择用于包括多个弱分类器的验证分类器的验证特征的一个具体示例。

如图9所示，验证分类器903可以包括n(n＞1)个弱分类器903-1，...903-i，...，903-n(1≤i≤n)。附图标记908表示在线优化或生成验证分类器的过程中用于选择验证特征(步骤810-2)的在线选择装置。在线选择装置908可以是在线学习装置105或305的部件。

在本示例中，假设每个弱分类器采用高斯模型作为样本的统计分布模型。每个弱分类器对应一个验证特征，包括与该验证特征对应的多个高斯模型，这些高斯模型分别代表不同的目标样本和误检样本。在在线特征选择过程中，对于每个训练样本(在线样本或离线样本)，在线学习装置利用验证分类器来计算其验证特征值，并根据该验证特征值来计算该训练样本在每个高斯模型上的出现概率。假设某个弱分类器有C个高斯模型ω₁，ω₂，…，ω_C；且各高斯模型的中心点(均值)分别为μ₁，μ₂，…，μ_C，方差分别为∑₁，∑₂，…，∑_C。假设每一类(对应一个高斯模型)在所有的类中所占的比例为P(ω₁)，P(ω₂)，…，P(ω_C)，其中，则特征值为x的样本属于第i个高斯模型的概率为：

p_{i} (x) = \frac{P (ω_{i})}{\sqrt{{2 πΣ}_{i}}} \exp (- \frac{1}{2} {(x - μ_{i})}^{2})

式(6)

假设该样本属于第i个高斯模型的概率p_i(x)最大，即该样本对应第i个高斯模型，则将p_i(x)乘以该弱分类器的权重，得到的结果即该弱分类器对该样本的输出。

在得到验证分类器对样本的验证结果后，在线学习装置可以采用贝叶斯原理(Bayes′Theorem)来选择使得验证分类器的错误率最小的检测特征。然后，对于每个选择的验证特征，在线学习装置可以用卡尔曼滤波(kalman filtering)(或其他适当的方法，如取前若干个样本的该特征的均值，这里不一一列举)来生成或更新对应的高斯模型的均值和方差，从而生成或优化验证分类器。在线学习装置(在线选择装置908)可以从特征库909中选择每个弱分类器对应的验证特征。该特征库909可以为预先确定的特征集，并可以保存在存储装置(图中未示出)中，该存储装置可以为内置于目标检测设备中的存储器，也可以是设置在目标检测设备外部并可由目标检测设备中的各个部件访问的存储器件。

在实际应用中，目标检测设备可以多次执行对检测分类器和/或验证分类器的在线优化，从而使检测分类器和/或验证分类器在目标检测过程中得到不断的优化和更新。作为一个具体示例，目标检测设备在启动后可以持续地进行检测分类器和/或验证分类器的在线优化和更新(即在线学习装置一直处于工作状态)。作为另一具体示例，目标检测设备可以在启动后的一段时间内执行对检测分类器和/或验证分类器的在线优化和更新，直到检测分类器和/或验证分类器的性能满足实际应用的需要(即在线学习装置可以在启动后的某个时间段内处于工作状态)。作为又一具体示例，目标检测设备还可以预定的时间间隔周期性地进行检测分类器和/或验证分类器的优化和更新(即在线学习装置周期性地处于工作状态)。

作为一个示例，在验证分类器得到对每帧图像的验证结果后，在线学习装置即可以利用该验证结果在线优化检测分类器；作为另一示例，在线学习装置可以在验证分类器得到对多帧图像的验证结果后，利用通过多帧图像得到的在线样本来在线优化检测分类器。

本公开的实施例/示例可以应用于对各种类型的图像的目标检测处理。例如，所述图像可以是可见光图像，也可以是非可见光图像(如雷达图像)，还可以是多光谱图像的组合。另外，所述图像还可以包括单个图像，也可以包括图像序列，如视频图像。所述图像可以采用任何使得的尺寸和格式，本公开对此不作限制。

本公开的实施例中，所述目标可以为任何类型的目标。本公开的实施例可以应用于单类目标的检测，也可以应用于多类目标的检测。

另外，在本公开的实施例中，目标或候选目标可以用矩形区域表示，在这种情况下，目标的尺寸可以用其面积来表示，或者还可以用其宽度、高度、宽高比中的一个或更多个来表示。在同类目标的宽高比固定的情况下，目标的尺寸可以用该矩形区域的宽度或者高度之一来表示。目标或候选目标还可以用圆形区域来表示，在这种情况下，目标的尺寸可以用其面积或者其半径或直径等来表示。当然，目标还可以用其他形状的区域来表示，这里不一一列举。

根据本公开实施例的上述目标检测方法、设备可以应用于视频监控、人工智能、计算机视觉等各种应用场景。可以将根据本公开的目标检测设备或方法配置于用于(实时或非实时的)目标检测的各种电子设备中。当然，根据本公开的目标检测设备或方法还可以应用于其他具有图像处理功能的电子设备，如电脑、照相机、摄像机等等，这里不一一列举。

应理解，上述实施例和示例是示例性的，而不是穷举性的，本公开不应被视为局限于任何具体的实施例或示例。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合。作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图10所示的通用计算机1000)安装构成用于实施上述方法的软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图10中，中央处理单元(CPU)1001根据只读存储器(ROM)1002中存储的程序或从存储部分1008加载到随机存取存储器(RAM)1003的程序执行各种处理。在RAM 1003中，也根据需要存储当CPU 1001执行各种处理等等时所需的数据。CPU 1001、ROM 1002和RAM 1003经由总线1004彼此链路。输入/输出接口1005也链路到总线1004。

下述部件链路到输入/输出接口1005：输入部分1006(包括键盘、鼠标等等)、输出部分1007(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1008(包括硬盘等)、通信部分1009(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1009经由网络比如因特网执行通信处理。根据需要，驱动器1010也可链路到输入/输出接口1005。可拆卸介质1011比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1010上，使得从中读出的计算机程序根据需要被安装到存储部分1008中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1011安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本公开还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本公开的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本公开的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims

1.一种目标检测设备，包括：

检测分类器，用于对输入图像进行目标检测，以得到一个或更多个候选目标；

验证分类器，用于利用与每个候选目标对应的图像块中的验证特征对每个候选目标进行验证；以及

在线学习装置，用于利用所述验证分类器得到的对每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。

2.根据权利要求1所述的目标检测设备，还包括：

输入装置，用于接收经标注的图像样本，并且

其中，所述在线学习装置被配置用于利用所述验证分类器得到的验证结果、将与每个候选目标对应的图像块和所述经标注的图像样本二者作为在线样本对所述检测分类器进行训练优化。

3.根据权利要求1或2所述的目标检测设备，其中，所述在线学习装置还被配置用于：根据所述验证分类器得到的验证结果和所述检测分类器得到的检测结果、利用所述在线样本对所述验证分类器进行训练优化。

4.根据权利要求3所述的目标检测设备，其中，所述在线学习装置被配置用于通过以下对所述验证分类器进行训练优化：

根据所述检测分类器的检测结果和所述验证分类器的验证结果、利用在线样本来更新与每个验证特征对应的目标样本的统计分布模型和误检样本的统计分布模型；

选择使得验证分类器的验证错误率最小的一个或多个检测特征，以更新所述验证分类器。

5.根据权利要求4所述的目标检测设备，其中，所述在线学习装置被进一步配置用于利用在线样本和离线样本二者来更新与每个检测特征对应的目标样本的统计分布模型和误检样本的统计分布模型。

6.根据权利要求1或2所述的目标检测设备，其中，所述在线学习装置被配置用于通过以下对所述检测分类器进行训练优化：

根据所述检测分类器的检测结果和所述验证分类器的验证结果来评估所述检测分类器对所述在线样本的检测损失；以及

通过最小化所述检测损失来优化所述检测分类器。

7.根据权利要求6所述的目标检测设备，其中，所述在线学习装置还被配置用于：计算所述检测分类器对离线样本的检测损失与对所述在线样本的检测损失的和或加权和，作为所述检测分类器的总检测损失，并且

其中，所述在线学习装置通过最小化所述总检测损失来优化所述检测分类器。

8.根据权利要求1或2所述的目标检测设备，其中，所述在线学习装置还被配置用于利用在线样本来训练生成所述检测分类器。

9.根据权利要求1或2所述的目标检测设备，其中，所述在线学习装置还被配置用于利用在线样本来训练生成所述验证分类器。

10.根据权利要求1或2所述的目标检测设备，其中，所述验证分类器包括多个弱分类器，每个弱分类器对应一个验证特征且包括与该验证特征对应的、分别表示不同的目标样本或误检样本的一个或更多个统计分布模型。

11.一种目标检测方法，包括：

通过检测分类器对输入图像进行目标检测，以得到一个或更多个候选目标；

通过验证分类器利用与每个候选目标对应的图像块中的验证特征，对每个候选目标进行验证；以及

利用每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。

12.根据权利要求11所述的目标检测方法，还包括：接收经标注的图像样本，并且

其中，对所述检测分类器进行训练优化包括：利用对每个候选目标的验证结果、将与每个候选目标对应的图像块和所述经标注的图像样本二者作为在线样本对所述检测分类器进行训练优化。

13.根据权利要求11或12所述的目标检测方法，还包括：

根据所述验证分类器得到的验证结果和所述检测分类器得到的检测结果、利用所述在线样本对所述验证分类器进行训练优化。

14.根据权利要求13所述的目标检测方法，其中，对所述验证分类器进行训练优化包括：

15.根据权利要求14所述的目标检测方法，其中，更新与每个检测特征对应的目标样本的统计分布模型和误检样本的统计分布模型包括：

利用在线样本和离线样本二者来更新与每个检测特征对应的目标样本的统计分布模型和误检样本的统计分布模型。

16.根据权利要求11或12所述的目标检测方法，其中，对所述检测分类器进行训练优化包括：

通过最小化所述检测损失来优化所述检测分类器。

17.根据权利要求16所述的目标检测方法，其中，对所述检测分类器进行训练优化还包括：计算所述检测分类器对离线样本的检测损失与对所述在线样本的检测损失的和或加权和，作为所述检测分类器的总检测损失，并且

其中，通过最小化所述检测损失来优化所述检测分类器包括：通过最小化所述总检测损失来优化所述检测分类器。

18.根据权利要求11或12所述的目标检测方法，还包括：利用在线样本来训练生成所述检测分类器。

19.根据权利要求11或12所述的目标检测方法，还包括：利用在线样本来训练生成所述验证分类器。