CN105989339B - 用于检测目标的方法和装置 - Google Patents

Abstract

本发明涉及用于检测目标的方法和装置。该方法包括：由多个部件检测器使用第一条件检测多个目标部件，以获得所述多个目标部件的位置；生成至少一个部件组，每个部件组包括所述多个目标部件中的至少一个目标部件，所述至少一个目标部件具有预定关系；由相应的分类器使用第二条件对每个部件组进行分类，以作为结果确定该部件组是否属于目标；以及基于分类的结果，获取所述目标的位置。

Description

用于检测目标的方法和装置

技术领域

本发明涉及图像处理。具体而言，本发明涉及用于检测目标的方法和装置

背景技术

近年来，在各种应用中存在对于目标检测的需求增长。比如Latent SVM的一些基于部件的检测方法对于人体检测而言获得了最前沿的准确性，因为这些方法能够处理较大的变形。然而，当人体被部分遮挡时，意味着不能检测到一个或多个人体部件，这些方法的准确性将大幅降低。此缺点限制了这些方法的应用领域。例如，在大多数监控场景中，人被遮挡是十分常见的。

例如，美国专利申请公开US2008/123968A1公开了一种使用全身检测器、多个部件检测器和组合检测器的目标检测方法。组合检测器被配置为组合所有全身检测响应和所有部件检测响应，以生成对于人的组合的检测响应。

此方法的价值在于根据多个目标的遮挡图，利用多个目标的联合似然概率来去除误报。遮挡图是通过比较目标的假设的y坐标，根据目标的相对深度来构建的。利用遮挡图，通过计算目标部件的可见区域和整体区域的比例，目标部件被分类为可见的或被遮挡的。匹配部件检测响应和可见部件假设，并且利用匹配结果，计算假设成立和不成立的联合似然概率。最后，保存“成立”的似然概率大于“不成立”的似然概率的那些假设。

该方法的主要问题在于：检测准确性很大程度依赖于估计的遮挡图，因为该方法使用遮挡图来找到最佳部件配置。遗憾的是，估计遮挡图本身不是一项轻松的任务，而是容易出错。当由于假设目标之间的空间关系误差而错误地估计遮挡图时，将发生错误检测。

发明内容

因此，需要一种用于目标检测的方式，其可以解决现有技术中的上述问题。

为了实现此目标，本发明提供给了一种用于检测目标的方法。该方法包括：由多个部件检测器使用第一条件检测多个目标部件，以获得所述多个目标部件的位置；生成至少一个部件组，每个部件组包括所述多个目标部件中的至少一个目标部件，至少一个目标部件具有预定关系；由相应的分类器使用第二条件对每个部件组进行分类，以作为结果确定该部件组是否属于目标；以及基于分类的结果，获取所述目标的位置。

另外，本发明提供了一种用于检测目标的装置。该装置包括：多个部件检测器，被配置为使用第一条件检测多个目标部件，以获得所述多个目标部件的位置；生成器，被配置为生成至少一个部件组，每个部件组包括所述多个目标部件中的至少一个目标部件，所述至少一个目标部件具有预定关系；至少一个分类器，每个分类器被配置为使用第二条件对相应的部件组进行分类，以作为结果确定该部件组是否属于目标；以及获取单元，被配置为基于分类器的结果，获取所述目标的位置。

不同于现有技术中的方法，本发明不估计遮挡图。而是，多个基于外观的分类器被用于直接决定最佳部件配置。

根据本发明的解决方案可以应用于大多数类型的目标，包括动物、脸、人、比如车的非生物，等等。该解决方案集成了现有技术中的对于完全可见的人体的高检测准确性的优点，同时实现了即使当目标被部分遮挡时也获得合理的检测准确性。

本发明的其他特征和优点将从以下参考附图的描述中变得清晰。

附图说明

并入说明书并且构成说明书的一部分的附图图示了本发明的实施例，并且与描述一起用于说明本发明的原理。

图1是根据本发明的一个实施例的用于检测目标的方法的示例性流程图。

图2示出根据本发明的一个实施例的目标部件的三个示例性类型。

图3示出根据本发明的一个实施例的示例性生成的部件组。

图4示出根据本发明的一个实施例的部件组的示例性分类。

图5示出对于单个目标获取多个检测位置的实例。

图6示出根据本发明的一个实施例说明用于检测目标的方法的技术效果的实例。

图7是示出根据本发明的用于检测目标的装置的示例性功能框图。

图8是示出能够执行本发明的实施例的计算机系统的硬件配置的示意性功能框图。

具体实施方式

以下将参照附图详细描述本发明的实施例。

请注意，类似的参考数字和字母指的是图中的类似的项目，因而一旦在一幅图中定义了一个项目，就不需要在之后的图中讨论了。

图1是示出根据本发明的一个实施例的用于检测目标的方法100的示例性流程图。

在以下的描述中，将人体作为要被检测的目标的实例来说明本发明的原理。本领域技术人员将容易理解，本发明能够应用于各种类型的目标，并不限于人体检测。

如图1中所示，方法100开始于步骤110。在步骤110，由多个部件检测器使用第一条件可以检测多个目标部件，以获得所述多个目标部件的位置。

对于人体而言，可以存在三种类型的部件，例如：头肩、躯干、腿部。图2示出了目标部件的三个示例性类型。在该情况下，可以使用对应于该三个类型的部件的三个部件检测器来检测人体部件。每个部件检测器负责检测人体的特定部件。例如，头肩检测器检测人体的头肩，躯干检测器检测躯干，并且腿部检测器检测腿部。部件和部件检测器不限于所列出的三种类型，对目标的其它划分方式也是可用的。

在本领域中存在多种方式来构建部件检测器。例如，每个部件检测器可以通过使用Real AdaBoost算法来构建，并且每个部件检测器包括由相应的特征生成的多个弱分类器。在一个实施例中，HOG(方向梯度直方图)特征被用于构建部件检测器。可以组合弱分类器的值以确定最终结果，即该目标是否属于“真”。可以通过Real AdaBoost算法组合弱分类器来形成强分类器。

每个部件检测器可以具有“宽松阈值”作为第一条件，以用于试图尽可能多地检测出人体的所有可见部件，即使可能存在许多错误检测。

为了找到图像中的目标部件，例如，可以通过对应的部件检测器在图像中进行“穷尽搜索”。可以通过在图像中可能位置和尺度的穷尽的范围内进行扫描来找到目标部件。例如，可以分别由部件检测器通过使用具有不同尺度的滑动窗搜索方法来检测目标部件。在滑动窗搜索方法中，对应的部件检测器检测目标部件的一般过程可以包括两个步骤。

步骤1：利用扫描窗口扫描输入图像；以及

步骤2：确定所述扫描窗口中的局部图像是否是目标部件。

在步骤1中，通过预定尺寸的扫描窗口扫描输入图像。输入图像可以是静止图像或视频中的帧。然后，扫描窗口可以从例如输入图像上的原点开始以预定的步长宽度移动。为了检测具有各种尺寸的目标，可存在两种方式：

1)将输入图像调整尺寸到不同的尺度，并且由固定尺寸的窗口扫描它；或者

2)在每轮扫描中，通过具有不同尺寸的扫描窗口扫描输入图像。

在步骤2中，通过使用经过学习的部件检测器确定扫描窗口中的局部图像是否是目标部件。当检测到目标部件时，可以存储指示目标部件的位置的数据。

步骤1和2将重复，直到输入图像的最后部分被处理完。一般而言，针对单个目标部件可以获取多个检测位置。

最后，在步骤110结束时，利用以上描述的检测方法，通过使用对应的部件检测器检测出三种类型的目标部件。流程进入到步骤120。

在步骤120，生成至少一个部件组。每个部件组包含具有预定关系的至少一个目标部件。

例如，基于每个检测到的头肩部件，可以生成三种类型的部件组：

(1)头肩：此部件组仅包括一个目标部件：头肩。假定仅头肩部件可见。

(2)上半身：此部件组包括两个目标部件：头肩和躯干。假定腿部可能不可见。

(3)全身：此部件组包括三个目标部件：头肩、躯干和腿部。假定所有部件可能是可见的。

图3示出了根据本发明的一个实施例的示例性生成的部件组。

在一个实施例中，所有部件组包含同一部件目标。例如，在图3中，所有三个部件组包含头肩部件。然而，本领域技术人员将理解，不一定非要是这种情况。

图3示出了基于头肩目标部件生成部件组的情形。在其它实施例中，也可以基于其它检测出的目标部件生成部件组，例如，腿部部件。然后所生成部件组可能是腿部、下半身和全身。即，在此情形下，所有部件组将包含腿部部件。

根据此实施例，每个部件组可以包括一个或多个目标部件，并且每个目标部件被包含在一个或多个部件组中。例如，如图3中所示，头肩部件组仅包含一个目标部件，即头肩本身。上半身部件组包含两个目标部件，并且全身部件组包含三个目标部件。同时，头肩目标部件包含在所有三个部件组中。躯干目标部件包含在上半身部件组和全身部件组中。腿部目标部件仅包含在一个部件组中，即，全身部件组。

根据一个实施例，包含在一个部件组中的目标部件彼此之间可以具有预定的关系，比如几何关系。目标部件之间的几何关系可以根据关于训练数据中目标部件的分布的统计获得。该几何关系可以包括位置关系和/或尺寸关系。

位置关系可以指目标部件的中心坐标(x坐标和/或y坐标)之间的差。尺寸关系可以指目标部件的尺寸比，比如宽度的比、高度的比。

例如，头肩目标部件可以与是头肩1-3倍高的附近的躯干目标部件组合。

每个头肩部件与不同的检测到的躯干和不同的检测到的腿部组合可能产生相同类型的若干可能的部件组，如果这些部件满足预定的约束的话。

当已经生成了部件组时，流程进入步骤130。

在步骤130，由相应的分类器使用第二条件对每个部件组进行分类，以作为结果确定该部件组是否属于目标。

图4示出根据本发明的一个实施例的部件组的示例性分类。

如图4中所示，由头肩分类器对头肩部件组进行分类并且获得指示该头肩部件组是否属于人体的分类结果。由上半身分类器对上半身部件组进行分类并且获得指示该上半身部件组是否属于人体的分类结果。由全身分类器对全身部件组进行分类并且获得指示该全身部件组是否属于人体的分类结果。

在步骤130，分类器的结构可以与在步骤110中使用的部件检测器相同，但是分类器所使用的第二条件比部件检测器所使用的第一条件严格。例如，每个分类器可以具有“严格阈值”以用于拒绝由部件检测器所认可的更多“虚警”。

例如通过在现有技术中已知的提升算法(boosting algorithm)，可以通过在至少一个训练样本中执行部件索引特征选择来学习每个分类器。每个训练样本可以通过组合来自一个目标中的至少一个目标部件得到。

用于学习头肩分类器的训练样本仅包括一类部件样本：头肩。用于学习上半身分类器的训练样本由两类部件样本组合得到：头肩和躯干。用于学习全身分类器的训练样本由三类部件样本组合得到：头肩、躯干和腿部。可以从比如一个人体的同一目标剪切出用于学习一类分类器的一个训练样本的部件样本。优选地，部件样本具有相同尺寸但是不同的比例。

例如对于训练全身分类器来说，将存储至少两个样本作为训练样本。一个是比如人体的目标的，另一个是比如鸟的非目标的。一般而言，为了获得更高的准确性，训练样本应该包括成百上千的肯定/否定样本。否定样本和肯定样本可以具有相同尺寸。在一个实施例中，可以通过组合同一否定图像的三种类型的图像块来生成否定样本，每种类型的图像块都分别被相应的部件检测器认可，且这三种图像块的尺寸和位置满足预定的几何关系。

于是，可以生成部件索引特征池以用于提供大量的候选特征以供学习算法用来从中进行选择。

当完成分类器的学习时，分类器就可以用于对部件组进行分类了。对部件组进行分类的过程可以包括获得部件组的窗口以及由分类器确定窗口中的局部图像是否是目标。获得部件组的窗口的过程可以包括以下步骤。

1)分别根据至少一个目标部件的位置剪切该至少一个目标部件；

2)分别将该至少一个目标部件调整尺寸到与至少一个训练样本相同的尺寸；以及

3)将调整尺寸后的目标部件组合到窗口中。

当确定窗口中的局部图像是否是目标时，分类器采用该局部图像作为输入，根据通过以上方法学习的函数计算一个值，并且比较计算的值与阈值，比如零。如果计算的值大于该阈值，则确定该窗口中的局部图像是目标。否则，确定该窗口中的局部图像不是目标。

在步骤130结束时，获得了指示部分组是否属于目标的分类结果。然后流程进入步骤140。

在步骤140，组合分类结果以得到目标的位置。

在此步骤中，给定由分类器生成的分类结果，可以通过使用简单的“或”操作来组合这些分类结果。即，在这些分类结果中，如果一个或多个部件组被确定为属于目标，则可以确定检测到目标。如果一个或多个部件组被分类为“真”，则可以选择具有最高分类分数的部件组。然后可以输出该一个或多个部件组的一个或多个位置，因为在步骤110中已经获得了目标部件的位置。

在步骤140之后，可以确定是否存在目标，并且用于目标检测的方法100可以结束。

可选地，可以有后处理步骤150。在步骤150中，当针对一个目标检测出多个位置时，该多个位置将被合并为一个位置。步骤150的目的在于，针对单个目标确定单个检测位置并且输出最终位置。在针对单个目标获取了多个检测位置的情况下，这些位置一般彼此靠近，并且因此可以容易地被合并为一个。

图5示出对于单个目标获取多个检测位置的实例。

如图5中所示，r1和r2是对于单个目标的两个检测位置的区域。可以如下执行两个检测位置是否属于同一目标的判断。

首先，可以作为经验值设置阈值TH，例如0.3×Width_r1。Width_r1是r1的宽度。

如果两个区域r1和r2满足如下的所有三个条件，则该两个区域属于同一部件组：

条件1：r1和r2之间的空余小于TH。

条件2：a×Width_r1≥Width_r2，其中Width_r2是r2的宽度，a是比如1.3的经验值。

条件3：Width_r1≤b×Width_r2，其中b是比如1.3的经验值，可以等于也可以不等于a。

图6示出根据本发明的一个实施例说明用于检测目标的方法的技术效果的实例。

如图6中所示，人的腿部被遮挡并且将不被部件检测器检测出。甚至，假设该人的头肩由于某种原因，比如十分严格阈值或不太清楚的脸部，而被头肩检测器拒绝作为目标。在此更坏的情形下，该人仍将通过使用本发明的方法而被检测出，因为他的上半身被上半身分类器分类为真实目标，并且根据在组合步骤中使用的规则，一个正确的分类结果将足以使得该目标被检测出。

图7是示出根据本发明的用于检测目标的装置700的示例性功能框图。

用于检测目标的装置700包括多个部件检测器、生成器、至少一个分类器和组合器。

该多个部件检测器可以使用第一条件检测多个目标部件，以获得该多个目标部件的位置。

该生成器可以生成至少一个部件组。每个部件组包括该多个目标部件中的至少一个目标部件。该至少一个目标部件具有预定关系。

每个分类器可以使用第二条件对相应的部件组进行分类，以作为结果确定该部件组是否属于目标。

组合器可以组合每个结果以得到目标的位置。

优选地，多个检测器可以利用扫描窗口扫描输入图像，并且确定所述扫描窗口中的局部图像是否是目标部件。

优选地，第二条件比第一条件严格。

优选地，每个部件组可以包括一个或多个目标部件，并且每个目标部件可以被包含在一个或多个部件组中。

优选地，该预定关系是几何关系。

优选地，生成器可以进一步生成两个或多个部件组。每个部件组包括同一目标部件。

优选地，该几何关系可以包括位置关系和/或尺寸关系。

优选地，可以通过在至少一个训练样本中执行部件索引特征选择来学习所述分类器。每个训练样本可以由来自一个目标的至少一个目标部件组合而成。

优选地，该至少一个分类器可以进一步获得部件组的窗口，并且确定窗口中的局部图像是否是目标。

优选地，获得部件组的窗口可以进一步包括分别根据所述至少一个目标部件的位置剪切该至少一个目标部件，分别将该至少一个目标部件调整尺寸到与该至少一个训练样本相同的尺寸；以及将调整尺寸后的目标部件组合到窗口中。

优选地，如果一个或多个部件组被确定为属于目标，则组合器可以确定检测到目标。

优选地，组合器可以进一步输出该一个或多个部件组的一个或多个位置。

优选地，该装置进一步包括后处理器。当针对一个目标检测到多个位置时，该后处理器将该多个位置合并为一个位置。

图8是示出能够执行本发明的实施例的计算机系统1000的硬件配置的示意性功能框图。

如图8中所示，计算机系统包括计算机1110。计算机1100包括经由系统总线1121连接的处理单元1120、系统存储器1130、固定非易失性存储器接口1140、可移动非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190和输出外围接口1195。

系统存储器1130包括ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出系统)1133驻留在ROM 1131中。操作系统1134、应用程序1135、其它程序模块1136和某些程序数据1137驻留在RAM 1132中。

诸如硬盘之类的固定非易失性存储器1141连接到固定非易失性存储器接口1140。固定非易失性存储器1141例如可以存储操作系统1144、应用程序1145、其它程序模块1146和某些程序数据1147。

诸如软驱1151和CD-ROM驱动器1155之类的一个或多个可移动非易失性存储器驱动器连接到可移动非易失性存储器接口1150。例如，软盘1152可以被插入到软驱1151中，以及CD(压缩盘)1156可以被插入到CD-ROM驱动器1155中。

诸如麦克风1161和键盘1162之类的输入设备被连接到用户输入接口1160。

计算机1110可以通过网络接口1170连接到远程计算机1180。例如，网络接口1170可以经由局域网1171连接到远程计算机1180。或者，网络接口1170可以连接到调制解调器(调制器－解调器)1172，以及调制解调器1172经由广域网1173连接到远程计算机1180。

远程计算机1180可以包括诸如硬盘之类的存储器1181，其存储远程应用程序1185。

视频接口1190连接到监视器1191。

输出外围接口1195连接到打印机1196和扬声器1197。

图8所示的计算机系统仅仅是说明性的并且决不意图对本发明、其应用或用途进行任何限制。

图8所示的计算机系统可以被实施于任何实施例，可作为独立计算机，或者也可作为设备中的处理系统，可以移除一个或更多个不必要的组件，也可以向其添加一个或更多个附加的组件。

可以通过许多方式来实施本发明的方法、装置。例如，可以通过软件、硬件、固件、或其任何组合来实施本发明的方法和装置。上述的方法步骤的次序仅是说明性的，本发明的方法步骤不限于以上具体描述的次序，除非以其他方式明确说明。此外，在一些实施例中，本发明还可以被实施为记录在记录介质中的程序，其包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。

虽然已通过示例详细展示了本发明的一些具体实施例，但是本领域技术人员应当理解，上述示例仅意图是说明性的而不限制本发明的范围。本领域技术人员应该理解，上述实施例可以被修改而不脱离本发明的范围和实质。本发明的范围是通过所附的权利要求限定的。

Claims (12)

1.一种用于检测目标的方法，包括：

由多个部件检测器使用第一条件检测三个目标部件，以获得所述三个目标部件的位置；

生成这样的三个部件组：仅包括第一个目标部件的部件组、包括第一个目标部件和第二个目标部件的部件组和包括第一个目标部件、第二个目标部件和第三个目标部件的部件组，所述目标部件具有预定关系；

由相应的分类器使用第二条件对每个部件组进行分类，以作为结果确定该部件组是否属于目标；以及

如果所述三个部件组中的一个或多个部件组被确定为属于目标，则确定检测到目标，并基于分类的结果，获取所述目标的位置。

2.根据权利要求1所述的方法，其中，在所述获取步骤中，通过组合每个分类的结果来获取所述目标的位置。

3.根据权利要求1所述的方法，其中，所述检测进一步包括：

利用扫描窗口扫描输入图像；以及

确定所述扫描窗口中的局部图像是否是目标部件。

4.根据权利要求1所述的方法，其中：

所述第二条件比第一条件严格。

5.根据权利要求1所述的方法，其中：

所述预定关系是几何关系。

6.根据权利要求5所述的方法，其中：

所述几何关系包括位置关系和/或尺寸关系。

7.根据权利要求1所述的方法，其中：

通过在至少一个训练样本中执行部件索引特征选择来学习所述分类器，每个训练样本是由来自一个目标的至少一个目标部件组合而成的。

8.根据权利要求7所述的方法，其中，所述分类进一步包括：

获得部件组的窗口；

由所述分类器确定所述窗口中的局部图像是否是目标。

9.根据权利要求8所述的方法，其中，所述获得进一步包括：

分别根据至少一个目标部件的位置剪切所述至少一个目标部件；

分别将所述至少一个目标部件调整尺寸到与所述至少一个训练样本相同的尺寸；以及

将调整尺寸后的目标部件组合到窗口中。

10.根据权利要求1所述的方法，其中，所述获取进一步包括：

输出所述三个部件组的位置。

11.根据权利要求1所述的方法，进一步包括：

当针对一个目标检测到多个位置时，将所述多个位置合并为一个位置。

12.一种用于检测目标的装置，包括：

多个部件检测器，被配置为使用第一条件检测三个目标部件，以获得所述三个目标部件的位置；

生成器，被配置为生成这样的三个部件组：仅包括第一个目标部件的部件组、包括第一个目标部件和第二个目标部件的部件组和包括第一个目标部件、第二个目标部件和第三个目标部件的部件组，所述目标部件具有预定关系；

至少一个分类器，每个分类器被配置为使用第二条件对相应的部件组进行分类，以作为结果确定该部件组是否属于目标；以及

获取单元，被配置为如果所述三个部件组中的一个或多个部件组被确定为属于目标，则确定检测到目标，并基于分类器的结果，获取所述目标的位置。

Images