CN102136139B - 目标姿态分析装置及其目标姿态分析方法 - Google Patents

Abstract

提供了一种目标姿态分析装置，包括：特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别；特征测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；显著特征选择器，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合；显著特征检测器，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果；姿态推算模块，根据显著特征检测结果执行姿态估计。

Description

目标姿态分析装置及其目标姿态分析方法

技术领域

本发明涉及姿态估计技术，更具体地，涉及一种目标姿态分析装置及其目标姿态分析方法。

背景技术

在计算机视觉领域中，目标姿态分析技术是一个重要的研究课题。目标姿态分析广泛应用于人机交互、电视购物、真人姿态动画和TOF(timeofflight)深度相机相关的应用。传统的目标分析方法集中于利用CCD相机的色彩图像。在标题为“目标识别的图形结构(PictorialStructureforObjectRecognition),P.Felzenszwalb”的发明专利中，为了提取目标的姿态，目标被模型化为不同部件的可变形的配置结构，通过“类弹性部件”连接而互相关联。目标姿态分析方法是用于在各个部件的可能的位置、大小、方向的巨大配置空间中进行搜索的过程。但是，即使对于一幅静态图像来说，该方法也非常耗时。为了减少搜索空间，从目标提取特定特征来定位某些目标部件，例如，皮肤颜色特征可帮助用于定位裸露的人的手臂、腿和面部。在公开号为WO2006052853的专利申请中提到了利用皮肤颜色特征定位的方法。减少搜索空间的另一种方法是使用姿态初始化的模型和姿态追踪。公开号US20080112592A1和WO2008079541A2的发明申请中，使用简单的姿态(例如，T形姿态)用于检测目标部件的简易检测作为目标姿态的初始化，随后使用姿态参数的追踪来估计目标的姿态。这要求被检测者按照该方法在线协同工作，还要求被检测者在姿态追踪失败时做出简单的姿态。为了避免巨大的运算量，还采取了基于示例的姿态识别，模拟从姿态估计的发起到姿态识别，提供了有限数量的姿态用于复杂的姿态空间。用于目标姿态估计的新方法还使用深度摄像机，串接深度图用于前景段，然后基于深度图子串的部件分析提取骨架。该方法可以用于简单的目标姿态估计，例如，可用于没有闭合的扩展的目标部件，并使用简单的拓扑图来定位骨架的外在部件。以上的方法均设计用于串行处理。

总的说来，传统的姿态估计技术在实践中遇到以下两个挑战。一个是在搜索姿态参数期间花费的计算量或时间巨大。对于具有实时要求的应用来说，如果不进行空间压缩则不可能完成搜索。具有皮肤颜色特征的目标部件的位置也不适当。第二个问题是，在串行处理框架下，过于依赖单个特征。在上述的目标姿态分析方法中，通常都只利用一种特征(例如，皮肤颜色特征)来识别目标姿态，一旦此特征的识别失败，则系统就不能正常工作。这样的串行框架不能适应于新的应用的要求。

发明内容

在本发明中，提供了一种用于高效率地分析目标姿态的方法和装置。根据本发明实施例的目标姿态估计设备可接收深度视频作为输入，并计算目标姿态作为输出。在目标姿态估计处理中，首先测试多种类别的目标部件的特征指示位置，然后选择若干特征作为当前视频目标的显著特征，随后独立和并行地提取这些显著特征，最后，使用数据驱动马尔科夫链蒙特卡罗(DDMCMC,DataDrivenMarkovChainMonteCarlo)方法来基于检测到的不完整的显著特征集合推算目标的姿态参数。因此，当一个目标具有更多的显著特征时，本发明可更容易地定位和推算目标的姿态，同时花费的时间更少。此外，由于本发明将传统技术中被串行处理的显著特征进行并行处理，因此，基于本发明实施例的方法和设备能够显著减少时间花费，同时避免系统由于独立的显著特征的检测失败而导致的崩溃。另外，本发明可并行处理的显著特征是可扩展的，允许在根据本发明的特征数据库(DB)中增加目标的特征类别以及特征类别中的特征。

为了实现以上的优点，根据本发明的一方面，提供了一种目标姿态分析装置，包括：特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别；特征测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；显著特征选择器，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合；显著特征检测器，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果；姿态推算模块，根据显著特征检测结果执行姿态估计。

根据本发明的另一方面，还提供了一种目标姿态分析方法，包括以下步骤：将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合；基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果；根据显著特征检测结果执行姿态估计。

根据本发明的另一方面，还提供了一种使用本发明的目标姿态分析装置的目标姿态估计设备。除了上述的目标姿态分析装置之外，所述目标姿态估计设备还包括：输入装置，用于接收图像数据的输入；用户设置单元，用于对姿态估计设备的功能进行设置；显示装置，用于显示姿态分析装置的姿态估计的结果；主机控制接口单元，用于姿态分析装置与外围设备的数据交换。

附图说明

通过下面结合附图对实施例的详细描述，本发明的上述和/或其他方面将会变得清楚和更容易理解，其中：

图1是示出根据本发明实施例的姿态估计设备的示图；

图2是示出根据本发明实施例的姿态估计设备的输入装置的示图；

图3是示出根据本发明实施例的姿态估计设备中的姿态分析装置的详细框图；

图4示出了根据本发明实施例的特征数据库所包含的特征类别；

图5是示出根据本发明实施例的特征测试器和显著特征选择器的操作处理的示意图；

图6是示出根据本发明实施例的姿态推算模块126的示意图；

图7是示出根据本发明实施例的姿态估计设备的姿态分析方法的流程图；

图8示出的是根据本发明实施例采用一个TOF深度相机和一个彩色CCD相机的姿态估计设备对拍摄的图像进行姿态估计的示意图；

图9示出的是根据本发明实施例采用一个TOF深度相机作为输入装置的姿态估计设备对拍摄的图像进行姿态估计的示意图；

图10示出的是根据本发明实施例采用一个彩色CCD相机作为输入装置时的姿态估计设备对拍摄的图像进行姿态估计的示意图。

具体实施方式

下面将参照附图来详细说明根据本发明实施例的目标姿态分析装置及其目标姿态分析方法。应理解，在此参照附图描述的实施例仅是示意性的，不应将本发明理解为限制于在此描述的实施例。

图1是示出根据本发明实施例的姿态估计设备的示图。如图1所示，姿态估计设备包括：输入装置110、姿态分析装置120、用户设置单元130、显示装置140和主机控制接口HCI单元150。

输入装置110用于接收输入的图像和/或视频。图2是示出根据本发明实施例的姿态估计设备的输入装置的示图。如图2所示，输入装置110用于接收图像数据的输入。输入装置110可以是一组相机，也可以是多组相机。每组相机中可具有至少一个深度相机(图2中示出的TOF相机)。可选地，每组相机还可包括彩色/灰度摄像机。每组相机中的相机可以是活动的，也可以是静止的。输入装置110通过拍摄目标获得多幅图像或视频，并将拍摄的图像或视频帧发送到姿态分析装置120。不同相机拍摄的图像之间存在相关性。输入装置110对输入图像或视频帧进行登记。可采用诸如美国的RebsselaerPolytechnicInstitute提出的GDB-ICP方法来对图像或视频帧登记。

用户设置单元130用于对姿态估计设备的功能进行设置。具体地，用户设置单元130可以是触摸屏、键盘、鼠标等任意的用户输入装置。用户可通过用户设置单元130对输入装置110(静止或活动的相机)进行配置，选择姿态分析装置120所分析的目标和类别，并选择姿态估计设备的输出模式等。

显示装置140用于显示对图像的姿态估计结果。根据本发明实施例的显示装置可以是任意的可显示图像的装置，例如，液晶显示器(LCD)、CRT显示器等。HCI单元150用于与外围设备进行数据交换。

姿态分析装置120通过内置的存储装置中的特征数据库(DB)对输入的图像数据进行并行测试，选择适用于输入的图像数据的有效的显著特征集合，并基于选择的有效的显著特征集合来检测输入的图像数据的显著特征，并根据检测到的显著特征来估计目标姿态。稍后将参照图3详细描述姿态分析装置120进行姿态估计的处理过程。

图3是示出根据本发明实施例的姿态估计设备中的姿态分析装置120的详细框图。

如图3所示，姿态分析装置120包括：特征数据库存储模块121、特征测试器122、显著特征选择器123、显著特征检测器124和姿态推算模块125。下面将参照图3到图6详细说明姿态分析装置120进行姿态分析的详细过程。

首先，从输入装置110接收到的视频数据输入到特征测试器122。特征测试器122将接收的图像数据的特征与存储在特征数据库存储模块121中的特征数据库中的特征进行并行测试。

图4示出了根据本发明实施例的特征数据库所包含的特征类别。在本实施例中，特征数据库包括四个类别：部件检测特征A、颜色特征B、FG提取特征C和形状提取特征D。具体地，由于目标的某些部件具有固有的特征，因此可通过特定的方法发现这些特征，从而可确定部件。以人作为例子，人的头部、脸部、上身/下身、手和躯干都具有固定的模式。因此，部件检测特征A可具有头部模式、脸部模式、上身/下身模式、手模式、躯干模式。颜色特征B可包括皮肤颜色、手套颜色、长袜颜色、目标主体上的显著颜色补丁。前景(FG)提取特征C可包括帧差、背景(BG)消减、目标轮廓、边缘特征。形状提取特征D可包括：棍形、圆形、四方形、柱形。对于本领域技术人员很明显的是，可以具有更多或较少的特征类别。另外，可根据需要更新特征类别。

通常，特征数据库具有大量的特征，特征中的某些部分对于一种特定的目标类别有效，另一部分对另一种特定的目标类别有效。对于用户选择的一个目标，必然具有其有效特征集合。特征测试器122将输入的图像数据与特征数据库中的四个类别进行并行的测试。例如，特征测试器122在将输入的图像数据与特征数据库中的颜色特征进行对比的同时，可将输入的图像数据与特征数据库中的部件特征进行对比，可对输入的图像数据进行前景提取，可将输入的图像数据与特征数据库中的形状特征进行比较。这样，就得到了四个不同的特征组。

经过此并行测试之后，显著特征选择器123对来自特征测试器122的四个特征集合进行评估，以选择有效的显著特征集合。

下面将参照图5来详细描述根据本发明实施例的特征测试器122和显著特征选择器123的处理。图5是示出根据本发明实施例的特征测试器122和显著特征选择器123的操作处理的示意图。具体地，对于来自部件检测特征A和颜色特征B的显著特征，显著特征选择器123使用标准的检测率和虚警率作为特征有效性的指示参数。具体地，特征测试器122可包括部件检测器，用于检测系统采集的图像数据并检测其中的目标部件，如果检测率和虚警率达到预设的阈值，则显著特征选择器123将检测到的目标部件选择作为显著特征，否则，舍弃该目标部件。部件检测器的一个示例是窗口扫描类型的部件检测器。对于测试的图像集合来说，假设其中真正含有的目标个数为x，如果总共扫描了N个窗口，其中，正确的目标数为M，不正确的目标数为K，则检测率为M/x，虚警率为K/N。另外，特征测试器122还可包括颜色特征测试器。颜色特征测试器基于颜色特征B来检测将从图像选用的颜色特征，显著特征选择器123将测试的结果与预设的指示参数进行比较，如果指示参数达到预设的阈值，则将该颜色特征选择作为显著特征。这里的指示参数是指检测率和误检率。对于测试的图像集合来所，假设总共具有的像素个数为N，属于目标的像素个数为X，检测结果中属于目标的像素个数为M，不正确的像素个数为K，则检测率为M/X，误检率为K/N。为了方便统计，像素统计方法可以简化为图像块统计方法，即，将图像划分为大小相同的多个块，并统计块的个数。

特征测试器122还可包括前景提取器，使用背景去除方法得到前景区域特征，该前景区域特征部分或全部地对应于图像中运动目标所在的区域。具体地，通常对于具有静止背景的图像使用前景提取方法。而对于运动背景来说，背景去除方法将变得过于复杂，因此将不会选择前景提取特征。

特征测试器122还可包括形状提取器。对于具有较强的形状特征的目标(例如，刚体或者近似于刚体的目标)，运动时形状变化较小，这时，形状特征将起到作用，从而可以进行目标(或目标部件)的特征检测。例如，人体的头部可以用椭圆形状来逼近，而可以用梯形圆台来逼近人体的躯干，用梯形逼近胳膊、腿部，从而人体可以用一定的轮廓曲线来逼近。形状提取器的性能指示参数为检测率和误检率。假设待检测目标(或目标部件)区域的像素个数为X，实际检测到的正确的像素个数为M，不正确的像素个数为K，则检测率为M/X，误检率为K/(M+K)。

显著特征选择器123从高到低将每个类别中的各个特征的有效性指示参数排名，并选择具有最高有效性的特征作为显著特征，即，选择指示参数大于预定阈值的显著特征。上述处理是从特征数据库选择用于指定目标的显著特征集合的过程。

在显著特征选择器123为指定目标选择了显著特征集合之后，显著特征检测器124基于新的显著特征集合执行检测，确定输入的图像或视频帧中是否存在显著特征集合中所包含的特征，从而获得用于姿态推算的显著特征检测结果。注意，这里获得的显著特征集合并不能实现100％的检测率或精确率以及0虚警率。因此，需要姿态推算模块125基于获得的用于姿态推算的显著特征检测结果来执行推算处理。另外，对于不同的场景图像或视频中的不同的目标，通常具有不同的显著特征集合。因此，每当目标改变时，需要特征测试器122和显著特征选择器123重新测试和选择对于不同的目标的显著特征集合。

图6是示出根据本发明实施例的姿态推算模块125的示意图。

如图6所示，根据本发明实施例的姿态推算模块125包括：数据驱动姿态假设产生模块127、姿态假设评估模块128和姿态确定模块129。数据驱动姿态假设产生模块127通过组合对于每个目标部分/部件的检测结果来产生姿态假设。姿态假设评估模块128将对数据驱动姿态假设产生模块127所产生的每种姿态假设组合进行评估，从而验证其作为可能的目标姿态的概率。在姿态假设评估模块128评估完每个姿态假设组合之后，姿态确定模块129最后决定哪种姿态假设组合具有成为期望的目标姿态的最高的概率。这里仅示出了一种姿态推算方法。本领域的技术人员也可采用其他方式来实现基于显著特征检测结果的姿态推算。

如图3的虚线框所示，根据本发明另一实施例的姿态分析装置120还可包括目标模型约束模块126。在进行姿态推算之前，目标模型约束模块126根据用户通过用户设置单元130选择的目标模型来进一步限制显著特征集合的特征类别。具体地，目标模型约束模块126可根据用户设置单元130的选择来确定目标类别是人类还是非人类。目标的类别的分类的一个示例在以下的表1中示出：

表1

从上表可以看出，对于人类类别，用于姿态估计的目标主要包括四个目标类别。第一类别是上身，主要包括头、躯干和手臂。第二类别是下身，主要包括躯干、腿和脚。第三类别是全身，包括头、躯干、手臂、腿和脚。第四类别是手臂。对于非人类类别，目标可以是猫、狗、长颈鹿和其他。应理解，在这里示出的目标的类别的分类方式仅仅是一个示例。同样可采用其他方式的分类，并且类别可以根据需要而扩展。

图7是示出根据本发明实施例的姿态估计设备的姿态分析方法的流程图。

首先，在步骤710，将接收的图像数据的特征与存储存储器中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组。这里，特征数据库可包含至少一个特征类别，并且特征类别可根据用户需要而更新，或设置为自动更新。例如，可通过与外部资源(主机、互联网等)的连接来自动更新特征数据库的特征类别。

接下来，在步骤720，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合。有效性指示参数的示例例如为检测率、误检率、虚警率。当特征组的有效性指示参数大于预设的阈值时，该特征组被选定作为显著特征集合。

然后，在步骤730，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果。

最后，在步骤740，根据显著特征检测结果执行姿态估计。

根据本发明另一实施例，在步骤740之前，还可包括步骤735，根据用户的选择限制显著特征集合的特征类别。

下面将参照图8-图10说明采用本发明实施例的姿态估计设备对示例图像进行姿态估计的示例。

图8示出的是根据本发明实施例采用一个TOF深度相机和一个彩色CCD相机的姿态估计设备对拍摄的图像进行姿态估计的示意图。图8a是将要接受测试的彩色首先，用户通过用户设置单元130将目标类别设置为人类全身(头/手臂/躯干/腿/脚)。随后，通过特征测试器122和显著特征选择器123选择有效的显著特征，这里，如图8b所示，特征测试器122可使用部件检测器(包括头部检测器、上身检测器、手部检测器等)来测试目标的部件特征；如图8c所示，特征测试器122还使用前景提取器来进行背景建模和前景提取。显著特征选择器123基于预定的指示参数选择显著特征集合，显著特征检测器124再基于显著特征集合扫描输入的图像以得到显著特征检测结果，姿态推算模块125基于扫描得到的显著特征检测结果推算姿态(关节)，如图8d所示。

图9示出的是根据本发明实施例采用一个TOF深度相机作为输入装置的姿态估计设备对拍摄的图像进行姿态估计的示意图。图9a示出了对拍摄的深度图像进行头部和躯干检测的示意图。图9b示出了对棍状的手臂进行检测的示意图。图9c示出利用头部和躯干检测以及手臂的棍状检测的结果来对人的上身进行姿态估计的示意图。

图10示出的是根据本发明实施例采用一个彩色CCD相机作为输入装置时的姿态估计设备对拍摄的图像进行姿态估计的示意图。图10a示出的是将要进行测试的彩色图像。图10b示出的是对彩色图像进行前景FG遮蔽重叠的示意图。图10c示出的是对彩色图像进行头部/上身/手部/躯干检测的示意图。图10d示出的是棍状检测的示意图。图10e示出的是基于上身的检测结果对图像进行全身姿态估计的示意图。

由以上的示例可以看出，根据本发明实施例的姿态估计设备可以对彩色图像或深度图像进行并行的特征检测，从而提高了姿态估计的速度、效率和准确率。根据本发明实施例的姿态估计设备可以进行实时(>25fps)的姿态估计。根据本发明实施例的特征检测器可独立地扫描目标的现有的各个部分或部件，而不受其他部分或部件检测的影响。另外，根据本发明实施例的姿态估计设备可适用于多种特征类别的目标姿态估计，而不仅限于一种姿态估计方式，并且由于本发明中的特征数据库可以根据需要而更新，因此具有良好的可扩展性。

虽然已经参照本发明的若干示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况下，可以在形式和细节上做出各种改变。

Claims (13)

1.一种目标姿态分析装置，包括：

特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别；

特征测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；

显著特征选择器，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合，其中，所述有效性指示参数是特征组的检测率、误报率和虚警率中的至少一个；

显著特征检测器，基于显著特征集合对输入的图像数据执行特征检测，确定输入的图像数据中是否存在显著特征集合中的特征，以获得输入图像数据的显著特征检测结果；

姿态推算模块，根据显著特征检测结果对所述目标执行姿态估计。

2.如权利要求1所述的目标姿态分析装置，还包括：

目标模型约束模块，在进行姿态推算之前根据用户选择的目标模型来限制显著特征集合的特征类别。

3.如权利要求1所述的目标姿态分析装置，其中，特征数据库的特征类别包括：部件检测特征、颜色特征、前景提取特征和形状提取特征。

4.如权利要求3所述的目标姿态分析装置，其中，特征数据库的特征类别根据用户的设置更新。

5.一种目标姿态分析方法，包括以下步骤：

将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；

根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合，其中，所述有效性指示参数是特征组的检测率、误报率和虚警率中的至少一个；

基于显著特征集合对输入的图像数据执行特征检测，确定输入的图像数据中是否存在显著特征集合中的特征，以获得输入图像数据的显著特征检测结果；

根据显著特征检测结果对所述目标执行姿态估计。

6.如权利要求5所述的方法，还包括：

在进行姿态推算的步骤之前，根据用户选择的目标模型来限制显著特征集合的特征类别。

7.如权利要求5所述的方法，其中，特征数据库的特征类别包括：部件检测特征、颜色特征、前景提取特征和形状提取特征。

8.如权利要求7所述的方法，其中，特征数据库的特征类别根据用户的设置更新。

9.一种目标姿态估计设备，包括：

输入装置，用于接收图像数据的输入；

姿态分析装置，用于对来自输入装置的图像数据中的目标进行姿态分析；

用户设置单元，用于对姿态估计设备的功能进行设置；

显示装置，用于显示姿态分析装置的姿态估计的结果；

主机控制接口单元，用于姿态分析装置与外围设备的数据交换，

其中，姿态分析装置包括：

特征数据库存储模块，用于存储特征数据库，特征数据库包括至少一个特征类别；

特征测试器，将接收的图像数据的目标的特征与存储在特征数据库存储模块中的特征数据库的特征类别进行并行测试，以从特征数据库中选择至少一个特征组；

显著特征选择器，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合，其中，所述有效性指示参数是特征组的检测率、误报率和虚警率中的至少一个；

显著特征检测器，基于显著特征集合对输入的图像数据执行特征检测，确定输入的图像数据中是否存在显著特征集合中的特征，以获得输入图像数据的显著特征检测结果；

姿态推算模块，根据显著特征检测结果对所述目标执行姿态估计。

10.如权利要求9所述的目标姿态估计设备，其中，所述姿态分析装置还包括：

目标模型约束模块，在进行姿态推算之前根据用户选择的目标模型来限制显著特征集合的特征类别。

11.如权利要求9所述的目标姿态估计设备，其中，特征数据库的特征类别包括：部件检测特征、颜色特征、前景提取特征和形状提取特征。

12.如权利要求11所述的目标姿态估计设备，其中，特征数据库的特征类别根据用户的设置更新。

13.如权利要求9所述的目标姿态估计设备，所述输入装置是CCD相机和深度相机中的至少一个。