CN103390150B - 人体部件检测方法和装置 - Google Patents

Abstract

提供了一种检测人体部件的方法和装置，所述方法包括：识别待检测图像中的与人体部件相关的一组子图像；基于子图像本身的基本视觉特征和该子图像的周围区域的扩展特征，为该组子图像中的每个子图像的人体部件分配信任度；合并信任度高于门限值的子图像以检测人体部件的位置。本发明的方法和装置可更有效地改进人体部件检测的实时性能。

Description

人体部件检测方法和装置

技术领域

本发明涉及计算机视觉和模式识别领域，更具体地，涉及一种基于多部件上下文描述子的人体部件检测方法和装置。

背景技术

人体姿态估计是计算机视觉技术的基本课题，该技术在诸如人机交互、游戏和电影的真实角色动画、3D自然交互等多种领域中被广泛应用。由于其学术和商业价值，对于人体姿态估计的研究近年来成为计算机视觉领域中的焦点。特别地，人体部件检测是人体姿态估计技术中的基本技术。人体部件检测技术能够为人体姿态推测提供重要的观察信息。

在人体部件检测中，对象检测通常可划分为两种类型，即，基于对象的人体部件检测和基于像素的人体部件检测。基于像素的人体部件检测方法利用对象区域中的每个像素作为正样本，对象区域中的像素与其周围像素之间的关系通常被用作特征描述子。基于像素的人体部件检测方法可以很好地利用周围信息来检测对象，但是没有使用到对象的内在特征和轮廓结构描述。基于像素的人体部件检测方法将整个对象区域看成为正样本，并利用某些自身特征来描述该区域。基于对象的人体部件检测方法利用了对象的内在特征和轮廓结构特征，但是没有利用对象的周围信息。

为了进一步提高人体部件检测的准确度，需要一种结合了基于对象的人体检测和基于像素的人体检测的方法的优点的人体部件检测方法和装置。

发明内容

根据本发明的一方面，提供了一种检测人体部件的方法，包括：识别待检测图像中的与人体部件相关的一组子图像；基于子图像本身的基本视觉特征和该子图像的周围区域的扩展特征，为该组子图像中的每个子图像的人体部件分配信任度；合并信任度高于门限值的子图像以检测人体部件的位置。

根据本发明的一方面，为子图像中的每个子图像分配信任度的步骤包括：定义每个子图像的多部件上下文描述子，所述多部件上下文描述子包括基本描述子和扩展描述子；基于每个子图像的多部件描述子与预先训练的人体部件的多部件描述子之间的相似性来为每个子图像分配信任度，其中，所述基本描述子用于描述子图像的人体部件的基本视觉特征，扩展描述子用于描述子图像的人体部件与周围人体部件之间的空间结构关系。

根据本发明的一方面，子图像是待检测图像中的具有不同几何形状、位置和大小的图像区域。

根据本发明的一方面，所述子图像的组中的多个子图像彼此重叠。

根据本发明的一方面，所述方法还包括：在识别待检测图像之前，对待检测图像进行预处理。

根据本发明的一方面，所述预处理步骤包括以下步骤之一：对待检测图像的数据进行量化；检测待检测图像的图像三维信息或图像深度信息；对待检测图像进行分段;对待检测图像进行前景提取。

根据本发明的一方面，基本视觉特征包括序数特征、自身二进制特征、哈尔特征、梯度描述直方图特征、轮廓特征、灰度直方图特征中的至少一个。

根据本发明的一方面，合并子图像的步骤包括直接合并和加权合并两种方式中的一种，并且门限值根据多部件上下文描述子的选择和组合而不同。

根据本发明的一方面，直接合并的步骤包括：选择具有高于预定值的信任度的子图像，并通过统计和几何方法来直接合并选择的子图像的位置。

根据本发明的一方面，加权合并的步骤包括：基于不同的信任度门限值来合并子图像的位置，或者根据聚类算法来合并子图像的位置。

根据本发明的另一方面，提供了一种人体部件检测装置，包括：子图像识别单元，识别待检测图像中的与人体部件相关的一组子图像；人体部件识别单元，基于子图像本身的基本视觉特征和该子图像的周围区域的扩展特征，为该组子图像中的每个子图像的人体部件分配信任度，合并信任度高于门限值的子图像来检测人体部件的位置。

根据本发明的另一方面，所述人体部件检测装置还包括：训练单元，对样本图像进行训练以得到人体部件的多部件上下文描述子，所述多部件上下文描述子包括基本描述子和扩展描述子，所述基本描述子用于描述子图像的人体部件的基本视觉特征，扩展描述子用于描述子图像的人体部件与周围人体部件之间的空间结构关系，其中，人体部件识别单元定义每个子图像的多部件上下文描述子，并基于每个子图像的多部件描述子与训练单元所训练的人体部件的多部件描述子之间的相似性来为每个子图像分配信任度。

根据本发明的另一方面，所述人体部件检测装置还包括：预处理单元，对待检测图像或样本图像进行预处理。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明的人体部件检测方法的训练过程的流程图；

图2A到图2C是示出根据本发明实施例的深度图像中的多部件上下文描述子的示意图；

图3是示出根据本发明实施例的人体部件检测方法的流程图；

图4是示出根据本发明实施例的人体部件检测系统的示意图。

具体实施方式

以下，参照附图来详细说明本发明的实施例。

图1是示出根据本发明的人体部件检测方法的训练过程的流程图。

如图1所示，根据本发明的人体部件检测方法的训练过程主要包括四个阶段：(110)训练图像数据构建；(120)预处理；(130)训练样本准备；(140)人体部件分类器训练。下面将分别对以上各个阶段进行描述。

首先，在训练图像数据构建阶段(110)，可通过合成图像数据或真实图像数据来构建训练图像数据。

接下来，在预处理阶段(120)，对训练图像数据进行量化和背景移除。量化处理指的是将原始图像数据表示为量化的深度图像数据以便于后续处理。例如，深度灰度图像是一种代表性的量化深度图像，其图像数据的值被量化为0～255。通过量化，原始图像数据可以被量化以用于噪声移除或减少计算。背景移除处理通常基于深度值限制、关联区域提取、运动捕捉等。

具体地讲，对训练图像数据进行预处理可包括如下步骤中的一个：对训练图像数据进行量化、检测训练图像数据的图像三维信息或图像深度信息、对训练图像数据进行分段、对训练图像数据进行前景提取。

然后，在训练样本准备阶段(130)，准备三种类型的训练样本，即，部件样本、部件上下文样本和负样本。部件样本主要关注部件对象本身。部件上下文样本主要关注部件的周围区域。部件周围区域的分割可表示为S_s(C_x,C_y，R,M)，其中，C_x和C_y表示部件区域的周围区域的中心位置，R表示周围区域的大小，M表示周围区域的分割形状。分割形状可以是矩形、圆形等。负样本是与作为包含需要检测的人体部件的子图像相反的子图像，即，不包含需要检测的人体部件的子图像。在样本训练阶段，通常使用两种类型的负样本。一种是不包含人体的背景图像，一种是已经取出了相应的训练人体部件的人体图像。通过负样本的训练，可区分出子图像是否包含需要检测的人体部件。

接下来，在人体部件分类器训练阶段(140)，训练用于检测人体部件的人体部件分类器。人体部件分类器训练包括：样本描述、提升训练和检测器构造三个步骤。

在样本描述步骤中，基于每个子图像的基本特征和该子图像的周围区域的扩展特征来描述样本。根据本发明实施例，可采用多部件上下文描述子来表示每个子图像的基本特征和该子图像的周围区域的扩展特征。根据本发明实施例的多部件上下文描述子不仅可描述每个子图像的部件对象的基本视觉特征，还可以描述与该部件相邻的周围部件的上下文信息，即扩展特征。所有的计算机视觉特征都可用作多部件上下文描述子的基本特征。例如，在本发明的实施例中，可采用多尺度序数模式(MSOP)特征作为多部件上下文描述子的基本特征。

基于MSOP的多部件上下文描述子可表示如下的等式1：

等式1

其中，b(x)是布尔函数，当x大于0时，b(x)为1，当x小于0时，b(x)为0。g_i是MSOP模式下的格子（即，子图像）中的像素值，i是格子的索引。g_c是子图像和子图像的周围区域的格子的平均像素值，可表示为θ表示MSOP模式的参数。MSOP的参数可包括模式的位置、大小和类型。根据本发明实施例的MSOP模式可包括用于描述子图像所包含的部件的基本特征的MSOP模式和用于描述周围部件的扩展特征的MSOP模式。但是基于MSOP模式的特征描述子仅仅是根据本发明的多部件上下文描述子的一个示例，本发明不限于此。可采用其它的视觉特征描述方式来形成多部件上下文描述子。例如，还可采用子图像的哈尔(Haar)特征、梯度直方图(HOG)、自身二进制特征、轮廓特征、灰度直方图特征来作为多部件上下文描述子的基本描述子。

下面将参照图2A-图2C对根据本发明实施例的多部件上下文描述子的模式进行解释。

图2A-图2C示出了根据本发明实施例的多部件上下文描述子的模式参数的示意图。如图2B所示，方框201和203分别表示包含人体部件的子图像。格子201中包含的人体部件是人的上臂，方框203中包含的人体部件是人的头部。方框205和207分别表示与方框201和203对应的周围区域。图2A示出的是根据本发明实施例的多部件上下文描述子中的基本描述子的模式参数θ_o=(x_o,y_o,w_o,h_o,t_o)，其用于描述部件本身的视觉特征。图2C示出的是根据本发明实施例的多部件上下文描述子中的扩展描述子的模式参数θ_s=(x_s，y_s,w_s,h_s，t_s)，其用于描述部件周围区域的上下文信息。在以上描述方式中，x和y表示描述子的位置参数，w和h表示描述子的形状参数，t表示描述子的类型。通过以上描述方式，周围区域的大小和形状可被定义为与包含待检测人体部件的子图像具有特定关系。例如，周围区域的位置可以是以子图像的区域为中心的更大的区域（如图2B中的方框205和207所示），也可以是处于子图像区域的上方、下方、左方、右方的区域。周围区域的大小可以是子图像区域的2倍、3倍、3.5倍等。周围区域的形状可以是与子图像相同的形状，也可以是固定的矩形、圆形等形状。

对于头部，根据本发明实施例的多部件上下文描述子不仅可以描述头部的特征（例如，椭圆形的轮廓特征），还可以描述头部周围的颈部和肩部的信息。对于上臂，根据本发明实施例的多部件上下文描述子不仅可以描述上臂的形状，还可以描述上臂周围的上身的信息。因此，根据本发明实施例的多部件上下文描述子不仅包括了部件对象的内在特征和轮廓结构，还可包括周围区域的上下文信息。因此，与现有技术的本地描述子相比，根据本发明实施例的多部件上下文描述子具有更好的稳健性。

另外，在以上的图2中仅以头部和上臂作为人体部件的示例进行了说明。但是，本领域的技术人员应理解，可对人体部件进行更精确的划分。例如，可将人体部件划分为头、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、右大腿、右小腿等，从而可针对这些部件进行更精确的多部件上下文描述子的训练。

参照回到图1，在提升训练步骤中，训练所有类型的分类器来检测人体部件。每种类型的分类器表示子图像的一种特征。例如可通过支持向量机(SVM)、Forest、Boosting等算法来训练分类器。在本发明实施例中，采用AdaBoost算法来进行分类器训练。基于AdaBoost的多部件上下文描述子可被表示为如下：

等式2

在以上等式中，x表示样本，f_o，t(x)表示用于描述部件对象本身的特征的分类器，f_s，t(x)表示用于描述部件的周围区域的上下文信息的特征的分类器，T_o表示的f_o,t(x)的分类器的数量，T_s表示f_s,t(x)的分类器数量。F(x)表示最终的分类器。

接下来在人体部件检测器构建步骤中，将训练的若干种分类器级联以提高人体部件检测的性能。

下面将参照图3描述根据本发明实施例的检测人体部件的方法。

首先，在步骤310，识别待检测图像中的与人体部件相关的一组子图像。具体地，在识别过程中，基于深度图像的特定位置和特定大小来搜索子图像，并判断子图像是否是要检测的人体部件。

搜索过程可以表示为Search(S_min,S_max,S_step,P_start,P_end，P_s)，其中，S_min,S_max,S_step分别表示搜索子图像所采用的最小尺寸、最大尺寸和尺寸步长。P_start，P_end，P_s分别表示搜索子图像所采用的初始搜索点位置、结束点位置和搜索步长。通常在实际搜索中，采用预定的像素间隔来搜索子图像。也就是说，子图像可以是待检测图像中的具有不同几何形状、位置和大小的图像区域，并且子图像的组中的多个子图像可以彼此重叠。具体地，可以将该搜索过程看作是一个在图像中循环提取子图像区域的过程。首先，从初始尺寸S_min开始确定子图像区域的大小，然后从图像的初始搜索点位置P_start开始确定子图像区域的中心位置，并依次以P_s为步长移动图像区域的中心位置直到到达结束点位置P_end，在上述遍历的每个位置提取子图像。然后以步长S_step依次增加子图像区域的大小直到最大尺寸S_max。在每个区域尺寸下都进行一遍子图像区域中心点从P_start到P_end的遍历，得到想要搜索的所有子图像。

优选地，在识别过程中，可通过前景提取技术提取待检测图像中的人体。通过前景提取，可仅对前景区域进行人体部件检测，从而减少了子图像位置的搜索量。另外，还可对提取的前景对象的深度值进行测量，以减少子图像的搜索大小。此外，还可通过图像三维信息、图像分段来识别子图像。

接下来，在步骤320，基于每个子图像的基本特征描述和该子图像的周围区域的扩展特征描述，为该组子图像中的每个子图像的人体部件分配信任度。也就是说，基于训练好的多部件上下文描述子来确定子图像是否是人体部件。具体地，依据人体部件分类器训练最终得到的如等式2所示的最终分类器F(x)的表达形式来对子图像进行信任度的计算。首先，根据人体部件分类器训练部分的特征表示对相应的分类器f进行计算，然后对各分类器的计算值按照F(x)表达式的组合进行叠加，并将叠加后的输出值作为相应子图像的信任度。

然后，在步骤330，合并信任度高于门限值的子图像以检测人体部件的位置。这里，门限值根据多部件上下文描述子的种类选择和组合而不同。根据本发明的实施例，合并步骤可包括直接合并和加权合并两种方式。在直接合并中，选择具有高于预定值的信任度的子图像，并通过统计和几何方法来直接合并这些选择的子图像的位置，从而得到最终的人体部件的位置。具体地，可以采用均值的方式来计算出所有符合信任度要求的子图像的平均中心位置以及平均尺寸大小，作为最终的人体部件位置。也可以采用所有符合信任度要求的子图像覆盖最集中的区域作为人体部件的最终输出位置。

在加权合并中，可基于不同的信任度门限值来合并子图像的位置，或者根据聚类算法(clustering alorithm)来合并子图像的位置。聚类算法可包括均值漂移(mean-shift)、k近邻算法(k near neighbor)。具体地，在加权合并中，符合信任度要求的子图像的信任度可被同时保留，并在合并中决定该子图像的重要性。例如，可以以子图像的加权平均中心位置以及加权平均尺寸大小，作为最终的人体部件位置。

下面，参照图4来解释根据本发明实施例的人体部件检测系统的工作原理。如图4所示，根据本发明实施例的人体部件检测系统包括：图像获取设备410和人体部件检测装置420。虽然在图4中示出，图像获取设备410和人体部件检测装置420是分开设置的，但是可理解，二者可以在同一设备中实现。

可通过Primesence映射装置、ToF(Time-of-Flight)相机、多视点相机等装置或设备来作为图像获取设备410。图像获取设备410获取的图像数据可作为训练图像数据使用，也可以作为待检测图像数据使用。

人体部件检测装置420包括图像预处理单元421、训练单元422、子图像识别单元423和人体部件识别单元424。

图像预处理单元421用于对图像数据进行预处理。这里，图像预处理单元421可对图像获取设备410所获取的图像数据或训练样本图像数据库中存储的样本图像数据进行预处理。例如，图像预处理单元421可对图像数据进行量化，并可对图像数据执行前景提取处理、深度值测量、图像三维信息检测、图像分段等处理，以便于训练单元422和子图像识别单元423进行后续的处理。

训练单元422用于从训练样本图像数据中准备训练样本，利用训练样本来训练用于检测人体部件的人体部件分类器（即，多部件上下文描述子），并使用人体部件分类器来构建人体部件检测器。训练样本图像数据可以是预先存储在图像数据库中的图像数据，也可以是通过图像获取设备410获取的图像数据。

子图像识别单元423识别待检测图像中的与人体部件相关的一组子图像。人体部件识别单元424基于每个子图像的基本特征和该子图像的周围区域的扩展特征，为该组子图像中的每个子图像的人体部件分配信任度，并合并信任度高于门限值的子图像以对人体部件的位置进行定位。在本发明的示例性实施例中，人体部件识别单元424定义每个子图像的多部件上下文描述子，并基于每个子图像的多部件描述子与训练的人体部件的多部件描述子之间的相似性来为每个子图像分配信任度。人体部件识别单元424还将检测的结果输出到外部装置，从而在经过外部装置的处理之后可显示最终的人体部件识别结果。

应理解，以上给出的人体部件检测装置420的各个模块单元的配置仅仅是示意性的，这些模块单元可被进一步划分为更多的模块单元，或者合并为更少的模块单元。

与现有的基于对象的人体部件检测技术和基于像素的人体部件检测技术相比，根据本发明的多部件上下文描述子不仅可描述人体部件对象本身的内在特征和轮廓特征等，还可描述人体部件对象周围区域的特征，因此可利用人体部件的周围的信息来改进人体部件检测器的性能，并更快地达到分类器的训练目的，从而减少分类器的复杂度。因此，根据本发明实施例的人体部件检测方法可更有效地改进人体部件检测的实时性能。

虽然已经参照本发明的若干示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况下，可以在形式和细节上做出各种改变。

Claims (16)

1.一种检测人体部件的方法，包括：

识别待检测图像中的与人体部件相关的一组子图像；

基于子图像本身的计算机视觉特征和该子图像的周围区域的扩展特征，为该组子图像中的每个子图像的人体部件分配信任度；

合并信任度高于门限值的子图像以检测人体部件的位置，

其中，为每个子图像分配信任度的步骤包括：定义每个子图像的多部件上下文描述子；基于每个子图像的多部件上下文描述子与预先训练的人体部件的多部件上下文描述子之间的相似性来为每个子图像分配信任度，

其中，所述多部件上下文描述子包括基本描述子和扩展描述子，所述基本描述子用于描述子图像的人体部件的计算机视觉特征，所述扩展描述子用于描述子图像的人体部件与周围人体部件之间的空间结构关系并且与所述扩展特征对应。

2.如权利要求1所述的方法，其中，子图像是待检测图像中的具有不同几何形状、位置和大小的图像区域。

3.如权利要求2所述的方法，其中，所述子图像的组中的多个子图像彼此重叠。

4.如权利要求1所述的方法，还包括：在识别待检测图像之前，对待检测图像进行预处理。

5.如权利要求4所述的方法，其中，所述预处理步骤包括以下步骤之一：

对待检测图像的数据进行量化；

检测待检测图像的图像三维信息或图像深度信息；

对待检测图像进行分段；

对待检测图像进行前景提取。

6.如权利要求1所述的方法，其中，计算机视觉特征包括序数特征、自身二进制特征、哈尔特征、梯度描述直方图特征、轮廓特征、灰度直方图特征中的至少一个。

7.如权利要求1所述的方法，其中，合并子图像的步骤包括直接合并和加权合并两种方式中的一种，并且门限值根据多部件上下文描述子的选择和组合而不同。

8.如权利要求7所述的方法，其中，直接合并的步骤包括：

选择具有高于门限值的信任度的子图像，并通过统计和几何方法来直接合并选择的子图像的位置。

9.如权利要求7所述的方法，其中，加权合并的步骤包括：

基于不同的信任度门限值来加权合并子图像的位置，或者根据聚类算法来加权合并子图像的位置。

10.一种人体部件检测装置，包括：

子图像识别单元，识别待检测图像中的与人体部件相关的一组子图像；

人体部件识别单元，基于子图像本身的计算机视觉特征和该子图像的周围区域的扩展特征，为该组子图像中的每个子图像的人体部件分配信任度，合并信任度高于门限值的子图像来检测人体部件的位置，

其中，人体部件识别单元定义每个子图像的多部件上下文描述子，并基于每个子图像的多部件上下文描述子与预先训练的人体部件的多部件上下文描述子之间的相似性来为每个子图像分配信任度，

其中，所述多部件上下文描述子包括基本描述子和扩展描述子，所述基本描述子用于描述子图像的人体部件的计算机视觉特征，所述扩展描述子用于描述子图像的人体部件与周围人体部件之间的空间结构关系并且与所述扩展特征对应。

11.如权利要求10所述的人体部件检测装置，还包括：

训练单元，对样本图像进行训练以得到人体部件的多部件上下文描述子。

12.如权利要求10或11所述的人体部件检测装置，还包括：

预处理单元，对待检测图像或样本图像进行预处理。

13.如权利要求12所述的人体部件检测装置，其中，预处理单元对待检测图像的数据进行量化，检测待检测图像的图像三维信息或图像深度信息，对待检测图像进行分段，或者对待检测图像进行前景提取。

14.如权利要求10所述的人体部件检测装置，其中，子图像是待检测图像中的具有不同几何形状、位置和大小的图像区域。

15.如权利要求14所述的人体部件检测装置，其中，所述子图像的组中的多个子图像彼此重叠。

16.如权利要求10所述的人体部件检测装置，其中，计算机视觉特征包括序数特征、自身二进制特征、哈尔特征、梯度描述直方图特征、轮廓特征、灰度直方图特征中的至少一个。