CN102486816A - 计算人体形状参数的装置和方法 - Google Patents

Abstract

提供了一种计算人体形状参数的装置和方法，其中，计算人体形状参数的装置包括：输入接口模块，用于从人体形状参数计算装置的外部接收图像数据；姿态估计模块，检测图像数据中的人体的人体部件以估算人体姿态；噪声抑制模块，基于估算的人体姿态的关节点划分人体部件，形成人体部件的三维面并修正人体部件的三维面的点的空间坐标参数；形状参数计算模块，基于噪声抑制模块修正的三维面的空间坐标参数来计算人体形状参数。

Description

计算人体形状参数的装置和方法

技术领域

本发明涉及人体形状参数计算技术，更具体地，涉及一种基于视频对象分析技术的自动测量和计算三维(3D)人体形状参数的系统和方法。

背景技术

在计算机视觉通信技术领域中，人体形状参数是各种相关应用的关键参数。例如在衣服、定制家具、个人图像设计等的电子购物应用中，需要通过视频对象分析得到人体的各个部位的尺寸大小。与传统的工业自动测量不同，人体是一种高度可变形的对象，人体的部位的形状总是随着姿态的改变而改变。为了测量人体形状参数，首先必须定位人体的关键关节，然后基于这些关节点，利用输入数据计算人体的每个部位(例如，手臂、腿部、头部等)的形状参数(例如，手臂的长度、腿部的长度等)。

在现有技术中，为了测量3D的人体表面，提出了各种方法。例如，可将具有某些图案的标记贴到人体上，并利用相机拍摄视频，基于易于识别的标记来测量人体形状并重构人体形状。还可先拍摄人体的正面和侧面的两张照片，并在图像上手动标注关键点(例如，头、脚、手、肘部等)；在手动测量人体的真实高度或宽度之后，可基于像素和测量的实际高度之间的比率来计算人体形状参数。在另一方法中，设计了一个具有简单背景的工作场所，在该工作场所中拍摄人体的正面和侧面视图，并从拍摄的图像中移除背景以方便提取人体对象。在另一方法中，使用两个投影仪、两个相机以及控制投影仪的机械控制系统。投影仪用于在人体上投影光栅，机械控制系统控制投影仪的偏移来在人体上投影多个光栅，相机拍摄投影了光栅的人体并通过分析视频数据来得到人体形状及其相应的参数。

然而，在现有技术中，存在至少以下问题：首先，不能完全自动测量和计算人体形状参数，需要进行手动操作；其次，由于难以对高度可变形的人体的关节的对象定位，因此测量的形状参数的精确率很低。

发明内容

在本发明中，提供了一种能够计算三维(3D)人体形状参数的装置和方法。根据本发明实施例的装置可被嵌入到诸如高清电视(HDTV)、机顶盒、移动电话中来用于精确地测量和计算人体形状参数。根据本发明实施例的人体形状参数测量装置可接收深度视频作为输入。测量装置首先估计人体的姿态。在人体姿态估计处理中，首先测试多种类别的人体部件的特征指示位置，然后选择若干特征作为当前人体目标的显著特征，随后独立和并行地提取这些显著特征，最后，使用数据驱动马尔科夫链蒙特卡罗(DDMCMC，Data DrivenMarkov Chain Monte Carlo)方法来基于检测到的不完整的显著特征集合推算人体的姿态参数。在得到人体姿态参数之后，可通过将人体的每个部位分片来计算人体形状参数，每个部位被表示为规则的形状模型。

为了实现以上的优点，根据本发明的一方面，提供了一种人体形状参数计算装置，包括：输入接口模块，用于从人体形状参数计算装置的外部接收图像数据；姿态估计模块，检测图像数据中的人体的人体部件以估算人体姿态；噪声抑制模块，基于估算的人体姿态的关节点划分人体部件，形成人体部件的三维面并修正人体部件的三维面的点的空间坐标参数；形状参数计算模块，基于噪声抑制模块修正的三维面的点的空间坐标参数来计算人体形状参数。

根据本发明的一方面，所述图像数据包括深度图像数据。

根据本发明的一方面，形状参数计算模块将人体部件的三维面划分为多个分片并计算每个分片的形状参数。

根据本发明的一方面，噪声抑制模块使用随机抽样一致RANSAC算法来构建人体部件的三维面。

根据本发明的一方面，姿态估计模块基于刚体特征数据库和非刚体特征数据库来分别检测人体的刚体部件和非刚体部件，其中，所述刚体部件包括人的头部、人的上半身和人的躯干，所述非刚体部件包括人的胳膊和腿。

根据本发明的一方面，刚体特征数据库的特征类别包括：部件检测特征、颜色特征、前景提取特征和形状提取特征，非刚体特征数据库的特征类别包括：凹凸度特征CDF和U形深度特征UDF。

根据本发明的另一方面，还提供了一种人体形状参数计算方法，包括以下步骤：接收图像数据；检测接收的图像数据中的人体的人体部件以估算人体姿态；基于估算的人体姿态的关节点划分人体部件，并形成人体部件的三维面以修正人体部件的三维面的点的空间坐标参数；基于修正的空间坐标参数来计算人体形状参数。

根据本发明的另一方面，还提供了一种用于自动测量人体形状参数的系统，包括：图像获取装置，捕捉将被测量的人体的视频或图像，并将捕捉的视频或图像转换为图像数据；人体形状参数计算装置，从图像获取装置接收图像数据，检测图像数据中的人体的人体部件以估算人体姿态，基于估算的人体姿态的关节点划分人体部件，形成人体部件的三维面并修正人体部件的三维面的点的空间坐标参数，并基于噪声抑制模块修正的三维面的点的空间坐标参数来计算人体形状参数。

根据本发明的另一方面，用于自动测量人体形状参数的系统还包括：显示装置，用于显示图像获取装置捕捉的图像数据或人体形状参数计算装置计算的人体形状参数；通信模块，将图像获取装置捕捉的图像数据或人体形状参数计算装置计算的人体形状参数传输到外部的远程装置。

根据本发明的人体形状参数计算装置可以与图像获取装置合作来自动地测量人体形状参数，不需要手动操作。根据本发明的人体形状参数计算装置可以集成到诸如高清电视、机顶盒、移动电话的电子设备中或者作为单独的芯片在需要测量人体形状参数的设备中使用。由于不需要人的手动操作，因此可以提高工作效率，并且可以与互联网协同实现在线的远程人体形状参数测量。

附图说明

通过下面结合附图对实施例的详细描述，本发明的上述和/或其他方面将会变得清楚和更容易理解，其中：

图1是根据本发明实施例的自动测量人体形状参数的系统的构成示图；

图2是示出根据本发明实施例的计算人体形状参数的装置的详细配置示图；

图3示出了根据本发明实施例的姿态估计中用于刚体部位检测的特征数据库中包含的特征类别；

图4示出了根据本发明实施例的姿态估计中用于非刚体部位检测的特征数据库中包含的特征类别；

图5是示出根据本发明实施例的姿态估计过程的流程图；

图6是示出根据本发明实施例的噪声抑制过程的流程图；

图7示出的是根据本发明实施例的计算人体形状参数的过程的流程图；

图8示出的是应用了根据本发明实施例的人体形状参数测量系统的示例；

图9示出的是应用了根据本发明实施例的人体形状参数测量系统的另一示例。

具体实施方式

下面将参照附图来详细说明根据本发明实施例的自动测量人体形状参数的装置和方法。应理解，在此参照附图描述的实施例仅是示意性的，不应将本发明理解为限制于在此描述的实施例。

图1是示出根据本发明实施例的自动测量人体形状参数的系统的构成示图。如图1所示，根据本发明实施例的人体形状参数的自动测量系统包括：图像获取装置100和人体形状参数计算装置200。优选地，该系统还可包括显示装置300和通信装置400。

图像获取装置100用于捕捉将被测量的人体的视频或图像并将捕捉的视频或图像转换为图像数据。图像获取装置100可以是相机、摄像机、摄像头等可以捕捉或拍摄视频或图像的装置。优选地，在根据本发明的实施例中，可采用深度相机作为输入装置，使用深度相机拍摄的深度图像数据作为用于测量人体形状参数的输入数据。当然，也可采用深度相机与普通相机的组合来作为输入装置。

人体形状参数测量装置200从图像获取装置100接收输入数据，并基于接收的输入数据来测量人体形状参数。具体地，人体形状参数测量装置200首先测试多种类别的目标部件的特征指示位置，然后选择若干特征作为当前目标的显著特征，随后独立并行地提取这些显著特征，最后，基于检测到的显著特征集合推算目标的姿态参数。在获得目标的姿态参数之后，人体形状参数测量装置200基于关键关节点将人体的每个部位分片来计算人体形状参数，每个部位被表示为规则的形状模型(例如，圆柱形)。优选地，在计算人体形状参数之前，人体形状参数测量装置200还可进行相机/深度噪声抑制处理。

显示装置300用于显示测量结果。可以以已知的任意方式来实施显示装置300。通信装置400用于与外部设备进行通信。根据本发明的应用场合，可采用各种方式来实施通信装置400。例如，在手机上应用根据本发明实施例的人体形状参数测量装置时，通信装置400可包括射频通信模块。

应理解，根据本发明实施例的人体形状参数测量装置200可以被实施为嵌入到图像获取装置100中从而输入装置也可集成本发明的人体形状参数测量功能，或者可作为单独的部件实施为专用的芯片安装在另一专用的测量装置中，或者在通用计算机上以软件的形式实施，但本发明不限于此。

图2是示出根据本发明实施例的人体形状参数测量装置200的详细配置示图。如图2所示，人体形状参数测量装置200包括输入接口模块210、姿态分析模块220、噪声抑制模块230和形状参数计算模块240。

输入接口模块210用于从图像获取装置100接收输入数据。在本实施例中，采用深度相机拍摄的深度图像数据作为输入数据。输入数据包括3个组成向量，所述3个组成向量分别表示目标对象的三个空间坐标，表示为(x，y，z)。当然，如果采用深度相机与普通相机的组合作为输入装置，则输入的图像数据可包括6个组成向量，所述6个组成向量分别表示目标对象的三个空间坐标以及红绿蓝三种颜色元素。

姿态分析模块220通过内置的存储装置中的特征数据库(DB)对输入数据进行并行测试，选择适用于输入的图像数据的有效的显著特征集合，并基于选择的有效的显著特征集合来检测输入的图像数据的显著特征，并根据检测到的显著特征来估计目标姿态。将参照图2至图5来详细描述姿态分析模块220进行姿态估计的处理过程。

首先，如图5的步骤510所示，姿态分析模块220将从输入接口模块210接收到的数据的特征与存储在特征数据库中的特征进行并行测试。这里，特征数据库可包含至少一个特征类别，并且特征类别可根据用户需要而更新，或设置为自动更新。例如，可通过与外部资源(主机、互联网等)的连接来自动更新特征数据库的特征类别。

图3示出了根据本发明实施例的用于刚体部位检测的特征数据库所包含的特征类别。人体的刚体部件通常包括人的头部、人的上半身和人的躯干。在本实施例中，用于刚体部位检测的特征数据库包括四个类别：部件检测特征A、颜色特征B、前景(FG)提取特征C和形状提取特征D。具体地，由于目标的某些部件具有固有的特征，因此可通过特定的方法发现这些特征，从而可确定部件。以人作为例子，人的头部、脸部、上身/下身、手和躯干都具有固定的模式。因此，部件检测特征A可具有头部模式、脸部模式、上身/下身模式、手模式、躯干模式。颜色特征B可包括皮肤颜色、手套颜色、长袜颜色、目标主体上的显著颜色补丁。FG提取特征C可包括帧差、背景(BG)消减、目标轮廓、边缘特征。形状提取特征D可包括：棍形、圆形、四方形、柱形。对于本领域技术人员很明显的是，可以具有更多或较少的特征类别。另外，可根据需要更新特征类别。

图4示出示出了根据本发明实施例的姿态估计中用于非刚体部位检测的特征数据库中包含的特征类别。人体的非刚体部件通常包括人的胳膊和腿。在本实施例中，用于非刚体部位检测的特征数据库可包括凹凸度特征(CDF)和U类型深度特征(UDF)两种深度特征类别以及颜色特征类别。由于颜色特征能适应人体的非刚体部件(例如，胳膊、腿)的变形，对于非刚体部件来说同样适用。因此，颜色特征类别与用于非刚体部件检测中使用的颜色特征类别相同。深度特征类别中的CDF特征描述区域的深度梯度。非刚体部件(例如，上臂和手)通常具有较高的凹凸度，这是因为在手和上臂周围的凹凸度更强。因此，可将凹凸度特征作为检测手和手臂的可靠特征。同样，由于手臂与周围区域的深度波动沿着手臂的垂直方向呈现U形，因此，也可将UDF特征作为检测非刚体部件的特征。

继续参照回到图5。接下来，在步骤520，根据所述至少一个特征组的有效性指示参数对所述至少一个特征组进行评估，以选择显著特征集合。有效性指示参数的示例例如为检测率、误检率、虚警率。当特征组的有效性指示参数大于预设的阈值时，该特征组被选定作为显著特征集合。例如，在形状特征评估的过程中，可以用椭圆形状来逼近人体的头部，可以用梯形圆台来逼近人体的躯干，用梯形逼近胳膊、腿部，从而可以用一定的轮廓曲线来逼近人体。假设待检测目标(或目标部件)区域的像素个数为X，实际检测到的正确的像素个数为M，不正确的像素个数为K，则检测率为M/X，误检率为K/(M+K)。如果检测率或误检率的值大于预定阈值，则确定该组形状特征属于显著特征集合。

然后，在步骤530，基于显著特征集合对输入的图像执行特征检测，确定输入的图像中是否存在显著特征集合中的特征，以获得输入图像的显著特征检测结果。因此，需要姿态分析模块220基于获得的用于姿态推算的显著特征检测结果来执行推算处理。另外，对于不同的场景图像或视频中的不同的目标，通常具有不同的显著特征集合。因此，每当目标改变时，需要重新测试和选择对于不同的目标的显著特征集合。

最后，在步骤540，根据显著特征检测结果执行姿态估计。具体地，姿态分析模块220通过组合对于每个目标部分/部件的显著特征检测结果来产生姿态假设。姿态分析模块220对每种姿态假设组合进行评估，从而验证其作为可能的目标姿态的概率。在评估完每个姿态假设组合之后，姿态分析模块220最后决定哪种姿态假设组合具有成为期望的目标姿态的最高的概率。对于本领域的技术人员来说，可以采用各种方法来推算目标姿态。例如，推算方法可以是在[Hu Z L，ICIP2010]、[Z.W.Tu，PAMI2002]的论文中描述的方法，但本发明不限于此。

通过以上处理得到了姿态估计结果，从而可以得到给定的关键关节点的坐标位置。由于在感测到的深度图像数据中存在很强的噪声，因此人体的部件的形状会出现失真。因此，有必要对输入的深度数据进行噪声抑制。接下来，参照图2和图6来说明噪声抑制模块230对输入的深度图像数据进行噪声抑制处理。

图6示出根据本发明实施例的噪声抑制过程的流程图。首先，在步骤610，噪声抑制模块230基于姿态估计的结果，按照给定的关节点将人体划分成若干部件并对划分的部件进行三维(3D)面拟合。例如，根据肩部关节和肘部关节的位置将手臂划分为前臂部件和后臂部件，并用预定数量的点在平面上拟合前臂和后臂部件的模型。通常可以用圆柱体或椭球体来作为手臂部分的模型，用于拟合的点分布于部件的表面上，从而形成一个3D面。常用的关节点的位置包括：头部中心、手腕和手指、肘部、肩部、锁骨、脊柱、骨盆、脚部、脚踝、膝盖等。这里，可以使用标准的随机抽样一致(RANSAC)算法来构建一个最优的拟合3D面。该拟合的3D面可被表示为以下的等式(1)：

Ax+By+Cz＝D    (1)

接下来，在得到表示部件的表面的拟合3D面之后，在步骤620，噪声抑制模块230可基于该拟合的3D面来修正图像中的点相对于拍摄相机的空间坐标参数，从而修正了深度图像中的失真，抑制了图像数据的噪声。在本发明的实施例中，利用以下的等式(2)来执行修正：

t＝D/(Ax’+By’+Cz’)

x”＝x’·t

y”＝y’·t    (2)

z”＝z’·t

其中，其中，x’、y’、z’表示输入图像中的点的原有的三维空间坐标，x”、y”、z”表示修正后的点的三维空间坐标。

下面参照图7来说明根据本发明实施例的计算人体形状参数的过程。通常，对于人体形状参数的计算有两种不同的需求。一种是计算密集的人体形状参数，另一种是计算稀疏的人体形状参数。密集的人体形状参数计算要求密集地测量每个人体部件的分片，其中，人体部件被表示为圆柱体或椭球体。而稀疏的人体形状参数计算只要求粗略的尺寸参数，例如，每个部件的半径和长度。稀疏的人体形状参数计算比较简单，仅需要计算特定的点的坐标就可以得到。如果是要求计算密集形状参数，则形状参数计算模块240首先将经过噪声抑制处理后而形成的人体部件均匀地划分为预定数量的分片(步骤710)。接下来，在步骤720，形状参数计算模块240基于每个分片上的点的坐标来计算每个分片以及整个部件的形状参数。例如，如果以椭球体来表示某一人体部件，则可以计算椭球体的每个分片的长短轴的长度、椭球体的整个长度等参数。最后，在步骤730，可以将计算的形状参数生成为参数列表，从而方便用户在与人体形状参数计算装置连接的显示装置上显示，或者在相应的应用中使用。

图8到图9示出的是应用了根据本发明的人体形状参数测量系统的示例。图8示出的是本发明应用于个人图像设计的示例装置。该示例装置例如可以是带有摄像头的手机。手机通过摄像头捕捉人体的图像数据，并利用人体形状参数测量装置分析人体的姿态，计算密集的人体形状参数，并在显示屏幕上显示捕捉的图像以及测量的结果。测量的结果例如可用于人体的雕塑等具有精确的人体形状的场合。手机还可以将测量的结果发送到远程装置以进行进一步的应用或处理。图9示出的是本发明应用于服装定制和家具定制的示例。根据本发明的人体形状参数测量系统可以是具有摄像头的机顶盒或高清电视。机顶盒或高清电视从内嵌或者外置的摄像头接收图像数据，计算稀疏的人体形状参数，例如，身高、腰围、手臂和腿的长度等，并在显示设备上显示拍摄的图像数据以及测量的结果。还可以通过诸如有线网络或无线网络将图像数据和测量的参数发送到远程装置，从而可以对方可以根据测量的参数定制合适的服装以及适合人体的家具。

本申请说明书以人作为实例来说明人体形状参数的测量方案。然而，本发明的方法不局限于人的形状参数的测量。本领域的技术人员可以理解，以上描述的形状参数测量方法和系统可以应用于其它刚体目标、非刚体目标、由刚体部件和非刚体部件混合组成的目标的测量。

虽然已经参照本发明的若干示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离权利要求及其等同物限定的本发明的精神和范围的情况下，可以在形式和细节上做出各种改变。

Claims (13)

1.一种人体形状参数计算装置，包括：

输入接口模块，用于从人体形状参数计算装置的外部接收图像数据；

姿态估计模块，检测图像数据中的人体的人体部件以估算人体姿态；

噪声抑制模块，基于估算的人体姿态的关节点划分人体部件，形成人体部件的三维面并修正人体部件的三维面的点的空间坐标参数；

形状参数计算模块，基于噪声抑制模块修正的三维面的点的空间坐标参数来计算人体形状参数。

2.如权利要求1所述的人体形状参数计算装置，其中，所述图像数据包括深度图像数据。

3.如权利要求1所述的人体形状参数计算装置，其中，形状参数计算模块将人体部件的三维面划分为多个分片并计算每个分片的形状参数。

4.如权利要求1所述的人体形状参数计算装置，其中，噪声抑制模块使用随机抽样一致RANSAC算法来构建人体部件的三维面。

5.如权利要求1所述的人体形状参数计算装置，其中，姿态估计模块基于刚体特征数据库和非刚体特征数据库来分别检测人体的刚体部件和非刚体部件。

6.如权利要求5所述的人体形状参数计算装置，其中，刚体特征数据库的特征类别包括部件检测特征、颜色特征、前景提取特征和形状提取特征，非刚体特征数据库的特征类别包括凹凸度特征CDF和U型深度特征UDF。

7.一种人体形状参数计算方法，包括以下步骤：

(a)接收图像数据；

(b)检测接收的图像数据中的人体的人体部件并估算人体姿态；

(c)基于估算的人体姿态的关节点划分人体部件，并形成人体部件的三维面以修正人体部件的三维面的点的空间坐标参数；

(d)基于修正的空间坐标参数来计算人体形状参数。

8.如权利要求7所述的人体形状参数计算方法，其中，所述步骤(d)包括：将人体部件的三维面划分为多个分片并计算每个分片的形状参数。

9.如权利要求7所述的人体形状参数计算方法，其中，在步骤(c)中，使用随机抽样一致RANSAC算法来构建人体部件的三维面。

10.如权利要求7所述的人体形状参数计算方法，其中，在步骤(c)中，基于刚体特征数据库和非刚体特征数据库来分别检测人体的刚体部件和非刚体部件。

11.如权利要求10所述的人体形状参数计算方法，其中，刚体特征数据库的特征类别包括部件检测特征、颜色特征、前景提取特征和形状提取特征，非刚体特征数据库的特征类别包括凹凸度特征CDF和U形深度特征UDF。

12.一种用于自动测量人体形状参数的系统，包括：

图像获取装置，捕捉将被测量的人体的视频或图像，并将捕捉的视频或图像转换为图像数据；

人体形状参数计算装置，从图像获取装置接收图像数据，检测图像数据中的人体的人体部件并估算人体姿态，基于估算的人体姿态的关节点划分人体部件，形成人体部件的三维面并修正人体部件的三维面的点的空间坐标参数，并基于噪声抑制模块修正的三维面的点的空间坐标参数来计算人体形状参数。

13.如权利要求12所述的系统，还包括：

显示装置，用于显示图像获取装置捕捉的图像数据或人体形状参数计算装置计算的人体形状参数；

通信模块，将图像获取装置捕捉的图像数据或人体形状参数计算装置计算的人体形状参数传输到外部的远程装置。

Images