CN101715581B - 体积识别方法和系统 - Google Patents

Abstract

本发明涉及体积识别方法，其包括以下步骤：a)使用3D成像系统(3)来捕获三维图像数据，其中，所述图像数据呈现出多个点(5)，每个点(5)具有在三维空间中的至少一组坐标；b)将所述点(5)中的至少一些点群组化为一组丛集(6)；c)根据诸如位置和尺寸的第一组参数来选择与位于所述成像系统(3)的范围内的目标对象(1)对应的丛集(6)；d)根据包括所述点(5)在所述三维空间中的位置的第二组参数，来将所选择的丛集(6)的点(5)中的至少一些点群组化为一组子丛集，其中，每个子丛集在所述三维空间中具有形心(11)；以及e)将体积(12)与至少一些所述子丛集中的每一个相关联，其中，所述体积(12)被固定到所述子丛集的形心(11)。本发明还涉及用于执行上述方法的体积识别系统。

Description

体积识别方法和系统

技术领域

本发明涉及体积识别方法和系统，特别是与数据处理装置互动交互的体积识别方法和系统，但不局限于此。

背景技术

与数据处理系统的交互，且特别是数据与指令的输入，是一般性的习知议题。传统上，这种交互会通过实体输入装置，例如键盘、鼠标、滚轮、笔、触摸屏、操纵杆、游戏键盘等等，以响应使用者对于它们所进行的实体动作而产生信号。然而，此种实体输入装置具有许多缺点。例如，他们仅能提供有限的不同输入信号量，在某些应用，例如三维“虚拟现实”环境中，会让人觉得不自然且缺乏真实感。此外，这些装置很容易受到磨损的影响，且这些装置的持续使用可能甚至会对使用者的健康造成负面的影响，例如重复性的拉伤(repetitive strain injury)。

也已知道有替代性的输入装置及方法。例如，针对语音识别的实用系统可供使用。然而，对某些应用而言，例如需要使用者快速、精确且反复输入的动作游戏，语音识别并非实用的选择方案。此外，其效果很不幸地会受到背景噪声的影响，而且其通常需要学习时段来识别特定使用者的语音命令。另外的选择方案是图像识别。在其最简单的形式中，图像识别系统能以对比色彩来识别二进制图样，例如条形码，且将这些图样转换成用于处理的二进制信号。较高级的图像识别系统能够识别图像中更复杂的图样，且在响应时产生非常多样的信号。例如，美国专利US 6256033已经提出了这种图像识别系统，用于在成像系统的范围内识别使用者的姿态。然而，传统的成像系统对于深度不具有识别力，且仅能产生该使用者的2D投影。其结果是，使得使用者的姿态的识别在本质上就有缺陷，受限于可行的输入的范围，且充斥着可能的识别错误。特别是这些系统会有使使用者与其背景分离的问题。

然而，3D成像系统的发展提供了发展形状识别方法及装置的可能性，允许例如，更好的使用者姿态识别。在G.Yahav、G.J.Iddam与D.Mandelboum的“3D Imaging Camera for Gaming Application”中公开了一种这样的3D成像系统。在此论文中公开的该3D成像系统就是所谓的“飞行时间式(Time-Of-Flight)”或TOF型，其能够从位于前述3D成像系统的范围内的对象所反射的光的波前(wavefront)的形状来获得深度感知。然而，例如立体照相机(stereo camera)、激光雷达(LIDAR)、雷达、声纳等等也已经提出了其它种类的成像系统。

使用这种3D成像系统的姿态识别方法及系统已被公开在国际专利申请案WO 00/30023A1中。然而，因为此方法本身不会识别体积，而是仅能反映出在某个目标区域中的对象的点是否存在以及在区域中的移动，其仅能识别最简单的姿态，且在更复杂的应用方面依然不适用。在WO2004/064022A1中，公开了更基本的输入方法。

美国专利申请案公开案US 2006/023558A1公开了一种使用3D成像系统的形状识别方法。在此方法中，根据所见的深度来将前述3D图像的点群组化为丛集(cluster)或“块(blob)”。然后，使预先定义的对象的不同形状的基元(primitive)可以和这些“块(blob)”相关联。当此体积识别方法允许对在前述3D成像系统的范围内的对象进行更精确的建模时，其仍然会有明显的缺点。当在前述图像中的所有对象被分配成一个“块(blob)”时，其数量及复杂度将会受限于可用的数据处理能力。实际上，这会将此形状识别方法限制于仅需要对象的低阶模型的应用，例如车辆撞击警示及回避系统。在需要较精密的体积识别的应用中，例如姿态识别系统，前案依旧是不实用的。

美国专利申请公开案US 2003/0113018A1以及国际专利申请案WO03/071410A2两者皆公开了更适合用于姿态识别的形状识别方法。

在US 2003/0113018A1所公开的方法中，使用者是最接近前述3D成像系统的对象，且欲略过背景，则选择出比预定深度阈值更接近的前述3D图像的点。然后，根据数个不同的基准及群组化算法，前述被选择的点会被群组化为呈现前述躯干、头部、臂部、手部的五个丛集。然后，使前述躯干和臂部与平面形状相关，且使前述头部和手部与三维体积相关。当此方法容许更高级的姿态识别时，前述体积识别会保持较低阶，尤其是前述躯干及臂部被识别为平面状，而非三维元素。

在WO 03/071410A2所公开的方法中，公开了一种体积识别方法，其中根据所见3D图像的点的深度来将前述3D图像的点群组化为丛集，如同在US 2006/023558A1中，选择代表目标对象(例如手部)的这些丛集中的一个。然后，藉由该被选择的丛集的点的特征的统计分析及与预先建立的图样之间的比较来识别姿态。虽然比起上述的其它现有技术，此方法更为有力，但针对无缝整合识别(seamless recognition)时，其将会需要相当可观的图样库。

发明内容

因此，本发明所解决的问题在于提供一种方法及系统，能够快速地以较精密且细致的方式，来识别位于3D成像系统的范围内的目标对象的体积，因而最后能够通过姿态识别来与数据处理系统进行较简单且较精确的交互。

本发明的体积识别方法通过以下步骤来解决这个问题：根据包含点在三维空间中的位置的第二组参数，来将根据诸如位置和尺寸的第一组参数选择的且与位于该成像系统的范围内的目标对象对应的丛集的至少一些点群组化为一组子丛集，其中，每个子丛集在三维空间中具有形心；以及将体积与至少一些该子丛集中的每一个相关联，其中，该体积被固定到该子丛集的形心。

通过这些步骤，本发明的体积识别方法提供了由与该子丛集相关联的体积所形成的前述目标对象的相当精确的三维模型，且不会占用庞大处理功率。尽管是在相当地精确时，依然能使用前述子丛集的形心的位置和相关联的体积的维度来表达此三维模型，因而针对与数据处理系统的交互来促进前述三维模型的进一步处理，例如通过姿态识别。

另外有利的是，可以使用K-means算法来将前述被选择的丛集的点群组化为预定数目为K的子丛集。使用K-means算法提供了一种能够快速且有效地将前述点群组化为预定数目的子丛集的方法。

有利的是，与子丛集相关联的前述体积是球体，优选地以该子丛集的形心为中心。在容许良好的体积识别时，能够使用半径作为唯一的参数来表达此形状的特征，因而进一步减少表达前述目标对象的三维模型的数据集合的大小。

另外有利的是，可根据包括以下步骤的方法来执行将点群组化为丛集：

a)创建包含第一点的第一丛集；以及

b)对每个其它点执行以下操作：

i)在三维空间中寻找形心最接近于所述其它点的丛集；以及

ii)如果在所述三维空间中在所述其它点和所述最接近的丛集的形心之间的绝对距离高于预定阈值θ，并且丛集的数量仍然低于预定最大值q时，则创建包含所述其它点的额外丛集；或者

iii)如果所述绝对距离不高于所述预定阈值θ，或者丛集(6)的数量已经达到所述预定最大值q时，则将所述其它点增加到形心最接近于所述其它点的所述丛集。

此方法确保将图像数据的点群组化为一组丛集的快速且有效的方法，每个丛集对应于在三维空间中的不同的对象(包括前述目标对象)。比起在现有技术中根据深度而进行简易选择，通过根据点在三维空间中的位置来将点群组化，能更可靠地区分在三维图像中所呈现的对象。即使在追踪区域(tracking area)中存在有数个候选者，最后也能选出与前述目标对象对应的丛集。

特别有利的是，将点群组化为丛集的动作还可包括以下步骤：判定所述丛集中的两个丛集是否连接；以及合并连接的丛集。这将会避免将前述目标对象的点群组化为数个丛集的潜在问题，在该数个丛集中仅会选择一个丛集。

更加有利的是，要判定所述丛集中的两个丛集是否连接时，可依循以下步骤：

a)计算所述两个丛集中的每一个的点沿着轴的投影的分布的标准偏移，其中，所述轴链接所述两个丛集的形心；以及

b)检查已乘上预定因子S(例如为2)的所述标准偏移的总和是否高于在所述两个丛集的形心之间的绝对距离。

通过这些步骤，可以执行在相邻丛集之间的高效率的连接判定，以便最后合并连接的丛集。

有利的是，该成像系统可包括飞行时间式3D照相机、立体照相机、在三维空间中位于不同位置的多个照相机、或激光雷达、声纳或雷达系统。这些成像系统中的任何一个可提供适用于体积识别的三维图像数据。

有利的是，该成像系统可包括至少每个点的深度、天顶角及方位角，且还包括将这些点中的至少一些点的深度、天顶角及方位角转换成三维笛卡儿坐标的步骤。这会允许在此体积识别方法中更容易处理3D成像系统所提供的深度图像。

有利的是，该目标对象可以是人类身体的至少一部分，优选为站姿。这将会使人类使用者能够使用其身体的至少一部分来与数据处理装置进行交互。

特别有利的是，该方法还可包括计算该身体的躯干的近似质心与主轴的步骤。由于使用者的躯干的位置、定向与移动对与数据处理系统交互(例如“虚拟现实”应用)特别有用，因此忽略任何伸展的四肢的位置与动作而计算躯干的近似质心与主轴会是特别有益的。

更加有利的是，可通过执行以下步骤来计算前述躯干的近似质心与主轴：

a)计算所选择的丛集的形心和主轴；

b)计算所选择的丛集的点相对于所选择的丛集的所述主轴的距离的分布曲线；

c)计算所述分布曲线中的转折点；

d)选择相对于所选择的丛集的所述主轴的距离低于D·s的点，其中，s是所述转折点到所选择的丛集的所述主轴的距离，并且D是不超过1.25的因子，优选为不超过1；以及

e)计算所述躯干的质心和主轴，来作为所选择的点的形心及主轴。

因为在与人体对应的丛集中，通常与任何伸展的四肢对应的点会与点密度最大的区域(其对应于前述躯干)明确地分离，此步骤将会在计算前述躯干的近似质心与主轴时，扣除与伸展的四肢对应的点。

特别有利的是，可根据该躯干的质心的位置和/或其主轴和/或该躯干的主轴的定向，来将信号传送至数据处理系统。如上所述，这将会允许使用者与例如“虚拟现实”应用进行特别自然的交互。

特别有利的是，该方法还可包括测量身体的高度的步骤。

更加有利的是，可以通过以下步骤来获得身体高度的特别精确的测量：计算在所选择的丛集的点中与所述躯干的主轴的距离比预定距离更近的那些点的高度；对所述高度进行过滤，优选为使用中值过滤；以及在过滤后选择所述高度的最大值。通常以这些步骤所获得的高度测量将不会因任何伸长的臂部的位置而受影响，所以其能够可靠地被用在例如确定使用者头部的位置的处理。

更加有利的是，仅当满足一组条件时所述身体的高度测量才会被认为有效，所述条件例如所述躯干的主轴是实质直立的。

有利的是，与所述一组子丛集相关联的体积可呈现在由数据处理系统所产生的虚拟环境中，这允许以较低的处理耗能，在选定的虚拟环境中产生目标对象的较真实的表征(representation)。若该使用者的身体就是前述目标对象，则前述体积可作为例如使用者的化身。

更加有利的是，在所述一组子丛集的体积的表征和该虚拟环境的一组元素之间，会有碰撞的检查，以便与虚拟环境的该一组元素进行交互。因此，使用者可通过移动来，例如推动、抓握、启动或拉动虚拟环境的元素，使得该表征会触碰到该元素。

有利的是，可使用基准，例如，在前述子丛集的形心之间的绝对距离、在子丛集之间的点的存在等等，来建立子丛集之间的链接的集合。以此方式，可以识别目标对象的潜在结构，因而以更少的数据集合来促进最终的交互，且可创造目标对象的精确三维模型。

更加有利的是，根据该链接可以识别该目标对象的四肢的集合。因此，可将不同的信号分配给四肢的移动或位置，或者甚至分配给在四肢之间的相对移动或位置，因而提升利用此体积识别方法的输入接口的多用途性。

更加有利的是，根据预定图样，例如人体的图样，来标示四肢中的至少一个。因此，可将不同的信号分配给不同四肢的移动或位置，因而进一步提升利用此体积识别方法的输入接口的多用途性。

更加有利的是，可根据四肢中的至少一个的绝对和/或相对位置和/或移动，来将信号传送至数据处理系统。这会提供特别多用途的交互方式。

本发明也涉及一种体积识别系统，其包含：成像系统，其用于捕获呈现多个点的三维图像数据，每个点具有在三维空间中的至少一组坐标，并且所述点中的至少一些点对应于位于所述成像系统的范围内的目标对象；以及数据处理系统，其连接到所述成像系统，且被编程为与所述成像系统协作执行本发明的体积识别方法。

以下将参照附图，以例示方式来说明本发明的数个较佳实施例，但并不局限于此。

附图说明

图1示出了一个房间，一位使用者站在3D成像系统前方，此成像系统使用根据本发明的实施例的体积识别系统及方法来与数据处理系统交互；

图2是以在三维空间中所散布的点的形式，来示出由前述3D成像系统所捕捉的同一个房间的三维图像数据；

图3示出了点如何根据它们的各自位置来群组化为丛集；

图4示出了相邻的丛集如何检查连接关系；

图5示出了图2的相同的三维图像数据，其中前述点已经被群组化为丛集，该丛集中的一个对应于使用者；

图6a示出了与使用者对应的丛集中的150个子丛集的形心(centroid)；

图6b示出了150个球体，每一个的中心都分别对准图6a的形心中的一个；

图6c示出了在虚拟环境中呈现使用者的图6b的150个球体；

图7a示出了与使用者对应的前述丛集的25个子丛集的形心；

图7b示出了链接图7a的形心的网络；

图7c示出了根据图7b的网络的虚拟身体结构；

图7d示出了根据图7c的虚拟身体结构的使用者的虚拟化身(avatar)；

图8a示出了伸出右臂的使用者、呈现使用者的丛集的形心与主轴、以及使用者的躯干的质心与主轴；

图8b示出了图8a中的点的分布曲线；

图9示出了处于初始位置的使用者，其张开手臂面对数据处理装置的屏幕。

具体实施方式

图1中说明了前述体积识别方法及系统的实施例的可能使用中的一种。在此应用中，此系统及方法被用来识别目标对象的姿态，在此情况中则是一位人类使用者1，为了与产生显示给前述人类使用者1的虚拟环境的数据处理装置2交互。

前述体积识别系统包含3D成像系统，在此特定实施例中是飞行时间式(Time-of-flight，TOF)3D照相机3。此TOF 3D照相机3连接到欲与前述人类使用者1交互的前述数据处理装置2。在此实施例中，该数据处理装置2本身被编程来与前述TOF 3D照相机3协作来执行本发明的体积识别方法。或者是，可将被编程来执行该方法且独立的数据处理装置连接在前述TOF 3D照相机及前述数据处理装置2之间，从而使前述人类使用者能与该数据处理装置2交互。

前述TOF 3D照相机3会捕获前述人类使用者1立于其中的房间4的3D图像数据，其包含具有多个像素的房间的2D图像以及各个像素的深度值，该各个像素的深度值对应于该像素所成像的点到前述TOF 3D照相机3的距离。由于前述2D图像中的像素的X及Y位置本身对应于关于前述TOF3D照相机3的它们表示的前述点的天顶角与方位角，所以在图2中，能够以与前述TOF 3D照相机3的范围内的对象的可视点对应的三维点云(cloudof points)来说明这些3D图像数据。为了减轻处理的负担，可将关于前述TOF 3D照相机3的各个点5的深度、前述天顶角及方位角转换成笛卡儿坐标。

在本发明的体积识别方法的下个步骤中，这些点5会被群组化为丛集6。丛集6将包含相邻的点5，如图3所示。采用例如1998年由Academic Press发行的，Sergios Theodoridis、Konstantinos Koutroumbas及Ricky Smith所著的“Pattern Recognition”的第12章所描述的BSAS算法来执行此丛集动作，其具有速度上的优势，且将能够以单一过程来执行此丛集动作，不需要反复进行多次来获得适当的结果。

为执行此丛集动作，创造出包含第一个点5的第一丛集6，然后针对每个其它点5执行以下操作：

i)在三维空间中，找出丛集的形心7最接近该其它点5的丛集6；以及

ii)若在该其它点5与该最接近的丛集的形心7之间的三维空间中的绝对距离大于预定的阈值θ，且丛集6的数量仍旧低于预定的最大值q时，则创造出包含该其它点5的额外丛集6；或

iii)若在该绝对距离不大于预定的阈值θ时，或者丛集的数量已经到达预定的最大值q时，就将该其它点5增加至丛集的形心7最接近该其它点5的丛集6。

此丛集动作的步骤将会产生包含这些点5的多个丛集6。然而，使用此算法可能会造成数个前述丛集6被实质连接。为了正确地将前述点5群组化，将会侦测并合并这种连接的丛集6，如同图4所示。

为了判定两个丛集6是否被连接，这两个丛集6的点5首先被投影在链接前述两个丛集6的形心7的轴8上。然后，针对前述各个丛集6，计算沿着前述轴8所产生的投影的分布的标准偏移(standard deviation)。若发现这些乘上预定因子S(在此特定实施例中是2)的标准偏移的总和大于在前述两个丛集6的形心7之间的绝对距离，则判定前述两个丛集6将会被连接在一起。在此情况下，前述两个丛集6将会被合并而形成为单个丛集。

此丛集及合并动作的结果将会是大略呈现在前述TOF 3D照相机3的范围中的各种对象的丛集6的集合，如图5所示。在这些丛集6当中，其中一个代表前述人类使用者1。能以各种手段来识别这个代表前述人类使用者1的丛集6。例如，若丛集6位于前述人类使用者1应站立并与前述数据处理装置2交互的确定的追踪区域中，且若该丛集6包含点5的最小数量，则该丛集6将会被辨识为代表前述人类使用者。若数个丛集6皆满足这些基准，则选择最接近前述TOF 3D照相机3的丛集6来代表前述人类使用者1。用于识别代表前述人类使用者1的丛集6的其它基准可以是该丛集的点5的分布符合与人体一致的预定图样(pattern)。例如，若在最初程序中，如第9图所示，前述人类使用者1张开手臂而站立，代表前述人类使用者1的丛集6的点5将会根据特征与容易识别的图样而分布。当前述TOF 3D照相机3是一个在连续时段中捕获一系列3D图像数据帧的动画照相机时，用以识别与前述人类使用者1对应的丛集6的其它可行基准可以是近似于在先前的帧中被识别为代表前述人类使用者1的丛集6。以此方式，例如，即使在使用者摆出较不易识别出人型的姿势以后或即使在其它人进入到追踪区域以后，前述体积识别系统还是可以持续追踪在前述最初程序期间如上述所首先识别出的人类使用者1。

因此，可以通过以下来与前述数据处理装置2进行交互，例如：

·人类使用者1是否位于前述TOF 3D照相机3的范围内；

·丛集6的数量可被辨识为与人类使用者1对应；和/或

·前述房间4的一般布置。

前述人类使用者1也可以通过代表前述人类使用者1的前述丛集6的特性来与前述数据处理装置2进行交互，例如：

·至少部分的前述丛集6的对称性；

·至少部分的前述丛集6在空间中的分布；

·在至少部分的前述丛集6中的点5的散布；

·至少部分的前述丛集6的形心7；和/或

·至少部分的前述丛集6的主轴。

一旦代表前述人类使用者1的丛集6被识别，则其会被细分为K个子丛集的集合。使用K-means算法来将前述丛集6的点5群组化为这些K个子丛集。

将前述点5划分成K个初始子丛集，由此开始前述K-means算法。然后，计算每个初始子丛集的形心11。虽然可使用额外的参数，例如色彩，但通过使每个点5与在三维空间中最接近的形心11相关联，而建构出K个子丛集的新划分(partition)。然后，会针对新的子丛集来重新计算形心11。可以重复此处理，直到前述点5不再变换子丛集，或直到前述形心11的位置稳定下来。实际上，只要单个重复动作就可达到良好的结果。

在第一实施例中，以随机方式或根据前述丛集6的某些参数(例如，前述丛集6的高度或点5在前述丛集6中的分布)来确定前述K个初始子丛集，且K是一个较大的数字，例如150。然后，使用此K-means算法会产生一个包含150个子丛集的集合，每个子丛集具有形心11，如图6a所示。然后，使预定半径的球体12与前述150个子丛集中的每一个相关联，产生前述人类使用者1的模型13，如图6b所示。此模型13以高精度呈现出前述人类使用者1所占用的体积。

图6c表示了在由前述数据处理装置2所产生的虚拟环境中所呈现的模型13。然后，前述人类使用者1，能够通过在前述虚拟环境中球体12的呈现和前述虚拟环境的元素14之间的简单的碰撞和/或接近的检查，与此虚拟环境的元素14进行交互。因此，前述人类使用者1也能够通过以下来与前述数据处理装置2进行交互，例如：

·至少一个球体12的表征与由前述数据处理装置2所产生的虚拟环境的至少一个元素14在一个或数个维度中的碰撞或接近，其中该元素14可以是点状、一维、二维或三维状；

·至少一个球体12的表征与在由前述数据处理装置2所产生的虚拟环境中的人类使用者1的实际环境的至少一个真实对象的表征在一个或数个维度中的碰撞或接近；

·前述子丛集的一个或数个形心11的位置和/或移动；和/或

·由与至少一个子丛集(例如形心呈现出实质移动的子丛集)关联的前述球体12所形成的体积的位置、移动和/或形状。

在第二实施例中，分析与前述人类使用者1对应的丛集6的形状，以取得前述人类使用者1的身体的特征，例如质心、一般定向、头部的位置、肩膀的位置与定向以及高度。当能够从整个丛集6的点5中计算出这些特征中的数个时，例如质心或一般定向，其结果将会大幅受到前述人类使用者1的臂部15的位置的影响，如图8a所示，其中，呈现伸出右臂15的人类使用者1的丛集6的形心7及主轴16会呈现出与前述人类使用者1的身体重叠。因此，在此特定实施例中，首先会分辨出与前述臂部15对应的点5且加以扣除，因而能够计算前述人类使用者1的躯干19的质心17及主轴18，其中，我们了解到除了前述臂部15以外的使用者1的整个身体，就作为躯干19。为了达成此目的，会执行以下步骤：

a)计算该被选择的丛集6的形心7及主轴16；

b)如图8b所示，计算前述被选择的丛集6的点5相对于该主轴16的距离的分布曲线20；

c)计算在该分布曲线20中的转折点21；

d)选择相对于前述被选择的丛集6的主轴16的距离低于D·s的点5’，其中s是该转折点21至前述被选择的丛集6的主轴16的距离，且D是不超过1.5，较佳为不超过1.25的因子；以及

e)计算前述躯干1的质心17与主轴18，以作为被选择的点5的集合的形心与主轴。

可以重复地执行此处理，但通常只要单个过程就已经达到良好的结果。

能够利用由颈部25和肩膀26所形成的特征角度24来辨认头部22与肩膀26在前述丛集6中的位置。也能从前述两个肩膀26的位置来推测肩膀的定向。在图9所示的最初程序中，前述人类使用者1会被要求面对输出显示屏幕，使得前述肩膀26的定向会被认定是平行于前述输出显示屏幕的定向，其将提供以后会用到的参考值。因此，此最初程序能够提供针对前述输出显示屏幕的定向的至少一个参考值，以及针对前述人类使用者1的初始位置相对于前述TOF 3D照相机3的参考值。前述人类使用者1与前述数据处理装置2的一些稍后的交互会与前述人类使用者1的至少一部分与该初始位置的相对位置有所关联。

也仅使用前述被选择的点5来计算前述人类使用者1的高度。为了更佳的精确度，则执行前述被选择的点5的平均过滤(mean filtering)，最高的剩余的被选择的点5的高度会被认定是前述人类使用者1的高度。只有在满足一组条件，例如前述躯干19的主轴18是实质直立，或者最高的剩余的被选择的点5位于被认为是代表前述头部22的丛集6的区域中或是在该区域附近时，此高度测量才会被认定为有效。

若前述TOF 3D照相机3是动画照相机，针对数个帧的高度测量会被送至高斯混合模型(Gaussian mixture model)，因而考虑到可能的噪声及人类使用者1的暂时的低位置。具备拥有足够权重的前述最大平均值的高斯模型将会提供前述人类使用者1的高度的强健值(robust value)。

在第二实施例中，由分析前述丛集6的形状(例如前述躯干19的高度、质心17与主轴18，前述头部22的位置及前述肩膀26的位置与定向)而获得的前述参数可以被应用于利用前述K-means算法将前述丛集6划分成K个子丛集。例如，K个初始子丛集中的一个可包含被认为是与前述头部22对应的至少一些点5。因此，前述丛集6可被划分成较少的K个数目的子丛集，例如25，然而，其遵循与人体结构对应的图样。图7a表示了25个这种子丛集的形心11。

因此，可使用基准，例如，在前述子丛集的形心11之间的绝对距离、在子丛集之间的点5的存在等等，来判定哪些子丛集被连接。判定这些在子丛集之间的连接的目的在于产生在子丛集的形心11之间的链接28的网络27，如图7b所示。然后，从该网络27中能够推断哪些子丛集是来自四肢29，因为这些子丛集应该具有较少的与其它子丛集的链接28。

因此，前述人类使用者1将能够通过以下方式来与前述数据处理装置2进行交互，例如：

·前述质心17的位置和/或移动；

·前述主轴18的位置、定向和/或移动；

·前述肩膀26的位置、定向和/或移动；

·前述头部22的位置和/或移动；

·一个或数个四肢29的位置、定向、移动和/或形状。

绝对与相对位置和移动可以被应用于这些交互。例如，通过四肢29彼此间、相对于前述主轴18、肩膀26、头部22和/或可以是交互源的由前述数据处理装置2产生的虚拟环境的至少一个元素14的相对位置及移动，前述人类使用者1可以与前述数据处理装置2交互。

如第7c图所示，前述网络27可被用来产生遵循预定图样的结构28，例如人体的图样。因此，一般而言，四肢2不仅是被识别为四肢，还能够特别标示出是例如，右臂30或左腿31。这更增加了交互的可行性。其也允许产生大体积的虚拟化身32，如第7d图所示，以在虚拟环境中呈现人类使用者1。

所有上述的交互皆能够以分离或组合的方式来进行。亦即，例如，也能够执行两个前述实施例的处理，来允许人类使用者1同时通过150个球体12所占用的体积和通过其四肢29的相对移动来与前述数据处理装置2进行交互。

同样地，本发明的体积识别系统和方法能够单独使用或与其它使用者接口组合使用，该使用者接口适合与数据处理装置2进行通信，例如：开关、键盘、鼠标、轨迹球、手写板、触摸板、触摸屏、6-DOF外围设备、操纵杆、游戏键盘、动作追踪系统、眼球追踪装置、数据手套(data glove)、3D鼠标、语音识别、生物电传感器、神经元接口、跑步机、静态脚踏车、划船机或适合提供输入至数据处理装置2的任何其它传感器或接口。

可通过本发明的体积识别系统和方法而提供至数据处理装置2的命令及输入可以是：

·2D和/或3D导航，例如视点旋转、位移、定位和/或定向，以及其它视觉参数，例如透视、范围、色彩、曝光等等。

·接口组件导航，包含例如在菜单、列表、参数选项和/或输入字段中的导航。

·操纵，其包含例如虚拟化身控制、应用对象参数的控制，该参数例如位置、定向、位移、旋转、外观、形状和/或功能和/或系统参数的控制。

·触发，诸如，例如动作命令、参数变化命令和/或状态命令、动作命令的改变和/或改变应用对象的状态的命令、控制参数和/或其它的有效性。

·例如接口组件、应用对象、真实环境对象等等的选择。

·力输入，例如在物理性的模拟中。

·输出参数调整，例如，音量、应用对象的外观、应用对象的呈现。

前述数据处理装置2能够依序连接于各种输出装置中的任一个，如同例如：

·计算机输出装置，例如2D或3D显示装置、扬声器、耳机、打印机、触觉输出装置、送风机和/或背光照明。

·虚拟现实输出装置，例如虚拟现实眼镜、便携式显示装置、多重显示装置(例如Cave)，大型显示装置(例如Reality Center)、立体视觉银幕、力反馈装置、3D显示装置、烟雾机械和/或洒水装置。

·家庭自动化装置，例如百叶窗控制装置、加热控制装置和/或照明控制装置。

·家庭娱乐装置，例如电视和/或音乐系统。

·便携式装置，例如便携式音乐和/或视频播放器、定位系统、个人数字助理、可携式计算机和/或移动电话。

·其它可连接至数据处理装置2的装置，例如阀门、跑步机等等。

虽然已参照特定示例性实施例来说明了本发明，但很显然只要不悖离在权利要求书中所阐明的本发明的较广范围，就能够对这些实施例进行各种变更及修改。因此，前述说明书和附图应被认为是说明性的，而非限制性的。

Claims (27)

1.一种用于识别三维成像系统的范围内的目标对象的体积的方法，包括以下步骤：

a)使用所述三维成像系统(3)来捕获三维图像数据，其中，所述图像数据呈现出多个点(5)，每个点(5)具有在三维空间中的至少一组坐标；

b)将所述点(5)中的至少一些点群组化为一组丛集(6)；以及

c)根据第一组参数来选择与位于所述三维成像系统(3)的范围内的目标对象(1)对应的丛集(6)，其中所述第一组参数包括目标对象(1)的位置、形状和尺寸中的至少一项；

该方法的特征为还包括以下步骤：

d)根据包括所述点(5)在所述三维空间中的位置的第二组参数，来将所选择的丛集(6)的点(5)中的至少一些点群组化为一组子丛集，其中，每个子丛集在所述三维空间中具有形心(11)；以及

e)将体积(12)与至少一些所述子丛集中的每一个相关联，其中，所述体积(12)被固定到所述子丛集的形心(11)。

2.根据权利要求1所述的方法，其中，使用K-means算法来将所选择的丛集(6)的点群组化为预定数目为K个的子丛集。

3.根据权利要求1所述的方法，其中，与子丛集相关联的所述体积(12)是球体。

4.根据权利要求3所述的方法，其中，所述球体以所述子丛集的形心(11)为中心。

5.根据权利要求1所述的方法，其中，根据包括以下步骤的方法来执行将点(5)群组化为丛集(6)：

a)创建包含第一点(5)的第一丛集(6)；以及

b)对每个其它点(5)执行以下操作：

i)在所述三维空间中寻找形心(7)最接近于所述其它点的丛集(6)；以及

ii)如果在所述三维空间中在所述其它点(5)和所述最接近的丛集的形心(7)之间的绝对距离高于预定阈值θ，并且丛集(6)的数量仍然低于预定最大值q时，则创建包含所述其它点的额外丛集(6)；或者

iii)如果所述绝对距离不高于所述预定阈值θ，或者丛集(6)的数量已经达到所述预定最大值q时，则将所述其它点(5)增加到形心(7)最接近于所述其它点(5)的所述丛集(6)。

6.根据权利要求5所述的方法，其中，将点(5)群组化为丛集(6)还包括以下步骤：

a)判定所述丛集(6)中的两个丛集是否连接；以及

b)合并连接的丛集(6)。

7.根据权利要求6所述的方法，其中，判定所述丛集(6)中的两个丛集是否连接包括以下步骤：

a)计算所述两个丛集(6)中的每一个的点(5)沿着轴(8)的投影的分布的标准偏移，其中，所述轴(8)链接所述两个丛集(6)的形心(7)；以及

b)检查已乘上预定因子S的所述标准偏移的总和是否高于在所述两个丛集(6)的形心(7)之间的绝对距离。

8.根据权利要求1所述的方法，其中，所述三维成像系统(3)包括飞行时间式3D照相机、立体照相机、位于所述三维空间中的不同位置的多个照相机、或者激光雷达、声纳或雷达系统。

9.根据权利要求1所述的方法，其中，所述图像数据至少包括每个点(5)的深度、天顶角和方位角，并且所述方法还包括将这些点(5)中的至少一些点的深度、天顶角及方位角转换为三维笛卡儿坐标的步骤。

10.根据权利要求1所述的方法，其中，所述目标对象(1)是人类身体的至少一部分。

11.根据权利要求10所述的方法，其中，所述人类身体为站姿。

12.根据权利要求11所述的方法，还包括计算所述身体的躯干(19)的近似质心(17)和主轴(18)的步骤。

13.根据权利要求12所述的方法，其中，通过执行以下步骤来计算所述躯干(19)的所述近似质心(17)和主轴(18)：

a)计算所选择的丛集(6)的形心(7)和主轴(16)；

b)计算所选择的丛集(6)的点(5)相对于所选择的丛集(6)的所述主轴(16)的距离的分布曲线(20)；

c)计算所述分布曲线(20)中的转折点(21)；

d)选择相对于所选择的丛集(6)的所述主轴(16)的距离低于D?s的点(5)，其中，s是所述转折点(21)到所选择的丛集(6)的所述主轴(16)的距离，并且D是不超过1.25的因子；以及

e)计算所述躯干(19)的近似质心(17)和主轴(18)，来作为所选择的点(5)的形心及主轴。

14.根据权利要求13所述的方法，其中，所述因子不超过1。

15.根据权利要求12所述的方法，其中，根据所述躯干(19)的近似质心(17)的位置和/或其主轴(18)和/或所述躯干(1)的主轴(18)的定向，来将信号发送给数据处理系统(2)。

16.根据权利要求12所述的方法，还包括测量所述身体的高度的步骤。

17.根据权利要求16所述的方法，其中，通过以下步骤来测量所述身体的高度：计算在所选择的丛集(6)的点(5)中与所述躯干(19)的主轴(18)的距离比预定距离更近的那些点(5)的高度；对所述高度进行过滤；以及在过滤后选择所述高度的最大值。

18.根据权利要求17所述的方法，其中，如果所述躯干(19)的主轴(18)是实质直立的，所述身体的高度测量才会被认为有效。

19.根据权利要求17所述的方法，其中，如果最高的剩余的被选择的点(5)位于被认为是在代表头部的丛集(6)的区域中或是在该区域附近，所述身体的高度测量才会被认为有效。

20.根据权利要求1所述的方法，其中，在由数据处理系统(2)所产生的虚拟环境中呈现与所述一组子丛集相关联的所述体积(12)。

21.根据权利要求20所述的方法，其中，在所述一组子丛集的所述体积(12)的表征和所述虚拟环境的一组元素(14)之间，会有碰撞和/或接近的检查，以便与所述虚拟环境的所述一组元素(14)进行交互。

22.根据权利要求1所述的方法，其中，使用基准来建立在子丛集之间的一组链接(28)，所述基准包括在所述子丛集的形心(11)之间的绝对距离、以及在子丛集之间的点(5)的存在中的至少一项。

23.根据权利要求22所述的方法，其中，根据所述链接(28)来识别所述目标对象(1)的四肢(29)的集合。

24.根据权利要求23所述的方法，其中，根据预定图样来标示所述四肢(29)中的至少一个。

25.根据权利要求24所述的方法，其中，所述预定图样包括人类身体的图样。

26.根据权利要求24所述的方法，其中，根据所述四肢(29)中的至少一个的绝对和/或相对位置和/或移动，来将信号发送到数据处理系统(2)。

27.一种用于识别三维成像系统的范围内的目标对象的体积的设备，该设备包括：

使用所述三维成像系统(3)来捕获三维图像数据的装置，其中，所述图像数据呈现出多个点(5)，每个点(5)具有在三维空间中的至少一组坐标；

将所述点(5)中的至少一些点群组化为一组丛集(6)的装置；以及

根据第一组参数来选择与位于所述三维成像系统(3)的范围内的目标对象(1)对应的丛集(6)的装置，其中所述第一组参数包括目标对象(1)的位置、形状和尺寸中的至少一项；

该设备的特征为还包括：

根据包括所述点(5)在所述三维空间中的位置的第二组参数，来将所选择的丛集(6)的点(5)中的至少一些点群组化为一组子丛集的装置，其中，每个子丛集在所述三维空间中具有形心(11)；以及

将体积(12)与至少一些所述子丛集中的每一个相关联的装置，其中，所述体积(12)被固定到所述子丛集的形心(11)。