CN103006178B - 基于三维运动跟踪计算能量消耗的设备和方法 - Google Patents

Abstract

一种基于3D运动跟踪来计算能量消耗的设备和方法。该方法包括将分析对象的至少一个特定部位设定为基准点，分析预定时间的流逝之前和之后的该基准点，并且基于所分析的基准点确定该分析对象的能量消耗。

Description

基于三维运动跟踪计算能量消耗的设备和方法

技术领域

本公开一般涉及计算能量消耗的设备和方法。

背景技术

近来，通过近红外线（NIR）、数字照相机、网络摄像头和光学装置跟踪用户运动的方法已经广泛使用。例如，该方法被用作控制台游戏的新的交互方法。

分析运动中的用户的卡路里消耗量的传统方法可被分为两种。第一种方法是利用肺活量计和气体分析器测量并分析用户在运动呼吸期间的氧消耗和二氧化碳排放。第二种方法是将预定的卡路里消耗量输入到设备或软件中并且根据预定的时间或程序处理时间的流逝向用户提供卡路里信息。

然而，由于第一种方法利用由用户佩戴的昂贵的装备（例如，肺活量计或气体分析器）测量用户的卡路里消耗量，所以该方法可能难以应用于实际运动。

另外，由于第二种方法根据程序处理时间的流逝计算用户的卡路里消耗量，所以可能无法反映用户的实际运动量。

发明内容

为了解决上面讨论的现有技术的缺陷，首要目的是至少提供下面的优点。因此，本公开的目的是提供一种基于三维（3D）运动跟踪来计算能量消耗的设备和方法，其能够以非接触的方式计算反映用户的实际运动量的卡路里消耗量。

本公开的另一个目的是通过计算机视觉技术跟踪用户的3D运动，以分析每个身体区域的运动量并计算出准确的卡路里消耗量。

根据一实施方式，提供一种基于三维（3D）运动跟踪来计算能量消耗的方法。该方法包括选择分析对象的至少一个特定部位作为基准点，并且分析预定的时间流逝之前和之后的该基准点。该方法进一步包括基于所分析的基准点确定该分析对象的能量消耗。

根据另一个实施方式，提供一种基于三维（3D）运动跟踪来计算能量消耗的设备。该设备包括识别/检测模块，该识别/检测模块被配置为选择分析对象的至少一个特定部位作为基准点，并且分析在预定的时间流逝之前和之后的该基准点。该设备进一步包括卡路里计算单元，该卡路里计算单元被配置为基于所分析的基准点确定该分析对象的能量消耗。

根据本发明的另一个实施方式，提供一种基于三维（3D）运动跟踪来计算能量消耗的系统。该系统包括识别/检测模块，该识别/检测模块被配置为选择分析对象的至少一个特定部位作为基准点，并且分析预定的时间流逝之前和之后的该基准点。该系统进一步包括卡路里计算单元，该卡路里计算单元被配置为基于所分析的基准点确定该分析对象的能量消耗。该系统进一步包括3D光学模块，该3D光学模块被配置为以3D方式识别该分析对象。

在一优选实施方式中，该特定部位包括该分析对象的身体区域的至少一个关节。

在一优选实施方式中，该卡路里计算单元被配置为使用3D矢量比较并分析该分析对象运动之前的该基准点与预定的时间流逝之后的该基准点。

在一优选实施方式中，使用3D矢量对该分析对象运动之前的该基准点与预定的时间流逝之后的该基准点的比较和分析包括比较该基准点运动之前和之后的该分析对象的移动距离和角度。

在一优选实施方式中，该卡路里计算单元被配置为基于所分析的基准点确定该分析对象的速度和距离信息。

在一优选实施方式中，该卡路里计算单元被配置为使用3D光学模块技术。

一优选实施方式进一步包括存储单元，该存储单元被配置为存储实时计算出的卡路里累积信息。

在一优选实施方式中，识别/检测模块和该卡路里计算单元一起包含在该系统的控制单元中。

在对下面的具体实施方式进行详细描述之前，给出在本专利文献中使用的某些词汇和短语的定义是有益的：术语“包括”和“包含”及其派生词表示非限制性的包括；术语“或”是包含性的，表示和/或；术语“与…相关的”和“与其相关的”及其派生词可以表示包括、被包括在…内、包含、被包含在…内、连接到…或者与…相连、耦合到…或者与…耦合、可与…通信、与…合作、交替、并置、邻近、与…接界、具有、具有…属性等等；术语“控制器”表示控制至少一个操作的任何装置、系统或者其部件，这种装置可以用硬件、固件或软件或者这三者中的至少二者的某种组合来实现。应该指出的是，与任何具体的控制器相关的功能可以集中于或者分布于本地或远处。在本专利文献中提供某些词汇和短语的定义，本领域的普通技术人员应该理解，在许多情况下，即使不是大多数情况，也是在许多情况下，这种定义适用于这样定义的词汇和短语的以前和未来的使用。

附图说明

为了更完整地理解本公开及其优点，现在结合附图进行以下说明，在附图中相同的附图标记代表相同的部分：

图1A是示出可以在本公开中使用的用于3D深度提取的结构化光编码的方法的图；

图1B是示出可以在本公开中使用的用于3D深度提取的飞行(flight)时间的技术的结构图；

图2是示出根据相关技术的基于固定表格的卡路里消耗量计算方法的图；

图3是示出根据本公开的实时卡路里消耗量计算方法的图；

图4是示出根据本公开的跟踪在帧之间的分析对象的运动变化的实施例的图；

图5是示出根据本公开的基于移动角度来测量身体区域的运动量的实施例的图；

图6是示出根据本公开一实施方式的基于3D运动跟踪来计算能量消耗的方法的流程图；以及

图7是示出根据本公开一实施方式的基于3D运动跟踪来计算能量消耗的设备的框图。

具体实施方式

下面要讨论的图1A至图7以及本专利文献中用于描述本公开的原理的各种实施方式仅是示例性的，并且决不应该被理解为限制本公开的范围。本领域的技术人员将会理解，本公开的原理可以以任何适当配置的设备来实现。

本公开涉及基于三维（3D）运动跟踪来计算能量消耗的设备和方法。

下面参考附图描述本公开的示例性实施方式。在以下描述中，将省略对对公知的功能或配置的详细描述，因为这种详细描述会不必要地混淆本公开的主题。此外，在所有附图当中，相同的附图标记表示相同的元素。

图1A是示出可以在本公开中使用的用于3D深度提取的结构化光编码的方法的图。图1B是示出可以在本公开中使用的用于3D深度提取的飞行时间的技术的图。图1A是从下述因特网网址（统一资源定位符,URL）获取的图，所述网址用于描述利用从一距离投射到脸部以产生3D表面的光线集合的脸部扫描的动态结构化光线获取，所述URL是http://www.swri.org/4org/d14/ElectroSys/biometrics/current.htm。

图1B是描述脉冲的飞行时间激光测距器的原理的结构图，其公开在Pasi（技术职员，电子信息工程系，Oulu大学，2003年）的学术论文“Integrated electronic andoptoelectronic circuits and devices for pulsed time-of-flight laserrangefinding”的“Chapter 2.Pulsed time-of-flight laser rangefinding”中。这里，脉冲的飞行时间激光测距设备由激光脉冲发射器、光学器件、两个接收器通道和时间到数字变换器（TDC）组成。激光脉冲发射器向光可见对象发射短光脉冲，通过从激光二极管的驱动信号中检测脉冲部分来光学地定义发射事件。然后开始脉冲在接收器通道中被处理，其产生用于TDC的逻辑电平开始脉冲。从对象反射并且由停止接收器通道的光电检测器收集的光脉冲被处理，并且产生用于TDC的逻辑电平停止脉冲。TDC利用其时间基准来将时间间隔变换成表示与对象的距离的数字字。

使用用于3D深度提取的结构化光编码的方法是基于红外的3D提取方法之一，其投射图案化的红外线并且执行红外照相和解码。具体来说，在使用深度图像的方法中，将图案化的红外线投射到提取对象，并且执行红外照相以提取分析对象的深度。也就是说，可以三维地而不是二维地提取分析对象，以提取该分析对象的高度或深度。参考图1A，人脸是提取对象，并且可以在本公开中使用的使用用于3D深度提取的结构化光编码的方法可被用于提供前额的曲线、眼睛的深度、鼻子的高度和嘴周围的突起的3D提取。参考图1B，使用飞行时间的方法是使用红外线的反射时间执行3D提取的基于红外的3D提取方法之一。具体来说，将红外线照射到分析对象上，并且使用该红外线的反射时间提取3D形状。也就是说，当该红外线的反射时间增加时，确定为该分析对象位置较远（较深）。相反，当该红外线的反射时间减小时，确定为该分析对象的位置较近。

图2是示出根据相关技术的基于固定表格的卡路里消耗量计算方法的图。图3是示出根据本公开的实时卡路里消耗量计算方法的图。参考图2，基于固定表格的卡路里消耗量计算方法根据程序处理时间的流逝计算用户的卡路里消耗量，这可能无法反映用户的实际运动量。也就是说，基于固定表格的卡路里消耗量计算方法可能无法准确地估计用户的实际运动量。因此，基于固定表格的卡路里消耗量计算方法可以提供固定的结果而与用户的实际运动量无关。例如，参考图2，X轴代表运动时间，Y轴代表运动类型，并且矩形内的面积代表卡路里消耗量。因为跑比走消耗更多的卡路里，所以跑的Y轴值大于走的Y轴值。如图2中所示，不考虑随着运动时间的流逝走和跑的真实Y轴值（运动类型），用统一的值代替来计算分析对象的卡路里消耗量。这样，可能难以计算分析对象的真实卡路里消耗量。

图3示出根据本公开的实时卡路里消耗量计算方法，其反映用户的实际运动量。参考图3，X轴代表运动时间，Y轴代表运动类型，曲线下面的面积代表卡路里消耗量。如图3中所示，不考虑随着运动时间的流逝的具体运动类型，用每个运动类型的真实运动量代替来计算卡路里消耗量。这样，与通过用统一的值代替来计算卡路里消耗量的传统方法不同，根据本公开的实时卡路里消耗量计算方法可以通过用实时变化的运动量代替来计算准确的卡路里消耗量。

图4是示出根据本公开的跟踪在帧之间的分析对象的运动变化的实施例的图。通过分析经由计算机视觉逐帧输入的3D画面上的用户骨骼来计算卡路里消耗量。具体来说，3D骨骼提供分析对象的每个身体区域的3D位置的X/Y/Z轴空间矢量，并且其可被用于分析在帧之间的分析对象的运动。也就是说，选择分析对象的至少一个特定部位，并将其设定为基准点。然后，相对于在分析对象运动之前的该基准点，分析在预定时间的流逝之后的该基准点，以分析该分析对象的能量消耗。

具体来说，如图4中所示，在每个身体区域上设定多个基准点。例如，在诸如手臂、腿、头和身体等每个身体区域的关节处设定多个基准点。在图4中所示的实施例中，在手臂的腕（f，h）、肘（e,g）和肩（b,c）处、腿的踝（k,l）和膝（i,j）处以及身体的骨盆（d）处设定基准点。此外，还在头的中心（a）处设定基准点，以分析头的运动。每个基准点可以是每个身体部位的运动的最佳测量点。还可以在图4中所示的身体部位以外的其它身体部位（例如，手指、脚趾和身体的中心）处设定基准点。

然后，通过3D矢量来比较并分析在该分析对象的运动之前的每个基准点与在预定时间的流逝之后的每个基准点。如上所述，该3D矢量比较和分析方法将基准点设定为由X、Y和Z轴代表的3D空间中的原点，并且描绘在该3D空间中运动之后该分析对象的基准点，以确定其真实的移动距离和速度。这样，该分析对象可被分析，以分析出该分析对象的速度和距离信息。

图5是示出根据本公开的基于移动角度测量身体区域的运动量的实施例的图。对于关于5描述的该实施例，假定测量分析对象的头部的运动量。如上所述，头部的基准点被设定在头部的中心。通过计算机视觉技术测量运动之前分析对象的头部的基准点，并且以相同的方式测量在预定时间的流逝之后的该基准点。之后，通过X/Y/Z轴的空间矢量分析该基准点，以测量其移动角度和距离。图5示出移动角度的测量实例。如图5中所示，头部运动之前的位置和头部运动之后的位置可以被测量，以测量出头部的移动角度。尽管图5示出了头部移动角度的实施例，但是应该理解，还可以同相同的方式测量诸如手臂、腿和身体等其它身体区域的移动角度。

表1示出取决于人的体重和身高的每个身体区域的因子。参考表1，根据体重（m）和身高（v），可以通过等式（1）来计算人的每个区域（i）的量（volumn）：

m_i＝B₀+B₁m+B₂v [等式1]

在等式[1]中，m_i表示人的每个身体区域的量，B₀、B₁和B₂是经验值，m表示人的体重，v表示人的身高。

例如，参考表1，通过将B₀、B₁和B₂的值代入等式（1）中可以计算人腿的量[人腿的量=-0.829+0.0077×体重+0.0073×身高]。可以用相同的方式计算人手的量[人手的量=-0.1165+0.0036×体重+0.00175×身高]。

表1

部位名称	B0[kg]	B1	B2[kg/cm]
				头+颈	1.296	0.0171	0.0143

手	-0.1165	0.0036	0.00175
				前臂	0.3185	0.01445	-0.00114
上臂	0.25	0.03012	-0.0027
				腿	-0.829	0.0077	0.0073
小腿	-1.592	0.03616	0.0121
				大腿	-2.649	0.1463	0.0137
躯干的上部	8.2144	0.1862	-0.0584
				躯干的中部	7.181	0.2234	-0.0663
躯干的下部	-7.498	0.0976	0.04896

然后，还可以用等式（2）计算运动量m_i：

$m_t=\underset{i=1}{\overset{11}{\mathrm{\Σ}}}(X_i^o\×(B_0+B_1{W}_t+B_{2}V)\mathrm{\α})$

[等式2]

在等式（2）中，α表示可通过实际测量获得的每个因子的修正值。X_i表示参考图5描述的每个身体区域的移动角度。计算针对从1到11的i值的各值之和的理由是共有11条线连接图4中所示的12个基准点。因此，当设定N个基准点时，用从1到N-1的i值代替。

然后，利用等式（3）计算人的卡路里消耗量：

$f\left(c\right)=\underset{t=1}{\overset{T}{\mathrm{\Σ}}}(0.0175\×m_t\×W_t\×\mathrm{\β}{\mathrm{HR}}_t)$

[等式3]

在等式（3）中，W_t表示人的体重，βHRt表示可通过实际测量获得的每个因子的修正值。代入从1到T的t值（即，总的运动时间），并且将各个结果值相加，以计算卡路里消耗量。

图6是示出根据本公开的一实施例的基于3D运动跟踪来计算能量消耗的方法的流程图。参考图6，在块601中，该方法将分析对象的至少一个特定部位设定为基准点。该特定部位可以包括该分析对象的身体区域的至少一个关节。这是因为为了计算该分析对象的实际卡路里消耗量，检测关节的运动是有效的。

然后，在块602中，该方法分析由用户预先确定的时间的流逝之前的该基准点。具体来说，该方法可以使用3D光学模块技术来分析逐帧输入的3D画面上该分析对象的骨骼，以计算卡路里消耗量。然后，在块603中，该方法分析在预定时间的流逝之后的该基准点。

然后，在块604中，该方法通过3D空间矢量来分析该基准点。该方法使用3D矢量来比较并分析在该分析对象的运动之前的该基准点和在预定时间的流逝之后的该基准点。具体来说，该方法将该基准点设定为由X、Y和Z轴代表的3D空间中的原点，并且在该3D空间中描绘并分析在运动之后的该分析对象的该基准点。然后，在块605中，该方法确定该分析对象的移动距离、角度和速度。

上面关于图6描述的根据本发明的方法可被提供为存储在诸如智能电话机和移动通信终端等电子装置中的一个或多个软件模块中的一个或多个指令。

图7是示出根据本公开一实施例的基于3D运动跟踪来计算能量消耗的设备的框图。参考图7，该设备可以包括控制单元701、识别/检测模块702、卡路里计算单元703、3D光学模块704、存储单元705和显示单元706。

控制单元701控制该能量消耗计算设备的全面操作。控制单元701可以包括识别/检测模块702和卡路里计算单元703。

识别/检测模块702识别3D画面上的分析对象并且跟踪身体的运动。例如，识别/检测模块702选择分析对象的至少一个特定部位，将该特定部位设置为基准点，并且相对于在该分析对象运动之前的该基准点来分析在预定时间的流逝之后的该基准点。

卡路里计算单元703跟踪每个身体区域的运动，以计算实时卡路里消耗量。例如，卡路里计算单元703分析该基准点，以分析该分析对象的能量消耗，并且通过3D矢量来比较在该分析对象运动之前的该基准点与在预定时间的流逝之后的该基准点。此外，卡路里计算单元703还分析该基准点以分析与该分析对象的移动速度和距离有关的信息，并且使用3D光学模块技术。3D光学模块704可以是以3D方式识别物体的计算机视觉模块。

存储单元705可以包括：程序存储单元，其被配置为存储用于控制该能量消耗计算设备的操作的程序；以及数据存储单元，其被配置为存储在程序执行期间产生的数据。例如，存储单元705存储实时计算出的卡路里累积信息。

在控制单元710的控制下，显示单元706显示状态信息、菜单画面和该能量消耗计算设备的历史信息。

可以使用称作触摸屏的触摸敏感显示器作为显示单元706。在此情况下，可以经由该触摸敏感显示器进行触摸输入。

上述配置应该被理解为仅仅是说明性的而不是出于限制的目的，并且本领域的技术人员将会理解，在不偏离本公开的范围的情况下，可以在其中进行各种变化。例如，尽管针对用于控制单元701的各个功能提供分开的单元，但是控制单元701可以被配置为还执行这些分开的单元的各个功能的全部或一部分。

此外，该设备可以是电子装置，例如，膝上型电脑、智能电话机、上网本、移动因特网装置、超移动PC、平板个人电脑、移动通信终端、具有照相机的PDA等等，这只列出了一些可能的例子。

应当认识到，本发明的上述实施方式可以用硬件、软件或者硬件和软件结合的形式来实现。这种软件可以以易失性或非易失性存储形式来存储。此外，用于执行在此描述的方法或者其一个或多个操作的程序指令可以被记录、存储或固定在一个或多个计算机可读存储介质中。该程序指令可以由计算机来执行。例如，该计算机可以使处理器执行该程序指令。该介质可以包括单独的或者与该程序指令结合的数据文件、数据结构等。计算机可读介质的例子包括：磁介质，如硬盘、软盘和磁带；光学介质，如CD ROM盘和DVD；磁光介质，如光盘；以及被专门配置为存储和执行程序指令的硬件装置，如只读存储器（ROM）、随机访问存储器（RAM）、闪速存储器等。程序指令的例子包括例如由编译器产生的机器码以及包含该计算机使用解释器可执行的更高级代码的文件。该程序指令（即软件）可以分布在通过网络连接的计算机系统上，使得该软件以分布式存储和执行。例如，该软件可以由一个或多个计算机可读记录介质来存储。此外，在此公开的实施例所属的技术领域的程序员通过基于并使用附图中的流程图和框图以及在此提供的相应说明，可以容易地解释用于完成这些示例性实施例的功能程序、代码和代码段。此外，所描述的用于执行操作或方法的单元可以是硬件、软件或者硬件和软件的某种组合。例如，该单元可以是在计算机上运行的软件包或者是在其上运行该软件的计算机。

尽管已经关于本公开的某些示例性的实施方式示出并描述了本公开，但是本领域的技术人员应该理解，在不偏离由所附权利要求限定的本公开的精神和范围的情况下，可以在形式和细节上对其进行各种变化。因此，本公开的范围不受本公开的详细描述限定，而是由所附权利要求限定，并且该范围内的所有差别都应被认为包括在本公开内。

Claims (15)

1.一种用于基于三维(3D)运动跟踪来确定能量消耗的方法，包括：

分析在具有分析对象的骨骼的帧上的至少一个基准点；

当预定时间流逝时，分析在具有所述分析对象的骨骼的另一帧上的所述至少一个基准点；

在所述帧之间比较所述至少一个基准点；并且

根据比较结果确定所述分析对象的能量消耗。

2.根据权利要求1所述的方法，其中，所述基准点对应于包括所述分析对象的身体区域的至少一个关节的特定部位。

3.根据权利要求1所述的方法，其中，通过结构化光编码的方法或脉冲的飞行时间的方法来获取为3D矢量的所述基准点。

4.根据权利要求3所述的方法，其中，比较基准点包括：

利用所述基准点测量所述分析对象的移动距离和移动角度。

5.根据权利要求3所述的方法，其中，比较所述至少一个基准点包括：

基于所述至少一个基准点的比较结果来确定所述分析对象的移动速度。

6.根据权利要求1所述的方法，其中，通过3D光学模块技术来确定所述分析对象的能量消耗。

7.一种用于基于三维(3D)运动跟踪来计算能量消耗的设备，包括：

识别/检测模块，被配置为分析在具有分析对象的骨骼的帧上的至少一个基准点，当预定时间流逝时，分析在具有所述分析对象的骨骼的另一帧上的所述至少一个基准点；以及

卡路里计算单元，被配置为在所述帧之间比较所述至少一个基准点，根据比较结果确定所述分析对象的能量消耗。

8.根据权利要求7所述的设备，其中，所述至少一个基准点对应于包括所述分析对象的身体区域的至少一个关节的特定部位。

9.根据权利要求7所述的设备，其中，所述卡路里计算单元被配置为利用所述基准点测量所述分析对象的移动距离和移动角度。

10.根据权利要求7所述的设备，其中，所述卡路里计算单元被配置为基于所述至少一个基准点的比较结果来确定所述分析对象的移动速度。

11.根据权利要求7所述的设备，其中，所述卡路里计算单元被配置为使用3D光学模块技术，并且所述设备进一步包括：

3D光学模块，其被配置为以3D方式识别物体。

12.如权利要求11所述的设备，其中，所述3D光学模块被配置成通过结构化光编码的方法或脉冲的飞行时间的方法来获取为3D矢量的所述基准点。

13.根据权利要求11所述的设备，其中，所述卡路里计算单元被配置为使用所述3D光学模块技术，并且所述设备进一步包括：

存储单元，其被配置为存储实时计算出的卡路里累积信息。

14.根据权利要求7所述的设备，其中所述识别/检测模块和所述卡路里计算单元一起被包含在所述设备的控制单元中。

15.根据权利要求6所述的方法，还包括：存储实时计算出的卡路里累积信息。