CN104937607A - 用于重建目标的运动的装置、方法以及计算机程序 - Google Patents

Abstract

本发明的实施例涉及一种构思，该构思用于根据目标的计算机模型的运动样本片段的序列重建目标(302)的运动，其中每个运动样本片段与运动的不同的时间间隔相对应，并且其中目标(302)具有至少一个与位置标记器(304)相耦合的采样点。基于从位置标记器(304)所接收到的至少一个采样点的位置数据在运动的时间间隔内对目标(302)的起始运动状态与结束运动状态之间的运动转换进行检测。还如此从多个寄存在数据库(205)中的计算机模型的运动样本中选择至少一个对应于运动转换的运动样本片段，使得所选择的运动样本片段针对时间间隔以足够的概率从起始运动状态引导至结束运动状态。此外，利用起始运动状态和所选择的数字运动样本片段针对时间间隔重建目标的运动的图像。

Description

用于重建目标的运动的装置、方法以及计算机程序

本发明的实施例涉及用于借助目标的计算机模型的预先制定的或者预先存储的运动序列来重建目标的运动的装置、方法以及计算机程序。

在许多应用中，希望能够提供可靠的运动重建，如例如在体育广播中用于情况分析和/或运动分析。例如，在许多运动种类中，诸如足球、手球、美式足球、篮球、棒球、拳击-仅举几例-存在需求，运动员和/或比赛器具(例如，球)的特定的运动情况，实时或者事后(后期制作)进行分析。

目前针对此目的主要是光学的，也就是说，使用基于照相机系统的系统，利用此可对所感兴趣的运动情况例如通过重复以及慢动作设置进行重新再现和分析。但是这种系统在实际中通常会遇到它的限制，因此，可能反复发生这样的情况，关于有问题的比赛情况和/或有问题的运动过程慢动作也无法拥有足够的说服力。在某些情况下，从特定的观看角度(例如，照相机的观看角度，其已经捕获到比赛情况)无法清晰地识别运动和/或目标的位置，例如，因为重要的身体部位和/或比赛器具上的视野通过其它物体被遮挡。

因为在职业体育中大多数情况下高金融和/或高经济价值还与体育赛事以及其结果相关联，所以尤其是这些能够显著地影响体育赛事的结果的错误的判决应该被避免。在这方面突出的例子是足球中的点球判决、越位判决或者进球判决。在其它运动项目中存在可相比较的重要判决，其基于光学系统经常无法做到足够准确。

为了在某些情况下使比赛判决的决定能够通过运动过程做到更可靠和/或更准确的或者更多层次的举证，本发明的一个任务在于，提供一种相对于现有技术更优化的运动情况的评估或者分析的可能性。

该任务将通过具有独立的权利要求的特征的装置、方法以及计算机程序来实现。

其它有利的实施方式和进一步的发展是从属权利要求的主题。

根据基本思路，本发明的实施例使用至少一个具有预先存储的计算机模型的运动过程或者运动样本片段的数据库，其通过计算机与其后所检测到的真实目标(例如，生物)的实际运动过程或者运动样本片段进行比较。在所存储的运动过程中借助于合适的算法找到与实际运动相匹配的目标的计算机模型的运动样本，可基于所找到的计算机模型的运动样本虚拟地重建目标的实际运动。因此，利用由目标(诸如，人类或者动物)实际所执行的运动的这种虚拟的运动重建可实现一种虚拟的现实，其能够提供比利用传统的系统明显更加灵活的观看或者分析的可能性。

根据本发明的第一方案，提出了一种用于根据目标的计算机模型的运动样本片段的序列重建目标的实际运动的方法。其中，每个运动样本片段对应于运动的不同的时间间隔或者时间段。此外，目标(例如，生物，尤其是人类)具有至少一个与传感器或者位置标记器相耦合或配置的用于运动检测的采样点。根据实施例，所述方法包括以下步骤：

a)基于从传感器/位置标记器所接收到的至少一个采样点的位置数据在实际运动的时间间隔内对目标的起始运动状态与结束运动状态之间的实际的运动转换进行检测；

b)从多个存储在数据库中的计算机模型的运动样本中如此选择至少一个对应于实际运动转换的运动样本片段，以使得所选择的运动样本片段针对时间间隔以足够的(尤其是最高的)概率从起始运动状态引导至结束运动状态；以及

c)利用起始运动状态和所选择的运动样本片段针对时间间隔重建目标的实际运动的虚拟图像。

足够的概率的情况在下文中将被理解为高于预定概率阀值的概率，其可在给定情况下根据环境或者传输条件进行调整。在一些实施例中，在选择至少一个对应于实际的运动转换的运动样本片段时产生一个或者多个具有不同概率的潜在的运动样本片段。然后在一些实施例中可从这些潜在的运动样本片段中选择那些针对所考虑的时间间隔具有最高概率从起始运动状态引导至结束运动状态的运动样本片段。在计算机模型的可能的运动状态和运动转换的有限的数量中总是会提供至少一个运动样本片段，其(与其它的运动样本片段相比)针对所考虑的时间间隔具有最高概率从起始运动状态引导至结束运动状态。

在所述方法中，根据一些实施例可涉及迭代过程以及优选地涉及计算机实现过程，该过程可借助于相应的程序化的硬件组件(诸如，处理器或者集成电路)来执行，当在其上执行或者运行该过程所实现的计算机程序时。以上所列举的方法步骤a)至c)可因此形成用于运动重建的迭代过程的当前迭代。其中，针对当前迭代的起始运动状态可在迭代过程的前一次迭代中被重建或者被算出，从而使得运动的重建的图像可全部由多个所选择的并且彼此连续的时间间隔/迭代所对应的运动样本片段构成。其中，在选择时可将所检测到的或者所检测到的目标的实际运动转换反复与所存储的计算机模型的运动样本进行比较，从而基于目标的至少一个过去的运动状态和当前的转换概率(该转换概率对应于目标的至少两个时间上彼此连续的离散运动状态之间的可能的运动转换)确定针对目标的当前的运动状态的假像。其中，目标的当前运动状态和至少一个过去的运动状态可形成马尔可夫模型的序列，即，不同的运动状态和运动转换可根据一些实施例通过离散的马尔可夫链进行建模。在这种实施方式中可借助于至少一个运动样本片段的选择确定在预先设定的马尔可夫模型和所检测到的(以及有可能消失的)运动转换的序列中最有可能的运动状态的序列，以便对目标的实际运动进行重建。

用于执行该过程的相应地程序化的或者设置的硬件可根据本发明的另一个方案被视为用于由目标的计算机模型的运动样本片段的序列重建目标的实际运动的装置，其中每个运动样本片段对应于运动的不同的时间间隔，并且其中目标具有至少一个与传感器/位置标记器相耦合的或者配置的采样点。其中，装置包括用于基于从位置标记器所接收到的至少一个采样点的位置数据在运动的时间间隔内检测或者检测在目标的起始运动状态与结束运动状态之间的(实际的)运动转换的设备。装置进一步包括用于从多个存储在数据库中的计算机模型的运动样本中选择至少一个对应于运动转换的运动样本片段的设备，其中所选择的运动样本片段针对时间间隔具有足够的概率从起始运动状态引导至结束运动状态。此外，提供了用于利用起始运动状态和所选择的运动样本片段针对时间间隔重建目标的运动的图像的设备。各个设备可根据实施例分别理解为装置的电子电路部件。

在将对其运动进行重建的目标中，可尤其涉及多肢体的目标，在其中各个肢体通过关节部位分离并且是相互活动的。因此，这种目标的情况下，可包括例如人类、动物，但也可包括机械结构体。诸如球或者球拍的体育器具也是可考虑的。为了能够确定各个目标部位的位置数据，在目标上或者各个目标部位(即，例如，关节和/或肢体)上的采样点分别配置有传感器。其中，根据一些实施例，可涉及实时定位系统(RTLS＝Real-Time Locating System)的基于无线电的传感器或者位置标记器，该实时定位系统可实时确定传感器或者无线电标记器的地理位置或者坐标(例如，x-、y-、z-坐标)。因此，根据一些实施例可调节用于检测实际运动转换的设备，以便实时对目标的实际运动或者实际运动转换进行检测。其中“实时”意味着要求，确保结果(例如，所提供的或者所计算出的坐标)在预先限定的时间间隔内被确定，即，在一定的时限之前存在。因此，实时系统应该不仅提供具有正确值的测量或者计算结果，而且还要及时提供这些结果，例如在一瞬间之内。

因此，根据实施例，传感器或者位置标记器可具有有效的无线电发射器，该无线电发射器被设置在目标的欲定位的采样点上，并且连续地或者有规律地向用于检测运动转换的设备的无线电接收器输送用于定位的无线电信号。位置标记器可以包含任意数量的其它的传感技术，诸如加速度、指南针、方位、陀螺仪、气压计等。接收器可例如基于角度测量和运行时间测量检测用于发射器的位置计算所需的遥测数据(诸如，坐标、速度数据、加速度数据等)。其中，原则上几乎任何无线电频率都是可能的，例如ISM频段(ISM＝工业，科学和医疗)。根据一个实施例，载波频率可处于例如2.4GHz。彼此连续的遥测数据样本之间的时间间隔可与要检测的运动的速度和/或精确度相匹配。如此，例如无线电发射的遥测数据的更新速率可考虑从几Hz至几kHz。

基于无线电的定位系统相对于光学系统的优点尤其是，不会发生运动或者比赛情况的光学的遮挡。经由无线电传送或者确定的位置数据使得可以从各个角度对目标运动进行重建，这些在光学信号中不总是可能的。在运动重建之后可虚拟的从各个角度对重建的运动进行观察。

在数据库或者电子存储器中存在预先生成的计算机模型的运动样本或者运动样本片段，其对应于目标的可能的实际运动或者运动分段并且通过计算机模型的采样点的连续的位置或者坐标来定义。计算机模型的采样点可基本上对应于真实目标的采样点。其中，运动样本片段包括至少一个单帧画面(帧)，但优选地包括计算机模型的运动的多个单帧画面(帧)。预定义的运动样本或者运动样本片段可例如通过熟知的运动检测方法(运动捕捉)预先地或者初始地生成，其中，例如将人类的运动输送到在计算机中所生成的3D模型。存储在数据库中的运动样本可因此是预定义的三维计算机模型的三维运动样本，其对应于目标的可能的实际运动。

在所记录的或者建模的运动中可尤其涉及之后在运动重建中特别感兴趣的运动，诸如，拳击手特定的击打组合或者足球运动员特定的运动过程。在初始的运动样本创建中，在预生成期间可在相同的采样点上(诸如，在关节或者特定的身体位置上)设置传感器或者标记器，如用于后期的运动重建。用于初始的运动样本创建也可以使用非基于无线电的定位方法(例如，光学方法)。在光学追踪中可利用照相机工作，其追踪要检测的人或物上的主动的(即，发射信号)或者被动的位置标记器。根据标记器运动在单张照相机画面(帧)中可通过三角测量按三维计算标记器的位置。此外，通过在图像处理中的模式识别，无标记器的运动检测方法也是可能的。在数字化后，可将在预生成中所检测到的运动原始数据导入到3D计算机模型中，并且在那里进行进一步处理。其中，可将它们传输至虚拟骨架(一种三维人像)。该骨架可再与线框模型相关联，该线框模型再将所记录的运动调整为数字运动样本或者运动样本片段。在图像合成或者自动创造出三维图像之后，对于观察者其看起来像是虚拟的人体或者计算机模型在执行原始的人或者原始的物的运动。

然后可将如此预先记录的数字运动样本或者运动样本片段标准化为单位大小存储在数据库中。其中，一个所存储的运动样本片段也可以属于一个以上的运动样本。也就是说，一个数字运动样本可以由对应于数字运动样本的不同的时间间隔的多个数字运动样本片段构成，其中，根据标记器的绝对位置和/或相对位置运动样本片段的某些时间的次序在结构上是不太可能或者甚至是不可能的。因此，在时间上彼此连续的运动样本片段的标记器位置不应该低于一定的交叉相关界限(Kreuzkorrelationsgrenzen)。不同的复杂的数字运动样本可具有部分相同的数字运动样本片段，其对应于不同的数字运动样本所对应的实际运动的相同的或者极其相似的运动分段。

根据一些实施例，运动重建不仅可以基于数字运动数据库实现，也可以针对目标考虑物理模型，其禁止或者允许一些运动。此处优点是在不同的运动样本之间的目标运动的内插法的物理准确建模。如此，可例如将从“跑步”到“跳跃”的转换在物理上准确的进行“交替”。

要进行重建的两个运动状态之间的实际运动转换可基于不同的离散的位置数据被检测或者被确定。其中，在三维空间中从定位系统得到的位置数据表示用于运动重建的输入数据。它们来自目标上的不同位置，取决于设置或者设置了发射器(Tag)的地方。其中，第一个从至少一个位置标记器导出的离散位置数据样本描述第一运动状态(例如，起始运动状态)，以及第二个，随后的位置数据样本描述在两个离散的位置数据样本之间的时间间隔内的第二运动状态(例如，结束运动状态)。根据实施例，时间间隔可对应于存储在数据库中的预先记录的运动样本或者运动样本片段的一个单帧画面或者一个帧的持续时间，即，例如，从1/48至1/12秒的时间区间，尤其是1/24或1/25秒。因此，所检测到的运动转换对应于在时间间隔内位于目标上的至少一个位置标记器的至少一个轨迹(Trajektorie)。在复杂的目标(例如，人类)的情况下，将涉及多个(基于无线电的)位置标记器，从而得到针对要检测的实际运动的足够的采样点。因此，所检测到的运动转换对应于在时间间隔内采样点的起始和结束位置。其中，在结构上-取决于目标和运动-不是采样点上的任何起始和结束位置都是可能的，尤其涉及到过去的时间间隔。

目标的至少一个要重建的实际运动转换被检测或者检测到，可据此从多个存储在数据库中的计算机模型的数字运动样本中选择至少一个对应于实际运动转换的数字运动样本片段。这可例如通过所检测到的实际运动与所存储的数字运动样本之间的相对的和绝对的位置标记器的比较来实现。为了使这种比较尽可能不依赖于目标的大小，可根据一些实施例将所检测到的位置数据或者运动数据和/或存储在数据库中的数字运动模型进行标准化。其中，标准化至目标单位大小。因此，根据一些实施例，存储在数据库中的数字运动样本可以是标准化的，其中为了对数字样本片段进行选择，从目标上的位置标记器所接收到的位置数据被加入与目标大小相对应的比例因子，以便得到目标的标准化的运动。

根据实施例，选择这样的数字运动样本片段，其针对时间间隔具有足够的(优选地最大的)概率从起始运动状态引导至结束运动状态。其中，根据一些实施例，各种可能的运动状态可借助于马尔可夫模型或者离散的马尔可夫链进行建模，以便给出未来的事件或者运动状态的出现的概率。马尔可夫链具有这样的属性，通过有限的过往情况的了解可对关于未来的发展做出与了解过程的整个过往情况时同样良好的预测。尤其是，运动过程也可以被建模为所谓的隐马尔可夫模型(HMM)。隐马尔可夫模型(HMM)是一种随机模型，其中系统通过具有未观察到的状态的马尔可夫链进行建模。隐马尔可夫模型(HMM)可以被看做是动态贝叶斯网络的最简单的特殊情况。作为马尔可夫链的建模是指，系统按照随机的方式从一个运动状态转换至另一个运动状态，其中运动状态之间的转换概率只取决于相应的当前的运动状态，而不依赖于之前所拥有的运动状态。此外，假设转换概率是随时间恒定的。然而，在隐马尔可夫模型(HMM)中，这些状态本身无法从外部被观察到，它们可以是隐藏的。取而代之的是，这些内部状态的每一个被归为可观察的输出记号，所谓的发送(Emissionen)，其根据状态以一定的概率出现。其主要任务在于，由观测到的输出序列获得关于隐藏状态的概率性的说明。一个或多个与一个或多个所检测到的运动转换相匹配的运动样本片段的选择因此能够例如通过动态编程的算法来实现，诸如前向算法、后向算法或者维特比算法。

在根据上述方式选择一个或多个与一个或多个所检测到的实际运动相匹配的数字计算机模型运动样本片段之后，可基于此借助于所选择的计算机模型运动样本片段对所检测到的运动的虚拟图像进行重建或者再现。重建可根据不同的实施例实时和/或通过后期制作过程实现。从数据库所选择的计算机模型运动样本片段(即，计算机模型运动样本片段帧)可在电子显示设备(例如，显示器)上重现。在理想的情况下，重现的计算机模型的运动与真实目标的实际运动相同。在标准化存储的运动样本片段的情况下，所选择的用于图像的重建的运动样本片段可被加入与实际目标大小相对应的比例因子，从而对具有至少一个运动采样点的目标的非标准化的运动过程进行重建。

因此，实施例涉及方案，其可例如基于无线电标记器数据实现可移动的以及多肢体的目标(例如，人类、动物、机械结构体)或者目标组合的运动重建。其中，目标组合是多个交互的目标，例如带球的运动员或者叉车和货板。在目标的任意的采样点上可设置无线电标记器或者传感器。其可提供高精解析度的实时定位系统(RTLS)，该系统实时确定无线电标记器的位置(例如，x、y、z坐标)。无线电标记器位置可例如通过精确的RTLS(实时定位系统)数据，以空间中x、y、z坐标和/或加速度数据等的形式给出。由此，可利用位置的足够的精确度和更新速率实现真实目标的虚拟重建。目标上的无线电标记器的数量可向上任意变化。运动重建可实时和/或通过后期制作过程实现。

在数字运动数据库中可存在任意数量的数字运动样本。其可针对要检测的目标存储任意以及任意多个数字运动分段。这可包括人类典型的运动，诸如跑步、行走，跳跃等。所存储的运动分段可包括具有无线电标记器采样点以及整个目标的多个单帧画面或者帧。

本发明的实施例，即使当所检测到的无线电标记器数据不完整或者消失时，也能够实现目标的有意义的或者合理的运动重建，并且可以被设置例如用于虚拟的3D运动重建、用于虚拟现实应用、用于增强现实应用、用于训练分析、用于比赛分析或者用于视听媒体。同样，至(移动)终端设备的运动数据的传输以及在终端设备上的运动重建是可以考虑的。一些实施例在较少硬件资源的情况下也能够实现实时的运动数据的重建。

下面将参照所附附图对本发明的一些实施例进行进一步说明。示出了：

图1根据一个实施方式的用于目标的运动的重建的方法的示意性的流程图；

图2根据一个实施方式的用于目标的运动的重建的装置的示意性的框图；

图3用于说明实际的运动转换的检测的示意图；

图4a用于运动状态的建模的马尔可夫链的示例性视图；

图4b用于说明借助网格从运动数据库中选择对应于所检测到的运动转换的数字运动样本片段的示意图；

图5用于说明通过使用所选择的数字化运动样本片段来重建目标的运动的虚拟图像的示意图；

图6根据一个实施方式的用于目标的运动的重建的系统的示意性的框图。

在接下来的本发明的一些实施例的示例性的描述中，相同的附图标记器指示相同的、相似的或功能相同的部件或组件。

图1在示意图中示出了根据本发明的实施例用于由预先设定的目标(例如，运动员)的计算机模型的数字运动样本片段的序列来虚拟重建目标(例如，运动员)的实际运动的方法100的流程图。

在运动重建方法100中，每个运动样本片段或者运动样本分段对应于运动的一个不同的时间间隔或者时间分段。其实际运动需要被重建的真实目标具有至少一个设置有位置标记器的运动采样点。根据一些实施例，位置标记器可以是基于无线电的位置标记器。该目标可具有一个或者多个运动采样点。这些采样点对应于位置标记器的固定位置。

运动重建方法100在开始步骤101之后包括检测步骤102，该检测步骤102基于从位置标记器所接收的至少一个运动采样点的位置数据来检测在实际运动的时间间隔内目标的起始运动状态与结束运动状态之间的(实际的)运动转换。在基于无线电的位置标记器中，所接收的位置数据可能或多或少的消逝。方法100进一步包括选择步骤104，其中，从多个存储在数据库或存储器中的计算机模型的数字运动样本中选择至少一个对应于所检测到的或所测到的实际运动转换的数字运动样本片段，如此，使得所选择的数字运动样本片段具有足够高的概率从时间间隔的起始运动状态引导至结束运动状态。在进一步的方法步骤106中，利用起始运动状态和所选择的数字运动样本片段针对时间间隔重建目标的实际运动的虚拟图像。

根据一些实施例，方法步骤102至106意味着用于重建目标(例如，运动员)的实际运动的迭代或递归的过程的当前的迭代或递归。这意味着，可在迭代/递归的过程的先前的迭代/递归中对针对当前的迭代/递归的初始运动状态进行重建或者评估，从而可通过多个所选择的并且彼此连续的时间间隔或者迭代/回归所对应的数字运动样本片段构成实际运动的重建虚拟图像。由此，针对多个彼此连续的时间间隔基于各对应于多个时间间隔的运动样本片段实现目标的整个实际运动的重建。使用方法100重建所感兴趣的实际运动过程，这可以在最后的步骤108中完成。

根据图1所概括性说明的方法100可使用装置200来实现，该装置用于由目标的计算机模型的数字运动样本片段序列重建目标的实际运动，那么接下来将参照图2对其进行更详细地描述。

装置200(其例如可被实现为一个或多个处理器)包括运动检测设备202，该运动检测设备被构造用于，基于从至少一个位置标记器所接收到的(以及可能消失的)目标的至少一个采样点的位置数据(例如，x-、y-、z-坐标)在时间间隔i内对目标的起始运动状态(x[i-1],y[i-1],z[i-1])与结束运动状态(x[i],y[i],z[i])之间的(实际的)运动转换(Δx[i],Δy[i],Δz[i])进行检测或检测。换句话说，运动检测设备202用于执行先前所描述的方法步骤102。装置200进一步包括与运动检测设备202相耦合的选择设备204，其适用于，从存储在数据库205中的多个数字计算机模型运动样本中选择对应于所检测到的运动转换(Δx[i],Δy[i],Δz[i])的运动样本片段，其中所选择的计算机模型运动样本片段具有足够高的概率从当前所考虑的时间间隔i的起始运动状态(x[i-1],y[i-1],z[i-1])引导至结束运动状态(x[i],y[i],z[i])。换句话说，选择设备204用于执行先前所描述的方法步骤104。此外，在装置200的框架内进一步提供与选择设备204相耦合的重建设备206，其被构造用于，利用起始运动状态(x[i-1],y[i-1],z[i-1])与所选择的数字运动样本片段针对所考虑的时间间隔i对目标运动的图像进行重建。换句话说，重建设备206用于执行先前所描述的方法步骤106。其中，实际运动的图像可通过一个或多个彼此连续的数字运动样本片段从数据库205被重建并且通过合适的显示装置被重现。

现在将根据图3进行例示，可如何借助位于目标上的位置标记器执行实际运动转换或者实际运动的检测。

图3以示意性的人的形式示出了目标302。位置标记器304位于目标302的不同的运动采样点处，其用于确定不同的运动采样点的空间位置。在位置标记器304中，根据一个实施例可以尤其是基于无线电的位置标记器，其发射可从至少一个或者多个接收天线308接收的定位无线电信号306。其中，根据一些实施例，定位信号306可具有单个无线电标记器304的直接地理坐标。在其它实施方式中，无电线标记器304的单个地理位置也可通过其他方法(例如，通过运行时间测量的三角测量等)来确定。其中，位置数据可基于帧(即，每所检测到的运动的单帧画面(大约1/24秒))来确定。为此，接收器310可例如基于角度测量和/或运行时间测量检测用于无线电标记器304的位置计算的所需的遥测数据(诸如，x-、y-、z-坐标、速度数据、加速度数据等)并且基于检测装置202提供给各个帧。相应地，在实施例中，目标302上的至少一个位置标记器可与无线电发射器相耦合，信号306(通过其可推导出无线电标记器304的位置数据)通过无线电接口传送至评估装置310，该评估装置再重新与重建装置200相耦合，以便执行重建方法100。其中，位置标记器304可以是实时定位系统的一部分，以便可以实时确定以及重建目标的标记器位置和/或实际运动。

返回参照图2，可将预先生成的数字计算机模型运动样本或其运动样本片段(其可以通过单个帧来表示)存储在电子存储单元或数据库205中。其中，帧对应于预先生成的计算机模型运动样本的单帧画面。根据一些实施例，计算机模型运动样本(其虚拟的呈现出预先记录的所感兴趣的运动过程)由不少于两个帧组成。相应地，一个计算机模型运动样本片段(其另一方面可以表示计算机模型运动样本的子集)包括至少一个帧。由此可见，计算机模型运动样本片段也可以完全是两个不同的整体运动过程或者数字计算机模型运动样本的一部分。由于复杂的运动大多由多个运动片段构成，其中不同的复杂运动的单个运动片段可以相同或者相似。

根据一些实施例，存储于数据库205中的计算机模型运动样本(其由计算机模型运动样本片段或者帧构成)可被存储为标准的数字运动样本。由此，目标或者其计算机模型可例如被标准化为单位大小，以便能够与所检测到的或者所检测到的实际运动进行更好的比较。地点或者位置(在创建计算机模型运动样本时在其上设置位置标记器)是已知的，并且可以基本上对应于目标上的那些位置，之后在这些位置上设置用于检测所要重建的实际运动的位置标记器。因此，为了通过设备204对计算机模型运动样本片段进行选择104，从位于目标上的位置标记器接收到的位置数据可被加入与目标大小相对应的比例因子，以便获得标准化的目标运动，从而与存储在数据库205中的标准化的运动样本进行比较。存储在运动数据库205中的运动样本也可以被标准化或者是标准化的。在比较和选择104之前可同样将在步骤102中所接收的无线电标记器数据或者位置数据进行标准化。然而，其中用于后续重建106的比例因子可以被记录下来。在结果确定之后，可通过真实目标上的比例因子对相应的计算机模型运动样本进行调整。由此，可将不同大小的目标合理并且节省空间的进行存储。

数据库205可包含人/物体/物体集合的典型运动样本，该运动样本可借助其运动采样点被识别或者被映射。此处不需要伪迹滤波器(Artefaktfilter)等，因为从数据库205所查询的运动优选地表示为均匀的运动形式。各运动样本片段或者帧可表示为运动状态，并且可以在数据库205中与虚设的指引线或者状态转换相匹配。各极其相似的运动样本片段或者帧可被统一概括，使得一个数字帧或者一个数字运动样本片段可同时是两个不同运动或者不同计算机模型运动样本的一部分。

选择设备204(其也可以被称为匹配单元)可被设置用于，导出可能的运动状态和处于确定运动或帧的概率。根据本发明的一些实施例，不同的运动状态从马尔可夫链的概念上是彼此相连的。因此，目标的当前的运动状态和至少一个过往的运动状态可以形成马尔可夫模型的序列。

为此，图4a仅示例性地示出了具有四个(运动-)状态“00”、“01”、“10”、“11”以及这些状态之间的完整的连接或指引线(Kanten)的马尔可夫链400。此处指引线描述状态转换，其中，状态转换与转换概率p有关。根据示例性地示出的图4的马尔可夫模型，用于由状态“00”至状态“01”的状态转换的转换概率用“p₀₁”表示。反之，“p₁₀”则表示由状态“01”至状态“00”的转换概率。这同样适用于示出的其它状态。在图4中所示的马尔可夫链400中，第一状态可转换至各个其它第二状态，这通过所示出的状态转换(箭头)清晰可见。当然，其他的马尔可夫链也是可能的，其中某些状态转换可以被去掉。尤其是在描述可能的实际运动状态及其转换的马尔可夫链中将是这种情况。如先前所阐述的，由于结构上的或者物理上的限制不是任何后续状态都可能从运动起始状态开始。因此要强调的是，图4中所示的简化状态模型仅用于例示，而不对应于实际的运动状态模型，特别是针对复杂的运动。在实际的实现中，可能的运动状态的数量具有超过1000、超过10,000、超过100,000以及在某些应用中甚至超过100万的值。

因为根据一些实施例所有可能的运动状态在马尔可夫链的概念上可以是彼此相连的，所以可根据时间点i-1处的状态概率以及根据当前的传感器测量值迭代地计算出针对离散时间点i处的运动状态的概率。如上所述的方法步骤102至106可因此形成用于实际运动的重建的迭代过程的当前的迭代，其中，在迭代过程的先前的迭代i-1中重建或者确定针对当前迭代i的起始运动状态，从而由多个所选择的并且彼此连续的时间间隔或者迭代所对应的运动样本片段构成重建的运动的图像。因此，它可以是由两个或多个存储在数据库205中的数字部分运动样本所构成的重建的复杂运动，例如，根据重叠帧和匹配的传感器测量值。因为，新的组合运动可以由“子运动”或者帧-序列生成，因此，它不需要任何预先被记录并且被存储在数据库205中的复杂的或者组合运动。

另一个因素是在初始运动记录(预生成)中现存的发射器或者位置标记器的数量以及在当前要重建的运动场景中的位置标记器的数量。当在初始运动记录中的位置标记器和当前要重建的场景的位置标记器不但数量而且位置相同时，虽然这可能是有利的，但绝对不是必要的。例如，它可以是当前无法并行地追踪或跟踪足够的发射器或位置标记器的情况。因此，根据一些实施例，可以只追踪在原始的运动记录中和在所存储的数字运动记录中所包含的发射器的序列(Permutation)(即，子集)及其位置。针对可能的运动状态在步骤104中所确定的概率能够考虑到所有可能的排列，并且和往常一样选择最有可能的概率分布和运动状态。在某些情况下，这可能导致重建结果的失真。此处“失真”意味着，重建结果是不正确的或者与目标的实际运动不相符。然而，采用本发明的方案，真正的失真是不可能的，因为在状态图中的可能的连接运动不允许不可能的或者不切实际的运动。它可能因此一直只显示下一个可能的数字帧-序列，从而可使重建的运动图像永远不会看起来像“僵尸”-重建。

选择设备或匹配单元204因此可利用其在各时间点i的概率保持可能的运动状态(帧)。这些运动状态可通过指引线相连接，可以在记录数据(计算机模型运动样本)之后但在运动重建之前确定这些转换概率，例如通过转换频率等的检测。另外，转换概率可基于实际所检测到的以及所进行的运动转换持续更新。可由状态图(网络)(例如，马尔可夫链400)产生多个不同的分析结果，其中，由一个完整的状态图(例如，100个运动à1000个帧＝大约100,000个运动状态)利用标记器位置之间的细微变化和偏差总结出连续的帧或者运动状态。由此可减小状态空间以及用于计算概率(是其运动状态的数量的平方)的成本。

为了计算运动状态概率，可首先从最小的状态模型(即，较少的状态)开始，以便在其中相对较快的得到最有可能的运动状态。如果还有剩余的计算时间，则可以转换到例如更深一层的状态分析(即，更多状态)，并且在那确定更多的运动状态概率，以便获得用于运动重建的更高的细节程度。根据一个实施例，可因此首先基于可能的运动状态的集合的子集选择针对时间间隔i的数字运动样本片段，其中，调整该子集，使得可以至少粗略地重建运动的图像，并且，其中，在粗略的重建之后，可基于除子集外的集合中的其它状态对运动的图像进行进一步重建。为了选择在时间间隔i内对应于所检测的实际的运动转换的最佳的数字运动样本片段，可将所检测到的运动转换反复地与存储在数据库205中的计算机模型的数字运动样本进行比较，如此，基于目标的至少一个过去的运动状态以及当前的转换概率(该转换概率对应于目标的至少两个时间上彼此连续的离散运动状态之间的可能的运动转换)确定目标的当前运动状态的假像。

接下来将根据图4b对此进行进一步说明。图4b示出了对应于示例性的状态模型400的网格图450。其中，网格图450对应于经由时间轴所提取的状态转换图400的表示。此处仅示例性地示出了状态“00”、“01”、“10”、“11”和针对时间点i-2,i-1,i以及i+1的可能的状态转换。不同的概率值(转换概率)p分配给从一个状态至下一个状态的转换，由此作为结果在网格中形成途径多个状态的最清晰的一条路径452，其基于所检测到的运动转换数据具有高出所有其它路径的总概率。然后由运动解码器将此条路径452所属的运动转换视为最有可能的运动转换。也就是说，类似于熟知的维特比算法可以通过不同的运动状态逐渐交替，以确定当前最有可能的运动序列。这可被称为“自适应匹配”。

在一些实施例中，可在查找104中根据匹配的运动样本片段或者运动状态转换首先只考虑这样的计算机模型运动样本片段，其根据马尔可夫模型具有最高的(转换-)概率,即,其概率例如高于预先设定的阈值。例如，可根据所匹配的计算机模型运动样本片段首先在100个最有可能的计算机模型运动样本片段中寻找，然后在接下来可能的100到1000个计算机模型运动样本片段中，等等，通过这种实施方式可显著加快匹配的运动样本片段的发现。

根据一些实施例，可在状态转换时将所找到的转换概率进行存储并且用于改善运动过程重建。这也可以在线完成，并且可对状态转换概率实时进行调整。换句话说，在对应于实际的运动转换的运动样本片段的选择中可根据实际找到的运动状态转换在运行期间内进行转换概率的动态匹配。也就是说，例如初始的还未成熟的马尔可夫模型(其描述可能的运动状态和运动转换)可以不断地匹配于实际所观测的运动并由此得到改善。较不频繁出现的目标的运动状态或者运动转换可自适应分配较之更频繁出现的运动状态或者运动转换低的概率。因此，运动模型(例如，马尔可夫模型)在运行期间被连续匹配于一个确定的目标。该系统因此变得具有一定程度的学习能力。

选择设备204或者匹配单元可被视为时间敏感(zeitkritische)组件。实际运动的重建106在恒定时间[O(l)]内是可行的，并且因此对方法100的实时能力无不利影响。为了满足所谓最坏情况执行时间(WECT)，根据一些实施例的方法100可针对每一个可能的时间返回迄今最有可能的结果。如果还有更多的用于计算的时间供支配，结果可以被反复改进。在数字运动样本片段的选择104中，可因此根据预先设定的持续时间在实际的运动转换的检测102之后对数字运动样本片段进行选择，该数字运动样本片段根据该持续时间具有最高的概率从起始运动状态引导至结束运动状态。例如，可直至第一时间点在接收到位置数据之后从多个存储的数字运动样本中选择数字运动样本片段，其对应于所检测到的目标的实际运动的具有最高概率的该第一时间点，并且，其中，在所述第一个时间点之后直至第二时间点继续寻找针对该时间间隔的更匹配的运动样本片段。因此可遵循时间限制，并绘制重建图像(例如，采用帧延迟)。这种方法可被称为“渐进式匹配”，其中图像迅速以“较差的”质量示出，并且逐点进行精细绘制。较差的质量在这里是指发现非100％匹配帧或者非100％匹配的计算机模型的运动样本片段。

根据实施例，可借助所接收到的采样点的无线电标记器数据或者位置数据将不同的动画从从运动数据库205中彼此排列整理出来。其中，无线电标记器数据用作连续的或周期性的输入参数，并且它将与所存储的数字运动数据同步，从而在预定时间内(例如，1/24秒)选择出具有最小偏差的匹配的计算机模型运动样本。对此，一种可能性是计算机模型运动样本按照不同质量水平存储，并且然后从最差质量开始逐级搜索。它的优点是在预定时间内的反馈，从而能够对运动进行流畅地重建。较差质量的计算机模型运动样本可包含较少的帧，以便限制(减少)要被搜索的数据量。如果在预定的时间内在运动样本的选择之后还有更多的时间,可以在下一个更高的质量水平中进行搜索。

作为进一步的有利的实施方案，或者在重建之前或者在重建期间实时创建运动模型之间的状态转换。由此形成关系图，该关系图将运动样本表示为节点，并且将转换表示为具有指引线权重(例如，所识别的转换的数量或者转换的概率)的指引线。因此可首先对最可能的转换进行搜索，以及稍后的不太可能的转换。借此可在很有限的时间段内找到第一个解决方案，然后其可以在存在更多时间的情况下被进一步改善。

在一些实施例中，可首先对更基本的运动信息附加地或者可选地进行处理，例如关于在计算机中处理的时间顺序。如果没有更多的计算时间供支配，具有逐渐增加的细节级别以及逐渐降低的信息内容的运动分解可例如稍晚些被算出或者可能被略去。另一种可能的“排序”可以是按照屏幕上的目标的大小。对于较小的目标，当运动几乎保持一致时，不必100％地确定正确的运动状态，因为这几乎不被观察者所察觉。因此，在选择匹配的运动样本片段时，较大的目标可被指定比相对较小的目标更高的优先级。其中，高优先级的目标可以比低优先级的目标时间上更快地被重建。真实目标的不同采样点也可以附加地或者可选地指定不同的优先级。其中，高优先级采样点的位置数据可以比低优先级采样点的位置数据时间上更快地被评估。另一种可能性在于所存储的运动样本的不同的时间采样率(采样频率)。每个运动样本可以按不同的采样率(例如，1Hz、10Hz、20Hz、…)存储在数据库中。在搜索中，根据对应于实际运动转换的运动样本片段首先搜索具有最低采样频率的运动样本的类型，然后是各个高采样频率的运动样本(例如，具有1Hz，之后10Hz等等)。然后，对具有更精确的解析度(即，具有相对更高的时间上的采样率的运动样本)的中间步骤(运动转换)进行平衡调整。

如果选择设备204或者匹配单元已经从数据库205识别到运动或者匹配的运动样本片段或者匹配帧，则可将帧或者运动样本片段从数据库提取出来并且在显示装置上示出。这在图5中示意性地示出。

图5仅示例性地示出了目标的四个时间上彼此连续的运动转换502-1、502-2、502-3和504-4(此处：拳击手的手臂)，其对应于彼此连续的时间间隔[i-2]、[i-1]、[i]和[i+1]。针对所示出的运动转换502通过本文所描述的方法从数据库205选择最可能匹配的计算机模型运动样本片段，从而借助于在数据库205中所存储的计算机模型运动样本对由所检测到的运动转换所形成的目标的整体运动进行重建或者合成，然后在输出设备或者显示设备504上再现。

在标准化运动转换的情况下，可从数据库205中提取尤其是匹配的标准化的计算机模型运动样本片段，并且利用此前所提取的比例因子和身体重心根据目标大小以及目标位置示出。根据一些实施例，可因此对存储在数据库205中的运动样本片段(以单位大小)进行标准化，并且为了图像的重建加入与目标大小相对应的比例因子，以便对具有至少一个采样点的目标的非标准化的运动过程进行重建。其中，目标的方位或者视角方向可由运动样本(从其中提取帧或者运动样本片段)已知。

总之，实施例涉及方案，其包括方法、装置以及计算机程序，用于基于无线电标记器数据的可移动的以及多肢体的目标(例如，人类、动物、机械结构体)或者目标组合的运动重建。

为此，如图6中所示，可在目标302的任意运动采样点处设置基于无线电的位置标记器。它可以设置足够精准触发的实时定位系统(RTLS)，其优选地实时(例如，按x、y、z)测定无线电标记器304的位置。无线电标记器304例如通过精确的RTLS(实时定位系统)数据(空间中x、y、z坐标的形式)和/或加速度数据等给出。在所谓的运动数据库205中存在任意数量的计算机模型运动样本。其针对目标302存储任意以及任意多个计算机模型运动分段。这可包括人类典型的运动诸如跑步、行走，跳跃等。计算机模型运动分段可包括具有无线电标记器的采样点以及整个目标的多个帧。由此，即使当无线电标记器数据不完整或者消失时，也可以通过用于目标302的运动的重建的装置200由所存储的目标的计算机模型运动样本序列实现目标的有意义的或者合理的运动重建。这种重建的运动可以经由输出或显示装置504显示。通过实施例可以利用无线电标记器位置的足够的精确度和更新速率借助虚拟目标来实现实际运动的重建。无线电标记器304的数量可以向上任意改变(在理想的身体重心的情况下，至少一个)。重建可实时和/或通过后期制作过程实现。

在前面的描述、所附权利要求以及附图中所公开的特征在其不同的重点实施方式中既可以是单独的也可以通过任意组合用于实现本发明。

虽然已经对本发明关于运动重建装置的一些方案进行了描述，应当理解，这些方案也表示相应的运动重建方法的描述，因此，运动重建装置的模块或部件将被理解为相应的方法步骤或方法步骤的特征。同样，所描述的关于方法步骤或描述为方法步骤的方案也表示相应的装置的模块或细节或特征的描述。

根据确定的实施要求，本发明的实施例可以以硬件或软件来实现。所述实施可使用数字存储介质，例如软盘、DVD、蓝光光盘、光盘、ROM、PROM、EPROM、EEPROM或闪速存储器、硬盘或其他磁性或者光学存储器来执行，电子可读控制信号被存储其上，该控制信号可以以这样的方式与可编程的硬件组件配合，或者与可编程的硬件组件配合以使各方法得以执行。

可编程硬件组件可通过控制器、处理器、计算机处理器(CPU＝中央处理单元)、计算机、计算机系统、专用集成电路(ASIC＝专用集成电路)、集成电路(IC＝集成电路)、单芯片系统(SOC＝片上系统)、可编程逻辑元件或者具有微处理器的现场可编程门阵列(FPGA＝现场可编程门阵列)形成。

因此，数字存储介质可以是机器可读或计算机可读的。因此，一些实施例包括含有电子可读控制信号的数据载体，其能够与可编程计算机系统或者可编程硬件组件以如此方式进行配合，即，使得本文所描述的方法得以执行。一个实施例是这样的数据载体(或数字存储介质或计算机可读介质)，即，用于执行本文中所描述的方法的程序被记录在其上。

一般地，本发明的实施例可实现为程序、固件、计算机程序或具有程序代码的计算机程序产品或者可实现为数据，其中，当程序在处理器或者可编程硬件组件上运行时，程序代码或数据对于实现所述方法的一种是有效的。程序代码或者数据也可以例如存储在机器可读载体或者数据载体上。程序代码或者数据可以是除此以外的源代码、机器代码或比特码以及其它中间代码。

根据一个实施例的程序可在其执行期间例如通过读取存储器位置或者将日期或更多数据写入其中对所述方法的一种进行转换，由此可能触发切换操作或在晶体管结构、放大器结构或者其它电、光、磁或按照其它工作原理工作的组件中的其它操作。相应地，可通过读取存储器位置对程序的数据、值、传感器值或者其它信息进行检测、确定或测量。因此，程序可通过读取一个或多个存储器位置对大小、值、测量值以及其它信息进行检测、确定或者测量，并通过写入一个或多个存储器位置中来触发、引起或者执行行为，以及控制其它设备、机器和组件。

上面所描述的实施例仅仅是对本发明的原理的说明。应当理解的是，本文所描述的布置的修改和变化以及细节对于其它本领域技术人员将是显而易见的。因此，其意图是，本发明仅通过下面的权利要求的范围，而不是通过根据实施例的描述和说明所展示的具体细节来限制。

Claims (18)

1.一种用于根据目标(302)的3D计算机模型的运动样本片段的序列来重建所述目标的运动的方法(100)，其中每个运动样本片段对应于所述运动的不同的时间间隔，并且，其中所述目标(302)具有至少一个与位置标记器(304)相耦合的采样点，所述方法具有以下步骤：

a)基于从所述位置标记器(304)所接收到的所述至少一个采样点的位置数据在所述运动的时间间隔内对所述目标(302)的起始运动状态与结束运动状态之间的运动转换进行检测(102)；

b)从多个存储在数据库(205)中的所述3D计算机模型的数字运动样本中如此选择(104)至少一个对应于所述运动转换的数字运动样本片段，以使得所选择的所述3D计算机模型的数字运动样本片段针对所述时间间隔以足够的概率从所述起始运动状态引导至所述结束运动状态；以及

c)使用所述起始运动状态和所选择的所述3D计算机模型的运动样本片段借助于所述3D计算机模型针对所述时间间隔对所述目标的所述运动的图像进行重建(106)。

2.根据权利要求1所述的方法(100)，其中所述方法步骤a)至c)形成用于重建所述运动的迭代方法的当前的迭代，并且，其中在所述迭代方法(100)的先前的迭代中重建针对所述当前的迭代的所述起始运动状态，从而使得由多个所选择的并且对应于彼此连续的时间间隔或者迭代的数字运动样本片段构成重建的所述运动的图像。

3.根据前述权利要求中任一项所述的方法(100)，其中在选择(104)时将所检测到的所述目标(302)的运动转换如此迭代地与所存储的所述3D计算机模型的数字运动样本进行比较，以基于所述目标(302)的至少一个过去的运动状态和当前的转换概率确定针对所述目标(302)的当前的运动状态的假设，所述转换概率对应于所述目标(302)的至少两个时间上彼此连续的离散运动状态之间的可能的运动转换。

4.根据权利要求3所述方法(100)，其中所述当前的运动状态和所述目标(302)的所述至少一个过去的运动状态形成马尔可夫模型(400)的序列。

5.根据前述权利要求中任一项所述的方法(100)，其中通过所述至少一个运动样本片段的选择(104)来确定在预定的马尔可夫模型(400)中和检测到的运动转换的序列中最可能的运动状态的序列，以便对所述目标(302)的所述运动进行重建。

6.根据前述权利要求中任一项所述的方法(100)，其中首先基于可能的运动状态的集合的子集选择所述数字运动样本片段，其中所述子集适于能够至少粗略地重建所述运动的所述图像，并且其中在粗略的重建之后，基于除所述子集外的所述集合中的其它状态对所述运动的所述图像进行更精细的重建。

7.根据前述权利要求中任一项所述的方法(100)，其中在所述数字运动样本片段的选择(104)中，根据预定的持续时间在所述运动转换的检测(102)之后对数字运动样本片段进行选择，该数字运动样本片段根据该持续时间以最高概率针对所述时间间隔从所述起始运动状态引导至所述结束运动状态。

8.根据前述权利要求中任一项所述的方法(100)，其中存储在所述数据库(205)中的所述数字运动样本是标准化的，并且其中为了对所述数字样本片段进行选择，从所述位置标记器(304)所接收的位置数据被施加与目标大小相对应的比例因子，以得到所述目标(302)的标准化的运动。

9.根据前述权利要求中任一项所述的方法(100)，其中所述数字运动样本片段具有至少一个与所述时间间隔相对应的所述3D计算机模型的数字运动样本的单帧画面。

10.根据前述权利要求中任一项所述的方法(100)，其中所述运动样本片段是标准化的，并且为了所述图像的重建(106)而被施加与目标大小相对应的比例因子，以重建具有所述至少一个采样点的所述目标(302)的去标准化的运动过程。

11.根据前述权利要求中任一项所述的方法(100)，其中直至在接收到所述位置数据之后的第一时间点，从多个所存储的数字运动样本中选择所述数字运动样本片段，该数字运动样本片段以所检测到的所述目标(302)的运动的最高概率对应于所述第一时间点，并且其中在所述第一个时间点之后直至第二时间点继续寻找针对所述时间间隔的更匹配的数字运动样本片段。

12.根据前述权利要求中任一项所述的方法(100)，其中所述目标(302)的不同采样点被指定不同的优先级，并且较高优先级的采样点的位置数据比较低优先级的采样点的位置数据在时间上更早地被评估。

13.根据前述权利要求中任一项所述的方法(100)，其中较大的目标(302)比相对较小的目标(302)被指定更高的优先级，并且其中较高优先级的目标的位置数据比较低优先级的位置数据在时间上更早地被评估。

14.根据前述权利要求中任一项所述的方法(100)，其中存储在所述数据库(205)中的所述数字运动样本是所述3D计算机模型的预定义的三维运动样本，该数字运动样本对应于所述目标的可能的真实运动。

15.根据前述权利要求中任一项所述的方法(100)，其中所述至少一个位置标记器(304)与无线电发射器相耦合，该无线电发射器将所述位置数据通过无线电接口传送至评估装置(200；310)，该评估装置适于执行根据前述权利要求中任一项所述的方法(100)。

16.根据前述权利要求中任一项所述的方法(100)，其中所述位置数据源自实时定位系统的位置标记器(304)，并且在实时条件下执行所述方法(100)的所述步骤。

17.一种计算机程序，该计算机程序具有用于当该计算机程序在可编程硬件组件上运行时执行根据前述权利要求中任一项所述的方法(100)的程序代码。

18.一种用于根据目标(302)的3D计算机模型的运动样本片段的序列来重建所述目标的运动的装置(200)，其中每个运动样本片段对应于所述运动的不同的时间间隔，并且，其中所述目标具有至少一个与位置标记器(304)相耦合的采样点，该装置具有以下特征：

设备(202)，该设备用于基于从所述位置标记器(304)所接收的所述至少一个采样点的位置数据在所述运动的时间间隔内对所述目标(302)的起始运动状态与结束运动状态之间的运动转换进行检测；

设备(204)，该设备用于从多个存储在数据库(205)中的所述3D计算机模型的数字运动样本中选择至少一个对应于所述运动转换的数字运动样本片段，其中所选择的所述3D计算机模型的数字动作样本片段针对所述时间间隔以足够的概率从所述起始动作状态引导至所述结束运动状态；以及，

设备(206)，该设备用于使用所述起始运动状态和所选择的所述3D计算机模型的运动样本片段借助于所述3D计算机模型针对所述时间间隔对所述目标(302)的所述运动的图像进行重建。