CN105225270A - 一种信息处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种信息处理方法及电子设备，其中，所述方法包括：获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据；通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据；获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果；在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

Description

一种信息处理方法及电子设备

技术领域

本发明涉及通讯技术，尤其涉及一种信息处理方法及电子设备。

背景技术

本申请发明人在实现本申请实施例技术方案的过程中，至少发现相关技术中存在如下技术问题：

三维人体跟踪与建模的目标是在摄像机的视角里面实时跟踪人体的三维运动并建立人体的三维模型，有着广泛的应用，包括自然人机交互，远程呈现(tele-presence)，虚拟现实游戏等。

与一般物体的三维建模相比，对人体跟踪与建模的问题，其难度在于人体具有很多关节(主要关节有颈，肩，肘，腕，腰，胯，膝，踝关节)，每个关节又有多个自由度，因此人体在运动时会表现出形态多样的形变。此外人体在运动中自遮挡的问题非常常见，这又增加了基于视觉传感方式的难度。

对于上述问题，目前采用的解决方案都是实时的跟踪用户的人体运动形态，并依据实时数据进行建模的方案，存在精确度不高，限于一定的场所等问题，如果想要提高精度，又会带来造价高的问题。总之，相关技术中，对于该问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例希望提供一种信息处理方法及电子设备，至少解决了现有技术存在的问题，能提高精度，降低造价，也不受限于具体的场所。

本发明实施例的技术方案是这样实现的：

本发明实施例的一种信息处理方法，所述方法包括：

获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据；

通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据；

获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果；

在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

上述方案中，所述第一数据包括所述历史离线数据和/或基于所述历史离线数据按照第二预设规则计算得到的训练数据。

上述方案中，所述方法还包括：

获取所述历史离线数据，所述历史离线数据用于表征人体运动的三维数据集，至少包括人体的关节参数，还可以包括与所述关节参数对应的自由度参数；

根据所述历史离线数据得到至少一个第三模型，所述第三模型用于表征通过所述关节参数分割的人体各个部分，并作为参考标准；

获取针对至少一个第三模型进行数据采集时得到的对应不同深度的多个第一视频；

在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，将调整得到的数据作为人体未来在运动时可能会发生形变的人体姿态预测值，将所述预测值确定为所述训练数据。

上述方案中，所述在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，包括：

将所述调整量分割后得到各个调整子参量，将所述各个调整子参量对应匹配到所述通过所述关节参数分割的人体各个部分，如果匹配成功，则对相应的部分进行调整；

或者，

建立所述调整量与所述通过所述关节参数分割的人体各个部分之间的关联，通过所述关联跟踪所述调整量与所述通过所述关节参数分割的人体各个部分之间的动态变化结果，记录所述动态变化结果，根据所述动态变化结果训练得到一个多层的神经元网络，所述神经元网络能表征通过所述调整量关联到的人体运动可能会发生形变的人体姿态。

上述方案中，所述在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型，包括：

将所述至少一个第三模型按照所述关节参数对齐，以构成完整的人体跟踪模型；

提取所述训练数据中用于表征人体各个部分的形状模型参数，结合所述人体跟踪模型组装成用于表征人体运动发生形变时的各姿态身体模型参数；

获取所述第二数据，所述第二数据为进行数据采集时得到的对应不同深度的多个第二视频，对所述多个第二视频进行预处理得到表征完整人体的第二深度信息；

将所述第二深度信息按照所述关节参数分割后，得到多个第三数据，将所述表征人体各个部分的形状模型参数用于匹配到相应的第三数据并进行调整和合成，得到第一合成结果；将所述表征人体运动发生形变时的各姿态身体模型参数用于匹配到相应的第三数据并进行调整和合成，得到第二合成结果；

根据所述第一合成结果和所述第二合成结果生成第二模型。

本发明实施例的一种电子设备，所述电子设备包括：用于数据存储的存储器和用于数据处理的处理器；

所述存储器，用于存储第一数据；

所述处理器，用于：

获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据；

通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据；

获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果；

在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

上述方案中，所述第一数据包括所述历史离线数据和/或基于所述历史离线数据按照第二预设规则计算得到的训练数据。

上述方案中，所述处理器，进一步用于：

获取所述历史离线数据，所述历史离线数据用于表征人体运动的三维数据集，至少包括人体的关节参数，还可以包括与所述关节参数对应的自由度参数；

根据所述历史离线数据得到至少一个第三模型，所述第三模型用于表征通过所述关节参数分割的人体各个部分，并作为参考标准；

获取针对至少一个第三模型进行数据采集时得到的对应不同深度的多个第一视频；

在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，将调整得到的数据作为人体未来在运动时可能会发生形变的人体姿态预测值，将所述预测值确定为所述训练数据。

上述方案中，所述处理器，进一步用于：

将所述调整量分割后得到各个调整子参量，将所述各个调整子参量对应匹配到所述通过所述关节参数分割的人体各个部分，如果匹配成功，则对相应的部分进行调整；

或者，

建立所述调整量与所述通过所述关节参数分割的人体各个部分之间的关联，通过所述关联跟踪所述调整量与所述通过所述关节参数分割的人体各个部分之间的动态变化结果，记录所述动态变化结果，根据所述动态变化结果训练得到一个多层的神经元网络，所述神经元网络能表征通过所述调整量关联到的人体运动可能会发生形变的人体姿态。

上述方案中，所述处理器，进一步用于：

将所述至少一个第三模型按照所述关节参数对齐，以构成完整的人体跟踪模型；

提取所述训练数据中用于表征人体各个部分的形状模型参数，结合所述人体跟踪模型组装成用于表征人体运动发生形变时的各姿态身体模型参数；

获取所述第二数据，所述第二数据为进行数据采集时得到的对应不同深度的多个第二视频，对所述多个第二视频进行预处理得到表征完整人体的第二深度信息；

将所述第二深度信息按照所述关节参数分割后，得到多个第三数据，将所述表征人体各个部分的形状模型参数用于匹配到相应的第三数据并进行调整和合成，得到第一合成结果；将所述表征人体运动发生形变时的各姿态身体模型参数用于匹配到相应的第三数据并进行调整和合成，得到第二合成结果；

根据所述第一合成结果和所述第二合成结果生成第二模型。

本发明实施例的信息处理方法包括：获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据；通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据；获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果；在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

采用本发明实施例，由于将用于表征跟踪人体姿态变化的历史离线数据和实时数据相结合，用历史离线数据对实时数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型，因此，无需用大量的采集单元在具体的场所中实时采集大量的实时数据也能得到所需要的数据，从而能提高精度，降低造价，也不受限于具体的场所。

附图说明

图1为本发明实施例一的一个实现流程示意图；

图2为本发明实施例二的一个实现流程示意图；

图3为本发明实施例三的一个实现流程示意图；

图4为本发明实施例四的一个实现流程示意图；

图5为本发明实施例五的一个组成结构示意图；

图6-8为现有解决人体运动跟踪的场景的示意图；

图9为应用本发明实施例的一应用场景的建模示意图。

具体实施方式

下面结合附图对技术方案的实施作进一步的详细描述。

实施例一：

本发明实施例的信息处理方法，该方法应用于电子设备中，如图1所示，该方法包括：

步骤101、获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据。

这里，第一数据为离线数据，有别于步骤102中的数据，步骤102中的数据为实时获取的在线数据。

步骤102、通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据。

步骤103、获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果。

这里，第一模型是现有的模型，通过步骤101能得到历史离线数据，步骤102是实时获取在线数据，由于本发明实施例无需大量的采集设备，比如只采用两个或三个，或者略多的摄像头来基于三维模式对人体的运动形态和姿态进行跟踪，记录这部分数据为所述用于表征当前跟踪人体姿态变化所获取的实时数据，数据量少，会影响到是否能得到精确的建模结果，因此，本发明实施例还将获取大量现有的离线数据，即所述用于表征跟踪人体姿态变化所获取的历史离线数据，将大量的历史离线数据和少量的实时数据进行结合，就能解决数量少而精确度不高的问题，且整个过程无需要大量昂贵的采集设备。

步骤104、在第一模型中，将第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

这里，基于现有的第一模型，将第一数据(所述用于表征跟踪人体姿态变化所获取的历史离线数据)按照修正和/或合成算法对第二数据(所述用于表征当前跟踪人体姿态变化所获取的实时数据)进行调整后合成得到合成结果，基于所述合成结果可以生成新的第二模型，新的第二模型是对第一模型的改进，能满足精确要求，降低造价，也不受限于具体的场所。后续，用户只需要通过该新的第二模型来基于三维模式对人体的运动形态和姿态进行跟踪。

至于所述第一数据(所述用于表征跟踪人体姿态变化所获取的历史离线数据)如何按照所述修正和/或合成算法对第二数据(所述用于表征当前跟踪人体姿态变化所获取的实时数据)进行调整及合成，在后续的实施例中会进行描述。

在本发明实施例一实施方式中，所述第一数据包括所述历史离线数据和/或基于所述历史离线数据按照第二预设规则计算得到的训练数据。

实施例二：

本发明实施例的信息处理方法，该方法应用于电子设备中，如图2所示，该方法包括：

步骤201、获取第一数据，所述第一数据包括历史离线数据。

这里，获取所述历史离线数据，所述历史离线数据用于表征人体运动的三维数据集，至少包括人体的关节参数(如颈，肩，肘，腕，腰，胯，膝，踝关节所对应的参数)。由于，人体在运动时会表现出形态多样的形变，所以，还可以包括与所述关节参数(如颈，肩，肘，腕，腰，胯，膝，踝关节所对应的参数)分别对应的各个自由度参数，如旋转，指向方向等等。

步骤202、根据所述历史离线数据得到至少一个第三模型，所述第三模型用于表征通过所述关节参数分割的人体各个部分，并作为参考标准。

步骤203、获取针对至少一个第三模型进行数据采集时得到的对应不同深度的多个第一视频。

步骤204、在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，将调整得到的数据作为人体未来在运动时可能会发生形变的人体姿态预测值，将所述预测值确定为训练数据。

这里，通过上述步骤202-204的一系列过程是基于历史离线数据按照第二预设规则计算得到训练数据的细化过程。

这里，用于后续与第二数据结合使用的所述第一数据，除了包括步骤201中的历史离线数据，这是第一类数据，第一数据还包括步骤204的训练数据，这是第二类数据，或者，同时包括这两类数据。

这里，通过采集设备，如两个或三个摄像头在不同角度对人体运动时表现出形态多样的形变进行采集，可以得到对应同一个采集部位，或者对应同一个人体整体的不同深度的视频，通过该多视频间的运算可以得到的所述第一深度信息。这里，针对历史离线数据和/或训练数据，两个或三个摄像头在不同角度对人体运动时表现出形态多样的形变进行采集，都用第一视频来表示，区别于后续针对步骤205中的实时数据进行采集时，都用第二视频来表示。

步骤205、通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据。

步骤206、获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果。

这里，第一模型是现有的模型，通过步骤201-204能得到多种种类的历史离线数据，步骤202是实时获取在线数据，由于本发明实施例无需大量的采集设备，比如只采用两个或三个，或者略多的摄像头来基于三维模式对人体的运动形态和姿态进行跟踪，记录这部分数据为所述用于表征当前跟踪人体姿态变化所获取的实时数据，数据量少，会影响到是否能得到精确的建模结果，因此，本发明实施例还将获取大量现有的离线数据，即所述用于表征跟踪人体姿态变化所获取的历史离线数据，将大量的历史离线数据和少量的实时数据进行结合，就能解决数量少而精确度不高的问题，且整个过程无需要大量昂贵的采集设备。

步骤207、在第一模型中，将第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

这里，基于现有的第一模型，将第一数据(所述用于表征跟踪人体姿态变化所获取的历史离线数据)按照修正和/或合成算法对第二数据(所述用于表征当前跟踪人体姿态变化所获取的实时数据)进行调整后合成得到合成结果，基于所述合成结果可以生成新的第二模型，新的第二模型是对第一模型的改进，能满足精确要求，降低造价，也不受限于具体的场所。后续，用户只需要通过该新的第二模型来基于三维模式对人体的运动形态和姿态进行跟踪。

至于所述第一数据(所述用于表征跟踪人体姿态变化所获取的历史离线数据)如何按照所述修正和/或合成算法对第二数据(所述用于表征当前跟踪人体姿态变化所获取的实时数据)进行调整及合成，在后续的实施例中会进行描述。

实施例三：

本发明实施例的信息处理方法，该方法应用于电子设备中，如图3所示，该方法包括：

步骤301、获取第一数据，所述第一数据包括历史离线数据。

这里，获取所述历史离线数据，所述历史离线数据用于表征人体运动的三维数据集，至少包括人体的关节参数(如颈，肩，肘，腕，腰，胯，膝，踝关节所对应的参数)。由于，人体在运动时会表现出形态多样的形变，所以，还可以包括与所述关节参数(如颈，肩，肘，腕，腰，胯，膝，踝关节所对应的参数)分别对应的各个自由度参数，如旋转，指向方向等等。

步骤302、根据所述历史离线数据得到至少一个第三模型，所述第三模型用于表征通过所述关节参数分割的人体各个部分，并作为参考标准。

步骤303、获取针对至少一个第三模型进行数据采集时得到的对应不同深度的多个第一视频。

步骤304、在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，将调整得到的数据作为人体未来在运动时可能会发生形变的人体姿态预测值，将所述预测值确定为训练数据。

这里，通过上述步骤302-304的一系列过程是基于历史离线数据按照第二预设规则计算得到训练数据的细化过程。

这里，用于后续与第二数据结合使用的所述第一数据，除了包括步骤301中的历史离线数据，这是第一类数据，第一数据还包括步骤304的训练数据，这是第二类数据，或者，同时包括这两类数据。

这里，通过采集设备，如两个或三个摄像头在不同角度对人体运动时表现出形态多样的形变进行采集，可以得到对应同一个采集部位，或者对应同一个人体整体的不同深度的视频，通过该多视频间的运算可以得到的所述第一深度信息。这里，针对历史离线数据和/或训练数据，两个或三个摄像头在不同角度对人体运动时表现出形态多样的形变进行采集，都用第一视频来表示，区别于后续针对步骤305中的实时数据进行采集时，都用第二视频来表示。

这里，步骤304中，在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，包括以下两种方案中的任意一种：

方案一：将所述调整量分割后得到各个调整子参量，将所述各个调整子参量对应匹配到所述通过所述关节参数分割的人体各个部分，如果匹配成功，则对相应的部分进行调整。比如，具体的，为了得到训练数据，一种离线的大规模人体运动数据集学习方案为：首先需要采集人体运动的高精度三维数据集，这个可以通过主动式深度感知器(比如Kinect)得到，或者通过贴上IRreflector来得到人体的关节模型。这样得到人体运动的groundtruth，将该groundtruth作为参考标准；同时需要捕捉多摄像头的视频、并计算多视频之间对应的深度图，作为观察量(observation)，将observation作为所述调整量。接下来需要用机器学习的方法来得到这两者的对应，可以采用的一种办法是spatialtemporalvolumematching，即：对时空域中的小片段进行匹配并对应到高精度的三维运动中以得到调整量与要调整对象的对应关系。

方案二：

建立所述调整量与所述通过所述关节参数分割的人体各个部分之间的关联，通过所述关联跟踪所述调整量与所述通过所述关节参数分割的人体各个部分之间的动态变化结果，记录所述动态变化结果，根据所述动态变化结果训练得到一个多层的神经元网络，所述神经元网络能表征通过所述调整量关联到的人体运动可能会发生形变的人体姿态。比如，具体的，为了得到训练数据，一种离线的大规模人体运动数据集学习方案为：首先需要采集人体运动的高精度三维数据集，这个可以通过主动式深度感知器(比如Kinect)得到，或者通过贴上IRreflector来得到人体的关节模型。这样得到人体运动的groundtruth，将该groundtruth作为参考标准；同时需要捕捉多摄像头的视频、并计算多视频之间对应的深度图，作为观察量(observation)，将observation作为所述调整量。接下来是用深度学习的方法来训练一个多层的神经元网络，从多摄像头的视频来关联到高精度的人体运动。这种方法也是要将得到的调整量与要调整对象进行关联，建立二者的对应关系。

上述方案一和方案二都是采用分割的各个部位，对参考值和调整量进行训练学习，不断刷新，以立求还原出与实际情况最接近的各形态模型。

步骤305、通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据。

步骤306、获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果。

这里，第一模型是现有的模型，通过步骤301-304能得到多种种类的历史离线数据，步骤302是实时获取在线数据，由于本发明实施例无需大量的采集设备，比如只采用两个或三个，或者略多的摄像头来基于三维模式对人体的运动形态和姿态进行跟踪，记录这部分数据为所述用于表征当前跟踪人体姿态变化所获取的实时数据，数据量少，会影响到是否能得到精确的建模结果，因此，本发明实施例还将获取大量现有的离线数据，即所述用于表征跟踪人体姿态变化所获取的历史离线数据，将大量的历史离线数据和少量的实时数据进行结合，就能解决数量少而精确度不高的问题，且整个过程无需要大量昂贵的采集设备。

步骤307、在第一模型中，将第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

这里，基于现有的第一模型，将第一数据(所述用于表征跟踪人体姿态变化所获取的历史离线数据)按照修正和/或合成算法对第二数据(所述用于表征当前跟踪人体姿态变化所获取的实时数据)进行调整后合成得到合成结果，基于所述合成结果可以生成新的第二模型，新的第二模型是对第一模型的改进，能满足精确要求，降低造价，也不受限于具体的场所。后续，用户只需要通过该新的第二模型来基于三维模式对人体的运动形态和姿态进行跟踪。

至于所述第一数据(所述用于表征跟踪人体姿态变化所获取的历史离线数据)如何按照所述修正和/或合成算法对第二数据(所述用于表征当前跟踪人体姿态变化所获取的实时数据)进行调整及合成，在后续的实施例中会进行描述。

实施例四：

基于上述实施例一-三而言，本发明实施例的信息处理方法，该方法应用于电子设备中，如图4所示，将所述第一数据(所述用于表征跟踪人体姿态变化所获取的历史离线数据)如何按照所述修正和/或合成算法对第二数据(所述用于表征当前跟踪人体姿态变化所获取的实时数据)进行调整及合成，包括：

步骤401、将所述至少一个第三模型按照所述关节参数对齐，以构成完整的人体跟踪模型。

步骤402、提取所述训练数据中用于表征人体各个部分的形状模型参数，结合所述人体跟踪模型组装成用于表征人体运动发生形变时的各姿态身体模型参数。

步骤403、获取所述第二数据，所述第二数据为进行数据采集时得到的对应不同深度的多个第二视频，对所述多个第二视频进行预处理得到表征完整人体的第二深度信息。

步骤404、将所述第二深度信息按照所述关节参数分割后，得到多个第三数据，将所述表征人体各个部分的形状模型参数用于匹配到相应的第三数据并进行调整和合成，得到第一合成结果；将所述表征人体运动发生形变时的各姿态身体模型参数用于匹配到相应的第三数据并进行调整和合成，得到第二合成结果。

步骤405、根据所述第一合成结果和所述第二合成结果生成第二模型。

实施例五：

本发明实施例的电子设备，如图5所示，所述电子设备包括：用于数据存储的存储器和用于数据处理的处理器；所述存储器，用于存储第一数据；所述处理器可以为至少一个，处理器为一个时，可以用于执行以下功能：

获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据；

通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据；

获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果；

在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

处理器为一个以上时，可以根据需求，用不同的处理器执行上述不同的功能。

在本发明实施例一实施方式中，所述第一数据包括所述历史离线数据和/或基于所述历史离线数据按照第二预设规则计算得到的训练数据。

在本发明实施例一实施方式中，所所述处理器，进一步用于：

获取所述历史离线数据，所述历史离线数据用于表征人体运动的三维数据集，至少包括人体的关节参数，还可以包括与所述关节参数对应的自由度参数；

根据所述历史离线数据得到至少一个第三模型，所述第三模型用于表征通过所述关节参数分割的人体各个部分，并作为参考标准；

获取针对至少一个第三模型进行数据采集时得到的对应不同深度的多个第一视频；

在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，将调整得到的数据作为人体未来在运动时可能会发生形变的人体姿态预测值，将所述预测值确定为所述训练数据。

在本发明实施例一实施方式中，所述处理器，进一步用于：

将所述调整量分割后得到各个调整子参量，将所述各个调整子参量对应匹配到所述通过所述关节参数分割的人体各个部分，如果匹配成功，则对相应的部分进行调整。或者，所述处理器，进一步用于：建立所述调整量与所述通过所述关节参数分割的人体各个部分之间的关联，通过所述关联跟踪所述调整量与所述通过所述关节参数分割的人体各个部分之间的动态变化结果，记录所述动态变化结果，根据所述动态变化结果训练得到一个多层的神经元网络，所述神经元网络能表征通过所述调整量关联到的人体运动可能会发生形变的人体姿态。

在本发明实施例一实施方式中，所述处理器，进一步用于：

将所述至少一个第三模型按照所述关节参数对齐，以构成完整的人体跟踪模型；

提取所述训练数据中用于表征人体各个部分的形状模型参数，结合所述人体跟踪模型组装成用于表征人体运动发生形变时的各姿态身体模型参数；

获取所述第二数据，所述第二数据为进行数据采集时得到的对应不同深度的多个第二视频，对所述多个第二视频进行预处理得到表征完整人体的第二深度信息；

将所述第二深度信息按照所述关节参数分割后，得到多个第三数据，将所述表征人体各个部分的形状模型参数用于匹配到相应的第三数据并进行调整和合成，得到第一合成结果；将所述表征人体运动发生形变时的各姿态身体模型参数用于匹配到相应的第三数据并进行调整和合成，得到第二合成结果；

根据所述第一合成结果和所述第二合成结果生成第二模型。

以一个现实应用场景为例对本发明实施例阐述如下：

首先对现有技术的一些技术进行介绍，对于应用场景为：多摄像机的三维人体跟踪与建模(multi-camerabasedhumantracking&modeling)的情况，三维人体跟踪与建模(3dhumantrackingandmodeling)的目标是在摄像机的视角里面实时跟踪人体的三维运动并建立人体的三维模型，有着广泛的应用，包括自然人机交互，远程呈现(tele-presence)，虚拟现实游戏等。和一般物体的三维建模相比，该问题的难度在于人体具有很多关节(主要关节有颈，肩，肘，腕，腰，胯，膝，踝关节)，每个关节又有多个自由度，因此人体在运动时会表现出形态多样的形变。此外人体在运动中自遮挡的问题非常常见，这又增加了基于视觉传感方式的难度。

现有的解决方案主要有如下三种：

1、如图6所示，依赖用户身上各关节处佩戴的可反光的标识小球，通过多个主动发射近红外光的近红外相机捕捉标示小球在空间中的位置来推算出人体的姿态，来控制通用的人体模型。该方案(opticaltracking)是目前专业动作捕捉领域(电影制作)中通用的解决方案，但造价十分昂贵，系统标定复杂，不适合普通用户的使用。虽然可以很精确地跟踪人体姿态，但对个体性的三维建模存在不足。

2、如图7所示，依赖用户身上各关节处佩戴小型惯性测量单元(IMU)，更过各个IMU测量到的转动角度来判断人体姿态。该方案是opticaltracking的替代方案，解决了部分标定复杂的问题，但IMU需要格外的供电，仍然增加了用户使用的复杂性。

3、如图8所示，依赖于主动三维深度感知器(active3dsensors)，比如MicrosoftKinect和IntelRealSense等。这种技术需要专门的发光器件和感知器，导致设备的尺寸、造价都没有压缩空间，仅限于室内使用，严重影响了在各种便携式设备(比如手机、tablet等)上面的推广。

对于上述应用场景，采用本发明实施例的这种新型的三维人体跟踪与建模技术，这种技术只需要用两个或更多的小型摄像头(compactcamera)就可以高速(～60FPS)、准确的捕捉到三维人体动作并计算出人体的三维几何形状。这项技术的核心在于结合离线的大规模人体运动数据集学习和实时的粗略深度计算来实现人体模型与运动的快速拟合和修正。这项技术可以产生基于多个compactcamera的三维感知方案，无论是精度、速度、尺寸等都更满足实际应用的需求。精确的人体建模可以实现对视线(eyegaze)的自动校正，已解决在视频通讯中没有正视人脸视线的问题；也可以更精准的识别三维的手势，比如整个手掌的三维旋转等，实现更自然的手势控制。

如图9所示，分成两个支路，一条是针对历史离线数据而言，包括基于历史离线数据得到的训练数据，另一条是针对实时数据而言。对于第一个支路而言，先根据离线捕捉历史数据得到已知的三维人体模型库，该模型库中包括按照关节参数分割的身体各个部分的数据，之后将身体各个部分的数据对应的模型对齐，得到完整的人体模型，再分割身体部件的形状模型，训练各身体部件的形状模型，离线捕捉的三维人体模型库。对于第二条支路而言，通过多摄像机系统，如两个或三个采集设备，以生成多角度深度图，计算点云并融合后，也是按身体部件分割，通过第一条支路得到的形状模型参数作为调节量，结合第二支路一起拟合形状模型，通过第一条支路得到的姿态模型参数作为调节量，结合第二支路一起拟合姿态生成最终的人体模型。

该新型的三维人体跟踪与建模方案包括以下内容：

一、离线的大规模人体运动数据集学习：首先需要采集人体运动的高精度三维数据集，这个可以通过主动式深度感知器(比如Kinect)得到，或者通过贴上IRreflector来得到人体的关节模型。这样得到人体运动的groundtruth——作为参考标准；同时需要捕捉多摄像头的视频、并计算多视频之间对应的深度图，作为观察量(observation)———调整量。接下来需要用机器学习的方法来得到这两者的对应，可以采用的一种办法是spatialtemporalvolumematching，对时空域中的小片段进行匹配并对应到高精度的三维运动中；另一种办法是用深度学习的方法来训练一个多层的神经元网络，从多摄像头的视频来关联到高精度的人体运动。

二、实时的计算：在基于多摄像头视频的深度计算过程中，我们首先快速计算一个粗略的深度图，然后再用离线学习的结果来反推人体的三维运动。在这个过程中，也同时利用已知的人脸、身体三维网状模型对计算结果进行更强的约束。这样通过离线计算的运动数据、已知的三维模型和快速计算得到的粗略深度图对真实的人体运动及模型进行快速的拟合和估计。

三、离线计算的运动数据(静态信息，用于学习)+(已知的三维模型，进一步的优化)+快速计算得到的粗略深度图(实时的动态信息)拟合得到的形态来建模。

采用本发明实施例，具备以下优点：

一、相比于只使用普通彩色摄像头，成本低，可以方便的集成到手机和平板电脑上使用；二、受环境光照影响小，可以扩展到室外应用；三、用户不需要佩戴任何标志物，不需要额外的标定，便于非专业人士使用。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法，所述方法包括：

获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据；

通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据；

获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果；

在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

2.根据权利要求1所述的方法，所述第一数据包括所述历史离线数据和/或基于所述历史离线数据按照第二预设规则计算得到的训练数据。

3.根据权利要求2所述的方法，所述方法还包括：

获取所述历史离线数据，所述历史离线数据用于表征人体运动的三维数据集，至少包括人体的关节参数，还可以包括与所述关节参数对应的自由度参数；

根据所述历史离线数据得到至少一个第三模型，所述第三模型用于表征通过所述关节参数分割的人体各个部分，并作为参考标准；

获取针对至少一个第三模型进行数据采集时得到的对应不同深度的多个第一视频；

在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，将调整得到的数据作为人体未来在运动时可能会发生形变的人体姿态预测值，将所述预测值确定为所述训练数据。

4.根据权利要求3所述的方法，所述在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，包括：

将所述调整量分割后得到各个调整子参量，将所述各个调整子参量对应匹配到所述通过所述关节参数分割的人体各个部分，如果匹配成功，则对相应的部分进行调整；

或者，

建立所述调整量与所述通过所述关节参数分割的人体各个部分之间的关联，通过所述关联跟踪所述调整量与所述通过所述关节参数分割的人体各个部分之间的动态变化结果，记录所述动态变化结果，根据所述动态变化结果训练得到一个多层的神经元网络，所述神经元网络能表征通过所述调整量关联到的人体运动可能会发生形变的人体姿态。

5.根据权利要求3或4所述的方法，所述在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型，包括：

将所述至少一个第三模型按照所述关节参数对齐，以构成完整的人体跟踪模型；

提取所述训练数据中用于表征人体各个部分的形状模型参数，结合所述人体跟踪模型组装成用于表征人体运动发生形变时的各姿态身体模型参数；

获取所述第二数据，所述第二数据为进行数据采集时得到的对应不同深度的多个第二视频，对所述多个第二视频进行预处理得到表征完整人体的第二深度信息；

将所述第二深度信息按照所述关节参数分割后，得到多个第三数据，将所述表征人体各个部分的形状模型参数用于匹配到相应的第三数据并进行调整和合成，得到第一合成结果；将所述表征人体运动发生形变时的各姿态身体模型参数用于匹配到相应的第三数据并进行调整和合成，得到第二合成结果；

根据所述第一合成结果和所述第二合成结果生成第二模型。

6.一种电子设备，所述电子设备包括：用于数据存储的存储器和用于数据处理的处理器；

所述存储器，用于存储第一数据；

所述处理器，用于：

获取第一数据，所述第一数据用于表征跟踪人体姿态变化所获取的历史离线数据；

通过至少两个采集单元实时采集第二数据，所述第二数据用于表征当前跟踪人体姿态变化所获取的实时数据；

获取第一模型；所述第一模型用于表征已知基于三维人体跟踪模式得到的建模结果；

在所述第一模型中，将所述第一数据按照第一预设规则对所述第二数据进行调整后合成得到合成结果，基于所述合成结果生成第二模型。

7.根据权利要求6所述的电子设备，所述第一数据包括所述历史离线数据和/或基于所述历史离线数据按照第二预设规则计算得到的训练数据。

8.根据权利要求7所述的电子设备，所述处理器，进一步用于：

获取所述历史离线数据，所述历史离线数据用于表征人体运动的三维数据集，至少包括人体的关节参数，还可以包括与所述关节参数对应的自由度参数；

根据所述历史离线数据得到至少一个第三模型，所述第三模型用于表征通过所述关节参数分割的人体各个部分，并作为参考标准；

获取针对至少一个第三模型进行数据采集时得到的对应不同深度的多个第一视频；

在所述对应不同深度的多个第一视频间运算得到的第一深度信息作为调整量，并用于对所述参考标准进行调整，将调整得到的数据作为人体未来在运动时可能会发生形变的人体姿态预测值，将所述预测值确定为所述训练数据。

9.根据权利要求8所述的电子设备，所述处理器，进一步用于：

将所述调整量分割后得到各个调整子参量，将所述各个调整子参量对应匹配到所述通过所述关节参数分割的人体各个部分，如果匹配成功，则对相应的部分进行调整；

或者，

建立所述调整量与所述通过所述关节参数分割的人体各个部分之间的关联，通过所述关联跟踪所述调整量与所述通过所述关节参数分割的人体各个部分之间的动态变化结果，记录所述动态变化结果，根据所述动态变化结果训练得到一个多层的神经元网络，所述神经元网络能表征通过所述调整量关联到的人体运动可能会发生形变的人体姿态。

10.根据权利要求8或9所述的电子设备，所述处理器，进一步用于：

将所述至少一个第三模型按照所述关节参数对齐，以构成完整的人体跟踪模型；

提取所述训练数据中用于表征人体各个部分的形状模型参数，结合所述人体跟踪模型组装成用于表征人体运动发生形变时的各姿态身体模型参数；

获取所述第二数据，所述第二数据为进行数据采集时得到的对应不同深度的多个第二视频，对所述多个第二视频进行预处理得到表征完整人体的第二深度信息；

将所述第二深度信息按照所述关节参数分割后，得到多个第三数据，将所述表征人体各个部分的形状模型参数用于匹配到相应的第三数据并进行调整和合成，得到第一合成结果；将所述表征人体运动发生形变时的各姿态身体模型参数用于匹配到相应的第三数据并进行调整和合成，得到第二合成结果；

根据所述第一合成结果和所述第二合成结果生成第二模型。