CN106056089A - 一种三维姿态识别方法及系统 - Google Patents

Abstract

本申请提供了一种三维姿态识别方法及系统，获取多个视角的目标图像帧序列，目标图像帧序列中包括待识别的目标图像帧；分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列；从预存的多个参考轮廓图像帧序列中，分别确定出与各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列；基于预存的与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，从各个视角的目标参考轮廓图像帧序列中确定出与目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息；通过二维姿态信息确定三维姿态信息。本申请可应用于室外大型运动场景，且提升了姿态识别的识别率。

Description

一种三维姿态识别方法及系统

技术领域

本发明涉及计算机视觉与计算机图形学技术领域，尤其涉及一种三维姿态识别方法及系统。

背景技术

近年来，姿态识别逐渐成为计算机视觉与计算机图形学领域的热点问题，广泛应用于游戏、电影与监控等场景。现有技术中的姿态识别方法有多种，目前较为典型的有基于机器学习的姿态识别方法，但是，基于机器学习的姿态识别方法需要采集各个视角的高分辨率图像。

然而，在室外大型运动场景中采集图像时，采集的图像中人物所占的像素通常较少，即图像中人物的分辨率比较低，这就导致针对室外大型运动场景采用基于机器学习的姿态识别方法进行姿态识别时的识别率较低。

发明内容

有鉴于此，本发明提供了一种三维姿态识别方法及系统，用以解决现有技术中的姿态识别方法在针对室外大型运动场景进行姿态识别时的识别率较低的问题，其技术方案如下：

一种三维姿态识别方法，预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，所述三维姿态识别方法包括：

获取多个视角的目标图像帧序列，其中，所述多个视角的目标图像帧序列按相同的帧率同时采集得到，各个视角的目标图像帧序列中包括各个视角的待识别的目标图像帧；

分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列；

从预存的所述多个参考轮廓图像帧序列中，分别确定出与所述各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列；

基于预存的所述与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从所述各个视角的目标参考轮廓图像帧序列中确定出与所述目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息；

通过所述各个视角的二维姿态信息确定三维姿态信息。

其中，所述获取多个视角的目标图像帧序列，包括：

获取从不同视角采集的人体姿态的视频图像帧序列，得到多个视角的视频图像帧序列作为所述多个视角的目标图像帧序列，所述多个视角的视频图像帧序列按相同的帧率同时采集；

或者，

获取从不同视角采集的人体姿态的视频图像帧序列，得到多个视角的视频图像帧序列，所述多个视角的视频图像帧序列按相同的帧率同时采集；

分别从各个视角的视频图像帧序列中提取包含目标图像帧的部分连续图像帧序列作为所述多个视角的目标图像帧序列。

其中，所述从预存的所述多个参考轮廓图像帧序列中，分别确定出与所述各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，包括：

从预存的所述多个参考轮廓图像帧序列中，分别确定与所述各个视角的目标轮廓图像帧序列匹配误差最小的参考轮廓图像帧序列作为所述各个视角的目标参考轮廓图像帧序列，

其中，所述参考轮廓图像帧序列与所述目标轮廓图像帧序列的匹配误差通过两个图像帧序列中位于相同位置的各个图像对的匹配误差加权求和获得，其中，所述各个图像对的误差为所述各个图像对中两个图像的匹配误差。

其中，所述目标图像帧序列中、所述目标图像帧之前的图像帧的数量与所述目标图像帧之后的图像帧的数量相同；

则，确定所述各个图像对的匹配误差的权值，具体为：

基于正态高斯分布函数确定所述各个图像对的匹配误差的权值。

优选地，所述方法还包括：

通过光流算法检测所述各个视角的目标图像帧序列中是否存在满足预设条件的两帧图像，其中，所述预设条件为所述两帧图像中的目标对象发生左右翻转；

当所述各个视角的目标图像帧序列中存在满足所述预设条件的两帧图像时，判断所述目标图像帧是否位于所述满足预设条件的两帧图像之后；

当所述目标图像帧位于所述满足预设条件的两帧图像之后时，基于所述满足预设条件的两帧图像对所述二维姿态信息进行校正；

则所述通过所述各个视角的二维姿态信息确定三维姿态信息，具体为：通过校正后的二维姿态信息确定三维姿态信息。

一种三维姿态识别系统，所述系统包括：第一处理设备和第二处理设备；

所述第一处理设备，用于获取多个视角的目标图像帧序列，分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列，其中，所述多个视角的目标图像帧序列按相同的帧率同时采集得到，各个视角的目标图像帧序列中包括各个视角的待识别的目标图像帧；

第二处理设备，用于预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，在进行姿态识别时，从预存的所述多个参考轮廓图像帧序列中，分别确定出与所述各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，基于预存的所述与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从所述各个视角的目标参考轮廓图像帧序列中确定出与所述目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息，通过所述各个视角的二维姿态信息确定三维姿态信息。

所述系统还包括：图像采集设备，所述图像采集设备包括多个图像采集子设备；

所述第一处理设备包括多个处理子设备，所述图像采集子设备和所述处理子设备一一对应；

所述图像采集设备，用于通过所述多个图像采集子设备从不同视角采集人体姿态的视频图像帧序列，其中，每个图像采集子设备采集一个视角的视频图像帧序列，所述多个图像采集子设备同步触发并按相同的帧率采集图像；

则所述第一处理设备，具体用于从所述图像采集设备获得多个视角的视频图像帧序列作为所述多个视角的目标图像帧序列，或者，先从所述图像采集设备获得多个视角的视频图像帧序列，然后分别从各个视角的视频图像帧序列中提取包含目标图像帧的部分连续图像帧序列作为所述多个视角的目标图像帧序列。

其中，所述第二处理设备，具体用于从预存的所述多个参考轮廓图像帧序列中分别确定与所述各个视角的目标轮廓图像帧序列匹配误差最小的参考轮廓图像帧序列作为所述各个视角的目标参考轮廓图像帧序列；

其中，所述参考轮廓图像帧序列与所述目标轮廓图像帧序列的匹配误差通过两个图像帧序列中位于相同位置的各个图像对的匹配误差加权求和获得，其中，所述各个图像对的误差为所述各个图像对中两个图像的匹配误差。

其中，所述目标图像帧序列中、所述目标图像帧之前的图像帧的数量与所述目标图像帧之后的图像帧的数量相同；

则所述第二处理设备，具体用于基于正态高斯分布函数确定所述各个图像对的匹配误差的权值。

其中，所述第一处理设备，还用于通过光流算法检测所述各个视角的目标图像帧序列中是否存在满足预设条件的两帧图像，当所述各个视角的目标图像帧序列中存在满足预设条件的两帧图像时，判断所述目标图像帧是否位于所述满足预设条件的两帧图像之后，其中，所述预设条件为所述两帧图像中的目标对象发生左右翻转；

则所述第二处理设备，还用于当所述目标图像帧位于所述满足预设条件的两帧图像之后时，基于所述满足预设条件的两帧图像对所述二维姿态信息进行校正，并通过校正后的各个视角的二维姿态信息确定三维姿态信息。

上述技术方案具有如下有益效果：

本发明提供的三维姿态识别方法及系统，在获得各个视角的目标图像帧序列之后，分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列，然后从预存多个参考轮廓图像帧序列中，分别确定出与各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，进而基于与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从各个视角的目标参考轮廓图像帧序列中确定出与目标图像帧对应的参考轮廓图像帧所对应的姿态信息作为各个视角的二维姿态信息，最后通过各个视角的二维姿态信息确定三维姿态信息。由此可见，本发明实施例提供的三维姿态识别方法及系统，并不直接通过获取的图像帧进行姿态识别，而是先从图像帧中提取轮廓信息，然后基于轮廓信息识别姿态，即本发明对图像帧的分辨率没有严格的要求，这使得本发明实施例提供的三维姿态识别方法及系统可应用于室外大型运动场景，且与现有技术相比，提升了姿态识别的识别率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的三维姿态识别方法一流程示意图；

图2为本发明实施例提供的三维姿态识别方法另一流程示意图；

图3为本发明实施例提供的三维姿态识别系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种三维姿态识别方法，预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，该三维姿态识别方法包括：

步骤S101：获取多个视角的目标图像帧序列。

其中，多个视角的目标图像帧序列按相同的帧率同时采集得到，各个视角的目标图像帧序列中包括各个视角的待识别的目标图像帧。

步骤S102：分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列。

步骤S103：从预存的多个参考轮廓图像帧序列中，分别确定出与各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列。

步骤S104：基于预存的与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从各个视角的目标参考轮廓图像帧序列中确定出与目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息。

步骤S105：通过各个视角的二维姿态信息确定三维姿态信息。

本发明实施例提供的三维姿态识别方法，在获得各个视角的目标图像帧序列之后，分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列，然后从多个参考轮廓图像帧序列中，分别确定出与各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，进而基于预存的与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从各个视角的目标参考轮廓图像帧序列中确定出与目标图像帧对应的参考轮廓图像帧所对应的姿态信息作为各个视角的二维姿态信息，最后通过各个视角的二维姿态信息确定三维姿态信息。由此可见，本发明实施例提供的三维姿态识别方法，并不直接通过获取的图像帧进行姿态识别，而是先从图像帧中提取轮廓信息，然后基于轮廓信息识别姿态，即本发明对图像帧的分辨率没有严格的要求，这使得本发明实施例提供的三维姿态识别方法可应用于室外大型运动场景，且与现有技术相比，提升了姿态识别的识别率。

可以理解的是，在某些时候，可能存在不同的姿态对应相同轮廓的情况，此时，基于目标轮廓图像帧序列进行后续的二维姿态信息确定时，确定出的二维姿态信息可能是错误的，基于上述考虑，本发明实施例提供了另一种三维姿态识别方法，该方法同样需要预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，该三维姿态识别方法包括：

步骤S201：获取多个视角的目标图像帧序列。

其中，多个视角的目标图像帧序列按相同的帧率同时采集得到，各个视角的目标图像帧序列中包括各个视角的待识别的目标图像帧。

步骤S202：分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列。

步骤S203：从预存的多个参考轮廓图像帧序列中，分别确定出与各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列。

步骤S204：基于预存的与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从各个视角的目标参考轮廓图像帧序列中确定出与目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息。

步骤S205：通过光流算法检测各个视角的目标图像帧序列中是否存在满足预设条件的两帧图像，如果是，则执行步骤S206a，如果否，则执行步骤S206b。

其中，预设条件为两帧图像中的目标对象发生左右翻转。

步骤S206a：判断目标图像帧是否位于满足预设条件的两帧图像之后，如果是，则执行步骤S207a，如果否，则执行步骤S206b。

步骤S207a：基于满足预设条件的两帧图像对各个视角的二维姿态信息进行校正，并通过校正后的各个视角的二维姿态信息确定三维姿态信息。

步骤S206b：通过各个视角的二维姿态信息确定三维姿态信息。

本发明实施例提供的三维姿态识别方法，并不直接通过获取的图像帧进行姿态识别，而是先从图像帧中提取轮廓信息，然后基于轮廓信息识别姿态，即本发明对图像帧的分辨率没有严格的要求，这使得本发明实施例提供的三维姿态识别方法可应用于室外大型运动场景，且与现有技术相比，提升了姿态识别的识别率。另外，本发明还考虑到了不同的姿态对应相同轮廓的情况，基于这种情况提出了对应的解决方案，使得姿态识别的识别率进一步提高。

在上述实施例中，预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息的实现过程可以包括：用虚拟相机对动作捕捉数据库中的网格模型进行模拟拍摄，获得多个视角的轮廓图像帧序列作为参考轮廓图像帧序列，然后对各个视角的参考轮廓图像帧序列中的各帧图像标记其对应的姿态信息。

在上述实施例中，获取多个视角的目标图像帧序列的实现方式有多种。

在一种可能的实现方式中，获取多个视角的目标图像帧序列的实现过程为：通过多个图像采集设备从不同视角采集人体姿态的视频图像帧序列，获得多个视角的视频图像帧序列，将多个视角的视频图像帧序列作为多个视角的目标图像帧序列。

在另一种可能的实现方式中，获取多个视角的目标图像帧序列的实现过程为：通过多个图像采集设备从不同视角采集人体姿态的视频图像帧序列，获得多个视角的视频图像帧序列；分别从各个视角的视频图像帧序列中提取包含目标图像帧的部分连续图像帧序列，并将各个视角的视频图像帧序列中目标图像帧的部分连续图像帧序列作为多个视角的目标图像帧序列。

其中，多个图像采集设备同步触发并按相同的帧率采集图像，这使得，各个视角的视频图像帧序列中图像帧的数量是相同的，且在视频图像帧序列中同一位置的图像帧是同一姿态的各个视角的图像帧。

以两个视角为例对获取目标图像帧序列的实现过程进行说明：用两个采集设备分别采集第一视角和第二视角的视频图像帧序列，具体的，通过第一图像采集设备采集第一视角的视频图像帧序列，假设该视频图像帧序列包括25帧图像，通过第二图像采集设备采集第二视角的视频图像帧序列，那么第二视角的视频图像帧序列也包括25帧图像。

假设目标图像帧为视频图像帧序列中的第13帧图像：

在第一种实现方式中，直接将第一视角的整个视频图像帧序列和第二视角的整个视频图像帧作为两个视角的目标图像帧序列，即每个视角的目标图像帧序列均为25帧。

在第二种实现方式中，从第一视角的整个图像帧序列中选取包括目标图像帧的一部分连续图像帧作为目标图像帧序列，第二视角图像帧序列帧同样如此，优选的，使选取的目标图像帧序列中位于目标图像帧之前、之后的图像帧的数量相同，或者数量差的绝对值小于一设定阈值，例如小于2，具体的，目标图像帧为整个视频图像帧序列中的第13帧图像，那么可从第一视角的整个视频图像帧序列中选取第3帧至第23帧作为第一视角的目标图像帧序列，同样的，从第二视角的整个视频图像帧序列中选取第3帧至第23帧作为第二视角的目标图像帧序列，即在目标图像帧序列中，目标图像帧之前有10帧图像，目标图像帧之后也有10帧图像，当然也可从第一视角的整个视频图像帧序列中选取第5帧至第23帧作为第一视角的目标图像帧序列，从第二视角的整个视频图像帧序列中选取第5帧至第23帧作为第二视角的目标图像帧序列，即在目标图像帧序列中，目标图像帧之前有8帧图像，目标图像帧之后也有10帧图像，在实际应用时，目标图像帧序列中、目标图像帧之前、之后图像帧的数量可设定，但尽可能使图像帧之前、之后图像帧的数量相差不多。

在上述实施例中，从图像帧中提取轮廓的实现方式有多种，在一种可能的实现方式中，可直接从图像帧中提取轮廓信息，在另一中可能的实现方式中，可分别从图像中的各个通道分量中提取轮廓信息，然后将从各个通道分量中提取的轮廓信息进行叠加，获得最终的轮廓图像帧。另外，为了提高识别率，在获得轮廓图像帧后，可对图像进行去噪处理，然后对去噪后的轮廓图像帧进行图像增强处理，以增强轮廓图像帧中的轮廓。

在上述实施例中，从预存的多个参考轮廓图像帧序列中，分别确定出与各个视角的轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，具体为：从预存的多个参考轮廓图像帧序列中分别确定与各个视角的目标轮廓图像帧序列匹配误差最小的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列。

在一种可能的实现方式中，预存的各个参考轮廓图像帧序列的长度与各个视角的轮廓图像帧序列的长度相同，这样在进行匹配时，可直接将预存的参考轮廓图像帧序列与各个视角的轮廓图像帧序列进行匹配。例如，预存的参考轮廓图像帧序列为5个，轮廓图像帧序列为两个视角的序列，分别为第一视角的轮廓图像帧序列和第二视角的轮廓图像帧序列，则将第一视角的轮廓图像帧序列分别与5个参考轮廓图像帧序列进行匹配，同样的，将第二视角的轮廓图像帧序列也分别与5个参考轮廓图像帧序列进行匹配，找到与之最匹配的参考轮廓图像帧序列作为目标参考轮廓图像帧序列。

考虑到存储较多的参考轮廓图像帧序列需要较大的存储空间，为了降低存储空间的占用率，可存储多个较长的参考轮廓图像帧序列，即，参考轮廓图像帧序列的长度大于各个视角的轮廓图像帧序列的长度。例如，参考轮廓图像帧序列中包括10帧图像，而各个视角的轮廓图像帧序列中包括5帧图像。在这种情况下，可先将某一视角的轮廓图像帧序列先与参考轮廓图像帧序列中的1至5帧进行匹配，再与2至6帧匹配，接着与3至7帧匹配，以此类推，找到与之最匹配的5帧图像作为目标参考轮廓图像帧序列。

进一步的，参考轮廓图像帧序列与目标轮廓图像帧序列的匹配误差通过两个图像帧序列中位于相同位置的各个图像对的匹配误差加权求和获得，其中，各个图像对的误差为各个图像对中两个图像的匹配误差。

具体的，可通过下式(1)计算参考轮廓图像帧序列与目标轮廓图像帧序列的匹配误差：

$E_q\left(s\right)=\underset{i\∈\{\frac{-n}{2},\mathrm{...},\frac{n}{2}\}}{\Σ}{\mathrm{\θ}}_s\left(i\right)\frac{1}{\left|P\right|}\underset{p\∈P}{\Σ}|I_{t+i}\left(p\right)-I_{s+i}^{\′}\left(p\right)|.$

E_q(s)为匹配误差，目标轮廓图像帧序列I的第t帧图像为与目标图像帧对应的目标轮廓图像帧，与其对应的为参考轮廓图像序列I’的第s帧图像，n为对比图像序列中图像的帧数，P表示对应点在对比双方图片中受到遮挡的概率，Θ(s)为以s为中心的正态高斯分布，为各帧的匹配误差分配权值。匹配误差最小的参考轮廓图像序列为与目标轮廓图像帧序列匹配的参考轮廓图像帧序列。

示例性的，参考轮廓图像帧序列包括11帧图像，目标轮廓图像帧序列也包括11帧图像，那么，计算参考轮廓图像帧序列与目标轮廓图像帧序列的匹配误差的过程为：计算参考轮廓图像帧序列中第1帧图像与目标轮廓图像帧序列中第1帧图像的匹配误差，并计算参考轮廓图像帧序列中第2帧图像与目标轮廓图像帧序列中第2帧图像的匹配误差，第3帧至第11帧类似，如此便可获得11个匹配误差，然后为这11个误差确定对应的权值，在确定出权值之后，将11个匹配误差加权求和便可获得参考轮廓图像帧序列与目标轮廓图像帧序列的匹配误差。

在一种优选的实现方式中，目标图像帧序列中、目标图像帧之前的图像帧的数量与目标图像帧之后的图像帧的数量相同，则确定各个图像对匹配误差的权值，具体为：基于正态高斯分布函数确定各个图像对的匹配误差的权值。示例性的，目标图像帧序列包括11帧图像，目标图像帧为第6帧，即目标图像帧之前的图像帧的数量与目标图像帧之后的图像帧的数量相同，均为5帧，则可通过正态高斯分布函数为各个匹配误差对应的权值，例如，参考轮廓图像帧序列中第1帧图像与目标轮廓图像帧序列中第1帧图像的匹配误差对应的权值可以为高斯分布函数中x取-5时的值，同样的，参考轮廓图像帧序列中第2帧图像与目标轮廓图像帧序列中第2帧图像的匹配误差对应的权值可以为高斯分布函数中x取-4时的值，参考轮廓图像帧序列中第3帧图像与目标轮廓图像帧序列中第3帧图像的匹配误差对应的权值可以为高斯分布函数中x取-3时的值，依次类推，可获得各个匹配误差对应的权值。

本发明实施例还提供了一种三维姿态识别系统，该系统可以包括：第一处理设备301和第二处理设备302。

第一处理设备301，用于获取多个视角的目标图像帧序列，分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列，其中，多个视角的目标图像帧序列按相同的帧率同时采集得到，各个视角的目标图像帧序列中包括各个视角的待识别的目标图像帧。

第二处理设备302，用于预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，当进行姿态识别时，从预存的多个参考轮廓图像帧序列中，分别确定出与各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，基于预存的与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从各个视角的目标参考轮廓图像帧序列中确定出与目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息，通过各个视角的二维姿态信息确定三维姿态信息。

本发明实施例提供的三维姿态识别系统，并不直接通过获取的图像帧进行姿态识别，而是先从图像帧中提取轮廓信息，然后基于轮廓信息识别姿态，即本发明对图像帧的分辨率没有严格的要求，这使得本发明实施例提供的三维姿态识别方法可应用于室外大型运动场景，且提升了姿态识别的识别率。

上述实施例提供的三维姿态识别系统还可以包括：图像采集设备303，图像采集设备包括多个图像采集子设备。

第一处理设备301包括多个处理子设备，图像采集子设备和处理子设备一一对应。

图像采集设备303，用于通过多个图像采集子设备从不同视角采集人体姿态的视频图像帧序列，其中，每个图像采集子设备采集一个视角的视频图像帧序列，多个图像采集子设备同步触发并按相同的帧率采集图像。

则第一处理设备301，具体用于从图像采集设备303获得多个视角的视频图像帧序列作为所述多个视角的目标图像帧序列，或者，先从图像采集设备获得多个视角的视频图像帧序列，然后分别从各个视角的视频图像帧序列中提取包含目标图像帧的部分连续图像帧序列作为多个视角的目标图像帧序列。

上述实施例提供的三维姿态识别系统中，第二处理设备302，具体用于从预存的多个参考轮廓图像帧序列中分别确定与各个视角的目标轮廓图像帧序列匹配误差最小的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列。

其中，参考轮廓图像帧序列与目标轮廓图像帧序列的匹配误差通过两个图像帧序列中位于相同位置的各个图像对的匹配误差加权求和获得，其中，各个图像对的误差为各个图像对中两个图像的匹配误差。

在上述实施例中，目标图像帧序列中、目标图像帧之前的图像帧的数量与目标图像帧之后的图像帧的数量相同。

则第二处理设备302，具体用于基于正态高斯分布函数确定各个图像对的匹配误差的权值。

上述实施例提供的三维姿态识别系统中，第一处理设备301，还用于通过光流算法检测各个视角的目标图像帧序列中是否存在满足预设条件的两帧图像，当各个视角的目标图像帧序列中存在满足预设条件的两帧图像时，判断目标图像帧是否位于满足预设条件的两帧图像之后，其中，预设条件为两帧图像中的目标对象发生左右翻转。

则第二处理设备302，还用于当目标图像帧位于所述满足预设条件的两帧图像之后时，基于满足预设条件的两帧图像对二维姿态信息进行校正，并通过校正后的各个视角的二维姿态信息确定三维姿态信息。

在上述实施例中，第二处理设备302在获得各个视角的二维姿态信息之后，通过各个视角的二维姿态信息之后和图像采集设备中各个图像采集子设备的相关参数可确定出三维姿态信息。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种三维姿态识别方法，其特征在于，预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，所述三维姿态识别方法包括：

获取多个视角的目标图像帧序列，其中，所述多个视角的目标图像帧序列按相同的帧率同时采集得到，各个视角的目标图像帧序列中包括各个视角的待识别的目标图像帧；

分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列；

从预存的所述多个参考轮廓图像帧序列中，分别确定出与所述各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列；

基于预存的所述与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从所述各个视角的目标参考轮廓图像帧序列中确定出与所述目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息；

通过所述各个视角的二维姿态信息确定三维姿态信息。

2.根据权利要求1所述的方法，其特征在于，所述获取多个视角的目标图像帧序列，包括：

获取从不同视角采集的人体姿态的视频图像帧序列，得到多个视角的视频图像帧序列作为所述多个视角的目标图像帧序列，所述多个视角的视频图像帧序列按相同的帧率同时采集；

或者，

获取从不同视角采集的人体姿态的视频图像帧序列，得到多个视角的视频图像帧序列，所述多个视角的视频图像帧序列按相同的帧率同时采集；

分别从各个视角的视频图像帧序列中提取包含目标图像帧的部分连续图像帧序列作为所述多个视角的目标图像帧序列。

3.根据权利要求1所述的方法，其特征在于，所述从预存的所述多个参考轮廓图像帧序列中，分别确定出与所述各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，包括：

从预存的所述多个参考轮廓图像帧序列中，分别确定与所述各个视角的目标轮廓图像帧序列匹配误差最小的参考轮廓图像帧序列作为所述各个视角的目标参考轮廓图像帧序列，

其中，所述参考轮廓图像帧序列与所述目标轮廓图像帧序列的匹配误差通过两个图像帧序列中位于相同位置的各个图像对的匹配误差加权求和获得，其中，所述各个图像对的误差为所述各个图像对中两个图像的匹配误差。

4.根据权利要求3所述的方法，其特征在于，所述目标图像帧序列中、所述目标图像帧之前的图像帧的数量与所述目标图像帧之后的图像帧的数量相同；

则，确定所述各个图像对的匹配误差的权值，具体为：

基于正态高斯分布函数确定所述各个图像对的匹配误差的权值。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述方法还包括：

通过光流算法检测所述各个视角的目标图像帧序列中是否存在满足预设条件的两帧图像，其中，所述预设条件为所述两帧图像中的目标对象发生左右翻转；

当所述各个视角的目标图像帧序列中存在满足所述预设条件的两帧图像时，判断所述目标图像帧是否位于所述满足预设条件的两帧图像之后；

当所述目标图像帧位于所述满足预设条件的两帧图像之后时，基于所述满足预设条件的两帧图像对所述二维姿态信息进行校正；

则所述通过所述各个视角的二维姿态信息确定三维姿态信息，具体为：通过校正后的二维姿态信息确定三维姿态信息。

6.一种三维姿态识别系统，其特征在于，所述系统包括：第一处理设备和第二处理设备；

所述第一处理设备，用于获取多个视角的目标图像帧序列，分别对各个视角的目标图像帧序列进行轮廓提取，获得各个视角的目标轮廓图像帧序列，其中，所述多个视角的目标图像帧序列按相同的帧率同时采集得到，各个视角的目标图像帧序列中包括各个视角的待识别的目标图像帧；

第二处理设备，用于预存多个参考轮廓图像帧序列，并预存与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，在进行姿态识别时，从预存的所述多个参考轮廓图像帧序列中，分别确定出与所述各个视角的目标轮廓图像帧序列匹配的参考轮廓图像帧序列作为各个视角的目标参考轮廓图像帧序列，基于预存的所述与各个参考轮廓图像帧序列中各个图像帧对应的姿态信息，分别从所述各个视角的目标参考轮廓图像帧序列中确定出与所述目标图像帧对应的参考轮廓图像帧所对应的姿态信息，作为各个视角的二维姿态信息，通过所述各个视角的二维姿态信息确定三维姿态信息。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：图像采集设备，所述图像采集设备包括多个图像采集子设备；

所述第一处理设备包括多个处理子设备，所述图像采集子设备和所述处理子设备一一对应；

所述图像采集设备，用于通过所述多个图像采集子设备从不同视角采集人体姿态的视频图像帧序列，其中，每个图像采集子设备采集一个视角的视频图像帧序列，所述多个图像采集子设备同步触发并按相同的帧率采集图像；

则所述第一处理设备，具体用于从所述图像采集设备获得多个视角的视频图像帧序列作为所述多个视角的目标图像帧序列，或者，先从所述图像采集设备获得多个视角的视频图像帧序列，然后分别从各个视角的视频图像帧序列中提取包含目标图像帧的部分连续图像帧序列作为所述多个视角的目标图像帧序列。

8.根据权利要求6所述的系统，其特征在于，所述第二处理设备，具体用于从预存的所述多个参考轮廓图像帧序列中分别确定与所述各个视角的目标轮廓图像帧序列匹配误差最小的参考轮廓图像帧序列作为所述各个视角的目标参考轮廓图像帧序列；

其中，所述参考轮廓图像帧序列与所述目标轮廓图像帧序列的匹配误差通过两个图像帧序列中位于相同位置的各个图像对的匹配误差加权求和获得，其中，所述各个图像对的误差为所述各个图像对中两个图像的匹配误差。

9.根据权利要求8所述的系统，其特征在于，所述目标图像帧序列中、所述目标图像帧之前的图像帧的数量与所述目标图像帧之后的图像帧的数量相同；

则所述第二处理设备，具体用于基于正态高斯分布函数确定所述各个图像对的匹配误差的权值。

10.根据权利要求6至9中任意一项所述的系统，其特征在于，所述第一处理设备，还用于通过光流算法检测所述各个视角的目标图像帧序列中是否存在满足预设条件的两帧图像，当所述各个视角的目标图像帧序列中存在满足预设条件的两帧图像时，判断所述目标图像帧是否位于所述满足预设条件的两帧图像之后，其中，所述预设条件为所述两帧图像中的目标对象发生左右翻转；

则所述第二处理设备，还用于当所述目标图像帧位于所述满足预设条件的两帧图像之后时，基于所述满足预设条件的两帧图像对所述二维姿态信息进行校正，并通过校正后的各个视角的二维姿态信息确定三维姿态信息。