CN107895161A - 基于视频数据的实时姿态识别方法及装置、计算设备 - Google Patents

Abstract

本发明公开了一种基于视频数据的实时姿态识别方法及装置、计算设备，方法对视频数据所包含的帧图像进行分组处理，包括：实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。本发明根据当前帧图像在其所属分组中的帧位置不同，对应的对帧图像进行姿态识别，计算得到特定对象的姿态识别结果，方便根据得到的姿态识别结果确定待响应的命令，以便对特定对象的姿态进行响应。

Description

基于视频数据的实时姿态识别方法及装置、计算设备

技术领域

本发明涉及图像处理领域，具体涉及一种基于视频数据的实时姿态识别方法及装置、计算设备。

背景技术

对人物的姿态进行识别，可以明确的了解到人物当前的动作，进而可以根据动作执行其对应的后续操作。姿态识别主要通过两种方式，一种是利用外部设备，如可穿戴的传感器或手柄等设备，具有精确直接的特点，但对肢体动作造成束缚，且对外部设备依赖性高。另一种基于提取人体的各个关节的关键点信息，如手、手肘、肩膀等各个关节，通过计算各关节关键点位置信息交叉或平行等进行姿态识别。

现有技术中，对视频数据进行姿态识别时，往往是将视频数据中的每一帧图像作为单独的帧图像进行姿态识别，得到每一帧图像的姿态识别结果。但这种处理方式对每一帧图像进行相同的处理，没有考虑到姿态动作之间的关联性、连续性，即没有考虑到视频数据中各帧图像之间的关联性。使得处理的速度较慢，需要花费较多的时间，相对的对姿态识别后作出的反应也会变慢，无法及时的进行反应。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于视频数据的实时姿态识别方法及装置、计算设备。

根据本发明的一个方面，提供了一种基于视频数据的实时姿态识别方法，方法对视频数据所包含的帧图像进行分组处理，其包括：

实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；

将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；

根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；

根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：

根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。

可选地，根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待执行的效果处理命令进一步包括：

根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。

可选地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。

可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；

根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：

根据特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供图像采集设备所在终端设备响应操作指令对外部设备进行操作。

可选地，图像采集设备所在终端设备所显示的图像不是当前帧图像；

根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令进一步包括：

获取图像采集设备所在终端设备所显示的图像；

根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

可选地，将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果进一步包括：

判断当前帧图像是否为任一分组的第1帧图像；

若是，则将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到对当前帧图像中特定对象的姿态识别结果；

若否，则将当前帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到对当前帧图像中特定对象的姿态识别结果；其中，i和j为自然数。

可选地，在判断出当前帧图像不是任一分组的第1帧图像之后，方法还包括：

计算当前帧图像与其所属分组的第1帧图像的帧间距；

根据帧间距，确定i和j的取值；其中，第i层卷积层与最后一层卷积层之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。

可选地，方法还包括：预先设置帧间距与i和j的取值的对应关系。

可选地，在直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合之后，方法还包括：

若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到对当前帧图像中特定对象的姿态识别结果；

若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到对当前帧图像中特定对象的姿态识别结果。

可选地，将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到对当前帧图像中特定对象的姿态识别结果进一步包括：在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。

可选地，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果之前，方法还包括：在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。

可选地，视频数据每组包含n帧帧图像；其中，n为固定预设值。

根据本发明的另一方面，提供了一种基于视频数据的实时姿态识别装置，装置对视频数据所包含的帧图像进行分组处理，其包括：

获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；

识别模块，适于将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；

响应模块，适于根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；

响应模块进一步适于：

根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。

可选地，响应模块进一步适于：

根据特定对象的姿态识别结果，以及当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。

可选地，待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。

可选地，图像采集设备所在终端设备所显示的图像为当前帧图像；

响应模块进一步适于：

根据特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供图像采集设备所在终端设备响应操作指令对外部设备进行操作。

可选地，图像采集设备所在终端设备所显示的图像不是当前帧图像；

响应模块进一步适于：

获取图像采集设备所在终端设备所显示的图像；根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

可选地，识别模块进一步包括：

判断单元，适于判断当前帧图像是否为任一分组的第1帧图像，若是，执行第一识别单元；否则，执行第二识别单元；

第一识别单元，适于将当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到对当前帧图像中特定对象的姿态识别结果；

第二识别单元，适于将当前帧图像输入至经训练得到的神经网络中，在运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，直接将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，得到对当前帧图像中特定对象的姿态识别结果；其中，i和j为自然数。

可选地，识别模块还包括：

帧间距计算单元，适于计算当前帧图像与其所属分组的第1帧图像的帧间距；

确定单元，适于根据帧间距，确定i和j的取值；其中，第i层卷积层与最后一层卷积层之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。

可选地，识别模块还包括：

预设单元，适于预先设置帧间距与i和j的取值的对应关系。

可选地，第二识别单元进一步适于：

若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到对当前帧图像中特定对象的姿态识别结果；

若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续反卷积层和输出层的运算，以得到对当前帧图像中特定对象的姿态识别结果。

可选地，第一识别单元进一步适于：

在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。

可选地，第二识别单元进一步适于：

在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。

可选地，视频数据每组包含n帧帧图像；其中，n为固定预设值。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述基于视频数据的实时姿态识别方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述基于视频数据的实时姿态识别方法对应的操作。

根据本发明提供的基于视频数据的实时姿态识别方法及装置、计算设备，实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。本发明利用视频数据中各帧图像之间的连续性、关联性，在基于视频数据的实时姿态识别时，将视频数据分组处理，根据当前帧图像在其所属分组中的帧位置不同，对应的对帧图像进行姿态识别，进一步，对每组中对第1帧图像由神经网络完成全部卷积层和反卷积层的运算，对除第1帧图像之外的其他帧图像仅运算至第i层卷积层，复用第1帧图像已经得到的第j层反卷积层的运算结果进行图像融合，大大降低了神经网络的运算量，提高了实时姿态识别的速度。本发明在得到对当前帧图像中特定对象的姿态识别结果，方便根据得到的姿态识别结果确定具体的待响应的命令，以便对特定对象的姿态进行响应。快速准确的得到姿态识别结果，有利于及时对其作出响应，如与视频观看者的交互、游戏对姿态的响应等，使得到特定对象的体验效果更佳，提高特定对象和视频观看者的参与兴趣。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的基于视频数据的实时姿态识别方法的流程图；

图2示出了根据本发明另一个实施例的基于视频数据的实时姿态识别方法的流程图；

图3示出了根据本发明一个实施例的基于视频数据的实时姿态识别装置的功能框图；

图4示出了根据本发明一个实施例的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的基于视频数据的实时姿态识别方法的流程图。如图1所示，基于视频数据的实时姿态识别方法具体包括如下步骤：

步骤S101，实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像。

本实施例中图像采集设备以终端设备所使用的摄像头为例进行说明。实时获取到终端设备摄像头在录制视频时的当前帧图像或者拍摄视频时的当前帧图像。由于本发明对特定对象的姿态进行识别，因此获取当前帧图像时可以仅获取包含特定对象的当前帧图像。

本实施例利用了视频数据中各帧图像之间的连续性、关联性，在对视频数据中的各帧图像进行姿态识别时，先将视频数据中的各帧图像进行分组处理。进行分组处理时，考虑各帧图像间的关联关系，将各帧图像中关联关系紧密的帧图像分为一组。不同组帧图像中具体包含的帧图像的帧数可以是相同的或者不同的，假设每组帧图像中包含n帧帧图像，n可以为固定值或非固定值，n的取值根据实施情况设置。在实时获取当前帧图像时，就对当前帧图像进行分组，确定其是否为当前分组中的一帧图像或为新分组中的第1帧图像。具体的，需要根据当前帧图像与前一帧图像或前几帧图像之间的关联关系进行分组。如使用跟踪算法，若跟踪算法得到当前帧图像为有效的跟踪结果，将当前帧图像确定为当前分组中的一帧图像，若跟踪算法得到当前帧图像为无效的跟踪结果，将当前帧图像确实为新分组中的第1帧图像；或者按照各帧图像的顺序，将相邻的两帧或三帧图像分为一组，以三帧图像一组为例，视频数据中第1帧图像为第一分组的第1帧图像，第2帧图像为第一分组的第2帧图像，第3帧图像为第一分组的第3帧图像，第4帧图像为第二分组的第1帧图像，第5帧图像为第二分组的第2帧图像，第6帧图像为第二分组的第3帧图像，依次类推。实施中具体的分组方式根据实施情况确实，此处不做限定。

步骤S102，将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果。

将当前帧图像输入至经训练得到的神经网络中后，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别。根据当前帧在所属分组中帧位置的不同，对其进行姿态识别的处理也不同。

具体的，判断当前帧图像是否为其中任一分组的第1帧图像，若判断当前帧图像为其中任一分组的第1帧图像，则将当前帧图像输入至经训练得到的神经网络中，依次由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，最终得到对当前帧图像中特定对象的姿态识别结果。具体的，如该神经网络中包含4层卷积层的运算和3层反卷积层的运算，将当前帧图像输入至该神经网络经过全部的4层卷积层的运算和3层反卷积层的运算。

若判断当前帧图像不是任一分组中的第1帧图像，则将当前帧图像输入至经训练得到的神经网络中，此时，不需要由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，仅运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，直接获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，就可以得到对当前帧图像中特定对象的姿态识别结果。其中，第i层卷积层和第j层反卷积层之间具有对应关系，该对应关系具体为第i层卷积层的运算结果与第j层反卷积层的运算结果的输出维度相同。i和j均为自然数，且i的取值不超过神经网络所包含的最后一层卷积层的层数，j的取值不超过神经网络所包含的最后一层反卷积层的层数。具体的，如将当前帧图像输入至神经网络中，运算至神经网络第1层卷积层，得到第1层卷积层的运算结果，直接获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第3层反卷积层的运算结果，将第1层卷积层的运算结果与第1帧图像的第3层反卷积层的运算结果进行融合。其中，第1层卷积层的运算结果与第3层反卷积层的运算结果的输出维度是相同的。通过复用所属分组中第1帧图像已经运算得到的第j层反卷积层的运算结果，可以减少神经网络对当前帧图像的运算，大大加快神经网络的处理速度，从而提高神经网络的计算效率。进一步，若第j层反卷积层是神经网络的最后一层反卷积层，则将图像融合结果输入到输出层，以得到对当前帧图像中特定对象的姿态识别结果。若第j层反卷积层不是神经网络的最后一层反卷积层，则将图像融合结果输入到第j+1层反卷积层，经过后续各反卷积层，以及输出层的运算，以得到对当前帧图像中特定对象的姿态识别结果。

对于当前帧图像不是任一分组中的第1帧图像，需要确定i和j的取值。在判断出当前帧图像不是任一分组的第1帧图像之后，计算当前帧图像与其所属分组的第1帧图像的帧间距。如当前帧图像为任一分组的第3帧图像，计算得到其与所属分组的第1帧图像的帧间距为2。根据得到的帧间距，可确定神经网络中第i层卷积层的i的取值，以及第1帧图像第j层反卷积层的j的取值。

在确定i和j时，可以认为第i层卷积层与最后一层卷积层(卷积层的瓶颈层)之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。当帧间距越大时，第i层卷积层与最后一层卷积层之间的层距越小，i值越大，越需要运行较多的卷积层的运算；第j层反卷积层与输出层之间的层距越大，j值越小，需获取更小层数的反卷积层的运算结果。以神经网络中包含第1-4层卷积层为例，其中，第4层卷积层为最后一层卷积层；神经网络中还包含了第1-3层反卷积层和输出层。当帧间距为1时，确定第i层卷积层与最后一层卷积层之间的层距为3，确定i为1，即运算至第1层卷积层，确定第j层反卷积层与输出层之间的层距为1，确定j为3，获取第3层反卷积层的运算结果；当帧间距为2时，确定第i层卷积层与最后一层卷积层之间的层距为2，确定i为2，即运算至第2层卷积层，确定第j层反卷积层与输出层之间的层距为2，j为2，获取第2层反卷积层的运算结果。具体层距的大小与神经网络所包含的卷积层和反卷积层的各层数、以及实际实施所要达到的效果相关，以上均为举例说明。

或者，在确定i和j时，可以直接根据帧间距，预先设置帧间距与i和j的取值的对应关系。具体的，根据不同的帧间距预先设置不同i和j的取值，如帧间距为1，设置i的取值为1，j的取值为3；帧间距为2，设置i的取值为2，j的取值为2；或者还可以根据不同的帧间距，设置相同的i和j的取值；如不论帧间距的大小时，均设置对应的i的取值为2，j的取值为2；或者还可以对一部分不同的帧间距，设置相同的i和j的取值，如帧间距为1和2，设置对应的i的取值为1，j的取值为3；帧间距为3和4，设置对应的i的取值为2，j的取值为2。具体根据实施情况进行设置，此处不做限定。

进一步，为提高神经网络的运算速度，若判断当前帧图像为其中任一分组的第1帧图像，在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。若判断当前帧图像不是任一分组中的第1帧图像，则在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。即将当前帧图像输入神经网络后，在第1层卷积层运算后，对运算结果进行下采样处理，降低运算结果的分辨率，再将下采样后的运算结果进行第2层卷积层运算，并对第2层卷积层的运算结果也进行下采样处理，依次类推，直至神经网络的最后一层卷积层(即卷积层的瓶颈层)或第i层卷积层，以最后一层卷积层或第i层卷积层为第4层卷积层为例，在第4层卷积层运算结果之后不再做下采样处理。第4层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理，降低各层卷积层输入的帧图像的分辨率，可以提高神经网络的运算速度。需要注意的是，在神经网络的第一次卷积层运算时，输入的是实时获取的当前帧图像，而没有进行下采样处理，这样可以得到比较好的当前帧图像的细节。之后，在对输出的运算结果进行下采样处理时，既不会影响当前帧图像的细节，又可以提高神经网络的运算速度。

步骤S103，根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

根据特定对象的不同的姿态识别结果，确定与其对应的待响应的命令。具体的，姿态识别结果包括如不同形状的面部姿态、手势、腿部动作、全身整体的姿态动作等，根据不同的姿态识别结果，结合不同的应用场景(视频数据所在场景、视频数据应用场景)，可以为不同的姿态识别结果确定一个或多个对应的待响应的命令。其中，同一姿态识别结果对不同的应用场景可以确定不同的待响应的命令，不同姿态识别结果在同一应用场景中也可以确定相同的待响应的命令。一个姿态识别结果，确定的待响应的命令中可以包含一条或多条的处理命令。具体根据实施情况设置，此处不做限定。

确定待响应的命令后，对应的由图像采集设备所在终端设备响应该待响应的命令，将图像采集设备所在终端设备所显示的图像按照待响应的命令进行处理。

根据本发明提供的基于视频数据的实时姿态识别方法，实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。本发明利用视频数据中各帧图像之间的连续性、关联性，在基于视频数据的实时姿态识别时，将视频数据分组处理，根据当前帧图像在其所属分组中的帧位置不同，对应的对帧图像进行姿态识别，进一步，对每组中对第1帧图像由神经网络完成全部卷积层和反卷积层的运算，对除第1帧图像之外的其他帧图像仅运算至第i层卷积层，复用第1帧图像已经得到的第j层反卷积层的运算结果进行图像融合，大大降低了神经网络的运算量，提高了实时姿态识别的速度。本发明在得到对当前帧图像中特定对象的姿态识别结果，方便根据得到的姿态识别结果确定具体的待响应的命令，以便对特定对象的姿态进行响应。快速准确的得到姿态识别结果，有利于及时对其作出响应，如与视频观看者的交互、游戏对姿态的响应等，使得到特定对象的体验效果更佳，提高特定对象和视频观看者的参与兴趣。

图2示出了根据本发明另一个实施例的基于视频数据的实时姿态识别方法的流程图。如图2所示，基于视频数据的实时姿态识别方法具体包括如下步骤：

步骤S201，实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像。

步骤S202，将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果。

以上步骤参照图1实施例中的步骤S101-S102，在此不再赘述。

步骤S203，根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。

图像采集设备所在终端设备所显示的图像为当前帧图像时，具体的，如用户使用手机等终端设备进行自拍、直播、录制快视频等，终端设备显示的图像为包含用户的当前帧图像。

根据对当前帧图像中用户姿态的姿态识别结果，确定对当前帧图像待响应的效果处理命令。如用户在自拍、直播或录制快视频时，识别当前帧图像得到姿态识别结果为手比心形，确定对当前帧图像的待响应的效果处理命令可以为在当前帧图像中增加心形效果贴图处理命令，心形效果贴图可以为静态贴图，也可以为动态贴图；或者，识别当前帧图像得到姿态识别结果为双手在头部下，做出小花姿态时，确定对当前帧图像的待响应的效果处理命令可以包括在头部增加向日葵的效果贴图命令、将当前帧图像的风格修改为田园风格的风格化处理命令、对当前帧图像的光照效果进行处理命令(晴天光照效果)等。确定待响应的效果处理命令后，对应的由图像采集设备所在终端设备响应该待响应的效果处理命令，将当前帧图像按照待响应的命令进行处理。

待响应的效果处理命令可以包括如各种效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令、色调处理命令等。待响应的效果处理命令可以一次包括以上多种处理命令，以使按照待响应的效果处理命令对当前帧进行处理时，使处理后的当前帧图像的效果更逼真，整体更协调。

进一步，如用户在直播时，当前帧图像中除包含用户外，还包含了与交互对象(观看直播的观众)的交互信息，如观看直播的观众送给用户一个冰激凌，当前帧图像上会出现一个冰激凌。结合该交互信息，当得到的姿态识别结果为用户做出吃冰激凌的姿态，确定待响应的效果处理命令为去除原冰激凌效果贴图，增加冰激凌被咬减少的效果贴图。对应的由图像采集设备所在终端设备响应该待响应的效果处理命令，将当前帧图像按照待响应的命令进行处理，以增加与观看直播的观众的互动效果，吸引更多的观众观看直播。

步骤S204，根据特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供图像采集设备所在终端设备响应操作指令对外部设备进行操作。

图像采集设备所在终端设备所显示的图像为当前帧图像时，具体的，如用户使用遥控器等终端设备进行对外部设备的遥控处理、开启/关闭处理等操作时，终端设备显示的图像为包含用户的当前帧图像。

具体的，现有的终端设备包括很多对应不同功能的按键，在操作时，需要按下对应的按键来下达对外部设备的操作指令，处理比较单板，智能化程度不高。有时，对外部设备的操作需要依次按下多个按键，处理也比较繁琐。对于中老年用户或低龄儿童用户而言，在使用时会很不方便。根据特定对象的姿态识别结果，如姿态识别结果为特定对象做出五指张开的姿态，确定对应的对外部设备的操作指令为开启，终端设备可以响应开启指令对外部设备进行操作。当外部设备为空调设备时，终端设备启动空调设备；当外部设备为汽车时，终端设备打开中控车锁等；或者姿态识别结果为特定对象用手指做出26的姿态，确定对应的对外部设备的操作指令为设置为26，终端设备可以响应该指令将如空调设备启动，并将温度设置为26度，或者终端设备可以响应该指令将如电视打开，并将频道调至26台等。

步骤S205，获取图像采集设备所在终端设备所显示的图像。

步骤S206，根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

图像采集设备所在终端设备所显示的图像不是当前帧图像时，具体的，如用户使用手机等终端设备玩游戏、做运动等，手机屏幕显示的是游戏、运动等场景图像，手机摄像头获取的是包含用户的当前帧图像。对当前帧图像进行姿态识别，得到姿态识别结果，但该姿态识别结果对应的待响应的命令，是对游戏、运动等场景图像进行处理，因此，在对游戏、运动等场景图像进行处理前，还需要先获取游戏、运动等场景图像，即先获取图像采集设备所在终端设备所显示的图像。

根据对当前帧图像中用户姿态的姿态识别结果，如用户在使用终端设备玩游戏时，识别当前帧图像得到姿态识别结果为手掌切东西的姿态，确定对游戏场景图像待响应的命令为响应手掌切东西的动作，游戏场景图像中的对应的物品被切开；或者用户在使用终端设备做瑜伽时，识别当前帧图像得到姿态识别结果为某一瑜伽动作姿态，确定对瑜伽场景图像待响应的命令为将用户的瑜伽动作与瑜伽场景图像中的瑜伽动作进行比较，重点标注显示出用户瑜伽动作不规范的部分，还可以发出声音提醒用户以便改正。确定待响应的命令后，对应的由图像采集设备所在终端设备响应该待响应的命令，将图像采集设备所在终端设备所显示的图像按照待响应的命令进行处理。这样用户可以通过姿态变化完成对游戏、运动等场景画面的操作，简单、便捷、有趣，也可以提升用户的体验效果，增加用户对玩游戏、做运动等活动的黏性。

根据本发明提供的视频数据实时姿态识别方法，利用视频数据中各帧图像之间的连续性、关联性，在基于视频数据的实时姿态识别时，将视频数据分组处理，根据当前帧图像在其所属分组中的帧位置不同，对应的对帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果。进一步，基于得到的特定对象的姿态识别结果，可以对当前帧图像按照待响应的命令进行处理，如增加各种效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令、色调处理命令等，使得当前帧画面更生动有趣。当当前帧图像包含与交互对象的交互信息时，还可以根据交互信息，使待响应的命令可以实现与交互对象的互动，更吸引用户与交互对象进行交互，增加交互的趣味性。基于得到的特定对象的姿态识别结果，可以对外部设备进行操作，使得对外部设备的操作简单、更智能化、更便利。基于得到的特定对象的姿态识别结果，还可以对图像采集设备所在终端设备所显示的图像，如游戏、做运动等场景图像进行响应，使用户可以通过姿态变化完成对游戏、运动等场景画面的操作，简单、便捷、有趣，提升用户的体验效果，增加用户对玩游戏、做运动等活动的黏性。

图3示出了根据本发明一个实施例的基于视频数据的实时姿态识别装置的功能框图。如图3所示，基于视频数据的实时姿态识别装置包括如下模块：

获取模块310，适于实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像。

本实施例中图像采集设备以终端设备所使用的摄像头为例进行说明。获取模块310实时获取到终端设备摄像头在录制视频时的当前帧图像或者拍摄视频时的当前帧图像。由于本发明对特定对象的姿态进行识别，因此获取模块310获取当前帧图像时可以仅获取包含特定对象的当前帧图像。

本实施例利用了视频数据中各帧图像之间的连续性、关联性，在对视频数据中的各帧图像进行姿态识别时，先将视频数据中的各帧图像进行分组处理。进行分组处理时，考虑各帧图像间的关联关系，将各帧图像中关联关系紧密的帧图像分为一组。不同组帧图像中具体包含的帧图像的帧数可以是相同的或者不同的，假设每组帧图像中包含n帧帧图像，n可以为固定值或非固定值，n的取值根据实施情况设置。在实时获取当前帧图像时，就对当前帧图像进行分组，确定其是否为当前分组中的一帧图像或为新分组中的第1帧图像。具体的，需要根据当前帧图像与前一帧图像或前几帧图像之间的关联关系进行分组。如使用跟踪算法，若跟踪算法得到当前帧图像为有效的跟踪结果，将当前帧图像确定为当前分组中的一帧图像，若跟踪算法得到当前帧图像为无效的跟踪结果，将当前帧图像确实为新分组中的第1帧图像；或者按照各帧图像的顺序，将相邻的两帧或三帧图像分为一组，以三帧图像一组为例，视频数据中第1帧图像为第一分组的第1帧图像，第2帧图像为第一分组的第2帧图像，第3帧图像为第一分组的第3帧图像，第4帧图像为第二分组的第1帧图像，第5帧图像为第二分组的第2帧图像，第6帧图像为第二分组的第3帧图像，依次类推。实施中具体的分组方式根据实施情况确实，此处不做限定。

识别模块320，适于将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果。

识别模块320将当前帧图像输入至经训练得到的神经网络中后，根据当前帧图像在其所属分组中的帧位置，识别模块320对当前帧图像进行姿态识别。根据当前帧在所属分组中帧位置的不同，识别模块320对其进行姿态识别的处理也不同。

识别模块320包括了判断单元321、第一识别单元322和第二识别单元323。

具体的，判断单元321判断当前帧图像是否为其中任一分组的第1帧图像，若判断单元321判断当前帧图像为其中任一分组的第1帧图像，则第一识别单元322将当前帧图像输入至经训练得到的神经网络中，依次由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，最终得到对当前帧图像中特定对象的姿态识别结果。具体的，如该神经网络中包含4层卷积层的运算和3层反卷积层的运算，第一识别单元322将当前帧图像输入至该神经网络经过全部的4层卷积层的运算和3层反卷积层的运算。

若判断单元321判断当前帧图像不是任一分组中的第1帧图像，则第二识别单元323将当前帧图像输入至经训练得到的神经网络中，此时，不需要由该神经网络对其执行全部的卷积层的运算和反卷积层的运算，第二识别单元323仅运算至神经网络的第i层卷积层得到第i层卷积层的运算结果后，第二识别单元323直接获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第j层反卷积层的运算结果，第二识别单元323将第i层卷积层的运算结果与第j层反卷积层的运算结果进行图像融合，就可以得到对当前帧图像中特定对象的姿态识别结果。其中，第i层卷积层和第j层反卷积层之间具有对应关系，该对应关系具体为第i层卷积层的运算结果与第j层反卷积层的运算结果的输出维度相同。i和j均为自然数，且i的取值不超过神经网络所包含的最后一层卷积层的层数，j的取值不超过神经网络所包含的最后一层反卷积层的层数。具体的，如第二识别单元323将当前帧图像输入至神经网络中，运算至神经网络第1层卷积层，得到第1层卷积层的运算结果，第二识别单元323直接获取当前帧图像所属分组的第1帧图像输入至神经网络中得到的第3层反卷积层的运算结果，第二识别单元323将第1层卷积层的运算结果与第1帧图像的第3层反卷积层的运算结果进行融合。其中，第1层卷积层的运算结果与第3层反卷积层的运算结果的输出维度是相同的。第二识别单元323通过复用所属分组中第1帧图像已经运算得到的第j层反卷积层的运算结果，可以减少神经网络对当前帧图像的运算，大大加快神经网络的处理速度，从而提高神经网络的计算效率。进一步，若第j层反卷积层是神经网络的最后一层反卷积层，则第二识别单元323将图像融合结果输入到输出层，以得到对当前帧图像中特定对象的姿态识别结果。若第j层反卷积层不是神经网络的最后一层反卷积层，则第二识别单元323将图像融合结果输入到第j+1层反卷积层，经过后续各反卷积层，以及输出层的运算，以得到对当前帧图像中特定对象的姿态识别结果。

识别模块320还包括了帧间距计算单元324、确定单元325和/或预设单元326。

对于当前帧图像不是任一分组中的第1帧图像，识别模块320需要确定i和j的取值。在判断单元321判断出当前帧图像不是任一分组的第1帧图像之后，帧间距计算单元324计算当前帧图像与其所属分组的第1帧图像的帧间距。如当前帧图像为任一分组的第3帧图像，帧间距计算单元324计算得到其与所属分组的第1帧图像的帧间距为2。确定单元325根据得到的帧间距，可确定神经网络中第i层卷积层的i的取值，以及第1帧图像第j层反卷积层的j的取值。

确定单元325在确定i和j时，可以认为第i层卷积层与最后一层卷积层(卷积层的瓶颈层)之间的层距与帧间距成反比关系，第j层反卷积层与输出层之间的层距与帧间距成正比关系。当帧间距越大时，第i层卷积层与最后一层卷积层之间的层距越小，i值越大，越需要运行较多的卷积层的运算；第j层反卷积层与输出层之间的层距越大，j值越小，需获取更小层数的反卷积层的运算结果。以神经网络中包含第1-4层卷积层为例，其中，第4层卷积层为最后一层卷积层；神经网络中还包含了第1-3层反卷积层和输出层。当帧间距计算单元324计算帧间距为1时，确定单元325确定第i层卷积层与最后一层卷积层之间的层距为3，确定i为1，即第二识别单元323运算至第1层卷积层，确定单元325确定第j层反卷积层与输出层之间的层距为1，确定j为3，第二识别单元323获取第3层反卷积层的运算结果；当帧间距计算单元324计算帧间距为2时，确定单元325确定第i层卷积层与最后一层卷积层之间的层距为2，确定i为2，即第二识别单元323运算至第2层卷积层，确定单元325确定第j层反卷积层与输出层之间的层距为2，j为2，第二识别单元323获取第2层反卷积层的运算结果。具体层距的大小与神经网络所包含的卷积层和反卷积层的各层数、以及实际实施所要达到的效果相关，以上均为举例说明。

或者，在确定i和j时，预设单元326可以直接根据帧间距，预先设置帧间距与i和j的取值的对应关系。具体的，预设单元326根据不同的帧间距预先设置不同i和j的取值，如帧间距计算单元324计算帧间距为1，预设单元326设置i的取值为1，j的取值为3；帧间距计算单元324计算帧间距为2，预设单元326设置i的取值为2，j的取值为2；或者预设单元326还可以根据不同的帧间距，设置相同的i和j的取值；如不论帧间距的大小时，预设单元326均设置对应的i的取值为2，j的取值为2；或者预设单元326还可以对一部分不同的帧间距，设置相同的i和j的取值，如帧间距计算单元324计算帧间距为1和2，预设单元326设置对应的i的取值为1，j的取值为3；帧间距计算单元324计算帧间距为3和4，预设单元326设置对应的i的取值为2，j的取值为2。具体根据实施情况进行设置，此处不做限定。

进一步，为提高神经网络的运算速度，若判断单元321判断当前帧图像为其中任一分组的第1帧图像，第一识别单元322在经过该神经网络的最后一层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。若判断单元判断当前帧图像不是任一分组中的第1帧图像，则第二识别单元323在经过该神经网络的第i层卷积层之前的每一层卷积层运算后，对每一层卷积层的运算结果进行下采样处理。即第一识别单元322或第二识别单元323将当前帧图像输入神经网络后，在第1层卷积层运算后，对运算结果进行下采样处理，降低运算结果的分辨率，再将下采样后的运算结果进行第2层卷积层运算，并对第2层卷积层的运算结果也进行下采样处理，依次类推，直至神经网络的最后一层卷积层(即卷积层的瓶颈层)或第i层卷积层，以最后一层卷积层或第i层卷积层为第4层卷积层为例，在第4层卷积层运算结果之后第一识别单元322或第二识别单元323不再做下采样处理。第4层卷积层之前的每一层卷积层运算后，第一识别单元322或第二识别单元323对每一层卷积层的运算结果进行下采样处理，降低各层卷积层输入的帧图像的分辨率，可以提高神经网络的运算速度。需要注意的是，在神经网络的第一次卷积层运算时，输入的是实时获取的当前帧图像，而没有进行下采样处理，这样可以得到比较好的当前帧图像的细节。之后，在对输出的运算结果进行下采样处理时，既不会影响当前帧图像的细节，又可以提高神经网络的运算速度。

响应模块330，适于根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

响应模块330根据特定对象的不同的姿态识别结果，确定与其对应的待响应的命令。具体的，姿态识别结果包括如不同形状的面部姿态、手势、腿部动作、全身整体的姿态动作等，响应模块330根据不同的姿态识别结果，结合不同的应用场景(视频数据所在场景、视频数据应用场景)，可以为不同的姿态识别结果确定一个或多个对应的待响应的命令。其中，响应模块330对同一姿态识别结果的不同应用场景可以确定不同的待响应的命令，响应模块330对不同姿态识别结果在同一应用场景中也可以确定相同的待响应的命令。一个姿态识别结果，响应模块330确定的待响应的命令中可以包含一条或多条的处理命令。具体根据实施情况设置，此处不做限定。

响应模块330确定待响应的命令后，对应的由图像采集设备所在终端设备响应该待响应的命令，将图像采集设备所在终端设备所显示的图像按照待响应的命令进行处理。

图像采集设备所在终端设备所显示的图像为当前帧图像时，具体的，如用户使用手机等终端设备进行自拍、直播、录制快视频等，终端设备显示的图像为包含用户的当前帧图像。

响应模块330进一步适于根据特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供图像采集设备所在终端设备响应待响应的效果处理命令。

响应模块330根据对当前帧图像中用户姿态的姿态识别结果，确定对当前帧图像待响应的效果处理命令。如用户在自拍、直播或录制快视频时，识别模块320识别当前帧图像得到姿态识别结果为手比心形，响应模块330确定对当前帧图像的待响应的效果处理命令可以为在当前帧图像中增加心形效果贴图处理命令，心形效果贴图可以为静态贴图，也可以为动态贴图；或者，识别模块320识别当前帧图像得到姿态识别结果为双手在头部下，做出小花姿态时，响应模块330确定对当前帧图像的待响应的效果处理命令可以包括在头部增加向日葵的效果贴图命令、将当前帧图像的风格修改为田园风格的风格化处理命令、对当前帧图像的光照效果进行处理命令(晴天光照效果)等。响应模块330确定待响应的效果处理命令后，对应的由图像采集设备所在终端设备响应该待响应的效果处理命令，将当前帧图像按照待响应的命令进行处理。

待响应的效果处理命令可以包括如各种效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令、色调处理命令等。待响应的效果处理命令可以一次包括以上多种处理命令，以使按照待响应的效果处理命令对当前帧进行处理时，使处理后的当前帧图像的效果更逼真，整体更协调。

进一步，如用户在直播时，当前帧图像中除包含用户外，还包含了与交互对象(观看直播的观众)的交互信息，如观看直播的观众送给用户一个冰激凌，当前帧图像上会出现一个冰激凌。当识别模块320得到的姿态识别结果为用户做出吃冰激凌的姿态，响应模块330结合该交互信息，确定待响应的效果处理命令为去除原冰激凌效果贴图，增加冰激凌被咬减少的效果贴图。对应的由图像采集设备所在终端设备响应该待响应的效果处理命令，将当前帧图像按照待响应的命令进行处理，以增加与观看直播的观众的互动效果，吸引更多的观众观看直播。

响应模块330进一步适于根据特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供图像采集设备所在终端设备响应操作指令对外部设备进行操作。

图像采集设备所在终端设备所显示的图像为当前帧图像时，具体的，如用户使用遥控器等终端设备进行对外部设备的遥控处理、开启/关闭处理等操作时，终端设备显示的图像为包含用户的当前帧图像。

具体的，现有的终端设备包括很多对应不同功能的按键，在操作时，需要按下对应的按键来下达对外部设备的操作指令，处理比较单板，智能化程度不高。有时，对外部设备的操作需要依次按下多个按键，处理也比较繁琐。对于中老年用户或低龄儿童用户而言，在使用时会很不方便。响应模块330根据特定对象的姿态识别结果，如识别模块320识别姿态识别结果为特定对象做出五指张开的姿态，响应模块330确定对应的对外部设备的操作指令为开启，终端设备可以响应开启指令对外部设备进行操作。当外部设备为空调设备时，终端设备启动空调设备；当外部设备为汽车时，终端设备打开中控车锁等；或者识别模块320识别姿态识别结果为特定对象用手指做出26的姿态，响应模块330确定对应的对外部设备的操作指令为设置为26，终端设备可以响应该指令将如空调设备启动，并将温度设置为26度，或者终端设备可以响应该指令将如电视打开，并将频道调至26台等。

图像采集设备所在终端设备所显示的图像不是当前帧图像时，具体的，如用户使用手机等终端设备玩游戏、做运动等，手机屏幕显示的是游戏、运动等场景图像，手机摄像头获取的是包含用户的当前帧图像。对当前帧图像进行姿态识别，得到姿态识别结果，但该姿态识别结果对应的待响应的命令，是对游戏、运动等场景图像进行处理。

响应模块330进一步适于获取图像采集设备所在终端设备所显示的图像。根据特定对象的姿态识别结果，确定对应的图像待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。

响应模块330先获取图像采集设备所在终端设备所显示的图像。根据对当前帧图像中用户姿态的姿态识别结果，如用户在使用终端设备玩游戏时，识别模块320识别当前帧图像得到姿态识别结果为手掌切东西的姿态，响应模块330确定对游戏场景图像待响应的命令为响应手掌切东西的动作，游戏场景图像中的对应的物品被切开；或者用户在使用终端设备做瑜伽时，识别模块320识别当前帧图像得到姿态识别结果为某一瑜伽动作姿态，响应模块330确定对瑜伽场景图像待响应的命令为将用户的瑜伽动作与瑜伽场景图像中的瑜伽动作进行比较，重点标注显示出用户瑜伽动作不规范的部分，还可以发出声音提醒用户以便改正。响应模块330确定待响应的命令后，对应的由图像采集设备所在终端设备响应该待响应的命令，将图像采集设备所在终端设备所显示的图像按照待响应的命令进行处理。这样用户可以通过姿态变化完成对游戏、运动等场景画面的操作，简单、便捷、有趣，也可以提升用户的体验效果，增加用户对玩游戏、做运动等活动的黏性。

根据本发明提供的视频数据实时姿态识别方法，实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；将当前帧图像输入至经训练得到的神经网络中，根据当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对当前帧图像中特定对象的姿态识别结果；根据特定对象的姿态识别结果，确定对应的待响应的命令，以供图像采集设备所在终端设备响应待响应的命令。本发明利用视频数据中各帧图像之间的连续性、关联性，在基于视频数据的实时姿态识别时，将视频数据分组处理，根据当前帧图像在其所属分组中的帧位置不同，对应的对帧图像进行姿态识别，进一步，对每组中对第1帧图像由神经网络完成全部卷积层和反卷积层的运算，对除第1帧图像之外的其他帧图像仅运算至第i层卷积层，复用第1帧图像已经得到的第j层反卷积层的运算结果进行图像融合，大大降低了神经网络的运算量，提高了实时姿态识别的速度。进一步，基于得到的特定对象的姿态识别结果，可以对当前帧图像按照待响应的命令进行处理，如增加各种效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令、色调处理命令等，使得当前帧画面更生动有趣。当当前帧图像包含与交互对象的交互信息时，还可以根据交互信息，使待响应的命令可以实现与交互对象的互动，更吸引用户与交互对象进行交互，增加交互的趣味性。基于得到的特定对象的姿态识别结果，可以对外部设备进行操作，使得对外部设备的操作简单、更智能化、更便利。基于得到的特定对象的姿态识别结果，还可以对图像采集设备所在终端设备所显示的图像，如游戏、做运动等场景图像进行响应，使用户可以通过姿态变化完成对游戏、运动等场景画面的操作，简单、便捷、有趣，提升用户的体验效果，增加用户对玩游戏、做运动等活动的黏性。

本申请还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于视频数据的实时姿态识别方法。

图4示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述基于视频数据的实时姿态识别方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行上述任意方法实施例中的基于视频数据的实时姿态识别方法。程序410中各步骤的具体实现可以参见上述基于视频数据的实时姿态识别实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于视频数据的实时姿态识别的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种基于视频数据的实时姿态识别方法，所述方法对所述视频数据所包含的帧图像进行分组处理，其包括：

实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；

将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对所述当前帧图像中特定对象的姿态识别结果；

根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令。

2.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像为所述当前帧图像；

所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：

根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供所述图像采集设备所在终端设备响应待响应的效果处理命令。

3.根据权利要求2所述的方法，其中，所述根据所述特定对象的姿态识别结果，确定对应的对当前帧图像待响应的效果处理命令，以供所述图像采集设备所在终端设备响应待执行的效果处理命令进一步包括：

根据所述特定对象的姿态识别结果，以及所述当前帧图像中的包含的与交互对象的交互信息，确定对应的对当前帧图像待响应的效果处理命令。

4.根据权利要求2或3所述的方法，其中，所述待响应的效果处理命令包括效果贴图处理命令、风格化处理命令、亮度处理命令、光照处理命令和/或色调处理命令。

5.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像为所述当前帧图像；

所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：

根据所述特定对象的姿态识别结果，确定对应的对外部设备的操作指令，以供所述图像采集设备所在终端设备响应所述操作指令对所述外部设备进行操作。

6.根据权利要求1所述的方法，其中，所述图像采集设备所在终端设备所显示的图像不是所述当前帧图像；

所述根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令进一步包括：

获取所述图像采集设备所在终端设备所显示的图像；

根据所述特定对象的姿态识别结果，确定对应的所述图像待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令。

7.根据权利要求1-6中任一项所述的方法，其中，所述将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对所述当前帧图像中特定对象的姿态识别结果进一步包括：

判断所述当前帧图像是否为任一分组的第1帧图像；

若是，则将所述当前帧图像输入至经训练得到的神经网络中，经过该神经网络全部卷积层和反卷积层的运算后，得到对所述当前帧图像中特定对象的姿态识别结果；

若否，则将所述当前帧图像输入至经训练得到的神经网络中，在运算至所述神经网络的第i层卷积层得到第i层卷积层的运算结果后，获取当前帧图像所属分组的第1帧图像输入至所述神经网络中得到的第j层反卷积层的运算结果，直接将所述第i层卷积层的运算结果与所述第j层反卷积层的运算结果进行图像融合，得到对所述当前帧图像中特定对象的姿态识别结果；其中，i和j为自然数。

8.一种基于视频数据的实时姿态识别装置，所述装置对所述视频数据所包含的帧图像进行分组处理，其包括：

获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中的当前帧图像；

识别模块，适于将所述当前帧图像输入至经训练得到的神经网络中，根据所述当前帧图像在其所属分组中的帧位置，对当前帧图像进行姿态识别，得到对所述当前帧图像中特定对象的姿态识别结果；

响应模块，适于根据所述特定对象的姿态识别结果，确定对应的待响应的命令，以供所述图像采集设备所在终端设备响应所述待响应的命令。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于视频数据的实时姿态识别方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于视频数据的实时姿态识别方法对应的操作。