CN113657173B - 一种数据处理方法、装置和用于数据处理的装置 - Google Patents

Abstract

本发明实施例提供了一种数据处理方法、装置和用于数据处理的装置。所述方法包括：获取原始动作数据的关键帧以及所述关键帧包含的动作特征；根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。本发明实施例可以降低原始动作数据的修复成本，提高修复效率；并且，本发明实施例可以降低修复原始动作数据的操作难度，便于大范围推广。

Description

一种数据处理方法、装置和用于数据处理的装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置和用于数据处理的装置。

背景技术

手语是听力障碍或无法言语的特殊群体用来交流的方式之一，但是普通人往往不了解手语，导致特殊群体与普通人之间的交流十分困难。

近年来，随着通信技术的发展和移动传感器设备的普及，使用可穿戴传感器设备辅助聋哑人交流越来越受到重视。例如，基于视频、射频、传感器等动作捕捉设备采集特殊用户的动作数据，然后对采集的动作数据进行识别，确定特殊用户的表达意图。

然而，基于动作捕捉设备进行数据采集时，采集的数据受周围环境、设备精度等因素影响较大，具有不稳定性，精度不高等问题，需要专门的工作人员对采集的动作数据进行后期修复后才能进一步执行动作识别等操作。目前对动作数据的修复，主要是由美术工作人员在Maya或者其他3D软件上面进行动作数据的逐帧修复，修复成本高且耗时久，数据修复效率低下；此外，目前的动作数据修复方法，还需要工作人员具备丰富的手语知识，对工作人员的能力要求较高，不利于大范围推广。

发明内容

本发明实施例提供一种数据处理方法、装置和用于数据处理的装置，可以。

为了解决上述问题，本发明实施例公开了一种数据处理方法，所述方法包括：

获取原始动作数据的关键帧以及所述关键帧包含的动作特征；

根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；

基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。

可选地，所述根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息，包括：

对所述动作特征进行动作拆解，得到所述动作特征对应的基本动作要素；

根据所述基本动作要素和预设标注策略，生成所述关键帧对应的动作标注信息，所述预设标注策略包含各个基本动作要素对应的标注信息。

可选地，所述动作特征包括手语动作特征，所述基本动作要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。

可选地，所述基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据，包括：

基于所述动作标注信息以及所述动作标注信息对应的关键帧，对预先建立的数据修复模型进行迭代训练，直至满足收敛条件得到训练完成的数据修复模型；

将所述原始动作数据输入至所述训练完成的数据修复模型中进行修复处理，得到目标动作数据。

可选地，所述方法还包括：

根据预设标注策略确定所述目标动作数据对应的动作标注信息；

基于所述目标动作数据的动作标注信息驱动预先构建的三维人物模型执行所述动作标注信息对应的交互动作；和/或，

根据所述目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据对应的目标意图。

可选地，所述获取原始动作数据的关键帧以及所述关键帧包含的动作特征，包括：

获取原始动作数据，所述原始动作数据包含人体特征；

逐帧检测所述原始动作数据中的人体特征，确定包含目标动作的图像帧为所述原始动作数据的关键帧；

提取所述关键帧中的目标动作区域，并对提取的目标动作区域进行特征分类，得到所述关键帧包含的目标动作特征。

可选地，所述动作特征包括手语动作特征、表情动作特征、舞蹈动作特征、特定交互特征中的至少一种。

另一方面，本发明实施例公开了一种数据处理装置，所述装置包括：

关键帧获取模块，用于获取原始动作数据的关键帧以及所述关键帧包含的动作特征；

动作标注信息生成模块，用于根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；

动作数据修复模块，用于基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。

可选地，所述动作标注信息生成模块，包括：

动作拆解子模块，用于对所述动作特征进行动作拆解，得到所述动作特征对应的基本动作要素；

标注信息生成子模块，用于根据所述基本动作要素和预设标注策略，生成所述关键帧对应的动作标注信息，所述预设标注策略包含各个基本动作要素对应的标注信息。

可选地，所述动作特征包括手语动作特征，所述基本动作要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。

可选地，所述动作数据修复模块，包括：

数据修复模型训练子模块，用于基于所述动作标注信息以及所述动作标注信息对应的关键帧，对预先建立的数据修复模型进行迭代训练，直至满足收敛条件得到训练完成的数据修复模型；

数据修复子模块，用于将所述原始动作数据输入至所述训练完成的数据修复模型中进行修复处理，得到目标动作数据。

可选地，所述装置还包括：

目标动作标注信息确定模块，用于根据预设标注策略确定所述目标动作数据对应的动作标注信息；

交互动作执行子模块，用于基于所述目标动作数据的动作标注信息驱动预先构建的三维人物模型执行所述动作标注信息对应的交互动作；和/或，

意图识别子模块，用于根据所述目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据对应的目标意图。

可选地，所述关键帧获取模块，包括：

原始动作数据获取子模块，用于获取原始动作数据，所述原始动作数据包含人体特征；

关键帧确定子模块，用于逐帧检测所述原始动作数据中的人体特征，确定包含目标动作的图像帧为所述原始动作数据的关键帧；

动作特征确定子模块，用于提取所述关键帧中的目标动作区域，并对提取的目标动作区域进行特征分类，得到所述关键帧包含的目标动作特征。

可选地，所述动作特征包括手语动作特征、表情动作特征、舞蹈动作特征、特定交互特征中的至少一种。

再一方面，本发明实施例公开了一种用于数据处理的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如前述一个或多个所述的数据处理方法的指令。

又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的数据处理方法。

本发明实施例包括以下优点：

本发明实施例通过先获取原始动作数据的关键帧以及所述关键帧包含的动作特征，然后，根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息，进而基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。本发明实施例可以仅对原始动作数据中的关键帧进行动作特征标注，然后基于关键帧对应的动作标注信息对原始动作数据进行自动修复，相比于在先技术中由美术工作人员对动作数据进行逐帧修复，本发明实施例可以降低修复成本，提高修复效率；并且，本发明实施例可以基于关键帧的动作特征和预设标注策略确定关键帧的动作标注信息，无需工作人员基于自身储备的手语知识进行动作标注，可以由普通工作人员或机器实现动作标注，降低了操作难度，便于大范围推广。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种数据处理方法实施例的步骤流程图；

图2是本发明的一种数据处理装置实施例的结构框图；

图3是本发明的一种用于数据处理的装置800的框图；

图4是本发明的一些实施例中服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

方法实施例

参照图1，示出了本发明的一种数据处理方法实施例的步骤流程图，所述方法具体可以包括如下步骤：

步骤101、获取原始动作数据的关键帧以及所述关键帧包含的动作特征。

步骤102、根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息。

步骤103、基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。

本发明实施例提供的数据处理方法，可应用于终端设备，也可以应用于服务器，还可以由终端设备与服务器协同实现。其中，所述终端设备可以包括但不限于：专用的手语翻译设备、手语动作合成设备，智能终端、计算机、个人数字助理(Personal DigitalAssistant，PDA)、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，MovingPicture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携式计算机、车载设备、智能电视机、可穿戴设备等。

所述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、云通信、网络服务、中间件服务、内容分发网络(Content Delivery Network，CDN)，以及大数据和人工智能平台等基础云计算服务的云服务器。

需要说明的是，本发明实施例中的原始动作数据包含人体特征。所述原始动作数据可以是对用户执行的动作进行拍摄生成的，也可以是基于用户穿戴的动作传感器采集的动作数据。以本发明实施例提供的数据处理方法应用于终端设备为例，所述原始动作数据，可以是所述终端设备实时采集到的动作数据，也可以是所述终端设备中预先存储的动作数据，还可以是终端设备从其他设备中获取到的动作数据，例如，终端设备从用户穿戴的动作传感器中获取原始动作数据，或者，从服务器中下载原始动作数据，等等。本发明实施例对原始动作数据的获取方式不做具体限定。

进一步地，假设终端设备具备图像采集功能，则可以将终端设备布设在用户所处环境的四周，以便于从不同角度拍摄用户动作，获取各个角度的原始动作数据。

在本发明实施例中，所述原始动作数据可以包括视频数据，也可以包括图像数据。需要说明的是，无论所述原始动作数据是包含若干连续图像帧的视频数据，还是包含若干独立图像帧的图像数据，本发明实施例提供的数据处理方法，均是以图像帧为单位执行的。

应当理解，所述原始动作数据中的任意图像帧，可能包含用户的动作特征，也可能不包含用户的动作特征，且不同图像帧包含的动作特征的完整度、清晰度也会存在差异，因此，本发明实施例只对所述原始动作数据的关键帧进行处理。所述关键帧可以是包含完整且清晰的动作特征的图像帧。所述动作特征可以包括手语动作特征、表情动作特征、舞蹈动作特征、特定交互特征中的至少一种。具体的，获取原始动作数据的关键帧以及所述关键帧包含的动作特征，可以先获取原始动作数据，然后对原始动作数据中的人体特征进行分析，确定原始动作数据中的关键帧以及所述关键帧包含的动作特征。

得到原始动作数据的关键帧以及所述关键帧包含的动作特征之后，根据所述关键帧包含的动作特征以及预设标注策略，生成所述关键帧对应的动作标注信息。其中，所述预设标注策略包含每一种动作特征对应的标注信息，所述标注信息用于唯一标识相应的动作特征。在实际应用中，可以根据需求设置相应的标注策略，也即本发明实施例对于动作特征对应的标注信息的设置方式不做具体限定。

最后，基于关键帧的动作标注信息就可以对原始动作数据进行修复，例如，基于关键帧的动作标注信息，对所述原始动作数据中动作特征不完善的图像帧进行细节补充；或者，基于所述关键帧和所述关键帧的动作标注信息，确定所述原始动作数据中其他图像帧对应的动作标注信息，并基于确定的动作标注信息对图像帧包含的动作特征进行调整，使得图像帧中的动作特征更加规范化，等等。

例如，假设所述原始动作数据为手语动作数据，所述关键帧中包含的动作特征为手语动作特征，通过对手语动作数据进行修复，可以调整各个图像帧中手语动作的细节特征，例如，对于手语词汇“爱”，其对应的手语动作需要满足约束信息“右手手掌与左手大拇指顶端指节接触”，通过识别关键帧的动作标注信息发现原始动作数据对应的手语动作表达的词汇是“爱”，但是原始动作图像数据中的右手手掌与左手大拇指顶端指节并未完全接触，因此可以基于动作标注信息对应的规范化的动作特征，对原始动作图像数据的图像帧进行细节补充，使得图像帧中的右手手掌与左手大拇指顶端指节完全接触。

本发明实施例提供的数据处理方法，可以仅对原始动作数据中的关键帧进行动作特征标注，然后基于关键帧对应的动作标注信息对原始动作数据进行自动修复，相比于在先技术中由美术工作人员对动作数据进行逐帧修复，本发明实施例可以降低修复成本，提高修复效率；并且，本发明实施例可以基于关键帧的动作特征和预设标注策略确定关键帧的动作标注信息，无需工作人员基于自身储备的手语知识进行动作标注，可以由普通工作人员或机器实现动作标注，降低了操作难度，便于大范围推广。

在本发明的一种可选实施例中，步骤102所述根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息，包括：

步骤S11、对所述动作特征进行动作拆解，得到所述动作特征对应的基本动作要素；

步骤S12、根据所述基本动作要素和预设标注策略，生成所述关键帧对应的动作标注信息，所述预设标注策略包含各个基本动作要素对应的标注信息。

其中，所述基本动作要素可以理解为所述动作特征的最小特征单元，任意的动作特征都可以由其对应的一个或多个基本动作要素构成。例如，所述动作特征为手语动作特征，所述基本动作要素可以包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。或者，所述动作特征为表情动作特征，所述基本动作要素可以包括唇部特征、腮部特征、眼部特征等；或者，所述动作特征为舞蹈动作特征，所述基本动作要素可以包括腿形特征、四肢弯曲角度、约束信息、旋转角度等等。

所述预设标注策略可以根据具体的动作特征以及所述动作特征对应的基本动作要素确定所述动作特征的各项基本动作要素的标注信息。根据所述预设标注策略就可以对各类动作特征进行分析处理，有利于提高动作特征的分析准确度。

需要说明的是，本发明实施例中，生成关键帧对应的动作标注信息之后，可以基于关键帧的动作标注信息对原始动作数据进行修复，得到目标动作数据；也可以直接根据关键帧的对应的动作标注信息对关键帧执行相应的操作处理。例如，基于所述关键帧的动作标注信息驱动预先构建的三维人物模型执行所述关键帧包含的动作；和/或，根据所述关键帧的动作标注信息对所述关键帧进行意图识别，确定所述关键帧对应的目标意图。

例如，所述关键帧包含的动作特征为手语动作特征，则对所述关键帧进行意图识别，可以将所述关键帧包含的手语动作特征转换为相应的文本，实现手语动作翻译，便于普通用户理解手语动作；或者，所述关键帧包含的动作特征为人脸表情特征，可以根据所述动作标注信息对所述关键帧进行意图识别，确定所述关键帧呈现的表情类型，如愤怒、讨厌、恐惧、喜悦、悲伤、惊奇等；或者，所述关键帧包含的动作特征为特定交互特征，通过根据所述动作标注信息对所述关键帧进行意图识别，可以确定所述关键帧对应的目标意图或交互指令，进而可以根据识别结果对所述关键帧包含的特定交互特征做出响应，等等。

此外，本发明实施例中的标注信息可以被机器自动识别，从而在生成原始动作数据的关键帧对应的动作标注信息后，可以通过机器对原始动作设备进行自动修复，相比于在先技术中由美术工作人员对动作数据进行逐帧修复，本发明实施例可以降低修复成本，提高修复效率。

在本发明的一种可选实施例中，步骤103所述基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据，包括：

步骤S21、基于所述动作标注信息以及所述动作标注信息对应的关键帧，对预先建立的数据修复模型进行迭代训练，直至满足收敛条件得到训练完成的数据修复模型；

步骤S22、将所述原始动作数据输入至所述训练完成的数据修复模型中进行修复处理，得到目标动作数据。

由于所述关键帧包含完整、清晰的动作特征，因此可以将所述关键帧以及所述关键帧对应的动作标注信息作为训练样本，对预先建立的数据修复模型进行迭代训练，得到训练完成的数据修复模型。对于数据修复模型的网络结构，本发明实施例不做具体限定，可以选用任意擅长进行数据修复的神经网络模型作为本发明实施例中的数据修复模型。

数据修复模型的训练结束后，就可以直接将原始动作数据输入至训练完成的数据修复模型中进行数据修复，得到目标动作数据，从而降低原始动作数据的修复成本，提高修复效率。

需要说明的是，在本发明实施例中，得到目标动作数据后，可以直接对目标动作数据进行存储或展示，例如，所述原始动作数据为手语动作数据，可以将修复得到的目标动作数据作为手语动作的教学数据进行展示，以供学学员根据所述目标动作数据学习手语动作。还可以对目标动作数据进一步执行一系列数据处理操作，例如，将所述目标动作数据作为神经网络模型的训练数据，如根据目标动作数据训练图像识别模型；或者，根据所述目标动作数据进行交互动作合成，等等。

在本发明的一种可选实施例中，所述方法还包括：

步骤S31、根据预设标注策略确定所述目标动作数据对应的动作标注信息；

步骤S32、基于所述目标动作数据的动作标注信息驱动预先构建的三维人物模型执行所述动作标注信息对应的交互动作；和/或，

步骤S33、根据所述目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据对应的目标意图。

在对目标动作数据进行操作处理时，可以先根据预设标注策略确定目标动作数据对应的动作标注信息，便于提升处理效率和准确度。

具体的，可以根据目标动作数据对应的动作标注信息驱动预先构建的三维人物模型执行动作标注信息对应的交互动作，实现三维人物模型与用户之间的交互。例如，所述目标动作数据包含手语动作特征，假设所述目标动作数据中的手语动作特征表达的手语词汇为“爱”，根据预设标注策略，确定目标动作数据对应的动作标注信息为“Left_T0-T0_O60,IMRP0+Still_03-Straight_06+C(DR,T3L)+OR_L_right+OR_R_down+smile_60”。其中，“Left_T0-T0_O60,IMRP0”反映单双手形特征，“Left_T0”表示左手手形为左手大拇指竖直，其他四指呈握拳状，“T0_O60,IMRP0”表示右手手形为右手五指伸直且并拢；“Still_03-Straight_06”反映手臂运动特征，“Still_03”表示左臂运动为左臂斜立，“Straight_06”表示右臂运动为右臂向后平移；“C(DR,T3L)”反映约束信息，表示在“爱”的手语动作中，约束信息为右手手掌与左手大拇指顶端指节接触；“OR_L_right+OR_R_down”反映双手朝向特征，“OR_L_right”表示左手掌心朝右，“OR_R_down”表示右手掌心朝下；“smile_60”反映人脸表情特征，表示微笑且微笑程度为60(微笑程度程度的取值范围可以为0-100)。三维人物模型通过识别所述动作标注信息，会做出相应的动作特征，最终呈现出“爱”这个词汇对应的手语动作。

在确定手语词汇对应的动作标注信息时，也可以基于已经标注完成的手语词汇对应的动作标注信息生成待标注的手语词汇的动作标注信息。具体的，若待标注的手语词汇的部分动作特征与已标注的手语词汇的部分动作特征相同，可以直接用已标注手语词汇中相同动作特征的标注信息对未标注的手语词汇进行标注。例如，假设待标注的手语词汇“爱”与已标注的手语词汇“喜欢”的手臂运动特征相同，其他动作特征不同，那么，可以在手语词汇“喜欢”的动作标注信息的基础上进行调整，得到手语词汇“爱”的动作标注信息“Left_T0-T0_O60,IMRP0+Like(Front_Normal,喜欢)+C(DR,T3L)+OR_L_right+OR_R_down+smile_60”。可以看出，与前面的动作标注信息相比，将反映手臂运动特征的“Still_03-Straight_06”替换为“Like(Front_Normal,喜欢)”，表示手臂运动特征与通用状态“Front_Normal”和手语词“喜欢”的运动状态相似。基于已经标注完成的手语词及其对应的动作标注信息对未标注的手语词进行动作标注，可以减少标注信息的数据量，提高标注效率。需要说明的是，上述动作标注信息仅为本发明实施例确定动作标注信息的一种示例性说明，并不构成对动作标注信息的具体限定，在实际应用中，可以根据目标动作数据包含的动作特征以及所述动作特征对应的基本动作要素确定所述动作特征的各项基本动作要素的标注信息，进而生成目标动作数据的动作标注信息。

在本发明实施例中，除了可以根据目标动作数据对应的动作标注信息驱动预先构建的三维人物模型执行动作标注信息对应的交互动作，还可以根据目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定目标动作数据对应的目标意图。例如，所述目标动作数据包含的动作特征为手语动作特征，则对所述目标动作数据进行意图识别，可以将所述目标动作数据包含的手语动作特征转换为相应的文本，实现手语动作翻译，便于普通用户理解手语动作；或者，所述目标动作数据包含的动作特征为人脸表情特征，可以根据所述动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据呈现的表情类型，如愤怒、讨厌、恐惧、喜悦、悲伤、惊奇等；或者，所述目标动作数据包含的动作特征为特定交互特征，通过根据所述动作标注信息对所述目标动作数据进行意图识别，可以确定所述目标动作数据对应的目标意图或交互指令，进而可以根据识别结果对所述关键帧包含的特定交互特征做出响应，等等。

需要说明的是，前述步骤S31至步骤S33仅作为本发明实施例中针对目标动作数据执行操作处理的示例性说明，本发明实施例中生成的目标动作数据也可以用于实现其他的操作处理，对此，本发明实施例不做具体限定。

在本发明的一种可选实施例中，步骤101所述获取原始动作数据的关键帧以及所述关键帧包含的动作特征，包括：

步骤S41、获取原始动作数据，所述原始动作数据包含人体特征；

步骤S42、逐帧检测所述原始动作数据中的人体特征，确定包含目标动作的图像帧为所述原始动作数据的关键帧；

步骤S43、提取所述关键帧中的目标动作区域，并对提取的目标动作区域进行特征分类，得到所述关键帧包含的目标动作特征。

在本发明实施例中，所述原始动作数据中的任意图像帧，可能包含用户的动作特征，也可能不包含用户的动作特征，且不同图像帧包含的动作特征的完整度、清晰度也会存在差异，因此，本发明实施例在获取到原始动作数据之后，首先对原始动作数据中的人体特征进行分析，确定原始动作数据中的关键帧以及所述关键帧包含的动作特征。具体的，可以按照实际的数据处理需求，将所述原始动作数据中包含目标动作的图像帧作为关键帧。所述目标动作可以包括手语动作、舞蹈动作、表情动作、特定交互动作等。例如，可以对所述原始动作数据的各个图像帧进行逐帧检测，确定包含手语动作的图像帧为关键帧。可以通过图像识别技术对原始动作数据进行图像检测，确定包含目标动作的图像帧为关键帧，从而提高检测效率和准确度。

关键帧中往往包含多种信息，例如，所述关键帧中包含动作特征，还可以包括其他背景特征，为了提高动作特征的识别准确度，可以对关键帧中的目标动作区域进行提取处理，并对提取的目标动作区域进行特征分类，确定关键帧包含的目标动作特征。例如，所述目标动作为手语动作，手语动作通常由人物对象的手臂、手部以及脸部表情组成，因此在确定关键帧的手语动作特征时，可以对关键帧中人物对应的手臂、手部以及人脸构成的目标动作区域进行提取，然后识别目标动作区域对应的手语动作特征。

为了提高动作特征的识别准确度，可以通过动作识别模型对关键帧中的目标动作的动作特征进行识别。所述动作识别模型的本质是对关键帧中的目标动作区域进行动作预测，进而得到关键帧包含的动作特征。可以选用任意擅长进行动作识别的神经网络模型作为本发明实施例中的动作识别模型。

综上，本发明实施例可以仅对原始动作数据中的关键帧进行动作特征标注，然后基于关键帧对应的动作标注信息对原始动作数据进行自动修复，相比于在线技术中由美术工作人员对动作数据进行逐帧修复，本发明实施例可以降低修复成本，提高修复效率；并且，本发明实施例可以基于关键帧的动作特征和预设标注策略确定关键帧的动作标注信息，无需工作人员基于自身储备的手语知识进行动作标注，可以由普通工作人员或机器实现动作标注，降低了操作难度，便于大范围推广。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

装置实施例

参照图2，示出了本发明的一种数据处理装置实施例的结构框图，所述装置可以包括：

关键帧获取模块201，用于获取原始动作数据的关键帧以及所述关键帧包含的动作特征；

动作标注信息生成模块202，用于根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；

动作数据修复模块203，用于基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。

可选地，所述动作标注信息生成模块，包括：

动作拆解子模块，用于对所述动作特征进行动作拆解，得到所述动作特征对应的基本动作要素；

标注信息生成子模块，用于根据所述基本动作要素和预设标注策略，生成所述关键帧对应的动作标注信息，所述预设标注策略包含各个基本动作要素对应的标注信息。

可选地，所述动作特征包括手语动作特征，所述基本动作要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。

可选地，所述动作数据修复模块，包括：

数据修复模型训练子模块，用于基于所述动作标注信息以及所述动作标注信息对应的关键帧，对预先建立的数据修复模型进行迭代训练，直至满足收敛条件得到训练完成的数据修复模型；

数据修复子模块，用于将所述原始动作数据输入至所述训练完成的数据修复模型中进行修复处理，得到目标动作数据。

可选地，所述装置还包括：

目标动作标注信息确定模块，用于根据预设标注策略确定所述目标动作数据对应的动作标注信息；

交互动作执行子模块，用于基于所述目标动作数据的动作标注信息驱动预先构建的三维人物模型执行所述动作标注信息对应的交互动作；和/或，

意图识别子模块，用于根据所述目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据对应的目标意图。

可选地，所述关键帧获取模块，包括：

原始动作数据获取子模块，用于获取原始动作数据，所述原始动作数据包含人体特征；

关键帧确定子模块，用于逐帧检测所述原始动作数据中的人体特征，确定包含目标动作的图像帧为所述原始动作数据的关键帧；

动作特征确定子模块，用于提取所述关键帧中的目标动作区域，并对提取的目标动作区域进行特征分类，得到所述关键帧包含的目标动作特征。

可选地，所述动作特征包括手语动作特征、表情动作特征、舞蹈动作特征、特定交互特征中的至少一种。

综上，本发明实施例可以仅对原始动作数据中的关键帧进行动作特征标注，然后基于关键帧对应的动作标注信息对原始动作数据进行自动修复，相比于在线技术中由美术工作人员对动作数据进行逐帧修复，本发明实施例可以降低修复成本，提高修复效率；并且，本发明实施例可以基于关键帧的动作特征和预设标注策略确定关键帧的动作标注信息，无需工作人员基于自身储备的手语知识进行动作标注，可以由普通工作人员或机器实现动作标注，降低了操作难度，便于大范围推广。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供了一种用于数据处理的装置，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

A11、获取原始动作数据的关键帧以及所述关键帧包含的动作特征；

A12、根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；

A13、基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。

可选地，所述根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息，包括：

对所述动作特征进行动作拆解，得到所述动作特征对应的基本动作要素；

根据所述基本动作要素和预设标注策略，生成所述关键帧对应的动作标注信息，所述预设标注策略包含各个基本动作要素对应的标注信息。

可选地，所述动作特征包括手语动作特征，所述基本动作要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。

可选地，所述基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据，包括：

基于所述动作标注信息以及所述动作标注信息对应的关键帧，对预先建立的数据修复模型进行迭代训练，直至满足收敛条件得到训练完成的数据修复模型；

将所述原始动作数据输入至所述训练完成的数据修复模型中进行修复处理，得到目标动作数据。

可选地，所述方法还包括：

根据预设标注策略确定所述目标动作数据对应的动作标注信息；

基于所述目标动作数据的动作标注信息驱动预先构建的三维人物模型执行所述动作标注信息对应的交互动作；和/或，

根据所述目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据对应的目标意图。

可选地，所述获取原始动作数据的关键帧以及所述关键帧包含的动作特征，包括：

获取原始动作数据，所述原始动作数据包含人体特征；

逐帧检测所述原始动作数据中的人体特征，确定包含目标动作的图像帧为所述原始动作数据的关键帧；

提取所述关键帧中的目标动作区域，并对提取的目标动作区域进行特征分类，得到所述关键帧包含的目标动作特征。

可选地，所述动作特征包括手语动作特征、表情动作特征、舞蹈动作特征、特定交互特征中的至少一种。

图3是根据一示例性实施例示出的一种用于数据处理的装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图3，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以语音处理装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频信息处理(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图4是本发明的一些实施例中服务器的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行图1所示的数据处理方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(服务器或者终端)的处理器执行时，使得装置能够执行一种数据处理方法，所述方法包括：获取原始动作数据的关键帧以及所述关键帧包含的动作特征；根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

以上对本发明所提供的一种数据处理方法、一种数据处理装置和一种用于数据处理的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种数据处理方法，其特征在于，所述方法包括：

获取原始动作数据的关键帧以及所述关键帧包含的动作特征；所述关键帧是包含完整且清晰的所述动作特征的图像帧；

根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；

基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据；

其中，所述基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据，包括：

基于所述动作标注信息以及所述动作标注信息对应的关键帧，对预先建立的数据修复模型进行迭代训练，直至满足收敛条件得到训练完成的数据修复模型；

将所述原始动作数据输入至所述训练完成的数据修复模型中进行修复处理，得到目标动作数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息，包括：

对所述动作特征进行动作拆解，得到所述动作特征对应的基本动作要素；

根据所述基本动作要素和预设标注策略，生成所述关键帧对应的动作标注信息，所述预设标注策略包含各个基本动作要素对应的标注信息。

3.根据权利要求2所述的方法，其特征在于，所述动作特征包括手语动作特征，所述基本动作要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预设标注策略确定所述目标动作数据对应的动作标注信息；

基于所述目标动作数据的动作标注信息驱动预先构建的三维人物模型执行所述动作标注信息对应的交互动作；和/或，

根据所述目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据对应的目标意图。

5.根据权利要求1所述的方法，其特征在于，所述获取原始动作数据的关键帧以及所述关键帧包含的动作特征，包括：

获取原始动作数据，所述原始动作数据包含人体特征；

逐帧检测所述原始动作数据中的人体特征，确定包含目标动作的图像帧为所述原始动作数据的关键帧；

提取所述关键帧中的目标动作区域，并对提取的目标动作区域进行特征分类，得到所述关键帧包含的目标动作特征。

6.根据权利要求1所述的方法，其特征在于，所述动作特征包括手语动作特征、表情动作特征、舞蹈动作特征、特定交互特征中的至少一种。

7.一种数据处理装置，其特征在于，所述装置包括：

关键帧获取模块，用于获取原始动作数据的关键帧以及所述关键帧包含的动作特征；所述关键帧是包含完整且清晰的所述动作特征的图像帧；

动作标注信息生成模块，用于根据所述动作特征和预设标注策略，生成所述关键帧对应的动作标注信息；

动作数据修复模块，用于基于所述动作标注信息对所述原始动作数据进行修复，得到目标动作数据；

其中，所述动作数据修复模块，包括：

数据修复模型训练子模块，用于基于所述动作标注信息以及所述动作标注信息对应的关键帧，对预先建立的数据修复模型进行迭代训练，直至满足收敛条件得到训练完成的数据修复模型；

数据修复子模块，用于将所述原始动作数据输入至所述训练完成的数据修复模型中进行修复处理，得到目标动作数据。

8.根据权利要求7所述的装置，其特征在于，所述动作标注信息生成模块，包括：

动作拆解子模块，用于对所述动作特征进行动作拆解，得到所述动作特征对应的基本动作要素；

标注信息生成子模块，用于根据所述基本动作要素和预设标注策略，生成所述关键帧对应的动作标注信息，所述预设标注策略包含各个基本动作要素对应的标注信息。

9.根据权利要求8所述的装置，其特征在于，所述动作特征包括手语动作特征，所述基本动作要素包括左右手臂特征、单双手形特征、朝向运动特征、指节弯曲角度、人脸表情特征、约束信息中的至少一种。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

目标动作标注信息确定模块，用于根据预设标注策略确定所述目标动作数据对应的动作标注信息；

交互动作执行子模块，用于基于所述目标动作数据的动作标注信息驱动预先构建的三维人物模型执行所述动作标注信息对应的交互动作；和/或，

意图识别子模块，用于根据所述目标动作数据的动作标注信息对所述目标动作数据进行意图识别，确定所述目标动作数据对应的目标意图。

11.根据权利要求7所述的装置，其特征在于，所述关键帧获取模块，包括：

原始动作数据获取子模块，用于获取原始动作数据，所述原始动作数据包含人体特征；

关键帧确定子模块，用于逐帧检测所述原始动作数据中的人体特征，确定包含目标动作的图像帧为所述原始动作数据的关键帧；

动作特征确定子模块，用于提取所述关键帧中的目标动作区域，并对提取的目标动作区域进行特征分类，得到所述关键帧包含的目标动作特征。

12.一种用于数据处理的装置，其特征在于，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1至6中任一所述的数据处理方法的指令。

13.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至6中任一所述的数据处理方法。