CN116009700A - 数据处理方法及电子设备 - Google Patents

Abstract

本申请公开了一种数据处理方法以及电子设备，应用于第一设备的方法包括：获得目标用户的动作数据；将所述动作数据传输给第二设备，以使得所述第二设备至少根据所述动作数据输出所述目标用户对应的虚拟形象。

Description

数据处理方法及电子设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法及电子设备。

背景技术

随着技术的发展，虚拟形象的应用越来越广泛。但工作人员所在的采集端设备与虚拟形象所在输出端设备之间传输虚拟形象数据，会导致数据传输量较大。

发明内容

有鉴于此，本申请提供一种数据处理方法及电子设备，如下：

一种数据处理方法，应用于第一设备，所述方法包括：

获得目标用户的动作数据；

将所述动作数据传输给第二设备，以使得所述第二设备至少根据所述动作数据输出所述目标用户对应的虚拟形象。

上述方法，优选的，所述获得目标用户的动作数据，包括：

获得目标图像，所述目标图像中包含目标用户对应的图像区域；

根据所述目标图像，获得所述目标用户的动作数据。

上述方法，优选的，一帧所述目标图像由多个目标子图像组成，一个所述目标子图像包含有所述目标用户的一个部位的图像区域；

其中，根据所述目标图像，获得所述目标用户的动作数据，包括：

分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据，所有所述动作子数据组成所述目标用户的动作数据。

上述方法，优选的，一个所述目标子图像通过一个图像采集装置获得，对应于不同的所述部位的目标子图像对应的图像采集装置的图像采集参数不同，所述图像采集参数包含采集清晰度和采集范围中的至少一项；

或者，

所述目标图像中的所有所述目标子图像通过一个图像采集装置获得，所述目标子图像通过对所述目标图像按照所述目标用户的部位进行区域划分得到。

上述方法，优选的，分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据，包括：

按照多种处理方式，分别对所述目标子图像进行处理，以得到所述目标用户在所述目标子对象对应的部位上的动作子数据；

其中，不同的所述目标子图像对应的处理方式不同。

上述方法，优选的，所述获得目标用户的动作数据，包括：

按照多种处理方式，分别获得目标用户的多个动作子数据，一个所述动作子数据对应于所述目标用户的一个部位，所有所述动作子数据组成所述目标用户的动作数据；

其中，不同的所述动作子数据对应的所述处理方式不同。

上述方法，优选的，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；

所述处理方式为基于数据获得装置的方式，所述数据获得装置用于获得所述目标子数据；不同的所述部位对应的数据获得装置的装置类型不同，或者，不同的所述部位对应的数据获得装置的装置参数不同；

其中，所述数据获得装置的装置类型为：图像采集装置的装置类型，或，穿戴式装置的装置类型；

所述数据获得装置的装置参数为：图像采集装置的图像采集清晰度，或，穿戴式装置的传感器采集密度。

上述方法，优选的，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；

所述处理方式为处理所述目标子数据的方式，不同的所述部位对应的处理所述目标子数据的处理参数不同；

其中，所述处理参数包括：处理所述目标子数据的精度和处理所述目标子数据的帧率中的至少一种。

上述方法，优选的，所述将所述动作数据传输给第二设备，包括：

获得目标时间段内的音频数据，所述音频数据与所述动作数据关于所述目标时间段相对应；

将所述音频数据和所述动作数据进行处理，以得到对应于所述目标时间段的数据包；

将所述数据包传输给第二设备，以使得所述第二设备获得所述数据包中的所述动作数据和所述音频数据，并至少根据所述动作数据输出所述目标用户对应的虚拟形象，以及，根据所述音频数据输出所述虚拟形象对应的声音信号。

一种电子设备，包括：

处理装置，用于获得目标用户的动作数据；

传输装置，用于将所述动作数据传输给第二设备，以使得所述第二设备至少根据所述动作数据输出所述目标用户对应的虚拟形象。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种数据处理方法的流程图；

图2为本申请实施例适用的场景示例图；

图3为本申请实施例中动作数据的关键点示例图；

图4为本申请实施例一提供的一种数据处理方法的部分流程图；

图5为本申请实施例适用的另一场景示例图；

图6为本申请实施例中目标图像的子图像的示例图；

图7为本申请实施例中通过多摄像头获得各部位对应的子图像的示例图；

图8为本申请实施例中通过一个摄像头获得各部位对应的子图像的示例图；

图9为本申请实施例一提供的一种数据处理方法的另一部分流程图；

图10为本申请实施例二提供的一种数据处理装置的结构示意图；

图11为本申请实施例三提供的一种电子设备的结构示意图；

图12以及图13分别为本申请实施例三提供的一种电子设备的另一结构示意图；

图14为本申请适用于智能客服场景的处理流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1所示，为本申请实施例一提供的一种数据处理方法的实现流程图，该方法可以适用于能够进行数据处理以及数据传输的电子设备中，如图2中所示的第一设备，第一设备可以为计算机或服务器等，第一设备与第二设备之间建立有数据连接，第二设备可以为能够输出虚拟形象的设备，如带有输出装置的计算机或服务器等，输出装置可以为显示屏或投影仪等能够输出虚拟形象的装置。本实施例中的技术方案主要用于在设备上实现虚拟形象输出的前提下，减少设备之间的数据传输量。

具体的，本实施例中的方法可以包含如下步骤：

步骤101：获得目标用户的动作数据。

其中，目标用户的动作数据表征目标用户的至少一个部位上的动作状态。以部位为胳膊为例，动作数据表征胳膊的抬起、放下、左右移动等动作状态。

具体的，动作数据中包含相应部位上至少一个关键点的动作参数，动作参数可以包含有关键点的偏移位置和/或偏移方向。基于此，对于不同的部位，该部位上关键点的动作参数能够表征该部位上的动作状态。

例如，如图3中所示，胳膊上胳膊肘和手腕等关键点的偏移位置和偏移方向表征胳膊的抬起、放下、左右移动等动作状态；再如，面部上眼球、下颌和嘴等多个关键点的偏移位置和偏移方向表征面部的表情状态，如微笑、讲话、哭泣等状态；再如，腿上髋部、膝盖、脚腕和脚掌等关键点的偏移位置和偏移方向表征胳膊的抬起、放下、左右移动等动作状态；

在具体实现中，本实施例中为目标用户预先配置数据获得装置，基于此，可以通过数据获得装置获取到目标用户的目标数据，如图像和/或传感器采集参数等，之后，基于这些目标数据获得目标用户的动作数据。

步骤102：将动作数据传输给第二设备，以使得第二设备至少根据动作数据输出目标用户对应的虚拟形象。

其中，虚拟形象可以理解为目标用户对应的虚拟用户，如三维虚拟人物。虚拟形象包含目标用户各个部位对应的虚拟子对象。例如，如图2中所示，在第二设备上根据动作数据渲染出目标用户对应的三维虚拟人物，以使得第二设备的用户能够观看到三维虚拟人物且三维虚拟人物的动作与目标用户的动作相一致，由此通过三维虚拟人物实现与目标用户之间的远程交互。

需要说明的是，虚拟形象为经过像素点渲染后的数据，其中包含三维空间中每个像素点的参数数据如深度、颜色、亮度等，相对于动作数据中关键点的动作参数，虚拟形象的数据量明显高于动作数据的数据量。

从上述技术方案可以看出，本申请实施例一提供的一种数据处理方法中，在第一设备上获得目标用户的动作数据，进而将动作数据传输给第二设备后，第二设备能够根据动作数据输出目标用户对应的目标虚拟形象。可见，区别于目标虚拟形象的数据，本实施例在第一设备与第二设备之间传输用于输出目标虚拟形象的动作数据，而动作数据的数据量明显小于虚拟形象的数据量，由此，本申请在设备上实现虚拟形象输出的前提下，在设备之间传输数据量更小的动作数据，以此来达到减少设备之间的数据传输量的目的。

在一种实现方式中，步骤101中在获得目标用户的动作数据时，具体可以通过以下方式实现，如图4中所示：

步骤401：获得目标图像。

其中，目标图像中包含目标用户对应的图像区域。

例如，如图5中所示，本实施例中在第一设备一侧，配置图像采集装置，并通过图像采集装置对目标用户进行图像采集，以得到包含目标用户对应的图像区域的目标图像。

步骤402：根据目标图像，获得目标用户的动作数据。

其中，本实施例中可以对目标图像进行图像处理，以得到目标图像中目标用户的动作数据。

例如，本实施例中可以采用预先训练的图像识别模型对多帧目标图像进行图像识别，以使得图像识别模型输出目标图像中目标用户的动作数据。图像识别模型以包含人物的图像为输入样本，并以图像中人物的动作数据为输出样本进行多次训练得到。

再如，本实施例中可以采用动作捕捉算法对连续多帧目标图像中的人物动作进行动作捕捉处理，以得到目标图像中目标用户的动作数据。

在一种实现方式中，一帧目标图像由多个目标子图像组成，一个目标子图像包含有目标用户的一个部位的图像区域。例如，如图6中所示，每帧目标图像中有分别包含目标用户的面部、躯干、上肢和下肢等部位的目标子图像组成。

基于此，步骤402中在根据目标图像获得目标用户的动作数据时，可以分别根据目标子图像，获得目标用户在目标子图像对应的部位上的动作子数据。所有动作子数据组成目标用户的动作数据。

也就是说，本实施例中针对目标用户的每个部位，分别根据该部位对应的目标子图像，获得该部位对应的动作子数据，由此得到包含所有部位的动作子数据的动作数据。

在一种具体的实现方式中，一个目标子图像通过一个图像采集装置获得，而对应于不同的部位的目标子图像对应的图像采集装置的图像采集参数不同，图像采集参数包含采集清晰度和采集范围中的至少一项。

例如，如图7中所示，本实施例中在第一设备一侧，针对目标用户的不同部位分别配置图像采集参数不同的图像采集装置，例如，在第一设备一侧配置多个不同分辨率的摄像头且每个摄像头的采集方向指向对应的部位使得摄像头的采集范围包含其对应的部位，由此，本实施例中分别通过每个图像采集装置对目标用户的各部位进行图像采集，以得到分别包含目标用户的各部位对应的图像区域的目标子图像，至少存在两个目标子图像关于图像清晰度(对应于摄像头的分辨率)不同，由此得到包含多个目标子图像的目标图像。基于此，本实施例中分别根据各个图像采集装置所采集来的目标子图像，获得目标用户在各个部位上的动作子数据，由此得到目标用户的动作数据。

在另一种具体的实现方式中，一帧目标图像中的所有目标子图像通过一个图像采集装置获得，目标子图像通过对目标图像按照目标用户的部位进行区域划分得到。

例如，如图8中所示，本实施例中在第一设备一侧，针对目标用户配置一个图像采集装置，例如，在第一设备一侧配置一个高清摄像头，且高清摄像头的采集方向指向目标用户使得高清摄像头的采集范围包含目标用户，由此，本实施例中通过图像采集装置对目标用户的整体区域进行图像采集，以得到包含目标用户的整体区域的目标图像，之后，对目标图像按照目标用户的各个部位进行图像划分，划分得到分别对应于目标用户的每个部位的目标子对象。基于此，本实施例中分别根据各个目标子图像，获得目标用户在各个部位上的动作子数据，由此得到目标用户的动作数据。

基于以上实现方式，步骤402中在分别根据目标子图像，获得目标用户在目标子图像对应的部位上的动作子数据时，可以按照多种处理方式，分别对目标子图像进行处理，以得到目标用户在目标子对象对应的部位上的动作子数据。其中，不同的目标子对象对应的处理方式不同。

具体的，这里的处理方式为基于处理参数的方式，处理参数可以包含图像识别模型，或，动作捕捉算法中的处理帧率和处理精度中的至少一项。各部位分别对应有图像识别模型，不同部位对应的图像识别模型不同，每个部位对应的图像识别模型为按照该部位对应的训练样本进行训练得到，训练样本包含输入样本和输出样本，输入样本为包含该部位的图像，输出样本为该部位图像对应的部位动作数据。基于此，图像识别模型不同包含有：图像识别模型中的模型类型不同，和/或，图像识别模型的输出样本中的部位动作数据中的关键点密度不同。其中的图像识别模型的模型类型不同可以为：不同部位对应的图像识别模型基于不同的模型算法构建。

例如，以目标用户的面部和躯干为例，面部的图像识别模型基于精度较高的机器学习算法构建，躯干的图像识别模型基于精度较低的机器学习算法构建。

再如，以目标用户的面部和躯干为例，本实施例中分别按照面部和躯干的图像预先训练面部的图像识别模型和躯干的图像识别模型，面部的图像识别模型的输出样本中的动作数据中关键点的密度较高，而躯干的图像识别模型的输出样本中的动作数据中关键点的密度较低，基于此，采用不同的图像识别模型分别对面部和躯干的目标子图像进行处理，以得到面部的动作数据和躯干的动作数据。

而动作捕捉算法能够对图像中的像素点进行处理，进而捕捉到图像中特定对象的动作数据。动作捕捉算法具有处理帧率和处理精度等参数，不同部位对应的处理帧率和/或处理精度不同。

例如，以目标用户的面部和躯干为例，本实施例中采用较高的第一处理帧率和较高的第一处理精度对面部对应的目标子图像进行动作捕捉，进而得到面部上的动作数据，本实施例中采用较低的第二处理帧率和较低的第二处理精度对躯干对应的目标子图像进行动作捕捉，进而得到躯干上的动作数据。

例如，本实施例在第一设备一侧配置多个不同分辨率的摄像头且每个摄像头的采集范围包含其对应的部位，其中的高清摄像头按照高采集帧率采集包含面部的目标子图像，低清摄像头按照低采集帧率采集包含躯干的目标子图像，等等。之后，本实施例中以具有较高的第一处理帧率和较高的第一处理精度的动作捕捉算法对面部对应的目标子图像进行处理，得到面部上的动作数据；以具有较低的第二处理帧率和较低的第二处理精度的动作捕捉算法对躯干对应的目标子图像进行处理，进而得到躯干上的动作数据；以相同的第二处理帧率和第二处理精度对其他部位对应的目标子图像进行处理，进而得到这些部位上的动作数据，等等。

再如，本实施例中在第一设备一侧，针对目标用户配置一个图像采集装置，如在第一设备一侧配置一个高清摄像头，且高清摄像头的采集方向指向目标用户使得高清摄像头的采集范围包含目标用户，由此，高清摄像头采集到包含目标用户各部位的高清的目标图像，之后，对目标图像按照目标用户的各个部位进行图像划分，划分得到分别对应于目标用户的每个部位的目标子对象，如包含面部的目标子图像和包含躯干的目标子图像等。之后，本实施例中以具有较高处理帧率和较高处理精度的动作捕捉算法对面部对应的目标子图像进行处理，得到面部上的动作数据；以具有较低处理帧率和较低处理精度的动作捕捉算法对躯干对应的目标子图像进行处理，进而得到躯干上的动作数据；以具有相同处理帧率和处理精度的动作捕捉算法对其他部位对应的目标子图像进行处理，进而得到这些部位上的动作数据，等等。

再如，本实施例中在第一设备一侧，针对目标用户配置一个图像采集装置，如在第一设备一侧配置一个高清摄像头，且高清摄像头的采集方向指向目标用户使得高清摄像头的采集范围包含目标用户，由此，高清摄像头采集到包含目标用户各部位的高清的目标图像，之后，对目标图像按照目标用户的各个部位进行图像划分，划分得到分别对应于目标用户的每个部位的目标子对象，如包含面部的目标子图像和包含躯干的目标子图像等。之后，本实施例中按照各部位各自训练的图像识别模型分别处理相应部位的目标子图像，例如，以按照面部图像训练出的图像识别模型对面部对应的目标子图像进行识别处理，得到图像识别模型输出的面部上的动作数据；以按照躯干图像训练出的图像识别模型对躯干对应的目标子图像进行识别处理，进而得到图像识别模型输出的躯干上的动作数据；以相应的图像识别模型对其他部位对应的目标子图像进行处理，进而得到这些部位上的动作数据，等等。

在一种实现方式中，步骤101中在获得目标用户的动作数据时，可以通过以下方式实现：

按照多种处理方式，分别获得目标用户的多个动作子数据，一个动作子数据对应于目标用户的一个部位，所有动作子数据组成目标用户的动作数据。其中，不同的动作子数据对应的处理方式不同。

也就是说，本实施例中针对目标用户的不同部位，按照不同的处理方式分别获得各个部位对应的动作子数据，由此得到目标用户的动作数据。

具体的，动作子数据基于目标子数据获得，目标子数据对应于目标用户的一个部位，也就是说，步骤101中先获得对应于目标用户每个部位的目标子数据，然后再分别基于每个目标子数据获得对应于每个部位的动作子数据。

基于此，在一种具体的实现方式中，获得动作子数据的处理方式为基于数据获得装置的方式，这里的数据获得装置用于获得目标子数据，存在不同的部位对应的数据获得装置的装置类型不同，当然也可能存在不同的部位对应的数据获得装置的装置类型相同，或者，存在不同部位对应的数据获得装置的装置参数不同，当然也可能存在不同的部位对应的数据获得装置的装置参数相同。

其中，这里的数据获得装置的装置类型为：图像采集装置的装置类型，或穿戴式装置的装置类型。例如，面部对应的动作子数据根据摄像头采集到的目标子数据获得，躯干对应的动作子数据根据摄像头采集到的目标子数据获得，而手指对应的动作子数据根据穿戴式设备采集到的目标子数据获得，等等。

另外，数据获得装置的装置参数为：图像采集装置的图像采集清晰度，或，穿戴式装置的传感器采集密度，或，图像采集装置的图像采集帧率(即采集频率)，等等。

例如，面部对应的动作子数据根据高分辨率且高采集帧率的摄像头采集到的目标子数据获得；躯干对应的动作子数据根据低分辨率且低采集帧率的摄像头采集到的目标子数据获得；手指对应的动作子数据根据具有密度较高的传感器的穿戴式设备采集到的目标子数据获得，四肢对应的动作子数据根据具有密度较低的传感器的穿戴式设备采集到的目标子数据获得，等等。

再如，面部对应的动作子数据者根据具有密度较高的传感器的穿戴式设备采集到的目标子数据获得；躯干对应的动作子数据根据具有密度较低的传感器的穿戴式设备采集到的目标子数据获得；手指对应的动作子数据根据具有密度较高的传感器的穿戴式设备采集到的目标子数据获得，四肢对应的动作子数据根据具有密度较低的传感器的穿戴式设备采集到的目标子数据获得，等等。

在另一种具体的实现方式中，获得动作子数据的处理方式为处理目标子数据的方式，不同的部位对应的处理目标子数据的处理参数不同。也就是说，在获得到目标用户的各部位对应的目标子数据之后，以不同的处理参数对不同部位对应的目标子数据进行处理，以得到各个部位对应的动作子数据。

其中，这里的处理参数可以包含：处理目标子数据的精度和处理目标子数据的帧率中的至少一种。

具体的，处理目标子数据的精度不同可以理解为各部位的单位面积上一个目标子数据中的数据处理量不同，处理目标子数据的帧率不同可以理解为各部位在单位时间上的处理目标子数据的个数不同。

例如，本实施例中对面部对应的目标子数据采用较高的处理精度和较高的处理帧率进行处理，以得到面部对应的动作子数据；本实施例中对躯干对应的目标子数据采用较低的处理精度和较低的处理帧率进行处理，以得到躯干对应的动作子数据。

再如，本实施例中对面部对应的目标子图像按照60帧/秒的帧率进行处理，以得到面部对应的动作子数据；但对躯干对应的目标子图像按照30帧/秒的帧率进行处理，以得到躯干对应的动作子数据。

再如，本实施例中对面部对应的传感器采集参数(穿戴式设备采集得到)按照较高的帧率和较高的精度进行处理，以得到面部对应的动作子数据；但对四肢对应的传感器采集参数按照较低的帧率和较低的精度进行处理，以得到躯干对应的动作子数据。

可见，本实施例中按照目标用户的部位中受关注程度或影响程度的高低进行级别划分，针对关注级别高或影响级别高的部位采用较高帧率较高精度的方式获得相应动作数据，能够使得接收到动作数据的第二设备上能够按照更加精确的动作数据输出虚拟形象；

而对于关注级别较低或影响级别较低的部位采样较低帧率较低精度的方式获得相应动作数据，由于帧率和精度都较低，所以在获得动作数据时的数据处理量较低，由此能够降低数据处理量，也就能够减少传输给第二设备的数据量。

在一种实现方式中，步骤102中在将动作数据传输给第二设备时，可以通过以下方式实现，如图9中所示：

步骤901：获得目标时间段内的音频数据。音频数据与动作数据关于目标时间段相对应。

其中，目标时间段可以为1秒或0.5秒的时间长，也就是说，本实施例中每隔目标时间段做一次动作数据的传输。

步骤902：将音频数据和动作数据进行处理，以得到对应于目标时间段的数据包。

具体的，本实施例中可以先按照目标时间段内的时间戳对音频数据和动作数据分别进行数据块划分，以得到音频数据中对应于每个时间戳的第一数据块和动作数据中对应于每个时间戳的第二数据块；之后，根据各个时间戳，将对应于相同时间戳的第一数据块和第二数据块进行处理，如拼接以及打包等处理，进而得到对应于每个时间戳的数据包，这些数据包组成对应于目标时间段的数据包。

步骤903：将数据包传输给第二设备，以使得第二设备获得数据包中的动作数据和音频数据，并至少根据动作数据输出目标用户对应的虚拟形象，以及，根据音频数据输出虚拟形象对应的声音信号。

具体的，本实施例中可以按照数据包对应的时间戳之间的前后顺序，将各个数据包传输给第二设备，由此，第二设备在接收到各个数据包之后，可以先对各个数据包进行解码处理，例如，先提取各个数据包中的第一数据块和第二数据块，再按照时间戳将第一数据块进行组合，并按照时间戳将第二数据块进行组合，以得到解码出来的音频数据和动作数据。基于此，第二设备可以至少根据解码出的动作数据输出目标用户对应的虚拟形象，并根据解码出的音频数据输出虚拟形象对应的声音信号。

其中，第二设备可以在音频数据中提取声音信号，然后将提取到的声音信号作为虚拟形象对应的声音信号进行输出；或者，第二设备可以对提取到的声音信号进行信号转换，如按照特定的音色、音质等参数进行转换，之后，将转换得到的声音信号作为虚拟形象对应的声音信号进行输出。

另外，第二设备可以根据提取到的声音信号控制虚拟形象执行相应的动作。例如，根据声音信号控制虚拟形象中的嘴部进行开合动作。

可见，本实施例中将动作数据与音频数据复用到相同的数据包中，由此通过小数据包的传输，减小数据传输延迟，可以达到提高数据传输效率的目的。进一步，可以提高第二设备对虚拟形象的控制性能。另外，还可以提高对传输资源的利用率。

在一种实现方式中，第二设备上在根据动作数据输出目标用户对应的虚拟形象的过程中，还记录虚拟形象的交互信息，该交互信息被存储在电子设备中存储装置所形成的存储区域，以便于第一设备能够获得到被记录的交互信息，以提供给目标用户作为参考信息。

其中，交互信息可以包含有虚拟形象的文本关键词、语音片段、视频片段中的至少一项。

具体的，交互信息可以在被记录之后可以由第二设备发送给第一设备，以提供给第一设备的操作者作为进行相应动作的参考信息；

或者，交互信息可以由第一设备从第二设备中的存储区域中进行读取，以输出给第一设备的操作者作为进行相应动作的参考信息。

在一种实现方式中，本实施例中在第一设备上还可以获得虚拟形象对应的多媒体交互数据，所述多媒体交互数据为虚拟形象与第二设备的使用者(用户)之间进行交互的多媒体数据。具体的，多媒体交互数据至少包含第二设备的使用者的视频数据和/或音频数据。例如，多媒体交互数据包括：柜台上的客户与柜台输出的虚拟人之间进行交互过程中的客户图像、客户语音等数据。

具体的，本实施例中在第一设备上可以接收第二设备实时发送来的多媒体交互数据；或者，第二设备将实时采集到的多媒体交互数据发送到云端服务器，由第二设备从云端服务器实时读取多媒体交互数据。

例如，以目标用户为客服工作人员为例，客服工作人员坐在室内设置的摄像头前，通过摄像头的图像采集以及动作数据的获取和传输，使得室外柜台上为客户输出相应的虚拟人，且在客服工作人员所在的室内输出柜台上客户的实时视频画面，由此柜台上的客户与柜台输出的虚拟人之间进行实时交互，客服工作人员按照客户的实时视频画面并结合客户与虚拟人的历史交互信息为客户提供服务。

由此，在第一设备上的目标用户能够实时了解到第二设备的使用者的当前状态，进而能够及时的为第二设备的使用者提供相应的服务。

进一步的，第一设备上的目标用户还可以结合获得到的虚拟形象对应的历史交互信息为第二设备的使用者提供相应的服务，以避免重复提供相同或相似的服务，进而使得第二设备的使用者能够得到更加快速有效的服务，由此改善使用者对虚拟形象的使用体验。

参考图10，为本申请实施例二提供的一种数据处理装置的结构示意图，该装置可以配置在能够进行数据处理的电子设备中，如图2中所示的第一设备。本实施例中的技术方案主要用于在设备上实现虚拟形象输出的前提下，减少设备之间的数据传输量。

具体的，本实施例中的装置可以包含如下单元：

数据获得单元1001，用于获得目标用户的动作数据；

数据传输单元1002，用于将所述动作数据传输给第二设备，以使得所述第二设备至少根据所述动作数据输出所述目标用户对应的虚拟形象。

从上述技术方案可以看出，本申请实施例二提供的一种数据处理装置中，在第一设备上获得目标用户的动作数据，进而将动作数据传输给第二设备后，第二设备能够根据动作数据输出目标用户对应的目标虚拟形象。可见，区别于目标虚拟形象的数据，本实施例在第一设备与第二设备之间传输用于输出目标虚拟形象的动作数据，而动作数据的数据量明显小于虚拟形象的数据量，由此，本申请在设备上实现虚拟形象输出的前提下，在设备之间传输数据量更小的动作数据，以此来达到减少设备之间的数据传输量的目的。

在一种实现方式中，数据获得单元1001具体用于：获得目标图像，所述目标图像中包含目标用户对应的图像区域；根据所述目标图像，获得所述目标用户的动作数据。

在一种优选的实现方式中，一帧所述目标图像由多个目标子图像组成，一个所述目标子图像包含有所述目标用户的一个部位的图像区域；其中，数据获得单元1001在根据所述目标图像，获得所述目标用户的动作数据时，具体用于：分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据，所有所述动作子数据组成所述目标用户的动作数据。

进一步的，一个所述目标子图像通过一个图像采集装置获得，对应于不同的所述部位的目标子图像对应的图像采集装置的图像采集参数不同，所述图像采集参数包含采集清晰度和采集范围中的至少一项；或者，所述目标图像中的所有所述目标子图像通过一个图像采集装置获得，所述目标子图像通过对所述目标图像按照所述目标用户的部位进行区域划分得到。

进一步优选的，数据获得单元1001在分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据时，具体用于：按照多种处理方式，分别对所述目标子图像进行处理，以得到所述目标用户在所述目标子对象对应的部位上的动作子数据；其中，不同的所述目标子图像对应的处理方式不同。

在一种实现方式中，数据获得单元1001具体用于：按照多种处理方式，分别获得目标用户的多个动作子数据，一个所述动作子数据对应于所述目标用户的一个部位，所有所述动作子数据组成所述目标用户的动作数据；其中，不同的所述动作子数据对应的所述处理方式不同。

进一步优选的，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；所述处理方式为基于数据获得装置的方式，所述数据获得装置用于获得所述目标子数据；不同的所述部位对应的数据获得装置的装置类型不同，或者，不同的所述部位对应的数据获得装置的装置参数不同；其中，所述数据获得装置的装置类型为：图像采集装置的装置类型，或，穿戴式装置的装置类型；所述数据获得装置的装置参数为：图像采集装置的图像采集清晰度，或，穿戴式装置的传感器采集密度。

进一步优选的，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；所述处理方式为处理所述目标子数据的方式，不同的所述部位对应的处理所述目标子数据的处理参数不同；其中，所述处理参数包括：处理所述目标子数据的精度和处理所述目标子数据的帧率中的至少一种。

在一种实现方式中，数据传输单元1002具体用于：获得目标时间段内的音频数据，所述音频数据与所述动作数据关于所述目标时间段相对应；将所述音频数据和所述动作数据进行处理，以得到对应于所述目标时间段的数据包；将所述数据包传输给第二设备，以使得所述第二设备获得所述数据包中的所述动作数据和所述音频数据，并至少根据所述动作数据输出所述目标用户对应的虚拟形象，以及，根据所述音频数据输出所述虚拟形象对应的声音信号。

需要说明的是，本实施例中各单元的具体实现可以参考前文中的相应内容，此处不再详述。

参考图11，为本申请实施例三提供的一种电子设备的结构示意图，该电子设备可以为计算机或服务器等设备，如图2中所示的第一设备。具体的，本实施例中的电子设备可以包含如下结构：

处理装置1101，用于获得目标用户的动作数据；

传输装置1102，用于将所述动作数据传输给第二设备，以使得所述第二设备至少根据所述动作数据输出所述目标用户对应的虚拟形象。

其中，处理装置1101可以通过单个处理内核或多个处理内核获得目标用户的动作数据。而传输装置1102可以为基于有线方式和/或无线方式的结构，以便于将动作数据传输给到第二设备。

从上述技术方案可以看出，本申请实施例三提供的一种电子设备中，在第一设备上获得目标用户的动作数据，进而将动作数据传输给第二设备后，第二设备能够根据动作数据输出目标用户对应的目标虚拟形象。可见，区别于目标虚拟形象的数据，本实施例在第一设备与第二设备之间传输用于输出目标虚拟形象的动作数据，而动作数据的数据量明显小于虚拟形象的数据量，由此，本申请在设备上实现虚拟形象输出的前提下，在设备之间传输数据量更小的动作数据，以此来达到减少设备之间的数据传输量的目的。

在一种实现方式中，本实施例中还可以包含如下结构，如图12中所示：

图像采集装置1103，用于采集目标图像，所述目标图像中包含目标用户对应的图像区域；基于此，处理装置1101具体用于：获得目标图像；根据所述目标图像，获得所述目标用户的动作数据。

在一种优选的实现方式中，一帧所述目标图像由多个目标子图像组成，一个所述目标子图像包含有所述目标用户的一个部位的图像区域；其中，处理装置1101在根据所述目标图像，获得所述目标用户的动作数据时，具体用于：通过多个处理内核分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据，所有所述动作子数据组成所述目标用户的动作数据。

进一步的，一个所述目标子图像通过一个图像采集装置1103获得，对应于不同的所述部位的目标子图像对应的图像采集装置1103的图像采集参数不同，所述图像采集参数包含采集清晰度和采集范围中的至少一项；或者，所述目标图像中的所有所述目标子图像通过一个图像采集装置1103获得，所述目标子图像通过对所述目标图像按照所述目标用户的部位进行区域划分得到。

进一步优选的，处理装置1101在分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据时，具体用于：按照多种处理方式，分别对所述目标子图像进行处理，以得到所述目标用户在所述目标子对象对应的部位上的动作子数据；其中，不同的所述目标子图像对应的处理方式不同。

在一种实现方式中，处理装置1101具体用于：按照多种处理方式，分别获得目标用户的多个动作子数据，一个所述动作子数据对应于所述目标用户的一个部位，所有所述动作子数据组成所述目标用户的动作数据；其中，不同的所述动作子数据对应的所述处理方式不同。

进一步优选的，本实施例中还可以包含如下结构，如图13中所示：

数据获得装置1104，数据获得装置1104可以包含有图像采集装置1141和/或穿戴式装置1142。

基于此，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；所述处理方式为基于数据获得装置1104的方式，所述数据获得装置1104用于获得所述目标子数据；不同的所述部位对应的数据获得装置1104的装置类型不同，或者，不同的所述部位对应的数据获得装置1104的装置参数不同；其中，所述数据获得装置1104的装置类型为：图像采集装置1141的装置类型，或，穿戴式装置1142的装置类型；所述数据获得装置1104的装置参数为：图像采集装置1141的图像采集清晰度，或，穿戴式装置1142的传感器采集密度。

进一步优选的，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；所述处理方式为处理装置1101处理所述目标子数据的方式，不同的所述部位对应的处理所述目标子数据的处理参数不同；其中，所述处理参数包括：处理所述目标子数据的精度和处理所述目标子数据的帧率中的至少一种。

在一种实现方式中，传输装置1102具体用于：获得目标时间段内的音频数据，所述音频数据与所述动作数据关于所述目标时间段相对应；将所述音频数据和所述动作数据进行处理，以得到对应于所述目标时间段的数据包；将所述数据包传输给第二设备，以使得所述第二设备获得所述数据包中的所述动作数据和所述音频数据，并至少根据所述动作数据输出所述目标用户对应的虚拟形象，以及，根据所述音频数据输出所述虚拟形象对应的声音信号。

需要说明的是，本实施例中装置的具体实现可以参考前文中的相应内容，此处不再详述。

以智能客服中的虚拟人交互场景为例，以下对本申请的技术方案进行举例说明：

首先，虚拟人变得逐步成熟起来，很多企业引入了虚拟人作为统一形象。作为一种创新使用方式，本申请希望开发一种基于真人表情动作捕捉来驱动虚拟人的应用，替换掉银行等服务部门的前台，这样既可以实现人员形象统一，而对服务人员无形象等严格要求，而且还可以实现集中服务，类似于呼叫中心，降低成本，并实现真实的交互体验。

目前的动捕系统基本在影视和游戏制作等行业应用较多，这些系统用在这个系统里存在严重问题，如：虚拟人的数据传输量较大，导致虚拟人在输出端的输出可能存在卡顿；动捕系统需要穿戴式，很难使用，而且成本极高，另外，缺乏捕捉数据远程化能力。

基于此，本申请提出一种基于视觉的动作捕捉方案，在采集端设备(对目标用户或操作者而言，也可以称之为近端设备)通过图像采集以及处理来捕捉到动作数据传输到输出端设备(对目标用户或操作者而言，也可以称之为远端设备)进行虚拟人的控制，并且根据跟踪精度要求，拆分了面部、躯体、手部等多种不同的捕捉子系统或算法，采用不同配置的捕捉摄像头和不同的捕捉算法；捕捉后的数据跟语音数据复用到相同的数据包中，在远端设备对数据包进行解复用，使用其中的动捕数据(即前文中的动作数据)进行实时渲染，生成逼真的虚拟人形象和交互过程。

可见，本方案中，采用动捕数据传输的方式，数据包小，延迟小传输快，对远端设备的用户来说虚拟人的动作反应敏捷；进而，当出现数据包丢失时，在远端设备可以根据接收到的数据包进行预测，实现进行动态插帧，避免虚拟人的输出卡顿；其次，本方案中基于视觉进行动作捕捉，操作人员无需穿戴复杂的设备，使用过程舒适；成本急剧下降；另外，本方案中对图像中的身体拆成多个部位，根据不同精度要求使用不同的捕捉设备和算法，提升了总体的精度和性能。

如图14中所示，在近端侧，为目标用户如操作人员设置采集声音信号的麦克风，设置采集图像的RGB摄像头，并为操作人员的手指等其他部位佩戴穿戴式设备，穿戴式设备中包含有多个传感器，用于采集佩戴部位上各关键点的运动数据。在远端侧，为客户配置显示屏、麦克风和摄像头等装置。基于此，本实施例中有如下处理流程：

在近端侧：

首先，在近端侧为操作人员输出图像采集的最佳位置框，以提醒操作人员通过位置移动进入位置框，可以在操作人员座位太偏时提示其坐到合适位置。基于此，在近端侧获得音频数据，音频数据中可以包含有麦克风采集到的声音信号，也可以包含有预设的录音(即Recording playback)；近端侧的RGB摄像头针对操作人员采集图像，通过面部特征算法Facial features algo对面部区域所在的子图像进行处理，以得到面部的多个关键点的动作参数，以表征面部的表情动作；操作人员佩戴在手指上的穿戴式设备中的传感器采集手指上的传感器采集参数，RGB摄像头针对操作人员采集身体(body)区域的子图像，基于此，基于通过身体和手型处理算法Body&hand shape algo对传感器采集参数和身体区域子图像(即sensor or optical based)进行处理，得到身体和手指的动作数据，然后面部的表情动作和身体和手指的动作数据按照预设的帧率time stamp如60fps进行混合，以得到操作人员的动作数据(即Facial blend shape+body shape)；

之后，音频数据和动作数据按照时间戳形成数据包流，即BS+audio packetstream，这里的BS(blend shape)是指前文中通过混合所得到的操作人员的动作数据；

最后，将数据包流通过低延迟网络通道(Low latency network channel)传输给远端侧设备。其中，在低延迟网络通道中可以低延迟的传输视频数据video、混合数据如包含动作数据BS/pose和音频数据audio的数据包以及其他信号signal。

另外，在近端侧设备上，还可以使用操作人员的动作数据对近端侧输出的虚拟人进行动作控制，也就是说，在近端侧设备上既为操作人员输出RGB摄像头采集到的图像，也为操作人员渲染相应的虚拟人并根据得到的动作数据对近端侧的虚拟人进行控制，即Coarse render for preview，实现近端侧的虚拟人的渲染预览。

在远端侧：

首先，在远端侧接收到近端侧传输的数据包流之后，对数据包流进行解析，以解析处数据包中的音频数据和动作数据，即Demux body BS&audio；

之后，在远端侧，可以通过特定的渲染工具通过动画渲染Hifi animatorrendering输出虚拟人并根据动作数据控制虚拟人执行相应的动作，由此，在远端侧的显示屏上能够输出高保真Hifi rendering的三维虚拟人。

另外，在远端侧，如果存在数据包中的动作数据的数据置信度较低或不满足约束条件等情况，那么可以丢弃这些动作数据，并通过历史数据预测当前时刻上的动作数据，即Packet discard or combine以及BS de-jitter。

除此之外，远端侧可以对客户通过摄像头采集视频数据，并将视频数据传输到近端侧，以便于在近端侧输出客户的视频数据，即Camera video capture。由此，对远端侧客户来说，可以观看到近端侧操作人员的虚拟人Puppet并且虚拟人的动作与近端侧操作人员Actor的动作一致，而对近端侧操作人员来说，不仅可以实现对虚拟人的预览，还可以观看到远端侧客户的视频数据，由此近端侧操作人员可以及时了解到客户的情况并提供相应的服务。

另外，本实施例中在近端侧还可以实现其他功能other functions，如客户登记以及客户发现Registration&peer finding、虚拟人文件管理Meta human profile manager、配置文件定制Profile customization、动作数据矫正和初始化Body sensor calib&setup等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，应用于第一设备，所述方法包括：

获得目标用户的动作数据；

将所述动作数据传输给第二设备，以使得所述第二设备至少根据所述动作数据输出所述目标用户对应的虚拟形象。

2.根据权利要求1所述的方法，所述获得目标用户的动作数据，包括：

获得目标图像，所述目标图像中包含目标用户对应的图像区域；

根据所述目标图像，获得所述目标用户的动作数据。

3.根据权利要求2所述的方法，一帧所述目标图像由多个目标子图像组成，一个所述目标子图像包含有所述目标用户的一个部位的图像区域；

其中，根据所述目标图像，获得所述目标用户的动作数据，包括：

分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据，所有所述动作子数据组成所述目标用户的动作数据。

4.根据权利要求3所述的方法，一个所述目标子图像通过一个图像采集装置获得，对应于不同的所述部位的目标子图像对应的图像采集装置的图像采集参数不同，所述图像采集参数包含采集清晰度和采集范围中的至少一项；

或者，

所述目标图像中的所有所述目标子图像通过一个图像采集装置获得，所述目标子图像通过对所述目标图像按照所述目标用户的部位进行区域划分得到。

5.根据权利要求3或4所述的方法，分别根据所述目标子图像，获得所述目标用户在所述目标子图像对应的部位上的动作子数据，包括：

按照多种处理方式，分别对所述目标子图像进行处理，以得到所述目标用户在所述目标子对象对应的部位上的动作子数据；

其中，不同的所述目标子图像对应的处理方式不同。

6.根据权利要求1所述的方法，所述获得目标用户的动作数据，包括：

按照多种处理方式，分别获得目标用户的多个动作子数据，一个所述动作子数据对应于所述目标用户的一个部位，所有所述动作子数据组成所述目标用户的动作数据；

其中，不同的所述动作子数据对应的所述处理方式不同。

7.根据权利要求6所述的方法，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；

所述处理方式为基于数据获得装置的方式，所述数据获得装置用于获得所述目标子数据；不同的所述部位对应的数据获得装置的装置类型不同，或者，不同的所述部位对应的数据获得装置的装置参数不同；

其中，所述数据获得装置的装置类型为：图像采集装置的装置类型，或，穿戴式装置的装置类型；

所述数据获得装置的装置参数为：图像采集装置的图像采集清晰度，或，穿戴式装置的传感器采集密度。

8.根据权利要求6所述的方法，所述动作子数据基于目标子数据获得，所述目标子数据对应于所述目标用户的一个部位；

所述处理方式为处理所述目标子数据的方式，不同的所述部位对应的处理所述目标子数据的处理参数不同；

其中，所述处理参数包括：处理所述目标子数据的精度和处理所述目标子数据的帧率中的至少一种。

9.根据权利要求1、2或6所述的方法，所述将所述动作数据传输给第二设备，包括：

获得目标时间段内的音频数据，所述音频数据与所述动作数据关于所述目标时间段相对应；

将所述音频数据和所述动作数据进行处理，以得到对应于所述目标时间段的数据包；

将所述数据包传输给第二设备，以使得所述第二设备获得所述数据包中的所述动作数据和所述音频数据，并至少根据所述动作数据输出所述目标用户对应的虚拟形象，以及，根据所述音频数据输出所述虚拟形象对应的声音信号。

10.一种电子设备，包括：

处理装置，用于获得目标用户的动作数据；

传输装置，用于将所述动作数据传输给第二设备，以使得所述第二设备至少根据所述动作数据输出所述目标用户对应的虚拟形象。

Images