CN114022645A - 虚拟教师系统的动作驱动方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种虚拟教师系统的动作驱动方法、装置、设备及存储介质。该方法包括：获取模特教师的实时动作图像和标准动作库，标准动作库包括多个标准动作图像，每个标准动作图像根据模特教师的虚拟模型预先生成；根据实时动作图像与标准动作库中的多个标准动作图像进行匹配，确定模特教师在当前时刻对应的目标标准动作图像，目标标准动作图像为多个标准动作图像中的一种；根据目标标准动作图像对虚拟模型进行驱动，以完成动作驱动。通过将模特教师实时动作图像与标准动作库中的标准动作图像进行匹配，从而根据获取的实时动作图像对虚拟模型进行驱动，为虚拟教师系统中的虚拟模型提供了动态展示效果，提升了虚拟教学质量。

Description

虚拟教师系统的动作驱动方法、装置、设备及存储介质

技术领域

本申请涉及远程教育领域，具体而言，涉及一种虚拟教师系统的动作驱动方法、装置、设备及存储介质。

背景技术

现如今，在“人工智能+教育”的浪潮下，未来教育在进行不断的变革。在人工智能和大数据时代，通过VR(Virtual Reality虚拟现实)的方式可以创造没有壁垒、没有障碍和没有限制的师生交流场景。

但在目前的虚拟教师系统中，虚拟教师模型是固定不变的，无法展示动态效果，因此学生无法在虚拟课堂上感受到真实的教学场景，影响学生的听课体验。

发明内容

本申请实施例的目的在于提供一种虚拟教师系统的动作驱动方法、装置、设备及存储介质，用以根据模特教师的实时动作图像进行驱动从而展示动态效果。

第一方面，本申请实施例提供一种虚拟教师系统的动作驱动方法，所述方法包括：获取模特教师的实时动作图像和标准动作库，所述标准动作库包括多个标准动作图像，每个所述标准动作图像根据所述模特教师的虚拟模型预先生成；根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，所述目标标准动作图像为多个所述标准动作图像中的一种；根据所述目标标准动作图像对所述虚拟模型进行驱动，以完成动作驱动。

本申请实施例中，通过获取模特教师的实时动作图像与标准动作库中每个标准动作图像进行匹配，然后确定模特教师在当前时刻对应的目标标准动作图像，从而根据该目标标准动作图像对模特教师对应的虚拟模型进行驱动，实现了虚拟模型的动态展示效果，增强了虚拟课堂的沉浸感。

进一步地，每个所述标准动作图像包括多个第一骨架节点的标准三维坐标，所述实时动作图像包括多个第二骨架节点的实时三维坐标，所述第一骨架节点和所述第二骨架节点对应，所述根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，包括：根据所述实时动作图像确定与所述第一骨架节点对应的多个第二骨架节点的实时三维坐标；根据每个所述标准动作图像中的第一骨架节点的标准三维坐标和所述实时动作图像中的第二骨架节点的实时三维坐标确定每个所述标准动作图像和所述实时动作图像的整体匹配度；将整体匹配度最大的标准动作图像作为所述目标标准动作图像。

本申请实施例中，每个标准动作图像包括各个第一骨架节点的标准三维坐标，通过获取的实时动作图像可以得到对应的多个第二骨架节点的实时三维坐标，由于第一骨架节点和第二骨架节点是一一对应的关系，因此每个标准动作图像和实时动作图像的整体匹配度计算可以通过第一骨架节点的标准三维坐标和对应的第二骨架节点的实时三维坐标计算得到，然后将整体匹配度最大的标准动作图像作为目标标准动作图像，从而实现了每个标准动作图像和实时动作图像的整体匹配度的精确计算，得到最为匹配的标准动作图像。

进一步地，所述根据每个所述标准动作图像中的第一骨架节点的标准三维坐标和所述实时动作图像中的第二骨架节点的实时三维坐标确定每个所述标准动作图像和所述实时动作图像的整体匹配度，包括：根据每个所述第一骨架节点的标准三维数据和对应的实时三维数据确定每个所述第一骨架节点的特征差异度；对每个所述第一骨架节点的特征差异度进行求和得到每个所述标准动作图像与所述实时动作图像的整体差异度；根据所述整体差异度确定每个所述标准动作图像和所述实时动作图像的整体匹配度。

本申请实施例中，在每个标准动作图像和实时动作图像的整体匹配度计算中，首先根据每个第一骨架节点的标准三维坐标和第二骨架节点的实时三维坐标可以确定每个骨架节点的特征差异度，通过特征差异度求和可以得到每个标准动作图像和实时动作图像的整体差异度，进而通过整体差异度来计算整体匹配度，从而实现了整体匹配度的精确计算，提高了动作匹配的精确性。

进一步地，根据公式

确定所述实时动作图像和每个所述标准动作图像的整体匹配度；其中，M为预设的偏移最大阈值，S为所述整体匹配度，f(α_max)为预先计算的匹配准确度因子，α_max为特征差异度的最大值，D_st为预设的整体差异度阈值，D为所述整体差异度，S_st为预设的基准匹配参数。

本申请实施例中，匹配准确度因子可以根据特征差异度的最大值和预设的偏移最大阈值进行计算，然后将匹配准确度因子代入到整体匹配度计算公式中，分别考虑了两种情况，通过预设的整体差异度阈值来进行分类，若计算得出的整体差异度大于整体差异度阈值，则说明该整体差异度过大不符合要求，则将整体匹配度设为0；若计算得出的整体匹配度小于整体差异度阈值，则根据匹配准确度因子、预设的基准匹配参数以及预设的基准匹配参数进一步计算整体匹配度，通过多个预设的参数和整体差异度可以实现通过整体差异度来求得整体匹配度。

进一步地，在所述获取模特教师的实时动作图像和标准动作库之前，所述方法还包括：获取模特教师的皮肤网格模型；从所述皮肤网格模型中提取多个特征点；分别依据每个所述特征点对所述皮肤网格模型进行横向切面或纵向切面，形成对应的截面环；计算每个所述截面环的几何中心位置，并将多个所述几何中心位置进行连线获得初始骨架，所述几何中心位置为所述初始骨架对应的第一骨架节点的位置；根据每个所述截面环将所述初始骨架调整至与所述皮肤网格模型匹配的骨架模型；对所述骨架模型和所述皮肤网格模型进行权重分布调整，获得所述模特教师的虚拟模型；根据所述虚拟模型生成多个标准动作图像，记录每个所述标准动作图像中各个第一骨架节点的标准三维数据，由多个所述标准动作图像和每个所述标准动作图像中各个所述第一骨架节点的标准三维数据组成标准动作库。

本申请实施例中，通过获取模特教师的皮肤网格模型，从皮肤网格模型中获取多个特征点，根据这些特征点分别对该皮肤网格模型进行横向切面或纵向切换，形成多个截面环，将每个截面的几何中心位置作为初始骨架的第一骨架节点，根据多个截面环将初始骨架调整至与皮肤网格模型匹配，然后通过对骨架模型和皮肤网格模型进行绑定得到虚拟模型，然后根据三维模型生成多个标准动作图像，通过记录每个标准动作图像中的各个第一骨架节点的标准三维动作组成标准动作库。通过虚拟模型从而生成标准动作图像，进而组建标准动作库，实现了虚拟模型的动态生成和标准动作库的生成。

进一步地，所述对所述骨架模型和所述皮肤网格模型进行权重分布调整，包括：遍历所述皮肤网格模型的各个顶点，根据各个所述顶点与所述第一骨架节点的位置关系确定每个所述顶点的关联骨架节点数目；依据所述关联骨架节点数目确定每个所述顶点和所述第一骨架节点的绑定关系；根据所述绑定关系调整所述皮肤网格模型中每个所述顶点和所述第一骨架节点的权重分布。

本申请实施例中，通过遍历皮肤网格模型的各个顶点，根据每个顶点和第一骨架节点的位置关系从而确定每个顶点的关联骨架节点数，根据关联骨架节点数可以确定顶点和第一骨架节点的绑定关系，从而调整虚拟模型中每个顶点和第一骨架节点的权重分布，从而实现模特教师的虚拟模型的可驱动，防止虚拟模型的皮肤出现走样或运动异常。

进一步地，所述标准动作库中还包括每个所述标准动作图像对应的动作动画，所述根据所述目标标准动作图像对所述虚拟模型进行驱动，包括：根据所述目标标准动作图像从所述标准动作库中选取对应的目标动作动画；将所述目标动作动画加载到所述虚拟模型上，以完成所述虚拟模型的动作驱动。

本申请实施例中，由于标准动作库中还包括每个标准动作图像制作的动作动画，通过确定的目标标准动作图像可以选取对应的目标动作动画，将目标动作动画加载到虚拟模型上，可以实现虚拟模型的动作驱动效果。

第二方面，本申请实施例一种虚拟模型的动作驱动装置，所述装置包括：获取模块，用于获取模特教师的实时动作图像和标准动作库，所述标准动作库包括多个标准动作图像，每个所述标准动作图像根据所述模特教师的虚拟模型预先生成；匹配模块，用于根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，所述目标标准动作图像为多个所述标准动作图像中的一种；驱动模块，用于根据所述目标标准动作图像对所述虚拟模型进行驱动，以完成动作驱动。

第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的交互；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，包括：

所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种虚拟教师系统的动作驱动方法流程示意图；

图2为本申请实施例提供的一种虚拟模型的臀围截面环的结构示意图；

图3为本申请实施例提供的一种虚拟教师系统的动作驱动装置结构示意图；

图4为本申请实施例提供的电子设备实体结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为本申请实施例提供的一种虚拟教师系统的动作驱动方法流程示意图，如图1所示，该方法可以应用于虚拟教师系统中，用于虚拟教师在课堂情景中识别教师的实时授课动作，从而能够实现虚拟模型的动作驱动，完成实时动作图像的动态展示效果。该方法包括：

步骤101：获取模特教师的实时动作图像和标准动作库，所述标准动作库包括多个标准动作图像，每个所述标准动作图像根据所述模特教师的虚拟模型预先生成。

在具体的实施过程中，实时动作图像的获取可以通过Kinect体感技术进行获取，Kinect可以依靠相机来捕捉三维空间内模特教师的实时动作图像，本申请不对实时动作图像的获取方式进行限定。标准动作库可以是数据库的形式，也可以是文件的形式，包括多个标准动作图像，每个标准动作图像通过模特教师的虚拟模型进行预先生成，例如标准动作图像可以为教师授课的常用动作，例如左挥手，本申请不对标准动作图像的数目和类型进行限定。

步骤102：根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，所述目标标准动作图像为多个所述标准动作图像中的一种。

在具体的实施过程中，匹配的方式可以为动作姿态或者数据对比，例如通过将当前实时动作图像的动作姿态和每个标准动作图像的动作姿态分别对比，进而确定与当前实时动作图像最相似的标准动作作为目标标准动作图像。

步骤103：根据所述目标标准动作图像对所述虚拟模型进行驱动，以完成动作驱动。

在具体的实施过程中，前面通过动作匹配可以得到目标标准动作图像，然后根据该目标标准动作图像可以对虚拟模型进行驱动，驱动的方式可以为通过三维建模软件提前建立的动作动画，也可以根据数据库中记录的标准动作图像的动作数据进行驱动，从而实现虚拟模型的动态展示。

在上述实施例的基础上，每个所述标准动作图像包括多个第一骨架节点的标准三维坐标，所述实时动作图像包括多个第二骨架节点的实时三维坐标，所述第一骨架节点和所述第二骨架节点对应，所述根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，包括：

根据每个所述标准动作图像中的第一骨架节点的标准三维坐标和所述实时动作图像中的第二骨架节点的实时三维坐标确定每个所述标准动作图像和所述实时动作图像的整体匹配度；

将整体匹配度最大的标准动作图像作为所述目标标准动作图像。

在具体的实施方式中，通过Kinect的骨骼追踪技术可以获取实时动作图像的第二骨架节点在三维空间中的位置信息，标准动作图像的第二骨架节点的标准三维坐标可以从各个标准动作图像中对应的数据库中进行读取。需要说明的是，由于第一骨架节点和第二骨架节点均代表骨架模型上的对应上的骨架节点，这里为了简单描述统一用骨架节点进行描述。通过归一化处理，可以将标准动作图像特征和实时动作图像特征进行对齐，例如选取每10ms内的数据寻找一组关键动作，通过归一化处理可以去除由于Kinect摄像头造成的坐标单位偏差，以使实时三维坐标和标准三维坐标转化成无量纲的纯数值，便于比较，从而得到实时动作图像与标准动作图像对齐后的实时三维数据。

通过实时三维数据和标准三维数据可以计算两个动作特征数据：距离特征数据和角度特征数据，归一化处理包括标准差归一化和线性函数归一化方式，通过标准差归一化可以对距离特征进行处理，通过线性函数归一化可以对角度特征进行处理，假定预设的时间间隔为10ms，分别通过

和A₂＝(A_norm2-A_min)/(A_max-A_min)即可计算出实时动作图像和标准动作图像对齐后的三维数据。

其中，A₁为实时距离特征数据，A_norm1为标准距离特征数据，A为10ms内获得的实时距离特征数据的均值，σ为10ms内获得的实时距离特征数据的方差，A₂为实时角度特征数据，A_norm2为标准角度特征数据，A_max与A_min分别为10ms内获得的实时角度特征数据的最大值与最小值。

在上述实施例的基础上，所述根据每个所述标准动作图像中的第一骨架节点的标准三维坐标和所述实时动作图像中的第二骨架节点的实时三维坐标确定每个所述标准动作图像和所述实时动作图像的整体匹配度，包括：

根据每个所述第一骨架节点的标准三维数据和对应的实时三维数据确定每个所述第一骨架节点的特征差异度；

对每个所述第一骨架节点的特征差异度进行求和得到每个所述标准动作图像与所述实时动作图像的整体差异度；

根据所述整体差异度确定每个所述标准动作图像和所述实时动作图像的整体匹配度。

在具体的实施过程中，通过对每个骨架节点的特征差异度计算求和即可得到标准动作图像和实时动作图像的整体差异度，特征差异度的计算可以包括距离差异度和角度差异度的计算，距离差异度和角度差异度均可通过标准三维坐标和实时三维坐标的比较进行计算，需要说明的是，这里的距离差异度还可以包括多个距离特征，例如欧氏距离特征和汉明距离特征，分别需要计算每个距离特征对应的距离差异度。

首先计算标准动作图像和实施动作之间的距离特征数据和角度特征数据，标准动作图像中的一个第一骨架节点的标准三维数据为(x_b，x_b，x_b)，实时动作图像中的第二骨架节点的实时三维数据为(x_s，y_s，z_s)，通过公式

可以计算实时动作图像和标准动作图像间各个骨架节点的相对距离描述符P₁＝{d₁，d₂，…，d_i}；设定实时动作图像相邻两个第二骨架节点位置特征点为A(x_i，x_i，x_i)、B(x_i+1，x_i+1，x_i+1)，并分别计算其向量n_i、n_i+1，通过两向量间的余弦角度运用

得到相邻两特征点的角度α_i，同理得到标准动作图像各相邻关节的夹角β_i，通过θ_i＝|α_i-β_i|得到实时动作图像和标准动作图像的相对角度描述符P₂＝{θ₁，θ₂，…，θ_i}。

然后根据距离特征数据和角度特征数据分别计算实时动作图像和某个标准动作图像的整体差异度，假定预设的骨架节点的总数为17个，分别为头部点、颈部点、胸部点、腰部点、左手腕点、右手腕点、左小臂点、右小臂点、左大臂点、右大臂点、臀部点、左大腿点、右大腿点、左小腿点、右小腿点、左脚腕点、右脚腕点。根据前面计算的相对距离描述符P₁和相对角度描述符P₂通过公式

和

分别可以计算欧氏距离特征D₁、汉明距离特征D₂和角度特征D₃，d_bi和d_si分别代表标准动作图像和实时动作图像中各个骨架节点的相对距离值，当各个特征的差异度越大时，说明动作的差异度越大，通过D₁、D₂，D₃三者的权重分配可以得到最终的整体差异度D，三者的权重值可以根据当前的系统要求进行灵活调整。

在上述实施例的基础上，所述根据所述整体差异度确定每个所述标准动作图像和所述实时动作图像的整体匹配度，包括：

根据公式

确定所述实时动作图像和每个所述标准动作图像的整体匹配度；

其中，M为预设的偏移最大阈值，S为所述整体匹配度，f(α_max)为预先计算的匹配准确度因子，α_max为特征差异度的最大值，D_st为预设的整体差异度阈值，D为所述整体差异度，S_st为预设的基准匹配参数。

在具体的实施过程中，通过上文计算的整体差异度带入到上式中可以用于计算每个标准动作图像和实时动作图像的整体匹配度，D_st为预设的整体差异度阈值，通过D_st可以调整匹配准确性的精确性，D_st越小表明判别越严格。S_st为预设的基准匹配参数，根据实际情况进行调节。f(α_max)还可以通过公式

进行计算；

其中，M为预设姿势的偏移的最大阈值，通过各个骨架节点中的特征差异度的最大值和预设姿势的偏移的最大阈值进行计算得到匹配准确度的惩罚因子。

在上述实施例的基础上，在所述获取标准动作库之前，所述方法还包括：

获取模特教师的皮肤网格模型；

从所述皮肤网格模型中提取多个特征点；

分别依据每个所述特征点对所述皮肤网格模型进行横向切面或纵向切面，形成对应的截面环；

计算每个所述截面环的几何中心位置，并将多个所述几何中心位置进行连线获得初始骨架，所述几何中心位置为所述初始骨架对应的第二骨架节点的位置；

根据每个所述截面环将所述初始骨架调整至与所述皮肤网格模型匹配的骨架模型；

对所述骨架模型和所述皮肤网格模型进行权重分布调整，获得所述模特教师的虚拟模型；

根据所述虚拟模型生成多个标准动作图像，记录每个所述标准动作图像中各个第二骨架节点的标准三维数据，由多个所述标准动作图像和每个所述标准动作图像中各个第二骨架节点的标准三维数据组成标准动作库。

在具体的实施过程中，皮肤表面模型可以根据三维人体扫描仪得到人体前后左右四个位置的点云模型，然后通过对点云模型进行去噪点，实现四个点云模型的拼接，从而将点云模型转换成皮肤网络模型。可以理解的是，皮肤网格模型的获取还可以通过其他方式进行获得，本申请不对皮肤网格模型的获取方式进行限定。

然后在得到的皮肤网格模型上提取特征点。可以参考人体特征点分布，需要得到的特征点可以为头顶点、颈点、会阴点、乳突点、臀部点、腰部点、肩点、小臂点、手踝点、指尖点、膝点、脚踝点，共21个。其中，除了头顶点、颈点、会阴点，其他特征点只需要找到人体一侧的，另一侧的点只需根据对已找到的点进行对称求解即可。其次，通过平面与皮肤网格模型相交来获取特征线，即依照特征点对皮肤表面模型做切面来得到特征线。这里的特征线可划分为横向、纵向两类。横向特征线需要对颈点、乳突点、腰部点、臀部点、膝点、脚踝点做水平切面；纵向特征线需要对肩点、小臂点、手踝点、指尖点做纵向切面。得到的切面与通过皮肤表面模型得到的横向、纵向截面即为皮肤表面模型的截面环。

然后在获得的截面环基础上建立骨架模型，首先通过截面环的几何中心位置并连线首先求得截面环的几何中心位置并连线，以此来获得模型的初始骨架。

以臀围截面环为例，图2为本申请实施例提供的一种虚拟模型的臀围截面环的结构示意图，如图2所示。通过计算可以得到该几何中心的空间坐标，该几何中心可以作为虚拟模型的骨架节点。假设该几何中心点的三维坐标为(O_x，O_y，O_z)，通过O_x＝(X₁+X₂)/2可以计算该点的x轴坐标，通过O_y＝Y计算该点的y轴坐标，通过O_z＝(Z₁+Z₂)/2可以计算该点的z轴坐标。

以此类推，求得虚拟模型的17个骨架节点。然后，对比骨架节点，将初始骨架调整到与皮肤表面模型匹配的骨架模型。即根据骨架节点间的距离计算两腿的宽度W_leg、腿长L_leg、肩宽W_shoulder、胸干长度L_chest等关节长度，然后读取标准骨架的运动数据得到标准骨架节点间的长度W1 _leg、L1_leg、W1_shoulder、L1_chest等。过程中，首先把标准骨架的臀关节和胸干线对正骨架线嵌入，计算对应的关节间比例S_leg＝W_leg/W1_leg等。固定臀关节，按照比例缩放得到骨架节点的位置。以此得到皮肤表面模型的骨架模型。

通过对皮肤表面模型绑定骨架模型后，直接驱动会导致给模型绑定骨骼后，直接驱动会致使模型出现皮肤走样或运动异常，此时需要重新调整网格模型与骨架的权重分布。首先遍历网格中顶点，求解其到所有骨骼的距离最小值。通过使用探测线求交判断顶点是否在骨骼热量扩散范畴中，若在，则网格的关联骨骼自增1。探测线求交通过求解网格顶点到骨骼距离最小值的同时，确定网格到达骨骼最近的点，以此点作为起始点发射探测线，若探测线与该网格不相交，则确定网格顶点在探测线起始点所在骨骼的热量扩散范畴中，即这个骨骼可以作为网格的关联骨骼。以此类推，遍历所有皮肤网格模型，得到每个网格顶点的骨骼绑定数目。

然后初始化所有骨骼温度为0，遍历骨骼模型，将选定骨骼温度设为1，计算此段骨骼到网格所有顶点的距离，根据热平衡公式求解此段骨骼相对每个顶点的绑定权重值并单位化。热平衡是将人体网格模型的表面视为一个热扩散系统，某条骨骼作为发热体，初始温度视为1，其它骨骼温度为0。各网格顶点达到热平衡状态下的温度作为网格顶点的权重。最后依照以上方法遍历所有骨骼，完成皮肤与骨骼权重的调整，得到可用于驱动的已绑定模型。通过公式-Δw_i+Hw_i＝Hp_i计算每个关节相对于每个顶点的绑定权重值。

其中，Δ是拉普拉斯算子，w_i是关节相对于顶点的权重矩阵，p_i是热平衡公式的初始条件，用于判断骨骼与顶点是否关联，H是一个对角矩阵，用于顶点对最近关节的权值。

在上述实施例的基础上，所述标准动作库中还包括根据每个所述标准动作图像制作的动作动画，在根据所述整体匹配度确定目标标准动作图像，以完成动作驱动之后，包括：

根据所述目标标准动作图像选取对应的目标动作动画；

将所述目标动作动画加载到所述虚拟模型上，以完成所述虚拟模型的动作驱动。

在具体的实施过程中，标准动作库中涵盖教师授课时的大部分动作，包括标准站姿、抬左手、抬右手、挥左手、挥右手、向左走、向右走、右手邀请动作、左手邀请动作、左侧身动作、左侧身动作、抱胸动作，双手比划动作、鞠躬动作，共14个动作。在上述步骤得到的已绑定的教师虚拟模型的基础上，使用三维建模软件制作以上14个动作，该三维建模软件可以为3DsMAX软件中的动画制作工具，从而制作各个动作对应的动作动画，然后利用Unity3D三维视频软件，通过Avatar人形角色动画接口实现关节和模特教师虚拟模型的匹配，从而保证教师模型在执行动画的时候，能够按照预先设定的动画来运动，最后通过脚本实现每个动作相应的触发器，当识别判定到一个教师特定动作后，触发条件使教师模型播放对应的动作动画；当没有识别到特定动作时，教师模型处于标准站立动作状态。通过连续调用教师动作的动画从而实现教师模型特定动作的实时驱动。

可以理解的是，还可以规定更多或更少的教师授课动作，本申请实施例不对动作的个数进行限定。通过对比各标准动作图像的最终匹配度完成实时动作图像的识别，并匹配到预先给虚拟模型制作的该动作的动作动画，使得模特教师在做出某个动作后，虚拟教师模型可以实时的播放该动作对应的动作动画。将该虚拟模型的标准动画叠加至录制的教学视频画面，即可实现授课直播传输。

图3为本申请实施例提供的虚拟教师系统的动作驱动装置的结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。本申请实施例提供了一种虚拟模型的动作驱动装置300，该装置包括：

获取模块301、匹配模块302、驱动模块303，其中：

获取模块301，用于获取模特教师的实时动作图像和标准动作库，所述标准动作库包括多个标准动作图像，每个所述标准动作图像根据所述模特教师的虚拟模型预先生成；

匹配模块302，用于根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，所述目标标准动作图像为多个所述标准动作图像中的一种；

驱动模块303，用于根据所述目标标准动作图像对所述虚拟模型进行驱动，以完成动作驱动。

在上述实施例的基础上，每个所述标准动作图像包括多个第一骨架节点的标准三维坐标，所述实时动作图像包括多个第二骨架节点的实时三维坐标，所述第一骨架节点和所述第二骨架节点对应。

在上述实施例的基础上，匹配模块302具体用于：

根据每个所述标准动作图像中的第一骨架节点的标准三维坐标和所述实时动作图像中的第二骨架节点的实时三维坐标确定每个所述标准动作图像和所述实时动作图像的整体匹配度；

将整体匹配度最大的标准动作图像作为所述目标标准动作图像。

在上述实施例的基础上，匹配模块302具体用于：

根据每个所述第一骨架节点的标准三维数据和对应的实时三维数据确定每个所述第一骨架节点的特征差异度；

对每个所述第一骨架节点的特征差异度进行求和得到每个所述标准动作图像与所述实时动作图像的整体差异度；

根据所述整体差异度确定每个所述标准动作图像和所述实时动作图像的整体匹配度。

在上述实施例的基础上，匹配模块302具体用于：

根据公式

确定所述实时动作图像和每个所述标准动作图像的整体匹配度；

其中，M为预设的偏移最大阈值，S为所述整体匹配度，f(α_max)为预先计算的匹配准确度因子，α_max为特征差异度的最大值，D_st为预设的整体差异度阈值，D为所述整体差异度，S_st为预设的基准匹配参数。

在上述实施例的基础上，该装置还包括标准动作库生成模块，用于：

获取模特教师的皮肤网格模型；

从所述皮肤网格模型中提取多个特征点；

分别依据每个所述特征点对所述皮肤网格模型进行横向切面或纵向切面，形成对应的截面环；

计算每个所述截面环的几何中心位置，并将多个所述几何中心位置进行连线获得初始骨架，所述几何中心位置为所述初始骨架对应的第一骨架节点的位置；

根据每个所述截面环将所述初始骨架调整至与所述皮肤网格模型匹配的骨架模型；

对所述骨架模型和所述皮肤网格模型进行权重分布调整，获得所述模特教师的虚拟模型；

根据所述虚拟模型生成多个标准动作图像，记录每个所述标准动作图像中各个第一骨架节点的标准三维数据，由多个所述标准动作图像和每个所述标准动作图像中各个第一骨架节点的标准三维数据组成标准动作库。

在上述实施例的基础上，标准动作库生成模块具体用于：

遍历所述皮肤网格模型的各个顶点，根据各个所述顶点与所述第一骨架节点的位置关系确定每个所述顶点的关联骨架节点数目；

依据所述关联骨架节点数目确定每个所述顶点和所述第一骨架节点的绑定关系；

根据所述绑定关系调整所述皮肤网格模型中每个所述顶点和所述第一骨架节点的权重分布。

在上述实施例的基础上，驱动模块303，用于：

根据所述目标标准动作图像从所述标准动作库中选取对应的目标动作动画；

将所述目标动作动画加载到所述虚拟模型上，以完成所述虚拟模型的动作驱动。

图4为本申请实施例提供的电子设备实体结构示意图，如图4所示，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；其中，

所述处理器401和存储器402通过所述总线403完成相互间的交互；

所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法。

处理器401可以是一种集成电路芯片，具有信号处理能力。上述处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器402可以包括但不限于随机存取存储器(Random Acc·ess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或交互连接可以是通过一些交互接口，装置或单元的间接耦合或交互连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种虚拟教师系统的动作驱动方法，其特征在于，包括：

获取模特教师的实时动作图像和标准动作库，所述标准动作库包括多个标准动作图像，每个所述标准动作图像根据所述模特教师的虚拟模型预先生成；

根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，所述目标标准动作图像为多个所述标准动作图像中的一种；

根据所述目标标准动作图像对所述虚拟模型进行驱动，以完成动作驱动。

2.根据权利要求1所述的方法，其特征在于，每个所述标准动作图像包括多个第一骨架节点的标准三维坐标，所述实时动作图像包括多个第二骨架节点的实时三维坐标，所述第一骨架节点和所述第二骨架节点对应，所述根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，包括：

根据每个所述标准动作图像中的第一骨架节点的标准三维坐标和所述实时动作图像中的第二骨架节点的实时三维坐标确定每个所述标准动作图像和所述实时动作图像的整体匹配度；

将整体匹配度最大的标准动作图像作为所述目标标准动作图像。

3.根据权利要求2所述的方法，其特征在于，所述根据每个所述标准动作图像中的第一骨架节点的标准三维坐标和所述实时动作图像中的第二骨架节点的实时三维坐标确定每个所述标准动作图像和所述实时动作图像的整体匹配度，包括：

根据每个所述第一骨架节点的标准三维数据和对应的实时三维数据确定每个所述第一骨架节点的特征差异度；

对每个所述第一骨架节点的特征差异度进行求和得到每个所述标准动作图像与所述实时动作图像的整体差异度；

根据所述整体差异度确定每个所述标准动作图像和所述实时动作图像的整体匹配度。

4.根据权利要求3所述的方法，其特征在于，所述根据所述整体差异度确定每个所述标准动作图像和所述实时动作图像的整体匹配度，包括：

根据公式

确定所述实时动作图像和每个所述标准动作图像的整体匹配度；

其中，M为预设的偏移最大阈值，S为所述整体匹配度，f(α_max)为预先计算的匹配准确度因子，α_max为特征差异度的最大值，D_st为预设的整体差异度阈值，D为所述整体差异度，S_st为预设的基准匹配参数。

5.根据权利要求1所述的方法，其特征在于，在所述获取模特教师的实时动作图像和标准动作库之前，所述方法还包括：

获取模特教师的皮肤网格模型；

从所述皮肤网格模型中提取多个特征点；

分别依据每个所述特征点对所述皮肤网格模型进行横向切面或纵向切面，形成对应的截面环；

计算每个所述截面环的几何中心位置，并将多个所述几何中心位置进行连线获得初始骨架，所述几何中心位置为所述初始骨架对应的第一骨架节点的位置；

根据每个所述截面环将所述初始骨架调整至与所述皮肤网格模型匹配的骨架模型；

对所述骨架模型和所述皮肤网格模型进行权重分布调整，获得所述模特教师的虚拟模型；

根据所述虚拟模型生成多个标准动作图像，记录每个所述标准动作图像中各个第一骨架节点的标准三维数据，由多个所述标准动作图像和每个所述标准动作图像中各个第一骨架节点的标准三维数据组成标准动作库。

6.根据权利要求5所述的方法，其特征在于，所述对所述骨架模型和所述皮肤网格模型进行权重分布调整，包括：

遍历所述皮肤网格模型的各个顶点，根据各个所述顶点与所述第一骨架节点的位置关系确定每个所述顶点的关联骨架节点数目；

依据所述关联骨架节点数目确定每个所述顶点和所述第一骨架节点的绑定关系；

根据所述绑定关系调整所述皮肤网格模型中每个所述顶点和所述第一骨架节点的权重分布。

7.根据权利要求1所述的方法，其特征在于，所述标准动作库中还包括每个所述标准动作图像对应的动作动画，所述根据所述目标标准动作图像对所述虚拟模型进行驱动，包括：

根据所述目标标准动作图像从所述标准动作库中选取对应的目标动作动画；

将所述目标动作动画加载到所述虚拟模型上，以完成所述虚拟模型的动作驱动。

8.一种虚拟教师系统的动作驱动装置，其特征在于，包括：

获取模块，用于获取模特教师的实时动作图像和标准动作库，所述标准动作库包括多个标准动作图像，每个所述标准动作图像根据所述模特教师的虚拟模型预先生成；

匹配模块，用于根据所述实时动作图像与所述标准动作库中的多个所述标准动作图像进行匹配，确定所述模特教师在当前时刻对应的目标标准动作图像，所述目标标准动作图像为多个所述标准动作图像中的一种；

驱动模块，用于根据所述目标标准动作图像对所述虚拟模型进行驱动，以完成动作驱动。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-7任一项所述的方法。

Images