CN109407826B - 球类运动模拟方法、装置、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种球类运动模拟方法、装置、存储介质及电子设备。本发明提供的球类运动模拟方法，包括：先获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的第一动作特征，再根据第一动作特征确定第一肢体动作对应的第一运动类型，并根据第一运动类型匹配第一球类模型，然后根据第一球类模型以及第一动作特征生成第一虚拟视频，将第一虚拟视频叠加显示在现实视频中，其中，第一虚拟视频包括：第一球类模型响应于第一动作特征的动态视频。本发明提供的球类运动模拟方法，通过增强现实的方式使得用户能够脱离特定的场地以及实体球条件的限制，从而实现随时随地地进行球类模拟运动。

Description

球类运动模拟方法、装置、存储介质及电子设备

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种球类运动模拟方法、装置、存储介质及电子设备。

背景技术

随着人们对自身身体健康状况的重视，越来越多的人在业余时间选择球类运动作为休闲的方式，例如篮球或足球。

目前，用户如果需要进行投篮、射球以及颠球训练，则需要在实体场景中配置篮筐或者是球门以及对应的实体球，对场地和器材的要求都比较高。而用户在实际场景中，有时用户只具备场地和器材中的其中一个条件，或者二者均不具备，例如，在办公室场景中，用户就无法进行实体球的投篮训练或者是射球训练。

可见，在现有技术中，球类运动只能在特定的场地条件下，并且还需同时配备实体球的情况下才能进行，对场地和器材的要求较高。

发明内容

本发明提供一种球类运动模拟方法、装置、存储介质及电子设备，以使得用户能够脱离特定的场地以及实体球条件，从而实现随时随地地进行球类运动。

第一方面，本发明提供一种球类运动模拟方法，包括：

获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的第一动作特征；

根据所述第一动作特征确定所述第一肢体动作对应的第一运动类型，并根据所述第一运动类型匹配第一球类模型；

根据所述第一球类模型以及所述第一动作特征生成第一虚拟视频，将所述第一虚拟视频叠加显示在所述现实视频中，其中，所述第一虚拟视频包括：所述第一球类模型响应于所述第一动作特征的动态视频。

在一种可能的设计中，所述根据所述第一球类模型以及所述第一动作特征生成第一虚拟视频，包括：

分别提取所述现实视频中第一帧图像中所述用户的第一动作姿态数据以及第二帧图像中所述用户的第二动作姿态数据，其中，所述第一帧图像和所述第二帧图像相隔第一时长；

根据所述第一动作姿态数据、所述第二动作姿态数据以及所述第一时长计算所述现实视频中的所述用户作用于所述第一球类模型的第一作用力；

根据所述第一作用力计算所述第一球类模型的第一运动轨迹；

根据所述第一运动轨迹生成所述第一虚拟视频，其中，所述第一虚拟视频包括：所述第一球类模型沿所述第一运动轨迹运动的动态视频。

在一种可能的设计中，所述分别提取所述现实视频中第一帧图像中所述用户的第一动作姿态数据以及第二帧图像中所述用户的第二动作姿态数据，包括：

根据所述第一帧图像中所述用户的第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，所述第一动作姿态数据包括所述第一矢量，其中，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

根据所述第二帧图像中的所述第一关节的第三空间坐标以及所述第二关节的第四空间坐标确定所述第一骨骼的第二矢量，所述第二动作姿态数据包括所述第二矢量。

在一种可能的设计中，所述第一运动类型为以下运动类型中的任意一种：投篮运动、射门运动以及颠球运动。

在一种可能的设计中，在所述第一虚拟视频叠加显示在所述现实视频中之后，还包括：

根据所述第一运动类型确定第一器材模型，根据所述第一器材模型生成第二虚拟视频，并将所述第二虚拟视频叠加显示在所述现实视频中第一位置；

根据所述第一运动轨迹以及所述第一位置确定所述第一球类模型与所述第一器材模型的交互关系；

根据所述交互关系生成第三虚拟视频，并叠加显示在所述现实视频中。

在一种可能的设计中，在所述通过预设的神经网络模型对所述现实视频进行动作特征提取之前，还包括：

采集至少一种运动类型对应的动作视频；

所述预设的神经网络模型是通过以下方法得到的：根据所述动作视频以及深度学习算法进行模型训练。

在一种可能的设计中，所述采集至少一个运动类型对应的动作视频，包括：

将所述动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

在一种可能的设计中，在所述将分割得到的所述短视频作为训练样本构建动作视频训练集之后，还包括：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

第二方面，本发明还提供一种球类运动模拟装置，包括：

获取模块，用于获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的第一动作特征；

确定模块，用于根据所述第一动作特征确定所述第一肢体动作对应的第一运动类型，并根据所述第一运动类型匹配第一球类模型；

显示模块，用于根据所述第一球类模型以及所述第一动作特征生成第一虚拟视频，将所述第一虚拟视频叠加显示在所述现实视频中，其中，所述第一虚拟视频包括：所述第一球类模型响应于所述第一动作特征的动态视频。

在一种可能的设计中，所述显示模块，包括：

图像帧提取模块，用于分别提取所述现实视频中第一帧图像中所述用户的第一动作姿态数据以及第二帧图像中所述用户的第二动作姿态数据，其中，所述第一帧图像和所述第二帧图像相隔第一时长；

作用力计算模块，用于根据所述第一动作姿态数据、所述第二动作姿态数据以及所述第一时长计算所述现实视频中的所述用户作用于所述第一球类模型的第一作用力；

轨迹计算模块，用于根根据所述第一作用力计算所述第一球类模型的第一运动轨迹；

视频生成模块，用于根据所述第一运动轨迹生成所述第一虚拟视频，其中，所述第一虚拟视频包括：所述第一球类模型沿所述第一运动轨迹运动的动态视频。

在一种可能的设计中，所述图像帧提取模块，具体用于：

根据所述第一帧图像中所述用户的第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，所述第一动作姿态数据包括所述第一矢量，其中，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

根据所述第二帧图像中的所述第一关节的第三空间坐标以及所述第二关节的第四空间坐标确定所述第一骨骼的第二矢量，所述第二动作姿态数据包括所述第二矢量。

在一种可能的设计中，所述第一运动类型为以下运动类型中的任意一种：投篮运动、射门运动以及颠球运动。

在一种可能的设计中，所述确定模块，还用于根据所述第一运动类型确定第一器材模型，根据所述第一器材模型生成第二虚拟视频，并将所述第二虚拟视频叠加显示在所述现实视频中第一位置；

所述确定模块，还用于根据所述第一运动轨迹以及所述第一位置确定所述第一球类模型与所述第一器材模型的交互关系；

所述显示模块，还用于根据所述交互关系生成第三虚拟视频，并叠加显示在所述现实视频中。

在一种可能的设计中，所述球类运动模拟装置，还包括：

采集模块，用于采集至少一种运动类型对应的动作视频；

训练模块，用于所述预设的神经网络模型是通过以下方法得到的：根据所述动作视频以及深度学习算法进行模型训练。

在一种可能的设计中，所述采集模块，具体用于：

将所述动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

在一种可能的设计中，所述采集模块，具体用于：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意一种可能的球类运动模拟方法。

第四方面，本发明还提供一种电子设备，包括：

摄像头、处理器、存储器以及显示器；

所述摄像头以及所述显示器分别与所述处理器相连接；

所述摄像头，用于获取用户第一肢体动作的现实视频；

所述存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种可能的球类运动模拟方法；

所述显示器，用于显示所述现实视频以及虚拟视频。

本发明提供的一种球类运动模拟方法、装置、存储介质及电子设备，通过先获取用户第一肢体动作的现实视频，然后通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的第一动作特征，再根据第一动作特征确定第一肢体动作对应的第一运动类型，并根据第一运动类型匹配第一球类模型，最后，根据第一球类模型以及第一动作特征生成第一虚拟视频，将第一虚拟视频叠加显示在现实视频中，其中，第一虚拟视频包括：第一球类模型响应于第一动作特征的动态视频。从而使得用户能够脱离特定的场地以及实体球条件的限制，以实现随时随地地进行球类模拟运动。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明根据一示例性实施例示出的球类运动模拟方法的流程示意图；

图2是图1所述实施例中的球类运动模拟方法的一种应用场景图；

图3是图1所述实施例中的球类运动模拟方法的另一种应用场景图；

图4是图1所述实施例中的球类运动模拟方法的再一种应用场景图；

图5是本发明根据另一示例性实施例示出的球类运动模拟方法的流程示意图；

图6是本发明根据一示例性实施例示出的球类运动模拟装置的结构示意图；

图7是本发明根据另一示例性实施例示出的球类运动模拟装置的结构示意图；

图8是本发明根据再一示例性实施例示出的球类运动模拟装置的结构示意图；

图9是本发明根据一示例性实施例示出的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供的球类运动模拟方法在应用时，通过终端设备上的前置摄像头获取用户正在运动的现实视频，其中，该终端设备可以为智能手机、平板电脑、个人计算机等具有现实视频图像采集、数据处理和显示功能的电子设备。其中，在本实施例中可以以智能手机作为终端设备，而应用场景可以为投篮运动、射门运动以及颠球运动中的任意一种，也可以是其他球类互动的运动，在本实施例中并不对具体地球类运动进行具体得限定。例如，用户在办公室想进行投篮运动时，则可以先将智能手机置于合适的位置，然后打开智能手机的前置摄像头，以使前置摄像头能够获取用户的身体画面，尤其是用户的手部画面，智能手机根据获取到的用户的投篮动作，就会在以增强现实的方式将篮球显示在智能手机屏幕上，并根据用户的手部动作的幅度和速度，确定篮球的运动轨迹，并在智能手机屏幕上以增强现实的方式显示篮球的运动轨迹，从而模拟出用户真实投篮的效果，并且完全不受器材和场地的约束。

图1是本发明根据一示例性实施例示出的球类运动模拟方法的流程示意图。如图1所示，本实施例提供的球类运动模拟方法，包括：

步骤101、获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对现实视频进行动作特征提取。

具体地，可以通过终端设备上的摄像头来获取用户所做出第一肢体动作的现实视频，其中，用户第一肢体动作可以是投篮运动、射门运动以及颠球运动。

在获取到用户第一肢体动作的现实视频之后，通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征。

其中，对于上述用于进行动作特征提取的神经网络模型可以是任意适当的可实现特征提取或目标对象识别的神经网络，包括但不限于卷积神经网络、增强学习神经网络、对抗神经网络中的生成网络等等。神经网络中具体结构的设置可以由本领域技术人员根据实际需求适当设定，如卷积层的层数、卷积核的大小、通道数等等，本发明实施例对此不作限制。在一种可能的实现方式中，可以将预设的神经网络模型设置为张量递归神经网络模型。

其中，张量递归神经网络模型的构建方式为：首先，设计张量卷积神经网络，自动学习篮球运球视频训练集中每个短视频的时空特征；然后，使用从张量卷积神经网络中学习到的投篮运动动作、射门运动动作或者是颠球运动动作时空特征训练张量递归神经网络模型，通过张量递归神经网络模型根据多个篮球运球动作标签对投篮运动动作、射门运动动作或者是颠球运动动作视频进行分类。

在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是通过先采集至少一个运动类型对应的动作视频，然后再采用深度学习算法并根据动作视频构建来生成。其中，可以将采集到的标准动作视频分割成只包含单个动作的短视频，并将分割得到的短视频作为训练样本构建动作视频训练集。然后，对动作视频训练集进行数据预处理，其中，数据预处理包括：对动作视频训练集中的短视频进行向下采样处理，提取向下采样处理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由RGB图转化为灰度图。最后，张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归层全连接到第三卷积层，输出层全连接到张量递归层。

步骤102、根据第一动作特征确定第一肢体动作对应的第一运动类型，并根据第一运动类型匹配第一球类模型。

具体地，在通过预设的神经网络模型对现实视频进行动作特征提取，并获取第一肢体动作对应的动作特征，然后根据第一动作特征确定第一肢体动作对应的第一运动类型，并根据第一运动类型匹配第一球类模型。下面以第一肢体动作为用户投篮动作进行举例：

通过终端设备上的摄像头获取到用户运动动作的现实视频之后，通过预设的神经网络模型对投篮动作视频进行动作特征提取，然后根据提取出来的行动作特征从预设运动动作模型库中识别出第一肢体动作对应的是第一运动类型。

步骤103、根据第一球类模型以及第一动作特征生成第一虚拟视频，将第一虚拟视频叠加显示在现实视频中。

具体地，根据第一球类模型以及第一动作特征生成第一虚拟视频，将第一虚拟视频叠加显示在现实视频中，其中，第一虚拟视频包括：第一球类模型响应于第一动作特征的动态视频。

其中，对根据第一球类模型以及第一动作特征生成第一虚拟视频，具体地，可以是分别提取现实视频中第一帧图像中用户的第一动作姿态数据以及第二帧图像中用户的第二动作姿态数据，其中，第一帧图像和第二帧图像相隔第一时长，然后，根据第一动作姿态数据、第二动作姿态数据以及第一时长计算现实视频中的用户作用于第一球类模型的第一作用力，根据第一作用力计算第一球类模型的第一运动轨迹，最后根据第一运动轨迹生成第一虚拟视频，其中，第一虚拟视频包括：第一球类模型沿第一运动轨迹运动的动态视频。

此外，对于第一动作姿态数据以及第二动作姿态数据的获取，可以是根据第一帧图像中用户的第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，第一动作姿态数据包括第一矢量，其中，第一骨骼为第一关节与第二关节之间的骨骼。根据第二帧图像中的第一关节的第三空间坐标以及第二关节的第四空间坐标确定第一骨骼的第二矢量，第二动作姿态数据包括第二矢量。

并且，如果第一运动类型进行需要球之外，还需要相关器材的话，例如：投篮运动和射门运动，对于投篮运动需要篮筐，而对于射门运动则需要球门。则根据第一运动类型确定第一器材模型，然后再根据第一器材模型生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中第一位置，然后，根据第一运动轨迹以及第一位置确定第一球类模型与第一器材模型的交互关系，最后，根据交互关系生成第三虚拟视频，并叠加显示在现实视频中。

在本实施例中，通过先获取用户第一肢体动作的现实视频，然后通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的第一动作特征，再根据第一动作特征确定第一肢体动作对应的第一运动类型，并根据第一运动类型匹配第一球类模型，最后，根据第一球类模型以及第一动作特征生成第一虚拟视频，将第一虚拟视频叠加显示在现实视频中，其中，第一虚拟视频包括：第一球类模型响应于第一动作特征的动态视频。从而使得用户能够脱离特定的场地以及实体球条件的限制，以实现随时随地地进行球类模拟运动。

图5是本发明根据另一示例性实施例示出的球类运动模拟方法的流程示意图。如图5所示，若本实施例提供的球类运动模拟方法应用在颠球运动中，则用户在应用时，通过终端设备上的前置摄像头获取用户颠球动作的现实视频，在获取到用户颠球动作的现实视频之后，通过预设的神经网络模型对现实视频进行动作特征提取，以获取颠球动作对应的动作特征。

再根据颠球动作的动作特征确定用户当前肢体动作对应的第一运动类型为颠球运动，并根据颠球运动匹配足球模型。

然后，在分别提取现实视频中第一帧图像以及第二帧图像，再分别根据第一帧图像中用户的膝部关节第一关节的第一空间坐标以及骶髂关节的第二空间坐标确定大腿骨的第一矢量，第一动作姿态数据包括第一矢量，其中，大腿骨为膝部关节与骶髂关节之间的骨骼。根据第二帧图像中的膝部关节的第三空间坐标以及骶髂关节的第四空间坐标确定大腿骨的第二矢量，第二动作姿态数据包括第二矢量。再根据第一动作姿态数据、第二动作姿态数据以及第一时长计算现实视频中的用户作用于足球模型的第一作用力，根据第一作用力计算足球模型的第一运动轨迹，最后根据第一运动轨迹生成第一虚拟视频，其中，第一虚拟视频包括：足球模型沿第一运动轨迹运动的动态视频，从而通过增强现实的方式实现颠球运动的模拟。

值得说明地，由于颠球动作会涉及到全身关节的联动，在本实施中只是对其中一个骨骼进行实例性地说明，但是，为了进一步提高球类运动模拟的真实性，还可以通过获取其他关节和骨骼的参数来进行联动判断。

图6是本发明根据一示例性实施例示出的球类运动模拟装置的结构示意图。如图6所示，若本实施例提供的球类运动模拟方法应用在射门运动中，则用户在应用时，通过终端设备上的前置摄像头获取用户射门动作的现实视频，在获取到用户射门动作的现实视频之后，通过预设的神经网络模型对现实视频进行动作特征提取，以获取射门动作对应的动作特征。

再根据射门动作的动作特征确定用户当前肢体动作对应的第一运动类型为射门运动，并根据射门运动匹配足球模型。

然后，在分别提取现实视频中第一帧图像以及第二帧图像，再分别根据第一帧图像中用户的膝部关节第一关节的第一空间坐标以及踝关节的第二空间坐标确定小腿骨的第一矢量，第一动作姿态数据包括第一矢量，其中，小腿骨为膝部关节与踝关节之间的骨骼。根据第二帧图像中的膝部关节的第三空间坐标以及踝关节的第四空间坐标确定小腿骨的第二矢量，第二动作姿态数据包括第二矢量。再根据第一动作姿态数据、第二动作姿态数据以及第一时长计算现实视频中的用户作用于足球模型的第一作用力，根据第一作用力计算足球模型的第一运动轨迹，最后根据第一运动轨迹生成第一虚拟视频，其中，第一虚拟视频包括：足球模型沿第一运动轨迹运动的动态视频，从而通过增强现实的方式实现射门运动的模拟。

在一种可能的设计中，由于射门运动，还需要球门作为射门目标，为了进一步提高射门运动的真实体验，可以根据射门运动确定球门模型，然后再根据球门模型生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中第一位置，然后，根据足球模型的第一运动轨迹以及第一位置确定足球模型与球门模型的交互关系，最后，根据交互关系生成第三虚拟视频，并叠加显示在现实视频中。其中，第三虚拟视频用于表征足球模型是否射进球门模型范围。

值得说明地，由于射门动作会涉及到全身关节的联动，在本实施中只是对其中一个骨骼进行实例性地说明，但是，为了进一步提高球类运动模拟的真实性，还可以通过获取其他关节和骨骼的参数来进行联动判断。

图7是本发明根据另一示例性实施例示出的球类运动模拟装置的结构示意图。如图7所示，若本实施例提供的球类运动模拟方法应用在投篮运动中，则用户在应用时，通过终端设备上的前置摄像头获取用户投篮动作的现实视频，在获取到用户投篮动作的现实视频之后，通过预设的神经网络模型对现实视频进行动作特征提取，以获取投篮动作对应的动作特征。

再根据投篮动作的动作特征确定用户当前肢体动作对应的第一运动类型为投篮运动，并根据投篮运动匹配篮球模型。

然后，分别提取现实视频中第一帧图像以及第二帧图像，再分别根据第一帧图像中用户的肘关节的第一空间坐标以及腕关节的第二空间坐标确定小臂的第一矢量，第一动作姿态数据包括第一矢量，其中，小臂为肘关节与腕关节之间的骨骼。根据第二帧图像中的肘关节的第三空间坐标以及腕关节的第四空间坐标确定小臂的第二矢量，第二动作姿态数据包括第二矢量。再根据第一动作姿态数据、第二动作姿态数据以及第一时长计算现实视频中的用户作用于足球模型的第一作用力，根据第一作用力计算足球模型的第一运动轨迹，最后根据第一运动轨迹生成第一虚拟视频，其中，第一虚拟视频包括：足球模型沿第一运动轨迹运动的动态视频，从而通过增强现实的方式实现投篮运动的模拟。

在一种可能的设计中，由于投篮运动，还需要篮筐作为投篮目标，为了进一步提高投篮运动的真实体验，可以根据投篮运动确定篮筐模型，然后再根据球门模型生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中第一位置，然后，根据篮球模型的第一运动轨迹以及第一位置确定篮球模型与篮筐模型的交互关系，最后，根据交互关系生成第三虚拟视频，并叠加显示在现实视频中。其中，第三虚拟视频用于表征足球模型是否投进篮筐模型范围。

值得说明地，由于投篮动作会涉及到全身关节的联动，在本实施中只是对其中一个骨骼进行实例性地说明，但是，为了进一步提高球类运动模拟的真实性，还可以通过获取其他关节和骨骼的参数来进行联动判断。

图5是本发明根据另一示例性实施例示出的球类运动模拟方法的流程示意图。如图5所示，本实施例提供的球类运动模拟方法，包括：

步骤201、采集至少一种运动类型对应的动作视频。

可以是通过先采集至少一个运动类型，例如投篮运动、射门运动以及颠球运动对应的动作视频，然后再采用深度学习算法并根据标准动作视频构建来生成。其中，可以将采集到的动作视频分割成只包含单个动作的短视频，并将分割得到的短视频作为训练样本构建动作视频训练集。然后，对动作视频训练集进行数据预处理，其中，数据预处理包括：对动作视频训练集中的短视频进行向下采样处理，提取向下采样处理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由RGB图转化为灰度图。最后，张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

步骤202、根据动作视频以及深度学习算法进行模型训练获得预设的神经网络模型。

然后，可以通过张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

在一种可选的实施方式中，对于上述张量递归神经网络的建立，可以是通过先采集至少一个运动类型对应的动作视频，然后再采用深度学习算法并根据动作视频构建来生成。其中，可以将采集到的标准动作视频分割成只包含单个动作的短视频，并将分割得到的短视频作为训练样本构建动作视频训练集。然后，对动作视频训练集进行数据预处理，其中，数据预处理包括：对动作视频训练集中的短视频进行向下采样处理，提取向下采样处理后的短视频中以人为中心的边界框，裁剪掉边界框之外的多余背景，并将剪裁后的短视频中的各个帧由RGB图转化为灰度图。最后，张量递归神经网络深度可以将转化后的灰度图作为学习素材进行深度学习。

在一种可能的设计中，可以将上述的张量递归神经网络设置为三层结构。具体地，上述的张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层。其中，输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层以及第三卷积层依次连接，张量递归层全连接到第三卷积层，输出层全连接到张量递归层。步骤203、获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对现实视频进行动作特征提取。

具体地，可以通过终端设备上的摄像头来获取用户所做出第一肢体动作的现实视频，其中，用户第一肢体动作可以是投篮运动、射门运动以及颠球运动。

在获取到用户第一肢体动作的现实视频之后，通过预设的神经网络模型对现实视频进行动作特征提取，以获取第一肢体动作对应的动作特征。步骤204、根据第一动作特征确定第一肢体动作对应的第一运动类型，并根据第一运动类型匹配第一球类模型。

具体地，在通过预设的神经网络模型对现实视频进行动作特征提取，并获取第一肢体动作对应的动作特征，然后根据第一动作特征确定第一肢体动作对应的第一运动类型，并根据第一运动类型匹配第一球类模型。下面以第一肢体动作为用户投篮动作进行举例：

通过终端设备上的摄像头获取到用户运动动作的现实视频之后，通过预设的神经网络模型对投篮动作视频进行动作特征提取，然后根据提取出来的行动作特征从预设运动动作模型库中识别出第一肢体动作对应的是第一运动类型。

步骤205、根据第一球类模型以及第一动作特征生成第一虚拟视频，将第一虚拟视频叠加显示在现实视频中。

具体地，根据第一球类模型以及第一动作特征生成第一虚拟视频，将第一虚拟视频叠加显示在现实视频中，其中，第一虚拟视频包括：第一球类模型响应于第一动作特征的动态视频。

其中，对根据第一球类模型以及第一动作特征生成第一虚拟视频，具体地，可以是分别提取现实视频中第一帧图像中用户的第一动作姿态数据以及第二帧图像中用户的第二动作姿态数据，其中，第一帧图像和第二帧图像相隔第一时长，然后，根据第一动作姿态数据、第二动作姿态数据以及第一时长计算现实视频中的用户作用于第一球类模型的第一作用力，根据第一作用力计算第一球类模型的第一运动轨迹，最后根据第一运动轨迹生成第一虚拟视频，其中，第一虚拟视频包括：第一球类模型沿第一运动轨迹运动的动态视频。

此外，对于第一动作姿态数据以及第二动作姿态数据的获取，可以是根据第一帧图像中用户的第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，第一动作姿态数据包括第一矢量，其中，第一骨骼为第一关节与第二关节之间的骨骼。根据第二帧图像中的第一关节的第三空间坐标以及第二关节的第四空间坐标确定第一骨骼的第二矢量，第二动作姿态数据包括第二矢量。

并且，如果第一运动类型进行需要球之外，还需要相关器材的话，例如：投篮运动和射门运动，对于投篮运动需要篮筐，而对于射门运动则需要球门。则根据第一运动类型确定第一器材模型，然后再根据第一器材模型生成第二虚拟视频，并将第二虚拟视频叠加显示在现实视频中第一位置，然后，根据第一运动轨迹以及第一位置确定第一球类模型与第一器材模型的交互关系，最后，根据交互关系生成第三虚拟视频，并叠加显示在现实视频中。

图6是本发明根据一示例性实施例示出的球类运动模拟装置的结构示意图。如图6所示，本实施例提供的球类运动模拟装置，包括：

获取模块301，用于获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的第一动作特征；

确定模块302，用于根据所述第一动作特征确定所述第一肢体动作对应的第一运动类型，并根据所述第一运动类型匹配第一球类模型；

显示模块303，用于根据所述第一球类模型以及所述第一动作特征生成第一虚拟视频，将所述第一虚拟视频叠加显示在所述现实视频中，其中，所述第一虚拟视频包括：所述第一球类模型响应于所述第一动作特征的动态视频。

在图6所示实施例的基础上，图7是本发明根据另一示例性实施例示出的球类运动模拟装置的结构示意图。如图7所示，本实施例提供的球类运动模拟装置中的所述显示模块303，包括：

图像帧提取模块3031，用于分别提取所述现实视频中第一帧图像中所述用户的第一动作姿态数据以及第二帧图像中所述用户的第二动作姿态数据，其中，所述第一帧图像和所述第二帧图像相隔第一时长；

作用力计算模块3032，用于根据所述第一动作姿态数据、所述第二动作姿态数据以及所述第一时长计算所述现实视频中的所述用户作用于所述第一球类模型的第一作用力；

轨迹计算模块3033，用于根根据所述第一作用力计算所述第一球类模型的第一运动轨迹；

视频生成模块3034，用于根据所述第一运动轨迹生成所述第一虚拟视频，其中，所述第一虚拟视频包括：所述第一球类模型沿所述第一运动轨迹运动的动态视频。

在一种可能的设计中，所述图像帧提取模块3031，具体用于：

根据所述第一帧图像中所述用户的第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，所述第一动作姿态数据包括所述第一矢量，其中，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

根据所述第二帧图像中的所述第一关节的第三空间坐标以及所述第二关节的第四空间坐标确定所述第一骨骼的第二矢量，所述第二动作姿态数据包括所述第二矢量。

在一种可能的设计中，所述第一运动类型为以下运动类型中的任意一种：投篮运动、射门运动以及颠球运动。

在一种可能的设计中，所述确定模块302，还用于根据所述第一运动类型确定第一器材模型，根据所述第一器材模型生成第二虚拟视频，并将所述第二虚拟视频叠加显示在所述现实视频中第一位置；

所述确定模块302，还用于根据所述第一运动轨迹以及所述第一位置确定所述第一球类模型与所述第一器材模型的交互关系；

所述显示模块303，还用于根据所述交互关系生成第三虚拟视频，并叠加显示在所述现实视频中。

在图7所示实施例的基础上，图8是本发明根据再一示例性实施例示出的球类运动模拟装置的结构示意图。如图8所示，本实施例提供的球类运动模拟装置，还包括：

采集模块304，用于采集至少一种运动类型对应的动作视频；

训练模块305，用于所述预设的神经网络模型是通过以下方法得到的：根据所述动作视频以及深度学习算法进行模型训练。

在一种可能的设计中，所述采集模块304，具体用于：

将所述动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

在一种可能的设计中，所述采集模块305，具体用于：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

在一种可能的设计中，所述预设的神经网络模型为张量递归神经网络模型。

在一种可能的设计中，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

值得说明地，图7-图9所示实施例中的球类运动模拟装置，可用于执行上述图1-图6所示实施例中的方法，具体实现方式和技术效果类似，这里不再赘述。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图9是本发明根据一示例性实施例示出的电子设备的结构示意图。如图9所示，本实施例提供的电子设备，包括：

摄像头401、处理器402、存储器403以及显示器404；

所述摄像头401以及所述显示器404分别与所述处理器402相连接；

所述摄像头401，用于获取用户第一肢体动作的现实视频；

所述存储器403，用于存储所述处理器的可执行指令；

所述显示器404，用于显示所述现实视频以及虚拟视频；

其中，处理器404配置为经由执行可执行指令来执行前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

并且，上述设备中的各模块的功能可以通过处理器401实现。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (22)

1.一种球类运动模拟方法，其特征在于，包括：

获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的第一动作特征；

根据所述第一动作特征确定所述第一肢体动作对应的第一运动类型，并根据所述第一运动类型匹配第一球类模型；

根据所述第一球类模型以及所述第一动作特征生成第一虚拟视频，将所述第一虚拟视频叠加显示在所述现实视频中，其中，所述第一虚拟视频包括：所述第一球类模型响应于所述第一动作特征的动态视频。

2.根据权利要求1所述的球类运动模拟方法，其特征在于，所述根据所述第一球类模型以及所述第一动作特征生成第一虚拟视频，包括：

分别提取所述现实视频中第一帧图像中所述用户的第一动作姿态数据以及第二帧图像中所述用户的第二动作姿态数据，其中，所述第一帧图像和所述第二帧图像相隔第一时长；

根据所述第一动作姿态数据、所述第二动作姿态数据以及所述第一时长计算所述现实视频中的所述用户作用于所述第一球类模型的第一作用力；

根据所述第一作用力计算所述第一球类模型的第一运动轨迹；

根据所述第一运动轨迹生成所述第一虚拟视频，其中，所述第一虚拟视频包括：所述第一球类模型沿所述第一运动轨迹运动的动态视频。

3.根据权利要求2所述的球类运动模拟方法，其特征在于，所述分别提取所述现实视频中第一帧图像中所述用户的第一动作姿态数据以及第二帧图像中所述用户的第二动作姿态数据，包括：

根据所述第一帧图像中所述用户的第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，所述第一动作姿态数据包括所述第一矢量，其中，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

根据所述第二帧图像中的所述第一关节的第三空间坐标以及所述第二关节的第四空间坐标确定所述第一骨骼的第二矢量，所述第二动作姿态数据包括所述第二矢量。

4.根据权利要求1-3中任意一项所述的球类运动模拟方法，其特征在于，所述第一运动类型为以下运动类型中的任意一种：投篮运动、射门运动以及颠球运动。

5.根据权利要求4所述的球类运动模拟方法，其特征在于，在所述第一虚拟视频叠加显示在所述现实视频中之后，还包括：

根据所述第一运动类型确定第一器材模型，根据所述第一器材模型生成第二虚拟视频，并将所述第二虚拟视频叠加显示在所述现实视频中第一位置；

根据所述第一运动轨迹以及所述第一位置确定所述第一球类模型与所述第一器材模型的交互关系；

根据所述交互关系生成第三虚拟视频，并叠加显示在所述现实视频中。

6.根据权利要求1所述的球类运动模拟方法，其特征在于，在所述通过预设的神经网络模型对所述现实视频进行动作特征提取之前，还包括：

采集至少一种运动类型对应的动作视频；

所述预设的神经网络模型是通过以下方法得到的：根据所述动作视频以及深度学习算法进行模型训练。

7.根据权利要求6所述的球类运动模拟方法，其特征在于，所述采集至少一个运动类型对应的动作视频，包括：

将所述动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

8.根据权利要求7所述的球类运动模拟方法，其特征在于，在所述将分割得到的所述短视频作为训练样本构建动作视频训练集之后，还包括：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

9.根据权利要求8所述的球类运动模拟方法，其特征在于，所述预设的神经网络模型为张量递归神经网络模型。

10.根据权利要求9所述的球类运动模拟方法，其特征在于，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

11.一种球类运动模拟装置，其特征在于，包括：

获取模块，用于获取用户第一肢体动作的现实视频，并通过预设的神经网络模型对所述现实视频进行动作特征提取，以获取所述第一肢体动作对应的第一动作特征；

确定模块，用于根据所述第一动作特征确定所述第一肢体动作对应的第一运动类型，并根据所述第一运动类型匹配第一球类模型；

显示模块，用于根据所述第一球类模型以及所述第一动作特征生成第一虚拟视频，将所述第一虚拟视频叠加显示在所述现实视频中，其中，所述第一虚拟视频包括：所述第一球类模型响应于所述第一动作特征的动态视频。

12.根据权利要求11所述的球类运动模拟装置，其特征在于，所述显示模块，包括：

图像帧提取模块，用于分别提取所述现实视频中第一帧图像中所述用户的第一动作姿态数据以及第二帧图像中所述用户的第二动作姿态数据，其中，所述第一帧图像和所述第二帧图像相隔第一时长；

作用力计算模块，用于根据所述第一动作姿态数据、所述第二动作姿态数据以及所述第一时长计算所述现实视频中的所述用户作用于所述第一球类模型的第一作用力；

轨迹计算模块，用于根根据所述第一作用力计算所述第一球类模型的第一运动轨迹；

视频生成模块，用于根据所述第一运动轨迹生成所述第一虚拟视频，其中，所述第一虚拟视频包括：所述第一球类模型沿所述第一运动轨迹运动的动态视频。

13.根据权利要求12所述的球类运动模拟装置，其特征在于，所述图像帧提取模块，具体用于：

根据所述第一帧图像中所述用户的第一关节的第一空间坐标以及第二关节的第二空间坐标确定第一骨骼的第一矢量，所述第一动作姿态数据包括所述第一矢量，其中，所述第一骨骼为所述第一关节与所述第二关节之间的骨骼；

根据所述第二帧图像中的所述第一关节的第三空间坐标以及所述第二关节的第四空间坐标确定所述第一骨骼的第二矢量，所述第二动作姿态数据包括所述第二矢量。

14.根据权利要求11-13中任意一项所述的球类运动模拟装置，其特征在于，所述第一运动类型为以下运动类型中的任意一种：投篮运动、射门运动以及颠球运动。

15.根据权利要求14所述的球类运动模拟装置，其特征在于，所述确定模块，还用于根据所述第一运动类型确定第一器材模型，根据所述第一器材模型生成第二虚拟视频，并将所述第二虚拟视频叠加显示在所述现实视频中第一位置；

所述确定模块，还用于根据所述第一运动轨迹以及所述第一位置确定所述第一球类模型与所述第一器材模型的交互关系；

所述显示模块，还用于根据所述交互关系生成第三虚拟视频，并叠加显示在所述现实视频中。

16.根据权利要求11所述的球类运动模拟装置，其特征在于，还包括：

采集模块，用于采集至少一种运动类型对应的动作视频；

训练模块，用于所述预设的神经网络模型是通过以下方法得到的：根据所述动作视频以及深度学习算法进行模型训练。

17.根据权利要求16所述的球类运动模拟装置，其特征在于，所述采集模块，具体用于：

将所述动作视频分割成只包含单个动作的短视频，并将分割得到的所述短视频作为训练样本构建动作视频训练集。

18.根据权利要求17所述的球类运动模拟装置，其特征在于，所述采集模块，具体用于：

对所述动作视频训练集进行数据预处理，其中，所述数据预处理包括：对所述动作视频训练集中的所述短视频进行向下采样处理，提取向下采样处理后的所述短视频中以人为中心的边界框，裁剪掉所述边界框之外的多余背景，并将剪裁后的所述短视频中的各个帧由RGB图转化为灰度图。

19.根据权利要求18所述的球类运动模拟装置，其特征在于，所述预设的神经网络模型为张量递归神经网络模型。

20.根据权利要求19所述的球类运动模拟装置，其特征在于，所述张量递归神经网络模型包括输入层、第一卷积层、第一校正层、第一池化层、第二卷积层、第二校正层、第二池化层、第三卷积层、张量递归层和输出层；

其中，所述输入层、所述第一卷积层、所述第一校正层、所述第一池化层、所述第二卷积层、所述第二校正层、所述第二池化层以及所述第三卷积层依次连接，所述张量递归层全连接到所述第三卷积层，所述输出层全连接到所述张量递归层。

21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10任一项所述的球类运动模拟方法。

22.一种电子设备，其特征在于，包括：

摄像头、处理器、存储器以及显示器；

所述摄像头以及所述显示器分别与所述处理器相连接；

所述摄像头，用于获取用户第一肢体动作的现实视频；

所述存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-10任一项所述的球类运动模拟方法；

所述显示器，用于显示所述现实视频以及虚拟视频。

Images