CN116168182A - 体育赛事的还原方法、系统及电子设备 - Google Patents

Abstract

本申请公开了一种体育赛事的还原方法、系统及电子设备，其中，该体育赛事的还原方法包括：基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，还原运动场上运动员的三维动作；根据该三维动作的数据驱动对应的数字运动员模型，并将驱动的数字运动员渲染至3D运动场内，以3D运动场内任一数字运动员提供的视角为第一视角来观看体育赛事。该方法结合机器视觉和渲染技术，可实现体育赛事的真实还原，提高体育赛事观看的真实性。

Description

体育赛事的还原方法、系统及电子设备

技术领域

本申请涉及体育视频还原及虚拟现实领域，尤其涉及一种体育赛事的还原方法、系统及电子设备。

背景技术

体育视频记录了诸多体育运动的精彩瞬间，不同角色的用户都希望从中能提取出有效的信息，比如，对专业运动员和教练员来说，关键的动作需要细致分析，由此可以制定更加科学的训练，并辅助运动员提高比赛成绩；对观众来说，观摩运动员的专业动作也是一种享受。

然而，由于对运动员三维动作还原和高真实度数字运动员模型建立方面的欠缺，对体育赛事的还原尚未能产生高真实度的效果。与此同时，目前运动员自身或观众仅可以局外人的视角对体育赛事进行观看，尚不能获得沉浸式体验。

因此，上述技术问题亟待弥补。

发明内容

本申请实施例提供一种体育赛事的还原方法、系统及电子设备，以解决或部分解决目前由于运动员三维动作还原和高真实度数字运动员模型方面的欠缺，对体育赛事的还原尚未能产生高真实度的效果，运动员自身或观众仅可以局外人的视角对体育赛事进行观看，尚不能获得沉浸式体验的问题。

一种体育赛事的还原方法，包括：

基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原运动员的三维动作；

将三维动作的数据导入至对应的虚拟数字运动员模型，用于驱动虚拟数字运动员模型，并将数据驱动后的虚拟数字运动员渲染至3D运动场内；

确定任一虚拟数字运动员，以使用户根据数据驱动后的虚拟数字运动员提供的视角场景来观看体育赛事。

本申请在一较佳示例中可以进一步配置为：基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原运动员的三维动作，包括：

获取真实赛事数据，对真实赛事数据进行标注和数据增强，用于获得真实赛事数据集；

构建深度学习网络模型，基于真实赛事数据集对深度学习网络模型进行迭代式训练和调优，获得最优网络模型，用于对运动员进行姿态识别、定位和追踪，还原运动员的三维动作。

本申请在一较佳示例中可以进一步配置为：在获得最优网络模型之后，还包括：

基于获取3D姿态技术的合成数据，构建从2D姿态到3D姿态的深度学习网络，对深度学习网络进行训练和调优，获得最优3D姿态网络模型。

本申请在一较佳示例中可以进一步配置为：在基于真实赛事数据集对深度学习网络模型进行迭代式训练和调优，获得最优网络模型之后，还包括：

获取体育视频，并解析出连续帧图片；

基于最优网络模型对连续帧图片进行推断，得到运动员对应的连续帧姿态和场上定位，并对运动员进行追踪，得到运动轨迹；

将追踪到的运动员的连续帧2D姿态输入至最优3D姿态网络模型，并结合运动轨迹获得连续帧运动员的三维动作；

将三维动作的数据信息绑定至对应的虚拟数字运动员模型，将数据驱动后的虚拟数字运动员渲染至3D运动场内，用于还原体育视频中运动员的运动。

本申请在一较佳示例中可以进一步配置为：在将三维动作的数据信息导入至对应的虚拟数字运动员模型之前，还包括：

获取体育视频，并解析出连续帧图片；

基于最优网络模型对连续帧图片进行推断，得到运动员对应的连续帧场上定位，并对运动员进行追踪，得到运动员的三维动作，用于还原体育视频中运动员的运动。

本申请在一较佳示例中可以进一步配置为：在确定任一数据驱动后的虚拟数字运动员之后，还包括：

将数据驱动后的虚拟数字运动员的视角场景与可视化设备进行匹配，并调整可视化设备的视场，得到最佳视场，以使用户根据数据驱动后的虚拟数字运动员提供的视角场景来观看体育赛事。

本申请在一较佳示例中可以进一步配置为：基于真实赛事数据集对深度学习网络模型进行迭代式训练和调优，包括：

基于体育视频的数据集对深度学习网络模型进行预训练，并对体育视频的数据集进行调整，基于调整后的体育视频的数据集对深度学习网络模型进行校正，得到准确结果，用于还原运动员的三维动作。

本申请目的二是提供一种体育赛事还原系统。

本申请的上述申请目的二是通过以下技术方案得以实现的：

一种体育赛事还原系统，包括：

识别运动员姿态、定位和追踪运动员模块，用于利用机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原运动员的三维动作；

将虚拟数字运动员模型用三维动作数据驱动并渲染至3D运动场模块，用于将三维动作的数据导入至对应的虚拟数字运动员模型，用于驱动虚拟数字运动员模型，并将数据驱动后的虚拟数字运动员渲染至3D运动场内；

确定并设置第一视角模块，用于确定任一数据驱动后的虚拟数字运动员，以使用户根据数据驱动的虚拟数字运动员提供的视角场景来观看体育赛事。

一种体育赛事还原系统，还包括：

标注和数据增强真实赛事数据模块，用于获取真实赛事数据，对真实赛事数据进行标注和数据增强，用于获得真实赛事数据集；

获得最优网络模型模块，用于构建深度学习网络模型，基于真实赛事数据集对深度学习网络模型进行迭代式训练和调优，获得最优网络模型，用于对运动员进行姿态识别、定位和追踪，还原运动员的三维动作。

本申请目的三是提供一种电子设备。

本申请的上述申请目的三是通过以下技术方案得以实现的：

一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述体育赛事的还原方法。

综上，本申请包括以下有益技术效果：

上述体育赛事的还原方法、系统及电子设备，通过机器视觉对体育视频中的运动员进行姿态识别、定位以及对运动轨迹进行追踪，得到三维动作的数据信息，然后，将该三维动作的数据信息导入至虚拟数字运动员模型中，进而驱动虚拟数字运动员模型，并将该数据驱动后的虚拟数字运动员渲染到3D运动场内，再确定该3D运动场内任意一个驱动后的虚拟数字运动员，使得用户可以根据该虚拟数字运动员提供的视角场景来观看体育赛事；该方法可从体育视频中识别出运动员的姿态及对应的球衣，实现运动员的场上定位，并对该运动员进行追踪，还原运动员的三维动作，然后驱动对应的虚拟数字运动员模型，进而使得用户根据数据驱动的虚拟数字运动员提供的视角场景来观看体育赛事，提高了体育赛事还原的真实性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1绘示本申请一实施例中体育赛事的还原方法的流程图；

图2绘示本申请第一实施例中体育赛事的还原方法的整体流程图；

图3绘示本申请一实施例中体育赛事还原系统的示意图；

图4绘示本申请一实施例中电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供一种体育赛事的还原方法，方法的主要流程描述如下：

参照图1，S10、基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原运动员的三维动作。

具体地，本实施例将体育视频解析为连续帧图像，根据机器视觉方法提取体育视频中运动场上的运动员的人体姿态；对连续帧图像中的球场线和角点进行标注，再训练可视化设备参数估计的网络模型，在公开的体育视频数据集上预训练后进行迭代式调优，训练结束后输入相应的图像，即可得到运动员在运动场上的位置，实现对运动员的定位和追踪，进而还原运动员的三维动作。其中，本实施例中可视化设备为摄像头。

步骤S10的作用在于提高了体育赛事还原的准确性和可靠性。

S20、将三维动作的数据导入至对应的虚拟数字运动员模型，用于驱动虚拟数字运动员模型，并将数据驱动后的虚拟数字运动员渲染至3D运动场内。

其中，虚拟数字运动员模型是事先输入至系统中具有关节尺度和体型的模型。实时渲染是边计算画面边输出显示，特点是可以实时操控，实时交互，以非常高的速度处理3D图像，实现逼真的效果。

具体地，本实施例将三维动作的数据信息导入至虚拟数字运动员模型中，使该虚拟数字运动员模型获得三维动作的数据信息，进而通过该数据信息驱动虚拟数字运动员模型，使得该数据驱动后的虚拟数字运动员实现跑和跳等动作，再采用实时渲染技术将该数据驱动后的虚拟数字运动员渲染至3D运动场内。

步骤S20的作用在于提高了体育赛事还原的真实性和准确性。

S30、确定任一虚拟数字运动员模型，以使用户根据数据驱动的虚拟数字运动员提供的视角场景来观看体育赛事。

具体地，本实施例从3D运动场内根据用户的需求确定一数据驱动虚拟数字运动员，然后将该虚拟数字运动员与可视化设备进行绑定，进而使得用户利用可视化设备根据该虚拟数字运动员提供的视角场景来观看体育赛事。

步骤S30的作用在于提高了体育赛事观看的真实性。

上述体育赛事的还原方法、系统及电子设备，通过机器视觉对体育视频中的运动员进行姿态识别、定位以及对运动员进行追踪，得到三维动作的数据信息，然后，将该三维动作的数据信息导入至虚拟数字运动员模型中，进而驱动虚拟数字运动员模型，并将该数据驱动的虚拟数字运动员渲染到3D运动场内，再确定该3D运动场内任意一个虚拟数字运动员，使得用户根据该虚拟数字运动员提供的视角场景来观看体育赛事；该方法可从体育视频中识别出运动员的姿态及对应的球衣，实现运动员的场上定位并对该运动员进行追踪，还原运动员的三维动作，然后结合虚拟数字运动员模型，用户根据三维动作驱动后的虚拟数字运动员提供的视角场景来观看体育赛事，提高了体育赛事还原的可靠性和体育赛事观看的真实性。

在一些可能的实施例中，步骤S10，即基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原运动员的三维动作，包括：

S101、获取真实赛事数据，对真实赛事数据进行标注和数据增强，用于获得真实赛事数据集。

其中，数据增强是通过从现有数据生成新的训练数据来扩展原数据集。数据增强工具通过操作现有数据的参数，将数据转换为新的、独特的样本。可以对图像、视频输入执行数据增强。

S102、构建深度学习网络模型，基于真实赛事数据集对深度学习网络模型进行迭代式训练和调优，获得最优网络模型，用于对运动员进行姿态识别、定位和追踪，还原运动员的三维动作。

其中，构建深度学习网络模型可分为四个步骤，即收集真实赛事数据集、拆分真实赛事数据集、训练神经网络以及评估神经网络。其中，拆分数据集需要将真实赛事数据集分成两部分，即训练集和测试集。训练集是使用标注后得到的数据以及每个数据相关的标签分类，以学习每个类别并通过输入图像或其他数据预测得到运动员在图像上的2D姿态和对应的球衣号码等数据。训练神经网络是指通过输入的图像或其他数据训练网络，使得网络学习如何识别标注的真实赛事数据的每个类别，当存在模型误差时，即可反向传播更新模型参数。评估神经网络是指将测试集中的每个图像或其他数据呈现给深度学习网络模型，进而对测试集中的数据进行预测，得到深度学习网络模型预测数据，并将深度学习网络模型预测数据与测试集中的真实赛事数据集标签进行比较，进一步校正和量化深度学习网络模型。

具体地，本实施例从公开的真实赛事数据中解析出人体2D姿态数据、运动场边界线数据和球衣号码数据等，并进行标注，得到数据以及每个数据相关的标签。同时，对该人体2D姿态数据、运动场边界线数据和球衣号码数据等进行数据增强，得到真实赛事数据集。构建深度学习网络模型，然后根据真实赛事数据集对该深度学习网络模型进行迭代式训练和调优，进而得到最优网络模型。

步骤S101和步骤S102的作用在于提高了深度学习网络模型的准确性和可靠性。

在一些可能的实施例中，在步骤S102之后，即在获得最优网络模型之后，还包括：

S103、基于获取3D姿态技术的合成数据，构建从2D姿态到3D姿态的深度学习网络，对深度学习网络进行训练和调优，获得最优3D姿态网络模型。

在一些可能的实施例中，与上述训练阶段存在平行的推断阶段，还包括：

S104、获取体育视频，并解析出连续帧图片。

S105、基于最优网络模型对连续帧图片进行推断，得到运动员对应的连续帧姿态和场上定位，并对运动员进行追踪，得到运动轨迹。

在步骤S103，即在迭代式训练和调优，获得最优网络模型之后，以及在步骤S105之后，即在得到运动员连续帧姿态和运动轨迹之后，还包括：

S106、将追踪到的运动员的连续帧2D姿态输入至最优3D姿态网络模型，并结合运动轨迹获得运动员连续的三维动作。

S107、将三维动作的数据信息绑定至对应的虚拟数字运动员模型，将数据驱动后的虚拟数字运动员渲染至3D运动场内，用于还原体育视频中运动员的运动。

步骤S103至步骤S107的作用在于提高了体育赛事还原的准确性和真实性。

在一些可能的实施例中，步骤S102，即基于真实赛事数据集对深度学习网络模型进行迭代式训练和调优，包括：

S1021、基于体育视频的数据集对深度学习网络模型进行预训练，并对体育视频的数据集进行调整，基于调整后的体育视频的数据集对深度学习网络模型进行校正，得到准确结果，用于还原运动员的三维动作。

步骤S1021的作用在于提高了预训练后的深度学习网络模型的准确性，提高了体育赛事的真实性。

在另一些可能的实施例中，在步骤S20之前，即在将三维动作的数据信息导入至对应的虚拟数字运动员模型之前，还包括：

S21、获取体育视频，并解析出连续帧图片。

S22、基于最优网络模型对连续帧图片进行推断，得到运动员对应的连续帧场上定位，并对运动员进行追踪，得到运动员的三维动作，用于还原体育视频中运动员的运动。

步骤S21和步骤S22的作用在于提高了体育赛事还原的效率和快捷性。

在一些可能的实施例中，在步骤S30之后，即在确定任一三维动作驱动后的虚拟数字运动员之后，还包括：

S31、将三维动作数据驱动后的虚拟数字运动员的视角场景与可视化设备进行匹配，并调整可视化设备的视场，得到最佳视场，以使用户根据数据驱动的虚拟数字运动员提供的视角场景来观看体育赛事。

其中，视场代表着摄像头能够观察到的最大范围，通常以角度来表示，视场越大，观测范围越大。本实施例中的最佳视场范围为九十度到一百一十度之间，用户可根据自身需求在该范围内进行调整。

步骤S31的作用在于实现对体育赛事的高真实度还原，提高了体育赛事还原的真实性和可靠性。

本实施例提供的体育赛事的还原方法，如图2所示，基于体育视频的数据集对深度学习网络模型迭代式的训练优化深度学习网络模型，提高了预训练后的深度学习网络模型的准确性；利用最优深度网络模型对连续帧图片进行推断，得到运动员对应的连续帧姿态和场上定位，并对运动员进行追踪，提高了运动员定位和追踪的精准性，进而提高了体育赛事还原的准确性和真实性；将虚拟数字运动员模型的视角场景与可视化设备进行匹配，并通过调整可视化设备的视场，得到最佳视场，提高了体育赛事还原的真实性和准确性。

本申请另一实施例，公开了一种体育赛事还原系统。

参照图3，体育赛事还原系统包括：

识别运动员姿态、定位和追踪运动员模块10，用于基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原运动员的三维动作。

将虚拟数字运动员模型用三维动作数据驱动并渲染至3D运动场模块20，用于将三维动作的数据导入至对应的虚拟数字运动员模型，用于驱动虚拟数字运动员模型，并将数据驱动后的虚拟数字运动员渲染至3D运动场内。

确定并设置第一视角模块30，用于确定任一虚拟数字运动员模型，以使用户根据虚拟数字运动员模型提供的视角场景来观看体育赛事。

一种体育赛事还原系统，还包括：

标注和数据增强真实赛事数据模块，对真实赛事数据进行标注和数据增强，用于获得真实赛事数据集。

获得最优网络模型模块，用于构建深度学习网络模型，基于真实赛事数据集对深度学习网络模型进行迭代式训练和调优，获得最优网络模型，用于对运动员进行姿态识别、定位和追踪，还原运动员的三维动作。

本实施例提供的体育赛事还原系统，由于其各模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的各个步骤，因此能够达到与前述实施例相同的技术效果，原理分析可参见前述体育赛事的还原方法的步骤的相关描述，在此不再赘述。

关于体育赛事还原系统的具体限定可以参见上文中对于体育赛事的还原方法的限定，在此不再赘述。上述体育赛事还原系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于设备中的处理器中，也可以以软件形式存储于设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一实施例中，提供一种电子设备，该电子设备可以是监控终端，其内部结构图可以如图4所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性介质、内存储器。该非易失性介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储体育赛事的还原方法中需保存的数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种体育赛事的还原方法。

在一实施例中，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例体育赛事的还原方法，例如图1所示步骤S10至步骤S30。或者，处理器执行计算机程序时实现上述实施例中体育赛事还原系统的各模块/单元的功能，例如图3所示模块10至模块30的功能。为避免重复，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种体育赛事的还原方法，其特征在于，包括：

基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原所述运动员的三维动作；

将所述三维动作的数据导入至对应的虚拟数字运动员模型，用于驱动所述虚拟数字运动员模型，并将数据驱动后的所述虚拟数字运动员渲染至3D运动场内；

确定任一所述虚拟数字运动员，以使用户根据数据驱动后的所述虚拟数字运动员提供的视角场景来观看体育赛事。

2.根据权利要求1所述的一种体育赛事的还原方法，其特征在于，所述基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原所述运动员的三维动作，包括：

获取真实赛事数据，对所述真实赛事数据进行标注和数据增强，用于获得真实赛事数据集；

构建深度学习网络模型，基于所述真实赛事数据集对所述深度学习网络模型进行迭代式训练和调优，获得最优网络模型，用于对所述运动员进行姿态识别、定位和追踪，还原所述运动员的三维动作。

3.根据权利要求2所述的一种体育赛事的还原方法，其特征在于，在所述获得最优网络模型之后，还包括：

基于获取3D姿态技术的合成数据，构建从2D姿态到3D姿态的深度学习网络，对所述深度学习网络进行训练和调优，获得最优3D姿态网络模型。

4.根据权利要求2所述的一种体育赛事的还原方法，其特征在于，在所述基于所述真实赛事数据集对所述深度学习网络模型进行迭代式训练和调优，获得最优网络模型之后，还包括：

获取所述体育视频，并解析出连续帧图片；

基于所述最优网络模型对所述连续帧图片进行推断，得到运动员对应的连续帧姿态和场上定位，并对所述运动员进行追踪，得到运动轨迹；

将追踪到的所述运动员连续帧的2D姿态输入至最优3D姿态网络模型，并结合所述运动轨迹获得所述运动员连续的三维动作；

将所述三维动作的数据信息绑定至对应的所述虚拟数字运动员模型，将所述数据驱动后的虚拟数字运动员模型渲染至所述3D运动场内，用于还原所述体育视频中运动员的运动。

5.根据权利要求1所述的一种体育赛事的还原方法，其特征在于，在所述将所述三维动作的数据信息导入至对应的虚拟数字运动员模型之前，还包括：

获取所述体育视频，并解析出连续帧图片；

基于最优网络模型对所述连续帧图片进行推断，得到运动员对应的场上定位，并对所述运动员进行追踪，得到所述运动员的三维动作，用于还原所述体育视频中运动员的运动。

6.根据权利要求1所述的一种体育赛事的还原方法，其特征在于，在所述确定任一所述虚拟数字运动员模型之后，还包括：

将所述数据驱动的虚拟数字运动员模型的视角场景与可视化设备进行匹配，并调整所述可视化设备的视场，得到最佳视场，以使用户根据所述数据驱动的虚拟数字运动员提供的视角场景来观看体育赛事。

7.根据权利要求2所述的一种体育赛事的还原方法，其特征在于，所述基于所述真实赛事数据集对所述深度学习网络模型进行迭代式训练和调优，包括：

基于所述体育视频的数据集对所述深度学习网络模型进行预训练，并对所述体育视频的数据集进行调整，基于调整后的所述体育视频的数据集对所述深度学习网络模型进行校正，得到准确结果，用于还原所述运动员的三维动作。

8.一种体育赛事还原系统，其特征在于，包括：

识别运动员姿态、定位和追踪运动员模块，用于基于机器视觉对体育视频中的运动员进行姿态识别、定位和追踪，用于还原所述运动员的三维动作；

将虚拟数字运动员模型用三维动作数据驱动并渲染至3D运动场模块，用于将所述三维动作的数据导入至对应的虚拟数字运动员模型，用于驱动所述虚拟数字运动员模型，并将数据驱动后的所述虚拟数字运动员渲染至3D运动场内；

确定并设置第一视角模块，用于确定任一所述虚拟数字运动员，以使用户根据数据驱动后的所述虚拟数字运动员提供的视角场景来观看体育赛事。

9.根据权利要求8所述的一种体育赛事还原系统，其特征在于，还包括：

标注和数据增强真实赛事数据模块，用于获取真实赛事数据，对所述真实赛事数据进行标注和数据增强，用于获得真实赛事数据集；

获得最优网络模型模块，用于构建深度学习网络模型，基于所述真实赛事数据集对所述深度学习网络模型进行迭代式训练和调优，获得最优网络模型，用于对所述运动员进行姿态识别、定位和追踪，还原所述运动员的三维动作。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述体育赛事的还原方法。

Images