CN110910489A - 一种基于单目视觉的智能球场运动信息采集系统与方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的智能球场运动信息采集系统和方法，该系统包括多视角采集设备和单目视觉三维重建模型；该多视角采集设备采集用于后续训练单目视觉三维重建模型的数据，并对数据进行标注以及多视角求3D信息计算，得到球场信息在真实世界坐标系下的位置的真值数据；得到真值数据后进行单目三维重建模型的构建。本发明采集方法包括以下步骤：多视角采集球场真值数据；基于3DMM模型建立单目视觉三维重建模型；优化三维重建模型；单目图片三维重建；运动数据分析。本发明在单目视觉发展的基础上应用到了运动领域，极大的降低了现有运动数据采集的成本。

Description

一种基于单目视觉的智能球场运动信息采集系统与方法

技术领域

本发明涉及球场运动信息采集系统，尤其涉及一种基于单目视觉的智能球场运动信息采集系统与方法。

背景技术

随着大数据以及体育行业的发展，运动场中的运动数据采集变得更加重要，如在比赛或训练中运动员的一些跑动距离、跑动加速度以及球类的一些飞行轨迹、飞行速度、高度，以及一些诸如篮球进球检测、足球得分检测数据的采集，对战术分析、体能训练具有非常大的参考价值。但是目前对于这些数据主要的采集方式是通过传感器或者多个高精度相机进行采集，此种方式价格昂贵，不利于普及。

目前计算机视觉技术正在飞速发展，尤其是在3D视觉领域，因为3D数据的获取可以更多的对真实场景进行还原，相比于2D数据有很多突出的优点，可以让计算机像人类一样更好的理解数据。目前普遍采用单目三维重建的方式，多目相机在做三维重建时成本昂贵，且使用不便。

发明内容

发明目的：鉴于以上技术问题，本发明提出了一种基于单目视觉的智能球场运动信息采集系统与方法。

技术方案：本发明基于单目视觉的智能球场运动信息采集系统，包括多视角采集设备和单目视觉三维重建模型；该多视角采集设备采集用于后续训练单目视觉三维重建模型的数据，并对所述数据进行标注以及多视角求3D信息计算，得到球场信息在真实世界坐标系下的位置的真值数据；得到所述真值数据后进行单目三维重建模型的构建。

本发明基于单目视觉的智能球场运动信息的采集方法包括以下步骤：

1.多视角采集球场真值数据；

2.基于3DMM模型建立单目视觉三维重建模型；

3.优化三维重建模型；

4.单目图片三维重建；

5.运动数据分析。

多视角采集球场真值数据包括以下步骤：

1.1将多个视频采集设备置于球场周围不同的位置同时采集球员运动状态的数据；

1.2对采集到的数据进行标注，具体为标准球员的位置，球场边线的位置，球类的位置，球场内固定器械如篮球场的球框、足球场的球门、网球场的网进行位置和大小的标注；对采集设备的相机内参进行标定；对采集的图片进行外参的计算；通过最小化重投影误差得到标注数据的3D信息。

基于3DMM人脸3D形变统计模型建立单目视觉三维重建模型包括以下步骤：

(2.1)建立如下方程：

S为球场三维坐标，

为球场坐标均值向量，此向量为已知量，由球场形状向量基以及球场尺寸向量基组成，Q_size为需要求出来的球场尺寸向量，q_size为需要求出来的球场尺寸向量系数，Q_shape为需要求出来的球场形状向量，q_shape为需要求出来球场形状向量系数；其中球场形状向量基对应3DMM模型中人脸形状向量基，球场尺寸向量基对应3DMM模型中人脸表情向量基。

(2.2)利用最小化重投影误差的原理进行三维重建模型中各个参数的求解；即在某一时刻，多个视角同时拍摄到的同一个物体的真实世界坐标系的值是相同的，其在2D像素坐标系的值是已知的，则重投影误差是指从真实世界坐标系通过三维重建模型计算出的在图像像素坐标系下的坐标值与其在“多视角采集球场真值数据”步骤中标注的在像素坐标系的真实坐标值的误差，可通过下面公式表示：min_proj＝||T_3d*M-T_2d||，min_proj是指重投影误差，T_3d是指真实世界坐标系下的坐标真值，罘是指单目三维重建模型，T_3d*罘是指真实世界坐标系下的坐标真值经过单目三维重建模型运算后得到的某个视角的像素坐标系下的值，T_2d是指在某个视角像素坐标系下的像素坐标真值。

(2.3)在获得了优化过的单目三维重建模型后，将通过单目相机采集到的某个视角在某个时刻的图片输入到单目三维重建模型中获得目标在真实世界下的位置坐标，如采集到的图像中包含球员、球、篮筐，均可以获得其在真实世界坐标系下的坐标。

运动数据分析中，将“单目图片三维重建”步骤中获得的目标真实位置信息结合视频时序信息进行分析，将目标的运动距离、运动轨迹都记录下来，如球员目标在一段视频的连续帧中在真实世界坐标系下的轨迹记录，以获得其移动距离和加速度；另外，在篮球场景中，还可以根据球的轨迹是否穿越篮筐，进行是否进球的判断，此种方式能很好的解决当前在进球检测这块的一个技术难题。

有益效果：本发明具有以下优点：

(1)单目三维重建是计算机视觉领域一个非常重要、难度较高的领域，其在人脸三维重建中的应用很好的说明了其准确、高效的特点，并且单目重建可以极大的降低使用成本，在一个采集相机即可使用，甚至一部智能手机也可以应用单目三维重建。本发明在单目视觉发展的基础上应用到了运动领域，可以极大的降低现有运动数据采集的成本。

(2)此发明方法具有普适性，能以同种方法应用到多种运动领域，并且具有很好的拓展性。

附图说明

图1为本发明实施例中基于单目三维重建进行篮球进球检测的方法示意图；

图2为本发明实施例中4个设备同时采集数据的示意图；

图3为本发明实施例中单目篮球场图片进行三维重建的采集设备放置示意图；

图4为本发明实施例中单目篮球场图片进行三维重建的结构示意图。

具体实施方式

本实例选取应用在篮球场景中投篮检测这一个功能环节进行说明，如图1所示，本发明基于单目视觉的智能球场运动信息采集方法包括以下步骤：

步骤1，将多个视频采集设备置于在球场周围不同的位置同时采集球员运动状态的数据，如图2所示，1为不同视角的采集设备，2为篮球场，当多个视角同时采集数据时，此“多个视角”为2个到9个之间，其视角越多越有利于采集数据的精准性。本步骤中选取了4个设备在四个不同的位置和视角进行同时采集数据，以采集到同一时刻球场不同视角的图片；采集到同一时刻的不同视角图片后，对不同视角的图片进行标注，因为本实施例中仅用于篮球进球检测，则只需要在采集到的图片上标注篮球以及篮筐的位置和大小信息；获得标注信息后，对相机和图片进行标定，求得相机的内参以及外参；最后求得图片中目标在真实世界坐标系下的坐标信息，具体采用多视角三维重建技术，利用多视图几何原理进行求解，在此步骤中，已知的是一个目标在同一时刻不同视角的像素坐标系的坐标值，要求的是这个目标在此时刻真实坐标系下的坐标值，因为是同一目标，则由各个视角求出来的此目标在真实世界坐标系下的坐标应该是相同的；反过来，此目标由真实世界经过相机模型投影到各个视角图片的坐标和在此视角标注的目标的坐标应该相同，不同的部分称为重投影误差，目标为让此重投影误差最小，在各个视角的重投影误差都满足要求的时候求出来的此目标的真实世界坐标系的坐标为所需的真值。

步骤2，建立篮球场单目三维重建模型，以下为篮球场真实世界下的坐标表示

进一步地，S为球场三维坐标，

为球场坐标均值向量，此向量为已知量，由球场形状向量基，该形状向量基对应3DMM模型中人脸形状向量基，以及球场尺寸向量基，该尺寸向量基对应3DMM模型中人脸表情向量基组成，Q_size为需要求出来的球场尺寸向量，q_size为需要求出来的球场尺寸向量系数，Q_shape为需要求出来的球场形状向量，q_shape为需要求出来球场形状向量系数。获得球场在真实世界坐标系下的表示方式后，下面公式代表篮球场单目三维重建模型，即从真实世界坐标系投影到图像像素坐标系的过程：S_2d＝fPR(α，β，γ)(S+t_3d)，S_2d为在像素坐标系下的点的坐标，该坐标由在步骤1中求得的某个目标在真实世界坐标系下的坐标真值经过篮球场单目三维重建模型求得的在图像像素坐标系下的2D坐标，f为缩放因子，P为正交投影矩阵R(α，β，γ)是一个由α(pitch角)、β(yaw角)和γ(roll角)组成的旋转矩阵，t_3d为平移向量，S为球场真实世界坐标系下的表示向量。

步骤3，优化篮球场单目三维重建模型，即为求解步骤2中4个未知参数：Q_size、q_size、Q_shape、q_shape的过程，这四个参数确定了，则程S_2d＝fPR(α，β，γ)(S+t_3d)为一个确定的过程，就可以实现从图像2D坐标系到真实世界3D坐标系的转换了。具体求解方法为最小化

的过程，S_2dt为目标在图像坐标系下真实标注的坐标信息，通过参数的不断拟合使得S_2dt与S_2d的差距最小化，通过不断的迭代计算，使得两者的差距小于某个阈值，此时求得的参数即为篮球场单目三维重建模型所需参数，能够构建好篮球场三维重建模型。

步骤4，单目篮球场图片进行三维重建，此过程为使用过程，具体地，在步骤3获得篮球场三维重建模型后，如图3所示，使用时只需要一个已知相机内参的相机架设在篮球场即可，如图4所示，将拍摄到的图片先送入一个检测篮球和篮筐的深度学习模型里，在本实施例中，使用的深度学习模型是用步骤1中标注过的篮球及篮筐图片训练得到的用于检测图片中篮球和篮筐位置的深度学习模型，得到此图片中的蓝球和篮筐在像素坐标系下的位置和大小，然后再送入单目篮球场三维重建模型即可获得篮球和篮筐在真实世界坐标系下的位置信息。实时连续的处理图片，即处理连续视频帧即可得到目标在真实世界坐标系下的连续运动信息。

步骤5，对篮球进球进行检测，该检测属于运动数据分析的一个例子，在此步骤中，通过步骤4获得的篮球和篮筐在真实世界坐标系下的位置信息，根据视频获得篮球的运动轨迹，则对于篮球进球检测功能而言，只需要判断篮球的运动轨迹是否经过篮筐的中心，如果篮球的坐标与篮筐的坐标在某一帧重合，并且在此帧之前篮球的高度信息大于篮筐的高度信息、在此帧之后篮球的高度信息小于篮筐的高度信息，则说明为篮球穿过篮筐，即为进球。

本发明中，仅针对一个便于理解、易于说明的实施方式描述，相似的如球员的3D信息获得后可以得到球员的运动信息，显然可以在一个或更多个其它实施方式中以相同方式或以类似方式使用。

Claims (6)

1.一种基于单目视觉的智能球场运动信息采集系统，其特征在于：包括多视角采集设备和单目视觉三维重建模型；所述多视角采集设备采集用于后续训练单目视觉三维重建模型的数据，并对所述数据进行标注以及多视角求3D信息计算，得到球场信息在真实世界坐标系下的位置的真值数据；得到所述真值数据后进行单目三维重建模型的构建。

2.一种基于单目视觉的智能球场运动信息的采集方法，其特征在于：采用如权利要求1所述的基于单目视觉的智能球场运动信息的采集系统，所述采集方法包括以下步骤：

(1)多视角采集球场真值数据；

(2)基于3DMM模型建立单目视觉三维重建模型；

(3)优化三维重建模型；

(4)单目图片三维重建；

(5)运动数据分析。

3.根据权利要求2所述的基于单目视觉的智能球场运动信息的采集方法，其特征在于：步骤(1)包括以下步骤：

(1.1)将多个视频采集设备置于球场周围不同的位置同时采集球员运动状态的数据；

(1.2)对采集到的数据进行标注，对采集设备的相机内参数进行标定，对采集的图片进行外参的计算，通过最小化重投影误差得到标注数据的3D信息。

4.根据权利要求3所述的基于单目视觉的智能球场运动信息的采集方法，其特征在于：步骤(1.2)中，所述采集的数据为标准球员的位置，球场边线的位置，球类的位置，球场内固定器械的位置和大小。

5.根据权利要求2所述的基于单目视觉的智能球场运动信息的采集方法，其特征在于：步骤(2)中基于3DMM模型建立单目视觉三维重建模型包括以下步骤：

(2.1)建立方程：

其中，S为球场三维坐标，

为球场坐标均值向量，此向量为已知量，由球场形状向量基以及球场尺寸向量基组成，Q_size为需要求出来的球场尺寸向量，q_size为需要求出来的球场尺寸向量系数，Q_shape为需要求出来的球场形状向量，q_shape为需要求出来球场形状向量系数；所述球场形状向量基对应3DMM模型中人脸形状向量基；所述球场尺寸向量基对应3DMM模型中人脸表情向量基；

(2.2)利用最小化重投影误差进行三维重建模型中各个参数的求解，所述重投影误差通过公式min_proj＝||T_3d*M-T_2d||求得，min_proj指重投影误差，T_3d指真实世界坐标系下的坐标真值，M指单目三维重建模型，T_3d*M指真实世界坐标系下的坐标真值经过单目三维重建模型运算后得到的某个视角的像素坐标系下的值，T_2d指在某个视角像素坐标系下的像素坐标真值；

(2.3)在获得了优化过的单目三维重建模型后，将通过单目相机采集到的某个视角在某个时刻的图片输入到单目三维重建模型中获得目标在真实世界下的位置坐标。

6.根据权利要求2至5中任一项所述的基于单目视觉的智能球场运动信息的采集方法，其特征在于：步骤(5)中的运动数据分析将步骤(4)中的“单目图片三维重建”获得的目标真实位置信息结合视频时序信息进行分析，将目标的运动距离、运动轨迹记录下来。

Images