CN109345568A

CN109345568A - 基于计算机视觉算法的运动场智能化实现方法及系统

Info

Publication number: CN109345568A
Application number: CN201811091575.3A
Authority: CN
Inventors: 虞毅; 和锐
Original assignee: Shenzhen Win World Sports Science And Technology Co Ltd
Current assignee: Shenzhen Win World Sports Science And Technology Co Ltd
Priority date: 2018-09-19
Filing date: 2018-09-19
Publication date: 2019-02-15

Abstract

本发明公开了一种基于计算机视觉算法的运动场智能化实现方法及系统，系统包括：至少一台处理器，至少四台枪型摄像机和至少两台半球型摄像机，所述至少四台枪型摄像机和至少两台半球型摄像机与所述至少一台处理器通讯连接，方法包括：通过识别运动场标志线实现摄像机的标定；控制各摄像机同步采集整个运动场的视频图像；从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；通过三维重建提取球体目标的三维轨迹。本发明系统能够实现运动定位及轨迹追踪，精准地获取结构化的运动数据，并实现裁判和数据统计，同时可以作为大小型常规比赛和日常多种模式训练中的数据分析，具有精确度高、适用面广、效率高和造价低等特点。

Description

基于计算机视觉算法的运动场智能化实现方法及系统

技术领域

本发明涉及智能运动系统技术领域，尤其涉及一种基于计算机视觉算法的运动场智能化实现方法及系统。

背景技术

近年来，人工智能在众多传统领域发展迅猛。特别是体育运动领域，无论是竞技体育还是大众体育，都有越来越多的科技元素融入其中。竞技体育与科技的融合往往能使得体育赛事更加具有观赏性，并能辅助甚至代替裁判进行判罚操作；大众体育与科技的融合往往能使得体育运动更加具有娱乐性。无论是对于大大小小球类运动的比赛还是多种模式的日常训练，智能球场都具有非常高的应用价值。同时，现有类似的如运动监视或感应系统在检测精度和造价方面难得两全。因此，在体育互联网领域，一套造价相对不高且能有较高准确度的智能球场系统是迫切需要的。

发明内容

本发明的目的在于克服上述现有技术的缺点和不足，提供一种价格低廉、精度较高，适合普遍使用和推广的一整套能同时满足体育比赛和日常训练的基于计算机视觉算法的运动场智能化实现方法及系统。

为实现上述目的，本发明提供一种基于计算机视觉算法的运动场智能化系统，其特征在于，所述系统包括：至少一台处理器，至少四台枪型摄像机和至少两台半球型摄像机，所述至少四台枪型摄像机和至少两台半球型摄像机与所述至少一台处理器通讯连接，用于同步采集整个运动场的图像，其中：所述至少四台枪型摄像机相互对称地布置在运动场四周的上方，每台枪型摄像机至少与另外一台枪型摄像机有重合的运动场拍摄区域；所述至少一台处理器用于根据各摄像机采集的图像实现运动场智能化。

其中，所述至少一台处理器根据各摄像机采集的图像实现运动场智能化包括：通过识别运动场标志线实现摄像机的标定；控制各摄像机同步采集整个运动场的视频图像；视频图像预处理；从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；通过三维重建提取球体目标的三维轨迹；球体目标运动模式识别和运动轨迹分析；运动数据收集、统计、分析和显示；三维实景仿真和虚拟运动轨迹；运动视频直播、剪辑及存储。

其中，所述处理器的CPU是主频在3.0GHz以上、至少4核8线程的CPU；所述枪型摄像机和半球型摄像机是指帧速率在20fps以上、像素个数在50万以上的、可采集黑白或彩色图像的、畸变小的工业摄像机。

本发明还提出一种基于计算机视觉算法的运动场智能化实现方法，所述方法应用于运动场智能化系统，所述系统包括：至少一台处理器，至少四台枪型摄像机和至少两台半球型摄像机，所述至少四台枪型摄像机和至少两台半球型摄像机与所述至少一台处理器通讯连接，所述方法包括以下步骤：

通过识别运动场标志线实现摄像机的标定；

控制各摄像机同步采集整个运动场的视频图像；

从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；

通过三维重建提取球体目标的三维轨迹。

其中，所述方法还包括：

基于所述球体目标的三维轨迹进行球体目标运动模式识别和运动轨迹分析。

其中，所述方法还包括：

对所述球体目标的运动数据进行收集、统计、分析和显示；

对所述球体目标进行三维实景仿真和虚拟运动轨迹；以及进行运动视频直播、剪辑及存储。

其中，所述控制各摄像机同步采集整个运动场的视频图像的步骤之后，还包括：

对所述视频图像进行预处理。

其中，所述对所述视频图像进行预处理的步骤包括：

对所述视频图像进行滤波处理、形态学处理和图像阈值化处理。

其中，所述从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹的步骤包括：

通过帧间差分法从所述视频图像中提取到候选球体团块，然后通过球体识别方法得到球体目标，在此基础上利用kalman滤波和模板匹配实现球体轨迹追踪，获取到球体二维轨迹。

本发明还提出一种基于计算机视觉算法的运动场智能化实现系统，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的基于计算机视觉算法的运动场智能化实现方法的步骤。

本发明的有益效果为：提供一种基于计算机视觉算法的运动场智能化系统，包括硬件平台和软件平台，硬件平台包括高性能处理器、枪型摄像机和半球型摄像机。软件平台架构于硬件平台之上，包括以下内容：通过识别球场标志线实现相机的标定；多摄像机视频图像采集与同步；视频图像预处理；从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；通过三维重建提取球体目标的三维轨迹；球体目标运动模式识别和运动轨迹分析；运动数据收集、统计、分析和显示；三维实景仿真和虚拟运动轨迹；运动视频直播、剪辑及存储。本发明系统能够实现运动定位及轨迹追踪，精准地获取结构化的运动数据，并实现裁判和数据统计，同时可以作为大小型常规比赛和日常多种模式训练中的数据分析，具有精确度高、适用面广、效率高和造价低等特点。

附图说明

图1是本发明基于计算机视觉算法的运动场智能化实现方法实施例的流程示意图；

图2是本发明中基于计算机视觉算法的智能球场系统的核心层示意图；

图3是本发明中基于计算机视觉算法的智能球场系统的应用层示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提出一种基于计算机视觉算法的运动场智能化系统，所述系统包括：至少一台处理器，至少四台枪型摄像机和至少两台半球型摄像机，所述至少四台枪型摄像机和至少两台半球型摄像机与所述至少一台处理器通讯连接，用于同步采集整个运动场的图像，其中：所述至少四台枪型摄像机相互对称地布置在运动场四周的上方，每台枪型摄像机至少与另外一台枪型摄像机有重合的运动场拍摄区域；所述至少一台处理器用于根据各摄像机采集的图像实现运动场智能化。

所述处理器的CPU是主频在3.0GHz以上、至少4核8线程的CPU；所述枪型摄像机和半球型摄像机是指帧速率在20fps以上、像素个数在50万以上的、可采集黑白或彩色图像的、畸变小的工业摄像机。

此外，本发明提出一种基于计算机视觉算法的运动场智能化实现方法，所述方法应用于运动场智能化系统，所述系统包括：至少一台处理器，至少四台枪型摄像机和至少两台半球型摄像机，所述至少四台枪型摄像机和至少两台半球型摄像机与所述至少一台处理器通讯连接，如图1所示，所述方法包括以下步骤：

步骤S1，通过识别运动场标志线实现摄像机的标定；

步骤S2，控制各摄像机同步采集整个运动场的视频图像；

步骤S3，从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；

步骤S4，通过三维重建提取球体目标的三维轨迹。

进一步地，所述方法还包括：

步骤S5，基于所述球体目标的三维轨迹进行球体目标运动模式识别和运动轨迹分析。

进一步地，所述方法还包括：

步骤S6，对所述球体目标的运动数据进行收集、统计、分析和显示；

步骤S7，对所述球体目标进行三维实景仿真和虚拟运动轨迹；以及进行运动视频直播、剪辑及存储。

进一步地，所述控制各摄像机同步采集整个运动场的视频图像的步骤之后，还包括：

步骤S21，对所述视频图像进行预处理。

其中，所述对所述视频图像进行预处理的步骤包括：

以下以球场为例，对本发明实施例方案进行详细阐述：

本发明提出一种基于计算机视觉算法的智能球场系统，包括硬件平台和软件平台。硬件平台包括高性能处理器、枪型摄像机和半球型摄像机。软件平台架构于硬件平台之上，包括以下内容：通过识别球场标志线实现相机的标定；多摄像机视频图像采集与同步；视频图像预处理；从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；通过三维重建提取球体目标的三维轨迹；球体目标运动模式识别和运动轨迹分析；运动数据收集、统计、分析和显示；三维实景仿真和虚拟运动轨迹；运动视频直播、剪辑及存储。本发明系统能够实现运动定位及轨迹追踪，精准地获取结构化的运动数据，并实现裁判和数据统计，同时可以作为大小型常规比赛和日常多种模式训练中的数据分析，具有精确度高、适用面广、效率高和造价低等特点。适用于网球、足球、排球和篮球等多种球类运动。

本发明采用如下技术方案：

一种基于计算机视觉算法的智能球场系统，包括硬件平台和软件平台。

硬件平台是一整套多设备组合而成的系统，包括至少1台高性能处理器、4台枪型摄像机和2台半球型摄像机以及这些主设备之间的连接配件。

软件平台架构于硬件平台之上，包括以下内容：通过识别球场标志线实现相机的标定；多摄像机视频图像采集与同步；视频图像预处理；从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；通过三维重建提取球体目标的三维轨迹；球体目标运动模式识别和运动轨迹分析；运动数据收集、统计、分析和显示；三维实景仿真和虚拟运动轨迹；运动视频直播、剪辑及存储。

所述的高性能处理器的CPU是主频在3.0GHz以上的、至少4核8线程的CPU。

所述的枪型摄像机和半球型摄像机是指帧速率在20fps以上的、像素个数在50万以上的、可采集黑白或彩色图像的、畸变较小的工业摄像机。

从层次上划分，一种基于计算机视觉算法的智能球场系统可分为核心层和应用层。

如图2所示，本发明一种基于计算机视觉算法的智能球场系统的核心层部分包含一整套操作方法，具体步骤如下：

通过识别球场标志线实现相机的标定：摄像机标定旨在建立起摄像机图像像素坐标和真实三维世界坐标之间的几何关系以及多个不同视角和不同位置的摄像机之间的坐标几何关系。另外，摄像机标定还可以解决摄像机镜头本身的畸变问题。具体的摄像机标定方法有常用的张正友棋盘格标定法。而本系统通过对球场标识线进行提取和识别，实现了一种基于球场标志线的摄像机标定方法，这种方法简单实用，不需要标定板和其他参考物。

基于球场标志线的摄像机标定方法具体实现如下：

使用摄像机从多个不同角度获取多幅清晰的网球场图像；

利用直线检测算法提取出每张网球场图像中的网球场标志线，确定各网球场标志线的直线方程；

从由每幅图像提取出的网球场标志线中选择多组相关的直线段对，计算出多个网球场标志线交点；

利用网球场标志线交点的像素坐标和网球场上对应点的真实三维世界坐标，计算得到摄像机的内部参数和外部参数。

具体地，该方法的主要操作步骤为：

a)摄像机从不同角度拍摄网球场，获取到多幅不同视角包含着网球场标志线的图像，分别建立摄像机在不同拍摄位置下的摄像机坐标系、图像平面坐标系，并建立三维世界坐标系；

b)从图像集合中选取至少包含整个球场的图像，注意保证图像的拍摄角度多样性，对选取的图像逐一进行图像预处理操作，在保证图像有效信息的保留的基础上，对图像进行降噪处理；

c)利用直线检测算法检测出图像中所有直线段，并得到直线段的两点式方程表示；

d)进一步筛选，提取出网球场标志直线；

e)确定要提取的球场角点，求出其相应两条直线段对交点即为图像中的像素坐标；

f)最后，结合各对应球场角点的真实三维世界坐标，计算得到摄像机的内部参数和外部参数。

其中标定参数计算过程如下：

由图像中球场角点的像素坐标和其对应的真实三维世界坐标(Z＝0)来求解各子图像平面坐标系和球场平面坐标系的单应矩阵H。单应矩阵H的求解方法在ZHANG.Z.Y.的文章“A flexible new technique for camera calibration[J].IEEE Trans.on PatternAnalysis and Machine Intelligence，2000，22(11)：1330-1334”中有详细描述。

对拍摄到的多幅图像得到的多个单应矩阵，求解摄像机的内部参数和外部参数。

由旋转矩阵的正交性分解单应矩阵，构成一个包含摄像机内部参数和外部参数的超定方程，通过奇异值分解及一系列变换得到摄像机的内部参数和外部参数。具体求解方法在ZHANG.Z.Y.的文章“A flexible new technique for camera calibration[J].IEEETrans.on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334”中有详细描述。

摄像机外部参数(R,t)表示球场平面坐标系与各图像平面坐标系之间的关系。

摄像机内部参数矩阵A可以表示为

其中，α和β分别为图像平面坐标系两坐标轴的尺度因子，γ是两坐标轴的不垂直因子，(u₀,v₀)为摄像机主点坐标。

求解各个图像坐标系与球场平面坐标系之间的旋转矩阵和平移向量。

这里，以步骤b)获取的摄像机外部参数，即球场平面坐标系与各图像平面坐标系之间的关系，便可得到两者之间的旋转矩阵R_i和平移向量T_i

对步骤b)获取的摄像机内部参数和外部参数进行非线性优化。

假设噪声服从零均值的高斯分布且独立分布，为了得到在最大似然准则下摄像机内部参数和外部参数的最优解，需要建立以重投影误差为最小目标函数：

其中，

其中，A为摄像机内部参数矩阵，k₁,k₂为径向畸变参数，R_i,T_i(i＝1...m-1)为各图像平面坐标系与球场平面坐标系之间的旋转矩阵和平移向量；为球场平面坐标系与摄像机坐标系之间的旋转矩阵和平移向量；n为摄像机的不同拍摄位置所获取的图像数；t为球场坐标系中特征点的总个数；为第j个拍摄角度图像中球场特征点在图像平面坐标系下的齐次坐标；为第j个拍摄角度中球场特征点在图像平面坐标系下的带有镜头畸变的重投影图像齐次坐标。

这里，如果p_i为球场特征点P在某一拍摄角度的图像坐标系下的三维坐标，为P转换为球场平面坐标系下坐标p_Ti后，在摄像机图像坐标下的重投影理想图像齐次坐标，为相应的带有镜头畸变的重投影图像齐次坐标，则以上参数具体变换关系如下：

其中，A为摄像机内部参数，ρ为任意非零常数。

具体与的变换关系在ZHANG.Z.Y.的文章“A flexible new technique forcamera calibration[J].IEEE Trans.on Pattern Analysis and MachineIntelligence，2000，22(11)：1330-1334”中有详细描述。

结合上述步骤中的各图像平面坐标系与球场平面坐标系之间的旋转矩阵和平移向量，根据上面的公式便可求出再根据畸变校正方法得到

最后，采用Levenberg-Marquardt非线性优化方法对最小目标函数进行非线性优化，即可得到摄像机内部参数和外部参数在最大似然准则下的最优解。

本发明不使用传统标定参考物，仅借助运动场原有的标志线和尺寸信息对架设在视场四周的摄像机进行标定，能够在不使用棋盘格标定板等传统标定参考物的情况下对架设在网球场上的摄像机进行标定操作并得到高精度的摄像机内外参数，适用于这种不方便使用传统标定板的场合，操作简易灵活，且具有很高的精度。

多摄像机视频图像采集与同步：在对球场大小和形状有了测量后，选择靶面尺寸合适、视角合适的摄像机使之能拍摄到整个球场，调整摄像机焦距使之精确聚焦到球场中心位置。整个多摄像机同步采集系统需要布置至少4台枪型摄像机和至少2台半球型摄像机来同步采集整个球场的图像。要求这4台枪型摄像机相互对称地布置在球场四周的上方，其中每台枪型摄像机应至少与另外一台枪型摄像机有重合的球场拍摄区域。

视频图像预处理：考虑到球场环境因素如天气和光照等导致的外部状况不稳定以及运动球员和球场观众等造成的遮挡和干扰等问题，源输入图像往往会夹杂着各种类型噪声，这可能会对系统所关注的处理目标有干扰。因此，在图像分析之前，为了尽可能排除这些干扰，需要先对视频图像进行预处理操作。本发明的视频图像预处理采用了滤波处理、形态学处理和图像阈值化处理等技术，该类技术包括数值运算、集合运算、逻辑运算和数学形态运算的单一操作或组合操作，都是对视频图像空间域进行处理，目的即是在降噪去噪的同时来定向增强感兴趣区域的图像细节。

从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹：摄像机采集的视频序列具有连续性的特点。通过帧间差分法提取到候选球体团块，然后通过球体识别方法得到球体目标，在此基础上利用kalman滤波和模板匹配实现球体轨迹追踪，获取到球体二维轨迹。帧间差分法就采用了这样的思路。由于场景中运动目标的移动，运动目标的影像在不同图像帧中的像素位置不同。帧间差分法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减后判断灰度差的绝对值，如果该绝对值超过我们预设的阈值则认定为候选运动目标。对于包含候选运动目标的二值化图像进行连通性分析和HSV颜色信息筛选等操作，最终可以判别出球体目标。

其中，通过球体识别方法得到球体目标的方案实现如下：

运动球体的识别主要有两种有用的信息，第一：球体的颜色形状纹理等特征，第二：球体的运动轨迹信息。有效的融合这两种信息能够提高运动球体识别的准确性。本文建立在运动检测和团块提取获得运动球体的候选团块的基础上，首先对连续帧之间的候选球体团块进行轨迹预关联，然后根据计算预关联链表的几项关键特征，利用这几项关键特征进行分类器训练，判断该预关联链表是否满足球体运动的模型；最后如果该预关联链表满足球体的运动模型，则使用训练好的AdaBoost检测器确认运动球体。

本方法采用如下步骤完成：开始→候选球体团块→连续轨迹预关联→SVM轨迹分类器判别？是！→球体检测器再确认→是！确认球体→结束；SVM轨迹分类器判别、球体检测器再确认？否！→非球体→结束；建立球体预关联链表、噪声预关联链表→正样本二维特征提取、负样本二维特征提取→SVM轨迹分类器训练→输出至SVM轨迹分类器；取待判决预关联链表→预关联链表的二维特征提取、输入SVM轨迹分类器→球体预关联链表判决→判决得到是否为运动球体；分别整理正样本库和负样本库，并对正样本的球体子图进行尺寸归一化→球体AdaBoost检测器训练→输出至球体AdaBoost检测器；将预关联链表的最后节点子图→子图尺寸扩展得到W×H待检测子图、与球体AdaBoost检测器→球体检测器对待检测子图进行检测→判决得到是否为球体目标。采用归一化后的线性最小二乘误差和归一化后的速度方差两个特征描述训练基于轨迹的SVM分类器。采用轨迹信息和训练的SVM轨迹分类器对轨迹信息进行第一步判决，然后利用基于haar特征的AdaBoost检测器进行再确认，最终综合得到正确的判决结果。

轨迹的预关联

设连续M帧的候选球体团块为Blobs：

其中，T是连续预关联的帧数，N是在帧时候选球体团块的数量，为第t帧时第n个候选球体团块，的质心为

假设t-1时刻的预关联链表序列为其中，为t-1时刻预关联链表序列中的第m个预关联链表，它包含预关联目标的中心位置、高和宽，为预关联链表在t-1时刻的中心位置，如果第t-1帧的预关联链表和t帧之间的候选球体团块之间的质心距离小于某个阈值，则和为一个有效预关联组合。下面将对t-1预关联链表序列与t时刻的候选团块序列之间进行关联，并进行预关联链表序列的更新：

①情形一：如果对于某个预关联链表候选团块序列中不存在与之对应的有效预关联组合，则将该预关联链表删除。

②情形二：如果某个预关联链表候选团块序列中存在一个或者多个与之对应的有效预关联组合，则选取与距离最近的对进行更新。

③情形三：如果某个候选团块预关联链表序列中没有与之对应的预关联链表则用新建一个预关联链表。

如果预关联链表序列中存在长度大于等于M的预关联链表，则对该预关联链表进行后续的基于轨迹SVM分类器的判决。

轨迹SVM分类器判决

通常情况下，网球运动具有短时趋近匀速直线运动的特点，因此可以以此来区分球场中的噪声信息，有效提高网球的准确识别率。下面将针对轨迹信息计算得到的特征描述进行训练SVM分类器。

SVM分类器特征选择

根据球体的运动特点，本方法使用了如下两种特征描述进行SVM分类器的训练。

①特征一：归一化后的线性最小二乘误差(UniLinearError),设该N个轨迹点X方向的最小二乘误差为(ErrorLinearX)，Y方向的最小二乘误差为(ErrorLinearY)，该N帧的平均单帧运动距离(MeanDist)：

②特征二：归一化后的速度方差(UniSpeedVari)，首先计算得到该M帧的速度方差，然后用该M帧的运动距离进行相除实现归一化。

基于运动轨迹的运动球体识别步骤

实现步骤如下：

步骤一：建立M帧的预关联轨迹样本库，包括运动球体的预关联轨迹正样本库，噪声的预关联轨迹负样本库。

步骤二：提取正样本库和负样本库中的上述两种描述特征，利用该二维的特征训练轨迹的SVM分类器。

步骤三：对所有的预关联链表计算二维特征描述，使用步骤二训练好的轨迹SVM分类器判决该预关联链表是否为运动球体。

球体检测器的再确认

由于球场中某些噪声也会满足匀速线性运动的特点，如运动员挥拍以及手臂或者肢体的运动，为了更准确的识别运动球体，在运动符合的基础上，本方法增加了基于Haar特征的检测器，进一步识别是否为运动球体。

基于Haar特征的球体检测器训练和再确认步骤：

步骤一：整理建立球体的正样本，并对正样本进行尺寸归一化建立正样本库；在运动场视场中随机截取负样本建立负样本库。

步骤二：利用正样本库和负样本库进行球体检测器的训练。

步骤三：对SVM轨迹分类器判别为球体的预关联链表的末尾节点扩展成待检测子图，在扩展得到的待检测子图中进行球体的检测，如果存在球体，则确认该预关联链表对应的是运动球体，否则为噪声，完成运动球体识别。

通过三维重建提取目标的三维轨迹：本系统采用的是双目(多目)立体视觉三维重建。双目立体视觉理论建立在对人类视觉系统研究的基础上，通过双目立体图像的处理，获取场景三维信息，其结果表现为深度图，再经过进一步处理就可得到三维空间中的景物，实现二维图像到三维空间的重构。双目立体视觉系统中，获取深度信息的方法比其他方式比其它方式(如由影到形方法)较为直接，它是被动方式的，因而较主动方式(如程距法)适用面宽，这是它的突出特点。双目立体视觉系统中，深度信息的获得是分如下两步进行的：一是在双目立体图像间建立点点对应；二是根据对应点的视差计算出深度。第一部分，对应点问题，是双目立体视觉的关键；第二部分是摄像机模型问题。双目立体视觉中，双摄像机彼此参数一致，光轴平行且垂直于基线，构成一共极性结构，这样做是为了缩小对应的搜索空间，只有水平方向的视差，简化了对应过程。再结合1中多台摄像机的标定系数和4中各摄像机图像中的球体目标二维坐标位置，通过不同摄像机中球体二维坐标两两组合计算出球体目标的三维坐标位置，最后融合提取得到球体目标的三维轨迹。

球体目标运动模式识别和运动轨迹分析：部分现有方法使用的是间隔两帧的轨迹信息，但是识别不稳定，容易受噪声干扰。本系统采用了一种更通用化的运动模式识别流程，首先根据运动模式定义了基于位置状态定义的卷积核和基于位移状态定义的卷积核，然后通过卷积核计算得到该运动模式的匹配度，搜索最佳匹配模式，根据位置和位移的最佳匹配模式识别得到稳定的球体目标运动模式，然后在运动模式识别的基础上，进行裁判判决和数据的统计分析。从而完成了球体目标的运动轨迹分析。

具体地，本发明识别球体运动模式的具体实现方案如下：

其中，球体运动模式识别的基础是：通过三维重建提取到了球体的三维轨迹。

部分现有方法使用的是连续两帧的轨迹信息，但是识别不稳定，容易受噪声干扰。因此本方法使用局部多帧的轨迹信息和位移信息。为了使运动模式识别的流程更通用化，根据运动模式定义了卷积核，然后通过卷积核计算得到该运动模式的匹配度，搜索最佳匹配模式，根据位置和位移的最佳匹配模式识别得到球体的运动模式。

本发明包含三个部分：卷积核的定义，最佳匹配模式搜索、球体运动模式的识别。

1、运动模式的卷积核定义

基于位置状态定义的卷积核：

(1)A半场卷积核定义：{-1,-1,-1,-1,-1,-1,-1,-1,-1}

(2)B半场卷积核定义：{1,1,1,1,1,1,1,1,1}

(3)A半场过网到B半场卷积核定义：{1,1,1,1,1,-1,-1,-1,-1}

(4)B半场过网到A半场卷积核定义：{-1,-1,-1,-1,-1,1,1,1,1}

这四种卷积核对应的四种位置模式(Pos_Model_Type)，分别用式POS_ASIDE、POS_BSIDE、POS_NETAB、POS_NETBA表示。

基于位移状态定义的卷积核：

(1)A半场运动到B半场卷积核定义：{1,1,1,1,1,1,1,1}

(2)B半场运动到A半场卷积核定义：{-1,-1,-1,-1,-1,-1,-1,-1}

(3)A到B然后B到A卷积核定义：{-1,-1,-1,-1,1,1,1,1}

(4)B到A然后A到B卷积核定义：{1,1,1,1,-1,-1,-1,-1}

这四种卷积核对应的四种位移模式(Direct_Model_Type)，分别用DIRECT_ATOB、DIRECT_BTOA、DIRECT_ABTOBA、DIRECT_BATOAB表示。

2最佳匹配模式搜索

2.1基于位置的最佳匹配模式搜索

局部N帧位置：{(x₁,y₁，z₁),…,(x_N,y_N,z_N)}；

(1)卷积核PosKernel[j,i]，其中j为位置卷积核的类型，i为该卷积核的第i个值；

(2)Match_j为第j种模式的匹配度，基于位置的模式匹配度计算：

(3)在M种位置模式POS_ASIDE、POS_BSIDE、POS_NETAB、POS_NETBA中，搜索最佳匹配的模式：

MatchBest＝Max(Match₁,…,Match_M)

然后将MatchBest所对应的模式Pos_Model_Type作为位置的最佳匹配模式。

2.2基于位移的最佳匹配模式搜索

(1)局部N帧的位移：{(dx₁,dy₁,dz₁),…,(dx_N-1,dy_N-1,dz_N-1)}，其中：

(2)卷积核DirectKernel[j,i]，其中j为位移卷积核的类型，i为该卷积核第i个置。

(3)Match_j为第j种模式的匹配度，基于位移的模式匹配度计算：

(4)在M种位置模式DIRECT_ATOB、DIRECT_BTOA、DIRECT_ABTOBA、DIRECT_BATOAB中，搜索最佳匹配的模式：

MatchBest＝Max(Match₁,…,Match_M)；

然后将MatchBest所对应的模式Direct_Model_Type作为位移的最佳匹配模式。

3球体的运动模式识别

球体的运动模式包含两种类型：动作和稳定状态。

动作包括：A半场拍球动作、B半场拍球动作、A半场到B半场的过网动作、B半场到A半场的过网动作、A半场触网的动作、B半场触网的动作。

稳定状态包括：网球不可见、网球在A半场并从A半场运动到B半场、网球在A半场并从B半场运动到A半场、网球在B半场并从B半场运动到A半场、网球在B半场并从A半场运动到B半场。

下面将通过位置和位移的最佳匹配模式识别结果，识别出球体的运动模式。

3.1球体运动模式的定义

所有的球体运动模式：

enum emMotionModelType

{

NOT_VISBLIE＝-1,//球不可见

A_ATOB＝0,//球在A半场并从A半场运动到B半场

A_BTOA＝1,//球在A半场并从B半场运动到A半场

B_BTOA＝2,//球在B半场并从B半场运动到A半场

B_ATOB＝3//球在B半场并从A半场运动到B半场

A_HIT＝4,//A半场拍球动作

B_HIT＝5,//B半场拍球动作

OVER_NET_AB＝6,//A半场到B半场的过网动作

OVER_NET_BA＝7,//B半场到A半场的过网动作

A_HITNET＝8,//A半场触网的动作

B_HITNET＝9//B半场触网的动作

}；

3.2运动模式识别

该部分需要通过Pos_Model_Type位置模式和Direct_Model_Type位移模式判断不同的运动模式：

本方法通过局部多帧轨迹信息，能够去除轨迹中的噪声干扰，稳定识别出球体的运动状态。而且本方法应用范围广泛，适用于大部分的球体运动模式的识别。相比现有隐含马尔列夫模型和神经网络分类器的识别方法，本方法具有操作简便的特点。

以上操作方法主要是基于计算机视觉算法的分析处理，关键在于得到运动目标的精准三维坐标位置，并在三维轨迹的基础上进行应用层的分析。

如图3所示，本发明一种基于计算机视觉算法的智能球场系统的应用层包括如下内容：

运动数据收集、统计、分析和显示：以网球为例，运动员的运动数据如最高球速、平均发球速度、发球成功率、击球成功率和最高回合数等。这些运动数据从一定程度上展示了一个运动员的综合运动水平。因此，本系统能够实现对运动员单次或长期的训练和比赛的运动数据的收集、统计、分析和显示等功能。本模块能够产出一套对运动员的评分体系，帮助教练员和运动员进行运动水平的评估，具有重要的实际参考价值。

三维实景仿真和虚拟运动轨迹：构建虚拟环境一般需要4个步骤，场景造型、取景变换和光栅化、消隐及可见点处的光亮度计算。首先，对真实世界进行抽象，建立数学模型，然后给定观察点和观察方向，利用虚拟现实技术对模型进行着色、消隐、光照、纹理映射以及投影等一系列处理。本系统使用3DMax等3D绘图软件绘制出球场模型、球体模型和运动员模型等几何体元素，利用Open Scene Graphic等三维图形开发引擎库来完成这些几何体元素的渲染工作，从而实现对体育比赛场地的虚拟场景生成。而对于运动轨迹的虚拟，需要借助由核心层获取到的球体运动三维空间坐标，平滑处理得到完整的运动轨迹，并将之融合到虚拟球场中。

运动视频直播、剪辑及存储：将球型摄像机采集到的运动视频推流到服务器上，由服务器进行直播、剪切及存储等操作。本系统的直播由已获取直播视频流的服务器将运动视频转发到移动终端等其他设备，使用户能够在多种终端上实时观看。本系统的剪辑结合了本系统核心层的分析处理结果，针对运动视频中的精彩运动瞬间和精彩运动片段进行自动截取，并在这些剪切后的视频中嵌入相关运动数据显示。本系统的存储由服务器完成，将运动视频备份在硬盘中，可供用户随时观赏。

相比现有及是，本发明一种基于计算机视觉的智能球场通过硬件平台和软件平台实现了运动场智能化，能对球体目标进行检测和跟踪，并能针对运动进行数据分析和综合应用。此外，通过基于计算机视觉的智能球场核心层部分实现了球体目标运动轨迹的提取，通过基于计算机视觉的智能球场应用层部分实现了运动数据的分析和应用功能拓展。

本发明系统能够实现运动定位及轨迹追踪，精准地获取结构化的运动数据，并实现裁判和数据统计，同时可以作为大小型常规比赛和日常多种模式训练中的数据分析，具有精确度高、适用面广、效率高和造价低等特点。

此外，本发明还提出一种基于计算机视觉算法的运动场智能化实现系统，其特征在于，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如上所述的基于计算机视觉算法的运动场智能化实现方法的步骤。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，电视机，电脑等)执行本发明各个实施例的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于计算机视觉算法的运动场智能化系统，其特征在于，所述系统包括：至少一台处理器，至少四台枪型摄像机和至少两台半球型摄像机，所述至少四台枪型摄像机和至少两台半球型摄像机与所述至少一台处理器通讯连接，用于同步采集整个运动场的图像，其中：所述至少四台枪型摄像机相互对称地布置在运动场四周的上方，每台枪型摄像机至少与另外一台枪型摄像机有重合的运动场拍摄区域；所述至少一台处理器用于根据各摄像机采集的图像实现运动场智能化。

2.根据权利要求1所述的基于计算机视觉算法的运动场智能化系统，其特征在于，所述至少一台处理器根据各摄像机采集的图像实现运动场智能化包括：通过识别运动场标志线实现摄像机的标定；控制各摄像机同步采集整个运动场的视频图像；视频图像预处理；从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹；通过三维重建提取球体目标的三维轨迹；球体目标运动模式识别和运动轨迹分析；运动数据收集、统计、分析和显示；三维实景仿真和虚拟运动轨迹；运动视频直播、剪辑及存储。

3.根据权利要求1所述的基于计算机视觉算法的运动场智能化系统，其特征在于，所述处理器的CPU是主频在3.0GHz以上、至少4核8线程的CPU；所述枪型摄像机和半球型摄像机是指帧速率在20fps以上、像素个数在50万以上的、可采集黑白或彩色图像的、畸变小的工业摄像机。

4.一种基于计算机视觉算法的运动场智能化实现方法，其特征在于，所述方法应用于运动场智能化系统，所述系统包括：至少一台处理器，至少四台枪型摄像机和至少两台半球型摄像机，所述至少四台枪型摄像机和至少两台半球型摄像机与所述至少一台处理器通讯连接，所述方法包括以下步骤：

通过识别运动场标志线实现摄像机的标定；

控制各摄像机同步采集整个运动场的视频图像；

通过三维重建提取球体目标的三维轨迹。

5.根据权利要求4所述的基于计算机视觉算法的运动场智能化实现方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的基于计算机视觉算法的运动场智能化实现方法，其特征在于，所述方法还包括：

对所述球体目标的运动数据进行收集、统计、分析和显示；

7.根据权利要求4所述的基于计算机视觉算法的运动场智能化实现方法，其特征在于，所述控制各摄像机同步采集整个运动场的视频图像的步骤之后，还包括：

对所述视频图像进行预处理。

8.根据权利要求7所述的基于计算机视觉算法的运动场智能化实现方法，其特征在于，所述对所述视频图像进行预处理的步骤包括：

9.根据权利要求4所述的基于计算机视觉算法的运动场智能化实现方法，其特征在于，所述从视频图像中检测出球体目标并进行轨迹追踪以获得球体目标二维轨迹的步骤包括：

10.一种基于计算机视觉算法的运动场智能化实现系统，其特征在于，包括存储器、处理器、以及存储在所述存储器上的计算机程序，所述计算机程序被所述处理器运行时实现如权利要求4-9中所述的基于计算机视觉算法的运动场智能化实现方法的步骤。