CN106780620A - 一种乒乓球运动轨迹识别定位与跟踪系统及方法 - Google Patents

Abstract

本发明涉及图像处理和机器视觉领域，具体涉及一种乒乓球运动轨迹识别定位与跟踪系统及方法，通过两台高速高清摄像机实时采集乒乓球运动时的图像；对采集的图像进行目标识别和空间定位后形成数据，并对该数据进行滤波和跟踪，得到乒乓球轨迹信息；通过乒乓球目标跟踪模块得到的乒乓球轨迹信息，并结合摄像机内外部参数，进行模拟重现乒乓球三维运行轨迹。本发明能够解决复杂背景变化的干扰和对快速运动目标的跟踪实时性不高的问题，提升跟踪采集高速移动目标的图像信息的准确性。

Description

一种乒乓球运动轨迹识别定位与跟踪系统及方法

【技术领域】

本发明涉及图像处理和机器视觉领域，具体涉及一种乒乓球轨迹识别定位与跟踪系统及方法。

【背景技术】

传统Mean-Shift目标跟踪算法以颜色信息或边缘信息作为特征进行描述，缺少空间信息和必要的模板更新。传统的颜色特征为颜色直方图，该方法需要计算每一个颜色区域中像素的数目，即便是最快的检测算法，也必须要有底层运算采用对图像点阵数据逐点扫描的操作，使了该算法的计算效率降低。此外，当对快速运动目标进行识别跟踪时，又会出现形变或目标跟踪丢失的情况。并且在乒乓球运动中，乒乓球又具有体积小、表面光滑容易反光等特点，增加了乒乓球识别的难度。在高速运动时乒乓球整个有效行程仅持续0.5s左右，使得准确检测和识别乒乓球任务非常困难。

本发明提出的一种乒乓球运动轨迹识别定位与跟踪系统中，运用高速高清摄像机采集乒乓球运动视频，解决了普通摄像机采集快速运动目标时容易发生形变的缺点。其中在融合运动信息和预测机制的改进Mean-Shift目标跟踪算法和传统Mean-Shift目标跟踪算法对乒乓球运动轨迹识别定位与跟踪的对比试验中，本发明提出的跟踪算法对乒乓球运动轨迹都能进行准确的跟踪，但Mean-Shift目标跟踪算法明显有几帧无法实现准确跟踪，并且在视频的处理速度上本发明提出的算法明显优于传统Mean-Shift算法。

【发明内容】

针对现有技术中存在的上述问题，本发明的目的在于提供一种乒乓球轨迹识别定位与跟踪系统及方法，旨在解决在复杂背景和目标快速运动的情况时，现有技术无法对乒乓球进行实时准确跟踪的问题，不仅提高了图像采集的准确性，还提高了实时跟踪的准确性。

本发明的目的通过如下技术方案实现：

一种乒乓球轨迹识别定位与跟踪系统，包括：

实时图像采集和传输模块，包括两台高速高清摄像机，用于实时采集乒乓球运动时的图像；

乒乓球目标识别定位和跟踪模块，用于对实时图像采集和传输模块采集的图像进行目标识别和空间定位后形成数据，并对该数据进行滤波和跟踪，得到乒乓球轨迹信息；

摄像机标定模块，用于对摄像机的内外部参数进行标定；

运行轨迹三维重建模块，用于接收乒乓球目标跟踪模块得到的乒乓球轨迹信息，并与摄像机标定模块得到的摄像机内外部参数结合，进行模拟重现乒乓球三维运行轨迹。

所述实时图像采集和传输模块还包括两个光源，一个双路高清HDMI视频采集卡和一台电脑，两台高速高清摄像机设置在乒乓球桌同侧，机身均距离地面1米，两台高速高清摄像机沿乒乓球网架所在平面对称，分别相距网架所在平面50厘米，且镜头正对于乒乓球桌，视野交叉覆盖整个乒乓球运动有效区域；两个光源分别位于两台高速高清摄像机的左右两侧，与摄像机同处于一个水平面和垂直面，且分别相距网架所在平面1米；两个光源光照方向与网架所在平面夹角均为30度，光照交叉覆盖整个乒乓球运动有效区域；两台高速高清摄像机分别与双路高清HDMI视频采集卡的一个端口连接，使摄像机拍摄到的视频通过采集卡传输到电脑上，完成了实时图像采集和传输。

所述实时图像采集和传输模块的采集帧频为2000FPS。

一种乒乓球轨迹识别定位与跟踪方法，包括如下步骤：

Step1，通过两台高速高清摄像机实时采集乒乓球运动时的图像；

Step2，对Step1采集的图像进行目标识别和空间定位后形成数据，并对该数据进行滤波和跟踪，得到乒乓球轨迹信息；

Step3，通过乒乓球目标跟踪模块得到的乒乓球轨迹信息，并结合摄像机内外部参数，进行模拟重现乒乓球三维运行轨迹。

所述Step2包括如下步骤：

Step21，获取Step1采集得到的第一帧图像；

Step22，检测乒乓球目标在图像上是否出现，当目标未出现时，检测下一帧，直到检测到目标出现；

Step23，选取乒乓球目标出现的目标模板，并根据融合运动信息的目标模板提取方法计算目标模板概率函数

Step24，初始化最优状态估计、估计误差协方差、缩放因子、观测增益矩阵、传递矩阵、输入控制矩阵和乒乓球目标的状态向量；

Step25，预测乒乓球目标位置y_k；

Step26，根据融合运动信息的目标模板提取方法计算候选目标概率函数

Step27，计算Battacharyya系数ρ(y)，对ρ(y)在处泰勒展开，得新的目标位置y_k+1，并输入下一帧，重复步骤Step25至Step27，确定所采集图像每一帧中乒乓球的位置，得到乒乓球的二维图像坐标。

所述Step23或Step26中，根据融合运动信息的目标模板提取方法计算第k帧时的目标模板概率函数和候选目标概率函数过程如下：

Step221，根据Mean-shift目标跟踪算法计算目标模板概率函数q_u和候选目标概率函数p_u(y_k)：

其中，x_i ^*是目标区域归一化后的图像像素点，并且i＝1,2,…,n为正整数，像素点的个数为n，

x_i为候选目标模板中第i样本点，并且i＝1,2,…,n_h为正整数，且样本点的个数为n_h，

k(x)为均方误差最小的Epanechiov核函数，

δ(x)为狄拉克函数，

b(x)为x处的像素灰度值，

概率特征u＝1,2,…,m，u为正整数，且m为特征空间的个数，

δ[b(x_i)-u]用于判断像素x_i是否属于直方图第u个特征区间，

y_k为第k帧中目标中心坐标，k为视频的帧数，

h为候选目标的尺度，

C为使的标准化的常量系数，且

C_h为使的标准化的常量系数，且

Step222，运用背景差分法获取目标的运动区域，定义二值化差分值Binary(x_i)为：

Step223，建立背景加权模板，定义目标模板和所述候选目标模板的变换为：

其中，{F_u}_{u＝1,2,3…,l}是特征空间背景上的离散特征点，l为离散特征点的个数，

F_u ^*是最小的非零特征值，

w_i是对ρ(y)在处泰勒展开得到的权值；

Step224，建立目标加权模板，设定目标中心的权值为1，边缘处的权值趋近于0，则中间任一点(X_i,Y_i)处的权值为：

其中，a,b分别为目标跟踪过程中初始化窗口的一半，

(X₀,Y₀)为矩形框的中心，

(X_i,Y_i)为目标中间任意一点的坐标；

Step225，确定融合运动信息并进行背景加权和目标加权后的目标模板概率函数和所述候选目标概率函数

其中，x_i ^*是目标区域归一化后的图像像素点，并且i＝1,2,…,n为正整数，像素点的个数为n，

x_i为候选目标模板中第i样本点，并且i＝1,2,…,n_h为正整数，且样本点的个数为n_h，

k(x)为均方误差最小的Epanechiov核函数，

δ(x)为狄拉克函数，

b(x)为x处的像素灰度值，

概率特征u＝1,2,…,m，u为正整数，且m为特征空间的个数，

δ[b(x_i)-u]用于判断像素x_i是否属于直方图第u个特征区间，

y_k为第k帧中目标中心坐标，k为视频的帧数，

h为候选目标的尺度，

C^*为使的标准化的常量系数，且 的标准化常量系数，且

所述Step23中，融合运动信息和预测机制的改进mean-shift目标跟踪算法通过背景差分法去除背景图像的干扰，再利用Mean-shift算法中的颜色特征对目标进行提取；所述背景差分法通过建立目标加权模板，使目标中心的权值最大，来减少遮挡的影响，以去除背景图像的干扰。

所述Step24中，目标状态向量用表示，且

其中，(x,y)为目标中心点在图像中的像素坐标，

v_x是目标中心点在图像坐标x轴上的运动速度，

v_y是目标中心点在图像坐标y轴上的运动速度，

后一帧像素坐标减去前一帧像素坐标除以两帧时间差可得到后一帧的目标运动速度，将目标模板中心所在位置作为初始化目标位置，目标中心点的运动速度初始化为0；

初始化最优状态估计此状态估计包括目标中心点在图像中的像素坐标估计，以及中心点在x轴上和y轴上的运动速度估计，使

初始化估计误差协方差p₀，使p₀为四阶零矩阵，

初始化缩放因子为小于0.1的四阶单位矩阵，

初始化观测增益矩阵H，使

初始化传递矩阵F，使

其中，dt为两帧间的时间差，

初始化输入控制Bu_k-1，使α₁表示x方向上的加速度，α₂表示y方向上的加速度，在乒乓球的运动中我们认为其在x方向上做匀速运动，因此输入控制

所述Step25中，预测乒乓球目标位置y_k时，在Kalman滤波算法的基础上，圈定目标搜索区域，而进行的检测算法，具体步骤为：

Step251，根据状态估计方程由上一帧位置计算下一时刻状态估计值

其中，F为传递矩阵，u_k-1为系统的控制量，B为联系系统控制量的系数矩阵，这三项均在Step24中进行了初始化，

为k-1时刻的最优状态估计矩阵，

为k时刻的状态估计矩阵；

Step252，由方程计算下一时刻估计协方差

其中，P_k-1为k-1时刻的估计误差协方差，

为k时刻的最优估计误差协方差，

F^T为传递矩阵F的转置矩阵，

Q为缩放因子；

Step253，根据下一时刻状态估计值圈定目标检测区域，在圈定区域检索目标获取目标观测值z_k；

Step254，由方程计算增益因子K_k，再代入方程中修正最优估计，得所述下一时刻目标位置

其中，K_k为增益因子，

H为观测增益矩阵，

H^T为观测增益矩阵H的转置矩阵，

R为缩放因子，

为k时刻的最优状态估计矩阵。

Step255，由方程修正最优估计误差协方差p_k，

其中，p_k为k时刻最优估计误差协方差。

所述Step3步骤具体为：

(1)根据Step2分别得到两台高速高清摄像机图像中的乒乓球轨迹信息；

(2)根据同一时刻两台摄像机拍摄的视频帧，由(1)分别获得其中乒乓球的二维坐标；

(3)根据两台高速高清摄像机的内外部参数和同一时刻乒乓球在两台摄像机中的二维坐标，由最小二乘法获得当前时刻乒乓球的空间三维坐标；

(4)重复步骤(2)至步骤(3)，完成对所拍摄图像中每一时刻对应的乒乓球空间三维坐标的求取；

(5)根据每一时刻的乒乓球三维坐标，绘制乒乓球三维空间运动轨迹。

与现有技术相比，本发明具有如下有益效果：

本发明通过实时图像采集和传输模块把采集到的图像传输到乒乓球目标识别定位与跟踪模块，经过目标识别，空间定位，再对数据进行滤波和跟踪，得到跟踪结果；再将得到的乒乓球空间信息和摄像机标定得到的内外部参数一起送入运行轨迹三维重建模块，模拟重现三维运行轨迹。

进一步的，在本发明中，运用高速高清摄像机采集乒乓球运动视频，解决了普通摄像机采集快速运动目标时容易发生形变的缺点。

进一步的，在融合运动信息和预测机制的改进Mean-Shift目标跟踪算法和传统Mean-Shift目标跟踪算法对乒乓球运动轨迹识别定位与跟踪的对比试验中，本发明提出的跟踪算法对乒乓球运动轨迹都能进行准确的跟踪，但Mean-Shift目标跟踪算法明显有几帧无法实现准确跟踪，并且在视频的处理速度上本发明提出的算法明显优于传统Mean-Shift算法。

【附图说明】

图1为本发明的乒乓球轨迹识别定位与跟踪系统的结构示意图；

图2为本发明的融合运动信息和预测机制的改进mean-shift目标跟踪算法流程图；

图3为快速Kalman滤波算法流程图；

图4本发明的目标跟踪效果图；

图5本发明的乒乓球运行轨迹三维重建图。

【具体实施方式】

为了加深对本发明的理解，下面结合附图以及具体实施方式，对本发明做进一步说明。

如图1所示，本发明的乒乓球轨迹识别定位与跟踪系统包括以下几个模块组成：实时图像采集和传输模块、摄像机标定模块、乒乓球目标识别定位和跟踪模块、运行轨迹三维重建模块。所述系统架构流程是：实时图像采集和传输模块把采集到的图像传输到乒乓球目标识别定位与跟踪模块，乒乓球目标识别定位与跟踪模块经过目标识别和空间定位，再对数据进行滤波和跟踪，得到跟踪结果；再将得到的乒乓球空间信息和摄像机标定得到的内外部参数一起送入运行轨迹三维重建模块，模拟重现三维运行轨迹。

其中各模块的具体结构如下：

(1)实时图像采集和传输模块：该模块为硬件模块，包括两台高速高清摄像机，两个光源，一个双路高清HDMI视频采集卡和一台电脑；

其中，两台高速高清摄像机分布于乒乓球桌同侧，机身均距离地面1米，两台高速高清摄像机沿乒乓球网架所在平面对称，分别相距网架所在平面50厘米，且镜头正对于乒乓球桌，视野交叉覆盖整个乒乓球运动有效区域；

两个光源分别位于两台高速高清摄像机的左右两侧，与摄像机同处于一个水平面和垂直面，且分别相距网架所在平面1米；两个光源光照方向与网架所在平面夹角均为30度，光照交叉覆盖整个乒乓球运动有效区域；

双路高清HDMI视频采集卡安装在电脑主板的插槽里，再通过两条HDMI数据线分别与两台高速高清摄像机相连，实现了摄像机和电脑的连接。电脑上安装高清导播切换台系统软件，并通过这个软件来实现两台摄像机的同时采集和结束，视频保存在电脑硬盘中。

(2)摄像机标定模块：该模块采用张正友摄像机标定法，用MATLAB编程，实现对两台摄像机的标定，得到其内外部参数。

(3)乒乓球目标识别定位与跟踪模块：该模块即采用本发明的融合运动信息和预测机制的改进mean-shift目标跟踪算法，用MATLAB编程，求出乒乓球的二维坐标。

(4)运行轨迹三维重建模块：此模块根据摄像机标定模块得到的两台摄像机的内外部参数，和乒乓球目标识别定位与跟踪模块得到的乒乓球的二维坐标，运用MATLAB编程，根据最小二乘法求出乒乓球的三维空间坐标，并绘出乒乓球三维运动轨迹。

高速高清相机，其帧频为2000FPS，即该相机可以在复杂背景变化干扰的情况下，以2000FPS的帧频速度实时跟踪高速运动的乒乓球。

本发明的乒乓球轨迹识别定位与跟踪方法，具体实施步骤包括：

Step1，采用含有两个高速摄像机的图像采集装置分别对快速运动的乒乓球进行图像采集；

Step2，针对采集得到的两个视频图像，分别运用融合运动信息和预测机制的改进mean-shift目标跟踪算法，确定所采集图像每一帧中乒乓球的位置，得到的乒乓球的二维图像坐标；

Step3，结合采集得到的两个视频图像中乒乓球的位置即乒乓球的二维图像坐标和两台摄像机的内外部参数，运用最小二乘法计算得出乒乓球三维空间信息，进行三维运动轨迹重建，处理得到乒乓球的空间运动轨迹，进行三维运动轨迹重建过程如下步骤：

(1)根据Step2分别得到两台摄像机拍摄的图像中的乒乓球二维轨迹信息；

(2)从电脑硬盘中取出同一时刻两台摄像机拍摄的视频帧，由(1)分别获得其中乒乓球的二维坐标；

(3)根据两台摄像机的内外部参数和同一时刻乒乓球在两台摄像机中的二维坐标，由最小二乘法获得当前时刻乒乓球的空间三维坐标；

(4)重复步骤(2)至步骤(3)，完成对所拍摄图像中每一时刻对应的乒乓球空间三维坐标的求取；

(5)根据每一时刻的乒乓球三维坐标，绘制乒乓球三维空间运动轨迹。

融合运动信息和预测机制的改进mean-shift目标跟踪算法如图2所示，具体实施步骤为Step21至Step27：

Step21，获取Step1采集得到的第一帧图像；

Step22，检测乒乓球目标在图像上是否出现，当目标未出现时，检测下一帧，直到检测到目标出现；

Step23，选取乒乓球目标出现的目标模板，并根据融合运动信息的目标模板提取方法计算目标模板概率函数

Step24，初始化最优状态估计、估计误差协方差、缩放因子、观测增益矩阵、传递矩阵、输入控制矩阵和乒乓球目标的状态向量；

其中，目标状态向量用表示，且

(x,y)为目标中心点在图像中的像素坐标，

v_x是目标中心点在图像坐标x轴上的运动速度，

v_y是目标中心点在图像坐标y轴上的运动速度，

后一帧像素坐标减去前一帧像素坐标除以两帧时间差可得到后一帧的目标运动速度，将目标模板中心所在位置作为初始化目标位置，目标中心点的运动速度初始化为0；

初始化最优状态估计此状态估计包括目标中心点在图像中的像素坐标估计，以及中心点在x轴上和y轴上的运动速度估计，使

初始化估计误差协方差p₀，使p₀为四阶零矩阵，

初始化缩放因子为小于0.1的四阶单位矩阵，

初始化观测增益矩阵H，使

初始化传递矩阵F，使

其中，dt为摄像头两帧间的时间差，

u_k-1为系统的控制量，B为联系系统控制量的系数矩阵，初始化输入控制Bu_k-1，使其中，α₁表示x方向上的加速度，α₂表示y方向上的加速度，在乒乓球的运动中我们认为其在x方向上做匀速运动，因此使输入控制

Step25，通过滤波器预测乒乓球目标位置y_k，在Kalman滤波算法的基础上，圈定目标搜索区域，而进行的检测算法；

Step26，根据融合运动信息的目标模板提取方法计算在y_k处的候选目标概率函数

Step27，计算Battacharyya系数ρ(y)，对ρ(y)在处泰勒展开，得新的目标位置y_k+1，并输入下一帧，重复步骤Step25至Step27，确定所采集图像每一帧中乒乓球的位置，得到乒乓球的二维图像坐标。

以第k帧为例，本发明的融合运动信息的目标模板提取方法计算目标模板概率函数和候选目标概率函数过程如下：

Step221，根据Mean-shift目标跟踪算法计算目标模板概率函数q_u和候选目标概率函数p_u(y_k)：

其中，x_i ^*是目标区域归一化后的图像像素点，并且i＝1,2,…,n为正整数，像素点的个数为n，x_i为候选目标模板中第i样本点，并且i＝1,2,…,n_h为正整数，且样本点的个数为n_h，

k(x)为均方误差最小的Epanechiov核函数，

δ(x)为狄拉克函数，

b(x)为x处的像素灰度值，

概率特征u＝1,2,…,m，u为正整数，且m为特征空间的个数，

δ[b(x_i)-u]用于判断像素x_i是否属于直方图第u个特征区间，

y_k为第k帧中目标中心坐标，k为视频的帧数，

h为候选目标的尺度，

C为使的标准化的常量系数，且

C_h为使的标准化的常量系数，且

Step222，运用背景差分法获取目标的运动区域，定义二值化差分值Binary(x_i)为：

Step223，建立背景加权模板，定义目标模板和所述候选目标模板的变换为：

其中，{F_u}_{u＝1,2,3…,l}是特征空间背景上的离散特征点，l为离散特征点的个数，

是最小的非零特征值，

w_i是对ρ(y)在处泰勒展开得到的权值；

Step224，建立目标加权模板，设定目标中心的权值为1，边缘处的权值趋近于0，则中间任一点(X_i,Y_i)处的权值为：

其中，a,b分别为目标跟踪过程中初始化窗口的一半，

(X₀,Y₀)为矩形框的中心，

(X_i,Y_i)为目标中间任意一点的坐标；

Step225，确定融合运动信息并进行背景加权和目标加权后的目标模板概率函数和所述候选目标概率函数

其中，x_i ^*是目标区域归一化后的图像像素点，并且i＝1,2,…,n为正整数，像素点的个数为n，

x_i为候选目标模板中第i样本点，并且i＝1,2,…,n_h为正整数，且样本点的个数为n_h，

k(x)为均方误差最小的Epanechiov核函数，

δ(x)为狄拉克函数，

b(x)为x处的像素灰度值，

概率特征u＝1,2,…,m，u为正整数，且m为特征空间的个数，

δ[b(x_i)-u]用于判断像素x_i是否属于直方图第u个特征区间，

y_k为第k帧中目标中心坐标，k为视频的帧数，

h为候选目标的尺度，

C^*为使的标准化的常量系数，且

为使的标准化常量系数，且

该预测机制是在Kalman滤波算法的基础上，圈定目标搜索区域，而进行的检测算法，如图3所示，其具体步骤为：

Step251，根据状态估计方程由上一帧位置计算下一时刻状态估计值

其中，F为传递矩阵，u_k-1为系统的控制量，B为联系系统控制量的系数矩阵，这三项均在Step24中进行了初始化，

为k-1时刻的最优状态估计矩阵，

为k时刻的状态估计矩阵。

Step252，由方程计算下一时刻估计协方差

其中，P_k-1为k-1时刻的估计误差协方差，

为k时刻的最优估计误差协方差，

F^T为传递矩阵F的转置矩阵，

Q为缩放因子，

Step253，根据下一时刻状态估计值圈定目标检测区域，在圈定区域检索目标获取目标观测值z_k；

Step254，由方程计算增益因子K_k，再代入方程中修正最优估计，得所述下一时刻目标位置

其中，K_k为增益因子，

H为观测增益矩阵，

H^T为观测增益矩阵H的转置矩阵，

R为缩放因子，

为k时刻的最优状态估计矩阵。

Step255，由方程修正最优估计误差协方差p_k，

其中，p_k为k时刻最优估计误差协方差。

确定运动目标的预测位置后，根据该预测位置转换得到该移动目标在实际场景下的真实位置，该实际位置是通过泰勒公式得到的，具体实施步骤是：在传统的Mean-shift跟踪算法中，在求得目标模板和候选目标的灰度概率函数之后，利用目标模板和候选目标之间的距离来定义其相似度，即ρ(y)。因此在本发明中对ρ(y)在处泰勒展开迭代得到新目标的位置。

如图4所示，为本发明的乒乓球运行轨迹跟踪效果图，针对传统的Mean-shift跟踪算法无法解决复杂背景变化的干扰和对快速运动目标的跟踪实时性不高的问题，本发明在Mean-shift算法的基础上进行改进，首先，引入运动信息并和颜色信息相融合作为目标特征，使目标特征在跟踪过程中更好的突出；然后，对背景模板和目标模板进行加权，提取加权后的模板；同时引进快速Kalman滤波算法，并以预测位置作为迭代位置，减少了目标模板与候选目标模板的匹配搜索时间冗余，保证了目标空间运动过程中的一致性和连贯性，实现了对快速运动目标的准确跟踪。

如图5所示，为乒乓球运行轨迹三维重建图，本发明所述的运动轨迹三维重建模块为基于MATLAB的运动轨迹三维重建，可将乒乓球的运行轨迹进行空间三维重建，直观地显示乒乓球位置。

上述方法中运动轨迹三维重建采用如下方法：

(1)根据融合运动信息和预测机制的改进mean-shift目标跟踪算法分别得到两台摄像机拍摄的图像中的乒乓球二维坐标信息；

(2)从电脑硬盘中取出同一时刻两台摄像机拍摄的视频帧，由(1)分别获得其中乒乓球的二维坐标；

(3)根据两台摄像机的内外部参数和同一时刻乒乓球在两台摄像机中的二维坐标，由最小二乘法获得当前时刻乒乓球的空间三维坐标；

(4)重复步骤(2)至步骤(3)，完成对所拍摄图像中每一时刻对应的乒乓球空间三维坐标的求取；

(5)根据每一时刻的乒乓球三维坐标，绘制乒乓球三维空间运动轨迹。

在颜色特征的跟踪算法中，由于复杂背景的影响，所提取的颜色特征中一般都包含一些与所述目标颜色相似的背景颜色，导致在寻找所述目标中心的过程中会受到这些相似背景颜色的干扰，鉴于此，该算法首先采用背景差分法去除背景图像的干扰，再利用Mean-shift算法中的颜色特征对目标进行提取，从而有效地区别目标像素和背景像素。

由于运动目标追踪时所述目标被遮挡情况的出现会致目标跟踪的偏差，甚至丢失，因此，这里通过建立目标加权模板，使目标中心的权值最大，来减少遮挡的影响，又因为在目标跟踪过程中，背景信息和目标信息的相关性，直接影响目标定位的结果，但在Mean-shift算法中，缺乏对背景信息和目标信息有效区分的研究，因此采用背景加权模板，可以较为有效的突出所述目标特征，从而减少迭代次数，使得目标跟踪的效果显著提高。

本发明公开的乒乓球轨迹实时定位与跟踪系统及方法，在Mean-shift目标跟踪算法的基础上，首先运用背景差分法获取目标的运动区域，并对运动区域进行基于RGB颜色特征的模板提取，来减少复杂背景对目标特征的影响。其次，引进快速Kalman滤波算法，以预测位置作为迭代位置，在减少跟踪误差的同时提高运算速度。本发明改进了以往仅通过颜色来进行特征提取的方法，通过引入运动信息并和颜色信息相融合作为目标特征，使目标特征在跟踪过程中更好的突出，并对背景模板和目标模板进行加权，提高了该算法的准确性和鲁棒性，为运动目标的实时跟踪提供了可能。

Claims (10)

1.一种乒乓球轨迹识别定位与跟踪系统，其特征在于，包括：

实时图像采集和传输模块，包括两台高速高清摄像机，用于实时采集乒乓球运动时的图像；

乒乓球目标识别定位和跟踪模块，用于对实时图像采集和传输模块采集的图像进行目标识别和空间定位后形成数据，并对该数据进行滤波和跟踪，得到乒乓球轨迹信息；

摄像机标定模块，用于对摄像机的内外部参数进行标定；

运行轨迹三维重建模块，用于接收乒乓球目标跟踪模块得到的乒乓球轨迹信息，并与摄像机标定模块得到的摄像机内外部参数结合，进行模拟重现乒乓球三维运行轨迹。

2.根据权利要求1所述的一种乒乓球轨迹识别定位与跟踪系统，其特征在于，所述实时图像采集和传输模块还包括两个光源，一个双路高清HDMI视频采集卡和一台电脑，两台高速高清摄像机设置在乒乓球桌同侧，机身均距离地面1米，两台高速高清摄像机沿乒乓球网架所在平面对称，分别相距网架所在平面50厘米，且镜头正对于乒乓球桌，视野交叉覆盖整个乒乓球运动有效区域；两个光源分别位于两台高速高清摄像机的左右两侧，与摄像机同处于一个水平面和垂直面，且分别相距网架所在平面1米；两个光源光照方向与网架所在平面夹角均为30度，光照交叉覆盖整个乒乓球运动有效区域；两台高速高清摄像机分别与双路高清HDMI视频采集卡的一个端口连接，使摄像机拍摄到的视频通过采集卡传输到电脑上，完成了实时图像采集和传输。

3.根据权利要求1所述的一种乒乓球轨迹识别定位与跟踪系统，其特征在于，所述实时图像采集和传输模块的采集帧频为2000FPS。

4.一种乒乓球轨迹识别定位与跟踪方法，基于权利要求1所保护的乒乓球轨迹识别定位与跟踪系统，其特征在于，包括如下步骤：

Step1，通过两台高速高清摄像机实时采集乒乓球运动时的图像；

Step2，对Step1采集的图像进行目标识别和空间定位后形成数据，并对该数据进行滤波和跟踪，得到乒乓球轨迹信息；

Step3，通过乒乓球目标跟踪模块得到的乒乓球轨迹信息，并结合摄像机内外部参数，进行模拟重现乒乓球三维运行轨迹。

5.根据权利要求4所述的一种乒乓球轨迹识别定位与跟踪方法，其特征在于，所述Step2包括如下步骤：

Step21，获取Step1采集得到的第一帧图像；

Step22，检测乒乓球目标在图像上是否出现，当目标未出现时，检测下一帧，直到检测到目标出现；

Step23，选取乒乓球目标出现的目标模板，并根据融合运动信息的目标模板提取方法计算目标模板概率函数

Step24，初始化最优状态估计、估计误差协方差、缩放因子、观测增益矩阵、传递矩阵、输入控制矩阵和乒乓球目标的状态向量；

Step25，预测乒乓球目标位置y_k；

Step26，根据融合运动信息的目标模板提取方法计算候选目标概率函数

Step27，计算Battacharyya系数ρ(y)，对ρ(y)在处泰勒展开，得新的目标位置y_k+1，并输入下一帧，重复步骤Step25至Step27，确定所采集图像每一帧中乒乓球的位置，得到乒乓球的二维图像坐标。

6.根据权利要求5所述的一种乒乓球轨迹识别定位与跟踪方法，其特征在于，所述Step23或Step26中，根据融合运动信息的目标模板提取方法计算第k帧时的目标模板概率函数和候选目标概率函数过程如下：

Step221，根据Mean-shift目标跟踪算法计算目标模板概率函数q_u和候选目标概率函数p_u(y_k)：

其中，x_i ^*是目标区域归一化后的图像像素点，并且i＝1,2,…,n为正整数，像素点的个数为n，

x_i为候选目标模板中第i样本点，并且i＝1,2,…,n_h为正整数，且样本点的个数为n_h，

k(x)为均方误差最小的Epanechiov核函数，

δ(x)为狄拉克函数，

b(x)为x处的像素灰度值，

概率特征u＝1,2,…,m，u为正整数，且m为特征空间的个数，

δ[b(x_i)-u]用于判断像素x_i是否属于直方图第u个特征区间，

y_k为第k帧中目标中心坐标，k为视频的帧数，

h为候选目标的尺度，

C为使的标准化的常量系数，且

C_h为使的标准化的常量系数，且

Step222，运用背景差分法获取目标的运动区域，定义二值化差分值Binary(x_i)为：

Step223，建立背景加权模板，定义目标模板和所述候选目标模板的变换为：

其中，{F_u}_{u＝1,2,3…,l}是特征空间背景上的离散特征点，l为离散特征点的个数，

F_u ^*是最小的非零特征值，

w_i是对ρ(y)在处泰勒展开得到的权值；

Step224，建立目标加权模板，设定目标中心的权值为1，边缘处的权值趋近于0，则中间任一点(X_i,Y_i)处的权值为：

其中，a,b分别为目标跟踪过程中初始化窗口的一半，

(X₀,Y₀)为矩形框的中心，

(X_i,Y_i)为目标中间任意一点的坐标；

Step225，确定融合运动信息并进行背景加权和目标加权后的目标模板概率函数和所述候选目标概率函数

其中，x_i ^*是目标区域归一化后的图像像素点，并且i＝1,2,…,n为正整数，像素点的个数为n，

x_i为候选目标模板中第i样本点，并且i＝1,2,…,n_h为正整数，且样本点的个数为n_h，

k(x)为均方误差最小的Epanechiov核函数，

δ(x)为狄拉克函数，

b(x)为x处的像素灰度值，

概率特征u＝1,2,…,m，u为正整数，且m为特征空间的个数，

δ[b(x_i)-u]用于判断像素x_i是否属于直方图第u个特征区间，

y_k为第k帧中目标中心坐标，k为视频的帧数，

h为候选目标的尺度，

C^*为使的标准化的常量系数，且

为使的标准化常量系数，且

7.根据权利要求5所述的一种乒乓球轨迹识别定位与跟踪方法，其特征在于，所述Step23中，融合运动信息和预测机制的改进mean-shift目标跟踪算法通过背景差分法去除背景图像的干扰，再利用Mean-shift算法中的颜色特征对目标进行提取；所述背景差分法通过建立目标加权模板，使目标中心的权值最大，来减少遮挡的影响，以去除背景图像的干扰。

8.根据权利要求5所述的一种乒乓球轨迹识别定位与跟踪方法，其特征在于，所述Step24中，目标状态向量用表示，且

其中，(x,y)为目标中心点在图像中的像素坐标，

v_x是目标中心点在图像坐标x轴上的运动速度，

v_y是目标中心点在图像坐标y轴上的运动速度，

后一帧像素坐标减去前一帧像素坐标除以两帧时间差可得到后一帧的目标运动速度，将目标模板中心所在位置作为初始化目标位置，目标中心点的运动速度初始化为0；

初始化最优状态估计此状态估计包括目标中心点在图像中的像素坐标估计，以及中心点在x轴上和y轴上的运动速度估计，使

初始化估计误差协方差p₀，使p₀为四阶零矩阵，

初始化缩放因子为小于0.1的四阶单位矩阵，

初始化观测增益矩阵H，使

初始化传递矩阵F，使

其中，dt为两帧间的时间差，

初始化输入控制Bu_k-1，使α₁表示x方向上的加速度，α₂表示y方向上的加速度，在乒乓球的运动中我们认为其在x方向上做匀速运动，因此输入控制

9.根据权利要求5所述的一种乒乓球轨迹识别定位与跟踪方法，其特征在于，所述Step25中，预测乒乓球目标位置y_k时，在Kalman滤波算法的基础上，圈定目标搜索区域，而进行的检测算法，具体步骤为：

Step251，根据状态估计方程由上一帧位置计算下一时刻状态估计值

其中，F为传递矩阵，u_k-1为系统的控制量，B为联系系统控制量的系数矩阵，这三项均在Step24中进行了初始化，

为k-1时刻的最优状态估计矩阵，

为k时刻的状态估计矩阵；

Step252，由方程计算下一时刻估计协方差

其中，P_k-1为k-1时刻的估计误差协方差，

为k时刻的最优估计误差协方差，

F^T为传递矩阵F的转置矩阵，

Q为缩放因子；

Step253，根据下一时刻状态估计值圈定目标检测区域，在圈定区域检索目标获取目标观测值z_k；

Step254，由方程计算增益因子K_k，再代入方程中修正最优估计，得所述下一时刻目标位置

其中，K_k为增益因子，

H为观测增益矩阵，

H^T为观测增益矩阵H的转置矩阵，

R为缩放因子，

为k时刻的最优状态估计矩阵，

Step255，由方程修正最优估计误差协方差p_k，

其中，p_k为k时刻最优估计误差协方差。

10.根据权利要求4所述的一种乒乓球轨迹识别定位与跟踪方法，其特征在于，所述Step3步骤具体为：

(1)根据Step2分别得到两台高速高清摄像机图像中的乒乓球轨迹信息；

(2)根据同一时刻两台摄像机拍摄的视频帧，由(1)分别获得其中乒乓球的二维坐标；

(3)根据两台高速高清摄像机的内外部参数和同一时刻乒乓球在两台摄像机中的二维坐标，由最小二乘法获得当前时刻乒乓球的空间三维坐标；

(4)重复步骤(2)至步骤(3)，完成对所拍摄图像中每一时刻对应的乒乓球空间三维坐标的求取；

(5)根据每一时刻的乒乓球三维坐标，绘制乒乓球三维空间运动轨迹。