CN103617614B - 一种在视频图像中确定乒乓球落点数据的方法及系统 - Google Patents

Abstract

本发明公开了一种在视频图像中确定乒乓球落点数据的方法及系统，其中，所述方法包括：采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵；在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标；从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标；将所述第一单应矩阵转换为第二单应矩阵；依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，计算所述乒乓球的落点的物理坐标。本发明降低了成本，提高了乒乓球落点测量的精确度，以更适用于乒乓球比赛的电视转播。

Description

一种在视频图像中确定乒乓球落点数据的方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种在视频图像中确定乒乓球落点数据的方法，以及一种在视频图像中确定乒乓球落点数据的系统。

背景技术

落点是乒乓球五大要素（速度、力量、落点、弧线、旋转）之一，落点的变化与控制体现了乒乓球运动员的应变能力和控制能力，是准确性的具体体现；同时，落点控制能力直接影响到线路变化的质量，从而影响到技术和战术质量的高低。

然而长期以来，作为取胜关键的技战术之一的“落点和落点控变能力”的训练与考核始终停留在定性阶段，这种定性训练已经跟不上当前乒乓球运动的发展；而且，乒乓球比赛的观众不满足于围绕乒乓球比赛现场的体育展示，例如大屏幕的包装、场地的布置、现场的游戏环节等，观众希望得到包括乒乓球具体落点在内的详细赛场信息，以提高乒乓球比赛的欣赏水平及能力；此外，乒乓球比赛过程中出现争议时，裁判需要依据乒乓球落点的精确位置信息作出判罚，提高判罚的准确性。

现有测量乒乓球落点的技术中主要有两种技术，鹰眼技术和压力传感技术。鹰眼技术即即时回放系统，由8个或者10个高速摄像头、四台电脑和大屏幕组成，利用高速摄像头从不同角度同时捕捉球飞行轨迹的基本数据，通过电脑计算，将这些数据生成三维图像，最后由大屏幕呈现球的运动路线及落点，由于这些硬件设备价格昂贵，数量众多，因而成本较高，而且，安装的摄像头要求在捕捉球飞行轨迹的基本数据时，不能被运动员身体遮挡，造成施工复杂，因此鹰眼技术目前还未应用到乒乓球比赛中。

压力传感技术是通过在乒乓球桌台面下安装压力传感器来实现乒乓球落点的测量，只能测量得到单一的乒乓球落点信息，而且，由于在乒乓球桌台面下安装压力传感器改变了标准乒乓球桌的结构，不符合正式比赛中乒乓球桌的使用规则，应用到正式比赛中有一定的难度，从而不能在电视转播中获取乒乓球落点信息。

因此，目前需要本领域技术人员迫切解决的一个技术问题就是：提供一种在视频图像中确定乒乓球落点数据的方法及系统，用以降低成本，提高乒乓球落点测量的精确度，以更适用于乒乓球比赛的电视转播。

发明内容

本申请所要解决的技术问题是提供一种在视频图像中确定乒乓球落点数据的方法，用以降低成本，提高乒乓球落点测量的精确度，以更适用于乒乓球比赛的电视转播。

相应的，本申请还提供了一种在视频图像中确定乒乓球落点数据的系统。

为了解决上述问题，本申请公开了一种在视频图像中确定乒乓球落点数据的方法，包括：

采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵；

在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标；

从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标；

将所述第一单应矩阵转换为第二单应矩阵，所述第二单应矩阵为依据所述低分辨率转换而成的单应矩阵；

依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，计算所述乒乓球的落点的物理坐标。

优选地，所述采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵的步骤包括：

获取乒乓球桌上的至少4个已知物理坐标的标定点；

在所述标定点上设置直角尺；

计算直角尺上刻度为20mm处的图像坐标；

采用所述标定点及对应的图像坐标，建立高于所述乒乓球桌20mm处的平面与摄像机平面的对应关系；

求取所述对应关系形成的第一单应矩阵。

优选地，所述在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标的步骤包括：

针对在低分辨率下实时采集的乒乓球比赛画面图像，增加乒乓球与背景的对比度；

将增加对比度后的乒乓球比赛画面图像，分割成N个子图像，所述N大于或等于2；

采用多线程针对每个子图像进行高斯背景建模，提取出每个子图像中的乒乓球感兴趣区域；

合并所述N个子图像，获得当前帧乒乓球比赛画面图像中包含所述乒乓球感兴趣区域的二值化图像；

采用预置阈值从所述二值化图像中检测出乒乓球区域的图像坐标。

优选地，所述针对在低分辨率下实时采集的乒乓球比赛画面图像，增加兵乓球与背景的对比度的子步骤进一步包括：

针对在低分辨率下实时采集的乒乓球比赛画面图像，采用直方图均衡化、色阶调整、Gamma校正和均值模糊处理来增强乒乓球和背景的对比度。

优选地，所述从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标的步骤包括：

针对实时采集的乒乓球比赛画面的连续帧图像，将其中乒乓球区域的图像坐标进行曲线拟合，形成乒乓球的运动轨迹抛物线；所述运动轨迹抛物线包括第一抛物线和第二抛物线；

求取所述第一抛物线和第二抛物线的交点，采用所述交点确定所述乒乓球的落点的图像坐标。

优选地，所述从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标的步骤还包括：

获取乒乓球桌上的4个已知物理坐标的优化点；

在所述乒乓球桌上的4个已知物理坐标的优化点上设置直角尺；

计算直角尺上刻度为20mm处的图像坐标；

采用所述4个优化点及对应的图像坐标，对所述乒乓球的落点的图像坐标进行优化。

优选地，依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，采用以下公式计算所述乒乓球的落点的物理坐标：

其中，为所述落点的物理坐标，为所述落点的图像坐标，H为所述第二 单应矩阵。

优选地，还包括：

将所述乒乓球的落点的物理坐标写入数据库；

从所述数据库中提取出目标落点数据，并输出至虚拟乒乓球桌上，和/或，添加到转播信号中。

本申请还公开了一种在视频图像中确定乒乓球落点数据的系统，包括：

摄像机标定模块，用于采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵；

图像坐标计算模块，用于在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标；

落点图像坐标确定模块，用于从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标；

单应矩阵转换模块，用于将所述第一单应矩阵转换为第二单应矩阵，所述第二单应矩阵为依据所述低分辨率转换而成的单应矩阵；

落点物理坐标计算模块，用于依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，计算所述乒乓球的落点的物理坐标。

优选地，所述摄像机标定模块包括：

标定点获取子模块，用于获取乒乓球桌上的至少4个已知物理坐标的标定点；

第一直角尺设置子模块，用于在所述标定点上设置直角尺；

标定点图像坐标计算子模块，用于计算直角尺上刻度为20mm处的图像坐标；

对应关系建立子模块，用于采用所述标定点及对应的图像坐标，建立高于所述乒乓球桌20mm处的平面与摄像机平面的对应关系；

第一单应矩阵计算子模块，用于求取所述对应关系形成的第一单应矩阵。

与现有技术相比，本申请包括以下优点：

首先，通过在高分辨率下采集的图像进行摄像机标定，确保了乒乓球桌所在平面对应摄像机平面的精准度，减小了误差；通过在低分辨率下进行乒乓球比赛画面图像的实时采集，确保了乒乓球识别的成功率和准确率；因此，提高了乒乓球落点测量的精确度。

其次，通过采用4个已知物理坐标的优化点的方法计算获得畸变模型的优化参数，消除了因镜头存在畸变导致的误差，提高了第一单应矩阵的精度，从而进一步提高了乒乓球落点测量的精确度。

然后，通过采用多线程针对每个子图像进行高斯背景建模，提取出每个子图像中的乒乓球感兴趣区域，提高了程序的处理速度，确保了乒乓球在所述比赛画面图像中的图像坐标能够实时计算，从而更适用于乒乓球比赛的电视转播。

再次，通过将其中乒乓球区域的图像坐标进行曲线拟合，形成乒乓球的运动轨迹抛物线，更加准确地检测出乒乓球的落点的图像坐标，更进一步提高了乒乓球落点测量的精确度。

此外，通过在低分辨率下进行乒乓球比赛画面图像的实时采集，能够测量乒乓球的飞行速度以及旋转速度，这些数据不仅可以应用于电视转播，还可以图片的形式直观的呈现给观众和体育评论员，还可以用于体育运动分析，辅助教学训练，提高运动员的竞技水平。

最后，通过采用每台摄像机对应半张球桌，且在对应球网一侧球桌的摄像机记录的是另一侧运动员击打的乒乓球的落点数据，两台摄像机之间没有任何关联的方法获取乒乓球的落点数据，使用两台摄像机降低了成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例的一种在视频图像中确定乒乓球落点数据的方法实施例的步骤流程图;

图2示出了本发明实施例的一种摄像机架设示意图;

图3示出了本发明实施例的一种低分辨率下实时采集的乒乓球比赛画面图像的示意图；

图4示出了本发明实施例的一种包含乒乓球感兴趣区域的二值化图像的示意图；

图5示出了本发明实施例的一种筛选出乒乓球区域的二值化图像的示意图；

图6示出了本发明实施例的一种乒乓球的落点的图像坐标优化前的误差分布情况示意图；

图7示出了本发明实施例的一种乒乓球的落点的图像坐标优化后的误差分布情况示意图；

图8示出了本发明实施例的一种在视频图像中确定乒乓球落点数据的系统实施例的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例的核心构思之一在于，首先，摄像机进行标定，计算出由摄像机平面和球桌所在的平面之间的对应关系形成的第一单应矩阵，然后，比赛过程中，在低分辨率下实时采集比赛画面，实时分析出乒乓球在比赛图像的图像坐标，当乒乓球落在桌面上时，再根据一定的算法计算出落点的图像坐标，最后，利用由第一单应矩阵转换后的第二单应矩阵求出落点在球桌上的空间物理坐标。本发明可以降低成本，提高乒乓球落点测量的精确度，以更适用于乒乓球比赛的电视转播，还可以以图片的形式将落点数据呈现给观众和体育评论员，用于体育运动分析，辅助教学训练，提高运动员的竞技水平。

参照图1，示出了本发明实施例的一种在视频图像中确定乒乓球落点数据的方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵；

在具体实现中，采集图像的设备可以包括两台USB工业相机（即摄像机）、两个摄像机镜头和两个三脚架，在工作时每台摄像机对应半张球桌，两台摄像机之间没有任何关联。在正式比赛时，在对应球网一侧球桌的摄像机记录的是另一侧运动员击打的乒乓球的落点数据。

参照图2，示出了本发明实施例的一种摄像机架设示意图。运动员A击打的乒乓球的落点数据由摄像机2记录，运动员B击打的乒乓球的落点数据由摄像机1记录。

为了确保能够识别乒乓球及保证乒乓球识别的精度，在实际中，摄像机的架设需要注意以下几点：

首先，摄像机应尽可能的架设在球桌的两侧，尽量避免运动员及其他人员造成的遮挡；其次，调整每台摄像机的场景尽可能的包含所对应的球桌，剔除运动员对乒乓球识别造成的干扰；最后，摄像机架设的位置尽可能的高，但不能垂直于球桌所在平面，以减小误差。

通过采用每台摄像机对应半张球桌，且在对应球网一侧球桌的摄像机记录的是另一侧运动员击打的乒乓球的落点数据，两台摄像机之间没有任何关联的方法获取乒乓球的落点数据，使用两台摄像机降低了成本。

作为本发明实施例具体应用的一种示例，摄像机可以选择在高分辨率下进行摄像机标定。原因是在低分辨率下成像质量较差，如果使用低分辨率下的图像进行标定，则会产生较大的误差。

在具体实现中，乒乓球的直径为40mm，乒乓球落点数据实际是乒乓球球心的物理坐标，因此，第一单应矩阵实际可以为高于球桌20mm处的平面与高分辨率下摄像机平面之间的单应矩阵。

在本发明的一种优选实施例中，所述步骤101具体可以包括如下子步骤：

子步骤S11，获取乒乓球桌上的至少4个已知物理坐标的标定点；

子步骤S12，在所述标定点上设置直角尺；

子步骤S13，计算直角尺上刻度为20mm处的图像坐标；

子步骤S14，采用所述标定点及对应的图像坐标，建立高于所述乒乓球桌20mm处的平面与摄像机平面的对应关系；

子步骤S15，求取所述对应关系形成的第一单应矩阵；

在实际应用中，作为本发明实施例具体应用的一种示例，可以采用5个已知物理坐标已知的标定点，求取所述对应关系形成的第一单应矩阵，具体的操作流程可以是：首先在球桌的中心位置附近测量得到5个标定点，在5个标定点上摆放直角尺，求取直角尺上刻度为20mm处的图像坐标，利用这5个标定点建立高于球桌20mm处的平面与高分辨率下摄像机平面之间的对应关系，求取第一单应矩阵。

需要说明的是，本发明还可以应用于确定网球落点数据，网球的标准直径为65.41mm-68.58mm之间，网球落点数据实际是网球球心的物理坐标，因此，第一单应矩阵实际可以为高于网球场地33mm处的平面与高分辨率下摄像机平面之间的单应矩阵。

当然，本领域技术人员根据实际情况采用其它算法计算第一单应矩阵均是可行的，本申请对此无需加以限制。

步骤102，在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标；

作为本发明实施例具体应用的一种示例，摄像机可以选择在低分辨率下进行图像采集。原因是乒乓球直径比较小，而且在比赛过程中，球速较快，为了确保乒乓球识别的成功率和准确率，需要进行图像采集的摄像机的帧率保持在150fps以上。

需要说明的是，乒乓球在比赛画面图像中是不断变化的，乒乓球在比赛画面图像中的图像坐标可以代表乒乓球运动轨迹抛物线中的乒乓球球心的坐标。

在本发明的一种优选实施例中，所述步骤102具体可以包括如下子步骤：

子步骤S201，针对在低分辨率下实时采集的乒乓球比赛画面图像，增加兵乓球与背景的对比度；

具体而言，可以针对在低分辨率下实时采集的乒乓球比赛画面图像，通过采用直方图均衡化、色阶调整、Gamma校正和均值模糊处理来增强乒乓球和背景的对比度。

子步骤S202，将增加对比度后的乒乓球比赛画面图像，分割成N个子图像，所述N大于或等于2；

子步骤S203，采用多线程针对每个子图像进行高斯背景建模，提取出每个子图像中的乒乓球感兴趣区域；

子步骤S204，合并所述N个子图像，获得当前帧乒乓球比赛画面图像中包含所述乒乓球感兴趣区域的二值化图像；

子步骤S205，采用预置阈值从所述二值化图像中检测出乒乓球区域的图像坐标。

在实际应用中，为了提高程序的处理速度，可以将图像分割为N部分，N的取值与计算机配置有关，一般地，N的取值为计算机CPU总数的一半。在本发明实施例中，N优选为8。

参照图3，示出了本发明实施例的一种低分辨率下实时采集的乒乓球比赛画面图像的示意图。如图3所示，乒乓球为对方运动员（未展示出）击打后某一时刻的空间位置，本方运动员还未接球。

参照图4，示出了本发明实施例的一种包含乒乓球感兴趣区域的二值化图像的示意图。如图4所示，白色区域为乒乓球感兴趣区域，黑色区域不进行分析。

参照图5，示出了本发明实施例的一种筛选出乒乓球区域的二值化图像的示意图。如图5所示，白色区域为乒乓球区域，黑色区域不进行分析。

应用本发明的优选实施例，对在低分辨率下实时采集的乒乓球比赛画面图像，进行增加兵乓球与背景的对比度的处理，将处理后的图像分割为8个子图像，利用多线程分别对每个子图像进行高斯背景建模，提取出乒乓球感兴趣区域，然后将这8个子图像重新合并，得到当前帧乒乓球比赛画面图像中包含所述乒乓球感兴趣区域的二值化图像。最后根据乒乓球的特点，乒乓球的面积大小、形心位置、对称性和圆度分别存在一个通过实验得到的对应的阈值，对二值化图像中的多个乒乓球感兴趣区域进行过滤筛选，选取出乒乓球区域，通过计算得到乒乓球区域的图像坐标。

当然，上述检测乒乓球区域的图像坐标的处理方法只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他检测乒乓球区域的图像坐标的处理方法，本发明实施例对此不加以限制。另外，除了上述检测乒乓球区域的图像坐标的处理方法外，本领域技术人员还可以根据实际需要采用其它检测乒乓球区域的图像坐标的处理方法，本发明实施例对此也不加以限制。

通过在低分辨率下进行乒乓球比赛画面图像的实时采集，确保了乒乓球识别的成功率和准确率；因此，提高了乒乓球落点测量的精确度。通过采用多线程针对每个子图像进行高斯背景建模，提取出每个子图像中的乒乓球感兴趣区域，提高了程序的处理速度，确保了乒乓球在所述比赛画面图像中的图像坐标能够实时计算，从而更适用于乒乓球比赛的电视转播。

此外，通过在低分辨率下进行乒乓球比赛画面图像的实时采集，能够测量乒乓球的飞行速度以及旋转速度，这些数据不仅可以应用于电视转播，还可以图片的形式直观的呈现给观众和体育评论员，还可以用于体育运动分析，辅助教学训练，提高运动员的竞技水平。

步骤103，从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标；

需要说明的是，乒乓球的落点的图像坐标是乒乓球球心的图像坐标。

在本发明的一种优选实施例中，所述步骤103具体可以包括如下子步骤：

子步骤S301，针对实时采集的乒乓球比赛画面的连续帧图像，将其中乒乓球区域的图像坐标进行曲线拟合，形成乒乓球的运动轨迹抛物线；所述运动轨迹抛物线包括第一抛物线和第二抛物线；

子步骤S302，求取所述第一抛物线和第二抛物线的交点，采用所述交点确定所述乒乓球的落点的图像坐标。

在具体实现中，对于采集的乒乓球比赛画面的连续帧图像，将每帧图像中的乒乓球区域识别出来之后，易于得知乒乓球的运动轨迹是近抛物线的，因此，可以先对识别的乒乓球区域的图像坐标做曲线拟合，得到第一抛物线和第二抛物线，通过求取第一抛物线和第二抛物线的交点来确定乒乓球的落点的图像坐标。由于乒乓球比赛场景的复杂性，首先需要根据球的运动方向确定用于求取落点的图像坐标的第一抛物线和第二抛物线。

参照图6，示出了本发明实施例的一种乒乓球的落点的图像坐标优化前的误差分布情况示意图。

参照图7，示出了本发明实施例的一种乒乓球的落点的图像坐标优化后的误差分布情况示意图。

图6和图7中的数字代表乒乓球的落点的真实值与计算值之间的欧氏距离，单位为毫米（mm）。在球桌大部分位置处的落点精度能保证在10mm以内，但是在两个桌角处误差比较大。

由于摄像机镜头加工制造上存在不可避免的缺陷，导致摄像机镜头存在畸变，使得乒乓球的落点的图像坐标不准确，进而影响第一单应矩阵的精度，而且实验结果表明误差比较大。

因此，在本发明的一种优选实施例中，所述步骤103具体可以还包括如下子步骤：

子步骤S401，获取乒乓球桌上的4个已知物理坐标的优化点；

子步骤S402，在所述乒乓球桌上的4个已知物理坐标的优化点上设置直角尺；

子步骤S403，计算直角尺上刻度为20mm处的图像坐标；

子步骤S404，采用所述4个优化点及对应的图像坐标，对所述乒乓球的落点的图像坐标进行优化。

在具体应用中，可以采用唯象的方法进行畸变校正，即通过采集样本，分析研究对标定结果造成的影响而建立畸变模型。具体的操作流程可以是：选取球桌4个桌角的角点作为优化点，在4个优化点上摆放直角尺，求取直角尺上刻度为20mm处的图像坐标，分析图6得到该摄像机镜头的畸变模型，利用这4个优化点及对应的图像坐标计算获得畸变模型的优化参数，将乒乓球的落点的图像坐标代入畸变模型得到优化后的乒乓球的落点的图像坐标。

具体的优化模型如下：

其中，(x₀,y₀)为初始图像坐标，(x′,y′)为优化后的图像坐标，

w，h分别为图像的宽和 高，p₁,p₂,p₃为优化参数。

当然，上述确定出乒乓球的落点的图像坐标的处理方法只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他确定出乒乓球的落点的图像坐标的处理方法，本发明实施例对此不加以限制。另外，除了上述确定出乒乓球的落点的图像坐标的处理方法外，本领域技术人员还可以根据实际需要采用其它确定出乒乓球的落点的图像坐标的处理方法，本发明实施例对此也不加以限制。

通过将其中乒乓球区域的图像坐标进行曲线拟合，形成乒乓球的运动轨迹抛物线，可以更加准确地检测出乒乓球的落点的图像坐标，更进一步提高了乒乓球落点测量的精确度。

通过采用4个已知物理坐标的优化点的方法计算获得畸变模型的优化参数，消除了因镜头存在畸变导致的误差，提高了第一单应矩阵的精度，从而进一步提高了乒乓球落点测量的精确度。

步骤104，将所述第一单应矩阵转换为第二单应矩阵，所述第二单应矩阵为依据所述低分辨率转换而成的单应矩阵；

需要说明的是，在本发明实施例中，第一单应矩阵为高于球桌20mm处的平面与高分辨率下摄像机平面之间的单应矩阵，乒乓球的落点的图像坐标为低分辨率下实时采集的乒乓球比赛画面图像坐标，为此，在求取乒乓球的落点的物理坐标前，需要将高分辨率下求得的第一单应矩阵转换为低分辨率下的第二单应矩阵。具体转换方法如下：

假设现有两幅图像：高分辨率图像P₁和低分辨率图像P₂，两幅图像取得是同一个场景。设[X Y 1]^T为场景点的物理坐标，[x₁ y₁ 1]^T为在P₁中所述场景点的图像坐标，[x₂ y₂1]^T为在P₂中所述场景点的图像坐标，H₁为根据P₁求得的单应矩阵，H₂为根据P₂求得的单应矩阵，α为常数，说明P₁和P₂之间的关系，则有：

[X Y 1]^T=H₁[x₁ y₁ 1]^T

[X Y 1]^T=H₂[x₂ y₂ 1]^T

[x₁ y₁ 1]^T=α[x₂ y₂1]^T

由以上三式可推知：

H₂=αH₁.

当然，上述计算第二单应矩阵的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他计算第二单应矩阵的方式，本发明实施例对此不加以限制。另外，除了上述计算第二单应矩阵的方式外，本领域技术人员还可以根据实际需要采用其他计算第二单应矩阵的方式，本发明实施例对此也不加以限制。

步骤105，依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，计算所述乒乓球的落点的物理坐标。

在实际应用中，乒乓球的落点的物理坐标为乒乓球球心的物理坐标。

在本发明实施例的一个优选实施例中，所述计算所述乒乓球的落点的物理坐标采用以下公式：

其中，为所述落点的物理坐标，为所述落点的图像坐标，H为所述第二 单应矩阵。

当然，上述计算落点的图像坐标的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他计算落点的图像坐标的方式，本发明实施例对此不加以限制。另外，除了上述计算落点的图像坐标的方式外，本领域技术人员还可以根据实际需要采用其他计算落点的图像坐标的方式，本发明实施例对此也不加以限制。

在本发明实施例的一个优选实施例中，所述方法还包括以下子步骤：

子步骤S501，将所述乒乓球的落点的物理坐标写入数据库；

子步骤S502，从所述数据库中提取出目标落点数据，并输出至虚拟乒乓球桌上，和/或，添加到转播信号中。

需要说明的是，目标落点数据可以是当局胜方运动员得分落点分布数据，也可以是当局胜方运动员发球落点分布数据等等，本发明实施例对此不作限制。由于在乒乓球比赛中存在换边的情况，而运动员的初始站位是经过比赛开始前抛硬币确定的，因此，在每场比赛开始前，需要人工确定一下初始站位，之后可以按照比赛规则得到。

提取的目标落点数据可以用于以下几个方面：

用于电视转播信号制作。在乒乓球正式比赛过程中，如果将比赛的相关信息，例如运动员信息、运动员场比分、运动员局比分、比赛局信息等通过网络实时传送给计算机，则可以将比赛中得到的所有落点进行分类，得到想要的任何一类落点，如单方运动员局得分点，单方运动员局失分点，单方运动员发球落点，单方运动员局落点分布等等，可以将这些数据信息传送给预先做好的虚拟乒乓球桌中，在需要时将画有虚拟球的虚拟乒乓球桌以字幕的形式加入到电视信号中，呈现给比赛评论员和观众，增强比赛的视觉效果，提高比赛的观赏度。另外，本发明还可以实现双方落点的实时显示，即检测到一个落点，就会在虚拟乒乓球桌中指出该落点。这也不失为乒乓球比赛转播的一大亮点。

用于落点的统计分析。可以将球桌分成多个小区域，统计在每一个区域落点所占的百分比，可以大致的了解该运动员的打球习惯，并根据此信息制定相应的战术。

用于乒乓球运动员的训练教学。本发明可以记录运动员在比赛中所有乒乓球落点的信息，并存储在数据库中。运动员可以将乒乓球落点信息提取出来，分析总结打球习惯，并有意训练将球打到特定的位置，提高竞技水平。

用于分析对手的优缺点。运动员可通过分析研究对手的落点、乒乓球飞行速度及转速信息，了解对手的打球习惯以及通过落点分析线路变化，在比赛中制定相应的战略。

辅助裁判功能。在乒乓球比赛中，擦边球往往是最不好判断的一种情况，即使裁判也会出现误判的情况，影响比赛的公平公正。当出现争议球时，通过展示出来的乒乓球的落点物理坐标，可做出公平公正的判罚。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图8，示出了本发明实施例的一种在视频图像中确定乒乓球落点数据的系统实施例的结构框图，具体可以包括如下模块：

摄像机标定模块601，用于采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵；

图像坐标计算模块602，用于在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标；

落点图像坐标确定模块603，用于从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标；

单应矩阵转换模块604，用于将所述第一单应矩阵转换为第二单应矩阵，所述第二单应矩阵为依据所述低分辨率转换而成的单应矩阵；

落点物理坐标计算模块605，用于依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，计算所述乒乓球的落点的物理坐标。

在本发明实施例的一个优选实施例中，所述摄像机标定模块601可以包括以下子模块：

标定点获取子模块，用于获取乒乓球桌上的至少4个已知物理坐标的标定点；

第一直角尺设置子模块，用于在所述标定点上设置直角尺；

标定点图像坐标计算子模块，用于计算直角尺上刻度为20mm处的图像坐标；

对应关系建立子模块，用于采用所述标定点及对应的图像坐标，建立高于所述乒乓球桌20mm处的平面与摄像机平面的对应关系；

第一单应矩阵计算子模块，用于求取所述对应关系形成的第一单应矩阵。

在本发明实施例的一个优选实施例中，所述图像坐标计算模块602可以包括以下子模块：

对比度增加子模块，用于针对在低分辨率下实时采集的乒乓球比赛画面图像，增加乒乓球与背景的对比度；

图像分割子模块，用于将增加对比度后的乒乓球比赛画面图像，分割成N个子图像，所述N大于或等于2；

背景建模子模块，用于采用多线程针对每个子图像进行高斯背景建模，提取出每个子图像中的乒乓球感兴趣区域；

子图像合并子模块，用于合并所述N个子图像，获得当前帧乒乓球比赛画面图像中包含所述乒乓球感兴趣区域的二值化图像；

图像坐标检测子模块，用于采用预置阈值从所述二值化图像中检测出乒乓球区域的图像坐标。

在本发明实施例的一个优选实施例中，所述对比度增加子模块可以针对在低分辨率下实时采集的乒乓球比赛画面图像，采用直方图均衡化、色阶调整、Gamma校正和均值模糊处理来增强乒乓球和背景的对比度。

在本发明实施例的一个优选实施例中，所述落点图像坐标确定模块603可以包括以下子模块：

曲线拟合子模块，用于针对实时采集的乒乓球比赛画面的连续帧图像，将其中乒乓球区域的图像坐标进行曲线拟合，形成乒乓球的运动轨迹抛物线；所述运动轨迹抛物线包括第一抛物线和第二抛物线；

交点计算子模块，用于求取所述第一抛物线和第二抛物线的交点，采用所述交点确定所述乒乓球的落点的图像坐标。

在本发明实施例的一个优选实施例中，所述落点图像坐标确定模块603可以包括以下子模块：

优化点获取子模块，用于获取乒乓球桌上的4个已知物理坐标的优化点；

第二直角尺设置子模块，用于在所述乒乓球桌上的4个已知物理坐标的优化点上设置直角尺；

优化点图像坐标计算子模块，用于计算直角尺上刻度为20mm处的图像坐标；

落点图像坐标优化子模块，用于采用所述4个优化点及对应的图像坐标，对所述乒乓球的落点的图像坐标进行优化。

作为本发明实施例具体应用的一种示例，可以采用以下公式计算所述乒乓球的落点的物理坐标：

其中，为所述落点的物理坐标，为所述落点的图像坐标，H为所述第二 单应矩阵。

在本发明实施例的一个优选实施例中，还可以包括如下模块：

数据库写入子模块，用于将所述乒乓球的落点的物理坐标写入数据库；

落点数据提取子模块，用于从所述数据库中提取出目标落点数据，并输出至虚拟乒乓球桌上，和/或，添加到转播信号中。

由于本发明的系统实施例基本相应于前述的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此就不赘述了。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者移动设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者移动设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者移动设备中还存在另外的相同要素。

以上对本发明实施例所提供的一种在视频图像中确定乒乓球落点数据的方法及系统，进行了详细介绍，本文中应用了具体个例对本发明实施例的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明实施例的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明实施例的限制。

Claims (10)

1.一种在视频图像中确定乒乓球落点的物理坐标的方法，其特征在于，包括：

采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵；

在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标；

从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标；

将所述第一单应矩阵转换为第二单应矩阵，所述第二单应矩阵为依据所述乒乓球在所述比赛画面图像中的图像坐标转换而成的单应矩阵；

依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，计算所述乒乓球的落点的物理坐标。

2.根据权利要求1所述的方法，其特征在于，所述采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵的步骤包括：

获取乒乓球桌上的至少4个已知物理坐标的标定点；

在所述标定点上设置直角尺；

计算直角尺上刻度为20mm处的图像坐标；

采用所述标定点的物理坐标及所述图像坐标，建立高于所述乒乓球桌20mm处的平面与摄像机平面的对应关系；

求取所述对应关系形成的第一单应矩阵。

3.根据权利要求1或2所述的方法，其特征在于，所述在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标的步骤包括：

针对在低分辨率下实时采集的乒乓球比赛画面图像，增加乒乓球与背景的对比度；

将增加对比度后的乒乓球比赛画面图像，分割成N个子图像，所述N大于或等于2；

采用多线程针对每个子图像进行高斯背景建模，提取出每个子图像中的乒乓球感兴趣区域；

合并提取出所述乒乓球感兴趣区域之后的子图像，获得当前帧乒乓球比赛画面图像中包含所述乒乓球感兴趣区域的二值化图像；

采用预置阈值从所述二值化图像中检测出乒乓球区域的图像坐标。

4.根据权利要求3所述的方法，其特征在于，所述针对在低分辨率下实时采集的乒乓球比赛画面图像，增加乒乓球与背景的对比度的子步骤进一步包括：

针对在低分辨率下实时采集的乒乓球比赛画面图像，采用直方图均衡化、色阶调整、Gamma校正和均值模糊处理来增强乒乓球和背景的对比度。

5.根据权利要求1或2或4所述的方法，其特征在于，所述从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标的步骤包括：

针对实时采集的乒乓球比赛画面的连续帧图像，将其中乒乓球区域的图像坐标进行曲线拟合，形成乒乓球的运动轨迹抛物线；所述运动轨迹抛物线包括第一抛物线和第二抛物线；

求取所述第一抛物线和第二抛物线的交点，采用所述交点确定所述乒乓球的落点的图像坐标。

6.根据权利要求5所述的方法，其特征在于，所述从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标的步骤还包括：

获取乒乓球桌上的4个已知物理坐标的优化点；

在所述乒乓球桌上的4个已知物理坐标的优化点上设置直角尺；

计算直角尺上刻度为20mm处的图像坐标；

采用所述4个优化点的物理坐标及对应的图像坐标，对所述乒乓球的落点的图像坐标进行优化。

7.根据权利要求5所述的方法，其特征在于，依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，采用以下公式计算所述乒乓球的落点的物理坐标：

其中，为所述落点的物理坐标，为所述落点的图像坐标，H为所述第二单应矩阵。

8.根据权利要求1或2或4或7所述的方法，其特征在于，还包括：

将所述乒乓球的落点的物理坐标写入数据库；

从所述数据库中提取出目标落点数据，并输出至虚拟乒乓球桌上，和/或，添加到转播信号中；其中，所述目标落点数据包括运动员得分落点的物理坐标，和所述运动员发球落点的物理坐标。

9.一种在视频图像中确定乒乓球落点的物理坐标的系统，其特征在于，包括：

摄像机标定模块，用于采用在高分辨率下采集的图像进行摄像机标定，获得由摄像机平面与乒乓球桌所在平面之间的对应关系形成的第一单应矩阵；

图像坐标计算模块，用于在低分辨率下进行乒乓球比赛画面图像的实时采集，并实时计算出乒乓球在所述比赛画面图像中的图像坐标；

落点图像坐标确定模块，用于从所述乒乓球在所述比赛画面图像中的图像坐标中，确定出所述乒乓球的落点的图像坐标；

单应矩阵转换模块，用于将所述第一单应矩阵转换为第二单应矩阵，所述第二单应矩阵为依据所述低分辨率转换而成的单应矩阵；

落点物理坐标计算模块，用于依据所述第二单应矩阵和所述乒乓球的落点的图像坐标，计算所述乒乓球的落点的物理坐标。

10.根据权利要求9所述的系统，其特征在于，所述摄像机标定模块包括：

标定点获取子模块，用于获取乒乓球桌上的至少4个已知物理坐标的标定点；

第一直角尺设置子模块，用于在所述标定点上设置直角尺；

标定点图像坐标计算子模块，用于计算直角尺上刻度为20mm处的图像坐标；

对应关系建立子模块，用于采用所述标定点的物理坐标及所述图像坐标，建立高于所述乒乓球桌20mm处的平面与摄像机平面的对应关系；

第一单应矩阵计算子模块，用于求取所述对应关系形成的第一单应矩阵。