CN101628174B - 自动畸变校正的斯诺克台球桌面坐标的提取方法 - Google Patents

Abstract

本发明涉及计算机台球辅助裁判方法中自动畸变校正的斯诺克台球桌面坐标的提取方法。包括：确定图像在X轴方向的分辨率；将图像分为Y轴方向上半区图像和Y轴方向下半区图像；在图像中确定封闭的有效击球区域；确定图像在所述上半区的Y轴方向空间分辨率序列和所述下半区的Y轴方向分辨率序列；确定有效击球区域中任意一点的图像坐标对应的台面坐标。本发明可检测出封闭的有效击球区域，确定了台球的活动范围；实现了自动畸变校正，针对形变比较严重的Y轴方向，给每一列对应两个从背景图像到标准台面的Y轴方向空间分辨率，实现从图像坐标到台面坐标的畸变校正映射；实现了从图像坐标到台面坐标的转换，为辅助裁判系统提供更直观的台球位置数据。

Description

自动畸变校正的斯诺克台球桌面坐标的提取方法

技术领域

本发明涉及应用于体育运动领域的计算机辅助裁判系统，更具体的说，涉及计算机台球辅助裁判方法中的自动畸变校正的斯诺克台球桌面坐标的提取方法。

背景技术

斯诺克(Snooker)台球和美式台球是深受人们广泛欢迎的一项体育运动，国内外经常举行各种大赛，但目前斯诺克台球比赛和美式台球的裁判还一直沿用传统的裁判员目视裁判的方法，然而斯诺克和美式台球比赛耗时长，经常会出现视觉疲劳造成误判、一些细小的失误未被发觉、以及需要复位的情况产生，因此经常造成一些不必要的争执，为此需要开发一种计算机辅助裁判系统帮助裁判员避免上述情况的产生，该系统采用的是摄像头取景技术，跟踪球的运动轨迹，依据裁判规则辅助裁判员做出正确的裁判，然而，摄像头在台球桌台面的正上方采集台球桌台面图形信息时，由于镜头的原因采集的台面图像是变形的，如果直接使用采集的图形进行辅助裁判会影响系统做出正确的判决，摄像头采集的图形提供的是图像坐标，而辅助裁判系统针对的是一个真实台球桌面的台面坐标，台球应该是在台面坐标中运动，计算机的判别方法也是在台面坐标中实现，因此需要对所采集的变形图像进行畸变校正，同时将图像坐标转换输出为台面坐标。

发明内容

本发明的目的是提出一种自动畸变校正的斯诺克台球桌面坐标的提取方法，该方法解决了计算机辅助裁判方法的台球在台面坐标中的定位，使摄像头采集的台球桌面的变形图像坐标校正为台面坐标。

本发明的技术方案是这样实现的：自动畸变校正的斯诺克台球桌面坐标的提取方法，该方法基于一个计算机辅助裁判系统，所述系统包括摄像头、斯诺克台球桌、视频采集器以及计算机；所述摄像头安装于斯诺克台球桌台面中心的上方，摄像头最大视角含盖台球桌台面，摄像头的视频输出连接至视频采集器，视频采集器连接至计算机，设定台球桌台面长边为X轴、短边为Y轴；该方法的步骤包括：

a.输入一组数据，确定图像在X轴方向的分辨率；所述数据包括：摄像机镜头距台面的高度、摄像机镜头在台面X轴方向的视角、台面在X轴方向的长度、Y轴方向的长度以及图像在X轴方向的像素数；

b.采集一幅无球时的台球桌面图像，称为背景图像，所述背景图像中包括台面中央在X轴方向设有的一行置球点；

c.由所述置球点确定一条中线，中线将背景图像分别为Y轴方向上半区图像和Y轴方向下半区图像；

d.在背景图像中确定封闭的有效击球区域，即确定有效击球区域的四条边缘及其四个交点；

e.确定背景图像在所述上半区的Y轴方向空间分辨率序列和所述下半区的Y轴方向分辨率序列；所述上、下半区的Y轴方向分辨率序列是指Y轴方向的分辨率随X坐标的不同而不同，同一个X坐标上、下半区对应的Y轴方向的分辨率又不同；

f.确定有效击球区域中任意一点的图像坐标对应的台面坐标。

所述图像在X轴方向的分辨率：单位为毫米/像素，其计算公式为δ＝{h×tan(θ/2)}×2/∑a，公式中h是摄像镜头距台面的高度，θ是镜头视角，∑a是台球桌面X轴方向像素总数。

所述确定封闭的有效击球区域包括平滑、彩色分割、边缘检测、峰值边缘提取、曲线拟合五个步骤：

步骤1.输入背景图像，采用平滑掩膜运算消除噪音，输出平滑后的背景图像；

步骤2.输入平滑后的背景图像，确定潜在的有效击球区域，输出彩色分割图像：即统计图像中色调分量直方图，提取直方图中最大峰值点对应的色调称为峰值色调，将图像中色调位于峰值色调-10和峰值色调+10的区间颜色区域确定为潜在的有效击球区域，标记出潜在的有效击球区域并保存为彩色分割图像，台球桌面的潜在的有效击球区域大于有效击球区域；

步骤3.输入平滑后的背景图像，检测有效击球区域的边缘，输出边缘检测图像；

步骤4.输入边缘检测图像和彩色分割图像，提取有效击球区域上、下、左、右四条边的边缘点；

步骤5.将有效击球区域的上、下、左、右四条边的边缘点分别进行二次曲线拟合，得到封闭的有效击球区域。

所述提取有效击球区域边缘点的步骤是：

步骤1.利用边缘检测算子确定离散不连续的边缘点；

步骤2.剔除位于潜在的有效击球区域之外的边缘点；

步骤3.将边缘点分成上、下、左、右四组，分别位于上、下、左、右半图像区，依次对应有效击球区域的上、下、左、右边界；

步骤4.对于上、下组边缘点，每一列只保留一个取值最大的边缘点，对于左、右组边缘点，每一行只保留一个取值最大的边缘点。

所述的二次曲线拟合是对边缘点依次拟合：设定一个误差限，判别被拟合边缘点与拟合出的曲线距离，若距离超出误差限则剔除这个边缘点，用剩余的边缘点再次曲线拟合，直到所有边缘点距拟合曲线的距离都不超过误差限。

所述上半区的Y轴方向空间分辨率序列和下半区的Y轴方向分辨率序列：单位为毫米/像素，其计算公式分别为

δ_up[i]＝Board_h/(2×(mid[i]-up[i]))，

δ_down[i]＝Board_h/(2×(down[i]-mid[i]))，

公式中Board_h是台面在Y轴方向的长度，mid[i]是中线上的第i个点的Y轴坐标，up[i]是有效击球区域的上边缘的第i个点的Y轴坐标，down[i]是有效击球区域的下边缘的第i个点的Y轴坐标。

所述确定台面坐标是将有效击球区域内任意一点的图像坐标校正并转换为台面坐标，图像坐标以像素为单位，台面坐标以毫米为单位，其计算公式分别为：

y′＝(y-mid[x])×δ_up[x]+Board_h/2，如果y≤mid[x]；

y′＝(y-mid[x])×δ_down[x]+Board_h/2，如果y＞mid[x]；

x′＝(x-x_left_up)×δ-(x_left_down-x_left_up)×y′/Board_h；

公式中(x，y)是任意一点的图像坐标，(x′，y′)是其对应的台面坐标，(x，mid[x])是中线上X轴坐标为x的点，δ_up[x]是X轴坐标为x的上半区的Y轴方向空间分辨率，δ_down[x]是X轴坐标为x的下半区的Y轴方向空间分辨率，Board_h是台面在Y轴方向的长度，(x_left_up，y_left_up)是有效击球区域的左上点的图像坐标，(x_left_down，y_left_down)是有效击球区域的左下点的图像坐标。

所述确定有效击球区域中任意一点的图像坐标是将台面坐标逆变换，其逆变换公式为：

x＝(x′+(x_left_down-x_left_up)×y′/Board_h)/δ+x_left_up；

y＝(y′-Board_h/2)/δ_up[x]+mid[x]，如果y′≤Board_h/2；

y＝(y′-Board_h/2)/δ_down[x]+mid[x]，如果y′＞Board_h/2；

公式中(x，y)是任意一点的图像坐标，(x′，y′)是其对应的台面坐标，(x，mid[x])是中线上X轴坐标为x的点，δ_up[x]是X轴坐标为x的上半区的Y轴方向空间分辨率，δ_down[x]是X轴坐标为x的下半区的Y轴方向空间分辨率，Board_h是台面在Y轴方向的长度，(x_left_up，y_left_up)是有效击球区域的左上点的图像坐标，(x_left_down，y_left_down)是有效击球区域的左下点的图像坐标。

本发明的有益效果是：

1.实现了背景图像的分割，可检测出封闭的有效击球区域，确定了台球的活动范围；

2.实现了自动畸变校正，针对形变比较严重的Y轴方向，给每一列对应两个从背景图像到标准台面的Y轴方向空间分辨率，实现从图像坐标到台面坐标的畸变校正映射；

3.实现了从图像坐标到台面坐标的转换为辅助裁判系统提供更直观的台球位置数据。

下面结合附图和实施例对本发明作一详细描述。

附图说明

图1为裁判系统硬件结构示意图；

图2为无球时的台球桌面图像示意图；

图3为采集的有形变背景图像示意图；

图4为平滑掩膜算法；

图5为修正后的台球桌面图像示意图。

具体实施方式

实施例

本实施例为一种自动畸变校正的斯诺克台球桌面坐标的提取方法，参见图1、图2、图3和图4，该方法基于一个摄像头1(摄像头的分辨率等于或大于1392×800，曝光时间等于或小于1/100毫秒，采集帧频等于或大于25帧每秒，并带有广角变形光学校正)、台球桌2、视频采集卡3以及计算机4；所述摄像头安装在天花板5上置于台球桌台面中心2-2的上方距离台面2800mm处，摄像头最大视角6刚好含盖台球桌台面，摄像头上装有变形校正镜头，摄像头的视频输出连接至视频采集器，视频采集器连接至计算机；本实施例台球桌为斯诺克台球桌，长度(X轴)为3569mm、宽度(Y轴)为1778mm，如图2所示，台球桌面上有P1、P2、P3、P4、P5、P6共六个置球点7，定义中线8为穿过P1、P2、P3、P4点的直线；潜在的有效击球区域为框线9包围的台面上绿色的台泥部分；有效击球区域为框线10包围的台球的活动区域，超出此区域台球不是落袋就是出界；有效击球区域的框线10直线的四个交点11，坐标转换时需要用到左上和左下交点的坐标；定义中线之上的上半区12和定义中线之下的下半区13共同构成了有效击球区域，区分上下半区的目的在于为每一列计算上下两个Y轴方向空间分辨率以校正畸变，坐标的提取方法的步骤包括：

a.输入摄像机镜头距台面的高度2800mm、摄像机镜头在X轴方向的视角65.5度、台面在X轴方向的长度3569mm，Y轴方向长度1778mm以及所采集的图像在X轴方向的像素数1392个像素，确定图像在X轴方向的空间分辨率，单位为毫米/像素，根据光学成像原理，其计算公式为δ＝{h×tan(θ/2)}×2/∑a＝{2800×tan(65.5/2)}×2/1392＝2.587(毫米/像素)(公式中h是摄像镜头距台面的高度，θ是镜头视角，∑a是台球桌面X轴方向像素总数)；

b.采集一幅无球时的台球桌面图像，称为背景图像，背景图像为变形图像，如图3所示；

c.由背景图像中在X轴方向排成一行的置球点P1、P2、P3、P4确定一条中线，中线将背景图像一分为二，分别为Y轴方向上半图像和Y轴方向下半图像，图像中各点的y值仍大于零；

d.对背景图像进行边缘提取，确定一个封闭的有效击球区域10，具体地，确定有效击球区域的四条边缘及其四个交点11，台球只在有效击球区域中活动，否则便是落袋或出界；确定封闭的有效击球区域包括平滑、彩色分割、边缘检测、峰值边缘提取、曲线拟合五个步骤：

步骤1.输入背景图像，采用平滑掩膜运算消除噪音，输出平滑后的背景图像，其平滑掩膜如图4所示；

步骤2.输入平滑后的背景图像，确定潜在的有效击球区域9，输出为彩色分割图像：即统计图像中Hue(色调)分量直方图，提取直方图中最大峰值点对应的峰值色调Hmax＝123，将图像中色调位于区间[Hmax-10，Hmax+10]的颜色区域确定为潜在的有效击球区域，标记出潜在的有效击球区域并保存为彩色分割图像，台球桌面的潜在的有效击球区域呈绿色，比有效击球区域的范围稍大；

步骤3.输入平滑后的背景图像，检测有效击球区域的边缘，输出边缘检测图像，检测到的边缘点是不连续的，可能混有噪音点，边缘检测采用Prewitt算子；

步骤4.输入边缘检测图像和彩色分割图像，采用峰值边缘提取的方法提取有效击球区域上下左右四条边的边缘点：首先剔除落在潜在的有效击球区域之外的边缘，边缘检测图像中的检测到的边缘只有落在彩色分割图像中标记的潜在的有效击球区域之内才被保留，此时的边缘检测图像称为彩色分割后的边缘检测图像；其次，有效击球区域上、下、左、右边缘点的提取只利用彩色分割后的边缘检测图像的上、下、左、右半部分，称为边缘点的搜索范围，限制搜索范围的目的是防止上下边缘点或左右边缘点之间的混淆；搜索上下边缘的边缘点时，对彩色分割后的边缘检测图像在搜索范围进行行扫描，找出搜索范围内每一列的最大值，搜索左右边缘的边缘点时，对彩色分割后的边缘检测图像在搜索范围进行列扫描，找出搜索范围内每一行的最大值，最大值点确定为边缘点；

步骤5.将有效击球区域的上下左右四条边的边缘点分别进行二次曲线拟合，得到封闭的有效击球区域：首先，设定一个误差限3个像素，对有效击球区域的上、下、左、右边缘点进行二次曲线拟合，计算边缘点与其在曲线上对应点的绝对误差，曲线上各边缘点绝对误差的平均值称为平均误差，曲线上各边缘点绝对误差的最大值称为最大误差，如果最大误差大于误差限，则剔除绝对误差大于平均误差的边缘点，再次进行二次曲线拟合，直到最大误差小于等于误差限；其次，确定上下左右四条拟合曲线的交点11，从而得到一个封闭的有效击球区域。(拟合方法参见高教出版社出版的“计算方法引论”第三章第二节“多变量的数据拟合”)；

e.从步骤c得到的背景图像的中线和步骤d得到的封闭的有效击球区域，中线、有效击球区域的上、左、右边缘围成的封闭区域称为上半区12，中线、有效击球区域的下、左、右边缘围成的封闭区域称为下半区，确定图像在上半区的Y轴方向空间分辨率序列和下半区的Y轴方向空间分辨率序列，上、下半区的每一列分别对应一个Y轴方向空间分辨率：单位为毫米/像素，其计算公式分别为：

δ_up[i]＝Board_h/(2×(mid[i]-up[i]))，

δ_down[i]＝Board_h/(2×(down[i]-mid[i]))，

(公式中Board_h＝1778mm是台面在Y轴方向的长度，mid[i]是中线上的第i个点的Y轴坐标，up[i]是有效击球区域的上边缘的第i个点的Y轴坐标，down[i]是有效击球区域的下边缘的第i个点的Y轴坐标)；

f.利用步骤a得到的图像在X轴方向的空间分辨率、步骤e得到的图像在上半区的Y轴方向空间分辨率序列和下半区的Y轴方向空间分辨率序列以及步骤d得到的有效击球区域的左上交点，将有效击球区域内任意一点的图像坐标校正并转换为台面坐标，图像坐标以像素为单位，台面坐标以毫米为单位，其计算公式分别为：

y′＝(y-mid[x])×δ_up[x]+Board_h/2，如果y≤mid[x]；

y′＝(y-mid[x])×δ_down[x]+Board_h/2，如果y＞mid[x]；

x′＝(x-x_left_up)×δ-(x_left_down-x_left_up)×y′/Board_h；

其逆变换为：

x＝(x′+(x_left_down-x_left_up)×y′/Board_h)/δ+x_left_up；

y＝(y′-Board_h/2)/δ_up[x]+mid[x]，如果y′≤Board_h/2；

y＝(y′-Board_h/2)/δ_down[x]+mid[x]，如果y′＞Board_h/2；

(公式中(x，y)是任意一点的图像坐标，(x′，y′)是其对应的台面坐标，(x，mid[x])是中线上X轴坐标为x的点，δ_up[x]是X轴坐标为x的上半区的Y轴方向空间分辨率，δ_down[x]是X轴坐标为x的下半区的Y轴方向空间分辨率，Board_h＝1778mm是台面在Y轴方向的长度，(x_left_up，y_left_up)＝(39，25)是有效击球区域的左上点的图像坐标，(x_left_down，y_left_down)＝(68，762)是有效击球区域的左下点的图像坐标)。

g.将校正后的台面坐标图像输出到显示屏上。

步骤d和f中的采用的公式方法是对任何一个y值根据“镜头中心畸变最小”的原则进行校正，即是对长度方向的两条边中间向外有一个小弧度的有效区域的平面坐标进行了校正，图5显示的是校正后的台面。

Claims (9)

1.自动畸变校正的斯诺克台球桌面坐标的提取方法，该方法基于一个计算机辅助裁判系统，所述系统包括摄像头、斯诺克台球桌、视频采集器以及计算机；所述摄像头安装于斯诺克台球桌台面中心的上方，摄像头最大视角含盖台球桌台面，摄像头的视频输出连接至视频采集器，视频采集器连接至计算机，设定台球桌台面长边为X轴、短边为Y轴；其特征在于，斯诺克台球桌面坐标的提取方法步骤包括：

a.输入一组数据，确定图像在X轴方向的分辨率；所述数据包括：摄像机镜头距台面的高度、摄像机镜头在台面X轴方向的视角、台面在X轴方向的长度、Y轴方向的长度以及图像在X轴方向的像素数；

b.采集一幅无球时的台球桌面图像，称为背景图像，所述背景图像中包括台面中央在X轴方向设有的一行置球点；

c.由所述置球点确定一条中线，中线将背景图像分别为Y轴方向上半区图像和Y轴方向下半区图像；

d.在背景图像中确定封闭的有效击球区域，即确定有效击球区域的四条边缘及其四个交点；

e.确定背景图像在所述上半区的Y轴方向空间分辨率序列和所述下半区的Y轴方向分辨率序列；

f.确定有效击球区域中任意一点的图像坐标对应的台面坐标。

2.根据权利要求1所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述图像在X轴方向的分辨率：单位为毫米/像素，其计算公式为δ＝{h×tan(θ/2)}×2/∑a，公式中h是摄像镜头距台面的高度，θ是镜头视角，∑a是台球桌面X轴方向像素总数。

3.根据权利要求1所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述确定封闭的有效击球区域包括平滑、彩色分割、边缘检测、峰值边缘提取、曲线拟合五个步骤：

步骤1.输入背景图像，采用平滑掩膜运算消除噪音，输出平滑后的背景图像；

步骤2.输入平滑后的背景图像，确定潜在的有效击球区域，输出彩色分割图像：即统计图像中色调分量直方图，提取直方图中最大峰值点对应的色调称为峰值色调，将图像中色调位于峰值色调-10和峰值色调+10的区间颜色区域确定为潜在的有效击球区域，标记出潜在的有效击球区域并保存为彩色分割图像，台球桌面的潜在的有效击球区域大于有效击球区域；

步骤3.输入平滑后的背景图像，检测有效击球区域的边缘，输出边缘检测图像；

步骤4.输入边缘检测图像和彩色分割图像，提取有效击球区域上、下、左、右四条边的边缘点；

步骤5.将有效击球区域的上、下、左、右四条边的边缘点分别进行二次曲线拟合，得到封闭的有效击球区域。

4.根据权利要求3所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述提取有效击球区域边缘点的步骤是：

步骤1.利用边缘检测算子确定离散不连续的边缘点；

步骤2.剔除位于潜在的有效击球区域之外的边缘点；

步骤3.将边缘点分成上、下、左、右四组，分别位于上、下、左、右半图像区，依次对应有效击球区域的上、下、左、右边界；

步骤4.对于上、下组边缘点，每一列只保留一个取值最大的边缘点，对于左、右组边缘点，每一行只保留一个取值最大的边缘点。

5.根据权利要求3所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述的二次曲线拟合是对边缘点依次拟合：设定一个误差限，判别被拟合边缘点与拟合出的曲线距离，若距离超出误差限则剔除这个边缘点，用剩余的边缘点再次曲线拟合，直到所有边缘点距拟合曲线的距离都不超过误差限。

6.根据权利要求1所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述上半区的Y轴方向空间分辨率序列和下半区的Y轴方向分辨率序列：单位为毫米/像素，其计算公式分别为：

δ_up[i]＝Board_h/(2×(mid[i]-up[i]))，

δ_down[i]＝Board_h/(2×(down[i]-mid[i]))，

公式中Board_h是台面在Y轴方向的长度，mid[i]是中线上的第i个点的Y轴坐标，up[i]是有效击球区域的上边缘的第i个点的Y轴坐标，down[i]是有效击球区域的下边缘的第i个点的Y轴坐标。

7.根据权利要求1所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述确定台面坐标是将有效击球区域内任意一点的图像坐标校正并转换为台面坐标，图像坐标以像素为单位，台面坐标以毫米为单位，其计算公式分别为：

y′＝(y-mid[x])×δ_up[x]+Board_h/2，如果y≤mid[x]；

y′＝(y-mid[x])×δ_down[x]+Board_h/2，如果y＞mid[x]；

x′＝(x-x_left_up)×δ-(x_left_down-x_left_up)×y′/Board_h；

公式中(x，y)是任意一点的图像坐标，(x′，y′)是其对应的台面坐标，(x，mid[x])是中线上X轴坐标为x的点，δ_up[x]是X轴坐标为x的上半区的Y轴方向空间分辨率，δ_down[x]是X轴坐标为x的下半区的Y轴方向空间分辨率，Board_h是台面在Y轴方向的长度，(x_left_up，y_left_up)是有效击球区域的左上点的图像坐标，(x_left_down，y_left_down)是有效击球区域的左下点的图像坐标。

8.根据权利要求1所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述确定有效击球区域中任意一点的图像坐标是将台面坐标逆变换，其逆变换公式为：

x＝(x′+(x_left_down-x_left_up)×y′/Board_h)/δ+x_left_up；

y＝(y′-Board_h/2)/δ_up[x]+mid[x]，如果y′≤Board_h/2；

y＝(y′-Board_h/2)/δ_down[x]+mid[x]，如果y′＞Board_h/2；

公式中(x，y)是任意一点的图像坐标，(x′，y′)是其对应的台面坐标，(x，mid[x])是中线上X轴坐标为x的点，δ_up[x]是X轴坐标为x的上半区的Y轴方向空间分辨率，δ_down[x]是X轴坐标为x的下半区的Y轴方向空间分辨率，Board_h是台面在Y轴方向的长度，(x_left_up，y_left_up)是有效击球区域的左上点的图像坐标，(x_left_down，y_left_down)是有效击球区域的左下点的图像坐标。

9.根据权利要求5所述自动畸变校正的斯诺克台球桌面坐标的提取方法，其特征在于，所述误差限是3个像素。

Images