CN101537251B - 基于图像匹配技术的台球复位方法 - Google Patents

Abstract

本发明涉及计算机台球辅助裁判系统中的一种基于图像匹配技术的台球复位方法。该方法是在一个计算机辅助裁判系统中实现，所述系统包括摄像头、斯诺克台球桌、视频采集器以及计算机；所述摄像头安装设置于台球桌台面中心的上方，该方法包括：判断台球是否有位移的步骤和有位移台球的复位步骤；本发明的有益效果是：1.具有记忆功能，存储台球比赛中采集到的每一帧图像，可以重现比赛当中的任何一帧画面；2.复位判断运行速度快，实现了实时指导复位；3.复位精度高，图像匹配时直接对像素进行比较，因此对图像的微小变化十分敏感，在细搜索过程，能够察觉1个像素的差别，尤其是复位时的细搜索，总是在当前像素点和它的8邻域点中搜索一个误差最小的点。

Description

基于图像匹配技术的台球复位方法

技术领域

本发明属计算机应用领域，涉及计算机辅助裁判系统，更具体的说，涉及计算机台球辅助裁判系统中的一种基于图像匹配技术的台球复位方法。

背景技术

斯诺克(Snooker)台球和美式台球是深受人们广泛欢迎的一项体育运动，国内外经常举行各种大赛，但目前斯诺克(Snooker)台球比赛和美式台球的裁判还一直沿用传统的裁判员目视裁判的方法，然而斯诺克和美式台球比赛耗时长，经常会出现视觉疲劳造成误判、一些细小的失误未被发觉、以及需要复位的情况产生，因此经常造成一些不必要的争执，为此需要开发一种计算机辅助裁判系统帮助裁判员避免上述情况的产生，该系统采用的是摄像头取景技术，运用台球定位技术跟踪球的运动轨迹，依据裁判规则辅助裁判员做出正确的裁判，在台球裁判的过程中，经常会遇到后一杆的台球位置复位到前一杆台球位置的情况，在计算机辅助裁判系统如何利用计算机的记忆功能，协助裁判将球精准的复位是本发明要解决的问题。

发明内容

本发明的目的是提出一种基于图像匹配技术的台球复位方法技术方案，该方案采用图像比较的方法协助裁判将台球精准的复位。

本发明的技术方案是这样实现的：一种基于图像匹配技术的台球复位方法，该方法是在一个计算机辅助裁判系统中实现，所述系统包括摄像头、斯诺克台球桌、视频采集器以及计算机；所述摄像头安装设置于台球桌台面中心的上方，摄像头视角涵盖斯诺克台球桌台面，摄像头上装有变形校正镜头，摄像头的视频输出连接至视频采集器，视频采集器连接至计算机，所述计算机将摄像头摄入的每一杆台球坐标图像以连续帧的方式存储在寄存器中；其基于图像匹配技术的台球复位方法的步骤包括：判断台球是否有位移的步骤和有位移台球的复位步骤；

所述判断台球是否有位移的步骤是：

a.输入两帧图像，两帧图像分别为原始帧和待复位帧，所述原始帧为两次击打杆第一杆最后一帧图像，所述待复位帧为两次击打杆第二杆最后一帧图像；

b.输入原始帧中每个台球在实际台面上的坐标位置，所述坐标位置包括平面坐标位置和像素坐标位置；

c.以原始帧各台球坐标为中心分别定位一个比较图像，在待复位帧中以原始帧各台球坐标为中心分别定位相同尺寸的比较图像；

d.原始帧各台球比较图像与待复位帧相同位置比较图像之间进行像素差别比较，设定第一阈值、第二阈值和第三阈值，比较中若“两图像比较差值”小于第一阈值则台球图像是匹配的，台球没有位移；若“两图像比较差值”大于第二阈值则台球图像是不匹配的，台球有位移；若“两图像比较差值”在第一阈值和第二阈值之间则先对两个比较图像进行像素最大差值比较，再对“像素最大差值”进行中值滤波，得到“滤波后像素最大差值”，最后将“滤波后平均像素最大差值”与第三阈值比较，若“滤波后平均像素最大差值”小于第三阈值，则判断图像是匹配的台球没有位移，否则判断图像是不匹配的台球有位移；

e.建立标记帧在计算机显示屏显示：对待复位帧中未位移台球和有位移台球分别作出标记，并标出有位移台球的原始位置标记；

所述有位移台球的复位步骤是：复位操作是裁判移动台球至标记帧中标记示出的台球的原始位置，裁判辅助系统通过显示屏提示裁判朝哪个方向移动台球并给出台球当前所处位置距离原始位置的偏移量，其台球复位方法进一步的步骤是；

f.输入两帧图像，两帧图像分别为原始帧和当前待复位帧，所述当前待复位帧是指裁判在复位过程中实时采集的图像；

g.输入原始帧中每个台球在实际台面上的坐标位置，所述坐标位置包括平面坐标位置和像素坐标位置；

h.以原始帧各台球坐标为中心分别定位一个比较图像，在当前待复位帧中以原始帧各台球坐标为中心分别定位相同尺寸的比较图像；

i.将有位移台球的原始帧比较图像与当前待复位帧比较图像进行像素差值比较，若像素差值小于第一设定阈值则认为台球复位准确；否则进行图像匹配搜索，在有位移台球的原始位置附近寻找与原始帧比较图像相匹配的台球图像，如果能够找到，则认为这是有位移台球在原始帧中停留的位置，输出一个偏移量显示有位移台球的偏差，如果没有找到，则认为有位移台球离原始位置较远，台球没有复位。

本发明的有益效果是：

1.具有记忆功能，存储台球比赛中采集到的每一帧图像，可以重现比赛当中的任何一帧画面；在台球复位时，既可以重现原始帧、由用户任意指定一幅待复位帧，又可以重现原始帧中每个台球的原始位置，这样裁判在移动台球时可以随时观察到台球的原始位置。

2.实时性，复位判断运行速度快，实现了实时指导复位；该方法不是对整幅图像进行比较、搜索，而是首先定位比较图像，大大节省运算时间(例如，整幅图像的像素尺寸为1392×816，比较图像仅为20×20)；因为不需要计算当前帧图像中每个台球的坐标，使得复位时可以实时给出偏移量；其次，设定双阈值，差别很小或很大的比较图像，可以很快判定其是否发生位移，仅当差别介于两个阈值之间时，通过中值滤波去除噪声；最后，复位时采取粗搜索和细搜索结合的方式兼顾速度和精度。

3.复位精度高，图像匹配时直接对像素进行比较，因此对图像的微小变化十分敏感，尤其是细搜索过程，能够察觉1个像素的差别，尤其是复位时的细搜索，总是在当前像素点和它的8邻域点中搜索一个误差最小的点。

下面结合附图和实施例对本发明作一详细描述。

附图说明

图1为裁判系统硬件结构示意图；

图2为原始帧图像示意图；

图3为待复位帧图像示意图。

具体实施方式

实施例

本实施例是针对台球运动中当前台球位置需要复位到前一杆最后位置(也就是出杆后的台球位置复位到出杆前的台球位置)的要求，运用计算机的记忆功能而提出斯诺克台球的一种基于图像匹配技术的台球复位方法实施例，参见图1、图2、图3，该方法基于一个计算机辅助裁判系统如图1所示，所述系统包括一个摄像头1(摄像头的摄像像素数大于等于1392×800，本实施例摄像头的摄像像素为1392×816；曝光时间小于等于1/100毫秒，本实施例曝光时间为1/100毫秒；采集帧频大于等于30帧每秒，本实施例采集帧频等于30帧每秒；摄像头带有广角变形校正)、斯诺克台球桌2(斯诺克台球桌长度L为3569mm、宽度为1778mm)、视频采集器3以及计算机4；所述摄像头安装在天花板5上置于台球桌台面中心2-2的上方，距离台面2800mm处，摄像头视角6为65.5度刚好涵盖台球桌台面，摄像头上装有变形校正镜头，摄像头的视频输出连接至视频采集器，视频采集器连接至计算机；本实施例视频采集器为视频采集卡插在计算机主板的扩展槽中，所述计算机将摄像头摄入的每一杆的台球坐标图像以连续帧的方式存储在寄存器中；基于图像匹配技术的台球复位方法是在已知三幅图像和一组坐标的条件下，确定“需要复位的台球”，并判断“需要复位的台球”是否复位，若没有复位则计算出坐标偏移量。三幅图像是指原始帧、待复位帧和当前待复位帧。具体地，原始帧是指上一杆最后一帧图像；待复位帧是用户指定的发生在原始帧之后的任何一帧图像，一般为这一杆最后一帧图像；当前待复位帧是指裁判在复位过程中实时采集的图像(裁判在复位过程中裁判员的手会移动台球)。当前待复位帧的特点是实时更新，每个时刻采集一幅当前待复位帧，判断一次“需要复位的台球”是否复位。一组坐标是指原始帧中所有在台球桌面上的台球的坐标，简称原始坐标流，其中单个台球的坐标称为原始坐标。“需要复位的台球”全部复位或者手动结束复位标志着台球复位的结束。在整个台球复位的过程中，原始帧、待复位帧以及原始坐标流是保持不变的，而当前待复位帧是实时变化的。因此基于图像匹配技术的台球复位方法的步骤包括：首先判断两帧图像是否有台球发生位移：

a.输入两帧图像，两帧图像分别为原始帧7和待复位帧8，所述原始帧为两次击打杆第一杆最后一帧图像，所述待复位帧为两次击打杆第二杆最后一帧图像；

b.输入原始帧中每个台球在实际台面上的坐标位置，所述坐标位置包括平面坐标位置和像素坐标位置；

c.以原始帧各台球坐标为中心分别定位一个比较图像9，在待复位帧中以原始帧各台球坐标为中心分别定位相同尺寸的比较图像10；所述比较图像是边长小于台球直径的正方形图像，(边长略小于台球直径的正方形)所述正方形的边长在90％台球直径到98％台球直径之间；

d.原始帧各台球比较图像与待复位帧相同位置比较图像之间进行像素差别比较，设定第一阈值、第二阈值和第三阈值，比较中若“两图像比较差值”小于第一阈值则台球图像是匹配的，台球没有位移；若“两图像比较差值”大于第二阈值则台球图像是不匹配的，台球有位移；若“两图像比较差值”在第一阈值和第二阈值之间则先对两个比较图像进行像素最大差值比较，再对“像素最大差值”进行中值滤波，得到“滤波后像素最大差值”，最后将“滤波后平均像素最大差值”与第三阈值比较，若“滤波后平均像素最大差值”小于第三阈值，则判断图像是匹配的台球没有位移，否则判断图像是不匹配的台球有位移；所述两图像比较差值是两幅比较图像中平均每像素的R(红色)G(绿色)B(蓝色)分量的绝对差之和，所述滤波后平均像素最大差值是两幅比较图像中平均每像素的滤波后像素最大差值；

e.建立标记帧在计算机显示屏显示：对待复位帧中未位移台球和有位移台球分别作出标记，并标出有位移台球的原始位置标记；(从标记帧中可以看出哪些台球是静止的哪些台球发生了位移，以及有位移台球的原始位置)；

所述有位移台球的复位步骤是：复位操作是裁判移动台球至标记帧中标记示出的台球的原始位置，裁判辅助系统通过显示屏提示裁判朝哪个方向移动台球并给出台球当前所处位置距离原始位置的偏移量，其台球复位方法进一步的步骤是；

f.输入两帧图像，两帧图像分别为原始帧和当前待复位帧，所述当前待复位帧是指裁判在复位过程中实时采集的图像；

g.输入原始帧中每个台球在实际台面上的坐标位置，所述坐标位置包括平面坐标位置和像素坐标位置；

h.以原始帧各台球坐标为中心分别定位一个比较图像，在当前待复位帧中以原始帧各台球坐标为中心分别定位相同尺寸的比较图像；

i.将有位移台球的原始帧比较图像与当前待复位帧比较图像进行像素差值比较，若像素差值小于第一设定阈值则认为台球复位准确；否则进行图像匹配搜索，在有位移台球的原始位置附近寻找与原始帧比较图像相匹配的台球图像，如果能够找到，则认为这是有位移台球在原始帧中停留的位置，输出一个偏移量显示有位移台球的偏差，如果没有找到，则认为有位移台球离原始位置较远，台球没有复位；提示“相距较远”。

所述图像匹配搜索分为粗搜索和细搜索，所述粗搜索是在设定的搜索范围内按照搜索步长搜索，确定待匹配图像的大致位置；所述细搜索是以一个像素为步长进行搜索，确定待匹配图像的精确位置。

在台球复位过程中，可能有多个没有复位的“需要复位的台球”，对于每一个没有复位的“需要复位的台球”，采用全搜索的方式计算其坐标偏移量：

设定一个搜索范围，以这个台球的原始图像坐标为中心，在当前待复位帧中确定一个搜索区域；

设定一个搜索步长，让一个大小与原始帧比较图像相同的窗口子图像按照搜索步长在搜索区域内滑动，窗口子图像每停留在一处得到一个窗口比较图像；

粗搜索：

将搜索区域内所有的窗口比较图像与原始帧比较图像依次进行图像匹配，从中找出一个匹配程度最高的窗口比较图像；图像匹配的方式是将原始帧比较图像和窗口比较图像进行像素最大差别比较，对像素最大差别进行中值滤波，计算出滤波后平均像素最大差别。一个窗口比较图像对应一个滤波后平均像素最大差别，滤波后平均像素最大差别的最小值对应的窗口比较图像被确定为匹配程度最高的窗口比较图像，称为粗搜索窗口比较图像。

细搜索：

在当前待复位帧中，由粗搜索窗口比较图像的中心点可以确定其相邻的8个点，称为8邻域点，以8邻域点为中心，可以确定出8个邻域窗口比较图像；将这8个邻域窗口比较图像以及粗搜索窗口比较图像与原始帧比较图像一一进行图像匹配，从中找出一个匹配程度最高的窗口比较图像；9个窗口比较图像对应9个平均的滤波后像素最大差别，这9个值中的最小值称为全搜索最小误差，全搜索最小误差对应的窗口比较图像称为细搜索窗口比较图像。

设定第四阈值，若全搜索最小误差小于第四阈值，则判断细搜索窗口比较图像与原始帧比较图像是匹配的，否则判断二者是不匹配的；若细搜索窗口比较图像与原始帧比较图像是匹配的，则计算出这个台球的坐标偏移量：用细搜索窗口比较图像的中心点坐标减去这个台球的原始坐标；否则输出一个特定的偏移量表明这个台球没有复位，而且在“当前待复位帧”中所处的位置在搜索范围之外，因距离较远，故不给出具体的坐标偏移量。

本实施例中，所述搜索区域对于红球是一个28×28像素的图像方块，对于其他颜色球是一个60×60像素的图像方块；所述搜索步长为2个像素，所述第四阈值有3个数值，绿球、棕球、兰球和黑球的第四阈值为19；白球的第四阈值为50；黄球、粉球和红球的第四阈值为30。

如果存在一个或一个以上需要复位的台球，那么裁判员需要移动台球使其复位。在整个台球复位的过程中，实时采集来的“当前待复位帧”并不直接显示给裁判和观众看，而是在“当前待复位帧”中对需要复位的台球作一个标记，使裁判和观众一眼就能区别出哪些是可以移动的需要复位的台球，哪些是不可以移动的不需要复位的台球。除此之外，“当前待复位帧”还要画上另一种标记，用来标记每一个需要复位的台球的原始位置。原始位置，是指需要复位的台球的原始坐标所指示的位置。画上上述两种标记的“当前待复位帧”称为标记帧，将标记帧显示在屏幕上，需要复位的台球及其应当放回的位置便一目了然。

本实施例用小于台球面积的灰色方块区别需要复位的台球和不需要复位的台球，凡是不需要复位的台球，在其原始坐标处标记有灰色方块，凡是标记帧中没有灰色方块覆盖的台球都是需要复位的台球。本实施例用一个彩色的圆圈标记每个需要复位台球的原始位置，圆圈的颜色与需要复位台球的颜色相同。

对于已经复位的“需要复位的台球”，修改这个台球在标记帧中的标记，如某个需要复位的台球在某一时刻已经复位，那么这一时刻实时采集来的“当前待复位帧”应当对这个台球画上不需要复位台球的标记，并从原始坐标流中删除它的原始坐标，不再标记其原始位置。

本实施例中，对于已经复位的“需要复位的台球”，在标记帧中用面积小于该台球的灰色方块覆盖这个台球，并从原始坐标流中删除它的原始坐标，也不再标记其原始位置处的彩色圆圈。

本实施例所述第一阈值为20，所述第二阈值为50，所述第三阈值为13或17，其中粉球的第三阈值为17，其他颜色球的第三阈值为13；所述像素差是指每像素的R(红色)G(绿色)B(蓝色)分量的绝对差之和，如公式(1)所示：

|F0[i][j].R-F1[i][j].R|+|F0[i][j].G-F1[i][j].G|+|F0[i][j].B-F1[i][j].B|    (1)

所述比较图像是20像素×20像素的正方形像素图像。

所述比较图像像素差是指比较图像的像素的RGB分量的绝对差之和，如公式(2)所示：

$\frac{\underset{i=0}{\overset{20}{\mathrm{\Σ}}}\underset{j=0}{\overset{20}{\mathrm{\Σ}}}\left(\right|F0\left[i\right]\left[j\right].R-F1\left[i\right]\left[j\right].R|+|F0\left[i\right]\left[j\right].G-F1\left[i\right]\left[j\right].G|+|F0\left[i\right]\left[j\right].B-F1\left[i\right]\left[j\right].B\left|\right)}{20\×20}---\left(2\right)$

其中F0表示原始帧比较图像，F1表示待复位帧比较图像，20×20为比较图像面积像素数，F0[i][j].R表示图像F0的第i行第j列像素的红色分量；本实施例所述像素最大差是取每像素R分量绝对差、G分量绝对差和B分量绝对差的最大值，记作dist[i][j]，如公式(3)所示：

dist[i][j]＝max{|F0[i][j].R-F1[i][j].R|，|F0[i][j].G-F1[i][j].G|，|F0[i][j].B-F1[i][j].B|}  (3)

本实施例所述中值滤波，采用的是3×3的十字窗口，滤波后像素最大差别记作dist′[i][j]，如公式(4)所示：

本实施例所述滤波后平均像素最大差别，是平均每个像素的滤波后像素最大差别，如公式(5)所示：

$\frac{\underset{i=0}{\overset{20}{\mathrm{\Σ}}}\underset{j=0}{\overset{20}{\mathrm{\Σ}}}{\mathrm{dist}}^{\′}\left[i\right]\left[j\right]}{20\×20}---\left(5\right)$

上述实施例中由于摄像头的摄像像素为1392×816，所述摄像头安装在台球桌台面中心上方距离台面2800mm处，斯诺克台球桌长度L为3569mm、宽度为1778mm，摄像头视角6为65.5度，根据公式：δ＝{h×tan(θ/2)}×2/∑a确定X轴方向的空间分辨率(象素大小尺寸)，单位为毫米每像素，(公式中h＝2800mm是镜头到台面的高度距离，θ＝65.5度是镜头视角，∑a＝1392像素为台球桌面X轴方向像素总数)。

Claims (10)

1.基于图像匹配技术的台球复位方法，该方法是在一个计算机辅助裁判系统中实现，所述系统包括摄像头、斯诺克台球桌、视频采集器以及计算机；所述摄像头安装设置于斯诺克台球桌台面中心的上方，摄像头视角涵盖斯诺克台球桌台面，摄像头上装有变形校正镜头，摄像头的视频输出连接至视频采集器，视频采集器连接至计算机，所述计算机将摄像头摄入的每一杆台球坐标图像以连续帧的方式存储在寄存器中；其基于图像匹配技术的台球复位方法的步骤包括：判断台球是否有位移的步骤和有位移台球的复位步骤；

所述判断台球是否有位移的步骤是：

a.输入两帧图像，两帧图像分别为原始帧和待复位帧，所述原始帧为两次击打杆第一杆最后一帧图像，所述待复位帧为两次击打杆第二杆最后一帧图像；

b.输入原始帧中每个台球在实际台面上的坐标位置，所述坐标位置包括平面坐标位置和像素坐标位置；

c.以原始帧各台球坐标为中心分别定位一个比较图像，在待复位帧中以原始帧各台球坐标为中心分别定位相同尺寸的比较图像；

d.原始帧各台球比较图像与待复位帧相同位置比较图像之间进行像素差别比较，设定第一阈值、第二阈值和第三阈值，比较中若“两图像比较差值”小于第一阈值则台球图像是匹配的，台球没有位移；若“两图像比较差值”大于第二阈值则台球图像是不匹配的，台球有位移；若“两图像比较差值”在第一阈值和第二阈值之间则先对两个比较图像进行像素最大差值比较，再对“像素最大差值”进行中值滤波，得到“滤波后像素最大差值”，最后将“滤波后平均像素最大差值”与第三阈值比较，若“滤波后平均像素最大差值”小于第三阈值，则判断图像是匹配的，台球没有位移，否则判断图像是不匹配的，台球有位移；

e.建立标记帧在计算机显示屏显示：对待复位帧中未位移台球和有位移台球分别作出标记，并标出有位移台球的原始位置标记；

所述有位移台球的复位步骤是：复位操作是裁判移动台球至标记帧中标记示出的台球的原始位置，裁判辅助系统通过显示屏提示裁判朝哪个方向移动台球并给出台球当前所处位置距离原始位置的偏移量，其台球复位方法进一步的步骤是；

f.输入两帧图像，两帧图像分别为原始帧和当前待复位帧，所述当前待复位帧是指裁判在复位过程中实时采集的图像；

g.输入原始帧中每个台球在实际台面上的坐标位置，所述坐标位置包括平面坐标位置和像素坐标位置；

h.以原始帧各台球坐标为中心分别定位一个比较图像，在当前待复位帧中以原始帧各台球坐标为中心分别定位相同尺寸的比较图像；

i.将有位移台球的原始帧比较图像与当前待复位帧比较图像进行像素差值比较，若像素差值小于第一设定阈值则认为台球复位准确；否则进行图像匹配搜索，在有位移台球的原始位置附近寻找与原始帧比较图像相匹配的台球图像，如果能够找到，则认为这是有位移台球在原始帧中停留的位置，输出一个偏移量显示有位移台球的偏差，如果没有找到，则认为有位移台球离原始位置较远，台球没有复位。

2.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述原始帧各台球比较图像与待复位帧相同位置比较图像是边长小于台球直径的正方形图像。

3.根据权利要求2所述基于图像匹配技术的台球复位方法，其特征在于，所述正方形的边长在90％台球直径到98％台球直径之间。

4.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述第一阈值为20，所述第二阈值为50，所述第三阈值为18或13。

5.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述两图像比较差值是原始帧各台球比较图像与待复位帧相同位置比较图像中平均每像素的红色(R)、绿色(G)、蓝色(B)分量的绝对差之和。

6.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述滤波后平均像素最大差值是原始帧各台球比较图像与待复位帧相同位置比较图像中平均每像素的滤波后像素最大差值。

7.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述图像匹配搜索分为粗搜索和细搜索，所述粗搜索是在设定的搜索范围内按照搜索步长搜索，确定待匹配图像的大致位置；所述细搜索是以一个像素为步长进行搜索，确定待匹配图像的精确位置。

8.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述中值滤波采用的是3×3的十字窗口。

9.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述采集的图像是30帧每秒。

10.根据权利要求1所述基于图像匹配技术的台球复位方法，其特征在于，所述摄像头安装在天花板上置于斯诺克台球桌台面中心的上方，距离台面2800mm处。

Images