CN101067866A - 基于鹰眼技术的网球赛仿真装置及其仿真处理方法 - Google Patents

Abstract

本发明提供的是一种基于鹰眼技术的网球赛仿真装置及其仿真处理方法。其组成包括视频图像采集模块、图像预处理模块、运动目标检测与跟踪模块、三维视景仿真模块、球赛仿真与三维重现模块，视频图像采集模块将视频转换为一帧一帧的图像输入图像预处理模块，图像预处理模块对图像进行二值化、锐化、去噪处理后输入运动目标检测与跟踪模块和三维视景仿真模块，运动目标检测将背景差分法与数学形态学相结合对运动目标进行检测后输入球赛仿真与三维重现模块。本发明提供了一个价格低廉，适合普遍使用和推广，特别适合于网球赛实时仿真也可以推广到其他球赛，不仅可以提高运动员的技术水平和训练质量，还可以提高裁判判断的精确度。

Description

基于鹰眼技术的网球赛仿真装置及其仿真处理方法

(一)技术领域

本发明涉及的是一种运动目标检测、跟踪技术，以及对比赛结果做判断、三维视景重现的装置。本发明还涉及一种仿真处理方法。

(二)背景技术

在2006年的美国网球公开赛中，引入了“鹰眼”技术，这项技术早在2001年初问世时便获得了英国皇家电视协会颁发的科技革新奖，2003年又因广泛使用于网球转播而获全美电视最高奖艾美奖的“杰出科技贡献奖”。“鹰眼”的正式名称是“即时回放系统”，它的技术原理并不复杂，只是十分精密。这个系统由8个或者10个高速摄像头、四台电脑和大屏幕组成。首先，借助电脑的计算把比赛场地内的立体空间分隔成以毫米计算的测量单位；然后，利用高速摄像头从不同角度同时捕捉网球飞行轨迹的基本数据；再通过电脑计算，将这些数据生成三维图像；最后利用即时成像技术，由大屏幕清晰地呈现出网球的运动路线及落点。从数据采集到结果演示，这个过程所耗用的时间，不超过10秒钟。通常用于电视转播。但是该技术成本造价很高，并且对采集到的数据进行处理时运算量非常大。

基于鹰眼技术的网球赛仿真研究的主要关键技术是运动目标检测和跟踪。目标检测就是实时地在被监视的场景中检测运动目标，并将其提取出来。运动目标检测算法依照被监视场景与摄像头之间是否存在相对运动分为静止背景下运动目标的检测和运动背景下运动目标的检测两大类。

目前，针对背景图像静止不动的情况，所提出的检测运动目标的算法主要基于以下三个思想：第一是基于帧间差异的算法；第二类是基于背景估计图像与当前帧图像差异的算法；第三类是基于背景统计模型的算法。目前虽然存在着各种各样的算法，但每个算法多是针对某一特定的场合提出的，并且许多算法仍有许多值得改进的地方，如有的算法在精确地检测和提取运动目标的轮廓方面，有的算法在计算量等方面仍值得改进。

当背景图像运动时，许多视频分割的算法可以直接应用到运动背景的视频监视中。已经提出了许多专门针对运动背景视频监视的算法。直接利用视频分割的算法进行运动目标检测，往往存在着计算量较大的问题。因为视频监视的场景图像序列有着自身的许多特点，所以如何很好的利用这些特点的算法是值得研究的。

在序列图像中进行目标跟踪一直是计算机视觉、图像处理和模式识别领域里非常活跃的课题。所谓运动目标跟踪，就是在一段序列图像中的每幅图像中找到所感兴趣的运动目标所处的位置。在视频监视中运动目标的跟踪的作用非常重要，因为它不但可以提供被监视目标的运动轨迹，也为场景中运动目标的运动分析、场景分析提供了可靠的数据来源，同时运动目标的跟踪信息也为运动目标的正确检测以及运动目标的识别提供了帮助。

目前已经提出了许多目标跟踪的算法。这些算法有的是针对刚性目标的跟踪；有的是针对非刚体运动目标的跟踪；有的针对提高跟踪匹配的准确性而提出的，这类算法主要的特点是通过选取好的跟踪特征来提高目标的搜索匹配速度和匹配的正确程度；有的算法提针对缩小目标搜索范围提出的，这类算法主要特点是通过某种方法预测目标下一时刻可能出现的位置，通过缩小目标的搜索范围来缩短目标搜索时间。目标跟踪的困难主要在于，目标的三维运动以及还可能伴随着的形变。对于刚体目标的跟踪来说，其主要内容包括选取和提取适合跟踪的目标特征，解决目标三维运动给目标匹配带来的困难，另外一方面是设计快速有效的目标搜索算法。

(三)发明内容

本发明的目的在于提供一种价格低廉，适合普遍使用和推广，不仅可以提高运动员的技术水平和训练质量，还可以提高裁判判断的精确度的基于鹰眼技术的网球赛仿真装置。本发明的目的还在于提供这种仿真装置的仿真处理方法。

本发明的目的是这样实现的：

本发明的基于鹰眼技术的网球赛仿真装置的组成包括视频图像采集模块、图像预处理模块、运动目标检测与跟踪模块、三维视景仿真模块、球赛仿真与三维重现模块，视频图像采集模块将视频转换为一帧一帧的图像输入图像预处理模块，图像预处理模块对图像进行二值化、锐化、去噪处理后输入运动目标检测与跟踪模块和三维视景仿真模块，运动目标检测将背景差分法与数学形态学相结合对运动目标进行检测后输入球赛仿真与三维重现模块。

本发明的装置还可以包括这样一些结构特征：

1、视频图像采集模块的组成包括CCD摄像机，CCD摄像机通过多路视频转换器连接图像采集卡输入到计算机。

2、所述的CCD摄像机为两台，两台CCD摄像机交叉放置。

3、图像预处理模块通过对图像进行二值化、锐化和去噪等处理，来提高图像的质量。处理平台为Visual C++6.0。

4、运动目标检测与跟踪模块包括运动目标检测和运动目标跟踪两部分。运动目标检测的功能是从复杂背景中检测出运动目标。运动目标跟踪的功能是提取出运动目标的坐标，来对其运动轨迹进行标定。该模块以Visual C++6.0为处理平台。

5、三维视景仿真模块的功能是对网球场景进行仿真，通过3D MAX实现。球赛仿真和三维重现模块包括轨迹设定、碰撞检测、大屏幕重现等。轨迹设定是根据运动目标跟踪得到的各个坐标点来设定的。碰撞检测通过对网球的落点来判断网球是否出界。大屏幕用于对仿真的网球赛的比赛过程进行重现，使裁判和观众能更加清晰、准确的看到比赛的结果。球赛仿真通过VEGA软件来实现。

本发明的仿真处理方法为：

通过两台交叉放置的CCD摄像机采集视频，通过图像采集卡将采集到的视频输入到计算机中，并将视频转换为一帧一帧的图像；

在处理和分析图像之前采用图像二值化、锐化、去噪技术对图像进行预处理；

将背景差分法与数学形态学相结合对运动目标进行检测，运动目标检测是指检测并提取视频序列中与背景存在相对表现运动的运动前景目标，并根据灰度、边缘、纹理等二维图像特征将运动前景步分割为若干独立目标；

通过运动目标检测来实现对运动目标的检测，然后对检测出来的目标进行特征提取并计算出该特征点的坐标，估计出球的运动轨迹；

对运动目标精确检测与跟踪后，对采集到的比赛过程进行实时仿真和三维重现。

本发明的方法还可以包括：

1、运动目标特征提取与跟踪的过程为：(1)计算出运动目标的灰度质心坐标；(2)通过计算画出目标的最大外接矩形，计算出该最大外接矩形的两条对角线的的交点；(3)对质心坐标和对角线交点坐标进行比较，最终确定跟踪点；(4)估计运动轨迹。

2、仿真和三维重现为：根据上面处理得到的每帧图像中运动球的坐标点，设置球的运动路径，来实现对球运动的仿真；同时对球的落点进行判断，判断球是否出界，帮助裁判员做出正确的判断。

本发明构建了一个球赛仿真系统，包括用于采集图片的视频采集模块，用于对采集到的图像进行预处理的图像预处理模块，用于对运动目标进行检测、跟踪和识别的跟踪模块、用于对运动物体运动轨迹进行仿真的仿真模块。视频采集模块由CCD摄像头、图像采集卡和计算机系统三部分组成。在视频图像采集系统中图像采集卡将来自CCD摄像机的模拟信号转换成数字信号输入到计算机进行处理，它可被认为是CCD摄像机与计算机的接口。

考虑到天气的变化、光照的变化、运动物体运动造成的运动模糊等因素，图像中夹杂这各种类型的噪声。所以，在处理和分析图像之前对图像进行预处理。图像预处理模块的主要功能就是在处理和分析图像之前，对图像进行噪声去除等预处理工作。图像滤波是去除图像噪声最常用的方法，主要可分为空域滤波和频域滤波方法。为了去除噪声或突出图像的某些特征，常需要对图像进行平滑或锐化，根据其特点和功能可分为线性平滑滤波、非线性平滑滤波、线性锐化滤波和非线性锐化滤波。

运动目标检测与跟踪模块是该系统的核心。运动目标检测与跟踪包括两方面的内容：运动目标检测和运动目标跟踪。运动目标检测是在运动图像序列中检测出我们所感兴趣的目标；运动目标跟踪是通过传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置等信息的估计。运动目标检测效果的好坏直接关系到运动目标跟踪，而且也关系到整个系统的优劣和实用性。通常情况下，运动目标检测的算法可以按照被监视场景是室内还是室外分为室内监测算法和室外算法，也可以按照算法具体使用的方法分为连续帧间差分法、背景差分法和光流法。常见的图像跟踪技术基本上可以分为波门跟踪和相关跟踪两种方式。波门跟踪算法可分为质心跟踪算法、边缘跟踪算法和区域平衡跟踪算法等。相关跟踪器能在较低的信噪比条件下提供更好的跟踪性能。主要有相关匹配和特征匹配两种方法。为了使系统可以对运动的目标进行准确的跟踪，本发明使用背景差法与数学形态学相结合的方法对运动球进行检测。该方法可以精确的检测出运动目标并且可以有效地去除噪声。对运动目标跟踪通过对以往方法的研究和分析，提出了一种新的基于特征点跟踪的改进方法。通过视频采集，球处于高速运动状态，采集到的图像容易变形或被遮挡。该跟踪方法可以有效的解决这些问题，提高了运动目标跟踪的准确性和鲁棒性。

三维视景仿真模块主要用于对网球赛场进行模拟。通过对视景的仿真是该系统更加具有真实性和沉浸感。球场的视景仿真主要由静态几何模型构成，如建筑物，网球场，看台等。

仿真模块主要用于对运动目标的运动轨迹进行仿真，使比赛过程可以三维重现。通过以上几个模块的处理，可以获得序列图像中运动目标的运动轨迹，通过仿真软件对该轨迹进行设置。为了使仿真更加逼真，还要应用到碰撞检测技术。碰撞检测是虚拟仿真软件的一个重要特性。VEGA软件专门设计了Isector类处理各种碰撞检测问题，并提供八种碰撞检测算法供开发者进行选择(VOLUME，Z，HAT，ZPR，TRIPOD，LOS，XYZHPR，BUMP)。其中VOLUME方法用于用户指定的体与目标场景的碰撞检测；Z，HAT，ZPR，TRIPOD方法用于高程查询(功能略有不同)；XYZHPR方法用于非平面地球坐标系交点及姿态计算；LOS方法用于射线交点和距离查询；BUMP方法可以用于物体间的碰撞检测计算。

本发明克服了现有技术的价格高昂和计算冗余度大的缺陷，提供了一个价格低廉，适合普遍使用和推广，特别适合于网球赛实时仿真也可以推广到其他球赛，不仅可以提高运动员的技术水平和训练质量，还可以提高裁判判断的精确度。使比赛走上现代化、规范化和科学化的道路。

(四)附图说明

图1是基于鹰眼技术的网球赛仿真装置的组成结构图；

图2是视频图像采集模块结构图；

图3是背景差分法与数学形态学相结合的运动目标检测原理图；

图4是运动目标跟踪流程图；

图5是比赛过程仿真与三维重现流程图。

(五)具体实施方式

下面结合附图举例对本发明做更详细地描述：

结合图1，基于鹰眼技术的网球赛仿真装置的功能模块主要包括：视频图像采集模块、图像预处理模块、运动目标检测与跟踪模块、三维视景仿真模块、网球赛仿真与三维重现模块。

结合图2，视频图像采集模块通过两台交叉放置的CCD摄像机4采集视频，通过图像采集卡2将采集到的视频输入到计算机1中，并将视频转换为一帧一帧的图像。CCD摄像机、图像采集卡、监视器5之间通过视频多路转换器3连接。

考虑到天气的变化、光照的变化、运动物体运动造成的运动模糊等因素，图像中夹杂这各种类型的噪声。所以，在处理和分析图像之前要对图像进行预处理。图像预处理主要采用图像二值化、锐化、去噪等技术。

结合图3，运动目标检测与跟踪模块将背景差分法与数学形态学相结合对运动目标进行检测。运动目标检测是指检测并提取视频序列中与背景存在相对表现运动的运动前景目标，并根据灰度、边缘、纹理等二维图像特征将运动前景步分割为若干独立目标。背景差分方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。形态学的基本思想是用具有一定形态的结构元素去度量和提取图像中对应形状以达到对图像分析和识别的目的。基本的形态学运算是腐蚀和膨胀。对图像先进行腐蚀运算然后进行膨胀运算，称之为开运算。对图像先进行膨胀运算然后进行腐蚀运算，称之为闭运算。将开和闭运算结合起来可以构成形态学噪声滤波器。

结合图4，基于特征点跟踪的改进算法流程，通过运动目标检测来实现对运动目标的检测。然后对检测出来的目标进行特征提取并计算出该特征点的坐标，估计出网球的运动轨迹。该算法可以有效的解决运动目标由于高速而产生的变形，同时也可以解决遮挡问题，提高了跟踪的准确性。该算法主要针对形状规则的物体。其思想是先在序列图像中分割出运动目标，计算出运动目标的灰度质心坐标。然后通过计算画出目标的最大外接矩形，计算出该最大外接矩形的两条对角线的的交点。最后对质心坐标和对角线交点坐标进行比较，最终确定跟踪点。运动目标特征提取与跟踪的过程为：(1)计算出运动目标的灰度质心坐标；(2)通过计算画出目标的最大外接矩形，计算出该最大外接矩形的两条对角线的的交点；(3)对质心坐标和对角线交点坐标进行比较，最终确定跟踪点；(4)估计运动轨迹。

结合图5，网球赛仿真与三维重现是对运动目标精确检测与跟踪后，就要对采集到的比赛过程进行实时仿真。为了增加仿真的真实感，需要对网球场地、看台等物体进行仿真，通过3D MAX建模软件来实现。该流程中，对比赛过程的实时仿真是关键。根据上面处理得到的每帧图像中运动网球的坐标点，设置网球的运动路径，来实现对网球运动的仿真。同时还要对网球的落点进行判断，判断球是否出界，帮助裁判员做出正确的判断。该模块还将具有三维重现功能，在需要时可以通过大屏幕对比赛过程进行重放。

Claims (6)

1、一种基于鹰眼技术的网球赛仿真装置，其组成包括视频图像采集模块、图像预处理模块、运动目标检测与跟踪模块、三维视景仿真模块、球赛仿真与三维重现模块，其特征是：视频图像采集模块将视频转换为一帧一帧的图像输入图像预处理模块，图像预处理模块对图像进行二值化、锐化、去噪处理后输入运动目标检测与跟踪模块和三维视景仿真模块，运动目标检测将背景差分法与数学形态学相结合对运动目标进行检测后输入球赛仿真与三维重现模块。

2、根据权利要求1所述的基于鹰眼技术的网球赛仿真装置，其特征是：视频图像采集模块的组成包括CCD摄像机，CCD摄像机通过多路视频转换器连接图像采集卡输入到计算机。

3、根据权利要求2所述的基于鹰眼技术的网球赛仿真装置，其特征是：所述的CCD摄像机为两台，两台CCD摄像机交叉放置。

4、一种基于鹰眼技术的网球赛仿真装置的仿真处理方法，其特征是：

通过两台交叉放置的CCD摄像机采集视频，通过图像采集卡将采集到的视频输入到计算机中，并将视频转换为一帧一帧的图像；

在处理和分析图像之前采用图像二值化、锐化、去噪技术对图像进行预处理；

将背景差分法与数学形态学相结合对运动目标进行检测，运动目标检测是指检测并提取视频序列中与背景存在相对表现运动的运动前景目标，并根据灰度、边缘、纹理等二维图像特征将运动前景步分割为若干独立目标；

通过运动目标检测来实现对运动目标的检测，然后对检测出来的目标进行特征提取并计算出该特征点的坐标，估计出球的运动轨迹；

对运动目标精确检测与跟踪后，对采集到的比赛过程进行实时仿真和三维重现。

5、根据权利要求4所述的基于鹰眼技术的网球赛仿真装置的仿真处理方法，其特征是：运动目标特征提取与跟踪的过程为：(1)计算出运动目标的灰度质心坐标；(2)通过计算画出目标的最大外接矩形，计算出该最大外接矩形的两条对角线的的交点；(3)对质心坐标和对角线交点坐标进行比较，最终确定跟踪点；(4)估计运动轨迹。

6、根据权利要求4或5所述的基于鹰眼技术的网球赛仿真装置的仿真处理方法，其特征是：仿真和三维重现为：根据上面处理得到的每帧图像中运动球的坐标点，设置球的运动路径，来实现对球运动的仿真；同时对球的落点进行判断，判断球是否出界，帮助裁判员做出正确的判断。

Images