CN101158883A - 一种基于计算机视觉的虚拟体育系统及其实现方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的虚拟体育系统及其实现方法，用于一通用计算机，所述系统包括：一图像获取模块，用于获取指定监控区域的数字视频图像数据；一图像处理及空间坐标获取模块，用于对所获得的数字视频图像数据进行处理，得到在体育器械和人体上的标志点空间坐标；一动作识别模块，用于采集各类动作模式的运动轨迹数据，进行分类学习，并对待识别的动作识别其分类；一虚拟体育环境模块，根据识别出的动作，处理显示交互的动作状态。本发明系统及其实现方法由于可在通用计算机上实现虚拟体育处理，其实现成本降低，利用该系统可以进行体育锻炼，并可普及到普通家庭，并具有良好的实时性和扩展能力。

Description

一种基于计算机视觉的虚拟体育系统及其实现方法

技术领域

本发明涉及一种用于视觉处理的计算机系统及其虚拟实现技术，尤其涉及的是一种虚拟体育系统及其实现方法。

背景技术

为了更广泛地开展群众性体育活动，增强人民体质，国家开展了全民健身计划。然而很多的体育项目会受到场地和时间等因素的制约，很难达到普及的程度。如果能够利用计算机的优势，将体育运动变成在虚拟环境中进行，例如可以在客厅里面打网球、高尔夫球等，就可以更好地提高全民健身运动的普及程度。

本发明主要研究虚拟体育运动，即人与电脑之间(或者人与人间通过互联网)进行体育运动，利用计算机视觉来识别人体以及体育器械的运动状态和动作模式，并将动作模式反馈给计算机，通过计算机的处理，控制虚拟体育运动中的角色做出相应的动作。此类人机交互平台的研究，以体育健身作为应用目标，实现人体运动动作的正确识别，达到全民健身的效果。

发明内容

本发明的目的在于提供一种基于计算机视觉的虚拟体育系统及其实现方法，利用计算机和视觉感知处理系统，实现人与电脑之间或者人与人间通过互联网的体育运动。

本发明的技术方案如下：

一种基于计算机视觉的虚拟体育系统，用于一通用计算机，其中，所述系统包括：

一图像获取模块，用于获取指定监控区域的数字视频图像数据；

一图像处理及空间坐标获取模块，用于对所获得的数字视频图像数据进行处理，得到在体育器械和人体上的标志点空间坐标；

一动作识别模块，用于采集各类动作模式的运动轨迹数据，进行分类学习，并对待识别的动作识别其分类；

一虚拟体育环境模块，根据识别出的动作，处理显示交互的动作状态。

所述的系统，其中，所述图像获取模块包括一红外发射装置、至少一摄像头、一摄像头同步电路以及一数据传输装置；所述红外发射装置为红外发光二极管，所述摄像头采用红外摄像头，所述摄像头同步电路控制摄像头曝光，所述数据传输装置将数字视频信号传输到通用计算机，供所述图像处理及空间坐标获取模块处理。

所述的系统，其中，所述摄像头设置为双摄像头。

所述的系统，其中，所述图像获取模块包括至少一摄像头、一摄像头同步电路以及一数据传输装置；所述摄像头采用可见光摄像头，所述摄像头同步电路控制摄像头曝光，所述数据传输装置将数字视频信号传输到通用计算机，供所述图像处理及空间坐标获取模块处理。

所述的系统，其中，所述图像处理及空间坐标获取模块包括摄像头参数获取、背景估计、标志物提取及跟踪，以及，空间坐标获取四个子模块；

所述摄像头参数获取模块通过双目视觉的双摄像头参数辨识，获得摄像头的内部参数和外部参数；

所述背景估计模块用于在系统启动时取前若干帧图像的公共部分作为背景；

所述标志物提取及跟踪模块用于对图像中运动部分即当前前景图像进行处理，区分识别各个标志点；

所述空间坐标获取环节模块利用标志物提取及跟踪模块得到的标志点在两个摄像头内成像的位置，利用双目视觉方法获得标志点的空间坐标，并将该空间坐标传给标志物提取及跟踪模块处理。

所述的系统，其中，所述虚拟体育环境模块包括虚拟体育运动服务器和多个客户端，所述虚拟体育运动服务器用于建立起虚拟运动平台负责产生虚拟运动画面，裁决比赛的得分及输赢；所述多个客户端通过网络连接到所述虚拟体育运动服务器，用于实现客户端之间的交互。

一种基于计算机视觉的虚拟体育系统实现方法，其包括以下步骤：

A、将摄像头安装在指定区域的正前方，摄像头光轴水平向后，用于捕捉指定区域的图像；

B、采集数字图像并输入通用计算机，得到每帧数字图像后，采用标志点识别方式得到体育器械和人体身上的标志点运动方式；

C、根据标志点运动方式识别其运动模式，传给虚拟体育环境，并处理显示相应的交互动作状态。

所述的方法，其中，所述步骤B还包括：在标志点识别环节，把当前帧的图像和当前的背景图像相减，同时把当前帧的图像和前一帧的图像相减；对相减得到的两幅图像进行与操作得到当前前景图像，并利用数学形态学方法对前景图像进行去噪声处理；对前景图像进行连通区域标注，得到前景块数目，根据前景块的面积和形状来区分识别各个标志点。

所述的方法，其中，采用双摄像头获取图像时所述步骤B还包括：在人体和体育器械空间位置获取环节，对摄像头进行校正，得到内部参数和外部参数，并根据每帧图像中得到的标志点，利用双目视觉方法获取标志点的空间位置坐标。

所述的方法，其中，采用单摄像头获取图像时，所述步骤B还包括：在人体和体育器械空间位置获取环节，对摄像头进行校正，得到内部参数，并根据每帧图像中得到的标志点，获取标志点在图像上的二维坐标。

所述的方法，其中，所述步骤C还包括：

C1、采集各种样本动作模式数据，对采集到的样本动作模式数据进行标注；

C2、逐一从所述样本动作模式数据中提取出反映其本质特征的特征向量；

C3、根据所述特征向量划分所属类别区域，使得划分后的各个不同类别区域中只包含同类样本的特征向量，建立从特征向量到所属类别之间映射关系的分类器；

C4、对待辨识动作模式数据进行处理，提取其特征向量；

C5、将待辨识动作模式数据的特征向量输入到所述分类器，分类器根据其特征向量进行判别，得到对该待辨识动作模式数据的辨识结果。

所述的方法，其中，所述步骤C2还包括：

C21、对所述样本动作模式数据进行预处理，得到训练数据；

C22、从训练数据中提取反映训练数据本质特征的特征成分；

C23、将所述特征成分进行组合，得到所述特征向量。

所述的方法，其中，所述步骤C4还包括：

C41、对所述待辨识动作模式数据进行预处理，得到辨识数据；

C42、从辨识数据中提取反映辨识数据本质特征的特征成分；

C43、将所述特征成分进行组合，得到所述特征向量。

本发明所提供的一种基于计算机视觉的虚拟体育系统及其实现方法，由于可在通用计算机上实现虚拟体育处理，其实现成本降低，利用该系统可以进行体育锻炼，并可普及到普通家庭，并具有良好的实时性和扩展能力。

附图说明

图1为本发明基于计算机视觉的虚拟体育系统的示意框图；

图2为本发明图像获取模块的示意框图；

图3为本发明图像处理与空间坐标获取模块的示意框图；

图4为本发明动作识别模块的示意框图；

图5为本发明虚拟体育环境的示意框图；

图6为本发明基于计算机视觉的虚拟体育系统的识别分类示意图。

具体实施方式

以下对本发明的较佳实施例加以详细说明。

本发明基于计算机视觉的虚拟体育运动系统及方法，用户可以利用进行虚拟的体育运动，达到健身的效果。本发明虚拟体育运动系统采用了红外发射装置照射安放在体育器械和人体特征部位上的识别物，并使用单个或者多个摄像头采集视频图像，如图1所示；根据采集到的每帧图像，提取出体育器械和人体上的标志物的运动轨迹，从而获取体育器械和人体的空间位置及姿态，根据运动轨迹识别出人体及体育器械的运动模式，进而控制虚拟体育环境中的人物做出相应的动作，达到互动的目的。

本发明该系统至少包括四大模块：图像获取模块1；图像处理及空间坐标获取模块2；动作识别模块3；虚拟体育环境模块4，如图1所示。其中图像获取模块1中至少包括摄像头和图像采集两个环节，如图2所示，即红外发射装置11、摄像头12、摄像头同步电路13、数据传输装置14；图像处理及空间坐标获取模块2至少包括背景估计、标志物提取及跟踪、空间坐标获取四个环节，如图3所示，包括摄像头参数获取21、背景估计22、标志物提取及跟踪23、空间坐标获取24；动作识别模块3至少包括样本选取、运动轨迹分类器的训练和在线识别两个环节，如图4所示，包括动作模式数据采集模块31、训练模块32、识别模块33；虚拟体育环境模块4至少包括客户端模块和服务器模块两个环节，如图5所示，包括虚拟体育运动服务器41和多个客户端42。本发明该系统可自动识别人体做出的各种动作，和虚拟体育环境进行交互，达到健身的目的，该系统还可以通过网络实现网络虚拟体育运动。

本发明所述图像获取模块1建立的目的是获取指定监控区域的数字视频图像，为后续的图像处理及空间坐标获取模块2提供需要处理的数据。该模块中的红外发射装置11为红外发光二极管，摄像头12采用红外摄像头，摄像头同步电路13控制双摄像头同时曝光，数据传输装置14将数字视频信号传输到通用计算机，供图像处理及空间坐标获取模块2处理。

所述图像处理及空间坐标获取模块2是将从图像获取模块1中得到的数字视频信号I进行处理，从而得到标志点的空间坐标，供后面的动作识别模块3处理。空间坐标获取模块包括摄像头参数获取模块21，该模块的作用是通过双目视觉的双摄像头参数辨识，获得摄像头的内部参数和外部参数，该过程只需要在系统建立时进行一次即可。

双摄像头在背景估计模块22和标志物提取及跟踪模块23中的处理获得标志点的过程一样，下面以单个摄像头为例，背景估计22在系统启动时，先取前若干帧图像，取这些图像中公共的部分作为背景B。以后每次有从模块1传来的新图像I时，把当前图像I与背景B图像相减，同时把当前帧的图像和前一帧的图像相减得到图像D；接着，对相减得到的两幅图像进行与操作得到当前前景图像F和当前帧的背景图像

，F＝(I/-B)∩D， $\stackrel{\‾}{F}=I-F$ ；背景估计模块22使用背景图像

自适应修正背景： $B_{\mathrm{new}}=\mathrm{\α}{B}_{\mathrm{old}}+(1-\mathrm{\α})\stackrel{\‾}{F}$ ，其中α是常数；标志物提取及跟踪模块23对图像中运动部分即当前前景图像F进行处理，首先将灰度图像二值化变成二值图像，然后利用数学形态学方法对前景图像进行去噪声处理；最后，对前景图像进行连通区域标注，得到前景块数目(独立运动物体)，然后根据前景块的面积和形状来区分识别各个标志点。空间坐标获取环节模块24利用标志物提取及跟踪模块23得到的标志点在两个摄像头内成像的位置，利用双目视觉方法(此为教科书上已经公开的算法)，获得标志点的空间坐标，并将该空间坐标传给标志物提取及跟踪模块3处理。

所述动作识别模块3的动作模式数据采集模块31用于采集各类动作模式(如：发球、正手击球、扣球等)的运动轨迹数据(已经在图像处理与空间坐标获取模块2获得的)，这些轨迹数据是一系列(例如K＝8个)空间点的三维坐标(p_x ^k，p_y ^k，p_z ^k) k＝1，2，...，K，为后续的训练单元32提供必要的学习样本。

该数据可以由以下方法采集：利用图像获取模块1、图像处理与空间坐标获取模块2对不同的用户做出的各种动作进行采集数据得到，比如说采集100组发球动作、100组扣球动作、100组正手击球动作、100组反手击球动作C＝4类动作共N＝400个样本；训练单元32用于提取动作模式数据的特征向量，并寻找和建立从动作模式数据特征向量到所属类别之间的映射关系，得到分类器。

该训练单元32的流程简述如下：(1)对每组轨迹数据进行于处理，得到各点的速度 $(v_x^k,v_y^k,v_z^k)=(p_x^{k+1}-p_x^k,p_y^{k+1}-p_y^k,p_z^{k+1}-p_z^k)$ 、加速度 $(a_x^k,a_y^k,a_z^k)=(v_x^{k+1}-v_x^k,v_y^{k+1}-v_y^k,v_z^{k+1}-v_z^k)$ ；(2)将每个点的速度、加速度组合起来构成一个动作模式数据特征向量(v_x ¹，v_y ¹，v_z ¹，a_x ¹，a_y ¹，a_z ¹，v_x ²，v_y ²，v_z ²，a_x ²，a_y ²，a_z ²，…，v_x ^K-2，v_y ^K-2，v_z ^K-2，a_x ^K-2，a_y ^K-2，a_z ^K-2)，就会得到N＝400个训练样本；(3)根据N个样本数据的特征向量寻找到多条分类曲线或曲面，由分类曲线或曲面分隔出C个分类区域，使每个标本动作模式数据的特征向量分布在各自不同的分类区域内，分类区域根据特征向量的数值来划分，也就是建立一种从特征向量空间到类别的映射关系。例如，当特征向量为两维时，训练模块32就等价于找到两条直线使得四类样本的特征向量分别分布在两条直线分割的四个区域中，如图6所示，白色圆形为训练时得到的第I类特征向量(例如发球动作)，白色方形为训练时得到的第II类特征向量(例如扣球动作)，黑色方形为训练时得到的第III类特征向量(例如正手击球动作)，黑点为训练时得到第IV类特征向量(例如反手击球动作)，直线1和直线2是由这四类特征向量得到的分类线(即这两条分类线所划分的四个区域应分别包括把特征空间分割成了四个子空间)。

所述辨识单元33用于存放已建立的动作模式数据特征向量与所属类别之间映射关系的数据，以及提取待动作模式数据特征向量(v_x ¹，v_y ¹，v_z ¹，a_x ¹，a_y ¹，a_z ¹，v_x ²，v_y ²，v_z ²，a_x ²，a_y ²，a_z ²，…，v_x ^K-2，v_y ^K-2，v_z ^K-2，a_x ^K-2，a_y ^K-2，a_z ^K-2)，并根据待辨识动作模式数据的特征向量，给出辨识结果，供虚拟体育环境模块4使用。

虚拟体育环境模块4主要给多用户提供网络虚拟的运动平台，从而实现多用户共同参与同一项运动。以网球为例，服务器模块41建立起虚拟运动平台负责产生虚拟运动画面，裁决比赛的得分和输赢；多个客户端42通过网络连接到服务器。动作识别模块3将击球动作模式发送到第一个客户端，客户端42将此转发给服务器41，服务器41根据此动作，计算出网球的飞行轨迹，并将此飞行轨迹画面传送到各个客户端显示给每一个用户，第二个用户根据图像画面，可做出相应的回球动作，通过客户端转发给服务器；如此便可完成一场虚拟的网球比赛。

本发明的基于计算机视觉的虚拟体育系统实现过程包括：首先将摄像头安装在指定区域的正前方，摄像头光轴水平向后，即摄像头水平向后捕捉指定区域的图像；接着，采用视频采集卡得到数字图像并输入计算机。得到每帧数字图像后，采用标志点识别方法得到体育器械和人体身上的标志点，该标志点可以采用特殊设置的标识物实现，并通过一红外发射装置照射标识物用以增强识别效果。

在标志点识别环节，本发明首先把当前帧的图像和当前的背景图像相减，同时把当前帧的图像和前一帧的图像相减；接着，对相减得到的两幅图像进行与操作得到当前前景图像；然后利用数学形态学方法对前景图像进行去噪声处理；最后，对前景图像进行连通区域标注，得到前景块数目，然后根据前景块的面积和形状来区分识别各个标志点。

在人体和体育器械空间位置获取环节，首先对摄像头进行校正，得到内部参数和外部参数，然后根据每帧图像中得到的标志点，利用双目视觉识别方法获取标志点的空间位置坐标。

在动作识别模块，本发明实现方法包括以下步骤：A、采集各种样本动作模式数据，对采集到的样本动作模式数据进行标注；B、逐一从所述样本动作模式数据中提取出反映其本质特征的特征向量；C、根据所述特征向量划分所属类别区域，使得划分后的各个不同类别区域中只包含同类样本的特征向量，建立从特征向量到所属类别之间映射关系的分类器；D、对待辨识动作模式数据进行处理，提取其特征向量；E、将待辨识动作模式数据的特征向量输入到所述分类器，分类器根据其特征向量进行判别，得到对该待辨识动作模式数据的辨识结果。

其中所述步骤B中逐一提取特征向量的过程包括步骤：B1、对所述样本动作模式数据进行预处理，得到训练数据；B2、从训练数据中提取反映训练数据本质特征的特征成分；B3、将所述特征成分进行组合，得到所述特征向量。所述步骤D中对待辨识动作模式数据进行提取特征向量的过程包括步骤：D1、对所述待辨识动作模式数据进行预处理，得到辨识数据；D2、从辨识数据中提取反映辨识数据本质特征的特征成分；D3、将所述特征成分进行组合，得到所述特征向量。上述步骤B2或D2中的特征成分可以是动作模式的速度、加速度等，对应的在步骤B3或D3所述的特征向量为速度、加速度。

通过本发明方法的步骤C进行区域分类，所述所属类别区域根据所述特征向量的数值来划分，并由曲线或曲面来限定。对采集到的样本运动模式数据进行辨识，确定并注明该样本运动模式数据是什么动作，例如正手击球、反手击球、扣球等。确定了用户的运动模式后，再将数据传给虚拟体育环境的客户端环节，由客户端控制虚拟场景中的人物做出相应的动作，客户端同时将指令通过服务器环节转发给其他客户端，从而实现多用户之间的虚拟体育运动。

本发明方法和系统可以采用可见光代替红外发射装置，区别仅在于图像获取模块：采用的摄像头是普通摄像头，不需要红外发射装置。其他处理与红外图像类似。并且本发明方法和系统可以采用单摄像头，用以获取标志点在图像上的x，y坐标，没有z坐标，但可根据x、y坐标进行后续的动作识别，以至实现整个系统功能；如果是单摄像头，在人体和体育器械空间位置获取环节，对摄像头进行校正就只需得到内部参数(指摄像头本身的参数，如焦距等)，而无需获取外部参数(指多个摄像头之间的空间位置关系参数等)，并根据每帧图像中得到的标志点，获取标志点在图像上的二维坐标即可。当然也可以采用多于两个摄像头进行图像获取，此种情况下，空间坐标的处理更加精确容易。

本发明的基于计算机视觉的虚拟体育系统及其实现方法，无须较大的场地，可以利用现有的通用计算机进行虚拟的体育运动，其视觉识别技术已为现有技术所常见，因此，本发明系统及方法实现简单，有利于体育运动的普及实现。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (13)

1.一种基于计算机视觉的虚拟体育系统，用于一通用计算机，其特征在于，所述系统包括：

一图像获取模块，用于获取指定监控区域的数字视频图像数据；

一图像处理及空间坐标获取模块，用于对所获得的数字视频图像数据进行处理，得到在体育器械和人体上的标志点空间坐标；

一动作识别模块，用于采集各类动作模式的运动轨迹数据，进行分类学习，并对待识别的动作识别其分类；

一虚拟体育环境模块，根据识别出的动作，处理显示交互的动作状态。

2.根据权利要求1所述的系统，其特征在于，所述图像获取模块包括一红外发射装置、至少一摄像头、一摄像头同步电路以及一数据传输装置；所述红外发射装置为红外发光二极管，所述摄像头采用红外摄像头，所述摄像头同步电路控制摄像头曝光，所述数据传输装置将数字视频信号传输到通用计算机，供所述图像处理及空间坐标获取模块处理。

3.根据权利要求2所述的系统，其特征在于，所述摄像头设置为双摄像头。

4.根据权利要求1所述的系统，其特征在于，所述图像获取模块包括至少一摄像头、一摄像头同步电路以及一数据传输装置；所述摄像头采用可见光摄像头，所述摄像头同步电路控制摄像头曝光，所述数据传输装置将数字视频信号传输到通用计算机，供所述图像处理及空间坐标获取模块处理。

5.根据权利要求3所述的系统，其特征在于，所述图像处理及空间坐标获取模块包括摄像头参数获取、背景估计、标志物提取及跟踪，以及，空间坐标获取四个子模块；

所述摄像头参数获取模块通过双目视觉的双摄像头参数辨识，获得摄像头的内部参数和外部参数；

所述背景估计模块用于在系统启动时取前若干帧图像的公共部分作为背景；

所述标志物提取及跟踪模块用于对图像中运动部分即当前前景图像进行处理，区分识别各个标志点；

所述空间坐标获取环节模块利用标志物提取及跟踪模块得到的标志点在两个摄像头内成像的位置，利用双目视觉方法获得标志点的空间坐标，并将该空间坐标传给标志物提取及跟踪模块处理。

6.根据权利要求5所述的系统，其特征在于，所述虚拟体育环境模块包括虚拟体育运动服务器和多个客户端，所述虚拟体育运动服务器用于建立起虚拟运动平台负责产生虚拟运动画面，裁决比赛的得分及输赢；所述多个客户端通过网络连接到所述虚拟体育运动服务器，用于实现客户端之间的交互。

7.一种基于计算机视觉的虚拟体育系统实现方法，其包括以下步骤：

A、将摄像头安装在指定区域的正前方，摄像头光轴水平向后，用于捕捉指定区域的图像；

B、采集数字图像并输入通用计算机，得到每帧数字图像后，采用标志点识别方式得到体育器械和人体身上的标志点运动方式；

C、根据标志点运动方式识别其运动模式，传给虚拟体育环境，并处理显示相应的交互动作状态。

8.根据权利要求7所述的方法，其特征在于，所述步骤B还包括：在标志点识别环节，把当前帧的图像和当前的背景图像相减，同时把当前帧的图像和前一帧的图像相减；对相减得到的两幅图像进行与操作得到当前前景图像，并利用数学形态学方法对前景图像进行去噪声处理；对前景图像进行连通区域标注，得到前景块数目，根据前景块的面积和形状来区分识别各个标志点。

9.根据权利要求8所述的方法，其特征在于，采用双摄像头获取图像时所述步骤B还包括：在人体和体育器械空间位置获取环节，对摄像头进行校正，得到内部参数和外部参数，并根据每帧图像中得到的标志点，利用双目视觉方法获取标志点的空间位置坐标。

10.根据权利要求8所述的方法，其特征在于，采用单摄像头获取图像时，所述步骤B还包括：在人体和体育器械空间位置获取环节，对摄像头进行校正，得到内部参数，并根据每帧图像中得到的标志点，获取标志点在图像上的二维坐标。

11.根据权利要求9或10所述的方法，其特征在于，所述步骤C还包括：

C1、采集各种样本动作模式数据，对采集到的样本动作模式数据进行标注；

C2、逐一从所述样本动作模式数据中提取出反映其本质特征的特征向量；

C3、根据所述特征向量划分所属类别区域，使得划分后的各个不同类别区域中只包含同类样本的特征向量，建立从特征向量到所属类别之间映射关系的分类器；

C4、对待辨识动作模式数据进行处理，提取其特征向量；

C5、将待辨识动作模式数据的特征向量输入到所述分类器，分类器根据其特征向量进行判别，得到对该待辨识动作模式数据的辨识结果。

12.根据权利要求11所述的方法，其特征在于，所述步骤C2还包括：

C21、对所述样本动作模式数据进行预处理，得到训练数据；

C22、从训练数据中提取反映训练数据本质特征的特征成分；

C23、将所述特征成分进行组合，得到所述特征向量。

13.根据权利要求11所述的方法，其特征在于，所述步骤C4还包括：

C41、对所述待辨识动作模式数据进行预处理，得到辨识数据；

C42、从辨识数据中提取反映辨识数据本质特征的特征成分；

C43、将所述特征成分进行组合，得到所述特征向量。

Images