CN108596942A - 一种利用单摄像机精准判断球类落点的系统和方法 - Google Patents

一种利用单摄像机精准判断球类落点的系统和方法 Download PDF

Info

Publication number
CN108596942A
CN108596942A CN201810234549.5A CN201810234549A CN108596942A CN 108596942 A CN108596942 A CN 108596942A CN 201810234549 A CN201810234549 A CN 201810234549A CN 108596942 A CN108596942 A CN 108596942A
Authority
CN
China
Prior art keywords
video
module
drop point
camera
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810234549.5A
Other languages
English (en)
Inventor
黄启萌
杨洋
卜笑风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810234549.5A priority Critical patent/CN108596942A/zh
Publication of CN108596942A publication Critical patent/CN108596942A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明公开了一种利用单摄像机精准判断球类落点的系统和方法，本发明针对现有判断球类落点的系统安装复杂、设备和运行成本高、普适性差、难推广以及过程复杂等问题，研发出了一种利用单摄像机精准判断球类落点的系统，其成本低廉、安装便利且普适性强；用户在训练或者比赛时，球场周围的摄像机将视频数据拍摄并上传至云服务器、云端接收到数据后自动进行视频的分割和处理并得到落点坐标，利用落点坐标生成动画，最后将落点坐标和动画一起返回给用户。

Description

一种利用单摄像机精准判断球类落点的系统和方法
技术领域
本发明涉及计算机视觉技术领域，尤其是一种利用单摄像机精准判断球类落点的系统和方法。
背景技术
体育一直以来都是最吸引人、受众面最广也是最有市场的领域之一，人们在体育方面的需求是非常巨大的，但由于科技等因素制约使得体育比赛中经常出现很多的争议判罚。本世纪初，英国“鹰眼”公司的鹰眼系统的诞生稍许改变了这一现状，但现有“鹰眼”公司的系统价格十分昂贵，就网球项目而言，一般每个球场租借一周费用超10万美元，使其无法使用在低级别赛事、高校体育赛事或体育训练中，从而无法弥补基层教练员、裁判员的不足以及无法满足普通大众对于高科技比赛的渴求。因此，开发新的技术，大幅降低系统的安装和运行成本，使本系统在每个训练场、在每项运动中都发挥作用，具有广泛的应用前景，也是非常必要的。同时通过此系统来帮助运动员训练，进行球速、发球点、击球点等统计和分析，会大大提升运动员训练效果，提高运动水平。
上文提到的鹰眼系统是在2001年开发出来的，目前被高级别赛事使用，整个系统都非常的精密。其系统由8-12个环绕球场一周的超高分辨率灰度高速摄像机(2000fps，运行峰值可达2500fps)、四台计算机以及展示用的大屏幕组成；首先其借助计算机将摄像机拍摄到的画面三维合成并将合成的立体空间划分成以毫米计算的测量单位，其次利用其中三台摄像机从不同角度捕捉球的飞行轨迹并利用计算机合成其三维空间内的运动轨迹，再利用即时成像技术将球运行轨迹和落点展示在大屏幕上。
虽然英国“鹰眼”公司的系统非常精密而且完善，但其高昂的价格使得其仅适用于最高级别赛事。首先，其每一台高速摄像机的造价就超过了2万美元，且整个系统采用了8个以上的摄像机；其次，由于其采用本地存储的方式，对现场计算机硬件要求较高，且由于其采用滚动覆盖存储的方式，同一场比赛中较早的视频会被覆盖，导致无法查询；同时，由于其系统可移植性较差，整个系统的安装成本都非常的高。
发明内容
本发明所要解决的技术问题在于，提供一种利用单摄像机精准判断球类落点的系统和方法，能够判断球类落点并利用落点坐标生成动画，将落点坐标和动画一起返回给用户，成本低廉、安装便利且普适性强。
为解决上述技术问题，本发明提供一种利用单摄像机精准判断球类落点的系统，包括：网络传输与存储模块、摄像机部署模块、摄像机标定模块、视频预处理模块、动态追踪模块、判断落点模块、空间坐标转换模块、展示模块和数据加工模块；摄像机部署模块部署在球场周围，采集球体的相应数据；摄像机标定模块对摄像机部署模块采集的数据进行标定处理；视频预处理模块对摄像机标定模块处理后的数据进行视频分割和同步匹配，并去除相应的噪声；动态追踪模块根据视频预处理模块去噪后得到的二值化视频，动态追踪球体，并返回球体每一帧的坐标；判断落点模块根据动态追踪模块得到的每一帧的坐标进行落点判断；空间坐标转换模块根据判断落点模块得到的落点坐标进行必要的计算，得到世界坐标；得到的世界坐标通过展示模块展现给相应的用户使用；数据加工模块通过分析用户累计到一定量的运动数据，将分析结果和改进建议反馈给用户；各个模块之间通过网络传输与存储模块进行网络通信。
优选的，摄像机标定模块通过张正友平面标定法得到摄像机内参数矩阵、外参数矩阵和畸变矩阵，具体为：
假设三维世界中的三维点为：M＝[X,Y,Z,1]T，映射到相机中平面二维点为：m＝[u,v,1]，那么有如下关系：
sm＝A[R,t]M (1)
其中，A为相机的内参数矩阵，R,t分别为旋转和平移矩阵，s是一个缩放因子，A可以表示为
s对于齐次坐标来说，不会改变齐次坐标值，在张氏标定法中，将世界坐标系定在棋盘格平面上，令棋盘格平面为z＝0的平面，所以可以得到：
其中A[r1,r2,r3,t]称为单应性矩阵H，即：
其中H＝[h1,h2,h3]＝λA[r1,r2,t]，H是一个齐次矩阵，所以有8个未知参数，至少需要8个方程，每对对应点能提供两个方程，所以至少需要四个对应点，就可以算出世界平面到图像平面的单应性矩阵H；
根据上式可知：
由于旋转矩阵是一个酋矩阵，r1和r2标准正交，所以有：
||r1||||r2||＝1
即：
每个单应性矩阵可以提供两个方程，而内参数矩阵包含5个参数，所以至少3个单应性矩阵，也就是说我们至少需要三幅棋盘格平面的图像来进行标定，通过改变相机与标定板之间的相对位置可以得到三个不同的图像；
令是一个对称矩阵，所以可以写成一个6维向量形式：
b＝[B11,B12,B22,B13,B23,B33]T (5)
H矩阵的列向量形式为：hi＝[hi1,hi2,hi3]T，所以有：
最后根据内参数限制条件等式(3)和(4)，有
即Vb＝0，其中V是一个2*6矩阵，也就是说每张图片可以建立两个方程组，6个未知数，根据线性代数知识可知，至少需要6个方程组，也就是至少需要三张照片来求解，b矩阵的解出，相机的内参矩阵A也就可以解出，从而可以求出每张图像的R，t；
由之前的推导，可得：
r3＝r1×r2
t＝λA-1h3
张正友标定法只关注了影响最大的径向畸变，其数学表达式为：
其中(u，v)是理想无畸变的像素坐标，是实际畸变后的像素坐标，(u0，v0)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标，k1和k2为前两阶的畸变参数；
化作矩阵形式：
记作：
Dk＝d
可以得到：
k＝[k1k2]T＝(DTD)-1DTd
计算可以得到畸变参数k。
优选的，视频预处理模块在捕捉球体之前进行去噪操作，自动将摄像机拍摄的视频以五分钟为一个单位进行分割，并以“摄像机编号+本段视频开始时间”命名，同一个工作组的视频存储在同一个目录下的不同文件里；同一个工作组为球场呈对角线放置的两个摄像机。
优选的，去噪操作具体包括如下步骤：
(1)选取视频中的感兴趣区域；基于球体在视频中的运动区域仅为一部分而非整个区域，利用计算机视觉库选取球体可能运动的最大区域，初步减去边缘物体或其他运动造成的造影；
(2)帧差法得到二值化视频；采用帧差法并通过中值滤波得到运动网球的二值化视频。
优选的，动态追踪模块根据视频预处理模块得到的去噪后的二值化视频，找到白色像素点密集点并且以像素点中心为原点、2-5倍像素坐标中根据球占像素位的数目动态取得的直径范围内都找不到其他白色像素点密集时，认为白色密集像素点中心为球体在摄像机拍摄平面即视频平面中的坐标，再利用计算机视觉库中的功能函数实现动态追踪球体，并返回球体每一帧的坐标；当连续3～5帧无法得到球体坐标时，认为这一回合或球体在此半场的活动结束，进行落点判断，并且系统准备读取工作组的另一个半场的摄像机拍摄的视频进行处理。
优选的，判断落点模块根据动态追踪模块得到的球体在一个半场内的连续坐标数据，当坐标x值的变化为向拍摄半场移动且当前帧坐标y数值比前后两个坐标y值都大时，保存下这个(x,y)坐标值，即为伪落点，通过将球第二次落地前的所有坐标进行函数拟合得到球类运动轨迹，读取并保存运动轨迹中的极小值点坐标，此时跳向下一组坐标，继续上述工作，保证得到的落点是球体第一次触地的落点，而不是后续连续弹跳得到的落点；得到此次运动路径所有点集合后，根据初步判断得到的伪落点向x轴正负两个方向延伸找到离伪落点最远的两个点，并以这两个点为函数拟合起始点，分别从两个方向向伪落点进行拟合，此时得到两个相交的轨迹函数，根据伪落点与两轨迹函数的距离，距离哪条轨迹更近就将伪落点坐标并入该轨迹并重新拟合，从而得到新的相交的两条轨迹函数，相交点即为落点。
优选的，空间坐标转换模块用判断落点模块计算得到的落点坐标乘以摄像机标定模块所得的内、外参数矩阵并进行必要的计算后，即可得到俯视视角的世界坐标，保存进文件；展示模块利用unity或flash软件读取落点数据，模拟整个接发球过程，做出三维动画，利用会声会影等视频拼接软件将实际视频和动画匹配并融合为一个视频并保存，通过web应用或者APP等方式，匹配相应视频录像，展示实时和历史的数据分析结果。
优选的，数据加工模块通过服务器后台的数据库，对击球方式、击球点、落点和跑动进行数据分析和评价，并让系统记录这些数据，当累积到一定的评价数据量后，系统独立给出训练建议和计划。
相应的，一种利用单摄像机精准判断球类落点的方法，包括如下步骤：
(1)准备好符合网络传输与存储模块要求的服务器和摄像机4台并申请符合要求的宽带；
(2)根据球场特点依据摄像机部署模块进行摄像机部署，采用有线或无线方式接入球场；
(3)进行球场以及摄像机各项参数的测量，并采用张正友平面标定方法对每一台摄像机进行标定；
(4)系统依次按照视频预处理模块、动态追踪模块、判断落点模块、空间坐标转换模块的要求进行视频处理及落点判断；
(5)系统读取视频处理后得到的文件中每一次的落点坐标，根据展示模块完成动画的制作和展示；
(6)系统根据数据加工模块进行大数据分析，用户可通过终端访问自己的训练数据。
优选的，当球体在空中飞行时，系统认为其高度为0，即从摄像机镜头中心向球体做投影，得到其投影在地面上的球的地面平面的二维位置坐标，将此坐标用在轨迹计算中；同时，由于球体落地瞬间高度为0，球体与其从摄像机中心向球体做出的投影在地面上的位置重合，即球体在三维空间内的运动轨迹与其从摄像机中心投影在地面上的轨迹相交于一点，即落点，从而达到利用单摄像机精确判断球类落点。
本发明的有益效果为：本发明针对现有判断球类落点的系统安装复杂、设备和运行成本高、普适性差、难推广以及过程复杂等问题，研发出了一种利用单摄像机精准判断球类落点的系统，其成本低廉、安装便利且普适性强；用户在训练或者比赛时，球场周围的摄像机将视频数据拍摄并上传至云服务器、云端接收到数据后自动进行视频的分割和处理并得到落点坐标，利用落点坐标生成动画，最后将落点坐标和动画一起返回给用户。
附图说明
图1为本发明的系统整体结构示意图。
图2为本发明的球场内部俯视图。
图3为本发明的球场内部侧视图。
图4(a)为本发明的实现原理示意图。
图4(b)为本发明的实现原理示意图。
图4(c)为本发明的实现原理示意图。
具体实施方式
如图1所示，一种利用单摄像机精准判断球类落点的系统，包括：网络传输与存储模块、摄像机部署模块、摄像机标定模块、视频预处理模块、动态追踪模块、判断落点模块、空间坐标转换模块、展示模块和数据加工模块；摄像机部署模块部署在球场周围，采集球体的相应数据；摄像机标定模块对摄像机部署模块采集的数据进行标定处理；视频预处理模块对摄像机标定模块处理后的数据进行视频分割和同步匹配，并去除相应的噪声；动态追踪模块根据视频预处理模块去噪后得到的二值化视频，动态追踪球体，并返回球体每一帧的坐标；判断落点模块根据动态追踪模块得到的每一帧的坐标进行落点判断；空间坐标转换模块根据判断落点模块得到的落点坐标进行必要的计算，得到世界坐标；得到的世界坐标通过展示模块展现给相应的用户使用；数据加工模块通过分析用户累计到一定量的运动数据，将分析结果和改进建议反馈给用户；各个模块之间通过网络传输与存储模块进行网络通信。
模块一：网络传输与存储模块；此模块包括：
(一)云服务器配置
采用现有主流服务器即可，例如以下配置：
CPU cores：4
内存：32G
硬盘：1T
网卡速率：100Mb/s
操作系统：Red Hat 6.5及以上或Windows Server 2008及以上等主流操作系统
(二)球场网络环境搭建
网络带宽最低要求：上下行均为8M，将光电转换器和路由器安装在球场内不影响球场正常运转但方便接入接出的地方。
(三)摄像机的性能要求
民用监控摄像机即可，例如如下配置：
大华DH-IPC-HFw212M-S-I1
fps：25
焦距：3.6mm(根据不同类型的球场可做调整)
像素：130万(1280*960)
支持有线或无线方式传输实时视频数据至云服务器，支持H.264等主流压缩格式压缩格式传输。
模块二：摄像机部署模块
本系统为了提升运转稳定性以及动态捕捉球成功率，需要四个型号相同的的摄像机来覆盖整个球场，具体布局如图2和图3所示。以摄像机1和摄像机3为例，摄像机1固定位置在半场5的边界1/2处(可依据场地调整，但仅限于在半场5的边线范围内)，距离边界的位置和离地高度视摄像机型号和球场情况而定，需满足的条件为：(1)摄像机画面可以完整拍摄到半场6边界向外1米的所有区域且此区域需占整个摄像机拍摄画面的80％及以上(2)方便安装、拆卸和布线(3)不影响球场正常运转。摄像机3固定位置在半场6的边界且与摄像机1固定位置连线的垂直投影经过球场中心点，拍摄区域为半场5边界向外1米的所有区域，其余要求同摄像机1。
摄像机1和摄像机3组成了一组能覆盖整个球场的工作组合，球在半场5时摄像机3工作，球在6半场时摄像机1工作；摄像机2和摄像机4以同样的原理组成了另一条对角线上的一组工作组合。系统正常运转时，两个工作组同时运转，但是呈现给用户的仅仅是其中一组(主工作组)得到的数据，另一组设备(备用组)仅当主工作组宕机、受到突发破坏(比如被球或其他物体击中)、捕捉不到球体(被遮挡)或计算出现肉眼可辨的误差时，自动或者人工无缝切换为主工作组。
模块三：摄像机标定模块
本系统采用张正友平面标定法(简称张氏标定法)得到摄像机内参数矩阵、外参数矩阵和畸变矩阵。利用摄像机的畸变矩阵修正由于摄像机硬件误差所导致的画面失真、形变等问题。内、外参数矩阵在空间坐标转换模块会用到。
假设三维世界中的三维点为：M＝[X,Y,Z,1]T(齐次坐标，世界坐标系)，映射到相机中平面二维点为：m＝[u,v,1](齐次坐标，相机坐标系)。那么有如下关系：
sm＝A[R,t]M (1)
其中，A为相机的内参数矩阵，R,t分别为旋转和平移矩阵，s是一个缩放因子。A可以表示为
s对于齐次坐标来说，不会改变齐次坐标值。在张氏标定法中，将世界坐标系定在棋盘格平面上，令棋盘格平面为z＝0的平面。所以可以得到：
其中A[r1,r2,r3,t]称为单应性矩阵H，即：
其中H＝[h1,h2,h3]＝λA[r1,r2,t]。H是一个齐次矩阵，所以有8个未知参数，至少需要8个方程，每对对应点能提供两个方程，所以至少需要四个对应点，就可以算出世界平面到图像平面的单应性矩阵H。
根据上式可知：
由于旋转矩阵是一个酋矩阵，r1和r2标准正交。所以有：
||r1||||r2||＝1
即：
每个单应性矩阵可以提供两个方程，而内参数矩阵包含5个参数，所以至少3个单应性矩阵。也就是说我们至少需要三幅棋盘格平面的图像来进行标定。通过改变相机与标定板之间的相对位置可以得到三个不同的图像。
我们令是一个对称矩阵，所以可以写成一个6维向量形式：
b＝[B11,B12,B22,B13,B23,B33]T (5)
H矩阵的列向量形式为：hi＝[hi1,hi2,hi3]T。所以有：
最后根据内参数限制条件(等式(3)和(4))，有
即Vb＝0，其中V是一个2*6矩阵，也就是说每张图片可以建立两个方程组，6个未知数。根据线性代数知识可知，至少需要6个方程组，也就是至少需要三张照片来求解。b矩阵的解出，相机的内参矩阵A也就可以解出，从而可以求出每张图像的R，t(根据等式1)。
由之前的推导，可得：
r3＝r1×r2
t＝λA-1h3
张正友标定法只关注了影响最大的径向畸变，其数学表达式为：
其中(u，v)是理想无畸变的像素坐标，是实际畸变后的像素坐标。(u0，v0)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标。k1和k2为前两阶的畸变参数。
化作矩阵形式：
记作：
Dk＝d
可以得到：
k＝[k1k2]T＝(DTD)-1DTd
计算可以得到畸变参数k。
模块四：视频预处理模块；此模块包括：
(一)视频分割与同步匹配
本系统自动将摄像机拍摄的视频以五分钟为一个单位进行分割(预先将所有设备时间进行同步，并设定同时开机拍摄存储)并以摄像机编号+本段视频开始时间命名，同一个工作组的视频存储在同一个目录下的不同文件夹里。此方法不仅可以便于后期检索，同时也降低了对服务器的硬件要求、缓解了CPU的工作压力。
(二)视频动态去噪
由于不可避免的干扰因素，所以在捕捉球体之前需要进行去噪操作。通过分析运动物体的特点，本系统采用以下两个步骤进行去噪：
步骤1：选取视频中的感兴趣区域
此步骤是基于球体在视频中的运动区域仅为一部分而非整个区域，利用OpenCV(计算机视觉库)选取球体可能运动的最大区域，初步减去边缘物体或其他运动(如观众或者裁判)造成的噪音。
步骤2：帧差法得到二值化视频
针对球体的运动特点，采用帧差法并通过中值滤波得到运动网球的二值化视频(黑白视频)，省去了利用深度检测算法识别球体的大量繁琐前期准备工作，并大大提升了去噪效果，为后面动态捕捉球体做好了准备。
模块五：动态追踪模块
根据之前得到的去噪后的二值化视频，找到白色像素点密集点并且以像素点中心为原点，2-5倍像素坐标中根据球占像素位的数目动态取得的直径范围内都找不到其他白色像素点密集时，认为白色密集像素点中心为球体在摄像机拍摄平面即视频平面中的坐标(OpenCV中默认以视频左上角为坐标原点，向右为x轴正坐标，向下为y轴正坐标)，再利用OpenCV中的功能函数(判断这一帧球体坐标时，以上一帧球体坐标为基准，在其附近寻找这一帧的球体坐标)实现动态追踪球体，并返回球体每一帧的坐标。当连续3～5帧无法得到球体坐标时，认为这一回合或球体在此半场的活动结束，进行落点判断，并且系统准备读取工作组的另一个半场的摄像机拍摄的视频进行处理。
用监督学习提高识别网球的准确率：将得到的二值化视频进行抽帧得到黑白图片，并将这些图片处理成坐标+点颜色的数据集，将上述方法结合人工检查得到的数据集添加上标签(黑白图片中网球的白像素点为正样本，其余白色像素点为负样本)，作为样本进行监督，将网球识别准确率大幅提高。
降低监督工作量提高效率的方法：将识别出的一次正样本的球坐标所组成的轨迹用坐标折线图呈现给监督者，监督者判断折线是否符合网球运动曲线，以此决定一组样本的正负。
模块六：判断落点模块
读取上个模块得到的球体在一个半场内的连续坐标数据，当坐标x值的变化为向拍摄半场移动(视频平面中坐标x不断减小是向左运动，不断增大是向右运动，根据实际球场情况人为规定应该是往哪个方向)且当前帧坐标y数值比前后两个坐标y值都大时(代表这个点是运动轨迹中的拐点)，保存下这个(x,y)坐标值，即为伪落点(真实落点在其附近)，通过将球第二次落地前的所有坐标进行函数拟合得到球类运动轨迹，读取并保存运动轨迹中的极小值点坐标(真实落点坐标)，此时跳向下一组坐标，继续上述工作；这样就保证了我们得到的落点是球体第一次触地的落点，而不是后续连续弹跳得到的落点。
得到此次运动路径所有点集合后，根据初步判断得到的伪落点向x轴正负两个方向延伸找到离伪落点最远的两个点，并以这两个点为函数拟合起始点，分别从两个方向向伪落点进行拟合(不包括伪落点，拟合基准函数为二次函数抛物线)，此时得到两个相交的轨迹函数(尚未矫正)，根据伪落点与两轨迹函数的距离，距离哪条轨迹更近就将伪落点坐标并入该轨迹并重新拟合，从而得到新的相交的两条轨迹函数(已矫正)，相交点即为落点。
模块七：空间坐标转换模块
用刚刚计算得到的落点坐标乘以摄像机标定模块所得的内、外参数矩阵并进行必要的计算后，即可得到俯视视角的世界坐标(此世界坐标为现实世界中的坐标，本发明中以球场对角线交点为坐标原点，垂直地面向上为Z轴，两个半场的交线为X轴，与X轴Z轴均垂直的为Y轴)，保存进文件。
模块八：展示模块
利用unity或flash等可以制作3D动画的软件读取落点数据，模拟整个接发球过程，做出三维动画，利用会声会影等视频拼接软件将实际视频和动画匹配并融合为一个视频并保存。通过web应用或者APP等方式，匹配相应视频录像，展示实时和历史的数据分析结果。
模块九：数据加工模块
当某位运动员使用本发明系统训练多次以后，服务器后台的数据库内存储了足够多的数据，即可对其击球方式，击球点，落点和跑动等进行数据分析，我们会请专业的教练前来评价，并让系统记录这些数据，当累积到一定的评价数据量后，系统就可以独立给出该运动员的训练建议和计划了。
如图1所示，四台相同型号的摄像机被安装在球场区域内，按照模块二进行摄像机布局，由配电房给摄像机、宽带、无线网络配件和本地存储器供电，网络配件连接摄像机、本地存储器以及云服务器。根据球场具体环境决定配电房、网络配件和本地存储器的安装位置，以不影响球场正常运转为前提，安装复杂度、成本最低为最优。本地存储器起到一个中转和保险的作用，所有摄像机拍摄的视频数据会先被存储进本地存储器，然后会被立即上传至云服务器，同时，当本系统用于实时比赛时，为防止网络突发中断，可以直接调取本地存储器中的数据进行分析，不至于导致系统无法工作。当数据在云服务器中处理好后，用户可以通过各种终端访问系统的网站或者APP查看自己的训练、比赛数据，并得到相对应的提升计划。
一种利用单摄像机精准判断球类落点的方法，分两种情况：
(一)摄像机以有线方式接入球场
步骤1：准备好符合模块一要求的服务器和摄像机4台并申请符合要求的宽带。
步骤2：根据球场特点依据模块二进行摄像机部署，由于采用的是有线接入方式，布线需采用隐藏式布线，并且尽可能缩短线长以确保对球场的干预降到最低。
步骤3：进行球场以及摄像机各项参数的测量，并采用张正友平面标定方法对每一台摄像机进行标定。
步骤4：系统依次按照模块四、模块五、模块六、模块七的要求进行视频处理及落点判断。
步骤5：系统读取视频处理后得到的文件中每一次的落点坐标，根据模块八完成动画的制作和展示。
步骤6：系统根据模块九进行大数据分析，用户可通过终端访问自己的训练数据。
(二)摄像机以无线方式接入球场
步骤1：准备好符合模块一要求的服务器和摄像机4台并申请符合要求的宽带。
步骤2：根据球场特点依据模块二进行摄像机部署，由于采用的是无线接入方式(摄像机支持WIFI或者4G无线通信模块)，布线时仅需将电源和变压器就近接入隐藏式电源接口。
步骤3：进行球场以及摄像机各项参数的测量，并采用张正友平面标定方法对每一台摄像机进行标定。
步骤4：系统依次按照模块四、模块五、模块六、模块七的要求进行视频处理及落点判断。
步骤5：系统读取视频处理后得到的文件中每一次的落点坐标，根据模块八完成动画的制作和展示。
步骤6：系统根据模块九进行大数据分析，用户可通过终端访问自己的训练数据。
本发明还可采用染色球标记法提升系统精度，利用特制标记球(染色球)在撞击后会留下痕迹的特点，本系统可以利用染色球进行球类运动轨迹拟合模型的训练，将系统判断出的落点与真实的痕迹落点进行比对，修正误差，从而提高系统精度。采用特殊场地标记法提升系统精度，利用某些特殊场地(如红土地、细沙地等)球类落地后会有凹陷的特点，本系统可以利用特殊场地进行球类运动轨迹拟合模型的训练，将系统判断出的落点与真实的凹陷落点进行比对，修正误差，从而提高系统精度。采用灯光系统和阴影重合法提升系统精度；在球场附近架设大功率灯光系统(发射出平行光)覆盖整个球场，摆放一个球在摄像机视野内并记录其球体和其影子的位置和大小比例关系，一切就绪后，系统正常运行，读取视频数据时，通过比对每一帧球体和其影子的位置及大小比例关系，从而得到精准的球体落点，将系统判断出的落点与真实的落点进行比对，修正误差，从而提高系统精度。
根据摄像机的特点，一个摄像机拍摄的画面可以确定一条线，如图4(a)所示，摄像机A拍摄画面仅能让人知道物体G在直线L上，但却无法知道在线的什么位置(相当于知道物体在与地面平行的平面中的二维坐标，但不知道其具体高度，所以不知道其三维坐标)，所以要判断一个物体的三维坐标，至少需要两个视角不互补的摄像机(即两个摄像机的焦点和物体不能在一条直线上)。
当遇到特殊情况时，单摄像机拍摄画面可以判断得到物体的三维坐标。如图4(b)所示，当物体G在地面上时(高度为0)，通过单摄像机拍摄画面即可得到三维坐标。
理想情况是摄像机每次均可以拍到球体砸地的瞬间，但实际情况往往是拍摄到的那一帧恰好比落地瞬间早或晚了一点，所以为了解决这个问题，我们采用如下的方法：
当球体在空中飞行时，我们认为其高度为0，即在计算时我们认为其位置在G’处，相当于是从摄像机镜头中心向球体做投影，我们取其投影在地面上的球的位置坐标，并将此坐标用在轨迹计算中。同时，由于球体落地瞬间高度为0，球体与其从摄像机中心向球体做出的投影在地面上的位置重合，即球体在三维空间内的运动轨迹与其投影在地面上的轨迹相交于一点，即落点。我们通过这样的方法实现了单摄像机精确判断球类落点。如图4(c)所示。
本发明针对现有判断球类落点的系统安装复杂、设备和运行成本高、普适性差、难推广以及过程复杂等问题，研发出了一种利用单摄像机精准判断球类落点的系统，其成本低廉、安装便利且普适性强；用户在训练或者比赛时，球场周围的摄像机将视频数据拍摄并上传至云服务器、云端接收到数据后自动进行视频的分割和处理并得到落点坐标，利用落点坐标生成动画，最后将落点坐标和动画一起返回给用户。

Claims (10)

1.一种利用单摄像机精准判断球类落点的系统，其特征在于，包括：网络传输与存储模块、摄像机部署模块、摄像机标定模块、视频预处理模块、动态追踪模块、判断落点模块、空间坐标转换模块、展示模块和数据加工模块；摄像机部署模块部署在球场周围，采集球体的相应数据；摄像机标定模块对摄像机部署模块采集的数据进行标定处理；视频预处理模块对摄像机标定模块处理后的数据进行视频分割和同步匹配，并去除相应的噪声；动态追踪模块根据视频预处理模块去噪后得到的二值化视频，动态追踪球体，并返回球体每一帧的坐标；判断落点模块根据动态追踪模块得到的每一帧的坐标进行落点判断；空间坐标转换模块根据判断落点模块得到的落点坐标进行必要的计算，得到世界坐标；得到的世界坐标通过展示模块展现给相应的用户使用；数据加工模块通过分析用户累计到一定量的运动数据，将分析结果和改进建议反馈给用户；各个模块之间通过网络传输与存储模块进行网络通信。
2.如权利要求1所述的利用单摄像机精准判断球类落点的系统，其特征在于，摄像机标定模块通过张正友平面标定法得到摄像机内参数矩阵、外参数矩阵和畸变矩阵，具体为：
假设三维世界中的三维点为：M＝[X,Y,Z,1]T，映射到相机中平面二维点为：m＝[u,v,1]，那么有如下关系：
sm＝A[R,t]M (1)
其中，A为相机的内参数矩阵，R,t分别为旋转和平移矩阵，s是一个缩放因子，A可以表示为
s对于齐次坐标来说，不会改变齐次坐标值，在张氏标定法中，将世界坐标系定在棋盘格平面上，令棋盘格平面为z＝0的平面，所以可以得到：
其中A[r1,r2,r3,t]称为单应性矩阵H，即：
其中H＝[h1,h2,h3]＝λA[r1,r2,t]，H是一个齐次矩阵，所以有8个未知参数，至少需要8个方程，每对对应点能提供两个方程，所以至少需要四个对应点，就可以算出世界平面到图像平面的单应性矩阵H；
根据上式可知：
由于旋转矩阵是一个酋矩阵，r1和r2标准正交，所以有：
||r1||||r2||＝1
即：
每个单应性矩阵可以提供两个方程，而内参数矩阵包含5个参数，所以至少3个单应性矩阵，也就是说我们至少需要三幅棋盘格平面的图像来进行标定，通过改变相机与标定板之间的相对位置可以得到三个不同的图像；
令是一个对称矩阵，所以可以写成一个6维向量形式：
b＝[B11,B12,B22,B13,B23,B33]T (5)
H矩阵的列向量形式为：hi＝[hi1,hi2,hi3]T，所以有：
最后根据内参数限制条件等式(3)和(4)，有
即Vb＝0，其中V是一个2*6矩阵，也就是说每张图片可以建立两个方程组，6个未知数，根据线性代数知识可知，至少需要6个方程组，也就是至少需要三张照片来求解，b矩阵的解出，相机的内参矩阵A也就可以解出，从而可以求出每张图像的R，t；
由之前的推导，可得：
r3＝r1×r2
t＝λA-1h3
张正友标定法只关注了影响最大的径向畸变，其数学表达式为：
其中(u，v)是理想无畸变的像素坐标，是实际畸变后的像素坐标，(u0，v0)代表主点，(x,y)是理想无畸变的连续图像坐标，是实际畸变后的连续图像坐标，k1和k2为前两阶的畸变参数；
化作矩阵形式：
记作：
Dk＝d
可以得到：
k＝[k1k2]T＝(DTD)-1DTd
计算可以得到畸变参数k。
3.如权利要求1所述的利用单摄像机精准判断球类落点的系统，其特征在于，视频预处理模块在捕捉球体之前进行去噪操作，自动将摄像机拍摄的视频以五分钟为一个单位进行分割，并以“摄像机编号+本段视频开始时间”命名，同一个工作组的视频存储在同一个目录下的不同文件里；同一个工作组为球场呈对角线放置的两个摄像机。
4.如权利要求3所述的利用单摄像机精准判断球类落点的系统，其特征在于，去噪操作具体包括如下步骤：
(1)选取视频中的感兴趣区域；基于球体在视频中的运动区域仅为一部分而非整个区域，利用计算机视觉库选取球体可能运动的最大区域，初步减去边缘物体或其他运动造成的造影；
(2)帧差法得到二值化视频；采用帧差法并通过中值滤波得到运动网球的二值化视频。
5.如权利要求1所述的利用单摄像机精准判断球类落点的系统，其特征在于，动态追踪模块根据视频预处理模块得到的去噪后的二值化视频，找到白色像素点密集点并且以像素点中心为原点、2-5倍像素坐标中根据球占像素位的数目动态取得的直径范围内都找不到其他白色像素点密集时，认为白色密集像素点中心为球体在摄像机拍摄平面即视频平面中的坐标，再利用计算机视觉库中的功能函数实现动态追踪球体，并返回球体每一帧的坐标；当连续3～5帧无法得到球体坐标时，认为这一回合或球体在此半场的活动结束，进行落点判断，并且系统准备读取工作组的另一个半场的摄像机拍摄的视频进行处理。
6.如权利要求1所述的利用单摄像机精准判断球类落点的系统，其特征在于，判断落点模块根据动态追踪模块得到的球体在一个半场内的连续坐标数据，当坐标x值的变化为向拍摄半场移动且当前帧坐标y数值比前后两个坐标y值都大时，保存下这个(x,y)坐标值，即为伪落点，通过将球第二次落地前的所有坐标进行函数拟合得到球类运动轨迹，读取并保存运动轨迹中的极小值点坐标，此时跳向下一组坐标，继续上述工作，保证得到的落点是球体第一次触地的落点，而不是后续连续弹跳得到的落点；得到此次运动路径所有点集合后，根据初步判断得到的伪落点向x轴正负两个方向延伸找到离伪落点最远的两个点，并以这两个点为函数拟合起始点，分别从两个方向向伪落点进行拟合，此时得到两个相交的轨迹函数，根据伪落点与两轨迹函数的距离，距离哪条轨迹更近就将伪落点坐标并入该轨迹并重新拟合，从而得到新的相交的两条轨迹函数，相交点即为落点。
7.如权利要求1所述的利用单摄像机精准判断球类落点的系统，其特征在于，空间坐标转换模块用判断落点模块计算得到的落点坐标乘以摄像机标定模块所得的内、外参数矩阵并进行必要的计算后，即可得到俯视视角的世界坐标，保存进文件；展示模块利用unity或flash软件读取落点数据，模拟整个接发球过程，做出三维动画，利用会声会影视频拼接软件将实际视频和动画匹配并融合为一个视频并保存，通过web应用或者APP方式，匹配相应视频录像，展示实时和历史的数据分析结果。
8.如权利要求1所述的利用单摄像机精准判断球类落点的系统，其特征在于，数据加工模块通过服务器后台的数据库，对击球方式、击球点、落点和跑动进行数据分析和评价，并让系统记录这些数据，当累积到一定的评价数据量后，系统独立给出训练建议和计划。
9.一种利用单摄像机精准判断球类落点的方法，其特征在于，包括如下步骤：
(1)准备好符合网络传输与存储模块要求的服务器和摄像机4台并申请符合要求的宽带；
(2)根据球场特点依据摄像机部署模块进行摄像机部署，采用有线或无线方式接入球场；
(3)进行球场以及摄像机各项参数的测量，并采用张正友平面标定方法对每一台摄像机进行标定；
(4)系统依次按照视频预处理模块、动态追踪模块、判断落点模块、空间坐标转换模块的要求进行视频处理及落点判断；
(5)系统读取视频处理后得到的文件中每一次的落点坐标，根据展示模块完成动画的制作和展示；
(6)系统根据数据加工模块进行大数据分析，用户可通过终端访问自己的训练数据。
10.如权利要求9所述的利用单摄像机精准判断球类落点的方法，其特征在于，当球体在空中飞行时，系统认为其高度为0，即从摄像机镜头中心向球体做投影，得到其投影在地面上的球的地面平面的二维位置坐标，将此坐标用在轨迹计算中；同时，由于球体落地瞬间高度为0，球体与其从摄像机中心向球体做出的投影在地面上的位置重合，即球体在三维空间内的运动轨迹与其从摄像机中心投影在地面上的轨迹相交于一点，即落点，从而达到利用单摄像机精确判断球类落点。
CN201810234549.5A 2018-03-21 2018-03-21 一种利用单摄像机精准判断球类落点的系统和方法 Pending CN108596942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810234549.5A CN108596942A (zh) 2018-03-21 2018-03-21 一种利用单摄像机精准判断球类落点的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810234549.5A CN108596942A (zh) 2018-03-21 2018-03-21 一种利用单摄像机精准判断球类落点的系统和方法

Publications (1)

Publication Number Publication Date
CN108596942A true CN108596942A (zh) 2018-09-28

Family

ID=63626937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810234549.5A Pending CN108596942A (zh) 2018-03-21 2018-03-21 一种利用单摄像机精准判断球类落点的系统和方法

Country Status (1)

Country Link
CN (1) CN108596942A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903305A (zh) * 2019-01-24 2019-06-18 天津国为信息技术有限公司 基于空中三维定位的线型目标落点定位方法
CN110443859A (zh) * 2019-07-30 2019-11-12 佛山科学技术学院 一种基于计算机视觉的桌球犯规判断方法及系统
CN110766756A (zh) * 2019-10-21 2020-02-07 大连理工大学 一种基于多方向投影的落点定位方法
CN110782493A (zh) * 2019-10-21 2020-02-11 大连理工大学 一种基于多方向投影的轨迹曲线计算落点位置的定位方法
CN110910410A (zh) * 2019-11-07 2020-03-24 河海大学 一种基于计算机视觉的球场定位系统及方法
CN111240617A (zh) * 2019-12-31 2020-06-05 飞燕航空遥感技术有限公司 基于三维地图的视频投放方法、系统和环境监控方法、系统
CN112184808A (zh) * 2020-09-22 2021-01-05 深圳市衡泰信科技有限公司 一种高尔夫球置顶式检测方法、系统及存储介质
CN112245889A (zh) * 2020-09-08 2021-01-22 陈远舟 一种自动判断网球出界的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067866A (zh) * 2007-06-01 2007-11-07 哈尔滨工程大学 基于鹰眼技术的网球赛仿真装置及其仿真处理方法
CN101458434A (zh) * 2009-01-08 2009-06-17 浙江大学 精确测量和预测乒乓球轨迹系统与系统运行方法
CN101833232A (zh) * 2010-04-20 2010-09-15 浙江大学 乒乓球比赛视觉支持和比赛分析系统与系统运行方法
CN103617614A (zh) * 2013-11-26 2014-03-05 新奥特（北京）视频技术有限公司 一种在视频图像中确定乒乓球落点数据的方法及系统
CN104504694A (zh) * 2014-12-16 2015-04-08 成都体育学院 一种获取运动球体三维信息的方法
CN104984534A (zh) * 2015-07-10 2015-10-21 张阳 网球比赛中鹰眼识别方法及系统
CN107239748A (zh) * 2017-05-16 2017-10-10 南京邮电大学 基于棋盘格标定技术的机器人目标识别与定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067866A (zh) * 2007-06-01 2007-11-07 哈尔滨工程大学 基于鹰眼技术的网球赛仿真装置及其仿真处理方法
CN101458434A (zh) * 2009-01-08 2009-06-17 浙江大学 精确测量和预测乒乓球轨迹系统与系统运行方法
CN101833232A (zh) * 2010-04-20 2010-09-15 浙江大学 乒乓球比赛视觉支持和比赛分析系统与系统运行方法
CN103617614A (zh) * 2013-11-26 2014-03-05 新奥特（北京）视频技术有限公司 一种在视频图像中确定乒乓球落点数据的方法及系统
CN104504694A (zh) * 2014-12-16 2015-04-08 成都体育学院 一种获取运动球体三维信息的方法
CN104984534A (zh) * 2015-07-10 2015-10-21 张阳 网球比赛中鹰眼识别方法及系统
CN107239748A (zh) * 2017-05-16 2017-10-10 南京邮电大学 基于棋盘格标定技术的机器人目标识别与定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王安聪: "排球轨迹获取及智能分析关键技术研究", 《中国优秀硕士学位论文全文 信息科技辑》 *
石代兴: "机器人乒乓球的快速识别与跟踪研究", 《中国优秀硕士学位论文全文 信息科技辑》 *
舒娜: "摄像机标定方法的研究", 《中国优秀硕士学位论文全文 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903305A (zh) * 2019-01-24 2019-06-18 天津国为信息技术有限公司 基于空中三维定位的线型目标落点定位方法
CN109903305B (zh) * 2019-01-24 2023-02-21 天津国为信息技术有限公司 基于空中三维定位的线型目标落点定位方法
CN110443859A (zh) * 2019-07-30 2019-11-12 佛山科学技术学院 一种基于计算机视觉的桌球犯规判断方法及系统
CN110782493B (zh) * 2019-10-21 2022-09-20 大连理工大学 一种基于多方向投影的轨迹曲线计算落点位置的定位方法
CN110782493A (zh) * 2019-10-21 2020-02-11 大连理工大学 一种基于多方向投影的轨迹曲线计算落点位置的定位方法
CN110766756B (zh) * 2019-10-21 2022-09-30 大连理工大学 一种基于多方向投影的落点定位方法
CN110766756A (zh) * 2019-10-21 2020-02-07 大连理工大学 一种基于多方向投影的落点定位方法
CN110910410A (zh) * 2019-11-07 2020-03-24 河海大学 一种基于计算机视觉的球场定位系统及方法
CN111240617A (zh) * 2019-12-31 2020-06-05 飞燕航空遥感技术有限公司 基于三维地图的视频投放方法、系统和环境监控方法、系统
CN112245889A (zh) * 2020-09-08 2021-01-22 陈远舟 一种自动判断网球出界的方法及系统
CN112245889B (zh) * 2020-09-08 2023-12-05 陈远舟 一种自动判断网球出界的方法及系统
CN112184808A (zh) * 2020-09-22 2021-01-05 深圳市衡泰信科技有限公司 一种高尔夫球置顶式检测方法、系统及存储介质
WO2022062152A1 (zh) * 2020-09-22 2022-03-31 深圳市衡泰信科技有限公司 一种高尔夫球置顶式检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN108596942A (zh) 一种利用单摄像机精准判断球类落点的系统和方法
WO2019244153A1 (en) Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation
CN103617614B (zh) 一种在视频图像中确定乒乓球落点数据的方法及系统
CN109345568A (zh) 基于计算机视觉算法的运动场智能化实现方法及系统
US20180137363A1 (en) System for the automated analisys of a sporting match
CN1425171A (zh) 以时空同步整合视频序列的方法及系统
CN109308722A (zh) 一种基于主动视觉的空间位姿测量系统及方法
US20070064975A1 (en) Moving object measuring apparatus, moving object measuring system, and moving object measurement
CN109961039B (zh) 一种个人进球视频捕捉方法及系统
KR20070083575A (ko) 이미지 기반 움직임 트래킹
WO2020062053A1 (en) Methods and apparatus to generate photo-realistic three-dimensional models of photographed environment
US20220292783A1 (en) Registration for augmented reality system for viewing an event
CN109712247A (zh) 基于混合现实技术的实景训练系统
BR102019000927A2 (pt) Projetar uma projeção de raio a partir de uma vista em perspectiva
CN107333031B (zh) 一种适用于校园足球比赛的多路视频自动编辑方法
CN107734223B (zh) 基于图像识别的定位装置
CN112184807B (zh) 一种高尔夫球落地式检测方法、系统及存储介质
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集系统与方法
CN111275021A (zh) 一种基于计算机视觉的足球越位线自动划线方法
CN102194249B (zh) 一种利用红外线和可见光相结合的水流建模数据捕获装置
CN115953428A (zh) 一种基于时序编解码网络的羽毛球检测与跟踪方法
CN115624735A (zh) 一种用于球类运动的辅助训练系统和工作方法
CN109918988A (zh) 一种结合成像仿真技术的可移植的无人机检测系统
US20220295139A1 (en) Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
CA2633197A1 (en) Method and system for creating event data and making same available to be served

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928