CN116328277B - 多视角协同的实时网球智能裁判系统 - Google Patents

多视角协同的实时网球智能裁判系统 Download PDF

Info

Publication number
CN116328277B
CN116328277B CN202310211986.6A CN202310211986A CN116328277B CN 116328277 B CN116328277 B CN 116328277B CN 202310211986 A CN202310211986 A CN 202310211986A CN 116328277 B CN116328277 B CN 116328277B
Authority
CN
China
Prior art keywords
tennis
real
coordinates
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310211986.6A
Other languages
English (en)
Other versions
CN116328277A (zh
Inventor
曹文韬
陈睿翊
郭静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lynxi Technology Co Ltd
Original Assignee
Beijing Lynxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lynxi Technology Co Ltd filed Critical Beijing Lynxi Technology Co Ltd
Priority to CN202310211986.6A priority Critical patent/CN116328277B/zh
Publication of CN116328277A publication Critical patent/CN116328277A/zh
Application granted granted Critical
Publication of CN116328277B publication Critical patent/CN116328277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A63B2071/0611—Automatic tennis linesmen, i.e. in-out detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种多视角协同的实时网球智能裁判系统，包括根据N个摄像头的拍摄视角建立多视角协同二维坐标系方程组；计算得到N个摄像头在真实平面坐标系的坐标；得到N个摄像头投影拍摄网球的拍摄曲面；计算N个拍摄曲面中各曲面的交线，在计算各交线的相互交点，取相互交点范围的中心点坐标为网球在网球场真实空间坐标系T中的真实坐标；对得到的网球真实坐标与网球场边线和端线坐标作对比，判断网球是否出界。本发明采用多个摄像头实时采集画面，识别出网球位置，以此计算出网球的运动轨迹，根据网球的运动轨迹自动判断出界、触网等事件，从而达到无需裁判在场即可比赛的目的。

Description

多视角协同的实时网球智能裁判系统
技术领域
本发明涉及网球智能裁判系统技术领域，具体为一种多视角协同的实时网球智能裁判系统。
背景技术
鹰眼系统是在板球，网球和其他运动中使用的一套电脑系统，以追踪记录球的路径并显示记录的实际路径的图形图像，也可以预测球未来的路径。在一些运动中，如网球，鹰眼系统已成为裁判过程的一部分。
“鹰眼”的正式名称是“即时回放系统”，它的技术原理并不复杂，只是十分精密。这个系统由8个或者10个高速摄像头、四台电脑和大屏幕组成。首先，借助电脑的计算把比赛场地内的立体空间分隔成以毫米计算的测量单位；然后，利用高速摄像头从不同角度同时捕捉网球飞行轨迹的基本数据；再通过电脑计算，将这些数据生成三维图像；最后利用即时成像技术，由大屏幕清晰地呈现出网球的运动路线及落点。从数据采集到结果演示，这个过程所耗用的时间，不超过10秒钟。通常用于电视转播。
正式比赛中多采用鹰眼系统，但是鹰眼系统复杂，造价昂贵，无法应用于个人训练、业余联赛等普通场景。
发明内容
本发明的目的在于提供一种多视角协同的实时网球智能裁判系统，采用多个摄像头实时采集画面，识别出网球位置，以此计算出网球的运动轨迹，根据网球的运动轨迹自动判断出界、触网等事件，从而达到无需裁判在场即可比赛的目的。
为实现上述目的，本发明提供了一种技术方案：一种多视角协同的实时网球智能裁判系统，包括以下步骤：
步骤S1，根据N个摄像头的拍摄视角建立多视角协同二维坐标系方程组，其中N≥2；
步骤S11，以网球场中心为原点建立网球场真实空间坐标系T，网球场真实空间坐标系T的x轴正轴方向为朝向网球场一侧端线方向，y轴正轴方向为朝向网球场一侧边线方向，z轴正轴方向为朝向天空方向，网球场真实空间坐标系T投影于地面的坐标系为真实平面坐标系O，测量网球场尺寸，得到网球场四个顶点在真实平面坐标系O的真实坐标；
步骤S12，服务器单次抓取N个摄像头拍摄的画面，得到N张图片，调用深度学习模型提取到画面中的网球场边线和端线，并计算得到每张图中网球场四个顶点的像素坐标，并将每张图中网球场四个顶点的像素坐标与网球场四个顶点在真实平面坐标系O的真实坐标进行透视变换计算，得到透视变换矩阵参数 (M1, M2，……，MN)，其中M1为第1个摄像头与真实平面坐标系O之间的透视变换矩阵参数，M2为第2个摄像头与真实平面坐标系O之间的透视变换矩阵参数，MN为第N个摄像头与真实平面坐标系O之间的透视变换矩阵参数；
步骤S13，计算得到多视角协同二维坐标系方程组TM：
；
其中，为第1个摄像头拍摄图片上的像素坐标，/>为第2个摄像头拍摄图片上的像素坐标，/>为第N个摄像头拍摄图片上的像素坐标，/>为真实平面坐标系O的坐标；
步骤S2，计算得到N个摄像头在真实平面坐标系O的坐标；
根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中1米木棍移动前后顶端投影后落网球场上点的坐标，然后根据成像原理可知，摄像头投影于网球场上的投影点与摄像头拍摄图片中木棍顶端投影后落网球场上投影点、木棍顶端投影于网球场上的真实投影点处于一条直线，构建N个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W，并通过真实坐标满足方程组W，计算得到N个摄像头在真实平面坐标系O的坐标；
步骤S3，服务器实时抓取N个摄像头的视频流，调用深度学习模型分别识别出N张图片中的网球位置，标定得到N张图片中网球像素坐标，通过多视角协同二维坐标系方程组TM转换,得到N张图片中网球投影于真实平面坐标系的投影点，在根据N个摄像头投影于真实平面坐标系O的坐标和N个摄像头在网球场真实空间坐标系T中的真实坐标,得到N个摄像头投影拍摄网球的拍摄曲面；
步骤S4，计算N个拍摄曲面中各曲面的交线，在计算各交线的相互交点，取相互交点范围的中心点坐标为网球在网球场真实空间坐标系T中的真实坐标；
步骤S5，当摄像头所拍摄的画面中的网球存在被遮挡和背景颜色重叠的情况，导致深度学习模型无法识别出网球时，则采用网球运动计算方程组Ec，来计算推导出网球飞行过程中任意时刻的三维坐标；
步骤S6，对得到的网球真实坐标（xs,ys,zs）与网球场边线和端线坐标作对比，判断网球是否出界。
优选的，在步骤S11中，网球场四个顶点在真实平面坐标系O的真实坐标，分别为(A1, A2)，(B1, B2)，(C1,C2)，(D1, D2)。
优选的，步骤S2中计算得到N个摄像头在真实平面坐标系O的坐标包括以下步骤：
步骤S21，取1米木棍立于网球场内任一位置点Q，测量得到木棍在真实平面坐标系O中的坐标(x1, y1)，N个摄像头对木棍进行拍摄，得到N张带木棍的图片（IMGQ1，IMGQ2，……，IMGQN）,其中，IMGQ1为第1个摄像头拍摄位置点Q处木棍的图片，IMGQ2为第2个摄像头拍摄位置点Q处木棍的图片，IMGQN为第N个摄像头拍摄位置点Q处木棍的图片；
步骤S22，分别标定（IMGQ1，IMGQ2，……，IMGQN）中每张图片中木棍顶端在图片中的像素坐标，得到 ，其中，/>为第1个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标，/>为第2个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标，/>为第N个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标。
优选的，步骤S23，根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标；其中，/>为第1个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标，为第2个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标，为第N个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标。
优选的，步骤S24，将木棍移动至网球场内另外一个位置点P，测量得到木棍在真实平面坐标系O中的坐标(x2, y2)，N个摄像头对木棍进行拍摄，得到N张带木棍的图片（IMGP1，IMGP2，……，IMGPN）其中，IMGP1为第1个摄像头拍摄位置点P处木棍的图片，IMGP2为第2个摄像头拍摄位置点P处木棍的图片，IMGPN为第N个摄像头拍摄位置点P处木棍的图片；
步骤S25，分别标定（IMGP1，IMGP2，……，IMGPN）中每张图片中木棍顶端在图片中的像素坐标，得到 ，其中，/>为第1个摄像头拍摄图片中位置点P处木棍顶端的像素坐标，/>为第2个摄像头拍摄图片中位置点P处木棍顶端的像素坐标，/>为第N个摄像头拍摄图片中位置点P处木棍顶端的像素坐标。
优选的，步骤S26，根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标；其中，/>为第1个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标，为第2个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标，/>为第N个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标；
优选的，步骤S27，根据成像原理可知，摄像头投影于网球场上的投影点与摄像头拍摄图片中木棍顶端投影后落网球场上投影点、木棍顶端投影于网球场上的真实投影点处于一条直线，则N个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W：
；
其中，（X1,Y1,Z1）为第1个摄像头在网球场真实空间坐标系T中的真实坐标，（X2,Y2,Z2）为第2个摄像头在网球场真实空间坐标系T中的真实坐标，（XN,YN,ZN）为第N个摄像头在网球场真实空间坐标系T中的真实坐标；
并得到N个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2），…，（XN,YN））。
优选的，在步骤S3中，服务器实时抓取N个摄像头的视频流，调用深度学习模型分别识别出N张图片中的网球位置，标定得到N张图片中网球像素坐标，通过多视角协同二维坐标系方程组TM转换,得到N张图片中网球投影于真实平面坐标系的投影点（b1，b 2，…，bN）,其中b1为第1个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，b2为第2个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，bN为第N个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，在根据N个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2），…，（XN,YN））和N个摄像头在网球场真实空间坐标系T中的真实坐标（（X1,Y1，Z1），（X2,Y2，Z2），…，（XN,YN, ，Z3））,通过三点确定了一个平面，得到N个摄像头投影拍摄网球的拍摄曲面（F1, F2, … ,FN）,其中，F1为第1个摄像头真实坐标（X1,Y1，Z1）、投影坐标（X1,Y1）和投影点b1构成的曲面，F2为第2个摄像头真实坐标（X2,Y2，Z2）、投影坐标（X2,Y2）和投影点b2构成的曲面，FN为第N个摄像头真实坐标（XN,YN，ZN）、投影坐标（XN,YN）和投影点bN构成的曲面。
优选的，在步骤S5中，
首先定义一个数据结构Meta来表示这个网球的运动状态，数据结构Meta表示为，其中，/>表示网球在网球场真实空间坐标系T中真实坐标向量，/>表示网球运动速度向量，/>网球运动加速度向量，t表示北京时间；
根据网球空中运动受力分析得到网球运动计算方程组Ec，计算得到：
;
其中， ，R为网球半径， CL为升力系数，CD为阻力系数，FD为空气阻力，FL为马格努斯利力，m为网球的质量，mg为网球的重力；/>为/>在x轴方向分解速度，/>为在y轴方向分解速度，/>为马格努斯利力与网球的重力之间的夹角；
在通过加速度计算公式，计算得到/>；
优选的，在步骤S5中，如果某一时刻深度学习模型重新识别了网球，则根据最新的坐标和上一次的坐标重新计算, />，更新网球运动计算方程组Ec，依次循环。
与现有技术相比，本发明的有益效果是：
1. 本发明多个摄像头实时采集画面，识别出网球位置，以此计算出网球的运动轨迹，根据网球的运动轨迹自动判断出界、触网等事件，从而达到无需裁判在场即可比赛的目的；解决了现有技术中正式比赛中多采用鹰眼系统，但是系统复杂，造价昂贵，无法应用于个人训练、业余联赛等普通场景的技术问题。
2、为了解决摄像头画面中的网球存在被遮挡和背景颜色重叠的情况，导致深度学习模型无法识别出网球，所以就无法得出网球的三维坐标等情况 ，本发明还利用网球的空气动力学特征来计算网球的运动轨迹，将网球的运动状态构建成数据结构Meta，并根据网球空中运动受力分析构建了网球运动计算方程组Ec，根据Ec推导出飞行过程中任意时刻的三维坐标，这样可以大大提高计算精度，实时定位网球位置，达到精准定位。
3、由于比赛环境复杂，无法真实测量摄像机镜头位置，因此本发明利用1米木棍和多视角协同二维坐标系方程组TM、构建N个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W，协同计算可以得到摄像头在网球场真实空间坐标系T中的真实坐标从而满足计算要求，这样能够大大提高本发明的适用范围，可以应用于个人训练、业余联赛等普通场景等。
4、本发明的设备比较少，安装也简单，成本低，解决低成本、易使用问题，本发明实时监控网球，能够在算法帮助下进行裁判，解决大量业余比赛需要大量裁判到场的人力成本问题；以及帮助个人、训练场馆获取训练时的数据，以针对性提高个人水平。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1为本发明的主要流程图；
图2为本发明的真实平面坐标系O的示意图；
图3为本发明的网球空中运动速度示意图；
图4为本发明的网球空中受力分析示意图。
实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例1
本公开实施例提供了一种多视角协同的实时网球智能裁判方法，包括以下步骤：
步骤S1，根据N个摄像头的拍摄视角建立多视角协同二维坐标系方程组，其中N≥2；
步骤S11，以网球场中心为原点建立网球场真实空间坐标系T，网球场真实空间坐标系T的x轴正轴方向为朝向网球场一侧端线方向，y轴正轴方向为朝向网球场一侧边线方向，z轴正轴方向为朝向天空方向，网球场真实空间坐标系T投影于地面的坐标系为真实平面坐标系O，测量网球场尺寸，得到网球场四个顶点在真实平面坐标系O的真实坐标，分别为(A1, A2)，(B1, B2)，(C1,C2)，(D1, D2)，如图2所示；
步骤S12，服务器单次抓取N个摄像头拍摄的画面，得到N张图片，调用深度学习模型提取到画面中的网球场边线和端线，并计算得到每张图中网球场四个顶点的像素坐标，并将每张图中网球场四个顶点的像素坐标与其对应的(A1, A2)，(B1, B2)，(C1,C2)，(D1,D2)进行透视变换计算，得到透视变换矩阵参数 (M1, M2，……，MN)，其中M1为第1个摄像头与真实平面坐标系O之间的透视变换矩阵参数，M2为第2个摄像头与真实平面坐标系O之间的透视变换矩阵参数，MN为第N个摄像头与真实平面坐标系O之间的透视变换矩阵参数；
透视变换是指利用透视中心、像点、目标点三点共线的条件，将一个平面通过一个投影矩阵投影到新的平面上。
透视变换的计算公式为：;
其中，为真实平面坐标系O的坐标，/>为摄像头拍摄图片上的像素坐标,写成增广向量的形式，/>时，对应的变换后的坐标为/>，变换矩阵中，表示线性变换，如缩放、平面内旋转，/>表示平移变换，/>表示透视变换，/>。
变换后的坐标公式可以重写为：;
已知，还剩8个参数需要求解，输入四个顶点的真实坐标 (A1, A2)，(B1,B2)，(C1,C2)，(D1, D2)以及四个顶点被摄像头拍摄后的像素坐标，从而得到剩余8个参数的值。
由此可以计算得到N个摄像头对应的透视变换矩阵参数 (M1, M2，……，MN)。
步骤S13，计算得到多视角协同二维坐标系方程组TM：
；
其中，为第1个摄像头拍摄图片上的像素坐标，/>为第2个摄像头拍摄图片上的像素坐标，/>为第N个摄像头拍摄图片上的像素坐标，/>为真实平面坐标系O的坐标；
步骤S2，计算得到N个摄像头在真实平面坐标系O的坐标；
根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中1米木棍移动前后顶端投影后落网球场上点的坐标，然后根据成像原理可知，摄像头投影于网球场上的投影点与摄像头拍摄图片中木棍顶端投影后落网球场上投影点、木棍顶端投影于网球场上的真实投影点处于一条直线，构建N个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W，并通过真实坐标满足方程组W，计算得到N个摄像头在真实平面坐标系O的坐标；
具体计算过程为：
步骤S21，取1米木棍立于网球场内任一位置点Q，测量得到木棍在真实平面坐标系O中的坐标(x1, y1)，N个摄像头对木棍进行拍摄，得到N张带木棍的图片（IMGQ1，IMGQ2，……，IMGQN）,其中，IMGQ1为第1个摄像头拍摄位置点Q处木棍的图片，IMGQ2为第2个摄像头拍摄位置点Q处木棍的图片，IMGQN为第N个摄像头拍摄位置点Q处木棍的图片；
步骤S22，分别标定（IMGQ1，IMGQ2，……，IMGQN）中每张图片中木棍顶端在图片中的像素坐标，得到 ，其中，/>为第1个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标，/>为第2个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标，/>为第N个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标；
步骤S23，根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标；其中，为第1个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标，/>为第2个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标，/>为第N个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标；
步骤S24，将木棍移动至网球场内另外一个位置点P，测量得到木棍在真实平面坐标系O中的坐标(x2, y2)，N个摄像头对木棍进行拍摄，得到N张带木棍的图片（IMGP1，IMGP2，……，IMGPN）其中，IMGP1为第1个摄像头拍摄位置点P处木棍的图片，IMGP2为第2个摄像头拍摄位置点P处木棍的图片，IMGPN为第N个摄像头拍摄位置点P处木棍的图片；
步骤S25，分别标定（IMGP1，IMGP2，……，IMGPN）中每张图片中木棍顶端在图片中的像素坐标，得到 ，其中，/>为第1个摄像头拍摄图片中位置点P处木棍顶端的像素坐标，/>为第2个摄像头拍摄图片中位置点P处木棍顶端的像素坐标，/>为第N个摄像头拍摄图片中位置点P处木棍顶端的像素坐标；
步骤S26，根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标；其中，为第1个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标，/>为第2个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标，/>为第N个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标；
步骤S27，根据成像原理可知，摄像头投影于网球场上的投影点与摄像头拍摄图片中木棍顶端投影后落网球场上投影点、木棍顶端投影于网球场上的真实投影点处于一条直线，则N个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W：
；
其中，（X1,Y1,Z1）为第1个摄像头在网球场真实空间坐标系T中的真实坐标，（X2,Y2,Z2）为第2个摄像头在网球场真实空间坐标系T中的真实坐标，（XN,YN,ZN）为第N个摄像头在网球场真实空间坐标系T中的真实坐标；
并得到N个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2），…，（XN,YN））；
步骤S3，服务器实时抓取N个摄像头的视频流，调用深度学习模型分别识别出N张图片中的网球位置，标定得到N张图片中网球像素坐标，通过多视角协同二维坐标系方程组TM转换,得到N张图片中网球投影于真实平面坐标系的投影点（b1，b 2，…，b N）,其中b1为第1个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，b2为第2个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，bN为第N个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，在根据N个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2），…，（XN,YN））和N个摄像头在网球场真实空间坐标系T中的真实坐标（（X1,Y1，Z1），（X2,Y2，Z2），…，（XN,YN, ，Z3））,通过三点确定了一个平面，得到N个摄像头投影拍摄网球的拍摄曲面（F1, F2, … ,FN）,其中，F1为第1个摄像头真实坐标（X1,Y1，Z1）、投影坐标（X1,Y1）和投影点b1构成的曲面，F2为第2个摄像头真实坐标（X2,Y2，Z2）、投影坐标（X2,Y2）和投影点b2构成的曲面，FN为第N个摄像头真实坐标（XN,YN，ZN）、投影坐标（XN,YN）和投影点bN构成的曲面；
步骤S4，计算拍摄曲面（F1, F2, … ,FN）中各曲面的交线，在计算各交线的相互交点，取相互交点范围的中心点坐标为网球在网球场真实空间坐标系T中的真实坐标（xs,ys,zs）；
步骤S5，当摄像头所拍摄的画面中的网球存在被遮挡和背景颜色重叠的情况，导致深度学习模型无法识别出网球时，则采用网球运动计算方程组Ec，来计算推导出网球飞行过程中任意时刻的三维坐标；
首先定义一个数据结构Meta来表示这个网球的运动状态，数据结构Meta表示为，其中，/>表示网球在网球场真实空间坐标系T中真实坐标向量，/>表示网球运动速度向量，/>网球运动加速度向量，t表示北京时间；
根据网球空中运动受力分析得到网球运动计算方程组Ec，计算得到：
;
其中， ，R为网球半径， CL为升力系数，CD为阻力系数，FD为空气阻力，FL为马格努斯利力，m为网球的质量，mg为网球的重力；/>为/>在x轴方向分解速度，/>为在y轴方向分解速度，/>为马格努斯利力与网球的重力之间的夹角；
在通过加速度计算公式，计算得到/>；
步骤S6，如果某一时刻深度学习模型重新识别了网球，则根据最新的坐标和上一次的坐标重新计算, />，更新网球运动计算方程组Ec，依次循环；
步骤S7，对得到的网球真实坐标（xs,ys,zs）与网球场边线和端线坐标作对比，判断网球是否出界。
本发明使用2个或2个以上网络摄像头（优选2个摄像头），从不同角度拍摄网球场，摄像头分别通过网线连接到交换机，同时还有一个服务器、一个智能裁判设备连接到该交换机；其成本非常低，智能裁判设备可以通过上述方法精准判断网球位置，并根据网球赛场规则进行裁判，自动判断网球是否出界、触网等事件，从而达到无需裁判在场即可比赛的目的。解决现有技术中，正式比赛中多采用鹰眼系统，但是系统复杂，造价昂贵，无法应用于个人训练、业余联赛等普通场景等技术问题。
实施例2
本实施例与实施例1的区别之处在于，N=2，则透视变换矩阵参数为 (M1, M2)，多视角协同二维坐标系方程组TM为：；
2个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W为：
；
其中，（X1,Y1,Z1）为第1个摄像头在网球场真实空间坐标系T中的真实坐标，（X2,Y2,Z2）为第2个摄像头在网球场真实空间坐标系T中的真实坐标；2个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2）；
根据2个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2）和2个摄像头在网球场真实空间坐标系T中的真实坐标（（X1,Y1，Z1），（X2,Y2，Z2）,通过三点确定了一个平面，得到2个摄像头投影拍摄网球的拍摄曲面（F1, F2）,其中，F1为第1个摄像头真实坐标（X1,Y1，Z1）、投影坐标（X1,Y1）和投影点b1构成的曲面，F2为第2个摄像头真实坐标（X2,Y2，Z2）、投影坐标（X2,Y2）和投影点b2构成的曲面；摄曲面（F1, F2）中各曲面的交线交点为网球在网球场真实空间坐标系T中的真实坐标，需要注意的是，理论情况下交点应该是同一个，实际由于误差的存在，可能得到两个交点，因此本发明取两个交点的中心点作为网球的真实位置，至此可以利用2个摄像头画面中识别到的网球位置构建出了网球在三维坐标系中的坐标（xs,ys,zs）。
在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种多视角协同的实时网球智能裁判系统，其特征在于，包括以下步骤：
步骤S1，根据N个摄像头的拍摄视角建立多视角协同二维坐标系方程组，其中N≥2；
步骤S11，以网球场中心为原点建立网球场真实空间坐标系T，网球场真实空间坐标系T的x轴正轴方向为朝向网球场一侧端线方向，y轴正轴方向为朝向网球场一侧边线方向，z轴正轴方向为朝向天空方向，网球场真实空间坐标系T投影于地面的坐标系为真实平面坐标系O，测量网球场尺寸，得到网球场四个顶点在真实平面坐标系O的真实坐标；
步骤S12，服务器单次抓取N个摄像头拍摄的画面，得到N张图片，调用深度学习模型提取到画面中的网球场边线和端线，并计算得到每张图中网球场四个顶点的像素坐标，并将每张图中网球场四个顶点的像素坐标与网球场四个顶点在真实平面坐标系O的真实坐标进行透视变换计算，得到透视变换矩阵参数 (M1, M2，……，MN)，其中M1为第1个摄像头与真实平面坐标系O之间的透视变换矩阵参数，M2为第2个摄像头与真实平面坐标系O之间的透视变换矩阵参数，MN为第N个摄像头与真实平面坐标系O之间的透视变换矩阵参数；
步骤S13，计算得到多视角协同二维坐标系方程组TM：
；
其中，为第1个摄像头拍摄图片上的像素坐标，/>为第2个摄像头拍摄图片上的像素坐标，/>为第N个摄像头拍摄图片上的像素坐标，/>为真实平面坐标系O的坐标；
步骤S2，计算得到N个摄像头在真实平面坐标系O的坐标；
根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中1米木棍移动前后顶端投影后落网球场上点的坐标，然后根据成像原理可知，摄像头投影于网球场上的投影点与摄像头拍摄图片中木棍顶端投影后落网球场上投影点、木棍顶端投影于网球场上的真实投影点处于一条直线，构建N个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W，并通过真实坐标满足方程组W，计算得到N个摄像头在真实平面坐标系O的坐标；
计算得到N个摄像头在真实平面坐标系O的坐标包括以下步骤：
步骤S21，取1米木棍立于网球场内任一位置点Q，测量得到木棍在真实平面坐标系O中的坐标(x1, y1)，N个摄像头对木棍进行拍摄，得到N张带木棍的图片（IMGQ1，IMGQ2，……，IMGQN）,其中，IMGQ1为第1个摄像头拍摄位置点Q处木棍的图片，IMGQ2为第2个摄像头拍摄位置点Q处木棍的图片，IMGQN为第N个摄像头拍摄位置点Q处木棍的图片；
步骤S22，分别标定（IMGQ1，IMGQ2，……，IMGQN）中每张图片中木棍顶端在图片中的像素坐标，得到 ，其中，/>为第1个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标，/>为第2个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标，/>为第N个摄像头拍摄图片中位置点Q处木棍顶端的像素坐标；
步骤S3，服务器实时抓取N个摄像头的视频流，调用深度学习模型分别识别出N张图片中的网球位置，标定得到N张图片中网球像素坐标，通过多视角协同二维坐标系方程组TM转换,得到N张图片中网球投影于真实平面坐标系的投影点，再根据N个摄像头投影于真实平面坐标系O的坐标和N个摄像头在网球场真实空间坐标系T中的真实坐标,得到N个摄像头投影拍摄网球的拍摄曲面；
步骤S4，计算N个拍摄曲面中各曲面的交线，再计算各交线的相互交点，取相互交点范围的中心点坐标为网球在网球场真实空间坐标系T中的真实坐标；
步骤S5，当摄像头所拍摄的画面中的网球存在被遮挡和背景颜色重叠的情况，导致深度学习模型无法识别出网球时，则采用网球运动计算方程组Ec，来计算推导出网球飞行过程中任意时刻的三维坐标；
步骤S6，对得到的网球真实坐标（xs,ys,zs）与网球场边线和端线坐标作对比，判断网球是否出界。
2.根据权利要求1所述的多视角协同的实时网球智能裁判系统，其特征在于，在步骤S11中，网球场四个顶点在真实平面坐标系O的真实坐标，分别为(A1, A2)，(B1, B2)，(C1,C2)，(D1, D2)。
3.根据权利要求2所述的多视角协同的实时网球智能裁判系统，其特征在于，步骤S23，根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标；其中，/>为第1个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标，/>为第2个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标，/>为第N个摄像头拍摄图片中Q处木棍顶端投影后落网球场上点的坐标。
4.根据权利要求3所述的多视角协同的实时网球智能裁判系统，其特征在于，步骤S24，将木棍移动至网球场内另外一个位置点P，测量得到木棍在真实平面坐标系O中的坐标(x2,y2)，N个摄像头对木棍进行拍摄，得到N张带木棍的图片（IMGP1，IMGP2，……，IMGPN）其中，IMGP1为第1个摄像头拍摄位置点P处木棍的图片，IMGP2为第2个摄像头拍摄位置点P处木棍的图片，IMGPN为第N个摄像头拍摄位置点P处木棍的图片；
步骤S25，分别标定（IMGP1，IMGP2，……，IMGPN）中每张图片中木棍顶端在图片中的像素坐标，得到 ，其中，/>为第1个摄像头拍摄图片中位置点P处木棍顶端的像素坐标，/>为第2个摄像头拍摄图片中位置点P处木棍顶端的像素坐标，/>为第N个摄像头拍摄图片中位置点P处木棍顶端的像素坐标。
5.根据权利要求4所述的多视角协同的实时网球智能裁判系统，其特征在于，步骤S26，根据多视角协同二维坐标系方程组TM，计算求解得到N个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标；其中，/>为第1个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标，/>为第2个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标，/>为第N个摄像头拍摄图片中P处木棍顶端投影后落网球场上点的坐标。
6.根据权利要求5所述的多视角协同的实时网球智能裁判系统，其特征在于，步骤S27，根据成像原理可知，摄像头投影于网球场上的投影点与摄像头拍摄图片中木棍顶端投影后落网球场上投影点、木棍顶端投影于网球场上的真实投影点处于一条直线，则N个摄像头在网球场真实空间坐标系T中的真实坐标满足方程组W：
；
其中，（X1,Y1,Z1）为第1个摄像头在网球场真实空间坐标系T中的真实坐标，（X2,Y2,Z2）为第2个摄像头在网球场真实空间坐标系T中的真实坐标，（XN,YN,ZN）为第N个摄像头在网球场真实空间坐标系T中的真实坐标；
并得到N个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2），…，（XN,YN））。
7.根据权利要求1所述的多视角协同的实时网球智能裁判系统，其特征在于，在步骤S3中，服务器实时抓取N个摄像头的视频流，调用深度学习模型分别识别出N张图片中的网球位置，标定得到N张图片中网球像素坐标，通过多视角协同二维坐标系方程组TM转换,得到N张图片中网球投影于真实平面坐标系的投影点（b1，b2，…，bN）,其中b1为第1个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，b2为第2个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，bN为第N个摄像头拍摄图片中网球投影于真实平面坐标系的投影点，再根据N个摄像头投影于真实平面坐标系O的坐标（（X1,Y1），（X2,Y2），…，（XN,YN））和N个摄像头在网球场真实空间坐标系T中的真实坐标（（X1,Y1,Z1），（X2,Y2,Z2），…，（XN,YN,ZN））,通过三点确定了一个平面，得到N个摄像头投影拍摄网球的拍摄曲面（F1, F2, … ,FN）,其中，F1为第1个摄像头真实坐标（X1,Y1,Z1）、投影坐标（X1,Y1）和投影点b1构成的曲面，F2为第2个摄像头真实坐标（X2,Y2,Z2）、投影坐标（X2,Y2）和投影点b2构成的曲面，FN为第N个摄像头真实坐标（XN,YN,ZN）、投影坐标（XN,YN）和投影点bN构成的曲面。
8.根据权利要求1所述的多视角协同的实时网球智能裁判系统，其特征在于，在步骤S5中，
首先定义一个数据结构Meta来表示这个网球的运动状态，数据结构Meta表示为，其中，/>表示网球在网球场真实空间坐标系T中真实坐标向量，/>表示网球运动速度向量，/>网球运动加速度向量，t表示北京时间；
根据网球空中运动受力分析得到网球运动计算方程组Ec，计算得到：
;
其中， ，R为网球半径， CL为升力系数，CD为阻力系数，FD为空气阻力，FL为马格努斯利力，m网球的质量，mg为网球的重力；/>为/>在x轴方向分解速度，/>为/>在y轴方向分解速度，/>为马格努斯利力与网球的重力之间的夹角；
在通过加速度计算公式，计算得到/>。
9.根据权利要求8所述的多视角协同的实时网球智能裁判系统，其特征在于，在步骤S5中，如果某一时刻深度学习模型重新识别了网球，则根据最新的坐标和上一次的坐标重新计算, />，更新网球运动计算方程组Ec，依次循环。
CN202310211986.6A 2023-03-07 2023-03-07 多视角协同的实时网球智能裁判系统 Active CN116328277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310211986.6A CN116328277B (zh) 2023-03-07 2023-03-07 多视角协同的实时网球智能裁判系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310211986.6A CN116328277B (zh) 2023-03-07 2023-03-07 多视角协同的实时网球智能裁判系统

Publications (2)

Publication Number Publication Date
CN116328277A CN116328277A (zh) 2023-06-27
CN116328277B true CN116328277B (zh) 2023-11-10

Family

ID=86878291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310211986.6A Active CN116328277B (zh) 2023-03-07 2023-03-07 多视角协同的实时网球智能裁判系统

Country Status (1)

Country Link
CN (1) CN116328277B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504694A (zh) * 2014-12-16 2015-04-08 成都体育学院 一种获取运动球体三维信息的方法
CN108010086A (zh) * 2017-12-04 2018-05-08 深圳市赢世体育科技有限公司 基于网球场标志线交点的摄像机标定方法、装置和介质
CN109248428A (zh) * 2018-09-17 2019-01-22 武汉中奥互联科技有限公司 一种网球运动轨迹处理系统的动态分析方法
CN112245889A (zh) * 2020-09-08 2021-01-22 陈远舟 一种自动判断网球出界的方法及系统
CN113082680A (zh) * 2021-04-09 2021-07-09 谢弘毅 一种基于机器视觉的球类比赛球出界自动裁判系统
WO2022050792A1 (ko) * 2020-09-04 2022-03-10 주식회사 큐링이노스 테니스 자율훈련 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504694A (zh) * 2014-12-16 2015-04-08 成都体育学院 一种获取运动球体三维信息的方法
CN108010086A (zh) * 2017-12-04 2018-05-08 深圳市赢世体育科技有限公司 基于网球场标志线交点的摄像机标定方法、装置和介质
CN109248428A (zh) * 2018-09-17 2019-01-22 武汉中奥互联科技有限公司 一种网球运动轨迹处理系统的动态分析方法
WO2022050792A1 (ko) * 2020-09-04 2022-03-10 주식회사 큐링이노스 테니스 자율훈련 시스템
CN112245889A (zh) * 2020-09-08 2021-01-22 陈远舟 一种自动判断网球出界的方法及系统
CN113082680A (zh) * 2021-04-09 2021-07-09 谢弘毅 一种基于机器视觉的球类比赛球出界自动裁判系统

Also Published As

Publication number Publication date
CN116328277A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN104504694B (zh) 一种获取运动球体三维信息的方法
US9036864B2 (en) Ball trajectory and bounce position detection
US7822229B2 (en) Measurements using a single image
CN103442773B (zh) 虚拟高尔夫模拟装置及其使用的感测装置与感测方法
JP6176673B2 (ja) 複数のカメラで運動する被写体を撮影し、その撮影イメージに基づいて被写体の実際の運動軌跡を取得するための方法およびシステム
US20100246887A1 (en) Method and apparatus for object tracking
JP4109075B2 (ja) 球体の回転特性と飛行特性の測定方法及び球体の回転特性と飛行特性の測定装置
JP5975711B2 (ja) ゴルフスイングの分類方法、分類システム、分類装置およびプログラム
US20160180544A1 (en) Apparatus for camera-assisted trajectory estimation of a sensorized sports projectile
US20230289982A1 (en) Methods and systems to track a moving objects trajectory using a single camera
CN104732560B (zh) 基于动作捕捉系统的虚拟摄像机拍摄方法
JP2002126147A (ja) テニス挙動測定方法
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集系统与方法
CN116328277B (zh) 多视角协同的实时网球智能裁判系统
KR102517067B1 (ko) 두 대의 카메라를 이용한 천장형 골프 시뮬레이션 시스템
US10258851B2 (en) System and method for calculating projected impact generated by sports implements and gaming equipment
WO2021056552A1 (zh) 视频的处理方法和装置
Kadowaki et al. Rotation angle measurement of high-speed flying object
KR102146358B1 (ko) 볼의 운동에 대한 센싱방법 및 이를 이용한 센싱장치
KR102582362B1 (ko) 두 대의 카메라를 이용한 바닥형 골프 시뮬레이션 시스템
TWI775636B (zh) 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體
TWI775637B (zh) 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體
KR102567201B1 (ko) 두 대의 카메라를 이용한 콘솔형 골프 시뮬레이션 시스템
CN113674145B (zh) Ptz运动图像的球面拼接与实时对准方法
KR102567199B1 (ko) 3차원 정보를 이용한 골프 시뮬레이션 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant