CN112085761B - 乒乓球轨迹捕捉分析方法及分析系统 - Google Patents
乒乓球轨迹捕捉分析方法及分析系统 Download PDFInfo
- Publication number
- CN112085761B CN112085761B CN202010946287.2A CN202010946287A CN112085761B CN 112085761 B CN112085761 B CN 112085761B CN 202010946287 A CN202010946287 A CN 202010946287A CN 112085761 B CN112085761 B CN 112085761B
- Authority
- CN
- China
- Prior art keywords
- table tennis
- effective
- ball
- net
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 81
- 238000004458 analytical method Methods 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000012216 screening Methods 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims description 43
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 238000012937 correction Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 2
- 230000000386 athletic effect Effects 0.000 claims 1
- 230000003139 buffering effect Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 20
- 230000015654 memory Effects 0.000 description 6
- 125000003275 alpha amino acid group Chemical group 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002650 habitual effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种乒乓球轨迹捕捉分析方法及分析系统，分析方法包括：基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测，得到乒乓球检测结果；对双目图像中的多个乒乓球进行匹配、重建和筛选，得到有效运动目标乒乓球的空间坐标点；利用有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；根据有效乒乓球轨迹对乒乓球训练效果和竞技对打技战术进行分析。本申请能够在具有多球的复杂环境中实时捕捉高速、高旋转乒乓球飞行轨迹，智能分析乒乓球轨迹中包含的技战术特点，储存分析多组乒乓球轨迹的统计信息，能够满足对高水平运动员竞技对打的分析需求，也能够满足在乒乓球训练过程中对训练效果的分析与评价需求。
Description
技术领域
本申请属于机器视觉和数据分析技术领域，具体涉及一种乒乓球轨迹捕捉分析方法及分析系统。
背景技术
乒乓球运动有较多的技战术变化，例如落点、球速和旋转，飞行的乒乓球具有高速、高旋转的特点，乒乓球训练过程常以多球训练的形式出现。现阶段国内外针对乒乓球轨迹的捕捉系统主要应用于乒乓球机器人，其目的是捕捉一段乒乓球飞行轨迹，预测此后的乒乓球飞行轨迹，以供机器人计算回球策略使用。现有的针对乒乓球轨迹的捕捉系统既未对乒乓球轨迹中包含的技战术信息进行充分分析，也未对多组乒乓球轨迹进行统计分析，且普遍存在不能准确有效地响应高速、高旋转乒乓球轨迹的缺点。另外，现有的乒乓球轨迹的捕捉系统和方法，只能应用于视野内只有单个乒乓球的环境，无法应用于多乒乓球的训练场景。
现有技术既不能满足对高水平运动员竞技对打的分析需求，也不能满足在乒乓球训练过程中对训练效果的分析与评价需求。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种乒乓球轨迹捕捉分析方法及分析系统。
根据本申请实施例的第一方面，本申请提供了一种乒乓球轨迹捕捉分析方法，其包括以下步骤：
基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测，得到乒乓球检测结果；
对双目图像中的多个乒乓球进行匹配、重建和筛选，得到有效运动目标乒乓球的空间坐标点；
利用有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；
根据有效乒乓球轨迹对乒乓球训练效果和竞技对打技战术进行分析。
上述乒乓球轨迹捕捉分析方法中，所述步骤基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测的具体过程为：
双目立体视觉子系统以固定帧率同步触发两台相机对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像；
将两台相机对应采集到的左相机图像和右相机图像分别输入到不同线程中的稀疏卷积神经网络中；
利用稀疏卷积神经网络分别对左相机图像和右相机图像中的乒乓球进行检测，得到左相机中的乒乓球的坐标点和右相机图像中的乒乓球的坐标点。
进一步地，所述稀疏卷积神经网络的获得过程为：
利用获取的目标场景图像构建数据集，并对数据集中每幅图像中包含的所有检测目标进行标注；
根据检测目标在图像中的比例范围，优化基准卷积神经网络N的结构，得到优化后的卷积神经网络Ni；
在构建的数据集上对优化后的卷积神经网络Ni进行损失函数添加稀疏正则化项的预训练，得到卷积神经网络Nt；
对卷积神经网络Nt进行卷积神经网络稀疏化，得到稀疏化的卷积神经网络Ns_；
在数据集D上对稀疏化的卷积神经网络Ns_进行微调训练，得到最终的稀疏卷积神经网络Ns。
进一步地，所述步骤对双目图像中的多个乒乓球进行匹配、重建和筛选的具体过程为：
对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；
对有效坐标点匹配对的组合进行三维重建，得到同时出现在双目立体视觉子系统中的乒乓球的空间坐标点；
利用三维重建得到的同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。
更进一步地，所述步骤对双目多目标图像进行匹配，得到有效坐标点匹配对的组合的具体过程为：
利用双目立体视觉子系统的标定参数将坐标点PL[i],i＝1,2,3,L,m]转换成左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m，将坐标点PR[j],j＝1,2,3,L,n转换成右相机校正图中的坐标点PRR[j],j＝1,2,3,L,n；
遍历搜索所有左相机校正图中的坐标点PRL[i]与右相机校正图中的坐标点PRR[j]的组合；
计算每对组合中坐标点PRL[i]与PRR[j]之间的极线距离PE；
判断极线距离PE是否满足极线约束；
遍历满足极线约束的坐标点匹配对(PRL[i]，PRR[j])的组合Record，通过唯一性约束和次序约束从组合Record中筛选出k个有效的坐标点匹配对的组合。
更进一步地，所述步骤利用三维重建得到的同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选的具体过程为：
遍历本帧图像中k个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)，找出空间坐标点Pi1(xi1,yi1,zi1)(i1＝1,2,L,k)与上一帧图像中k′个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点Pj1(x′j1,y′j1,z′j1)(j1＝1,2,L,k′)之间的最小距离dis；
找出最小距离dis的最大值dismax及其对应的序号i1；
dismax＝mi1axdisi1；
判断最大值dismax是否大于预设的阈值thresh2；
如果最大值dismax大于预设的阈值thresh2，则将序号i1对应的空间坐标点Pi1(xi1,yi1,zi1)作为有效运动目标；否则，判定本帧图像中没有有效运动目标；其中，预设的阈值thresh2的取值范围为(0，0.2)。
上述乒乓球轨迹捕捉分析方法中，所述步骤利用有效运动目标乒乓球的空间坐标点得到有效乒乓球轨迹的具体过程为：
以乒乓球桌的顶面中心为原点，建立空间位置坐标系，并获取有效运动目标；
对获取的有效运动目标进行缓存，并根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹。
进一步地，所述步骤对获取的有效运动目标进行缓存，并根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹的具体过程为：
将有效运动目标T(x,y,z)输入到运动状态分析模块缓存，运动状态分析模块中设置缓存队列Q；
判断缓存队列Q中是否有运动目标；如果缓存队列Q中没有运动目标，将本次有效运动目标T(x,y,z)压入缓存队列Q；如果缓存队列Q中有运动目标，进一步判断本次有效运动目标T(x,y,z)与缓存队列Q中最后一个运动目标的时间间隔；如果该时间间隔大于时间阈值thresh_t，则清空缓存队列Q后将本次有效运动目标T(x,y,z)压入缓存队列Q,否则直接将本次有效运动目标T(x,y,z)压入缓存队列Q；
判断缓存队列Q中缓存的多个有效运动目标是否构成有效乒乓球轨迹,如果为无效乒乓球轨迹，清空缓存队列Q；
如果缓存队列Q中缓存的多个有效运动目标构成有效乒乓球轨迹，则判断缓存队列Q中的乒乓球轨迹是否满足截止条件；
如果缓存队列Q中的乒乓球轨迹满足截止条件，则将缓存队列Q中的所有空间点作为有效乒乓球轨迹Traj输出。
上述乒乓球轨迹捕捉分析方法中，所述步骤根据有效乒乓球轨迹对乒乓球训练效果进行分析的具体过程为：
将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(wx_i,wy_i,wz_i)，以及训练过程中的球速、过网高度、角度、落点和旋转速度以统计分布的形式进行呈现；
对训练目标的相应参数进行比对，以实现对训练效果的直观评价。
上述乒乓球轨迹捕捉分析方法中，所述步骤根据有效乒乓球轨迹对竞技对打技战术进行分析的具体过程为：
将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(wx_i,wy_i,wz_i)组成输入向量S_in：
S_in＝[v_net_i,h_net_i,angle_net_i,x_rebound_i,y_rebound_i,wx_i,wy_i,wz_i]
将输入向量S_in输入到n层技战术分析深度神经网络中，得到输出向量S_out；
其中，输出向量S_out包括选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度Imp_o(Imp_o∈[0,1])；
其中，习惯回球球路包括速度v_net_o、过网高度h_net_o、角度angle_net_o和落点(x_rebound_o,y_rebound_o)和旋转速度(wx_o,wy_o,wz_o)；
S_out＝[v_net_o,h_net_o,angle_net_o,x_rebound_o,y_rebound_o,wx_o,wy_o,wz_o,Imp_o]
其中，n层技战术分析深度神经网络的最后一层不使用激活函数，除最后一层外，全部使用Relu函数作为激活函数；
从输入向量S_in到输出向量S_out的n层技战术分析深度神经网络表示为：
式中，Weight20和bias20均为第1层网络参数，Weight2j和bias2j均为第j+1层网络参数，Layer(j)为第j+1层网络输出，S_out为输出向量。
根据本申请实施例的第二方面，本申请还提供了一种乒乓球轨迹捕捉分析系统，其包括：
双目视觉立体子系统，用于对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像；
稀疏卷积神经网络，用于对左相机图像和右相机图像中的乒乓球进行检测；
多目标匹配及双目重建模块，用于对双目多目标图像进行匹配，得到有效坐标点匹配对的组合，并对有效坐标点匹配对的组合进行三维重建，得到同时出现在双目立体视觉子系统中的乒乓球的空间坐标点；
多目标筛选模块，用于对同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。
运动状态分析模块，用于根据有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；
数据库；用于存储有效乒乓球轨迹；
技战术分析模块，用于根据从数据库D中提取出的一组或多组乒乓球轨迹，利用拟合算法计算单组轨迹的球速、过网高度、角度、落点等信息，利用深度神经网络计算乒乓球的旋转信息；提取多组乒乓球轨迹时，对每组轨迹的球速、过网高度、角度、落点、旋转进行统计分析，得到系列轨迹的球速分布、过网高度分布、角度分布、落点分布、旋转分布，以便于用来统计和评价回球技战术特点；利用技战术分析深度神经网络得到选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度。
根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请通过捕捉高帧率双目场景图像，利用稀疏深度学习神经网络进行快速的乒乓球目标检测，对双目图像中多个乒乓球进行匹配和三维坐标重建，筛选提取有效运动目标，利用拟合算法和深度神经网络对存储的单组或多组轨迹进行技战术分析，能够满足对高水平运动员竞技对打的高速、高旋转乒乓球轨迹的分析需求，同时满足在复杂的多乒乓球训练过程中对训练效果的分析与评价需求。
应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。
附图说明
下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。
图1为本申请实施例提供的一种乒乓球轨迹捕捉分析方法的流程图。
图2为本申请实施例提供的一种乒乓球轨迹捕捉分析方法中基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测的流程图。
图3为本申请实施例提供的一种乒乓球轨迹捕捉分析方法中对双目图像中的多个乒乓球进行匹配、重建和筛选的流程图。
图4为本申请实施例提供的一种乒乓球轨迹捕捉分析方法中乒乓球桌及空间位置坐标系的俯视图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。
本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以细微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的细微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。
某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。
图1为本申请实施例提供的一种乒乓球轨迹捕捉分析方法的流程图。
如图1所示，本申请提供的乒乓球轨迹捕捉分析方法包括以下步骤：
S1、如图2所示，基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测，得到乒乓球检测结果，其具体过程为：
S11、双目立体视觉子系统以固定帧率同步触发两台相机对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像。
S12、将两台相机对应采集到的左相机图像I1和右相机图像I2分别输入到不同线程中的稀疏卷积神经网络中。
S13、利用稀疏卷积神经网络分别对左相机图像I1和右相机图像I2中的乒乓球进行检测，得到左相机I1中的m个乒乓球的坐标点PL[i],i＝1,2,3,L,m和右相机图像I2中的n个乒乓球的坐标点PR[j],j＝1,2,3,L,n。
需要说明的是，本申请所采用的稀疏卷积神经网络通过以下方法获得：
S121、利用获取的目标场景图像构建数据集，并对数据集中每幅图像中包含的所有检测目标进行标注；
其中，目标场景图像包括多幅检测目标在场景中随机分布的图像和多幅无检测目标的场景图像。
数据集即多幅检测目标在场景中随机分布的图像和多幅无检测目标的场景图像的集合。
例如，检测目标为不同颜色的乒乓球，则目标场景图像包括多幅乒乓球在全乒乓球桌视野范围中随机分布的图像和多幅全乒乓球桌视野范围中无乒乓球的图像。
在发球机随机发球和运动员回球的场景下，可以通过架设在乒乓球桌附近的相机获取目标场景图像。
对数据集中每幅图像中包含的所有检测目标进行标注时，具体地，包括标注检测目标的中心像素坐标以及检测目标所占的像素宽度和像素高度。通常，标注时通过在图像上绘制包围检测目标的矩形来实现。
S122、根据检测目标在图像中的比例范围，优化基准卷积神经网络N的结构，得到优化后的卷积神经网络Ni，从而提升大场景下小目标的检测精度，其具体过程为：
首先，计算数据集的每幅图像中检测目标所占的比例；
假设目标场景图像中检测目标的宽度为wo，高度为ho；目标场景图像的宽度为wi，高度为hi，则检测目标在目标场景图像中的宽度比例rw和高度比例rh为：
所有检测目标在目标场景图像中的宽度比例构成宽度比例范围[rw1,rw2]，所有目标在目标场景图像中的高度比例构成高度比例范围[rh1,rh2]。
其次，将满足基准卷积神经网络N要求的最小输入大小的图像作为基准卷积神经网络N的输入图像。
其中，基准卷积神经网络N的输入图像的宽度为nw，高度为nh，宽度nw和高度nh满足如下约束：
式(2)中，wmin表示对检测目标进行检测所需的最小像素宽度，hmin表示对检测目标进行检测所需的最小像素高度。最小像素宽度wmin和最小像素高度hmin均为正整数，其具体取值根据待检测目标的特征复杂程度确定。
输入图像的宽度nw和高度nh在符合基准卷积神经网络N要求的基础上，选取满足上述约束的最小值，从而从网络输入的层面最大程度的减小计算量，提高运算速度。
以Yolov3-tiny模型作为基准卷积神经网络N为例，其输入图像的宽度nw和高度nh均需是32的整数倍。例如，对于乒乓球进行目标检测来说，可以取wmin＝hmin＝4。
最后，优化基准卷积神经网络N的结构，得到优化后的卷积神经网络Ni，其具体过程为：
计算输入卷积神经网络的图像宽度缩放比例rwn和图像高度缩放比例rhn，
计算基准缩放比例rm，其中，基准缩放比例rm为满足以下约束的最大值：
也就是说，基准缩放比例为：
将基准卷积神经网络N的维度最大的输出层的链接层更改链接到维度为(nw/rm)*(nh/rm)的网络层，修改相应的上采样倍率；将其他卷积神经网络输出层的链接层修改到同比例的链接层，得到优化后的卷积神经网络Ni。
以Yolov3-tiny模型为例，如果rm＝4，则将基准卷积神经网络的输出层(即第23层)的链接层(即第20层)更改链接到维度为(nw/4)*(nh/4)的网络层(即第4层)，即更改第20层的链接[-1,8]为[-1,4]，同时修改第19层的上采样倍率(从2修改为8)；Yolov3-tiny模型的其他卷积神经网络的输出层没有链接层，因此无需做其他改动。
S123、在构建的数据集上对优化后的卷积神经网络Ni进行损失函数添加稀疏正则化项的预训练，得到卷积神经网络Nt。
卷积神经网络Nt与优化后的卷积神经网络Ni具有相同的神经网络结构，只是其中的具体参数数值不同。损失函数L用于指导卷积神经网络训练过程中具体参数数值的更新。
假设原损失函数为L0，则新的损失函数L为：
L＝L0+Lsr (6)
式(6)中，Lsr为稀疏正则化项。例如，稀疏正则化项Lsr的表达式可以为：
式(7)中，λ表示比例因子，其取值范围为：(0,1]；γ表示卷积神经网络中的各项权重，Γ表示卷积神经网络中的所有权重构成的集合，g(γ)表示稀疏惩罚项。例如，稀疏惩罚项g(γ)可以为g(γ)＝|γ|。
S124、对卷积神经网络Nt进行卷积神经网络稀疏化，去除卷积神经网络Nt中的冗余设计，得到稀疏化的卷积神经网络Ns_，从而在相同硬件上达到更快的检测速度，其具体过程为：
遍历搜索卷积神经网络Nt中的比例权重ai，将小于阈值ts的比例权重ai对应的网络结构i删除。其中，阈值ts的取值范围为(0,1)，具体地，阈值ts的取值可以为0.02。需要说明的是，此处的比例权重ai与稀疏正则化项Lsr的表达式中的权重γ对应。
对卷积神经网络Nt进行卷积神经网络稀疏化后得到稀疏化的卷积神经网络Ns_。
S125、在数据集D上对稀疏化的卷积神经网络Ns_进行微调训练，得到最终的稀疏卷积神经网络Ns。
需要说明的是，微调训练指的是，从步骤S123对优化后的卷积神经网络Ni进行预训练得到卷积神经网络Nt和步骤S124得到稀疏化的卷积神经网络Ns_的基础上，在数据集D上通过损失函数L0进行卷积神经网络训练，从而更新参数数值得到最终的稀疏卷积神经网络Ns。其中，最终的稀疏卷积神经网络Ns与稀疏化的卷积神经网络Ns_具有相同的结构，不同的参数数值。
上述稀疏卷积神经网络的获得过程中，通过对基准卷积神经网络N的结构进行优化，能够大大提升大场景下小目标物体的检测精度；通过对卷积神经网络进行稀疏化，去除卷积神经网络中的冗余设计，能够在相同的硬件上达到更快的检测速度；通过改进现有卷积神经网络的结构，能够在廉价的硬件上针对大场景中的小物体进行快速、精准的目标检测。
S2、如图3所示，对双目图像中的多个乒乓球进行匹配、重建和筛选，得到有效运动目标乒乓球的空间坐标点，其具体包括以下步骤：
S21、对双目多目标图像进行匹配，得到有效坐标点匹配对的组合，其具体过程为：
S211、利用双目立体视觉子系统的标定参数将坐标点PL[i],i＝1,2,3,L,m]转换成左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m，将坐标点PR[j],j＝1,2,3,L,n转换成右相机校正图中的坐标点PRR[j],j＝1,2,3,L,n。
通过事先标定双目立体视觉子系统，可以得到转换过程中需用到的左相机的3*3内参数矩阵ML、左相机的3*4校正图投影矩阵ProjL、右相机的3*3内参数矩阵MR、右相机的3*4校正图投影矩阵ProjR以及右相机相对于左相机的4*4外参数矩阵PLR。
利用左相机的3*3内参数矩阵ML和左相机的3*4校正图投影矩阵ProjL，将坐标点PL[i],i＝1,2,3,L,m]转换成左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m的具体过程为：
假设坐标点PL[i]的坐标为(u0,v0)，坐标点PRL[i]的坐标为(u,v)，则通过以下公式将(u0,v0)转换为(u,v)。
式(8)中，
式(9)中，
式(10)中，
式(12)中，ML-1表示矩阵ML的逆矩阵，u1,v1,z1,u2,v2,u3,v3,z3均为中间计算数值。
同理，可以利用右相机的3*3内参数矩阵MR和右相机的3*4校正图投影矩阵ProjR，将坐标点PR[j],j＝1,2,3,L,n]转换成右相机校正图中的坐标点PRR[j],j＝1,2,3,L,n。
S212、遍历搜索所有左相机校正图中的坐标点PRL[i]与右相机校正图中的坐标点PRR[j]的组合。
S213、计算每对组合中坐标点PRL[i]与PRR[j]之间的极线距离PE。
假设左相机校正图中的坐标点PRL[i]的坐标为(xl[i],yl[i])，右相机校正图中的坐标点PRR[j]的坐标为(xr[j],yr[j])，则坐标点PRL[i]与PRR[j]之间的极线距离PE为：
PE＝|yr[j]-yl[i]| (13)
S214、判断极线距离PE是否满足极线约束。
如果满足极线约束，则记录满足极线约束的组合中的坐标点PRL[i]与PRR[j]；否则，进一步判断是否遍历完毕，如果是，则进入步骤S215；否则，返回步骤S212。
如果坐标点PRL[i]与PRR[j]之间的极线距离PE小于极线约束阈值thresh1，则判定坐标点PRL[i]与PRR[j]之间的极线距离PE满足极线约束。其中，极线约束阈值thresh1可以在(0,30)内取值，例如，极线约束阈值thresh1可以为thresh1＝2。
S215、遍历步骤S214中记录的满足极线约束的坐标点匹配对(PRL[i]，PRR[j])的组合Record，通过唯一性约束和次序约束从组合Record中筛选出k个有效的坐标点匹配对的组合。
其中，唯一性约束为：左相机校正图中的每个坐标点最多只存在一个右相机校正图中的坐标点与之有效匹配对应。
次序约束为：同一根极线附近的坐标点匹配对在左相机校正图中的出现顺序与在右相机校正图中的出现顺序相同。
从组合Record中筛选出k个有效的坐标点匹配对的组合的具体过程为：
首先，依次筛选步骤S213中记录的满足极线约束的坐标点匹配对的组合Record中的左相机校正图中的坐标点，如果仅存在一个右相机校正图中的坐标点与之匹配，则将该坐标点匹配对的组合作为有效组合并记录，同时在组合Record中删除该坐标点匹配对的组合中的两个坐标点；
其次，依次筛选剩下的组合Record中的左相机校正图中的坐标点，对每个左相机校正图中的坐标点PRL[i]，找出所有与之匹配的右相机校正图中的坐标点的集合{PRRjm}，然后对坐标点集合{PRRjm}中的每个右相机校正图坐标点PRRjm，找到所有与之匹配的左相机校正图中坐标点的集合{PRLin}。
再次，按照左相机校正图中坐标点的x轴坐标的大小，对左相机校正图中坐标点集合{PRLin}中的坐标点进行排序；按照右相机校正图中坐标点的x轴坐标的大小，对右相机校正图中坐标点集合{PRRjm}中的坐标点进行排序。
按顺序遍历搜索排序后的坐标点集合{PRLin}和{PRRjm}，对每一个左相机校正图中的坐标点PRLin，将找到的第一个与之满足极线约束的右相机校正图中的坐标点PRRjm与该坐标点PRLin作为有效组合，记录该有效组合，并在组合Record中删除该有效组合中的两个坐标点。
遍历完毕后，所有k个有效坐标点匹配对的组合均被找到并记录。
S22、对步骤S215中得到的k个有效坐标点匹配对的组合进行三维重建，得到k个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)。
下面以其中一个有效坐标点匹配对的组合(PRLin[k],PRRjm[k])为例，说明三维重建得到乒乓球的空间坐标点Pk(xk,yk,zk)的具体过程。
假设坐标点PRLin[k]的坐标为(ul,vl)，坐标点PRRjm[k]的坐标为(ur,vr)，则通过以下公式得到乒乓球的空间坐标点Pk(xk,yk,zk)。
式(14)中，
式(15)中，
式(14)中，H的表达式如式(11)所示，式(16)中，ML表示左相机的3*3内参数矩阵，PLR表示右相机相对于左相机的4*4外参数矩阵，x0,y0,z0,w0,xc,yc,zc均为中间计算数值，Htable表示在左相机坐标系下球桌坐标系的4*4变换矩阵，Htable-1为矩阵Htable的逆矩阵。
S23、利用三维重建得到的k个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)进行多目标筛选，得到有效运动目标乒乓球的空间坐标点，其具体包括以下步骤：
S231、遍历本帧图像中k个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)，找出空间坐标点Pi1(xi1,yi1,zi1)(i1＝1,2,L,k)与上一帧图像中k′个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点Pj1(x′j1,y′j1,z′j1)(j1＝1,2,L,k′)之间的最小距离dis。
S232、找出最小距离dis的最大值dismax及其对应的序号i1。
S233、判断最大值dismax是否大于预设的阈值thresh2。
如果最大值dismax大于预设的阈值thresh2，则将序号i1对应的空间坐标点Pi1(xi1,yi1,zi1)作为有效运动目标；否则，判定本帧图像中没有有效运动目标。
其中，预设的阈值thresh2的取值范围为(0，0.2)，具体地，thresh2可以为thresh2＝0.03。
假设有效运动目标的坐标为T(x,y,z)，则
上述过程中通过对双目多目标图像进行匹配和重建，能够为双目立体视觉子系统中多个具有相同特征的目标建立一一对应的匹配关系，并计算出相应的三维坐标；通过对三维重建得到的乒乓球的空间坐标点进行多目标筛选，能够在复杂的多乒乓球场景中定位和筛选出有效运动目标，可以同时适用于普通的单球对打场景以及乒乓球多球训练场景。
S3、利用有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹，其具体过程为：
S31、以乒乓球桌的顶面中心为原点，建立空间位置坐标系，并获取有效运动目标；
如图4所示，假设乒乓球桌长度方向的左侧为AA侧，其右侧为BB侧，以乒乓球桌的顶面中心为原点O，以沿乒乓球桌的宽度方向指向乒乓球桌的前侧为X轴的正方向，以沿乒乓球桌的长度方向指向乒乓球桌BB侧为Y轴的正方向，以垂直于乒乓球桌向上的方向为Z轴的正方向，建立空间位置坐标系OXYZ。
具体地，利用双目立体视觉子系统获取有效运动目标T(x,y,z)。
其中，双目立体视觉子系统获取有效运动目标的方法属于现有技术，在此不再赘述。
S32、对获取的有效运动目标进行缓存，并根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹。
具体地，可以将有效运动目标T(x,y,z)输入到运动状态分析模块缓存，运动状态分析模块中设置缓存队列Q，运动状态分析模块根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹Traj，其具体过程为：
S321、判断缓存队列Q中是否有运动目标；
如果缓存队列Q为空，则表示缓存队列Q中没有运动目标，将本次有效运动目标T(x,y,z)压入缓存队列Q中。
如果缓存队列Q不为空，则表示缓存队列Q中有运动目标，进一步判断本次有效运动目标T(x,y,z)与缓存队列Q中最后一个运动目标的时间间隔；如果该时间间隔大于时间阈值thresh_t，则清空缓存队列Q后将本次有效运动目标T(x,y,z)压入缓存队列Q，否则直接将本次有效运动目标T(x,y,z)压入缓存队列Q中。
S322、判断缓存队列Q中缓存的多个有效运动目标是否构成有效乒乓球轨迹；
如果缓存队列Q中缓存的多个有效运动目标构成有效乒乓球轨迹，则进入步骤S323。
如果缓存队列Q中缓存的多个有效运动目标不构成有效乒乓球轨迹，则清空缓存队列Q，之后重新输入有效运动目标T(x,y,z)。
假设缓存队列Q中任一空间点的坐标为Qi(xi,yi,zi),i∈[1,n]，其中，n表示缓存队列Q中空间点的个数，则能够构成有效乒乓球轨迹的空间点需要同时满足以下条件：
(一)、所有空间点在合理空间范围内；
其中，合理空间范围为大于乒乓球桌范围预设值的一个立方体包含的范围。例如，在空间位置坐标系中，可以将合理空间范围设置为：
位于XOY平面上、底面中心在原点O的立方体包含的范围，该立方体的长度为3.0m，宽度为1.8m，高度为1m。
(二)、相对于乒乓球桌的长度方向，空间点对应的乒乓球始终保持同一运动方向；
即乒乓球对应的各空间点的坐标满足：或者
(三)、相对于乒乓球桌的长度方向，空间点对应的乒乓球在过网前不出现反弹；
以乒乓球从AA侧飞向BB侧为例，乒乓球在AA侧不出现反弹的条件为：
第i个点非反弹，且yi＜0，
其中，第i个点反弹的条件为：
式(20)中，z_thresh表示反弹阈值，z_thresh的取值范围为(0.02,0.12]，z_thresh的单位为米，其根据相机的采集帧率进行设置。例如，相机的采集帧率为120Hz时，z_thresh的取值可以为0.06米。
S323、判断缓存队列Q中的乒乓球轨迹是否满足截止条件；
如果缓存队列Q中的乒乓球轨迹满足截止条件，则将缓存队列Q中的所有空间点作为有效乒乓球轨迹Traj输出；否则，重新输入有效运动目标T(x,y,z)。
其中，如果缓存队列Q中的乒乓球轨迹满足以下条件之一，则判定缓存队列Q中的乒乓球轨迹满足截止条件；
(一)、相对于乒乓球桌的长度方向，以乒乓球从AA侧飞向BB侧为例，乒乓球第一次在BB侧出现反弹，需满足以下条件：
式(21)中，z_thresh表示反弹阈值，z_thresh的取值范围为(0.02,0.12]，z_thresh的单位为米，其根据相机的采集帧率进行设置。例如，相机的采集帧率为120Hz时，z_thresh的取值可以为0.06米。
(二)、相对于乒乓球桌的长度方向，以乒乓球从AA侧飞向BB侧为例，第一次在BB侧出现超出乒乓球桌范围的空间点。
S4、根据有效乒乓球轨迹对乒乓球训练效果和竞技对打技战术进行分析，其具体过程为：
S41、将有效乒乓球轨迹保存在数据库中，并对数据库中的有效乒乓球轨迹进行单组轨迹特征分析；
根据需求从数据库D中选取若干组乒乓球轨迹，对每一组乒乓球轨迹，利用拟合算法计算单组轨迹的过网时刻y方向的球速v_net、过网高度h_net、角度angle_net和落点(x_rebound,y_rebound)等信息，利用深度神经网络计算乒乓球的旋转速度(wx,wy,wz)，其具体过程为：
具有N个空间点的单组乒乓球轨迹Traj可以表征为一个N*4的矩阵TXYZ，其中第一维表征空间点的序号，第二维则是记录每个点的时间和空间位置坐标(t,x,y,z)。
S411、分别做矩阵TXYZ的x-t,y-t,z-t的二次拟合，得到拟合系数ax,bx,cx,ay,by,cy,az,bz,cz
二次拟合方程可以表示为：
S412、根据y-t的二次拟合方程得到y＝0时对应的两个解，根据矩阵TXYZ中t的取值范围确定y＝0时t的值t0，其中，t0满足以下关系：
S413、计算过网时刻y方向的球速v_net、过网高度h_net和角度angle_net，这三个量均为过网时刻的瞬间值，分别表示为：
式(24)中，球速v_net为过网时刻y方向的速度，角度为速度方向与y方向的夹角。
S414、根据z-t的二次拟合方程得到z＝0时对应的两个解，根据矩阵TXYZ中t的取值范围确定z＝0.02米时t的值t1，其中，t1满足以下关系：
S415、计算落点(x_rebound,y_rebound)的坐标；
S416、利用深度神经网络计算乒乓球的旋转速度(wx,wy,wz)，其具体过程为：
将矩阵TXYZ输入到深度LSTM网络(Long Short-TermMemory，长短期记忆网络)中，得到LSTM的状态向量S：
S＝LSTM_State(TXYZ) (27)
将LSTM的状态向量S输入到m层旋转估计深度神经网络中，输出乒乓球的旋转速度(wx,wy,wz)。
其中，m层旋转估计深度神经网络的最后一层不使用激活函数，除最后一层外，全部使用Relu函数作为激活函数。
从LSTM的状态向量S到乒乓球的旋转速度(wx,wy,wz)的m层旋转估计深度神经网络可表示如下：
式(28)中，Weighti和biasi均为第i+1层网络参数，Layer(i)为第i+1层网络输出，(wx,wy,wz)为输出的旋转速度。
S42、利用数据库中的有效乒乓球轨迹和单组轨迹特征分析结果，进行乒乓球训练效果分析和竞技对打技战术分析。
S421、根据应用场景区分技战术分析需求，其中，技战术分析需求包括乒乓球训练效果分析和竞技对打技战术分析。
S422、如果为乒乓球训练效果分析，则将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(wx_i,wy_i,wz_i)，以及训练过程中的球速、过网高度、角度、落点和旋转速度以统计分布的形式进行呈现，以便于训练目标的相应参数进行比对，从而实现对训练效果的直观评价。
S423、如果为竞技对打技战术分析，则将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(wx_i,wy_i,wz_i)组成输入向量，并输入技战术分析深度神经网络中，技战术分析深度神经网络输出选手应对不同来球球路时的习惯回球球路(具体包括速度、过网高度、角度、落点、旋转速度)，以及影响每个球胜负的几拍关键球路，以方便对竞技对打过程中的技战术进行针对性分析，其具体过程为：
根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(wx_i,wy_i,wz_i)组成输入向量S_in：
S_in＝[v_net_i,h_net_i,angle_net_i,x_rebound_i,y_rebound_i,wx_i,wy_i,wz_i]；
将输入向量S_in输入到n层技战术分析深度神经网络中，得到输出向量S_out。
其中，输出向量S_out包括选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度Imp_o(Imp_o∈[0,1])。
其中，习惯回球球路包括速度v_net_o、过网高度h_net_o、角度angle_net_o和落点(x_rebound_o,y_rebound_o)和旋转速度(wx_o,wy_o,wz_o)。
S_out＝[v_net_o,h_net_o,angle_net_o,x_rebound_o,y_rebound_o,wx_o,wy_o,wz_o,Imp_o]其中，n层技战术分析深度神经网络的最后一层不使用激活函数，除最后一层外，全部使用Relu函数作为激活函数。从输入向量S_in到输出向量S_out的n层技战术分析深度神经网络可以表示为：
式(29)中，Weight20和bias20均为第1层网络参数，Weight2j和bias2j均为第j+1层网络参数，Layer(j)为第j+1层网络输出，S_out为输出向量。
利用技战术分析深度神经网络，可以通过包含球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(wx_i,wy_i,wz_i)输入向量S_in，得到输出向量S_out，其物理含义为：针对该输入向量S_in对应的来球球路，选手的习惯回球球路是输出向量S_out中的回球球路，该次回球对胜负影响的关键程度为输出向量中的Imp_o。
通过对乒乓球技战术分析，能够在连续对打或训练过程中获取有效乒乓球轨迹，并利用拟合算法计算单组轨迹的球速、过网高度、角度、落点等信息，利用深度神经网络计算乒乓球的旋转速度信息；能够满足对高水平运动员竞技对打的乒乓球轨迹的技战术分析需求，同时也能满足在复杂的多乒乓球训练过程中对训练效果的分析与评价需求。
本申请乒乓球轨迹捕捉分析方法及分析系统能够在具有多球的复杂环境中实时捕捉高速、高旋转乒乓球的飞行轨迹，智能分析乒乓球轨迹中包含的技战术特点，储存分析多组乒乓球轨迹的统计信息；本申请既能够满足对高水平运动员竞技对打的分析需求，也能够满足在乒乓球训练过程中对训练效果的分析与评价需求。
在示例性实施例中，本申请实施例还提供了一种乒乓球轨迹捕捉分析系统，其包括双目视觉立体子系统、稀疏卷积神经网络、多目标匹配及双目重建模块、多目标筛选模块、运动状态分析模块、数据库和技战术分析模块。
其中，双目视觉立体子系统用于对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像；稀疏卷积神经网络用于对左相机图像和右相机图像中的乒乓球进行检测。
多目标匹配及双目重建模块用于对双目多目标图像进行匹配，得到有效坐标点匹配对的组合，并对有效坐标点匹配对的组合进行三维重建，得到同时出现在双目立体视觉子系统中的乒乓球的空间坐标点；多目标筛选模块用于对同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点。
运动状态分析模块根据有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹。
数据库用于存储有效乒乓球轨迹；技战术分析模块用于根据从数据库D中提取出的一组或多组乒乓球轨迹，利用拟合算法计算单组轨迹的球速、过网高度、角度、落点等信息，利用深度神经网络计算乒乓球的旋转信息；提取多组乒乓球轨迹时，对每组轨迹的球速、过网高度、角度、落点、旋转进行统计分析，得到系列轨迹的球速分布、过网高度分布、角度分布、落点分布、旋转分布，以便于用来统计和评价回球技战术特点；利用技战术分析深度神经网络得到选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度。
本申请提供的乒乓球轨迹捕捉分析系统与乒乓球轨迹捕捉分析方法基于相同的发明构思，双目视觉立体子系统、稀疏卷积神经网络、多目标匹配及双目重建模块、多目标筛选模块、运动状态分析模块、数据库和技战术分析模块的具体工作过程与分析方法的中的相应步骤相同，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种乒乓球轨迹捕捉分析装置，其包括存储器和处理器，处理器被配置为基于存储在存储器中的指令，执行本申请中任一个实施例中的乒乓球轨迹捕捉分析方法。
其中，存储器可以为系统存储器或固定非易失性存储介质等，系统存储器可以存储有操作系统、应用程序、引导装载程序、数据库以及其他程序等。
在示例性实施例中，本申请实施例还提供了一种计算机存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由处理器执行，以完成本申请中任一个实施例中的乒乓球轨迹捕捉分析方法。
上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本申请的实施例也可表示在数据信号处理器中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本申请配置上述处理器执行特定任务，其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展表示不同的程序语言与不同的格式或形式。也可表示不同的目标平台编译软件代码。然而，根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。
以上所述仅表示本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。
Claims (10)
1.一种乒乓球轨迹捕捉分析方法，其特征在于，包括以下步骤：
基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测，得到乒乓球检测结果；
对双目图像中的多个乒乓球进行匹配、重建和筛选，得到有效运动目标乒乓球的空间坐标点；其包括：
对双目多目标图像进行匹配，得到有效坐标点匹配对的组合；
对有效坐标点匹配对的组合进行三维重建，得到同时出现在双目立体视觉子系统中的乒乓球的空间坐标点；
利用三维重建得到的同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点；
利用有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；
根据有效乒乓球轨迹对乒乓球训练效果和竞技对打技战术进行分析，其包括：
根据从数据库中提取出的一组或多组乒乓球轨迹，利用拟合算法计算单组轨迹的球速、过网高度、角度、落点信息，利用深度神经网络计算乒乓球的旋转信息；提取多组乒乓球轨迹时，对每组轨迹的球速、过网高度、角度、落点、旋转进行统计分析，得到系列轨迹的球速分布、过网高度分布、角度分布、落点分布、旋转分布，以便于用来统计和评价回球技战术特点；利用技战术分析深度神经网络得到选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度。
2.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤基于稀疏卷积神经网络对采集到的图像中的乒乓球进行检测的具体过程为：
双目立体视觉子系统以固定帧率同步触发两台相机对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像；
将两台相机对应采集到的左相机图像和右相机图像分别输入到不同线程中的稀疏卷积神经网络中；
利用稀疏卷积神经网络分别对左相机图像和右相机图像中的乒乓球进行检测，得到左相机中的乒乓球的坐标点和右相机图像中的乒乓球的坐标点。
3.根据权利要求2所述的乒乓球轨迹捕捉分析方法，其特征在于，所述稀疏卷积神经网络的获得过程为：
利用获取的目标场景图像构建数据集，并对数据集中每幅图像中包含的所有检测目标进行标注；
根据检测目标在图像中的比例范围，优化基准卷积神经网络N的结构，得到优化后的卷积神经网络Ni；
在构建的数据集上对优化后的卷积神经网络Ni进行损失函数添加稀疏正则化项的预训练，得到卷积神经网络Nt；
对卷积神经网络Nt进行卷积神经网络稀疏化，得到稀疏化的卷积神经网络Ns_；
在数据集D上对稀疏化的卷积神经网络Ns_进行微调训练，得到最终的稀疏卷积神经网络Ns。
4.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤对双目多目标图像进行匹配，得到有效坐标点匹配对的组合的具体过程为：
利用双目立体视觉子系统的标定参数将坐标点PL[i],i＝1,2,3,L,m转换成左相机校正图中的坐标点PRL[i],i＝1,2,3,L,m，将坐标点PR[j],j＝1,2,3,L,n转换成右相机校正图中的坐标点PRR[j],j＝1,2,3,L,n；其中，PL[i],i＝1,2,3,L,m表示左相机中的m个乒乓球的坐标点，PR[j],j＝1,2,3,L,n表示右相机图像中的n个乒乓球的坐标点；
遍历搜索所有左相机校正图中的坐标点PRL[i]与右相机校正图中的坐标点PRR[j]的组合；
计算每对组合中坐标点PRL[i]与PRR[j]之间的极线距离PE；
判断极线距离PE是否满足极线约束；
遍历满足极线约束的坐标点匹配对(PRL[i]，PRR[j])的组合Record，通过唯一性约束和次序约束从组合Record中筛选出k个有效的坐标点匹配对的组合。
5.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤利用三维重建得到的同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选的具体过程为：
遍历本帧图像中k个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点P1(x1,y1,z1),P2(x2,y2,z2),L,Pk(xk,yk,zk)，找出空间坐标点Pi1(xi1,yi1,zi1)，i1＝1,2,L,k与上一帧图像中k′个同时出现在双目立体视觉子系统中的乒乓球的空间坐标点Pj1(x′j1,y′j1,z′j1)，j1＝1,2,L,k′之间的最小距离dis；
找出最小距离dis的最大值dismax及其对应的序号i1；
判断最大值dismax是否大于预设的阈值thresh2；
如果最大值dismax大于预设的阈值thresh2，则将序号i1对应的空间坐标点Pi1(xi1,yi1,zi1)作为有效运动目标；否则，判定本帧图像中没有有效运动目标；其中，预设的阈值thresh2的取值范围为(0，0.2)。
6.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤利用有效运动目标乒乓球的空间坐标点得到有效乒乓球轨迹的具体过程为：
以乒乓球桌的顶面中心为原点，建立空间位置坐标系，并获取有效运动目标；
对获取的有效运动目标进行缓存，并根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹。
7.根据权利要求6所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤对获取的有效运动目标进行缓存，并根据乒乓球对打飞行的物理规律获取有效乒乓球轨迹的具体过程为：
将有效运动目标T(x,y,z)输入到运动状态分析模块缓存，运动状态分析模块中设置缓存队列Q；其中，x,y,z表示有效运动目标在空间位置坐标系OXYZ中的坐标；
判断缓存队列Q中是否有运动目标；如果缓存队列Q中没有运动目标，将本次有效运动目标T(x,y,z)压入缓存队列Q；如果缓存队列Q中有运动目标，进一步判断本次有效运动目标T(x,y,z)与缓存队列Q中最后一个运动目标的时间间隔；如果该时间间隔大于时间阈值thresh_t，则清空缓存队列Q后将本次有效运动目标T(x,y,z)压入缓存队列Q,否则直接将本次有效运动目标T(x,y,z)压入缓存队列Q；
判断缓存队列Q中缓存的多个有效运动目标是否构成有效乒乓球轨迹,如果为无效乒乓球轨迹，清空缓存队列Q；
如果缓存队列Q中缓存的多个有效运动目标构成有效乒乓球轨迹，则判断缓存队列Q中的乒乓球轨迹是否满足截止条件；
如果缓存队列Q中的乒乓球轨迹满足截止条件，则将缓存队列Q中的所有空间点作为有效乒乓球轨迹Traj输出。
8.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤根据有效乒乓球轨迹对乒乓球训练效果进行分析的具体过程为：
将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度(wx_i,wy_i,wz_i)，以及训练过程中的球速、过网高度、角度、落点和旋转速度以统计分布的形式进行呈现；其中，x_rebound_i表示落点在x方向的坐标，y_rebound_i表示落点在y方向的坐标；wx_i表示x方向的旋转速度，wy_i表示y方向的旋转速度，wz_i表示z方向的旋转速度；
对训练目标的相应参数进行比对，以实现对训练效果的直观评价。
9.根据权利要求1所述的乒乓球轨迹捕捉分析方法，其特征在于，所述步骤根据有效乒乓球轨迹对竞技对打技战术进行分析的具体过程为：
将根据每组轨迹Traj_i计算得到的过网时刻y方向的球速v_net_i、过网高度h_net_i、角度angle_net_i和落点(x_rebound_i,y_rebound_i)和旋转速度
(wx_i,wy_i,wz_i)组成输入向量S_in：
S_in＝[v_net_i,h_net_i,angle_net_i,x_rebound_i,y_rebound_i,wx_i,wy_i,wz_i]
其中，x_rebound_i表示落点在x方向的坐标，y_rebound_i表示落点在y方向的坐标；wx_i表示x方向的旋转速度，wy_i表示y方向的旋转速度，wz_i
表示z方向的旋转速度；
将输入向量S_in输入到n层技战术分析深度神经网络中，得到输出向量
S_out；
其中，输出向量S_out包括选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度Imp_o，其中，Imp_o∈[0,1]；
其中，习惯回球球路包括速度v_net_o、过网高度h_net_o、角度
angle_net_o和落点(x_rebound_o,y_rebound_o)和旋转速度(wx_o,wy_o,wz_o)；
S_out＝[v_net_o,h_net_o,angle_net_o,x_rebound_o,y_rebound_o,wx_o,wy_o,wz_o,Imp_o]其中，n层技战术分析深度神经网络的最后一层不使用激活函数，除最后一层外，全部使用Relu函数作为激活函数；其中，x_rebound_o表示落点在x方向的坐标，y_rebound_o表示落点在y方向的坐标；wx_o表示x方向的旋转速度，wy_o表示y方向的旋转速度，wz_o表示z方向的旋转速度；
从输入向量S_in到输出向量S_out的n层技战术分析深度神经网络表示为：
式中，Weight20和bias20均为第1层网络参数，Weight2j和bias2j均为第j+1层网络参数，Layer(j)为第j+1层网络输出，S_out为输出向量。
10.一种乒乓球轨迹捕捉分析系统，其特征在于，包括：
双目视觉立体子系统，用于对乒乓球运动过程的图像进行采集，该图像包括左相机图像和右相机图像；
稀疏卷积神经网络，用于对左相机图像和右相机图像中的乒乓球进行检测；
多目标匹配及双目重建模块，用于对双目多目标图像进行匹配，得到有效坐标点匹配对的组合，并对有效坐标点匹配对的组合进行三维重建，得到同时出现在双目立体视觉子系统中的乒乓球的空间坐标点；
多目标筛选模块，用于对同时出现在双目立体视觉子系统中的乒乓球的空间坐标点进行多目标筛选，得到有效运动目标乒乓球的空间坐标点；
运动状态分析模块，用于根据有效运动目标乒乓球的空间坐标点，得到有效乒乓球轨迹；
数据库，用于存储有效乒乓球轨迹；
技战术分析模块，用于根据从数据库D中提取出的一组或多组乒乓球轨迹，利用拟合算法计算单组轨迹的球速、过网高度、角度、落点信息，利用深度神经网络计算乒乓球的旋转信息；提取多组乒乓球轨迹时，对每组轨迹的球速、过网高度、角度、落点、旋转进行统计分析，得到系列轨迹的球速分布、过网高度分布、角度分布、落点分布、旋转分布，以便于用来统计和评价回球技战术特点；利用技战术分析深度神经网络得到选手应对输入来球球路时的习惯回球球路及该次回球对胜负影响的关键程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010946287.2A CN112085761B (zh) | 2020-09-10 | 2020-09-10 | 乒乓球轨迹捕捉分析方法及分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010946287.2A CN112085761B (zh) | 2020-09-10 | 2020-09-10 | 乒乓球轨迹捕捉分析方法及分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112085761A CN112085761A (zh) | 2020-12-15 |
| CN112085761B true CN112085761B (zh) | 2024-07-05 |
Family
ID=73733076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010946287.2A Active CN112085761B (zh) | 2020-09-10 | 2020-09-10 | 乒乓球轨迹捕捉分析方法及分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085761B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158449A (zh) * | 2021-04-08 | 2021-07-23 | 杨清平 | 一种基于图像处理的确定网球飞行轨迹的方法 |
| CN113610010B (zh) * | 2021-08-10 | 2023-08-08 | 浙江大学 | 一种基于沉浸式的羽毛球战术可视分析系统 |
| TWI818586B (zh) * | 2022-06-13 | 2023-10-11 | 中華學校財團法人中華科技大學 | 應用連續自適應均值偏移演算法之機械手臂接球系統 |
| CN116421953A (zh) * | 2023-06-15 | 2023-07-14 | 苏州城市学院 | 基于深度学习的网球训练方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617614A (zh) * | 2013-11-26 | 2014-03-05 | 新奥特（北京）视频技术有限公司 | 一种在视频图像中确定乒乓球落点数据的方法及系统 |
| CN109289187A (zh) * | 2017-07-24 | 2019-02-01 | 北京英泰智科技股份有限公司 | 一种乒乓球训练与等级考试系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11842572B2 (en) * | 2018-06-21 | 2023-12-12 | Baseline Vision Ltd. | Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation |
| CN110458281B (zh) * | 2019-08-02 | 2021-09-03 | 中科新松有限公司 | 乒乓球机器人的深度强化学习旋转速度预测方法及系统 |
| CN110548274B (zh) * | 2019-09-25 | 2021-04-30 | 中科新松有限公司 | 乒乓球机器人的发球控制方法 |
| CN110711368B (zh) * | 2019-10-12 | 2021-03-30 | 中科新松有限公司 | 一种乒乓球机器人的击球方法及装置 |
| CN110941795B (zh) * | 2019-12-16 | 2023-05-12 | 上海创屹科技有限公司 | 乒乓球旋转角度获取方法、获取装置及存储介质 |
| CN111283700B (zh) * | 2020-05-11 | 2020-08-14 | 上海庞勃特科技有限公司 | 一种乒乓球发球机器人、乒乓球发球方法和计算机可读存储介质 |
-
2020
- 2020-09-10 CN CN202010946287.2A patent/CN112085761B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617614A (zh) * | 2013-11-26 | 2014-03-05 | 新奥特（北京）视频技术有限公司 | 一种在视频图像中确定乒乓球落点数据的方法及系统 |
| CN109289187A (zh) * | 2017-07-24 | 2019-02-01 | 北京英泰智科技股份有限公司 | 一种乒乓球训练与等级考试系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112085761A (zh) | 2020-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085761B (zh) | 乒乓球轨迹捕捉分析方法及分析系统 | |
| CN109903312B (zh) | 一种基于视频多目标跟踪的足球球员跑动距离统计方法 | |
| JP6857780B2 (ja) | ２ｄカメラ画像から投射物の３ｄ軌道を推定する方法 | |
| CN103458977B (zh) | 用于虚拟高尔夫模拟装置的感测装置及感测方法 | |
| US8267781B2 (en) | Visual target tracking | |
| TWI469812B (zh) | 視覺目標追蹤 | |
| KR101048090B1 (ko) | 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법 | |
| US7822229B2 (en) | Measurements using a single image | |
| US20100197400A1 (en) | Visual target tracking | |
| JP3778427B2 (ja) | 打球診断システム | |
| Deepa et al. | Comparison of yolo, ssd, faster rcnn for real time tennis ball tracking for action decision networks | |
| US20100195869A1 (en) | Visual target tracking | |
| US8565477B2 (en) | Visual target tracking | |
| US20130016099A1 (en) | Digital Rendering Method for Environmental Simulation | |
| US20100197392A1 (en) | Visual target tracking | |
| CN112121392B (zh) | 乒乓球技战术分析方法及分析装置 | |
| Li et al. | Video-based table tennis tracking and trajectory prediction using convolutional neural networks | |
| JP2021135619A (ja) | 状況識別装置、状況学習装置及びプログラム | |
| Tian et al. | High-speed tiny tennis ball detection based on deep convolutional neural networks | |
| JP2021531057A (ja) | 領域の動的決定 | |
| He et al. | Mathematical modeling and simulation of table tennis trajectory based on digital video image processing | |
| CN116958872A (zh) | 一种羽毛球运动的智能化辅助训练方法及系统 | |
| Wang et al. | [Retracted] Machine Vision‐Based Ping Pong Ball Rotation Trajectory Tracking Algorithm | |
| CN112085770A (zh) | 一种用于乒乓球轨迹捕捉的双目多目标匹配与筛选方法 | |
| Monier et al. | A computer vision based tracking system for indoor team sports |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 257 jinzang Road, Pudong New Area, Shanghai, 201206 Applicant after: Shanghai Chuangyi Technology Co.,Ltd. Address before: 257 jinzang Road, Pudong New Area, Shanghai, 201206 Applicant before: Shanghai pont Technology Co.,Ltd. |
|
| GR01 | Patent grant |