CN116012415A - 基于视觉测量的乒乓球旋转估计方法及旋转估计系统 - Google Patents

Abstract

本申请提供了一种基于视觉测量的乒乓球旋转估计方法及旋转估计系统，其包括：在乒乓球上设置三个不同颜色实心圆形标记；在球网长度方向的左右两侧对称设置左相机和右相机；对相机采集的图像中乒乓球的圆形区域和圆心像素坐标进行识别，并得到乒乓球球心的三维坐标；在乒乓球的圆形区域中对乒乓球上的实心圆形标记进行识别，得到乒乓球上的标记区域与标记区域的中心像素坐标；根据乒乓球球心的三维坐标和乒乓球上标记区域的中心像素坐标计算得到乒乓球的姿态；根据预设时间的乒乓球姿态单位向量计算乒乓球的旋转速度和旋转方向；对三个标记的结果进行综合分析，得到最终乒乓球的旋转速度和旋转方向。本申请能够有效地降低成本，提高实用性。

Description

基于视觉测量的乒乓球旋转估计方法及旋转估计系统

技术领域

本申请属于乒乓球旋转估计领域，具体涉及一种基于视觉测量的乒乓球旋转估计方法及旋转估计系统。

背景技术

乒乓球是一项备受国人喜爱的运动，其具有广泛的群众基础和应用市场。旋转是乒乓球运动中的一个十分重要的技术因素，定量获取打球过程中空中飞行的乒乓球的旋转速度显得尤为重要，其不仅有利于乒乓球比赛的分析以及乒乓球技战术水平的训练与提升，而且可以提高乒乓球对打机器人的回球成功率。

尽管乒乓球的旋转对于这项运动来说非常重要，但是乒乓球旋转速度和方向的精准估计一直是该领域的痛点之一。现有资料公开了空中飞行乒乓球旋转估计的方法和装置，但是这些方法在实用性方面存在以下几个问题：

基于乒乓球飞行轨迹估计旋转速度的方法具有较大误差，因为旋转速度对乒乓球轨迹的作用受乒乓球速度等其他因素的影响，同时乒乓球轨迹测量误差会被旋转速度估计放大。视觉跟踪乒乓球标记的方法存在持续遮挡带来的方法失效问题。视觉测量使用的超高帧率相机和云台系统存在视野小，控制复杂，成本高的问题。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种基于视觉测量的乒乓球旋转估计方法及旋转估计系统。

根据本申请实施例的第一方面，本申请提供了一种基于视觉测量的乒乓球旋转估计方法，其包括以下步骤：

对乒乓球进行标记，对视觉系统相机进行布局，其具体过程为：在乒乓球上设置三个不同颜色的实心圆形标记，其中，第一圆形标记的圆心与第二圆形标记的圆心的连线经过乒乓球的中心，第三圆形标记的圆心和乒乓球中心的连线与第一圆形标记的圆心和第二圆形标记的圆心的连线垂直；视觉系统相机包括左相机和右相机，以球网高度方向的中心线为对称轴，左相机和右相机对称设置在球网长度方向的左右两侧，左相机和右相机均与球网位于同一平面内；

对视觉系统相机采集的图像中乒乓球的圆形区域和圆心像素坐标进行识别，并根据圆心像素坐标得到乒乓球球心的三维坐标；

在乒乓球的圆形区域中对乒乓球上的实心圆形标记进行识别，得到乒乓球上的标记区域与标记区域的中心像素坐标；

根据乒乓球球心的三维坐标和乒乓球上标记区域的中心像素坐标计算得到乒乓球的姿态；

根据预设时间的乒乓球姿态单位向量计算乒乓球的旋转速度和旋转方向；

根据三个不同颜色的标记对乒乓球旋转速度和旋转方向进行估计后，对三个标记的结果进行综合分析，得到最终乒乓球的旋转速度和旋转方向。

上述基于视觉测量的乒乓球旋转估计方法中，所述对视觉系统相机采集的图像中乒乓球的圆形区域和圆心像素坐标进行识别，并根据圆心像素坐标得到乒乓球球心的三维坐标的具体过程为：

利用左相机和右相机同步采集设置有实心圆形标记的乒乓球的图像，得到左图像和右图像；

利用HSV颜色识别算法对左图像和右图像进行图像识别，得到乒乓球在左图像和右图像中的圆形区域和圆心像素坐标；

根据左图像中圆形区域的圆心像素坐标和右图像中圆形区域的圆心像素坐标，利用视差算法完成乒乓球球心的三维重建。

进一步地，所述在乒乓球的圆形区域中对乒乓球上的实心圆形标记进行识别，得到乒乓球上的标记区域与标记区域的中心像素坐标的具体过程为：

利用有标记的乒乓球与无标记的乒乓球的帧差法对图像中乒乓球上的标记区域进行识别，获得标记区域；

对标记区域进行HSV颜色识别，确定左图像和右图像中乒乓球上圆形标记的颜色；

利用椭圆拟合算法获得左图像和右图像中标记区域的中心像素坐标。

更进一步地，所述根据乒乓球球心的三维坐标和乒乓球上标记区域的中心像素坐标计算得到乒乓球的姿态的具体过程包括：

假设左图像中识别到的标记区域的中心像素坐标为(u_bl,v_bl)，乒乓球球心在世界坐标系下的三维坐标为(x_cw，y_cw，z_cw)；

依据相机的小孔成像原理，获得乒乓球上标记区域的中心像素坐标与乒乓球上标记区域在世界坐标系的约束关系为：

式中，z_bl表示标记区域的中心相对左相机的深度距离，u_bl表示标记区域的中心在左图像中的行，v_bl表示标记区域的中心在左图像中的列，M_l表示左相机的内参矩阵；^lR_w表示左相机的外参矩阵，即世界坐标系相对左相机坐标系的旋转矩阵；^lT_w表示左相机外参矩阵世界坐标系相对左相机坐标系的平移向量；相机的内参矩阵和外参矩阵通过相机标定获得，

为标记区域的中心在世界坐标系下的三维坐标的列向量形式，该列向量中的各参数是待求解的参数；

根据乒乓球上标记区域的中心像素坐标与乒乓球上标记区域在世界坐标系的约束关系，得到标记区域的中心在世界坐标系下的三维坐标的列向量形式

为：

设

则根据

的表达式得到连接相机坐标系原点与乒乓球上标记区域的中心的空间直线的参数方程：

将空间直线的参数方程转换成点向式为：

设点向式表示的空间直线的方向向量为

点向式中的直线通过的点为

令

则乒乓球球心与乒乓球上标记区域的中心所在直线的距离为：

理论上乒乓球球心与乒乓球上标记区域的中心的距离为乒乓球半径r，如果|d-r|＞ε，ε表示预设的允许误差，则乒乓球上标记区域的中心的三维坐标求解失败；否则计算由乒乓球球心向相机坐标系原点与乒乓球上标记区域的中心的连线所作垂线的垂足，该垂足的坐标为乒乓球上的标记区域的中心在世界坐标系下的三维坐标(x_bw，y_bw，z_bw)；

令

表示由乒乓球球心向相机坐标系原点与乒乓球上标记区域的中心的连线所作垂线的方向向量，根据该垂直关系

得到：

A₁(x_cw-x_bw)+A₂(y_cw-y_bw)+A₃(z_cw-z_bw)＝0；

根据空间直线的参数方程，得到：

A₁(x_cw-A₁z_bl-B₁)+A₂(y_cw-A₂z_bl-B₂)+A₃(z_cw-A₃z_bl-B₃)＝0；

进而得到参数z_bl为：

根据z_bl的表达式和空间直线的参数方程，得到乒乓球上的标记区域的中心在世界坐标系下的三维坐标；

根据乒乓球上的标记区域的中心在世界坐标系下的三维坐标(x_bw，y_bw，z_bw)和乒乓球球心在世界坐标系下的三维坐标(x_cw，y_cw，z_cw)，得到各时刻的乒乓球姿态单位向量为：

进一步地，所述根据预设时间的乒乓球姿态单位向量计算乒乓球的旋转速度和旋转方向的过程为：

利用当前乒乓球的位置和时间判断当前状态是否为一条新的乒乓球轨迹，如果是，则记录数据，参数重置，继续求解乒乓球姿态；否则，判断当前轨迹姿态采集的时间是否大于预设时间，如果是，则对乒乓球标记识别的规律进行分析；否则，记录数据，继续进行乒乓球姿态求解；

利用同一颜色圆形标记的出现和消失规律估计乒乓球在预设时间内旋转的圈数，以对乒乓球标记识别的规律进行分析；其中，标记的出现和消失规律包括标记持续出现、标记持续消失、标记具有相邻帧的间隔出现和标记无相邻帧的间隔出现；

对三个颜色的圆形标记对应的乒乓球姿态单位向量进行分析；

对于标记具有相邻帧的间隔出现，通过相邻帧确定旋转速度的最终旋转方向；

对于标记无相邻帧的间隔出现，根据相近标记帧确定最终旋转方向；

对乒乓球的旋转速度进行计算，其包含旋转圈数判断和起止帧角度判断；

根据三个不同颜色的标记对乒乓球旋转速度和旋转方向进行估计后，对三个标记的结果进行综合分析，得到最终乒乓球的旋转速度和旋转方向。

更进一步地，所述对三个颜色的圆形标记对应的乒乓球姿态单位向量进行分析的过程为：

通过对同一颜色圆形标记的姿态单位向量进行平面拟合获得乒乓球旋转轴；

利用各时刻的乒乓球姿态单位向量

获得各颜色标记在不同时刻获得的姿态单位向量，设其中一个姿态单位向量为

其中，下标i表示颜色标记索引，j表示向量索引；

求解同一颜色标记下所有姿态单位向量的平均坐标

构建误差矩阵：

式中，n表示预设时间T内同一颜色圆形标记的姿态向量的求解个数；

对误差矩阵M_ie进行SVD分解，M_ie＝UDV^T，其中，U表示n×n的左奇异向量矩阵；D表示n×3的非负实数对角矩阵，其对角线上的元素是误差矩阵M_ie的奇异值；V表示3×3的正交矩阵，

乒乓球的旋转轴为

更进一步地，所述对于标记具有相邻帧的间隔出现，通过相邻帧确定旋转速度的最终旋转方向的具体过程为：

乒乓球旋转轴对于旋转速度来说具有正负两个旋转方向；

在姿态单位向量序列

中选择相邻帧，对相邻帧做如下分析判断：

设置旋转方向判断参数r_d：

其中，

表示前一帧的姿态单位向量，

表示后一帧的姿态单位向量；乒乓球的旋转方向为：

根据多组相邻帧计算得到的旋转方向，按照少数服从多数的投票方式投票确定最终旋转方向，根据旋转方向向量完成对上旋、下旋、左旋、右旋、顺旋和逆旋的判断。

更进一步地，所述对于标记无相邻帧的间隔出现，根据相近标记帧确定最终旋转方向的具体过程为：

相近标记帧为中间只夹杂无标记帧的两个标记帧；

在姿态单位向量序列

中选择相近标记帧，对相近标记帧做如下分析判断：

设置旋转方向判断参数r_d：

其中，

表示相近标记帧的前一帧的姿态单位向量，

表示标记帧再次出现的后一帧的姿态单位向量；乒乓球的旋转方向为：

根据多组标记相近帧计算得到的旋转方向，按照少数服从多数的投票方式投票确定最终旋转方向，根据旋转方向向量完成对上旋、下旋、左旋、右旋、顺旋和逆旋的判断。

更进一步地，所述对乒乓球的旋转速度进行计算的过程为：

包含旋转圈数判断和起止帧角度判断；

利用标记的出现和消失规律对旋转圈数进行判断，如果出现、消失、再出现近似为一圈，从而获得时间T内的圈数n_r；

起止帧夹角为：

起止帧角度方向判断分析如下：

设置旋转角度判断参数r_a：

其中，

表示轨迹第一帧计算得到的姿态单位向量，

表示预设时间T内轨迹最后一帧计算得到的姿态单位向量，

为旋转方向，得到第一帧和最后一帧乒乓球旋转的角度为：

乒乓球的旋转角速度为：

其中，t_s表示标记出现的起始时间，t_e表示标记出现的停止时间。

更进一步地，所述对三个不同颜色的标记的结果进行综合分析，得到最终乒乓球的旋转速度和旋转方向的具体过程为：

判断三个标记中符合标记具有相邻帧的间隔出现且有相邻帧的标记数量，如果符合条件的标记数量大于1，则以相邻帧较多的标记的结果作为最终结果；

如果符合条件的标记数量为1，则以符合条件的结果作为最终结果；

如果三个标记均不符合标记具有相邻帧的间隔出现且有相邻帧的条件，则判断标记中符合间隔出现的标记数量，此类间隔出现的标记没有相邻帧；

如果间隔出现的标记数量大于1，则以标记出现较多的标记结果作为最终结果；

如果间隔出现的标记数量为1，则以符合条件的结果作为最终结果；

如果三个标记均持续出现或持续消失，则直接以无旋球作为最终结果。

根据本申请实施例的第二方面，本申请还提供了一种基于视觉测量的乒乓球旋转估计系统，其包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器处理所述计算机程序时实现上述任一项所述基于视觉测量的乒乓球旋转估计方法。

根据本申请实施例的第三方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于视觉测量的乒乓球旋转估计方法。

根据本申请的上述具体实施方式可知，至少具有以下有益效果：本申请提供的基于视觉测量的乒乓球旋转估计方法通过在乒乓球表明设计合理的标记和视觉系统相机的布局，能够有效地保证相机图像中标记识别的成功率，降低系统成本，提高实用性。

本申请采用HSV先进行乒乓球识别，再针对识别到的乒乓球区域采用帧差法结合HSV的方式进行标记识别，能够有效地过滤环境干扰，提高识别速度和精度。

本申请利用相机小孔成像原理以及标记与球心的距离约束关系完成对乒乓球标记的三维重建，从而确定乒乓球的姿态

本申请利用平面拟合确定乒乓球旋转轴，利用相邻帧和相近标记帧完成旋转方向的确定，结合圈数和起止帧夹角补偿，能够有效地减少估计误差，提高估计精度。

本申请通过对乒乓球上三个圆形标记的综合分析能够有效剔除干扰，提高估计精度。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。

附图说明

下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。

图1为本申请实施例提供的一种基于视觉测量的乒乓球旋转估计方法的流程图。

图2为本申请实施例提供的一种基于视觉测量的乒乓球旋转估计方法中乒乓球上圆形标记设计示意图。

图3为本申请实施例提供的一种基于视觉测量的乒乓球旋转估计方法中相机布局设计示意图。

图4为本申请实施例提供的一种基于视觉测量的乒乓球旋转估计方法中旋转方向和速度的计算流程图。

图5为本申请实施例提供的一种基于视觉测量的乒乓球旋转估计方法中各标记旋转速度结果综合分析的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。

本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

如图1所示，本申请实施例提供的基于视觉测量的乒乓球旋转估计方法包括以下步骤：

S1、对乒乓球进行标记，对视觉系统相机进行布局，其具体过程为：

如图2所示，在乒乓球上设置三个不同颜色的实心圆形标记，其中，第一圆形标记的圆心与第二圆形标记的圆心的连线经过乒乓球的中心，第三圆形标记的圆心和乒乓球中心的连线与第一圆形标记的圆心和第二圆形标记的圆心的连线垂直。

具体地，本申请实际使用的乒乓球为橙色乒乓球，三个实心圆形标记的颜色为区分度比较大的红色、绿色和白色，实心圆形标记的直径为20-28mm。采用这种设计可以保证至少有一个圆形标记的圆心不低于乒乓球的水平赤道，这会更加有利于视觉系统观察。

如图3所示，本申请使用的视觉系统相机包括左相机和右相机。

以球网高度方向的中心线为对称轴，左相机和右相机对称设置在球网长度方向的左右两侧。左相机和右相机均与球网位于同一平面内。

这种大基线布局方式既能提高乒乓球中心三维重建的精度，又能提高乒乓球上圆形标记的观测成功率。

S2、对视觉系统相机采集的图像中乒乓球的圆形区域和圆心像素坐标进行识别，并根据圆心像素坐标得到乒乓球球心的三维坐标，其具体过程为：

利用左相机和右相机同步采集设置有实心圆形标记的乒乓球的图像，得到左图像和右图像。

利用HSV颜色识别算法对左图像和右图像进行图像识别，得到乒乓球在左图像和右图像中的圆形区域和圆心像素坐标。

其中，HSV颜色识别算法的核心是将RGB空间的图像转换成HSV空间的图像，从而达到颜色识别的目的。

根据左图像中圆形区域的圆心像素坐标和右图像中圆形区域的圆心像素坐标，利用视差算法完成乒乓球球心的三维重建。

需要说明的是，HSV颜色识别算法和视差算法均为图像处理领域的成熟算法，在此不再赘述。

S3、在乒乓球的圆形区域中对乒乓球上的实心圆形标记进行识别，得到乒乓球上的标记区域与标记区域的中心像素坐标，其具体过程为：

利用有标记的乒乓球与无标记的乒乓球的帧差法对图像中乒乓球上的标记区域进行识别，获得标记区域。

对标记区域进行HSV颜色识别，从而确定左图像和右图像中乒乓球上圆形标记的颜色，同时利用椭圆拟合算法获得左图像和右图像中标记区域的中心像素坐标。

S4、根据乒乓球球心的三维坐标和乒乓球上标记区域的中心像素坐标计算得到乒乓球的姿态，其具体过程为：

下面以左图像中识别到的乒乓球上标记区域为例计算乒乓球的姿态。

假设左图像中识别到的标记区域的中心像素坐标为(u_bl,v_bl)，乒乓球球心在世界坐标系下的三维坐标为(x_cw，y_cw，z_cw)。

依据相机的小孔成像原理，可以获得乒乓球上标记区域的中心像素坐标与乒乓球上标记区域在世界坐标系的约束关系为：

式(1)中，z_bl表示标记区域的中心相对左相机的深度距离，u_bl表示标记区域的中心在左图像中的行，v_bl表示标记区域的中心在左图像中的列，M_l表示左相机的内参矩阵；^lR_w表示左相机的外参矩阵，即世界坐标系相对左相机坐标系的旋转矩阵；^lT_w表示左相机外参矩阵世界坐标系相对左相机坐标系的平移向量。相机的内参矩阵和外参矩阵通过相机标定获得，

为标记区域的中心在世界坐标系下的三维坐标的列向量形式，该列向量中的各参数是待求解的参数。

根据式(1)得到标记区域的中心在世界坐标系下的三维坐标的列向量形式

为：

不妨设

则根据式(2)可以得到连接相机坐标系原点与乒乓球上标记区域的中心的空间直线的参数方程：

将式(3)转换成点向式为：

不妨设式(4)表示的空间直线的方向向量为

点向式中的直线通过的点为

令

则乒乓球球心与乒乓球上标记区域的中心所在直线的距离为：

理论上乒乓球球心与乒乓球上标记区域的中心的距离为乒乓球半径r，如果|d-r|＞ε(ε为预设的允许误差，依据实际情况设定)，则乒乓球上标记区域的中心的三维坐标求解失败；否则计算由乒乓球球心向相机坐标系原点与乒乓球上标记区域的中心的连线所作垂线的垂足，该垂足的坐标即为乒乓球上的标记区域的中心在世界坐标系下的三维坐标(x_bw，y_bw，z_bw)。

令

表示由乒乓球球心向相机坐标系原点与乒乓球上标记区域的中心的连线所作垂线的方向向量，根据该垂直关系

可以得到：

A₁(x_cw-x_bw)+A₂(y_cw-y_bw)+A₃(z_cw-z_bw)＝0              (6)

将式(3)带入式(6)中，得到：

A₁(x_cw-A₁z_bl-B₁)+A₂(y_cw-A₂z_bl-B₂)+A₃(z_cw-A₃z_bl-B₃)＝0      (7)

根据式(7)可以得到参数z_bl为：

将式(8)带入式(3)中，得到乒乓球上的标记区域的中心在世界坐标系下的三维坐标。

根据乒乓球上的标记区域的中心在世界坐标系下的三维坐标(x_bw，y_bw，z_bw)和乒乓球球心在世界坐标系下的三维坐标(x_cw，y_cw，z_cw)，得到各时刻的乒乓球姿态单位向量为：

S5、如图4所示，根据预设时间T的乒乓球姿态单位向量计算乒乓球的旋转速度和旋转方向，其具体过程为：

S51、利用当前乒乓球的位置和时间判断当前状态是否为一条新的乒乓球轨迹，如果是，则记录数据，参数重置，继续求解乒乓球姿态；否则，进入步骤S52。

S52、判断当前轨迹姿态采集的时间是否大于预设时间T，如果是，则进入步骤S53；否则，记录数据，返回步骤S51继续进行乒乓球姿态求解。

具体地，启动计算的阈值T根据实际需要设置为100ms。

S53、对乒乓球标记识别的规律进行分析，其具体过程为：

根据同一颜色圆形标记的出现情况估计乒乓球在预设时间T内旋转的圈数。具体地，主要利用标记的出现和消失规律进行判断。

标记的出现和消失规律包括标记持续出现、标记持续消失、标记具有相邻帧的间隔出现和标记无相邻帧的间隔出现。

如果标记持续出现或者标记持续消失，则可以判定无旋球。

如果标记具有相邻帧的间隔出现或者标记无相邻帧的间隔出现，则进入步骤S54。

S54、对三个颜色的圆形标记对应的乒乓球姿态单位向量进行分析，其具体过程为：

通过对同一颜色圆形标记的姿态单位向量进行平面拟合获得乒乓球旋转轴；利用步骤S4中的公式(9)可以获得各颜色标记在不同时刻获得的姿态单位向量，不妨设其中1个姿态单位向量为

其中，下标i表示颜色标记索引，j表示向量索引，接着求解同一颜色标记下所有姿态单位向量的平均坐标

构建误差矩阵：

式(10)中，n表示时间T内同一颜色圆形标记的姿态向量的求解个数。

对误差矩阵M_ie进行SVD分解，M_ie＝UDV^T，其中，U表示n×n的左奇异向量矩阵；D表示n×3的非负实数对角矩阵，其对角线上的元素是误差矩阵M_ie的奇异值；V表示3×3的正交矩阵，

乒乓球的旋转轴为

S55、对于标记具有相邻帧的间隔出现，通过相邻帧确定旋转速度的最终旋转方向。

乒乓球旋转轴对于旋转速度来说具有正负两个旋转方向。

在姿态单位向量序列

中选择相邻帧，对相邻帧做如下分析判断：

设置旋转方向判断参数r_d：

其中，

表示前一帧的姿态单位向量，

表示后一帧的姿态单位向量；乒乓球的旋转方向为：

根据多组相邻帧计算得到的旋转方向，按照少数服从多数的投票方式投票确定最终旋转方向，根据旋转方向向量完成对上旋、下旋、左旋、右旋、顺旋和逆旋的判断。

S56、对于标记无相邻帧的间隔出现，根据相近标记帧确定最终旋转方向。

其中，相近标记帧为中间只夹杂无标记帧的两个标记帧。

在姿态单位向量序列

中选择相近标记帧，对相近标记帧做如下分析判断：

设置旋转方向判断参数r_d：

其中，

表示相近标记帧的前一帧的姿态单位向量，

表示标记帧再次出现的后一帧的姿态单位向量；乒乓球的旋转方向为：

根据多组标记相近帧计算得到的旋转方向，按照少数服从多数的投票方式投票确定最终旋转方向，根据旋转方向向量完成对上旋、下旋、左旋、右旋、顺旋和逆旋的判断。

S57、对乒乓球的旋转速度进行计算，其包含旋转圈数判断和起止帧角度判断。

利用标记的出现和消失规律对旋转圈数进行判断，如果出现、消失、再出现可以近似为一圈，从而获得时间T内的圈数n_r。

起止帧夹角为：

起止帧角度方向判断分析如下：

设置旋转角度判断参数r_a：

其中，

表示轨迹第一帧计算得到的姿态单位向量，

表示预设时间T内轨迹最后一帧计算得到的姿态单位向量，

为通过步骤S55或步骤S56求解得到的旋转方向，从而可以得到第一帧和最后一帧乒乓球旋转的角度为：

进一步求得乒乓球的旋转角速度为：

其中，t_s表示标记出现的起始时间，t_e表示标记出现的停止时间。

S6、如图5所示，根据三个不同颜色的标记对乒乓球旋转速度和旋转方向进行估计后，对三个标记的结果进行综合分析，得到最终乒乓球的旋转速度和旋转方向，其具体过程为：

如图4所示，首先判断三个标记中符合标记具有相邻帧的间隔出现且有相邻帧的标记数量，如果符合条件的标记数量大于1，则以相邻帧较多的标记的结果作为最终结果；

如果符合条件的标记数量为1，则以符合条件的结果作为最终结果；

如果三个标记均不符合标记具有相邻帧的间隔出现且有相邻帧的条件，则判断标记中符合间隔出现的标记数量，此类间隔出现的标记没有相邻帧；

如果间隔出现的标记数量大于1，则以标记出现较多的标记结果作为最终结果；

如果间隔出现的标记数量为1，则以符合条件的结果作为最终结果；

如果三个标记均不符合间隔出现的条件，即三个标记均持续出现或持续消失，则直接以无旋球作为最终结果。

本申请通过合理的设计乒乓球标记和相机布局，再通过HSV算法完成乒乓球识别和球心三维重建，接着在乒乓球区域中利用帧差法和HSV算法完成标记的识别，然后通过相机小孔成像和距离约束完成乒乓球姿态的计算，最终利用乒乓球姿态序列完成乒乓球旋转速度和旋转方向的准确估计。本申请在具有大视场实时估计乒乓球旋转能力的同时，成本较低，具有较强的实用价值。

本申请仅利用双目立体视觉完成乒乓球旋转的估计，能够有效地降低成本，提高实用性；创新性的标记设计能够有效地减少标记遮挡问题，提高系统的鲁棒性；通过点线距离约束求解方式完成乒乓球标记的三维重建，实现乒乓球姿态的准确有效求解；平面拟合、相邻帧/相近标记帧利用平均原理能够有效提高旋转方向精度；起止帧的角度步长，能够有效地提高旋转角速度精度；多标记的综合分析能够提高整个系统的有效性和适用性。

在示例性实施例中，基于本申请实施例提供的基于视觉测量的乒乓球旋转估计方法，本申请实施例还提供了一种基于视觉测量的乒乓球旋转估计系统，其包括存储器以及耦接至该存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行本申请中任一个实施例中的基于视觉测量的乒乓球旋转估计方法。

其中，存储器可以为系统存储器或固定非易失性存储介质等，系统存储器可以存储有操作系统、应用程序、引导装载程序、数据库以及其他程序等。

需要说明的是，上述实施例提供的基于视觉测量的乒乓球旋转估计系统与基于视觉测量的乒乓球旋转估计方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，本申请实施例还提供了一种计算机存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由处理器执行，以完成本申请中任一个实施例中的基于视觉测量的乒乓球旋转估计方法。

上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本申请的实施例也可表示在数据信号处理器中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本申请配置上述处理器执行特定任务，其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展表示不同的程序语言与不同的格式或形式。也可表示不同的目标平台编译软件代码。然而，根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。

以上所述仅为本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。

Claims (11)

1.一种基于视觉测量的乒乓球旋转估计方法，其特征在于，包括以下步骤：

对乒乓球进行标记，对视觉系统相机进行布局，其具体过程为：在乒乓球上设置三个不同颜色的实心圆形标记，其中，第一圆形标记的圆心与第二圆形标记的圆心的连线经过乒乓球的中心，第三圆形标记的圆心和乒乓球中心的连线与第一圆形标记的圆心和第二圆形标记的圆心的连线垂直；视觉系统相机包括左相机和右相机，以球网高度方向的中心线为对称轴，左相机和右相机对称设置在球网长度方向的左右两侧，左相机和右相机均与球网位于同一平面内；

对视觉系统相机采集的图像中乒乓球的圆形区域和圆心像素坐标进行识别，并根据圆心像素坐标得到乒乓球球心的三维坐标；

在乒乓球的圆形区域中对乒乓球上的实心圆形标记进行识别，得到乒乓球上的标记区域与标记区域的中心像素坐标；

根据乒乓球球心的三维坐标和乒乓球上标记区域的中心像素坐标计算得到乒乓球的姿态；

根据预设时间的乒乓球姿态单位向量计算乒乓球的旋转速度和旋转方向；

根据三个不同颜色的标记对乒乓球旋转速度和旋转方向进行估计后，对三个标记的结果进行综合分析，得到最终乒乓球的旋转速度和旋转方向。

2.根据权利要求1所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述对视觉系统相机采集的图像中乒乓球的圆形区域和圆心像素坐标进行识别，并根据圆心像素坐标得到乒乓球球心的三维坐标的具体过程为：

利用左相机和右相机同步采集设置有实心圆形标记的乒乓球的图像，得到左图像和右图像；

利用HSV颜色识别算法对左图像和右图像进行图像识别，得到乒乓球在左图像和右图像中的圆形区域和圆心像素坐标；

根据左图像中圆形区域的圆心像素坐标和右图像中圆形区域的圆心像素坐标，利用视差算法完成乒乓球球心的三维重建。

3.根据权利要求2所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述在乒乓球的圆形区域中对乒乓球上的实心圆形标记进行识别，得到乒乓球上的标记区域与标记区域的中心像素坐标的具体过程为：

利用有标记的乒乓球与无标记的乒乓球的帧差法对图像中乒乓球上的标记区域进行识别，获得标记区域；

对标记区域进行HSV颜色识别，确定左图像和右图像中乒乓球上圆形标记的颜色；

利用椭圆拟合算法获得左图像和右图像中标记区域的中心像素坐标。

4.根据权利要求3所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述根据乒乓球球心的三维坐标和乒乓球上标记区域的中心像素坐标计算得到乒乓球的姿态的具体过程包括：

假设左图像中识别到的标记区域的中心像素坐标为(u_bl,v_bl)，乒乓球球心在世界坐标系下的三维坐标为(x_cw，y_cw，z_cw)；

依据相机的小孔成像原理，获得乒乓球上标记区域的中心像素坐标与乒乓球上标记区域在世界坐标系的约束关系为：

式中，z_bl表示标记区域的中心相对左相机的深度距离，u_bl表示标记区域的中心在左图像中的行，v_bl表示标记区域的中心在左图像中的列，M_l表示左相机的内参矩阵；^lR_w表示左相机的外参矩阵，即世界坐标系相对左相机坐标系的旋转矩阵；^lT_w表示左相机外参矩阵世界坐标系相对左相机坐标系的平移向量；相机的内参矩阵和外参矩阵通过相机标定获得，

为标记区域的中心在世界坐标系下的三维坐标的列向量形式，该列向量中的各参数是待求解的参数；

根据乒乓球上标记区域的中心像素坐标与乒乓球上标记区域在世界坐标系的约束关系，得到标记区域的中心在世界坐标系下的三维坐标的列向量形式

为：

设

则根据

的表达式得到连接相机坐标系原点与乒乓球上标记区域的中心的空间直线的参数方程：

将空间直线的参数方程转换成点向式为：

设点向式表示的空间直线的方向向量为

点向式中的直线通过的点为

令

则乒乓球球心与乒乓球上标记区域的中心所在直线的距离为：

理论上乒乓球球心与乒乓球上标记区域的中心的距离为乒乓球半径r，如果|d-r|＞ε，ε表示预设的允许误差，则乒乓球上标记区域的中心的三维坐标求解失败；否则计算由乒乓球球心向相机坐标系原点与乒乓球上标记区域的中心的连线所作垂线的垂足，该垂足的坐标为乒乓球上的标记区域的中心在世界坐标系下的三维坐标(x_bw，y_bw，z_bw)；

令

表示由乒乓球球心向相机坐标系原点与乒乓球上标记区域的中心的连线所作垂线的方向向量，根据该垂直关系

得到：

A₁(x_cw-x_bw)+A₂(y_cw-y_bw)+A₃(z_cw-z_bw)＝0；

根据空间直线的参数方程，得到：

A₁(x_cw-A₁z_bl-B₁)+A₂(y_cw-A₂z_bl-B₂)+A₃(z_cw-A₃z_bl-B₃)＝0；

进而得到参数z_bl为：

根据z_bl的表达式和空间直线的参数方程，得到乒乓球上的标记区域的中心在世界坐标系下的三维坐标；

根据乒乓球上的标记区域的中心在世界坐标系下的三维坐标(x_bw，y_bw，z_bw)和乒乓球球心在世界坐标系下的三维坐标(x_cw，y_cw，z_cw)，得到各时刻的乒乓球姿态单位向量为：

5.根据权利要求4所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述根据预设时间的乒乓球姿态单位向量计算乒乓球的旋转速度和旋转方向的过程为：

利用当前乒乓球的位置和时间判断当前状态是否为一条新的乒乓球轨迹，如果是，则记录数据，参数重置，继续求解乒乓球姿态；否则，判断当前轨迹姿态采集的时间是否大于预设时间，如果是，则对乒乓球标记识别的规律进行分析；否则，记录数据，继续进行乒乓球姿态求解；

利用同一颜色圆形标记的出现和消失规律估计乒乓球在预设时间内旋转的圈数，以对乒乓球标记识别的规律进行分析；其中，标记的出现和消失规律包括标记持续出现、标记持续消失、标记具有相邻帧的间隔出现和标记无相邻帧的间隔出现；

对三个颜色的圆形标记对应的乒乓球姿态单位向量进行分析；

对于标记具有相邻帧的间隔出现，通过相邻帧确定旋转速度的最终旋转方向；

对于标记无相邻帧的间隔出现，根据相近标记帧确定最终旋转方向；

对乒乓球的旋转速度进行计算，其包含旋转圈数判断和起止帧角度判断。

6.根据权利要求5所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述对三个颜色的圆形标记对应的乒乓球姿态单位向量进行分析的过程为：

通过对同一颜色圆形标记的姿态单位向量进行平面拟合获得乒乓球旋转轴；

利用各时刻的乒乓球姿态单位向量

获得各颜色标记在不同时刻获得的姿态单位向量，设其中一个姿态单位向量为

其中，下标i表示颜色标记索引，j表示向量索引；

求解同一颜色标记下所有姿态单位向量的平均坐标

构建误差矩阵：

式中，n表示预设时间T内同一颜色圆形标记的姿态向量的求解个数；

对误差矩阵M_ie进行SVD分解，M_ie＝UDV^T，其中，U表示n×n的左奇异向量矩阵；D表示n×3的非负实数对角矩阵，其对角线上的元素是误差矩阵M_ie的奇异值；V表示3×3的正交矩阵，

乒乓球的旋转轴为

7.根据权利要求6所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述对于标记具有相邻帧的间隔出现，通过相邻帧确定旋转速度的最终旋转方向的具体过程为：

乒乓球旋转轴对于旋转速度来说具有正负两个旋转方向；

在姿态单位向量序列

中选择相邻帧，对相邻帧做如下分析判断：

设置旋转方向判断参数r_d：

其中，

表示前一帧的姿态单位向量，

表示后一帧的姿态单位向量；乒乓球的旋转方向为：

根据多组相邻帧计算得到的旋转方向，按照少数服从多数的投票方式投票确定最终旋转方向，根据旋转方向向量完成对上旋、下旋、左旋、右旋、顺旋和逆旋的判断。

8.根据权利要求7所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述对于标记无相邻帧的间隔出现，根据相近标记帧确定最终旋转方向的具体过程为：

相近标记帧为中间只夹杂无标记帧的两个标记帧；

在姿态单位向量序列

中选择相近标记帧，对相近标记帧做如下分析判断：

设置旋转方向判断参数r_d：

其中，

表示相近标记帧的前一帧的姿态单位向量，

表示标记帧再次出现的后一帧的姿态单位向量；乒乓球的旋转方向为：

根据多组标记相近帧计算得到的旋转方向，按照少数服从多数的投票方式投票确定最终旋转方向，根据旋转方向向量完成对上旋、下旋、左旋、右旋、顺旋和逆旋的判断。

9.根据权利要求8所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述对乒乓球的旋转速度进行计算的过程为：

包含旋转圈数判断和起止帧角度判断；

利用标记的出现和消失规律对旋转圈数进行判断，如果出现、消失、再出现近似为一圈，从而获得时间T内的圈数n_r；

起止帧夹角为：

起止帧角度方向判断分析如下：

设置旋转角度判断参数r_a：

其中，

表示轨迹第一帧计算得到的姿态单位向量，

表示预设时间T内轨迹最后一帧计算得到的姿态单位向量，

为旋转方向，得到第一帧和最后一帧乒乓球旋转的角度为：

乒乓球的旋转角速度为：

其中，t_s表示标记出现的起始时间，t_e表示标记出现的停止时间。

10.根据权利要求5所述的基于视觉测量的乒乓球旋转估计方法，其特征在于，所述对三个不同颜色的标记的结果进行综合分析，得到最终乒乓球的旋转速度和旋转方向的具体过程为：

判断三个标记中符合标记具有相邻帧的间隔出现且有相邻帧的标记数量，如果符合条件的标记数量大于1，则以相邻帧较多的标记的结果作为最终结果；

如果符合条件的标记数量为1，则以符合条件的结果作为最终结果；

如果三个标记均不符合标记具有相邻帧的间隔出现且有相邻帧的条件，则判断标记中符合间隔出现的标记数量，此类间隔出现的标记没有相邻帧；

如果间隔出现的标记数量大于1，则以标记出现较多的标记结果作为最终结果；

如果间隔出现的标记数量为1，则以符合条件的结果作为最终结果；

如果三个标记均持续出现或持续消失，则直接以无旋球作为最终结果。

11.一种基于视觉测量的乒乓球旋转估计系统，其特征在于，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器处理所述计算机程序时实现如所述权利要求1～10任一项所述基于视觉测量的乒乓球旋转估计方法。

Images