CN117197193B - 游泳速度估计方法、装置、计算机设备及存储介质 - Google Patents

游泳速度估计方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117197193B
CN117197193B CN202311469597.XA CN202311469597A CN117197193B CN 117197193 B CN117197193 B CN 117197193B CN 202311469597 A CN202311469597 A CN 202311469597A CN 117197193 B CN117197193 B CN 117197193B
Authority
CN
China
Prior art keywords
target
current
dimensional
model
dimensional coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311469597.XA
Other languages
English (en)
Other versions
CN117197193A (zh
Inventor
任小枫
谢欣
郭羽
张剑华
郭东岩
王振华
张都思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Juyan Xincheng Technology Co ltd
Original Assignee
Hangzhou Juyan Xincheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Juyan Xincheng Technology Co ltd filed Critical Hangzhou Juyan Xincheng Technology Co ltd
Priority to CN202311469597.XA priority Critical patent/CN117197193B/zh
Publication of CN117197193A publication Critical patent/CN117197193A/zh
Application granted granted Critical
Publication of CN117197193B publication Critical patent/CN117197193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明实施例公开了游泳速度估计方法、装置、计算机设备及存储介质。所述方法包括:标定多相机的内参矩阵和相对位姿;获取多相机拍摄游泳者游泳时所得的图像;采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;输出所述估计结果。通过实施本发明实施例的方法可实现确保目标能够持续被有效跟踪,提高游泳速度的估计准确率。

Description

游泳速度估计方法、装置、计算机设备及存储介质
技术领域
本发明涉及速度估计方法,更具体地说是指游泳速度估计方法、装置、计算机设备及存储介质。
背景技术
随着科技不断进步,越来越多的技术应用在游泳运动中,其中对于游泳转身次数和时间的估计尤为重要,游泳转身主要分为碰壁转身和翻滚转身两种,通过转身的判断可以计算游泳的距离、卡路里等人们较为关注的信息,为用户提供更精确的运动数据,提高用户的体验度。
现有的对于游泳速度的估计方式一般是通过目标检测网络检测目标,并确定目标的运动轨迹,确定距离和运动时间,在进行求商,确定游泳速度,但是这种方式容易出现目标跟踪丢失,从而导致游泳速度估计错误。
发明内容
本发明提供游泳速度估计方法,实现确保目标能够持续被有效跟踪,提高游泳速度的估计准确率。
为实现上述目的,本发明采用以下技术方案:游泳速度估计方法,包括:
标定多相机的内参矩阵和相对位姿;
获取多相机拍摄游泳者游泳时所得的图像;
采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;
使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;
根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;
输出所述估计结果。
其进一步技术方案为:所述标定多相机的内参矩阵和相对位姿,包括:
使用张正友标定法标定多相机的内参矩阵;其中,内参矩阵包括焦距、主点位置和畸变参数;
采用双目立体视觉方法求解多相机之间的相对位姿。
其进一步技术方案为:所述采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标,包括:
采用YOLO-5模型对所述图像进行目标检测,以得到目标检测框;
提取所述目标检测框的位置信息,以得到目标二维坐标。
其进一步技术方案为:所述使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度,包括:
利用每个相机的内参矩阵将对应的目标二维坐标转换为相机坐标系下的归一化坐标;
利用多相机之间的相对位姿将多个相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标,以得到目标当前的三维坐标;
根据多相机之间的时间间隔和目标当前的三维坐标计算目标当前的移动速度。
其进一步技术方案为:所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的。
其进一步技术方案为:所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的,包括:
获取当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度,以得到样本集;
对所述样本集进行数据预处理,以得到预处理结果;
构建全连接神经网络;
利用所述预处理结果训练所述全连接神经网络,并使用优化器采用随机梯度下降更新网络的权重和偏置,以得到监督学习模型。
其进一步技术方案为:所述全连接神经网络包括输入层、输出层以及中间隐藏层;所述输入层的维度为4;所述输出层的维度为6;所述中间隐藏层的维度为5。
本发明还提供了游泳速度估计装置,包括:
标定单元,用于标定多相机的内参矩阵和相对位姿;
图像获取单元,用于获取多相机拍摄游泳者游泳时所得的图像;
二维坐标确定单元,用于采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;
三维信息确定单元,用于使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;
估计单元,用于根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;
输出单元,用于输出所述估计结果。
本发明还提供了一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是:本发明通过标定多相机的内参和位姿,采用目标检测模型检测相机拍摄得到的图像中的目标二维坐标,并结合内参和位姿确定当前的三维坐标和移动速度,再利用当前的三维坐标和移动速度采用监督学习模型估计未来的三维坐标和移动速度,实现确保目标能够持续被有效跟踪,提高游泳速度的估计准确率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的游泳速度估计方法的应用场景示意图;
图2为本发明实施例提供的游泳速度估计方法的流程示意图;
图3为本发明实施例提供的游泳速度估计方法的子流程示意图;
图4为本发明实施例提供的游泳速度估计方法的子流程示意图;
图5为本发明实施例提供的游泳速度估计方法的子流程示意图;
图6为本发明实施例提供的游泳速度估计方法的子流程示意图;
图7为本发明实施例提供的全连接神经网络的示意图;
图8为本发明实施例提供的游泳速度估计装置的示意性框图;
图9为本发明实施例提供的游泳速度估计装置的标定单元的示意性框图;
图10为本发明实施例提供的游泳速度估计装置的二维坐标确定单元的示意性框图;
图11为本发明实施例提供的游泳速度估计装置的三维信息确定单元的示意性框图;
图12为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的游泳速度估计方法的应用场景示意图。图2为本发明实施例提供的游泳速度估计方法的示意性流程图。该游泳速度估计方法应用于服务器中。该服务器与多相机以及终端进行数据交互,实现确保目标能够持续被有效跟踪,提高游泳速度的估计准确率。
图2是本发明实施例提供的游泳速度估计方法的流程示意图。如图2所示,该方法包括以下步骤S110至S160。
S110、标定多相机的内参矩阵和相对位姿。
在本实施例中,内参矩阵包括焦距、主点位置和畸变参数;多相机的相对位姿包括相机相对位姿的旋转矩阵和平移向量。
在一实施例中,请参阅图3,上述的步骤S110可包括步骤S111~S112。
S111、使用张正友标定法标定多相机的内参矩阵。
在本实施例中,使用张正友标定法来估计相机的内参矩阵,包括焦距、主点位置和畸变参数。具体地,通过拍摄包含标定板的多张图像,并提取标定板上的特征点(通常是棋盘格的角点),然后根据这些特征点和已知的标定板尺寸,利用张正友标定法计算相机的内参矩阵。
具体地,选择一个已知尺寸的标定板,常用的是棋盘格。保证标定板在相机视野内完整可见,然后固定在相机的拍摄平面上。首先将标定板放置在不同位置和姿态,保持相机相对于标定板的位置固定,然后用相机拍摄多张包含标定板的图像。对于每张标定图像,使用图像处理算法(如角点检测算法)检测并提取出标定板的特征点,通常是棋盘格的角点。在标定板上的每个特征点都有一个已知的实际坐标,因为标定板的尺寸是已知的。将图像坐标和实际坐标对应起来,得到一系列图像坐标和实际坐标的对应关系。使用已知的图像坐标和实际坐标对应关系,通过最小二乘法或其他优化算法,求解相机的内参矩阵和畸变参数。内参矩阵包括焦距 fx 和 fy、主点坐标 cx 和 cy,畸变参数通常有径向畸变参数k1 和 k2,以及切向畸变参数 p1 和 p2。
x_{corrected} = x * (1 + k_1 * r2 + k_2 * r4) + 2 * p_1 * x * y + p_2* (r2+ 2 * x2);
y_{corrected} = y * (1 + k_1 * r2+ k_2 *r4) + p_1 * (r2 + 2 * y2) + 2 *p_2 * x * y。
其中,k_1 和 k_2 是径向畸变参数,p_1 和 p_2 是切向畸变参数。
S112、采用双目立体视觉方法求解多相机之间的相对位姿。
在本实施例中,通过特征点匹配找到两个相机图像中的对应特征点,然后利用基础矩阵估计方法计算相机之间的基础矩阵。根据基础矩阵和相机的内参矩阵,计算相机之间的本质矩阵。最后,对本质矩阵进行分解,得到相机相对位姿的旋转矩阵和平移向量。
具体地,分别使用左相机和右相机拍摄多张包含标定板的图像。保持相机位置固定,通过改变标定板的位置和姿态来获取多个角度的图像。对于每张标定图像,使用图像处理算法(如角点检测算法)检测并提取出标定板的角点,通常是棋盘格的角点。在标定板上的每个特征点都有一个已知的实际坐标,因为标定板的尺寸是已知的。将左相机和右相机的图像坐标与实际坐标对应起来,得到两个相机的图像坐标和实际坐标的对应关系。
对于两个图像坐标点 P1 (u1, v1, 1) 和 P2 (u2, v2, 1),它们满足极线约束:P2T* F * P1 = 0。F是一个 3x3 的矩阵,可以通过八点法或 RANSAC 算法求解。本质矩阵是两个相机之间的关键参数,它可以通过 F 和相机内参矩阵 K1、K2 计算得到。E = K2T*F * K1。对本质矩阵 E 进行 SVD 分解,得到四组旋转矩阵 R 和平移向量 t,分别为 (R1,t1)、(R2, t2)、(R3, t3) 和 (R4, t4)。
S120、获取多相机拍摄游泳者游泳时所得的图像。
在本实施例中,图像是指多相机拍摄的游泳者在游泳时的图像。
S130、采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标。
在本实施例中,目标二维坐标是指游泳者所在的图像中的二维坐标。
在一实施例中,请参阅图4,上述的步骤S130可包括步骤S131~S132。
S131、采用YOLO-5模型对所述图像进行目标检测,以得到目标检测框;
S132、提取所述目标检测框的位置信息,以得到目标二维坐标。
在本实施例中,使用YOLO-5在大型数据集上进行预训练,使用官方提供的预训练权重。加载预训练权重是为了在新的数据集上进行目标检测任务时更好地迁移学习。输入多相机的图像,使用加载的 YOLO-5 模型对输入图像进行目标检测。最后根据需要从检测结果中提取目标的二维坐标。
具体地,在相机拍摄的视频的第一帧图像或初始帧图像上使用YOLOv5来检测目标。目标检测算法会识别图像中的目标,并返回目标的位置和类别信息。设定一个阈值,仅保留置信度高于阈值的检测结果,以减少误检。将检测到的目标的位置信息保存下来,并作为初始跟踪目标的位置。在之后的每一帧中,使用目标跟踪算法(Kalman滤波)来跟踪之前检测到的目标。目标跟踪算法利用目标的位置信息,结合图像的运动信息,来预测目标在下一帧中的位置。通过目标检测算法的输出和跟踪算法的预测,结合一定的规则和逻辑来匹配当前帧中的目标和之前帧中的目标,确保目标的连续追踪。
目标检测是识别图像或视频中目标位置的技术,可以借助深度学习中的目标检测算法如SSD、YOLO、Faster R-CNN等。跟踪技术则用于在连续帧之间追踪目标,常用的算法有卡尔曼滤波、多目标追踪等。相机标定是通过特定的图案或点来估计相机的内参和外参,常用的方法有张正友标定法和Tsai法等。
S140、使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度。
在本实施例中,目标当前的三维坐标和移动速度是指目标当前在世界坐标系下的三维坐标以及对应的移动速度。
在一实施例中,请参阅图5,上述的步骤S140可包括步骤S141~S143。
S141、利用每个相机的内参矩阵将对应的目标二维坐标转换为相机坐标系下的归一化坐标;
S142、利用多相机之间的相对位姿将多个相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标,以得到目标当前的三维坐标;
S143、根据多相机之间的时间间隔和目标当前的三维坐标计算目标当前的移动速度。
在本实施例中,已知双目相机的内参矩阵和相对位姿,可以利用二维坐标计算目标的三维坐标和移动速度。首先,对于每个相机,通过图像中目标的二维坐标,利用相机的内参矩阵将其转换为相机坐标系下的归一化坐标。然后,利用双目相机的位姿信息,将两个相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标。不同的相机有不同时间的二维坐标信息,根据这些时间的间隔和对应的三维坐标信息计算目标的移动速度。假设两个时间步的世界坐标分别为(X1,Y1,Z1)和(X2,Y2,Z2),时间间隔为Δt,那么目标在世界坐标系下的移动速度(Vx,Vy,Vz)可以通过公式Vx=(X2-X1)/Δt、Vy=(Y2-Y1)/Δt、Vz=(Z2-Z1)/Δt计算得到。
具体地,对于左相机和右相机,根据相机的内参矩阵,将目标在图像中的二维坐标(u_l,v_l)和(u_r,v_r)分别转换为归一化坐标(x_l,y_l,1)和(x_r,y_r,1)。转换公式为:x_l=(u_l-c_x_l)/f_x_l;y_l=(v_l-c_y_l)/f_y_l;x_r=(u_r-c_x_r)/f_x_r;y_r=(v_r-c_y_r)/f_y_r;其中,c_x_l和c_y_l是左相机主点的像素坐标,f_x_l和f_y_l是左相机的焦距;c_x_r和c_y_r是右相机主点的像素坐标,f_x_r和f_y_r是右相机的焦距。
利用双目相机的位姿信息,将左右相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标。位姿信息包括左相机相对于右相机的旋转矩阵R和平移向量t。首先,根据左右相机的归一化坐标(x_l,y_l,1)和(x_r,y_r,1)以及相机的基线长度b,可以得到目标在相机坐标系下的深度Z_c:Z_c=b/(x_l-x_r);
然后,利用左相机的旋转矩阵R和平移向量t,将目标在左相机坐标系下的归一化坐标(x_l,y_l,Z_c)转换为世界坐标系下的三维坐标(X,Y,Z):[X,Y,Z,1]T=[R|t]*[x_l,y_l,Z_c,1]T;若有多个时间步的二维坐标信息,可以根据时间间隔和三维坐标信息计算目标的移动速度。假设两个时间步的世界坐标分别为(X1,Y1,Z1)和(X2,Y2,Z2),时间间隔为Δt,那么目标在世界坐标系下的移动速度(Vx,Vy,Vz)可以通过以下公式计算:Vx=(X2-X1)/Δt;Vy=(Y2-Y1)/Δt;Vz=(Z2-Z1)/Δt。
三维几何学在目标的三维位置和速度估计中扮演重要角色,三维几何学涉及到点、线、面和体等在三维空间中的关系和运算,在目标移动速度计算中,需要利用两个时间步之间的位置差来得到速度信息,这依赖于几何学中的距离和方向计算。
S150、根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果。
在本实施例中,所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的。
在一实施例中,请参阅图6,上述的监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的,包括步骤S151~S154。
S151、获取当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度,以得到样本集;
S152、对所述样本集进行数据预处理,以得到预处理结果;
S153、构建全连接神经网络;
S154、利用所述预处理结果训练所述全连接神经网络,并使用优化器采用随机梯度下降更新网络的权重和偏置,以得到监督学习模型。
在本实施例中,收集样本集,这些样本集包含目标当前和未来的位置和速度信息,以及相应的时间戳。然后对收集到的数据进行数据预处理:处理缺失数据、异常值或错误数据,确保数据的质量;根据目标当前和未来的位置和速度信息,提取有意义的特征作为输入数据。特征可以包括当前时间步的目标位置和速度,前几个时间步的位置和速度等。然后使用训练集对所选模型进行训练。训练过程是模型学习如何将输入数据映射到正确的输出(即目标的未来位置)。在训练过程中,通过优化算法(如梯度下降)不断调整模型的参数,以最小化预测值与真实标签之间的差异。最后我们要对模型进行评估。常见的评估指标包括均方误差(Mean Squared Error,MSE)、均方根误差(Root Mean Squared Error,RMSE)、平均绝对误差(Mean Absolute Error,MAE)等。
具体地,在目标的三维位置信息和时间信息的基础上,使用监督学习策略来优化目标跟踪策略可以通过构建一个监督学习模型来实现。该模型可以学习目标的运动规律和行为模式,从而在给定当前时刻的三维位置信息和时间信息后,预测目标未来的位置和运动速度,进而优化目标跟踪策略。
首先,需要收集目标的三维位置信息和相应的时间戳以及对应的目标运动速度和位置信息。然后,将数据整理成监督学习的训练样本,每个样本包含当前时刻的三维位置信息和时间信息作为输入特征,以及目标未来位置和运动速度作为目标输出。根据输入和输出的复杂度以及数据的特点,考虑使用全连接神经网络(FullyConnectedNeuralNetwork)来构建监督学习模型。请参阅图7,输入特征为目标的三维位置信息(X,Y,Z)和时间信息t,因此输入层的维度为4。输出目标为目标的未来位置(X',Y',Z')和运动速度(Vx',Vy',Vz'),因此输出层的维度为6。中间隐藏层的大小为5,层数为1层。
假设神经网络的输入为X,输出为Y,权重和偏置分别为W和b。神经网络的前向传播表示为:Y=f(W*X+b);其中,f是激活函数,为ReLU。
假设模型预测的目标未来位置为Y_pred,真实目标未来位置为Y_true,使用均方误差作为损失函数:Loss=Σ((Y_pred-Y_true)2)/N。
在训练过程中,使用优化器来更新网络的权重和偏置,使用随机梯度下降(SGD)更新网络的权重和偏置。
在实际应用中,使用训练好的神经网络模型,当获得当前时刻的目标三维位置信息后,输入到模型中,预测目标的未来位置和运动速度。还可以根据预测结果优化目标跟踪策略,确保目标能够持续被有效跟踪。根据前一帧模型得到的目标未来位置和运动速度,来对现一帧模型的跟踪结果做一比对,若当前帧的目标跟踪失败,形成新的id,那么根据模型输出结果,将原跟踪结果和现最新生成的首帧跟踪结果进行比对匹配,匹配成功则延续上一帧的跟踪结果,从而达到优化目标跟踪策略的目的。
机器学习技术在监督学习中用于预测目标的未来位置。这涉及到选择适当的监督学习模型,设计合适的特征提取方法,并通过优化算法来训练模型。深度学习方法如循环神经网络(RNN)和长短期记忆网络(LSTM)也常用于处理时间序列数据。最后,图像处理技术在相机成像原理和相机投影中发挥作用。相机成像原理涉及到光学和传感器技术,用于将三维场景映射到二维图像上。相机投影则是将三维点投影到二维图像坐标系的过程,其中使用了相机的内参矩阵。
综合上述技术,才能有效地实现在泳池内部利用相机求得目标的三维位置,进而根据三维位置和时间信息求出目标的移动速度,并应用统计学习策略来进行预测和优化。这涉及到多学科交叉,需要综合运用计算机视觉、几何学、机器学习和图像处理等领域的知识和方法。
S160、输出所述估计结果。
在本实施例中,将估计结果输出至终端,以在终端显示。
上述的游泳速度估计方法,通过标定多相机的内参和位姿,采用目标检测模型检测相机拍摄得到的图像中的目标二维坐标,并结合内参和位姿确定当前的三维坐标和移动速度,再利用当前的三维坐标和移动速度采用监督学习模型估计未来的三维坐标和移动速度,实现确保目标能够持续被有效跟踪,提高游泳速度的估计准确率。
图8是本发明实施例提供的一种游泳速度估计装置300的示意性框图。如图8所示,对应于以上游泳速度估计方法,本发明还提供一种游泳速度估计装置300。该游泳速度估计装置300包括用于执行上述游泳速度估计方法的单元,该装置可以被配置于服务器中。具体地,请参阅图8,该游泳速度估计装置300包括标定单元301、图像获取单元302、二维坐标确定单元303、三维信息确定单元304、估计单元305以及输出单元306。
标定单元301,用于标定多相机的内参矩阵和相对位姿;图像获取单元302,用于获取多相机拍摄游泳者游泳时所得的图像;二维坐标确定单元303,用于采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;三维信息确定单元304,用于使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;估计单元305,用于根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;输出单元306,用于输出所述估计结果。
在一实施例中,如图9所示,所述标定单元301包括内参标定子单元3011以及位姿求解子单元3012。
内参标定子单元3011,用于使用张正友标定法标定多相机的内参矩阵;其中,内参矩阵包括焦距、主点位置和畸变参数;位姿求解子单元3012,用于采用双目立体视觉方法求解多相机之间的相对位姿。
在一实施例中,如图10所示,所述二维坐标确定单元303包括检测子单元3031以及二维位置提取子单元3032。
检测子单元3031,用于采用YOLO-5模型对所述图像进行目标检测,以得到目标检测框;二维位置提取子单元3032,用于提取所述目标检测框的位置信息,以得到目标二维坐标。
在一实施例中,如图11所示,所述三维信息确定单元304包括第一转换子单元3041、第二转换子单元3042以及计算子单元3043。
第一转换子单元3041,用于利用每个相机的内参矩阵将对应的目标二维坐标转换为相机坐标系下的归一化坐标;第二转换子单元3042,用于利用多相机之间的相对位姿将多个相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标,以得到目标当前的三维坐标;计算子单元3043,用于根据多相机之间的时间间隔和目标当前的三维坐标计算目标当前的移动速度。
在一实施例中,上述的装置还包括:
模型生成单元,用于通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络,以得到监督学习模型。
在一实施例中,所述模型生成单元包括:样本集获取子单元、预处理子单元、网络构建子单元以及训练子单元。
样本集获取子单元,用于获取当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度,以得到样本集;预处理子单元,用于对所述样本集进行数据预处理,以得到预处理结果;网络构建子单元,用于构建全连接神经网络;训练子单元,用于利用所述预处理结果训练所述全连接神经网络,并使用优化器采用随机梯度下降更新网络的权重和偏置,以得到监督学习模型。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述游泳速度估计装置300和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述游泳速度估计装置300可以实现为一种计算机程序的形式,该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12,图12是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器,其中,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图12,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种游泳速度估计方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种游泳速度估计方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
标定多相机的内参矩阵和相对位姿;获取多相机拍摄游泳者游泳时所得的图像;采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;输出所述估计结果。
其中,所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的。
在一实施例中,处理器502在实现所述标定多相机的内参矩阵和相对位姿步骤时,具体实现如下步骤:
使用张正友标定法标定多相机的内参矩阵;其中,内参矩阵包括焦距、主点位置和畸变参数;采用双目立体视觉方法求解多相机之间的相对位姿。
在一实施例中,处理器502在实现所述采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标步骤时,具体实现如下步骤:
采用YOLO-5模型对所述图像进行目标检测,以得到目标检测框;提取所述目标检测框的位置信息,以得到目标二维坐标。
在一实施例中,处理器502在实现所述使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度步骤时,具体实现如下步骤:
利用每个相机的内参矩阵将对应的目标二维坐标转换为相机坐标系下的归一化坐标;利用多相机之间的相对位姿将多个相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标,以得到目标当前的三维坐标;根据多相机之间的时间间隔和目标当前的三维坐标计算目标当前的移动速度。
在一实施例中,处理器502在实现所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的步骤时,具体实现如下步骤:
获取当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度,以得到样本集;对所述样本集进行数据预处理,以得到预处理结果;构建全连接神经网络;利用所述预处理结果训练所述全连接神经网络,并使用优化器采用随机梯度下降更新网络的权重和偏置,以得到监督学习模型。
其中,所述全连接神经网络包括输入层、输出层以及中间隐藏层;所述输入层的维度为4;所述输出层的维度为6;所述中间隐藏层的维度为5。
应当理解,在本申请实施例中,处理器502可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:
标定多相机的内参矩阵和相对位姿;获取多相机拍摄游泳者游泳时所得的图像;采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;输出所述估计结果。
其中,所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的。
在一实施例中,所述处理器在执行所述计算机程序而实现所述标定多相机的内参矩阵和相对位姿步骤时,具体实现如下步骤:
使用张正友标定法标定多相机的内参矩阵;其中,内参矩阵包括焦距、主点位置和畸变参数;采用双目立体视觉方法求解多相机之间的相对位姿。
在一实施例中,所述处理器在执行所述计算机程序而实现所述采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标步骤时,具体实现如下步骤:
采用YOLO-5模型对所述图像进行目标检测,以得到目标检测框;提取所述目标检测框的位置信息,以得到目标二维坐标。
在一实施例中,所述处理器在执行所述计算机程序而实现所述使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度步骤时,具体实现如下步骤:
利用每个相机的内参矩阵将对应的目标二维坐标转换为相机坐标系下的归一化坐标;利用多相机之间的相对位姿将多个相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标,以得到目标当前的三维坐标;根据多相机之间的时间间隔和目标当前的三维坐标计算目标当前的移动速度。
在一实施例中,所述处理器在执行所述计算机程序而实现所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的步骤时,具体实现如下步骤:
获取当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度,以得到样本集;对所述样本集进行数据预处理,以得到预处理结果;构建全连接神经网络;利用所述预处理结果训练所述全连接神经网络,并使用优化器采用随机梯度下降更新网络的权重和偏置,以得到监督学习模型。
其中,所述全连接神经网络包括输入层、输出层以及中间隐藏层;所述输入层的维度为4;所述输出层的维度为6;所述中间隐藏层的维度为5。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.游泳速度估计方法,其特征在于,包括:
标定多相机的内参矩阵和相对位姿;
获取多相机拍摄游泳者游泳时所得的图像;
采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;
使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;
根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;
输出所述估计结果;
所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的;
所述监督学习模型是通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络所得的,包括:
获取当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度,以得到样本集;
对所述样本集进行数据预处理,以得到预处理结果;
构建全连接神经网络;
利用所述预处理结果训练所述全连接神经网络,并使用优化器采用随机梯度下降更新网络的权重和偏置,以得到监督学习模型;
所述全连接神经网络包括输入层、输出层以及中间隐藏层;所述输入层的维度为4;所述输出层的维度为6;所述中间隐藏层的维度为5;
使用训练好的神经网络模型,当获得当前时刻的目标三维位置信息后,输入到模型中,预测目标的未来位置和运动速度;根据预测结果优化目标跟踪策略,确保目标能够持续被有效跟踪;根据前一帧模型得到的目标未来位置和运动速度,对现一帧模型的跟踪结果做一比对,若当前帧的目标跟踪失败,形成新的id,根据模型输出结果,将原跟踪结果和现最新生成的首帧跟踪结果进行比对匹配,匹配成功则延续上一帧的跟踪结果。
2.根据权利要求1所述的游泳速度估计方法,其特征在于,所述标定多相机的内参矩阵和相对位姿,包括:
使用张正友标定法标定多相机的内参矩阵;其中,内参矩阵包括焦距、主点位置和畸变参数;
采用双目立体视觉方法求解多相机之间的相对位姿。
3.根据权利要求1所述的游泳速度估计方法,其特征在于,所述采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标,包括:
采用YOLO-5模型对所述图像进行目标检测,以得到目标检测框;
提取所述目标检测框的位置信息,以得到目标二维坐标。
4.根据权利要求1所述的游泳速度估计方法,其特征在于,所述使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度,包括:
利用每个相机的内参矩阵将对应的目标二维坐标转换为相机坐标系下的归一化坐标;
利用多相机之间的相对位姿将多个相机坐标系下的归一化坐标转换为世界坐标系下的三维坐标,以得到目标当前的三维坐标;
根据多相机之间的时间间隔和目标当前的三维坐标计算目标当前的移动速度。
5.游泳速度估计装置,其特征在于,包括:
标定单元,用于标定多相机的内参矩阵和相对位姿;
图像获取单元,用于获取多相机拍摄游泳者游泳时所得的图像;
二维坐标确定单元,用于采用目标检测模型对所述图像检测目标所在的位置,以得到目标二维坐标;
三维信息确定单元,用于使用三维多视图几何理论结合所述目标二维坐标计算目标当前的三维坐标和移动速度;
估计单元,用于根据目标当前的三维坐标和移动速度输入至监督学习模型进行速度估计,以得到估计结果;
输出单元,用于输出所述估计结果;
还包括:模型生成单元,用于通过当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度作为样本集训练全连接神经网络,以得到监督学习模型;
所述模型生成单元包括:样本集获取子单元、预处理子单元、网络构建子单元以及训练子单元;
样本集获取子单元,用于获取当前三维位置信息、当前移动速度和相应的时间戳以及对应的未来位置和未来运动速度,以得到样本集;预处理子单元,用于对所述样本集进行数据预处理,以得到预处理结果;网络构建子单元,用于构建全连接神经网络;训练子单元,用于利用所述预处理结果训练所述全连接神经网络,并使用优化器采用随机梯度下降更新网络的权重和偏置,以得到监督学习模型;
所述全连接神经网络包括输入层、输出层以及中间隐藏层;所述输入层的维度为4;所述输出层的维度为6;所述中间隐藏层的维度为5;
使用训练好的神经网络模型,当获得当前时刻的目标三维位置信息后,输入到模型中,预测目标的未来位置和运动速度;根据预测结果优化目标跟踪策略,确保目标能够持续被有效跟踪;根据前一帧模型得到的目标未来位置和运动速度,对现一帧模型的跟踪结果做一比对,若当前帧的目标跟踪失败,形成新的id,根据模型输出结果,将原跟踪结果和现最新生成的首帧跟踪结果进行比对匹配,匹配成功则延续上一帧的跟踪结果。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。
7.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
CN202311469597.XA 2023-11-07 2023-11-07 游泳速度估计方法、装置、计算机设备及存储介质 Active CN117197193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311469597.XA CN117197193B (zh) 2023-11-07 2023-11-07 游泳速度估计方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311469597.XA CN117197193B (zh) 2023-11-07 2023-11-07 游泳速度估计方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN117197193A CN117197193A (zh) 2023-12-08
CN117197193B true CN117197193B (zh) 2024-05-28

Family

ID=89005680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311469597.XA Active CN117197193B (zh) 2023-11-07 2023-11-07 游泳速度估计方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117197193B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643499A (zh) * 2016-08-31 2019-04-16 苹果公司 游泳分析的系统和方法
CN113450579A (zh) * 2021-08-30 2021-09-28 腾讯科技(深圳)有限公司 速度信息的获取方法、装置、设备及介质
CN116152928A (zh) * 2023-02-27 2023-05-23 上海旺链信息科技有限公司 基于轻量级人体姿态估计模型的防溺水预警方法和系统
CN116309685A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 基于视频拼接的多摄像机协同游泳运动测速方法及系统
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质
CN116385496A (zh) * 2023-05-19 2023-07-04 北京航天时代光电科技有限公司 一种基于图像处理的游泳运动实时测速方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220245831A1 (en) * 2021-01-29 2022-08-04 Naver Corporation Speed estimation systems and methods without camera calibration
CN114022910B (zh) * 2022-01-10 2022-04-12 杭州巨岩欣成科技有限公司 泳池防溺水监管方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643499A (zh) * 2016-08-31 2019-04-16 苹果公司 游泳分析的系统和方法
CN113450579A (zh) * 2021-08-30 2021-09-28 腾讯科技(深圳)有限公司 速度信息的获取方法、装置、设备及介质
CN116152928A (zh) * 2023-02-27 2023-05-23 上海旺链信息科技有限公司 基于轻量级人体姿态估计模型的防溺水预警方法和系统
CN116309685A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 基于视频拼接的多摄像机协同游泳运动测速方法及系统
CN116309686A (zh) * 2023-05-19 2023-06-23 北京航天时代光电科技有限公司 游泳运动员视频定位测速方法、装置、设备及存储介质
CN116385496A (zh) * 2023-05-19 2023-07-04 北京航天时代光电科技有限公司 一种基于图像处理的游泳运动实时测速方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Morais, Jorge E et al..Interaction of Kinematic, Kinetic, and Energetic Predictors of Young Swimmers' Speed.INTERNATIONAL JOURNAL OF SPORTS PHYSIOLOGY AND PERFORMANCE .2023,第833-839页. *
基于双目序列图像的测距定位与自车速度估计;同志学;赵涛;王消为;;应用光学;20170915(05);第764-769页 *

Also Published As

Publication number Publication date
CN117197193A (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
CN111750864B (zh) 一种基于视觉地图的重定位方法和装置
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
CN105335955B (zh) 对象检测方法和对象检测装置
CN112184757B (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
CN111667535B (zh) 一种针对遮挡场景下的六自由度位姿估计方法
CN110390685B (zh) 一种基于事件相机的特征点跟踪方法
CN109211277A (zh) 视觉惯性里程计的状态确定方法、装置和电子设备
CN111104925B (zh) 图像处理方法、装置、存储介质和电子设备
CN110243390B (zh) 位姿的确定方法、装置及里程计
CN113052907B (zh) 一种动态环境移动机器人的定位方法
KR20220004009A (ko) 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN112036381A (zh) 视觉跟踪方法、视频监控方法及终端设备
CN110827320A (zh) 基于时序预测的目标跟踪方法和装置
CN112184767A (zh) 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN113256683B (zh) 目标跟踪方法及相关设备
CN117292407A (zh) 一种3d人体姿态估计方法及系统
CN115668282A (zh) 图像处理系统和方法
CN117197193B (zh) 游泳速度估计方法、装置、计算机设备及存储介质
CN112101145A (zh) 基于svm分类器的移动机器人位姿估计方法
CN113847907B (zh) 定位方法及装置、设备、存储介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN115546876B (zh) 一种瞳孔追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant