CN116385496A - 一种基于图像处理的游泳运动实时测速方法及系统 - Google Patents

一种基于图像处理的游泳运动实时测速方法及系统 Download PDF

Info

Publication number
CN116385496A
CN116385496A CN202310565833.1A CN202310565833A CN116385496A CN 116385496 A CN116385496 A CN 116385496A CN 202310565833 A CN202310565833 A CN 202310565833A CN 116385496 A CN116385496 A CN 116385496A
Authority
CN
China
Prior art keywords
frame
target
real
tracking
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310565833.1A
Other languages
English (en)
Inventor
张超超
孟祥涛
向政
黄磊
赵合
葛宏升
付尧顺
褚天琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Original Assignee
Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Times Optical Electronic Technology Co Ltd filed Critical Beijing Aerospace Times Optical Electronic Technology Co Ltd
Priority to CN202310565833.1A priority Critical patent/CN116385496A/zh
Publication of CN116385496A publication Critical patent/CN116385496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/12—Arrangements in swimming pools for teaching swimming or for training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2208/00—Characteristics or parameters related to the user or player
    • A63B2208/03—Characteristics or parameters related to the user or player the user being in water
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像处理的游泳运动实时测速方法及系统，属于运动测量领域。通过架设在游泳馆顶部的摄像机实时采集画面后，首先使用YOLOv5对游泳运动员的泳帽进行目标检测，然后通过ISORT对YOLOv5中检测到的目标进行跟踪，得到运动员的图像坐标，最后通过外参标定得到世界坐标与图像坐标转换矩阵，进而得出运动员在泳道内的世界坐标和其速度。本发明根据游泳运动特点对SORT的损失函数进行改进，提出了ISORT跟踪算法，大幅提高匹配准确度。同时本发明能够解决惯导方法精度容易发散无法实时高精度反馈的问题。

Description

一种基于图像处理的游泳运动实时测速方法及系统
技术领域
本发明属于运动测量领域，涉及一种基于图像处理的游泳运动实时测速方法及系统。
背景技术
近年来，随着“科技助力体育” 口号的提出，通过科技手段实现运动指标的精准量化对提升运动员的水平至关重要。在游泳竞技中，速度量化是运动员水平和能力的直观体现。而由于在水下环境中进行测试的特定限制，速度测量一直是困扰业界人士的难题。当前传统的游泳运动测速方法精度容易发散，且无法实时高精度反馈结果。
采用图像信息跟踪的方法在游泳测速领域有较好的实用性，能根据视频帧率实时高精度反馈测速信息。但由于水对光线的吸收、散射、漫射等作用，水下拍摄的图像往往存在清晰度差，边缘锐度低等问题，且被测运动员在图片中呈不同尺度大小，对跟踪算法的特征提取能力和尺度适应能力有一定要求。
发明内容
本发明的技术解决问题是：提供一种基于图像处理的游泳运动实时测速方法及系统，解决现有游泳运动速度量化方法无法试试高精度反馈结果的问题，同时针对游泳运动特点，通过ISORT跟踪算法，大幅提高匹配准确度。
本发明的技术解决方案为：
一种基于图像处理的游泳运动实时测速方法，包括：
通过架设在游泳馆内的摄像机采集运动员日常训练视频，逐帧打标，完成训练数据集构建；
构建基于YOLOv5的目标检测模型；
使用训练数据集对基于YOLOv5的目标检测模型进行端到端训练；
获取经过内参校正的游泳馆实时图像；
通过基于YOLOv5的目标检测模型检测游泳馆实时图像中的所有运动员；
通过ISORT跟踪算法对检测的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
优选的，所述的训练数据集构建过程为：
步骤11：将含有运动员的视频逐帧转化为图片，并将运动员泳帽定义为打标样本；
步骤12：对于首帧图片，由人工选择目标框；
步骤13：将步骤12中选择的目标框作为模板，输入至孪生结构的单目标跟踪器SiamBAN中，实现对首帧之后图片的该单目标持续性自动打标，获得训练目标检测网络的数据集。
优选的，步骤13的实现方式为：
所述孪生结构的单目标跟踪器SiamBAN包括两个分支：模板分支和搜索分支；将模板补丁输入模板分支的3层金字塔卷积模块，获得模板补丁的三层特征矩阵；将搜索补丁输入搜索分支的3层金字塔卷积模块，获得搜索补丁的三层特征矩阵；
将模板补丁的三层特征矩阵和搜索补丁的三层特征矩阵进行逐层互相关操作，获得两块补丁的三份互相关特征图；
将三份互相关特征图合并为一张，合并时同一位置的三个值取平均数，最后得到一份互相关特征图；
互相关特征图中与模板最相似区域即是跟踪目标，从而实现对首帧之后图片的单目标持续性自动打标，获得训练目标检测网络的数据集。
优选的，所述的基于YOLOv5的目标检测模型包括输入端、骨干网络、脖子网络与检测头，分别负责图像预处理、图像特征提取、特征多样化处理和预测目标的种类和包络框；
输入端输入运动员游泳场景图像，通过预处理将输入图像缩放到需要的尺寸，并使用自适应锚框计算进行图片自适应缩放；
骨干网络对图像进行多尺度特征提取；
脖子网络对多尺度特征进行融合，提升特征的多样性和模型的鲁棒性；
检测头输出目标检测结果的输出，用于预测运动员泳帽和对应包络框。
优选的，通过ISORT跟踪算法对检测的运动员进行实时跟踪，获得相邻帧之间的位置差和时间差，具体实现方式如下：
对第一帧图像经过YOLOv5检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过YOLOv5目标检测模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与当前帧的目标检测框相似度最大的唯一匹配，并更新该轨迹目标位置；对于未匹配到的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
优选的，匹配损失矩阵计算方法为：
ISORT跟踪算法使用目标检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure SMS_1
其中，
Figure SMS_2
和/>
Figure SMS_3
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure SMS_4
和/>
Figure SMS_5
表示第i个轨迹预测框的中心点位置横纵坐标，/>
Figure SMS_6
为第j个目标检测框与第i个轨迹预测框之间的欧氏距离；
Figure SMS_7
其中，匹配损失矩阵的第i行第j列元素为
Figure SMS_8
表示第i个轨迹预测框与第j个目标检测框匹配的损失值； gate表示门控矩阵的阈值。
一种基于图像处理的游泳运动实时测速系统，包括摄像机采集模块、内参校正模块、训练数据集构建模块、目标识别模块、目标训练模块、目标跟踪模块、外参标定模块；
摄像机采集模块：用于采集运动员日常训练视频和游泳馆实时图像；
内参校正模块：对摄像机进行内参校正，以校正图片径向畸变和切向畸变；
训练数据集构建模块：用于逐帧识别运动员日常训练视频中的游泳运动员，进行逐帧打标；
目标训练模块：使用训练数据集对基于YOLOv5的目标检测模型进行端到端训练；
目标识别模块：通过基于YOLOv5的目标检测模型实时检测识别游泳馆实时图像中的所有运动员；
目标跟踪模块：通过ISORT跟踪算法对检测的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
外参标定模块：将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
优选的，训练数据集构建模块构建训练数据集过程为：
将含有运动员的视频逐帧转化为图片，并将运动员泳帽定义为打标样本；
对于首帧图片，由人工选择目标框；
将选择的目标框作为模板，输入至孪生结构的单目标跟踪器SiamBAN中，实现对首帧之后图片的该单目标持续性自动打标，获得训练目标检测网络的数据集。
优选的，目标跟踪模块实现方式如下：
对第一帧图像经过YOLOv5检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过YOLOv5目标检测模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标检测框相似度最大的唯一匹配，并更新该轨迹目标位置；对于未匹配到的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
优选的，匹配损失矩阵计算方法为：
ISORT跟踪算法使用目标检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure SMS_9
其中，
Figure SMS_10
和/>
Figure SMS_11
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure SMS_12
和/>
Figure SMS_13
表示第i个轨迹预测框的中心点位置横纵坐标，/>
Figure SMS_14
为第j个目标检测框与第i个轨迹预测框之间的欧氏距离；
Figure SMS_15
其中，匹配损失矩阵的第i行第j列元素为
Figure SMS_16
表示第i个轨迹预测框与第j个目标检测框匹配的损失值；gate表示门控矩阵的阈值。
与现有技术相比，本发明具有如下有益效果：
（1）本发明采用目标跟踪的方法对游泳馆内所有运动员测速，对运动员检测精度高和跟踪速度快，有效解决了传统游泳运动测速方法精度容易发散，且无法实时高精度反馈结果的问题。
（2）本发明采用ISORT目标跟踪算法，提高了数据关联的准确性，有效的降低了不同泳道运动员在跟踪过程中的干扰，提高了跟踪准确率。
附图说明
图1为基于YOLOv5的目标检测模型示意图。
图2为ISORT多目标跟踪算法流程图；
图3为本发明流程图。
具体实施方式
下面结合附图和技术方案，进一步说明本发明的具体实施方式。
针对使用图像信息实现水下目标跟踪的难题，深度学习图像处理方法可以使用深度卷积计算提取图像的抽象特征，充分利用像素信息，以此来提高检测器的性能，其中YOLOv5是一种多目标、多尺度深度学习检测器，具有计算量小、识别速度快、低延时、高精度等优点，相较于单目标跟踪算法，更适合对游泳馆内多名运动员的检测和跟踪。作为常与YOLOv5检测器结合使用的SORT跟踪器，可以有效地关联目标，并提升跟踪的实时性。SORT的核心主要是卡尔曼滤波和匈牙利算法的结合版，可以达到较好的跟踪效果，本发明进一步根据游泳运动瞬时移动距离有限和不同运动员处于不同泳道的特点，对SORT的损失函数进行改进，提出了ISORT算法。该算法有效减少不同泳道间运动员ID互换的情况，大幅提高提高算法有效性和实用性。
本发明一种基于图像处理的游泳运动实时测速方法，如图3所示，步骤如下：
通过架设在游泳馆内的摄像机采集运动员日常训练视频，逐帧打标，完成训练数据集构建；
构建基于YOLOv5的目标检测模型，具体YOLOv5模型可见附图1；
使用训练数据集对基于YOLOv5的目标检测模型进行端到端训练；
获取经过内参校正的游泳馆实时图像；
通过基于YOLOv5的目标检测模型实时检测游泳馆实时图像中的所有运动员；
通过ISORT跟踪算法对检测的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
通过摄像机内参校正和外参标定，将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
1.数据集构建过程：
步骤11：将含有运动员的视频逐帧转化为图片，并将运动员泳帽定义为打标样本；
步骤12：对于首帧图片，由人工选择目标框；
步骤13：将步骤12中选择的目标框作为模板，输入至孪生结构的单目标跟踪器SiamBAN中，实现对首帧之后图片的该单目标持续性自动打标，获得训练目标检测网络的数据集。
所述的数据集构建过程中所用的SiamBAN跟踪器，该跟踪器分为两个分支：模板分支和搜索分支。SiamBAN的整体网络结构为：
（1）将模板补丁输入模板分支的3层金字塔卷积模块，获得模板补丁的三层特征矩阵；将搜索补丁输入搜索分支的3层金字塔卷积模块，获得搜索补丁的三层特征矩阵；
（2）将模板补丁的三层特征矩阵和搜索补丁的三层特征矩阵进行逐层互相关操作，获得两块补丁的三份互相关特征图；
（3）将三份互相关特征图合并为一张，合并时同一位置的三个值取平均数，最后得到一份互相关特征图；
（4）互相关特征图中与模板最相似区域即是跟踪目标，从而实现对首帧之后图片的单目标持续性自动打标，获得训练目标检测网络的数据集。；
2. YOLOv5目标检测模型
数据集构建结束后，用打标获得的数据训练目标检测模型，所述的目标检测模型为：
YOLOv5为当前最优秀的单阶段目标识别算法之一，依靠其快速的检测速度兼具高精度和适应各类复杂场景的特点被广泛应用于目标检测领域。对游泳运动员的识别采用端到端的方式，直接从输入图片中检测到目标泳帽和与其对应的包络框。图1为YOLOv5检测器结构示意图。YOLOv5主要由四个部分组成，输入端、骨干网络、脖子网络与检测头，分别负责图像预处理、图像特征提取、特征多样化处理和预测目标的种类和包络框。
输入端表示输入的运动员游泳场景图片，该网络的输入图像大小为608
Figure SMS_17
608，该阶段采用预处理将输入图像缩放到网络需要的尺寸，并使用自适应锚框计算进行图片自适应缩放。骨干网络提取图片中的多尺度深层次特征。脖子网络对多尺度特征进行融合，利用它可以进一步提升特征的多样性和模型的鲁棒性。检测头用来完成目标检测结果的输出，用于预测运动员泳帽和对应包络框。
3. ISORT目标跟踪算法
目标检测完成后，将YOLOv5检测目标框输入至ISORT匹配算法中，实现目标持续性跟踪，图2为ISORT多目标跟踪算法流程图，整体算法流程为：
(1)对第一帧图像经过YOLOv5检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
(2)第一帧后的任意一帧经过YOLOv5目标检测模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标框相似度最大的唯一匹配，并更新该轨迹目标位置；
对于未匹配到的目标框，则初始化并创建新的跟踪轨迹，标注ID；
(3)根据匹配结果，对所有目标的跟踪轨迹更新并更新目标框状态，获得相邻帧之间的位置差和时间差。
上述流程中涉及的卡尔曼滤波对目标预测过程为：
使用具有良好抗噪声干扰能力的卡尔曼滤波预测运动员泳帽位置。设待跟踪泳帽上一帧状态为
Figure SMS_18
，/>
Figure SMS_19
表示上一帧图像，/>
Figure SMS_20
和/>
Figure SMS_21
分别表示上一帧图像的位置状态和速度状态。考虑到运动员速度不平均和水面等干扰，给予一定的噪声协方差矩阵Q，状态预测方程如式（1）和（2）所示。
Figure SMS_22
（1）
Figure SMS_23
（2）
为保证跟踪的实时性和准确性，模型中的一些参数需要更新。
Figure SMS_24
（3）
Figure SMS_25
（4）
Figure SMS_26
（5）
其中，
Figure SMS_29
是状态转移矩阵，/>
Figure SMS_31
是状态控制向量，/>
Figure SMS_33
是控制变量矩阵；/>
Figure SMS_28
和/>
Figure SMS_32
分别为k-1时刻与k时刻的后验状态估计，为更新后的结果；/>
Figure SMS_34
表示k时刻的先验状态估计，即根据k-1时刻的最优估计预测k时刻的状态；/>
Figure SMS_35
和/>
Figure SMS_27
分别为k-1时刻与k时刻的后验估计协方差；/>
Figure SMS_36
为k时刻的先验估计协方差；/>
Figure SMS_37
为测量状态；/>
Figure SMS_38
为卡尔曼滤波器增益。/>
Figure SMS_30
为状态变量到预测测量值的转换矩阵。R和Q分别是是测量噪声和系统噪声的协方差矩阵。为
所述的ISORT算法流程中的损失矩阵计算方法为：
针对运动员游泳运动运动特征：不同运动员分布在不同泳道（以泳道长作为横坐标），运动员运动过程中距离不会发生突变以及不会换泳道。
因此，ISORT使用检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure SMS_39
（6）
其中，
Figure SMS_40
和/>
Figure SMS_41
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure SMS_42
和/>
Figure SMS_43
表示第i个轨迹预测框的中心点位置横纵坐标，/>
Figure SMS_44
为第j个目标检测框与第i个轨迹预测框之间的欧氏距离；
然后，为了进一步保证匹配的质量，使用门控矩阵对损失矩阵进行修正，结合实际应用场景下泳道呈纵向分布，相同泳道的图像像素点纵坐标值相近的特征，提出了将运动员泳帽中心点的像素纵坐标值坐标作为门控矩阵，用于限制处于不同泳道的轨迹和目标间的匹配：
Figure SMS_45
（7）
其中，
Figure SMS_46
表示第i个轨迹与第j个检测目标匹配的损失值；gate表示门控矩阵的阈值。
4.外参标定
最后，根据目标跟踪算法获得的轨迹位置，将实时跟踪的运动员图像坐标位置通过外参标定法转换为世界坐标，获取摆放在泳池两岸的6个标定板中心点的图像坐标和其对应的世界坐标，直接计算标定转换矩阵，计算公式如式（8）所示：
Figure SMS_47
（8）
其中，
Figure SMS_48
表示摄像机拍摄的图像中的任意一点，/>
Figure SMS_49
为该点对应的实际泳道世界坐标点。a、b、c和/>
Figure SMS_50
、/>
Figure SMS_51
、/>
Figure SMS_52
为待解参数。将已知的6组标定板中心点图像坐标和世界坐标代入，解上式可得转换矩阵T，具体可见公式（9）。
Figure SMS_53
（9）
可根据转换矩阵T和图片泳帽像素点，计算得到运动员的世界坐标。
本发明同时提供一种基于图像处理的游泳运动实时测速系统，包括图像采集模块、训练数据集构建模块、目标识别模块、目标训练模块、目标跟踪模块、外参标定模块。
摄像机采集模块：用于采集运动员日常训练视频和游泳馆实时图像。
内参校正模块，对摄像机的内参校正采用张正友标定法，可校正图片径向畸变和切向畸变。
训练数据集构建模块：用于逐帧识别运动员日常训练视频中的游泳运动员，进行逐帧打标。
目标训练模块：使用训练数据集对基于YOLOv5的目标检测模型进行端到端训练。
目标识别模块：通过基于YOLOv5的目标检测模型实时检测识别游泳馆实时图像中的所有运动员。
目标跟踪模块，通过ISORT跟踪算法对检测的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差。外参标定模块，将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
训练数据集构建模块构建训练数据集过程为：
将含有运动员的视频逐帧转化为图片，并将运动员泳帽定义为打标样本；
对于首帧图片，由人工选择目标框；
将选择的目标框作为模板，输入至孪生结构的单目标跟踪器SiamBAN中，实现对首帧之后图片的该单目标持续性自动打标，获得训练目标检测网络的数据集。
目标跟踪模块实现方式如下：
对第一帧图像经过YOLOv5检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过YOLOv5目标检测模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标检测框相似度最大的唯一匹配，并更新该轨迹目标位置；对于未匹配到的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
ISORT匹配损失矩阵计算方法为：
ISORT跟踪算法使用目标检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure SMS_54
其中，
Figure SMS_55
和/>
Figure SMS_56
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure SMS_57
和/>
Figure SMS_58
表示第i个轨迹预测框的中心点位置横纵坐标，/>
Figure SMS_59
为第j个目标检测框与第i个轨迹预测框之间的欧氏距离；
Figure SMS_60
其中，
Figure SMS_61
表示第i个轨迹与第j个检测目标匹配的损失值; gate表示门控矩阵的阈值。
本发明公开了一种基于图像处理的游泳运动实时测速方法及系统，涉及摄像机采集、内参校正、目标识别、目标跟踪以及外参标定；针对多名游泳运动员的实时高精度定位和测速需求，基于YOLOv5的目标检测模型具有全视野低延时高精度多目标识别的优点，在游泳运动测速领域有较强的应用性； SORT依靠其强大的精准匹配能力，与基于YOLOv5的目标检测模型结合可实现多目标实时精准跟踪，在本发明中根据游泳运动特点对SORT的损失函数进行改进，提出了ISORT跟踪算法。本发明流程为通过架设在游泳馆顶部的摄像机实时采集画面后，首先使用基于YOLOv5的目标检测模型对游泳运动员的泳帽进行目标检测，然后通过ISORT跟踪算法对YOLOv5中检测到的目标进行跟踪，得到运动员的图像坐标，最后通过外参标定得到世界坐标与图像坐标转换矩阵，进而得出运动员在泳道内的世界坐标和其速度。本发明能够解决惯导方法精度容易发散长时间无法保证的问题。
本发明未详细说明部分属于本领域技术人员公知常识。

Claims (10)

1.一种基于图像处理的游泳运动实时测速方法，其特征在于，包括：
通过架设在游泳馆内的摄像机采集运动员日常训练视频，逐帧打标，完成训练数据集构建；
构建基于YOLOv5的目标检测模型；
使用训练数据集对基于YOLOv5的目标检测模型进行端到端训练；
获取经过内参校正的游泳馆实时图像；
通过基于YOLOv5的目标检测模型检测游泳馆实时图像中的所有运动员；
通过ISORT跟踪算法对检测的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
2.根据权利要求1所述的一种基于图像处理的游泳运动实时测速方法，其特征在于，所述的训练数据集构建过程为：
步骤11：将含有运动员的视频逐帧转化为图片，并将运动员泳帽定义为打标样本；
步骤12：对于首帧图片，由人工选择目标框；
步骤13：将步骤12中选择的目标框作为模板，输入至孪生结构的单目标跟踪器SiamBAN中，实现对首帧之后图片的单目标持续性自动打标，获得训练目标检测网络的数据集。
3.根据权利要求2所述的一种基于图像处理的游泳运动实时测速方法，其特征在于，步骤13的实现方式为：
所述孪生结构的单目标跟踪器SiamBAN包括两个分支：模板分支和搜索分支；将模板补丁输入模板分支的3层金字塔卷积模块，获得模板补丁的三层特征矩阵；将搜索补丁输入搜索分支的3层金字塔卷积模块，获得搜索补丁的三层特征矩阵；
将模板补丁的三层特征矩阵和搜索补丁的三层特征矩阵进行逐层互相关操作，获得两块补丁的三份互相关特征图；
将三份互相关特征图合并为一张，合并时同一位置的三个值取平均数，最后得到一份互相关特征图；
互相关特征图中与模板最相似区域即是跟踪目标，从而实现对首帧之后图片的单目标持续性自动打标，获得训练目标检测网络的数据集。
4.根据权利要求1所述的一种基于图像处理的游泳运动实时测速方法，其特征在于，所述的基于YOLOv5的目标检测模型包括输入端、骨干网络、脖子网络与检测头，分别负责图像预处理、图像特征提取、特征多样化处理和预测目标的种类和包络框；
输入端输入运动员游泳场景图像，通过预处理将输入图像缩放到需要的尺寸，并使用自适应锚框计算进行图片自适应缩放；
骨干网络对图像进行多尺度特征提取；
脖子网络对多尺度特征进行融合，提升特征的多样性和模型的鲁棒性；
检测头输出目标检测结果的输出，用于预测运动员泳帽和对应包络框。
5.根据权利要求1所述的一种基于图像处理的游泳运动实时测速方法，其特征在于，通过ISORT跟踪算法对检测的运动员进行实时跟踪，获得相邻帧之间的位置差和时间差，具体实现方式如下：
对第一帧图像经过YOLOv5检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过YOLOv5目标检测模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与当前帧的目标检测框相似度最大的唯一匹配，并更新该轨迹的目标位置；对于未匹配到轨迹的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
6.根据权利要求5所述的一种基于图像处理的游泳运动实时测速方法，其特征在于，匹配损失矩阵计算方法为：
ISORT跟踪算法使用目标检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure QLYQS_1
其中，
Figure QLYQS_2
和/>
Figure QLYQS_3
表示第j个目标检测框的中心点位置横纵坐标，/>
Figure QLYQS_4
和/>
Figure QLYQS_5
表示第i个轨迹预测框的中心点位置横纵坐标，为第j个目标检测框与第i个轨迹预测框之间的欧氏距离；
Figure QLYQS_6
其中，匹配损失矩阵的第i行第j列元素为表示第i个轨迹预测框与第j个目标检测框匹配的损失值； gate表示门控矩阵的阈值。
7.一种基于图像处理的游泳运动实时测速系统，其特征在于：包括摄像机采集模块、内参校正模块、训练数据集构建模块、目标识别模块、目标训练模块、目标跟踪模块、外参标定模块；
摄像机采集模块：用于采集运动员日常训练视频和游泳馆实时图像；
内参校正模块：对摄像机进行内参校正，以校正图片径向畸变和切向畸变；
训练数据集构建模块：用于逐帧识别运动员日常训练视频中的游泳运动员，进行逐帧打标；
目标训练模块：使用训练数据集对基于YOLOv5的目标检测模型进行端到端训练；
目标识别模块：通过基于YOLOv5的目标检测模型实时检测识别游泳馆实时图像中的所有运动员；
目标跟踪模块：通过ISORT跟踪算法对检测的运动员进行实时跟踪，用于对当前帧的识别结果和之前帧跟踪轨迹进行匹配，获得相邻帧之间的位置差和时间差；
外参标定模块：将游泳馆实时图像坐标转化为世界坐标，根据相邻帧之间的位置差和时间差实现游泳运动员的定位和测速。
8.根据权利要求7所述的一种基于图像处理的游泳运动实时测速系统，其特征在于：训练数据集构建模块构建训练数据集过程为：
将含有运动员的视频逐帧转化为图片，并将运动员泳帽定义为打标样本；
对于首帧图片，由人工选择目标框；
将选择的目标框作为模板，输入至孪生结构的单目标跟踪器SiamBAN中，实现对首帧之后图片的单目标持续性自动打标，获得训练目标检测网络的数据集。
9.根据权利要求7所述的一种基于图像处理的游泳运动实时测速系统，其特征在于：目标跟踪模块实现方式如下：
对第一帧图像经过YOLOv5检测到的所有目标，初始化并创建新的跟踪轨迹，标注ID；
第一帧后的任意一帧经过YOLOv5目标检测模型后，利用ISORT跟踪算法对检测的运动员进行实时跟踪，具体过程如下：
通过卡尔曼滤波获得之前轨迹所有目标的位置预测；
计算所述的位置预测和当前帧的目标检测框匹配损失矩阵；
通过匈牙利算法获得轨迹与目标检测框相似度最大的唯一匹配，并更新该轨迹的目标位置；对于未匹配到轨迹的目标检测框，则初始化并创建新的跟踪轨迹，标注ID；
根据匹配结果，对所有目标的跟踪轨迹更新并更新目标状态，获得相邻帧之间的位置差和时间差。
10.根据权利要求9所述的一种基于图像处理的游泳运动实时测速系统，其特征在于：匹配损失矩阵计算方法为：
ISORT跟踪算法使用目标检测框与预测框之间的欧氏距离来描述运动关联程度：
Figure QLYQS_7
其中，和表示第j个目标检测框的中心点位置横纵坐标，
Figure QLYQS_8
和/>
Figure QLYQS_9
表示第i个轨迹预测框的中心点位置横纵坐标，/>
Figure QLYQS_10
为第j个目标检测框与第i个轨迹预测框之间的欧氏距离；
Figure QLYQS_11
其中，匹配损失矩阵的第i行第j列元素为
Figure QLYQS_12
表示第i个轨迹预测框与第j个目标检测框匹配的损失值；gate表示门控矩阵的阈值。
CN202310565833.1A 2023-05-19 2023-05-19 一种基于图像处理的游泳运动实时测速方法及系统 Pending CN116385496A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310565833.1A CN116385496A (zh) 2023-05-19 2023-05-19 一种基于图像处理的游泳运动实时测速方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310565833.1A CN116385496A (zh) 2023-05-19 2023-05-19 一种基于图像处理的游泳运动实时测速方法及系统

Publications (1)

Publication Number Publication Date
CN116385496A true CN116385496A (zh) 2023-07-04

Family

ID=86971237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310565833.1A Pending CN116385496A (zh) 2023-05-19 2023-05-19 一种基于图像处理的游泳运动实时测速方法及系统

Country Status (1)

Country Link
CN (1) CN116385496A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197193A (zh) * 2023-11-07 2023-12-08 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117197193B (zh) * 2023-11-07 2024-05-28 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
WO2021253686A1 (zh) * 2020-06-16 2021-12-23 北京迈格威科技有限公司 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN114972438A (zh) * 2022-06-16 2022-08-30 西安电子科技大学 基于多周期循环一致性的自监督目标跟踪方法
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
CN115201883A (zh) * 2022-05-20 2022-10-18 北京航天时代光电科技有限公司 一种运动目标视频定位测速系统及方法
CN115937249A (zh) * 2022-09-15 2023-04-07 南京信息工程大学 一种基于孪生网络的多预测输出对齐的目标跟踪方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292911A (zh) * 2017-05-23 2017-10-24 南京邮电大学 一种基于多模型融合和数据关联的多目标跟踪方法
WO2021253686A1 (zh) * 2020-06-16 2021-12-23 北京迈格威科技有限公司 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
CN115024715A (zh) * 2022-05-20 2022-09-09 北京航天时代光电科技有限公司 一种人体运动智能测量与数字训练系统
CN115201883A (zh) * 2022-05-20 2022-10-18 北京航天时代光电科技有限公司 一种运动目标视频定位测速系统及方法
CN114972438A (zh) * 2022-06-16 2022-08-30 西安电子科技大学 基于多周期循环一致性的自监督目标跟踪方法
CN115937249A (zh) * 2022-09-15 2023-04-07 南京信息工程大学 一种基于孪生网络的多预测输出对齐的目标跟踪方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197193A (zh) * 2023-11-07 2023-12-08 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质
CN117197193B (zh) * 2023-11-07 2024-05-28 杭州巨岩欣成科技有限公司 游泳速度估计方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111523465B (zh) 基于摄像机标定及深度学习算法的船舶身份识别系统
CN106780620B (zh) 一种乒乓球运动轨迹识别定位与跟踪系统及方法
CN106022220B (zh) 一种体育视频中对参赛运动员进行多人脸跟踪的方法
CN104050488B (zh) 一种基于切换的卡尔曼滤波模型的手势识别方法
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN108961308B (zh) 一种漂移检测的残差深度特征目标跟踪方法
CN110660083A (zh) 一种结合视频场景特征感知的多目标跟踪方法
CN110472542A (zh) 一种基于深度学习的红外图像行人检测方法及检测系统
CN116309685A (zh) 基于视频拼接的多摄像机协同游泳运动测速方法及系统
CN109448025B (zh) 视频中短道速滑运动员的自动跟踪与轨迹建模方法
CN111582349B (zh) 一种基于YOLOv3和核相关滤波改进的目标跟踪算法
CN110111362A (zh) 一种局部特征块相似匹配目标跟踪方法
CN105279769A (zh) 一种联合多特征的层次粒子滤波跟踪方法
Sun et al. Wheat head counting in the wild by an augmented feature pyramid networks-based convolutional neural network
Sha et al. Understanding and analyzing a large collection of archived swimming videos
CN116309686A (zh) 游泳运动员视频定位测速方法、装置、设备及存储介质
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
Qi et al. Alpine skiing tracking method based on deep learning and correlation filter
CN113724293A (zh) 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
Hu Football player posture detection method combining foreground detection and neural networks
CN115984360B (zh) 一种基于图像处理的计算干滩长度的方法及系统
CN116385496A (zh) 一种基于图像处理的游泳运动实时测速方法及系统
WO2023273337A1 (zh) 一种基于代表特征的遥感图像中的密集目标检测方法
CN105869108A (zh) 一种用于动平台移动目标侦测中的图像配准方法
CN115565157A (zh) 一种多摄像头多目标车辆跟踪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination