CN111709301A - 一种冰壶球运动状态估计方法 - Google Patents
一种冰壶球运动状态估计方法 Download PDFInfo
- Publication number
- CN111709301A CN111709301A CN202010435770.4A CN202010435770A CN111709301A CN 111709301 A CN111709301 A CN 111709301A CN 202010435770 A CN202010435770 A CN 202010435770A CN 111709301 A CN111709301 A CN 111709301A
- Authority
- CN
- China
- Prior art keywords
- curling ball
- curling
- ball
- image
- detection network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明的一种冰壶球运动状态估计方法,属于人工智能与图像处理领域。步骤一:建立冰壶球数据集,训练冰壶球目标检测网络和转角检测网络;步骤二:采用训练好的冰壶球目标检测网络对冰壶球比赛视频序列进行检测,获取冰壶球边界框信息;步骤三:将冰壶球边界框信息取出,初始化冰壶球目标跟踪网络,在后续视频帧中持续跟踪冰壶球目标,获得冰壶球的中心坐标;步骤四:根据冰壶球边界框信息,将该冰壶球从原始图像中截取出来,送入训练好的转角检测网络进行转角提取;步骤五:通过坐标转换,将图像坐标系下的冰壶球的中心坐标和转角转换为冰壶赛场上的冰壶球坐标和转角。本发明对冰壶球状态和把手转角的估计结果更为准确。
Description
技术领域
本发明涉及基于一种冰壶球运动状态估计方法,属于人工智能与图像处理领域。
背景技术
冰壶是一项需要复杂策略和高超运动控制技术的运动,对于运动员的体力和智力水平要求较高,因而被称为“冰上象棋”,冰壶球的运动轨迹往往与其出手速度、出手角度、旋转角速度、冰面状况等因素关系密切。从冰壶球视频中实时地提取出冰壶球的运动信息有着广泛的应用前景,包括辅助冰壶运动员进行训练、提高观众对冰壶比赛的观赏体验、建立冰壶球运动学模型等。
但由于冰面比较光滑,且冰场均位于室内,由于室内光照的问题,冰面容易反光,以传统的图像处理方法进行处理,受到的干扰极大。且传统的图像处理方法难以估计冰壶球的实时运动状态。因此,迫切需要新型的处理方法对冰面实施监测以及对冰壶球的运动状态进行估计。
随着人工智能、图像识别的快速发展,使用深度学习模型对图像进行物体检测的方法越来越完善。与传统图像处理方法相比,深度学习模型能够通过海量数据学习到丰富的特征,再辅以数据增强等手段,能够较好的克服冰壶场地的光照变化和冰壶球表面的反光等干扰因素,预测的结果较为鲁棒。
发明内容
本发明的目的是提出一种冰壶球运动状态估计方法,以解决目前现有的图像处理方法由于易受冰面反光影响预测冰壶球运动状态不够稳定准确的问题。
一种冰壶球运动状态估计方法,所述估计方法包括以下步骤:
步骤一:建立冰壶球数据集,训练冰壶球目标检测网络Yolov3和转角检测网络;
步骤二:采用训练好的冰壶球目标检测网络Yolov3对冰壶球比赛视频序列进行检测,获取冰壶球边界框信息;
步骤三:将所述冰壶球边界框信息取出,初始化冰壶球目标跟踪网络,在后续视频帧中持续跟踪冰壶球目标,获得冰壶球的中心坐标;
步骤四:根据所述冰壶球边界框信息,将该冰壶球从原始图像中截取出来,送入训练好的转角检测网络进行转角提取;
步骤五:通过坐标转换,将图像坐标系下的冰壶球的中心坐标和转角转换为冰壶赛场上的冰壶球坐标和转角。
进一步的,步骤一中包括以下步骤:
步骤一一、获取标注的冰壶球数据集,为每个冰壶球标注边界框和把手;
步骤一二、将标注好的冰壶球数据集划分为训练集和验证集,使用验证集数据训练冰壶球目标检测网络Yolov3;
步骤一三、利用标注好的冰壶球把手数据集,训练转角检测网络。
进一步的,步骤二中包括以下步骤:
步骤二一、将图像输入至卷积神经网络,输出零至多个边界框,边界框的信息由[x1,y1,x2,y2]表示,其中(x1,y1)为冰壶球边界框的左上角坐标,(x2,y2)为冰壶球边界框的右下角坐标;
步骤二二、统计边界框的个数N,如果N≥1,执行步骤三,否则重新执行步骤二。
根据权利要求1所述的一种冰壶球运动状态估计方法,其特征在于,步骤三中包括以下步骤:
步骤三一、将步骤二输入图像检测得到的冰壶球边界框信息出,用以初始化冰壶球目标跟踪网络;
进一步的,步骤四中包括以下步骤:
进一步的,步骤五中包括以下步骤:
步骤五一、通过单应性矩阵H,将冰壶球中心在图像坐标系中的坐标转换为冰壶赛场俯视图中的坐标:
步骤五二、将冰壶球把手在图像中的转角转化为在冰壶赛场俯视图中的转角。
本发明的主要优点是:本发明的一种冰壶球运动状态估计方法,使用深度学习模型通过海量数据学习到冰壶球以及把手的特征,并进行了数据增强,能够较好的克服冰壶场地的光照变化和冰壶球表面的反光等干扰因素,对冰壶球状态和把手转角的估计结果较为鲁棒。
附图说明
图1为本发明的一种冰壶球运动状态估计方法的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1所示,本发明提出了一种冰壶球运动状态估计方法的一实施例,所述估计方法包括以下步骤:
步骤一:建立冰壶球数据集,训练冰壶球目标检测网络Yolov3和转角检测网络;
步骤二:采用训练好的冰壶球目标检测网络Yolov3对冰壶球比赛视频序列进行检测,获取冰壶球边界框信息;
步骤三:将所述冰壶球边界框信息取出,初始化冰壶球目标跟踪网络SiamRPN++,在后续视频帧中持续跟踪冰壶球目标,获得冰壶球的中心坐标;
步骤四:根据所述冰壶球边界框信息,将该冰壶球从原始图像中截取出来,送入训练好的转角检测网络进行转角提取;
步骤五:通过坐标转换,将图像坐标系下的冰壶球的中心坐标和转角转换为冰壶赛场上的冰壶球坐标和转角。
步骤一中包括以下步骤:
步骤一一、获取标注的冰壶球数据集,为每个冰壶球标注边界框和把手。冰壶球边界框的标注需要确定一个紧紧包围冰壶球的矩形框,冰壶球把手的标注需要确定一条线段,线段连接冰壶球把手的两端,这条线段将用于冰壶球转角检测的转角检测卷积神经网络的训练;
步骤一二、将标注好的冰壶球数据集划分为训练集和验证集,使用验证集数据训练冰壶球目标检测网络Yolov3。该网络用于初始化目标跟踪模型。调整超参数,使得检测网络在验证集上的mAP最大;
步骤一三、利用标注好的冰壶球把手数据集,训练转角检测网络。该模型为回归模型,输入冰壶球的图片,输出冰壶球把手在图像中的角度。输入图像的尺寸为128*128,假设标注为冰壶球把手的线段的两个端点分别为A(x1,x2)和B(x2,y2),计算出该线段相对于水平方向的转角θ(0≤θ≤π),计算公式如下:
步骤二中包括以下步骤:
步骤二一、将图像输入至卷积神经网络,输出零至多个边界框,边界框的信息由[x1,y1,x2,y2]表示,其中(x1,y1)为冰壶球边界框的左上角坐标,(x2,y2)为冰壶球边界框的右下角坐标;
步骤二二、统计边界框的个数N,如果N≥1,执行步骤三,否则重新执行步骤二。
根据权利要求1所述的一种冰壶球运动状态估计方法,其特征在于,步骤三中包括以下步骤:
步骤三一、将步骤二输入图像检测得到的冰壶球边界框信息出,用以初始化冰壶球目标跟踪网络SiamRPN++;
步骤四中包括以下步骤:
步骤五中包括以下步骤:
步骤五一、通过单应性矩阵H,将冰壶球中心在图像坐标系中的坐标转换为冰壶赛场俯视图中的坐标:
步骤五二、将冰壶球把手在图像中的转角转化为在冰壶赛场俯视图中的转角;
步骤五三、判断视频是否处理完毕,如果存在下一帧,则返回步骤三,否则处理结束。
Claims (6)
1.一种冰壶球运动状态估计方法,其特征在于,所述估计方法包括以下步骤:
步骤一:建立冰壶球数据集,训练冰壶球目标检测网络和转角检测网络;
步骤二:采用训练好的冰壶球目标检测网络对冰壶球比赛视频序列进行检测,获取冰壶球边界框信息;
步骤三:将所述冰壶球边界框信息取出,初始化冰壶球目标跟踪网络,在后续视频帧中持续跟踪冰壶球目标,获得冰壶球的中心坐标;
步骤四:根据所述冰壶球边界框信息,将该冰壶球从原始图像中截取出来,送入训练好的转角检测网络进行转角提取;
步骤五:通过坐标转换,将图像坐标系下的冰壶球的中心坐标和转角转换为冰壶赛场上的冰壶球坐标和转角。
2.根据权利要求1所述的一种冰壶球运动状态估计方法,其特征在于,步骤一中包括以下步骤:
步骤一一、获取标注的冰壶球数据集,为每个冰壶球标注边界框和把手;
步骤一二、将标注好的冰壶球数据集划分为训练集和验证集,使用验证集数据训练冰壶球目标检测网络;
步骤一三、利用标注好的冰壶球把手数据集,训练转角检测网络。
3.根据权利要求1所述的一种冰壶球运动状态估计方法,其特征在于,步骤二中包括以下步骤:
步骤二一、将视频序列中的图像输入至冰壶球目标检测网络,输出零至多个边界框,边界框的信息由[x1,y1,x2,y2]表示,其中(x1,y1)为冰壶球边界框的左上角坐标,(x2,y2)为冰壶球边界框的右下角坐标;
步骤二二、统计边界框的个数N,如果N≥1,执行步骤三,否则重新执行步骤二。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010435770.4A CN111709301B (zh) | 2020-05-21 | 2020-05-21 | 一种冰壶球运动状态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010435770.4A CN111709301B (zh) | 2020-05-21 | 2020-05-21 | 一种冰壶球运动状态估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709301A true CN111709301A (zh) | 2020-09-25 |
CN111709301B CN111709301B (zh) | 2023-04-28 |
Family
ID=72537632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010435770.4A Active CN111709301B (zh) | 2020-05-21 | 2020-05-21 | 一种冰壶球运动状态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709301B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508998A (zh) * | 2020-11-11 | 2021-03-16 | 北京工业大学 | 基于全局运动的视觉目标对齐方法 |
CN112669339A (zh) * | 2020-12-08 | 2021-04-16 | 山东省科学院海洋仪器仪表研究所 | 一种海水水下图像边缘点的判定方法 |
CN114004883A (zh) * | 2021-09-30 | 2022-02-01 | 哈尔滨工业大学 | 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 |
CN114708527A (zh) * | 2022-03-09 | 2022-07-05 | 中国石油大学(华东) | 一种基于极坐标表示的数字冰壶策略价值提取方法 |
CN114004883B (zh) * | 2021-09-30 | 2024-05-03 | 哈尔滨工业大学 | 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732225A (zh) * | 2013-12-24 | 2015-06-24 | 中国科学院深圳先进技术研究院 | 图像旋转处理方法 |
US20170255832A1 (en) * | 2016-03-02 | 2017-09-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Detecting Actions in Videos |
CN207652579U (zh) * | 2017-10-20 | 2018-07-24 | 北京瑞盖科技股份有限公司 | 一种冰壶鹰眼装置 |
CN109377511A (zh) * | 2018-08-30 | 2019-02-22 | 西安电子科技大学 | 基于样本组合和深度检测网络的运动目标跟踪方法 |
US20190087661A1 (en) * | 2017-09-21 | 2019-03-21 | NEX Team, Inc. | Methods and systems for ball game analytics with a mobile device |
CN109584300A (zh) * | 2018-11-20 | 2019-04-05 | 浙江大华技术股份有限公司 | 一种确定车头朝向角度的方法及装置 |
CN109871776A (zh) * | 2019-01-23 | 2019-06-11 | 昆山星际舟智能科技有限公司 | 全天候车道线偏离的预警方法 |
CN109934848A (zh) * | 2019-03-07 | 2019-06-25 | 贵州大学 | 一种基于深度学习的运动物体精准定位的方法 |
CN110796093A (zh) * | 2019-10-30 | 2020-02-14 | 上海眼控科技股份有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
CN110826491A (zh) * | 2019-11-07 | 2020-02-21 | 北京工业大学 | 级联手工特征与深度特征的视频关键帧检测方法 |
CN110827320A (zh) * | 2019-09-17 | 2020-02-21 | 北京邮电大学 | 基于时序预测的目标跟踪方法和装置 |
-
2020
- 2020-05-21 CN CN202010435770.4A patent/CN111709301B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732225A (zh) * | 2013-12-24 | 2015-06-24 | 中国科学院深圳先进技术研究院 | 图像旋转处理方法 |
US20170255832A1 (en) * | 2016-03-02 | 2017-09-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and System for Detecting Actions in Videos |
US20190087661A1 (en) * | 2017-09-21 | 2019-03-21 | NEX Team, Inc. | Methods and systems for ball game analytics with a mobile device |
CN207652579U (zh) * | 2017-10-20 | 2018-07-24 | 北京瑞盖科技股份有限公司 | 一种冰壶鹰眼装置 |
CN109377511A (zh) * | 2018-08-30 | 2019-02-22 | 西安电子科技大学 | 基于样本组合和深度检测网络的运动目标跟踪方法 |
CN109584300A (zh) * | 2018-11-20 | 2019-04-05 | 浙江大华技术股份有限公司 | 一种确定车头朝向角度的方法及装置 |
CN109871776A (zh) * | 2019-01-23 | 2019-06-11 | 昆山星际舟智能科技有限公司 | 全天候车道线偏离的预警方法 |
CN109934848A (zh) * | 2019-03-07 | 2019-06-25 | 贵州大学 | 一种基于深度学习的运动物体精准定位的方法 |
CN110827320A (zh) * | 2019-09-17 | 2020-02-21 | 北京邮电大学 | 基于时序预测的目标跟踪方法和装置 |
CN110796093A (zh) * | 2019-10-30 | 2020-02-14 | 上海眼控科技股份有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
CN110826491A (zh) * | 2019-11-07 | 2020-02-21 | 北京工业大学 | 级联手工特征与深度特征的视频关键帧检测方法 |
Non-Patent Citations (2)
Title |
---|
YOOKYUNG KIM 等: "Robust multi-object tracking to acquire object oriented videos in indoor sports", 《2016 INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY CONVERGENCE (ICTC)》 * |
王海涛 等: "目标跟踪综述", 《计算机测量与控制》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508998A (zh) * | 2020-11-11 | 2021-03-16 | 北京工业大学 | 基于全局运动的视觉目标对齐方法 |
CN112669339A (zh) * | 2020-12-08 | 2021-04-16 | 山东省科学院海洋仪器仪表研究所 | 一种海水水下图像边缘点的判定方法 |
CN114004883A (zh) * | 2021-09-30 | 2022-02-01 | 哈尔滨工业大学 | 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 |
CN114004883B (zh) * | 2021-09-30 | 2024-05-03 | 哈尔滨工业大学 | 一种冰壶球的视觉感知方法、装置、计算机设备和存储介质 |
CN114708527A (zh) * | 2022-03-09 | 2022-07-05 | 中国石油大学(华东) | 一种基于极坐标表示的数字冰壶策略价值提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111709301B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021129064A9 (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
CN111709301B (zh) | 一种冰壶球运动状态估计方法 | |
CN108648161B (zh) | 非对称核卷积神经网络的双目视觉障碍物检测系统及方法 | |
CN103854283B (zh) | 一种基于在线学习的移动增强现实跟踪注册方法 | |
CN109448025B (zh) | 视频中短道速滑运动员的自动跟踪与轨迹建模方法 | |
CN112489083B (zh) | 基于orb-slam算法的图像特征点跟踪匹配方法 | |
CN105046649A (zh) | 一种去除运动视频中运动物体的全景图拼接方法 | |
Chen et al. | Using FTOC to track shuttlecock for the badminton robot | |
CN111797688A (zh) | 一种基于光流和语义分割的视觉slam方法 | |
CN113627409B (zh) | 一种健身动作识别监控方法及系统 | |
CN101739690A (zh) | 多相机协同运动目标检测方法 | |
CN110070565A (zh) | 一种基于图像叠加的船舶轨迹预测方法 | |
CN110296705B (zh) | 一种基于距离度量学习的视觉slam回环检测方法 | |
CN115115672A (zh) | 基于目标检测和特征点速度约束的动态视觉slam方法 | |
CN116935332A (zh) | 一种基于动态视频的渔船目标检测与跟踪方法 | |
CN115100744A (zh) | 一种羽毛球比赛人体姿态估计和球路追踪方法 | |
Wang et al. | Simulation of tennis match scene classification algorithm based on adaptive Gaussian mixture model parameter estimation | |
CN110910489B (zh) | 一种基于单目视觉的智能球场运动信息采集系统与方法 | |
Yuan et al. | SHREC 2020 track: 6D object pose estimation | |
CN108534797A (zh) | 一种实时高精度视觉里程计方法 | |
CN103559723B (zh) | 一种基于自适应核函数和均值移位的人体跟踪方法 | |
CN109711445B (zh) | 目标跟踪分类器在线训练样本的超像素中智相似加权方法 | |
CN114863133A (zh) | 基于多任务无监督算法的浮选泡沫图像特征点提取方法 | |
CN112069943A (zh) | 基于自顶向下框架的在线多人姿态估计与跟踪方法 | |
CN113052110A (zh) | 一种基于多视图投影和深度学习的三维兴趣点提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |