CN113837063A - 一种基于强化学习的冰壶运动现场分析和辅助决策方法 - Google Patents
一种基于强化学习的冰壶运动现场分析和辅助决策方法 Download PDFInfo
- Publication number
- CN113837063A CN113837063A CN202111107286.XA CN202111107286A CN113837063A CN 113837063 A CN113837063 A CN 113837063A CN 202111107286 A CN202111107286 A CN 202111107286A CN 113837063 A CN113837063 A CN 113837063A
- Authority
- CN
- China
- Prior art keywords
- curling
- reinforcement learning
- decision
- field analysis
- motion field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004458 analytical method Methods 0.000 title claims abstract description 36
- 230000002787 reinforcement Effects 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000013135 deep learning Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000003068 static effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000013461 design Methods 0.000 abstract 1
- 230000008447 perception Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010009 beating Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于强化学习的冰壶运动现场分析和辅助决策方法，属于深度学习领域的人工智能和计算机视觉方向，建立了冰壶比赛情景和态势的数字化模型，设立了冰壶运动现场分析和辅助决策系统，主要解决实际运动场景下的冰壶运动现场分析和辅助决策的问题。算法主要包括：冰壶比赛态势感知设计、冰壶场地数字化提取方法和冰壶比赛决策分析：在冰壶比赛态势感知模块感知冰壶实际运动位置与速度，并获取静止状态，冰壶场地数字化提取模块，通过实际场地与拍摄数据之间的位置映射，获取关键时刻的冰壶的精确位置及其类别，冰壶比赛决策分析模块根据其类别和位置信息，通过强化学习算法，进行模拟计算，给出下一步的建议击打位置，辅助进行冰壶战术决策。这种基于强化学习的冰壶运动现场分析和辅助决策方法方法，在实际冰壶比赛训练时测试效果优异，使用价值高，可扩展性强。
Description
技术领域
本发明属于深度学习领域，是图像处理领域中的一项重要应用，尤其是涉及一种基于强化学习的冰壶运动现场分析和辅助决策方法。
技术背景
随着冰雪运动的发展，冰壶运动越来越受到重视。作为一项技巧和谋略相结合的奥运比赛项目，借助计算机的力量来规划冰壶比赛策略显得尤为重要。
目前主流的冰壶辅助决策方法在精度和速度方面已经有了不错的效果，然而这些方法都是在数字化冰壶比赛场景下进行模拟与规划，应用的实际冰壶比赛上还有一定的差距，这与实际比赛智能化策略推荐的需求之间有巨大的矛盾。因此，亟需一种能够针对实际冰壶运动现场分析和辅助决策的方法。
冰壶运动现场分析和辅助决策的目的是在正式冰壶比赛运动场景下，通过算法感知冰壶实际运动位置与速度，并根据冰壶状态获取关键比赛状态，并在其获取的冰壶位置的基础上，模拟计算出下一个壶的建议击打位置，辅助进行冰壶战术决策。
我们提出的目标检测和强化学习的冰壶运动现场分析和辅助决策方法在实际冰壶比赛中能够根据比赛态势，给出相应击打策略和击打后态势模拟，有效地促进了冰壶比赛训练的效果，推动我国冰雪运动的进一步发展。
发明内容
本发明提出了一种基于强化学习的冰壶运动现场分析和辅助决策方法。该方法以深度卷积神经网络为基础，结合了目标检测、强化学习等技术，较为准确的进行冰壶运动现场分析和辅助决策，该方法可以在不同冰壶比赛场景下有效的进行工作。
其技术解决方案是：
基于强化学习的冰壶运动现场分析和辅助决策方法，所述方法包括：
步骤1)，将冰壶比赛视频处理成图片，形成比赛状态图片，比赛状态图片的集合构成训练样本；
步骤2)，设计基于异物入侵检测的冰壶比赛态势感知模块，其中包含冰壶进入前置线检测与冰壶出界检测；
步骤3)，设立基于yolo-v4的冰壶位置检测网络；
步骤4)，在预先准备的冰壶数据集中，将网络进行训练，得到训练完的目标检测模型，用该模型获取冰壶的像素位置；
步骤5)，冰壶场地数字化提取，获取关键时刻的冰壶在比赛场地对应的精确位置及其类别；
步骤6)，冰壶比赛决策分析，基于强化学习进行模拟计算，获取当前比赛状态的最佳击打建议和击打后态势，辅助进行冰壶战术决策。
所述步骤1)中冰壶比赛训练数据采集的是国家轮椅冰壶队日常训练比赛过程，借助labelme进行标注，从而获得冰壶数据集。
所述步骤2)中先通过GMM背景建模进行粗过滤，再借助异物入侵检测的方法，来获取冰壶进入视野的时间和消失于视野的时间，借助位于两条前置线中间的两个摄像头，以及斜俯视摄像头，借助目标跟踪的方法，测量冰壶的阶段性平均速度，在无遮挡情况下，斜俯视摄像头可辅助捕捉冰壶运动状态，计算实时速度变化。
所述步骤3)中对Yolo-v4进行修改，以适应冰壶类别判断以及冰壶中心点的定位。
所述步骤4)中将训练数据经过Mosaic数据增强后再进行训练，弥补数据量不足的问题，训练方式是经典的深度学习训练方法。
所述步骤5)中实际速度与像素速度关系为：像素速度＝像素距离÷时间v＝d/t*P，其中v为实际冰壶运动速度，d为冰壶运动的像素距离，t为冰壶运动时间，P为数据图片与实际冰壶比赛场地之间的映射矩阵。
所述步骤6)中通过在连续动作空间中搜索的核回归方法，在没有任何手工特征的情况下，进行自我强化学习，强化学习网络的主要模块为策略价值网络，给出下一步的和决策位置。
所述整个方法经过大规模的数据训练以后，经测试能够给出符合冰壶比赛要求的高水平位置策略。
本发明在实际比赛环境中结合目标检测和强化学习，解决了在实际比赛场景下冰壶辅助决策的技术性缺失，且成本低易移植，使用价值高，可扩展性强。
附图说明
附图1是本发明数据获取的相机位置设计图
附图2是本发明所构建的基于强化学习的冰壶运动现场分析和辅助决策方法模型和技术路线示意图
附图3冰壶运动现场分析和辅助决策系统功能界面
附图4冰壶辅助决策建议测试结果
具体实施方式
一种基于强化学习的冰壶运动现场分析和辅助决策方法，包括以下步骤：
1)在基于强化学习的冰壶运动现场分析和辅助决策方法的具体实例中，将所有冰壶比赛时采集的图片，用labelme进行标注处理，标注出图片中冰壶的位置和类别，制作成训练集。2)获取冰壶最终静止时的关键时间点，从而获取关键比赛态势，即需要进行辅助决策的状态。首先通过位操作获取可疑越界帧，再通过darknet19网络进行分类判断是否越界，截取当前比赛状态
3)将标注后的数据集借助Mosaic数据增强后输入网络，通过CSPDarknet53作为主干提取网络，之后借助空间金字塔池化SPP扩大感受野，接着在PANet结构处进行上采样加强特征融合。损失函数采用CIOU损失：
4)目标检测完成后，求出冰壶实际比赛场馆和图片之间的映射，并将冰壶位置绘制在数字化场地图的对应位置。
5)通过在连续动作空间中搜索的核回归方法，在没有任何手工特征的情况下，进行自我强化学习，给出下一步的和决策位置，核回归定义为：
此处的核函数是高斯概率密度
强化学习网络的主要模块为策略价值网络，训练过程中，网络通过一系列的随机移动而产生的回报，其中策略网络通过KR-DL-UCT算法执行蒙特卡洛树，然后将搜索到的策略投影回策略子网的函数空间，最终博弈的结果也被投影回价值子网络的函数空间。该部分功能实现:给出下一步的冰壶建议击打位置、建议出手速度、建议出手方向和击打后的分数。
6)基于强化学习的冰壶运动现场分析和辅助决策方法的具体实例中，训练完成以后，将冰壶比赛视频按帧输入网络，检索的数据集所有图片特征通过该网络提取出来，在测试过程中，将手绘图特征提取出来，与所有图片特征图做欧氏距离，找到距离最小的那张图片，就是要检索的图片。
上本发明建立了冰壶比赛情景和态势的数字化模型，设立了冰壶运动现场分析和辅助决策系统。分为三个主要模块进行实现：冰壶比赛态势感知模块、冰壶场地数字化提取模块和冰壶比赛决策分析模块，在冰壶比赛态势感知模块感知冰壶实际运动位置与速度，并获取静止状态，冰壶场地数字化提取模块，通过实际场地与拍摄数据之间的位置映射，获取关键时刻的冰壶的精确位置及其类别，冰壶比赛决策分析模块根据其类别和位置信息，通过强化学习算法，进行模拟计算，给出下一步的建议击打位置，辅助进行冰壶战术决策。
上本发明在实际冰壶比赛中采集数据进行冰壶运动现场分析和辅助决策，能真正满足当前冰壶比赛对科技的需求，借助强化学习对比赛进行策略分析，保持领先的技术水平，并具有长足的发展能力，以适应典型冰上项目多源数据智能分析系统的发展。且项目训练完成后，平台易于维护、管理，适合于实际场景中应用。
上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内。
Claims (9)
1.一种基强化学习的冰壶运动现场分析和辅助决策方法，所述方法包括：
步骤1)，将冰壶比赛视频处理成图片，形成比赛状态图片，比赛状态图片的集合构成训练样本；
步骤2)，设计基于异物入侵检测的冰壶比赛态势感知模块，其中包含冰壶进入前置线检测与冰壶出界检测；
步骤3)，设立基于yolo-v4的冰壶位置检测网络；
步骤4)，在预先准备的冰壶数据集中，将网络进行训练，得到训练完的目标检测模型，用该模型获取冰壶的像素位置；
步骤5)，冰壶场地数字化提取，获取关键时刻的冰壶在比赛场地对应的精确位置及其类别；
步骤6)，冰壶比赛决策分析，基于强化学习进行模拟计算，获取当前比赛状态的最佳击打建议和击打后态势，辅助进行冰壶战术决策
2.根据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：步骤1)中对于在实际冰壶比赛训练过程中采集数据，制作成为标准数据集。
3.根据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：步骤2)中借助GMM背景建模进行粗过滤后再进行异物入侵检测，因此能快速判断冰壶出界与过线。
4.根据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：步骤4)中经过Mosaic数据增强后再进行训练，弥补数据量不足的问题。
5.据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：步骤5)中根据实际场地与像素尺寸之间的映射矩阵来获取冰壶实际运动速度。
6.据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：步骤6)中通过在连续动作空间中搜索的核回归方法，在没有任何手工特征的情况下，进行自我强化学习。
7.据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：步骤6)中强化学习网络的主要模块为策略价值网络。
8.据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：训练方式是经典的深度学习训练方法。
9.据权利要求1所述的基于强化学习的冰壶运动现场分析和辅助决策方法，其特征在于：整个网络在训练完成后可以直接在实际比赛场景下冰壶辅助决策。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107286.XA CN113837063B (zh) | 2021-10-15 | 一种基于强化学习的冰壶运动现场分析和辅助决策方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111107286.XA CN113837063B (zh) | 2021-10-15 | 一种基于强化学习的冰壶运动现场分析和辅助决策方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837063A true CN113837063A (zh) | 2021-12-24 |
| CN113837063B CN113837063B (zh) | 2024-05-10 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707402A (zh) * | 2022-03-09 | 2022-07-05 | 中国石油大学(华东) | 一种强化学习感知的冰壶模拟图像转换真实图像的方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107506830A (zh) * | 2017-06-20 | 2017-12-22 | 同济大学 | 面向智能汽车规划决策模块的人工智能训练平台 |
| KR20180098111A (ko) * | 2017-02-24 | 2018-09-03 | 고려대학교 산학협력단 | 딥러닝에 기반한 컬링 경기 전략 추천 장치 및 그 방법 |
| CN109785361A (zh) * | 2018-12-22 | 2019-05-21 | 国网内蒙古东部电力有限公司 | 基于cnn与mog的变电站异物入侵检测系统 |
| CN110538439A (zh) * | 2019-08-27 | 2019-12-06 | 哈尔滨工业大学 | 一种冰壶机器人的投掷方法 |
| CN110764507A (zh) * | 2019-11-07 | 2020-02-07 | 舒子宸 | 一种强化学习与信息融合的人工智能自动驾驶系统 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| CN111724414A (zh) * | 2020-06-23 | 2020-09-29 | 宁夏大学 | 一种基于3d姿态估计的篮球运动分析方法 |
| US20200372822A1 (en) * | 2019-01-14 | 2020-11-26 | Polixir Technologies Limited | Training system for autonomous driving control policy |
| CN112241606A (zh) * | 2020-08-03 | 2021-01-19 | 武汉理工大学 | 基于cps决策模块的船舶智能设备运维的协同决策方法 |
| CN112733608A (zh) * | 2020-12-11 | 2021-04-30 | 哈尔滨工业大学 | 冰壶运动员姿态检测与动作分析系统 |
| KR20210063791A (ko) * | 2019-11-25 | 2021-06-02 | 한국기술교육대학교 산학협력단 | 장애물의 특성을 고려한 dqn 및 slam 기반의 맵리스 내비게이션 시스템 및 그 처리 방법 |
| CN113096161A (zh) * | 2021-03-31 | 2021-07-09 | 哈尔滨工业大学（深圳） | 一种密集行人环境下强化学习移动机器人的导航方法及装置 |
| CN113312840A (zh) * | 2021-05-25 | 2021-08-27 | 广州深灵科技有限公司 | 一种基于强化学习的羽毛球对弈方法及系统 |
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180098111A (ko) * | 2017-02-24 | 2018-09-03 | 고려대학교 산학협력단 | 딥러닝에 기반한 컬링 경기 전략 추천 장치 및 그 방법 |
| CN107506830A (zh) * | 2017-06-20 | 2017-12-22 | 同济大学 | 面向智能汽车规划决策模块的人工智能训练平台 |
| CN109785361A (zh) * | 2018-12-22 | 2019-05-21 | 国网内蒙古东部电力有限公司 | 基于cnn与mog的变电站异物入侵检测系统 |
| US20200372822A1 (en) * | 2019-01-14 | 2020-11-26 | Polixir Technologies Limited | Training system for autonomous driving control policy |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| CN110538439A (zh) * | 2019-08-27 | 2019-12-06 | 哈尔滨工业大学 | 一种冰壶机器人的投掷方法 |
| CN110764507A (zh) * | 2019-11-07 | 2020-02-07 | 舒子宸 | 一种强化学习与信息融合的人工智能自动驾驶系统 |
| KR20210063791A (ko) * | 2019-11-25 | 2021-06-02 | 한국기술교육대학교 산학협력단 | 장애물의 특성을 고려한 dqn 및 slam 기반의 맵리스 내비게이션 시스템 및 그 처리 방법 |
| CN111724414A (zh) * | 2020-06-23 | 2020-09-29 | 宁夏大学 | 一种基于3d姿态估计的篮球运动分析方法 |
| CN112241606A (zh) * | 2020-08-03 | 2021-01-19 | 武汉理工大学 | 基于cps决策模块的船舶智能设备运维的协同决策方法 |
| CN112733608A (zh) * | 2020-12-11 | 2021-04-30 | 哈尔滨工业大学 | 冰壶运动员姿态检测与动作分析系统 |
| CN113096161A (zh) * | 2021-03-31 | 2021-07-09 | 哈尔滨工业大学（深圳） | 一种密集行人环境下强化学习移动机器人的导航方法及装置 |
| CN113312840A (zh) * | 2021-05-25 | 2021-08-27 | 广州深灵科技有限公司 | 一种基于强化学习的羽毛球对弈方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114707402A (zh) * | 2022-03-09 | 2022-07-05 | 中国石油大学(华东) | 一种强化学习感知的冰壶模拟图像转换真实图像的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Uav-human: A large benchmark for human behavior understanding with unmanned aerial vehicles | |
| Wang et al. | Learning from synthetic data for crowd counting in the wild | |
| WO2021142902A1 (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
| Shu et al. | Large-scale spatio-temporal person re-identification: Algorithms and benchmark | |
| Xue et al. | Remote sensing scene classification based on multi-structure deep features fusion | |
| CN109919981A (zh) | 一种基于卡尔曼滤波辅助的多特征融合的多目标跟踪方法 | |
| CN102855470B (zh) | 基于深度图像的人体姿态估计方法 | |
| CN107316001A (zh) | 一种自动驾驶场景中小且密集的交通标志检测方法 | |
| CN106599770A (zh) | 一种基于体感动作识别及抠像的滑雪场景显示方法 | |
| CN109341703A (zh) | 一种全周期采用CNNs特征检测的视觉SLAM算法 | |
| CN111582234B (zh) | 基于uav和深度学习的大范围油茶林果智能检测与计数方法 | |
| CN111027505B (zh) | 一种基于显著性检测的分层多目标跟踪方法 | |
| CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
| CN109766873A (zh) | 一种混合可变形卷积的行人再识别方法 | |
| CN109712247A (zh) | 基于混合现实技术的实景训练系统 | |
| CN113743358B (zh) | 一种全方位采集和智能计算的景观视觉特征识别方法 | |
| CN109558790B (zh) | 一种行人目标检测方法、装置及系统 | |
| CN113963399A (zh) | 基于多算法融合应用的人员轨迹检索方法及装置 | |
| CN112215203A (zh) | 一种基于深度学习的路面病害检测方法和装置 | |
| CN110516707A (zh) | 一种图像标注方法及其装置、存储介质 | |
| CN111062310B (zh) | 一种基于虚拟样本生成的少样本无人机图像识别方法 | |
| CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
| Li et al. | Video-based table tennis tracking and trajectory prediction using convolutional neural networks | |
| Ke et al. | Prediction algorithm and simulation of tennis impact area based on semantic analysis of prior knowledge | |
| CN113837063A (zh) | 一种基于强化学习的冰壶运动现场分析和辅助决策方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |