CN110929596A - 一种基于智能手机和人工智能的投篮训练系统与方法 - Google Patents
一种基于智能手机和人工智能的投篮训练系统与方法 Download PDFInfo
- Publication number
- CN110929596A CN110929596A CN201911080456.2A CN201911080456A CN110929596A CN 110929596 A CN110929596 A CN 110929596A CN 201911080456 A CN201911080456 A CN 201911080456A CN 110929596 A CN110929596 A CN 110929596A
- Authority
- CN
- China
- Prior art keywords
- detection
- basket
- player
- target
- basketball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 238000012549 training Methods 0.000 title claims abstract description 47
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 128
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims description 40
- 230000009471 action Effects 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 210000002478 hand joint Anatomy 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 239000002245 particle Substances 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physical Education & Sports Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于智能手机和人工智能的投篮训练系统与方法，该系统包括球场定位系统、篮筐检测系统、球员身份识别系统、球员动作分析系统、篮球轨迹记录系统、进球检测系统和可视化回放系统。训练时，球场定位系统对球场界线、中线、罚球线、限制区和罚球区的边线进行位置检测；篮筐检测系统进行篮筐位置检测，并基于目标跟踪进行跟踪和实时检测；球员身份识别系统对球员位置和身份确认；球员动作分析系统获取球员身体关节点位置信息；篮球轨迹记录系统对球的位置以及目标大小进行记录；进球检测系统判别是否有球进入篮筐；可视化回放系统将获得的信息以及视频的帧存储并回放。本发明方便了篮球训练者的投篮训练，改善了现有投篮训练系统的不足。
Description
技术领域
本发明涉及投篮训练系统，尤其涉及一种基于智能手机和人工智能的投篮训练系统与方法。
背景技术
投篮训练在篮球中占有非常大的比重，但是对于大众来说投篮练习大多靠视频教程来进行模仿学习，缺乏动作标准与否、篮球抛物线轨迹记录、命中率记录这些重要数据的反馈和记录。
目前的投篮训练主要有两种方式：第一，通过视频设备采集，在视频回放时进行人工记录或者通过线下一对一教学的方式，但是此种方式价格昂贵，需要大量的人力，并且效率低下；第二，采用智能球、球场加入位置传感器，利用传感器的方式记录投篮以及相关训练的动作记录分析，此种方式需要投入很大的精力在特殊传感器的研发上，价格较高，普及率很低，不利于广大篮球爱好者进行使用。可见，目前面临的主要是价格昂贵、使用不便的问题。因此，如何为篮球训练者在智能手机上这类方便的设备上提供一种智能记录分析、价格低廉易用的篮球训练系统或方法显得非常重要。
发明内容
发明目的：本发明针对现有技术中缺少篮球智能化训练反馈，以及篮球训练数据记录需要大量人工记录，且人工记录不准确的问题，提出一种基于智能手机和人工智能的投篮训练系统与方法。
技术方案：本发明基于智能手机和人工智能的投篮训练系统，该投篮训练系统包括球场定位系统、篮筐检测系统、球员身份识别系统、球员动作分析系统、篮球轨迹记录系统、进球检测系统和可视化回放系统；
球场定位系统基于轮廓提取检测方法初步检测，或采用对球场边线检测的卷积神经网络对所用球场的界线、中线、罚球线、限制区和罚球区的边线进行在手机图像坐标系下的位置检测；根据检测出人和球的位置相对于以定位边线、罚球线、中线的相对位置，进行对球的位置和人员位置的定位；
篮筐检测系统基于目标检测方法或轮廓提取方法进行篮筐的位置检测，并基于目标跟踪方法对篮筐进行跟踪和实时检测；
球员身份识别系统基于人脸识别方法对球员身份进行初步判别和建立，然后融合人体目标检测方法和目标跟踪方法对球员进行人体在图像坐标系中的检测框位置和身份进行确认，方便后续系统的构建；其中检测框位置即目标位置；
球员动作分析系统基于球员身份识别系统获取球员的位置、球员检测的目标框大小和球员的身份，根据此位置信息和检测框大小的信息，基于姿态估计方法获取球员的身体关节点的位置信息；
篮球轨迹记录系统篮球轨迹记录系统基于目标检测方法对篮球进行检测，以及使用目标跟踪方法对篮球轨迹进行跟踪记录；并基于球场定位系统对球的位置以及目标大小进行记录；
进球检测系统根据球场定位及篮筐检测系统获得篮筐的位置和检测框大小，判别是否有球进入篮筐；
可视化回放系统将获得的信息以及视频的帧存储并回放。
球场定位系统中，对球场边线检测的卷积神经网络通过深度学习模型学习球场的界线、中线、罚球线、限制区和罚球区的边线标注数据。
篮筐检测系统中，目标检测方法为基于深度学习方法或传统目标检测方法；基于深度学习方法为深度学习模型学习标注篮筐的标注数据获得篮筐检测模型用于篮筐检测；传统目标检测方法为使用Harr特征+Adaboost+Cascade方法，或HOG特征+SVM方法进行篮筐检测。
轮廓提取方法为在检测的时候预先设定了篮筐的形状、颜色特征，使用时在图像中进行形状、颜色特征进行相似性匹配。
目标跟踪方法为深度学习方法或传统跟踪方法；深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化；传统跟踪方法为基于循环矩阵和傅里叶变换，以及Meanshift、Particle Filter、Kalman Filter滤波，或基于特征点的光流方法来预测跟踪篮筐目标在下一帧图像中的位置。
人体目标检测方法为利用深度学习的方法学习人体目标标注的数据来获得人体检测模型用于人体目标的检测。
姿态估计方法为通过采用深度学习方法对标注的人体关键点进行学习。
本发明基于智能手机和人工智能的投篮训练系统的训练方法，包括以下步骤：
(1)进行球场定位及篮筐检测，首先将智能手机进行架设，将手机屏幕的检测框对准篮筐，自动启动篮筐检测方法；
(2)进行球员身份识别，启动人脸识别方法、目标检测及跟踪方法进行球员身份确认及记忆，获取球员位置和检测框信息；
(3)进行球员动作分析，即根据球员位置和检测框信息运行基于深度学习的姿态估计方法，获取球员的身体关节点以及手部关节点的二维或三维信息；根据不同关节点的距离和角度信息判断球员的动作信息；
(4)对篮球轨迹进行记录，屏幕中出现篮球时，对篮球进行持续检测和跟踪以获取篮球的位置和检测框信息；
(5)对进球进行检测，即根据球场定位及篮筐检测系统获得篮筐的位置和检测框大小，判别是否有球进入篮筐；
(6)对投篮训练过程进行回放，对上述步骤(2)至(5)获得的信息及视频的帧进行存储回放。
步骤(3)中，根据球场定位信息运行三维重建方法以获取人体关节点以及手部关节点的三维信息。
有益效果：与现有篮球训练系统和方法相比，本发明具有以下优点：
(1)本发明投篮训练该系统不仅能满足在电脑、云端服务器的运行要求，还针对智能手机的系统，如安卓和IOS，以及运算设备如CPU、NPU、DSP上进行了运算优化设计以及适配，可应用在智能手机上，如应用在手机APP上。
(2)本发明提供了基于人工智能的科学训练指导以及训练数据，如动作分析、进球轨迹、出手角度数据的记录分析，方便了篮球训练者的投篮训练，并改善了现有投篮训练系统的不足，将人工智能真正带入到篮球训练中。
(3)依赖人工智能以及多种算法融合提供智能科学指导以及方便直观的反馈，并且利用针对智能手机的加速技术将算法移植到智能手机中并随时使用，针对广大篮球爱好者提供了一种全新的训练方式和体验。
附图说明
图1是本发明的系统结构图；
图2是本发明的实例说明图；
图3是本发明的智能手机架设方式说明图；
图4是本发明中球框检测使用示意图；
图5是本发明中手势关节点的示意图；
图6是本发明中人体关节点的示意图；
图7是本发明中投篮出手角度和速度示意图；
图8是本发明中投篮位置及命中情况可视化示意图。
具体实施方式
如图1所示，本发明投篮训练系统包括球场定位系统、篮筐检测系统、球员身份识别系统、球员动作分析系统、篮球轨迹记录系统、进球检测系统和可视化回放系统；以上系统各个系统之间的顺序和关系可以根据需要调整。
球场定位系统的构建是基于传统轮廓提取检测方法进行初步检测，或采用对边线检测的卷积神经网络对所用球场的界线、中线、罚球线、限制区和罚球区的边线进行在手机图像坐标系下的位置检测，使用人员可以根据检测的效果在手机上拖动边线进行定位，这样球场的界线、中线、罚球线就在像素坐标系下的位置变为已知，可根据检测出人的位置和球的位置相对于以定位边线、罚球线、中线相对位置，进行球的位置、人员位置的定位。
其中，对边线检测的卷积神经网络通过深度学习模型学习球场的界线、中线、罚球线、限制区和罚球区的边线标注数据，以获得边线检测模型用于球场边线检测。
篮筐检测系统基于目标检测方法或轮廓提取方法进行篮筐的位置检测，基于目标跟踪方法对篮筐进行跟踪和实时检测。其中，目标检测方法为基于深度学习方法为采用深度学习模型学习标注篮筐的标注数据获得篮筐检测模型用于篮筐检测。
传统方法为使用Harr特征+Adaboost+Cascade方法，或HOG特征+SVM方法进行篮筐检测。
轮廓提取方法进行篮筐的位置检测时，即在进行检测的时候预先设定了篮筐的形状、颜色这些标志性特征，使用时在图像中进行形状、颜色标志性特征进行相似性匹配，进而进行篮筐的位置检测。
目标跟踪方法为深度学习方法或传统跟踪方法，其中深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并在使用时对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化。传统跟踪方法为基于循环矩阵以及傅里叶变换实现的方法，以及Meanshift、Particle Filter、Kalman Filter的滤波方法，或基于特征点的光流方法来预测跟踪篮筐目标在下一帧图像中的位置，进而实现对篮筐的跟踪和实时检测。
球员身份识别系统基于人脸识别方法对球员身份进行初步判别和建立，然后融合人体目标检测方法和目标跟踪方法对球员进行人体在图像坐标系中的检测框位置和身份进行确认，方便后续系统的构建；其中检测框位置即目标位置。
人体目标检测方法为利用深度学习的方法学习人体目标标注的数据来获得人体检测模型用于人体目标的检测。
目标跟踪方法包括深度学习方法和传统方法，其中，深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并在使用时对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化。传统方法为基于循环矩阵和傅里叶变换的方法，以及Meanshift、Particle Filter、Kalman Filter的滤波方法，或基于特征点的光流方法来预测跟踪人体目标在下一帧图像中的位置。
球员动作分析系统的构建基于球员身份识别系统获取球员的位置、球员检测的目标框大小和球员的身份，根据此位置信息和检测框大小的信息，基于姿态估计方法获取球员的身体关节点的位置信息。同时也会使用对篮球的检测技术获得篮球的检测框的位置和大小信息，依据此关节点的位置信息、篮球检测框的位置和大小信息对球员的不同动作进行分析和判别，以获取其投篮的出手角度、出手点高度、身体各部分在不同时刻和位置的角度和姿势、脚离地面的高度等与球员身体有关的所有动作信息，具体的说，通过记录和分析人体的关键点可以还原出球员的动作轨迹，如人在抬起左手手臂时手肘以及手腕的关键点会有一定的运动轨迹，据此运动轨迹进行动作的判别和分析，结合篮球的检测框信息可以更多的对动作进行分析；据此球员的动作分析系统构建完成。
其中，姿态估计方法为通过采用深度学习方法对标注的人体关键点进行学习，以获得预测人体关键点的模型来对人体的关键点进行预测。
篮球轨迹记录系统基于目标检测方法对篮球进行检测，以及使用目标跟踪方法对篮球轨迹进行跟踪记录；并基于球场定位系统对球的位置以及目标大小进行记录，依据此方法可以对球的运动轨迹进行记录。
该目标检测方法为深度学习方法或传统目标检测方法；其中，深度学习方法为采用深度学习模型学习标注篮球的标注数据获得篮球检测模型用于篮筐检测。传统目标检测方法为使用Harr特征+Adaboost+Cascade方法，或HOG特征+SVM方法对篮球进行检测。
目标跟踪方法为深度学习方法或传统目标跟踪方法；其中深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并在使用时对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化。传统目标跟踪方法为基于循环矩阵和傅里叶变换实现的方法，以及Meanshift、Particle Filter、KalmanFilter的滤波方法，或基于特征点的光流方法来预测跟踪篮球目标在下一帧图像中的位置，对篮球轨迹进行跟踪记录。其中篮球轨迹为篮球检测框在视频中的连续位置信息组合成轨迹。
进球检测系统，根据球场定位系统及篮筐检测系统获得篮筐的位置和检测框大小，根据获得的篮球的位置和目标大小，与篮框的目标和大小进行比较和判断，如果篮球的目标框被篮框的目标框完全框住，则可判定为进球，或者根据深度学习方法对篮球检测框被篮框检测框完全框住的场景使用进球分类的深度学习模型进行判别是否进球，据此可以判别是否有球进入篮筐。
可视化回放系统，根据进球检测系统得到的在一段视频中进球的相关信息进而得到进球时刻的信息，根据球员动作分析系统得到球员的投篮出手时刻信息以及上篮动作的时刻信息，根据此信息对一段视频中的相关时刻进行截取保存，如从投篮出手到篮球进框检测时刻的这段视频保存为投篮出手回放视频，在此视频中绘制篮球轨迹记录系统获得的篮球轨迹信息，同时根据球场定位系统获得球员在出手时刻在球场的位置，结合进球检测系统球是否进入的结果绘制篮球出手在不同位置的命中率记录图以及命中率展示。
本发明基于智能手机和人工智能的投篮训练方法包括以下步骤：
(1)进行球场定位及篮筐检测；
(2)进行球员身份识别；
(3)进行球员动作分析；
(4)对篮球轨迹进行记录；
(5)对进球进行检测；
(6)对投篮训练过程进行回放。
如图2所示，本发明投篮训练的具体过程如下：
步骤1中，在进行球场定位及篮筐检测之前，需将智能手机进行架设，如图3所示，为方便使用，对智能手机的架设方式有三种：
(a)非训练球员a手持智能手机b对准所要使用的球场和球框；
(b)使用手机支架c进行手机架设，对准所要使用的球场和球框；
(c)将智能手机开启前置摄像功能，依靠放置在地上的水瓶、书包使手机不倒下的物体，保持镜头对准所要使用的球场和球框。
智能手机架设好后，进行球场定位及篮筐检测，如图4所示，保持手机屏幕中8个小矩形组成的检测框对准所要使用的篮筐或者保证要使用的篮筐出现在屏幕中，自动启动篮筐检测方法，该检测方法采用深度学习方法或传统目标检测方法。
此时，若在智能手机架设的方式采用手持和支架时，将会通过深度学习方法或传统检测方法或轮廓提取方法启动界线、中线、罚球线边线检测方法；如果检测效果不准确，可以手动进行调整以完成球场定位；若在步骤1中智能手机架设的方式采用放置在地上倚靠其他物体时，则需要球员在罚球线位置进行一次投篮，将检测到的球员投篮位置视为罚球线的位置，以此种方式完成球场定位系统的粗略构建。
步骤2，对球员身份进行识别，球员走进手机拍摄范围后，会启动人脸识别方法、目标检测及跟踪方法进行球员身份的确认及记忆，同时会实时检测出该球员的位置以及检测框的大小，至此，只要该球员在此次训练中处于手机拍摄范围内的任意时刻的位置和检测框的大小均为已知状态。通过此种方式，可以进行多人同时投篮训练。
步骤3，对球员动作进行分析，根据步骤2，获取了球员的位置和检测框的信息，根据此信息运行基于深度学习的姿态估计方法，获取球员的身体关节点以及手部关节点的2D即二维信息，该2D信息为只有在图像坐标系下的X轴方向信息、Y轴方向信息。
如图5、图6所示，基于步骤1的球场定位信息可运行三维重建方法以获取人体关节点以及手部关节点的3D信息，该3D信息即在真实世界坐标系下X轴方向的信息、Y轴方向的信息、Z轴方向的信息，具体为，图5中0-20序号的点定义为用于训练手势关键点检测模型的预设点位，后续使用的时候也是通过手势关键点模型预测球员手部的序号为0-20的点。通过不同关节点的距离和角度信息判断此时球员的动作信息。具体的讲，判断球员是否投篮出手及上篮出手时需要结合步骤2、4的球员检测框信息、篮球检测框信息判断球距离人体的距离，并结合基于深度学习或机器学习的出手动作分类模型算法综合判定此时是否为球员出手的时刻或者正在出手过程中的时刻。确定投篮出手的相关情况后，进一步分析手势关节点的变化趋势和关节点之间的关系以获得投篮手势，出手角度，篮球初速度信息。如图7所示：s代表出手点距离篮筐的水平距离，θ代表篮球出手角度，
代表篮球出手速度，h代表出手点距离篮筐的竖直高度；根据人体腿部和躯干的关节点来判断出手时腿部弯曲角度、身体姿势、挑起离地高度等信息。
步骤4，对篮球轨迹进行记录，当屏幕中出现篮球时，系统中的目标检测方法，即深度学习方法或者传统方法将篮球检测方法和目标跟踪方法，即传统方法或者深度学习方法将篮球进行持续的跟踪检测并赋予篮球一个跟踪的“身份信息”，当其他新的篮球进入相机拍摄范围后会自动被忽略，因为只跟踪第一个被检测到的篮球。对篮球进行持续的检测和跟踪获取篮球的位置和检测框的2D信息，基于步骤1中对球场进行定位进行三维重建，获取篮球位置和检测框的3D信息。
步骤5，对进球进行检测，当篮球检测框信息和球框的检测框信息满足条件后运行进球检测算法，如采用几何面积计算的方法或者采用基于深度学习的进球分类模型方法，具体为，利用深度学习训练标注为进球时刻的篮筐和篮球的图片以获得进球分类模型用于判别是否进球，进行进球检测以获得某次篮球出手是否进球的类别信息。
步骤6，可视化回放系统，将步骤1、2、3、4、5获得的信息以及相关视频的帧进行存储，具体可以存储为投篮姿势回放，投篮回放，投篮位置及是否进球记录图回放。如图8所示，实心原点表示在此位置投篮进球，空心打叉点表示在此位置出手没有进球。类似，对每次投篮从出手到进球或不进球的请况进行记录，并可以回放。
本发明的系统和方法因为使用了针对智能手机的加速技术，所以能够在智能手机上运行，如果不采用针对智能手机的加速技术则可以使用在连接摄像头的线下主机或者云端进行使用，此系统的使用场景以及使用设备的变化均在此本发明的权利范围内；另外以上实例仅是针对说明此系统功能的一个应用子场景，由此衍生的其他应用场景和情况以及此系统的任何一种功能均在本发明的权利范围内。
Claims (9)
1.一种基于智能手机和人工智能的投篮训练系统，其特征在于：包括球场定位系统、篮筐检测系统、球员身份识别系统、球员动作分析系统、篮球轨迹记录系统、进球检测系统和可视化回放系统；
所述球场定位系统基于轮廓提取检测方法初步检测，或采用对球场边线检测的卷积神经网络对所用球场的界线、中线、罚球线、限制区和罚球区的边线进行在手机图像坐标系下的位置检测；根据检测出人和球的位置相对于已定位边线、罚球线、中线的相对位置，进行对球的位置和人员位置的定位；
所述篮筐检测系统基于目标检测方法或轮廓提取方法进行篮筐的位置检测，并基于目标跟踪方法对篮筐进行跟踪和实时检测；
所述球员身份识别系统基于人脸识别方法对球员身份进行初步判别和建立，然后融合人体目标检测方法和目标跟踪方法对球员进行人体在图像坐标系中的检测框位置和身份进行确认，方便后续系统的构建；其中检测框位置即目标在图像坐标系下的位置；
所述球员动作分析系统基于球员身份识别系统获取球员的位置、球员检测的目标框大小和球员的身份，根据此位置信息和检测框大小的信息，基于姿态估计方法获取球员的身体关节点的位置信息；
所述篮球轨迹记录系统基于目标检测方法对篮球进行检测，以及使用目标跟踪方法对篮球轨迹进行跟踪记录；并基于球场定位系统对球的位置以及目标大小进行记录；
所述进球检测系统根据球场定位及篮筐检测系统获得篮筐的位置和检测框大小，判别是否有球进入篮筐；
所述可视化回放系统将获得的进球时刻的信息，球员的投篮出手时刻、篮上动作的时刻信息，以及视频的帧存储并回放。
2.根据权利要求1所述的基于智能手机和人工智能的投篮训练系统，其特征在于：所述球场定位系统中，对球场边线检测的卷积神经网络通过深度学习模型学习球场的界线、中线、罚球线、限制区和罚球区的边线标注数据。
3.根据权利要求1所述的基于智能手机和人工智能的投篮训练系统，其特征在于：所述篮筐检测系统中，所述目标检测方法为基于深度学习方法或传统目标检测方法；所述基于深度学习方法为深度学习模型学习标注篮筐的标注数据获得篮筐检测模型用于篮筐检测；所述传统目标检测方法为使用Harr特征+Adaboost+Cascade方法，或HOG特征+SVM方法进行篮筐检测。
4.根据权利要求1所述的基于智能手机和人工智能的投篮训练系统，其特征在于：所述轮廓提取方法为在检测的时候预先设定了篮筐的形状、颜色特征，使用时在图像中进行形状、颜色特征进行相似性匹配。
5.根据权利要求1所述的基于智能手机和人工智能的投篮训练系统，其特征在于：所述目标跟踪方法为深度学习方法或传统跟踪方法；所述深度学习方法为利用深度学习中的卷积神经网络学习标注的篮球目标的特征，并对当前帧的图像以及前一帧的图像提取卷积特征比较相似性，来预测目标图像的位置变化；所述传统跟踪方法为基于循环矩阵和傅里叶变换，以及Meanshift、Particle Filter、Kalman Filter滤波，或基于特征点的光流方法来预测跟踪篮筐目标在下一帧图像中的位置。
6.根据权利要求1所述的基于智能手机和人工智能的投篮训练系统，其特征在于：所述人体目标检测方法为利用深度学习的方法学习人体目标标注的数据来获得人体检测模型用于人体目标的检测。
7.根据权利要求1所述的基于智能手机和人工智能的投篮训练系统，其特征在于：所述姿态估计方法为通过采用深度学习方法对标注的人体关键点进行学习。
8.一种采用如权利要求1至7中任一项所述的基于智能手机和人工智能的投篮训练系统的训练方法，其特征在于：包括以下步骤：
(1)进行球场定位及篮筐检测，首先将智能手机进行架设，将手机屏幕的检测框对准篮筐，自动启动篮筐检测方法；
(2)进行球员身份识别，启动人脸识别方法、目标检测及跟踪方法进行球员身份确认及记忆，获取球员位置和检测框信息；
(3)进行球员动作分析，即根据球员位置和检测框信息运行基于深度学习的姿态估计方法，获取球员的身体关节点以及手部关节点的二维或三维信息；根据不同关节点的距离和角度信息判断球员的动作信息；
(4)对篮球轨迹进行记录，屏幕中出现篮球时，对篮球进行持续检测和跟踪以获取篮球的位置和检测框信息；
(5)对进球进行检测，即根据球场定位及篮筐检测系统获得篮筐的位置和检测框大小，判别是否有球进入篮筐；
(6)对投篮训练过程进行回放，对上述步骤(2)至(5)获得的信息及视频的帧进行存储回放。
9.根据权利要求8所述的基于智能手机和人工智能的投篮训练方法，其特征在于：步骤(3)中，根据球场定位信息运行三维重建方法以获取人体关节点以及手部关节点的三维信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911080456.2A CN110929596A (zh) | 2019-11-07 | 2019-11-07 | 一种基于智能手机和人工智能的投篮训练系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911080456.2A CN110929596A (zh) | 2019-11-07 | 2019-11-07 | 一种基于智能手机和人工智能的投篮训练系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110929596A true CN110929596A (zh) | 2020-03-27 |
Family
ID=69853640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911080456.2A Pending CN110929596A (zh) | 2019-11-07 | 2019-11-07 | 一种基于智能手机和人工智能的投篮训练系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110929596A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368810A (zh) * | 2020-05-26 | 2020-07-03 | 西南交通大学 | 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 |
| CN111444890A (zh) * | 2020-04-30 | 2020-07-24 | 汕头市同行网络科技有限公司 | 一种基于机器学习的体育数据分析系统和方法 |
| CN111461020A (zh) * | 2020-04-01 | 2020-07-28 | 浙江大华技术股份有限公司 | 不安全使用手机行为的识别方法、设备及相关存储介质 |
| CN111476291A (zh) * | 2020-04-03 | 2020-07-31 | 南京星火技术有限公司 | 数据处理方法，装置及存储介质 |
| CN111626155A (zh) * | 2020-05-14 | 2020-09-04 | 新华智云科技有限公司 | 一种篮球位置点的生成方法及设备 |
| CN111680608A (zh) * | 2020-06-03 | 2020-09-18 | 长春博立电子科技有限公司 | 一种基于视频分析的智慧体育辅助训练系统及训练方法 |
| CN111724414A (zh) * | 2020-06-23 | 2020-09-29 | 宁夏大学 | 一种基于3d姿态估计的篮球运动分析方法 |
| CN112802051A (zh) * | 2021-02-02 | 2021-05-14 | 新华智云科技有限公司 | 基于神经网络的篮球投篮曲线的拟合方法及系统 |
| CN113033384A (zh) * | 2021-03-23 | 2021-06-25 | 清华大学 | 一种轮椅冰壶运动状态检测和目标跟踪系统 |
| CN113058246A (zh) * | 2021-03-23 | 2021-07-02 | 清华大学 | 一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统 |
| CN113181613A (zh) * | 2021-01-25 | 2021-07-30 | 河南质量工程职业学院 | 一种体育教学用运球投篮训练系统 |
| CN113449822A (zh) * | 2021-08-31 | 2021-09-28 | 长沙鹏阳信息技术有限公司 | 一种面向快速人工智能应用开发的可配置goa系统 |
| CN113537168A (zh) * | 2021-09-16 | 2021-10-22 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种用于转播和球场监控场景的篮球进球检测方法及系统 |
| CN114140721A (zh) * | 2021-12-01 | 2022-03-04 | 中科海微(北京)科技有限公司 | 射箭姿态评估方法、装置、边缘计算服务器及存储介质 |
| CN114980984A (zh) * | 2020-09-08 | 2022-08-30 | 丹尼斯·阿多马科 | 篮球投篮装置 |
| CN114994046A (zh) * | 2022-04-19 | 2022-09-02 | 深圳格芯集成电路装备有限公司 | 基于深度学习模型的缺陷检测系统 |
| CN116109981A (zh) * | 2023-01-31 | 2023-05-12 | 北京智芯微电子科技有限公司 | 投篮识别方法、篮球识别装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105664462A (zh) * | 2016-01-07 | 2016-06-15 | 北京邮电大学 | 基于人体姿态估计算法的辅助训练系统 |
| CN107303428A (zh) * | 2016-04-20 | 2017-10-31 | 李斌 | 基于图像处理的篮球进球判定方法及系统 |
| CN109766768A (zh) * | 2018-12-18 | 2019-05-17 | 南京邮电大学 | 一种基于深度学习的球员识别方法 |
| CN110298231A (zh) * | 2019-05-10 | 2019-10-01 | 新华智云科技有限公司 | 一种用于篮球比赛视频进球判定的方法及系统 |
-
2019
- 2019-11-07 CN CN201911080456.2A patent/CN110929596A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105664462A (zh) * | 2016-01-07 | 2016-06-15 | 北京邮电大学 | 基于人体姿态估计算法的辅助训练系统 |
| CN107303428A (zh) * | 2016-04-20 | 2017-10-31 | 李斌 | 基于图像处理的篮球进球判定方法及系统 |
| CN109766768A (zh) * | 2018-12-18 | 2019-05-17 | 南京邮电大学 | 一种基于深度学习的球员识别方法 |
| CN110298231A (zh) * | 2019-05-10 | 2019-10-01 | 新华智云科技有限公司 | 一种用于篮球比赛视频进球判定的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 谢剑斌, 国防科技大学出版社 * |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461020A (zh) * | 2020-04-01 | 2020-07-28 | 浙江大华技术股份有限公司 | 不安全使用手机行为的识别方法、设备及相关存储介质 |
| CN111461020B (zh) * | 2020-04-01 | 2024-01-19 | 浙江大华技术股份有限公司 | 不安全使用手机行为的识别方法、设备及相关存储介质 |
| CN111476291B (zh) * | 2020-04-03 | 2023-07-25 | 南京星火技术有限公司 | 数据处理方法，装置及存储介质 |
| CN111476291A (zh) * | 2020-04-03 | 2020-07-31 | 南京星火技术有限公司 | 数据处理方法，装置及存储介质 |
| CN111444890A (zh) * | 2020-04-30 | 2020-07-24 | 汕头市同行网络科技有限公司 | 一种基于机器学习的体育数据分析系统和方法 |
| CN111626155B (zh) * | 2020-05-14 | 2023-08-01 | 新华智云科技有限公司 | 一种篮球位置点的生成方法及设备 |
| CN111626155A (zh) * | 2020-05-14 | 2020-09-04 | 新华智云科技有限公司 | 一种篮球位置点的生成方法及设备 |
| CN111368810A (zh) * | 2020-05-26 | 2020-07-03 | 西南交通大学 | 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 |
| CN111368810B (zh) * | 2020-05-26 | 2020-08-25 | 西南交通大学 | 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 |
| CN111680608A (zh) * | 2020-06-03 | 2020-09-18 | 长春博立电子科技有限公司 | 一种基于视频分析的智慧体育辅助训练系统及训练方法 |
| CN111680608B (zh) * | 2020-06-03 | 2023-08-18 | 长春博立电子科技有限公司 | 一种基于视频分析的智慧体育辅助训练系统及训练方法 |
| CN111724414A (zh) * | 2020-06-23 | 2020-09-29 | 宁夏大学 | 一种基于3d姿态估计的篮球运动分析方法 |
| CN111724414B (zh) * | 2020-06-23 | 2024-01-26 | 宁夏大学 | 一种基于3d姿态估计的篮球运动分析方法 |
| CN114980984A (zh) * | 2020-09-08 | 2022-08-30 | 丹尼斯·阿多马科 | 篮球投篮装置 |
| CN113181613A (zh) * | 2021-01-25 | 2021-07-30 | 河南质量工程职业学院 | 一种体育教学用运球投篮训练系统 |
| CN112802051A (zh) * | 2021-02-02 | 2021-05-14 | 新华智云科技有限公司 | 基于神经网络的篮球投篮曲线的拟合方法及系统 |
| CN112802051B (zh) * | 2021-02-02 | 2022-05-17 | 新华智云科技有限公司 | 基于神经网络的篮球投篮曲线的拟合方法及系统 |
| CN113033384A (zh) * | 2021-03-23 | 2021-06-25 | 清华大学 | 一种轮椅冰壶运动状态检测和目标跟踪系统 |
| CN113058246A (zh) * | 2021-03-23 | 2021-07-02 | 清华大学 | 一种轮椅冰壶轨迹识别定位跟踪与运动状态检测系统 |
| CN113449822A (zh) * | 2021-08-31 | 2021-09-28 | 长沙鹏阳信息技术有限公司 | 一种面向快速人工智能应用开发的可配置goa系统 |
| CN113537168B (zh) * | 2021-09-16 | 2022-01-18 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种用于转播和球场监控场景的篮球进球检测方法及系统 |
| CN113537168A (zh) * | 2021-09-16 | 2021-10-22 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种用于转播和球场监控场景的篮球进球检测方法及系统 |
| CN114140721A (zh) * | 2021-12-01 | 2022-03-04 | 中科海微(北京)科技有限公司 | 射箭姿态评估方法、装置、边缘计算服务器及存储介质 |
| CN114994046A (zh) * | 2022-04-19 | 2022-09-02 | 深圳格芯集成电路装备有限公司 | 基于深度学习模型的缺陷检测系统 |
| CN116109981A (zh) * | 2023-01-31 | 2023-05-12 | 北京智芯微电子科技有限公司 | 投篮识别方法、篮球识别装置、电子设备和存储介质 |
| CN116109981B (zh) * | 2023-01-31 | 2024-04-12 | 北京智芯微电子科技有限公司 | 投篮识别方法、篮球识别装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929596A (zh) | 一种基于智能手机和人工智能的投篮训练系统与方法 | |
| US20230233905A1 (en) | Methods and systems for generating sports analytics with a mobile device | |
| US11842572B2 (en) | Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation | |
| CN108564596B (zh) | 一种高尔夫挥杆视频的智能比对分析系统及方法 | |
| CN107281709B (zh) | 一种运动视频片段的提取方法及装置、电子设备 | |
| CN112183355B (zh) | 基于双目视觉和深度学习的出水高度检测系统及其方法 | |
| EP2707837A1 (en) | Method of analysing a video of sports motion | |
| CN105426827A (zh) | 活体验证方法、装置和系统 | |
| CN101826155B (zh) | 一种基于哈尔特征和动态时序匹配的投篮动作识别方法 | |
| Teachabarikiti et al. | Players tracking and ball detection for an automatic tennis video annotation | |
| CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
| CN114639117B (zh) | 一种跨境特定行人追踪的方法和装置 | |
| CN115624735B (zh) | 一种用于球类运动的辅助训练系统和工作方法 | |
| CN106991358A (zh) | 基于全景视频的自动识别足球比赛进球的算法 | |
| Sha et al. | Understanding and analyzing a large collection of archived swimming videos | |
| Sokolova et al. | Human identification by gait from event-based camera | |
| CN113837063A (zh) | 一种基于强化学习的冰壶运动现场分析和辅助决策方法 | |
| CN114140721A (zh) | 射箭姿态评估方法、装置、边缘计算服务器及存储介质 | |
| CN116758459A (zh) | 一种用于羽毛球比赛的实时分析系统及方法 | |
| CN114093030B (zh) | 一种基于人体姿态学习的射击训练分析方法 | |
| CN114333054A (zh) | 一种基于草图体感手势的虚拟体育应用方法 | |
| CN113673327A (zh) | 一种基于人体姿态估计的罚球命中预测方法 | |
| Malawski | Real-time first person perspective tracking and feedback system for weapon practice support in fencing | |
| CN111265835A (zh) | 一种投掷运动训练设备及其控制方法 | |
| KR20210045148A (ko) | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200327 |