CN116109981A - 投篮识别方法、篮球识别装置、电子设备和存储介质 - Google Patents
投篮识别方法、篮球识别装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116109981A CN116109981A CN202310118207.8A CN202310118207A CN116109981A CN 116109981 A CN116109981 A CN 116109981A CN 202310118207 A CN202310118207 A CN 202310118207A CN 116109981 A CN116109981 A CN 116109981A
- Authority
- CN
- China
- Prior art keywords
- human body
- basketball
- video frame
- body characteristics
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000033001 locomotion Effects 0.000 claims abstract description 48
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000009471 action Effects 0.000 claims description 30
- 238000012706 support-vector machine Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 5
- 210000000707 wrist Anatomy 0.000 description 14
- 238000012549 training Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种投篮识别方法、篮球识别装置、电子设备及存储介质。投篮识别方法包括:获取篮球赛事的视频数据;标记视频数据中每帧视频帧图像的人体特征;对人体特征检测以确定人体特征中的关键点特征;根据关键点特征以确定存在投篮的目标人体特征及目标人体特征所在的目标视频帧图像;根据目标人体特征和目标视频帧图像之后的视频帧图像确定篮球位置并记录篮球运动轨迹;和根据篮球运动轨迹和球框位置得到投篮结果。如此,采用检测关键点特征的方法,可以降低检测难度,提高检测精度,从而精确自动识别投篮结果。
Description
技术领域
本发明涉及计算机技术领域,特别是一种投篮识别方法、篮球识别装置、电子设备和存储介质。
背景技术
目前常见的是对篮球赛事的视频分析,大多是通过传感器和特写镜头辅助裁判来判断投篮和进球。在固定摄像头全景模式下,自动判定球员投篮动作,判定球员得分。视频多人跟踪困难和篮球像素面积小等问题使得识别投篮和进球判断更加困难。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提供了一种投篮识别方法、篮球识别装置、电子设备和存储介质。
本发明实施方式提供了一种投篮识别方法,所述投篮识别方法包括:
获取篮球赛事的视频数据;
标记所述视频数据中每帧视频帧图像的人体特征;
对所述人体特征检测以确定所述人体特征中的关键点特征;
根据所述关键点特征以确定存在投篮的目标人体特征及所述目标人体特征所在的目标视频帧图像;
根据所述目标人体特征和所述目标视频帧图像之后的所述视频帧图像确定篮球位置并记录篮球运动轨迹;和
根据所述篮球运动轨迹和球框位置得到投篮结果。
在某些实施方式中,所述标记所述视频数据中每帧视频帧图像的人体特征,包括:
通过对象检测模型标记每帧所述视频帧图像的人体特征,所述对象检测模型由YOLOv5算法训练得到。
在某些实施方式中,所述对所述人体特征进行检测以确定所述人体特征中的关键点特征,包括:
对相邻两帧所述视频帧图像中的人体特征进行匈牙利匹配,以确定每个人物在每帧所述视频帧图像的人体特征;
对所述人物的所述人体特征检测以确定所述关键点特征。
在某些实施方式中,所述人体特征为IoU特征、中心点距离、深度学习特征中的一个或者多个特征融合得到。
在某些实施方式中,所述根据所述关键点特征以确定存在投篮的目标人体特征及所述目标人体特征所在的目标视频帧图像,包括:
根据所述关键点特征确定所述人物是否存在投篮动作;
在所述人物存在投篮动作的情况下,检测所述人物的所述关键点特征周围是否存在篮球;
在所述关键点特征周围存在篮球的情况下,将所述关键点特征对应的所述人体特征作为所述目标人体特征;
以所述目标人体特征所在的所述视频帧图像作为所述目标视频帧图像。
在某些实施方式中,所述根据所述关键点特征确定所述人物是否存在投篮动作,包括:
通过支持向量机模型对所述关键点特征进行二分类以确定所述人物是否存在投篮动作。
在某些实施方式中,所述根据所述篮球运动轨迹和球框位置得到投篮结果,包括:
根据所述篮球运动轨迹确定所述篮球的运动方向;
根据所述篮球的运动方向和所述球框位置得到投篮结果。
本发明实施方式提供了一种篮球识别装置,所述篮球识别装置包括:
获取模块,用于获取篮球赛事的视频数据;
标记模块,用于标记所述视频数据中每帧视频帧图像的人体特征;
检测模块,用于对所述人体特征检测以确定所述人体特征中的关键点特征;
确定模块,用于根据所述关键点特征以确定存在投篮的目标人体特征及所述目标人体特征所在的目标视频帧图像;
记录模块,用于根据所述目标人体特征和所述目标视频帧图像之后的所述视频帧图像确定篮球位置并记录篮球运动轨迹;和
识别模块,用于根据所述篮球运动轨迹和球框位置得到投篮结果。
本发明实施方式提供了一种电子设备,所述电子设备包括处理器和存储器,所述存储器存储有计算机程序,当所述计算机被所述处理器执行的情况下,使得所述处理器执行上述任一项所述的投篮识别方法。
本发明实施方式提供了一种包括计算机程序的非易失性计算机可读存储介质,当所述计算机程序被处理器处理的情况下,使得所述处理器执行上述任一项所述的投篮识别方法。
本发明的投篮识别方法、篮球识别装置、电子设备和存储介质中,通过标记每帧视频帧图像的人体特征,根据人体特征检测确定关键点特征,从而确定投篮的目标人体特征和目标视频帧图像,进而可以得到篮球的运动轨迹,并通过篮球的运动轨迹和球筐位置得到投篮结果。采用检测关键点特征的方法,可以降低检测难度,提高检测精度,从而精确自动识别投篮结果。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的投篮识别方法的流程示意图;
图2是本发明实施方式的篮球识别装置的结构示意图;
图3是本发明实施方式的投篮识别方法的流程示意图;
图4是本发明实施方式的投篮识别方法的流程示意图;
图5是本发明实施方式的投篮识别方法的流程示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1,本发明提供了一种投篮识别方法,投篮识别方法包括:
S10:获取篮球赛事的视频数据;
S20:标记视频数据中每帧视频帧图像的人体特征;
S30:对人体特征检测以确定人体特征中的关键点特征;
S40:根据关键点特征以确定存在投篮的目标人体特征及目标人体特征所在的目标视频帧图像;
S50:根据目标人体特征和目标视频帧图像之后的视频帧图像确定篮球位置并记录篮球运动轨迹;和
S60:根据篮球运动轨迹和球框位置得到投篮结果。
请参阅图2,本发明还提供了一种篮球识别装置10,篮球识别装置10包括获取模块11、标记模块12、检测模块13、确定模块14、记录模块15和识别模块16。S10可以由获取模块11实现,S20可以由标记模块12实现,S30可以由检测模块13实现,S40可以由确定模块14实现,S50可以由记录模块15实现,S60可以由识别模块16实现。
或者说,获取模块11用于获取篮球赛事的视频数据,标记模块12用于标记视频数据中每帧视频帧图像的人体特征,检测模块13用于对人体特征检测以确定人体特征中的关键点特征,确定模块14用于根据关键点特征以确定存在投篮的目标人体特征及目标人体特征所在的目标视频帧图像,记录模块15用于根据目标人体特征和目标视频帧图像之后的视频帧图像确定篮球位置并记录篮球运动轨迹,识别模块16用于根据篮球运动轨迹和球框位置得到投篮结果。
本发明还提供了一种电子设备,电子设备包括处理器和存储器,存储器存储有计算机程序,当计算机被处理器执行的情况下,处理器用于执行投篮识别方法,也即是,处理器用于获取篮球赛事的视频数据,及用于标记视频数据中每帧视频帧图像的人体特征,及用于对人体特征检测以确定人体特征中的关键点特征,及用于根据关键点特征以确定存在投篮的目标人体特征及目标人体特征所在的目标视频帧图像,及用于根据目标人体特征和目标视频帧图像之后的视频帧图像确定篮球位置并记录篮球运动轨迹,以及用于根据篮球运动轨迹和球框位置得到投篮结果。
具体地,获取模块11获取了有关篮球赛事的视频数据,视频数据可以是自行录制或有关篮球赛事的录像等相机位置固定的全景视频。视频数据可拆解为视频帧图像,其中,视频帧图像为视频数据中每一帧的图像,视频数据可以拆解成大量的视频帧图像。再由标记模块12逐帧标记视频帧图像中的人体特征,人体特征可以是视频帧图像中的每一位篮球运动员。检测模块13对视频帧图像中标记的人体特征进行检测,从而确定每一位篮球运动员的关键点特征,关键点特征可以是手腕、手肘、手掌、脚等骨骼点,根据关键点特征可以判断篮球运动员是否具有投篮动作,例如,根据关键点特征确认篮球运动员具有手腕翻转、手掌高于头顶等行为,可以判断该篮球运动员具有投篮动作。确定模块14可以根据关键点特征确定具有投篮动作的目标篮球运动员,并根据视频帧图像中的篮球位置,判断目标人物是否具有投篮行为,从而确定有投篮动作的目标人体特征以及目标人体特征所在的目标视频帧图像。进一步地,在得到目标视频帧图像及之后的视频帧图像以后,可以通过标记模块12标记篮球在目标视频帧图像及之后的视频帧图像中位置,从而得到篮球的运动轨迹,再根据运动轨迹可以得到篮球的运动方向,由于球框位置固定,根据篮球的运动方向可以得到投篮结果。
应当说明的是,本发明中检测模块13所检测的视频帧图像为以人体特征为中心的自定义大小图像,相较于检测全局图像,本发明的自定义大小图像检测难度低,精度更高。
如此,本发明通过标记每帧视频帧图像的人体特征,根据人体特征检测确定关键点特征,从而确定投篮的目标人体特征和目标视频帧图像,进而可以得到篮球的运动轨迹,并通过篮球的运动轨迹和球筐位置得到投篮结果。采用检测关键点特征的方法,可以降低检测难度,提高检测精度,从而精确自动识别投篮结果。
在某些实施方式中,S20包括:
S21:通过对象检测模型标记每帧视频帧图像的人体特征,对象检测模型由YOLOv5算法训练得到。
在某些实施方式中,S21可以由标记模块12实现,也即是,S21可以用于通过对象检测模型标记每帧视频帧图像的人体特征。
在某些实施方式中,处理器用于通过对象检测模型标记每帧视频帧图像的人体特征。
本领域技术人员可以理解地是,YOLOv5算法是一种是基于深度神经网络的对象识别和定位算法,具有运行速度快,可以用于实时系统等特点。
对象检测模型可以由YOLOv5算法训练得到,具体而言,首先构建基于YOLOv5的初始对象检测模型的数据集,数据集中存储有大量具有人体特征的图像,数据集可分为训练集、验证集和测试集,其中,将训练集输入至初始模型中,得到测试结果,再通过损失函数根据测试结果与标记的真实数据进行计算,得到损失值,再通过损失值对初始模型的参数配置进行调节,调节之后,再将训练集输入至修改后的初始模型,不断重复上述步骤,直至初始模型生成的测试结果与真实数据贴近,也即是,损失值满足预设条件。进一步的,通过验证集对训练好的初始模型进行验证,验证通过后,再将验证后的初始模型作为最终的模型,完成训练,最后通过测试集评估模型的训练结果。
进一步的,将篮球赛事的视频数据拆分成大量的视频帧图像,由对象检测模型对每帧视频帧图像进行人体特征标记。
如此,通过训练得到对象检测模型,可以使用对象检测模型标记视频帧图像中的人体特征,确认视频数据中的人体位置,为后续检测关键点特征提供基础。
请参阅图3,在某些实施方式中,S30包括:
S31:对相邻两帧视频帧图像中的人体特征进行匈牙利匹配,以确定每个人物在每帧视频帧图像的人体特征;
S32:对人物的人体特征检测以确定关键点特征。
在某些实施方式中,S31和S32可以由检测模块13实现,或者说,检测模块13可以用于实现对相邻两帧视频帧图像中的人体特征进行匈牙利匹配,以确定每个人物在每帧视频帧图像的人体特征,以及用于对人物的人体特征检测以确定关键点特征。
在某些实施方式中,处理器用于实现对相邻两帧视频帧图像中的人体特征进行匈牙利匹配,以确定每个人物在每帧视频帧图像的人体特征,以及用于对人物的人体特征检测以确定关键点特征。
需要说明的是,匈牙利匹配(Hungarian method Edmonds)是一种在多项式时间内求解任务分配问题的组合优化算法,主要用于解决一些与二分图匹配有关的问题。
人体特征为IoU特征、中心点距离、深度学习特征中的一个或者多个特征融合得到,IoU特征是一种测量在特定数据集中检测相应物体准确度的一个标准。中心点距离是指同一人体在相邻两帧视频帧图像中的偏差距离,通过相邻两帧视频帧图像中人体之间的偏差距离判断是否为同一人体特征,深度学习特征是指通过深度学习对视频帧图像中的人体进行提取得到的特征。
具体地,通过对相邻两帧视频帧图像中的人体特征进行匹配,可以确定每一位篮球运动员在每帧视频帧图像中的位置。当人体特征为一个特征时,例如可以为IoU特征,即根据IoU特征进行匈牙利匹配,可以将IoU特征的阈值设置为0.5,根据IoU≥0.5,确认相邻两帧视频帧图像中的该人体特征为同一篮球运动员,具体的IoU特征阈值在此不做限定,可以理解的,阈值越高,检测结果越精确,且IoU≤1。当人体特征为多个特征时,例如可以为IoU特征和中心点距离融合后生成的特征进行匈牙利匹配,可以结合IoU计算结果和中心点距离判断相邻两帧视频帧图像中的人体特征是否为同一人体,例如,IoU阈值为0.5时,当IoU≥0.5,且中心点距离越小时,可以确定相邻两帧视频帧图像的人体特征为同一人体。
进一步地,确定每位篮球运动员在每帧频帧图像的人体特征后,可以通过检测人体特征确定篮球运动员的关键点特征,关键点特征可以包括手腕、手掌等具备投篮特点的特征,具体的关键点特征在此不做限定。
如此,通过对相邻两帧视频帧图像中的人体特征进行匈牙利匹配,可以确定每个人物在每帧视频帧图像的人体特征,并根据人体特征可以确定关键点特征,从而可以根据关键点特征判断篮球运动员是否具有投篮行为。
请参阅图4,在某些实施方式中,S40包括:
S41:根据关键点特征确定人物是否存在投篮动作;
S42:在人物存在投篮动作的情况下,检测人物的关键点特征周围是否存在篮球;
S43:在关键点特征周围存在篮球的情况下,将关键点特征对应的人体特征作为目标人体特征;
S44:以目标人体特征所在的视频帧图像作为目标视频帧图像。
在某些实施方式中,确定模块14可以用于根据关键点特征确定人物是否存在投篮动作,及用于在人物存在投篮动作的情况下,检测人物的关键点特征周围是否存在篮球,及用于在关键点特征周围存在篮球的情况下,将关键点特征对应的人体特征作为目标人体特征,以及用于以目标人体特征所在的视频帧图像作为目标视频帧图像。
在某些实施方式中,处理器用于根据关键点特征确定人物是否存在投篮动作,及用于在人物存在投篮动作的情况下,检测人物的关键点特征周围是否存在篮球,及用于在关键点特征周围存在篮球的情况下,将关键点特征对应的人体特征作为目标人体特征,以及用于以目标人体特征所在的视频帧图像作为目标视频帧图像。
具体地,通过关键点特征可以判断篮球运动员是否存在投篮动作,例如,关键点特征为手腕,当篮球运动员手腕存在翻转动作,且手腕位于头部上方,可以确定篮球运动员存在投篮动作。
当确定篮球运动员存在投篮动作的情况下,可以检测该篮球运动员的关键点特征附近是否存在篮球,从而判断该篮球运动员是否为记录目标,例如,当篮球运动员手腕存在翻转动作,且手腕位于头部上方时,检测到篮球位于该篮球运动员手腕附近,则可以确认该篮球运动员为记录目标。进一步的,确定记录目标后,可以将记录目标的人体特征作为目标人体特征,从而将目标人体特征对应的视频帧图像作为目标视频帧图像。
在一些示例中,当确定篮球运动员存在投篮动作的情况下,可以以上一帧图像中的篮球为中心进行检测,通过判断篮球附近是否有该篮球运动员的关键点特征,从而确定目标人体特征和目标视频帧图像。
如此,通过关键点特征判断视频帧图像中是否存在投篮动作,并进一步的根据关键点特征和篮球位置判断是否存在投篮人物,从而可以确定目标人体特征和目标视频帧图像。
请参阅图4,在某些实施方式中,S41包括:
S411:通过支持向量机模型对关键点特征进行二分类以确定人物是否存在投篮动作。
在某些实施方式中,确定模块14可以用于通过支持向量机模型对关键点特征进行二分类以确定人物是否存在投篮动作。
在某些实施方式中,处理器用于通过支持向量机模型对关键点特征进行二分类以确定人物是否存在投篮动作。
具体地,支持向量机(Support Vector Machine,SVM)是一类按监督学习方式对数据进行二分类的广义线性分类器,其决策边界是对学习样本求解的最大边距超平面。采用支持向量机模型可以对关键点特征进行二分类,从而确定视频帧图像中的人物是否存在投篮动作。例如,关键点特征可以是手腕翻转,根据支持向量机对关键点特征进行二分类可以得到手腕翻转且高于头顶和手腕翻转且低于头顶,若手腕翻转且高于头顶,则可以确定对应的篮球运动员存在投篮动作;若手腕翻转且低于头顶,则继续进行检测。
如此,通过构建二分类支持向量机模型,应用于关键点特征检测环节,判断人物是否存在投篮动作,可以提升关键点特征检测的精确度。
请参阅图5,在某些实施方式中,S60包括:
S61:根据篮球运动轨迹确定篮球的运动方向;
S62:根据篮球的运动方向和球框位置得到投篮结果。
在某些实施方式中,识别模块16可以用于根据篮球运动轨迹确定篮球的运动方向,以及用于根据篮球的运动方向和球框位置得到投篮结果。
在某些实施方式中,处理器用于根据篮球运动轨迹确定篮球的运动方向,以及用于根据篮球的运动方向和球框位置得到投篮结果。
具体地,当确定模块14确定存在投篮动作后,检测模块13确定篮球位置,根据多帧视频帧图像可以判断篮球的运动轨迹,从而可以判断篮球的运动方向。可以理解的,录制视频的相机位置固定,球筐位置也是固定的。根据篮球的运动方向和球筐位置可以得到投篮结果,当篮球的运动方向不发生改变,且篮球穿过球筐中心时,可以确认进球。当篮球的运动方向突然发生改变,或篮球未穿过球筐中心时,确认此次投篮未进。
应当说明的,识别模块16可以通过大量投篮视频数据进行训练,例如,可以通过识别一万个投篮视频,并分别标注这一万个视频的投篮结果以对识别模块16进行训练,从而使识别模块16具有判断投篮结果的能力。
如此,通过识别篮球的运动轨迹可以确定篮球的运动方向,从而可以根据篮球的运动方向和球筐位置计算得到投篮结果。
本发明实施方式还提供了一种非易失性计算机可读存储介质,非易失性计算机可读存储介质包括有计算机程序,当计算机程序被处理器处理的情况下,使得处理器执行上述任一项的投篮识别方法。
在本说明书的描述中,参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种投篮识别方法,其特征在于,
获取篮球赛事的视频数据;
标记所述视频数据中每帧视频帧图像的人体特征;
对所述人体特征检测以确定所述人体特征中的关键点特征;
根据所述关键点特征以确定存在投篮的目标人体特征及所述目标人体特征所在的目标视频帧图像;
根据所述目标人体特征和所述目标视频帧图像之后的所述视频帧图像确定篮球位置并记录篮球运动轨迹;和
根据所述篮球运动轨迹和球框位置得到投篮结果。
2.根据权利要求1所述的投篮识别方法,其特征在于,所述标记所述视频数据中每帧视频帧图像的人体特征,包括:
通过对象检测模型标记每帧所述视频帧图像的人体特征,所述对象检测模型由YOLOv5算法训练得到。
3.根据权利要求1所述的投篮识别方法,其特征在于,所述对所述人体特征进行检测以确定所述人体特征中的关键点特征,包括:
对相邻两帧所述视频帧图像中的人体特征进行匈牙利匹配,以确定每个人物在每帧所述视频帧图像的人体特征;
对所述人物的所述人体特征检测以确定所述关键点特征。
4.根据权利要求3所述的投篮识别方法,其特征在于,所述人体特征为IoU特征、中心点距离、深度学习特征中的一个或者多个特征融合得到。
5.根据权利要求3所述的投篮识别方法,其特征在于,所述根据所述关键点特征以确定存在投篮的目标人体特征及所述目标人体特征所在的目标视频帧图像,包括:
根据所述关键点特征确定所述人物是否存在投篮动作;
在所述人物存在投篮动作的情况下,检测所述人物的所述关键点特征周围是否存在篮球;
在所述关键点特征周围存在篮球的情况下,将所述关键点特征对应的所述人体特征作为所述目标人体特征;
以所述目标人体特征所在的所述视频帧图像作为所述目标视频帧图像。
6.根据权利要求5所述的投篮识别方法,其特征在于,所述根据所述关键点特征确定所述人物是否存在投篮动作,包括:
通过支持向量机模型对所述关键点特征进行二分类以确定所述人物是否存在投篮动作。
7.根据权利要求1所述的投篮识别方法,其特征在于,所述根据所述篮球运动轨迹和球框位置得到投篮结果,包括:
根据所述篮球运动轨迹确定所述篮球的运动方向;
根据所述篮球的运动方向和所述球框位置得到投篮结果。
8.一种篮球识别装置,其特征在于,包括:
获取模块,用于获取篮球赛事的视频数据;
标记模块,用于标记所述视频数据中每帧视频帧图像的人体特征;
检测模块,用于对所述人体特征检测以确定所述人体特征中的关键点特征;
确定模块,用于根据所述关键点特征以确定存在投篮的目标人体特征及所述目标人体特征所在的目标视频帧图像;
记录模块,用于根据所述目标人体特征和所述目标视频帧图像之后的所述视频帧图像确定篮球位置并记录篮球运动轨迹;和
识别模块,用于根据所述篮球运动轨迹和球框位置得到投篮结果。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,当所述计算机被所述处理器执行的情况下,使得所述处理器执行权利要求1-7任一项所述的投篮识别方法。
10.一种包括计算机程序的非易失性计算机可读存储介质,其特征在于,当所述计算机程序被处理器处理的情况下,使得所述处理器执行权利要求1-7任一项所述的投篮识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310118207.8A CN116109981B (zh) | 2023-01-31 | 2023-01-31 | 投篮识别方法、篮球识别装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310118207.8A CN116109981B (zh) | 2023-01-31 | 2023-01-31 | 投篮识别方法、篮球识别装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116109981A true CN116109981A (zh) | 2023-05-12 |
CN116109981B CN116109981B (zh) | 2024-04-12 |
Family
ID=86255884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310118207.8A Active CN116109981B (zh) | 2023-01-31 | 2023-01-31 | 投篮识别方法、篮球识别装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116109981B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106991357A (zh) * | 2016-01-20 | 2017-07-28 | 上海慧体网络科技有限公司 | 基于全景视频的自动识别篮球比赛投篮和进球的算法 |
CN107042012A (zh) * | 2017-06-07 | 2017-08-15 | 简极科技有限公司 | 一种智能篮球投篮轨迹监测方法 |
US20180056124A1 (en) * | 2016-08-23 | 2018-03-01 | Pillar Vision, Inc. | Systems and methods for tracking basketball player performance |
CN109758745A (zh) * | 2018-09-30 | 2019-05-17 | 何家淳 | 基于Python/Java的人工智能篮球训练系统 |
CN110298231A (zh) * | 2019-05-10 | 2019-10-01 | 新华智云科技有限公司 | 一种用于篮球比赛视频进球判定的方法及系统 |
US20200009443A1 (en) * | 2017-03-02 | 2020-01-09 | Rspct Basketball Technologies Ltd. | System and methods for providing a user key performance indicators for basketball |
CN110929596A (zh) * | 2019-11-07 | 2020-03-27 | 河海大学 | 一种基于智能手机和人工智能的投篮训练系统与方法 |
CN111539294A (zh) * | 2020-04-17 | 2020-08-14 | 广东世宇科技股份有限公司 | 投篮检测方法、装置、电子设备及计算机可读存储介质 |
CN111860392A (zh) * | 2020-07-28 | 2020-10-30 | 珠海安联锐视科技股份有限公司 | 基于目标检测和前景检测热力图统计方法 |
CN113011310A (zh) * | 2021-03-15 | 2021-06-22 | 中国地质大学(武汉) | 一种基于图像识别和感应篮板采集投篮运动量的方法、装置、计算机设备及存储介质 |
CN113537168A (zh) * | 2021-09-16 | 2021-10-22 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种用于转播和球场监控场景的篮球进球检测方法及系统 |
CN113610895A (zh) * | 2021-08-06 | 2021-11-05 | 烟台艾睿光电科技有限公司 | 目标跟踪方法、装置、电子设备及可读存储介质 |
CN114272581A (zh) * | 2021-12-13 | 2022-04-05 | 吉林师范大学 | 一种对投篮轨迹进行追踪的篮球框 |
CN115272919A (zh) * | 2022-07-08 | 2022-11-01 | 同济大学 | 一种篮球场高光时刻识别方法、装置及存储介质 |
CN115376034A (zh) * | 2021-12-30 | 2022-11-22 | 南京工业职业技术大学 | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 |
CN115376047A (zh) * | 2022-08-23 | 2022-11-22 | 京东方科技集团股份有限公司 | 一种投篮识别方法、装置、设备和存储介质 |
-
2023
- 2023-01-31 CN CN202310118207.8A patent/CN116109981B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106991357A (zh) * | 2016-01-20 | 2017-07-28 | 上海慧体网络科技有限公司 | 基于全景视频的自动识别篮球比赛投篮和进球的算法 |
US20180056124A1 (en) * | 2016-08-23 | 2018-03-01 | Pillar Vision, Inc. | Systems and methods for tracking basketball player performance |
US20200009443A1 (en) * | 2017-03-02 | 2020-01-09 | Rspct Basketball Technologies Ltd. | System and methods for providing a user key performance indicators for basketball |
CN107042012A (zh) * | 2017-06-07 | 2017-08-15 | 简极科技有限公司 | 一种智能篮球投篮轨迹监测方法 |
CN109758745A (zh) * | 2018-09-30 | 2019-05-17 | 何家淳 | 基于Python/Java的人工智能篮球训练系统 |
CN110298231A (zh) * | 2019-05-10 | 2019-10-01 | 新华智云科技有限公司 | 一种用于篮球比赛视频进球判定的方法及系统 |
CN110929596A (zh) * | 2019-11-07 | 2020-03-27 | 河海大学 | 一种基于智能手机和人工智能的投篮训练系统与方法 |
CN111539294A (zh) * | 2020-04-17 | 2020-08-14 | 广东世宇科技股份有限公司 | 投篮检测方法、装置、电子设备及计算机可读存储介质 |
CN111860392A (zh) * | 2020-07-28 | 2020-10-30 | 珠海安联锐视科技股份有限公司 | 基于目标检测和前景检测热力图统计方法 |
CN113011310A (zh) * | 2021-03-15 | 2021-06-22 | 中国地质大学(武汉) | 一种基于图像识别和感应篮板采集投篮运动量的方法、装置、计算机设备及存储介质 |
CN113610895A (zh) * | 2021-08-06 | 2021-11-05 | 烟台艾睿光电科技有限公司 | 目标跟踪方法、装置、电子设备及可读存储介质 |
CN113537168A (zh) * | 2021-09-16 | 2021-10-22 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种用于转播和球场监控场景的篮球进球检测方法及系统 |
CN114272581A (zh) * | 2021-12-13 | 2022-04-05 | 吉林师范大学 | 一种对投篮轨迹进行追踪的篮球框 |
CN115376034A (zh) * | 2021-12-30 | 2022-11-22 | 南京工业职业技术大学 | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 |
CN115272919A (zh) * | 2022-07-08 | 2022-11-01 | 同济大学 | 一种篮球场高光时刻识别方法、装置及存储介质 |
CN115376047A (zh) * | 2022-08-23 | 2022-11-22 | 京东方科技集团股份有限公司 | 一种投篮识别方法、装置、设备和存储介质 |
Non-Patent Citations (4)
Title |
---|
MASAKI TAKAHASHI 等: "Recognition of action in broadcast basketball videos on the basis of global and local pairwise representation", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》, pages 1 - 8 * |
YULIANG ZHAO 等: "Shooting Prediction Based on Vision Sensors and Trajectory Learning", 《APPLIED SCIENCE》, 8 October 2022 (2022-10-08), pages 1 - 12 * |
张仲: "基于多传感器的篮球运动员步法识别与轨迹跟踪", 《《中国优秀硕士学位论文全文数据库 社会科技II辑》》, pages 134 - 162 * |
林恒青: "基于改进OpenPose算法的篮球动作识别系统设计", 《通化师范学院学报》, pages 78 - 83 * |
Also Published As
Publication number | Publication date |
---|---|
CN116109981B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108810620B (zh) | 识别视频中的关键时间点的方法、装置、设备及存储介质 | |
US9744421B2 (en) | Method of analysing a video of sports motion | |
Kelly et al. | Automatic detection of collisions in elite level rugby union using a wearable sensing device | |
CN111444890A (zh) | 一种基于机器学习的体育数据分析系统和方法 | |
US11798318B2 (en) | Detection of kinetic events and mechanical variables from uncalibrated video | |
US20220277463A1 (en) | Tracking dynamics using a computerized device | |
JP2005102902A (ja) | ゴルフプレー情報記録システム | |
CN113947108A (zh) | 一种基于yolo v5的球员追踪检测方法 | |
Kim et al. | Applying pose estimation to predict amateur golf swing performance using edge processing | |
JP4465150B2 (ja) | 基準点に対する物体の相対位置を測定するシステムおよび方法 | |
Iyer et al. | Automated third umpire decision making in cricket using machine learning techniques | |
KR101705836B1 (ko) | 깊이 정보를 이용한 골프 스윙 분석 시스템 및 방법 | |
CN116109981B (zh) | 投篮识别方法、篮球识别装置、电子设备和存储介质 | |
Lee et al. | A study on sports player tracking based on video using deep learning | |
KR20200080562A (ko) | 스포츠 코트에서의 인아웃 판정 방법 및 장치 | |
Schwenkreis | An Approach to Use Deep Learning to Automatically Recognize Team Tactics in Team Ball Games. | |
KR20190027222A (ko) | 학습 기반 트레이닝 시스템 및 이의 트레이닝 서비스 제공 방법 | |
KR102055146B1 (ko) | 이벤트 기반 비전 센서를 이용한 운동 자세 점검 방법 및 운동 자세 점검 장치 | |
CN109663325B (zh) | 一种击球类运动的计分系统及计分方法 | |
Malawski | Real-Time First Person Perspective Tracking and Feedback System for Weapon Practice Support in Fencing. | |
KR20210010408A (ko) | 비전 센서 데이터 기반 골프 스윙 궤적 추적 및 분석 장치 및 방법 | |
Malawski et al. | Automatic analysis of techniques and body motion patterns in sport | |
US20240020874A1 (en) | Device, computer program and method | |
KR102531461B1 (ko) | 스포츠 데이터 분석 솔루션 제공 시스템 | |
CN108009504A (zh) | 一种运动球体的识别方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |