CN113537168B - 一种用于转播和球场监控场景的篮球进球检测方法及系统 - Google Patents

一种用于转播和球场监控场景的篮球进球检测方法及系统 Download PDF

Info

Publication number
CN113537168B
CN113537168B CN202111083258.9A CN202111083258A CN113537168B CN 113537168 B CN113537168 B CN 113537168B CN 202111083258 A CN202111083258 A CN 202111083258A CN 113537168 B CN113537168 B CN 113537168B
Authority
CN
China
Prior art keywords
basketball
goal
detection
frame
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111083258.9A
Other languages
English (en)
Other versions
CN113537168A (zh
Inventor
王亮
黄岩
张昆
范超
王海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cas Artificial Intelligence Research Qingdao Co ltd
Original Assignee
Cas Artificial Intelligence Research Qingdao Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cas Artificial Intelligence Research Qingdao Co ltd filed Critical Cas Artificial Intelligence Research Qingdao Co ltd
Priority to CN202111083258.9A priority Critical patent/CN113537168B/zh
Publication of CN113537168A publication Critical patent/CN113537168A/zh
Application granted granted Critical
Publication of CN113537168B publication Critical patent/CN113537168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种用于转播和球场监控场景的篮球进球检测方法及系统，所述方案针对常规方法不能适用于转播比赛场景的问题，率先尝试利用预训练的目标检测算法对输入的整段比赛视频进行预处理，将输入视频拆分为候选片段，再利用篮球和篮环轨迹进行进球检测，以实现相应功能；此外，本方案针对由于投影原因导致部分非进球的片段也会满足进球的轨迹条件，仅利用轨迹算法最终容易造成误检的问题，进一步创造性地引入了篮环和篮网区域细节特征检测的方法，最终提升了进球检测准确性。

Description

一种用于转播和球场监控场景的篮球进球检测方法及系统
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种用于转播场景和球场监控场景下的篮球进球检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
利用计算机视觉的方法解决基于视频的篮球进球检测问题是一个重要且具有挑战性的任务。目前涌现出各类方法尝试从简单的场景层面解决该任务，但是在面临更复杂的具体应用场景时，存在诸多问题。发明人发现，一方面，现有的一些方法利用动态差分技术解决该问题，该方法适用于篮板背景在视频画面不移动的情况，因此难以广泛应用于各种场景；另一方面，现有的一些方法从视频帧中获取到篮球和篮框位置和大小信息，利用单帧图像中篮球和篮框的信息判定进球行为，该方法没有利用到视频序列的时序信息及进球时篮网区域的细节信息等，在精度方面有所不足，难以满足更高精度的任务要求。
发明内容
本发明为了解决上述问题，提供一种用于转播和球场监控场景的篮球进球检测方法及系统，有效解决了现有方法适用范围小、检测精度难以提高等问题。
根据本发明实施例的第一个方面，提供了一种用于转播和球场监控场景的篮球进球检测方法，包括：
利用深度检测网络获取输入视频中篮球和篮环位置坐标，并计算篮球和篮环两者距离，根据距离不同选择对应的跳帧参数，完成第一次位置检测；
根据第一次位置检测结果，获取输入视频中多个候选视频片段，逐帧进行第二次位置检测，并记录候选视频片段中每帧的篮球和篮环位置坐标；
将候选视频片段中每帧的篮球和篮环位置坐标，生成对应的篮球运动轨迹和篮环运动轨迹，并筛选出满足进球轨迹算法的候选检测片段；
对于满足进球轨迹算法的候选检测片段，裁切出其进球时刻后若干帧篮网附近区域的图像块，利用预训练的分类网络筛选出图像块中最终进球帧片段及进球帧的集合。
进一步地，所述获取输入视频中篮球和篮环位置坐标，包括对输入视频，从第1帧视频帧图像开始利用预训练的深度检测网络输出对应的篮球和篮环的位置，计算两者距离，根据距离不同选择对应的跳帧参数，直至完成整个输出视频的第一次位置检测。
进一步地，所述获取输入视频中多个候选视频片段，具体为：
通过跳帧的方法对输入的整场比赛视频进行检测后，利用篮球和篮环位置坐标筛选的出的篮球自上而下通过篮环附近范围时的片段。
具体地，在设置跳帧参数时，为兼顾在包含转播和监控各种场景下根据距离进行跳帧检测的准确性和算法运行速度，定义篮球和篮环的距离阈值为
Figure 18379DEST_PATH_IMAGE001
，其中
Figure 309683DEST_PATH_IMAGE002
分别为视频帧图像的高和宽。当篮球和篮网的距离大于阈值
Figure 45558DEST_PATH_IMAGE003
或由于该帧没有检测到篮球或篮环导致该帧距离无法计算但上一次检测距离大于阈值
Figure 713299DEST_PATH_IMAGE003
时，认为篮球距篮环较远，设置跳帧参数为6。当篮球和篮网的距离小于阈值
Figure 851020DEST_PATH_IMAGE003
或由于该帧没有检测到篮球或篮环导致该帧距离无法计算但上一次检测距离小于阈值
Figure 62294DEST_PATH_IMAGE003
时，可认为篮球距篮环较近，设置跳帧参数为3。特别地，经过验证设置阈值
Figure 551044DEST_PATH_IMAGE004
可以确保不漏掉篮球距离篮环较近时的片段，保证检测准确性。
进一步地，所述完成整个输入视频的第一次位置检测后，输出为根据检测结果筛选出的若干个满足篮球自上而下通过篮环附近范围时的片段，将这些片段作为用于进球检测的候选片段。
进一步地，所述逐帧进行第二次位置检测，具体包括：
利用预训练的深度检测网络逐帧对候选视频片段进行检测，用以获取准确的篮球运动轨迹和篮环运动轨迹。
进一步地，所述的逐帧对进球检测候选片段第二次位置检测，还包括：
对个别没有检测到的篮球或篮环位置坐标的帧，采用插值法补齐。
进一步地，所述篮网附近区域的图像块是利用获取的篮环位置信息从原视频图像帧中裁取的包含篮环和篮网区域的图像块，所述图像块包含了进球时刻篮球、篮环和篮网的细节信息。具体地，篮球、篮环和篮网的细节特征是指裁取的图像块中所包含的篮球、篮环和篮网的相对位置关系、篮网的摆动情况、篮球和篮网的遮挡关系等情况。利用以上细节信息可以对进球情况做进一步判断。
进一步地，所述轨迹算法，具体包括分别根据每个候选检测片段的篮球和篮环位置坐标生成对应的篮球运动轨迹和篮环运动轨迹。
本发明第二方面提供了一种用于转播和球场监控场景的篮球进球检测系统，包括：
位置坐标提取单元，用于获取视频帧中篮球和篮环位置坐标，以供后续单元筛选候选进球片段及生成篮球和篮环在图像坐标下的运动轨迹；
候选片段筛选单元，用于根据视频中获取的篮球和篮环位置信息，从输入视频中筛选出若干视频片段，供后续轨迹算法使用；
轨迹特征筛选单元，用于从候选片段中筛选出满足进球轨迹算法的候选片段，记录每个片段对应的进球帧；
篮网区域特征筛选单元，用于对满足进球轨迹算法的候选片段，进一步分析其进球时刻篮网区域细节特征，筛选出最终的进球片段及进球帧的集合。
与现有技术相比，本发明的有益效果是：
（1）本发明针对常规方法不能适用于转播场景的问题，率先尝试对输入视频利用预训练的目标检测算法进行预处理，将输入视频拆分为候选片段，再利用篮球和篮环轨迹进行检测，以实现相应功能。
（2）本发明所述方案针对由于投影原因，单纯从轨迹条件判断进球行为会引入部分非进球片段的情况，本发明所述方案进一步创造性地引入了篮环和篮网区域细节特征检测的方法，最终提升了进球检测准确性。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明提供的一种用于转播和球场监控场景的篮球进球检测方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1：
本实施例提供一种用于转播和球场监控场景的篮球进球检测方法，包括：
对输入视频，从第1帧视频帧图像开始利用预训练的深度检测网络输出对应的篮球和篮环的位置，计算两者距离，根据距离不同选择对应的跳帧参数，直至完成整个输出视频的第一次位置检测；
分析以上第一次位置检测结果，筛选出若干个在篮球自上而下通过篮环附近范围时的片段，作为进球检测候选片段；
对上一步筛选出的所有候选检测片段，逐帧进行第二次位置检测，记录每个视频段每帧的篮球和篮环位置，对个别没有检测到的篮球或篮环位置坐标的帧，采用插值法补齐；
分别根据每个候选检测片段的篮球和篮环位置坐标生成对应的篮球运动轨迹和篮环运动轨迹，从中筛选出满足进球轨迹算法的候选检测片段，并记录对应的进球时刻的帧编号；
对满足进球轨迹要求的候选片段，进一步裁切出其进球时刻后几帧篮网附近区域的图像块，利用预训练的分类算法进一步筛选出最终的进球片段及进球帧的集合。
具体的，图1展示了本发明所述方案中篮球进球检测方法流程图，为了便于理解，结合图1，对所述方案详细流程进行详细说明：
步骤S0，收集包含转播场景、球场监控场景等篮球比赛的图像，利用诸如LabelImg等代表性标注工具，对图像内篮球和篮环位置进行标注；
步骤S1，利用以上的标注数据训练一个用于目标检测的深度神经网络，训练后的目标检测网络可以对输入的视频帧图像输出对应的篮球和篮环的边框坐标；
步骤S2，收集转播场景、球场监控场景下篮球比赛中实际进球和不进球时的投篮、上篮及扣篮等视频片段，从视频片段中截取篮球接触篮环瞬间及后几帧的图像，从截取的图像中裁切出包含篮环和篮网区域的图像块，并对裁切后的图像块按照实际进球和不进球的情况进行分类，以组建用于训练分类神经网络的数据集；
步骤S3，利用以上分类的图像块数据训练一个用于分类的深度神经网络，训练后的分类网络可以对输入的篮环和篮网区域的图片块输出对应的进球的概率；
步骤S4，算法执行时，输入一段比赛视频，从第1帧视频帧图像开始利用检测网络输出该帧图像对应的篮球和篮环的位置，计算两者距离，根据距离值选择则跳过多少帧进行下一次检测，根据距离进行跳帧检测的目的是在保证算法准确的情况下加快执行效率，执行以上过程直至完成这个输入比赛视频的检测；
步骤S5，分析以上比赛视频的检测结果，根据篮球和篮环的坐标变化信息筛选出若干个在篮球自上而下通过篮环附近范围时的片段，这些片段作为后续进球检测的候选片段，将其按照先后顺序编号为
Figure 756898DEST_PATH_IMAGE005
，其中
Figure 14704DEST_PATH_IMAGE006
，
Figure 913390DEST_PATH_IMAGE007
为候选检测片段总个数,并且记录每个候选片段在整个比赛视频中的开始帧
Figure 623857DEST_PATH_IMAGE008
和结束帧
Figure 367822DEST_PATH_IMAGE009
；
步骤S6，对上一步筛选出的所有
Figure 480134DEST_PATH_IMAGE007
个候选片段，利用检测网络逐帧进行篮球和篮环位置检测，记录每帧的篮球坐标
Figure 284142DEST_PATH_IMAGE010
和篮环位置坐标
Figure 481905DEST_PATH_IMAGE011
,其中
Figure 29561DEST_PATH_IMAGE012
为图像帧在输入视频的中的帧编号；
步骤S7，以上位置检测结果中，个别帧会存在篮球或者篮环漏检的情况，此时对漏检的帧采用插值法补齐坐标，利用补齐后的坐标分别生成准确的篮球运动轨迹
Figure 261959DEST_PATH_IMAGE013
和篮环运动轨迹
Figure 502448DEST_PATH_IMAGE014
，其中
Figure 921928DEST_PATH_IMAGE006
,
Figure 538854DEST_PATH_IMAGE007
为候选检测片段总数；
步骤S8，根据以上
Figure 360180DEST_PATH_IMAGE007
个候选检测片段的篮球和篮环运动轨迹，筛选出满足进球轨迹算法的视频片段，记录满足进球轨迹算法的视频段个数为
Figure 771569DEST_PATH_IMAGE015
。并且记录每个视频段对应的被判断为进球帧的编号
Figure 675416DEST_PATH_IMAGE016
，其中
Figure 564874DEST_PATH_IMAGE005
为对应的视频片段的编号，满足
Figure 506286DEST_PATH_IMAGE017
；
步骤S9，对以上
Figure 354156DEST_PATH_IMAGE015
个满足进球轨迹算法的视频段，分别裁取第
Figure 748228DEST_PATH_IMAGE018
、
Figure 706957DEST_PATH_IMAGE019
和
Figure 237295DEST_PATH_IMAGE020
帧对应的篮环和篮网区域的图像块，其中
Figure 990488DEST_PATH_IMAGE005
为轨迹片段的编号，满足
Figure 871856DEST_PATH_IMAGE017
，
Figure 368696DEST_PATH_IMAGE016
为第
Figure 19121DEST_PATH_IMAGE005
个视频段被判断为进球时刻的帧编号；
步骤S10，对以上
Figure 677635DEST_PATH_IMAGE015
个视频段对应的篮环和篮网区域图像块，分别利用预训练的深度分类网络根据其细节特征输出对应的进球概率，从而筛选出满足进球时篮环和篮网区域细节特征的视频段，记视频段总数为
Figure 46300DEST_PATH_IMAGE021
。
步骤S11，根据步骤S8和步骤S10的结果，最终获取所有
Figure 346831DEST_PATH_IMAGE022
个视频段对应的进球帧的集合
Figure 117341DEST_PATH_IMAGE023
，至此算法执行完成。
本实施例中，筛选出满足进球轨迹算法的候选检测片段，
具体为：
针对生成的篮球运动轨迹和篮环运动轨迹，定义满足进球情况的轨迹为：在以上轨迹中存在某帧，满足在该帧时篮球中心坐标位于篮环中心坐标上方且篮球边框位于篮环边框宽度范围内，而在下一帧时篮球中心坐标位于篮环中心坐标下方且篮球边框位于篮环边框宽度范围内，同时该帧也被定义为这个轨迹对应的进球帧。根据以上进球轨迹算法定义，筛选出满足进球轨迹算法的候选检测片段，并记录每个候选检测片段对应的进球帧。
本实施例中，
利用预训练的分类网络筛选出图像块中最终进球帧片段及进球帧的集合，具体为：
其中用于分类的深度神经网络预训练的过程包括：收集包含转播场景、球场监控场景等篮球比赛进球瞬间及后几帧的比赛图像，裁切出包含篮环和篮网区域的图像块，对裁切后的图像块按照实际进球和不进球的情况进行分类，并按照一定比例划分训练集和验证集，利用该数据集训练一个用于二分类的深度神经网络，训练后的分类网络可以对输入的篮环和篮网区域的图片块输出进球的概率。
本发明所提出的一种用于转播场景和球场监控场景下的篮球进球检测方法及系统引入了利用轨迹信息及进球时刻篮环和篮网区域细节特征用于进球检测的过程，扩大了进球检测算法的适用场景，并且显著提高了检测的准确性。具体而言，针对常规方法不能适用于转播比赛场景的问题，率先尝试利用预训练的目标检测算法对输入视频进行预处理，将输入视频拆分为候选片段，再利用篮球和篮环轨迹进行进球检测，以实现相应功能。此外，针对由于投影原因导致部分非进球的片段也会满足进球的轨迹条件，仅利用轨迹算法最终容易造成误检的问题，进一步创造性地引入了篮环和篮网区域细节特征检测的方法，最终提升了进球检测准确性。
实施例2：
本实施例提供一种用于转播和球场监控场景的篮球进球检测系统，包括：
位置坐标提取单元，用于获取视频帧中篮球和篮环位置坐标，以供后续单元筛选候选进球片段及生成篮球和篮环在图像坐标下的运动轨迹；
候选片段筛选单元，用于根据视频中获取的篮球和篮环位置信息，从输入视频中筛选出若干视频片段，供后续轨迹算法使用；
轨迹特征筛选单元，用于从候选片段中筛选出满足进球轨迹算法的候选片段，记录每个片段对应的进球帧；
篮网区域特征筛选单元，用于对满足进球轨迹算法的候选片段，进一步分析其进球时刻篮网区域细节特征，筛选出最终的进球片段及进球帧的集合。
所述系统的工作方法与实施例1提供的用于转播和球场监控场景的篮球进球检测方法相同，这里不再赘述。
实施例3：
数据集和评估指标
为验证所述方法有效性，本发明根据具体应用场景构建了用于测试的数据集，数据集包括电视转播场景比赛及球场监控场景比赛。其中电视转播场景比赛包含中国男子篮球职业联赛（CBA）和中国大学生篮球联赛（CUBA）两类场景共计10场比赛，球场监控场景比赛包含25个不同场地的比赛监控视频。为用于评估，标注每场比赛的进球时刻和进球个数作为真实值，并报告由常用指标精确率（Precision）和召回率（Recall）评测的结果。数据集的统计信息见表1。
表1数据集统计信息
Figure 946756DEST_PATH_IMAGE024
对比方法
将本发明方法与以下方法进行比较：1）基于动态差分的方法；2）基于单帧图像检测的方法。
实施过程的详细信息
本发明使用基于NVIDIA RTX 2080 Ti GPU加速的PyTorch框架实现。训练时对于深度检测模型及深度分类模型，均用Xavier方法随机初始化模型参数，优化算法采用Adam，Batch Size参数对于深度检测模型设置为16，对于深度分类模型设置为64。测试时，BatchSize均设置为1。
实验结果
表2实验结果
Figure 68296DEST_PATH_IMAGE025
表2显示了本发明方法在测试数据集上与其他方法的比较结果。有以下观察结果：
1）本发明所述方法在包含比赛转播及球场监控的场景下，检测精确率指标均最高，这证明了本发明所述方法检测的精确性。2）同时本发明方法在各场景下的召回率指标也处于领先，表示本发明方法可以更多的从对应场景中找出进球片段，具有较好的应用前景。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种用于转播和球场监控场景的篮球进球检测方法，其特征在于，包括：
利用深度检测网络获取输入视频中篮球和篮环位置坐标，并计算篮球和篮环两者距离，根据距离不同选择对应的跳帧参数，完成第一次位置检测；
根据第一次位置检测结果，获取输入视频中多个候选视频片段，逐帧进行第二次位置检测，并记录候选视频片段中每帧的篮球和篮环位置坐标；
将候选视频片段中每帧的篮球和篮环位置坐标，生成对应的篮球运动轨迹和篮环运动轨迹，并筛选出满足进球轨迹算法的候选检测片段；
对于满足进球轨迹算法的候选检测片段，裁切出其进球时刻后若干帧篮网附近区域的图像块，利用预训练的分类网络筛选出图像块中最终进球片段及进球帧的集合；
所述获取输入视频中篮球和篮环位置坐标，包括对输入视频，从第1帧视频帧图像开始利用预训练的深度检测网络输出对应的篮球和篮环的位置，计算两者距离，根据距离不同选择对应的跳帧参数，直至完成整个输出视频的第一次位置检测；
针对生成的篮球运动轨迹和篮环运动轨迹，定义满足进球情况的轨迹为：在以上轨迹中存在某帧，满足在该帧时篮球中心坐标位于篮环中心坐标上方且篮球边框位于篮环边框宽度范围内，而在下一帧时篮球中心坐标位于篮环中心坐标下方且篮球边框位于篮环边框宽度范围内，同时该帧也被定义为这个轨迹对应的进球帧，根据以上进球轨迹算法定义，筛选出满足进球轨迹算法的候选检测片段，并记录每个候选检测片段对应的进球帧。
2.如权利要求1所述的一种用于转播和球场监控场景的篮球进球检测方法，其特征在于，所述获取输入视频中多个候选视频片段，具体为：
通过跳帧的方法对输入的整场比赛视频进行检测后，利用篮球和篮环位置坐标筛选出的篮球自上而下通过篮环附近范围时的片段。
3.如权利要求1所述的一种用于转播和球场监控场景的篮球进球检测方法，其特征在于，所述逐帧进行第二次位置检测，具体包括：
利用预训练的深度检测网络逐帧对候选视频片段进行检测，用以获取准确的篮球运动轨迹和篮环运动轨迹。
4.如权利要求1所述的一种用于转播和球场监控场景的篮球进球检测方法，其特征在于，所述的逐帧对进球检测候选片段第二次位置检测，还包括：
对个别没有检测到的篮球或篮环位置坐标的帧，采用插值法补齐。
5.如权利要求1所述的一种用于转播和球场监控场景的篮球进球检测方法，其特征在于，所述篮网附近区域的图像块是利用获取的篮环位置信息从原视频图像帧中裁取的包含篮环和篮网区域的图像块，所述图像块包含了进球时刻篮球、篮环和篮网的细节信息。
6.如权利要求1所述的一种用于转播和球场监控场景的篮球进球检测方法，其特征在于，所述轨迹算法，具体包括分别根据每个候选检测片段的篮球和篮环位置坐标生成对应的篮球运动轨迹和篮环运动轨迹。
7.一种用于转播和球场监控场景的篮球进球检测系统，基于权利要求1-6任意一项所述的方法，其特征在于，包括：
位置坐标提取单元，被配置为，利用预训练的深度检测网络获取输入视频中篮球和篮环位置坐标，并计算两者距离，根据距离不同选择对应的跳帧参数，完成第一次位置检测；
候选片段筛选单元，被配置为，根据第一次位置检测结果，获取输入视频中多个候选视频片段，逐帧进行第二次位置检测，并记录候选视频片段中每帧的篮球和篮环位置坐标；
轨迹特征筛选单元，被配置为，将候选视频片段中每帧的篮球和篮环位置坐标，生成对应的篮球运动轨迹和篮环运动轨迹，并筛选出满足进球轨迹算法的候选检测片段，并记录每个候选检测片段对应的进球帧；
篮网区域特征筛选单元，被配置为，对于满足进球轨迹要求的候选检测片段，裁切出其进球时刻后几帧篮网附近区域的图像块，利用预训练的分类算法筛选出图像块中最终进球帧片段及进球帧的集合；
其中，针对生成的篮球运动轨迹和篮环运动轨迹，定义满足进球情况的轨迹为：在以上轨迹中存在某帧，满足在该帧时篮球中心坐标位于篮环中心坐标上方且篮球边框位于篮环边框宽度范围内，而在下一帧时篮球中心坐标位于篮环中心坐标下方且篮球边框位于篮环边框宽度范围内，同时该帧也被定义为这个轨迹对应的进球帧，根据以上进球轨迹算法定义，筛选出满足进球轨迹算法的候选检测片段，并记录每个候选检测片段对应的进球帧。
CN202111083258.9A 2021-09-16 2021-09-16 一种用于转播和球场监控场景的篮球进球检测方法及系统 Active CN113537168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111083258.9A CN113537168B (zh) 2021-09-16 2021-09-16 一种用于转播和球场监控场景的篮球进球检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111083258.9A CN113537168B (zh) 2021-09-16 2021-09-16 一种用于转播和球场监控场景的篮球进球检测方法及系统

Publications (2)

Publication Number Publication Date
CN113537168A CN113537168A (zh) 2021-10-22
CN113537168B true CN113537168B (zh) 2022-01-18

Family

ID=78123170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111083258.9A Active CN113537168B (zh) 2021-09-16 2021-09-16 一种用于转播和球场监控场景的篮球进球检测方法及系统

Country Status (1)

Country Link
CN (1) CN113537168B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109981B (zh) * 2023-01-31 2024-04-12 北京智芯微电子科技有限公司 投篮识别方法、篮球识别装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701460A (zh) * 2016-01-07 2016-06-22 王跃明 一种基于视频的篮球进球检测方法和装置
CN106991357A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 基于全景视频的自动识别篮球比赛投篮和进球的算法
CN108810620A (zh) * 2018-07-18 2018-11-13 腾讯科技（深圳）有限公司 识别视频中的关键时间点的方法、计算机设备及存储介质
CN109692450A (zh) * 2017-10-23 2019-04-30 聂怀军 一种空心球判断方法
CN109961039A (zh) * 2019-03-20 2019-07-02 上海者识信息科技有限公司 一种个人进球视频捕捉方法及系统
CN110298231A (zh) * 2019-05-10 2019-10-01 新华智云科技有限公司 一种用于篮球比赛视频进球判定的方法及系统
CN110314361A (zh) * 2019-05-10 2019-10-11 新华智云科技有限公司 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN110490112A (zh) * 2019-08-13 2019-11-22 新华智云科技有限公司 足球视频片段检测方法、装置、系统及存储介质
CN110929596A (zh) * 2019-11-07 2020-03-27 河海大学 一种基于智能手机和人工智能的投篮训练系统与方法
CN111626155A (zh) * 2020-05-14 2020-09-04 新华智云科技有限公司 一种篮球位置点的生成方法及设备
CN112446319A (zh) * 2020-11-23 2021-03-05 新华智云科技有限公司 一种篮球比赛智能分析系统、分析方法、设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9520128B2 (en) * 2014-09-23 2016-12-13 Intel Corporation Frame skipping with extrapolation and outputs on demand neural network for automatic speech recognition
CN106991359B (zh) * 2016-01-20 2020-08-07 上海慧体网络科技有限公司 一种在全景模式下对球赛视频中篮球进行跟踪的算法
CN106991358A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 基于全景视频的自动识别足球比赛进球的算法
CN107303428A (zh) * 2016-04-20 2017-10-31 李斌 基于图像处理的篮球进球判定方法及系统
CN107305138A (zh) * 2016-04-20 2017-10-31 李斌 基于手腕姿态检测的篮球动作识别方法和系统
US20190176012A1 (en) * 2017-12-08 2019-06-13 ShotTracker, Inc. Goal Determination Using Remotely Detected Location in Space and Magnetic Flux-Based Goal-Proximity Sensing

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701460A (zh) * 2016-01-07 2016-06-22 王跃明 一种基于视频的篮球进球检测方法和装置
CN106991357A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 基于全景视频的自动识别篮球比赛投篮和进球的算法
CN109692450A (zh) * 2017-10-23 2019-04-30 聂怀军 一种空心球判断方法
CN108810620A (zh) * 2018-07-18 2018-11-13 腾讯科技（深圳）有限公司 识别视频中的关键时间点的方法、计算机设备及存储介质
CN109961039A (zh) * 2019-03-20 2019-07-02 上海者识信息科技有限公司 一种个人进球视频捕捉方法及系统
CN110298231A (zh) * 2019-05-10 2019-10-01 新华智云科技有限公司 一种用于篮球比赛视频进球判定的方法及系统
CN110314361A (zh) * 2019-05-10 2019-10-11 新华智云科技有限公司 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN110490112A (zh) * 2019-08-13 2019-11-22 新华智云科技有限公司 足球视频片段检测方法、装置、系统及存储介质
CN110929596A (zh) * 2019-11-07 2020-03-27 河海大学 一种基于智能手机和人工智能的投篮训练系统与方法
CN111626155A (zh) * 2020-05-14 2020-09-04 新华智云科技有限公司 一种篮球位置点的生成方法及设备
CN112446319A (zh) * 2020-11-23 2021-03-05 新华智云科技有限公司 一种篮球比赛智能分析系统、分析方法、设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Robust Camera Calibration and Player Tracking in Broadcast Basketball Video;Min-Chun Hu等;《IEEE Transactions on Multimedia》;20110430;第13卷(第2期);266-279 *
基于视频的篮球持球队员行为预测研究;王千;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130215;第2013年卷(第2期);I138-1640 *
篮球视频精彩事件检测方法研究;王硕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315;第2017年卷(第3期);I138-4870 *

Also Published As

Publication number Publication date
CN113537168A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US11803749B2 (en) Method and device for identifying key time point of video, computer apparatus and storage medium
Huang et al. Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications
US11755952B2 (en) System and method for predictive sports analytics using body-pose information
Xiong et al. A pursuit of temporal accuracy in general activity detection
CN110298231B (zh) 一种用于篮球比赛视频进球判定的方法及系统
US7956893B2 (en) Method of indexing last pitching shots in a video of a baseball game
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
Ghosh et al. Towards structured analysis of broadcast badminton videos
US9928879B2 (en) Video processing method, and video processing device
CN110460838B (zh) 一种镜头切换的检测方法、装置及计算机设备
JP4886707B2 (ja) オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム
CN109409294B (zh) 基于对象运动轨迹的停球事件的分类方法和系统
Komorowski et al. Deepball: Deep neural-network ball detector
CN113537168B (zh) 一种用于转播和球场监控场景的篮球进球检测方法及系统
Vats et al. Puck localization and multi-task event recognition in broadcast hockey videos
CN110314361B (zh) 一种基于卷积神经网络的篮球进球得分判断方法及系统
CN109460724B (zh) 基于对象检测的停球事件的分离方法和系统
Valand et al. Automated clipping of soccer events using machine learning
JP4200219B2 (ja) 画像認識装置及び画像認識プログラム
RU2616152C1 (ru) Способ контроля пространственного положения участников спортивного события на игровом поле
Arora et al. Cricket umpire assistance and ball tracking system using a single smartphone camera
Hsu et al. Spiking and blocking events detection and analysis in volleyball videos
Jiang et al. Deep learning application in broadcast tennis video annotation
Tahan et al. A computer vision driven squash players tracking system
Weeratunga et al. Application of computer vision to automate notation for tactical analysis of badminton

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant