CN111291617B - 基于机器学习的羽毛球赛事视频精彩片段提取方法 - Google Patents
基于机器学习的羽毛球赛事视频精彩片段提取方法 Download PDFInfo
- Publication number
- CN111291617B CN111291617B CN202010031201.3A CN202010031201A CN111291617B CN 111291617 B CN111291617 B CN 111291617B CN 202010031201 A CN202010031201 A CN 202010031201A CN 111291617 B CN111291617 B CN 111291617B
- Authority
- CN
- China
- Prior art keywords
- badminton
- video
- frame
- highlight
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title abstract description 19
- 238000010801 machine learning Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000000007 visual effect Effects 0.000 claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 28
- 230000005484 gravity Effects 0.000 claims abstract description 24
- 206010061274 Malocclusion Diseases 0.000 claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000013508 migration Methods 0.000 claims abstract description 9
- 230000005012 migration Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 15
- 239000012634 fragment Substances 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 11
- 238000013526 transfer learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 102100028717 Cytosolic 5'-nucleotidase 3A Human genes 0.000 description 2
- 241000219745 Lupinus Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004138 cluster model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
Abstract
本发明公开了一种羽毛球赛事视频精彩片段提取方法，包括：获取羽毛球视频；采用Keras框架进行迁移学习，获得视角分类模型；根据视角分类模型，对羽毛球视频进行分割，获得广播视角羽毛球视频片段；通过YOLOv3目标检测模型，确定运动员的重心；根据运动员的重心，确定广播视角羽毛球视频片段中整体球员平均速度，并将整体球员平均速度最大的几个广播视角羽毛球视频片段作为羽毛球视频精彩片段。本发明涉及以视角分类为核心的片段分割环节、以判断球员整体速度为核心的精彩片段提取环节，最终实现了一种羽毛球赛事视频的精彩片段提取方法，可以使用户直接欣赏到羽毛球赛事视频中的比赛精彩片段，节约了用户的时间成本。
Description
技术领域
本发明涉及运动视频处理技术领域，更具体的涉及一种羽毛球赛事视频精彩片段提取方法。
背景技术
体育视频拥有数量庞大的受众群体和巨大的商业应用前景。随着移动设备和互联网的普及，用户对体育视频的需求，从直接观看完整视频，转到对视频的多元化的需求。例如，直接观看视频中比赛的精彩片段和突发事件，对应视频分析技术中的精彩片段提取和异常事件检测等。并且在体育视频分析领域，研究较多的运动项目有篮球、足球、排球和网球等，而在羽毛球领域研究较少，仍有很大的空缺等待填补。
精彩片段提取技术目前主要基于全景关键帧。例如广东鑫程电科技有限公司提取前后多帧运动目标并进行匹配，将匹配的多帧视为一帧，重复多次后将浓缩的视频帧连接起来形成精彩片段。随着羽毛球在世界范围的推广，近些年的研究出现了增加的趋势。因羽毛球与网球在场地和打法上有许多相似性，因此许多羽毛球视频的相关技术借鉴于网球运动视频的研究。
现有的运动视频关键信息捕捉技术，主要集中在关键帧提取上，而未出现对视频中的精彩片段进行直接有效提取的研究。从视频中提取出的关键帧不能表现出前景目标对应运动方向，运动轨迹的特征，属于视频中的静态关键信息。精彩片段是指从整段视频中分割出的状态激烈时的多段视频序列，可以表现出运动特征，属于视频中的动态关键信息，可以满足用户无需手动处理就能观赏视频动态关键信息的需求。
发明内容
本发明实施例提供一种羽毛球赛事视频精彩片段提取方法，用以解决上述背景技术中存在的问题。
本发明实施例提供一种羽毛球赛事视频精彩片段提取方法，包括：
获取羽毛球视频；
采用Keras框架进行迁移学习，获得视角分类模型；根据视角分类模型，对羽毛球视频进行分割，获得广播视角羽毛球视频片段；
通过YOLOv3目标检测模型，确定运动员的重心；根据运动员的重心，确定广播视角羽毛球视频片段中整体球员平均速度，并将整体球员平均速度最大的几个广播视角羽毛球视频片段作为羽毛球视频精彩片段。
进一步地，所述羽毛球视频包括：广播视角羽毛球视频、场边视角羽毛球视频、无用视角羽毛球视频。
进一步地，本发明实施例提供的一种羽毛球赛事视频精彩片段提取方法，还包括：采用K-Means方法对三种视角的羽毛球视频进行图像聚类，验证羽毛球视频分类的可行性；具体包括：
采用主成分分析PCA方法对图像进行降维；
指定聚类簇数为3，分别对应羽毛球视频的三种视角；
采用K-Means方法进行图像聚类；
根据聚类结果，验证羽毛球视频三种视角的分类可行性。
进一步地，所述采用Keras框架进行迁移学习，获得视角分类模型；具体包括：
采用Keras深度学习框架进行迁移学习，使用ImageNet图像库上的预训练图像分类模型作为迁移学习的预训练模型；采用MobileNet作为三种视角分类的基础网络结构；采用深度可分离Depthwise卷积替代传统3D卷积；
对预训练模型效果进行实验，设置参数包括：输入图像大小为224×224；添加全连接层，尺寸为3；图像像素值缩放到[0，1]；优化器为SGD，学习率为0.0001，动量为0.9；损失函数为分类交叉熵；批量大小为32；迭代5次验证集损失没下降，降低一半学习率；迭代30次验证集损失没下降停止训练。
进一步地，所述根据视角分类模型，对羽毛球视频进行分割，获得广播视角羽毛球视频片段；具体包括：
依次读取一段完整羽毛球赛事视频的每一帧，每读取一帧时，做如下处理：若该帧的视角被预测为广播视角，且前一帧非广播视角时，则创建一个存储以该帧为第一帧的视频片段连续帧的存储队列，并将该帧写入此存储队列；若该帧和前一帧的视角皆被预测为广播视角，则将该帧写入最新创建的存储队列中。
进一步地，本发明实施例提供的一种羽毛球赛事视频精彩片段提取方法，还包括：对所述视角分类模型进行可视化；具体包括：
采用t-SNE降维方法对所述视角分类模型进行可视化。
进一步地，所述通过YOLOv3目标检测模型，确定运动员的重心；具体包括：
通过YOLOv3目标检测模型对羽毛球视频片段中的每一帧进行目标为“人”的检测，根据检测框定义重心；目标检测默认人的头部在上，以目标框顶部终点为三角形顶点，目标框底部线构成该三角形的另两点，目标框左上角点为(x1，y1)，目标框右下角点为(x2，y2)则重心为：
进一步地，所述根据运动员的重心，确定广播视角羽毛球视频片段中整体球员平均速度；具体包括：
以相邻两帧中检测到的最后一个球员的移动速度近似为整体速度，设第i，i+1两个相邻帧中检测到的最后一个球员的重心分别为(pi，qi)，(pi+1，qi+1)则这两帧的球员整体速度为：
整个视频片段的球员平均速度定义为：
其中，N为视频片段的总帧数，T为视频片段的播放总时长。
进一步地，所述将整体球员平均速度最大的几个广播视角羽毛球视频片段作为羽毛球视频精彩片段；具体包括：
将广播视角羽毛球视频片段按照整体球员平均速度值由高到低进行排序，并取前十个广播视角羽毛球视频片段作为羽毛球视频精彩片段。
进一步地，本发明实施例提供的一种羽毛球赛事视频精彩片段提取方法，还包括：通过对比音频关键词，评价羽毛球视频精彩片段；具体包括：
评价标准为羽毛球视频精彩片段中是否有观众的惊讶声、呐喊声、热烈掌声、解说的正面评价。
本发明实施例提供一种羽毛球赛事视频精彩片段提取方法，与现有技术相比，其有益效果如下：
本发明通过以视角分类为核心的片段分割环节、以球员整体速度判断为核心的精彩片段提取环节实现了一种羽毛球赛事视频的精彩片段提取方法，其不同于关键帧提取，针对从整个羽毛球赛事视频中提取精彩片段，可以使用户直接选择性地欣赏到羽毛球赛事视频中的比赛精彩片段，一定程度上使用户无需手动处理就能观赏到视频的关键片段，节约了用户的时间成本。
附图说明
图1为本发明实施例提供的一种羽毛球赛事视频精彩片段提取方法流程图；
图2a为本发明实施例提供的羽毛球视频的广播视角；
图2b为本发明实施例提供的羽毛球视频的场边视角；
图2c为本发明实施例提供的羽毛球视频的无用视角；
图3为本发明实施例提供的传统卷积操作与Depthwise卷积对比；
图4为本发明实施例提供的羽毛球视频片段分割示意图；
图5为本发明实施例提供的目标框重心示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明实施例提供一种羽毛球赛事视频精彩片段提取方法，该方法包括：
步骤1，获取羽毛球视频。
步骤2，采用Keras框架进行迁移学习，获得视角分类模型；根据视角分类模型，对羽毛球视频进行分割，获得广播视角羽毛球视频片段.
步骤2，通过YOLOv3目标检测模型，确定运动员的重心；根据运动员的重心，确定广播视角羽毛球视频片段中整体球员平均速度，并将整体球员平均速度最大的几个广播视角羽毛球视频片段作为羽毛球视频精彩片段。
上述步骤1～3的具体过程如下所述：
本发明的目的是提供一种为羽毛球赛事视频观众用户提供一种节省大量直接观看羽毛球比赛视频的时间，能够使用户选择性地直接欣赏到羽毛球赛事视频精彩片段的服务。
第一步是收集羽毛球视频
收集对象是2018年世界羽联主要公开赛和2019年世界羽联前六场公开赛，前者用于分类模型的训练，后者用于片段分割和精彩片段提取的测试。收集渠道是哇哈体育和Youtube，主要通过人工操作百度网盘和GihosoftTubeGet进行。
第二步是对羽毛球视频进行片段分割
首先通过聚类进行预实验，验证本发明提出的分类的可行性。然后直接通过Keras框架进行迁移学习生成分类模型。接着对该分类模型进行多方面的性能度量和可视化。随之采用t-SNE降维方法可视化数据在经过多种优化后的分布。最后通过Python+OpenCV编程实现羽毛球视频片段分割。
在羽毛球视频中对如图2所示的广播视角、场边视角、无用视角三种视角分类的基础上，对羽毛球视频进行分割。其中广播视角，即在电视或网络平台转播时呈现的视角，其特征是摄像机俯视场地；场边视角，即摄像机放置于场地旁呈现的视角，其特征是摄像机平视场地；无用视角，除以上两种视角外的视角，其特征是无法观察到完整场地或完整击球轨迹。
先使用K-Means方法对三种视角进行图像聚类，以验证分类可行性。再使用Keras框架进行迁移学习建立分类模型，综合对比选择了MobileNet作为分类模型，并对其进行性能度量和可视化。最后，利用训练得到的分类模型对羽毛球视频进行片段分割，为后续的精彩片段提取作基础准备。
视角分类可行性验证
对于计算机来说，让其理解图片内容及其含义是比较难的，因此需要进行预实验，验证三种视角的分类是否合理，本发明采用K-Means方法进行验证。用于训练PCA的图片越多，产生的聚类模型大小越大。综合考虑生成的聚类模型大小，对三个分类各取20张图像进行预实验，共60张图像。使用聚类算法验证该三分类的可行性，方法如下：(1)使用主成分分析PCA方法对图像进行降维；(2)指定聚类簇数为3，对应三种视角；(3)使用K均值聚类K-Means方法进行图像聚类。聚类结果表明，三种视角的分类是可行的。
建立视角分类模型
本发明采用Keras深度学习框架实现迁移学习，使用ImageNet图像库上的预训练图像分类模型作为迁移学习的预训练模型，可以大大提高分类效果并加快训练收敛速度。对几种预训练模型效果一一进行了实验。实验模型训练设置的主要参数如下：(1)输入图像大小为224×224；(2)添加全连接层，尺寸为3；(3)图像像素值缩放到[0,1]；(4)优化器为SGD，学习率为0.0001，动量为0.9；(5)损失函数为分类交叉熵；(6)批量大小为32；(7)迭代5次验证集损失没下降，降低一半学习率；(8)迭代30次验证集损失没下降停止训练。
测试指标主要有模型大小、验证集准确率、验证集损失和FPS，用于测试的计算机显卡为NVIDIA GeForce GTX1080。因体育视频分析追求实时性，需要更快的运算速度，本系统选择FPS较高的MobileNet作为三种视角分类的基础网络结构。MobileNet的运算速度十分快，其主要思想是使用可分离卷积，大大降低计算成本，采用Depthwise(深度可分离)卷积替代传统3D卷积，减少卷积核的冗余表达，如图3所示。
羽毛球视频片段分割
在进行羽毛球精彩片段提取提取之前，需要先将整个完整的羽毛球视频分割成一个个有用的片段，有用的片段主要由广播视角组成，呈现出运动员移动并击球的片段。使用以上迁移学习得到的分类模型可以有效地分割出有用的羽毛球视频片段。图4显示了羽毛球视频片段分割的流程：将一段完整的羽毛球视频分割成一个个主要由广播视角组成的羽毛球片段，这些片段构成了羽毛球视频中的有效部分，为后面进行精彩片段提取奠定基础。片段分割过程为：依次读取一段完整羽毛球赛事视频的每一帧，每读取一帧时，做如下处理：若该帧的视角被预测为广播视角，且前一帧非广播视角时，则创建一个存储以该帧为第一帧的视频片段连续帧的存储队列S，并将该帧写入此存储队列；若该帧和其前一帧的视角皆被预测为广播视角，则将该帧写入最新创建的存储队列中。其它情况不做处理。最终的存储队列数目即分割出的精彩片段数目，每个存储队列对应一个视频片段。
第三步是提取精彩片段。
此处定义重心和球员整体速度的概念，通过YOLOv3目标检测模型计算运动员的重心，进而计算多名运动员组成的整体的速度，取速度平均值最大的十个片段作为精彩片段，最后通过对比音频关键词评价精彩片段。
本发明使用YOLOv3目标检测模型对羽毛球片段中的每一帧进行目标为“人”的检测，根据检测框定义重心，根据前后帧获得球员的移动速度，统计每一个片段的速度加权后求均值，最后根据每个片段的速度加权平均值递减排序得到精彩片段的顺序。
目标检测
YOLOv3借鉴了残差网络的结构，是目前业界领先的实时目标检测模型，本系统使用YOLOv3预训练网络对人进行目标检测。
球员移动速度
目标检测默认人的头部在上，以目标框顶部终点为三角形顶点，目标框底部线构成该三角形的另两点。目标框左上角点为(x1，y1)，目标框右下角点为(x2，y2)，如图(5)所示，则重心为
由于前后帧中检测到的球员未必是同一个人，发现最有可能为球员的目标可能来回跳,因此有必要考虑将每帧中的球员作为一个整体,然后进行整体速度的近似计算。以相邻两帧中检测到的最后一个球员的移动速度近似为整体的速度。设第i，i+1两个相邻帧中检测到的最后一个球员的重心分别为(pi，qi)，(pi+1，qi+1)则这两帧的球员整体速度为
整个视频片段的球员平均速度定义为：
其中，N为视频片段的总帧数，T为视频片段的播放总时长。
羽毛球赛事视频精彩片段提取
精彩片段提取可以让用户直接观看到整个视频的精华部分。对一段羽毛球视频分割出来的诸多片段，过滤掉时间较短的片段，时间阈值设为15秒，从而减少干扰。再分别计算过滤后剩余视频片段各自的球员平均速度，最后将这些视频片段根据球员平均速度值按由高到低进行排序，本系统暂定取前十个视频片段进行验证，验证标准为此片段击球过程中是否有观众的惊讶声、呐喊声和热烈掌声或解说的正面评价，通过测试对6场羽毛球赛事视频进行精彩片段提取，共获得58段精彩片段。根据验证标准，最终统计得到54段提取出的精彩片段判断为真正精彩，占93.10％，说明该精彩片段提取方法有效。
综上所述，本发明涉及计算机视觉领域，涉及计算机图像分类、视频分割、目标跟踪、速度分析等相结合的运动视频关键信息捕获技术，主要针对观看比较冗长的羽毛球赛事视频对普通用户来说比较耗时、专业用户如运动员、教练员对关键数据统计有很大需求的问题，设计出一种从羽毛球赛事视频中提取比赛的精彩视频片段的系统。本发明不同于关键帧提取，针对从整个羽毛球赛事视频中提取精彩片段，可以让用户直接选择性地欣赏到羽毛球赛事视频中的比赛精彩片段。具体地，本发明通过以视角分类为核心的片段分割环节、以球员整体速度判断为核心的精彩片段提取环节实现了一种羽毛球赛事视频的精彩片段提取方法，可以使用户直接选择性地欣赏到羽毛球赛事视频中的比赛精彩片段。一定程度上使用户无需手动处理就能观赏到视频的关键片段，节约了用户的时间成本。
以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种羽毛球赛事视频精彩片段提取方法，其特征在于，包括：
获取羽毛球视频；
采用Keras框架进行迁移学习，获得视角分类模型；利用视角分类模型，对羽毛球视频进行分割，获得广播视角的羽毛球视频片段；
调用YOLOv3目标检测模型，确定运动员的重心；根据运动员的重心，确定广播视角羽毛球视频片段中整体球员平均速度，并将整体球员平均速度最大的几个广播视角羽毛球视频片段作为羽毛球视频精彩片段；
所述采用Keras框架进行迁移学习，获得视角分类模型；具体包括：
采用Keras深度学习框架进行迁移学习，使用已在大型图像数据集ImageNet上训练的分类模型作为预训练模型，采用MobileNet作为三种视角分类的基础网络结构；采用深度可分离Depthwise卷积替代传统3D卷积；
对预训练模型效果进行实验，设置参数包括：输入图像大小为224×224；添加全连接层，尺寸为3；图像像素值缩放到[0，-1]；优化器为SGD，学习率为0.0001，动量为0.9；损失函数为分类交叉熵；批量大小为32；迭代5次验证集损失没下降，降低一半学习率；迭代30次验证集损失没下降停止训练；
所述利用视角分类模型，对羽毛球视频进行分割，获得广播视角的羽毛球视频片段；具体包括：
依次读取一段完整羽毛球赛事视频的每一帧，每读取一帧时，做如下处理：若该帧的视角被预测为广播视角，且前一帧非广播视角时，则创建一个存储以该帧为第一帧的视频片段连续帧的存储队列，并将该帧写入此存储队列；若该帧和前一帧的视角皆被预测为广播视角，则将该帧写入最新创建的存储队列中；
所述调用YOLOv3目标检测模型，确定运动员的重心；具体包括：
通过YOLOv3目标检测模型对羽毛球视频片段中的每一帧进行目标为“人”的检测，根据检测框定义重心；目标检测默认人的头部在上，以目标框顶部终点为三角形顶点，目标框底部线构成该三角形的另两点，目标框左上角点为(x1，y1)，目标框右下角点为(x2，y2)，则重心为：
所述根据运动员的重心，确定广播视角羽毛球视频片段中整体球员平均速度；具体包括：
将以相邻两帧中检测到的最后一个球员的移动速度近似为整体速度，设第i，i+1两个相邻帧中检测到的最后一个球员的重心分别为(pi，qi)，(pi+1，qi+1)则这两帧的球员整体速度为：
整个视频片段的球员平均速度定义为：
其中，N为视频片段的总帧数，T为视频片段的播放总时长。
2.如权利要求1所述的羽毛球赛事视频精彩片段提取方法，其特征在于，所述羽毛球视频包括：广播视角羽毛球视频、场边视角羽毛球视频、无用视角羽毛球视频。
3.如权利要求2所述的羽毛球赛事视频精彩片段提取方法，其特征在于，还包括：采用K-Means方法对三种视角的羽毛球视频进行图像聚类，验证羽毛球视频分类的可行性；具体包括：
采用主成分分析PCA方法对图像进行降维；
指定聚类簇数为3，分别对应羽毛球视频的三种视角；
采用K-Means方法进行图像聚类；
根据聚类结果，验证羽毛球视频三种视角的分类可行性。
4.如权利要求1所述的羽毛球赛事视频精彩片段提取方法，其特征在于，还包括：对所述视角分类模型进行可视化；具体包括：
采用t-SNE降维方法对所述视角分类模型进行可视化。
5.如权利要求1所述的羽毛球赛事视频精彩片段提取方法，其特征在于，所述，所述将整体球员平均速度最大的几个广播视角羽毛球视频片段作为羽毛球视频精彩片段；具体包括：
将广播视角羽毛球视频片段按照整体球员平均速度值由高到低进行排序，并取前十个广播视角羽毛球视频片段作为羽毛球视频精彩片段。
6.如权利要求5所述的羽毛球赛事视频精彩片段提取方法，其特征在于，还包括：通过对比音频关键词，评价羽毛球视频精彩片段；具体包括：
评价标准为羽毛球视频精彩片段中是否有观众的惊讶声、呐喊声、热烈掌声、解说的正面评价。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010031201.3A CN111291617B (zh) | 2020-01-13 | 2020-01-13 | 基于机器学习的羽毛球赛事视频精彩片段提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010031201.3A CN111291617B (zh) | 2020-01-13 | 2020-01-13 | 基于机器学习的羽毛球赛事视频精彩片段提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291617A CN111291617A (zh) | 2020-06-16 |
| CN111291617B true CN111291617B (zh) | 2023-11-17 |
Family
ID=71028362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010031201.3A Active CN111291617B (zh) | 2020-01-13 | 2020-01-13 | 基于机器学习的羽毛球赛事视频精彩片段提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291617B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668533A (zh) * | 2021-01-05 | 2021-04-16 | 株洲中车时代电气股份有限公司 | 一种视频的视角分类方法、装置、设备及存储介质 |
| CN113312840B (zh) * | 2021-05-25 | 2023-02-17 | 广州深灵科技有限公司 | 一种基于强化学习的羽毛球对弈方法及系统 |
| CN113569096B (zh) * | 2021-07-23 | 2024-03-29 | 北京百度网讯科技有限公司 | 结构化信息抽取方法、装置、设备以及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102890781A (zh) * | 2012-07-04 | 2013-01-23 | 北京航空航天大学 | 一种针对羽毛球比赛视频的精彩镜头识别方法 |
| CN110110646A (zh) * | 2019-04-30 | 2019-08-09 | 浙江理工大学 | 一种基于深度学习的手势图像关键帧提取方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10572735B2 (en) * | 2015-03-31 | 2020-02-25 | Beijing Shunyuan Kaihua Technology Limited | Detect sports video highlights for mobile computing devices |
-
2020
- 2020-01-13 CN CN202010031201.3A patent/CN111291617B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102890781A (zh) * | 2012-07-04 | 2013-01-23 | 北京航空航天大学 | 一种针对羽毛球比赛视频的精彩镜头识别方法 |
| CN110110646A (zh) * | 2019-04-30 | 2019-08-09 | 浙江理工大学 | 一种基于深度学习的手势图像关键帧提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| 体育视频中羽毛球运动员的动作识别;杨静;《自动化技术与应用》(第10期);全文 * |
| 足球比赛精彩场景的自动分析与提取;陈忠克等;《计算机辅助设计与图形学学报》(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291617A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291617B (zh) | 基于机器学习的羽毛球赛事视频精彩片段提取方法 | |
| Merler et al. | Automatic curation of sports highlights using multimodal excitement features | |
| Bettadapura et al. | Leveraging contextual cues for generating basketball highlights | |
| Liu et al. | Deep learning based basketball video analysis for intelligent arena application | |
| CN108600865B (zh) | 一种基于超像素分割的视频摘要生成方法 | |
| CN103200463A (zh) | 一种视频摘要生成方法和装置 | |
| CN1750618A (zh) | 在接收机上观看视听文档的方法和观看这种文档的接收机 | |
| CN111429341B (zh) | 一种视频处理方法、设备及计算机可读存储介质 | |
| Merler et al. | Automatic curation of golf highlights using multimodal excitement features | |
| US20100309973A1 (en) | Method for scaling video content based on bandwidth rate | |
| Chen et al. | A trajectory-based ball tracking framework with enrichment for broadcast baseball videos | |
| CN109460724B (zh) | 基于对象检测的停球事件的分离方法和系统 | |
| Lai et al. | Tennis Video 2.0: A new presentation of sports videos with content separation and rendering | |
| Chen et al. | Physics-based ball tracking in volleyball videos with its applications to set type recognition and action detection | |
| Draschkowitz et al. | Using video analysis and machine learning for predicting shot success in table tennis | |
| Chu et al. | Modeling spatiotemporal relationships between moving objects for event tactics analysis in tennis videos | |
| Chen et al. | Motion entropy feature and its applications to event-based segmentation of sports video | |
| Jiang et al. | Deep learning application in broadcast tennis video annotation | |
| CN110969133B (zh) | 一种乒乓球比赛视频的智能数据采集方法 | |
| Tong et al. | Shot classification in sports video | |
| Rowlands et al. | Using inertial sensors to index into video | |
| Choroś | Detection of tennis court lines for sport video categorization | |
| Su et al. | Transition effect detection for extracting highlights in baseball videos | |
| Zhao et al. | Highlight summarization in soccer video based on goalmouth detection | |
| CN110490064B (zh) | 体育视频数据的处理方法、装置、计算机设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Meili Inventor after: Luo Jiankun Inventor after: Tao Shu Inventor after: Wang Yihan Inventor before: Wang Meili Inventor before: Luo Jiankun Inventor before: Tao Shu Inventor before: Wang Yihan |
|
| CB03 | Change of inventor or designer information |