CN110969133B - 一种乒乓球比赛视频的智能数据采集方法 - Google Patents
一种乒乓球比赛视频的智能数据采集方法 Download PDFInfo
- Publication number
- CN110969133B CN110969133B CN201911233847.3A CN201911233847A CN110969133B CN 110969133 B CN110969133 B CN 110969133B CN 201911233847 A CN201911233847 A CN 201911233847A CN 110969133 B CN110969133 B CN 110969133B
- Authority
- CN
- China
- Prior art keywords
- video
- score
- moment
- cutting
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000005520 cutting process Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 10
- 238000002360 preparation method Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 208000030757 autosomal dominant osteopetrosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ZWLUXSQADUDCSB-UHFFFAOYSA-N phthalaldehyde Chemical compound O=CC1=CC=CC=C1C=O ZWLUXSQADUDCSB-UHFFFAOYSA-N 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种乒乓球比赛视频的智能数据采集方法，包括：S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；S2：微调优化及球员骨架检测，即将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，根据所提取特征对每一回合比赛片段进一步细分并得到球员骨架；用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层，实现对时序视频数据的分类功能；S3：击球检测，即对所述的比赛进行阶段的击球声音进行检测，计算击球数量及击球时刻。本发明的方法，自动对乒乓球比赛视频进行回合的检测和切割，检测得到的数据的准确率高。
Description
技术领域
本发明涉及球类比赛数据采集领域，具体涉及一种乒乓球直播视频的智能数据采集方法。
背景技术
在过去的四十年中，国家乒乓球队曾试图对数据进行标注。这些方法从计数标记发展到视频编辑软件，然后发展到量身定制的交互式注释工具。尽管这些尝试已在一定程度上提高了数据收集的效率，但要有效地获取高质量，细粒度的数据仍然存在挑战。因此，非常需要能够显着提高数据注释效率的智能方法。但是，自动化数据采集存在两个主要挑战：
低质量的广播视频。在大多数乒乓球比赛中，仅安装电视摄像机，并且仅广播视频可供分析。即使可以部署先进的设备，仍然需要对大量的历史广播视频进行注释和分析。人们尝试使用计算机视觉算法从视频中确定乒乓球和运动员的位置。但是，这些算法仅收集球和球员的位置，并且仅在特定摄像机角度和照明条件下的有限情况下工作。在广播视频中，频繁的镜头转换，不一致的场景外观和较低的分辨率给开发自动注释解决方案带来了挑战。
需要高度专业的知识。与一般的标注任务(例如图像标记)不同，乒乓球数据标注在很大程度上依赖于高度专业的领域知识。乒乓球运动员的动作(定义为击球技术)由一系列的手和腕部微动作组成，每种技术仅持续约半秒钟。对于资深的领域专家来说，即使运动员的手部动作(通常在广播视频会常出现)被遮挡，领域专家也可以通过逻辑推理和上下文信息轻松识别出击球技术。但是，对于没有专业乒乓球训练的普通标注者来说，很难区别不同技术之间的细微差异，更不用说自动化的算法了。尽管最新的姿势估计和动作识别算法已被证明在运动分析中很有用，但这些算法着重于身体动作较大的动作(例如，跳远，太极和拳击中的动作)和持续时间较长的动作(即3到10秒)。
收集细粒度的体育数据非常难、昂贵且费时费力。先进的商业体育数据采集产品，例如STATS SportVU，OPTA和ChyronHego TRACAB，为足球、篮球和美式足球等各种体育活动提供了系统的解决方案。这些产品主要通过硬件设备获取数据，例如高速高清摄像头、可穿戴传感器和GPS。数据公司还提供专业的支持服务团队，以进行人工标注、设备安装和数据处理，以进行进一步的数据分析。
然而，这些商业数据采集工具是为特定体育赛事量身定制的，很难直接应用于其他体育项目。
发明内容
针对现有技术的不足，本发明提供一种对乒乓球直播视频的智能数据采集方法，该采集方法采集的数据更加准确。具体技术方案如下：
一种乒乓球比赛视频的智能数据采集方法，其特征在于，该方法具体包括如下步骤：
S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；
S2：微调优化及球员骨架检测，即将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，一方面根据所提取的特征通过分类模块对每一回合的比赛片段进一步细分，得到比赛进行阶段的视频片段，另一方面根据所提取的特征得到球员骨架；所述的用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层，实现对时序视频数据的分类功能；
S3：击球检测，即对所述的比赛进行阶段的击球声音进行检测，计算击球数量及击球时刻。
进一步地，所述的S1具体为：
首先对视频画面进行等频率下采样，根据比分牌的大致位置像素变化自动检测并解析局分、回合分位置，并根据其变化将长视频切割为包含每一回合的比赛片段以及其他噪声片段；所述的比分表示为sc＝(g1，g2，r1，r2)；并使用卷积神经网络对比分进行检测，构建比分偏序关系，通过比分偏序关系对所检测的比分序列数据进行筛选，找出其中的最大递增子序列，从而排除检测错误的情况；
所述的比分偏序关系如下：
其中，g1为运动员一的局分，g2为运动员二的局分，r1为运动员一的回合分，r2为运动员二的回合分，scm、scn分别表示m时刻和n时刻的比分；gm，1、gn，1分别为m时刻和n时刻运动员一的局分，gm，2、gn，2分别为m时刻和n时刻运动员二的局分；rm，1、rn，1分别为m时刻和n时刻运动员一的回合分，rm，2、rn，2分别为m时刻和n时刻运动员二的回合分。
进一步地，所述的S2中，以镜头转换的时刻作为切割对象，采用用于视频检测和切割的卷积神经网络提取视觉特征，精确检测视频中镜头切换的准确边界，将所述的每一回合的比赛片段进一步切割为进行中、回放、比赛准备、徽标和其他五个阶段。
进一步地，所述的S3中，采用音频源分离模型Wave-U-Net来对音频进行预处理，分离背景声和人声，并采用用于音乐节拍检测的神经网络对分离后的声音进行检测，提取具有一定数目通道的音频对数梅尔倒谱图，并将其表示为时序的向量，进而学习音频的时序变化模式并预测每个时刻出现击球的概率，将概率峰值的时间点识别为击球时刻。
进一步地，在采集每一回合和每一拍数据时，采用并行计算的方式，减少等待时间。
本发明的有益效果如下：
本发明提出一种全新的针对乒乓球的智能数据采集方法，自动对乒乓球比赛视频进行回合的检测和切割，检测得到的数据的准确率高。
附图说明
图1为本发明的乒乓球直播视频的智能数据采集方法的流程示意图；
图2为对每一回合的比赛片段进一步精细分割的神经网络具体结构示意图；
图3为击球检测的具体示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明的乒乓球比赛视频的智能数据采集方法的完整流程，该方法具体包括S1-S3三个步骤：
S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；
首先对视频画面进行等频率下采样，根据比分牌的大致位置像素变化自动检测并解析局分、回合分位置，并根据其变化将长视频切割为包含每一回合的比赛片段以及其他噪声片段；所述的比分表示为sc＝(g1，g2，r1，r2)；并使用卷积神经网络对比分进行检测，构建比分偏序关系，通过比分偏序关系对所检测的比分序列数据进行筛选，找出其中的最大递增子序列，从而排除检测错误的情况；
所述的比分偏序关系如下：
其中，g1为运动员一的局分，g2为运动员二的局分，r1为运动员一的回合分，r2为运动员二的回合分，scm、scn分别表示m时刻和n时刻的比分；gm，1、gn，1分别为m时刻和n时刻运动员一的局分，gm，2、gn，2分别为m时刻和n时刻运动员二的局分；rm，1、rn，1分别为m时刻和n时刻运动员一的回合分，rm，2、rn，2分别为m时刻和n时刻运动员二的回合分。
通过比分检测，可进一步根据比分变化将长视频切割为较为容易处理的视频片段，该过程可去除比赛开始准备阶段的无用片段，去除大部分噪声片段。
因为S1会根据变化的分数返回回合的粗略边界，输出视频片段包含多种类型的镜头，例如比赛回放和比赛开始前后的准备阶段。当比赛回合进行时，电视导演总会将摄像机切换到静态摄像机以拍摄进行中的比赛回合。不同的相机之间的视觉特征有较大不同。因此，S2的目的旨在去除干扰镜头，保留比赛回合进行阶段的固定镜头片段。由于该镜头固定，球员身位检测的准确性得到提升。
S2：微调优化及球员骨架检测，以镜头转换的时刻作为切割对象，将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，精确检测视频中镜头切换的准确边界，一方面根据所提取的特征通过分类模块对每一回合的比赛片段进一步细分(图2D)，将所述的每一回合的比赛片段进一步切割为进行中、回放、比赛准备、徽标和其他五个阶段；另一方面根据所提取的特征得到球员骨架(图2C)；所述的用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块(图2B)，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层(图2D)，实现对时序视频数据的分类功能。
具体如图2所示。图中，A为原始视频片段，B为特征提取阶段，通过OpenPose对原始视频的视觉特征进行提取，其中B1为OpenPose中用来做视频特征提取的卷积块，B2为OpenPose中对关节点和part affinity field(PAF)做检测和微调的模块；B4为B1的输出结果，B3为B2的输出结果，B5将B3和B4进行级联拼接，并做平均池化；C为姿体转换模块，基于B3对每一帧的关节点进行求解和处理，得到球员的骨架检测数据；D为时序分类模块，使用Bi-LSTM和LSTM对B5的结果进一步提取时序上的特征，然后通过全连接层和Softmax分类层，检测出比赛进行阶段的视频片段。
在比赛回合正在进行的大多数情况下，评论员和观众都会保持沉默。因此，可以清楚地识别出球拍击中球的声音，这有助于检测每一拍的时间。但是，在某些情况下，评论员将在比赛进行过程中不断评说比赛，从而导致基于音频的检测方法失败。因此，本发明方法采用了音频源分离模型Wave-U-Net来对音频进行预处理，分离背景声音，以使击球检测的模型更鲁棒。
S3：击球检测，即对所述的比赛进行阶段的击球声音(图3A)进行检测，计算击球数量及击球时刻。具体地，采用音频源分离模型Wave-U-Net来对音频进行预处理(图3B)，分离背景声和人声，并采用用于音乐节拍检测的神经网络对分离后的声音进行检测，提取具有一定数目通道的音频对数梅尔倒谱图(图3C)，并将其表示为时序的向量，进而学习音频的时序变化模式并预测每个时刻出现击球的概率(图3D)，将概率峰值的时间点识别为击球时刻。
具体如图3所示。A为原始音频，A1为人声、击球声音和噪声糅合的波形图，难以区别出击球的声音，而A2为人声停止后的波形图，击球声音的波形明显；B为经过人声去除后的波形图，其中A1中被人声和噪声所覆盖的击球的声音波形B1、B2重新显示了出来，B3对应A2；C为对B的波形图所提取的对数梅尔倒谱图，C1、C2、C3为对应击球波形的频谱图区域，有清晰的视觉特征；D为完成击球检测后的击球概率分布图，其中D1、D2、D3为击球概率的峰值，被识别为击球的时刻。
在采集每一回合和每一拍数据时，采用并行计算的方式，减少等待时间。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (3)
1.一种乒乓球比赛视频的智能数据采集方法，其特征在于，该方法具体包括如下步骤：
S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；
S2：微调优化及球员骨架检测，即将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，一方面根据所提取的特征通过分类模块对每一回合的比赛片段进一步细分，得到比赛进行阶段的视频片段，另一方面根据所提取的特征得到球员骨架；所述的用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层，实现对时序视频数据的分类功能；
S3：击球检测，即对所述的比赛进行阶段的击球声音进行检测，计算击球数量及击球时刻；
所述的S1具体为：
首先对视频画面进行等频率下采样，根据比分牌的大致位置像素变化自动检测并解析局分、回合分位置，并根据其变化将长视频切割为包含每一回合的比赛片段以及其他噪声片段；所述的比分表示为sc=(g1,g2,r1,r2)；使用卷积神经网络对比分进行检测，构建比分偏序关系，通过比分偏序关系对所检测的比分序列数据进行筛选，找出其中的最大递增子序列，从而排除检测错误的情况；
所述的比分偏序关系如下：
；
其中，g1为运动员一的局分，g2为运动员二的局分，r1为运动员一的回合分，r2为运动员二的回合分，scm、scn分别表示m时刻和n时刻的比分；gm,1、gn,1分别为m时刻和n时刻运动员一的局分，gm,2、gn,2分别为m时刻和n时刻运动员二的局分；rm,1、rn,1分别为m时刻和n时刻运动员一的回合分，rm,2、rn,2分别为m时刻和n时刻运动员二的回合分；
所述的S3中，采用音频源分离模型Wave-U-Net来对音频进行预处理，分离背景声和人声，并采用用于音乐节拍检测的神经网络对分离后的声音进行检测，提取具有一定数目通道的音频对数梅尔倒谱图，并将其表示为时序的向量，进而学习音频的时序变化模式并预测每个时刻出现击球的概率，将概率峰值的时间点识别为击球时刻。
2.根据权利要求1所述的乒乓球直播视频的智能数据采集方法，其特征在于，所述的S2中，以镜头转换的时刻作为切割对象，采用用于视频检测和切割的卷积神经网络提取视觉特征，精确检测视频中镜头切换的准确边界，将所述的每一回合的比赛片段进一步切割为进行中、回放、比赛准备、徽标和其他五个阶段。
3.根据权利要求1所述的乒乓球直播视频的智能数据采集方法，其特征在于，在采集每一回合和每一拍数据时，采用并行计算的方式，减少等待时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911233847.3A CN110969133B (zh) | 2019-12-05 | 2019-12-05 | 一种乒乓球比赛视频的智能数据采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911233847.3A CN110969133B (zh) | 2019-12-05 | 2019-12-05 | 一种乒乓球比赛视频的智能数据采集方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969133A CN110969133A (zh) | 2020-04-07 |
| CN110969133B true CN110969133B (zh) | 2023-04-07 |
Family
ID=70033063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911233847.3A Active CN110969133B (zh) | 2019-12-05 | 2019-12-05 | 一种乒乓球比赛视频的智能数据采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969133B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111905350B (zh) * | 2020-07-10 | 2021-06-08 | 浙江大学 | 基于运动数据的自动化乒乓球击球表现评估方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183849A (zh) * | 2015-09-06 | 2015-12-23 | 华中科技大学 | 一种斯诺克比赛视频事件检测与语义标注方法 |
| CN107247942A (zh) * | 2017-06-23 | 2017-10-13 | 华中科技大学 | 一种融合多模态特征的网球视频事件检测方法 |
| CN107454437A (zh) * | 2016-06-01 | 2017-12-08 | 深圳市维杰乐思科技有限公司 | 一种视频标注方法及其装置、服务器 |
| CN107609013A (zh) * | 2017-07-31 | 2018-01-19 | 浙江大学 | 一种获取乒乓球比赛中具有指导意义比赛片段的方法 |
| CN108681712A (zh) * | 2018-05-17 | 2018-10-19 | 北京工业大学 | 一种融合领域知识和多阶深度特征的篮球比赛语义事件识别方法 |
| CN109121021A (zh) * | 2018-09-28 | 2019-01-01 | 北京周同科技有限公司 | 一种视频集锦的生成方法、装置、电子设备及存储介质 |
| CN110472554A (zh) * | 2019-08-12 | 2019-11-19 | 南京邮电大学 | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 |
| CN110472562A (zh) * | 2019-08-13 | 2019-11-19 | 新华智云科技有限公司 | 定位球视频片段检测方法、装置、系统及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11106947B2 (en) * | 2017-12-13 | 2021-08-31 | Canon Kabushiki Kaisha | System and method of classifying an action or event |
-
2019
- 2019-12-05 CN CN201911233847.3A patent/CN110969133B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105183849A (zh) * | 2015-09-06 | 2015-12-23 | 华中科技大学 | 一种斯诺克比赛视频事件检测与语义标注方法 |
| CN107454437A (zh) * | 2016-06-01 | 2017-12-08 | 深圳市维杰乐思科技有限公司 | 一种视频标注方法及其装置、服务器 |
| CN107247942A (zh) * | 2017-06-23 | 2017-10-13 | 华中科技大学 | 一种融合多模态特征的网球视频事件检测方法 |
| CN107609013A (zh) * | 2017-07-31 | 2018-01-19 | 浙江大学 | 一种获取乒乓球比赛中具有指导意义比赛片段的方法 |
| CN108681712A (zh) * | 2018-05-17 | 2018-10-19 | 北京工业大学 | 一种融合领域知识和多阶深度特征的篮球比赛语义事件识别方法 |
| CN109121021A (zh) * | 2018-09-28 | 2019-01-01 | 北京周同科技有限公司 | 一种视频集锦的生成方法、装置、电子设备及存储介质 |
| CN110472554A (zh) * | 2019-08-12 | 2019-11-19 | 南京邮电大学 | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 |
| CN110472562A (zh) * | 2019-08-13 | 2019-11-19 | 新华智云科技有限公司 | 定位球视频片段检测方法、装置、系统及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Wang W, Zhang J, Si C, et al..Pose-based two-stream relational networks for action recognition in videos.《arXiv》.2018,全文. * |
| Wu Y, Lan J, Shu X, et al..iTTVis: Interactive visualization of table tennis data.《IEEE transactions on visualization and computer graphics》.2017,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969133A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Idrees et al. | The thumos challenge on action recognition for videos “in the wild” | |
| Li et al. | Multisports: A multi-person video dataset of spatio-temporally localized sports actions | |
| CN108564596B (zh) | 一种高尔夫挥杆视频的智能比对分析系统及方法 | |
| JP5533861B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
| Zhu et al. | Player action recognition in broadcast tennis video with applications to semantic analysis of sports game | |
| Li et al. | Automatic detection and analysis of player action in moving background sports video sequences | |
| CN105183849B (zh) | 一种斯诺克比赛视频事件检测与语义标注方法 | |
| US20080138029A1 (en) | System and Method For Replay Generation For Broadcast Video | |
| JP2011223287A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| CN110505519A (zh) | 一种视频剪辑方法、电子设备及存储介质 | |
| Karaman et al. | Human daily activities indexing in videos from wearable cameras for monitoring of patients with dementia diseases | |
| JP4886707B2 (ja) | オブジェクト軌道識別装置、オブジェクト軌道識別方法、及びオブジェクト軌道識別プログラム | |
| CN110298220B (zh) | 动作视频直播方法、系统、电子设备、存储介质 | |
| CN111291617A (zh) | 基于机器学习的羽毛球赛事视频精彩片段提取方法 | |
| JPWO2004093015A1 (ja) | 画像認識装置及び画像認識プログラム | |
| CN114550067A (zh) | 一种体育赛事自动直播与导播方法、装置、设备及存储介质 | |
| CN108970091B (zh) | 一种羽毛球动作分析方法及系统 | |
| CN110969133B (zh) | 一种乒乓球比赛视频的智能数据采集方法 | |
| JP4200219B2 (ja) | 画像認識装置及び画像認識プログラム | |
| CN110996178B (zh) | 一种乒乓球比赛视频的智能交互数据采集系统 | |
| CN101211460A (zh) | 一种自动分割和分类体育视频镜头的方法和装置 | |
| Gade et al. | Audio-visual classification of sports types | |
| US7436983B2 (en) | Image recognition apparatus and image recognition program | |
| JP2021141434A (ja) | シーン抽出方法、装置およびプログラム | |
| JP2010081531A (ja) | 映像処理装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |