CN110633694A - 一种基于深度学习的足球视频片段分类方法 - Google Patents

一种基于深度学习的足球视频片段分类方法 Download PDF

Info

Publication number
CN110633694A
CN110633694A CN201910930957.9A CN201910930957A CN110633694A CN 110633694 A CN110633694 A CN 110633694A CN 201910930957 A CN201910930957 A CN 201910930957A CN 110633694 A CN110633694 A CN 110633694A
Authority
CN
China
Prior art keywords
video
football
model
video clip
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910930957.9A
Other languages
English (en)
Inventor
陈雷雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua Wisdom Cloud Technology Co Ltd
Original Assignee
Xinhua Wisdom Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua Wisdom Cloud Technology Co Ltd filed Critical Xinhua Wisdom Cloud Technology Co Ltd
Priority to CN201910930957.9A priority Critical patent/CN110633694A/zh
Publication of CN110633694A publication Critical patent/CN110633694A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频片段分类技术领域，具体地说，涉及一种基于深度学习的足球视频片段分类方法。其包括准备视频数据步骤、标注信息步骤、建立分类模型步骤和视频处理步骤。该基于深度学习的足球视频片段分类方法中，基于深度学习的视频分类算法对场景的适应能力非常好，从而对任何场景、任何角度的足球片段进行分类，实时自动处理任意场景、任意角度的视频流和视频片段，判断视频流和视频片段中的所有进球，以及每个进球的进球类别，从而极大的降低人工判断的时间成本。

Description

一种基于深度学习的足球视频片段分类方法
技术领域
本发明涉及视频片段分类技术领域，具体地说，涉及一种基于深度学习的足球视频片段分类方法。
背景技术
根据申请号为CN201410658408.8的一种点球、角球和任意球关键帧的检测方法和装置，对于足球比赛直播中的任一中镜头图像帧，根据确定出的该中镜头图像帧中的足球场草坪区域和足球区域，确定该中镜头图像帧中的足球在足球场草坪区域中的位置信息和足球大小；当连续N个中镜头图像帧中足球在足球场草坪区域中的位置信息未发生变化时，根据在连续N个中镜头图像帧中足球在足球场草坪区域中的位置信息和/或足球大小，确定由连续N个中镜头图像帧组成的视频片段中发生的定位球事件的类型。该专利的输入视频只能是直播镜头中的中镜头，这首先就限制了该专利的使用范围；其次该专利在确定草坪区域时利用的是每一行像素的颜色信息及其占比，首先不同摄像机、不同光照、不同球场等等都会导致球场颜色的不同，从而影响该专利草坪区域的检测准确性；该专利在判断足球位置时首先要利用草坪信息，如前所述草坪区域的不准确会影响到足球位置的检测，其次该专利在检测足球位置和大小的时候使用了模板匹配的方法，限制规则包括颜色匹配、面积宽高比、对象密度等，首先这些人工设计的规则并不能完全适应所有的场景，其次也会受到不同摄像机、不同光照、不同球场等的影响，从而降低足球位置大小检测的准确性；该专利在判断点球、角球、任意球的时候，利用的是视频中足球的大小进行的判断，该种方法完全依赖于摄像机的位置固定、焦距固定，只要摄像机的位置、焦距发生变化就会导致分类出错，而通常情况下是视频直播中摄像机的焦距会随时变化。
发明内容
本发明的目的在于提供一种基于深度学习的足球视频片段分类方法，以解决上述背景技术中提出的某种或某些缺陷。
为实现上述目的，本发明提供一种基于深度学习的足球视频片段分类方法，其方法步骤如下：
S1、准备视频数据：准备大量的足球比赛片段；
S2、标注信息：通过人工的方式对上述视频片段进行标注，标注内容为该视频片段是否进球；
S3、建立分类模型：根据视频片段及标注数据，利用基于深度学习的卷积神经网络算法对分类后的足球视频片段进行学习，训练分类模型；
S4、视频处理：对于足球比赛视频直播流，每隔5秒截取一个视频片段，将截取出的每个视频片段输入分类模型中，由模型进行处理后，自动输出分类信息。
作为优选，S1中，准备视频数据中的足球比赛片段方法为通过在正常比赛中截取视频片段或通过网络爬虫爬取大量的足球视频片段。
作为优选，S2中标注信息，标注信息包括如下步骤：
步骤一：标注视频片段是否进球；
步骤二：标注进球片段视频是什么类型的进球，包括普通进球、角球、任意球、点球。
作为优选，S3中，利用的视频片段包括未进球视频片段、普通进球视频片段、角球进球视频片段、任意球进球视频片段和点球进球视频片段。
作为优选，S3中，卷积神经网络算法包括如下步骤：
①、利用预训练模型对卷积神经网络进行初始化，网络的初始学习率为0.001，输入的num_segments为35，每个视频长度在5秒左右，采用TSN神经网络，预训练模型是bn_inception-9f5701afb96c8044.pth；
②、将训练视频和对应的标注数据作为输入，利用反向传播算法对TSN模型进行训练，当模型的loss在5个epoch上没有变化时，降低学习率，每个epoch保存一次中间模型，当epoch超过160次以后，结束训练，让模型自动学习到足球视频中的有用信息；
③、从所有中间模型中选择准确率最高的模型作为最终使用的模型。
作为优选，TSN神经网络输入数据预处理包括如下步骤：
步骤一：对于每个训练视频，将视频所有帧读取出来，将所有帧等间隔分成若干段，如分成了35段，每一段中随机取出一个视频帧作为该段的输入，也就是每个视频会取出35个视频帧作为一个输入；
步骤二：对取出的35个视频帧会进行一些预处理，包括随机水平翻转、centercrop、color jittering等。
与现有技术相比，本发明的有益效果：
1、该基于深度学习的足球视频片段分类方法中，基于深度学习的视频分类算法对场景的适应能力非常好，从而可以对任何场景、任何角度的足球片段进行分类。
2、该基于深度学习的足球视频片段分类方法中，实时自动处理任意场景、任意角度的视频流和视频片段，判断视频流和视频片段中的所有进球，以及每个进球的进球类别，从而极大的降低人工判断的时间成本。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，本发明提供一种技术方案：
本发明提供一种基于深度学习的足球视频片段分类方法，其方法步骤如下：
S1、准备视频数据：准备大量的足球比赛片段；
S2、标注信息：通过人工的方式对上述视频片段进行标注，标注内容为该视频片段是否进球；
S3、建立分类模型：根据视频片段及标注数据，利用基于深度学习的卷积神经网络算法对分类后的足球视频片段进行学习，训练生成分类模型；
S4、视频处理：对于足球比赛视频直播流，每隔5秒截取一个视频片段，将截取出的每个视频片段输入分类模型中，由模型进行处理后，自动输出分类信息。
S1中，准备视频数据中的足球比赛片段方法为通过在正常比赛中截取视频片段或通过网络爬虫爬取大量的足球视频片段，网络爬虫步骤如下：
①、首先选取一部分精心挑选的种子URL；
②、将这些URL放入待抓取URL队列；
③、从待抓取URL队列中取出待抓取在URL，解析DNS，并且得到主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中，此外，将这些URL放进已抓取URL队列；
④、分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环。
S2中标注信息，标注信息包括如下步骤：
步骤一：标注视频片段是否进球；
步骤二：标注进球片段视频是什么类型的进球，包括普通进球、角球、任意球、点球。
S3中，利用的视频片段包括未进球视频片段、普通进球视频片段、角球进球视频片段、任意球进球视频片段和点球进球视频片段。
S3中，卷积神经网络算法包括如下步骤：
①、利用预训练模型对卷积神经网络进行初始化，网络的初始学习率为0.001，输入的num_segments为35，每个视频长度在5秒左右，采用TSN神经网络，预训练模型是bn_inception-9f5701afb96c8044.pth；
②、将训练视频和对应的标注数据作为输入，利用反向传播算法对TSN模型进行训练，当模型的loss在5个epoch上没有变化时，降低学习率，每个epoch保存一次中间模型，当epoch超过160次以后，结束训练，让模型自动学习到足球视频中的有用信息；
③、从所有中间模型中选择准确率最高的模型作为最终使用的模型。
TSN神经网络输入数据预处理包括如下步骤：
步骤一：对于每个训练视频，将视频所有帧读取出来，将所有帧等间隔分成若干段，如分成了35段，每一段中随机取出一个视频帧作为该段的输入，也就是每个视频会取出35个视频帧作为一个输入；
步骤二：对取出的35个视频帧进行一些预处理，包括随机水平翻转、center crop、color jittering等。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于深度学习的足球视频片段分类方法，其方法步骤如下：
S1、准备视频数据：准备大量的足球比赛片段；
S2、标注信息：通过人工的方式对上述视频片段进行标注，标注内容为该视频片段是否进球；
S3、建立分类模型：根据视频片段及标注数据，利用基于深度学习的卷积神经网络算法对分类后的足球视频片段进行学习，训练分类模型；
S4、视频处理：对于足球比赛视频直播流，每隔5秒截取一个视频片段，将截取出的每个视频片段输入分类模型中，由模型进行处理后，自动输出分类信息。
2.根据权利要求1所述的基于深度学习的足球视频片段分类方法，其特征在于：S1中，准备视频数据中的足球比赛片段方法为通过在正常比赛中截取视频片段或通过网络爬虫爬取大量的足球视频片段。
3.根据权利要求1所述的基于深度学习的足球视频片段分类方法，其特征在于：S2中标注信息，标注信息包括如下步骤：
步骤一：标注视频片段是否进球；
步骤二：标注进球片段视频是什么类型的进球，包括普通进球、角球、任意球、点球。
4.根据权利要求1所述的基于深度学习的足球视频片段分类方法，其特征在于：S3中，利用的视频片段包括未进球视频片段、普通进球视频片段、角球进球视频片段、任意球进球视频片段和点球进球视频片段。
5.根据权利要求1所述的基于深度学习的足球视频片段分类方法，其特征在于：S3中，基于卷积神经网络算法的模型训练包括如下步骤：
①、利用预训练模型对卷积神经网络进行初始化，网络的初始学习率为0.001，输入的num_segments为35，每个视频长度在5秒左右，采用TSN神经网络，预训练模型是bn_inception-9f5701afb96c8044.pth；
②、将训练视频和对应的标注数据作为输入，利用反向传播算法对TSN模型进行训练，当模型的loss在5个epoch上没有变化时，降低学习率，每个epoch保存一次中间模型，当epoch超过160次以后，结束训练，让模型自动学习到足球视频中的有用信息；
③、从所有中间模型中选择准确率最高的模型作为最终使用的模型。
6.根据权利要求5所述的基于深度学习的足球视频片段分类方法，其特征在于：TSN神经网络的输入数据处理包括如下步骤：
步骤一：对于每个训练视频，将视频所有帧读取出来，将所有帧等间隔分成若干段，如分成35段，每一段中随机取出一个视频帧作为该段的输入，也就是每个视频会取出35个视频帧作为一个输入；
步骤二：对取出的35个视频帧会进行一些预处理，包括随机水平翻转、center crop、color jittering等。
CN201910930957.9A 2019-09-29 2019-09-29 一种基于深度学习的足球视频片段分类方法 Pending CN110633694A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910930957.9A CN110633694A (zh) 2019-09-29 2019-09-29 一种基于深度学习的足球视频片段分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910930957.9A CN110633694A (zh) 2019-09-29 2019-09-29 一种基于深度学习的足球视频片段分类方法

Publications (1)

Publication Number Publication Date
CN110633694A true CN110633694A (zh) 2019-12-31

Family

ID=68974637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910930957.9A Pending CN110633694A (zh) 2019-09-29 2019-09-29 一种基于深度学习的足球视频片段分类方法

Country Status (1)

Country Link
CN (1) CN110633694A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251885A (ja) * 2005-03-08 2006-09-21 Kddi Corp スポーツ映像の分類装置およびログ生成装置
CN101127866A (zh) * 2007-08-10 2008-02-20 西安交通大学 一种检测足球比赛视频精彩片段的方法
CN105678732A (zh) * 2014-11-18 2016-06-15 北京数码视讯科技股份有限公司 一种点球、角球和任意球关键帧的检测方法和装置
CN108764128A (zh) * 2018-05-25 2018-11-06 华中科技大学 一种基于稀疏时间分段网络的视频动作识别方法
CN109886165A (zh) * 2019-01-23 2019-06-14 中国科学院重庆绿色智能技术研究院 一种基于运动目标检测的动作视频提取和分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006251885A (ja) * 2005-03-08 2006-09-21 Kddi Corp スポーツ映像の分類装置およびログ生成装置
CN101127866A (zh) * 2007-08-10 2008-02-20 西安交通大学 一种检测足球比赛视频精彩片段的方法
CN105678732A (zh) * 2014-11-18 2016-06-15 北京数码视讯科技股份有限公司 一种点球、角球和任意球关键帧的检测方法和装置
CN108764128A (zh) * 2018-05-25 2018-11-06 华中科技大学 一种基于稀疏时间分段网络的视频动作识别方法
CN109886165A (zh) * 2019-01-23 2019-06-14 中国科学院重庆绿色智能技术研究院 一种基于运动目标检测的动作视频提取和分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
俞勇: "《人工智能实践：动手做你自己的AI》", 31 August 2019 *

Similar Documents

Publication Publication Date Title
CN110166827B (zh) 视频片段的确定方法、装置、存储介质及电子装置
CN110674785A (zh) 一种基于人体关键点跟踪的多人姿态分析方法
CN110807353A (zh) 一种基于深度学习的变电站异物识别方法、装置及系统
CN111444890A (zh) 一种基于机器学习的体育数据分析系统和方法
CN101639354A (zh) 对象跟踪的设备和方法
CN110033463B (zh) 一种前景数据生成及其应用方法、相关装置和系统
CN1750618A (zh) 在接收机上观看视听文档的方法和观看这种文档的接收机
CN109919157A (zh) 一种视觉定位方法及装置
Fang et al. Surveillance face anti-spoofing
CN110991297A (zh) 一种基于场景监控的目标定位方法及系统
CN109961039A (zh) 一种个人进球视频捕捉方法及系统
CN111738202B (zh) 一种关键点识别方法、装置、电子设备及存储介质
CN114943923B (zh) 基于深度学习的视频识别炮弹爆炸火光烟雾方法及系统
Gao et al. Non-goal scene analysis for soccer video
CN110516572B (zh) 一种识别体育赛事视频片段的方法、电子设备及存储介质
CN111476132A (zh) 视频场景识别方法、装置及电子设备、存储介质
CA3061908A1 (en) Ball trajectory tracking
CN117333550A (zh) 基于计算机视觉检测的羽毛球发球高度违例判别方法
CN110633694A (zh) 一种基于深度学习的足球视频片段分类方法
CN112070181A (zh) 一种基于图像流的协同检测方法及装置、存储介质
CN110418150A (zh) 一种信息提示方法、设备、系统及计算机可读存储介质
CN110298824A (zh) 基于彩色图像和卷积神经网络技术的鱿鱼自动分类方法
CN110674769A (zh) 一种基于深度学习算法的足球视频片段未进球、普通进球、定位球分类方法
US9959632B2 (en) Object extraction from video images system and method
CN112966673A (zh) 一种行人重识别模型的构建方法及行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191231