CN108288475A - 一种基于深度学习的体育视频集锦剪辑方法 - Google Patents

一种基于深度学习的体育视频集锦剪辑方法 Download PDF

Info

Publication number
CN108288475A
CN108288475A CN201810146300.9A CN201810146300A CN108288475A CN 108288475 A CN108288475 A CN 108288475A CN 201810146300 A CN201810146300 A CN 201810146300A CN 108288475 A CN108288475 A CN 108288475A
Authority
CN
China
Prior art keywords
video
video block
serial number
deep learning
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810146300.9A
Other languages
English (en)
Inventor
周永修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Original Assignee
Hangzhou Digital Peak Technology Co Ltd
Chengdu Rui Code Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Digital Peak Technology Co Ltd, Chengdu Rui Code Technology Co Ltd filed Critical Hangzhou Digital Peak Technology Co Ltd
Priority to CN201810146300.9A priority Critical patent/CN108288475A/zh
Publication of CN108288475A publication Critical patent/CN108288475A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals

Abstract

本发明公开了一种基于深度学习的体育视频集锦剪辑方法，所述方法包括：将待处理的视频源拆分为一系列视频块，并按顺序对每段视频块标记序号；针对每一个视频块，基于训练好的深度学习VGG16网络进行打分，该分数为0‑1的小数，其中，打分分数的高低与该段视频精彩程度成正比；打分完成后，以视频块序号为横轴，以视频块分数为纵轴建立坐标系，并将一系列视频块在坐标系中标出，并连接形成曲线；在坐标系中，获取曲线中所有波峰为1的波段并获取对应的视频块序号，组成视频块序号组；基于获取的视频块序号组，将视频块序号组中序号对应的视频块组成连续视频，生成视频精彩集锦；实现了自动对视频进行剪辑，剪辑效率较高的技术效果。

Description

一种基于深度学习的体育视频集锦剪辑方法
技术领域
本发明涉及视频处理领域，具体地，涉及一种基于深度学习的体育视频集锦剪辑方法。
背景技术
传统的体育比赛视频集锦剪辑大多采用人工的方法，由视频编辑自行判断一场比赛中的精彩部分，并进行剪辑。人工的方法通常要求编辑对所剪辑的体育比赛有一定的了解，知道如何判断一场比赛中的精彩镜头，同时需要看完整场比赛，以保证不会漏掉其中的精彩部分。随着现阶段体育比赛越来越丰富，人工剪辑的方法显得效率低下，不足以满足对大量比赛进行专业化的剪辑的需求。
发明内容
本发明提供了一种基于深度学习的体育视频集锦剪辑方法，解决了现有采用人工视频剪辑方法效率低下的问题，实现了自动对视频进行剪辑，剪辑效率较高的技术效果。
为实现上述发明目的，本申请提供了一种基于深度学习的体育视频集锦剪辑方法，所述方法包括：
将待处理的视频源拆分为一系列视频块，并按顺序对每段视频块标记序号；
针对每一个视频块，基于训练好的深度学习VGG16网络进行打分，该分数为0-1的小数，其中，打分分数的高低与该段视频精彩程度成正比；
打分完成后，以视频块序号为横轴，以视频块分数为纵轴建立坐标系，并将一系列视频块在坐标系中标出，并连接形成曲线；
在坐标系中，获取曲线中所有波峰为1的波段并获取对应的视频块序号，组成视频块序号组；
基于获取的视频块序号组，将视频块序号组中序号对应的视频块组成连续视频，生成视频精彩集锦。
该方法对比赛的剪辑完全使用自动化程序执行，解决了现阶段体育比赛人工剪辑方法效率低下的问题。
进一步的，本方法中的深度学习VGG16网络将准备的训练数据输入网络，观察网络输出的准确率和loss值，在训练过程中不断降低学习率，直到输出的准确率不再上升且loss值不再下降。
进一步的，本方法将待处理的视频源的每一帧彩色图像转换为灰度图，然后按照每24帧分为一个视频块，并按顺序对每段视频块标记序号。
本方法中的深度学习VGG16网络模型训练具体包括：修改VGG16网络，将VGG16网络中data的channel设置为24，修改VGG16网络中fc8层的输出参数num_output为1，最后的loss层改为sigmoidCrossEntropyLoss层，在caffe环境中训练准备好的训练数据。
进一步的，本方法使用训练好的模型对每个视频块进行预测，将fc8层的输出通过sigmod函数映射到0-1的范围内，该数值即为该段视频的精彩程度分数。
以视频块序号为横轴，以视频块分数为纵轴作一条曲线：视频中的精彩部分的label标记1，该精彩部分起始和结束的序号所对应的label标记0，顺次连接标记点，即可获得每个视频块所对应的label。
依照编号顺序获取分数为1的序号为基准，从序号从大向小的方向，获取分数为0的序号为该段精彩视频序列段的起始序号；从序号从小向大的方向，向后获取分数为0的序号作为该段精彩视频序列段的结束序号，保存区间序列所对应的视频块。
本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：
解决了现有采用人工视频剪辑方法效率低下的问题，实现了自动对视频进行剪辑，剪辑效率较高的技术效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；
图1是本申请中视频块打分流程示意图；
图2是本申请中视频精彩片段抽取流程示意图；
图3是本申请中VGG16网络示意图。
具体实施方式
本发明提供了一种基于深度学习的体育视频集锦剪辑方法，解决了现有采用人工视频剪辑方法效率低下的问题，实现了自动对视频进行剪辑，剪辑效率较高的技术效果。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
请参考图1-图3，本申请提供了种基于深度学习技术的体育比赛视频剪辑方法，用于解决体育比赛人工剪辑方法效率低的问题。
将整个待处理的视频按照每24帧分为一系列视频块，并按顺序给每段视频块标记序号；针对每一个视频块，使用事先训练好的VGG16网络进行打分，该分数为0-1的小数，其中越接近0表示该段视频越不精彩，越接近1表示该段视频越精彩；打分结束后，可以获得一条以序号为横轴，以分数为纵轴的曲线；曲线中波峰为1的波所对应的视频段即为精彩视频所在的部分；分别找到波峰为1的波，获取该段波所对应的视频块序号，该段连续视频块即为比赛的一个精彩片段；综合所有的精彩片段即可获得该场比赛的精彩集锦。
训练数据准备：
1.将视频的每一帧彩色图像转换为灰度图，然后按照每24帧分为一个视频块，并编号。通常的视频一秒包含24帧，所以一个视频块所对应的序号对应该视频块在整段视频中的时间。
2.以视频块序号为横轴，该段视频精彩程度为纵轴作一条曲线：视频中的精彩部分的label标记1，该精彩部分起始和结束的序号所对应的label标记0，顺次连接标记点，即可获得每个视频块所对应的label。
模型训练：
1.修改VGG16网络，将data的channel设置为24，修改fc8层的输出参数num_output为1，最后的loss层改为sigmoidCrossEntropyLoss层。
2.在caffe环境中训练准备好的训练数据。
视频块精彩程度打分：
使用训练好的模型对每个视频块进行预测，将fc8层的输出通过sigmod函数映射到0-1的范围内，该数值即为该段视频的精彩程度分数。
将每个比赛视频输入到执行程序后，程序自动进行视频分块，并对每块视频利用深度学习的方法实现自动评估打分，该分数能够反映该视频块的精彩程度，最后将所有精彩的视频块连接起来即可得到整场比赛的精彩集锦。整个过程全部由程序执行，可以快速准确地实现对比赛视频集锦的剪辑工作。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于深度学习的体育视频集锦剪辑方法，其特征在于，所述方法包括：
将待处理的视频源拆分为一系列视频块，并按顺序对每段视频块标记序号；
针对每一个视频块，基于训练好的深度学习VGG16网络进行打分，该分数为0-1的小数，其中，打分分数的高低与该段视频精彩程度成正比；
打分完成后，以视频块序号为横轴，以视频块分数为纵轴建立坐标系，并将一系列视频块在坐标系中标出，并连接形成曲线；
在坐标系中，获取曲线中所有波峰为1的波段并获取对应的视频块序号，组成视频块序号组；
基于获取的视频块序号组，将视频块序号组中序号对应的视频块组成连续视频，生成视频精彩集锦。
2.根据权利要求1所述的基于深度学习的体育视频集锦剪辑方法，其特征在于，将待处理的视频源的每一帧彩色图像转换为灰度图，然后按照每24帧分为一个视频块，并按顺序对每段视频块标记序号。
3.根据权利要求1所述的基于深度学习的体育视频集锦剪辑方法，其特征在于，本方法中的深度学习VGG16网络模型训练具体包括：修改VGG16网络，将VGG16网络中data的channel设置为24，修改VGG16网络中fc8层的输出参数num_output为1，最后的loss层改为sigmoidCrossEntropyLoss层，在caffe环境中训练准备好的训练数据。
4.根据权利要求3所述的基于深度学习的体育视频集锦剪辑方法，其特征在于，使用训练好的模型对每个视频块进行预测，将fc8层的输出通过sigmod函数映射到0-1的范围内，该数值即为该段视频的精彩程度分数。
5.根据权利要求1所述的基于深度学习的体育视频集锦剪辑方法，其特征在于，以视频块序号为横轴，以视频块分数为纵轴作一条曲线：视频中的精彩部分的label标记1，该精彩部分起始和结束的序号所对应的label标记0，顺次连接标记点，即可获得每个视频块所对应的label。
6.根据权利要求5所述的基于深度学习的体育视频集锦剪辑方法，其特征在于，依照编号顺序获取分数为1的序号为基准，从序号从大向小的方向，获取分数为0的序号为该段精彩视频序列段的起始序号；从序号从小向大的方向，向后获取分数为0的序号作为该段精彩视频序列段的结束序号，保存区间序列所对应的视频块。
CN201810146300.9A 2018-02-12 2018-02-12 一种基于深度学习的体育视频集锦剪辑方法 Pending CN108288475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810146300.9A CN108288475A (zh) 2018-02-12 2018-02-12 一种基于深度学习的体育视频集锦剪辑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810146300.9A CN108288475A (zh) 2018-02-12 2018-02-12 一种基于深度学习的体育视频集锦剪辑方法

Publications (1)

Publication Number Publication Date
CN108288475A true CN108288475A (zh) 2018-07-17

Family

ID=62832918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810146300.9A Pending CN108288475A (zh) 2018-02-12 2018-02-12 一种基于深度学习的体育视频集锦剪辑方法

Country Status (1)

Country Link
CN (1) CN108288475A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109045664A (zh) * 2018-09-05 2018-12-21 山东大学 基于深度学习的跳水打分方法、服务器及系统
CN110505519A (zh) * 2019-08-14 2019-11-26 咪咕文化科技有限公司 一种视频剪辑方法、电子设备及存储介质
CN113497977A (zh) * 2020-03-18 2021-10-12 阿里巴巴集团控股有限公司 视频处理方法、模型训练方法、装置、设备和存储介质
WO2022007545A1 (zh) * 2020-07-06 2022-01-13 聚好看科技股份有限公司 一种视频集锦的生成方法及显示设备
CN113973216A (zh) * 2020-07-22 2022-01-25 聚好看科技股份有限公司 一种视频集锦的生成方法及显示设备
CN113992975A (zh) * 2021-10-13 2022-01-28 咪咕视讯科技有限公司 视频播放方法、装置、设备以及计算机存储介质
WO2022127877A1 (zh) * 2020-12-16 2022-06-23 影石创新科技股份有限公司 视频剪辑方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427507A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种基于事件模型的足球视频集锦自动合成方法
CN102547141A (zh) * 2012-02-24 2012-07-04 央视国际网络有限公司 基于体育赛事视频的视频数据筛选方法及装置
US9430697B1 (en) * 2015-07-03 2016-08-30 TCL Research America Inc. Method and system for face recognition using deep collaborative representation-based classification
CN106028134A (zh) * 2015-03-31 2016-10-12 泽普实验室公司 针对移动计算设备检测体育视频精彩部分
CN106780434A (zh) * 2016-11-15 2017-05-31 天津大学 水下图像视觉质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427507A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种基于事件模型的足球视频集锦自动合成方法
CN102547141A (zh) * 2012-02-24 2012-07-04 央视国际网络有限公司 基于体育赛事视频的视频数据筛选方法及装置
CN106028134A (zh) * 2015-03-31 2016-10-12 泽普实验室公司 针对移动计算设备检测体育视频精彩部分
US9430697B1 (en) * 2015-07-03 2016-08-30 TCL Research America Inc. Method and system for face recognition using deep collaborative representation-based classification
CN106780434A (zh) * 2016-11-15 2017-05-31 天津大学 水下图像视觉质量评价方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109045664A (zh) * 2018-09-05 2018-12-21 山东大学 基于深度学习的跳水打分方法、服务器及系统
CN110505519A (zh) * 2019-08-14 2019-11-26 咪咕文化科技有限公司 一种视频剪辑方法、电子设备及存储介质
CN110505519B (zh) * 2019-08-14 2021-12-03 咪咕文化科技有限公司 一种视频剪辑方法、电子设备及存储介质
CN113497977A (zh) * 2020-03-18 2021-10-12 阿里巴巴集团控股有限公司 视频处理方法、模型训练方法、装置、设备和存储介质
WO2022007545A1 (zh) * 2020-07-06 2022-01-13 聚好看科技股份有限公司 一种视频集锦的生成方法及显示设备
CN113973216A (zh) * 2020-07-22 2022-01-25 聚好看科技股份有限公司 一种视频集锦的生成方法及显示设备
WO2022127877A1 (zh) * 2020-12-16 2022-06-23 影石创新科技股份有限公司 视频剪辑方法、系统、电子设备及存储介质
CN113992975A (zh) * 2021-10-13 2022-01-28 咪咕视讯科技有限公司 视频播放方法、装置、设备以及计算机存储介质
CN113992975B (zh) * 2021-10-13 2023-10-17 咪咕视讯科技有限公司 视频播放方法、装置、设备以及计算机存储介质

Similar Documents

Publication Publication Date Title
CN108288475A (zh) 一种基于深度学习的体育视频集锦剪辑方法
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN108596024B (zh) 一种基于人脸结构信息的肖像生成方法
CN110032954A (zh) 一种钢筋智能识别与计数方法及系统
CN109685811A (zh) 基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法
CN106600632B (zh) 一种改进匹配代价聚合的立体图像匹配方法
KR20110066609A (ko) 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법
CN103530894A (zh) 一种基于多尺度块稀疏表示的视频目标追踪方法及其系统
CN107392118A (zh) 基于多任务对抗生成网络的强化人脸属性识别方法及系统
CN104751111B (zh) 识别视频中人体行为的方法和系统
CN112434794A (zh) 一种基于深度学习的计算机视觉数据集半自动标注方法及系统
CN110210483A (zh) 医疗图像病变区域分割方法、模型训练方法和设备
CN112712546A (zh) 一种基于孪生神经网络的目标跟踪方法
CN105678381A (zh) 一种性别分类网络训练方法、性别分类方法及相关装置
CN106548213A (zh) 血管识别方法和装置
CN110110793A (zh) 基于双流卷积神经网络的双目图像快速目标检测方法
CN110135524A (zh) 自动化的模型训练方法、装置、设备及介质
CN102799861B (zh) 一种利用颜色快速识别仪表读数的方法
CN107506691B (zh) 一种基于肤色检测的唇部定位方法和系统
CN104143203A (zh) 一种图像编辑传播方法
CN113837191A (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN114342986B (zh) 一种猪半胴体智能分割方法
CN115661904A (zh) 数据标注和域适应模型训练方法、装置、设备及介质
CN115719497A (zh) 一种学生专注度识别方法及系统
CN114972881A (zh) 图像分割数据标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180717