CN109819338B - 一种视频自动剪辑方法、装置及便携式终端 - Google Patents
一种视频自动剪辑方法、装置及便携式终端 Download PDFInfo
- Publication number
- CN109819338B CN109819338B CN201910132043.8A CN201910132043A CN109819338B CN 109819338 B CN109819338 B CN 109819338B CN 201910132043 A CN201910132043 A CN 201910132043A CN 109819338 B CN109819338 B CN 109819338B
- Authority
- CN
- China
- Prior art keywords
- video
- preset
- key frame
- type
- clipping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013077 scoring method Methods 0.000 claims abstract description 17
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
- H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
- H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
本发明提供了一种视频自动剪辑方法、装置及便携式终端。所述方法包括:获取待剪辑视频;提取待剪辑视频的关键帧;将关键帧输入预训练场景分类方法和预训练目标检测方法,分别得到场景类型标记和目标对象标记;筛选满足预设剪辑规则的复数个视频段;通过预训练图像质量评分方法分别计算复数个视频段的平均分;分别获取每个镜头类型平均分最高的视频段进行拼接。本发明技术方案通过预训练场景分类方法和预训练图像质量评分方法,生成剪辑规则和流程,避免了由于人为因素导致的剪辑效率低以及准确性低的问题,实现了一种视频自动剪辑的效果。
Description
技术领域
本发明属于视频领域,尤其涉及一种视频自动剪辑方法、装置及便携式终端。
背景技术
随着多媒体技术的发展,各种图像及音视频为人们的生活增添了诸多乐趣。人们在观看影片、电视剧或者自己拍摄的短片等视频文件时,通常会选择自己感兴趣的片段进行观看,但是准确的找到这些片段是比较困难的,尤其对于习惯使用移动终端观看视频的用户来说,基本使用手指在触摸屏上对进度条进行相关操作,因此观看很不方便。
传统的视频剪辑大多采用人工的方法,即由人工预览每一个待剪辑视频,自行判断一场比赛中的精彩部分,并进行剪辑。这种方法不仅使视频剪辑效率低且由于存在人为操作误差导致视频剪辑准确性低。
本发明通过预训练场景分类方法和图像质量评分方法,生成剪辑规则和流程,实现了一种视频自动剪辑的效果。
发明内容
本发明提出一种视频自动剪辑方法、装置及便携式终端,旨在避免由于人为因素导致的剪辑效率低以及准确性低的问题,实现一种视频自动剪辑的效果。
第一方面,本发明提供了一种视频自动剪辑方法,所述方法包括:
获取待剪辑视频;
提取待剪辑视频的关键帧;
将关键帧输入预训练场景分类方法和预训练目标检测方法,分别得到场景类型标记和目标对象标记;
筛选满足预设剪辑规则的复数个视频段;
通过预训练图像质量评分方法分别计算复数个视频段的平均分;
分别获取每个镜头类型平均分最高的视频段进行拼接。
第二方面,本发明提供了一种视频自动剪辑装置,所述装置包括:
获取模块:用于获取待剪辑视频;
提取关键帧模块:用于提取待剪辑视频的关键帧;
标记模块:用于将关键帧输入预训练场景分类方法和预训练目标检测方法,分别得到场景类型标记和目标对象标记;
筛选模块:用于筛选满足预设剪辑规则的复数个视频段;
计算模块:用于通过预训练图像质量评分方法分别计算复数个视频段的平均分;
拼接模块:用于分别获取每个镜头类型平均分最高的视频段进行拼接。
第三方面,本发明提供了一种计算机可读存储介质,所述计算机程序被处理器执行时实现如上述的一种视频自动剪辑方法的步骤。
第四方面,本发明提供了一种便携式终端,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述处理器执行所述计算机程序时实现如上述的一种视频自动剪辑方法的步骤。
在本发明中,通过预训练场景分类方法和图像质量评分方法,生成剪辑规则和流程,实现了一种视频自动剪辑的效果。本发明技术方案能够避免由于人为因素导致的剪辑效率低以及准确性低的问题,提高视频剪辑的效率。
附图说明
图1是本发明实施例一提供的一种视频自动剪辑方法流程图。
图2是本发明实施例一提供的筛选满足预设剪辑规则的视频段的流程图。
图3是本发明实施例二提供的一种视频自动剪辑模块示意图。
图4是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一:
请参阅图1,本发明实施例一提供的一种视频自动剪辑方法包括以下步骤:
S101.获取待剪辑视频;
所述待剪辑视频的数量为n个,n≥5;
需要说明的是,本申请实施例中所述待剪辑视频可以是影片、电视剧或者用户自己拍摄的短片等视频文件,还可以是其他类型或者来源的视频文件,或者是通用格式的视频文件,如mp4、insv等,本申请不做限定。
S102.提取待剪辑视频的关键帧;
提取所述待剪辑视频的关键帧可以采用但不限于使用第三方库ffmpeg提取关键帧;
需要说明的是,关键帧描述了图像背景和运动主体的信息,通过读取关键帧图像数据,可以获取到视频的图像内容;视频文件封装格式都有关键帧列表的标示,比如mp4格式视频,stss box就是标示关键帧列表的信息,它包含了每一个关键帧的视频时刻和所处视频文件位址偏离量,通过读取stss box信息即可获取到待剪辑视频的每一个关键帧的图像。
S103.针对关键帧采用预训练场景分类方法和预训练目标检测方法分别提取场景类型的标记和目标对象的标记;
预训练场景分类方法中场景类型有p个,可以包含但不限于街道,办公室,地铁站,机场,商店,沙滩等,p对应预设的场景类型排列的顺序,p≥100;将第i个关键帧输入预训练场景分类方法,判断关键帧的场景类型,得到场景类型的标记,记为Si;Si∈[0,p];
预设的目标对象有k个,可以包含但不限于人,交通工具,美食,球类,电子设备,动植物等,k对应预设的目标对象排列的顺序,k≥50;将第i个关键帧输入预训练目标检测方法,检测关键帧中的目标对象,得到目标对象的标记Di,Di∈[0,k];
需要说明的是:预训练场景分类方法是预先训练好的基于深度卷积网络的场景分类算法,可以判断图像的场景类型;预训练目标检测方法是预先训练好的基于深度卷积网络的目标检测算法,可以检测出图像中是否存在预设的目标对象。
S104.筛选满足预设剪辑规则的复数个视频段;
预设剪辑规则包括预设镜头类型和预设每个镜头类型剪辑视频段的关键帧数;
预设剪辑规则中预设镜头类型由场景类型和目标对象综合确定,即一个预设镜头类型由一个预设场景类型和一个或多个目标对象确定;预设的镜头类型可以包含但不限于工作,旅游,逛街,风景,运动等日常生活场景;例如:预设镜头类型为工作的场景类型可以为办公室或会议室,和/或目标对象可以为电脑、桌子、键盘和/或鼠标等;
请参阅图2,筛选满足预设剪辑规则的视频段具体包括:
S1041:依次检测每个镜头类型;
预设剪辑规则中预设镜头类型为j个,j≥3;
S1042:依次判断每个关键帧是否为当前检测的镜头类型;
通过函数fj(i)依次判断第i个关键帧的镜头类型是否为第j个镜头类型:
公式(1)中,SSetj和DSetj分别为预设剪辑规则的第j个预设镜头类型时的场景类型集合和目标对象集合,Si和Di分别为步骤S103中得到的第i个关键帧的场景类型和目标对象,fj(i)=1为当前检测的镜头类型,fj(i)=0则不是当前检测的镜头类型;
S1043:剪辑视频段,依次判断所述剪辑视频段是否满足当前检测的镜头类型;
预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数为t,t≥3;判断剪辑视频段是否满足当前检测的镜头类型通过函数mj(i,t)判断:
公式(2)中,mj(i,t)=1为满足,mj(i,t)=0为不满足;
S1044:分别获取满足每个镜头类型的视频段;
当检测第j个镜头类型时,第i个关键帧对应的视频段记为maskj(i,t);maskj(i,t)为第i个关键帧在视频中播放开始时刻与第i+t个关键帧在视频中播放开始时刻之间的片段。
S105.通过预训练的图像质量评分方法分别计算复数个视频段的平均分;
分别计算复数个满足预设剪辑规则的视频段的平均分具体为:
计算视频段maskj(i,t)的平均分Mj(i,t)的公式为:
公式(3)中,li为第i个关键帧输入预训练的图像质量评分方法中得到的图像质量评分,li+t-1为第i+t-1个关键帧输入预训练的图像质量评分方法中得到的图像质量评分,t为视频段maskj(i,t)的连续关键帧数;
需要说明的是,预训练的图像质量评分方法是预先训练好的基于深度卷积网络的图像质量评分算法,可以给输入图像的质量输出一个对应的分数l,l∈(0,1),l值越大表示图像的质量越好。
S106.分别获取每个镜头类型平均分最高的视频段进行拼接;
分别获取每个镜头类型的平均分最高的视频段进行视频拼接,生成新的视频文件,具体为:
当检测第j个镜头类型时,获取该镜头类型对应的平均分最高的视频段max(Mj(i)),最终可以获取j个视频段,将该j个视频段按照预设场景顺序进行拼接,生成新的视频文件;
在拼接完成后还可以包括加入预设的背景音乐,预设的背景音乐可以有多个,背景音乐包括但不限于为普通的音乐和音频文件。
实施例二:
请参阅图3,本发明实施例二提供的一种视频自动剪辑装置包括:
获取模块:用于获取待剪辑视频;
提取关键帧模块:用于提取待剪辑视频的关键帧;
标记模块:用于将关键帧输入预训练场景分类方法和预训练目标检测方法,分别得到场景类型标记和目标对象标记;
筛选模块:用于筛选满足预设剪辑规则的复数个视频段;
计算模块:用于通过预训练图像质量评分方法分别计算复数个视频段的平均分;
拼接模块:用于分别获取每个镜头类型平均分最高的视频段进行拼接。
本发明实施例二提供的一种视频自动剪辑的装置及本发明实施例一提供的一种视频自动剪辑方法属于同一构思,其具体实现过程详见说明书全文,此处不再赘述。
实施例三:
本发明实施例三提供了一种计算机可读存储介质,所述计算机程序被处理器执行时实现如本发明实施例一提供的一种视频自动剪辑方法的步骤。
实施例四:
图4示出了本发明实施例四提供的便携式终端的具体结构框图,一种便携式终端100包括:一个或多个处理器101、存储器102、以及一个或多个计算机程序,其中所述处理器101和所述存储器102通过总线连接,所述一个或多个计算机程序被存储在所述存储器102中,并且被配置成由所述一个或多个处理器101执行,所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种视频自动剪辑方法的步骤。
在本发明实施例中,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
在本发明中,通过预训练场景分类方法和图像质量评分方法,生成剪辑规则和流程,实现了一种视频自动剪辑的效果。本发明技术方案能够避免了由于人为因素导致的剪辑效率低以及准确性低的问题,提高视频剪辑的效率。
Claims (10)
1.一种视频自动剪辑方法,其特征在于,包括以下步骤:
获取待剪辑视频;提取待剪辑视频的关键帧;
将关键帧输入预训练场景分类方法和预训练目标检测方法,分别得到场景类型标记和目标对象标记;
筛选满足预设剪辑规则的复数个视频段,其中,预设剪辑规则包括预设镜头类型和预设每个镜头类型剪辑视频段的关键帧数,预设镜头类型由场景类型和目标对象综合确定,预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数大于预定值;
通过预训练图像质量评分方法分别计算复数个视频段的平均分;
分别获取每个镜头类型平均分最高的视频段进行拼接。
2.如权利要求1所述的视频自动剪辑方法,其特征在于:所述待剪辑视频的数量为n个,n≥5。
3.如权利要求1所述的视频自动剪辑方法,其特征在于:所述将关键帧输入预训练场景分类方法和预训练目标检测方法,分别得到场景类型标记和目标对象标记具体包括:
预训练场景分类方法中场景类型有p个,p对应预设的场景类型排列顺序,p≥100;
将第i个关键帧输入预训练场景分类方法,判断关键帧的场景类型,得到场景类型的标记Si,Si∈[0,p];
预设的目标对象有k个,k对应预设的目标对象排列的顺序,k≥50;
将第i个关键帧输入预训练的目标检测方法,检测关键帧中的目标对象,得到目标对象的标记Di,Di∈[0,k]。
4.如权利要求1所述的视频自动剪辑方法,其特征在于:筛选满足预设剪辑规则的复数个视频段具体包括:
依次检测每个镜头类型:
预设剪辑规则中预设镜头类型为j个,j≥3;
判断每个关键帧是否为当前检测的镜头类型:
通过函数fj(i)判断第i个关键帧的镜头类型是否为第j个镜头类型:
公式(1)中,SSetj和DSetj分别为预设剪辑规则的第j个预设镜头类型时的场景类型集合和目标对象集合,Si和Di分别为第i个关键帧的场景类型和目标对象,fj(i)=1为当前检测的镜头类型,当fj(i)=0则不属于当前检测的镜头类型;
判断剪辑视频段是否满足当前检测的镜头类型:
预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数为t,t≥3;判断剪辑视频段是否满足当前检测的镜头类型通过函数mj(i,t)判断:
公式(2)中,mj(i,t)=1为满足,mj(i,t)=0为不满足;
分别获取满足每个镜头类型的视频段:
当检测第j个镜头类型时,第i个关键帧对应的视频段记为maskj(i,t);maskj(i,t)为第i个关键帧在视频中播放开始时刻与第i+t个关键帧在视频中播放开始时刻之间的片段。
6.如权利要求1所述的视频自动剪辑方法,其特征在于:分别获取每个镜头类型平均分最高的视频段进行拼接,所述镜头类型由场景类型和目标对象综合确定。
7.如权利要求1所述的视频自动剪辑方法,其特征在于:在拼接完成后还可以加入预设的背景音乐。
8.一种视频自动剪辑装置,其特征在于,包括:
获取模块:用于获取待剪辑视频;
提取关键帧模块:用于提取待剪辑视频的关键帧;
标记模块:用于将关键帧输入预训练场景分类方法和预训练目标检测方法,分别得到场景类型标记和目标对象标记;
筛选模块:用于筛选满足预设剪辑规则的复数个视频段,其中,预设剪辑规则包括预设镜头类型和预设每个镜头类型剪辑视频段的关键帧数,预设镜头类型由场景类型和目标对象综合确定,预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数大于预定值;
计算模块:用于通过预训练图像质量评分方法分别计算复数个视频段的平均分;
拼接模块:用于分别获取每个镜头类型平均分最高的视频段进行拼接。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的视频自动剪辑方法的步骤。
10.一种便携式终端,包括:
一个或多个处理器;
存储器;以及
一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频自动剪辑方法的步骤。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910132043.8A CN109819338B (zh) | 2019-02-22 | 2019-02-22 | 一种视频自动剪辑方法、装置及便携式终端 |
PCT/CN2020/086188 WO2020169121A2 (zh) | 2019-02-22 | 2020-04-22 | 一种视频自动剪辑方法及便携式终端 |
EP20759825.1A EP3920542A4 (en) | 2019-02-22 | 2020-04-22 | AUTOMATIC VIDEO EDITING PROCESS AND PORTABLE DEVICE |
JP2021549369A JP7252362B2 (ja) | 2019-02-22 | 2020-04-22 | 動画を自動編集する方法及びポータブル型端末 |
US17/432,411 US11955143B2 (en) | 2019-02-22 | 2020-04-22 | Automatic video editing method and portable terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910132043.8A CN109819338B (zh) | 2019-02-22 | 2019-02-22 | 一种视频自动剪辑方法、装置及便携式终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109819338A CN109819338A (zh) | 2019-05-28 |
CN109819338B true CN109819338B (zh) | 2021-09-14 |
Family
ID=66607274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910132043.8A Active CN109819338B (zh) | 2019-02-22 | 2019-02-22 | 一种视频自动剪辑方法、装置及便携式终端 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11955143B2 (zh) |
EP (1) | EP3920542A4 (zh) |
JP (1) | JP7252362B2 (zh) |
CN (1) | CN109819338B (zh) |
WO (1) | WO2020169121A2 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109819338B (zh) * | 2019-02-22 | 2021-09-14 | 影石创新科技股份有限公司 | 一种视频自动剪辑方法、装置及便携式终端 |
CN110430443B (zh) * | 2019-07-11 | 2022-01-25 | 平安科技(深圳)有限公司 | 视频镜头剪切的方法、装置、计算机设备及存储介质 |
CN112166599A (zh) * | 2019-09-26 | 2021-01-01 | 深圳市大疆创新科技有限公司 | 视频剪辑方法及终端设备 |
CN111191522A (zh) * | 2019-12-11 | 2020-05-22 | 武汉光庭信息技术股份有限公司 | 图像场景信息存储方法及系统 |
CN113259601A (zh) * | 2020-02-11 | 2021-08-13 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、可读介质和电子设备 |
CN113938751B (zh) * | 2020-06-29 | 2023-12-22 | 抖音视界有限公司 | 视频转场类型确定方法、设备及存储介质 |
CN111914102B (zh) * | 2020-08-27 | 2024-06-25 | 上海掌门科技有限公司 | 编辑多媒体数据的方法、电子设备和计算机存储介质 |
CN112261425B (zh) * | 2020-10-20 | 2022-07-12 | 成都中科大旗软件股份有限公司 | 一种视频直播和录像播放方法及系统 |
CN113139415B (zh) * | 2020-10-22 | 2024-05-31 | 西安天和防务技术股份有限公司 | 视频关键帧提取方法、计算机设备和存储介质 |
CN112399251B (zh) * | 2020-12-02 | 2023-04-07 | 武汉四牧传媒有限公司 | 一种基于互联网云大数据视频剪辑方法及装置 |
CN112689200B (zh) * | 2020-12-15 | 2022-11-11 | 万兴科技集团股份有限公司 | 视频编辑方法、电子设备及存储介质 |
CN112770061A (zh) * | 2020-12-16 | 2021-05-07 | 影石创新科技股份有限公司 | 视频剪辑方法、系统、电子设备及存储介质 |
CN114697700B (zh) * | 2020-12-28 | 2024-07-16 | 北京小米移动软件有限公司 | 视频剪辑方法、视频剪辑装置及存储介质 |
CN112911281B (zh) * | 2021-02-09 | 2022-07-15 | 北京三快在线科技有限公司 | 一种视频质量评价方法及装置 |
CN113709384A (zh) * | 2021-03-04 | 2021-11-26 | 腾讯科技(深圳)有限公司 | 基于深度学习的视频剪辑方法、相关设备及存储介质 |
CN113301385B (zh) * | 2021-05-21 | 2023-02-28 | 北京大米科技有限公司 | 视频数据处理方法、装置、电子设备和可读存储介质 |
CN115734032A (zh) * | 2021-08-31 | 2023-03-03 | 华为技术有限公司 | 视频剪辑方法、电子设备及存储介质 |
CN114697761B (zh) * | 2022-04-07 | 2024-02-13 | 脸萌有限公司 | 一种处理方法、装置、终端设备及介质 |
CN115278355B (zh) * | 2022-06-20 | 2024-02-13 | 北京字跳网络技术有限公司 | 视频剪辑方法、装置、设备、计算机可读存储介质及产品 |
CN115734007B (zh) * | 2022-09-22 | 2023-09-01 | 北京国际云转播科技有限公司 | 视频剪辑方法、装置、介质及视频处理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107223344A (zh) * | 2017-01-24 | 2017-09-29 | 深圳大学 | 一种静态视频摘要的生成方法及装置 |
CN107222795A (zh) * | 2017-06-23 | 2017-09-29 | 南京理工大学 | 一种多特征融合的视频摘要生成方法 |
CN107566907A (zh) * | 2017-09-20 | 2018-01-09 | 广东欧珀移动通信有限公司 | 视频剪辑方法、装置、存储介质及终端 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4449216B2 (ja) | 1998-12-28 | 2010-04-14 | ソニー株式会社 | 映像情報の編集方法及び編集装置 |
US6807361B1 (en) | 2000-07-18 | 2004-10-19 | Fuji Xerox Co., Ltd. | Interactive custom video creation system |
EP1182584A3 (en) * | 2000-08-19 | 2005-12-28 | Lg Electronics Inc. | Method and apparatus for video skimming |
JP2005323276A (ja) | 2004-05-11 | 2005-11-17 | Olympus Corp | 録画装置、撮像装置および録画方法 |
US9020966B2 (en) * | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
US20090083790A1 (en) * | 2007-09-26 | 2009-03-26 | Tao Wang | Video scene segmentation and categorization |
US8364698B2 (en) * | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
US8195038B2 (en) * | 2008-10-24 | 2012-06-05 | At&T Intellectual Property I, L.P. | Brief and high-interest video summary generation |
CN101464893B (zh) * | 2008-12-31 | 2010-09-08 | 清华大学 | 一种提取视频摘要的方法及装置 |
CN101599179B (zh) | 2009-07-17 | 2011-06-01 | 北京邮电大学 | 场地运动精彩镜头集锦自动生成方法 |
JP2011124979A (ja) * | 2009-11-13 | 2011-06-23 | Jvc Kenwood Holdings Inc | 映像処理装置、映像処理方法、および映像処理プログラム |
CN101807198A (zh) * | 2010-01-08 | 2010-08-18 | 中国科学院软件研究所 | 一种基于草图的视频摘要生成方法 |
JP5537285B2 (ja) | 2010-06-28 | 2014-07-02 | 日本放送協会 | 要約映像生成装置及び要約映像生成プログラム |
WO2012068154A1 (en) * | 2010-11-15 | 2012-05-24 | Huawei Technologies Co., Ltd. | Method and system for video summarization |
CN102819528B (zh) * | 2011-06-10 | 2016-06-29 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
CN104978364A (zh) * | 2014-04-14 | 2015-10-14 | 上海京知信息科技有限公司 | 一种基于关键帧的网络视频格式文件摘要提取方法 |
CN113766161B (zh) * | 2014-12-14 | 2023-06-20 | 深圳市大疆创新科技有限公司 | 视频处理的方法和系统 |
WO2016168984A1 (zh) * | 2015-04-21 | 2016-10-27 | 深圳市大疆创新科技有限公司 | 一种媒体编辑方法、媒体编辑器及媒体计算机 |
US10157638B2 (en) * | 2016-06-24 | 2018-12-18 | Google Llc | Collage of interesting moments in a video |
US10902616B2 (en) * | 2018-08-13 | 2021-01-26 | Nvidia Corporation | Scene embedding for visual navigation |
CN109819338B (zh) | 2019-02-22 | 2021-09-14 | 影石创新科技股份有限公司 | 一种视频自动剪辑方法、装置及便携式终端 |
US11636385B2 (en) * | 2019-11-04 | 2023-04-25 | International Business Machines Corporation | Training an object detector using raw and unlabeled videos and extracted speech |
US11568655B2 (en) * | 2020-03-26 | 2023-01-31 | Intel Corporation | Methods and devices for triggering vehicular actions based on passenger actions |
-
2019
- 2019-02-22 CN CN201910132043.8A patent/CN109819338B/zh active Active
-
2020
- 2020-04-22 JP JP2021549369A patent/JP7252362B2/ja active Active
- 2020-04-22 WO PCT/CN2020/086188 patent/WO2020169121A2/zh unknown
- 2020-04-22 US US17/432,411 patent/US11955143B2/en active Active
- 2020-04-22 EP EP20759825.1A patent/EP3920542A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107223344A (zh) * | 2017-01-24 | 2017-09-29 | 深圳大学 | 一种静态视频摘要的生成方法及装置 |
CN107222795A (zh) * | 2017-06-23 | 2017-09-29 | 南京理工大学 | 一种多特征融合的视频摘要生成方法 |
CN107566907A (zh) * | 2017-09-20 | 2018-01-09 | 广东欧珀移动通信有限公司 | 视频剪辑方法、装置、存储介质及终端 |
Also Published As
Publication number | Publication date |
---|---|
WO2020169121A3 (zh) | 2020-10-08 |
US20220199121A1 (en) | 2022-06-23 |
EP3920542A4 (en) | 2022-10-26 |
CN109819338A (zh) | 2019-05-28 |
EP3920542A2 (en) | 2021-12-08 |
JP7252362B2 (ja) | 2023-04-04 |
WO2020169121A2 (zh) | 2020-08-27 |
US11955143B2 (en) | 2024-04-09 |
JP2022521929A (ja) | 2022-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109819338B (zh) | 一种视频自动剪辑方法、装置及便携式终端 | |
US10062412B2 (en) | Hierarchical segmentation and quality measurement for video editing | |
KR100645300B1 (ko) | 시청각 프리젠테이션의 컨텐츠를 요약화하여 색인화하는방법 및 장치 | |
US20160092561A1 (en) | Video analysis techniques for improved editing, navigation, and summarization | |
CN106776528B (zh) | 一种信息处理方法及装置 | |
WO2008118604A1 (en) | Automatic detection, removal, replacement and tagging of flash frames in a video | |
KR20160119218A (ko) | 사운드 이미지 재생 방법 및 디바이스 | |
TW201421994A (zh) | 視頻內容搜索系統及方法 | |
Bano et al. | ViComp: composition of user-generated videos | |
KR102037997B1 (ko) | 전자 장치 및 콘텐츠 생성 방법 | |
JP2010039877A (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
CN111615008B (zh) | 基于多设备体验的智能摘要生成和字幕阅读系统 | |
Fassold et al. | Towards automatic cinematography and annotation for 360° video | |
US10474743B2 (en) | Method for presenting notifications when annotations are received from a remote device | |
US20220070501A1 (en) | Social video platform for generating and experiencing content | |
EP4165635A1 (en) | Automatic non-linear editing style transfer | |
WO2016203469A1 (en) | A digital media reviewing system and methods thereof | |
Stein et al. | Semiautomatic video analysis for linking television to the web | |
CN111800663A (zh) | 一种视频合成方法及装置 | |
Andronov et al. | Movie abstraction and content understanding tool based on shot boundary key frame selection | |
KR20190060027A (ko) | 주요 등장인물의 감성에 기반한 비디오 자동 편집 방법 및 장치 | |
Yoshitaka et al. | Rendition-based video editing for public contents authoring | |
You et al. | Semantic audiovisual analysis for video summarization | |
Weers | Automatic home video editing on music | |
JP2005203895A (ja) | データ重要度評価装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant after: Yingshi Innovation Technology Co., Ltd Address before: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province Applicant before: SHENZHEN ARASHI VISION Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |