CN109819338A - 一种视频自动剪辑方法、装置及便携式终端 - Google Patents

一种视频自动剪辑方法、装置及便携式终端 Download PDF

Info

Publication number
CN109819338A
CN109819338A CN201910132043.8A CN201910132043A CN109819338A CN 109819338 A CN109819338 A CN 109819338A CN 201910132043 A CN201910132043 A CN 201910132043A CN 109819338 A CN109819338 A CN 109819338A
Authority
CN
China
Prior art keywords
video
training
key frame
lens type
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910132043.8A
Other languages
English (en)
Other versions
CN109819338B (zh
Inventor
姜文杰
蔡锦霖
刘靖康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arashi Vision Co Ltd
Original Assignee
Arashi Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Co Ltd filed Critical Arashi Vision Co Ltd
Priority to CN201910132043.8A priority Critical patent/CN109819338B/zh
Publication of CN109819338A publication Critical patent/CN109819338A/zh
Priority to US17/432,411 priority patent/US11955143B2/en
Priority to PCT/CN2020/086188 priority patent/WO2020169121A2/zh
Priority to JP2021549369A priority patent/JP7252362B2/ja
Priority to EP20759825.1A priority patent/EP3920542A4/en
Application granted granted Critical
Publication of CN109819338B publication Critical patent/CN109819338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45457—Input to filtering algorithms, e.g. filtering a region of the image applied to a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供了一种视频自动剪辑方法、装置及便携式终端。所述方法包括：获取待剪辑视频；提取待剪辑视频的关键帧；将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；筛选满足预设剪辑规则的复数个视频段；通过预训练图像质量评分方法分别计算复数个视频段的平均分；分别获取每个镜头类型平均分最高的视频段进行拼接。本发明技术方案通过预训练场景分类方法和预训练图像质量评分方法，生成剪辑规则和流程，避免了由于人为因素导致的剪辑效率低以及准确性低的问题，实现了一种视频自动剪辑的效果。

Description

一种视频自动剪辑方法、装置及便携式终端
技术领域
本发明属于视频领域，尤其涉及一种视频自动剪辑方法、装置及便携式终端。
背景技术
随着多媒体技术的发展，各种图像及音视频为人们的生活增添了诸多乐趣。人们在观看影片、电视剧或者自己拍摄的短片等视频文件时，通常会选择自己感兴趣的片段进行观看，但是准确的找到这些片段是比较困难的，尤其对于习惯使用移动终端观看视频的用户来说，基本使用手指在触摸屏上对进度条进行相关操作，因此观看很不方便。
传统的视频剪辑大多采用人工的方法，即由人工预览每一个待剪辑视频，自行判断一场比赛中的精彩部分，并进行剪辑。这种方法不仅使视频剪辑效率低且由于存在人为操作误差导致视频剪辑准确性低。
本发明通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。
发明内容
本发明提出一种视频自动剪辑方法、装置及便携式终端，旨在避免由于人为因素导致的剪辑效率低以及准确性低的问题，实现一种视频自动剪辑的效果。
第一方面，本发明提供了一种视频自动剪辑方法，所述方法包括：
获取待剪辑视频；
提取待剪辑视频的关键帧；
将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；
筛选满足预设剪辑规则的复数个视频段；
通过预训练图像质量评分方法分别计算复数个视频段的平均分；
分别获取每个镜头类型平均分最高的视频段进行拼接。
第二方面，本发明提供了一种视频自动剪辑装置，所述装置包括：
获取模块：用于获取待剪辑视频；
提取关键帧模块：用于提取待剪辑视频的关键帧；
标记模块：用于将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；
筛选模块：用于筛选满足预设剪辑规则的复数个视频段；
计算模块：用于通过预训练图像质量评分方法分别计算复数个视频段的平均分；
拼接模块：用于分别获取每个镜头类型平均分最高的视频段进行拼接。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的一种视频自动剪辑方法的步骤。
第四方面，本发明提供了一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的一种视频自动剪辑方法的步骤。
在本发明中，通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。本发明技术方案能够避免由于人为因素导致的剪辑效率低以及准确性低的问题，提高视频剪辑的效率。
附图说明
图1是本发明实施例一提供的一种视频自动剪辑方法流程图。
图2是本发明实施例一提供的筛选满足预设剪辑规则的视频段的流程图。
图3是本发明实施例二提供的一种视频自动剪辑模块示意图。
图4是本发明实施例三提供的便携式终端的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
请参阅图1，本发明实施例一提供的一种视频自动剪辑方法包括以下步骤：
S101.获取待剪辑视频；
所述待剪辑视频的数量为n个，n≥5；
需要说明的是，本申请实施例中所述待剪辑视频可以是影片、电视剧或者用户自己拍摄的短片等视频文件，还可以是其他类型或者来源的视频文件，或者是通用格式的视频文件，如mp4、insv等，本申请不做限定。
S102.提取待剪辑视频的关键帧；
提取所述待剪辑视频的关键帧可以采用但不限于使用第三方库ffmpeg提取关键帧；
需要说明的是，关键帧描述了图像背景和运动主体的信息，通过读取关键帧图像数据，可以获取到视频的图像内容；视频文件封装格式都有关键帧列表的标示，比如mp4格式视频，stss box就是标示关键帧列表的信息，它包含了每一个关键帧的视频时刻和所处视频文件位址偏离量，通过读取stss box信息即可获取到待剪辑视频的每一个关键帧的图像。
S103.针对关键帧采用预训练场景分类方法和预训练目标检测方法分别提取场景类型的标记和目标对象的标记；
预训练场景分类方法中场景类型有p个，可以包含但不限于街道，办公室，地铁站，机场，商店，沙滩等，p对应预设的场景类型排列的顺序，p≥100；将第i个关键帧输入预训练场景分类方法，判断关键帧的场景类型，得到场景类型的标记，记为Si；Si∈[0,p]；
预设的目标对象有k个，可以包含但不限于人，交通工具，美食，球类，电子设备，动植物等，k对应预设的目标对象排列的顺序，k≥50；将第i个关键帧输入预训练目标检测方法，检测关键帧中的目标对象，得到目标对象的标记Di，Di∈[0,k]；
需要说明的是：预训练场景分类方法是预先训练好的基于深度卷积网络的场景分类算法，可以判断图像的场景类型；预训练目标检测方法是预先训练好的基于深度卷积网络的目标检测算法，可以检测出图像中是否存在预设的目标对象。
S104.筛选满足预设剪辑规则的复数个视频段；
预设剪辑规则包括预设镜头类型和预设每个镜头类型剪辑视频段的关键帧数；
预设剪辑规则中预设镜头类型由场景类型和目标对象综合确定，即一个预设镜头类型由一个预设场景类型和一个或多个目标对象确定；预设的镜头类型可以包含但不限于工作，旅游，逛街，风景，运动等日常生活场景；例如：预设镜头类型为工作的场景类型可以为办公室或会议室，和/或目标对象可以为电脑、桌子、键盘和/或鼠标等；
请参阅图2，筛选满足预设剪辑规则的视频段具体包括：
S1041：依次检测每个镜头类型；
预设剪辑规则中预设镜头类型为j个，j≥3；
S1042：依次判断每个关键帧是否为当前检测的镜头类型；
通过函数fj(i)依次判断第i个关键帧的镜头类型是否为第j个镜头类型:
公式(1)中，SSetj和DSetj分别为预设剪辑规则的第j个预设镜头类型时的场景类型集合和目标对象集合，Si和Di分别为步骤S103中得到的第i个关键帧的场景类型和目标对象，fj(i)＝1为当前检测的镜头类型，fj(i)＝0则不是当前检测的镜头类型；
S1043：剪辑视频段，依次判断所述剪辑视频段是否满足当前检测的镜头类型；
预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数为t，t≥3；判断剪辑视频段是否满足当前检测的镜头类型通过函数mj(i,t)判断：
公式(2)中，mj(i,t)＝1为满足，mj(i,t)＝0为不满足；
S1044：分别获取满足每个镜头类型的视频段；
当检测第j个镜头类型时，第i个关键帧对应的视频段记为maskj(i,t)；maskj(i,t)为第i个关键帧在视频中播放开始时刻与第i+t个关键帧在视频中播放开始时刻之间的片段。
S105.通过预训练的图像质量评分方法分别计算复数个视频段的平均分；
分别计算复数个满足预设剪辑规则的视频段的平均分具体为：
计算视频段maskj(i,t)的平均分Mj(i,t)的公式为：
公式(3)中，li为第i个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，li+t-1为第i+t-1个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，t为视频段maskj(i,t)的连续关键帧数；
需要说明的是，预训练的图像质量评分方法是预先训练好的基于深度卷积网络的图像质量评分算法，可以给输入图像的质量输出一个对应的分数l，l∈(0,1)，l值越大表示图像的质量越好。
S106.分别获取每个镜头类型平均分最高的视频段进行拼接；
分别获取每个镜头类型的平均分最高的视频段进行视频拼接，生成新的视频文件，具体为：
当检测第j个镜头类型时，获取该镜头类型对应的平均分最高的视频段max(Mj(i))，最终可以获取j个视频段，将该j个视频段按照预设场景顺序进行拼接，生成新的视频文件；
在拼接完成后还可以包括加入预设的背景音乐，预设的背景音乐可以有多个，背景音乐包括但不限于为普通的音乐和音频文件。
实施例二：
请参阅图3，本发明实施例二提供的一种视频自动剪辑装置包括：
获取模块：用于获取待剪辑视频；
提取关键帧模块：用于提取待剪辑视频的关键帧；
标记模块：用于将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；
筛选模块：用于筛选满足预设剪辑规则的复数个视频段；
计算模块：用于通过预训练图像质量评分方法分别计算复数个视频段的平均分；
拼接模块：用于分别获取每个镜头类型平均分最高的视频段进行拼接。
本发明实施例二提供的一种视频自动剪辑的装置及本发明实施例一提供的一种视频自动剪辑方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。
实施例三：
本发明实施例三提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如本发明实施例一提供的一种视频自动剪辑方法的步骤。
实施例四：
图4示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种视频自动剪辑方法的步骤。
在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
在本发明中，通过预训练场景分类方法和图像质量评分方法，生成剪辑规则和流程，实现了一种视频自动剪辑的效果。本发明技术方案能够避免了由于人为因素导致的剪辑效率低以及准确性低的问题，提高视频剪辑的效率。

Claims (10)

1.一种视频自动剪辑方法，其特征在于，包括以下步骤：
获取待剪辑视频；
提取待剪辑视频的关键帧；
将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；
筛选满足预设剪辑规则的复数个视频段；
通过预训练图像质量评分方法分别计算复数个视频段的平均分；
分别获取每个镜头类型平均分最高的视频段进行拼接。
2.如权利要求1所述的视频自动剪辑方法，其特征在于：所述待剪辑视频的数量为n个，n≥5。
3.如权利要求1所述的视频自动剪辑方法，其特征在于：所述将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记具体包括：
预训练场景分类方法中场景类型有p个，p对应预设的场景类型排列顺序，p≥100；
将第i个关键帧输入预训练场景分类方法，判断关键帧的场景类型，得到场景类型的标记Si，Si∈[0,p]；
预设的目标对象有k个，k对应预设的目标对象排列的顺序，k≥50；
将第i个关键帧输入预训练的目标检测方法，检测关键帧中的目标对象，得到目标对象的标记Di，Di∈[0,k]。
4.如权利要求1所述的视频自动剪辑方法，其特征在于：所述预设剪辑规则包括预设镜头类型和预设镜头类型剪辑视频段的关键帧数；筛选满足预设剪辑规则的复数个视频段具体包括：
依次检测每个镜头类型：
预设剪辑规则中预设镜头类型为j个，j≥3；
判断每个关键帧是否为当前检测的镜头类型：
通过函数fj(i)判断第i个关键帧的镜头类型是否为第j个镜头类型:
公式(1)中，SSetj和DSetj分别为预设剪辑规则的第j个预设镜头类型时的场景类型集合和目标对象集合，Si和Di分别为第i个关键帧的场景类型和目标对象，fj(i)＝1为当前检测的镜头类型，当fj(i)＝0则不属于当前检测的镜头类型；
判断剪辑视频段是否满足当前检测的镜头类型：
预设剪辑规则中预设每个镜头类型剪辑视频段的连续关键帧数为t，t≥3；判断剪辑视频段是否满足当前检测的镜头类型通过函数mj(i,t)判断：
公式(2)中，mj(i,t)＝1为满足，mj(i,t)＝0为不满足；
分别获取满足每个镜头类型的视频段：
当检测第j个镜头类型时，第i个关键帧对应的视频段记为maskj(i,t)；maskj(i,t)为第i个关键帧在视频中播放开始时刻与第i+t个关键帧在视频中播放开始时刻之间的片段。
5.如权利要求1所述的视频自动剪辑方法，其特征在于：所述通过预训练的图像质量评分方法分别计算每个视频段的平均分具体为：
计算视频段maskj(i,t)的平均分Mj(i,t)的公式为：
公式(3)中，li为第i个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，li+t-1为第i+t-1个关键帧输入预训练的图像质量评分方法中得到的图像质量评分，t为视频段maskj(i,t)的连续关键帧数。
6.如权利要求1所述的视频自动剪辑方法，其特征在于：分别获取每个镜头类型平均分最高的视频段进行拼接，所述镜头类型由场景类型和目标对象综合确定。
7.如权利要求1所述的视频自动剪辑方法，其特征在于：在拼接完成后还可以加入预设的背景音乐。
8.一种视频自动剪辑装置，其特征在于，包括：
获取模块：用于获取待剪辑视频；
提取关键帧模块：用于提取待剪辑视频的关键帧；
标记模块：用于将关键帧输入预训练场景分类方法和预训练目标检测方法，分别得到场景类型标记和目标对象标记；
筛选模块：用于筛选满足预设剪辑规则的复数个视频段；
计算模块：用于通过预训练图像质量评分方法分别计算复数个视频段的平均分；
拼接模块：用于分别获取每个镜头类型平均分最高的视频段进行拼接。
9.一种计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的视频自动剪辑方法的步骤。
10.一种便携式终端，包括：
一个或多个处理器；
存储器；以及
一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频自动剪辑方法的步骤。
CN201910132043.8A 2019-02-22 2019-02-22 一种视频自动剪辑方法、装置及便携式终端 Active CN109819338B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910132043.8A CN109819338B (zh) 2019-02-22 2019-02-22 一种视频自动剪辑方法、装置及便携式终端
US17/432,411 US11955143B2 (en) 2019-02-22 2020-04-22 Automatic video editing method and portable terminal
PCT/CN2020/086188 WO2020169121A2 (zh) 2019-02-22 2020-04-22 一种视频自动剪辑方法及便携式终端
JP2021549369A JP7252362B2 (ja) 2019-02-22 2020-04-22 動画を自動編集する方法及びポータブル型端末
EP20759825.1A EP3920542A4 (en) 2019-02-22 2020-04-22 AUTOMATIC VIDEO EDITING PROCESS AND PORTABLE DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910132043.8A CN109819338B (zh) 2019-02-22 2019-02-22 一种视频自动剪辑方法、装置及便携式终端

Publications (2)

Publication Number Publication Date
CN109819338A true CN109819338A (zh) 2019-05-28
CN109819338B CN109819338B (zh) 2021-09-14

Family

ID=66607274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910132043.8A Active CN109819338B (zh) 2019-02-22 2019-02-22 一种视频自动剪辑方法、装置及便携式终端

Country Status (5)

Country Link
US (1) US11955143B2 (zh)
EP (1) EP3920542A4 (zh)
JP (1) JP7252362B2 (zh)
CN (1) CN109819338B (zh)
WO (1) WO2020169121A2 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430443A (zh) * 2019-07-11 2019-11-08 平安科技（深圳）有限公司 视频镜头剪切的方法、装置及计算机设备
CN111191522A (zh) * 2019-12-11 2020-05-22 武汉光庭信息技术股份有限公司 图像场景信息存储方法及系统
WO2020169121A3 (zh) * 2019-02-22 2020-10-08 影石创新科技股份有限公司 一种视频自动剪辑方法及便携式终端
CN111914102A (zh) * 2020-08-27 2020-11-10 上海掌门科技有限公司 编辑多媒体数据的方法、电子设备和计算机存储介质
CN112166599A (zh) * 2019-09-26 2021-01-01 深圳市大疆创新科技有限公司 视频剪辑方法及终端设备
CN112261425A (zh) * 2020-10-20 2021-01-22 成都中科大旗软件股份有限公司 一种视频直播和录像播放方法及系统
CN112399251A (zh) * 2020-12-02 2021-02-23 武汉四牧传媒有限公司 一种基于互联网云大数据视频剪辑方法及装置
CN112689200A (zh) * 2020-12-15 2021-04-20 万兴科技集团股份有限公司 视频编辑方法、电子设备及存储介质
CN112770061A (zh) * 2020-12-16 2021-05-07 影石创新科技股份有限公司 视频剪辑方法、系统、电子设备及存储介质
CN113259601A (zh) * 2020-02-11 2021-08-13 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质和电子设备
CN113938751A (zh) * 2020-06-29 2022-01-14 北京字节跳动网络技术有限公司 视频转场类型确定方法、设备及存储介质
CN114697700A (zh) * 2020-12-28 2022-07-01 北京小米移动软件有限公司 视频剪辑方法、视频剪辑装置及存储介质
WO2022184117A1 (zh) * 2021-03-04 2022-09-09 腾讯科技（深圳）有限公司 基于深度学习的视频剪辑方法、相关设备及存储介质
CN115278355A (zh) * 2022-06-20 2022-11-01 北京字跳网络技术有限公司 视频剪辑方法、装置、设备、计算机可读存储介质及产品
CN115734007A (zh) * 2022-09-22 2023-03-03 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统
WO2023030098A1 (zh) * 2021-08-31 2023-03-09 华为技术有限公司 视频剪辑方法、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911281B (zh) * 2021-02-09 2022-07-15 北京三快在线科技有限公司 一种视频质量评价方法及装置
CN113301385B (zh) * 2021-05-21 2023-02-28 北京大米科技有限公司 视频数据处理方法、装置、电子设备和可读存储介质
CN114697761B (zh) * 2022-04-07 2024-02-13 脸萌有限公司 一种处理方法、装置、终端设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107223344A (zh) * 2017-01-24 2017-09-29 深圳大学 一种静态视频摘要的生成方法及装置
CN107222795A (zh) * 2017-06-23 2017-09-29 南京理工大学 一种多特征融合的视频摘要生成方法
US20170372749A1 (en) * 2016-06-24 2017-12-28 Google Inc. Collage of interesting moments in a video
CN107566907A (zh) * 2017-09-20 2018-01-09 广东欧珀移动通信有限公司 视频剪辑方法、装置、存储介质及终端

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100608476B1 (ko) * 1998-12-28 2006-08-09 소니 가부시끼 가이샤 영상 정보의 편집 방법 및 편집 장치
US6807361B1 (en) 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. Interactive custom video creation system
US6964021B2 (en) 2000-08-19 2005-11-08 Lg Electronics Inc. Method and apparatus for skimming video data
JP2005323276A (ja) * 2004-05-11 2005-11-17 Olympus Corp 録画装置、撮像装置および録画方法
US9020966B2 (en) * 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US20090083790A1 (en) 2007-09-26 2009-03-26 Tao Wang Video scene segmentation and categorization
WO2010006334A1 (en) * 2008-07-11 2010-01-14 Videosurf, Inc. Apparatus and software system for and method of performing a visual-relevance-rank subsequent search
US8195038B2 (en) * 2008-10-24 2012-06-05 At&T Intellectual Property I, L.P. Brief and high-interest video summary generation
CN101464893B (zh) * 2008-12-31 2010-09-08 清华大学 一种提取视频摘要的方法及装置
CN101599179B (zh) 2009-07-17 2011-06-01 北京邮电大学 场地运动精彩镜头集锦自动生成方法
JP2011124979A (ja) * 2009-11-13 2011-06-23 Jvc Kenwood Holdings Inc 映像処理装置、映像処理方法、および映像処理プログラム
CN101807198A (zh) * 2010-01-08 2010-08-18 中国科学院软件研究所 一种基于草图的视频摘要生成方法
JP5537285B2 (ja) 2010-06-28 2014-07-02 日本放送協会 要約映像生成装置及び要約映像生成プログラム
US9355635B2 (en) 2010-11-15 2016-05-31 Futurewei Technologies, Inc. Method and system for video summarization
CN102819528B (zh) 2011-06-10 2016-06-29 中国电信股份有限公司 生成视频摘要的方法和装置
CN104978364A (zh) * 2014-04-14 2015-10-14 上海京知信息科技有限公司 一种基于关键帧的网络视频格式文件摘要提取方法
WO2016095361A1 (en) * 2014-12-14 2016-06-23 SZ DJI Technology Co., Ltd. Methods and systems of video processing
CN107251014A (zh) * 2015-04-21 2017-10-13 深圳市大疆创新科技有限公司 一种媒体编辑方法、媒体编辑器及媒体计算机
US10902616B2 (en) * 2018-08-13 2021-01-26 Nvidia Corporation Scene embedding for visual navigation
CN109819338B (zh) 2019-02-22 2021-09-14 影石创新科技股份有限公司 一种视频自动剪辑方法、装置及便携式终端
US11636385B2 (en) * 2019-11-04 2023-04-25 International Business Machines Corporation Training an object detector using raw and unlabeled videos and extracted speech
US11568655B2 (en) * 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372749A1 (en) * 2016-06-24 2017-12-28 Google Inc. Collage of interesting moments in a video
CN107223344A (zh) * 2017-01-24 2017-09-29 深圳大学 一种静态视频摘要的生成方法及装置
CN107222795A (zh) * 2017-06-23 2017-09-29 南京理工大学 一种多特征融合的视频摘要生成方法
CN107566907A (zh) * 2017-09-20 2018-01-09 广东欧珀移动通信有限公司 视频剪辑方法、装置、存储介质及终端

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020169121A3 (zh) * 2019-02-22 2020-10-08 影石创新科技股份有限公司 一种视频自动剪辑方法及便携式终端
US11955143B2 (en) 2019-02-22 2024-04-09 Arashi Vision Inc. Automatic video editing method and portable terminal
CN110430443A (zh) * 2019-07-11 2019-11-08 平安科技（深圳）有限公司 视频镜头剪切的方法、装置及计算机设备
CN110430443B (zh) * 2019-07-11 2022-01-25 平安科技（深圳）有限公司 视频镜头剪切的方法、装置、计算机设备及存储介质
CN112166599A (zh) * 2019-09-26 2021-01-01 深圳市大疆创新科技有限公司 视频剪辑方法及终端设备
WO2021056353A1 (zh) * 2019-09-26 2021-04-01 深圳市大疆创新科技有限公司 视频剪辑方法及终端设备
CN111191522A (zh) * 2019-12-11 2020-05-22 武汉光庭信息技术股份有限公司 图像场景信息存储方法及系统
US11996124B2 (en) 2020-02-11 2024-05-28 Beijing Bytedance Network Technology Co., Ltd. Video processing method, apparatus, readable medium and electronic device
CN113259601A (zh) * 2020-02-11 2021-08-13 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质和电子设备
CN113938751A (zh) * 2020-06-29 2022-01-14 北京字节跳动网络技术有限公司 视频转场类型确定方法、设备及存储介质
CN113938751B (zh) * 2020-06-29 2023-12-22 抖音视界有限公司 视频转场类型确定方法、设备及存储介质
CN111914102A (zh) * 2020-08-27 2020-11-10 上海掌门科技有限公司 编辑多媒体数据的方法、电子设备和计算机存储介质
CN112261425A (zh) * 2020-10-20 2021-01-22 成都中科大旗软件股份有限公司 一种视频直播和录像播放方法及系统
CN112261425B (zh) * 2020-10-20 2022-07-12 成都中科大旗软件股份有限公司 一种视频直播和录像播放方法及系统
CN112399251A (zh) * 2020-12-02 2021-02-23 武汉四牧传媒有限公司 一种基于互联网云大数据视频剪辑方法及装置
CN112689200A (zh) * 2020-12-15 2021-04-20 万兴科技集团股份有限公司 视频编辑方法、电子设备及存储介质
CN112770061A (zh) * 2020-12-16 2021-05-07 影石创新科技股份有限公司 视频剪辑方法、系统、电子设备及存储介质
CN114697700A (zh) * 2020-12-28 2022-07-01 北京小米移动软件有限公司 视频剪辑方法、视频剪辑装置及存储介质
WO2022184117A1 (zh) * 2021-03-04 2022-09-09 腾讯科技（深圳）有限公司 基于深度学习的视频剪辑方法、相关设备及存储介质
WO2023030098A1 (zh) * 2021-08-31 2023-03-09 华为技术有限公司 视频剪辑方法、电子设备及存储介质
CN115278355A (zh) * 2022-06-20 2022-11-01 北京字跳网络技术有限公司 视频剪辑方法、装置、设备、计算机可读存储介质及产品
CN115278355B (zh) * 2022-06-20 2024-02-13 北京字跳网络技术有限公司 视频剪辑方法、装置、设备、计算机可读存储介质及产品
CN115734007A (zh) * 2022-09-22 2023-03-03 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统
CN115734007B (zh) * 2022-09-22 2023-09-01 北京国际云转播科技有限公司 视频剪辑方法、装置、介质及视频处理系统

Also Published As

Publication number Publication date
WO2020169121A3 (zh) 2020-10-08
JP2022521929A (ja) 2022-04-13
CN109819338B (zh) 2021-09-14
US11955143B2 (en) 2024-04-09
EP3920542A2 (en) 2021-12-08
US20220199121A1 (en) 2022-06-23
EP3920542A4 (en) 2022-10-26
WO2020169121A2 (zh) 2020-08-27
JP7252362B2 (ja) 2023-04-04

Similar Documents

Publication Publication Date Title
CN109819338A (zh) 一种视频自动剪辑方法、装置及便携式终端
US20210076105A1 (en) Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Slide presentation into an Editable Notetaking Resource with Optional Overlay of the Presenter
CN107707931B (zh) 根据视频数据生成解释数据、数据合成方法及装置、电子设备
WO2021035223A1 (en) Automatic data extraction and conversion of video/images/sound information from a board-presented lecture into an editable notetaking resource
CN101647265B (zh) 在视频中自动检测、移除、替换和标记闪光帧
TW200536389A (en) Intelligent key-frame extraction from a video
CN113709561A (zh) 视频剪辑方法、装置、设备及存储介质
CN103210651A (zh) 用于视频概要的方法和系统
CN108683924A (zh) 一种视频处理的方法和装置
CN111160134A (zh) 一种以人为主体的视频景别分析方法和装置
Bano et al. ViComp: composition of user-generated videos
CN106101576A (zh) 一种增强现实照片的拍摄方法、装置及移动终端
Cricri et al. Multimodal extraction of events and of information about the recording activity in user generated videos
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
CN115439614B (zh) 虚拟形象的生成方法、装置、电子设备和存储介质
Chen Storyboard-based accurate automatic summary video editing system
El-Bendary et al. PCA-based home videos annotation system
Amir et al. Automatic generation of conference video proceedings
KR101930488B1 (ko) 연동형 서비스 제공을 위한 메타데이터 생성 방법 및 그를 위한 장치
JP4959534B2 (ja) 映像アノテーション付与・表示方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体
Stein et al. Semiautomatic video analysis for linking television to the web
KR20190060027A (ko) 주요 등장인물의 감성에 기반한 비디오 자동 편집 방법 및 장치
CN116389849A (zh) 视频生成方法、装置、设备及存储介质
Barbosa et al. Browsing videos by automatically detected audio events
Friedland et al. Anthropocentric video segmentation for lecture webcasts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Applicant after: Yingshi Innovation Technology Co., Ltd

Address before: 518101 Room 706, Block A, Longguang Century Building, Haixiu Road, Xin'an Street, Baoan District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN ARASHI VISION Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant