CN112203140A - 一种视频剪辑方法、装置、电子设备及存储介质 - Google Patents

一种视频剪辑方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112203140A
CN112203140A CN202010947908.9A CN202010947908A CN112203140A CN 112203140 A CN112203140 A CN 112203140A CN 202010947908 A CN202010947908 A CN 202010947908A CN 112203140 A CN112203140 A CN 112203140A
Authority
CN
China
Prior art keywords
music
video
candidate set
target
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010947908.9A
Other languages
English (en)
Other versions
CN112203140B (zh
Inventor
申世伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010947908.9A priority Critical patent/CN112203140B/zh
Publication of CN112203140A publication Critical patent/CN112203140A/zh
Application granted granted Critical
Publication of CN112203140B publication Critical patent/CN112203140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开提供一种视频剪辑方法、装置、电子设备及存储介质,涉及互联网技术领域。该方法包括:确定待剪辑视频的目标歌曲名,并根据目标歌曲名确定音乐视频候选集;对音乐视频候选集进行过滤处理,获得目标视频候选集,过滤处理包括音乐场景过滤处理和音乐风格过滤处理,目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频;确定目标视频候选集中各个音乐视频中均出现的目标歌词,按照目标歌词中单句歌词的数量和目标视频候选集中的音乐视频的数量的比较关系,将目标视频候选集中的音乐视频划分成多个待剪辑的子视频;按照预设规则,将多个待剪辑的子视频剪辑成目标剪辑视频。

Description

一种视频剪辑方法、装置、电子设备及存储介质
技术领域
本公开涉及互联网技术领域,尤其涉及一种视频剪辑方法、装置、电子设备及存储介质。
背景技术
目前,在互联网上传播的时长在几分钟以内的短视频,由于适合在移动状态和短时休闲状态下观看,深受各大平台以及网络用户的青睐。为了进一步丰富视频内容,用户需要对视频进行裁剪、拼接,从而生成与原始视频相比具有不同的表现力和丰富性较强的视频作品。
然而,相关技术中的视频剪辑主要是采用人工剪辑方式进行,具体的,当人工进行视频剪辑时,可以通过专业的剪辑软件进行选材、保存以及确定衔接顺序等剪辑步骤对原始视频进行剪辑,或者是采用平台提供的本人与歌星对唱的剪辑模板对视频进行剪辑。很显然,当采用专业的剪辑软件进行剪辑时,对操作人员要求较高且操作复杂繁琐,而采用平台提供的单一剪辑样式进行剪辑时,剪辑样式单一且剪辑后的视频内容丰富性较差。
可见,现有技术中亟需一种视频剪辑操作简单且剪辑后视频内容丰富性较强的剪辑方法。
发明内容
本公开提供一种视频剪辑方法、装置、电子设备及存储介质,提供一种视频剪辑操作简单且剪辑后视频内容丰富性较强的剪辑方法。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种视频剪辑方法,所述方法包括:
确定待剪辑视频的目标歌曲名,并根据所述目标歌曲名确定音乐视频候选集;
对所述音乐视频候选集进行过滤处理,获得目标视频候选集,其中,所述过滤处理包括音乐场景过滤处理和音乐风格过滤处理,所述目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频;
确定所述目标视频候选集中各个音乐视频中均出现的目标歌词,按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,其中,所述待剪辑的子视频为包括至少一句歌词对应的音乐视频的视频;
按照预设规则,将所述多个待剪辑的子视频剪辑成目标剪辑视频。
在一种可能的实施方式中,所述对所述音乐视频候选集进行过滤处理,获得目标视频候选集,包括:
对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集;以及,
对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集。
在一种可能的实施方式中,所述对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集,包括:
确定与所述目标歌曲名对应的音乐视频的预设创作场景的第一语义特征向量;
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量,并确定所述第一语义特征向量与所述第二语义特征向量的相似度,获得相似度集合;
根据预设相似度阈值,从所述相似度集合中选取大于所述预设相似度阈值的音乐视频,以确定第一视频候选集。
在一种可能的实施方式中,所述对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集,包括:
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量;
将所述各个音乐视频中的第二语义特征向量,与所述音乐视频候选集中除自身之外的音乐视频的第二语义特征向量进行相似度计算;
确定所述各个音乐视频的相似度与所述除自身之外的音乐视频的相似度的平均值,获得平均值集合;
根据预设数目,从所述平均值集合中按照平均值从高到低的选取原则,确定第一视频候选集。
在一种可能的实施方式中,所述对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集,包括:
对所述第一视频候选集中的音乐视频进行音乐风格归类处理,获得多个风格视频候选集,其中,一个风格视频后选集中包括一种音乐分格的音乐视频;
将所述多个风格视频候选集中音乐视频数量最多的风格视频候选集作为所述目标视频候选集。
在一种可能的实施方式中,所述对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集,包括:
确定与所述目标歌曲名对应的预设音乐风格,所述预设音乐风格用于在预设平台首次演唱所述目标歌曲名对应歌曲的音乐风格;
确定所述第一视频候选集中各个音乐视频的音乐风格,并从所述第一视频候选集中确定与所述预设音乐风格相同的音乐视频,获得所述目标视频候选集。
在一种可能的实施方式中,所述确定所述目标视频候选集中各个音乐视频中均出现的目标歌词,按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,包括:
对所述目标视频候选集中的音乐视频进行歌词提取处理,确定所述目标视频候选集中各个音乐视频与除自身外其它音乐视频中歌词相同的目标歌词;
确定所述目标视频候选集中音乐视频的数量;
确定所述目标歌词中单句歌词的数量是否与所述目标视频候选集中音乐视频的数量相同;
若相同,则按照从所述目标视频候选集中选择一个音乐视频与所述目标歌词中单句歌词对应的第一划分方式,确定所述目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的视频,包括:
若不相同,且确定所述目标歌词中单句歌词的数量小于所述目标视频候选集中音乐视频的数量;
确定所述目标视频候选集中音乐视频的喜爱度的排列次序,所述喜爱度用于表征音乐视频发布后预定时间内的浏览音乐视频的喜爱类信息反馈参数;
按照所述目标视频候选集中的音乐视频的喜爱度的排列次序与所述目标歌词中单句歌词的次序对应的第二划分方式,确定所述目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述并按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,包括:
若不相同,且确定所述目标歌词中单句歌词的数量大于所述目标视频候选集中音乐视频的数量;
按照所述目标视频候选集中一个音乐视频与所述目标歌词的多句歌词对应的第三划分方式,确定所述目标视频候选集中的各个音乐视频所对应的多句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述按照预设规则,将所述多个待剪辑的视频剪辑成目标剪辑视频,包括:
按照所述目标歌词从前到后的匹配顺序,对所述多个待剪辑的子视频进行拼接剪辑,获得目标剪辑视频。
在一种可能的实施方式中,在将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频之后,所述方法还包括:
将所述多个待剪辑的子视频以歌词顺序依次单一呈现于显示界面上;或者,
将所述多个待剪辑的子视频以歌词顺序按照从左往右的方式排列,并将所述子视频同时呈现于所述显示界面上。
在一种可能的实施方式中,所述方法还包括:
接收对所述多个待剪辑的子视频中第一子视频的第一操作,所述第一操作用于表征对所述第一子视频进行替换;
响应所述第一操作,确定待替换的子视频和所述第一子视频,并用所述待剪辑的子视频替换所述第一子视频,以获得第一目标剪辑视频。
根据本公开实施例的第二方面,提供一种视频剪辑装置,所述装置包括:
确定单元,被配置为执行确定待剪辑视频的目标歌曲名,并根据所述目标歌曲名确定音乐视频候选集;
获得单元,被配置为执行对所述音乐视频候选集进行过滤处理,获得目标视频候选集,其中,所述过滤处理包括音乐场景过滤处理和音乐风格过滤处理,所述目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频;
划分单元,被配置为执行确定所述目标视频候选集中各个音乐视频中均出现的目标歌词,按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,其中,所述待剪辑的子视频为包括至少一句歌词对应的音乐视频的视频;
剪辑单元,被配置为执行按照预设规则,将所述多个待剪辑的子视频剪辑成目标剪辑视频。
在一种可能的实施方式中,所述获得单元包括第一获得单元和第二获得单元,其中:
所述第一获得单元被配置为执行对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集;以及,
所述第二获得单元被配置为执行对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集。
在一种可能的实施方式中,所述第一获得单元被配置为执行:
确定与所述目标歌曲名对应的音乐视频的预设创作场景的第一语义特征向量;
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量,并确定所述第一语义特征向量与所述第二语义特征向量的相似度,获得相似度集合;
根据预设相似度阈值,从所述相似度集合中选取大于所述预设相似度阈值的音乐视频,以确定第一视频候选集。
在一种可能的实施方式中,所述第一获得单元被配置为执行:
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量;
将所述各个音乐视频中的第二语义特征向量,与所述音乐视频候选集中除自身之外的音乐视频的第二语义特征向量进行相似度计算;
确定所述各个音乐视频的相似度与所述除自身之外的音乐视频的相似度的平均值,获得平均值集合;
根据预设数目,从所述平均值集合中按照平均值从高到低的选取原则,确定第一视频候选集。
在一种可能的实施方式中,所述第二获得单元被配置为执行:
对所述第一视频候选集中的音乐视频进行音乐风格归类处理,获得多个风格视频候选集,其中,一个风格视频后选集中包括一种音乐分格的音乐视频;
将所述多个风格视频候选集中音乐视频数量最多的风格视频候选集作为所述目标视频候选集。
在一种可能的实施方式中,所述第二获得单元被配置为执行:
确定与所述目标歌曲名对应的预设音乐风格,所述预设音乐风格用在预设平台首次演唱所述目标歌曲名对应歌曲的音乐风格;
确定所述第一视频候选集中各个音乐视频的音乐风格,并从所述第一视频候选集中确定与所述预设音乐风格相同的音乐视频,获得所述目标视频候选集。
在一种可能的实施方式中,所述划分单元被配置为执行:
对所述目标视频候选集中的音乐视频进行歌词提取处理,确定所述目标视频候选集中各个音乐视频与除自身外其它音乐视频中歌词相同的目标歌词;
确定所述目标视频候选集中音乐视频的数量;
确定所述目标歌词中单句歌词的数量是否与所述目标视频候选集中音乐视频的数量相同;
若相同,则按照从所述目标视频候选集中选择一个音乐视频与所述目标歌词中单句歌词对应的第一划分方式,确定所述目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述划分单元被配置为执行:
若不相同,且确定所述目标歌词中单句歌词的数量小于所述目标视频候选集中音乐视频的数量;
确定所述目标视频候选集中音乐视频的喜爱度的排列次序,所述喜爱度用于表征音乐视频发布后预定时间内的浏览音乐视频的喜爱类信息反馈参数;
按照所述目标视频候选集中的音乐视频的喜爱度的排列次序与所述目标歌词中单句歌词的次序对应的第二划分方式,确定所述目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述划分单元被配置为执行:
若不相同,且确定所述目标歌词中单句歌词的数量大于所述目标视频候选集中音乐视频的数量;
按照所述目标视频候选集中一个音乐视频与所述目标歌词的多句歌词对应的第三划分方式,确定所述目标视频候选集中的各个音乐视频所对应的多句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述剪辑单元被配置为执行:
按照所述目标歌词从前到后的匹配顺序,对所述多个待剪辑的子视频进行拼接剪辑,获得目标剪辑视频。
在一种可能的实施方式中,所述装置还包括显示模块,所述显示模块被配置为执行:
将所述多个待剪辑的子视频以歌词顺序依次单一呈现于显示界面上;或者,
将所述多个待剪辑的子视频以歌词顺序按照从左往右的方式排列,并将所述子视频同时呈现于所述显示界面上。
在一种可能的实施方式中,所述装置还包括处理单元,所述处理单元被配置为执行:
接收对所述多个待剪辑的子视频中第一子视频的第一操作,所述第一操作用于表征对所述第一子视频进行替换;
响应所述第一操作,确定待替换的子视频和所述第一子视频,并用所述待剪辑的子视频替换所述第一子视频,以获得第一目标剪辑视频。
根据本公开实施例的第三方面,提供一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令,以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第四方面,提供一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行实现本公开实施例上述第一方面以及第一方面任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在本公开实施例中,可以确定待剪辑视频的目标歌曲名,并根据目标歌曲名确定音乐视频候选集。然后可以对音乐视频候选集进行过滤处理,获得目标视频候选集,其中,过滤处理包括音乐场景过滤处理和音乐风格过滤处理,目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频。也就是说,在本公开实施例中,可以从音乐视频候选集中筛选音乐风格相同且创作场景的相似度值满足预设条件的音乐视频。
进一步地,可以确定目标视频候选集中各个音乐视频中均出现的目标歌词,按照目标歌词中单句歌词的数量和目标视频候选集中的音乐视频的数量的比较关系,将目标视频候选集中的音乐视频划分成多个待剪辑的子视频,且待剪辑的子视频为包括至少一句歌词对应的音乐视频的视频。然后可以按照预设规则,将多个待剪辑的子视频剪辑成目标剪辑视频。
可见,通过本公开提供的视频剪辑方法,仅需要用户输入待剪辑视频的歌曲名,则可以自动剪辑出由多个不同唱作人演唱的相同风格且相似场景的音乐视频,即剪辑后的视频的内容丰富性较强。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用场景的示意图;
图2是根据一示例性实施例示出的一种视频剪辑方法的流程示意图;
图3是根据一示例性实施例示出的一种视频剪辑装置的结构框图;
图4为根据一示例性实施例示出的电子设备的结构示意图;
图5为根据一示例性实施例示出的电子设备的另一结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
下面对本公开实施例的设计思想进行简要介绍:
在相关技术中,当用户希望进行视频剪辑时,要么通过专业的剪辑软件进行选材、保存以及剪辑等一步步操作,要么是只能通过某些平台提供的剪辑模板单一剪辑用户和明星的音乐视频,可见,现有技术中视频剪辑的方式要么操作繁琐且对用户要求较高,要么剪辑后的视频的内容丰富性较差。
鉴于此,本公开提供一种视频剪辑的方法,通过该方法用户仅需要确定待剪辑的歌曲名,则可以获得将歌词、场景以及音乐风格综合考虑进行剪辑的视频,从而使得剪辑后的视频内容丰富性较强。
介绍完本公开实施例的设计思想之后,下面对本公开实施例中的视频剪辑技术方案适用的应用场景做一些简单介绍,需要说明的是,本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案,并不构成对于本公开实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本公开实施例提供的技术方案对于类似的技术问题,同样适用。
在本公开实施例中,请参见图1所示的一种应用场景示意图,应用场景图中包括两个终端101和一个电子设备102,可以通过终端101登录视频剪辑平台(未示出)。需要说明的是,图1中仅以两个终端101和一个电子设备102进行交互为例进行示出,在具体实施过程中,可以是多个终端101与一个电子设备102之间进行交互,也可以是多个终端101和多个电子设备102之间进行交互。
在具体的实施过程中,终端101和电子设备102之间可以通过一个或者多个通信网络103进行通信连接。该通信网络103可以是有线网络,也可以是无线网络,例如无线网络可以是移动蜂窝网络,或者可以是无线保真(WIreless-Fidelity,WIFI)网络,当然还可以是其他可能的网络,本公开实施例对此不做限定。
在本公开实施例中,用户可以通过终端101登录视频剪辑平台进行确认待剪辑的歌曲以及设置该歌曲对应的创作场景等操作,然后电子设备102可以获取到终端101发送的包括用户操作对应的所有信息,并对该信息中的歌曲相关的视频进行剪辑处理,从而可以获得该歌曲对应的丰富性较强的视频。
下面结合说明书附图介绍本公开实施例提供的技术方案。
图2是本公开实施例提供的一示例性视频剪辑方法的流程图,如图2所示,该方法可以应用于前述的电子设备。图2所示的流程图描述如下。
步骤201:确定待剪辑视频的目标歌曲名,并根据目标歌曲名确定音乐视频候选集。
在本公开实施例中,用户可以通过终端向电子设备发送希望剪辑视频的歌曲名的请求信息,然后电子设备可以根据该请求信息确定待剪辑视频的目标歌曲名,并根据目标歌曲名确定音乐视频候选集。
在具体的实施过程中,电子设备可以从内部存储库和外部存储库获取包括目标歌曲名的各种音乐视频,然后可以将获取的各种音乐视频确定为音乐视频候选集,例如可以从与电子设备连接的短视频平台对应的存储库中获取包括目标歌曲名的各种音乐视频,还可以是从电子设备连接的音乐播放平台对应的存储库中获取包括目标歌曲名的多个音乐视频,当然,还可以是从其它存储库获取包括目标歌曲名的多个音乐视频,本公开实施例中不做限制。
在本公开实施例中,可以从与电子设备连接的其它设备或者电子设备自身的存储库中获取与目标歌曲名相关的可获取的所有视频,这样的方式,尽量确保获得的音乐视频候选集是全面且丰富的,为后续对目标歌曲名相关的视频剪辑提供剪辑题材丰富的基础视频源。
步骤202:对音乐视频候选集进行过滤处理,获得目标视频候选集,其中,过滤处理包括音乐场景过滤处理和音乐风格过滤处理,目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频。
在本公开实施例中,对音乐视频候选集进行过滤处理,获得目标视频候选集的具体处理过程可以是先对音乐视频候选集进行音乐场景过滤处理,然后对经过音乐场景过滤处理的视频集合进行音乐风格过滤处理,获得目标视频候选集,还可以是对音乐视频候选集进行音乐风格过滤处理,然后对经过音乐风格过滤处理的视频集合进行音乐场景格过滤处理,获得目标视频候选集,即可以对音乐视频候选集先进行音乐风格过滤处理,也可以对音乐视频候选集先进行音乐场景过滤处理,本公开实施例不做限制。
为了便于对本公开实施例提供的技术方案进行理解,后文中以对音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集;以及,对第一视频候选集进行音乐风格过滤处理,获得目标视频候选集的处理过程为例进行说明。
在本公开实施例中,对音乐视频候选集进行音乐场景过滤处理可以包括但不限于以下两种方式:
第一种方式:
步骤A:确定与目标歌曲名对应的音乐视频的预设创作场景的第一语义特征向量。
步骤B:确定音乐视频候选集中各个音乐视频的第二语义特征向量,并确定第一语义特征向量与第二语义特征向量的相似度,获得相似度集合;
步骤C:根据预设相似度阈值,从相似度集合中选取大于预设相似度阈值的音乐视频,以确定第一视频候选集。
在本公开实施例中,对音乐视频候选集进行音乐场景过滤处理时,可以先确定与目标歌曲名对应的音乐视频的预设创作场景的第一语义特征向量,其中,预设创作场景可以为用户选择的创作场景,还可以是目标歌曲名对应的首次在预设平台发布的音乐短片的创作场景,其中,创作场景用于表征音乐视频对应的演唱的背景场景。
具体的,可以将预设创作场景对应的音乐视频输入到预先训练好的视频语义模型,该视频语义模型例如基于I3D(Inflated 3D ConvNet,膨胀的3D网络)、S3D(Separable3D CNN,可分离的3D卷积神经网络)、ECO(Efficient convolutional Network For onlinevideo understanding,用于在线视频理解的高效的卷积网络)等视频分类模型构建,然后可以通过预先训练好的视频语义模型提取出包含视频高维语义特征的语义特征,具体的,可以将模型输出的向量作为视频的语义特征向量。
在本公开实施例中,还可以确定音乐视频候选集中各个音乐视频的第二语义特征向量,并确定第一语义特征向量与第二语义特征向量的相似度,获得相似度集合。进一步地,可以根据预设相似度阈值,从相似度集合中选取大于预设相似度阈值的音乐视频,以确定第一视频候选集。具体的,该预设相似度阈值可以是根据历史经验确定的。可见,在第一种方式中预设条件为相似度大于预设阈值。
在本公开实施例中,可以提供一个用户确定待剪辑视频的创作场景的接口,这样的方式,可以使得剪辑后的视频更符合用户的剪辑需求,在增强剪辑后视频表达的丰富性的基础上,提升用户的使用体验。
第二种方式:
步骤F:确定音乐视频候选集中各个音乐视频的第二语义特征向量;
步骤G:将各个音乐视频中的第二语义特征向量,与音乐视频候选集中除自身之外的音乐视频的第二语义特征向量进行相似度计算;
步骤H:确定各个音乐视频的相似度与除自身之外的音乐视频的相似度的平均值,获得平均值集合;
步骤I:根据预设数目,从平均值集合中按照平均值从高到低的选取原则,确定第一视频候选集。
在本公开实施例中,可以采用前述的预先训练好的视频语义模型确定音乐视频候选集中各个音乐视频的第二语义特征向量,然后可以将各个音乐视频中的第二语义特征向量,与音乐视频候选集中除自身之外的音乐视频的第二语义特征向量进行相似度计算,也就是说,将音乐视频候选集中的音乐视频对应的第二语义特征向量两两之间进行相似度的计算,判断音乐视频候选集中的任意两个音乐视频的相似度。
进一步地,可以确定各个音乐视频的相似度与除自身之外的音乐视频的相似度的平均值,获得平均值集合,然后根据预设数目,从平均值集合中按照平均值从高到低的选取原则,确定第一视频候选集。具体的,该预设数目可以是10个,也可以是5个,本公开实施例中不做限制。可见,在第二种方式中,预设条件可以理解为符合平均值集合中属于预设数目的音乐视频对应的相似度。
在本公开实施例中,可以从音乐视频候选集中筛选各个类型创作场景的音乐视频中数量最多的音乐视频,在保证视频创作场景相似的基础上,丰富了目标歌曲名对应的视频的内容。这样的方式,为后续进行视频剪辑提供了丰富的视频,且使用前述方式筛选的视频,使得剪辑后的视频,不仅表达内容丰富,而且创作场景整体衔接自然。
在本公开实施例中,当获得第一视频候选集之后,还可以对第一视频候选集进行音乐风格过滤处理,具体为从第一视频候选集中筛选音乐风格相同的多个音乐视频的处理,从而可以获得目标视频候选集。
在本公开实施例中,对第一视频候选集进行音乐风格过滤处理可以包括但不限于以下两种方式:
第一种方式:
在本公开实施例中,可以先对第一视频候选集中的音乐视频进行音乐风格归类处理,获得多个风格视频候选集,其中,风格视频候选集包括一种音乐风格的音乐视频,然后可以将多个风格视频候选集中音乐视频数量最多的风格视频候选集作为目标视频候选集。
在具体的实施过程中,可以基于提取的1582维音频特征使用机器学习模型训练音乐风格分类器,然后用音乐风格分类器对第一视频候选集中的音乐视频进行音乐风格归类处理,从而获得多个风格视频候选集。具体的,1582维音频特征可以通过对第一视频候选集中各个音乐视频用opensmile软件对应提取,该1582维音频特征包含了音频的音色、音调、旋律、节奏、响度各个方面的数据。
在本公开实施例中,通过对第一视频候选集中各个音乐视频的音乐风格过滤处理,可以将音乐风格相同且数量最多的音乐风格对应的音乐视频确定为目标视频候选集,这样的方式,可以为后续视频剪辑提供多个视频素材的基础上,尽量确保视频素材的音乐风格相似,避免基于第二候选视频集剪辑视频后音乐风格过度较大降低用户观看感受的情况出现。
第二种方式:
在本公开实施例中,可以确定与目标歌曲名对应的预设音乐风格,预设音乐风格用于在预设平台首次演唱目标歌曲名对应歌曲的音乐风格,然后可以确定第一视频候选集中各个音乐视频的音乐风格,并从第一视频候选集中确定与预设音乐风格相同的音乐视频,获得目标视频候选集。需要说明的是,在本公开实施例中,预设平台可以理解为目标歌曲名对应的歌曲首次发行时对应的平台,也可以是用户或通过算法方式确定的预设平台,本公开实施例中不做限制。
在本公开实施例中,可以确定与目标歌曲名对应的首次演唱目标歌曲名对应歌曲的音乐短视频MV,然后通过预先训练的音乐风格分类器对该音音乐短视频进行识别处理,获得预设音乐风格,预设音乐风格例如摇滚、流行、民谣中的一种。进一步地,可以通过预先训练的音乐风格分类器对第一视频候选集中各个音乐视频进行音乐风格的识别,然后可以从第一视频候选集中确定与预设音乐风格相同的音乐视频,获得目标视频候选集。
在本公开实施例中,可以基于预先确定预设音乐风格筛选确定目标视频候选集,这样的方式,可以最大限度的保证筛选后的视频音乐风格相同,为后续视频剪辑提供丰富且合适的剪辑素材。
需要说明的是,若对音乐候选视频先进行音乐风格过滤处理,则可以对应获得第二视频候选集,且对音乐视频候选集进行音乐风格过滤处理的方法,参见对第一视频候选集的处理方法,即可以将步骤F-I的处理过程中的第一视频候选集替换为音乐视频候选集,这里不再赘述。以及,对第二视频候选集进行音乐场景过滤处理,获得目标视频候选集,且对第二视频候选集进行音乐场景过滤的方法,参见对音乐视频候选集的处理方法,即可以将步骤A-C的处理过程中的音乐视频候选集替换为第二视频候选集,这里不再赘述。
步骤203:确定目标视频候选集中各个音乐视频中均出现的目标歌词,按照目标歌词中单句歌词的数量和目标视频候选集中的音乐视频的数量的比较关系,将目标视频候选集中的音乐视频划分成多个待剪辑的子视频。
在本公开实施例中,可以对目标视频候选集中的音乐视频进行歌词提取处理,确定目标视频候选集中各个音乐视频与除自身外其它音乐视频中歌词相同的目标歌词,还可以确定目标视频候选集中音乐视频的数量。进一步地,可以判断目标歌词中单句歌词的数量是否与目标视频候选集中音乐视频的数量相同。
在本公开实施例中,若目标歌词中单句歌词的数量与目标视频候选集中音乐视频的数量相同,则可以按照从目标视频候选集中选择一个音乐视频与目标歌词中单句歌词对应的第一划分方式,确定目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
例如,若目标歌词的单句歌词的数量为5且分别为歌词1、歌词2、歌词3、歌词4以及歌词5,且目标视频候选集中音乐视频的数量为5,分别为音乐视频A、音乐视频B、音乐视频C、音乐视频D以及音乐视频E,则可以将音乐视频A中歌词1对应的视频进行划分剪辑,得到待剪辑的视频a、将音乐视频B中歌词2对应的视频进行划分剪辑,得到待剪辑的视频b、将音乐视频C中歌词3对应的视频进行划分剪辑,得到待剪辑的视频c、将音乐视频D中歌词4对应的视频进行划分剪辑,得到待剪辑的视频d以及将音乐视频E中歌词5对应的视频进行划分剪辑,得到待剪辑的视频e。
可见,在本公开实施例中,可以将目标视频候选集中一个音乐视频剪辑一句目标歌词中的方式,获得目标视频候选集对应的多个待剪辑的子视频。这样的方式,可以获得较多的待剪辑的子视频,丰富剪辑后的视频的内容。
需要说明的是,可以是目标视频候选集中的任意一个可以对应任意一句目标歌词,也可以是按照目标视频候选集中的各个音乐视频的浏览量、点赞数以及转发数中任意一个从高到低的顺序对音乐视频进行排序,并按照排序顺序与目标歌词的单据歌词的顺序进行匹配剪辑,当然,也可以是其它方式,本公开实施例中不做限制。
在本公开实施例中,若目标歌词中单句歌词的数量与目标视频候选集中音乐视频的数量不相同,且确定目标歌词中单句歌词的数量小于目标视频候选集中音乐视频的数量,则可以确定目标视频候选集中的音乐视频的喜爱度的排列次序,其中,喜爱度用于表征音乐视频发布后预定时间内的浏览音乐视频的喜爱类信息反馈参数。然后可以按照目标视频候选集中的音乐视频的喜爱度的排列次序与目标歌词中单句歌词的次序对应的第二划分方式,确定目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
例如,若目标歌词的单句歌词的数量为5且分别为第一句歌词1、第二句歌词2、第三句歌词3、第四句歌词4以及第五句歌词5,且目标视频候选集中音乐视频的数量为6,分别为音乐视频A且喜爱度为10%、音乐视频B且喜爱度为60%、音乐视频C且喜爱度为80%、音乐视频D且喜爱度为55%、音乐视频E且喜爱度为35%以及音乐视频F且喜爱度为40%,则可以将音乐视频C中歌词1对应的视频进行划分剪辑,得到待剪辑的视频c、将音乐视频B中歌词2对应的视频进行划分剪辑,得到待剪辑的视频b、将音乐视频D中歌词3对应的视频进行划分剪辑,得到待剪辑的视频d、将音乐视频F中歌词4对应的视频进行划分剪辑,得到待剪辑的视频f以及将音乐视频E中歌词5对应的视频进行划分剪辑,得到待剪辑的视频e。
可见,在本公开实施例中,当确定目标歌词的单句歌词的数量小于目标视频候选集中音乐视频的数量,则可以按照目标视频候选集中各个音乐视频的喜爱度,确定被划分剪辑的音乐视频。具体的,喜爱度可以根据音乐视频的历史浏览量、点赞数以及转发数等可反馈用户喜爱的信息综合确定。这样的方式,使得获得的多个待剪辑的子视频,不仅内容丰富,且受到用户喜爱的程度较高,可以为后续视频的推广或者浏览量提供良好的基础。
在本公开实施例中,若目标歌词中单句歌词的数量与目标视频候选集中音乐视频的数量不相同,且确定目标歌词中单句歌词的数量大于目标视频候选集中音乐视频的数量,则可以按照目标视频候选集中一个音乐视频与目标歌词的多句歌词对应的第三划分方式,对,确定目标视频候选集中的各个音乐视频所对应的多句歌词部分,得到多个待剪辑的视频。
在本公开实施例中,当确定目标歌词中单句歌词的数量大于目标视频候选集中音乐视频的数量时,则可以保留目标视频候选集中的各个音乐视频多句内容,增强视频的内容表达的丰富性。
步骤204:按照预设规则,将多个待剪辑的视频剪辑成目标剪辑视频。
在本公开实施例中,可以按照目标歌词从前到后的匹配顺序,对多个待剪辑的子视频进行拼接剪辑,获得目标剪辑视频。
在本公开实施例中,通过对目标歌曲名对应的音乐候选集中的各个音乐视频进行音乐场景过滤处理以及音乐风格过滤处理,可以获得目标视频候选集,然后对视频候选集中的音乐视频进行划分剪辑处理,从而获得个待剪辑的子视频。进一步地,可以按照目标歌词从前到后的匹配顺序,对多个待剪辑的子视频进行拼接剪辑,获得目标剪辑视频。可见,本公开实施例提供的视频剪辑的方式仅需要用户提供待剪辑的目标歌曲名,则可以自动处理并获得到一个综合考虑歌词、场景、风格的目标剪辑视频,操作步骤简单且剪辑后的视频内容丰富性较强。
在一种可能的实施方式中,在本公开实施例中,在将目标视频候选集中的音乐视频划分成多个待剪辑的子视频之后,还可以将多个待剪辑的子视频以歌词顺序依次单一呈现于显示界面上;或者,将多个待剪辑的子视频以歌词顺序按照从左往右的方式排列,并将子视频同时呈现于显示界面上。可见,本公开实施例还可以将对待剪辑的子视频进行预览呈现,这样的方式,可以预先让用户浏览目标剪辑视频,还可以让用户确定是否选择以预览呈现方式进行最终的呈现,或者是确定是否将该目标剪辑视频作为想要发布或保存的视频,即提供多种选择接口,满足多个用户的不同需求。
进一步地,当将待剪辑的子视频进行预览呈现时,还可以接收对多个待剪辑的子视频中第一子视频的第一操作,第一操作用于表征对第一子视频进行替换;响应第一操作,确定待替换的子视频和第一子视频,并用待剪辑的子视频替换第一子视频,以获得第一目标剪辑视频。也就是说,本公开实施例可以对待剪辑中的子视频进行替换处理,例如将用户自己的演唱该歌曲的视频替换到多个待剪辑的子视频中,在增强视频内容表达的丰富性的同时,还可以满足不同用户的实际剪辑需求。
在本公开实施例中,还可以将确定的目标剪辑视频以与预览呈现方式相同或其它呈现方式将该目标剪辑视频呈现,进一步地,还可以将目标剪辑视频保存和/或发布。
基于同一发明构思,本公开实施例提供了一种视频剪辑装置,该视频剪辑装置能够实现前述的视频剪辑方法对应的功能。该视频剪辑装置可以是硬件结构、软件模块、或硬件结构加软件模块。该视频剪辑装置可以由芯片系统实现,芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。请参见图3所示,该视频剪辑装置包括确定单元301、获得单元302、划分单元303以及剪辑单元304。其中:
确定单元301,被配置为执行确定待剪辑视频的目标歌曲名,并根据所述目标歌曲名确定音乐视频候选集;
获得单元302,被配置为执行对所述音乐视频候选集进行过滤处理,获得目标视频候选集,其中,所述过滤处理包括音乐场景过滤处理和音乐风格过滤处理,所述目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频;
划分单元303,被配置为执行确定所述目标视频候选集中各个音乐视频中均出现的目标歌词,按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,其中,所述待剪辑的子视频为包括至少一句歌词对应的音乐视频的视频;
剪辑单元304,被配置为执行按照预设规则,将所述多个待剪辑的子视频剪辑成目标剪辑视频。
在一种可能的实施方式中,所述获得单元302包括第一获得单元和第二获得单元,其中:
所述第一获得单元被配置为执行对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集;以及,
所述第二获得单元被配置为执行对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集。
在一种可能的实施方式中,所述第一获得单元被配置为执行:
确定与所述目标歌曲名对应的音乐视频的预设创作场景的第一语义特征向量;
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量,并确定所述第一语义特征向量与所述第二语义特征向量的相似度,获得相似度集合;
根据预设相似度阈值,从所述相似度集合中选取大于所述预设相似度阈值的音乐视频,以确定第一视频候选集。
在一种可能的实施方式中,所述第一获得单元被配置为执行:
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量;
将所述各个音乐视频中的第二语义特征向量,与所述音乐视频候选集中除自身之外的音乐视频的第二语义特征向量进行相似度计算;
确定所述各个音乐视频的相似度与所述除自身之外的音乐视频的相似度的平均值,获得平均值集合;
根据预设数目,从所述平均值集合中按照平均值从高到低的选取原则,确定第一视频候选集。
在一种可能的实施方式中,所述第二获得单元被配置为执行:
对所述第一视频候选集中的音乐视频进行音乐风格归类处理,获得多个风格视频候选集,其中,一个风格视频后选集中包括一种音乐分格的音乐视频;
将所述多个风格视频候选集中音乐视频数量最多的风格视频候选集作为所述目标视频候选集。
在一种可能的实施方式中,所述第二获得单元被配置为执行:
确定与所述目标歌曲名对应的预设音乐风格,所述预设音乐风格用于在预设平台首次演唱所述目标歌曲名对应歌曲的音乐风格;
确定所述第一视频候选集中各个音乐视频的音乐风格,并从所述第一视频候选集中确定与所述预设音乐风格相同的音乐视频,获得所述目标视频候选集。
在一种可能的实施方式中,所述划分单元303被配置为执行:
对所述目标视频候选集中的音乐视频进行歌词提取处理,确定所述目标视频候选集中各个音乐视频与除自身外其它音乐视频中歌词相同的目标歌词;
确定所述目标视频候选集中音乐视频的数量;
确定所述目标歌词中单句歌词的数量是否与所述目标视频候选集中音乐视频的数量相同;
若相同,则按照从所述目标视频候选集中选择一个音乐视频与所述目标歌词中单句歌词对应的第一划分方式,确定目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述划分单元303被配置为执行:
若不相同,且确定所述目标歌词中单句歌词的数量小于所述目标视频候选集中音乐视频的数量;
确定所述目标视频候选集中的音乐视频的喜爱度的排列次序,所述喜爱度用于表征音乐视频发布后预定时间内的浏览音乐视频的喜爱类信息反馈参数;
按照所述目标视频候选集中的音乐视频的喜爱度的排列次序与所述目标歌词中单句歌词的次序对应的第二划分方式,确定目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述划分单元303被配置为执行:
若不相同,且确定所述目标歌词中单句歌词的数量大于所述目标视频候选集中音乐视频的数量;
按照所述目标视频候选集中一个音乐视频与所述目标歌词的多句歌词对应的第三划分方式,,确定目标视频候选集中的各个音乐视频所对应的多句歌词部分,得到多个待剪辑的视频。
在一种可能的实施方式中,所述剪辑单元304被配置为执行:
按照所述目标歌词从前到后的匹配顺序,对所述多个待剪辑的子视频进行拼接剪辑,获得目标剪辑视频。
在一种可能的实施方式中,所述装置还包括显示模块,所述显示模块被配置为执行:
将所述多个待剪辑的子视频以歌词顺序依次单一呈现于显示界面上;或者,
将所述多个待剪辑的子视频以歌词顺序按照从左往右的方式排列,并将所述子视频同时呈现于所述显示界面上。
在一种可能的实施方式中,所述装置还包括处理单元,所述处理单元被配置为执行:
接收对所述多个待剪辑的子视频中第一子视频的第一操作,所述第一操作用于表征对所述第一子视频进行替换;
响应所述第一操作,确定待替换的子视频和所述第一子视频,并用所述待剪辑的子视频替换所述第一子视频,以获得第一目标剪辑视频。
前述如图2的视频剪辑方法的实施例涉及的各步骤的所有相关内容均可以援引到本公开实施例中的视频剪辑装置所对应的功能单元的功能描述,在此不再赘述。
本公开实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本公开各个实施例中的各功能单元可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
基于同一发明构思,本公开实施例还提供一种电子设备,如图4所示,本公开实施例中的电子设备包括至少一个处理器401,以及与至少一个处理器401连接的存储器402和通信接口403,本公开实施例中不限定处理器401与存储器402之间的具体连接介质,图4中是以处理器401和存储器402之间通过总线400连接为例,总线400在图4中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线400可以分为地址总线、数据总线、控制总线等,为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本公开实施例中,存储器402存储有可被至少一个处理器401执行的指令,至少一个处理器401通过执行存储器402存储的指令,可以执行前述的视频剪辑方法中所包括的步骤。
其中,处理器401是电子设备的控制中心,可以利用各种接口和线路连接整个故障检测设备的各个部分,通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据,计算设备的各种功能和处理数据,从而对计算设备进行整体监控。可选的,处理器401可包括一个或多个处理单元,处理器401可集成应用处理器和调制解调处理器,其中,处理器401主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。在一些实施例中,处理器401和存储器402可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器401可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器402作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本公开实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
通信接口403是能够用于进行通信的传输接口,可以通过通信接口403接收数据或者发送数据。
参见图5所示的电子设备的进一步地的结构示意图,该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)501、用于存储操作系统502、应用程序503和其他程序模块504的大容量存储设备505。
基本输入/输出系统501包括有用于显示信息的显示器506和用于用户输入信息的诸如鼠标、键盘之类的输入设备507。其中显示器506和输入设备507都通过连接到系统总线400的基本输入/输出系统501连接到处理器401。所述基本输入/输出系统501还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备505通过连接到系统总线400的大容量存储控制器(未示出)连接到处理器401。所述大容量存储设备505及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说,大容量存储设备505可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本公开的各种实施例,该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线400上的通信接口403连接到网络508,或者说,也可以使用通信接口403来连接到其他类型的网络或远程计算机系统(未示出)。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器402,上述指令可由装置的处理器401执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一些可能的实施方式中,本公开提供的视频剪辑方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使该电子设备执行本说明书上述描述的根据本公开各种示例性实施方式的视频剪辑方法中的步骤。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种视频剪辑方法,其特征在于,所述方法包括:
确定待剪辑视频的目标歌曲名,并根据所述目标歌曲名确定音乐视频候选集;
对所述音乐视频候选集进行过滤处理,获得目标视频候选集,其中,所述过滤处理包括音乐场景过滤处理和音乐风格过滤处理,所述目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频;
确定所述目标视频候选集中各个音乐视频中均出现的目标歌词,按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,其中,所述待剪辑的子视频为包括至少一句歌词对应的音乐视频的视频;
按照预设规则,将所述多个待剪辑的子视频剪辑成目标剪辑视频。
2.如权利要求1所述的方法,其特征在于,所述对所述音乐视频候选集进行过滤处理,获得目标视频候选集,包括:
对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集;以及,
对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集。
3.如权利要求2所述的方法,其特征在于,所述对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集,包括:
确定与所述目标歌曲名对应的音乐视频的预设创作场景的第一语义特征向量;
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量,并确定所述第一语义特征向量与所述第二语义特征向量的相似度,获得相似度集合;
根据预设相似度阈值,从所述相似度集合中选取大于所述预设相似度阈值的音乐视频,以确定第一视频候选集。
4.如权利要求2所述的方法,其特征在于,所述对所述音乐视频候选集进行音乐场景过滤处理,获得第一视频候选集,包括:
确定所述音乐视频候选集中各个音乐视频的第二语义特征向量;
将所述各个音乐视频中的第二语义特征向量,与所述音乐视频候选集中除自身之外的音乐视频的第二语义特征向量进行相似度计算;
确定所述各个音乐视频的相似度与所述除自身之外的音乐视频的相似度的平均值,获得平均值集合;
根据预设数目,从所述平均值集合中按照平均值从高到低的选取原则,确定第一视频候选集。
5.如权利要求2-4任一项所述的方法,其特征在于,所述对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集,包括:
对所述第一视频候选集中的音乐视频进行音乐风格归类处理,获得多个风格视频候选集,其中,一个风格视频候选集包括一种音乐风格的音乐视频;
将所述多个风格视频候选集中音乐视频数量最多的风格视频候选集作为所述目标视频候选集。
6.如权利要求2-4任一项所述的方法,其特征在于,所述对所述第一视频候选集进行音乐风格过滤处理,获得目标视频候选集,包括:
确定与所述目标歌曲名对应的预设音乐风格,所述预设音乐风格用于表征在预设平台首次演唱所述目标歌曲名对应歌曲的音乐风格;
确定所述第一视频候选集中各个音乐视频的音乐风格,并从所述第一视频候选集中确定与所述预设音乐风格相同的音乐视频,获得所述目标视频候选集。
7.如权利要求1所述的方法,其特征在于,所述确定所述目标视频候选集中各个音乐视频中均出现的目标歌词,按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,包括:
对所述目标视频候选集中的音乐视频进行歌词提取处理,确定所述目标视频候选集中各个音乐视频与除自身外其它音乐视频中歌词相同的目标歌词;
确定所述目标视频候选集中音乐视频的数量;
确定所述目标歌词中单句歌词的数量是否与所述目标视频候选集中音乐视频的数量相同;
若相同,则按照从所述目标视频候选集中选择一个音乐视频与所述目标歌词中单句歌词对应的第一划分方式,确定所述目标视频候选集中的各个音乐视频所对应的单句歌词部分,得到多个待剪辑的视频。
8.一种视频剪辑装置,其特征在于,所述装置包括:
确定单元,被配置为执行确定待剪辑视频的目标歌曲名,并根据所述目标歌曲名确定音乐视频候选集;
获得单元,被配置为执行对所述音乐视频候选集进行过滤处理,获得目标视频候选集,其中,所述过滤处理包括音乐场景过滤处理和音乐风格过滤处理,所述目标视频候选集包括多个音乐风格相同且创作场景的相似度值满足预设条件的音乐视频;
划分单元,被配置为执行确定所述目标视频候选集中各个音乐视频中均出现的目标歌词,按照所述目标歌词中单句歌词的数量和所述目标视频候选集中的音乐视频的数量的比较关系,将所述目标视频候选集中的音乐视频划分成多个待剪辑的子视频,其中,所述待剪辑的子视频为包括至少一句歌词对应的音乐视频的视频;
剪辑单元,被配置为执行按照预设规则,将所述多个待剪辑的子视频剪辑成目标剪辑视频。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至权利要求7中任一项所述的视频剪辑方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至权利要求7中任一项所述的视频剪辑方法。
CN202010947908.9A 2020-09-10 2020-09-10 一种视频剪辑方法、装置、电子设备及存储介质 Active CN112203140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010947908.9A CN112203140B (zh) 2020-09-10 2020-09-10 一种视频剪辑方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010947908.9A CN112203140B (zh) 2020-09-10 2020-09-10 一种视频剪辑方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112203140A true CN112203140A (zh) 2021-01-08
CN112203140B CN112203140B (zh) 2022-04-01

Family

ID=74015654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010947908.9A Active CN112203140B (zh) 2020-09-10 2020-09-10 一种视频剪辑方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112203140B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911379A (zh) * 2021-01-15 2021-06-04 北京字跳网络技术有限公司 视频生成方法、装置、电子设备和存储介质
CN113821675A (zh) * 2021-06-30 2021-12-21 腾讯科技(北京)有限公司 视频识别方法、装置、电子设备及计算机可读存储介质
CN114302224A (zh) * 2021-12-23 2022-04-08 新华智云科技有限公司 一种视频智能剪辑方法、装置、设备及存储介质
WO2022228557A1 (zh) * 2021-04-30 2022-11-03 北京字跳网络技术有限公司 剪辑模板搜索方法及装置
WO2023030491A1 (zh) * 2021-09-02 2023-03-09 北京字跳网络技术有限公司 一种视频拼接方法、装置、设备及介质
US12033671B2 (en) 2021-01-15 2024-07-09 Beijing Zitiao Network Technology Co., Ltd. Video generation method and apparatus, electronic device, and storage medium

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777824B1 (ko) * 2006-06-27 2007-11-22 에스케이 텔레콤주식회사 셀프 뮤직 비디오 서비스 방법과 그를 수행하는 서버 및시스템
US20100183280A1 (en) * 2008-12-10 2010-07-22 Muvee Technologies Pte Ltd. Creating a new video production by intercutting between multiple video clips
US20110230987A1 (en) * 2010-03-11 2011-09-22 Telefonica, S.A. Real-Time Music to Music-Video Synchronization Method and System
US20120185774A1 (en) * 2010-12-19 2012-07-19 Vringo Inc Symphonic Video Generation
CN103988496A (zh) * 2011-04-13 2014-08-13 维克罗尼公司 用于从多个源创建合成视频的方法和装置
JP2018032316A (ja) * 2016-08-26 2018-03-01 日本電信電話株式会社 映像生成装置、映像生成モデル学習装置、その方法、及びプログラム
CN109379633A (zh) * 2018-11-08 2019-02-22 北京微播视界科技有限公司 视频编辑方法、装置、计算机设备及可读存储介质
CN109600643A (zh) * 2018-12-21 2019-04-09 广州酷狗计算机科技有限公司 视频提供方法、播放方法、装置及存储介质
CN109788308A (zh) * 2019-02-01 2019-05-21 腾讯音乐娱乐科技(深圳)有限公司 音视频处理方法、装置、电子设备及存储介质
JP2020005309A (ja) * 2019-09-19 2020-01-09 株式会社オープンエイト 動画編集サーバおよびプログラム
CN110913271A (zh) * 2019-11-29 2020-03-24 Oppo广东移动通信有限公司 视频处理方法、移动终端及非易失性计算机可读存储介质
CN110929098A (zh) * 2019-11-14 2020-03-27 腾讯科技(深圳)有限公司 视频数据的处理方法、装置、电子设备及存储介质
CN111274415A (zh) * 2020-01-14 2020-06-12 广州酷狗计算机科技有限公司 确定替补视频素材的方法、装置及计算机存储介质
CN111432141A (zh) * 2020-03-31 2020-07-17 北京字节跳动网络技术有限公司 一种混剪视频确定方法、装置、设备及存储介质
CN111625682A (zh) * 2020-04-30 2020-09-04 腾讯音乐娱乐科技(深圳)有限公司 视频的生成方法、装置、计算机设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100777824B1 (ko) * 2006-06-27 2007-11-22 에스케이 텔레콤주식회사 셀프 뮤직 비디오 서비스 방법과 그를 수행하는 서버 및시스템
US20100183280A1 (en) * 2008-12-10 2010-07-22 Muvee Technologies Pte Ltd. Creating a new video production by intercutting between multiple video clips
US20110230987A1 (en) * 2010-03-11 2011-09-22 Telefonica, S.A. Real-Time Music to Music-Video Synchronization Method and System
US20120185774A1 (en) * 2010-12-19 2012-07-19 Vringo Inc Symphonic Video Generation
CN103988496A (zh) * 2011-04-13 2014-08-13 维克罗尼公司 用于从多个源创建合成视频的方法和装置
JP2018032316A (ja) * 2016-08-26 2018-03-01 日本電信電話株式会社 映像生成装置、映像生成モデル学習装置、その方法、及びプログラム
CN109379633A (zh) * 2018-11-08 2019-02-22 北京微播视界科技有限公司 视频编辑方法、装置、计算机设备及可读存储介质
CN109600643A (zh) * 2018-12-21 2019-04-09 广州酷狗计算机科技有限公司 视频提供方法、播放方法、装置及存储介质
CN109788308A (zh) * 2019-02-01 2019-05-21 腾讯音乐娱乐科技(深圳)有限公司 音视频处理方法、装置、电子设备及存储介质
JP2020005309A (ja) * 2019-09-19 2020-01-09 株式会社オープンエイト 動画編集サーバおよびプログラム
CN110929098A (zh) * 2019-11-14 2020-03-27 腾讯科技(深圳)有限公司 视频数据的处理方法、装置、电子设备及存储介质
CN110913271A (zh) * 2019-11-29 2020-03-24 Oppo广东移动通信有限公司 视频处理方法、移动终端及非易失性计算机可读存储介质
CN111274415A (zh) * 2020-01-14 2020-06-12 广州酷狗计算机科技有限公司 确定替补视频素材的方法、装置及计算机存储介质
CN111432141A (zh) * 2020-03-31 2020-07-17 北京字节跳动网络技术有限公司 一种混剪视频确定方法、装置、设备及存储介质
CN111625682A (zh) * 2020-04-30 2020-09-04 腾讯音乐娱乐科技(深圳)有限公司 视频的生成方法、装置、计算机设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TING-WEI LIN: "Correlation-Based Background Music Recommendation by Incorporating Temporal Sequence of Local Features", 《2017 IEEE THIRD INTERNATIONAL CONFERENCE ON MULTIMEDIA BIG DATA (BIGMM)》 *
王娟: "视频摘要技术综述", 《中国图象图形学报》 *
许婉华: "网络音乐短视频文化特征——以抖音APP为例", 《传播与版权》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911379A (zh) * 2021-01-15 2021-06-04 北京字跳网络技术有限公司 视频生成方法、装置、电子设备和存储介质
US12033671B2 (en) 2021-01-15 2024-07-09 Beijing Zitiao Network Technology Co., Ltd. Video generation method and apparatus, electronic device, and storage medium
WO2022228557A1 (zh) * 2021-04-30 2022-11-03 北京字跳网络技术有限公司 剪辑模板搜索方法及装置
CN113821675A (zh) * 2021-06-30 2021-12-21 腾讯科技(北京)有限公司 视频识别方法、装置、电子设备及计算机可读存储介质
CN113821675B (zh) * 2021-06-30 2024-06-07 腾讯科技(北京)有限公司 视频识别方法、装置、电子设备及计算机可读存储介质
WO2023030491A1 (zh) * 2021-09-02 2023-03-09 北京字跳网络技术有限公司 一种视频拼接方法、装置、设备及介质
CN114302224A (zh) * 2021-12-23 2022-04-08 新华智云科技有限公司 一种视频智能剪辑方法、装置、设备及存储介质
CN114302224B (zh) * 2021-12-23 2023-04-07 新华智云科技有限公司 一种视频智能剪辑方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112203140B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN112203140B (zh) 一种视频剪辑方法、装置、电子设备及存储介质
CN105009118B (zh) 定制的内容消费界面
CN111259192B (zh) 音频推荐方法和装置
CN112579826A (zh) 视频显示及处理方法、装置、系统、设备、介质
US9575996B2 (en) Emotion image recommendation system and method thereof
CN112541353A (zh) 视频生成方法、装置、设备和介质
US20230237255A1 (en) Form generation method, apparatus, and device, and medium
CN114731458A (zh) 视频处理方法、视频处理装置、终端设备以及存储介质
CN114339285B (zh) 知识点的处理方法、视频处理方法、装置及电子设备
CN111046226B (zh) 一种音乐的调音方法及装置
CN111209477A (zh) 一种信息推荐的方法及装置、电子设备、存储介质
CN109151615A (zh) 视频处理方法、计算机设备和计算机存储介质
CN108292411A (zh) 使用对象资产生成视频内容项目
CN112004137A (zh) 一种智能视频创作方法及装置
CN112004138A (zh) 一种智能视频素材搜索匹配的方法及装置
US20230368448A1 (en) Comment video generation method and apparatus
CN111274415A (zh) 确定替补视频素材的方法、装置及计算机存储介质
CN108628886B (zh) 一种音频文件推荐方法及装置
CN111125384B (zh) 一种多媒体答案生成方法、装置、终端设备以及存储介质
CN114520931A (zh) 视频生成方法、装置、电子设备及可读存储介质
CN113556484A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN113590247A (zh) 文本创作方法及计算机程序产品
CN110797001A (zh) 电子书语音音频的生成方法、装置及可读存储介质
CN112784073A (zh) 车机的外部多媒体资源的整合方法和计算机存储介质
CN113099267B (zh) 视频生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant