CN111831615A - 一种影音文件的生成方法、装置和系统 - Google Patents

一种影音文件的生成方法、装置和系统 Download PDF

Info

Publication number
CN111831615A
CN111831615A CN202010470359.0A CN202010470359A CN111831615A CN 111831615 A CN111831615 A CN 111831615A CN 202010470359 A CN202010470359 A CN 202010470359A CN 111831615 A CN111831615 A CN 111831615A
Authority
CN
China
Prior art keywords
video
audio
material data
data
raw material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010470359.0A
Other languages
English (en)
Other versions
CN111831615B (zh
Inventor
李银辉
刘旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010470359.0A priority Critical patent/CN111831615B/zh
Publication of CN111831615A publication Critical patent/CN111831615A/zh
Application granted granted Critical
Publication of CN111831615B publication Critical patent/CN111831615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开关于一种影音文件的生成方法、装置、电子设备及存储介质,其中,所述方法包括:获取原始素材数据,所述原始素材数据包含图片数据和/或音视频数据;对所述原始素材数据进行分析得到所述原始素材数据的风格类型;根据所述风格类型在预设的音乐库中匹配到对应的音乐文件;根据所述原始素材数据和所述音乐文件生成影音文件。本公开对用户上传的原始素材数据进行自动化处理,避免了用户的一系列复杂的编辑操作,降低了影音文件的制作难度,简化了影音文件的生成步骤,同时,也缩短了影音文件的时间成本。

Description

一种影音文件的生成方法、装置和系统
技术领域
本公开涉及音视频处理技术领域,尤其涉及一种影音文件的生成方法、装置、电子设备及存储介质。
背景技术
目前,影音文件的制作门槛比较高,需要用户经过导入素材、音乐处理、素材剪切、字幕处理、封面处理、尾帧处理和特效处理等一系列复杂的编辑操作才能生成一个完整的影音文件。
相关技术中,由于用户的经验不足或者能力欠缺等原因,导致制作的影音文件的难度较大,而且,制作影音文件的步骤复杂,时间成本较高。
发明内容
本公开提供了一种影音文件的生成方法、装置、电子设备及存储介质,以至少解决相关技术中影音文件的制作难度大、步骤复杂和时间成本较高的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供了一种影音文件的生成方法,包括:获取原始素材数据,所述原始素材数据包含图片数据和/或音视频数据;对所述原始素材数据进行分析得到所述原始素材数据的风格类型;根据所述风格类型在预设的音乐库中匹配到对应的音乐文件;根据所述原始素材数据和所述音乐文件生成影音文件。
可选地,所述对所述原始素材数据进行分析得到所述原始素材数据的风格类型,包括:从所述原始素材数据中提取出至少一个第一帧;根据每个所述第一帧在预设的视频库中匹配到对应的目标样本视频;将所述目标样本视频对应的风格类型作为所述原始素材数据的风格类型。
可选地,所述根据每个所述第一帧在预设的视频库中匹配到对应的目标样本视频,包括:识别每个所述第一帧的特征数据;将所述特征数据与所述视频库中的各样本视频的特征数据进行比对;将各所述样本视频的特征数据中与每个所述第一帧的特征数据最相近的所述样本视频作为所述目标样本视频。
可选地,所述从所述原始素材数据中提取出至少一个第一帧,包括:按照预设的时间间隔从所述音视频数据中提取出至少一个视频帧,将提取出的至少一个所述视频帧作为至少一个所述第一帧;和/或,将所述图片数据作为所述第一帧。
可选地,所述根据所述原始素材数据和所述音乐文件生成影音文件,包括:设置所述原始素材数据在所述影音文件中的展示顺序和展示时长;按照所述展示顺序对相邻的两个所述原始素材数据进行场景转换处理;将所述音乐文件作为所述影音文件的背景音乐,并按照所述展示顺序、所述展示时长和场景转换处理后的所述原始素材数据合成所述影音文件。
可选地,所述根据所述原始素材数据和所述音乐文件生成影音文件,包括:根据所述原始素材数据和所述音乐文件生成多个所述影音文件;所述方法还包括:展示多个所述影音文件,以便用户从多个所述影音文件中选择至少一个所述影音文件。
可选地,在所述根据所述原始素材数据和所述音乐文件生成影音文件之后,所述方法还包括:从所述原始素材数据中筛选出所述影音文件的封面图片。
可选地,所述从所述原始素材数据中筛选出所述影音文件的封面图片,包括:对所述原始素材数据进行分析得到所述原始素材数据的行业类型;按照与所述行业类型对应的筛选条件从至少一个所述第一帧中筛选出第二帧;将所述第二帧作为所述影音文件的封面图片。
可选地,所述对所述原始素材数据进行分析得到所述原始素材数据的行业类型,包括:根据每个所述第一帧在预设的素材库中匹配到对应的目标样本素材;将所述目标样本素材对应的行业类型作为所述原始素材数据的行业类型。
可选地,所述根据每个所述第一帧在预设的素材库中匹配到对应的目标样本素材,包括:识别每个所述第一帧的行业元素;将所述行业元素与所述素材库中的各样本素材的行业元素进行比对;将各所述样本素材的行业元素中与每个所述第一帧的行业元素最相近的所述样本素材作为所述目标样本素材。
可选地,所述筛选条件包含内容显示条件、画面显示条件和审美条件中的一种或多种。
可选地,所述将所述第二帧作为所述影音文件的封面图片,包括:在生成多个所述影音文件的情况下,为每个所述影音文件选择相同或者不相同的所述第二帧作为对应的封面图片。
根据本公开实施例的第二方面,提供了一种影音文件的生成装置,包括:获取模块,被配置为获取原始素材数据,所述原始素材数据包含图片数据和/或音视频数据;分析模块,被配置为对所述原始素材数据进行分析得到所述原始素材数据的风格类型;匹配模块,被配置为根据所述风格类型在预设的音乐库中匹配到对应的音乐文件;生成模块,被配置为根据所述原始素材数据和所述音乐文件生成影音文件。
可选地,所述分析模块,包括:帧提取模块,被配置为从所述原始素材数据中提取出至少一个第一帧;帧匹配模块,被配置为根据每个所述第一帧在预设的视频库中匹配到对应的目标样本视频;类型确定模块,被配置为将所述目标样本视频对应的风格类型作为所述原始素材数据的风格类型。
可选地,所述帧匹配模块,包括:特征识别模块,被配置为识别每个所述第一帧的特征数据;特征比对模块,被配置为将所述特征数据与所述视频库中的各样本视频的特征数据进行比对;视频确定模块,被配置为将各所述样本视频的特征数据中与每个所述第一帧的特征数据最相近的所述样本视频作为所述目标样本视频。
可选地,所述帧提取模块,被配置为按照预设的时间间隔从所述音视频数据中提取出至少一个视频帧,将提取出的至少一个所述视频帧作为至少一个所述第一帧;和/或,将所述图片数据作为所述第一帧。
可选地,所述生成模块,包括:设置模块,被配置为设置所述原始素材数据在所述影音文件中的展示顺序和展示时长;转场模块,被配置为按照所述展示顺序对相邻的两个所述原始素材数据进行场景转换处理;合成模块,被配置为将所述音乐文件作为所述影音文件的背景音乐,并按照所述展示顺序、所述展示时长和场景转换处理后的所述原始素材数据合成所述影音文件。
可选地,所述生成模块,被配置为根据所述原始素材数据和所述音乐文件生成多个所述影音文件;所述装置还包括:展示模块,被配置为展示多个所述影音文件,以便用户从多个所述影音文件中选择至少一个所述影音文件。
可选地,所述装置还包括:筛选模块,被配置为在所述生成模块根据所述原始素材数据和所述音乐文件生成影音文件之后,从所述原始素材数据中筛选出所述影音文件的封面图片。
可选地,所述分析模块,还被配置为对所述原始素材数据进行分析得到所述原始素材数据的行业类型;所述筛选模块,还被配置为按照与所述行业类型对应的筛选条件从至少一个所述第一帧中筛选出第二帧;将所述第二帧作为所述影音文件的封面图片。
可选地,所述分析模块,被配置为根据每个所述第一帧在预设的素材库中匹配到对应的目标样本素材;将所述目标样本素材对应的行业类型作为所述原始素材数据的行业类型。
可选地,所述分析模块,还包括:元素识别模块,被配置为识别每个所述第一帧的行业元素;元素比对模块,被配置为将所述行业元素与所述素材库中的各样本素材的行业元素进行比对;素材确定模块,被配置为将各所述样本素材的行业元素中与每个所述第一帧的行业元素最相近的所述样本素材作为所述目标样本素材。
可选地,所述筛选条件包含内容显示条件、画面显示条件和审美条件中的一种或多种。
可选地,所述筛选模块,被配置为在生成多个所述影音文件的情况下,为每个所述影音文件选择相同或者不相同的所述第二帧作为对应的封面图片。
根据本公开实施例的第三方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的影音文件的生成方法。
根据本公开实施例的第四方面,提供了一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面所述的影音文件的生成方法。
根据本公开实施例的第五方面,提供了一种计算机程序产品,包括可读性程序代码,所述可读性程序代码可由电子设备的处理器执行以完成上述第一方面所述的影音文件的生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开的实施例提供的影音文件的生成方案,获取用户上传的原始素材数据,该原始素材数据包含图片数据和/或音视频数据,然后分析原始素材数据得到其风格类型,进而根据风格类型在音乐库中匹配到对应的音乐文件,最终根据原始素材数据和音乐文件生成影音文件。
本公开的实施例在获取到用户上传的原始素材数据之后,通过分析得到原始素材数据的风格类型,进一步根据风格类型匹配到对应的音乐文件,将音乐文件作为待生成的影音文件的背景音乐,最终将原始素材数据和背景音乐合成为影音文件。本公开实施例对用户上传的原始素材数据进行自动化处理,避免了用户的一系列复杂的编辑操作,降低了影音文件的制作难度,简化了影音文件的生成步骤,同时,也缩短了影音文件的时间成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种影音文件的生成方法的流程图。
图2是根据一示例性实施例示出的另一种影音文件的生成方法的流程图。
图3是根据一示例性实施例示出的一种原始素材数据的风格类型分析过程示意图。
图4是根据一示例性实施例示出的根据风格类型匹配到对应的音乐文件的流程示意图。
图5a是根据一示例性实施例示出的当原始素材数据仅为图片数据时的影音文件合成示意图。
图5b是根据一示例性实施例示出的当原始素材数据仅为音视频数据时的影音文件合成示意图。
图5c是根据一示例性实施例示出的当原始素材数据包含图片数据和音视频数据时的影音文件合成示意图。
图6是根据一示例性实施例示出的一种为电商类的原始素材数据筛选出封面图片的步骤示意图。
图7是根据一示例性实施例示出的一种影音文件的生成装置的框图。
图8是根据一示例性实施例示出的一种影音文件的生成电子设备的框图。
图9是根据一示例性实施例示出的另一种影音文件的生成电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种影音文件的生成方法的流程图,如图1所示,该方法具体可以包括以下步骤。
在步骤S11中,获取原始素材数据。
在本公开的实施例中,原始素材数据可以来源于用户的上传操作,在实际应用中,原始素材数据可以包含图片数据和/或音视频数据。也就是说,用户可以选择一个或多个图片数据,和/或一个或多个音视频数据,将选择的图片数据和/或音视频数据作为原始素材数据。
在步骤S12中,对原始素材数据进行分析得到原始素材数据的风格类型。
在本公开的实施例中,获取到用户一次性上传的原始素材数据或者多次上传的原始素材数据之后,可以对全部或部分原始素材数据进行分析,得到原始素材数据的风格类型。该风格类型表示原始素材数据的实际内容所表达的状态等等。在实际应用中,原始素材数据的风格类型可以为一种或多种,具体可以根据用户上传的原始素材数据的数量和实际内容而定。
在步骤S13中,根据风格类型在预设的音乐库中匹配到对应的音乐文件。
在本公开的实施例中,可以预先设置有音乐库,该音乐库中存储有大量的音乐文件,而且,每个音乐文件具有各自的风格类型,具有相同的风格类型的音乐文件可以归为一类。如下表所示,示出了音乐库中存储的几首音乐文件与各自对应的风格类型之间的对应关系:
Figure BDA0002514092640000061
需要说明的是,上表中的风格类型、音乐标签和音乐名称仅仅用于示例性说明,并不具有限制作用。
在步骤S14中,根据原始素材数据和音乐文件生成影音文件。
在本公开的实施例中,将音乐文件作为待生成的影音文件的背景音乐,最终将原始素材数据和音乐文件合成为影音文件。
图2是根据一示例性实施例示出的另一种影音文件的生成方法的流程图,如图2所示,该方法具体可以包括以下步骤。
在步骤S21中,获取原始素材数据。
在本公开的实施例中,用户可以在网页等应用程序中选择原始素材数据,并上传原始素材数据,而且,用户在上传原始素材数据的同时,还可以选择待生成的影音文件的数量。
在步骤S22中,对原始素材数据进行分析得到原始素材数据的风格类型。
在本公开的实施例中,在分析得到原始素材数据的风格类型时,可以从原始素材数据中提取出至少一个第一帧,然后根据每个第一帧在预设的视频库中匹配得到对应的目标样本视频,进而,将目标样本视频对应的风格类型作为原始素材数据的风格类型。
对于原始素材数据为图片数据的情况,可以将每个图片数据作为至少一个第一帧。对于原始素材数据为音视频数据的情况,可以按照预设的时间间隔从音视频数据中提取出至少一个视频帧,并将提取出的至少一个视频帧作为至少一个第一帧。例如,在音视频数据v01中每隔500毫秒提取出一个视频帧,将从音视频数据v01中提取出的多个视频帧作为音视频数据v01的多个第一帧。
本公开的实施例中预先设置有视频库,在该视频库中预先存储有多个样本视频,每个样本视频具有各自的风格类型。在匹配目标样本视频时,可以利用图像识别技术识别得到第一帧的特征数据,然后将第一帧的特征数据与视频库中各样本视频的特征数据进行比对,将各样本视频的特征数据与每个第一帧的特征数据最相近的样本视频作为目标样本视频。其中,可以通过计算两个特征数据之间的余弦距离等方式对特征数据进行比对,与第一帧的特征数据的余弦距离最小的特征数据对应的样本视频即目标样本视频。在实际应用中,第一帧的数量可以为多个,因此,比对得到的目标样本视频的数量也可以为多个。多个目标样本视频的风格类型可能不相同,最终会得到原始素材数据的多个风格类型。
在本公开的一种示例性实施例中,当原始素材数据的风格类型为多个时,可以从多个风格类型中过滤掉几个风格类型。具体可以根据每个风格类型对应的目标样本视频的数量进行排序后,过滤掉倒数的几个风格类型,保留目标样本视频的数量最多的前几个风格类型。
如图3所示,下面以原始素材数据为音视频数据为例进行说明,如何分析得到音视频数据的风格类型。以x毫秒的时间间隔,从音视频数据v01的视频帧01、视频帧02、视频帧03、视频帧04……视频帧N中选择视频帧02和视频帧04作为第一帧。将视频帧02的特征数据和视频帧04的特征数据分别与视频库中的视频01、视频02、视频03、视频04……视频M的特征数据进行比对,得到的比对结果为视频帧02对应的目标样本视频为视频02,视频帧04对应的目标样本视频为视频04。其中,视频02的风格类型为“摇滚”,视频04的风格类型为“动感”。因此,音视频数据v01的风格类型为“摇滚”和“动感”。
在步骤S23中,根据风格类型在预设的音乐库中匹配到对应的音乐文件。
在本公开的实施例中,图4示出了根据风格类型匹配到对应的音乐文件的流程示意图。在分析得到原始素材数据的风格类型之后,将音乐库中与原始素材数据的风格类型相同的音乐文件作为匹配到的对应的音乐文件。
在步骤S24中,根据原始素材数据和音乐文件生成影音文件.。
在本公开的实施例中,在生成影音文件时,可以设置每个原始素材数据在待生成的影音文件中的展示顺序和展示时长。其中,可以随机设置展示顺序、按照用户上传的顺序设置展示顺序,或者,还可以根据各原始素材数据的风格类型的权重设置展示顺序。展示时长可以为预先设置的时间段,当原始素材数据为图片数据时,展示时长可以为3秒,当原始素材数据为音视频数据时,展示时长可以为音视频数据的实际时长。
在设置完毕展示顺序之后,可以对相邻的每两个原始素材数据进行场景转换处理。然后将音乐文件作为背景音乐,并按照展示顺序、展示时长和场景转换后的原始素材数据合成影音文件。图5a示出了当原始素材数据仅为图片数据时的影音文件合成示意图,图片01与图片02之间添加转场效果01,图片02与图片03之间添加转场效果02,图片03与图片04之间添加转场效果03,图片04与图片N1之间添加转场效果04。每个图片的展示时长为3秒。图5b示出了当原始素材数据仅为音视频数据时的影音文件合成示意图,视频01与视频02之间添加转场效果11,视频02与视频03之间添加转场效果12,视频03与视频04之间添加转场效果13,视频04与视频M1之间添加转场效果14。每个视频的展示时长为各自的实际时长。图5c示出了当原始素材数据包含图片数据和音视频数据时的影音文件合成示意图,图片01与图片02之间添加转场效果01,图片02与视频01之间添加转场效果02,视频01与图片03之间添加转场效果03,图片03与图片N1之间添加转场效果04。每个图片的展示时长为3秒。每个视频的展示时长为各自的实际时长。
需要说明的是,可以根据实际需要,根据原始素材数据和音乐文件生成一个或多个影音文件。当生成多个影音文件时,可以对生成的多个影音文件进行展示,以便用户可以从多个影音文件中选择出至少一个影音文件作为最终的影音文件。
在步骤S25中,从原始素材数据中筛选出影音文件的封面图片。
在本公开的实施例中,筛选封面图片时可以对原始素材数据进行分析得到原始素材数据的行业类型,按照与行业类型对应的筛选条件从至少一个第一帧中筛选出第二帧,进而将第二帧作为影音文件的封面图片。其中,在分析得到原始素材数据的行业类型时,可以根据每个第一帧在预设的素材库中匹配到对应的目标样本素材,将目标样本素材对应的行业类型作为原始素材数据的行业类型。在实际应用中,可以识别每个第一帧的行业元素,如识别每个第一帧中的文案、图像等元素。将行业元素与素材库中的各样本素材的行业元素进行比对,将各样本素材的行业元素中与每个第一帧的行业元素最相近的样本素材作为目标样本素材。素材库中可以预先存储有多个样本素材,样本素材包含图片素材和/或音视频素材。例如,第一帧的行业元素包含一个模特、一本书、一张书桌、一盏台灯。在素材库中搜索与第一帧的行业元素相同或最相近的目标样本素材,将目标样本素材的行业类型(电商类)作为原始素材数据的行业类型。行业类型除了可以包含电商类之外,还可以包含游戏类、美妆类和金融类等等。每个行业类型下都可以包含各自的风格类型。以电商类的素材为例进行说明,当行业类型为电商类时,素材库中的素材可以包含商品标签、样图(场景图、细节图、模特出境图)、宣传语等等。
在实际应用中,在生成多个影音文件的情况下,可以为每个影音文件选择相同或者不相同的第二帧作为各影音文件对应的封面图片。
在实际应用中,筛选条件可以包含内容显示条件、画面显示条件和审美条件中的一种或多种。图6示出了为电商类的原始素材数据筛选出封面图片的步骤示意图。按照预设的展示规则从原始素材数据的多个第一帧中筛选出封面图片,其中,展示规则包含行业类型和筛选条件。先确定原始素材数据的行业类型为电商类,然后依次按照内容显示条件,如外观、细节、面料、模特出境等方面,画面显示条件,如外形轮廓、近景展示、真人出镜、使用场景、镜头互动等方面,审美条件,如不要模糊湖面、不要主体偏移、不要水印、不要黑屏、不要字幕截断、不要广告宣传图、不要人物闭眼等方面对多个第一帧进行筛选,最终得到几张封面图片,如外观+近景展示+审美条件得到封面图片F01,细节+外形轮廓+审美条件得到封面图片F02,模特出镜+镜头互动+审美条件得到封面图片F03。然后,将封面图片适配到生成的影音文件上。
基于上述关于影音文件的生成方法的实施例的相关说明,下面介绍一种影音文件的智能生成方法。用户可以通过在应用程序的素材选择页中选择原始素材数据,然后设置期望生成的影音文件的数量(若未设置,则可以根据导入的原始素材数据的数量,自动生成多个影音文件),用户只需要点击“一键生成”按钮,即可自动生成影音文件,并将影音文件下载到本地。
本公开的实施例提供的影音文件的生成方案,获取用户上传的原始素材数据,该原始素材数据包含图片数据和/或音视频数据,然后分析原始素材数据得到其风格类型,进而根据风格类型在音乐库中匹配到对应的音乐文件,最终根据原始素材数据和音乐文件生成影音文件。
本公开的实施例在获取到用户上传的原始素材数据之后,通过分析得到原始素材数据的风格类型,进一步根据风格类型匹配到对应的音乐文件,将音乐文件作为待生成的影音文件的背景音乐,最终将原始素材数据和背景音乐合成为影音文件。本公开实施例对用户上传的原始素材数据进行自动化处理,避免了用户的一系列复杂的编辑操作,降低了影音文件的制作难度,简化了影音文件的生成步骤,同时,也缩短了影音文件的时间成本。
本公开的实施例可以根据用户上传的多个原始素材数据,自动生成多个影音文件,实现影音文件的批量制作,缩短影音文件的制作时间,大幅提高影音文件的制作效率。
本公开的实施例不需要用户具备影音文件制作能力和经验,只需要上传原始素材数据即可,实现“傻瓜化”影音文件制作,降低了影音文件制作的门槛。
本公开的实施例可以根据用户上传的原始素材数据,筛选出优质的帧作为封面图片,避免用户手动选择封面图片,提升了影音文件的制作效率。而且,针对生成的多个影音文件,可以筛选出多个封面图片,为每个影音文件选择相同的或者不相同的封面图片,实现对影音文件的封面图片的个性化设置。
本公开的实施例可以根据用户上传的原始素材数据,匹配到合适的背景音乐,避免用户手动搜寻背景音乐,提升了影音文件的制作效率。
本公开的实施例可以根据展示规则从原始素材数据中筛选出封面图片,筛选出的封面图片可以满足实际的封面需求,在保证封面图片的质量的前提下,减少了用户的工作量。
图7是根据一示例性实施例示出的一种影音文件的生成装置的框图。该装置具体可以包括如下模块。
获取模块71,被配置为获取原始素材数据,所述原始素材数据包含图片数据和/或音视频数据;
分析模块72,被配置为对所述原始素材数据进行分析得到所述原始素材数据的风格类型;
匹配模块73,被配置为根据所述风格类型在预设的音乐库中匹配到对应的音乐文件;
生成模块74,被配置为根据所述原始素材数据和所述音乐文件生成影音文件。
在本公开的一种示例性实施例中,所述分析模块72,包括:
帧提取模块,被配置为从所述原始素材数据中提取出至少一个第一帧;
帧匹配模块,被配置为根据所述第一帧在预设的视频库中匹配到对应的目标样本视频;
类型确定模块,被配置为将所述目标样本视频对应的风格类型作为所述原始素材数据的风格类型。
在本公开的一种示例性实施例中,所述帧匹配模块,包括:
特征识别模块,被配置为识别每个所述第一帧的特征数据;
特征比对模块,被配置为将所述特征数据与所述视频库中的各样本视频的特征数据进行比对;
视频确定模块,被配置为将各所述样本视频的特征数据中与每个所述第一帧的特征数据最相近的所述样本视频作为所述目标样本视频。
在本公开的一种示例性实施例中,所述帧提取模块,被配置为按照预设的时间间隔从所述音视频数据中提取出至少一个视频帧,将提取出的至少一个所述视频帧作为至少一个所述第一帧;和/或,将所述图片数据作为所述第一帧。
在本公开的一种示例性实施例中,所述生成模块74,包括:
设置模块,被配置为设置所述原始素材数据在所述影音文件中的展示顺序和展示时长;
转场模块,被配置为按照所述展示顺序对相邻的两个所述原始素材数据进行场景转换处理;
合成模块,被配置为将所述音乐文件作为所述影音文件的背景音乐,并按照所述展示顺序、所述展示时长和场景转换处理后的所述原始素材数据合成所述影音文件。
在本公开的一种示例性实施例中,所述生成模块74,被配置为根据所述原始素材数据和所述音乐文件生成多个所述影音文件;
所述装置还包括:
展示模块,被配置为展示多个所述影音文件,以便用户从多个所述影音文件中选择至少一个所述影音文件。
在本公开的一种示例性实施例中,所述装置还包括:筛选模块,被配置为在所述生成模块74根据所述原始素材数据和所述音乐文件生成影音文件之后,从所述原始素材数据中筛选出所述影音文件的封面图片。
在本公开的一种示例性实施例中,所述分析模块72,还被配置为对所述原始素材数据进行分析得到所述原始素材数据的行业类型;
所述筛选模块,还被配置为按照与所述行业类型对应的筛选条件从至少一个所述第一帧中筛选出第二帧;将所述第二帧作为所述影音文件的封面图片。
在本公开的一种示例性实施例中,所述分析模块72,被配置为根据每个所述第一帧在预设的素材库中匹配到对应的目标样本素材;将所述目标样本素材对应的行业类型作为所述原始素材数据的行业类型。
在本公开的一种示例性实施例中,所述分析模块72,还包括:
元素识别模块,被配置为识别每个所述第一帧的行业元素;
元素比对模块,被配置为将所述行业元素与所述素材库中的各样本素材的行业元素进行比对;
素材确定模块,被配置为将各所述样本素材的行业元素中与每个所述第一帧的行业元素最相近的所述样本素材作为所述目标样本素材。
在本公开的一种示例性实施例中,所述筛选条件包含内容显示条件、画面显示条件和审美条件中的一种或多种。
在本公开的一种示例性实施例中,所述筛选模块,被配置为在生成多个所述影音文件的情况下,为每个所述影音文件选择相同或者不相同的所述第二帧作为对应的封面图片。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种影音文件的生成电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图像,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括可读性程序代码,该可读性程序代码可由电子设备800的处理器820执行以完成上述方法。可选地,该程序代码可以存储在电子设备800的存储介质中,该存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图9是根据一示例性实施例示出的另一种影音文件的生成电子设备900的框图。例如,电子设备900可以被提供为一服务器。参照图9,电子设备900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理组件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述影音文件的生成方法。
电子设备900还可以包括一个电源组件926被配置为执行电子设备900的电源管理,一个有线或无线网络接口950被配置为将电子设备900连接到网络,和一个输入输出(I/O)接口958。电子设备900可以操作基于存储在存储器932的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种影音文件的生成方法,其特征在于,包括:
获取原始素材数据,所述原始素材数据包含图片数据和/或音视频数据;
对所述原始素材数据进行分析得到所述原始素材数据的风格类型;
根据所述风格类型在预设的音乐库中匹配到对应的音乐文件;
根据所述原始素材数据和所述音乐文件生成影音文件。
2.根据权利要求1所述的方法,其特征在于,所述对所述原始素材数据进行分析得到所述原始素材数据的风格类型,包括:
从所述原始素材数据中提取出至少一个第一帧;
根据每个所述第一帧在预设的视频库中匹配到对应的目标样本视频;
将所述目标样本视频对应的风格类型作为所述原始素材数据的风格类型。
3.根据权利要求2所述的方法,其特征在于,所述根据每个所述第一帧在预设的视频库中匹配到对应的目标样本视频,包括:
识别每个所述第一帧的特征数据;
将所述特征数据与所述视频库中的各样本视频的特征数据进行比对;
将各所述样本视频的特征数据中与每个所述第一帧的特征数据最相近的所述样本视频作为所述目标样本视频。
4.根据权利要求2所述的方法,其特征在于,所述从所述原始素材数据中提取出至少一个第一帧,包括:
按照预设的时间间隔从所述音视频数据中提取出至少一个视频帧,将提取出的至少一个所述视频帧作为至少一个所述第一帧;
和/或,将所述图片数据作为所述第一帧。
5.根据权利要求1所述的方法,其特征在于,所述根据所述原始素材数据和所述音乐文件生成影音文件,包括:
设置所述原始素材数据在所述影音文件中的展示顺序和展示时长;
按照所述展示顺序对相邻的两个所述原始素材数据进行场景转换处理;
将所述音乐文件作为所述影音文件的背景音乐,并按照所述展示顺序、所述展示时长和场景转换处理后的所述原始素材数据合成所述影音文件。
6.根据权利要求1所述的方法,其特征在于,所述根据所述原始素材数据和所述音乐文件生成影音文件,包括:
根据所述原始素材数据和所述音乐文件生成多个所述影音文件;
所述方法还包括:
展示多个所述影音文件,以便用户从多个所述影音文件中选择至少一个所述影音文件。
7.根据权利要求2所述的方法,其特征在于,在所述根据所述原始素材数据和所述音乐文件生成影音文件之后,所述方法还包括:
从所述原始素材数据中筛选出所述影音文件的封面图片。
8.一种影音文件的生成装置,其特征在于,包括:
获取模块,被配置为获取原始素材数据,所述原始素材数据包含图片数据和/或音视频数据;
分析模块,被配置为对所述原始素材数据进行分析得到所述原始素材数据的风格类型;
匹配模块,被配置为根据所述风格类型在预设的音乐库中匹配到对应的音乐文件;
生成模块,被配置为根据所述原始素材数据和所述音乐文件生成影音文件。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的方法。
10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的方法。
CN202010470359.0A 2020-05-28 2020-05-28 一种影音文件的生成方法、装置和系统 Active CN111831615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010470359.0A CN111831615B (zh) 2020-05-28 2020-05-28 一种影音文件的生成方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470359.0A CN111831615B (zh) 2020-05-28 2020-05-28 一种影音文件的生成方法、装置和系统

Publications (2)

Publication Number Publication Date
CN111831615A true CN111831615A (zh) 2020-10-27
CN111831615B CN111831615B (zh) 2024-03-12

Family

ID=72913723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470359.0A Active CN111831615B (zh) 2020-05-28 2020-05-28 一种影音文件的生成方法、装置和系统

Country Status (1)

Country Link
CN (1) CN111831615B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597320A (zh) * 2020-12-09 2021-04-02 上海掌门科技有限公司 社交信息生成方法、设备及计算机可读介质
CN116800908A (zh) * 2022-03-18 2023-09-22 北京字跳网络技术有限公司 一种视频生成方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770626A (zh) * 2017-11-06 2018-03-06 腾讯科技(深圳)有限公司 视频素材的处理方法、视频合成方法、装置及存储介质
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN110572711A (zh) * 2019-09-27 2019-12-13 北京达佳互联信息技术有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN110740262A (zh) * 2019-10-31 2020-01-31 维沃移动通信有限公司 背景音乐的添加方法、装置及电子设备
CN110858924A (zh) * 2018-08-22 2020-03-03 北京优酷科技有限公司 视频背景音乐的生成方法及装置
CN111143613A (zh) * 2019-12-30 2020-05-12 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770626A (zh) * 2017-11-06 2018-03-06 腾讯科技(深圳)有限公司 视频素材的处理方法、视频合成方法、装置及存储介质
CN108416013A (zh) * 2018-03-02 2018-08-17 北京奇艺世纪科技有限公司 视频匹配、检索、分类和推荐方法、装置及电子设备
CN110858924A (zh) * 2018-08-22 2020-03-03 北京优酷科技有限公司 视频背景音乐的生成方法及装置
CN110572711A (zh) * 2019-09-27 2019-12-13 北京达佳互联信息技术有限公司 视频封面生成方法、装置、计算机设备及存储介质
CN110740262A (zh) * 2019-10-31 2020-01-31 维沃移动通信有限公司 背景音乐的添加方法、装置及电子设备
CN111143613A (zh) * 2019-12-30 2020-05-12 携程计算机技术(上海)有限公司 选择视频封面的方法、系统、电子设备与存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597320A (zh) * 2020-12-09 2021-04-02 上海掌门科技有限公司 社交信息生成方法、设备及计算机可读介质
CN116800908A (zh) * 2022-03-18 2023-09-22 北京字跳网络技术有限公司 一种视频生成方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111831615B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN110517185B (zh) 图像处理方法、装置、电子设备及存储介质
CN110677734B (zh) 视频合成方法、装置、电子设备及存储介质
EP3179408A2 (en) Picture processing method and apparatus, computer program and recording medium
CN113099297B (zh) 卡点视频的生成方法、装置、电子设备及存储介质
CN111787395B (zh) 视频生成方法、装置、电子设备及存储介质
CN109429078B (zh) 视频处理方法和装置、用于视频处理的装置
US20210029304A1 (en) Methods for generating video, electronic device and storage medium
CN111831615B (zh) 一种影音文件的生成方法、装置和系统
CN111526287A (zh) 图像拍摄方法、装置、电子设备、服务器、系统及存储介质
CN112464031A (zh) 交互方法、装置、电子设备以及存储介质
CN110019897B (zh) 显示图片的方法及装置
CN113111220A (zh) 视频处理方法、装置、设备、服务器及存储介质
CN112069951A (zh) 视频片段提取方法、视频片段提取装置及存储介质
CN113157972B (zh) 视频封面文案的推荐方法、装置、电子设备及存储介质
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备
CN110019965B (zh) 表情图像的推荐方法、装置、电子设备及存储介质
CN111612875A (zh) 一种动态图像生成方法、装置、电子设备及存储介质
CN110650364A (zh) 视频态度标签提取方法及基于视频的交互方法
CN110662103B (zh) 多媒体对象重构方法及装置、电子设备、可读存储介质
CN112784858B (zh) 一种图像数据的处理方法、装置及电子设备
CN115830303A (zh) 图像处理方法、装置及存储介质
CN113709548A (zh) 基于图像的多媒体数据合成方法、装置、设备及存储介质
CN113364999A (zh) 视频生成方法、装置、电子设备及存储介质
CN109429084B (zh) 视频处理方法和装置、用于视频处理的装置
CN112825544A (zh) 图片处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant