CN112584061B - 多媒体通用模板生成方法、电子设备及存储介质 - Google Patents

多媒体通用模板生成方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112584061B
CN112584061B CN202011548104.8A CN202011548104A CN112584061B CN 112584061 B CN112584061 B CN 112584061B CN 202011548104 A CN202011548104 A CN 202011548104A CN 112584061 B CN112584061 B CN 112584061B
Authority
CN
China
Prior art keywords
template
track
description
multimedia
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011548104.8A
Other languages
English (en)
Other versions
CN112584061A (zh
Inventor
谢中流
黄辉
张凯
刁志敏
琚彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN202011548104.8A priority Critical patent/CN112584061B/zh
Publication of CN112584061A publication Critical patent/CN112584061A/zh
Application granted granted Critical
Publication of CN112584061B publication Critical patent/CN112584061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种多媒体通用模板生成方法、电子设备及存储介质,方法包括:确定通用的文件封装结构;通用的文件封装结构包括:媒体文件和通用的描述文件;通用的描述文件包括:与多媒体通用模板中的各轨道分别对应的子描述文件,用于描述多媒体通用模板中相应轨道中媒体文件的封装状况;根据多媒体通用模板中与各轨道分别对应的子描述文件以及所述媒体文件,生成多媒体通用模板。本发明在进行通用模板生成时,采用轨道管理的方式确定多媒体通用模板各轨道中媒体文件的封装状况,从而能够比较清晰地对模板中出现的场景尤其是并行场景进行有效管理。本发明可以得到一种清晰有序的、通用的媒体素材封装技术标准,能够解决各家平台模板的兼容性问题。

Description

多媒体通用模板生成方法、电子设备及存储介质
技术领域
本发明涉及互联网多媒体技术领域,具体涉及一种多媒体通用模板生成方法、电子设备及存储介质。
背景技术
互联网技术的发展为短视频的传播提供了条件,从而使得短视频技术得以迅速发展,开始在人们的生活中占据越来越重要的地位。当前短视频可以通过用户选择已有模板,然后导入音视频源文件以及模板素材(音视频文件、图片及文字信息等)的方式生成目标文件。
当前模板制作过程中,各个短视频APP制作模板的规范都不相同,这样,这些模板在不同的平台上不具备通用性,会给模板制作者带来极大的不便,在不同的平台制作模板会造成不必要的重复工作。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种多媒体通用模板生成方法、电子设备及存储介质。
具体地,本发明实施例提供了以下技术方案:
第一方面,本发明实施例提供了一种多媒体通用模板生成方法,包括:
确定通用的文件封装结构;所述通用的文件封装结构包括:媒体文件和通用的描述文件;所述通用的描述文件包括:与多媒体通用模板中的各轨道分别对应的子描述文件,所述子描述文件用于描述所述多媒体通用模板中相应轨道中媒体文件的封装状况;
根据多媒体通用模板中与各轨道分别对应的子描述文件以及所述媒体文件,生成多媒体通用模板。
进一步地,与各轨道分别对应的子描述文件至少包括:片段描述文件、特效描述文件和轨道描述文件;
所述片段描述文件,用于描述相应轨道中的片段的封装状况;
所述特效描述文件,用于描述相应轨道中的特效的封装状况;
所述轨道描述文件,用于描述相应轨道的关键特征信息;
其中,所述片段和所述特效对应的素材存储在所述媒体文件中。
进一步地,所述片段描述文件包括的描述项为:片段标识、片段类型、片段对应的素材在所述媒体文件中的存储位置、片段时长、片段在相应轨道中的开始时间、片段在相应轨道中的结束时间、片段对应的素材的数据类型、片段对应的素材在屏幕上的显示位置,以及,片段对应的素材是否可替换的标记中的一种或多种。
进一步地,所述特效描述文件包括的描述项为:特效标识、特效类型、特效对应的素材在所述媒体文件中的存储位置、特效时长、特效在相应轨道中的开始时间、特效在相应轨道中的结束时间,以及,用于实现特效效果的特效文件中的一种或多种;
其中,每个特性描述文件对应有一个或多个素材,每个特性描述文件对应有一个或多个特效文件。
进一步地,所述轨道描述文件包括的描述项为:轨道标识、轨道类型、轨道时长、轨道在多媒体通用模板中的开始时间、轨道在多媒体通用模板中的结束时间、当轨道类型为音频轨道时对应的轨道声音大小,以及,当轨道类型为视频轨道时对应的视频层级中的一种或多种。
进一步地,所述通用的描述文件还用于描述所述多媒体通用模板的关键特征的模板描述文件;
其中,所述模板描述文件包括的描述项为:模板名称、模板标识、模板简介、模板时长、模板标签、模板类型、模板作者、模板热度、模板封面信息,以及,模板权限标识中的一种或多种。
进一步地,根据所述通用的文件封装结构中的所述媒体文件和所述通用的描述文件,生成多媒体通用模板,包括:
根据与多媒体通用模板中的各轨道分别对应的片段描述文件、特效描述文件和轨道描述文件,对各轨道对应的媒体文件进行渲染、编解码和封装处理,生成多媒体通用模板。
进一步地,在生成多媒体通用模板之后,所述方法还包括:
重新确定与多媒体通用模板中各轨道对应的片段素材和/或特效素材;
重新确定与多媒体通用模板中各轨道对应的片段描述文件中的描述项;
重新确定与多媒体通用模板中各轨道对应的特效描述文件中的描述项;
基于重新确定的片段素材和/或特效素材替换原有的媒体文件;
基于重新确定的片段描述文件和特效描述文件中的描述项替换原有的片段描述文件和原有的特效描述文件中对应的描述项;
基于替换后的片段描述文件和替换后的特效描述文件,对替换后的媒体文件进行渲染、编解码和封装处理,得到重新编辑后的多媒体通用模板。
第二方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的多媒体通用模板生成方法。
第三方面,本发明实施例还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的多媒体通用模板生成方法。
由上述技术方案可知,本发明实施例提供的多媒体通用模板生成方法、电子设备及存储介质,在进行通用模板生成时,采用轨道管理的方式确定多媒体通用模板各轨道中媒体文件的封装状况,从而能够比较清晰地对模板中出现的场景尤其是并行场景进行有效管理,由此可见,由于本发明实施例采用通用的描述文件描述多媒体通用模板中相应轨道中媒体文件的封装状况,因此,可以得到一种清晰有序的、通用的媒体素材封装技术标准,能够解决各家平台模板的兼容性问题,让模板制作形成统一的标准封装,极大提升了模板制作者的工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的多媒体通用模板生成方法的流程图;
图2是本发明一实施例提供的多媒体通用模板的文件封装结构;
图3是本发明一实施例提供的通用模板的编辑/生成场景;
图4是本发明一实施例提供的通用模板的使用过程;
图5是本发明一实施例提供的多媒体通用模板生成装置的结构示意图;
图6是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的多媒体通用模板生成方法的流程图,如图1所示,本发明实施例提供的多媒体通用模板生成方法,具体包括如下内容:
步骤101:确定通用的文件封装结构;所述通用的文件封装结构包括:媒体文件和通用的描述文件;所述通用的描述文件包括:与多媒体通用模板中的各轨道分别对应的子描述文件,所述子描述文件用于描述所述多媒体通用模板中相应轨道中媒体文件的封装状况;
步骤102:根据多媒体通用模板中与各轨道分别对应的子描述文件以及所述媒体文件,生成多媒体通用模板。
在本实施例中,需要说明的是,一个通用模板中可以同时包含一到多个轨道。轨道的概念在于,一个模板中的同一时间段可能同时出现多个音频(多背景声音)、多个视频(如画中画)的场景,此时需要对每一个层级的媒体资源进行单独描述(如视频属于第几层画中画),第几层的背景声音全局的音量大小等。本实施例以轨道进行素材管理的方式,可以比较清晰地对模板中出现的场景尤其是并行出现的场景进行有效管理,例如,使得模板中同一时间段可以同时出现多个音频(多背景声音)、多个视频(如画中画)的场景,且各个音频和各个视频的播放以及特效互不干扰和影响。举例来说,本实施例可以通过轨道对每一个层级的媒体资源进行单独描述(如视频属于第几层画中画),第几层的背景声音全局的音量大小等。
在本实施例中,多媒体模板容器封装技术的文件封装结构如图2所示,文件封装结构包括:媒体文件和描述文件两部分。本实施例将媒体文件和描述文件进行分开封装,媒体文件作为素材库,描述文件作为所述媒体文件在多媒体通用模板上的分布或封装方式,从而可以简单、高效和明了地生成通用模板。
在本实施例提供的多媒体通用模板中,包含一个或多个轨道,每个轨道分别对应一个子描述文件,所述子描述文件用于描述相应轨道中媒体文件的封装状况,因而本实施例能够将多媒体通用模板各轨道中的媒体文件的封装状况描述清楚,同时标准一致,从而可以得到一种清晰有序的、通用的媒体素材封装技术标准,进而能够解决各家平台模板的兼容性问题,让模板制作形成统一的标准封装,极大提升了模板制作者的工作效率。
需要说明的是,媒体文件中一般包括音频、视频、图片、文本等部分,媒体文件中的各个部分本身可以是片段或特效部分需要用到的素材;可以理解的是,各种类型的媒体文件不局限于一种格式,如视频可以是封装的视频格式如flv、mp4,也可以是h264文件,或者序列帧,还可以包括一些其他类型的文件如fbx和obj格式的3D模型文件等。
在本实施例中,子描述文件作为用于描述所述多媒体通用模板中相应轨道中媒体文件的封装状况的文件,一般可以包括片段描述文件、特效描述文件以及轨道描述文件等,其中,片段描述文件用于描述相应轨道中使用到的素材片段的相关信息等,特效描述文件用于描述相应轨道中使用到的特效的相关信息等,轨道描述文件用于描述相应轨道的轨道信息等。由此可见,描述文件可以用于描述音频、视频、图片和文本在多媒体通用模板上具体一个或多个轨道上的分布方式、展示顺序、展示位置、播放方式、播放时长、特效处理方式等信息。
在本实施例中,需要说明的是,当前短视频的编辑模板千差万别,没有形成统一标准。本实施例针对这一行业痛点,制定视频模板统一的封装规则和标准,只要都按照统一的规则来适配标准的模板,那么模板制作者的工作效率和模板的适用性将会大大提升。
由上述技术方案可知,本发明实施例提供的多媒体通用模板生成方法,在进行通用模板生成时,采用轨道管理的方式确定多媒体通用模板各轨道中媒体文件的封装状况,从而能够比较清晰地对模板中出现的场景尤其是并行场景进行有效管理,由此可见,由于本发明实施例采用通用的描述文件描述多媒体通用模板中相应轨道中媒体文件的封装状况,因此,可以得到一种清晰有序的、通用的媒体素材封装技术标准,能够解决各家平台模板的兼容性问题,让模板制作形成统一的标准封装,极大提升了模板制作者的工作效率。
基于上述实施例的内容,在本实施例中,所述通用的描述文件包括:与各轨道分别对应的子描述文件至少包括:片段描述文件、特效描述文件和轨道描述文件;
所述片段描述文件,用于描述相应轨道中的片段的封装状况;
所述特效描述文件,用于描述相应轨道中的特效的封装状况;
所述轨道描述文件,用于描述相应轨道的关键特征信息;
其中,所述片段和所述特效对应的素材存储在所述媒体文件中。
在本实施例中,需要说明的是,一个通用模板中可以同时包含一到多个轨道。轨道的概念在于,一个模板中的同一时间段可能同时出现多个音频(多背景声音)、多个视频(如画中画)的场景,此时需要对每一个层级的媒体资源进行单独描述(如视频属于第几层画中画),第几层的背景声音全局的音量大小等。其中,每个轨道对应至少一个片段描述文件,至少一个特效描述文件以及一个轨道描述文件。本实施例以轨道进行素材管理的方式,可以比较清晰地对模板中并行出现的场景进行有效管理,例如,使得模板中同一时间段可以同时出现多个音频(多背景声音)、多个视频(如画中画)的场景,且各个音频和各个视频的播放以及特效互不干扰和影响。举例来说,本实施例可以通过轨道对每一个层级的媒体资源进行单独描述(如视频属于第几层画中画),第几层的背景声音全局的音量大小等。
在本实施例中,如图2所示,通用的描述文件中包括片段描述文件、特效描述文件和轨道描述文件,其中,片段描述文件是指对一个轨道中使用到的素材片段的封装状况的描述,特效描述文件是指对一个轨道中使用到的特效的封装状况的描述,轨道描述文件是指对媒体通用模板包含的相应轨道情况的描述。
可以理解的是,在本实施例中,对于多媒体通用模板来说,可以预先约定媒体通用模板包含的轨道数量以及每个轨道的轨道状况,然后可以约定每个轨道中采用的片段封装状况和特效封装状况等。
对于轨道状况来说,一般包括轨道类型、轨道ID、开始时间、结束时间、轨道时长等基本信息,但并不局限于此,也可以包括视频层级(如视频属于第几层画中画)、音频轨道声音大小等。轨道类型是轨道数据处理过程中类型的划分,轨道类型可以包括音频轨道类型、视频轨道类型。不同类型的轨道所包含的素材片段存在限制。如音频轨道只包含音频素材片段,视频轨道可以同时包含视频素材片段、图片素材片段。轨道ID是轨道间的唯一标识,每个轨道包含一个轨道ID。轨道的开始时间、结束时间是指轨道相对于模板时长中所处的位置,例如,模板时长21秒,则轨道开始时间可以是第8秒,结束时间可以是第12秒,那么此时轨道时长就是4秒,轨道的结束时间比开始时间大。
对于每个轨道中的片段封装状态来说,可以包括片段标识、片段类型、片段的开始时间和结束时间、片段的资源路径等。可以理解的是,片段类型是对片段描述的素材类型概括,如一个图片素材,对应的片段类型就可以是图片类型。片段ID是片段间的唯一标识,每个片段包含一个片段ID。片段的开始时间和结束时间是片段相对于轨道时长的位置,如一个轨道时长是4秒,那么一个片段的开始时间可以是第2秒,结束时间可以是第3秒。此时片段的时长就是1秒,片段的结束时间一定比开始时间大。片段的资源路径是指与片段所关联的视频、音频等素材在媒体文件中的位置。片段的描述文件并不局限于以上几项,片段描述还可以包括片段素材的数据类型(h264、mp4),片段素材在屏幕中显示的位置(如只在屏幕上半部分显示)、片段对应的素材是否可替换的标识等。
对于每个轨道中的特效封装状况来说,可以包括特效标识、特效类型,特效文件、特效的开始时间和结束时间、特效的资源路径等。特效文件是特效的具体实现的特效代码片段,特效文件可以是基于openGL的代码也可是其他类型的代码。特效类型是特效的效果分类标准,可以包括转场特效、滤镜特效等。特效ID是特效间的唯一标识,每个特效包含一个特效ID。特效的开始时间和结束时间是片段相对于轨道时长的位置,如一个轨道时长是4秒,那么一个特效的开始时间可以是第2秒,结束时间可以是第3秒。此时特效的时长就是1秒,特效的结束时间一定比开始时间大。特效的资源路径是指与特效所关联的图片、视频等素材以及特效文件在媒体文件中的位置。
由此可见,本实施例由于采用片段描述文件、特效描述文件和轨道描述文件描述媒体文件在多媒体通用模板上的封装状况,因此,可以得到一种通用的媒体素材封装技术标准,能够解决各家平台模板的兼容性问题,让模板制作形成统一的标准封装,极大提升了模板制作者的工作效率。
基于上述实施例的内容,在本实施例中,所述片段描述文件包括的描述项为:片段标识、片段类型、片段对应的素材在所述媒体文件中的存储位置、片段时长、片段在相应轨道中的开始时间、片段在相应轨道中的结束时间、片段对应的素材的数据类型、片段对应的素材在屏幕上的显示位置,以及,片段对应的素材是否可替换的标记中的一种或多种;其中,每个片段描述文件对应一个素材。
在本实施例中,片段描述是对一个轨道中使用到的素材片段的描述信息。每个片段只能描述一个具体的素材,多个片段可以共同描述一个素材。片段类型是对片段描述的素材类型概括,如一个图片素材,对应的片段类型就可以是图片类型。片段ID是片段间的唯一标识,每个片段包含一个片段ID。片段的开始时间和结束时间是片段相对于轨道时长的位置,如一个轨道时长是4秒,那么一个片段的开始时间可以是第2秒,结束时间可以是第3秒。此时片段的时长就是1秒,片段的结束时间比开始时间大。需要注意的是,在同一轨道的同一个时间区域内不能同时存在多个片段,如片段1是在第2秒到第3秒,则片段2不可以在第2秒到第3秒。片段的资源路径是指与片段所关联的视频、音频等素材在媒体文件中的位置。片段的描述文件并不局限于以上几项,片段描述还可以包括片段素材的数据类型(h264、mp4),片段素材在屏幕中显示的位置(如只在屏幕上半部分显示)、片段对应的素材是否可替换的标识等。
基于上述实施例的内容,在本实施例中,所述特效描述文件包括的描述项为:特效标识、特效类型、特效对应的素材在所述媒体文件中的存储位置、特效时长、特效在相应轨道中的开始时间、特效在相应轨道中的结束时间,以及,用于实现特效效果的特效文件中的一种或多种;其中,每个特性描述文件对应有一个或多个素材,每个特性描述文件对应有一个或多个特效文件。
在本实施例中,特效描述是对一个轨道中使用到的一个特效的描述。一个特效描述可以对应多个特效文件及多个特效素材,不同特效间可以共用特效文件和特效素材。特效文件是特效的具体实现的特效代码片段,特效文件可以是基于openGL的代码也可是其他类型的代码。特效类型是特效的效果分类标准,可以包括转场特效、滤镜特效等。特效ID是特效间的唯一标识,每个特效包含一个特效ID。特效的开始时间和结束时间是片段相对于轨道时长的位置,如一个轨道时长是4秒,那么一个特效的开始时间可以是第2秒,结束时间可以是第3秒。此时特效的时长就是1秒,特效的结束时间一定比开始时间大。特效的资源路径是指与特效所关联的图片、视频等素材以及特效文件在媒体文件中的位置。
基于上述实施例的内容,在本实施例中,所述轨道描述文件包括的描述项为:轨道标识、轨道类型、轨道时长、轨道在多媒体通用模板中的开始时间、轨道在多媒体通用模板中的结束时间、当轨道类型为音频轨道时对应的轨道声音大小,以及,当轨道类型为视频轨道时对应的视频层级中的一种或多种。
在本实施例中,轨道描述包括轨道类型、轨道ID、开始时间、结束时间、轨道时长等基本信息,但并不局限于此,也可以包括视频层级(如视频属于第几层画中画)、音频轨道声音大小等。轨道类型是轨道数据处理过程中类型的划分,轨道类型可以包括音频轨道类型、视频轨道类型。不同类型的轨道所包含的素材片段存在限制。如音频轨道只包含音频素材片段,视频轨道可以同时包含视频素材片段、图片素材片段。轨道ID是轨道间的唯一标识,每个轨道包含一个轨道ID。轨道的开始时间、结束时间是指轨道相对于模板时长中所处的位置,例如,模板时长21秒,则轨道开始时间可以是第8秒,结束时间可以是第12秒,那么此时轨道时长就是4秒,轨道的结束时间比开始时间大。
需要说明的是,模板的同一个时间区域内可以同时存在多个轨道,如轨道1是在第8秒到第12秒,轨道2也可以在第8秒到第12秒。
基于上述实施例的内容,在本实施例中,所述通用的描述文件还用于描述所述多媒体通用模板的关键特征的模板描述文件;
其中,所述模板描述文件包括的描述项为:模板名称、模板标识、模板简介、模板时长、模板标签、模板类型、模板作者、模板热度、模板封面信息,以及,模板权限标识中的一种或多种。
在本实施例中,模板描述文件包含模板名称、模板ID、模板简介、模板时长、模板标签、模板分类、作者、热度等信息。模板名字是模板设计师为制作好的模板起的名字,如表达夏天主题的模板可以叫做“夏日的气息”。模板ID是模板的唯一标识信息,一个模板只有一个ID。模板简介是一个聚合的概念,它可以包括模板的说明介绍、模板的素材数量限制、模板素材的类型限制、模板的使用建议等等。模板时长表示通过模板生成的特效视频的总时长。模板标签是描述模板整体特性的标签如浪漫标签、亲子标签等,一个模板可以同时包含多个标签。模板分类是模板之间类别划分的标准,一个模板也可以同时存在一到多个模板类型,模板分类如推荐、免费、广告、表白、问候等。模板热度是一个聚合的概念它可以包含模板的点击数量、点赞数量、使用数量、转发数量等等。此外模板描述还可以包括模板封面信息、模板权限标识等等。
基于上述实施例的内容,在本实施例中,根据所述通用的文件封装结构中的所述媒体文件和所述通用的描述文件,生成多媒体通用模板,包括:
根据与多媒体通用模板中的各轨道分别对应的片段描述文件、特效描述文件和轨道描述文件,对各轨道对应的媒体文件进行渲染、编解码和封装处理,生成多媒体通用模板。
在本实施例中,需要说明的是,一个模板中的所有媒体文件及描述文件统称为模板资源,将所有模板资源通过预设的方式压缩打包成二进制文件作为最终目标封装文件,该文件称为模板文件。模板文件可作为模板创作、模板编辑、模板生成视频、模板播放预览、服务器数据维护等多个场景中的传输媒介。模板创作场景是指,模板设计师通过本技术所描述的模板制作规范制作目标模板,并生成最终模板文件的过程。如图3所示为模板编辑/生成场景,是对已经生成的模板文件进行解封装、解压步骤得到最初的模板资源,并修模板资源的过程。模板生成视频场景是对已经生成的模板文件进行解封装、解压步骤得到最初的模板资源,按照模板资源中模板描述文件所概括的所有模板信息,对媒体文件素材进行渲染、编解码、封装等步骤得到最终输出视频的步骤。下对具体处理过程进行如下说明:
步骤A、模板生成平台记录下用户的模板操作流信息作为模板描述文件实际填充的内容。同时模板生成平台需要记录模板媒体文件的路径。
步骤B、使用二进制文件记录模板的描述文件,这种记录方式对存储空间的利用率较高。具体文件内容可以概括为文件类型的标识(用于标识文件数据类型)、文件区域的标识(标识一个字段的起始位置和长度信息)、文件内容的标识(标识文件中的具体内容)。
可以理解的是,模板描述文件中各个起始标志、描述格式、字段长度限制、各个子数据的排列顺序及对应关系等需由模板编码端与模板解压端共同协商确认,整理成规范。
这里列举一个以16进制描述的信息记录样例,对于一段模板描述文件为{Stringname:七月//模版名称;Int id:4210019430//模板id;...}的模板可以使用16进制描述如下:
0001 004F 06E4 B883 E69C 8804 FAEF CC66...0002...
可以理解的是,0001代表模板描述文件的起始位置,004F代表模板描述文件的总长度,06代表模板中第一个字段name的长度,随后的E4B8 83E6 9C88为name的内容“七月”转换为16进制之后的结果。04代表模板中第二个字段id的长度,随后的FAEF CC66为模板id“4210019430”转化为16进制之后的结果。最后的0002代表另一段文件轨道数据类型的起始位置。
可以理解的是,此处0001 004F字段标识了文件的数据类型和文件的区域范围,06E4 B883 E69C 8804 FAEF CC66标识了文件的具体内容。
当然本例仅描述使用二进制记录模板描述信息的一种格式,实际应用中描述文件的记录格式也可以使用其他的格式,甚至不使用二进制文件记录方式,如改为用json文件、xml文件记录等模板描述信息。
步骤C、模板生成平台根据已记录的模板文件路径对模板文件进行收集,随后使用zip压缩算法对所有的文件进行打包压缩,得到最终的模板媒体文件。
步骤D、将模板描述文件与模板媒体文件整理到一起,使用zip压缩算法进行打包压缩,得到最终的模板文件。
可以理解的是,由于zip压缩算法本身是开源的,所以实际使用中可以根据实际需求对zip压缩算法做一些个性化的定制,如对第三方的解压行为进行限制等。当然也可以不使用zip压缩算法而改用其他的压缩算法。
需要说明的是,该场景中可以使用用户定制的素材替换媒体文件素材,并修改模板描述文件即可实现用户根据模板生成模板风格视频的场景。还可以对已经生成的模板文件进行解封装、解压步骤得到最初的模板资源,按照模板资源中模板描述文件所概括的所有模板信息,对媒体文件素材进行渲染和解码播放。这一过程可以对模板中的效果进行播放而不生成新的媒体文件。
服务器还可以对模板中对一些数据进行维护和补充修改,例如模板中的某个特效存在一些问题(如特效有噪点),特效版本迭代后,修复了该问题。那么服务器可以对模板中的信息进行补充,替换掉有问题的特效相关文件。
例如,对于一个具体的应用,模板设计师通过移动端模板编辑APP从应用的服务器中下载特效资源和素材资源等媒体文件进行模板编辑操作。APP通过记录设计师的操作编辑流程,生成模板描述文件。模板设计师设计好模板的同时,选择提交模板,此时APP将模板描述文件与媒体文件通过本技术所提及的方法进行压缩打包和封装,生成模板文件,模板文件由APP上传至服务器,用于其他场景。
当然,本例中仅描述其中的一个场景,对于特效资源和素材资源也完全可以由设计师自己提供或经APP优化后(如视频裁剪等)合入模板文件,取决于具体的APP产品方案。
基于上述实施例的内容,在本实施例中,在生成多媒体通用模板之后,所述方法还包括:
重新确定与多媒体通用模板中各轨道对应的片段素材和/或特效素材;
重新确定与多媒体通用模板中各轨道对应的片段描述文件中的描述项;
重新确定与多媒体通用模板中各轨道对应的特效描述文件中的描述项;
基于重新确定的片段素材和/或特效素材替换原有的媒体文件;
基于重新确定的片段描述文件和特效描述文件中的描述项替换原有的片段描述文件和原有的特效描述文件中对应的描述项;
基于替换后的片段描述文件和替换后的特效描述文件,对替换后的媒体文件进行渲染、编解码和封装处理,得到重新编辑后的多媒体通用模板。
在本实施例中,结合图4说明一下利用模板生成视频的场景。图4是短视频编辑工具的示意图,即通用模板的使用过程,短视频编辑工具是提供给使用模板的用户使用的,该工具的主要作用是将用户导入的素材信息经过模版中的特效处理生成最终的特效视频。例如,对于一个具体的应用,用户通过短视频编辑APP从应用的服务器中下载模板文件,APP通过解析模板文件拿到模板描述文件和模板媒体文件。APP根据模板描述文件中的记录信息对模板媒体文件进行渲染、编解码、封装等处理可以生成一份模板样例视频。APP也可以将模板媒体文件替换为用户自己的媒体文件,然后经过渲染、编解码、封装等处理得到用户需要的模板风格视频。
当然,本实施例仅描述其中的一个场景,对于模板生成视频的场景,APP可以有自己的规则,例如可以限制用只能替换片段素材部分对应的媒体文件,也可以不做限制,即用户可以修改一些特效资源(如贴纸图片)。甚至也可以允许用户修改部分描述文件,如修改片段的开始时间、结束时间、片段对应的素材在屏幕上的显示位置,以及,片段对应的素材是否可替换的标记等。
由此可见,本实施例可以基于生成的多媒体通用模板进行个性化修改和使用,从而可以满足用户个性化需求。
图5示出了本发明实施例提供的多媒体通用模板生成装置的结构示意图。如图5所示,本发明实施例提供的多媒体通用模板生成装置包括:确定模块21和生成模块22,其中:
确定模块21,用于确定通用的文件封装结构;所述通用的文件封装结构包括:媒体文件和通用的描述文件;所述通用的描述文件包括:与多媒体通用模板中的各轨道分别对应的子描述文件,所述子描述文件用于描述所述多媒体通用模板中相应轨道中媒体文件的封装状况;
生成模块22,用于根据多媒体通用模板中与各轨道分别对应的子描述文件以及所述媒体文件,生成多媒体通用模板。
由于本实施例提供的多媒体通用模板生成装置,可以用于执行上述实施例提供的多媒体通用模板生成方法,其工作原理和有益效果类似,此处不再详述。
基于相同的发明构思,本发明又一实施例提供了一种电子设备,参见图6,所述电子设备具体包括如下内容:处理器301、存储器302、通信接口303和通信总线304;
其中,所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信;所述通信接口303用于实现各设备之间的信息传输;
所述处理器301用于调用所述存储器302中的计算机程序,所述处理器执行所述计算机程序时实现上述多媒体通用模板生成方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:确定通用的文件封装结构;所述通用的文件封装结构包括:媒体文件和通用的描述文件;所述通用的描述文件包括:与多媒体通用模板中的各轨道分别对应的子描述文件,所述子描述文件用于描述所述多媒体通用模板中相应轨道中媒体文件的封装状况;根据多媒体通用模板中与各轨道分别对应的子描述文件以及所述媒体文件,生成多媒体通用模板。
基于相同的发明构思,本发明又一实施例提供了一种非暂态计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述多媒体通用模板生成方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:确定通用的文件封装结构;所述通用的文件封装结构包括:媒体文件和通用的描述文件;所述通用的描述文件包括:与多媒体通用模板中的各轨道分别对应的子描述文件,所述子描述文件用于描述所述多媒体通用模板中相应轨道中媒体文件的封装状况;根据多媒体通用模板中与各轨道分别对应的子描述文件以及所述媒体文件,生成多媒体通用模板。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的多媒体通用模板生成方法。
此外,在本发明中,诸如“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
此外,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种多媒体通用模板生成方法,其特征在于,包括:
确定通用的文件封装结构;所述通用的文件封装结构包括:媒体文件和通用的描述文件;所述通用的描述文件包括:与多媒体通用模板中的各轨道分别对应的子描述文件,所述子描述文件用于描述所述多媒体通用模板中相应轨道中媒体文件的封装状况;媒体文件作为素材库;
根据多媒体通用模板中与各轨道分别对应的子描述文件以及所述媒体文件,生成多媒体通用模板;
与各轨道分别对应的子描述文件至少包括:片段描述文件、特效描述文件和轨道描述文件;
所述片段描述文件,用于描述相应轨道中的片段的封装状况;
所述特效描述文件,用于描述相应轨道中的特效的封装状况;
所述轨道描述文件,用于描述相应轨道的关键特征信息;
其中,所述片段和所述特效对应的素材存储在所述媒体文件中。
2.根据权利要求1所述的多媒体通用模板生成方法,其特征在于,所述片段描述文件包括的描述项为:片段标识、片段类型、片段对应的素材在所述媒体文件中的存储位置、片段时长、片段在相应轨道中的开始时间、片段在相应轨道中的结束时间、片段对应的素材的数据类型、片段对应的素材在屏幕上的显示位置,以及,片段对应的素材是否可替换的标记中的一种或多种。
3.根据权利要求1所述的多媒体通用模板生成方法,其特征在于,所述特效描述文件包括的描述项为:特效标识、特效类型、特效对应的素材在所述媒体文件中的存储位置、特效时长、特效在相应轨道中的开始时间、特效在相应轨道中的结束时间,以及,用于实现特效效果的特效文件中的一种或多种。
4.根据权利要求1所述的多媒体通用模板生成方法,其特征在于,所述轨道描述文件包括的描述项为:轨道标识、轨道类型、轨道时长、轨道在多媒体通用模板中的开始时间、轨道在多媒体通用模板中的结束时间、当轨道类型为音频轨道时对应的轨道声音大小,以及,当轨道类型为视频轨道时对应的视频层级中的一种或多种。
5.根据权利要求1所述的多媒体通用模板生成方法,其特征在于,所述通用的描述文件还用于描述所述多媒体通用模板的关键特征的模板描述文件;
其中,所述模板描述文件包括的描述项为:模板名称、模板标识、模板简介、模板时长、模板标签、模板类型、模板作者、模板热度、模板封面信息,以及,模板权限标识中的一种或多种。
6.根据权利要求1所述的多媒体通用模板生成方法,其特征在于,根据所述通用的文件封装结构中的所述媒体文件和所述通用的描述文件,生成多媒体通用模板,包括:
根据与多媒体通用模板中的各轨道分别对应的片段描述文件、特效描述文件和轨道描述文件,对各轨道对应的媒体文件进行渲染、编解码和封装处理,生成多媒体通用模板。
7.根据权利要求6所述的多媒体通用模板生成方法,其特征在于,在生成多媒体通用模板之后,所述方法还包括:
重新确定与多媒体通用模板中各轨道对应的片段素材和/或特效素材;
重新确定与多媒体通用模板中各轨道对应的片段描述文件中的描述项;
重新确定与多媒体通用模板中各轨道对应的特效描述文件中的描述项;
基于重新确定的片段素材和/或特效素材替换原有的媒体文件;
基于重新确定的片段描述文件和特效描述文件中的描述项替换原有的片段描述文件和原有的特效描述文件中对应的描述项;
基于替换后的片段描述文件和替换后的特效描述文件,对替换后的媒体文件进行渲染、编解码和封装处理,得到重新编辑后的多媒体通用模板。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一所述的多媒体通用模板生成方法。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一所述的多媒体通用模板生成方法。
CN202011548104.8A 2020-12-24 2020-12-24 多媒体通用模板生成方法、电子设备及存储介质 Active CN112584061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011548104.8A CN112584061B (zh) 2020-12-24 2020-12-24 多媒体通用模板生成方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011548104.8A CN112584061B (zh) 2020-12-24 2020-12-24 多媒体通用模板生成方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112584061A CN112584061A (zh) 2021-03-30
CN112584061B true CN112584061B (zh) 2023-08-01

Family

ID=75139553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011548104.8A Active CN112584061B (zh) 2020-12-24 2020-12-24 多媒体通用模板生成方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112584061B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411633A (zh) * 2021-04-30 2021-09-17 成都东方盛行电子有限责任公司 一种基于非编工程的模板编辑方法及其应用
CN113411517B (zh) * 2021-05-28 2023-04-07 北京达佳互联信息技术有限公司 视频模板的生成方法、装置、电子设备及存储介质
CN113438428B (zh) * 2021-06-23 2022-11-25 北京百度网讯科技有限公司 用于视频自动化生成的方法、装置、设备和计算机可读存储介质
CN113556576B (zh) * 2021-07-21 2024-03-19 北京达佳互联信息技术有限公司 视频生成方法及设备
CN113838171B (zh) * 2021-08-25 2023-10-24 网易(杭州)网络有限公司 数据处理方法、装置、存储介质和电子装置
CN116132731B (zh) * 2023-01-29 2024-09-10 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质
CN118741242A (zh) * 2023-03-28 2024-10-01 北京字跳网络技术有限公司 视频编辑方法、装置、设备及介质
CN118784922A (zh) * 2023-04-04 2024-10-15 北京字跳网络技术有限公司 多媒体资源处理方法、装置、设备、介质和程序产品
CN116456165B (zh) * 2023-06-20 2023-09-26 北京美摄网络科技有限公司 Ae工程的调度方法、装置、电子设备和可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110545490B (zh) * 2018-05-29 2021-03-16 北京字节跳动网络技术有限公司 媒体文件转换方法、装置及存储介质
CN109168028B (zh) * 2018-11-06 2022-11-22 北京达佳互联信息技术有限公司 视频生成方法、装置、服务器及存储介质
CN111460183B (zh) * 2020-03-30 2024-02-13 北京金堤科技有限公司 多媒体文件生成方法和装置、存储介质、电子设备
CN111914523B (zh) * 2020-08-19 2021-12-14 腾讯科技(深圳)有限公司 基于人工智能的多媒体处理方法、装置及电子设备
CN112015927B (zh) * 2020-09-29 2023-08-15 北京百度网讯科技有限公司 多媒体文件编辑方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112584061A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN112584061B (zh) 多媒体通用模板生成方法、电子设备及存储介质
EP3603080B1 (en) Method and apparatus for encoding media data comprising generated content
US12009014B2 (en) Generation and use of user-selected scenes playlist from distributed digital content
JP5086265B2 (ja) 符号化/復号化方法及び装置
KR100424677B1 (ko) 객체 기반의 대화형 멀티미디어 컨텐츠 저작 장치 및 그방법
JP2004287595A (ja) 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム
WO2022227329A1 (zh) 媒体文件生成、播放方法及设备
JP2006074391A (ja) ファイル記録方法および記録装置
JP6834967B2 (ja) 情報処理装置および情報処理方法
CN105095216A (zh) 一种数据组装方法、装置及资源传播系统
CN106303686A (zh) 视频生成方法、视频生成装置和终端设备
IT201900004823A1 (it) Sistema e metodo per la concatenazione istantanea di contenuti video tramite performance.
CN101179666A (zh) 一种工程快照文件的生成方法
US20200372062A1 (en) Editable Media File Format
CN101188690A (zh) 一种利用工程快照技术实现工程交互的设备
JP2006129078A (ja) データファイル編集方法及び装置及び制御プログラム及び記憶媒体
Chernyshev Library for Remote Copying of Video File Fragments
CN102833547B (zh) 一种应用于jpeg图像的快速嵌入显性信息的方法
CN117793271A (zh) 视频合成方法及电子设备
CN104918135B (zh) 一种视频台标生成方法及装置
CN104485123A (zh) 一种地铁线路运营场景回放的方法与装置
US8649666B2 (en) Apparatus and method for generating moving image and apparatus and method for reproducing moving image
CN118591841A (zh) 用于视频编辑项目的变化相关预导出
JP2004234850A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant