CN111541946A - 一种基于素材进行资源匹配的视频自动生成方法及系统 - Google Patents
一种基于素材进行资源匹配的视频自动生成方法及系统 Download PDFInfo
- Publication number
- CN111541946A CN111541946A CN202010659549.7A CN202010659549A CN111541946A CN 111541946 A CN111541946 A CN 111541946A CN 202010659549 A CN202010659549 A CN 202010659549A CN 111541946 A CN111541946 A CN 111541946A
- Authority
- CN
- China
- Prior art keywords
- label
- video
- library
- music
- optimal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000009877 rendering Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000012163 sequencing technique Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims description 71
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000036651 mood Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及一种基于素材进行资源匹配的视频自动生成方法及系统，方法包括：建立资源库，库中所有资源均包含至少一个表征资源特征的特征标签；对用户采集或上传的素材进行解析，并添加元素标签；用户对待生成视频的特征进行偏好选择；根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源；对素材进行处理；根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，融合渲染后生成输出视频。本发明的制作方式简单，生成方式灵活，创作门槛低，只需要提供一组素材就能自动制作出一段精彩视频，不需要进行繁琐的操作，更不需要掌握专业性强的知识；避免了制作的作品较为雷同的情况。视频的制作成本低。
Description
技术领域
本发明涉及视频制作技术领域，尤其涉及一种基于素材进行资源匹配的视频自动生成方法及系统。
背景技术
现有的视频制作技术基本可以分为两类，一种是以人工手动制作为主，其特征为在视频和音乐轨道上手动添加素材完成视频创作。此类技术虽然可达到一定程度的灵活制作，但因此带来的创作门槛较高且创作耗时较长，对手机也有一定的性能要求，否则在处理复杂制作时会导致程序崩溃或耗时过长。另一种是以模板自动化创作为主，其特征为系统会预制一套固定的模板（包含但不限于固定的视频/图片素材、滤镜、音乐MP3、固定的音乐切点），然后将用户的图片或视频素材按固定排序放入模板中生成视频。此类方法缺少灵活性（例如用户不能改变音乐和效果等等），且用户素材不易融入模板，容易造成素材与模板之间产生割裂感，并且产出的作品较为雷同。另一方面，现有技术在制作视频所用素材的获得上，要么通过自己拍摄得到，要么通过互联网下载或付费购买得到。因此在素材收集上，不但效率低而且成本高昂。
发明内容
本发明的目的在于提供一种基于素材进行资源匹配的视频自动生成方法及系统，用以解决现有技术中存在的制作方式的灵活性和难易程度之间的矛盾，以及模板与素材的不能很好的融合问题。
为实现上述目的，本发明公开了一种基于素材进行资源匹配的视频自动生成方法，包括：
建立资源库，库中所有资源均包含至少一个表征资源特征的特征标签；
对用户采集或上传的素材进行解析，并添加元素标签；
用户对待生成视频的特征进行偏好选择；
根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源；
对素材进行处理；根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，融合渲染后生成输出视频。
进一步的是，建立资源库，库中所有资源均包含至少一个表征资源特征的特征标签，包括：
建立空镜库，库中空镜均包含至少一个表征空镜特征的影视标签；
建立音乐库，库中音乐均包含至少一个表征音乐特征的乐曲标签；
建立效果库，库中效果均包含至少一个表征效果特征的效果标签。
进一步的是，还包括：将音乐库与效果库和\或空镜库进行关联，一个乐曲标签至少关联一个效果标签和\或影视标签。
进一步的是，对用户采集或上传的素材进行解析，并添加元素标签，包括：
素材包括图片和\或视频；
优选的，若素材为图片，解析是指：通过图像识别得到图片自身属性、图片内人物属性以及图片内背景属性；若素材为视频，解析是指：首先提取视频的关键帧，通过图像识别得到关键帧内人物属性以及背景属性，然后通过视频分析得到视频自身属性；
更加优选的，元素标签为表征素材上述属性特征的标签。
进一步的是，根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源，包括：
根据用户的偏好选择和\或元素标签中的至少一个标签，在音乐库中匹配乐曲标签，得到最佳音乐；
根据用户的偏好选择和\或元素标签中的至少一个标签，在效果库中匹配效果标签，得到最佳效果；
根据用户的偏好选择和\或元素标签中的至少一个标签，在空镜库中匹配影视标签，得到最佳空镜。
进一步的是，根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源，包括：
根据用户的偏好选择和\或元素标签中的至少一个标签，在音乐库中匹配乐曲标签，得到最佳音乐；
根据用户的偏好选择和\或元素标签中的至少一个标签，在与最佳音乐的乐曲标签关联的效果标签和\或影视标签中匹配，得到最佳效果和\或最佳空镜。
进一步的是，对素材进行处理，包括：
若素材为图片，则根据元素标签中的至少一个标签和\或影视构图原则对素材进行裁剪；若素材为视频，则根据元素标签和\或影视标签中的至少一个标签对素材进行截取。
进一步的是，根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，包括：
提取最佳音乐的音轨和时间轴，根据音轨的特征在时间轴上标记关键点，两个关键点之间的段落为关键段；
将最佳效果插入关键点；
根据元素标签和影视标签计算素材与最佳空镜的排序，然后插入关键段。
进一步的是，偏好包括：音乐偏好、风格偏好、场景偏好。
本发明还提供了一种基于素材进行资源匹配的视频自动生成系统，包括：
获取模块，设置为获取待生成视频的素材，并获取用户对待生成视频的特征进行的偏好选择；
资源库模块，设置为存储生成视频所需的多种资源；
解析模块，设置为解析素材和资源，并添加特征标签；
匹配模块，设置为根据用户的偏好选择和\或特征标签中的至少一个标签，在资源库模块中匹配最佳资源；
视频生成模块，设置为根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，融合渲染后生成输出视频。
本发明与现有的技术相比，其有益的特点是：
1、制作方式简单，创作门槛低，用户只需要提供一组素材就能自动制作出一段精彩视频，不需要进行繁琐的操作，更不需要掌握专业性强的知识；
2、视频生成方式灵活。由于在空镜、效果和音乐的匹配上是通过建立相应的资源库，然后根据用户的偏好选择和素材的特点从库中匹配最合适的资源，因此一个资源可以对应多个应用场景，一个素材也可以对应多个资源。同时也避免了制作的作品较为雷同的情况；
3、资源的调用来自存储于服务器中资源库的资源，因此用户制作视频的成本更低，对手机的性能要求也较低。
附图说明
图1为本发明公开的一种基于素材进行空镜匹配的视频自动生成方法的流程图；
图2为本发明公开的一种较优实施例中建立资源库的流程图；
图3为本发明公开的一种较优实施例中得到最佳资源的流程图；
图4为本发明公开的另一种较优实施例中建立资源库的流程图；
图5为本发明公开的另一种较优实施例中得到最佳资源的流程图；
图6为本发明公开的一种基于素材进行空镜匹配的视频自动生成系统的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
实施例1
如图1所示，是本发明提供的一种基于素材进行资源匹配的视频自动生成方法的流程图，包括以下步骤：
步骤S1. 建立资源库，库中所有资源均包含至少一个表征资源特征的特征标签；
其中，资源为制作视频需要用到的一系列外部资源，即为组成视频的除了用户提供的素材以外的其他元素，包括但不限于：背景音乐、背景图片、转场特效、空镜等。
在本实施例中，如图2所示，建立资源库具体包括：
步骤S101.建立空镜库，库中空镜均包含至少一个表征空镜特征的影视标签；
步骤S102.建立音乐库，库中音乐均包含至少一个表征音乐特征的乐曲标签；
步骤S103.建立效果库，库中效果均包含至少一个表征效果特征的效果标签。
上述三个资源库的建立顺序不分先后，且相互独立。特别的，本实施例中各种资源的获取可以是通过版权交易的方式获得，也可以是通过创作的方式获得，无论采用何种方式，都需要在获得资源后，为其赋予至少一个表征资源特征的特征标签。
下面对此作进一步的说明。
空镜是影视领域的专业术语，又指“景物镜头”，常用以介绍环境背景，交代时间空间，抒发人物情绪，推进故事情节等。在本实施例中，空镜主要用于串联素材间的空白段落，使视频内容更加丰满，且表达的情绪风格更加多样化。表征空镜特征的影视标签包括但不限于：空镜的种类、使用场景、支持素材数、镜头运动方向和速度、主体运动方向和速度、拍摄视角、是否倒放、拍摄手法、特殊手法。
音乐在本实施例中是作为背景音乐，限定了视频的时长，并提供音轨和时间轴作为后续步骤的操作基础。表征音乐特征的乐曲标签包括但不限于：乐曲的类型、曲风、所反应的心情、速度BMP、时长、支持素材数。
效果是指在生成的视频中衔接空镜与空镜、空镜与素材、素材与素材等特殊点位或段落等，需要镜头变换的场景时，为了使视频转场显得不那么生硬，并使视频更加有特点，而在这些特殊点位或段落添加的视频效果，包括但不限于普通效果、转场效果以及特殊效果。表征效果特征的效果标签包括但不限于：效果的使用场景、类别、风格、时长。
本领域的技术人员应当知晓，资源库可以存储在本地的存储设备中，也可以存储在云端的服务器中，在需要的时候通过url链接或其他方式下载到本地再进行调用。其存储方式可以根据资源库的大小和使用场景具体设置。例如，在移动设备上使用本方法制作视频时，将资源库设置在云端服务器中，是更为优选的方案，这样可以降低视频制作对移动设备硬件设备的要求。
步骤S2.对用户采集或上传的素材进行解析，并添加元素标签。
在本实施例中，素材的提供方式可以是用户利用摄像设备现场采集，也可以是从图库或网络选择素材后进行上传。素材包括任意格式及分辨率的图片和视频。其中，对素材进行解析具体是指：
步骤S201. 若素材为图片，则通过图像识别技术识别图像中的特征，得到图片自身属性、图片内人物属性以及图片内背景属性；
步骤S202. 若素材为视频，则首先提取视频的关键帧，通过图像识别技术得到关键帧内人物属性以及背景属性，然后通过视频分析技术得到视频自身属性。
本领域技术人员应当知晓，图像识别技术、视频分析技术均为本领域的惯用手法，本领域不作进步的限定。例如，视频分析的方法可以是对视频做视频识别和取Exif信息等手段技术手段。
特别的，元素标签即为步骤S201和S202得到的表征素材属性特征的标签，包括但不限于以下内容：描述图片或视频的拍摄时间、拍摄地点、色调、画质、画幅等元素的自身属性标签；描述图片或视频中的景别、主要物体、动物与宠物、场景、天气和气候、室内外、明暗场光线等元素的背景属性标签；描述图片或视频中的名人、主次要人物、人数、性别、年龄段、人体动作、热门动作、人脸表情、面部朝向、人物服饰等元素的人物属性标签。
步骤S3.用户对待生成视频的特征进行偏好选择。用户根据自身的喜好特点以及使用时的心情对组成待生成视频的元素具有偏好性，本实施例中的偏好包括：音乐偏好、风格偏好、场景偏好。
步骤S4.根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源。
在本实施例中，如图3所示，得到最佳资源的具体方法包括：
步骤S401. 根据用户的偏好选择和\或元素标签中的至少一个标签，在音乐库中匹配乐曲标签，得到最佳音乐。
步骤S402. 根据用户的偏好选择和\或元素标签中的至少一个标签，在效果库中匹配效果标签，得到最佳效果；
步骤S403. 根据用户的偏好选择和\或元素标签中的至少一个标签，在空镜库中匹配影视标签，得到最佳空镜。
本领域的技术人员应当理解的是，上述三个步骤没有严格区分先后顺序，且相互之间为独立的步骤，由此增强了视频成片的多样性。为了便于理解，本发明对上述三个步骤分别举一个例子说明其具体的匹配方法：
匹配最佳音乐的方法可以是：首先根据用户的音乐偏好选择来确定乐曲的类型；然后根据用户的风格偏好选择来确定乐曲的曲风；然后根据用户的场景偏好选择来确定乐曲所反应的心情；最后根据素材的数量或时长来确定乐曲的时长。
匹配最佳效果的方法可以是：首先根据用户选择的风格偏好和素材的自身属性确定效果的类别；然后根据用户选择的场景偏好和素材的背景属性确定效果的使用场景；然后根据素材的人物属性确定效果的风格。
匹配最佳空镜的方法可以是：首先根据素材的数量、用户选择的风格和场景偏好确定空镜的种类和使用场景；然后根据素材的类型、景别、色调、素材相似度来确定空镜的镜头运动方向和速度、主体运动方向和速度、拍摄视角、拍摄手法、特殊手法。
步骤S5.对素材进行处理。根据素材类型的不同需要采用不同的处理方法，具体包括：
步骤S501.若素材为图片，则根据元素标签中的至少一个标签和\或影视构图原则对素材进行裁剪；
步骤S502.若素材为视频，则根据元素标签和\或影视标签中的至少一个标签对素材进行截取。
为了便于理解，本发明对上述两个步骤分别举一个例子说明其具体的处理方法：
对素材进行裁剪的具体过程可以是：首先根据素材中的人物数量、主要人物、人体动作，热门动作对素材进行裁剪时，使得主要人物的人脸不会被裁剪，且能出现在视频的最佳区域。
对素材进行截取的具体过程可以是：根据空镜或视频素材的高光时刻、速度等属性对视频素材进行截取，使得素材的时长符合时间轴上各关键段的时长要求。
步骤S6.根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，融合渲染后生成输出视频。
本领域的技术人员应当知晓，融合渲染后生成输出视频的方法可以是本领域的常规方法，例如可以采用Unity技术生产视频，本申请对此不作进一步的限定。
在本实施例中，根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序的具体方法为：
步骤S601. 提取最佳音乐的音轨和时间轴，根据音轨的特征在时间轴上标记关键点，两个关键点之间的段落为关键段。
音轨是指：在将音乐导入音序器软件中时看到的一条一条的平行“轨道”。每条音轨分别定义了该条音轨的属性，如音轨的音色，音色库，通道数，输入/输出端口，音量等。一条音轨对应于音乐的一个声部，它把MIDI（乐器数字接口）或者音频数据记录在特定的时间位置。更为通俗的，每一条音轨可以定义为一种乐器的演奏，而一首歌所有的音轨叠加可以认为包含整首音乐所有的乐理特征，包括节奏、轻重拍、结构形式等内容。
时间轴为根据最佳音乐的时间虚拟出来的、用于安排视频各元素顺序关系的体系。在时间轴上标记关键点具体是指：根据音轨的特征，如乐理特征中的轻重拍和结构形式划分关键点，两个关键点之间的段落为关键段。
为了便于理解，本发明举两个例子说明关键点的划分方法：
根据音轨特征得出音乐的结构形式，即前奏、主歌、副歌、序曲等结构，然后在各结构的转折点对应时间轴位置标记关键点；也可以是根据音轨特征得出音乐的轻重拍位置，然后在对应时间轴位置标记关键点。
步骤S602.将最佳效果插入关键点。因为关键点也是视频中场景发生转折的点，因此在此处插入效果以使视频转场显得不那么生硬，并使视频更加有特点。
步骤S603.根据元素标签和影视标签计算素材与最佳空镜的排序，然后插入关键段。计算素材与最佳空镜的排序可以通过排序算法实现，在此不再赘述。
实施例2
在本发明的另一种较优实施例的流程图，包括以下步骤：
步骤S1.建立资源库，库中所有资源均包含至少一个表征资源特征的特征标签。
如图4所示，建立资源库具体包括：
步骤S111.建立空镜库，库中空镜均包含至少一个表征空镜特征的影视标签；
步骤S112.建立音乐库，库中音乐均包含至少一个表征音乐特征的乐曲标签；
步骤S113.建立效果库，库中效果均包含至少一个表征效果特征的效果标签。
步骤S114.将音乐库与效果库和\或空镜库进行关联，一个乐曲标签至少关联一个效果标签和\或影视标签。在本实施例中，音乐库中的音乐必然同时关联了多个效果和\或空镜。具体的关联方法可以由关联算法（也即推荐算法）获得，也可以由技术人员根据一定的规则指定，具体采用何种方法进行关联本发明不作进一步的限定。
步骤S2.对用户采集或上传的素材进行解析，并添加元素标签。
对素材进行解析具体是指：
步骤S201. 若素材为图片，则通过图像识别技术识别图像中的特征，得到图片自身属性、图片内人物属性以及图片内背景属性；
步骤S202. 若素材为视频，则首先提取视频的关键帧，通过图像识别技术得到关键帧内人物属性以及背景属性，然后通过视频分析技术得到视频自身属性。
步骤S3.用户对待生成视频的特征进行偏好选择。
步骤S4.根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源。
如图5所示，得到最佳资源的具体方法包括：
步骤S411.根据用户的偏好选择和\或元素标签中的至少一个标签，在音乐库中匹配乐曲标签，得到最佳音乐；
步骤S412.根据用户的偏好选择和\或元素标签中的至少一个标签，在与最佳音乐的乐曲标签关联的效果标签和\或影视标签中匹配，得到最佳效果和\或最佳空镜。
在本实施例中，最佳效果和\或最佳空镜的匹配范围进一步缩小为根据前述步骤步骤S114得到的，与最佳音乐的乐曲标签关联的效果标签和\或影视标签中，由此加快了匹配速度。当最佳音乐的乐曲标签与效果标签和影视标签均相关联时，可以认为此时的资源配置成了一个预设模板。在其他一些较优实施例中，可以将此类预设模板置于用户提交素材的步骤之前，使用户在提交素材之前，先对预设模板进行选择，然后再通过提交素材完成视频的制作。
其余步骤与实施例1相同，在此不再赘述。
实施例3
在本发明的另一种较优实施例中，步骤S1还可以包括：
建立文案库，库中文案均包含至少一个表征文案特征的文案标签。
在本实施例中，文案包括：用于突出视频内容的标题、渲染视频气氛的背景字幕和用户自定义的文字等内容，文案标签包括但不限于：文案标题、文案内容、文案所表达的情绪和风格、文案字体、文案样式和大小、文案所适用的视频位置等属性标签。
相应的，步骤S4还可以包括：
根据用户的偏好选择和\或元素标签中的至少一个标签，在文案库中匹配文案标签，得到最佳文案。在一些较优的实施例中，最佳文案在视频中所出的顺序位置和视图中的位置关系，均由文案标签所决定；在另一些较优的实施例中，可以将最佳文案加入步骤S603中，即步骤S623.根据元素标签、影视标签和文案标签，计算素材、最佳空镜与最佳文案的排序，然后插入关键段。
实施例4
在本发明的另一种较优实施例中，步骤S1还可以包括：
建立滤镜库，库中所有滤镜均包含至少一个表征适用范围的风格场景标签。
相应的，步骤S6的渲染步骤还包括：为成片添加滤镜。
在本实施例中，滤镜是指通过对图像各通道色值进行调整后所呈现的特殊效果。在一种较优的实施例中，滤镜的添加方法可以是用户在进行偏好选择时指定，也可以是用户预览成片效果时进行指定，还可以是根据推荐算法匹配最佳滤镜，本发明不作进一步的限定。
实施例5
如图6所示，是本发明提供的一种基于素材进行资源匹配的视频自动生成系统的结构图，包括：
获取模块，设置为获取待生成视频的素材，并获取用户对待生成视频的特征进行的偏好选择；
资源库模块，设置为存储生成视频所需的多种资源；
解析模块，设置为解析素材和资源，并添加特征标签；
匹配模块，设置为根据用户的偏好选择和\或特征标签中的至少一个标签，在资源库模块中匹配最佳资源；
视频生成模块，设置为根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，融合渲染后生成输出视频。
在本实施例中，资源库模块包括：
空镜库单元，设置为存储多个空镜，空镜均包含至少一个表征空镜特征的影视标签；
音乐库单元，设置为存储多首音乐，音乐均包含至少一个表征音乐特征的乐曲标签；
效果库单元，设置为存储多个效果，效果均包含至少一个表征效果特征的效果标签。
匹配模块包括：
最佳音乐匹配单元，设置为根据用户的偏好选择和\或元素标签中的至少一个标签，在音乐库单元中匹配乐曲标签，得到最佳音乐；
最佳效果匹配单元，设置为根据用户的偏好选择和\或元素标签中的至少一个标签，在效果库单元中匹配效果标签，得到最佳效果；
最佳空镜匹配单元，设置为根据用户的偏好选择和\或元素标签中的至少一个标签，在空镜库单元中匹配影视标签，得到最佳空镜。
视频生成模块包括：
提取单元，设置为提取最佳音乐的音轨和时间轴，根据音轨的特征在时间轴上标记关键点，两个关键点之间的段落为关键段；
排序单元，设置为根据元素标签和影视标签计算素材与最佳空镜的排序；
融合单元，设置为将最佳效果插入关键点，将排序后的素材与最佳空镜插入关键段；
渲染输出单元，设置为将融合后的素材与资源渲染生成视频，并输出。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
专业人员可以意识到，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
专业人员还可以进一步意识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
Claims (10)
1.一种基于素材进行资源匹配的视频自动生成方法，其特征在于，包括：
建立资源库，库中所有资源均包含至少一个表征资源特征的特征标签；
对用户采集或上传的素材进行解析，并添加元素标签；
用户对待生成视频的特征进行偏好选择；
根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源；
对素材进行处理；
根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，融合渲染后生成输出视频。
2.如权利要求1的视频自动生成方法，其特征在于，建立资源库，库中所有资源均包含至少一个表征资源特征的特征标签，包括：
建立空镜库，库中空镜均包含至少一个表征空镜特征的影视标签；
建立音乐库，库中音乐均包含至少一个表征音乐特征的乐曲标签；
建立效果库，库中效果均包含至少一个表征效果特征的效果标签。
3.如权利要求2的视频自动生成方法，其特征在于，还包括：将音乐库与效果库和\或空镜库进行关联，一个乐曲标签至少关联一个效果标签和\或影视标签。
4.如权利要求1的视频自动生成方法，其特征在于，对用户采集或上传的素材进行解析，并添加元素标签，包括：
素材包括图片和\或视频；
优选的，若素材为图片，解析是指：通过图像识别得到图片自身属性、图片内人物属性以及图片内背景属性；若素材为视频，解析是指：首先提取视频的关键帧，通过图像识别得到关键帧内人物属性以及背景属性，然后通过视频分析得到视频自身属性；
更加优选的，元素标签为表征素材上述属性特征的标签。
5.如权利要求2的视频自动生成方法，其特征在于，根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源，包括：
根据用户的偏好选择和\或元素标签中的至少一个标签，在音乐库中匹配乐曲标签，得到最佳音乐；
根据用户的偏好选择和\或元素标签中的至少一个标签，在效果库中匹配效果标签，得到最佳效果；
根据用户的偏好选择和\或元素标签中的至少一个标签，在空镜库中匹配影视标签，得到最佳空镜。
6.如权利要求3的视频自动生成方法，其特征在于，根据用户的偏好选择和\或元素标签中的至少一个标签，在资源库中匹配特征标签，得到最佳资源，包括：
根据用户的偏好选择和\或元素标签中的至少一个标签，在音乐库中匹配乐曲标签，得到最佳音乐；
根据用户的偏好选择和\或元素标签中的至少一个标签，在与最佳音乐的乐曲标签关联的效果标签和\或影视标签中匹配，得到最佳效果和\或最佳空镜。
7.如权利要求4的视频自动生成方法，其特征在于，对素材进行处理，包括：
若素材为图片，则根据元素标签中的至少一个标签和\或影视构图原则对素材进行裁剪；若素材为视频，则根据元素标签和\或影视标签中的至少一个标签对素材进行截取。
8.如权利要求5或6的视频自动生成方法，其特征在于，根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，包括：
提取最佳音乐的音轨和时间轴，根据音轨的特征在时间轴上标记关键点，两个关键点之间的段落为关键段；
将最佳效果插入关键点；
根据元素标签和影视标签计算素材与最佳空镜的排序，然后插入关键段。
9.如权利要求1的视频自动生成方法，其特征在于，偏好包括：音乐偏好、风格偏好、场景偏好。
10.一种基于素材进行资源匹配的视频自动生成系统，其特征在于，包括：
获取模块，设置为获取待生成视频的素材，并获取用户对待生成视频的特征进行的偏好选择；
资源库模块，设置为存储生成视频所需的多种资源；
解析模块，设置为解析素材和资源，并添加特征标签；
匹配模块，设置为根据用户的偏好选择和\或特征标签中的至少一个标签，在资源库模块中匹配最佳资源；
视频生成模块，设置为根据元素标签和最佳资源的特征标签计算素材与最佳资源的排序，融合渲染后生成输出视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010659549.7A CN111541946A (zh) | 2020-07-10 | 2020-07-10 | 一种基于素材进行资源匹配的视频自动生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010659549.7A CN111541946A (zh) | 2020-07-10 | 2020-07-10 | 一种基于素材进行资源匹配的视频自动生成方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111541946A true CN111541946A (zh) | 2020-08-14 |
Family
ID=71978397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010659549.7A Pending CN111541946A (zh) | 2020-07-10 | 2020-07-10 | 一种基于素材进行资源匹配的视频自动生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111541946A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112738419A (zh) * | 2020-12-28 | 2021-04-30 | 广州坚和网络科技有限公司 | 短视频智能生成方法及装置 |
| CN113132780A (zh) * | 2021-04-21 | 2021-07-16 | 北京乐学帮网络技术有限公司 | 一种视频合成的方法、装置、电子设备及可读存储介质 |
| WO2022068511A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 视频生成方法和电子设备 |
| CN115278296A (zh) * | 2021-04-29 | 2022-11-01 | 汉海信息技术(上海)有限公司 | 视频生成方法、装置、电子设备 |
| CN115982434A (zh) * | 2023-01-05 | 2023-04-18 | 深圳市动能无线传媒有限公司 | 一种基于人工智能的素材信息分类管理方法及系统 |
| CN116866498A (zh) * | 2023-06-15 | 2023-10-10 | 天翼爱音乐文化科技有限公司 | 一种视频模板生成方法、装置、电子设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080292265A1 (en) * | 2007-05-24 | 2008-11-27 | Worthen Billie C | High quality semi-automatic production of customized rich media video clips |
| CN103988496A (zh) * | 2011-04-13 | 2014-08-13 | 维克罗尼公司 | 用于从多个源创建合成视频的方法和装置 |
| CN107393569A (zh) * | 2017-08-16 | 2017-11-24 | 成都品果科技有限公司 | 音视频剪辑方法及装置 |
| CN107483843A (zh) * | 2017-08-16 | 2017-12-15 | 成都品果科技有限公司 | 音视频匹配剪辑方法及装置 |
| CN108391063A (zh) * | 2018-02-11 | 2018-08-10 | 北京秀眼科技有限公司 | 视频剪辑方法及装置 |
| CN109344291A (zh) * | 2018-09-03 | 2019-02-15 | 腾讯科技（武汉）有限公司 | 一种视频生成方法及装置 |
| CN109688463A (zh) * | 2018-12-27 | 2019-04-26 | 北京字节跳动网络技术有限公司 | 一种剪辑视频生成方法、装置、终端设备及存储介质 |
| CN109819179A (zh) * | 2019-03-21 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种视频剪辑方法和装置 |
| CN110012237A (zh) * | 2019-04-08 | 2019-07-12 | 厦门大学 | 基于交互引导及云端增强渲染的视频生成方法及系统 |
| CN110611846A (zh) * | 2019-09-18 | 2019-12-24 | 安徽石轩文化科技有限公司 | 一种短视频自动剪辑方法 |
| CN110889012A (zh) * | 2019-11-26 | 2020-03-17 | 成都品果科技有限公司 | 一种基于抽帧图片生成空镜标签系统的方法 |
| CN110996017A (zh) * | 2019-10-08 | 2020-04-10 | 清华大学 | 一种生成剪辑视频的方法及装置 |
| CN111083138A (zh) * | 2019-12-13 | 2020-04-28 | 北京秀眼科技有限公司 | 短视频制作系统、方法、电子设备及可读存储介质 |
| US20200143839A1 (en) * | 2018-11-02 | 2020-05-07 | Soclip! | Automatic video editing using beat matching detection |
| WO2020118273A2 (en) * | 2018-12-07 | 2020-06-11 | Warner Bros. Entertainment Inc. | Trip-configurable content |
-
2020
- 2020-07-10 CN CN202010659549.7A patent/CN111541946A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080292265A1 (en) * | 2007-05-24 | 2008-11-27 | Worthen Billie C | High quality semi-automatic production of customized rich media video clips |
| CN103988496A (zh) * | 2011-04-13 | 2014-08-13 | 维克罗尼公司 | 用于从多个源创建合成视频的方法和装置 |
| CN107393569A (zh) * | 2017-08-16 | 2017-11-24 | 成都品果科技有限公司 | 音视频剪辑方法及装置 |
| CN107483843A (zh) * | 2017-08-16 | 2017-12-15 | 成都品果科技有限公司 | 音视频匹配剪辑方法及装置 |
| CN108391063A (zh) * | 2018-02-11 | 2018-08-10 | 北京秀眼科技有限公司 | 视频剪辑方法及装置 |
| CN109344291A (zh) * | 2018-09-03 | 2019-02-15 | 腾讯科技（武汉）有限公司 | 一种视频生成方法及装置 |
| US20200143839A1 (en) * | 2018-11-02 | 2020-05-07 | Soclip! | Automatic video editing using beat matching detection |
| WO2020118273A2 (en) * | 2018-12-07 | 2020-06-11 | Warner Bros. Entertainment Inc. | Trip-configurable content |
| CN109688463A (zh) * | 2018-12-27 | 2019-04-26 | 北京字节跳动网络技术有限公司 | 一种剪辑视频生成方法、装置、终端设备及存储介质 |
| CN109819179A (zh) * | 2019-03-21 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 一种视频剪辑方法和装置 |
| CN110012237A (zh) * | 2019-04-08 | 2019-07-12 | 厦门大学 | 基于交互引导及云端增强渲染的视频生成方法及系统 |
| CN110611846A (zh) * | 2019-09-18 | 2019-12-24 | 安徽石轩文化科技有限公司 | 一种短视频自动剪辑方法 |
| CN110996017A (zh) * | 2019-10-08 | 2020-04-10 | 清华大学 | 一种生成剪辑视频的方法及装置 |
| CN110889012A (zh) * | 2019-11-26 | 2020-03-17 | 成都品果科技有限公司 | 一种基于抽帧图片生成空镜标签系统的方法 |
| CN111083138A (zh) * | 2019-12-13 | 2020-04-28 | 北京秀眼科技有限公司 | 短视频制作系统、方法、电子设备及可读存储介质 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022068511A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 视频生成方法和电子设备 |
| CN112738419A (zh) * | 2020-12-28 | 2021-04-30 | 广州坚和网络科技有限公司 | 短视频智能生成方法及装置 |
| CN113132780A (zh) * | 2021-04-21 | 2021-07-16 | 北京乐学帮网络技术有限公司 | 一种视频合成的方法、装置、电子设备及可读存储介质 |
| CN115278296A (zh) * | 2021-04-29 | 2022-11-01 | 汉海信息技术(上海)有限公司 | 视频生成方法、装置、电子设备 |
| CN115278296B (zh) * | 2021-04-29 | 2024-06-07 | 汉海信息技术(上海)有限公司 | 视频生成方法、装置、电子设备 |
| CN115982434A (zh) * | 2023-01-05 | 2023-04-18 | 深圳市动能无线传媒有限公司 | 一种基于人工智能的素材信息分类管理方法及系统 |
| CN115982434B (zh) * | 2023-01-05 | 2023-08-11 | 深圳市动能无线传媒有限公司 | 一种基于人工智能的素材信息分类管理方法及系统 |
| CN116866498A (zh) * | 2023-06-15 | 2023-10-10 | 天翼爱音乐文化科技有限公司 | 一种视频模板生成方法、装置、电子设备及存储介质 |
| CN116866498B (zh) * | 2023-06-15 | 2024-04-05 | 天翼爱音乐文化科技有限公司 | 一种视频模板生成方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111541946A (zh) | 一种基于素材进行资源匹配的视频自动生成方法及系统 | |
| JP6745857B2 (ja) | 学習装置、学習システム、および学習方法 | |
| CN112449231B (zh) | 多媒体文件素材的处理方法、装置、电子设备及存储介质 | |
| KR102444712B1 (ko) | 다중-모달리티 특징 융합을 통한 퍼스널 미디어 자동 재창작 시스템 및 그 동작 방법 | |
| US10074200B1 (en) | Generation of imagery from descriptive text | |
| CN109688463A (zh) | 一种剪辑视频生成方法、装置、终端设备及存储介质 | |
| CN101131702A (zh) | 用于生成电子照相簿的装置和程序 | |
| CN113746875B (zh) | 一种语音包推荐方法、装置、设备及存储介质 | |
| CN110929158A (zh) | 一种内容推荐方法、系统及存储介质和终端设备 | |
| CN112053430A (zh) | 一种采用移动终端结合增强现实技术的文创产品设计方案评价系统 | |
| KR20210090273A (ko) | 음성패킷 추천방법, 장치, 설비 및 저장매체 | |
| US20110179003A1 (en) | System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same | |
| KR102313203B1 (ko) | 인공지능 콘텐츠 창작 시스템 및 방법 | |
| CN108470057B (zh) | 整合资讯的生成、推送方法、装置、终端、服务器及介质 | |
| CN113779942A (zh) | 一种表格数据处理方法、装置以及计算机可读存储介质 | |
| CN111752982A (zh) | 信息处理方法及装置 | |
| CN117201858A (zh) | 一种视频生成方法、装置和设备 | |
| CN117436414A (zh) | 演示文稿生成方法、装置、电子设备和存储介质 | |
| KR101804679B1 (ko) | 스토리에 기초하는 멀티미디어 콘텐츠 개발 장치 및 방법 | |
| CN115442540B (zh) | 音乐视频生成方法、装置、计算机设备及存储介质 | |
| JP2005196615A (ja) | 情報処理システムおよび情報処理方法 | |
| CN114363714B (zh) | 标题生成方法、设备及存储介质 | |
| CN107870938B (zh) | 一种图片交互处理应用界面的集成系统 | |
| CN114363660A (zh) | 视频合集确定方法、装置、电子设备及存储介质 | |
| CN107870713B (zh) | 具有兼容性的图文一体化的图片处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200814 |