CN111432290A - 基于音频调节的视频生成方法 - Google Patents

基于音频调节的视频生成方法 Download PDF

Info

Publication number
CN111432290A
CN111432290A CN202010277412.5A CN202010277412A CN111432290A CN 111432290 A CN111432290 A CN 111432290A CN 202010277412 A CN202010277412 A CN 202010277412A CN 111432290 A CN111432290 A CN 111432290A
Authority
CN
China
Prior art keywords
video
audio
external
duration
internal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010277412.5A
Other languages
English (en)
Other versions
CN111432290B (zh
Inventor
宋学龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jooan Technology Co ltd
Original Assignee
深圳市年代丰华智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市年代丰华智能科技有限公司 filed Critical 深圳市年代丰华智能科技有限公司
Priority to CN202010277412.5A priority Critical patent/CN111432290B/zh
Publication of CN111432290A publication Critical patent/CN111432290A/zh
Application granted granted Critical
Publication of CN111432290B publication Critical patent/CN111432290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种基于音频调节的视频生成方法,其根据启动指令生成视频生成界面,在视频生成界面中接收用户的视频设置指令,并根据起始标签和位置模板从预设系统数据库内随机选择与空白区段相对应的内部内容填充至位置模板上,基于用户的编辑指令,在位置模板上获取编辑区段,并对编辑区段的内部音频进行调整、更换为其他内部音频或更换为外部音频,通过生成位置模板以将各块内容快速准确的填充至相应的空白区段上,之后再根据需求进行简单调整,这样能高效生成准确的满足用户要求的视频,减少调整操作,且合成效果好。

Description

基于音频调节的视频生成方法
技术领域
本发明涉及视频处理技术领域,特别涉及一种基于音频调节的视频生成方法。
背景技术
视频泛指将一系列静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送与重现的各种技术。其中,随着科技的进步,手机性能的不断提升,视频后期编辑产品雨后春笋般地出现,当下社会中的各类视频应用也是越来越火爆。但现有中的技术不能很好的对视频进行合成编辑,不能满足广大消费者的需求。
故需要提供一种基于音频调节的视频生成方法来解决上述技术问题。
发明内容
本发明提供一种基于音频调节的视频生成方法,以解决现有中的技术不能很好的对音视频进行合成编辑,不能满足广大消费者的需求的问题。
为解决上述技术问题,本发明的技术方案为:一种基于音频调节的视频生成方法,其包括以下步骤:
根据启动指令生成视频生成界面,以用于获取用户输入的起始标签以及提供视频设置选项,所述外部内容包括外部视频和外部音频;
在所述视频生成界面中接收用户的视频设置指令,并根据所述起始标签和所述视频设置指令生成位置模板,所述位置模板提供多个空白区段;
根据所述起始标签和所述位置模板从预设系统数据库内随机选择与所述空白区段相对应的内部内容填充至所述位置模板上;
基于用户的编辑指令,在所述位置模板上获取编辑区段,并对所述编辑区段的内部音频进行调整、更换为其他内部音频或更换为外部音频;
其中,所述位置模板包括素材空白区段、中间内容空白区段、片头空白区段、片花空白区段以及片尾空白区段,所述素材空白区段用于填充行业相关的素材视频内容,所述中间内容空白区段用于填充视频的详细内容,所述片头空白区段用于填充视频的简要内容,所述片花空白区段用于填充视频的摘要内容,所述片尾空白区段用于填充视频的结语及视频信息内容。
在本发明中,所述系统数据库分类收录有与所述素材空白区段对应的素材内容、与所述中间内容空白区段对应的中间内容、与所述片头空白区段对应的片头内容,与所述片花空白区段对应片花内容、以及与所述片尾空白区段对应的片尾内容,每个空白区段配有对应的时长标志;
所述内部内容包括内部音频,所述外部内容包括外部音频;
将所述编辑区段的内部音频更换为外部音频的步骤包括:
对比所述外部音频和对应的所述编辑区段的时长;
当外部音频时长大于所述编辑区段的时长时,对所述外部音频进行倍速快放;
当外部音频时长小于所述编辑区段的时长时,对所述外部音频进行倍速慢放。
其中,当外部音频时长大于所述编辑区段的时长时,还包括确定外部音频中具有连续相同发音的同音音频段,并对所述同音音频段的音频帧进行删减。
可选的,当外部音频时长大于所述编辑区段的时长时,还包括以设定间隔删除所述外部音频中的若干音频段。
可选的,当外部音频时长大于所述编辑区段的时长时,还包括删除所述外部音频中音量较小的音频段。
可选的,当外部音频时长小于所述编辑区段的时长时,还包括对所述外部音频进行倍速快放后重复播放。
在本发明中,所述内部内容包括内部图片,所述外部内容包括外部图片,所述内部图片和所述外部图片的填充方法相同均包括:
根据用户输入的位置指令确定图片的插入位置,并通过倍速快放所述插入位置前后的视频内容,以将所述插入位置扩大为设定时长的用于播放图片的播放区间,再将所述内部图片或所述外部图片填充至所述播放区间进行播放。
进一步的,所述内部图片和所述外部图片的填充方法还包括:
将图片的色相、饱和度和亮度参照插入位置前后的视频图像进行调节。
在本发明中,所述内部内容包括内部文字,所述外部内容包括外部文字;
所述内部文字的填充方法包括:
分析不同时间点的若干视频图像中的多个预设检测区的色彩数据,并以色彩均匀度高、色彩变化程度小的检测区作为文字的显示区,使用预设的字体、颜色以及大小进行填充;
所述内部文字的播放时长小于视频的播放时长5-10秒,且内部文字播放时间的中点与视频播放时间的中心点对位;
所述外部文字的填充方法包括:
使用用户选择的字体、颜色、大小以及显示位置进行填充;
所述外部文字的播放时长小于视频的播放时长5-10秒,且外部文字播放时间的中点与视频播放时间的中心点对位。
在本发明中,所述起始标签包括具有视频总时长信息的时长标签,所述在所述视频生成界面中接收用户的视频设置指令,并根据所述起始标签和所述视频设置指令生成位置模板的步骤包括:
根据自动设置指令和所述时长标签自动生成与所述时长标签的时长一致的所述位置模板;
或根据自主调整指令生成时长小于所述时长标签的基础位置模板以及供用户增减所述空白区段的增减操作界面,根据用户的增减指令,在基础位置模板上增减相应的所述空白区段,根据用户对空白区段的拖拽指令,调整多个所述空白区段的相对位置,从而生成所述位置模板。
本发明相较于现有技术,其有益效果为:本发明的基于音频调节的视频生成方法根据启动指令生成视频生成界面,在视频生成界面中接收用户的视频设置指令,并根据起始标签和位置模板从预设系统数据库内随机选择与空白区段相对应的内部内容填充至位置模板上,基于用户的编辑指令,在位置模板上获取编辑区段,并对编辑区段的内部音频进行调整、更换为其他内部音频或更换为外部音频,通过生成位置模板以将各块内容快速准确的填充至相应的空白区段上,之后再根据需求进行简单调整,这样能高效生成准确的满足用户要求的视频,减少调整操作,且合成效果好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面对实施例中所需要使用的附图作简单的介绍,下面描述中的附图仅为本发明的部分实施例相应的附图。
图1为本发明的基于音频调节的视频生成方法的第一实施例的视频生成流程图。
图2为外部视频更换位置模板上在先填充的内部视频的流程图。
图3为根据编辑区段对应的时长对外部视频的时长进行调整的流程图。
图4为缩短外部视频的时长或增加编辑区段对应的时长的流程图。
图5为增加外部视频的时长的流程图。
图6为位置模板的示例结构示意图。
图7为视频画面上的采样点的分部示意图。
图8为本发明的基于音频调节的视频生成方法的第二实施例的视频生成流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明术语中的“第一”“第二”等词仅作为描述目的,而不能理解为指示或暗示相对的重要性,以及不作为对先后顺序的限制。
现有中的技术不能很好的对视频进行合成编辑,不能满足广大消费者的需求。
如下为本发明提供的一种能解决以上技术问题的基于音频调节的视频生成方法的第一实施例。
请参照图1,其中图1为本发明的基于音频调节的视频生成方法的第一实施例的视频生成流程图。
在图中,结构相似的单元是以相同标号表示。
本发明提供一种基于音频调节的视频生成方法,其由客户输入一些起始标签,起始标签如时长标签、行业标签、用途标签、风格标签等等,使得系统能根据这些起始标签生成满足客户需求的视频,其包括以下步骤:
步骤S11:根据启动指令生成视频生成界面,以用于获取用户输入的起始标签以及提供视频设置选项,用户在选择视频设置选项后即相当于向系统输入了相应的视频设置指令。
步骤S12:在视频生成界面中接收用户的视频设置指令,并根据起始标签和视频设置指令生成位置模板A,位置模板A用于提供不同空白区段以对应填充不同的内容,每个空白区段配有对应的时长标志,通过这个时长标志能以较快的速度从预设系统数据库B内匹配到时长一致的视频、音频等内容,从而用户不上传外部内容的情况下,能非常快速的实现视频的生成,且满足客户的需求。
步骤S13:根据起始标签和位置模板A从预设系统数据库B内随机选择内部内容填充至位置模板A上,系统数据库B内以不同的行业、用途以及风格等对内部内容进行编号分类入库,从而使得系统可根据用户输入的起始标签选择对应的内部内容进行填充,从而生成满足客户需求的视频。
步骤S14:基于用户的编辑指令,在位置模板A上获取编辑区段,并对编辑区段的内容进行调整、更换为其他内部内容或更换为外部内容,外部内容可通过视频生成界面进行上传,这样就使得当客户对生成的视频不满意时,可对其进行删减、合成等调整操作,或可从系统数据库B内选择其他的内部内容进行更换,或自行上传外部内容进行更换。
本发明中的时长标签能用于向系统反馈客户需求视频的总时长信息。
请参照图6,在本实施例中,位置模板A可以包括片头空白区段、片尾空白区段、多个中间内容空白区段、多个片花空白区段以及多个素材空白区段等等。
中间内容空白区段用于填充视频的详细内容。
素材空白区段用于填充一些行业相关的素材视频内容。
片头空白区段用于填充视频的简要内容,旨在引导观众对以后故事的兴趣,通过一定的叙述或剪接精彩片段,以展示视频的大致情节。
片花空白区段用于填充视频的摘要内容,插播在视频的主要内容至之间,如幕后视频段、插播的解说视频段等等。
片尾空白区段用于填充视频的结语及视频信息内容。
系统数据库B分类收录有与素材空白区段对应的素材内容、与中间内容空白区段对应的中间内容、与片头空白区段对应的片头内容,与片花空白区段对应片花内容、以及与片尾空白区段对应的片尾内容。
本实施例中的系统数据库B内可对应片头空白区段、片尾空白区段以及片花空白区段等不是特别重要的空白区段收录时长不固定的内部内容,而对应重要的中间内容空白区段则收录有固定时长的内部内容,使得不能满足客户的时长需求时,能对不重要的区段的时长进行调节,从而保证重要的中间内容空白区段的时长,进而使得重要的中间内容空白区段的视频内容能高质量的进行播放。
如图6中的位置模板A由依次连接的片头空白区段11、素材空白区段12、第一片花空白区段13、第一中间内容空白区段14、第二片花空白区段15、第二中间内容空白区段16以及片尾空白区段17组成。
其中步骤S12具体包括:
根据自动设置指令和时长标签自动生成与时长标签的时长一致的位置模板A,自动给出位置模板A且符合时长标签的要求。
或根据自主调整指令生成时长小于时长标签的基础位置模板以及供用户增减空白区段的增减操作界面,这里的基础位置模板相当于图6中仅给出第一中间内容空白区段14,根据用户的增减指令,在基础位置模板上增减相应的空白区段,根据用户对空白区段的拖拽指令,调整多个空白区段的相对位置,从而生成位置模板A,满足时长要求的同时,能满足用户为视频的排版要求。
需要说明的是,系统能根据时长标签以及基础位置模板的时长计算出剩余时长,根据剩余时长给出具有固定时长的其他空白区段供用户选择,使得用户选择后的空白区段仍能满足系统数据库B内具有固定时长的内部内容,时长一致,能保证填充速度和播放质量。
请参照图2、图3、图4以及图5,其中图2为外部视频更换位置模板A上在先填充的内部视频的流程图。图3为根据编辑区段对应的时长对外部视频的时长进行调整的流程图。图4为缩短外部视频的时长或增加编辑区段对应的时长的流程图。图5为增加外部视频的时长的流程图。
在本发明中,内部内容包括内部视频,外部内容包括用户上传的外部视频;
当使用外部视频更换位置模板A上在先填充的内部视频时,包括以下步骤:
步骤S21:基于用户的编辑指令,在位置模板A上获取编辑区段,使用外部视频覆盖内部视频。
步骤S22:当外部视频的时长优先级高于编辑区段对应的时长时,不再受编辑区段对应的时长的限制,直接将外部视频覆盖内部视频,从而保证视频的质量。
当外部视频的时长优先级低于编辑区段对应的时长,根据编辑区段对应的时长对外部视频的时长进行调整,将调整后的外部视频覆盖内部视频,从而保证用户对时长的要求。
需要说明的是,中间内容空白区段是用户最重视的核心部分,因此这里的编辑区段主要是指中间内容空白区段,根据编辑区段对应的时长对外部视频的时长进行调整的步骤包括:
步骤S31:判断当外部视频的时长大于编辑区段对应的时长时,缩短外部视频的时长或增加编辑区段对应的时长。
步骤S31包括:
步骤S311:按预设比例对片头空白区段、片头空白区段和/或片头空白区段的视频内容进行倍速快放设置,从而通过改变不重要的空白区段的时长,以增大更重要的编辑区段对应的时长,从而不改变更换内容,能保证更换内容的原有质量。
步骤S312:如进行步骤S311操作之后且当外部视频的时长大于编辑区段对应的时长,则确定外部视频中具有静止画面的静止画面视频段,并对外部视频的静止画面视频段的视频帧进行删减,对静止画面视频段进行调整从而能保证视频的质量。
步骤S313:如进行步骤S312操作之后且当外部视频的时长大于编辑区段对应的时长,则将步骤S312中得到的整个外部视频进行倍速快放,以缩短外部视频的时长。
可以理解的是,步骤S311、步骤S312以及步骤S313不仅可如上述方式一层一层的递进式组合使用,每个步骤也可被单独使用。
请参照图7,其中图7为视频画面上的采样点的分部示意图。
在本实施例中,确定外部视频中的静止画面视频段的方法为:
在视频画面21上预设有设定数量的采样点25,根据采样点25的色彩数据以确定外部视频中的静止画面视频段,如以多个连续的视频画面21的色彩数据差异小于设定值时,判定其为净值画面视频段。
优选的,在视频画面21上设置有环形的第一采样区22、位于第一采样区22内侧的第二采样区23、以及位于第一采样区22外侧的第三采样区24,第一采样区22内的采样点25密度大于第二采样区23,第二采样区23内的采样点25密度大于第三采样区24,第一采样区22的中心与视频画面21的中心设置为大致重合,主要对如图7中视频画面21中环形的第一采样区22进行更细致采样,提高采样效率和采样反馈的准确性。
可选的,判断当外部视频的时长大于编辑区段对应的时长时,缩短外部视频的时长的处理方式具体还可以包括:
确定具有设定特征画面的特征画面视频段并进行删除,以缩短外部视频的时长,例如外部视频是介绍产品的视频时,可以确定出现人物的画面作为特征画面视频段并进行删除,从而保证视频较好的对产品进行展示和介绍。
可选的,判断当外部视频的时长大于编辑区段对应的时长时,缩短外部视频的时长的处理方式具体还可以包括:
以设定间隔删除外部视频中的若干视频段,以缩短外部视频的时长,删除的较为均匀,保证视频质量。
本实施例中的多种缩短外部视频的时长的方式可单独使用或组合使用。
步骤S32:判断当外部视频的时长小于编辑区段对应的时长时,增加外部视频的时长。
步骤S32具体包括:
步骤S321:对片头空白区段、片头空白区段和/或片头空白区段的视频内容进行倍速慢放、重复播放,以减小编辑区段对应的时长以使得能与外部视频的时长对应,从而通过改变不重要的空白区段的时长,以增大更重要的编辑区段对应的时长,从而不改变更换内容,能保证更换内容的原有质量。
步骤S322:如进行步骤S321操作之后且当外部视频的时长小于编辑区段对应的时长,则对外部视频进行倍速慢放、重复播放,以增大外部视频的时长。
可以理解的是,步骤S321和步骤S322不仅可如上述方式一层一层的递进式组合使用,每个步骤也可单独使用。
可选的,判断当外部视频的时长小于编辑区段对应的时长时,增加外部视频的时长的处理方式还包括:
增加播放图片来增加外部视频的播放时间,这里的图片可以是系统数据库B的内部图片,也可以是用户上传的外部图片。
可选的,判断当外部视频的时长小于编辑区段对应的时长时,增加外部视频的时长的处理方式还包括:
以设定间隔对外部视频中的若干视频段进行复制叠加播放,视频段增加的较为均匀,保证视频质量。
可选的,判断当外部视频的时长小于编辑区段对应的时长时,增加外部视频的时长的处理方式还包括:
确定外部视频中具有静止画面的静止画面视频段,并对外部视频的静止画面视频段的视频帧进行复制叠加播放,通过延长原本静止画面视频段的播放时间,对视频画面的改变较小,从而保证视频质量。
本实施例中的多种增加外部视频的时长的方式可单独使用或组合使用。
如下为本发明提供的一种能解决以上技术问题的基于音频调节的视频生成方法的第二实施例。
请参照图8,其中图8为本发明的基于音频调节的视频生成方法的第二实施例的视频生成流程图。
在图中,结构相似的单元是以相同标号表示。
本发明提供一种基于音频调节的视频生成方法,其由客户输入一些起始标签,起始标签如时长标签、行业标签、用途标签、风格标签等等,使得系统能根据这些起始标签生成满足客户需求的视频,其包括以下步骤:
步骤S41:根据启动指令生成视频生成界面,以用于获取用户输入的起始标签、上传的外部内容以及提供视频设置选项,用户在选择视频设置选项后即相当于向系统输入了相应的视频设置指令。
步骤S42:在视频生成界面中接收用户的视频设置指令,并根据起始标签和视频设置指令生成位置模板,位置模板提供多个空白区段,不同空白区段用于对应填充不同的内容,每个空白区段配有对应的时长标志。
步骤S43:根据起始标签和位置模板从预设系统数据库内随机选择与空白区段相对应的内部内容填充至位置模板上;
步骤S44:基于用户的编辑指令,在位置模板上获取编辑区段,并对编辑区段的内部音频进行调整、更换为其他内部音频或更换为外部音频。
位置模板包括素材空白区段、中间内容空白区段、片头空白区段、片花空白区段以及片尾空白区段,素材空白区段用于填充行业相关的素材视频内容,中间内容空白区段用于填充视频的详细内容,片头空白区段用于填充视频的简要内容,片花空白区段用于填充视频的摘要内容,片尾空白区段用于填充视频的结语及视频信息内容。
系统数据库分类收录有与素材空白区段对应的素材内容、与中间内容空白区段对应的中间内容、与片头空白区段对应的片头内容,与片花空白区段对应片花内容、以及与片尾空白区段对应的片尾内容。
在本发明中,步骤S42具体包括:
根据自动设置指令和时长标签自动生成与时长标签的时长一致的位置模板,自动给出位置模板且符合时长标签的要求。
或根据自主调整指令生成时长小于时长标签的基础位置模板以及供用户增减空白区段的增减操作界面,这里的基础位置模板相当于图6中仅给出第一中间内容空白区段14,根据用户的增减指令,在基础位置模板上增减相应的空白区段,根据用户对空白区段的拖拽指令,调整多个空白区段的相对位置,从而生成位置模板,满足时长要求的同时,能满足用户为视频的排版要求。
在本实施例中,内部内容包括内部音频,外部内容包括外部音频,这里的音频可理解为背景音乐或配音等;
将编辑区段的内部音频更换为外部音频的步骤包括:
对比外部音频和对应的编辑区段的时长;
当外部音频时长大于编辑区段的时长时,对外部音频进行倍速快放;
当外部音频时长小于编辑区段的时长时,对外部音频进行倍速慢放。
可选的,当外部音频时长大于编辑区段的时长时,还包括确定外部音频中具有连续相同发音的同音音频段,并对同音音频段的音频帧进行删减,对外部音频的改动影响较小,保证音频质量。
可选的,当外部音频时长大于编辑区段的时长时,还包括以设定间隔删除外部音频中的若干音频段,音频段增加的较为均匀,保证音频质量。
可选的,当外部音频时长大于编辑区段的时长时,还包括删除外部音频中音量较小的音频段,对外部音频的改动影响较小,保证音频质量。
可选的,当外部音频时长小于编辑区段的时长时,还包括对外部音频进行倍速快放后重复播放。
其中目的相同的可选方式可单独使用或组合使用。
另外,本实施例中的内部内容包括内部图片,外部内容包括外部图片,内部图片和外部图片的填充方法相同均包括:
根据用户输入的位置指令确定图片的插入位置,并通过倍速快放插入位置前后的视频内容,以将插入位置扩大为设定时长的用于播放图片的播放区间,再将内部图片或外部图片填充至播放区间进行播放。
优选的,内部图片和外部图片的填充方法还包括:
将图片的色相、饱和度和亮度参照插入位置前后的视频图像进行调节,使得图片的播放与视频的播放衔接得更加自然。
可选方式,还可将图片插播在视频画面的设定区域,且显示在视频画面之上。
本发明中的内部内容还包括内部文字,外部内容还包括外部文字。
内部文字的填充方法包括:
分析不同时间点的若干视频图像中的多个预设检测区的色彩数据,这里的多个预设检测区可以是指视频图像的四侧区域,并以色彩均匀度高、色彩变化程度小的检测区作为文字的显示区,以获得更清楚的字体显示效果,使用预设的字体、颜色以及大小进行填充。
优选的,内部文字的播放时长小于视频的播放时长5-10秒,且内部文字播放时间的中点与视频播放时间的中心点对位,使得观看者对文字有更多的反应时间。
外部文字的填充方法包括:
使用用户选择的字体、颜色、大小以及显示位置进行填充。
优选的,外部文字的播放时长小于视频的播放时长5-10秒,且外部文字播放时间的中点与视频播放时间的中心点对位,使得观看者对文字有更多的反应时间。
另外,如第一实施例中将外部视频更换位置模板上在先填充的内部视频的方法也可结合应用至本实施例中,先完成视频的填充,再依次完成音频、图片以及文字的填充。
用户需使用本发明的基于音频调节的视频生成方法生成视频时,用户能输入启动指令生成视频生成界面,然后用户能在视频生成界面输入起始标签,同时可选择输入自动设置指令以自动生成位置模板,或选择输入自主调整指令生成基础位置模板,生成基础位置模板需要用户输入增减指令和/或拖拽指令以生成用户自己需求的位置模板,位置模板可参照图6。
生成位置模板后,系统根据起始标签和位置模板从系统数据库内随机选择内部内容填充至位置模板上,用户将外部内容填充至位置模板上,填充后,用户可根据填充后的效果,可从系统数据库内选择其他的内部内容进行更换,或自行上传外部内容进行更换。
本发明中的系统数据库可以由人工剪辑并组合成海量的专业视频,同时为视频以编号的形式打上各类标签进行分类并收录至系统数据库,如打上行业标签:电子科技,如打上用途标签:企业宣传,形成编号1234,前两位12表示电子科技,后两位34表示企业宣传。这样后续系统就能根据编号调用与用户输入的起始标签相对应的视频内容。
另外,本发明的基于音频调节的视频生成方法还可以根据标签,通过网络自动搜索并下载图片、文字、音频以及视频等内容,同时进行分类,来作为人工剪辑并组合成专业视频的碎片素材,效率高。
例如,本发明的视频生成方法可借助百度的文案SDK接口,接入系统进行视频文案脚本的AI生成,就是说针对用户输入的标签进行算法分析,然后计算出此标签所需要的文案关键词,再根据关键词对系统数据库的文字碎片进行调用,组合成视频文案脚本,然后根据此脚本来调用所有其他碎片进行视频拼接,最后完成视频创作。另一方面,系统会把碎片库里的所有碎片进行分类,然后由剪辑师和导演按照以往经验进行手工拼接组合海量专业视频,拼接的每一步都会被系统算法深度学习系统所记录,并自动进行调优处理,逐渐形成自有的深度学习及算法基础数据,最后依据用户标签进行计算匹配,由于用户的每一步操作和修改次数都被系统深度学习、记录并调优,所以系统自动在不断提升调优,形成强大的视频制作专业算法。
请参照图6,这里以生产耳机的XX科技公司需要生成160秒的企业宣传视频为例进行说明。
首先,用户可输入启动指令以生产视频生成界面,然后在视频生成界面输入公司名称、公司产品、视频时长以及视频用途等信息,系统能将其转换为起始标签如下:行业标签——耳机;用途标签——展会、宣传推广;时长标签——160秒;类型——企业宣传。
然后用户可选择视频设置选项,如可选择“自动生成”选项,从而向系统输入自动设置指令,系统接收自动设置指令且结合160秒的时长标签自动生成与时长标签的时长一致的位置模板A,如图6中的位置模板A包括10秒的片头空白区段11、30秒的素材空白区段12、10秒的第一片花空白区段13、60秒的第一中间内容空白区段14、10秒的第二片花空白区段15、30秒的第二中间内容空白区段16、以及10秒的片尾空白区段17,系统会对各空白区段匹配相应的时长标志以反馈其时长。
其中系统会优先将素材空白区段12、第一中间内容空白区段14以及第二中间内容空白区段16的时长设置为与系统数据库B内对应的内部内容时长一致,如将素材空白区段12设置为与素材内容时长一致的10秒、15秒或30秒。
当然,需要说明的是,系统数据库B内的内部内容的时长档位不限于图中的10秒、15秒、30秒等档位,同时系统数据库B内的内部内容的数量也不限于图中的100条、200条等。
或者,用户可选择“手动调整”选项,从而向系统输入自主调整指令生成时长小于时长标签的基础位置模板以及供用户增减空白区段的增减操作界面,这里的基础位置模板相当于图6中仅给出第一中间内容空白区段14,由用户根据喜好输入增减指令以对应添加片头空白区段11、素材空白区段12、第一片花空白区段13、第二片花空白区段15、第二中间内容空白区段16、以及片尾空白区段17等空白区段,同时通过输入拖拽指令,可调整多个空白区段的相对位置,从而生成与图6中位置模板A一样或不一样的位置模板。
假如生成位置模板A之后,系统会根据行业标签——耳机、用途标签——展会、宣传推广、时长标签——160秒、类型——企业宣传等标签去系统数据库B内随机选择内部内容填充至位置模板A上,具体例如,从60秒的200条中间内容中选择符合上述标签的若干条视频中随机选择一条,然后填充至第一中间内容空白区段14上。
同时,依照上述方式对片头空白区段11、素材空白区段12、第一片花空白区段13、第二片花空白区段15、第二中间内容空白区段16、以及片尾空白区段17等空白区段填充符合标签且时长一致的内部视频。
填充完视频后,从系统数据库B内随机选择内部音频填充至位置模板A上。
填充完音频后,系统根据用户输入的位置指令确定图片的插入位置,并通过倍速快放插入位置前后的视频内容,以将插入位置扩大为设定时长的播放区间,再从系统数据库B内随机选择内部图片或接收外部图片,填充至播放区间进行播放。
填充完内部图片后,分析不同时间点的若干视频图像中的多个预设检测区的色彩数据,这里的多个预设检测区可以是指视频图像的四侧区域,并以色彩均匀度高、色彩变化程度小的检测区作为文字的显示区,以获得更清楚的字体显示效果,使用预设的字体、颜色以及大小进行填充。
图6中的向上箭头表示从系统数据库B内选择内部内容填充至位置模板A上。
若用户并对某个区段的内容不满意,则可通过输入指令,使系统确定该区段为编辑区段,然后可对编辑区段上的内容进行删减、合成等调整操作、或将其更换为其他内部内容或更换为外部内容。
其中将某个区段的内部视频更换为外部视频可参照第一实施例,将某个区段的内部音频更换为外部音频可参照第二实施例,若视频更换后,视频和音频时长不匹配,则可将音频进行对应的更换。
同时,还需说明的是,由于有些区段用户基本不去自行上传内容进行替换,或者大概率会编辑不好,因此系统还可以限制某些区段用户不可编辑,仅仅只能从系统数据库B内选择内部内容,例如素材空白区段需要填充的素材内容需要将多个行业素材进行相应的编辑合成等操作,其较为辅助且用户大概率编辑不好,因此就可限制素材空白区段不可编辑,只能从系统数据库B内选择内部内容。
另一方面,若系统数据库B内没有符合上述标签的内容时,还可由系统通过网络自动搜索并下载图片、文字、音频以及视频等内容,进行自动编辑形成相应的内容,并填充至模板上。
本发明的基于音频调节的视频生成方法根据启动指令生成视频生成界面,在视频生成界面中接收用户的视频设置指令,并根据起始标签和位置模板从预设系统数据库内随机选择与空白区段相对应的内部内容填充至位置模板上,基于用户的编辑指令,在位置模板上获取编辑区段,并对编辑区段的内部音频进行调整、更换为其他内部音频或更换为外部音频,通过生成位置模板以将各块内容快速准确的填充至相应的空白区段上,之后再根据需求进行简单调整,这样能高效生成准确的满足用户要求的视频,减少调整操作,且合成效果好。
综上,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种基于音频调节的视频生成方法,其特征在于,包括以下步骤:
根据启动指令生成视频生成界面,以用于获取用户输入的起始标签以及提供视频设置选项,所述外部内容包括外部视频和外部音频;
在所述视频生成界面中接收用户的视频设置指令,并根据所述起始标签和所述视频设置指令生成位置模板,所述位置模板提供多个空白区段;
根据所述起始标签和所述位置模板从预设系统数据库内随机选择与所述空白区段相对应的内部内容填充至所述位置模板上;
基于用户的编辑指令,在所述位置模板上获取编辑区段,并对所述编辑区段的内部音频进行调整、更换为其他内部音频或更换为外部音频;
其中,所述位置模板包括素材空白区段、中间内容空白区段、片头空白区段、片花空白区段以及片尾空白区段,所述素材空白区段用于填充行业相关的素材视频内容,所述中间内容空白区段用于填充视频的详细内容,所述片头空白区段用于填充视频的简要内容,所述片花空白区段用于填充视频的摘要内容,所述片尾空白区段用于填充视频的结语及视频信息内容。
2.根据权利要求1所述的基于音频调节的视频生成方法,其特征在于,所述系统数据库分类收录有与所述素材空白区段对应的素材内容、与所述中间内容空白区段对应的中间内容、与所述片头空白区段对应的片头内容,与所述片花空白区段对应片花内容、以及与所述片尾空白区段对应的片尾内容,每个空白区段配有对应的时长标志;
所述内部内容包括内部音频,所述外部内容包括外部音频;
将所述编辑区段的内部音频更换为外部音频的步骤包括:
对比所述外部音频和对应的所述编辑区段的时长;
当外部音频时长大于所述编辑区段的时长时,对所述外部音频进行倍速快放;
当外部音频时长小于所述编辑区段的时长时,对所述外部音频进行倍速慢放。
3.根据权利要求2所述的基于音频调节的视频生成方法,其特征在于,当外部音频时长大于所述编辑区段的时长时,还包括确定外部音频中具有连续相同发音的同音音频段,并对所述同音音频段的音频帧进行删减。
4.根据权利要求2所述的基于音频调节的视频生成方法,其特征在于,当外部音频时长大于所述编辑区段的时长时,还包括以设定间隔删除所述外部音频中的若干音频段。
5.根据权利要求2所述的基于音频调节的视频生成方法,其特征在于,当外部音频时长大于所述编辑区段的时长时,还包括删除所述外部音频中音量较小的音频段。
6.根据权利要求2所述的基于音频调节的视频生成方法,其特征在于,当外部音频时长小于所述编辑区段的时长时,还包括对所述外部音频进行倍速快放后重复播放。
7.根据权利要求1所述的基于音频调节的视频生成方法,其特征在于,所述内部内容包括内部图片,所述外部内容包括外部图片,所述内部图片和所述外部图片的填充方法相同均包括:
根据用户输入的位置指令确定图片的插入位置,并通过倍速快放所述插入位置前后的视频内容,以将所述插入位置扩大为设定时长的用于播放图片的播放区间,再将所述内部图片或所述外部图片填充至所述播放区间进行播放。
8.根据权利要求7所述的基于音频调节的视频生成方法,其特征在于,所述内部图片和所述外部图片的填充方法还包括:
将图片的色相、饱和度和亮度参照插入位置前后的视频图像进行调节。
9.根据权利要求1所述的基于音频调节的视频生成方法,其特征在于,所述内部内容包括内部文字,所述外部内容包括外部文字;
所述内部文字的填充方法包括:
分析不同时间点的若干视频图像中的多个预设检测区的色彩数据,并以色彩均匀度高、色彩变化程度小的检测区作为文字的显示区,使用预设的字体、颜色以及大小进行填充;
所述内部文字的播放时长小于视频的播放时长5-10秒,且内部文字播放时间的中点与视频播放时间的中心点对位;
所述外部文字的填充方法包括:
使用用户选择的字体、颜色、大小以及显示位置进行填充;
所述外部文字的播放时长小于视频的播放时长5-10秒,且外部文字播放时间的中点与视频播放时间的中心点对位。
10.根据权利要求1所述的基于音频调节的视频生成方法,其特征在于,所述起始标签包括具有视频总时长信息的时长标签,所述在所述视频生成界面中接收用户的视频设置指令,并根据所述起始标签和所述视频设置指令生成位置模板的步骤包括:
根据自动设置指令和所述时长标签自动生成与所述时长标签的时长一致的所述位置模板;
或根据自主调整指令生成时长小于所述时长标签的基础位置模板以及供用户增减所述空白区段的增减操作界面,根据用户的增减指令,在基础位置模板上增减相应的所述空白区段,根据用户对空白区段的拖拽指令,调整多个所述空白区段的相对位置,从而生成所述位置模板。
CN202010277412.5A 2020-04-10 2020-04-10 基于音频调节的视频生成方法 Active CN111432290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010277412.5A CN111432290B (zh) 2020-04-10 2020-04-10 基于音频调节的视频生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010277412.5A CN111432290B (zh) 2020-04-10 2020-04-10 基于音频调节的视频生成方法

Publications (2)

Publication Number Publication Date
CN111432290A true CN111432290A (zh) 2020-07-17
CN111432290B CN111432290B (zh) 2022-04-19

Family

ID=71556158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010277412.5A Active CN111432290B (zh) 2020-04-10 2020-04-10 基于音频调节的视频生成方法

Country Status (1)

Country Link
CN (1) CN111432290B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质
CN113099129A (zh) * 2021-01-27 2021-07-09 北京字跳网络技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN113891151A (zh) * 2021-09-28 2022-01-04 北京字跳网络技术有限公司 一种音频处理方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615255A (zh) * 2009-07-21 2009-12-30 北京大学 一种视频文字多帧融合的方法
CN102447839A (zh) * 2011-08-26 2012-05-09 深圳市万兴软件有限公司 一种基于Quartz Composer的视频制作方法及装置
CN103049047A (zh) * 2012-11-17 2013-04-17 王丽华 设置有录音模块、音频编辑处理模块的新型平板电脑
WO2014179749A1 (en) * 2013-05-02 2014-11-06 Pribula Alexis Juri Interactive real-time video editor and recorder
US20170228600A1 (en) * 2014-11-14 2017-08-10 Clipmine, Inc. Analysis of video game videos for information extraction, content labeling, smart video editing/creation and highlights generation
CN110266971A (zh) * 2019-05-31 2019-09-20 上海萌鱼网络科技有限公司 一种短视频制作方法和系统
CN110532426A (zh) * 2019-08-27 2019-12-03 新华智云科技有限公司 一种基于模板抽取多媒体素材生成视频的方法及系统
CN110740379A (zh) * 2019-10-29 2020-01-31 曾虹恺 一种基于碎片视频自动生成完整视频的系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615255A (zh) * 2009-07-21 2009-12-30 北京大学 一种视频文字多帧融合的方法
CN102447839A (zh) * 2011-08-26 2012-05-09 深圳市万兴软件有限公司 一种基于Quartz Composer的视频制作方法及装置
CN103049047A (zh) * 2012-11-17 2013-04-17 王丽华 设置有录音模块、音频编辑处理模块的新型平板电脑
WO2014179749A1 (en) * 2013-05-02 2014-11-06 Pribula Alexis Juri Interactive real-time video editor and recorder
US20170228600A1 (en) * 2014-11-14 2017-08-10 Clipmine, Inc. Analysis of video game videos for information extraction, content labeling, smart video editing/creation and highlights generation
CN110266971A (zh) * 2019-05-31 2019-09-20 上海萌鱼网络科技有限公司 一种短视频制作方法和系统
CN110532426A (zh) * 2019-08-27 2019-12-03 新华智云科技有限公司 一种基于模板抽取多媒体素材生成视频的方法及系统
CN110740379A (zh) * 2019-10-29 2020-01-31 曾虹恺 一种基于碎片视频自动生成完整视频的系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质
WO2022022262A1 (zh) * 2020-07-28 2022-02-03 游艺星际(北京)科技有限公司 多媒体资源的处理方法、发布方法及电子设备
CN113099129A (zh) * 2021-01-27 2021-07-09 北京字跳网络技术有限公司 一种视频生成方法、装置、电子设备及存储介质
CN113891151A (zh) * 2021-09-28 2022-01-04 北京字跳网络技术有限公司 一种音频处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111432290B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN111432290B (zh) 基于音频调节的视频生成方法
CN111432289B (zh) 基于视频调节的视频生成方法
US8302010B2 (en) Transcript editor
US6072479A (en) Multimedia scenario editor calculating estimated size and cost
US8812311B2 (en) Character-based automated shot summarization
US7362946B1 (en) Automated visual image editing system
US8937620B1 (en) System and methods for generation and control of story animation
US20090100454A1 (en) Character-based automated media summarization
US20130246063A1 (en) System and Methods for Providing Animated Video Content with a Spoken Language Segment
US20130330062A1 (en) Automatic creation of movie with images synchronized to music
US7542661B2 (en) Method, apparatus, and program for image generation
JP2003517786A (ja) ビデオ制作システムおよび方法
CN111415399A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112732977A (zh) 一种基于模板快速生成短视频的方法
CN106688035A (zh) 声音合成装置、声音合成方法及程序
WO2018120819A1 (zh) 一种演示文稿的制作方法和装置
CN112153307A (zh) 短视频中添加歌词的方法、装置、电子设备及存储介质
CN111930289B (zh) 一种处理图片和文本的方法和系统
CN113676772B (zh) 视频生成方法及装置
CN114938473A (zh) 评论视频生成方法及装置
CN104025465A (zh) 包括帧匹配的记录媒体文件中的事件
JP2011254342A (ja) 映像編集方法,映像編集装置および映像編集プログラム
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
CN113572977B (zh) 视频制作方法及装置
JP6812586B1 (ja) 動画編集装置、動画編集方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220322

Address after: 518000 floors 101-3, 5 and 6 of plant building, No. 8, Guixiang Community Plaza Road, Guanlan street, Longhua District, Shenzhen, Guangdong Province

Applicant after: SHENZHEN JOOAN TECHNOLOGY Co.,Ltd.

Address before: 518000 B2302, Jialin Haoting, No. 2001, Shennan Avenue, Gangxia community, Futian street, Futian District, Shenzhen, Guangdong Province

Applicant before: Shenzhen shizifenghua Intelligent Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant