CN114079817A - 视频特效的控制方法、装置、电子设备及存储介质 - Google Patents

视频特效的控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114079817A
CN114079817A CN202010843770.8A CN202010843770A CN114079817A CN 114079817 A CN114079817 A CN 114079817A CN 202010843770 A CN202010843770 A CN 202010843770A CN 114079817 A CN114079817 A CN 114079817A
Authority
CN
China
Prior art keywords
special effect
target
video
volume
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010843770.8A
Other languages
English (en)
Inventor
王聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010843770.8A priority Critical patent/CN114079817A/zh
Publication of CN114079817A publication Critical patent/CN114079817A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开关于一种视频特效的控制方法、装置、电子设备及存储介质,属于图像处理技术领域。其中,该方法包括:根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,同时根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息,并从音频信息之中提取音频特征,根据音频特征对特效元素的可调整参数进行调整。该方法在拍摄的视频加入了特效元素的场景下,通过从拍摄视频时实时采集的音频信息中提取音频特征,利用音频特征对特效元素的可调整参数进行调整,无需嘴巴或眼睛等必须在拍摄范围内才能控制特效元素,控制方式多样化、操作简单,丰富了特效元素的呈现效果。

Description

视频特效的控制方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种视频特效的控制方法、装置、电子设备及存储介质。
背景技术
短视频技术的迅猛发展带来了图像渲染技术的发展,在拍摄短视频时可以入特效元素。为了提高展示效果,通常会有控制特效元素的需求。目前,主要是通过动作触发对特效元素进行控制,比如张嘴触发、微笑触发、眨眼触发等。
但是,这种控制方法要求嘴巴或者眼睛等必须在摄像头的拍摄范围内,以借助图像的识别结果来进行触发控制。可见,这种控制方法形式单一、操作复杂。
发明内容
本公开提供一种视频特效的控制方法、装置、电子设备及存储介质,以至少解决相关技术中视频特效控制方法形式单一、操作复杂等问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种视频特效的控制方法,包括:
根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,所述特效元素包括可调整参数;
根据所述视频拍摄指令实时对所述电子设备所处环境进行音频采集,以生成音频信息;
从所述音频信息之中提取音频特征;以及
根据所述音频特征对所述特效元素的可调整参数进行调整。
本公开实施例的视频特效的控制方法,通过根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,同时根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息,并从音频信息之中提取音频特征,根据音频特征对特效元素的可调整参数进行调整。由此,在拍摄的视频加入了特效元素的场景下,通过从拍摄视频时实时采集的音频信息中提取音频特征,利用音频特征对特效元素的可调整参数进行调整,从而无需嘴巴或眼睛等必须在拍摄范围内才能控制特效元素,不仅控制方式多样化、操作简单,而且丰富了特效元素的呈现效果。
在本公开实施例一种可能的实现方式中,当所述音频特征包括语义特征时,所述根据所述音频特征对所述特效元素的可调整参数进行调整,包括:
根据所述语义特征对所述特效元素的可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述根据所述语义特征对所述特效元素的可调整参数进行调整,包括:
获取所述语义特征所对应的目标参数,其中,所述目标参数包括目标颜色、目标形状、目标透明度、目标锐化度、目标对比度、目标位置信息中的至少一种;以及
将所述特效元素的可调整参数调整为所述目标参数。
在本公开实施例一种可能的实现方式中,所述从所述音频信息之中提取音频特征,包括:
当所述音频特征未包括语义特征时,从所述音频信息之中提取音量特征和/或频率特征;
所述根据所述音频特征对所述特效元素的可调整参数进行调整,包括:
根据所述音量特征和/或所述频率特征,对所述特效元素的可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述从所述音频信息之中提取音量特征和/或频率特征,包括:
获取所述音频信息之中多个时间片段对应的音量特征和/或频率特征;
根据所述多个时间片段的音量特征,获取所述音频信息的音量均值,并将所述音频信息的音量均值作为所述音量特征;和/或,
根据所述多个时间片段的频率特征,获取所述音频信息的频率均值,并将所述音频信息的频率均值作为所述频率特征。
在本公开实施例一种可能的实现方式中,所述根据所述音量特征和/或所述频率特征,对所述特效元素的可调整参数进行调整,包括:
确定所述音量特征对应的第一目标可调整参数,和/或所述频率特征对应的第二目标可调整参数;
根据所述音量特征,对所述第一目标可调整参数进行调整,和/或根据所述频率特征,对所述第二目标可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述根据所述音量特征,对所述第一目标可调整参数进行调整,包括:
当所述音量特征小于第一预设阈值时,控制所述第一目标可调整参数以默认参数值进行展现;
当所述音量特征等于或大于所述第一预设阈值时,根据所述音量特征与所述第一预设阈值之间的差,确定所述音量特征的第一等级,并根据所述第一等级控制所述第一目标可调整参数以与所述第一等级对应的参数值进行展现。
在本公开实施例一种可能的实现方式中,所述根据所述频率特征,对所述第二目标可调整参数进行调整,包括:
当所述频率特征小于第二预设阈值时,控制所述第二目标可调整参数以默认参数值进行展现;
当所述频率特征等于或大于所述第二预设阈值时,根据所述频率特征与所述第二预设阈值之间的差,确定所述频率特征的第二等级,并根据所述第二等级控制所述第二目标可调整参数以与所述第二等级对应的参数值进行展现。
在本公开实施例一种可能的实现方式中,该方法还可包括:
获取所述目标视频之中人物的人物表情特征;以及
根据所述音频特征和所述人物表情特征,对所述特效元素的可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述根据所述音频特征和所述人物表情特征,对所述特效元素的可调整参数进行调整,包括:
根据所述人物表情特征生成多个候选特效元素,并在所述视频拍摄界面之中进行展示;以及
根据所述音频特征从所述多个候选特效元素之中选择一个作为所述目标视频之中的特效元素。
根据本公开实施例的第二方面,提供一种视频特效的控制装置,包括:
添加模块,被配置为根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,所述特效元素包括可调整参数;
采集模块,被配置为根据所述视频拍摄指令实时对所述电子设备所处环境进行音频采集,以生成音频信息;
提取模块,被配置为从所述音频信息之中提取音频特征;以及
调整模块,被配置为根据所述音频特征对所述特效元素的可调整参数进行调整。
本公开实施例的视频特效的控制装置,通过根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,同时根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息,并从音频信息之中提取音频特征,根据音频特征对特效元素的可调整参数进行调整。由此,在拍摄的视频加入了特效元素的场景下,通过从拍摄视频时实时采集的音频信息中提取音频特征,利用音频特征对特效元素的可调整参数进行调整,从而无需嘴巴或眼睛等必须在拍摄范围内才能控制特效元素,不仅控制方式多样化、操作简单,而且丰富了特效元素的呈现效果。
在本公开实施例一种可能的实现方式中,当所述音频特征包括语义特征时,所述调整模块,被配置为:
根据所述语义特征对所述特效元素的可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述调整模块,包括:
第一获取单元,被配置为获取所述语义特征所对应的目标参数,其中,所述目标参数包括目标颜色、目标形状、目标透明度、目标锐化度、目标对比度、目标位置信息中的至少一种;以及
第一调整单元,被配置为将所述特效元素的可调整参数调整为所述目标参数。
在本公开实施例一种可能的实现方式中,所述提取模块,还被配置为:
当所述音频特征未包括语义特征时,从所述音频信息之中提取音量特征和/或频率特征;
所述调整模块,还被配置为:
根据所述音量特征和/或所述频率特征,对所述特效元素的可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述提取模块,包括:
第二获取单元,被配置为获取所述音频信息之中多个时间片段对应的音量特征和/或频率特征;
第三获取单元,被配置为根据所述多个时间片段的音量特征,获取所述音频信息的音量均值,并将所述音频信息的音量均值作为所述音量特征;和/或,根据所述多个时间片段的频率特征,获取所述音频信息的频率均值,并将所述音频信息的频率均值作为所述频率特征。
在本公开实施例一种可能的实现方式中,所述调整模块,包括:
确定单元,被配置为确定所述音量特征对应的第一目标可调整参数,和/或所述频率特征对应的第二目标可调整参数;
第二调整单元,被配置为根据所述音量特征,对所述第一目标可调整参数进行调整,和/或根据所述频率特征,对所述第二目标可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述第二调整单元,被配置为:
当所述音量特征小于第一预设阈值时,控制所述第一目标可调整参数以默认参数值进行展现;
当所述音量特征等于或大于所述第一预设阈值时,根据所述音量特征与所述第一预设阈值之间的差,确定所述音量特征的第一等级,并根据所述第一等级控制所述第一目标可调整参数以与所述第一等级对应的参数值进行展现。
在本公开实施例一种可能的实现方式中,所述第二调整单元,还被配置为:
当所述频率特征小于第二预设阈值时,控制所述第二目标可调整参数以默认参数值进行展现;
当所述频率特征等于或大于所述第二预设阈值时,根据所述频率特征与所述第二预设阈值之间的差,确定所述频率特征的第二等级,并根据所述第二等级控制所述第二目标可调整参数以与所述第二等级对应的参数值进行展现。
在本公开实施例一种可能的实现方式中,该装置还包括:
获取模块,被配置为获取拍摄的视频之中人物的人物表情特征;以及
所述调整模块,还被配置为根据所述音频特征和所述人物表情特征对所述特效元素的可调整参数进行调整。
在本公开实施例一种可能的实现方式中,所述调整模块,包括:
生成单元,被配置为根据所述人物表情特征生成多个候选特效元素,并在所述视频拍摄界面之中进行展示;以及
选择单元,被配置为根据所述音频特征从所述多个候选特效元素之中选择一个作为所述目标视频之中的特效元素。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上述第一方面所述的视频特效的控制方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前所述的视频特效的控制方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,该计算机程序由电子设备的处理器执行时,使得电子设备能够执行如前所述的视频特效的控制方法。
本公开的实施例提供的技术方案至少带来以下有益效果:在拍摄的视频加入了特效元素的场景下,通过从拍摄视频时实时采集的音频信息中提取音频特征,利用音频特征对特效元素的可调整参数进行调整,从而无需嘴巴或眼睛等必须在拍摄范围内才能控制特效元素,不仅控制方式多样化、操作简单,而且丰富了特效元素的呈现效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频特效的控制方法的流程图。
图2是根据一示例性实施例示出的另一种视频特效的控制方法的流程图。
图3是根据一示例性实施例示出的另一种视频特效的控制方法的流程图。
图4是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
图5是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
图6是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
图7是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
图8是根据一示例性实施例示出的一种根据音量大小调整特效元素形状的示意图。
图9是根据一示例性实施例示出的一种根据音量特征调整特效元素透明度的示意图。
图10是根据一示例性实施例示出的另一种视频特效的控制方法的流程图。
图11是根据一示例性实施例示出的一种视频特效的控制装置的框图。
图12是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种视频特效的控制方法的流程图,如图1所示,该视频特效的控制方法包括以下步骤。
在步骤101中,根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,特效元素包括可调整参数。
本公开实施例的视频特效的控制方法,可应用于具有摄像装置的电子设备,如手机、平板电脑等。
具体地,用户触发拍摄视频的按钮后,电子设备根据用户操作,获取视频拍摄指令,然后根据视频拍摄指令进入电子设备的拍摄界面,利用电子设备的摄像装置对拍摄对象进行视频拍摄。在拍摄目标视频的过程中,可以根据设置的特效元素,在视频的画面中加入设置的特效元素,或者根据视频中人物的表情加入特效元素。可以理解的是,目标视频是指当前根据拍摄指令拍摄获取的、添加了特效元素的视频。
比如,预先设置了美颜、卡通图像等特效元素,那么在拍摄视频时,可在拍摄的视频中加入这些特效元素。又如,获取视频中人物的人脸特征,如果根据人脸特征,确定人物当前正在哭泣,那么可在视频中增加眼泪的卡通形象。
本实施例中,特效元素包括可调整参数,比如形状、透明度、颜色等等。
在步骤102中,根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息。
本实施例中,在拍摄目标视频的过程中,同时根据拍摄指令实时对电子设备所处环境进行音频采集,生成音频信息。具体地,根据拍摄指令打开电子设备上的音频采集装置,比如麦克风,通过麦克风对目标视频拍摄过程中电子设备周围进行音频采集,得到音频信息。
比如,如果拍摄视频的过程中,拍摄对象发出语音或者拍摄者发出语音,那么可采集到这些语音信息。
当目标视频拍摄结束时,可以关闭音频采集装置,以节省电子设备的电量。在拍摄目标视频的同时启动音频采集装置,通过音频采集装置采集电子设备周围的音频信息,不仅达到了拍摄视频的过程中实时采集音频信息的目的,而且根据视频拍摄指令启动音频采集装置,避免音频采集装置一直处于开启状态浪费电量,节省了电子设备的电量。
在步骤103中,从音频信息之中提取音频特征。
本实施例中,音频特征包括但不限于音频信息的语义特征、音量、频率等。
具体地,可以将采集的音频信息输入频率分析仪或者磁带记录仪等中,以检测音频信息的频率。或者,将音频信息输入至预先训练好的模型中,通过模型获取音频信息的音量等。
在步骤104中,根据音频特征对特效元素的可调整参数进行调整。
相关技术中,主要是通过张嘴巴、眨眼睛等动作,控制特效元素,这种控制方式需要嘴巴、眼睛等要在拍摄范围内,操作复杂。
为了提高特效元素的展现效果,满足用户对特效元素的个性化需求。本实施例中,在获取音频特征后,可以利用音频特征对特效元素的可调整参数进行调整,比如,可以对特效元素的颜色、形状等进行调整。
作为一种实现方式,可以预先建立音量范围与各特效元素的颜色之间的对应关系,根据目标视频中的特效元素,确定该特效元素的颜色与音量范围之间的对应关系,然后确定根据音频信息的音量所属的音量范围,然后确定与该音量范围对应的特效元素的颜色,并将目标视频中特效元素的颜色调整为该颜色,具体通过设置RGB值,达到控制特效元素颜色的目的。
作为另一种实现方式,可预先建立特效元素的颜色与声音的频率范围之间的对应关系,根据目标视频中的特效元素,确定该特效元素的颜色与频率范围之间的对应关系,然后确定根据音频信息的频率所属的频率范围,然后确定与该频率范围对应的特效元素的颜色,并将视频中特效元素的颜色调整为该颜色。
本实施例中,可以通过采集音频信息,根据从音频信息中提取的音频特征,比如音频信息的音量、频率等,对特效元素的可调整参数等进行控制,无需要求嘴巴、眼睛等在拍摄范围内,且做出预设的动作,不仅控制形式多样化,而且操作简单,丰富了特效元素在视频中的展示效果。
本公开实施例的视频特效的控制方法,通过根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,同时根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息,并从音频信息之中提取音频特征,根据音频特征对特效元素的可调整参数进行调整。由此,在拍摄的视频加入了特效元素的场景下,通过从拍摄视频时实时采集的音频信息中提取音频特征,利用音频特征对特效元素的可调整参数进行调整,从而无需嘴巴或眼睛等必须在拍摄范围内才能控制特效元素,不仅控制方式多样化、操作简单,而且丰富了特效元素的呈现效果。
为了提高操作的便捷性,在本公开的一个实施例中,在从音频信息中提取音频特征时,可进行语义特征的提取,当提取到语义特征时,可根据语义特征对特效元素的可调整参数进行调整。下面结合图2进行说明,图2是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
如图2所示,该种视频特效的控制方法包括:
在步骤201中,根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,特效元素包括可调整参数。
在步骤202中,根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息。
本实施例中,步骤201-步骤202,与上述步骤101-步骤102类似,故在此不再赘述。
在步骤203中,从音频信息之中提取音频特征。
本实施例中,在获取音频信息后,优先从音频信息中进行语义特征的提取。
具体地,可以对采集的音频信息进行语音识别,获取音频信息对应的文本信息,这里称为采集文本,即将音频信息中的语音内容转换为文本。比如,可将采集的音频信息输入至预先训练好的语音识别模型中,通过语音识别模型对音频信息中的语音内容进行识别,以获取音频信息对应的采集文本。
之后,可以将采集到文本输入至预先训练的语义分析模型中,通过语义分析模型对采集文本进行语义分析,如果语义分析的结果中未包含与特效元素可调整参数相关的内容,可以认为未提取到语义特征,如果包含,则认为提取到语义特征。
这里的语义特征用于指示音频信息中包括的对特效元素可调整参数的设置。
比如,采集的音频信息中包括“增加特效把眼睛变大”,对应的语义特征为“眼睛”、“变大”。
在步骤204中,根据语义特征对特效元素的可调整参数进行调整。
在获取语义特征后,可根据语义特征中包括的内容,对特效元素可调整参数进行调整。比如语义特征中对应的目标颜色“黄色”,可将特效元素由当前的颜色调整为黄色。
本公开实施例中,当音频特征包括语义特征时,在根据音频特征对特效元素的可调整参数进行调整时,可根据语义特征对特效元素的可调整参数进行调整。由此,当音频特征包括语义特征时,也即从音频信息中提取到语义特征时,根据语义特征对特效元素的可调整参数进行调整,提高了对特效元素控制的便捷性。
在本公开的一个实施例中,在根据语义特征对所述特效元素的可调整参数进行调整时,可采用图3所示的方法。图3是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
如图3所示,上述根据语义特征对特效元素的可调整参数进行调整,包括:
在步骤301中,获取语义特征所对应的目标参数。
本实施例中,在获取语义特征后,根据语义特征确定特效元素的目标参数。其中,目标参数可包括目标颜色、目标形状、目标透明度、目标锐化度、目标对比度、目标位置信息等中的至少一种。
其中,目标颜色是指特效元素要调整为的颜色;目标形状是指特效元素的要调整为的形状;目标透明度是指特效元素要调整为的透明度;目标锐化度是指特效元素要调整为的锐化度;目标对比度是指特效元素要调整为的对比度;目标位置信息是指特效元素的某个区域或全部区域要调整到的位置信息。
对于目标位置信息,比如,特效元素为一朵花,花朵部分的位置可以移动,比如花朵是竖直的,可以调整花朵使其向左或向右偏移,显得更加生动。
在实际应用中,用户可以通过输入语音,调整特效元素的一个或多个可调整参数,如调整颜色,或者调整颜色和形状,或者调整颜色、形状和对比度等等。比如,语义特征为“花”、“紫色”,那么语义特征对应的特效元素“花”的目标颜色为“紫色”。又如,语义特征对应的目标参数为目标颜色为“绿色”、目标透明度为50%、目标位置信息为“画面的中间位置”。
在步骤302中,将特效元素的可调整参数调整为目标参数。
在确定目标参数后,可将特效元素可调整参数从当前参数调整为目标参数。比如,语义特征对应的目标参数为目标颜色为“绿色”、目标透明度为50%、目标位置信息为“画面的中间位置”,那么将特效元素的颜色从当前的黄色调整为绿色,将特效元素的透明度从当前的80%调整为50%,将特效元素的位置从当前位置移动到视频画面的中间位置。
本公开实施例中,在根据语义特征对特效元素的可调整参数进行调整时,可获取语义特征所对应的目标参数,其中,目标参数包括目标颜色、目标形状、目标透明度、目标锐化度、目标对比度、目标位置信息中的至少一种,然后将特效元素的可调整参数调整为目标参数。由此,通过根据语义特征对应的目标参数,可以对特效元素的一个或多个可调整参数进行调整,操作方便,丰富了特效元素的呈现效果。
在实际应用中,在拍摄视频的过程中,用户可能没有发出与调整特效元素有关的语句。基于此,在本公开的一个实施例中,当音频特征未包括语义特征,即未从采集的音频信息中提取语义特征时,可以进一步音量特征或频率特征,以根据音量特征或频率特征,对特效元素的可调整参数进行调整。下面结合图4进行说明,图4是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
如图4所示,该视频特效的控制方法包括:
在步骤401中,根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,特效元素包括可调整参数。
在步骤402中,根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息。
本实施例中,步骤401-步骤402与上述步骤101-步骤102类似,故在此不再赘述。
在步骤403中,从音频信息之中提取音频特征。
在步骤404中,当音频特征包括语义特征时,根据语义特征对特效元素的可调整参数进行调整。
本实施例中,步骤403-步骤404与上述步骤203-步骤204类似,故在此不再赘述。
在步骤405中,当音频特征未包括语义特征时,从音频信息之中提取音量特征和/或频率特征。
本实施例中,当从音频信息中未提取到语义特征时,可从音频信息中提取音量特征。其中,音量特征为音频信息的音量大小。
由于每个人发声时声带振动的频率不一样的,因此每个人的声音频率不同。当从音频信息中未提取到语义特征时,也可从音频信息中提取频率特征。
当然,当从音频信息中未提取到语义特征时,可从音频信息中提出音量特征和频率特征。
在具体实现时,当音频特征未包括语义特征时,可随机提取一种特征,或者音量特征和频率特征都提取。
或者,也可根据预先设置确定提取音量特征或频率特征,或者音量特征和频率特征。比如,对于特效元素的控制设置,用户打开了音量特征对应的控件,而频率特征对应的控件是关闭的,那么当从音频信息中未提出到语义特征时,从音频信息中提取音量特征;若音量特征和频率特征对应的控件是打开的,那么当从音频信息中未提出到语义特征时,从音频信息中提取音量特征和频率特征。由此,根据用户设置确定提取的特征,提高了特效元素的控制灵活性和个性化需求。
在步骤406中,根据音量特征和/或频率特征,对特效元素的可调整参数进行调整。
在获取音量特征和/或频率特征后,根据音量特征和/或频率特征,对特效元素的可调整参数进行调整。
作为一个示例,若从音频信息中提取的是音量特征或频率特征,那么可根据音量特征或频率特征对特效元素的所有可调整参数进行调整。若提取的是音量特征和频率特征,可根据音量特征默认调整某几个可调整参数,根据频率特征调整剩余的可调整参数。在调整时,可根据当前音量大小所属的音量范围,或频率特征所属的频率范围,确定对应的可调整参数的目标参数,进而根据目标参数进行调整。
比如,音量大于40db且小于60分贝时,特效元素的颜色为黄色,透明度40%;音量大于或等于60db且小于75db时,特效元素的颜色为蓝色,透明度为60%。若当前提取的音量特征为70db,那么将特效元素的颜色调整为蓝色,透明度调整为60%。
本公开实施例中,当音频特征包括语义特征时,优先根据语义特征对特效元素的可调整参数进行调整,当音频特征未包括语义特征时,从音频信息之中提取音量特征和/或频率特征,根据音量特征和/或频率特征,对特效元素的可调整参数进行调整。由此,当音频信息中未包括语义特征时,通过根据过从音频信息中提取的音量特征和/或频率特征,调整特效元素的可调整参数,控制形式多样化,灵活性强。
在实际应用中除了利用上述记载的提取音量特征和频率特征的方法,在本公开的一个实施例中,在从音频信息之中提取音频特征时,还可根据音频信息中多个时间片段的音量特征,获取音频信息的音量特征和/或频率特征,并根据音量特征和/或频率特征对特效元素的可调整参数进行调整。下面结合图5进行说明,图5是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
如图5所示,上述从音频信息之中提取音量特征和/或频率特征,包括:
在步骤501中,获取音频信息之中多个时间片段对应的音量特征和/或频率特征。
本实施例中,可以将拍摄目标视频所用的时间段划分为多个时间片段,每个时间片段为时间长度小于预设阈值的时间片段,具体的,可以是将目标视频拍摄的时间段等分为多个时间片段,也可以是时间片段不是均为划分的。然后,从每个时间片段对应的音频信息中提取时间片段对应的音量特征或频率特征。
以音量特征为例,具体地,通过API(Application Programming Interface,应用程序接口)获取AudioBufferList类型的数据,该类型的数据中包括每个时间片段对应的音量特征。
在步骤502中,根据多个时间片段的音量特征,获取音频信息的音量均值,并将音频信息的音量均值作为音量特征;和/或,根据多个时间片段的频率特征,获取音频信息的频率均值,并将音频信息的频率均值作为频率特征。
本实施例中,在获取多个时间片段对应的音量特征后,将所有时间片段的音量特征相加求和,然后除以时间片段的数量,得到值为音频信息的音量均值,将音频均值作为音频信息的音量特征。具体的计算公式如下所示:
Figure BDA0002642342750000111
其中,V表示音量均值,pi表示第i个时间片段对应的音量特征,N表示时间片段的数量。
在上述获取音频信息的音量均值后,为了控制方便,还可对音量均值进行归一化处理。具体地,可以采用如下公式进行归一化处理:
volume=10*lg(V)
其中,volume表示归一化后的音量均值,即分贝的大小,V表示所有时间片段的音量特征的音量均值。
对于频率特征的获取,采用类似的方法。可以理解的是,当从音频信息之中多个时间片段对应的音量特征和频率特征时,可根据多个时间片段的音量特征,获取音量信息的音量均值,和根据多个时间片段的频率特征,获取音量信息的频率均值,并将音量信息的音量均值作为从音频信息中提取的音量特征,将音频信息的频率均值作为从音频信息中提取的频率特征。
本公开实施例中,在从音频信息之中提取音量特征和/或频率特征时,可获取音频信息之中多个时间片段对应的音量特征或频率特征,然后根据多个时间片段的音量特征,获取音频信息的音量均值,并将音频信息的音量均值作为音量特征;和/或,根据多个时间片段的频率特征,获取音频信息的频率均值,并将音频信息的频率均值作为频率特征。由此,可通过根据各时间片段对应的音量特征,从音频信息中提取音量特征,和/或根据各时间片段对应的频率特征,从音频信息中提取频率特征,提高了音量特征和频率特征的准确性,在获取音量特征和/或频率特征后,可以通过音量特征和/或频率特征对特效元素进行控制,简单方便,无需用户通过特定动作控制特效元素。
由于特效元素的可调整参数可能有多个,当根据音量特征和/或频率特征,对特效元素的可调整参数进行调整时,可采用图6所示的方法进行调整。图6是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
如图6所示,上述根据音量特征和/或频率特征,对特效元素的可调整参数进行调整,包括:
在步骤601中,确定音量特征对应的第一目标可调整参数,和/或频率特征对应的第二目标可调整参数。
本实施例中,可根据预先设置确定提取的特征,以及该特征对应的可调整参数。具体地,若用户打开了音量特征对应的控件,并设置了音量特征调整的可调整参数。那么,当从音频信息中未提取到语义特征时,从音频信息中提取音量特征,并根据音量特征与可调整参数之间的对应关系,确定音量特征对应的可调整参数,这里称为第一目标可调整参数。
若用户打开了频率特征对应的控件,并设置了频率特征调整的可调整参数。那么,当从音频信息中未提取到语义特征时,从音频信息中提取频率特征,并根据频率特征与可调整参数之间的对应关系,确定频率特征对应的可调整参数,这里称为第二目标可调整参数。
若用户打开音量特征对应的控件,以及频率特征对应的控件,并设置了音量特征调整的可调整参数和频率特征调整的可调整参数,那么当从音频信息中未提取到语义特征时,从音频信息中提取音量特征和频率特征,并根据音量特征与可调整参数之间的对应关系,以及频率特征与可调整参数之间的对应关系,确定音量特征对应的第一目标可调整参数以及频率特征对应第二目标可调整参数。
比如,音量特征对应的第一目标可调整参数为颜色、形状,频率特征对应的第二目标可调整参数为透明度和对比度。
在设置音量特征调整的可调整数据和频率特征调整的可调整参数时,可提供特效元素的可调整参数列表,用户可从可调整参数列表中选择音量特征调整的可调整参数和频率特征调整的可调整参数。或者,用户也可输入音量特征调整的可调整参数和频率特征调整的可调整参数。
在实际应用中,音量特征对应的可调整参数和频率特征对应的可调整参数,也可以是开放者预先设置的、固定的,那么当用户打开音量特征对应的控件,和/或频率特征对应的控件时,确定音量特征对应的第一目标可调整参数,和/或频率特征对应的第二目标可调整参数。
在步骤602中,根据音量特征,对第一目标可调整参数进行调整,和/或根据频率特征,对第二目标可调整参数进行调整。
本实施例中,当从音频信息中提取的是音量特征,并确定音量特征对应的第一目标可调整参数后,可根据音量特征,对第一目标可调整参数进行调整。具体地,可根据音量特征所属的音量范围与第一目标可调整参数的参数值之间的对应关系,确定当前音量特征所属的音量范围,并确定所属音量范围对应的第一目标可调整参数的参数值,然后对第一目标可调整参数进行调整。其中,第一目标可调整参数可以是一个,也可以是多个。
当从音频信息中提取的是频率特征,并确定频率特征对应的第二目标可调整参数后,可根据频率特征,对第二目标可调整参数进行调整。具体地,可根据频率特征所属的频率范围与第二目标可调整参数的参数值之间的对应关系,确定当前频率特征所属的频率范围,并确定所属频率范围对应的第二目标可调整参数的参数值,然后对第二目标可调整参数进行调整。其中,第二目标可调整参数可以是一个,也可以是多个。
当从音频信息中提取音量特征和频率特征时,可采用上述方法,分别根据音量特征对第一目标可调整参数进行调整,根据频率特征对第二目标可调整参数进行调整。
本公开实施例中,在根据音量特征和/或频率特征,对特效元素的可调整参数进行调整时,可确定音量特征对应的第一目标可调整参数,和/或频率特征对应的第二目标可调整参数,然后根据音量特征,对第一目标可调整参数进行调整,和/或根据频率特征,对第二目标可调整参数进行调整。由此,在根据音量特征和/或频率特征对特效元素进行控制时,通过确定音量特征和频率特征分别对应的可调整参数,然后再进行调整,从而提高了对特效元素控制的准确性和多样化,提高了特效元素的展示效果。
在根据音量特征,对第一目标可调整参数进行调整时,在本公开的一个实施例中,还可通过图7所示的方式进行调整。图7是根据一示例性实施例示出的另一种视频特效的控制方法的流程示意图。
如图7所示,上述根据音量特征,对特效元素的可调整参数进行调整包括:
在步骤701中,确定音量特征对应的第一目标可调整参数。
本实施例中,确定第一目标可调整参数的方法可参见上述实施例,在此不再赘述。
在步骤702中,当音量特征小于第一预设阈值时,控制第一目标可调整参数以默认参数值进行展现。
本实施例中,判断音量特征是否小于第一预设阈值,当音量特征小于第一预设阈值时,可控制第一目标可调整参数以默认参数值进行展现。其中,第一预设阈值可根据需要设置;第一目标可调整参数可以是一个,也可是多个。
比如,第一预设阈值为40db,第一目标可调整参数为颜色、形状,默认的颜色为红色,默认的形状为圆形,当音量特征小于40db时,控制特效元素的以默认的黄色和圆形进行展现。
在步骤703中,当音量特征等于或大于第一预设阈值时,根据音量特征与第一预设阈值之间的差,确定音量特征的第一等级。
本实施例中,预先设置音量特征与第一阈值之间的差值所属的范围与音量特征的等级之间的关系。当音量特征等于或大于第一预设阈值时,计算音量特征与第一预设阈值之间的差值,通过根据差值所属的范围与音量特征的等级之间的关系,确定当前差值所属范围对应的音量特征的等级,这里称为第一等级。
在步骤704中,根据第一等级,控制第一目标可调整参数以与第一等级对应的参数值进行展现。
本实施例中,预先设置音量等级与第一目标可调整参数的参数值之间的对应关系,也就是不同音量特征的等级对应不同的参数值。在确定音量特征的第一等级后,根据该对应关系,确定第一等级对应的参数值,然后控制第一目标可调整参数以与第一等级对应的参数值进行展现。
比如,设置差值范围在10db内,对应音量等级为低级,差值大于10db小于20db对应中级,差值大于或等于20db对应高级,当前音量特征与阈值70db之间差值为15db,对应的音量等级为中级,而中级对应的颜色为黄色,那么控制特效元素的颜色以黄色进行展现。
图8是根据一示例性实施例示出的一种根据音量大小调整特效元素形状的示意图。如图8所示,当音量小于65db时,视频拍摄界面810中显示特效元素820为默认形状六变形;当音量等于或大于65db时,且根据音量与65db的差值,确定音量特征等级为中级,中级对应的形状为六角形,控制视频拍摄界面810中特效元素820显示为六角形。在控制特效元素的形状时,可通过设置绘制图像的顶点,达到改变形状的目的。
图9是根据一示例性实施例示出的一种根据音量特征调整特效元素透明度等级的示意图。假设透明度取值范围0到100%,图9中,特效元素为椅子830,预设阈值为70db。如图9所示,当音量特征等于或大于70db,且确定音量特征的等级为高级,高级对应的透明度为50%时,控制视频拍摄界面810中椅子830的透明度以50%展现;当音量小于70db时,视频拍摄界面810中椅子830的透明度以默认透明度70%展现。在调整透明度等级时,可通过设置阿尔法通道的值实现。
或者,设置特效元素具有多个透明度等级,如果音量特征小于第一预设阈值,则控制特效元素以默认的透明度等级进行展现。当音量特征大于或等于第一预设阈值时,根据音量特征与第一预设阈值之间的差,确定音量特征的第一等级,并根据音量特征的等级与透明度等级之间的对应关系,确定第一等级对应的透明度等级,并控制透明度以与第一等级对应的透明度等级进行展现。
当根据音量特征调整多个可调整参数时,可以设置音量等级与多个可调整参数的参数值之间的对应关系,当音量特征为某一个等级时,控制特效元素的多个可调整参数以与该等级对应的各自的参数值进行展现。比如,确定音量特征的等级为高级,对应的颜色为橙色,透明度为60%,则控制特效元素的颜色以橙色,透明度以60%进行展现。
需要说明的是,上述根据音量特征控制特效元素的可调整参数形状、颜色、透明度仅是示例,不能看作是对本公开的限制,还可根据音量特征调整特效元素的其他可调整参数,如对比度、锐化度等等。
本公开实施例中,在根据音量特征,对第一目标可调整参数进行调整时,当音量特征小于第一预设阈值时,控制第一目标可调整参数以默认参数值进行展现;当音量特征等于或大于第一预设阈值时,根据音量特征与第一预设阈值之间的差,确定音量特征的第一等级,并根据第一等级控制第一目标可调整参数以与第一等级对应的参数值进行展现。由此,通过根据音量特征与第一预设阈值的大小关系,以及音量特征与第一预设阈值的差值对应的等级,对特效元素的可调整参数进行调整,提高了控制方式的多样化,使特效元素所展现的视觉效果更加生动。
对于根据频率特征,对第二目标可调整参数进行调整,在本公开的一个实施例中,在获取频率特征后,当频率特征小于第二预设阈值时,控制第二目标可调整参数以默认参数值进行展现;当频率特征等于或大于第二预设阈值时,根据频率特征与第二预设阈值之间的差,确定频率特征的第二等级,并根据第二等级控制第二目标可调整参数以与第二等级对应的参数值进行展现。
其中,第二预设阈值可根据需要进行设置。
本实施例中,根据频率特征与第二预设阈值的关系,对第二目标可调整参数进行调整的方法,与上述根据音量特征与第一预设阈值的关系,对第一目标可调整参数进行调整的方法类似,故在此不再赘述。
本公开实施例中,在根据频率特征,对第二目标可调整参数进行调整时,当频率特征小于第二预设阈值时,控制第二目标可调整参数以默认参数值进行展现;当频率特征等于或大于第二预设阈值时,根据频率特征与第二预设阈值之间的差,确定频率特征的第二等级,并根据第二等级控制第二目标可调整参数以与第二等级对应的参数值进行展现。由此,通过根据频率特征与第二预设阈值的大小关系,以及频率特征与第二预设阈值的差值对应的等级,对特效元素的可调整参数进行调整,提高了控制方式的多样化,使特效元素所展现的视觉效果更加生动。
可以理解的是,当从音频信息中提取音量特征和频率特征时,可根据上述描述的根据音量特征对第一目标可调整参数进行调整的方式,和根据频率特征对第二目标可调整参数进行调整,实现根据音量特征和频率特征,对特效元素的可调整参数进行调整。
为了提高对特效元素控制的智能化,在本公开的一个实施例中,还可获取拍摄的视频中人物的人物表情特征,根据采集的音频信息结合人物表情特征对特效元素的可调整参数进行控制。
具体的,对视频中连续多帧图像进行人脸识别,确定视频中的人物,并获取视频中每帧图像中人物的人物表情特征,可将图像数量最多的表情特征,作为视频中人物的表情特征。其中,人物表情特征包括:五官特征、五官动作特征等等。
然后,根据预设人脸表情特征与人物表情特征之间的对应关系,确定与获取的视频中人物的人物表情特征。其中,人物表情特征可指示人的心情,比如人物表情特征为嘴巴上扬,对应的人物的心情特征是开心,又如人物表情特征为嘴巴紧闭,对应的人物的心情特征是不开心。
在获取音频特征和人物表情特征后,可根据音频特征和人物表情特征,对特效元素进行控制。具体地,可根据人物表情特征获取与人物表情特征对应的特效元素,然后根据音频特征调整特效元素。
比如,根据人物表情特征确定人物的心情为开心,可以将预设的与心情“开心”对应的特效元素,如阳光、向日葵、跳跃的卡通人物等中的一个或多个作为视频中的特效元素。然后,根据音频特征对确定的特效元素的可调整参数,如颜色、形状、透明度、对比度、位置信息等级进行控制,具体方法可参见上述实施例。
本公开实施例中,还可获取拍摄的目标视频之中人物的人物表情特征,然后根据音频特征和人物表情特征对特效元素的可调整参数进行控制。由此,可以根据拍摄的视频中人物的表情和采集的音频信息的音频特征,对特效元素的可调整参数进行控制,从而提高了对特效元素控制的个性化和智能化。
在本公开的一个实施例中,在根据音频特征和人物特征对特效元素进行控制时,可先根据人物特征生成多个候选特效元素,然后音频特征从中选择一个候选特效元素作为视频中的特效元素。下面结合图10进行说明,图10是根据一示例性实施例示出的另一种视频特效的控制方法的流程图。
如图10所示,该视频特效的控制方法的包括以下步骤
在步骤901中,根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,特效元素包括可调整参数。
本实施例中,用户触发拍摄视频的按钮后,电子设备根据用户操作,获取视频拍摄指令,然后根据视频拍摄指令进入拍摄界面,利用电子设备的摄像装置对拍摄对象进行视频拍摄。在拍摄视频中过程中,可以根据设置的特效元素,在视频的画面中加入特效元素。
在步骤902中,根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息。
为了采集视频拍摄过程中的音频信息,以及节省电量,在获取视频拍摄指令后,根据视频拍摄指令启动音频采集装置如启动麦克风,即打开麦克风,通过麦克风采集视频拍摄过程中电子设备周围的音频信息。从而,实现在获取拍摄指令后,根据拍摄指令拍摄视频的同时,根据拍摄指令启动麦克风。
当目标视频拍摄完毕时,可以关闭音频采集装置,以节省电子设备的电量。
在步骤903中,从音频信息之中提取音频特征。
在步骤904中,获取目标视频之中人物的人物表情特征。
本实施例中,步骤903-步骤904可参见上述实施例,故在此不再赘述。
在步骤905中,根据人物表情特征生成多个候选特效元素,并在视频拍摄界面之中进行展示。
本实施例中,可以根据人物表情特征生成多个候选特效元素,并在视频拍摄界面中进行显示。
比如,根据人物表情特征确定人物心情为不开心,可生成下雨、哭泣的卡通人物等多个候选特效元素,然后将生成的多个候选特效元素,在视频拍摄界面中进行展示,以供用户选择。又如,根据人物表情特征确定人物心情为开心,可生成花朵、笑脸等多个候选特效元素,然后在视频拍摄界面中进行展示以供用户选择。
在步骤906中,根据音频特征从多个候选特效元素之中选择一个作为目标视频之中的特效元素。
由于有多个候选特效元素,同时呈现多个特效元素,会影响视频的展现效果,本实施例中,可以根据音频特征从多个候选特效元素之中选择一个作为目标视频之中的特效元素。
在选择特效元素时,可根据音频特征比如音量特征,选择特效元素。比如,音量等于或大于第一预设阈值时,在所占面积大的前预设数量的候选特效元素中随机选择一个作为目标视频中的特效元素;当音量小于第一预设阈值时,在所占面积最小的前预设数量的候选特效元素中随机选择一个作为目标视频中的特效元素。又如,根据视频拍摄界面显示的候选特效元素,用户语音输入选择的特效元素,电子设备根据音频信息获取语义特征,根据语义特征确定用户选择的候选特效元素,将该候选特效元素作为目标视频中的特效元素。
本公开实施例中,在根据所述音频特征和所述人物表情特征,对所述特效元素的可调整参数进行调整时,根据人物表情特征生成多个候选特效元素,并在视频拍摄界面之中进行展示,根据音频特征从多个候选特效元素之中选择一个作为目标视频之中的特效元素。由此,根据人物表情特征生成多个候选特效元素,使得生成的候选特效元素与视频中的人物相关,根据音频特征从多个候选特效元素中选择一个作为视频中特效元素,使得特效元素更加贴合视频中的人物,提高了视频的展示效果和特效元素的个性化。
图11是根据一示例性实施例示出的一种视频特效的控制装置的框图。如图11所示,该装置1000包括:添加模块1010、采集模块1020、提取模块1030及调整模块1040。
添加模块1010,被配置为根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,特效元素包括可调整参数;
采集模块1020,被配置为根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息;
提取模块1030,被配置为从音频信息之中提取音频特征;以及
调整模块1040,被配置为根据音频特征对特效元素的可调整参数进行调整。
在本公开的一个实施例中,当音频特征包括语义特征时,该调整模块1040,被配置为:
根据语义特征对特效元素的可调整参数进行调整。
在本公开的一个实施例中,该音频特征为音量特征,该调整模块1040,包括:
第一获取单元,被配置为获取语义特征所对应的目标参数,其中,目标参数包括目标颜色、目标形状、目标透明度、目标锐化度、目标对比度、目标位置信息中的至少一种;以及
第一调整单元,被配置为将特效元素的可调整参数调整为目标参数。
在本公开的一个实施例中,该提取模块1030,还被配置为:
当音频特征未包括语义特征时,从音频信息之中提取音量特征和/或频率特征;
该调整模块1040,还被配置为:
根据音量特征和/或频率特征,对特效元素的可调整参数进行调整。
在本公开的一个实施例中,该提取模块1030,包括:
第二获取单元,被配置为获取音频信息之中多个时间片段对应的音量特征和/或频率特征;
第三获取单元,被配置为根据所述多个时间片段的音量特征,获取所述音频信息的音量均值,并将所述音频信息的音量均值作为所述音量特征;和/或,根据所述多个时间片段的频率特征,获取所述音频信息的频率均值,并将所述音频信息的频率均值作为所述频率特征。
在本公开的一个实施例中,该调整模块1040,包括:
确定单元,被配置为确定音量特征对应的第一目标可调整参数,和/或频率特征对应的第二目标可调整参数;
第二调整单元,被配置为根据音量特征,对第一目标可调整参数进行调整,和/或根据频率特征,对第二目标可调整参数进行调整。
在本公开的一个实施例中,该第二调整单元,被配置为:
当音量特征小于第一预设阈值时,控制第一目标可调整参数以默认参数值进行展现;
当音量特征等于或大于第一预设阈值时,根据音量特征与第一预设阈值之间的差,确定音量特征的第一等级,并根据第一等级控制第一目标可调整参数以与第一等级对应的参数值进行展现。
在本公开的一个实施例中,该第二调整单元,还被配置为:
当频率特征小于第二预设阈值时,控制第二目标可调整参数以默认参数值进行展现;
当频率特征等于或大于第二预设阈值时,根据频率特征与第二预设阈值之间的差,确定频率特征的第二等级,并根据第二等级控制第二目标可调整参数以与第二等级对应的参数值进行展现。
在本公开的一个实施例中,该装置还可包括:
获取模块,被配置为获取拍摄的视频之中人物的人物表情特征;以及
该调整模块1040,还被配置为根据音频特征和人物表情特征对特效元素的可调整参数进行调整。
在本公开的一个实施例中,该调整模块1040,包括:
生成单元,被配置为根据人物表情特征生成多个候选特效元素,并在视频拍摄界面之中进行展示;以及
选择单元,被配置为根据音频特征从多个候选特效元素之中选择一个作为目标视频之中的特效元素。
需要说明的是,本公开的视频特效的控制方法的执行主体为电子设备。本公开实施例的视频特效的控制装置可以配置在任意电子设备中,以执行本公开实施例的视频特效的控制方法。
本公开的实施例提供的视频特效的控制装置,通过根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,同时根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息,并从音频信息之中提取音频特征,根据音频特征对特效元素的可调整参数进行调整。由此,在拍摄的视频加入了特效元素的场景下,通过从拍摄视频时实时采集的音频信息中提取音频特征,利用音频特征对特效元素的可调整参数进行调整,从而无需嘴巴或眼睛等必须在拍摄范围内才能控制特效元素,不仅控制方式多样化、操作简单,而且丰富了特效元素的呈现效果。
图12是根据一示例性实施例示出的一种用于视频特效的控制的电子设备2000的框图。
如图12所示,上述电子设备2000包括:
存储器2010及处理器2020,连接不同组件(包括存储器2010和处理器2020)的总线2030,存储器2010存储有计算机程序,当处理器2020执行所述程序时实现本公开实施例所述的视频特效的控制方法。
总线2030表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备2000典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备2000访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器2010还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)2040和/或高速缓存存储器2050。电子设备2000可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统2060可以用于读写不可移动的、非易失性磁介质(图12未显示,通常称为“硬盘驱动器”)。尽管图12中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线2030相连。存储器2010可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块2070的程序/实用工具2080,可以存储在例如存储器2010中,这样的程序模块2070包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块2070通常执行本公开所描述的实施例中的功能和/或方法。
电子设备2000也可以与一个或多个外部设备2090(例如键盘、指向设备、显示器2091等)通信,还可与一个或者多个使得用户能与该电子设备2000交互的设备通信,和/或与使得该电子设备2000能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口2092进行。并且,电子设备2000还可以通过网络适配器2093与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器2093通过总线2030与电子设备2000的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备2000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器2020通过运行存储在存储器2010中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的视频特效的控制方法的解释说明,此处不再赘述。
本公开实施例提供的电子设备,可以执行如前所述的视频特效的控制方法,通过根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,同时根据视频拍摄指令实时对电子设备所处环境进行音频采集,以生成音频信息,并从音频信息之中提取音频特征,根据音频特征对特效元素的可调整参数进行调整。由此,在拍摄的视频加入了特效元素的场景下,通过从拍摄视频时实时采集的音频信息中提取音频特征,利用音频特征对特效元素的可调整参数进行调整,从而无需嘴巴或眼睛等必须在拍摄范围内才能控制特效元素,不仅控制方式多样化、操作简单,而且丰富了特效元素的呈现效果。
为了实现上述实施例,本公开还提出一种存储介质。
其中,该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前所述的视频特效的控制方法。
为了实现上述实施例,本公开还提供一种计算机程序产品,该计算机程序由电子设备的处理器执行时,使得电子设备能够执行如前所述的视频特效的控制方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频特效的控制方法,其特征在于,包括:
根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,所述特效元素包括可调整参数;
根据所述视频拍摄指令实时对所述电子设备所处环境进行音频采集,以生成音频信息;
从所述音频信息之中提取音频特征;以及
根据所述音频特征对所述特效元素的可调整参数进行调整。
2.如权利要求1所述的视频特效的控制方法,其特征在于,当所述音频特征包括语义特征时,所述根据所述音频特征对所述特效元素的可调整参数进行调整,包括:
根据所述语义特征对所述特效元素的可调整参数进行调整。
3.如权利要求2所述的视频特效的控制方法,其特征在于,所述根据所述语义特征对所述特效元素的可调整参数进行调整,包括:
获取所述语义特征所对应的目标参数,其中,所述目标参数包括目标颜色、目标形状、目标透明度、目标锐化度、目标对比度、目标位置信息中的至少一种;以及
将所述特效元素的可调整参数调整为所述目标参数。
4.如权利要求1所述的视频特效的控制方法,其特征在于,所述从所述音频信息之中提取音频特征,包括:
当所述音频特征未包括语义特征时,从所述音频信息之中提取音量特征和/或频率特征;
所述根据所述音频特征对所述特效元素的可调整参数进行调整,包括:
根据所述音量特征和/或所述频率特征,对所述特效元素的可调整参数进行调整。
5.如权利要求4所述的视频特效的控制方法,所述从所述音频信息之中提取音量特征和/或频率特征,包括:
获取所述音频信息之中多个时间片段对应的音量特征和/或频率特征;
根据所述多个时间片段的音量特征,获取所述音频信息的音量均值,并将所述音频信息的音量均值作为所述音量特征;和/或,
根据所述多个时间片段的频率特征,获取所述音频信息的频率均值,并将所述音频信息的频率均值作为所述频率特征。
6.如权利要求4或5所述的视频特效的控制方法,其特征在于,所述根据所述音量特征和/或所述频率特征,对所述特效元素的可调整参数进行调整,包括:
确定所述音量特征对应的第一目标可调整参数,和/或所述频率特征对应的第二目标可调整参数;
根据所述音量特征,对所述第一目标可调整参数进行调整,和/或根据所述频率特征,对所述第二目标可调整参数进行调整。
7.如权利要求6所述的视频特效的控制方法,其特征在于,所述根据所述音量特征,对所述第一目标可调整参数进行调整,包括:
当所述音量特征小于第一预设阈值时,控制所述第一目标可调整参数以默认参数值进行展现;
当所述音量特征等于或大于所述第一预设阈值时,根据所述音量特征与所述第一预设阈值之间的差,确定所述音量特征的第一等级,并根据所述第一等级控制所述第一目标可调整参数以与所述第一等级对应的参数值进行展现。
8.一种视频特效的控制装置,其特征在于,包括:
添加模块,被配置为根据视频拍摄指令进入电子设备的视频拍摄界面,并在拍摄目标视频的过程中加入特效元素,其中,所述特效元素包括可调整参数;
采集模块,被配置为根据所述视频拍摄指令实时对所述电子设备所处环境进行音频采集,以生成音频信息;
提取模块,被配置为从所述音频信息之中提取音频特征;以及
调整模块,被配置为根据所述音频特征对所述特效元素的可调整参数进行调整。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-7中任一项所述的视频特效的控制方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-7中任一项所述的视频特效的控制方法。
CN202010843770.8A 2020-08-20 2020-08-20 视频特效的控制方法、装置、电子设备及存储介质 Pending CN114079817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010843770.8A CN114079817A (zh) 2020-08-20 2020-08-20 视频特效的控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010843770.8A CN114079817A (zh) 2020-08-20 2020-08-20 视频特效的控制方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114079817A true CN114079817A (zh) 2022-02-22

Family

ID=80281898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010843770.8A Pending CN114079817A (zh) 2020-08-20 2020-08-20 视频特效的控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114079817A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630057A (zh) * 2022-03-11 2022-06-14 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质
WO2023244168A3 (en) * 2022-06-17 2024-02-22 Lemon Inc. Audio or visual input interacting with video creation

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104511A1 (en) * 2014-10-14 2016-04-14 Samsung Electronics Co., Ltd. Method and Apparatus for Managing Images Using a Voice Tag
CN105578056A (zh) * 2016-01-27 2016-05-11 努比亚技术有限公司 拍摄的终端及方法
CN106231196A (zh) * 2016-08-16 2016-12-14 北京金山安全软件有限公司 一种视频拍摄控制方法、装置及电子设备
CN109495767A (zh) * 2018-11-29 2019-03-19 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN109819171A (zh) * 2019-02-26 2019-05-28 维沃移动通信有限公司 一种视频拍摄方法及终端设备
CN110611776A (zh) * 2018-05-28 2019-12-24 腾讯科技(深圳)有限公司 特效处理方法、计算机设备和计算机存储介质
CN110675310A (zh) * 2019-07-02 2020-01-10 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN111081285A (zh) * 2019-11-30 2020-04-28 咪咕视讯科技有限公司 一种调整特效的方法、电子设备及存储介质
CN111277761A (zh) * 2020-03-05 2020-06-12 北京达佳互联信息技术有限公司 视频拍摄方法、装置、系统、电子设备和存储介质
CN111383638A (zh) * 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN111416991A (zh) * 2020-04-28 2020-07-14 Oppo(重庆)智能科技有限公司 特效处理方法和设备,及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160104511A1 (en) * 2014-10-14 2016-04-14 Samsung Electronics Co., Ltd. Method and Apparatus for Managing Images Using a Voice Tag
CN105578056A (zh) * 2016-01-27 2016-05-11 努比亚技术有限公司 拍摄的终端及方法
CN106231196A (zh) * 2016-08-16 2016-12-14 北京金山安全软件有限公司 一种视频拍摄控制方法、装置及电子设备
CN110611776A (zh) * 2018-05-28 2019-12-24 腾讯科技(深圳)有限公司 特效处理方法、计算机设备和计算机存储介质
CN109495767A (zh) * 2018-11-29 2019-03-19 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN111383638A (zh) * 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN109819171A (zh) * 2019-02-26 2019-05-28 维沃移动通信有限公司 一种视频拍摄方法及终端设备
CN110675310A (zh) * 2019-07-02 2020-01-10 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN111081285A (zh) * 2019-11-30 2020-04-28 咪咕视讯科技有限公司 一种调整特效的方法、电子设备及存储介质
CN111277761A (zh) * 2020-03-05 2020-06-12 北京达佳互联信息技术有限公司 视频拍摄方法、装置、系统、电子设备和存储介质
CN111416991A (zh) * 2020-04-28 2020-07-14 Oppo(重庆)智能科技有限公司 特效处理方法和设备,及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630057A (zh) * 2022-03-11 2022-06-14 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质
CN114630057B (zh) * 2022-03-11 2024-01-30 北京字跳网络技术有限公司 确定特效视频的方法、装置、电子设备及存储介质
WO2023244168A3 (en) * 2022-06-17 2024-02-22 Lemon Inc. Audio or visual input interacting with video creation

Similar Documents

Publication Publication Date Title
US11321385B2 (en) Visualization of image themes based on image content
US9811933B2 (en) Image editing using selective editing tools
US10542323B2 (en) Real-time modifiable text captioning
CN105930035A (zh) 显示界面背景的方法及装置
CN109474845B (zh) 弹幕控制方法、弹幕处理服务器以及计算机可读存储介质
CN109168062B (zh) 视频播放的展示方法、装置、终端设备及存储介质
US11409794B2 (en) Image deformation control method and device and hardware device
CN110174942B (zh) 眼动合成方法及装置
CN110636365B (zh) 视频字符添加方法、装置、电子设备及存储介质
CN114079817A (zh) 视频特效的控制方法、装置、电子设备及存储介质
US20190013020A1 (en) Electronic device-awakening method and apparatus, device and computer-readable storage medium
CN108073572A (zh) 信息处理方法及其装置、同声翻译系统
JP2023103335A (ja) コンピュータプログラム、サーバ装置、端末装置及び表示方法
CN113301372A (zh) 直播方法、装置、终端及存储介质
CN114904268A (zh) 一种虚拟形象的调整方法、装置、电子设备及存储介质
CN113610723A (zh) 图像处理方法及相关装置
CN112149599B (zh) 表情追踪方法、装置、存储介质和电子设备
CN113450804A (zh) 语音可视化方法、装置、投影设备及计算机可读存储介质
CN117789306A (zh) 图像处理方法、装置及存储介质
CN112488650A (zh) 会议气氛调节方法、电子设备及相关产品
US12058410B2 (en) Information play control method and apparatus, electronic device, computer-readable storage medium and computer program product
KR20130142315A (ko) 캐릭터 서비스 시스템 및 그의 캐릭터 서비스 제공 방법
US20200125788A1 (en) Information processing device and information processing method
US20230093165A1 (en) Information processing apparatus, information processing method, and program
CN114038034A (zh) 虚拟人脸选择模型训练方法、在线视频心理咨询隐私保护方法、存储介质及心理咨询系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination