CN112532903A - 一种智能录像方法、电子设备与计算机可读存储介质 - Google Patents

一种智能录像方法、电子设备与计算机可读存储介质 Download PDF

Info

Publication number
CN112532903A
CN112532903A CN201910883538.4A CN201910883538A CN112532903A CN 112532903 A CN112532903 A CN 112532903A CN 201910883538 A CN201910883538 A CN 201910883538A CN 112532903 A CN112532903 A CN 112532903A
Authority
CN
China
Prior art keywords
video
recording
sound
slow motion
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910883538.4A
Other languages
English (en)
Other versions
CN112532903B (zh
Inventor
李远友
罗巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910883538.4A priority Critical patent/CN112532903B/zh
Publication of CN112532903A publication Critical patent/CN112532903A/zh
Application granted granted Critical
Publication of CN112532903B publication Critical patent/CN112532903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种智能录像方法、电子设备与计算机可读存储介质。该方法应用于处于慢动作视频录制模式的电子设备,所述慢动作视频录制模式的运动侦测功能已开启;所述方法包括:响应于检测到用户输入的视频录制指令,开始采集声音信号,然后,当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,从而,生成目标视频。本申请所提供的技术方案能够基于声音变化而自动触发慢动作录像,有利于提高慢动作视频的录制起点的准确率,提高用户录制慢动作视频的体验。

Description

一种智能录像方法、电子设备与计算机可读存储介质
技术领域
本申请涉及人工智能领域的计算机视觉技术,尤其涉及一种智能录像方法、电子设备与计算机可读存储介质。
背景技术
慢动作录像功能,能够以较高的帧率来录制视频,当以较低的帧率来播放该视频时,就会呈现出一种放慢的视频播放效果。例如,可以960帧/秒(frames per second,fps)或更高的帧率来录制视频,并以30fps的帧率来播放视频,则会有32倍的慢动作播放效果。
慢动作视频的录制时长较短,一般小于1秒,因此,对录制起点的控制就变得非常重要。录制起点较早或较晚,都会导致错过用户想要抓拍的精彩瞬间。例如,图1示出了一种抓拍气球爆炸时的慢动作视频场景。在该场景中,画面a-画面e为用户想要抓拍的精彩瞬间,但现有的慢动作视频一般是基于画面出现较大变化时,才开始录制慢动作视频,其录制区间为画面c-画面e,录制起点较晚,导致慢动作视频错失了画面a-画面c之间的精彩瞬间。
发明内容
本申请提供了一种智能录像方法、电子设备与计算机可读存储介质,用以通过声音信号的变化来确定录制慢动作视频的起点,或者,可以结合画面变化与声音信号的变化来确定录制慢动作视频的起点,从而,提高慢动作视频的录制起点的准确率,并进而提高用户录制慢动作视频的体验。
第一方面,本申请提供了一种智能录像方法。在该方法中,电子设备的相机应用被开启,且处于慢动作视频录制模式,而且,如图4所示,相机应用中的慢动作视频录制模式的运动侦测功能已开启。在这种情况下,若用户输入了视频录制指令,则电子设备开始采集声音信号,此时,并未开始录制慢动作视频。当声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,从而,由此生成目标视频,如图10A~10E所示。由此,本申请实施例能够以声音变化为依据实现慢动作视频的录制,从而,针对一些画面变化较小或者对象运动速度较快的场景,例如子弹出膛、烟花爆炸等场景,都能够基于声音变化来确定一个较为合适的录制起点,从而自动录制得到这些场景的精彩瞬间,有利于提高用户录制慢动作视频的体验。
其中,当声音信号在连续两帧中的声音增强幅度大于预设幅度阈值时,即可达到预设条件,此时,自动录制第一视频帧集合。一种可能的设计中,若连续两帧的中的所述电压幅值之间的增长程度大于预设阈值,则达到预设条件。其中,任意一帧的电压幅值可以为一帧中多个电压幅值的最大值、平均值、和或者标准差来表示。而连续两帧的增长程度则可以通过差值或比值来确定。
在一个可能的实施例中,还可以对采集到的声音信号进行滤波处理,从而,当滤波处理后的声音信号增强幅度达到所述预设条件时,自动录制第一视频帧集合。如此,能够在一定程度上避免杂声干扰,有利于得到更为接近实际场景的录制起点。
在前述任一实施例中,可以对所述第一视频帧集合进行编码,以生成所述目标视频。
在另一种可能的设计中,响应于检测到所述用户输入的所述视频录制指令,电子设备开始采集第二视频帧。此时,还可以结合画面检测来确定录制起点。
在一个可能的实施例中,当所述声音信号的声音增强幅度达到预设条件,且所述第二视频帧的画面变化幅度达到预设的第一阈值时,自动录制所述第一视频帧集合。此时,声音发生较大变化,且检测到的画面变化也较大,说明被拍摄对象正在发生变化,这很有可能就是用户想要拍摄的精彩瞬间,因此,立即开始录制慢动作视频。
在另一可能的实施例中,当所述声音信号的声音增强幅度达到预设条件,且所述第二视频帧的画面变化幅度达到预设的第二阈值时,自动录制所述第一视频帧集合;其中,所述第一阈值大于所述第二阈值。这种实现方式可以作为上一实现方式的补充。如图9A所示。在过这种实施例中,若发生了声音突变,但画面开始出现明显变化,则也可以立即开始录制慢动作视频,以避免错过精彩瞬间。
除此之外的另一种实施例中,当所述声音信号的声音增强幅度达到预设条件时,经历第一时长,若所述第二视频帧的画面变化幅度达到预设的第二阈值时,自动录制所述第一视频帧集合;其中,所述第一阈值大于所述第二阈值。这种场景中,优先考虑声音突变,在此基础上,为画面变化预留了缓冲时间,例如图9D所示。该实施例是考虑到声音突变和画面变化预留了间隔时间很多情况下,而者并非能完全对应于同一个时刻。例如,声音突变和画面明显变化相差0.2ms,这种情况下,并不满足“声音突变且画面明显变化”的条件,因此,并不会录制慢动作视频,可能就会导致错失精彩瞬间。而这一实施例则解决了这种困境,为实际场景预留了更多可能,灵活性更高。
除此之外的另一个实施例中,当所述第二视频帧的画面变化幅度达到预设的第二阈值时,经历第二时长,若所述声音信号的声音增强幅度达到预设条件,自动录制第一视频帧集合。例如,图8C所示,该实施例以画面检测为优先,并为声音变化预留了缓冲时长。
在前述设计中,若在用户输入的所述视频录制指令时,即开始采集第二视频帧,则在生成目标视频时,除前述实施例所述,对所述第一视频帧集合进行编码,以生成所述目标视频的实现方式之外,还可以对所述第一视频帧集合与部分第二视频帧进行编码,以生成所述目标视频。这有利于生成更为准确的慢动作视频。如图10D与图10E所示,被拍摄对象可能在电子设备开始录制慢动作视频之前就发生了变化,这种情况下,可以更灵活的生成慢动作视频,且有利于得到更贴合被拍摄对象运动情况的慢动作视频。
除此之外,本申请实时在生成目标视频时,还可以包括常速视频片段或快速视频片段。
此外,考虑到慢动作视频在播放过程中,可能会发生声音畸变,因此,本申请的一种实施例中,所生成的所述目标视频中可以不包含音频数据。例如,声音采集器可以在开始录制慢动作视频时就停止采集声音信号。又例如,声音采集器可任意设置,采集或不采集声音信号均可,但在生成目标视频时,不使用声音数据。
另一种实施例中,电子设备生成的所述目标视频包含音频数据,所述音频数据在所述目标视频中常速播放。例如,可以对采集到的声音信号进行处理,使其常速播放,并多次循环。又例如,可以为目标视频配置一段常速播放的音乐等音频数据。本申请对此不予限定。
除此之外,在电子设备采集视频帧的过程中,电子设备还可以显示慢动作预览界面;从而,响应于检测到所述视频录制指令,在所述慢动作预览界面上显示采集到的视频帧。
第二方面,本申请实施例提供了一种电子设备,包括:一个或多个摄像头,用于采集图像或视频;一个或多个声音采集器,用于采集声音信号;触摸屏,所述触摸屏包括触控面板和显示屏;一个或多个处理器;一个或多个存储器;以及一个或多个计算机程序;其中,所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令;当所述指令被所述电子设备执行时,以使所述电子设备执行如前述任一实施例所述的智能录像方法。
第三方面,本申请实施例提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述任一方面任一项可能的设计中的智能录像方法。
第四方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述任一方面任一项可能的设计中的智能录像方法。
综上,本申请所提供的一种智能录像方法、电子设备与计算机可读存储介质,能够通过声音信号的变化来确定录制慢动作视频的起点,或者,可以结合画面变化与声音信号的变化来确定录制慢动作视频的起点,有利于提高慢动作视频的录制起点的准确率,并进而提高了用户录制慢动作视频的体验。
附图说明
图1为现有技术中录制气球爆炸场景的慢动作视频的示意图;
图2为本申请实施例提供的一种电子设备的硬件结构示意图;
图3为本申请实施例提供的一种拍摄原理示意图;
图4为本申请实施例提供的一种慢动作预览界面的显示界面示意图;
图5为本申请实施例提供的另一种慢动作预览界面的显示界面示意图;
图6为本申请实施例中电子设备采集到的声音信号的示意图;
图7A为本申请实施例所提供的一种智能录像方法的流程示意图;
图7B为本申请实施例所提供的一种智能录像方法的实现流程示意图;
图8A为本申请实施例所提供的另一种智能录像方法的流程示意图;
图8B为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图8C为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图8D为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图9A为本申请实施例所提供的另一种智能录像方法的流程示意图;
图9B为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图9C为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图9D为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图10A为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图10B为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图10C为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图10D为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图10E为本申请实施例所提供的另一种智能录像方法的实现流程示意图;
图11为本申请实施例提供的另一种电子设备的结构示意图;
图12为本申请所提供的另一种智能录像方法的流程示意图。
具体实施方式
以下,结合附图对本实施例的实施方式进行详细描述。
为了便于理解,示例的给出了部分与本申请实施例相关概念的说明以供参考。如下所示:
帧率(Frame rate):是以帧为单位的位图图像连续出现在显示器上的频率(速率)。
FPS(Frames Per Second):即每秒显示的帧数(帧/秒),每秒钟帧数越多,电子设备所显示的画面就会越流畅。
视频帧:以960fps为例,在1秒的拍摄时间内电子设备可连续采集到960帧拍摄画面,则每一个拍摄画面即可称为一个视频帧。
录像帧率/录制帧率/拍摄帧率:电子设备在单位时间内录制/拍摄的视频帧的数量。
播放帧率:在进行视频播放时,电子设备每秒播放的视频帧的数量。
显示帧率:电子设备相机应用的预览界面中单位时间内显示的视频帧的数量。当电子设备显示帧率高于16fps时,人眼就会认为看到的画面是连贯的。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
本申请实施例提供的录像方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等任意可以通过摄像头进行视频录制的电子设备上,本申请实施例对此不作任何限制。
示例性的,图2示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141可接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。
电源管理模块141可用于监测电池容量,电池循环次数,电池充电电压,电池放电电压,电池健康状态(例如漏电,阻抗)等性能参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括一个或多个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成一个或多个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。在一些实施例中,手机100可以包括1个或多个摄像头。摄像头193可以是前置摄像头也可以是后置摄像头。如图3所示,摄像头193一般包括镜头(lens)和感光元件(sensor),该感光元件可以为CCD(charge-coupled device,电荷耦合元件)或者CMOS(complementary metal oxide semiconductor,互补金属氧化物半导体)等任意感光器件。
仍如图3所示,在拍摄照片的过程中,被拍摄物体的反射光线经过镜头后可生成光学图像,该光学图像投射到感光元件上,感光元件将接收到的光信号转换为电信号,进而,摄像头193将得到的电信号发送至DSP(Digital Signal Processing,数字信号处理)模块进行数字信号处理,最终得到一帧数字图像。
类似的,在拍摄视频的过程中,摄像头193可按照一定的帧率连续拍摄多帧数字图像,这连续的多帧数字图像经过编码后可形成一段视频。由于人类眼睛的特殊生理结构,当所看画面的帧率高于16帧/秒(fps)时,人眼就会认为是看到的画面是连贯的,此现象可称为视觉停留。为了保证用户观看视频的连贯性,手机在拍摄视频时可按照高于16帧/秒的帧率(例如30fps或60fps)采集每一帧图像。这样,用户在观看手机拍摄出的视频时从感官上认为视频中的画面是连贯的。
其中,使用摄像头193拍摄得到的图像或视频可通过显示屏194在手机100上输出,也可以将该数字图像存储在内部存储器121(或外部存储器120)中,本申请实施例对此不做任何限制。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的联系人智能推荐的方法,以及各种功能应用和数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。在另一些实施例中,处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,来使得电子设备100执行本申请实施例中所提供的智能推荐号码的方法,以及各种功能应用和数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置一个或多个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
传感器180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等,本申请实施例对此不做任何限制。
当然,本申请实施例提供的电子设备100还可以包括按键190、马达191、指示器192以及SIM卡接口195等一项或多项器件,本申请实施例对此不做任何限制。
为了方便清楚地理解下述各实施例,现给出相关技术的简要介绍:
慢动作摄影,也可称为高帧率摄影或慢动作视频,可慢速播放拍摄到的画面内容。一般,电子设备进行慢动作摄影时使用的拍摄帧率较高。例如,开启慢动作摄影后,用户可选择960fps的拍摄帧率录制短视频,则电子设备可按照960fps的拍摄帧率采集每一帧拍摄画面。也就是说,在1秒的拍摄时间内电子设备可连续采集到960帧拍摄画面。同时,在这1秒的拍摄过程中用户可在相机应用的预览界面中实时预览正在拍摄的画面。例如,电子设备可按照30fps的显示帧率抽帧并显示拍摄画面。也就是说,电子设备每秒可从采集到的960帧拍摄画面中抽取30帧拍摄画面显示在拍摄界面的取景窗口中,从而保证拍摄慢动作视频时用户在取景窗口中看到的画面是连贯的。
后续,在播放这1秒的慢动作视频时,电子设备可按照低于960fps的编码速率对上述960帧拍摄画面进行编码。例如,电子设备可按照30fps的编码速率对采集到的960帧拍摄画面进行编码。此时,原本1秒的视频内容可被慢速播放为32秒(即960fps/32x)的一段视频,即一段32倍(32x)的慢动作视频,实现慢动作播放的功能。又例如,还可以按照240fps的拍摄帧率来采集拍摄画面,再按照低于240fps的编码速率来进行编码。例如,若30fps的编码速率进行编码,原本1秒的视频内容可被慢速播放为8秒(即240fps/8x)的一段视频,即形成一段8倍(8x)的慢动作视频。
在具体进行慢动作录制时,用户可以在手机上进行操作,以启动相机应用(Application,APP)。启动相机应用的方式可以有多种。用户可以点击手机桌面上的相机图标,以启动相机。或者,还可以在手机界面上做出预设手势,来启动相机,例如,当手机处于黑屏状态时,用户可以在屏幕上画“C”形轨迹来启动相机。本申请实施例对于相机的启动方式不予限定。
在相机启动后,可以直接进入慢动作(slow-motion)视频录制模式。例如,电子设备打开相机后默认为慢动作视频录制模式。又例如,用户上次使用相机时为慢动作视频录制模式,本次默认按照上次使用模式工作。
或者,在相机启动后,若不是慢动作视频录制模式,还可以通过用户操作来进入该模式。例如,用户可以通过左右滑动的方式,来将相机的工作模式切换到慢动作视频录制模式。又例如,用户可以在相机界面上点击慢动作控件,以启动慢动作视频录制模式。
启动慢动作视频录制模式后,即可进入慢动作预览界面。示例性的,图4示出了一种手机的图形用户界面(graphical user interface,GUI),该GUI为慢动作预览界面401。该慢动作预览界面401包含有用于开启录制慢动作视频的录制控件402,用于退出慢动作视频录制模式的控件403,用于切换慢动作播放速率(speed)的控件404,用于摄像头变焦的控件405,用于开启/关闭运动侦测功能的运动侦测控件406,运动侦测控件406可以默认为开启状态或关闭状态,其中,若默认为关闭状态,则需要用户手动操作以开启该功能。还包括用于开启/关闭闪光灯的控件407,用于打开设置的控件408,用于显示提示信息的控件409,以及用于关联到图库应用的控件410。该慢动作预览界面中还可以包含有检测框411,用户可以在整个预览界面中拖动改变检测框位置,也可以改变检测框的大小。示例性,慢动作预览界面中也可以不包含检测框411。
需要说明的是,运动侦测控件406用于开启/关闭运动侦测。当运动侦测功能开启(Motion detection on)时,用户点击慢动作视频录制控件后,电子设备不会立刻触发慢动作视频录制。而是当电子设备检测到被拍摄对象的运动满足预设的触发条件时,才会开始自动录制慢动作视频。当运动侦测功能关闭时,则在用户手动点击拍摄控件402时,电子设备就开始录制慢动作视频。
可以理解,图4仅为示例性的,具体实现场景中,该慢动作预览界面401可以包含更多或更少的内容。例如,慢动作预览界面401中可以不包括检测框411,此时,可以将整个画面作为检测框。又例如,控件404中可以不提示“(960帧/秒)”,只显示帧率倍数,如“32x”。又例如,慢动作预览界面401中可以不包括运动侦测控件406,此时电子设备默认为开启运动侦测功能;用户可在设置里,或使用其他手机控件里关闭此功能。又例如,该慢动作预览界面401还可以包括其他相机模式的入口,例如拍照模式、全景拍照模式、普通录像模式的图标控件等。
用户可以拖动或滑动或点击控件404,并在控件404输出的多个可选倍数中进行选择,以确定录制慢动作视频的帧率。例如,可选倍数可以为4x~256x。其中,以4x为例,这是相对于30帧/秒的编码速率而言的,因此录制帧率的可选范围可以是从120帧/秒到4680帧/秒。例如:120帧/秒(4x)、240帧/秒(8x)、480帧/秒(16x)、960帧/秒(32x)、1920帧/秒(64x)、4680帧/秒(256x)。在一实施例中,当用户选中4x和8x帧率时,慢动作预览界面可以不包含运动侦测控件。
需要说明的是,不同帧率可对应不同的慢动作视频录制时长。在一种可能的设计中,电子设备录制的慢动作视频的时长可以为预设时长,该预设长度可以是电子设备出厂时预设的。一般来说,录制帧率越高,每秒钟图像传感器需要处理的图像帧越多,因此对图像传感器的处理能力要求越高。与此同时,如果录制时间太长,生成的慢动作视频时间过长,也会影响用户体验。例如,以1920fps录制1s的视频为例,按照30fps进行编码,则会生成一段64s的慢动作视频,显然过长的慢动作视频会影响用户体验。在现实生活中,往往在录制鞭炮爆破、子弹射击等场景下需要用到7680fps等高帧率模式,而鞭炮爆破、子弹射击等通常发生在一瞬间(如0.1s)。因此,为了保证良好的用户体验,电子设备在出厂前可以为用户设置好不同帧率模式下的固定录制时长。示例性的,表一示出了一种可能的实现方式,不作赘述。
表一
帧率(fps) 录制时长(s) 慢动作视频时长(s)
120 4s 1s常速视频+16s慢速视频+1s常速视频
240 2s 1s常速视频+16s慢速视频+1s常速视频
480 1s 1s常速视频+16s慢速视频+1s常速视频
960 0.5s 1s常速视频+16s慢速视频+1s常速视频
1920 0.5s 1s常速视频+32s慢速视频+1s常速视频
7680 0.125s 1s常速视频+32s慢速视频+1s常速视频
此外,本申请实施例也可以对视频录制时长不予限制,以120fps和240fps的录制帧率为例,用户可以自己决定录制视频的时长。
示例性的,当用户想通过电子设备的智能自动慢动作功能,录制一段气球爆炸的场景时,录制过程可以参考图5。如图5中的(a)所示,此时电子设备已开启运动侦测功能,显示录制帧率为默认帧率960fps,用户可以通过用于切换慢动作录制帧率的控件选择不同的录制帧率。如图5中的(a)所示,此时预览窗口显示有一个气球。当电子设备检测到用户触发视频录制控件的操作(例如用户点击录制控件402)后,显示如图5中的(b)所示GUI,此时并未开始录制慢动作视频。电子设备通过声音检测,或进一步结合画面检测,来确定录制起点。如图5中的(c)所示,当检测到气球开始爆炸,开始录制漫动作视频。
当用户在拍摄完慢动作视频后,显示如图5中的(d)所示GUI,显示“正在保存”,此时电子设备可以以推荐帧率生成慢动作视频。
一种实施例中,在生成慢动作视频后,电子设备可以直接将慢动作视频显示在电子设备的显示窗口上,如图5中的(e)所示,该GUI包含有用于播放视频的播放控件413,用于选择慢动作视频的播放速度的“速度选择”控件415,用于保存视频的保存控件416,用于删除视频的删除控件417,用于查看提示信息的控件414。用户可点击播放控件413查看慢动作视频。此后,如果用户对该视频满意,可以点击保存控件416将该推荐帧率拍摄的慢动作保存在图库中。在点击保存之前,用户也可以点击速度选择控件415选择改变慢动作视频的播放速度生成新的慢动作视频。如图5中的(e)所示,该GUI上可以包含有用于查看提示信息的控件414,当用户点击控件414后,电子设备显示屏上可以显示“保存慢动作视频前,可以尝试点击速度选择改变慢动作视频的播放速度哦!”的提示信息,以提示用户在保存慢动作视频前还可以改变慢动作视频的播放速度。一种可能的设计中,在用户初次使用该电子设备时,在执行到相应操作时,提示信息可直接显示在显示屏上以提示用户。
此外,若用户点击“速度选择”控件415,则该电子设备的显示界面上可以输出至少一个可供选择的播放速度,例如1/2、1/4、1/8和1/16等。其中1/2表示相对于被拍摄对象原始运动速度的1/2速度,1/4表示相对于被拍摄对象原始运动速度的1/4速度。用户可以点击任意一个播放速度,以使得电子设备可以生成用户选择的播放速度的慢动作视频。此外,一种设计中,还可以对示提示信息以提示用户不同动作下更适合的帧率,如:旋转、欢呼使用1/8速度更佳;跳跃、投篮、运球使用1/16速度更佳;劈腿跳、上篮、滑板、高尔夫使用1/32速度更佳;气球爆破、子弹射击等高速运动使用1/64速度更佳。因此用户可以选择更合适的帧率生成慢动作视频。
在一种可能的实现方式中,电子设备在auto模式下,可以以推荐帧率生成慢动作视频,并保存在图库中。电子设备可通过插帧方法实现更高帧率的慢动作效果,通过抽帧的方式实现更低帧率的慢动作效果。
一种实施例中,在生成慢动作视频后,电子设备可以将慢动作视频直接保存在图库(或称为相册)中。如此,用户可以通过点击预览界面中用于关联图库的控件,对拍摄完成的慢动作视频进行查看。或者,用户也可以通过图库对已拍摄完后的慢动作视频进行查看。在这两种场景下,慢动作视频查看界面也可以显示如图5所示的(e)界面,或者,在慢动作视频的查看界面上,可以不再显示图5所示的(e)界面上的保存控件416。
在慢动作视频录制的场景中,当被拍摄对象发生动作突变时,往往还会伴随着声音的团变化。例如,当气球爆炸时,会伴随发生气球的爆炸声。又例如,当玻璃碎裂时,也往往会伴随玻璃的碎裂声。又例如,当子弹出膛时,也往往会伴随着巨大声响。由此,可以采集声音信号,并根据声音信号的变化情况,来确定慢动作视频的录制起点。
示例性的,图6示出了一种电子设备采集到的声音信号的示意图,该示意图中,横坐标表示时间,单位为ms,纵坐标表示声音信号的电压幅值,单位为%FS(满量程误差,也就是精度在满量程中所占的百分比)。如图6所示,电子设备一开始采集到的声音信号比较稳定,后来次采集到的电压信号的幅值发生剧烈变化,发生声音突变,此时,电子设备可以开始录制慢动作视频。
电子设备可以以如下方式,确定是否发生声音突变。为便于说明,将电子设备采集到声音信号对应的电压信号的幅值表示为x,则第i个声音信号对应的电压信号的幅值表示为xi
一种可能的实施例中,若第i个声音信号对应的电压信号的幅值xi,与第i-1个声音信号对应的电压信号的幅值xi-1之间的差距较大,则确定第i个声音信号处发生声音突变。例如,若xi与xi-1之差大于预设的第一阈值,例如0.7,则可以确定第i个声音信号处发生声音突变。又例如,若xi是xi-1的n倍以上,则可以确定第i个声音信号处发生声音突变。其中,n为大于1的正数。基于这种设计,电子设备在采集到声音信号后,可以按照前述方式,将该声音信号的电压幅值与上一个声音信号的电压幅值进行比对,即可确定当前是否发生声音突变。
另一种可能的实施例中,考虑到电子设备可能在一帧内,就会采集到多个声音信号,那么,可以获取各帧对应的电压信号的幅值的标准差,可将其记为S,从而,根据两帧之间的标准差变化情况,确定是否发生声音突变。例如,假设第j帧的声音数据对应的标准差表示为Sj,从而,若Sj与Sj-1之差大于预设的第二阈值,则可以确定第j帧处发生声音突变。又例如,若Sj是Sj-1的m倍以上,则可以确定第j帧处发生声音突变。其中,m为大于1的正数。在这种设计中,电子设备在采集到当前的声音信号后,可以获取当前帧声音信号的标准差,从而,若当前帧的标准差与上一帧声音信号的标准差差别较大,则确定当前发生声音突变。换言之,当所述声音信号在连续两帧中的声音增强幅度大于预设幅度阈值时,电子设备即可自动开始录制慢动作视频。
具体而言,对任意的第j帧而言,可以首先获取第j帧的N个声音数据(xj1、xj2……xjN),并获取这些声音数据的电压幅值之间的平均值,记为r,从而,获取N个声音数据的标准差。此时,
Figure BDA0002206607090000111
此外,在以前述方式确定慢动作视频的录制起点时,还可以在采集到声音信号之后,对声音信号进行滤波处理,以滤除杂声干扰。例如,在录制气球爆炸的场景中,电子设备可以持续采集声音信号,在采集到声音信号后,滤除声音信号中的人声干扰和环境音干扰,从而,根据滤波处理后的声音信号,来确定录制起点。
本申请实施例对于滤波处理的方式不予限定。例如,可以在电子设备中设置滤波器,将采集到的声音信号输入滤波器进行滤波,并获取滤波器输出的声音信号以确定录制起点。又例如,还可以利用神经网络模型来处理采集到的声音信号,从而得到神经网络模型输出的滤除杂波后的声音信号。其中,神经网络模型可以包括但不限于:卷积神经网络(Convolutional Neural Networks,CNN)模型或循环神经网络(Recurrent NeuralNetwork,RNN)。又例如,还可以按照预设声音特征来滤除杂波,如可以按照人声特征来滤除人声,得到滤波后的声音信号。
在一种实施例中,运动侦测功能可以包括但不限于:声音突变检测功能。其中,当用户开启运动侦测功能后,则电子设备可以仅通过声音突变检测,来触发慢动作视频的录制。
示例性的,可以参考图7A所示的一种慢动作视频录制流程。在该实施例中,电子设备可以采集声音信号,并实时检测声音信号是否发生突变。从而,当检测到发生声音突变时,如图6所示,则开始录制慢动作视频,从而,录制完成后,可以输出慢动作视频。或者,若当前采集到的声音未发生突变,则继续检测即可。
在这种情况下,图7B示出了电子设备的工作情况。如图7B所示,响应于用户触控操作视频拍摄控件,电子设备开始采集声音信号。当检测到声音突变时,电子设备开始录制时长为1s(示例性的)的慢动作视频。
例如,在图1所示的用户录制气球爆炸的慢动作视频场景中,用户在手机处于慢动作视频录制模式时,点击视频拍摄控件,则电子设备就开始采集声音信号。在气球爆炸的瞬间,也即画面a处,会出现明显的爆炸声响,则电子设备采集到的声音信号就会发生如图6所示的声音突变,此时,电子设备开始录制慢动作视频,并按照预设编码速率进行编码,即可得到如图1中画面a~画面e所示的气球爆炸精彩瞬间。
又例如,在录制子弹出膛的慢动作视频时,由于子弹较小且运动速度较快,电子设备可能无法检测到子弹出膛的瞬间变化,因此,基于画面突变很难自动录制到子弹出膛的精彩瞬间。但是,在子弹出膛的瞬间,会伴随有明显的声音变化,因此,本申请实施例中,利用子弹出膛时明显的声音变化,在检测到声音突变时开始录制慢动作视频,就能够录制得到子弹出膛的精彩瞬间。
又例如,在录制玻璃碎裂的慢动作视频时,在玻璃碎裂程度较小时,电子设备无法检测到画面突变,则可能会错失录制时机,倒是录制起点延后。而考虑到玻璃碎裂时也会伴随有明细的声音变化,因此,本申请实施例中,在检测到声音突变时就开始录制慢动作视频,就能够录制得到玻璃碎裂的精彩瞬间。
在另外的实施例中,动侦测功能可以还可以包括:画面突变检测。如此,在用户触发视频拍摄控件后,电子设备可以结合声音突变检测与画面突变检测来确定录制起点。
其中,画面突变检测是指当电子设备采集到的画面在连续两帧中出现较大变化时,开始录制慢动作视频。换言之,当用户触发视频拍摄控件时,电子设备开始采集图像,并实时判断在连续两帧内,图像中对应的像素点的像素值变化量是否大于预设的第三阈值。若是,则画面出现突变,电子设备开始录制慢动作视频;若否,则继续检测。
其中,像素值变化量,可以是图像中全部像素点的像素值变化量之和(或平均值),或者,也可以是其中的部分像素点的像素值变化量之和(或平均值),部分像素点可以为至少一个像素点。例如,可以利用图4或图5所示的检测框411中画面的像素值变化量之和,来确定录制起点。又例如,还可以利用检测框411中的部分像素点,例如变化量最大的像素点的像素值变化量,来确定录制起点。又例如,还可以利用整个画面中所有像素点中,按照像素值变化量由大至小的顺序,排序靠前的多个像素点,例如5个像素点,的像素值变化量之和或平均值,来确定录制起点。
当结合声音突变检测与画面突变检测,来确定慢动作视频的录制起点时,画面突变检测与声音突变检测可以并行执行。此时,本申请实施例至少提供如下实现方式:
第一种方式,以画面突变检测为优先。
示例性的,可以参考图8A所示的另一种慢动作视频录制流程。在该实施例中,当用户触发视频拍摄控件,电子设备开始采集图像数据,也开始采集声音信号。此时,以画面突变为优先检测条件,至少可以有图8B~8D所示出的几种情况。
在一实施例中,可以参考图8B,只要检测到画面突变(像素点的像素值变化量大于第三阈值),则电子设备直接开始录制慢动作视频,达到预设录制时长,如1s,则按照预设编码速率编码后,输出该慢动作视频。在该过程中,可能发生声音突变,或者,也可能没有发生声音突变。
另一实施例中,如图8C所示,若没有检测到画面突变,但是,画面发生了明显变化。那么,这种情况下,若同时发生了声音突变,则电子设备就可以开始录制慢动作视频。其中,电子设备中可以预设第四阈值,从而,当连续两帧中,画面中对应像素点的像素值变化量超出第四阈值,则可以确定画面发生明显变化。在图8C所示场景中,若检测到画面发生明显变化,但并未检测到声音让突变,则电子设备继续进行声音和画面的突变检测。
以图1所示的气球爆炸场景为例。在画面a变化为画面c的过程中,电子设备可以在画面b处检测到画面发生明显变化,但在画面c处才检测到画面突变。而电子设备在画面a~画面b处,都能够检测到声音突变,则电子设备可以在画面b对应的时刻,开始录制慢动作视频。相较于现有的慢动作视频以画面c为录制起点,本申请实施例所提供方案使得慢动作视频具备更多的精彩细节,也更接近该精彩瞬间的实际起点。
另一种实施例中,考虑到声音突变与画面突变可能不同步,则可以如图8D所示,在检测到画面出现明显变化时,开始计时,若在第一预设时长(t1)内,例如,t1可以为2ms,检测到声音突变,则可以在检测到声音突变时,开始录制慢动作视频。这种实现方式为慢动作视频的录制起点提供了更多的可能性和灵活性。
综上所述,如图8A所示的实施例中,是以画面发生明显变化为前提,触发录制慢动作视频的。可以理解,若检测到声音突变,而画面未发生明显变化或画面突变,并不会触发慢动作视频的录制,而是继续检测。
由此,这种运动侦测方式,更适用于声音变化不明显的慢动作录制场景。例如,录制有颜色墨水在水中扩散的慢动作视频的场景时,可能没有明显的声音变化,通过图8A所示方案,以画面突变检测为优先,能够得到更准确地墨水扩展瞬间。又例如,当录制人体跳跃时的慢动作视频时,一般在人体落地后,才会发出声音,若以此为依据启动慢动作视频,明显会错过跳跃瞬间,因此,以画面突变检测为优先,在用户跳跃时有明显变化的时候,开始录制慢动作视频。
第二种方式,以声音突变检测为优先。
示例性的,可以参考图9A所示的另一种慢动作视频录制流程。在该实施例中,当用户触发视频拍摄控件,电子设备开始采集图像数据,也开始采集声音信号。此时,以声音突变为优先检测条件,至少可以有图9B~9D所示出的几种情况。
在一实施例中,可以参考图9B。电子设备可以优先检测声音突变,当检测到声音突变时,检测到画面也发生突变,就开始录制慢动作视频。
在另一实施例中,可以参考9C。电子设备优先检测声音突变,若检测到声音突变时,检测到画面发生明显变化,则电子设备开始录制慢动作视频。
在另一实施例中,可以参考9D。电子设备优先检测声音突变。若检测到声音突变后,在第二预设时长(t2)内,例如,t2可以为3ms,检测到画面发生明显变化(包括画面突变),则在画面发生明显变化时,开始录制慢动作视频。或者,若在t2时长内,未检测到画面明显变化,则继续检测,不触发慢动作视频的录制。
综上,在如图9A所示的运动侦测方案中,若仅检测到声音突变,而画面未发生明显变化,不会触发电子设备录制慢动作视频,而是持续检测。或者,若检测到画面突变或画面发生明显变化,而未检测到声音突变,也不会触发慢动作视频的录制,而是继续检测。因此,在图9A所示的实现方式中,是在既发生声音突变,也存在画面变化的情况下,触发慢动作视频的录制。
由此,这种运动侦测方式,更适用于声音变化较为明显的慢动作录制场景。例如,录制气球爆炸的慢动作视频时,可以采用该方案。又例如,录制礼炮式烟花的慢动作录制场景,在声音发生突变且画面也发生变化时,开始录制慢动作视频,能够得到烟花散开的精彩瞬间。
本申请实施例中,电子设备可以采用如图7A、8A、9A所示的任意一种方式进行运动侦测。一种可能的实现中,可以在电子设备中设计默认的运动侦测方式,例如,可以将图8A所示方式作为默认的运动侦测方式。这种默认的运动侦测方式可以为电子设备的固定设置,不能由用户自定义更改。或者,默认的运动侦测方式也可以由用户进行更换跳帧。例如,还可以在图4所示的慢动作预览界面401中添加模式切换按钮,以供用户自定义选择慢动作视频的运动侦测模式。或者,用户还可以点击慢动作预览界面401中的控件408,以进入设置页面,进而在设置页面上选择运动侦测的方式。
当以前述方案,确定了慢动作视频的录制起点后,电子设备即开始录制视频,得到多个视频帧,之后,电子设备按照预设的编码速率抽帧以生成慢动作视频。其中,慢动作视频的录制终点,可以为达到预设的录制时长;或者,还可以为用户提前触控控件,以提前结束录制;或者,还可以检测到声音与画面中的至少一种的变化较小,此时,也可以停止录制。
一种可能的实施例中,电子设备可以在慢动作视频中实时检测声音变化情况,若在连续两帧中检测到的声音变化较小,电子设备可以停止录制慢动作视频。例如,若采集到的声音信号中,若xi与xi-1之差的绝对值小于预设的第五阈值,则可以确定声音变化较小,可以停止录制慢动作视频。又例如,若xi与xi-1的比值在[1±y]以内,则可以确定声音变化较小,可以停止录制慢动作视频其中,y为预设值,对其数值不予限定。又例如,电子设备获取每帧声音信号的标准差,从而,若Sj与Sj-1之差的绝对值小于预设的第六阈值,则可以确定声音变化较小,则可以停止慢动作视频的录制。又例如,电子设备获取每帧声音信号的标准差,从而,若Sj与Sj-1的比值在[1±p]以内,则可以确定声音变化较小,可以停止录制慢动作视频其中,p为预设值,对其数值不予限定。
另一种可能的设计中,电子设备可以在慢动作视频中实时检测画面变化情况,若画面在连续两帧中的变化较小,电子也可以停止录制慢动作视频。例如,电子设备在连续两帧内,采集到的画面中,对应像素点的像素值变化量小于预设的第七阈值,则电子设备可以停止录制慢动作视频。又例如,电子设备在连续两帧中,获取两帧画面中像素值变化量最大的一个像素点,若该像素点的变化量小于预设的第八阈值,则电子设备可以停止录制慢动作视频。不作穷举。
示例性的,图10A示出了一种慢动作视频的生成方式。如图10A所示,当电子设备自动触发慢动作视频录制后,可录制固定1s的视频,对这1s的视频进行编码,以生成慢动作视频。例如,若以960fps录制一段1s的视频,则将该慢动作区间进行编码,以30fps的编码速率为例,则生成一段32s的慢速视频。而慢动作区间外,还可以通过对缓存的视频帧进行抽帧的方式,生成慢动作区间前、后各1s的常速视频,如此,电子设备可生成一段时长为1s常速+32s慢速+1s常速=34s的慢动作视频(目标视频)。
此外,另一种实施例中,可以按照预设的录制时长来录制慢动作视频,在录制过程中,若检测到声音和/或画面的变化量较小,也可以将该点作为慢动作区间终点(慢动作区间起点可以为录制起点),如此,电子设备在生成慢动作视频时,可以将该慢动作区间内生成慢速视频,在该位置之后到录制时长之间,则可以生成常速视频。
示例性的,图10B示出了另一种慢动作视频的生成方式。如图10B所示,当电子设备自动触发慢动作视频录制后,可录制固定1s的视频,其中,在这1s的录制时长中,当检测到声音突变,电子设备开始录制视频帧,在开始录制后的第0.5s,检测到声音和/或画面的变化较小,因此,电子设备可以将前0.5s生成慢速视频,而之后的0.5s,则可以录制常速视频。例如,若以960fps录制一段1s的视频,则将该慢动作区间进行编码,以30fps的编码速率为例,则该慢动作区间对应于一段0.5x 32s慢速+0.5s常速=16.5s的视频。而慢动作区间外,还可以通过对缓存的视频帧进行抽帧的方式,生成慢动作区间前、后各1s的常速视频,如此,电子设备可生成一段时长为1s常速+0.5x 32s慢速+0.5s常速+1s常速=18.5s的慢动作视频。或者,电子设备在慢动作区间外,还可以抽帧,生成慢动作区间前1s的常速视频,并抽帧生成慢动作区间后0.5s的常速视频,如此,电子设备最终可生成一段时长为1s常速+0.5x32s慢速+1s常速=18.5s的慢动作视频(目标视频)。
除此之外,电子设备在检测到声音突变时,开始录制慢动作视频。在一种可能的设计中,电子设备可能在录制视频帧以生成慢动作视频时,可以延后慢动作区间的起点。也就是,慢动作区间的起点也可以不是前述确定的录制起点。
示例性的,图10C示出了另一种慢动作视频的生成方式。如图10C所示,当电子设备自动触发慢动作视频录制后,可录制固定1s的视频。在这1s的录制时长中,当检测到声音突变之后的一段时长,假设为0.25s,电子设备录制常速视频,之后,再录制0.5s的慢速视频,之后再录制0.5s的常速视频。这种情况下,若960fps录制一段1s的视频,则将该慢动作区间进行编码,以30fps的编码速率为例,则该慢动作区间对应于一段0.25s常速+0.5x 32s慢速+0.25s常速=16.5s的慢动作视频(目标视频)。
示例性的,图10D示出了另一种慢动作视频的生成方法。如图10D所示,电子设备在检测到声音突变时开始录制慢动作视频,而画面明显变化发生在声音突变之前,换言之,在开始录制慢动作视频之前,画面已经有了明显变化。这种情况下,可以将对录制慢动作视频后的1s时长内视频帧,以及,抽取部分开始录制慢动作视频之前的部分视频帧,进行编码,来生成慢速视频。此时,若以30fps的编码速率进行编码,则可以生成一段1s常速+0.5x32慢速+1s常速=1s+16s+1s=18s的目标视频。
类似的,图10E示出了另一种慢动作视频的生成方法。如图10E所示,电子设备在检测到画面有明显变化时开始录制慢动作视频,而画面明显变化发生在声音突变之后,换言之,在开始录制慢动作视频之前,已经有明显的声音突变。这种情况下,可以将对录制慢动作视频后的1s时长内的视频帧,以及,抽取部分开始录制慢动作视频之前的部分视频帧,进行编码,来生成慢速视频。此时,若以30fps的编码速率进行编码,则可以生成一段1s常速+0.5x32慢速+1s常速=1s+16s+1s=18s的目标视频。
除此之外,需要说明的是,慢动作视频会放慢图像和声音。因此,考虑到放慢声音时,会导致声音畸变,影响用户观看。由此,电子设备至少可以采用如下方式,来生成慢动作视频。
一种实施例中,在生成慢动作视频时,可以放弃声音信号,仅利用图像数据来生成慢动作视频。例如,当电子设备开始录制慢动作视频,则可以停止采集声音信号,如此,电子设备录制的慢动作视频中仅包含录制时的画面信息,而不包含录制时的声音信息,由此生成慢动作视频即可。又例如,电子设备开始录制慢动作视频,也可以继续采集声音信号,这种情况下,生成慢动作视频时,可以不使用采集得到的声音信号,而仅利用采集到的图像数据来生成慢动作视频。
另一实施例中,在生成慢动作视频时,可以利用预设的音频数据与采集到的图像数据,来生成慢动作视频。预设的音频数据可以为一首音乐,或一个旋律,或用户声音等。在具体实现时,只需要结合采集到的图像数据与该预设的音频数据,生成慢动作视频即可。此时,生成的慢动作视频中,音频是以正常播放速率播放的。该实施例对于电子设备在录制慢动作视频期间,是否继续采集声音信号无特殊限制。
另一实施例中,电子设备在录制慢动作视频时,可以继续采集声音信号,然后,将该声音信号按照正常播放速度,与采集到的图像数据结合,以生成慢动作视频。这种实施例中,采集到的声音信号可能会被多次重复。
本申请实施例中,电子设备既可以对被拍摄视频帧进行实时慢动作处理,也可以对录制好的缓存视频进行处理,以生成缓存视频的慢动作视频。
在一种可能的设计中,电子设备录制的视频的时长可以为预设时长,该预设长度可以是电子设备出厂时预设的,也可以是用户预设的。当该视频为预设长度时,用户只需要触发录像指示,而不需触发停止指示就可以自动完成视频的录制,因而可以减少用户的手动操作,给用户以智能录制的较好体验。在一种可能的设计中,电子设备录制的视频时长可以是无限长。此时,电子设备开始慢动作视频录制后,会在用户触控以指示结束录制时,结束视频录制。
此外,在另外的一种实施例中,电子设备在生成慢动作视频后,可对该慢动作区间进行处理生成更丰富的效果,如快动作、倒放、循环等,还可以生成其他视频格式,如GIF等。在一实施例中,电子设备还可以为慢动作视频进行AI自动配音,根据拍摄对象、运动类型和拍摄场景的不同,为慢动作视频匹配背景音乐,生成慢动作视频。在一实施例中,电子设备在生成慢动作视频后,还可以为慢动作视频增加水印。
可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备、服务器进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
本申请实施例公开了一种电子设备,包括处理器,以及与处理器相连的存储器、输入设备和输出设备。其中,输入设备和输出设备可集成为一个设备,例如,可将触摸传感器作为输入设备,将显示屏作为输出设备,并将触摸传感器和显示屏集成为触摸屏。
此时,如图11所示,上述电子设备可以包括:触摸屏1101,所述触摸屏1101包括触摸传感器1106和显示屏1107;一个或多个处理器1102;一个或多个摄像头1108;一个或多个声音信号采集器1109;存储器1103;一个或多个应用程序(未示出);以及一个或多个计算机程序1104,上述各器件可以通过一个或多个通信总线1105连接。其中该一个或多个计算机程序1104被存储在上述存储器1103中并被配置为被该一个或多个处理器1102执行,该一个或多个计算机程序1104包括指令,上述指令可以用于执行上述实施例中的各个步骤。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应实体器件的功能描述,在此不再赘述。
示例性的,上述处理器1102具体可以为图2所示的处理器110,上述存储器1103具体可以为图2所示的内部存储器116和/或外部存储器120,上述摄像头1108具体可以为图2所示的摄像头193,上述声音信号采集器1109具体可以为图2所示的麦克风170C,上述显示屏1107具体可以为图2所示的显示屏194,上述触摸传感器1106具体可以为图2所示的传感器模块180中的触摸传感器,本申请实施例对此不做任何限制。
本申请实施例中,电子设备在进行慢动作视频录制时,可以采取如图12所示的流程实现:
S1202,响应于检测到用户输入的视频录制指令,开始采集声音信号。
S1204,当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合。
S1206,生成目标视频。
如图12所示出的各步骤的处理方式,可以参考前述实施例,不作赘述。
本申请实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,该电子设备执行上述相关方法步骤实现上述实施例中的录像方法。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关方法步骤,以实现上述实施例中的录像方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的录像方法。
其中,本申请实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种智能录像方法,其特征在于,应用于处于慢动作视频录制模式的电子设备,所述慢动作视频录制模式的运动侦测功能已开启;所述方法包括:
响应于检测到用户输入的视频录制指令,开始采集声音信号;
当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合;
生成目标视频。
2.根据权利要求1所述的方法,其特征在于,所述当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,包括:
当所述声音信号在连续两帧中的声音增强幅度大于预设幅度阈值时,自动录制所述第一视频帧集合。
3.根据权利要求1或2所述的方法,其特征在于,所述当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,包括:
对所述声音信号进行滤波处理;
当滤波处理后的声音信号增强幅度达到所述预设条件时,自动录制第一视频帧集合。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述生成目标视频,包括:
对所述第一视频帧集合进行编码,以生成所述目标视频。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
响应于检测到所述用户输入的所述视频录制指令,开始采集第二视频帧。
6.根据权利要求5所述的方法,其特征在于,所述当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,包括:
当所述声音信号的声音增强幅度达到预设条件,且所述第二视频帧的画面变化幅度达到预设的第一阈值时,自动录制所述第一视频帧集合。
7.根据权利要求6所述的方法,其特征在于,所述当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,包括:
当所述声音信号的声音增强幅度达到预设条件,且所述第二视频帧的画面变化幅度达到预设的第二阈值时,自动录制所述第一视频帧集合;
其中,所述第一阈值大于所述第二阈值。
8.根据权利要求6所述的方法,其特征在于,所述当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,包括:
当所述声音信号的声音增强幅度达到预设条件时,经历第一时长,若所述第二视频帧的画面变化幅度达到预设的第二阈值时,自动录制所述第一视频帧集合;
其中,所述第一阈值大于所述第二阈值。
9.根据权利要求6所述的方法,其特征在于,所述当所述声音信号的声音增强幅度达到预设条件时,自动录制第一视频帧集合,包括:
当所述第二视频帧的画面变化幅度达到预设的第二阈值时,经历第二时长,若所述声音信号的声音增强幅度达到预设条件,自动录制第一视频帧集合。
10.根据权利要求5-9任一项所述的方法,其特征在于,所述生成目标视频,包括:
对所述第一视频帧集合与部分第二视频帧进行编码,以生成所述目标视频;或者,
对所述第一视频帧集合进行编码,以生成所述目标视频。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述目标视频还包括常速视频片段或快速视频片段。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述目标视频中不包含音频数据。
13.根据权利要求1-11任一项所述的方法,其特征在于,所述目标视频包含音频数据,所述音频数据在所述目标视频中常速播放。
14.根据权利要求1-13任一项所述的方法,其特征在于,所述方法还包括:
显示慢动作预览界面;
响应于检测到所述视频录制指令,在所述慢动作预览界面上显示采集到的视频帧。
15.一种电子设备,其特征在于,包括:
一个或多个摄像头,用于采集图像或视频;
一个或多个声音采集器,用于采集声音信号;
触摸屏,所述触摸屏包括触控面板和显示屏;
一个或多个处理器;一个或多个存储器;以及一个或多个计算机程序;其中,所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令;当所述指令被所述电子设备执行时,以使所述电子设备执行如权利要求1-14任一项所述的方法。
16.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-14中任一项所述的方法。
CN201910883538.4A 2019-09-18 2019-09-18 一种智能录像方法、电子设备与计算机可读存储介质 Active CN112532903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910883538.4A CN112532903B (zh) 2019-09-18 2019-09-18 一种智能录像方法、电子设备与计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883538.4A CN112532903B (zh) 2019-09-18 2019-09-18 一种智能录像方法、电子设备与计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112532903A true CN112532903A (zh) 2021-03-19
CN112532903B CN112532903B (zh) 2022-08-09

Family

ID=74975207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883538.4A Active CN112532903B (zh) 2019-09-18 2019-09-18 一种智能录像方法、电子设备与计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112532903B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113067994A (zh) * 2021-03-31 2021-07-02 联想(北京)有限公司 一种视频录制方法及电子设备
CN116668892A (zh) * 2022-11-14 2023-08-29 荣耀终端有限公司 音频信号的处理方法、电子设备及可读存储介质
CN117014686A (zh) * 2022-04-29 2023-11-07 荣耀终端有限公司 一种视频处理方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621617A (zh) * 2008-06-30 2010-01-06 卡西欧计算机株式会社 摄像装置和存储介质
CN105141810A (zh) * 2015-08-19 2015-12-09 北京中科大洋科技发展股份有限公司 一种支持实时慢动作的多频道演播系统和方法
CN107645630A (zh) * 2016-07-20 2018-01-30 中兴通讯股份有限公司 摄像处理方法及装置
US20180330759A1 (en) * 2017-05-11 2018-11-15 Canon Kabushiki Kaisha Signal processing apparatus, signal processing method, and non-transitory computer-readable storage medium
WO2018226203A1 (en) * 2017-06-05 2018-12-13 Sony Mobile Communications Inc. Object-tracking based slow-motion video capture
CN110086905A (zh) * 2018-03-26 2019-08-02 华为技术有限公司 一种录像方法及电子设备
US20190281223A1 (en) * 2018-03-06 2019-09-12 Eikon Technologies LLC Method and system for dynamically adjusting camera shots

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101621617A (zh) * 2008-06-30 2010-01-06 卡西欧计算机株式会社 摄像装置和存储介质
CN105141810A (zh) * 2015-08-19 2015-12-09 北京中科大洋科技发展股份有限公司 一种支持实时慢动作的多频道演播系统和方法
CN107645630A (zh) * 2016-07-20 2018-01-30 中兴通讯股份有限公司 摄像处理方法及装置
US20180330759A1 (en) * 2017-05-11 2018-11-15 Canon Kabushiki Kaisha Signal processing apparatus, signal processing method, and non-transitory computer-readable storage medium
WO2018226203A1 (en) * 2017-06-05 2018-12-13 Sony Mobile Communications Inc. Object-tracking based slow-motion video capture
US20190281223A1 (en) * 2018-03-06 2019-09-12 Eikon Technologies LLC Method and system for dynamically adjusting camera shots
CN110086905A (zh) * 2018-03-26 2019-08-02 华为技术有限公司 一种录像方法及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113067994A (zh) * 2021-03-31 2021-07-02 联想(北京)有限公司 一种视频录制方法及电子设备
CN117014686A (zh) * 2022-04-29 2023-11-07 荣耀终端有限公司 一种视频处理方法及电子设备
CN116668892A (zh) * 2022-11-14 2023-08-29 荣耀终端有限公司 音频信号的处理方法、电子设备及可读存储介质
CN116668892B (zh) * 2022-11-14 2024-04-12 荣耀终端有限公司 音频信号的处理方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN112532903B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN112422863B (zh) 一种视频拍摄方法、电子设备和存储介质
CN110086985B (zh) 一种延时摄影的录制方法及电子设备
US11889180B2 (en) Photographing method and electronic device
CN110381276B (zh) 一种视频拍摄方法及电子设备
CN113475057B (zh) 一种录像帧率的控制方法及相关装置
CN112532903B (zh) 一种智能录像方法、电子设备与计算机可读存储介质
CN113727016A (zh) 一种拍摄方法及电子设备
CN111050062B (zh) 一种拍摄方法及电子设备
US20230251814A1 (en) Always on display method and electronic device
CN113726949B (zh) 一种视频处理方法、电子设备及存储介质
CN113596320B (zh) 视频拍摄变速录制方法、设备、存储介质
CN113766060B (zh) 一种息屏显示方法、电子设备及计算机可读存储介质
WO2023284591A1 (zh) 视频拍摄方法及装置、电子设备和存储介质
US20230350535A1 (en) Always on display method and electronic device
CN113382162B (zh) 一种视频拍摄方法及电子设备
CN117998193A (zh) 一种拍摄功能的推荐方法及电子设备
CN115484388A (zh) 一种视频处理方法及电子设备
CN117994368A (zh) 一种图像处理方法及电子设备
CN117135257A (zh) 一种图像显示方法及电子设备
CN116055853A (zh) 拍摄方法及电子设备
CN115379039A (zh) 视频拍摄方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant