WO2016124095A1 - 生成视频的方法、装置及终端 - Google Patents

生成视频的方法、装置及终端 Download PDF

Info

Publication number
WO2016124095A1
WO2016124095A1 PCT/CN2016/072448 CN2016072448W WO2016124095A1 WO 2016124095 A1 WO2016124095 A1 WO 2016124095A1 CN 2016072448 W CN2016072448 W CN 2016072448W WO 2016124095 A1 WO2016124095 A1 WO 2016124095A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
filter
image frame
image
foreground
Prior art date
Application number
PCT/CN2016/072448
Other languages
English (en)
French (fr)
Inventor
欧阳金凯
王超
李纯
陈向文
袁海亮
Original Assignee
腾讯科技(深圳)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510063653.9A external-priority patent/CN104967801B/zh
Priority claimed from CN201510221018.9A external-priority patent/CN104967900B/zh
Application filed by 腾讯科技(深圳)有限公司 filed Critical 腾讯科技(深圳)有限公司
Priority to MYPI2017702466A priority Critical patent/MY197743A/en
Publication of WO2016124095A1 publication Critical patent/WO2016124095A1/zh
Priority to US15/666,809 priority patent/US10200634B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications

Definitions

  • Embodiments of the present invention provide a method, an apparatus, and a terminal for generating a video, which are intended to provide a special effect processing function for recording a video to a user.
  • an embodiment of the present invention provides a method for generating a video, where the method includes:
  • the video effect template including at least one filter and/or to One less foreground video
  • Video effects templates can also be called: video effects combinations, or special effects processing templates; or, filters. In the embodiment of the present invention, it is uniformly described as a video special effect template.
  • Composite video can also be called: synthesized video data, or special effects processing video data.
  • special effects processing of the video effect template includes only one filter processing, Can be considered as static filter processing; special effects processing of video effects templates is more than one filter processing, combined processing for multiple filters, or multiple foreground video combination processing, or a combination of multiple filters and foreground video, Think of dynamic filter processing.
  • the user can trigger the recording of the button on the recording page.
  • the triggering can be performed by touching, sliding, or double-clicking, which is not limited herein.
  • the collection of images is stored in a disk file.
  • the terminal writes the processed image frame to the disk file.
  • the step "receives the filter switching request, and updates the filter effect in the composite video according to the filter switching request.
  • the updated composite video can also be implemented in the following alternative ways:
  • the method for generating a video provided in this embodiment can perform the special effect processing of the static filter on the recorded image frame in real time during the video recording process, thereby obtaining the processed image frame, and according to the processing
  • the image frame is synthesized to obtain a composite video; the recording process in the prior art is solved, the shooting content can be simply presented, and the customized function that meets the user's requirements is not provided; the video special effect template selected according to the user is achieved. Record all the image frames or part of the image frames in the video for special effects, and finally get the effect of the composite video that meets the user's needs.
  • the terminal decodes the video after the video is recorded, and obtains each image frame arranged in order in the video.
  • the video after the video recording is a composite video as an example.
  • the terminal can also perform special effects processing on the synthesized video.
  • the terminal acquires a video effect template by starting an effect processing engine, and performs special effects processing on the original video or the composite video according to the video special effect module.
  • Step 302c when there are filters corresponding to the current image frame and the filter is two or more, the current image frame is sequentially performed according to two or more filters according to the filter order indicated by the description file. Special effects processing;
  • the video processing template includes the first static filter information, the foreground video, and the second static filter information. Then, step 302 may include:
  • the first static filter information may include a plurality of filters, such as a filter 1, a filter 2, a filter n, and the like, wherein n is a positive integer greater than or equal to 1.
  • an image frame of the current time point may be extracted from the foreground video as a foreground image.
  • the current time point refers to the time point corresponding to the current graphic frame.
  • the foreground image and (1) the image frame after the static filter are superimposed by using a superimposing filter, and so on, and the image frames corresponding to other time points are also subjected to the above processing to obtain an image frame after superimposing the foreground image.
  • the second static filter information may also include a plurality of filters, such as a filter n+1, a filter n+2, a filter m, and the like, wherein m is greater than or equal to 1. Integer.
  • the second static filter information in different video effect templates will be different, such as the filter used, the order of the filters and the filter's action time will be different, etc., that is, in different video effects templates.
  • Filter n+1, filter n+2... filter m style and action time will be different, for example, for video effect template A, filter n+1 is "retro”, the action time is 6 seconds, filter 2 is "pink”, the action time is 5 seconds, and so on, and for video effect template B, the filter n+1 may be “nostalgic", the action time is 3 seconds, filter n +2 may be "human”, the action time is 3 seconds, and so on, and will not be described here.
  • Step 303 synthesize the processed image frames to obtain a composite video.
  • the composite video can be displayed on the screen, or the composite video can also be saved on the disk.
  • video length of the special effect processing can be set according to the requirements of the actual application, for example, it can be set to 30 seconds or less, and so on, and details are not described herein again.
  • the terminal first synthesizes all the image frames in the image set according to the order of the frames, and then combines the accompaniment audio, the lyrics, and the acquired audio data to obtain a synthesized video.
  • Step 401 The mobile terminal receives a recording request, where the recording request carries a filter indication information, and the first filter is selected according to the filter indication information.
  • the filter identifier can be set according to the needs of the actual application. For example, as shown in FIG. 4B, these filter identifiers can be set as “documentary”, “sweet and sweet”, “pink”, “pencil drawing”, “none”. And / or “nostalgic” and so on, of course, can also be set to "none” or “original”, after "no” Or the video processed by the "raw” filter is the original video, which is equivalent to no filter processing.
  • Step 402 The mobile terminal invokes a recording process according to the recording request to acquire a frame of image frames.
  • each image frame can carry a time stamp. Therefore, the terminal combines all the image frames in the image set according to the time stamps in time order to obtain a composite video. For example, refer to FIG. 4C.
  • the post-synthesis video data may also alternatively be implemented as follows:
  • the music playing process can also be called to play the accompaniment audio and display the corresponding lyrics on the screen, that is, the user can record the corresponding video while singing.
  • the lyrics, the accompaniment audio, and the user-entered audio data can also be synthesized with the image frame, for example, see FIG. 4D.
  • a plurality of function options can be set for the user to control the "K song" process, such as adjusting the volume, pitch and/or progress, and controlling the play, etc., and details are not described herein.
  • the accompaniment audio may also be referred to as accompaniment music.
  • FIG. 5 is a flowchart of a method for generating a video according to another embodiment of the present invention.
  • the method includes:
  • the terminal may obtain a video effect template selected by the user.
  • the terminal may receive a recording request that carries a video effect template selection instruction, and the recording request is triggered by the user; or the terminal may receive the user directly input.
  • Video effect template selection instructions may be included in the terminal.
  • Step 504 Determine whether the recording process is closed.
  • Step 506 If the recording process is not closed, acquiring the next frame of the image frame, and returning to perform special effect processing on the image frame according to the selected video special effect template, obtaining the processed image frame, and adding the processed image frame to the image frame. The steps of the image collection.
  • FIG. 6 is a flowchart of a method for generating a video according to another embodiment of the present invention. As shown in FIG. 6 , the processing flow of the method may include the following steps:
  • Step 601 Play the accompaniment audio of the song to be recorded, display the lyrics subtitle corresponding to the accompaniment audio, and perform image frame shooting and audio data recording.
  • the recording interface can display a recording button, and when the user clicks the recording button, the application can be triggered. Taking the accompaniment file of the song, and running the accompaniment file to play the accompaniment audio of the song, and displaying the lyrics subtitle corresponding to the song in the recording interface, and at the same time, the terminal can start through the front of the terminal Set the camera to take an image frame and record the audio data through the microphone.
  • the playing time axis of the target song is displayed; the starting point and the ending point of the song segment set by the user in the playing time axis are acquired; and the song segment selected by the user in the target song is determined according to the starting point and the ending point.
  • Step 602 After the shooting of the video image and the recording of the audio are finished, displaying an option of the at least one video special effect template stored in advance, and displaying the composite control; wherein the video special effect template includes at least one filter and/or at least one foreground video.
  • the shooting of the image frame and the recording of the audio data are ended.
  • the application switches to the preview interface accordingly, as shown in FIG. 9, in the preview interface, an option of one or more video effect templates pre-stored locally can be displayed, wherein the video effect template can be used in different time segments of the video image. Different filters and/or foreground video can also use different filters and/or foreground video for the same time period.
  • the processing information corresponding to each video effect template may be recorded in the above application, and the processing information may include each filter in the video special effect template, a start time point and an end time point of the foreground video.
  • a composite button can be displayed in the preview interface for synthesizing image frames and audio data.
  • Step 603 when receiving a selection instruction for the first video special effect template in the at least one video special effect template, performing combined special effect processing on the captured image frame according to the first video special effect template, and performing the processed image frame on the processed image frame. Display, playing accompaniment audio and recorded audio data at the same time.
  • Step 604 when receiving the trigger instruction for the composite control, synthesizing the accompaniment audio, the recorded audio data, and the processed image frame to obtain a composite video.
  • the user may click the composite button in the preview interface, and the terminal will receive a click command on the composite button, and the terminal may acquire the image frame processed by the video special effect template.
  • It is encoded as ffmpeg (a set of open source computer programs that can be used to record, convert digital audio, video, and convert it into a stream).
  • the terminal can acquire accompaniment audio and recorded audio data and Audio coding is performed to obtain encoded audio data, and then the encoded image frame and the encoded audio data are ffmpeg synthesized to obtain a synthesized video.
  • FIG. 10 is a structural block diagram of an apparatus for generating a video according to another embodiment of the present invention.
  • the device for generating video may be implemented as all or part of the terminal by software, hardware or a combination of both.
  • the terminal also runs a singing application, a video capture application, or a video processing application.
  • the device includes:
  • the first unit 1020 is specifically configured to invoke a recording process to obtain a frame image:
  • the second unit 1040 is specifically configured to acquire filter indication information, and select a first filter according to the filter indication information;
  • the fourth unit 1080 is configured to synthesize all image frames in the image set according to a sequence of frames to obtain a synthesized video, and output the synthesized video, if the recording process is closed.
  • the device further includes:
  • the third unit 1060 is further configured to receive a filter switching request
  • the fourth unit 1080 is further configured to: update the filter effect in the synthesized video according to the filter switching request, to obtain an updated composite video;
  • the fourth unit 1080 is further configured to output the updated composite video.
  • the third unit 1060 is further configured to select a second filter according to the filter switching request;
  • the fourth unit 1080 is further configured to perform filtering processing on the original image frame by using the second filter to obtain an updated composite video.
  • the third unit 1060 is further configured to select a second filter according to the filter switching request;
  • Performing special effect processing on the image frame according to the selected video special effect template to obtain the processed image frame including:
  • the video effect template includes first static filter information, foreground video, and second static filter information, then:
  • the third unit 1060 is further configured to perform filter processing on the image frame according to the first static filter information to obtain an image frame after the static filter;
  • the first unit 1020 is specifically configured to play the accompaniment audio of the song to be recorded, display the lyrics subtitle corresponding to the accompaniment audio, and perform shooting of the image frame and recording of the audio data;
  • the third unit 1060 is further configured to perform special effect processing on the audio data according to the first audio special effect when receiving a selection instruction for the first audio special effect in the at least one audio special effect;
  • the RF circuit 1101 can be used for receiving and transmitting signals during and after receiving or transmitting information, in particular, after receiving downlink information of the base station, and processing it by one or more processors 1108; in addition, transmitting data related to the uplink to the base station.
  • the RF circuit 1101 includes, but is not limited to, an antenna, at least one amplifier, a tuner, one or more oscillators, a Subscriber Identity Module (SIM) card, a transceiver, a coupler, a low noise amplifier (LNA, Low Noise Amplifier), duplexer, etc.
  • SIM Subscriber Identity Module
  • the RF circuit 1101 can also communicate with the network and other devices through wireless communication.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

本发明实施例公开了一种生成视频的方法、装置及终端。本发明实施例通过对视频录制中或视频录制结束所得到的图像帧,按照被选择的视频特效模板进行特效处理,将处理后的图像帧进行合成得到合成视频;解决了现有技术中录制歌曲文件时,仅能对摄像头的拍摄内容进行简单呈现,不具有符合用户需求的定制化功能的问题;达到了根据用户选择的视频特效模板,对录制视频中的全部图像帧或部分图像帧进行特效处理,最终得到符合用户需求的合成视频的效果。

Description

生成视频的方法、装置及终端
本申请要求于2015年2月4日提交中国专利局、申请号为201510063653.9、发明名称为“一种视频数据处理方法和装置”的中国专利申请的优先权,以及2015年05月04日提交中国专利局、申请号为201510221018.9、发明名称为“一种生成视频的方法和装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本发明实施例涉及图形图像处理领域,具体涉及一种生成视频的方法、装置及终端。
背景技术
随着计算机技术的发展,手机、计算机等终端得到了广泛的应用,相应的终端上的应用程序的种类越来越多、功能越来越丰富。歌唱类应用程序(或称K歌类应用程序)是一种很常用的娱乐应用程序。
在歌唱过程中,用户可以通过歌唱类应用程序进行音频数据的录制。若在录制音频数据的同时,还进行图像帧的拍摄,可以将图像帧和音频数据合并后,生成为视频。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
基于上述录制过程,最终生成的视频中只是对拍摄内容的简单呈现,不具有符合用户需求的定制化功能。
发明内容
本发明实施例提供一种生成视频的方法、装置及终端,旨在向用户提供一种对录制视频时的特效处理功能。
根据本发明实施例的第一方面,本发明实施例提供一种生成视频的方法,所述方法包括:
获取视频录制中或视频录制结束的图像帧;
获取被选择的视频特效模板,所述视频特效模板包括至少一个滤镜和/或至 少一个前景视频;
根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧;
将所述处理后的图像帧进行合成,得到合成视频。
根据本发明实施例的第二方面,本发明实施例还提供一种生成视频的装置,该装置包括:
第一单元,用于获取视频录制中或视频录制结束的图像帧;
第二单元,用于获取被选择的视频特效模板,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
第三单元,用于根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧;
第四单元,用于将所述处理后的图像帧进行合成,得到合成视频。
根据本发明实施例的第三方面,本发明实施例还提供了一种终端,该终端包括:一个或多个处理器;和
存储器;
所述存储器存储有一个或多个程序,所述一个或多个程序被配置成由所述一个或多个处理器执行,所述一个或多个程序包含用于进行以下操作的指令:
获取视频录制中或视频录制结束的图像帧;
获取被选择的视频特效模板,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧;
将所述处理后的图像帧进行合成,得到合成视频。
本发明实施例通过对视频录制中或视频录制结束所得到的图像帧,按照被选择的视频特效模板进行特效处理,将处理后的图像帧进行合成得到合成视频;解决了现有技术中的录制过程时,仅能对拍摄内容进行简单呈现,不具有符合用户需求的定制化功能的问题;达到了根据用户选择的视频特效模板,对录制视频中的全部图像帧或部分图像帧进行特效处理,最终得到符合用户需求的合成视频的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的生成视频的方法的流程图;
图2是本发明另一个实施例提供的生成视频的方法的流程图;
图3A是本发明另一个实施例提供的生成视频的方法的流程图;
图3B是本发明另一个实施例提供的步骤302的子步骤的流程图;
图3C是图3A实施例提供的生成视频的方法的原理示意图;
图4A是本发明另一个实施例提供的生成视频的方法的流程图;
图4B是图4A实施例提供的生成视频的方法的实施界面的示意图;
图4C是图4A实施例提供的生成视频的方法的实施界面的示意图;
图4D是图4A实施例提供的生成视频的方法的实施界面的示意图;
图4E是图4A实施例提供的生成视频的方法的实施界面的示意图;
图5是本发明另一个实施例提供的生成视频的方法的流程图;
图6是本发明另一个实施例提供的生成视频的方法的流程图;
图7是图6实施例提供的生成视频的方法的实施界面的示意图;
图8是图6实施例提供的生成视频的方法的实施界面的示意图;
图9是图6实施例提供的生成视频的方法的实施界面的示意图;
图10是本发明一个实施例提供的生成视频的装置的框图;
图11是本发明一个实施例提供的终端的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例中提供的生成视频的方法可以由具有音视频拍摄能力和处理能力的终端执行。终端可以是手机、平板电脑、台式电脑、笔记本电脑等电子设备。可选地,该终端中还运行有唱歌类应用程序、视频拍摄类应用程序或视频处理类应用程序等。
请参考图1,其示出了本发明一个实施例提供的生成视频的方法的流程图。该方法包括:
步骤101,获取视频录制中或视频录制结束的图像帧;
图像帧还可以称为:图像,或视频数据,或数据。在本发明实施例中,统一描述为图像帧。
步骤102,获取被选择的视频特效模板,视频特效模板包括至少一个滤镜和/或至少一个前景视频;
视频特效模板还可以称为:视频特效组合,或者,特效处理模板;或者,滤镜。在本发明实施例中,统一描述为视频特效模板。
前景视频还可以称为:视频样本。前景视频包括至少一帧前景图像,每帧前景图像对应一个时间点,每帧前景图像是用于加载在相应时间点所对应的图像帧的前景上的道具或元素,比如静态的爱心、静态的小熊、动态的雪花等。在实现动态的雪花时,前景视频需要包括多帧前景图像,每帧前景图像包括位于不同的位置的雪花,从而实现处于动态下雪状态的雪花前景特效。
步骤103,根据被选择的视频特效模板对图像帧进行特效处理,得到处理后的图像帧;
处理后的图像帧还可以称为:处理后图像。
步骤104,将处理后的图像帧进行合成,得到合成视频。
合成视频还可以称为:合成后视频数据,或,特效处理视频数据。
综上所述,本实施例提供的生成视频的方法,通过对视频录制中或视频录制结束所得到的图像帧,按照被选择的视频特效模板进行特效处理,将处理后的图像帧进行合成得到合成视频;解决了现有技术中的录制过程时,仅能对拍摄内容进行简单呈现,不具有符合用户需求的定制化功能的问题;达到了根据用户选择的视频特效模板,对录制视频中的全部图像帧或部分图像帧进行特效处理,最终得到符合用户需求的合成视频的效果。
需要说明的一点是,图1所示实施例可以在视频录制过程中同时进行特效处理;也可以在视频录制完毕后再进行特效处理。
需要说明的另一点是,视频特效模板的特效处理仅包括一个滤镜处理时, 可认为是静态滤镜处理;视频特效模板的特效处理不止一个滤镜处理,为多个滤镜组合处理,或多个前景视频组合处理,或多个滤镜与前景视频的组合处理时,可认为是动态滤镜处理。
为此,图1所示实施例至少包括四种实施场景:
第一,在视频录制过程中,进行静态滤镜处理;
第二,在视频录制结束后,进行动态滤镜处理;
第三,在视频录制过程中,进行动态滤镜处理;
第四,在视频录制结束后,进行静态滤镜处理。
首先,采用图2所示实施例对第一种实施场景进行阐述:
请参考图2,其示出了本发明另一实施例提供的生成视频的方法的流程图。该方法包括:
步骤201,获取滤镜指示信息,并根据该滤镜指示信息选择滤镜;
为了描述方便,在本发明实施例中,将默认滤镜或此时被用户选择的滤镜称为第一滤镜。
其中,终端获取滤镜指示信息的方式可以有多种,例如,终端可以接收携带有滤镜指示信息的录制请求,该录制请求由用户触发;或者,终端也可以接收用户直接输入的滤镜指示信息。
作为用户直接输入滤镜指示信息的一种示例:终端可以在页面的下方显示多种滤镜的标识,以供用户选择。可选地,该页面是指视频录制页面、歌曲录制页面等用户交互界面。
当用户触摸某个滤镜标识时,即可触发向终端发送滤镜指示信息。可选地,该滤镜指示信息中包括滤镜标识。
其中,该第一滤镜可以根据实际应用的需求进行设置,比如可以设置第一滤镜为“纪录片”、“可人”、“粉嫩”、和/或“怀旧”等等。“纪录片”、“可人”、“粉嫩”、和/或“怀旧”均为一种滤镜类型。
当然,还可以设置第一滤镜为“无”或“原始”,经过“无”或“原始”滤镜处理后的视频为原始视频,即相当于没有经过滤镜处理。
步骤202,调用录制进程,以获取一帧图像帧。
终端可以接收录制请求,调用录制进程来拍摄得到一帧帧图像帧。
比如:终端接收用户在录制页面上通过触发录制按键所发送的录制请求,然后根据该录制请求启动视频录制引擎,以调用录制进程,并执行该录制进程,通过摄像头获取一帧图像,等等。
其中,用户在录制页面上触发录制按键的方式可以有多种,比如,可以通过触摸、滑动或双击等方式来进行触发,在此不作限定。
可选的,为了便于后续对视频数据的处理,此时还可以将获取到的图像保存为原始图像,即将该获取到的图像作为原始图像进行保存。
需要说明的是,步骤201是步骤102的下位步骤,步骤202是步骤101的下位步骤,本实施例对步骤201和步骤202的执行先后顺序不做限定。
步骤203,采用选择的第一滤镜对获取到的图像帧进行滤镜处理,得到处理后的图像帧,并将该处理后的图像帧添加至图像集合;
可选地,终端得到处理后的图像帧后,显示处理后的图像帧。比如,将处理后的图像帧渲染显示在屏幕上。
可选地,图像集合存储在磁盘文件中。终端将处理后的图像帧写入磁盘文件中。
步骤204,确定该录制进程是否关闭;
若该录制进程关闭,则执行步骤205;若未关闭,则执行步骤206。
步骤205,在录制进程关闭时,将图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,并输出该合成视频。
终端通过启动合成引擎,将图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,并输出该合成视频。
步骤206,若录制进程未关闭,则获取下一帧图像帧,并返回执行采用选择的第一滤镜对获取到的图像帧进行滤镜处理的步骤。
可选的,终端在输出该合成视频之前,显示该合成视频,以供用户预览,比如,通过启动预览引擎来显示该合成视频中的图像帧,以供用户预览,等等。
可选的,用户在对合成视频预览后,还可以根据需求对该合成视频作进一步修改后再输出。也即,在终端显示该合成视频,以供用户预览之后,该方法还可以包括:
接收滤镜切换请求,根据该滤镜切换请求对该合成视频中的滤镜效果进行更新,得到更新后的合成视频。具体可以如下:
终端根据该滤镜切换请求选择第二滤镜,提取并删除该合成视频中的第一滤镜,得到原始图像帧,采用该第二滤镜对该原始图像帧进行滤镜处理,得到更新后的合成视频。其中,采用第二滤镜对原始图像帧进行滤镜处理后,得到处理后的图像帧,将处理后的图像帧合并得到更新后的合成视频,该合成过程可以参考步骤203和步骤205中相关的描述。
或者,如果此前终端已保存了原始图像帧,比如在步骤202中终端保存了原始图像帧,则步骤“接收滤镜切换请求,根据该滤镜切换请求对该合成视频中滤镜效果进行更新,得到更新后的合成视频”也可以采用如下可替代的实现方式:
根据该滤镜切换请求选择第二滤镜,采用该第二滤镜对原始视频帧进行滤镜处理,得到更新后的合成视频。
则此时,步骤“输出该合成视频”具体可以为:输出更新后的合成视频。
其中,该第二滤镜可以根据实际应用的需求进行设置,比如可以将第一滤镜设置为“纪录片”、“可人”、“粉嫩”、和/或“怀旧”等等。“纪录片”、“可人”、“粉嫩”、和/或“怀旧”均为一种滤镜类型。第二滤镜通常与第一滤镜不同。
当然,用户还可以设置第二滤镜为“无”或“原始”,经过“无”或“原始”等滤镜处理后的视频为原始视频,即相当于没有经过滤镜处理。
需要说明的是,上述第一滤镜或第二滤镜可以对所有图像帧或部分图像帧进行特效处理,使用户的选择而定。
综上所述,本实施例提供的生成视频的方法,能够在视频录制过程中,对录制得到的图像帧实时地进行静态滤镜的特效处理,从而得到处理后的图像帧,并根据处理后的图像帧合成得到合成视频;解决了现有技术中的录制过程,仅能对拍摄内容进行简单呈现,不具有符合用户需求的定制化功能的问题;达到了根据用户选择的视频特效模板,对录制视频中的全部图像帧或部分图像帧进行特效处理,最终得到符合用户需求的合成视频的效果。
其次,采用图3A所示实施例对第二种实施场景进行阐述:
请参考图3A,其示出了本发明另一实施例提供的生成视频的方法的流程图。该方法包括:
步骤301,获取视频录制完毕的图像帧;
视频录制完毕后的视频,可以是未经过任何特效处理的原始视频;也可以是经过特效处理后的合成视频,本发明实施例对此不加以限定。
终端对视频录制完毕后的视频进行解码,得到该视频中的按序排列的各个图像帧。
以视频录制完毕后的视频是合成视频为例,在得到合成视频之后,终端还可以对合成视频进行特效处理。
步骤302,获取被选择的视频特效模板,根据被选择的视频特效模板对图像帧进行特效处理,得到处理后的图像帧;
被选择的视频特效模板,可以是默认的视频特效模板;也可以是用户手动选择的视频特效模板。
例如,终端通过启动特效处理引擎来获取视频特效模板,并根据该视频特效模块对原始视频或合成视频进行特效处理。
视频特效模板包括:描述文件、至少一个滤镜、至少一个前景视频等资源。其中,描述文件可以采用Jason语法来描述对不同时间点对应的图像帧所使用的滤镜、滤镜参数、滤镜顺序、帧如何交换、如何叠加前景视频等信息。
其中,不同时间点是指图像帧按帧排序排列所确定的时间点,前景视频包括至少一帧前景图像,每帧前景图像对应一个时间点,每帧前景图像是用于加载在相应时间点所对应的图像帧的前景的道具或元素,比如爱心、小熊等。
在采用视频特效模板对图像帧进行处理时,需要对该描述文件进行解析,并根据解析结果和相关的滤镜以及前景视频分别对每一帧图像帧进行处理。
当视频特效模板的特效处理不止一个滤镜特效处理时,也称为动态滤镜处理,即整个视频处理过程使用的滤镜不是单一静态的滤镜,而是在不同时间点对应的图像帧可使用不同的滤镜或同一时间点对应的图像帧可使用几个滤镜的叠加处理。
其中,不同的视频特效模板所需使用的滤镜、滤镜的顺序和滤镜的作用时间等都有所不同,具体可以通过定义一套jason语法模板,来描述了每个视频特 效模板中滤镜处理路径的实现,以及每个滤镜的参数、参数变化规律、作用时间等属性。
可选地,步骤302包括如下子步骤,如图3B所示:
步骤302a,解析描述文件,得到与当前图像帧对应的滤镜和/或前景图像;
由于描述文件描述了对不同时间点对应的图像帧所使用的滤镜、滤镜参数、滤镜顺序、帧如何交换、如何叠加前景视频等信息;通过解析描述文件,能够得到与当前图像帧对应的滤镜和/或前景图像。
比如,第一帧图像帧至第一百帧图像帧对应第一滤镜;第一百帧图像帧至第二百帧图像帧对应第二滤镜;诸如此类,不再赘述。
又比如,第一帧图像帧对应第一滤镜,以及前景视频中的第一帧前景图像;第二帧图像对应第二滤镜,以及前景视频中的第二帧前景图像;第三帧图像对应第三滤镜和第四滤镜,第三滤镜早于第四滤镜,第三帧图像还对应前景视频中的第三帧前景图像;第四帧图像对应第三滤镜和第四滤镜,第三滤镜早于第四滤镜,第四帧图像还对应前景视频中的第四帧前景图像;诸如此类,不再赘述。
步骤302b,当存在与当前图像帧对应的滤镜且滤镜为一个时,根据该滤镜对当前图像帧进行特效处理;
当滤镜为一个时,根据该滤镜以及滤镜参数对当前图像帧进行特效处理。滤镜参数通常包括了滤镜深浅参数、作用时长参数、滤镜分辨率参数等等。
步骤302c,当存在与当前图像帧对应的滤镜且滤镜为两个或两个以上时,按照描述文件指示的滤镜顺序,根据两个或两个以上的滤镜对当前图像帧依次进行特效处理;
当滤镜为两个或两个以上时,按照描述文件指示的滤镜顺序,根据每个滤镜以及相应的滤镜参数对当前图像帧依次进行特效处理。
步骤302d,当存在与当前图像帧对应的前景图像时,使用叠加滤镜将前景图像与当前图像帧进行叠加处理。
当存在前景图像时,终端使用叠加滤镜将前景图像叠加在当前图像帧的前景上。
需要说明的是,步骤302d与步骤302b的执行顺序不限,步骤302d早于步骤 302b,或步骤302d晚于步骤302b均可;步骤302d与步骤302c的执行顺序不限,步骤302d早于步骤302c,或步骤302d晚于步骤302c,或,步骤302d在步骤302c的两个滤镜处理之间均可,本发明实施例对此不加以限定。
在一个示意性的例子中,该视频处理模板包括第一静态滤镜信息、前景视频和第二静态滤镜信息,则此时步骤302可以包括:
(1)根据该第一静态滤镜信息对图像帧进行滤镜处理,得到静态滤镜后图像帧。
如图3C所示,该第一静态滤镜信息可以包括多个滤镜,比如滤镜1、滤镜2……滤镜n等等,其中,n为大于等于1的正整数。
不同的视频特效模板中的第一静态滤镜信息会有所不同,比如使用的滤镜、滤镜的顺序和滤镜的作用时间会不同,等等,即不同视频特效模板中的滤镜1、滤镜2……滤镜n的样式和作用时间等都会有所区别,比如,对于视频特效模板A而言,滤镜1为“可人”,作用时间为4秒,滤镜2为“粉嫩”,作用时间为5秒,等等,而对于视频特效模板B而言,滤镜1可能为“怀旧”,作用时间为8秒,滤镜2可能为“可人”,作用时间为3秒,等等,在此不再赘述。
(2)从该前景视频中提取前景图像,采用叠加滤镜将该前景图像和(1)静态滤镜后的图像帧进行叠加处理,得到叠加前景图像后的图像帧。
比如,可以从该前景视频中提取当前时间点的一帧图像帧,作为前景图像。其中,当前时间点是指当前图形帧所对应的时间点。然后采用叠加滤镜将该前景图像和(1)静态滤镜后的图像帧进行叠加处理,以此类推,对其他时间点对应的图像帧也进行上述处理,得到叠加前景图像后的图像帧。
其中,该前景视频可以包括叠加视频RGB(三原色,即红(Red),(绿)Green,(蓝)Blue)层和叠加视频alpha层,可以从叠加视频RGB层和叠加视频alpha层中提取出相应的叠加使用的图片数据,然后采用叠加滤镜叠加到(1)中得到的静态滤镜后的图像帧中。
需说明的是,本发明实施例从前景视频中所提取的前景图像,即将该前景图像也作为滤镜的一种样式与相应的帧进行叠加,在此不再赘述。以前景视频为“飘雪”视频为例,每帧前景图像包括位置各不相同的雪花,将第一帧前景图像与第一帧图像帧叠加,第二帧前景图像与第二帧图像帧叠加,第三帧前景 图像与第三帧图像帧叠加,第四帧前景图像与第四帧图像帧叠加,以此类推,最终得到的合成视频中,会增加下雪的前景。
(3)根据该第二静态滤镜信息对(2)得到的叠加前景图像后的图像帧进行滤镜处理,得到处理后的图像帧。
该滤镜方式与(1)类似,与(1)不同的是,所处理的对象不同,(1)所处理的是之前得到的“图像帧”,而(3)所处理的是经过(2)“叠加前景图像后的图像帧”。
如图3C所示,该第二静态滤镜信息同样可以包括多个滤镜,比如滤镜n+1、滤镜n+2……滤镜m等等,其中,m为大于等于1的正整数。
同理,不同的视频特效模板中的第二静态滤镜信息会有所不同,比如使用的滤镜、滤镜的顺序和滤镜的作用时间会不同,等等,即不同视频特效模板中的滤镜n+1、滤镜n+2……滤镜m的样式和作用时间等都会有所区别,比如,对于视频特效模板A而言,滤镜n+1为“复古”,作用时间为6秒,滤镜2为“粉嫩”,作用时间为5秒,等等,而对于视频特效模板B而言,滤镜n+1可能为“怀旧”,作用时间为3秒,滤镜n+2可能为“可人”,作用时间为3秒,等等,在此不再赘述。
步骤303,将处理后的图像帧进行合成,得到合成视频。
此后,可以将该合成视频显示到屏幕上,或者,还可以对该合成视频保存在磁盘中。
需要说明的是,特效处理的视频长度可以根据实际应用的需求进行设置,比如,可以设置为30秒以下,等等,在此不再赘述。
还需要说明的是,同一个时间点对应的一帧图像帧,可以经过多个滤镜处理,比如先经过滤镜1(可人)、再经过滤镜2(模糊)、滤镜3(调整对比度)……、滤镜n(调整图像位置)进行处理,等等,在此不再赘述。
综上所述,本实施例提供的生成视频的方法,能够在视频录制完毕后,对录制得到的图像帧进行动态滤镜的特效处理,从而得到处理后的图像帧,并根据处理后的图像帧合成得到合成视频;解决了现有技术中的录制过程时,仅能对拍摄内容进行简单呈现,不具有符合用户需求的定制化功能的问题;达到了根据用户选择的视频特效模板,对录制视频中的全部图像帧或部分图像帧进行 特效处理,最终得到符合用户需求的合成视频的效果。
在基于图2所示出的可选实施例中,在调用录制进程,以获取一帧图像时,还可以调用音乐播放进程,以播放伴奏音频并在屏幕上显示相应的歌词,也就是说,用户可以一边唱歌一边录制相应的视频,此后,还可以将歌词、伴奏音频以及用户录入的音频数据与图像帧合成在一起,即该生成视频的方法还可以包括:
调用音乐播放进程,以播放伴奏音频并在屏幕上显示相应的歌词,利用该录制进程获取用户根据该伴奏音频和歌词所输入的音频数据;
则此时,步骤205具体可以为:
将伴奏音频、歌词以及音频数据三项数据中的至少一项与图像集合中的所有图像帧进行合成,得到合成视频。
作为一种可能的实现方式,终端先将图像集合中的所有图像帧按照帧的先后顺序进行合成后,再与该伴奏音频、歌词、以及获取到的音频数据进行合成,得到合成视频。
进一步的,在合成时,还可以添加其他的一些预置信息,比歌曲名称、歌唱者、结束标识(logo)等信息,在此不再赘述。
请参考图4A,其示出了本发明另一实施例提供的一种生成视频的方法的流程图。本实施例以该方法应用于移动终端中来举例说明。该方法包括:
步骤401,移动终端接收录制请求,其中,该录制请求中携带滤镜指示信息,根据该滤镜指示信息选择第一滤镜。
例如,可以在录制页面的下方显示多种滤镜的标识,以供用户选择,当用户触摸某个滤镜标识,并选择录制按钮(比如参见图4B中的“开始录制”按钮)时,即可触发发送该携带滤镜指示信息的录制请求,其中,该滤镜指示信息中可以包括该滤镜标识,这样,便可以根据该滤镜标识来选择第一滤镜。
其中,该滤镜标识可以根据实际应用的需求进行设置,比如参见图4B,可以将这些滤镜标识设置为“纪录片”、“甜蜜可人”、“粉嫩”、“铅笔画”、“曾经”和/或“怀旧”等等,当然,还可以设置为“无”或“原始”,经过“无” 或“原始”滤镜处理后的视频为原始视频,即相当于没有经过滤镜处理。
步骤402,移动终端根据该录制请求调用录制进程,以获取一帧图像帧。
例如,移动终端根据该录制请求启动视频录制引擎,以调用录制进程,并执行该录制进程,通过摄像头获取一帧图像帧,等等。
其中,用户在录制页面上触发录制按键的方式可以有多种,比如,可以通过触摸、滑动或双击等方式来进行触发,在此不作限定。
可选的,为了便于后续对视频数据的处理,此时还可以将该获取到的图像帧作为原始图像帧进行保存。
步骤403,移动终端采用选择的第一滤镜对获取到的图像帧进行滤镜处理,得到处理后的图像帧。
例如,若该第一滤镜为“怀旧”,则此时可以采用“怀旧”样式的滤镜对获取到的图像帧进行滤镜处理,得到处理后的图像帧。
步骤404,移动终端显示(即渲染)该处理后的图像帧。
步骤405,移动终端将该处理后的图像帧添加至图像集合。
步骤406,移动终端确定该录制进程是否关闭,若关闭,则执行步骤407,若未关闭,则执行步骤409。
步骤407,在录制进程关闭时,移动终端将图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,然后执行步骤408。
其中,每个图像帧都可以携带时间戳。因此,终端根据这些时间戳按照时间的先后顺序将图像集合中的所有图像帧进行合成,得到合成视频,比如,可参见图4C。
可选的,此时还可以显示该合成视频,以供用户预览,比如,通过启动预览引擎来显示该合成视频,以供用户预览,等等。
可选的,用户在浏览后,还可以根据需求对该合成视频作进一步修改,即在显示该合成视频,以供用户预览之后,该方法还可以包括:
接收滤镜切换请求,根据该滤镜切换请求对该合成视频中滤镜效果进行更新,得到更新后的合成视频;例如,具体可以如下:
根据该滤镜切换请求选择第二滤镜,提取并删除该合成视频中的第一滤镜,得到原始图像帧,采用该第二滤镜对该原始图像帧进行滤镜处理,得到更 新后的合成视频。
例如,如果第一滤镜为“甜美可人”,而此时用户希望将该滤镜切换为“曾经”,则用户可以在“修改滤镜”栏目下点击“曾经”这个滤镜标识,如图4C所示,则此时,移动终端便可以提取并删除该合成视频中的第一滤镜“甜美可人”,得到原始图像帧,然后采用该第二滤镜“曾经”对该原始图像帧进行滤镜处理,得到更新后的合成视频。
或者,如果此前已保存了原始图像帧,则此时可以直接获取这些原始图像,即“接收滤镜切换请求,根据该滤镜切换请求对该合成后视频数据中滤镜效果进行更新,得到更新后的合成后视频数据”也可以可替代地实现为如下步骤:
根据该滤镜切换请求选择第二滤镜,采用该第二滤镜对该原始图像帧进行滤镜处理,得到更新后的合成视频。
例如,如果第一滤镜为“甜美可人”,而此时用户希望将该滤镜切换为“曾经”,则用户可以在“修改滤镜”栏目下点击“曾经”这个滤镜标识,如图4C所示,则此时,移动终端便可以采用该第二滤镜“曾经”对该保存的原始图像帧进行滤镜处理,再对第二滤镜处理后的图像帧进行合成,得到更新后的合成视频。
步骤408、移动终端输出合成视频。
比如,如果用户没有对滤镜进行切换,则输出合成视频;
又比如,如果用户对滤镜进行了切换,则输出更新后的合成视频。
步骤409、在录制视频尚未关闭时,获取下一帧图像,并返回执行采用选择的第一滤镜对获取到的图像帧进行滤镜处理的步骤,即返回执行步骤403。
可选的,在调用录制进程,以获取一帧图像帧时,还可以调用音乐播放进程,以播放伴奏音频并在屏幕上显示相应的歌词,也就是说,用户可以一边唱歌一边录制相应的视频,此后,还可以将歌词、伴奏音频以及用户录入的音频数据与图像帧合成在一起,例如,可参见图4D。此外,还可以设置多个功能选项,以供用户对该“K歌”过程进行控制,比如对音量、音调和/或进度进行调节、以及对播放进行控制,等等,在此不再赘述。可选地,在一些可能的实施例中,伴奏音频也可以被称之为伴奏音乐。
在图4a的基础上,可选的,为了进一步美化、以及丰富其效果,还可以对合成视频再次进行特效处理,即在步骤407之后,合成视频已经录制完毕的情况下,该方法还可以包括:
移动终端获取视频处理模板,根据该视频处理模板对该合成视频进行特效处理。
其中,如图4E所示,该视频处理模板可以包括“原片”、“飘雪”、“老电影”、“落英”和/或“光影”等多种视频处理模板。移动终端通过视频处理模板对合成视频进行处理的过程,可以参考图3A和图3B所提供的技术方案。
其次,采用图5所示实施例对第三种实施场景进行阐述:
请参考图5,其示出了本发明另一实施例提供的生成视频的方法的流程图。该方法包括:
步骤501,获取被选择的视频特效模板;
视频特效模板可以是默认的视频特效模板;或者,被用户选择的视频特效模板。
其中,终端获取被用户选择的视频特效模板的方式可以有多种,例如,终端可以接收携带有视频特效模板选择指令的录制请求,该录制请求由用户触发;或者,终端也可以接收用户直接输入的视频特效模板选择指令。
视频特效模板包括至少一个滤镜和/或至少一个前景视频。通常,视频特效模板还包括有描述文件。可选地,该描述文件采用Jason语法来编写。该描述文件用于描述对不同时间点对应的图像帧所使用的滤镜、滤镜参数、滤镜顺序、帧如何交换、如何叠加前景视频等信息。
步骤502,调用录制进程,以获取一帧图像帧。
终端可以接收录制请求,调用录制进程来拍摄得到一帧帧图像帧。
比如:终端接收用户在录制页面上通过触发录制按键所发送的录制请求,然后根据该录制请求启动视频录制引擎,以调用录制进程,并执行该录制进程,通过摄像头获取一帧图像,等等。
其中,用户在录制页面上触发录制按键的方式可以有多种,比如,可以通过触摸、滑动或双击等方式来进行触发,在此不作限定。
可选的,为了便于后续对视频数据的处理,此时还可以将获取到的图像保存为原始图像帧,即将该获取到的图像帧作为原始图像帧进行保存。
需要说明的是,步骤501是步骤102的下位步骤,步骤502是步骤101的下位步骤,本实施例对步骤501和步骤502的执行先后顺序不做限定。
步骤503,根据被选择的视频特效模板对图像帧进行特效处理,得到处理后的图像帧,并将处理后的图像帧添加至图像集合;
采用视频特效模板对图像帧进行特效处理的过程,可以参考步骤302所述。
步骤504,确定该录制进程是否关闭;
若该录制进程关闭,则执行步骤505;若未关闭,则执行步骤506。
步骤505,在录制进程关闭时,将图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,并输出该合成视频。
步骤506,若录制进程未关闭,则获取下一帧图像帧,并返回执行根据被选择的视频特效模板对图像帧进行特效处理,得到处理后的图像帧,并将处理后的图像帧添加至图像集合的步骤。
综上所述,本发明实施例提供的生成视频的方法,能够在视频录制过程中,对录制得到的图像帧实时地进行动态滤镜的特效处理,从而得到处理后的图像帧,并根据处理后的图像帧合成得到合成视频;解决了现有技术中的录制过程时,仅能对拍摄内容进行简单呈现,不具有符合用户需求的定制化功能的问题;达到了根据用户选择的视频特效模板,对录制视频中的全部图像帧或部分图像帧进行特效处理,最终得到符合用户需求的合成视频的效果。
其次,对于第四种实施场景,可以由步骤301、步骤201、步骤203和步骤205进行组合,将图2所示实施例中的录制进程更换为从视频中读取图像帧的进程即可实现,此乃本领域技术人员根据上述实施例的内容易于思及的内容,本文不再赘述。
上述生成视频的方法可以应用于运行有唱歌类应用程序、视频拍摄类应用程或视频处理类应用程序的终端中。以终端中运行有唱歌类应用程序为例,具体如下:
请参考图6,其示出了本发明另一实施例提供的一种生成视频的方法的流程图,如图6所示,该方法的处理流程可以包括如下的步骤:
步骤601,播放待录制歌曲的伴奏音频,显示该伴奏音频对应的歌词字幕,并进行图像帧的拍摄和音频数据的录制。
步骤602,在图像帧的拍摄和音频数据的录制结束后,显示预先存储的至少一个视频特效模板的选项,并显示合成控件;其中,该视频特效模板包括至少一个滤镜和/或至少一个前景视频。
该合成控件可以是一个虚拟的合成按键;或者,该合成控件可以是一个菜单项等等。
步骤603,当接收到对至少一个视频特效模板中的第一视频特效模板的选择指令时,根据该第一视频特效模板,对拍摄的图像帧进行特效处理,并对处理后的图像帧进行显示,同时播放伴奏音频和录制的音频数据。
步骤604,当接收到对合成控件的触发指令时,将伴奏音频、录制的音频数据和处理后的图像帧进行合成,得到合成视频。
该触发指令可以是点击指令。
下面将结合具体实施方式,对图6所示的处理流程进行详细的说明,内容可以如下:
步骤601,播放待录制歌曲的伴奏音频,显示该伴奏音频对应的歌词字幕,并进行图像帧的拍摄和音频数据的录制。
其中,待录制歌曲可以是用户想要进行K歌的歌曲或歌曲片段。
在本实施例中,用户可以在其终端上安装唱歌类应用程序,并操作启动该应用程序,此时应用程序可以显示主界面,在主界面中可以显示有点歌按键,用户点击点歌按键后,可以触发应用程序切换至相应的歌曲选择界面,在歌曲选择界面中可以显示歌曲列表,用户可以在其中选择自己喜欢的歌曲(即后面提到的目标歌曲)。歌曲列表中可以显示本地存储有伴奏文件的歌曲,还可以显示网络侧(即服务器侧)存储有伴奏文件的歌曲。用户在歌曲列表中选择某歌曲之后,应用程序可以将该歌曲作为待录制歌曲,并可以显示该歌曲的录制界面,录制界面中可以显示有录制按键,用户点击录制按键,则可以触发应用程序调取该歌曲的伴奏文件,并运行该伴奏文件,以播放该歌曲的伴奏音频,并在录制界面显示该歌曲对应的歌词字幕,同时,终端可以开始通过终端的前 置摄像头拍摄图像帧,并通过麦克风录制音频数据。
可选的,用户可以在目标歌曲中选择自己喜欢的片段作为待录制歌曲,相应的,在步骤601之前可以进行如下处理:确定用户在目标歌曲中选取的歌曲片段。相应的在步骤601中,可以播放该歌曲片段的伴奏音频。
在本实施例中,用户在上述歌曲列表中选择某歌曲(即目标歌曲)之后,用户可以在该歌曲中选取想要录制的歌曲片段,进而,应用程序可以获得用户在目标歌曲中选取的歌曲片段。
可选的,用户在目标歌曲中选取歌曲片段的处理方式可以多种多样,以下给出了几种可选的处理方式:
方式一,显示目标歌曲的歌词列表;获取用户在歌词列表中设置的歌曲片段的起始点和终止点;根据起始点和终止点,确定用户在目标歌曲中选取的歌曲片段。
在实施中,如图7所示,录制界面中可以显示目标歌曲的歌词列表,还可以在歌词列表中显示有起始线和终止线,用户可以通过上下拖动上述的起始线和终止线在歌词列表中选取自己喜欢的歌曲片段,起始线下方的歌词为用户所选取歌曲片段的起始歌词(起始句),终止线上方的歌词为用户所选取歌曲片段的终止歌词(终止句),然后,用户可以点击录制按键,应用程序可以获取上述的起始歌词的开始时间点和终止歌词的结束时间点,作为歌曲片段起始点和终止点,根据起始点和终止点可以确定在目标歌曲中选取的歌曲片段。进而可以播放该歌曲片段的伴奏音频。
另外,在应用程序中,还可以预先设置歌曲片段的时长上限,如30秒。如果上述起始点与终止点的时间差大于30秒,则可以设置录制界面中的录制按键进入无法点击状态。此外,在应用程序中还可以预先设置歌曲片段的时长下限,如10秒。如果上述起始点与终止点的时间差小于10秒,则可以设置录制界面中的录制按键进入无法点击状态。
方式二,显示目标歌曲的播放时间轴;获取用户在播放时间轴中设置的歌曲片段的起始点和终止点;根据起始点和终止点,确定用户在目标歌曲中选取的歌曲片段。
在实施中,录制界面中可以显示目标歌曲的播放时间轴,在显示的时间轴上还可以显示位于不同位置的两条线,用户可以通过拖动这两条线来选取自己喜欢的歌曲片段,选择后,上述两条线所在的位置点即为用户选取的歌曲片段 的起始点和终止点,应用程序可以获取用户在所述播放时间轴中设置的歌曲片段的起始点和终止点,进而确定在目标歌曲中选取的歌曲片段。
可选的,在开始录制之前,在录制界面中还可以显示有多种滤镜的选项,如图8所示,用户可以在其中选择一种滤镜,用于对拍摄的视频图像进行实时处理。用户在选择滤镜后,可以点击录制按键开始录制,应用程序则可以根据用户选取的滤镜对拍摄到的每一个图像帧进行相应的图像处理,将滤镜处理后的视频图像输出到屏幕进行显示,并对其进行编码,实时保存到文件中。
步骤602,在视频图像的拍摄和音频的录制结束后,显示预先存储的至少一个视频特效模板的选项,并显示合成控件;其中,视频特效模板包括至少一个滤镜和/或至少一个前景视频。
其中,视频特效模板是用于对视频图像进行组合处理的多种视频特效,视频特效可以包括至少一个滤镜;或,视频特效可以包括至少一个前景视频;或,视频特效可以包括至少一个滤镜和至少一个前景视频。滤镜可以是用于对视频图像中各个像素的像素值进行调整以达到某种特定视觉效果的工具,如黑白滤镜、古朴色滤镜等,前景视频可以是悬浮显示在图像帧上层的视频。
在本实施例中,当待录制歌曲的伴奏音频的最后一个音频帧播放完毕时,或者用户在伴奏音频播放过程中点击录制界面中的结束按键时,视图像帧的拍摄和音频数据的录制结束,应用程序相应的切换至预览界面,如图9所示,在预览界面中可以显示本地预先存储的一个或多个视频特效模板的选项,其中的视频特效模板可以在视频图像的不同时间段使用不同的滤镜和/或前景视频,也可以在相同的时间段使用不同的滤镜和/或前景视频。上述应用程序中可以记录有每种视频特效模板对应的处理信息,处理信息中可以包括视频特效模板中每个滤镜、前景视频的开始时间点和结束时间点。另外,在上述的预览界面中可以显示有合成按键,用于对图像帧、音频数据进行合成。
步骤603,当接收到对至少一个视频特效模板中的第一视频特效模板的选择指令时,根据该第一视频特效模板,对拍摄的图像帧进行组合特效处理,并对处理后的图像帧进行显示,同时播放伴奏音频和录制的音频数据。
在本实施例中,用户根据预览界面显示的视频特效模板的选项,可以选择自己喜欢的一个视频特效模板,用户点击其中的一个视频特效模板的选项时,终端将会接收到对该视频特效模板(即第一视频特效模板)的选择指令,此时,终端可以获取其存储的该视频特效模板的处理信息,根据处理信息中的每个滤 镜、前景视频的开始时间点和结束时间点,对每个滤镜、前景视频所涉及的图像帧进行处理,并实时对处理后的图像帧输出到屏幕上进行显示。
需要说明的是,根据该第一视频特效模板对拍摄的图像帧进行组合特效处理的方式,可以参考上述步骤302的描述。
在对图像帧进行处理的同时,可以获取伴奏音频和录制的音频数据,根据每个图像帧的时间点以及伴奏音频和录制的音频数据中每个音频帧的时间点,对音视频进行同步播放。
若预览界面中显示了多个视频特效模板的选项,用户选择了其中的一个视频特效模板预览后,用户还可以选择其他的视频特效模板进行预览,最终选择一个自己最喜欢的视频特效模板。
步骤604,当接收到对合成控件的触发指令时,将伴奏音频、录制的音频数据和处理后的图像帧进行合成,得到合成视频。
在本实施例中,用户选择视频特效模板并预览后,可以点击上述预览界面中的合成按键,终端将会接收到对上述合成按键的点击指令,终端可以获取经过视频特效模板处理的图像帧,将其进行ffmpeg(是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序)编码,此外,终端还可以获取伴奏音频和录制的音频数据,并对其进行音频编码,得到编码后的音频数据,之后将编码后的图像帧与编码后的音频数据进行ffmpeg合成,得到合成视频。
可选的,用户在录制歌曲时还可以对录制的音频数据进行特效处理,相应的,还可以进行如下处理:显示至少一个音频特效的选项,当接收到对至少一个音频特效中的第一音频特效的选择指令时,根据第一音频特效,对录制的音频数据进行特效处理,并对处理后的音频数据进行播放。相应的,步骤604的处理过程可以如下:当接收到对合成按键的点击指令时,将处理后的音频数据、伴奏音频和处理后的图像帧进行合成,得到合成视频。
在本实施例中,在上述的预览界面还可以显示一个或多个音频特效的选项,如娃娃音、留声机等音频特效,用户可以在显示的音频特效的选项中选择一个自己喜欢的音频特效(即第一音频特效),此时,终端将会接收到对该音频特效的选择指令,根据所选择的音频特效,对所录制的音频数据进行特效处理,并在预览界面对处理后的音频数据进行播放供用户进行预览。用户选择音频特效并预览后可以点击上述预览界面中显示的合成按键,可以触发终端获 取编码后的图像帧,此外,终端还可以获取伴奏音频和处理后的音频数据并将其进行编码,得到编码后的音频数据,之后将编码后的图像帧与编码后的音频数据进行ffmpeg合成,得到合成视频。
请参考图10,其示出了本发明另一实施例提供的生成视频的装置的结构方框图。该生成视频的装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。可选地,该终端还运行有唱歌类应用程序、视频拍摄类应用程序或视频处理类应用程序。该装置包括:
第一单元1020,用于获取视频录制中或视频录制结束的图像帧;
第二单元1040,用于获取被选择的视频特效模板,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
第三单元1060,用于根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧;
第四单元1080,用于将所述处理后的图像帧进行合成,得到合成视频。
可选地,所述第一单元1020,具体用于调用录制进程,以获取一帧图像:
所述第二单元1040,具体用于获取滤镜指示信息,并根据所述滤镜指示信息选择第一滤镜;
所述第三单元1060,具体用于采用选择的所述第一滤镜对获取到的所述图像帧进行滤镜处理,得到处理后的图像帧,显示所述处理后的图像帧,并将所述处理后的图像帧添加至图像集合;确定所述录制进程是否关闭;若所述录制进程未关闭,则获取下一帧图像帧,并返回执行采用选择的所述第一滤镜对获取到的所述图像帧进行滤镜处理的步骤;
所述第四单元1080,用于若所述录制进程已关闭,则将所述图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,输出所述合成视频。
可选地,所述装置,还包括:
所述第三单元1060,还用于接收滤镜切换请求;
所述第四单元1080,还用于根据所述滤镜切换请求对所述合成视频中的滤镜效果进行更新,得到更新后的合成视频;
所述第四单元1080,还用于输出所述更新后的合成视频。
可选地,所述第三单元1060,还用于根据所述滤镜切换请求选择第二滤镜;
所述第三单元1060,还用于提取并删除所述合成视频中的第一滤镜,得到原始图像帧;
所述第四单元1080,还用于采用所述第二滤镜对所述原始图像帧进行滤镜处理,得到更新后的合成视频。
可选地,所述第三单元1060,还用于根据所述滤镜切换请求选择第二滤镜;
所述第四单元1080,还用于采用所述第二滤镜对预先保存的原始图像帧进行滤镜处理,得到更新后的合成视频。
可选地,所述视频特效模板还包括:描述文件,所述描述文件用于描述不同时间点的所述图像帧各自对应的滤镜和/或所述前景视频中的前景图像,所述时间点是根据所述图像帧按帧的排列顺序所确定的时间点;
所述根据被选择的视频特效模板对图像帧进行特效处理,得到处理后的图像帧,包括:
所述第三单元1060,还用于解析所述描述文件,得到与当前图像帧对应的滤镜和/或前景图像;
当存在与所述当前图像帧对应的滤镜且所述滤镜为一个时,根据所述滤镜对所述当前图像帧进行特效处理;
当存在与所述当前图像帧对应的滤镜且所述滤镜为两个或两个以上时,按照所述描述文件指示的滤镜顺序,根据两个或两个以上的所述滤镜对所述当前图像帧依次进行特效处理;
当存在与当前图像帧对应的前景图像时,使用叠加滤镜将所述前景图像与所述当前图像帧进行叠加处理。
可选地,所述视频特效模板包括第一静态滤镜信息、前景视频和第二静态滤镜信息,则:
所述第三单元1060,还用于根据所述第一静态滤镜信息对所述图像帧进行滤镜处理,得到静态滤镜后的图像帧;
所述第三单元1060,还用于从所述前景视频中提取与当前时间点对应的一帧前景图像,采用叠加滤镜将所述前景图像和所述静态滤镜后的图像帧进行叠加处理,得到叠加前景图像后的视频数据;
所述第三单元1060,还用于根据所述第二静态滤镜信息对所述叠加前景图 像后的图像帧进行滤镜处理,得到处理后的图像帧。
可选地,所述第一单元1020,还用于调用音乐播放进程,以播放伴奏音频并在屏幕上显示相应的歌词;
所述第一单元1020,还用于利用所述录制进程获取用户根据所述伴奏音频和所述歌词所输入的音频数据;
所述第四单元1080,还用于将所述伴奏音频、所述歌词以及所述音频数据三项数据中的至少一项与所述图像集合中的所有图像帧进行合成,得到所述合成视频。
可选地,所述第二单元1040,具体用于在获取到所述图像帧后,显示预先存储的至少一个视频特效模板的选项,并显示合成控件;其中,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
所述第三单元1060,具体用于当接收到对所述至少一个视频特效模板中的第一视频特效模板的选择指令时,根据所述第一视频特效模板,对所述图像帧进行组合特效处理,得到处理后的图像帧;
所述第四单元1080,具体用于当接收到对所述合成控件的触发指令时,将所述处理后的图像帧进行合成,得到所述合成视频。
可选地,所述第一单元1020,具体用于播放待录制歌曲的伴奏音频,显示所述伴奏音频对应的歌词字幕,并进行所述图像帧的拍摄和音频数据的录制;
所述第四单元1080,具体用于当接收到对所述合成控件的触发指令时,将所述伴奏音频、所述音频数据和所述处理后的图像帧进行合成,得到所述合成视频。
可选地,所述装置还包括:
所述第二单元1040,还用于显示至少一个音频特效的选项;
所述第三单元1060,还用于当接收到对所述至少一个音频特效中的第一音频特效的选择指令时,根据所述第一音频特效,对所述音频数据进行特效处理;
所述第四单元1080,还用于当接收到对所述合成控件的触发指令时,将所述伴奏音频、所述处理后的音频数据和所述处理后的图像帧进行合成,得到所述合成视频。
相应的,本发明实施例还提供一种移动终端,如图11所示,该移动终端 可以包括射频(RF,Radio Frequency)电路1101、包括有一个或一个以上计算机可读存储介质的存储器1102、输入单元1103、显示单元1104、传感器1105、音频电路1106、无线保真(WiFi,Wireless Fidelity)模块1107、包括有一个或者一个以上处理核心的处理器1108、以及电源1109等部件。本领域技术人员可以理解,图11中示出的移动终端结构并不构成对移动终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路1101可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器1108处理;另外,将涉及上行的数据发送给基站。通常,RF电路1101包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此外,RF电路1101还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile communication)、通用分组无线服务(GPRS,General Packet Radio Service)、码分多址(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code Division Multiple Access)、长期演进(LTE,Long Term Evolution)、电子邮件、短消息服务(SMS,Short Messaging Service)等。
存储器1102可用于存储软件程序以及模块,处理器1108通过运行存储在存储器1102的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1102可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1102可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1102还可以包括存储器控制器,以提供处理器1108和输入单元1103对存储器1102的访问。
输入单元1103可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元1103可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操 作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1108,并能接收处理器1108发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元1103还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1104可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1104可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器1108以确定触摸事件的类型,随后处理器1108根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
移动终端还可包括至少一种传感器1105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在移动终端移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于移动终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1106、扬声器,传声器可提供用户与移动终端之间的音频接口。音频电路1106可将接收到的音频数据转换后的电信号,传输到扬声器,由扬 声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路1106接收后转换为音频数据,再将音频数据输出处理器1108处理后,经RF电路1101以发送给比如另一移动终端,或者将音频数据输出至存储器1102以便进一步处理。音频电路1106还可能包括耳塞插孔,以提供外设耳机与移动终端的通信。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块1107可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块1107,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1108是移动终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1102内的软件程序和/或模块,以及调用存储在存储器1102内的数据,执行移动终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1108可包括一个或多个处理核心;优选的,处理器1108可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1108中。
移动终端还包括给各个部件供电的电源1109(比如电池),优选的,电源可以通过电源管理系统与处理器1108逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1109还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,移动终端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,移动终端中的处理器1108会运行存储在存储器1102中的一个或一个以上的程序指令,从而实现上述各个方法实施例中所提供的生成视频的方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种视频数据处理方法和装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (23)

  1. 一种生成视频的方法,其特征在于,所述方法包括:
    获取视频录制中或视频录制结束的图像帧;
    获取被选择的视频特效模板,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
    根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧;
    将所述处理后的图像帧进行合成,得到合成视频。
  2. 根据权利要求1所述的方法,其特征在于,所述获取视频录制中的视频图像,包括:
    调用录制进程,以获取一帧图像帧;
    所述获取被选择的视频特效模板,包括:
    获取滤镜指示信息,并根据所述滤镜指示信息选择第一滤镜;
    所述根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧,包括:
    采用选择的所述第一滤镜对获取到的所述图像帧进行滤镜处理,得到处理后的图像帧,显示所述处理后的图像帧,并将所述处理后的图像帧添加至图像集合;确定所述录制进程是否关闭;若所述录制进程未关闭,则获取下一帧图像帧,并返回执行采用选择的所述第一滤镜对获取到的所述图像帧进行滤镜处理的步骤;
    所述将所述处理后的图像帧进行合成,得到合成视频,包括:
    若所述录制进程已关闭,则将所述图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,输出所述合成视频。
  3. 根据权利要求2所述的方法,其特征在于,所述方法,还包括:
    接收滤镜切换请求;
    根据所述滤镜切换请求对所述合成视频中的滤镜效果进行更新,得到更新 后的合成视频;
    所述输出所述合成视频,具体为:输出更新后的合成视频。
  4. 根据权利要求3所述的方法,其特征在于,所述根据所述滤镜切换请求对所述合成视频中的滤镜效果进行更新,得到更新后的合成视频,包括:
    根据所述滤镜切换请求选择第二滤镜;
    提取并删除所述合成视频中的第一滤镜,得到原始图像帧;
    采用所述第二滤镜对所述原始图像帧进行滤镜处理,得到更新后的合成视频。
  5. 根据权利要求3所述的方法,其特征在于,所述根据所述滤镜切换请求对所述合成视频中的滤镜效果进行更新,得到更新后的合成视频,包括:
    根据所述滤镜切换请求选择第二滤镜;
    采用所述第二滤镜对预先保存的原始图像帧进行滤镜处理,得到更新后的合成视频。
  6. 根据权利要求1所述的方法,其特征在于,所述视频特效模板还包括:描述文件,所述描述文件用于描述不同时间点的所述图像帧各自对应的滤镜和/或所述前景视频中的前景图像,所述时间点是根据所述图像帧按帧的排列顺序所确定的时间点;
    所述根据被选择的视频特效模板对图像帧进行特效处理,得到处理后的图像帧,包括:
    解析所述描述文件,得到与当前图像帧对应的滤镜和/或前景图像;
    当存在与所述当前图像帧对应的滤镜且所述滤镜为一个时,根据所述滤镜对所述当前图像帧进行特效处理;
    当存在与所述当前图像帧对应的滤镜且所述滤镜为两个或两个以上时,按照所述描述文件指示的滤镜顺序,根据两个或两个以上的所述滤镜对所述当前图像帧依次进行特效处理;
    当存在与当前图像帧对应的前景图像时,使用叠加滤镜将所述前景图像与 所述当前图像帧进行叠加处理。
  7. 根据权利要求1所述的方法,其特征在于,所述视频特效模板包括第一静态滤镜信息、前景视频和第二静态滤镜信息,则所述根据被选择的所述视频特效模板对所述图像帧进行特效处理,包括:
    根据所述第一静态滤镜信息对所述图像帧进行滤镜处理,得到静态滤镜后的图像帧;
    从所述前景视频中提取与当前时间点对应的一帧前景图像,采用叠加滤镜将所述前景图像和所述静态滤镜后的图像帧进行叠加处理,得到叠加前景图像后的视频数据;
    根据所述第二静态滤镜信息对所述叠加前景图像后的图像帧进行滤镜处理,得到处理后的图像帧。
  8. 根据权利要求2至5任一所述的方法,其特征在于,所述调用录制进程,以获取一帧图像帧,还包括:
    调用音乐播放进程,以播放伴奏音频并在屏幕上显示相应的歌词;
    利用所述录制进程获取用户根据所述伴奏音频和所述歌词所输入的音频数据;
    所述将所述图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,输出所述合成视频,具体为:将所述伴奏音频、所述歌词以及所述音频数据三项数据中的至少一项与所述图像集合中的所有图像帧进行合成,得到所述合成视频。
  9. 根据权利要求1所述的方法,其特征在于,所述获取被选择的视频特效模板,包括:
    在获取到所述图像帧后,显示预先存储的至少一个视频特效模板的选项,并显示合成控件;其中,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
    所述根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处 理后的图像帧,包括:
    当接收到对所述至少一个视频特效模板中的第一视频特效模板的选择指令时,根据所述第一视频特效模板,对所述图像帧进行组合特效处理,得到处理后的图像帧;
    所述将所述处理后的图像帧进行合成,得到合成视频,包括:
    当接收到对所述合成控件的触发指令时,将所述处理后的图像帧进行合成,得到所述合成视频。
  10. 根据权利要求9所述的方法,其特征在于,所述获取视频录制结束的图像帧,包括:
    播放待录制歌曲的伴奏音频,显示所述伴奏音频对应的歌词字幕,并进行所述图像帧的拍摄和音频数据的录制;
    所述当接收到对所述合成控件的触发指令时,将所述处理后的图像帧进行合成,得到所述合成视频,包括:
    当接收到对所述合成控件的触发指令时,将所述伴奏音频、所述音频数据和所述处理后的图像帧进行合成,得到所述合成视频。
  11. 根据权利要求10所述的方法,其特征在于,所述方法还包括:
    显示至少一个音频特效的选项;
    当接收到对所述至少一个音频特效中的第一音频特效的选择指令时,根据所述第一音频特效,对所述音频数据进行特效处理;
    所述当接收到对所述合成控件的触发指令时,将所述伴奏音频、所述音频数据和所述处理后的图像帧进行合成,得到所述合成视频,包括:
    当接收到对所述合成控件的触发指令时,将所述伴奏音频、所述处理后的音频数据和所述处理后的图像帧进行合成,得到所述合成视频。
  12. 一种生成视频的装置,其特征在于,所述装置包括:
    第一单元,用于获取视频录制中或视频录制结束的图像帧;
    第二单元,用于获取被选择的视频特效模板,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
    第三单元,用于根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧;
    第四单元,用于将所述处理后的图像帧进行合成,得到合成视频。
  13. 一种终端,其特征在于,所述终端包括:
    一个或多个处理器;和
    存储器;
    所述存储器存储有一个或多个程序,所述一个或多个程序被配置成由所述一个或多个处理器执行,所述一个或多个程序包含用于进行以下操作的指令:
    获取视频录制中或视频录制结束的图像帧;
    获取被选择的视频特效模板,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
    根据被选择的所述视频特效模板对所述图像帧进行特效处理,得到处理后的图像帧;
    将所述处理后的图像帧进行合成,得到合成视频。
  14. 根据权利要求13所述的终端,其特征在于,所述一个或多个程序还包含用于进行以下操作的指令:
    调用录制进程,以获取一帧图像帧;
    获取滤镜指示信息,并根据所述滤镜指示信息选择第一滤镜;
    采用选择的所述第一滤镜对获取到的所述图像帧进行滤镜处理,得到处理后的图像帧,显示所述处理后的图像帧,并将所述处理后的图像帧添加至图像集合;确定所述录制进程是否关闭;若所述录制进程未关闭,则获取下一帧图像帧,并返回执行采用选择的所述第一滤镜对获取到的所述图像帧进行滤镜处理的步骤;
    若所述录制进程已关闭,则将所述图像集合中的所有图像帧按照帧的先后顺序进行合成,得到合成视频,输出所述合成视频。
  15. 根据权利要求14所述的终端,其特征在于,所述一个或多个程序还包 含用于进行以下操作的指令:
    接收滤镜切换请求;
    根据所述滤镜切换请求对所述合成视频中的滤镜效果进行更新,得到更新后的合成视频;
    输出更新后的合成视频。
  16. 根据权利要求15所述的终端,其特征在于,所述一个或多个程序还包含用于进行以下操作的指令:
    根据所述滤镜切换请求选择第二滤镜;
    提取并删除所述合成视频中的第一滤镜,得到原始图像帧;
    采用所述第二滤镜对所述原始图像帧进行滤镜处理,得到更新后的合成视频。
  17. 根据权利要求15所述的终端,其特征在于,所述一个或多个程序还包含用于进行以下操作的指令:
    根据所述滤镜切换请求选择第二滤镜;
    采用所述第二滤镜对预先保存的原始图像帧进行滤镜处理,得到更新后的合成视频。
  18. 根据权利要求13所述的终端,其特征在于,所述视频特效模板还包括:描述文件,所述描述文件用于描述不同时间点的所述图像帧各自对应的滤镜和/或所述前景视频中的前景图像,所述时间点是根据所述图像帧按帧的排列顺序所确定的时间点;
    所述一个或多个程序还包含用于进行以下操作的指令:
    解析所述描述文件,得到与当前图像帧对应的滤镜和/或前景图像;
    当存在与所述当前图像帧对应的滤镜且所述滤镜为一个时,根据所述滤镜对所述当前图像帧进行特效处理;
    当存在与所述当前图像帧对应的滤镜且所述滤镜为两个或两个以上时,按照所述描述文件指示的滤镜顺序,根据两个或两个以上的所述滤镜对所述当前 图像帧依次进行特效处理;
    当存在与当前图像帧对应的前景图像时,使用叠加滤镜将所述前景图像与所述当前图像帧进行叠加处理。
  19. 根据权利要求13所述的终端,其特征在于,所述视频特效模板包括第一静态滤镜信息、前景视频和第二静态滤镜信息,则所述一个或多个程序还包含用于进行以下操作的指令:
    根据所述第一静态滤镜信息对所述图像帧进行滤镜处理,得到静态滤镜后的图像帧;
    从所述前景视频中提取与当前时间点对应的一帧前景图像,采用叠加滤镜将所述前景图像和所述静态滤镜后的图像帧进行叠加处理,得到叠加前景图像后的视频数据;
    根据所述第二静态滤镜信息对所述叠加前景图像后的图像帧进行滤镜处理,得到处理后的图像帧。
  20. 根据权利要求14至17任一所述的终端,其特征在于,所述一个或多个程序还包含用于进行以下操作的指令:
    调用音乐播放进程,以播放伴奏音频并在屏幕上显示相应的歌词;
    利用所述录制进程获取用户根据所述伴奏音频和所述歌词所输入的音频数据;
    将所述伴奏音频、所述歌词以及所述音频数据三项数据中的至少一项与所述图像集合中的所有图像帧进行合成,得到所述合成视频。
  21. 根据权利要求13所述的终端,其特征在于,所述一个或多个程序还包含用于进行以下操作的指令:
    在获取到图像帧后,显示预先存储的至少一个视频特效模板的选项,并显示合成控件;其中,所述视频特效模板包括至少一个滤镜和/或至少一个前景视频;
    当接收到对所述至少一个视频特效模板中的第一视频特效模板的选择指令 时,根据所述第一视频特效模板,对所述图像帧进行组合特效处理,得到处理后的图像帧;
    所述将所述处理后的图像帧进行合成,得到合成视频,包括:
    当接收到对所述合成控件的触发指令时,将所述处理后的图像帧进行合成,得到所述合成视频。
  22. 根据权利要求21所述的终端,其特征在于,所述一个或多个程序还包含用于进行以下操作的指令:
    播放待录制歌曲的伴奏音频,显示所述伴奏音频对应的歌词字幕,并进行所述图像帧的拍摄和音频数据的录制;
    当接收到对所述合成控件的触发指令时,将所述伴奏音频、所述音频数据和所述处理后的图像帧进行合成,得到所述合成视频。
  23. 根据权利要求22所述的终端,其特征在于,所述一个或多个程序还包含用于进行以下操作的指令:
    显示至少一个音频特效的选项;
    当接收到对所述至少一个音频特效中的第一音频特效的选择指令时,根据所述第一音频特效,对所述音频数据进行特效处理;
    所述所述一个或多个程序还包含用于进行以下操作的指令:
    当接收到对所述合成控件的触发指令时,将所述伴奏音频、所述处理后的音频数据和所述处理后的图像帧进行合成,得到所述合成视频。
PCT/CN2016/072448 2015-02-04 2016-01-28 生成视频的方法、装置及终端 WO2016124095A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
MYPI2017702466A MY197743A (en) 2015-02-04 2016-01-28 Video generation method and terminal
US15/666,809 US10200634B2 (en) 2015-02-04 2017-08-02 Video generation method, apparatus and terminal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201510063653.9 2015-02-04
CN201510063653.9A CN104967801B (zh) 2015-02-04 2015-02-04 一种视频数据处理方法和装置
CN201510221018.9A CN104967900B (zh) 2015-05-04 2015-05-04 一种生成视频的方法和装置
CN201510221018.9 2015-05-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/666,809 Continuation US10200634B2 (en) 2015-02-04 2017-08-02 Video generation method, apparatus and terminal

Publications (1)

Publication Number Publication Date
WO2016124095A1 true WO2016124095A1 (zh) 2016-08-11

Family

ID=56563442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/072448 WO2016124095A1 (zh) 2015-02-04 2016-01-28 生成视频的方法、装置及终端

Country Status (4)

Country Link
US (1) US10200634B2 (zh)
MY (1) MY197743A (zh)
TW (1) TWI592021B (zh)
WO (1) WO2016124095A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484423A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种转场特效添加方法及电子设备
CN115484396A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种视频处理方法及电子设备
CN115484424A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种视频数据的转场处理方法及电子设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966527B (zh) * 2015-05-27 2017-04-19 广州酷狗计算机科技有限公司 K歌处理方法、装置以及k歌处理系统
CN109840879B (zh) * 2017-11-28 2022-12-09 腾讯科技(深圳)有限公司 图像渲染方法、装置、计算机存储介质及终端
CN108881766B (zh) * 2018-07-12 2020-04-28 北京微播视界科技有限公司 视频处理方法、装置、终端和存储介质
CN108924626B (zh) * 2018-08-17 2021-02-23 腾讯科技(深圳)有限公司 图片生成方法、装置、设备及存储介质
CN111199519B (zh) * 2018-11-16 2023-08-22 北京微播视界科技有限公司 特效包的生成方法和装置
CN112351221B (zh) * 2019-08-09 2024-02-13 北京字节跳动网络技术有限公司 图像特效处理方法、装置、电子设备和计算机可读存储介质
CN110555799A (zh) * 2019-09-26 2019-12-10 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN111163274B (zh) * 2020-01-21 2022-04-22 海信视像科技股份有限公司 一种视频录制方法及显示设备
CN111339352B (zh) * 2020-01-22 2024-04-26 花瓣云科技有限公司 一种音频生成方法、装置和存储介质
CN113556482A (zh) * 2020-04-24 2021-10-26 阿里巴巴集团控股有限公司 一种基于多摄像头拍摄的视频处理方法、装置和系统
CN111565332A (zh) * 2020-04-27 2020-08-21 北京字节跳动网络技术有限公司 视频传输方法、电子设备和计算机可读介质
CN111601039B (zh) * 2020-05-28 2021-10-15 维沃移动通信有限公司 视频拍摄方法、装置及电子设备
CN111726536B (zh) * 2020-07-03 2024-01-05 腾讯科技(深圳)有限公司 视频生成方法、装置、存储介质及计算机设备
CN112132931B (zh) * 2020-09-29 2023-12-19 新华智云科技有限公司 一种模板化视频合成的处理方法、装置及系统
CN112380379B (zh) * 2020-11-18 2023-05-02 抖音视界有限公司 歌词特效展示方法、装置、电子设备及计算机可读介质
KR20220102450A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 이미지 필터 효과의 생성 방법 및 그 전자 장치
CN112995536A (zh) * 2021-02-04 2021-06-18 上海哔哩哔哩科技有限公司 视频合成方法及系统
CN113630557B (zh) * 2021-10-09 2022-02-11 腾讯科技(深圳)有限公司 图像处理方法、装置、设备、存储介质及计算机程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488428A (en) * 1994-10-06 1996-01-30 Matsushita Electric Industrial Co., Ltd. Video special effect generating apparatus
CN102567031A (zh) * 2012-03-01 2012-07-11 盛乐信息技术(上海)有限公司 视频特效扩充方法及系统
CN103220490A (zh) * 2013-03-15 2013-07-24 广东欧珀移动通信有限公司 一种在视频通信中实现特效的方法及视频用户端
CN103686450A (zh) * 2013-12-31 2014-03-26 广州华多网络科技有限公司 视频处理方法及系统
CN103928039A (zh) * 2014-04-15 2014-07-16 北京奇艺世纪科技有限公司 一种视频合成方法及装置
CN104023192A (zh) * 2014-06-27 2014-09-03 深圳市中兴移动通信有限公司 一种录制视频的方法和装置
CN104967801A (zh) * 2015-02-04 2015-10-07 腾讯科技(深圳)有限公司 一种视频数据处理方法和装置
CN104967900A (zh) * 2015-05-04 2015-10-07 腾讯科技(深圳)有限公司 一种生成视频的方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003091347A (ja) * 2001-09-18 2003-03-28 Sony Corp 情報処理装置、並びに画面表示方法、画面表示プログラム及び画面表示プログラムが記録された記録媒体
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8933960B2 (en) * 2009-08-14 2015-01-13 Apple Inc. Image alteration techniques
JP6093289B2 (ja) * 2013-12-10 2017-03-08 株式会社フレイ・スリー 映像処理装置、映像処理方法およびプログラム
US9679605B2 (en) * 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5488428A (en) * 1994-10-06 1996-01-30 Matsushita Electric Industrial Co., Ltd. Video special effect generating apparatus
CN102567031A (zh) * 2012-03-01 2012-07-11 盛乐信息技术(上海)有限公司 视频特效扩充方法及系统
CN103220490A (zh) * 2013-03-15 2013-07-24 广东欧珀移动通信有限公司 一种在视频通信中实现特效的方法及视频用户端
CN103686450A (zh) * 2013-12-31 2014-03-26 广州华多网络科技有限公司 视频处理方法及系统
CN103928039A (zh) * 2014-04-15 2014-07-16 北京奇艺世纪科技有限公司 一种视频合成方法及装置
CN104023192A (zh) * 2014-06-27 2014-09-03 深圳市中兴移动通信有限公司 一种录制视频的方法和装置
CN104967801A (zh) * 2015-02-04 2015-10-07 腾讯科技(深圳)有限公司 一种视频数据处理方法和装置
CN104967900A (zh) * 2015-05-04 2015-10-07 腾讯科技(深圳)有限公司 一种生成视频的方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484423A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种转场特效添加方法及电子设备
CN115484396A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种视频处理方法及电子设备
CN115484424A (zh) * 2021-06-16 2022-12-16 荣耀终端有限公司 一种视频数据的转场处理方法及电子设备
WO2022262537A1 (zh) * 2021-06-16 2022-12-22 荣耀终端有限公司 一种视频数据的转场处理方法及电子设备
CN115484396B (zh) * 2021-06-16 2023-12-22 荣耀终端有限公司 一种视频处理方法及电子设备

Also Published As

Publication number Publication date
US10200634B2 (en) 2019-02-05
TWI592021B (zh) 2017-07-11
TW201640888A (zh) 2016-11-16
US20170332020A1 (en) 2017-11-16
MY197743A (en) 2023-07-12

Similar Documents

Publication Publication Date Title
TWI592021B (zh) 生成視頻的方法、裝置及終端
WO2016177296A1 (zh) 一种生成视频的方法和装置
CN109819313B (zh) 视频处理方法、装置及存储介质
WO2022048478A1 (zh) 多媒体数据的处理方法、生成方法及相关设备
US11178358B2 (en) Method and apparatus for generating video file, and storage medium
CN110582018B (zh) 一种视频文件处理的方法、相关装置及设备
WO2018184488A1 (zh) 视频配音方法及装置
WO2019105438A1 (zh) 视频特效添加方法、装置及智能移动终端
WO2017016339A1 (zh) 视频分享方法和装置、视频播放方法和装置
JP2021525430A (ja) 表示制御方法及び端末
WO2018157812A1 (zh) 一种实现视频分支选择播放的方法及装置
CN110662090B (zh) 一种视频处理方法和系统
JP6284931B2 (ja) 多重動画再生方法及び装置
WO2019105446A1 (zh) 视频编辑方法、装置及智能移动终端
WO2022057852A1 (zh) 一种多应用程序之间的交互方法
WO2023061414A1 (zh) 一种文件生成方法、装置及电子设备
US20230300286A1 (en) Subtitle presentation based on volume control
CN110908638A (zh) 一种操作流创建方法及电子设备
CN114845152B (zh) 播放控件的显示方法、装置、电子设备及存储介质
CN111049977B (zh) 一种闹钟提醒方法及电子设备
CN112822544A (zh) 视频素材文件生成方法、视频合成方法、设备及介质
WO2021248988A1 (zh) 跨终端录屏方法、终端设备及存储介质
CN113031838B (zh) 屏幕录制方法、装置及电子设备
KR20140089069A (ko) 재생 가능 객체를 생성하는 사용자 단말 장치 및 그 인터렉션 방법
CN113031903B (zh) 电子设备及其音频流合成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16746090

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16746090

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 25.05.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16746090

Country of ref document: EP

Kind code of ref document: A1