CN105681891A - 移动端为用户视频嵌套场景的方法 - Google Patents
移动端为用户视频嵌套场景的方法 Download PDFInfo
- Publication number
- CN105681891A CN105681891A CN201610064119.4A CN201610064119A CN105681891A CN 105681891 A CN105681891 A CN 105681891A CN 201610064119 A CN201610064119 A CN 201610064119A CN 105681891 A CN105681891 A CN 105681891A
- Authority
- CN
- China
- Prior art keywords
- video
- user
- file
- audio
- ycbcr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000000463 material Substances 0.000 claims abstract description 101
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 230000000694 effects Effects 0.000 claims description 26
- 230000008676 import Effects 0.000 claims description 19
- 238000007596 consolidation process Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000005538 encapsulation Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000002513 implantation Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 abstract 1
- 239000012634 fragment Substances 0.000 description 22
- 238000012545 processing Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 239000000203 mixture Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
移动端为用户视频嵌套场景的方法，其步骤如下：（1）在配置文件中配置需要融合视频的各融合起始点和终点；（2）确定要融合的素材视频和用户视频；（3）对选定的视频进行解码或直接读取并根据配置文件设定的各融合起始点和终点选取相应时间段的素材视频和用户视频，选取的同时进行编码形成音视频；（4）重复步骤（3），生成音视频流并复用封装成视频格式。
Description
技术领域
本发明涉及移动端数字视频领域，是手机端通过视频来展示用户的某项技能或者丰富视频的内容增加视频趣味而为用户视频嵌套虚拟场景的方法，特别是一种移动端为用户视频嵌套场景的方法。
背景技术
近年来，移动互联网的飞速发展，wifi的普及和4G时代的来临，智能手机普及，高性能手机快速发展，促使移动端数字视频领域迅速发展。短视频领域的app层出不穷。现今所普遍所见的短视频处理技术多是视频滤镜，视频某时间段添加标签，叠加光效，动态文字素材和帧之间动态切换等,处理方式千篇一律，处理方法也都是通过将素材视频的光效叠加原视频上，或者图片标签的叠加，帧之间的入场出场加动画，都是围绕原视频内容为主，出于突出视频内容，美化视频的目的所进行的。
可见这些处理方式十分单调，输出视频与原视频在内容上并没有太大出入。没有增加用户的参与感，影响用户使用乐趣，总之，并没有升华原视频的本质。
发明内容
本发明提供了一种通过在移动端将用户视频与素材视频融合提高视频的趣味性和观赏性，增加用户参与视频融合体验度的移动端为用户视频嵌套场景的方法。
本发明采用的技术方案是：
移动端为用户视频嵌套场景的方法，其步骤如下：
（1）在配置文件中配置需要融合视频的各融合起始时间点和终止时间点；
（2）确定要融合的素材视频和用户视频；
（3）对选定的视频进行解码或直接读取并根据配置文件设定的各融合起始时间点和终止时间点选取相应时间段的素材视频和用户视频，选取的同时进行编码形成音视频流；
（4）重复步骤（3），生成音视频流并复用封装成视频格式。本发明是通过让用户录制或者选取合适视频，使用户视频与提供的素材视频模板相融合的视频处理方式。素材视频模板，是在最近网络流行、经典影视歌剧、或喜剧片段中选取出来的，经过后期修饰生成的。通过与素材视频模板中的片段相融合，从而丰富用户原视频内容，提高用户参与度，增加视频趣味性的美化视频的方式。事先根据视频模板的特点，记录需要融合的时间起始和终止点，确定需要进行的特效变换（包括音视频的特效变换），确定配置文件内容，网络下载帮助实现视频合成。
进一步，所述素材视频和用户视频融合的方式是素材视频和用户视频之间进行视频拼接、素材视频和用户视频之间进行画面嵌套或是素材视频和用户视频之间进行素材植入。
进一步，视频解码后生成相应的YCbCr文件和音频文件，YCbCr文件和音频文件根据配置文件的设定分开编码成相应的视频流和音频流，再进行音视频流复用封装。YCbCr文件和音频文件都是事先定义好的，统一的格式，方便融合每段视频。其中YCbCr是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中，Y'为颜色的亮度(luma)成分、而CB和CR则为蓝色和红色的浓度偏移量成份。YCbCr文件可以是YUV文件，也可以是其他格式的视频文件。
进一步，用户视频是已有的视频或是实时录制的视频，在导入或录制时就保存为相应的YCbCr文件和音频文件，在步骤（3）中，选取用户视频时直接读取YCbCr文件获取帧数据，选取素材视频时需要读取视频的帧再解码获取YCbCr数据。当用户根据需要裁剪所需要导入视频的某个片段，该片段导入时也并非是根据时间戳在时间上裁剪然后生成视频，而是生成未编码的用户所选取片段的存储YCbCr文件和音频文件。该处所获取的YCbCr和音频文件是根据用户的选择的视频和对该视频用户选择的起始和终止时间解码得来，为了省去YCbCr文件和素材解码所得的帧格式不统一来回转换的时间，在该处会对用户导入视频片段进行相应的处理，例如：缩放，裁剪，补黑边等操作，统一格式后，将其存储。这样设计，可以省去用户在确认生成视频时解码原视频的步骤，减少用户等待时间，提升用户体验，但是由于是未编码的YCbCr数据，所以中间文件较大。当用户通过本app录制视频，所生成的其实并非是视频格式的视频，也是相应的存储YCbCr文件和音频文件，该YCbCr文件和音频文件的具体参数是事先定义好的统一的，方便融合每段视频。
或者，用户视频是已有的视频或是实时录制的视频，在导入或录制时是视频流格式，在步骤（3）中，选取用户视频和素材视频时均需要读取视频的帧再解码获取YCbCr数据。增加了解码的系统消耗，但有效减小了中间文件所占用的存储空间。
进一步，在融合过程中用户可以分段浏览的素材视频和用户视频融合过后的效果，并且能在融合过程中删除某段视频重新录制或者导入，方便用户确认需要填充视频所处的场景。
进一步，所述音频文件的统一格式是采样率为44100HZ、单通道、16位的采样深度。这样在进行拼接的时候并不需要把每个音频流都要接出pcm在进行拼接，大大加快了合成速度，减少用户等待时间（假如需要使用某些音频特效，比如变声或者加背景音乐，则需要解码后处理再编码为音频流）。
本发明的有益效果：
1.通过整合网络上热传视频，实时热点，经典电影等片段进行编辑，让用户通过录制或者导入自己已有视频，与所准备的素材进行融合。从而达到用用户视频融入所挑选的素材的场景，增加用户对于当前视频的参与度和用户视频的趣味性。
2.用户开启APP，就可以选择当前参与哪段场景拍摄，也可以在拍摄过程中随时对自己不满意的地方进行删除，更改。
3.素材视频模板任意更换，用户可以根据自己需求任意更改视频模板，做到选择即可拍，无延时，用户省去焦急等待过程，从而优化了用户体验。
4.用户可以通过这个技术合成视频发布到网络上，大大节俭用户导入到电脑上处理视频剪辑优化的时间。
附图说明
图1是本发明实施例一的用户交互流程图。
图2是本发明实施例一的视频生成时的技术实现流程图。
图3是本发明实施例二的用户交互流程图。
图4是本发明实施例二的视频生成时的技术实现流程图。
图5是本发明实施例三的用户交互流程图。
图6是本发明实施例三的视频生成时的技术实现流程图。
具体实施方式
下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。
实施例一
参照图1、图2，本实施例所述素材视频和用户视频融合的方式是素材视频和用户视频之间进行视频拼接，该方法将用户录制或者导入的视频通过类似于蒙太奇镜头切换的方法，将用户的视频置于经典视频场景中。即：通过由手机APP挑选精美的视频片段作为素材视频，通过于用户拍摄或者导入的视频与其进行拼接，实现用户与素材视频的深度交互，使用户拍摄的普通视频也能融入经典视频片段的场景，更有趣味性，更有观赏性，增加用户与手机APP的参与感的手机端拼接素材片段来生成视频的方法。
移动端为用户视频嵌套场景的方法的具体步骤如下：
（1）在配置文件中配置需要融合视频的各插入起始点和终点；
（2）确定要融合的素材视频和用户视频；
（3）对选定的视频进行解码或直接读取并根据配置文件设定的各插入起始点和终点选取相应时间段的素材视频和用户视频，选取的同时进行编码形成音视频；
（4）重复步骤（3），生成音视频流并复用封装成视频格式。本发明是通过让用户录制或者选取合适视频，使用户视频与提供的素材视频模板相融合的视频处理方式。素材视频模板，是在最近网络流行、经典影视歌剧、或喜剧片段中选取出来的，经过后期修饰生成的。通过与素材视频模板中的片段相融合，从而丰富用户原视频内容，提高用户参与度，增加视频趣味性的美化视频的方式。事先根据视频模板的特点，记录需要融合的时间起始和终止点，确定需要进行的特效变换（包括音视频的特效变换），确定配置文件内容，网络下载帮助实现视频合成。
本实施例视频解码后生成相应的YCbCr文件和音频文件，YCbCr文件和音频文件根据配置文件的设定分开编码成相应的视频流和音频流，再进行音视频流复用封装。YCbCr文件和音频文件都是事先定义好的，统一的格式，方便融合每段视频。其中YCbCr是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中，Y'为颜色的亮度(luma)成分、而CB和CR则为蓝色和红色的浓度偏移量成份。YCbCr文件可以是YUV文件，也可以是其他格式的视频文件。
本实施例用户视频是已有的视频或是实时录制的视频，在导入或录制时就保存为相应的YCbCr文件和音频文件，在步骤（3）中，选取用户视频时直接读取YCbCr文件获取帧数据，选取素材视频时需要读取视频的帧再解码获取YCbCr数据。当用户根据需要裁剪所需要导入视频的某个片段，该片段导入时也并非是根据时间戳在时间上裁剪然后生成视频，而是生成未编码的用户所选取片段的存储YCbCr文件和音频文件。该处所获取的YCbCr和音频文件是根据用户的选择的视频和对该视频用户选择的起始和终止时间解码得来，为了省去YCbCr文件和素材解码所得的帧格式不统一来回转换的时间，在该处会对用户导入视频片段进行相应的处理，例如：缩放，裁剪，补黑边等操作，统一格式后，将其存储。这样设计，可以省去用户在确认生成视频时解码原视频的步骤，减少用户等待时间，提升用户体验，但是由于是未编码的YCbCr数据，所以中间文件较大。当用户通过本app录制视频，所生成的其实并非是视频格式的视频，也是相应的存储YCbCr文件和音频文件，该YCbCr文件和音频文件的具体参数是事先定义好的统一的，方便融合每段视频。
当然用户视频在导入或录制时也可以是视频流格式，在步骤（3）中，选取用户视频和素材视频时均需要读取视频的帧再解码获取YCbCr数据。增加了解码的系统消耗，但有效减小了中间文件所占用的存储空间。
本实施例在融合过程中用户可以分段浏览的素材视频和用户视频融合过后的效果，并且能在融合过程中删除某段视频重新录制或者导入，方便用户确认需要填充视频所处的场景。
本实施例所述音频文件的统一格式是采样率为44100HZ、单通道、16位的采样深度。这样在进行拼接的时候并不需要把每个音频流都要接出pcm在进行拼接，大大加快了合成速度，减少用户等待时间（假如需要使用某些音频特效，比如变声或者加背景音乐，则需要解码后处理再编码为音频流）。
本实施例在手机APP端使用时，参照图1，其具体步骤如下：
1、登录APP，进入特效的编辑界面。用户可以选择使用哪个视频素材模板，选择进入对应的场景界面，界面中采用类似于填空题的方式罗列每段素材视频和待填入的视频的位置。用户通过点击有+号的图标选择是要导入视频还是拍色，同时也可以删除已经导入或拍摄完成的视频片段。整个素材视频虽然在根据用户编辑生成视频后是被原视频分割开的，但是其实素材视频的所有“片段”都是连续的的一个视频，只是需要填充的部分的起始点会填写到一个相应的配置文件中。事先会根据素材视频模板的特点，确定视频模板中配置文件的内容，纪录素材模板需要用户插入的视频片段的插入点（表示方式为帧下标或者pts，其中PTS主要用于度量解码后的视频帧什么时候被显示出来。是用来在视频流中表示帧显示时间点的度量单位。由于统一了帧率，也可以根据帧的计数下标来充当pts)。
2、用户进入录制视频界面，可以通过摄像头录制视频，可以通过导入本地视频后拖动选择框截取用户需要视频片段，用来填充素材视频之间所需要填充的部分，在此期间用户可以浏览分段的素材视频和整个的融合过后的效果，方便用户确认需要填充视频所处的场景，这个过程中用户也可以删除某段视频重新录制或者导入。
3、用户填充完毕所有的需要填充的片段之后，点击确认按钮，生成刚才所编辑的视频。
本实施例当用户确认要合成视频后，参见图2，其视频的融合技术实现具体方案如下：
1)根据素颜视频的特点，通过配置文件的记录，确定需要插入用户录制或者导入视频的位置。插入视频的起始点（时间戳）是根据视频的特点事先填写到配置文件中的，用户在下载素材视频时，配置文件会配套的存储在手机，通过我们所设计的协议解析，确定每段需要插入的起始点，并获取该时间戳中视频帧所对应的视频的特效处理（如淡入画面，左右切换，滤镜处理等）。
2)根据用户的编辑和素材视频的特点，按照一定顺序，解码视频或读取YCbCr数据。通过分析配置文件，和用户的编辑，确定用户要生成视频的播放顺序，通过播放顺序解码对应的视频（当该时间戳所对应的用户视频时，因为在用户录制视频或导入视频时生成的YCbCr帧的总和文件，所以并不需要解码，直接根据帧的大小读取帧的内容）。获取该时间戳所对应的帧并进行该帧所对应的特效处理之后存入内存。
3)在解码视频的同编码，生成视频流。上个步骤中拿到帧之后（由于是根据配置文件和用户编辑来解码（或者读取YCbCr文件），所以拿到的帧就是生成视频在该时间戳所对应的帧），直接编码。
4)重复2）3）步骤，生成视频流。该视频流在等待音频流生成后用于最后的视频封装。
5)根据原视频特点和用户的编辑，确定音频的片段和顺序。与视频的片段融合类似，通过解析配置文件（并非是通过对应的视频片断确定音频片段，而定该时间戳所对应的音频，同时是通过配置文件的解析来确认，因为有可能原视频所对应的并非是原音频），并通过配置文件解析确定该音频所需要的音频特效处理（例如，融合背景音乐、音调、音量的调整等）。
6)根据已解析的内容解码音频，并做出相应的特效处理，之后存储该时间戳待编码的pcm波形到内存，假如没有特效处理，就直接将音频流文件拼接。
7)假如需要解码成pcm，解码的同时进行编码。与视频流的编辑类似，将上一步骤所得到的pcm编码成音频，假如不需要解码直接拼接。
8)重复6）7）步骤，生成音频流。
9)音视频流的复用封装，生成视频格式。
实施例二
参照图3、图4，本实施例述素材视频和用户视频融合的方式是素材视频和用户视频之间进行画面嵌套。该方法是通过将用户视频已画中画的形式放置在素材视频特定区域，实现场景嵌套的目的。简单的说，该处理方法所得的视频，是将用户的视频覆盖到素材视频的某一区域，到达与素材视频融合到一起的方法。
移动端为用户视频嵌套场景的方法的具体步骤如下：
（1）在配置文件中根据素材视频特点配置素材视频中需要被覆盖遮挡的区域和需要潜入用户视频的起始和终止时间点；
（2）确定要融合的素材视频和用户视频；
（3）解码素材视频，根据配置文件的规定，在需要在素材帧区域内覆盖用户视频时读取用户视频时生成YCbCr文件的YCbCr数据（或者解码用户视频获取YCbCr数据），经过特定的特效处理之后（例如：缩放、旋转、滤镜等），将两者YCbCr数据根据特定算法融合，再进行编码该YCbCr数据。音频也根据配置文件的规定，读取该时间点所需要的音频包（如果需要解码成pcm，进行部分处理的，就解码音频，通过特定处理后再编码成音频流）输出到音频流中；
（4）重复步骤（3），生成音视频流并复用封装成视频格式。本发明是通过让用户录制或者选取合适视频，使用户视频与提供的素材视频模板相融合的视频处理方式。素材视频模板，是需要挑选一些具有某些风格，并且在视频画面内容中有合适区域用于覆盖的。
本实施例用户视频是已有的视频或是实时录制的视频，在导入或录制时就保存为相应的YCbCr文件和音频文件。当用户根据需要裁剪所需要导入视频的某个片段，该片段导入时也并非是根据时间戳在时间上裁剪然后生成视频，而是生成未编码的用户所选取片段的存储YCbCr文件和音频文件。该处所获取的YCbCr和音频文件是根据用户的选择的视频和对该视频用户选择的起始和终止时间解码得来，为了省去YCbCr文件和素材解码所得的帧格式不统一来回转换的时间，在该处会对用户导入视频片段进行相应的处理，例如：缩放，裁剪，补黑边等操作，统一格式后，将其存储。这样设计，可以省去用户在确认生成视频时解码原视频的步骤，减少用户等待时间，提升用户体验。当用户通过本app录制视频，所生成的其实并非是视频格式的视频，也是相应的存储YCbCr文件和音频文件，该YCbCr文件和音频文件的具体参数是事先定义好的统一的，方便拼接每段视频。
当然用户视频在导入或录制时也可以是视频流格式，在步骤（3）中，选取用户视频和素材视频时均需要读取视频的帧再解码获取YCbCr数据。增加了解码的系统消耗，但有效减小了中间文件所占用的存储空间。
本实施例所述音频文件的格式是统一的，从而节省格式不同而需要解码转换的时间。格式是采样率为44100HZ、单通道、16位的采样深度。这样在进行拼接的时候并不需要把每个音频流都要接出pcm在进行拼接，大大加快了合成速度，减少用户等待时间（假如需要使用某些音频特效，比如变声或者加背景音乐，则需要解码后处理再编码为音频流）。
本实施例在具体使用时，其步骤如下：
（1）用户选取喜欢的素材，可以浏览别人录制处理过之后的视频，方便用户理解该处理的效果。
（2）用户导入或者录制相应的视频；
（3）根据配置文件记录的素材视频的起始和终止点，对用户视频进行解码或直接读取YCbCr数据与此同时解码素材视频，并根据配置文件所记录的嵌入用户视频的位置融合两个YCbCr数据，同时进行编码形成视频流，根据配置文件的记录，同样输出对应音频流（如果需要，解码两个音频流并进行处理之后再编码生成音频流）；
（4）重复步骤（3），生成音视频流并复用封装成视频格式。
本实施例在手机APP端使用时，具体步骤如下：
1、登录APP，可以选择使用哪个视频素材模板。
2、用户选择录制还是导入视频，如果是录制视频用户在录制时候就已经可以实时浏览到用户视频和素材视频处理过之后的效果，录制完成之后进入浏览界面，用户可以浏览和优化视频效果（如添加滤镜，添加背景音乐等）。如果选择倒入视频，在处理过之后，同样进入浏览界面，用户的优化视频效果会对应写入配置文件中。
3、根据配置文件内容生成用户所需要的视频。
实施例三
参见图5、图6，本实施例所述素材视频和用户视频融合的方式是素材视频和用户视频之间进行画面嵌套或是素材视频和用户视频之间进行素材植入。该方法是通过在用户视频的固定区域，植入某个已有素材，素材可以是挑选好的卡通形象短片，奢侈品短片等。是以用户视频为面板，植入素材的方法。本实施例方法中往用户视频中植入素材区别于上一种视频嵌套中的实现，素材视频中根据素材的颜色特点，会选取特定颜色为背景颜色（比如选取哆啦A梦为植入素材，会选取黑色为素材视频的背景颜色），在植入到用户视频中时，通过特殊算法过滤掉素材视频中的背景颜色，仅仅将素材模型添加到用户视频中。
移动端为用户视频嵌套场景的方法的具体步骤如下：
（1）根据用户添加素材对应用户视频的时间点和设定的位置，从YCbCr文件中读取用户视频对应帧的YCbCr数据，判断该时间点是否需要添加素材，如果需要则开始解码素材，通过特定的融合算法，将素材YCbCr数据和用户视频该时间点的YCbCr数据融合，同时编码到输出的视频流。同时同样方法，处理用户音频和素材音频，添加到输出的音频流。
（2）重复（1）步骤，生成音频流和视频流，并复用封装成视频格式。
本实施例用户视频是已有的视频或是实时录制的视频，在导入或录制时就保存为相应的YCbCr文件和音频文件。当用户根据需要裁剪所需要导入视频的某个片段，该片段导入时也并非是根据时间戳在时间上裁剪然后生成视频，而是生成未编码的用户所选取片段的存储YCbCr文件和音频文件。该处所获取的YCbCr和音频文件是根据用户的选择的视频和对该视频用户选择的起始和终止时间解码得来，为了省去YCbCr文件和素材解码所得的帧格式不统一来回转换的时间，在该处会对用户导入视频片段进行相应的处理，例如：缩放，裁剪，补黑边等操作，统一格式后，将其存储。这样设计，可以省去用户在确认生成视频时解码原视频的步骤，减少用户等待时间，提升用户体验。当用户通过本app录制视频，所生成的其实并非是视频格式的视频，也是相应的存储YCbCr文件和音频文件，该YCbCr文件和音频文件的具体参数是事先定义好的统一的，方便读取视频所对应的帧。
当然用户视频在导入或录制时也可以是视频流格式，在步骤（3）中，选取用户视频和素材视频时均需要读取视频的帧再解码获取YCbCr数据。增加了解码的系统消耗，但有效减小了中间文件所占用的存储空间。
本实施例所述音频文件的格式是统一的，从而节省格式不同而需要解码转换的时间。格式是采样率为44100HZ、单通道、16位的采样深度。这样在进行拼接的时候并不需要把每个音频流都要接出pcm在进行拼接，大大加快了合成速度，减少用户等待时间（假如需要使用某些音频特效，比如变声或者加背景音乐，则需要解码后处理再编码为音频流）。
本实施例在具体使用时，其步骤如下：
（1）用户导入或者录制视频。
（2）用户为用户视频选取素材，并拖动其素材选取合适位置；
（3）根据配置文件记录的素材视频的起始和终止点，对用户视频进行解码或直接读取yuv数据与此同时解码素材视频，并根据配置文件所记录的嵌入用户视频的位置融合两个yuv数据，同时进行编码形成视频流，根据配置文件的记录，同样输出对应音频流（如果需要，解码两个音频流并进行处理之后再编码生成音频流）；
（4）重复步骤（3），生成音视频流并复用封装成视频格式。
本实施例在手机APP端使用时，具体步骤如下：
1、用户选择植入哪个视频素材。
2、用户选择录制还是导入视频，如果是录制视频用户在录制之前拖动素材确定位置和输入起始和终止时间点，录制时候就已经可以实时浏览到用户视频和素材视频处理过之后的效果，录制完成之后进入浏览界面，用户可以浏览和优化视频效果（如添加滤镜，添加背景音乐等）。如果选择倒入视频，导入之后需要用户拖动素材确定位置，在处理过之后，同样进入浏览界面，用户的优化视频效果会对应写入配置文件中。
3、根据配置文件内容生成用户所需要的视频。
Claims (7)
1.移动端为用户视频嵌套场景的方法，其步骤如下：
（1）在配置文件中配置需要融合视频的各融合起始时间点和终止时间点；
（2）确定要融合的素材视频和用户视频；
（3）对选定的视频进行解码或直接读取并根据配置文件设定的各融合起始时间点和终止时间点选取相应时间段的素材视频和用户视频，选取的同时进行编码形成音视频流；
（4）重复步骤（3），生成音视频流并复用封装成视频格式。
2.如权利要求1所述的移动端为用户视频嵌套场景的方法，其特征在于：所述素材视频和用户视频融合的方式是素材视频和用户视频之间进行视频拼接、素材视频和用户视频之间进行画面嵌套或是素材视频和用户视频之间进行素材植入。
3.如权利要求1所述的移动端为用户视频嵌套场景的方法，其特征在于：视频解码后生成相应的YCbCr文件和音频文件，YCbCr文件和音频文件根据配置文件的设定分开编码成相应的视频流和音频流，再进行音视频流复用封装。
4.如权利要求3所述的移动端为用户视频嵌套场景的方法，其特征在于：用户视频是已有的视频或是实时录制的视频，在导入或录制时就保存为相应的YCbCr文件和音频文件，在步骤（3）中，选取用户视频时直接读取YCbCr文件获取帧数据，选取素材视频时需要读取视频的帧再解码获取YCbCr数据。
5.如权利要求3所述的移动端为用户视频嵌套场景的方法，其特征在于：用户视频是已有的视频或是实时录制的视频，在导入或录制时是视频流格式，在步骤（3）中，选取用户视频和素材视频时均需要读取视频的帧再解码获取YCbCr数据。
6.如权利要求1~5之一所述的移动端为用户视频嵌套场景的方法，其特征在于：在融合过程中用户可以分段浏览的素材视频和用户视频融合过后的效果，并且能在融合过程中删除某段视频重新录制或者导入。
7.如权利要求6所述的移动端为用户视频嵌套场景的方法，其特征在于：所述音频文件的统一格式是采样率为44100HZ、单通道、16位的采样深度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610064119.4A CN105681891A (zh) | 2016-01-28 | 2016-01-28 | 移动端为用户视频嵌套场景的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610064119.4A CN105681891A (zh) | 2016-01-28 | 2016-01-28 | 移动端为用户视频嵌套场景的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105681891A true CN105681891A (zh) | 2016-06-15 |
Family
ID=56303841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610064119.4A Pending CN105681891A (zh) | 2016-01-28 | 2016-01-28 | 移动端为用户视频嵌套场景的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105681891A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106686440A (zh) * | 2016-12-28 | 2017-05-17 | 杭州趣维科技有限公司 | 一种应用于手机平台的快捷高效的画中画视频制作方法 |
| CN108012190A (zh) * | 2017-12-07 | 2018-05-08 | 北京搜狐新媒体信息技术有限公司 | 一种视频合并方法及装置 |
| CN108024083A (zh) * | 2017-11-28 | 2018-05-11 | 北京川上科技有限公司 | 处理视频的方法、装置、电子设备和计算机可读存储介质 |
| WO2018133797A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 一种视频合成方法及终端 |
| CN108632540A (zh) * | 2017-03-23 | 2018-10-09 | 北京小唱科技有限公司 | 视频处理方法和装置 |
| CN109168028A (zh) * | 2018-11-06 | 2019-01-08 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、服务器及存储介质 |
| CN110062163A (zh) * | 2019-04-22 | 2019-07-26 | 珠海格力电器股份有限公司 | 多媒体数据的处理方法以及装置 |
| CN111862936A (zh) * | 2020-07-28 | 2020-10-30 | 游艺星际(北京)科技有限公司 | 生成及发布作品的方法、装置、电子设备和存储介质 |
| CN112866796A (zh) * | 2020-12-31 | 2021-05-28 | 北京字跳网络技术有限公司 | 视频生成方法、装置、电子设备和存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030140159A1 (en) * | 1995-12-12 | 2003-07-24 | Campbell Roy H. | Method and system for transmitting and/or retrieving real-time video and audio information over performance-limited transmission systems |
| CN201001175Y (zh) * | 2007-01-15 | 2008-01-02 | 上海赛唯伦科技有限公司 | Ip音视频编码解码器 |
| CN102523458A (zh) * | 2012-01-12 | 2012-06-27 | 山东大学 | 一种适于高清图像视频无线传输的编解码方法 |
| CN102572300A (zh) * | 2010-12-31 | 2012-07-11 | 新奥特（北京）视频技术有限公司 | 一种流程图方式的视频特效合成方法 |
| CN102638658A (zh) * | 2012-03-01 | 2012-08-15 | 盛乐信息技术（上海）有限公司 | 音视频编辑方法及系统 |
| CN102723079A (zh) * | 2012-06-07 | 2012-10-10 | 天津大学 | 基于稀疏表示的音乐和弦自动识别方法 |
| US20120328268A1 (en) * | 2007-11-23 | 2012-12-27 | Research In Motion Limited | System and Method For Providing a Variable Frame Rate and Adaptive Frame Skipping on a Mobile Device |
| CN103413552A (zh) * | 2013-08-29 | 2013-11-27 | 四川大学 | 一种音频水印嵌入和提取方法及装置 |
| CN103928039A (zh) * | 2014-04-15 | 2014-07-16 | 北京奇艺世纪科技有限公司 | 一种视频合成方法及装置 |
| CN105187692A (zh) * | 2014-06-16 | 2015-12-23 | 腾讯科技（北京）有限公司 | 视频拍摄方法及装置 |
-
2016
- 2016-01-28 CN CN201610064119.4A patent/CN105681891A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030140159A1 (en) * | 1995-12-12 | 2003-07-24 | Campbell Roy H. | Method and system for transmitting and/or retrieving real-time video and audio information over performance-limited transmission systems |
| CN201001175Y (zh) * | 2007-01-15 | 2008-01-02 | 上海赛唯伦科技有限公司 | Ip音视频编码解码器 |
| US20120328268A1 (en) * | 2007-11-23 | 2012-12-27 | Research In Motion Limited | System and Method For Providing a Variable Frame Rate and Adaptive Frame Skipping on a Mobile Device |
| CN102572300A (zh) * | 2010-12-31 | 2012-07-11 | 新奥特（北京）视频技术有限公司 | 一种流程图方式的视频特效合成方法 |
| CN102523458A (zh) * | 2012-01-12 | 2012-06-27 | 山东大学 | 一种适于高清图像视频无线传输的编解码方法 |
| CN102638658A (zh) * | 2012-03-01 | 2012-08-15 | 盛乐信息技术（上海）有限公司 | 音视频编辑方法及系统 |
| CN102723079A (zh) * | 2012-06-07 | 2012-10-10 | 天津大学 | 基于稀疏表示的音乐和弦自动识别方法 |
| CN103413552A (zh) * | 2013-08-29 | 2013-11-27 | 四川大学 | 一种音频水印嵌入和提取方法及装置 |
| CN103928039A (zh) * | 2014-04-15 | 2014-07-16 | 北京奇艺世纪科技有限公司 | 一种视频合成方法及装置 |
| CN105187692A (zh) * | 2014-06-16 | 2015-12-23 | 腾讯科技（北京）有限公司 | 视频拍摄方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106686440A (zh) * | 2016-12-28 | 2017-05-17 | 杭州趣维科技有限公司 | 一种应用于手机平台的快捷高效的画中画视频制作方法 |
| WO2018133797A1 (zh) * | 2017-01-17 | 2018-07-26 | 腾讯科技（深圳）有限公司 | 一种视频合成方法及终端 |
| CN108632540A (zh) * | 2017-03-23 | 2018-10-09 | 北京小唱科技有限公司 | 视频处理方法和装置 |
| CN108632540B (zh) * | 2017-03-23 | 2020-07-03 | 北京小唱科技有限公司 | 视频处理方法和装置 |
| CN108024083A (zh) * | 2017-11-28 | 2018-05-11 | 北京川上科技有限公司 | 处理视频的方法、装置、电子设备和计算机可读存储介质 |
| CN108012190A (zh) * | 2017-12-07 | 2018-05-08 | 北京搜狐新媒体信息技术有限公司 | 一种视频合并方法及装置 |
| CN109168028A (zh) * | 2018-11-06 | 2019-01-08 | 北京达佳互联信息技术有限公司 | 视频生成方法、装置、服务器及存储介质 |
| CN110062163A (zh) * | 2019-04-22 | 2019-07-26 | 珠海格力电器股份有限公司 | 多媒体数据的处理方法以及装置 |
| US11800217B2 (en) | 2019-04-22 | 2023-10-24 | Gree Electric Appliances, Inc. Of Zhuhai | Multimedia data processing method and apparatus |
| CN111862936A (zh) * | 2020-07-28 | 2020-10-30 | 游艺星际(北京)科技有限公司 | 生成及发布作品的方法、装置、电子设备和存储介质 |
| CN112866796A (zh) * | 2020-12-31 | 2021-05-28 | 北京字跳网络技术有限公司 | 视频生成方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105681891A (zh) | 移动端为用户视频嵌套场景的方法 | |
| CN112184856B (zh) | 支持多图层特效及动画混合的多媒体处理装置 | |
| CN107613357B (zh) | 声画同步优化方法、装置及可读存储介质 | |
| EP2104105A1 (en) | Digital audio and video clip encoding | |
| US10565245B2 (en) | Method and system for storytelling on a computing device via a mixed-media module engine | |
| US7882258B1 (en) | System, method, and computer readable medium for creating a video clip | |
| US8990693B2 (en) | System and method for distributed media personalization | |
| KR20230042523A (ko) | 멀티미디어 데이터의 처리 방법, 생성 방법 및 관련 기기 | |
| CN104159151A (zh) | 一种在ott盒子上进行视频截取并处理的装置及方法 | |
| US20110142420A1 (en) | Computer device, method, and graphical user interface for automating the digital tranformation, enhancement, and editing of personal and professional videos | |
| CN104349175A (zh) | 一种基于手机终端的视频制作系统及方法 | |
| JP2017505012A (ja) | ビデオ処理方法、装置及び再生装置 | |
| KR100963005B1 (ko) | 자유시점 ａｖ 서비스에 따른 파일 생성 방법 | |
| CN112218154B (zh) | 视频的获取方法和装置、存储介质及电子装置 | |
| JP2004048735A (ja) | ビデオ合成を表示するための方法およびグラフィカルユーザインターフェース | |
| CN111083138A (zh) | 短视频制作系统、方法、电子设备及可读存储介质 | |
| WO2017219980A1 (zh) | 播放画面生成方法、装置及系统 | |
| CN101106770A (zh) | 一种手机上制作带背景音乐的拍照动画的方法 | |
| US20200219536A1 (en) | Methods and apparatus for using edit operations to perform temporal track derivations | |
| EP2104103A1 (en) | Digital audio and video clip assembling | |
| CN107948715A (zh) | 网络直播方法和装置 | |
| CN104091608A (zh) | 一种基于ios设备的视频编辑方法及装置 | |
| CN106686440A (zh) | 一种应用于手机平台的快捷高效的画中画视频制作方法 | |
| KR102069897B1 (ko) | 사용자 영상 생성 방법 및 이를 위한 장치 | |
| CN113711575A (zh) | 用于基于表现即时组装视频剪辑的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160615 |