CN105187733B - 视频处理方法、装置及终端 - Google Patents
视频处理方法、装置及终端 Download PDFInfo
- Publication number
- CN105187733B CN105187733B CN201410250284.XA CN201410250284A CN105187733B CN 105187733 B CN105187733 B CN 105187733B CN 201410250284 A CN201410250284 A CN 201410250284A CN 105187733 B CN105187733 B CN 105187733B
- Authority
- CN
- China
- Prior art keywords
- frame data
- frame
- video
- sequence
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种视频处理方法、装置及终端,属于多媒体处理领域。所述方法包括:获取n个视频,n为正整数;将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个。本发明通过将不同视频合并为一个目标视频,且在目标视频中同一视频画面中的不同区域展示不同视频;能够将多个视频在内容维度上合并为同一个目标视频,使得一个长度未发生明显改变的目标视频就携带了n个视频的视频内容,提高了单位时间内的信息承载率,并且在表现形式上也可以发生实质性改变的效果。
Description
技术领域
本发明实施例涉及多媒体处理领域,特别涉及一种视频处理方法、装置及终端。
背景技术
短视频分享是目前在诸如智能手机、平板电脑和多媒体播放器等移动终端上非常流行的一种功能。用户可以通过智能手机来拍摄或者生成简短的几秒视频来分享给好友。
目前,用户生成短视频的一种方式是将不同时间段拍摄的两段或者两段以上的视频拼接为同一段视频。比如,用户将1个时长为5秒的视频和1个时长为3秒的视频首尾拼接在一起,得到1个时长为8秒的视频。
在实现本发明实施例的过程中,发明人发现上述技术至少存在以下问题:将2个视频简单的首尾拼接在一起,只是简单的形成了1个时长更长的视频,这个视频的信息承载率和表现形式,并没有发生任何实质性的改变,不符合短视频分享这种场景下对视频时长和信息承载率的高要求。
发明内容
为了解决将2个视频简单的首尾拼接在一起,无法在信息承载率和表现形式上发生任何实质性的改变的问题,本发明实施例提供了一种视频处理方法、装置及终端。所述技术方案如下:
根据本发明实施例的第一方面,提供了一种视频处理方法,所述方法包括:
获取n个视频,n为正整数;
将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个。
根据本发明实施例的第二方面,提供了一种视频处理装置,所述装置包括:
视频获取模块,用于获取n个视频,n为正整数;
视频合成模块,用于将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个。
根据本发明实施例的第三方面,提供了一种终端,所述终端包括:
一个或者一个以上的处理器;
存储器;
以及一个或者一个以上的程序,其中所述一个或者一个以上程序存储于所述存储器中,且经配置以由所述一个或者一个以上处理器执行,所述一个或者一个以上程序包含用于进行以下操作的指令:
获取n个视频,n为正整数;
将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个。
本发明实施例提供的技术方案带来的有益效果是:
通过将不同视频合并为一个目标视频,且在目标视频中同一视频画面中的不同区域展示不同视频,比如将1个时长为4秒的视频和另1个时长为4秒的视频合并后,仍然得到1个时长为4秒的视频;解决了将2个视频简单的首尾拼接在一起,无法在信息承载率和表现形式上发生任何实质性的改变的问题;达到了能够将多个视频在内容维度上合并为同一个目标视频,使得一个长度未发生明显改变的目标视频就携带了n个视频的视频内容,提高了单位时间内的信息承载率,并且在表现形式上也可以发生实质性改变的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的视频处理方法的方法流程图;
图2A是本发明另一实施例提供的视频处理方法的方法流程图;
图2B是图2A实施例提供的视频处理方法在实施时的实施示意图;
图3A是本发明再一实施例提供的视频处理方法的方法流程图;
图3B至图3E是图3A实施例提供的视频处理方法在实施时的实施示意图;
图4A至图4C是再一实施例提供的视频处理方法在实施时的实施示意图;
图5是用户在短视频分享应用中使用上述视频处理方法时的界面示意图
图6是本发明一个实施例提供的视频处理装置的结构方框图;
图7是本发明另一实施例提供的视频处理装置的结构方框图;
图8是本发明一个实施例提供的终端的结构方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1,其示出了本发明一个实施例提供的视频处理方法的方法流程图。该方法包括:
步骤102,获取n个视频,n为正整数;
步骤104,将n个视频合成为一个目标视频,目标视频的同一视频画面中的不同区域在目标视频播放时分别显示各自的显示内容,每个显示内容对应于n个视频中的一个。
综上所述,本实施例提供的视频处理方法,通过将不同视频合并为一个目标视频,且在目标视频中同一视频画面中的不同区域展示不同视频,比如将1个时长为4秒的视频和另1个时长为4秒的视频合并后,仍然得到1个时长为4秒的视频;解决了将2个视频简单的首尾拼接在一起,无法在信息承载率和表现形式上发生任何实质性的改变的问题;达到了能够将多个视频在内容维度上合并为同一个目标视频,使得一个长度未发生明显改变的目标视频就携带了n个视频的视频内容,提高了单位时间内的信息承载率,并且在表现形式上也可以发生实质性改变的效果。
本发明各个实施例提供的视频处理方法,可以单独由移动终端来实现。移动终端可以是手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机(相机、摄像机)等等。
本实施例各个实施例提供的视频处理方法,还可以由服务器在接收到移动终端选择的n个视频之后执行,并且服务器可以将合成后的目标视频传回给移动终端。但为了简化描述,下文中仅以视频处理方法由移动终端执行来举例说明,但对此不构成限定。
由于视频解码后的帧数据通常包括两种:图像帧数据和音频帧数据,而在一些无声视频中,解码后的帧数据可能只包括图像帧数据。为了便于理解,首先以2个无声视频进行合成为例来举例说明:
请参考图2A,其示出了本发明另一个实施例提供的视频处理方法的方法流程图。本实施例以该视频处理方法应用于移动终端来举例说明,该方法包括:
步骤201,获取n个视频,n为正整数;
获取n个视频的方式可以为:
1、获取用户在本地磁盘中选择的视频;
2、从网络下载视频;
3、通过内置或者外接的摄像头拍摄视频。
移动终端通过上述几种方式中的任一种或者几种的组合,可以获取到n个视频。本实施例以移动终端获取到2个无声视频来举例说明。
步骤202,对n个视频分别进行解码,得到n个帧数据序列;
其中,无声视频解码得到的帧数据序列中,只包括图像帧数据。
比如,如图2B所示,无声视频A解码得到的帧数据序列包括100个图像帧数据22;无声视频B解码得到的帧数据序列包括100个图像帧数据24。
步骤203,将n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,序列号是一帧图像帧数据在所属帧数据序列中的图像帧排序号;
移动终端将2个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据。
比如,如图2B所示,移动终端将无声视频A中的第1帧图像帧数据和无声视频B中的第1帧图像帧数据确定为1组关联帧数据;移动终端将无声视频A中的第2帧图像帧数据和无声视频B中的第2帧图像帧数据确定为1组关联帧数据,以此类推,可以确定出100组关联帧数据。
步骤204,将属于同一组关联帧数据内的各个图像帧数据合成为同一个图像帧数据,得到目标视频中的一个图像帧数据;
移动终端将属于同一组关联帧数据内的各个图像帧数据合成至同一个图像帧数据的不同区域,得到目标视频中的一个图像帧数据。
比如,如图2B所示,对于一组关联帧数据,移动终端将无声视频A的图像帧数据拼接在一帧图像帧数据的左边区域,将无声视频B的图像帧数据拼接在该帧图像帧数据的右边区域,得到目标视频中的一帧图像帧数据。
步骤205,根据合成得到的多个图像帧数据编码得到目标视频。
最后,移动终端根据合成得到的100个图像帧数据编码得到目标视频。
也即,假如无声视频A的时长为5秒钟,无声视频B的时长为5秒钟,则移动终端可以合成得到时长为5秒的目标视频。
综上所述,本实施例提供的视频处理方法,通过将不同视频合并为一个目标视频,且在目标视频中同一视频画面中的不同区域展示不同视频,比如将1个时长为4秒的视频和另1个时长为4秒的视频合并后,仍然得到1个时长为4秒的视频;解决了将2个视频简单的首尾拼接在一起,无法在信息承载率和表现形式上发生任何实质性的改变的问题;达到了能够将多个视频在内容维度上合并为同一个目标视频,使得一个长度未发生明显改变的目标视频就携带了n个视频的视频内容,提高了单位时间内的信息承载率,并且在表现形式上也可以发生实质性改变的效果。
相对于无声视频,有声视频解码后的帧数据通常包括:图像帧数据和音频帧数据两种帧数据。但是由于在一个有声视频中,音频的出现是随机性的,所以一个有声视频解码时,何时解码到图像帧数据与何时解码到音频帧数据有很大的不确定性,不具有普遍的规律。为此,在下述实施例中以2个有声视频进行合成来进行举例说明。
请参考图3A,其示出了本发明另一实施例提供的视频处理方法的方法流程图。本实施例以该视频处理方法应用于移动终端为例来举例说明,该方法包括:
步骤301,获取n个视频,n为正整数;
获取n个视频的方式可以为:
4、获取用户在本地磁盘中选择的视频;
5、从网络下载视频;
6、通过内置或者外接的摄像头拍摄视频。
移动终端通过上述几种方式中的任一种或者几种的组合,可以获取到n个视频。本实施例以移动终端获取到2个有声视频来举例说明。
步骤302,对n个视频分别进行解码,得到n个帧数据序列;
其中,有声视频解码得到的帧数据序列中,即包括图像帧数据,又包括音频帧数据;且图像帧数据和音频帧数据的出现具有不确定性。但是,每个帧数据序列中的所有图像帧数据是按照由前到后的顺序出现的;每个帧数据序列中的所有音频帧数据是按照时间戳由早到晚的顺序出现的,时间戳用于指示该音频帧数据在播放时间轴中的播放时刻。
比如,如图3B所示,有声视频A解码得到的帧数据序列包括间或出现的图像帧数据和音频帧数据32,也即:图像帧AV1、图像帧AV2、音频帧AA1、图像帧AV3,、、、,音频帧AA75;其中,首字母A代表来源于有声视频A,第二个字母为V时,代表当前帧数据为图像帧数据;第二个字母为A时,代表当前帧数据为音频帧数据,最后一个数字代表当前图像帧数据在该帧数据序列中的图像帧序列号,或代表当前音频帧在该帧数据序列中的音频帧序列号。
而有声视频B解码得到的帧数据序列包括间或出现的图像帧数据和音频帧数据34,也即:音频帧BA1、图像帧BV1、音频帧BA2、图像帧BV2,、、、,图像帧BV90,其中,首字母B代表来源于有声视频B,其它字母和数字的含义同有声视频A。
步骤303,在2个视频各自所对应的帧数据序列中,确定出m组关联帧数据,每组关联帧数据包括相互关联且类型相同的2个帧数据,且每组帧数据中的各个帧数据属于不同的视频,m均为正整数;
移动终端需要将有声视频A和有声视频B中的图像帧数据与关联的图像帧数据拼接,音频帧数据与关联的音频帧数据拼接。具体来讲,移动终端按照如下条件进行拼接:
对于图像帧数据,移动终端将2个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,序列号是一帧图像帧数据在所属帧数据序列中的图像帧排序号。
对于音频帧数据,移动终端将2个帧数据序列中时间戳相同的音频帧数据确定为同一组关联帧数据。时间戳相同表示两个音频帧数据在播放时间轴中的播放时间相同。
为此,移动终端将这2个帧数据序列均采用有序数据结构进行存储,有序数据结构可以是链表、数组等。然后,在解码过程中,对解码得到的图像帧数据的存储过程包括:
1、在每个帧数据序列均采用有序数据结构(如链表)存储时,对于n个帧数据序列中的任意一个帧数据序列,当在该帧数据序列中解码出第i帧图像帧数据时,检测该帧数据序列的有序数据结构中是否存在匹配图像帧空位,在其它帧数据序列的有序数据结构中与匹配图像帧空位对应的位置上存储有其它帧数据序列中的第i位图像帧数据,i为正整数;
2、若存在匹配图像帧空位,则将第i帧图像帧数据插入至匹配图像帧空位中进行存储;
3、若不存在匹配图像帧空位,将第i帧图像帧数据插入至该帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与新建空位对应的位置上不存储有任何帧数据。
在解码过程中,对解码得到的音频帧数据的存储过程包括:
1、在每个帧数据序列均采用有序数据结构(如链表)存储时,对于n个帧数据序列中的任意一个帧数据序列,当该帧数据序列中解码得到一个音频帧数据时,检测帧数据序列的有序数据结构中是否存在匹配音频帧空位,在其它帧数据序列所对应的有序数据结构中与匹配音频帧空位对应的位置上存储有时间戳相同的音频帧数据;
2、若存在匹配音频帧空位,则将解码得到的音频帧数据插入至匹配音频帧空位中进行存储;
3、若不存在匹配音频帧空位,则将解码得到的音频帧数据插入至该帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与新建空位对应的位置上不存储有任何帧数据。
结合参考图3B和图3C,在有声视频A解码出的帧数据序列为32,有声视频B解码出的帧数据序列为34,且有声视频A和有声视频B同时解码并以链表形式存储时,本步骤包括:
移动终端从有声视频A解码出图像帧AV1时,假设两个链表均为空,则移动终端将图像帧AV1存储在第一链表中的第1个位置,如图3C中的(1);
移动终端从有声视频B解码出音频帧BA1时,第二链表中的第1个位置是一个空位,但是由于第一链表中的第1个位置存储的是图像帧数据,所以第二链表中的第1个位置不是匹配音频帧空位,移动终端在第二链表的尾部中新建1个空位,也即第二链表的第2个位置,将音频帧BA1存储在第二链表的第2个位置中,如图3C中的(2);
移动终端从有声视频A解码出图像帧AV2时,第一链表中的第2个位置是一个空位,但是由于第二链表中的第2个位置存储的是音频帧数据,所以第一链表中的第2个位置不是匹配图像帧空位,移动终端在第一链表的尾部中新建1个空位,也即第一链表的第3个位置,将图像帧AV2存储在第一链表的第3个位置中,如图3C中的(3);
移动终端从有声视频B解码出图像帧BV1时,第二链表中的第1个位置和第3个位置均是一个空位,且均存储的是图像帧数据,由于第1个位置在第二链表中更靠前,所以第二链表中的第1个位置是匹配图像帧空位,移动终端将图像帧BV1存储在第二链表的第1个位置中,如图3C中的(4);
移动终端从有声视频A解码出音频帧AA1时,第一链表中的第2个位置是一个空位,假设音频帧AA1的时间戳晚于音频帧BA1的时间戳,则第一链表中的第2个位置不是匹配音频帧空位,移动终端在第一链表中新建一个空位,也即第一链表中的第4个位置,然后将音频帧AA1存储在第一链表的第4个位置中,如图3C中的(5);
移动终端从有声视频B解码出音频帧BA2时,第二链表中的第3个位置和第4个位置均为空位,但由于第一链表中的第3个位置存储的是图像帧数据,所以第二链表中的第3个位置不是匹配音频帧空位;假设音频帧AA1与音频帧BA2具有相同的时间戳,则第二链表中的第4个位置是匹配音频帧空位,移动终端将音频帧BA2存储在第二链表的第4个位置中,如图3C中的(6);
移动终端从有声视频A解码出图像帧AV3时,第一链表中的第2个位置是一个空位,由于第二链表中的第2个位置存储的是音频帧,所以第一链表中的第2个位置不是匹配图像帧空位,移动终端在第一链表的尾部新建一个空位,也即第一链表中的第5个位置,然后将图像帧AV3存储在第一链表的第5个位置中,如图3C中的(7);
移动终端从有声视频B解码出图像帧BV2时,第二链表中的第3个位置为空位,且第一链表的第3个位置存储有图像帧AV2,所以第二链表的第3个位置是匹配图像帧空位,移动终端将图像帧BV2存储在第二链表的第3个位置中,如图3C中的(8)。
诸如此类,不再一一赘述。
其中,第一链表中的第1个位置中存储的帧数据和第二链表中的第1个位置中存储的帧数据将会形成第1组关联帧数据;第一链表中的第2个位置中存储的帧数据和第二链表中的第2个位置中存储的帧数据将会形成第2组关联帧数据;第一链表中的第3个位置中存储的帧数据和第二链表中的第3个位置中存储的帧数据将会形成第3组关联帧数据;、、、;第一链表中的第i个位置中存储的帧数据和第二链表中的第i个位置中存储的帧数据将会形成第i组关联帧数据。
步骤304,检测当前组关联帧数据中的所有帧数据是否确定完毕;
移动终端从第一链表和第二链表的头部开始,实时监测当前组关联帧数据中的所有帧数据是否确定完毕。如果确定完毕,则进入步骤305。
若当前组关联帧数据存储的是图像帧数据,则在当前组中的帧数据达到n时,认为当前组中的所有帧数据确定完毕。比如,图3C中的(5),第一链表的第1个位置和第二链表的第1个位置均存储有图像帧数据,则移动终端检测出第1组关联帧数据确定完毕;又比如,图3C中的(8),第一链表的第3个位置和第二链表的第3个位置均存储有图像帧数据,则移动终端检测出第3组关联帧数据确定完毕。
若当前组关联帧数据存储的是音频帧数据,则在当前组中的帧数据达到n或者排序在后且存储音频帧数据的其它组中的关联帧数据确定完毕时,认为当前组中的所有帧数据确定完毕。比如,图3C中的(6),第一链表的第4个位置和第二链表的第4个位置均存储有音频帧数据,则移动终端检测出第4组关联帧数据确定完毕;同时,由于每个帧数据序列中音频帧数据是按照时间戳由早到晚顺序出现的,第4组关联帧数据确定完毕后,代表着第一链表中的第二个位置不会再存储到与音频帧BA1具有相同时间戳的音频帧了,此时,则移动终端检测出第2组关联帧数据也确定完毕。
步骤305,若当前组关联帧数据中的所有帧数据已经确定完毕,则将一组关联帧数据内的各个帧数据合成为目标视频中的一个帧数据;
在一组关联帧数据中的所有帧数据确定完毕后,移动终端将该组关联帧数据内的各个帧数据合成为目标视频中的一个帧数据。具体来讲:
若当前组关联帧数据的类型是图像帧数据,则将组内的各个图像帧数据合成为同一图像帧数据,得到目标视频中的一帧图像帧数据。可选地,移动终端将组内的各个图像帧数据合成至同一图像帧数据的不同区域,对于2个视频来讲,不同区域可以是:左区域和右区域、上区域和下区域、对角区域和另1个对角区域、背景区域和前景区域等等,如图3D所示。
若当前组关联帧数据的类型是音频帧数据,则将组内的各个音频帧数据合并为同一音频帧数据,得到目标视频中的一帧音频帧数据。
如图3E所示,在第1组关联帧数据确定完毕后,移动终端将第1组关联帧数据中的2个图像帧数据合成得到一帧图像帧数据;在第2组关联帧数据确定完毕后,移动终端将第2组关联帧数据中的1个音频帧数据合成得到一帧音频帧数据;在第3组关联帧数据确定完毕后,移动终端将第3组关联帧数据中的2个图像帧数据合成得到一帧图像帧数据;在第4组关联帧数据确定完毕后,移动终端将第4组关联帧数据中的2个音频帧数据拼接得到一帧音频帧数据,以此类推,得到目标视频中的各帧帧数据。
需要说明的是,步骤304是可选步骤,步骤303可以在一组关联帧数据确定完毕后,立马合成该组关联帧数据,使得解码步骤与合成步骤并行执行。若不执行步骤304,等全部关联帧数据确定完毕后,再进行合成步骤也是一种可能的实施方式。
并且,作为步骤304的另一种可能的实现方式,移动终端可以在开始解码的预定时长之后,比如开始解码2秒后,不做检测而假定链表中的前几组关联帧数据确定完毕,并按照预定的合成速度开始合成,该预定的合成速度小于或等于解码速度。
步骤306,根据合成得到的多个图像帧数据和多个音频帧数据编码得到目标视频。
最后,移动终端根据合成得到的多个图像帧数据和多个音频帧数据编码得到目标视频。
也即,假如有声视频A的时长为7秒钟,有声视频B的时长为7秒钟,则移动终端可以合成得到时长为7秒的目标视频。
综上所述,本实施例提供的视频处理方法,通过将不同视频合并为一个目标视频,且在目标视频中同一视频画面中的不同区域展示不同视频,比如将1个时长为4秒的视频和另1个时长为4秒的视频合并后,仍然得到1个时长为4秒的视频;解决了将2个视频简单的首尾拼接在一起,无法在信息承载率和表现形式上发生任何实质性的改变的问题;达到了能够将多个视频在内容维度上合并为同一个目标视频,使得一个长度未发生明显改变的目标视频就携带了n个视频的视频内容,提高了单位时间内的信息承载率,并且在表现形式上也可以发生实质性改变的效果。
本实施例提供的视频处理方法,还通过使用插空位的方式来将帧数据序列存储在链表中,能够解决解码时图像帧数据和音频帧数据出现的不确定性而导致的关联帧数据难以确定的问题,使得在解码存储过程的同时确定出关联帧数据。
本实施例提供的视频处理方法,还在每一组关联帧数据确定完毕后,马上开始处理步骤,将确定关联帧数据的步骤与合成步骤并行执行,提高了执行效率,加快了合成过程。
需要补充说明的一点是,上述2个实施例均以2个视频的合成为例来举例说明,但本发明实施例还可以对3个或者3个以上的视频进行合成,此乃本领域技术人员基于上述2个实施例易于思及的部分,不再赘述。
需要补充说明的另一点是,上述2个实施例均以2个视频的码率和时长相同来举例说明。但实际情况中,需要合成的i个视频的码率和时长可能并不相同。此时会出现各个帧视频序列中的图像帧数据的个数并不相同的情况,比如图4A所示,视频A的时长为4秒,每秒有10帧图像帧数据;视频B的时长为2秒。,每秒有15帧图像帧数据,则视频A的帧数据序列将会包括40个图像帧数据,而视频B的帧数据序列将会包括30个图像帧数据。如果按照上述2个实施例提供的方法进行拼接,视频A将会有10个图像帧数据无法拼接。为此,上述2个实施例在拼接步骤之前,还优选包括如下两种步骤中的至少一种:
第一,若n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较多的帧数据序列中的指定图像帧数据进行丢弃,使n个帧数据序列中的图像帧数据的数量相等;指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据;或者,位于首部的图像帧数据;或者,位于尾部的图像帧数据;
第二,若n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较少的帧数据序列中的指定图像帧数据进行复制,使n个视频各自所对应的帧数据序列中的图像帧数据的数量相等;指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据;或者,位于首部的图像帧数据;或者,位于尾部的图像帧数据。
比如,如图4B所示,将视频A中的最后10个图像帧数据进行丢弃,使得视频A和视频B分别对应的帧数据序列中的图像帧数据相等。当然,也可以将视频A中的头部10个图像帧数据,或者均匀选取的10个图像帧数据,或者不均匀选取的10个图像帧数据进行丢弃。
又比如,如图4C所示,将视频B中的均匀选取的10个图像帧数据进行复制,使得视频A和视频B分别对应的帧数据序列中的图像帧数据相等。当然,也可以将视频B的头部10个图像帧数据,或者后部选取的10个图像帧数据,或者不均匀选取的10个图像帧数据进行丢弃。
当然,还可以将视频A中的5个图像帧数据进行丢弃,视频B中的5个图像帧数据进行复制,来使得视频A和视频B分别对应的帧数据序列中的图像帧数据相等。
在一个示例的例子中,移动终端上安装有短视频分享应用,该短视频分享应用采用了上述的视频处理方法作为一种新的短视频生成方式。请结合参考图5,其示出了用户在短视频分享应用中使用上述视频处理方法时的界面示意图。
当用户打开短视频分享应用后,可以点击添加视频按钮51。移动终端在检测到视频按钮51被点击后,可以在用户交互界面52中以列表的方式显示本地存储器中的已有视频。之后,用户可以在用户交互界面52中选择2个或者2个以上的已有视频。移动终端获取用户选择的2个或者2个以上的已有视频,然后,移动终端使用上述实施例所提供的视频处理方法,将用户选择的已有视频合并为一个目标视频。
最后,用户可以将合成的目标视频通过短视频分享应用分享给公众或者好友;用户也可以继续基于合成的目标视频进行拍摄。
请参考图6,其示出了本发明一个实施例所提供的视频处理装置的结构方框图。该视频处理装置可以通过软件、硬件或者两者的结合实现成为移动终端或者服务器的全部或者一部分。该视频处理装置,包括:
视频获取模块620,用于获取n个视频,n为正整数;
视频合成模块640,用于将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个。
综上所述,本实施例提供的视频处理装置,通过将不同视频合并为一个目标视频,且在目标视频中同一视频画面中的不同区域展示不同视频,比如将1个时长为4秒的视频和另1个时长为4秒的视频合并后,仍然得到1个时长为4秒的视频;解决了将2个视频简单的首尾拼接在一起,无法在信息承载率和表现形式上发生任何实质性的改变的问题;达到了能够将多个视频在内容维度上合并为同一个目标视频,使得一个长度未发生明显改变的目标视频就携带了n个视频的视频内容,提高了单位时间内的信息承载率,并且在表现形式上也可以发生实质性改变的效果。
请参考图7,其示出了本发明另一实施例所提供的视频处理装置的结构方框图。该视频处理装置可以通过软件、硬件或者两者的结合实现成为移动终端或者服务器的全部或者一部分。该视频处理装置,包括:
视频获取模块620,用于获取n个视频,n为正整数;
视频合成模块640,用于将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个。
可选地,所述视频合成模块640,包括:
视频解码单元641,用于对所述n个视频分别进行解码,得到n个帧数据序列;
图像归组单元642,用于将所述n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,所述序列号是一帧图像帧数据在所属帧数据序列中的图像帧排序号;
图像合成单元643,用于将属于同一组关联帧数据内的各个图像帧数据合成为同一个图像帧数据,得到所述目标视频中的一个图像帧数据;
视频编码单元644,用于根据合成得到的多个图像帧数据编码得到所述目标视频。
可选地,所述视频合成模块640,还包括:
音频归组单元645,用于在所述n个帧数据序列中还包括音频帧数据时,将所述n个帧数据序列中时间戳相同的音频帧数据确定为同一组关联帧数据;
音频合成单元646,用于将属于同一组关联帧数据内的各个音频帧数据合成为同一个音频帧数据,得到所述目标视频中的一个音频帧数据;
所述视频编码单元644,用于根据拼接得到的多个图像帧数据和多个音频帧数据编码得到所述目标视频。
可选地,所述图像归组单元642,包括:
图像空位检测子单元,用于在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当在所述帧数据序列中解码出第i帧图像帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配图像帧空位,在其它帧数据序列的有序数据结构中与所述匹配图像帧空位对应的位置上存储有所述其它帧数据序列中的第i位图像帧数据,i为正整数;
图像空位存储子单元,用于若存在所述匹配图像帧空位,则将所述第i帧图像帧数据插入至所述匹配图像帧空位中进行存储。
可选地,所述图像归组单元642,还包括:
图像新建存储子单元,用于若不存在所述匹配图像帧空位,则将所述第i帧图像帧数据插入至所述帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与所述新建空位对应的位置上不存储有任何帧数据。
可选地,所述音频归组单元645,包括:
音频空位检测子单元,用于在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当所述帧数据序列中解码得到一个音频帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配音频帧空位,在其它帧数据序列所对应的有序数据结构中与所述匹配音频帧空位对应的位置上存储有时间戳相同的音频帧数据;
音频空位存储子单元,用于若存在所述匹配音频帧空位,则将解码得到的所述音频帧数据插入至所述匹配音频帧空位中进行存储。
可选地,所述音频归组单元645,还包括:
音频新建存储子单元,用于若不存在所述匹配音频帧空位,则将解码得到的所述音频帧数据插入至所述帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与所述新建空位对应的位置上不存储有任何帧数据。
可选地,所述视频合成模块640,还包括:
图像完毕检测单元647,用于检测当前组关联帧数据中的所有图像帧数据是否确定完毕;
所述图像合成单元643,用于若当前组关联帧数据中的所有图像帧数据已经确定完毕,则执行所述将属于同一组关联帧数据内的各个图像帧数据合并至同一个图像帧数据的不同区域,得到所述目标视频中的一个图像帧数据的步骤。
可选地,所述视频合成模块640,还包括:
音频完毕检测单元648,用于检测当前组关联帧数据中的所有音频帧数据是否确定完毕;
所述音频合成单元646,用于若当前组关联帧数据中的所有音频帧数据已经确定完毕,则执行所述将属于同一组关联帧数据内的各个音频帧数据合并至同一个音频帧数据,得到所述目标视频中的一个音频帧数据的步骤。
可选地,所述装置,还包括:
图像丢弃模块662,用于若所述n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较多的帧数据序列中的指定图像帧数据进行丢弃,使所述n个帧数据序列中的图像帧数据的数量相等;所述指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据;或者,位于首部的图像帧数据;或者,位于尾部的图像帧数据;
和/或,
图像复制模块664,用于若所述n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较少的帧数据序列中的指定图像帧数据进行复制,使所述n个视频各自所对应的帧数据序列中的图像帧数据的数量相等;所述指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据;或者,位于首部的图像帧数据;或者,位于尾部的图像帧数据。
综上所述,本实施例提供的视频处理装置,通过将不同视频合并为一个目标视频,且在目标视频中同一视频画面中的不同区域展示不同视频,比如将1个时长为4秒的视频和另1个时长为4秒的视频合并后,仍然得到1个时长为4秒的视频;解决了将2个视频简单的首尾拼接在一起,无法在信息承载率和表现形式上发生任何实质性的改变的问题;达到了能够将多个视频在内容维度上合并为同一个目标视频,使得一个长度未发生明显改变的目标视频就携带了n个视频的视频内容,提高了单位时间内的信息承载率,并且在表现形式上也可以发生实质性改变的效果。
本实施例提供的视频处理装置,还通过使用插空位的方式来将帧数据序列存储在链表中,能够解决解码时图像帧数据和音频帧数据出现的不确定性而导致的关联帧数据难以确定的问题,使得在解码存储过程的同时确定出关联帧数据。
本实施例提供的视频处理装置,还在每一组关联帧数据确定完毕后,马上开始处理步骤,将确定关联帧数据的步骤与合成步骤并行执行,提高了执行效率,加快了合成过程。
请参考图8,其示出了本发明的一个实施例提供的终端的结构示意图。该终端800安装有视频处理、视频社交、视频分享之类的客户端,所述客户端用于实施上述实施例中提供的视频处理方法,具体来讲:
终端800可以包括RF(Radio Frequency,射频)电路810、包括有一个或一个以上计算机可读存储介质的存储器820、输入单元830、显示单元840、传感器850、音频电路860、短距离无线传输模块870、包括有一个或者一个以上处理核心的处理器880、以及电源890等部件。本领域技术人员可以理解,图8中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路810可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器880处理;另外,将涉及上行的数据发送给基站。通常,RF电路810包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路810还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(CodeDivision Multiple Access,码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service,短消息服务)等。存储器820可用于存储软件程序以及模块,比如,存储器820可以用于存储预设时间列表,还可以用于存储采集语音信号的软件程序、实现关键词识别的软件程序、实现连续语音识别的软件程序以及实现设置提醒事项的软件程序,还可以用于存储无线接入点与用户账号的绑定关系等等。处理器880通过运行存储在存储器820的软件程序以及模块,从而执行各种功能应用以及数据处理,存储器820可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端800的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器820还可以包括存储器控制器,以提供处理器880和输入单元830对存储器820的访问。
输入单元830可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元830可包括触敏表面831以及其他输入设备832。触敏表面831,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面831上或在触敏表面831附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面831可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器880,并能接收处理器880发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面831。除了触敏表面831,输入单元830还可以包括其他输入设备832。具体地,其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及终端800的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元840可包括显示面板841,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板841。进一步的,触敏表面831可覆盖在显示面板841之上,当触敏表面831检测到在其上或附近的触摸操作后,传送给处理器880以确定触摸事件的类型,随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中,触敏表面831与显示面板841是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面831与显示面板841集成而实现输入和输出功能。
终端800还可包括至少一种传感器850,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板841的亮度,接近传感器可在终端800移动到耳边时,关闭显示面板841和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路860、扬声器861,传声器862可提供用户与终端800之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号,传输到扬声器861,由扬声器861转换为声音信号输出;另一方面,传声器862将收集的声音信号转换为电信号,由音频电路860接收后转换为音频数据,再将音频数据输出处理器860处理后,经RF电路810以发送给另一终端,或者将音频数据输出至存储器820以便进一步处理。音频电路860还可能包括耳塞插孔,以提供外设耳机与终端800的通信。
短距离无线传输模块870可以是WIFI(wireless fidelity,无线保真)模块或者蓝牙模块等。终端800通过短距离无线传输模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了短距离无线传输模块870,但是可以理解的是,其并不属于终端800的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是终端800的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器820内的软件程序和/或模块,以及调用存储在存储器820内的数据,执行终端800的各种功能和处理数据,从而对终端进行整体监控。可选的,处理器880可包括一个或多个处理核心;可选的,处理器880可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器880中。
终端800还包括给各个部件供电的电源890(比如电池),优选的,电源可以通过电源管理系统与处理器880逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端800还可以包括摄像头、蓝牙模块等,在此不再赘述。
终端800还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行上述各个方法实施例所述的视频处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (17)
1.一种视频处理方法,其特征在于,所述方法包括:
获取n个视频,n为正整数;
将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个;
所述将所述n个视频合成为一个目标视频,包括:
对所述n个视频分别进行解码,得到n个帧数据序列;
将所述n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,所述序列号是一帧图像帧数据在所属帧数据序列中的图像帧排序号;
将属于同一组关联帧数据内的各个图像帧数据合成为同一个图像帧数据,得到所述目标视频中的一个图像帧数据;
根据合成得到的多个图像帧数据编码得到所述目标视频;
所述将所述n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,包括:
在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当在所述帧数据序列中解码出第i帧图像帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配图像帧空位,在其它帧数据序列的有序数据结构中与所述匹配图像帧空位对应的位置上存储有所述其它帧数据序列中的第i位图像帧数据,i为正整数;
若存在所述匹配图像帧空位,则将所述第i帧图像帧数据插入至所述匹配图像帧空位中进行存储。
2.根据权利要求1所述的方法,其特征在于,所述将所述n个视频合成为一个目标视频,还包括:
在所述n个帧数据序列中还包括音频帧数据时,将所述n个帧数据序列中时间戳相同的音频帧数据确定为同一组关联帧数据;
将属于同一组关联帧数据内的各个音频帧数据合成为同一个音频帧数据,得到所述目标视频中的一个音频帧数据;
所述根据合成得到的多个图像帧数据编码得到所述目标视频,包括:
根据合成得到的多个图像帧数据和多个音频帧数据编码得到所述目标视频。
3.根据权利要求2所述的方法,其特征在于,所述将所述n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,包括:
若不存在所述匹配图像帧空位,则将所述第i帧图像帧数据插入至所述帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与所述新建空位对应的位置上不存储有任何帧数据。
4.根据权利要求2所述的方法,其特征在于,所述将所述n个帧数据序列中时间戳相同的音频帧数据确定为同一组关联帧数据,包括:
在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当所述帧数据序列中解码得到一个音频帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配音频帧空位,在其它帧数据序列所对应的有序数据结构中与所述匹配音频帧空位对应的位置上存储有时间戳相同的音频帧数据;
若存在所述匹配音频帧空位,则将解码得到的所述音频帧数据插入至所述匹配音频帧空位中进行存储。
5.根据权利要求2所述的方法,其特征在于,所述将所述n个帧数据序列中时间戳相同的音频帧数据确定为同一组关联帧数据,包括:
在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当所述帧数据序列中解码得到一个音频帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配音频帧空位,在其它帧数据序列所对应的有序数据结构中与所述匹配音频帧空位对应的位置上存储有时间戳相同的音频帧数据;
若不存在所述匹配音频帧空位,则将解码得到的所述音频帧数据插入至所述帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与所述新建空位对应的位置上不存储有任何帧数据。
6.根据权利要求1至5任一所述的方法,其特征在于,所述将属于同一组关联帧数据内的各个图像帧数据合并至同一个图像帧数据的不同区域,得到所述目标视频中的一个图像帧数据之前,还包括:
检测当前组关联帧数据中的所有图像帧数据是否确定完毕;
若当前组关联帧数据中的所有图像帧数据已经确定完毕,则执行所述将属于同一组关联帧数据内的各个图像帧数据合并至同一个图像帧数据的不同区域,得到所述目标视频中的一个图像帧数据的步骤。
7.根据权利要求2至5任一所述的方法,其特征在于,所述将属于同一组关联帧数据内的各个音频帧数据合并至同一个音频帧数据,得到所述目标视频中的一个音频帧数据之前,还包括:
检测当前组关联帧数据中的所有音频帧数据是否确定完毕;
若当前组关联帧数据中的所有音频帧数据已经确定完毕,则执行所述将属于同一组关联帧数据内的各个音频帧数据合并至同一个音频帧数据,得到所述目标视频中的一个音频帧数据的步骤。
8.根据权利要求1至5任一所述的方法,其特征在于,所述方法,还包括:
若所述n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较多的帧数据序列中的指定图像帧数据进行丢弃,使所述n个帧数据序列中的图像帧数据的数量相等;所述指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据;
和/或,
若所述n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较少的帧数据序列中的指定图像帧数据进行复制,使所述n个视频各自所对应的帧数据序列中的图像帧数据的数量相等;所述指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据。
9.一种视频处理装置,其特征在于,所述装置,包括:
视频获取模块,用于获取n个视频,n为正整数;
视频合成模块,用于将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个;
所述视频合成模块,包括:
视频解码单元,用于对所述n个视频分别进行解码,得到n个帧数据序列;
图像归组单元,用于将所述n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,所述序列号是一帧图像帧数据在所属帧数据序列中的图像帧排序号;
图像合成单元,用于将属于同一组关联帧数据内的各个图像帧数据合成为同一个图像帧数据,得到所述目标视频中的一个图像帧数据;
视频编码单元,用于根据合成得到的多个图像帧数据编码得到所述目标视频;
所述图像归组单元,包括:
图像空位检测子单元,用于在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当在所述帧数据序列中解码出第i帧图像帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配图像帧空位,在其它帧数据序列的有序数据结构中与所述匹配图像帧空位对应的位置上存储有所述其它帧数据序列中的第i位图像帧数据,i为正整数;
图像空位存储子单元,用于若存在所述匹配图像帧空位,则将所述第i帧图像帧数据插入至所述匹配图像帧空位中进行存储。
10.根据权利要求9所述的装置,其特征在于,所述视频合成模块,还包括:
音频归组单元,用于在所述n个帧数据序列中还包括音频帧数据时,将所述n个帧数据序列中时间戳相同的音频帧数据确定为同一组关联帧数据;
音频合成单元,用于将属于同一组关联帧数据内的各个音频帧数据合成为同一个音频帧数据,得到所述目标视频中的一个音频帧数据;
所述视频编码单元,用于根据合成得到的多个图像帧数据和多个音频帧数据编码得到所述目标视频。
11.根据权利要求10所述的装置,其特征在于,所述图像归组单元,包括:
图像新建存储子单元,用于若不存在所述匹配图像帧空位,则将所述第i帧图像帧数据插入至所述帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与所述新建空位对应的位置上不存储有任何帧数据。
12.根据权利要求10所述的装置,其特征在于,所述音频归组单元,包括:
音频空位检测子单元,用于在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当所述帧数据序列中解码得到一个音频帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配音频帧空位,在其它帧数据序列所对应的有序数据结构中与所述匹配音频帧空位对应的位置上存储有时间戳相同的音频帧数据;
音频空位存储子单元,用于若存在所述匹配音频帧空位,则将解码得到的所述音频帧数据插入至所述匹配音频帧空位中进行存储。
13.根据权利要求10所述的装置,其特征在于,所述音频归组单元,包括:
音频空位检测子单元,用于在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当所述帧数据序列中解码得到一个音频帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配音频帧空位,在其它帧数据序列所对应的有序数据结构中与所述匹配音频帧空位对应的位置上存储有时间戳相同的音频帧数据;
音频新建存储子单元,用于若不存在所述匹配音频帧空位,则将解码得到的所述音频帧数据插入至所述帧数据序列的有序数据结构中尾部的一个新建空位中进行存储,在其它帧数据序列的有序数据结构中与所述新建空位对应的位置上不存储有任何帧数据。
14.根据权利要求9至13任一所述的装置,其特征在于,所述视频合成模块,还包括:
图像完毕检测单元,用于检测当前组关联帧数据中的所有图像帧数据是否确定完毕;
所述图像合成单元,用于若当前组关联帧数据中的所有图像帧数据已经确定完毕,则执行所述将属于同一组关联帧数据内的各个图像帧数据合并至同一个图像帧数据的不同区域,得到所述目标视频中的一个图像帧数据的步骤。
15.根据权利要求10至13任一所述的装置,其特征在于,所述视频合成模块,还包括:
音频完毕检测单元,用于检测当前组关联帧数据中的所有音频帧数据是否确定完毕;
所述音频合成单元,用于若当前组关联帧数据中的所有音频帧数据已经确定完毕,则执行所述将属于同一组关联帧数据内的各个音频帧数据合并至同一个音频帧数据,得到所述目标视频中的一个音频帧数据的步骤。
16.根据权利要求9至13任一所述的装置,其特征在于,所述装置,还包括:
图像丢弃模块,用于若所述n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较多的帧数据序列中的指定图像帧数据进行丢弃,使所述n个帧数据序列中的图像帧数据的数量相等;所述指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据;
和/或,
图像复制模块,用于若所述n个帧数据序列中的图像帧数据的数量不相等,则将相对于其他帧数据序列中数量较少的帧数据序列中的指定图像帧数据进行复制,使所述n个视频各自所对应的帧数据序列中的图像帧数据的数量相等;所述指定图像帧数据包括:均匀选取的图像帧数据;或者,不均匀选取的图像帧数据。
17.一种终端,其特征在于,所述终端包括:
一个或者一个以上的处理器;
存储器;
以及一个或者一个以上的程序,其中所述一个或者一个以上程序存储于所述存储器中,且经配置以由所述一个或者一个以上处理器执行,所述一个或者一个以上程序包含用于进行以下操作的指令:
获取n个视频,n为正整数;
将所述n个视频合成为一个目标视频,所述目标视频的同一视频画面中的不同区域在所述目标视频播放时分别显示各自的显示内容,每个显示内容对应于所述n个视频中的一个;
所述将所述n个视频合成为一个目标视频,包括:
对所述n个视频分别进行解码,得到n个帧数据序列;
将所述n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,所述序列号是一帧图像帧数据在所属帧数据序列中的图像帧排序号;
将属于同一组关联帧数据内的各个图像帧数据合成为同一个图像帧数据,得到目标视频中的一个图像帧数据;
根据合成得到的多个图像帧数据编码得到所述目标视频;
所述将所述n个帧数据序列中序列号相同的图像帧数据确定为同一组关联帧数据,包括:
在每个帧数据序列均采用有序数据结构存储时,对于所述n个帧数据序列中的任意一个帧数据序列,当在所述帧数据序列中解码出第i帧图像帧数据时,检测所述帧数据序列的有序数据结构中是否存在匹配图像帧空位,在其它帧数据序列的有序数据结构中与所述匹配图像帧空位对应的位置上存储有所述其它帧数据序列中的第i位图像帧数据,i为正整数;
若存在所述匹配图像帧空位,则将所述第i帧图像帧数据插入至所述匹配图像帧空位中进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410250284.XA CN105187733B (zh) | 2014-06-06 | 2014-06-06 | 视频处理方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410250284.XA CN105187733B (zh) | 2014-06-06 | 2014-06-06 | 视频处理方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105187733A CN105187733A (zh) | 2015-12-23 |
CN105187733B true CN105187733B (zh) | 2019-03-01 |
Family
ID=54909558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410250284.XA Active CN105187733B (zh) | 2014-06-06 | 2014-06-06 | 视频处理方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105187733B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107592488A (zh) * | 2017-09-30 | 2018-01-16 | 联想(北京)有限公司 | 一种视频数据处理方法及电子设备 |
CN108259781B (zh) * | 2017-12-27 | 2021-01-26 | 努比亚技术有限公司 | 视频合成方法、终端及计算机可读存储介质 |
CN109996010B (zh) * | 2017-12-29 | 2021-07-27 | 深圳市优必选科技有限公司 | 一种视频处理方法、装置、智能设备及存储介质 |
CN108924464B (zh) * | 2018-07-10 | 2021-06-08 | 腾讯科技(深圳)有限公司 | 视频文件的生成方法、装置及存储介质 |
CN109275028B (zh) * | 2018-09-30 | 2021-02-26 | 北京微播视界科技有限公司 | 视频获取方法、装置、终端和介质 |
CN110505489A (zh) * | 2019-08-08 | 2019-11-26 | 咪咕视讯科技有限公司 | 视频处理方法、通信设备及计算机可读存储介质 |
CN110677559B (zh) * | 2019-09-10 | 2021-07-09 | 深圳市奥拓电子股份有限公司 | 一种区别显示转播视频的方法、装置及存储介质 |
CN112422946B (zh) * | 2020-11-30 | 2023-01-31 | 重庆邮电大学 | 一种基于3d重构的智能瑜伽动作指导系统 |
CN112487965B (zh) * | 2020-11-30 | 2023-01-31 | 重庆邮电大学 | 一种基于3d重构的智能健身动作指导方法 |
CN113473224B (zh) * | 2021-06-29 | 2023-05-23 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
WO2023071589A1 (zh) * | 2021-10-26 | 2023-05-04 | Oppo广东移动通信有限公司 | 显示设备的数据处理方法、装置、存储介质与显示设备 |
CN116132735A (zh) * | 2022-12-29 | 2023-05-16 | 杭州海康威视数字技术股份有限公司 | 一种多媒体播放方法、浏览器及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5047857A (en) * | 1989-04-20 | 1991-09-10 | Thomson Consumer Electronics, Inc. | Television system with zoom capability for at least one inset picture |
EP0644692B1 (en) * | 1993-09-16 | 1998-01-28 | Kabushiki Kaisha Toshiba | Video signal compression/decompression device for video disk recording/reproducing apparatus |
CN1189045A (zh) * | 1997-01-20 | 1998-07-29 | 明碁电脑股份有限公司 | 双画面显示装置及方法 |
CN1524263A (zh) * | 2001-03-21 | 2004-08-25 | 西加特技术有限责任公司 | 带有导风部的磁盘隔板 |
CN1655609A (zh) * | 2004-02-13 | 2005-08-17 | 精工爱普生株式会社 | 记录视频会议数据的方法和系统 |
CN101815187A (zh) * | 2005-07-27 | 2010-08-25 | 夏普株式会社 | 视频合成设备及程序 |
-
2014
- 2014-06-06 CN CN201410250284.XA patent/CN105187733B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5047857A (en) * | 1989-04-20 | 1991-09-10 | Thomson Consumer Electronics, Inc. | Television system with zoom capability for at least one inset picture |
EP0644692B1 (en) * | 1993-09-16 | 1998-01-28 | Kabushiki Kaisha Toshiba | Video signal compression/decompression device for video disk recording/reproducing apparatus |
CN1189045A (zh) * | 1997-01-20 | 1998-07-29 | 明碁电脑股份有限公司 | 双画面显示装置及方法 |
CN1524263A (zh) * | 2001-03-21 | 2004-08-25 | 西加特技术有限责任公司 | 带有导风部的磁盘隔板 |
CN1655609A (zh) * | 2004-02-13 | 2005-08-17 | 精工爱普生株式会社 | 记录视频会议数据的方法和系统 |
CN101815187A (zh) * | 2005-07-27 | 2010-08-25 | 夏普株式会社 | 视频合成设备及程序 |
Also Published As
Publication number | Publication date |
---|---|
CN105187733A (zh) | 2015-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105187733B (zh) | 视频处理方法、装置及终端 | |
CN103632165B (zh) | 一种图像处理的方法、装置及终端设备 | |
CN104811787B (zh) | 游戏视频录制方法及装置 | |
CN104618217B (zh) | 分享资源的方法、终端、服务器及系统 | |
CN108307102B (zh) | 信息显示方法、装置及系统 | |
CN110460905A (zh) | 基于多设备的视频自动续播方法、装置及存储介质 | |
CN104036536B (zh) | 一种定格动画的生成方法和装置 | |
CN105549740B (zh) | 一种播放音频数据的方法和装置 | |
CN106371689B (zh) | 图片拼接方法、装置及系统 | |
CN110213504B (zh) | 一种视频处理方法、信息发送方法及相关设备 | |
CN106598996A (zh) | 多媒体海报生成方法及装置 | |
CN104113787A (zh) | 基于节目的评论方法、终端、服务器和系统 | |
CN108924464A (zh) | 视频文件的生成方法、装置及存储介质 | |
CN104935955B (zh) | 一种传输直播视频流的方法、装置和系统 | |
CN107071512B (zh) | 一种配音方法、装置及系统 | |
CN105094513B (zh) | 用户头像设置方法、装置及电子设备 | |
US20170373994A1 (en) | Method and terminal for displaying instant messaging message | |
CN106488296B (zh) | 一种显示视频弹幕的方法和装置 | |
CN105187692B (zh) | 视频拍摄方法及装置 | |
CN107396193B (zh) | 视频播放的方法和装置 | |
CN103544456A (zh) | 信息处理方法、装置及移动终端 | |
CN104093053A (zh) | 播放视频文件的方法、设备及系统 | |
CN105302804B (zh) | 业务账单的显示方法、终端及服务器 | |
CN106406924A (zh) | 应用程序启动和退出画面的控制方法、装置及移动终端 | |
CN104967864B (zh) | 一种合并视频的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |