片头生成方法及生成系统
技术领域
本发明涉及电子技术领域,尤其涉及一种片头生成方法及视频片头生成系统。
背景技术
传统的片头生成方式主要是在视频拍摄完成后,人工从视频中抽取能反映主要内容的帧画面。这种方式工作量大,不够智能。
尤其是随着LTE(Long Term Evolution,长期演进)网络的普及,LTE网络会带来足够的网速,使得手机视频的拍摄和上传成为了潮流。现有手机上传的视频都是最原始的视频数据,手机不会对视频做任何处理工作,如剪辑、加片头等等,因为这些工作费时间,而且还需要利用电脑上专业的视频编辑软件才能完成。而所拍摄的视频长度一般都会有几十秒或几分钟或更长的时间,对于观看者而言,观看视频是比较费时间的,看完后也许会觉得后悔花时间来看整个视频,认为很不值得观看。
所以有必要提供一种智能的片头生成方案,让终端在拍摄后自动生成片头,能很好地反应整个视频的关键内容,给观看者一个提示,起到摘要作用。
发明内容
针对上述的缺陷,本发明提供一种片头的生成方法及系统,解决现有技术不给所拍摄的视频加片头或者加片头的方式不够完善的问题。
为了实现上述目的,本发明提供片头的生成方法及系统。
一种片头的生成方法,包括步骤:
将整个视频进行分段;
将视频中的帧画面分割为多个区块;
得到每一段中每个区块在该段连续多帧之间的变化速度;
根据每一段中每个区块在该段连续多帧之间的变化速度,选取变化速度大的预定个数的段;
在每个选取段中提取代表矛盾激发帧画面;以及
将提取的代表矛盾激发帧画面生成片头。
其中,在每个选取段中提取代表矛盾激发帧画面为提取选取段中中间帧画面作为代表矛盾激发帧画面。
其中,将整个视频进行分段时,每个段包括相同数量的帧画面,并且当前段的部分帧画面与上一帧和下一帧的部分帧画面重合。
其中,将视频中的帧画面平均分割为九个区块。
其中,根据每一段中每个区块在相邻两帧之间的变化速度,选取变化速度大的预定个数的段,包括:对每一段中每个区块在该段连续多帧之间的变化速度按照大小进行排序,然后选取变化速度大的预定个数的段。
一种片头的生成方法,包括步骤:
在每个帧画面中设置多个宏块;
获取当前帧中每个宏块在上一帧画面中的最佳匹配预测宏块;
计算每个宏块与最佳匹配预测宏块之间的运动向量,并得到当前帧画面与上一帧画面之间的平均运动向量的模;
根据相邻帧之间的平均运行动向量的模的数值,提取代表场景变化的帧画面;以及
将所述代表场景变化的帧画面生成片头。
一种片头生成方法,包括步骤:
提取视频中代表场景变化的帧画面;
提取视频中代表矛盾激发的帧画面;以及
将提取的代表场景变化的帧画面及代表矛盾激发帧画面生成片头,其中,
提取视频中代表场景变化的帧画面包括步骤:
在每个帧画面中设置多个宏块;
获取当前帧中每个宏块在上一帧画面中的最佳匹配预测宏块;
计算每个宏块与最佳匹配预测宏块之间的运动向量,并得到当前帧画面与上一帧画面之间的平均运动向量的模;
根据相邻帧之间的平均运行动向量的模的数值,提取代表场景变化的帧画面;
提取视频中代表矛盾激发的帧画面包括步骤:
将整个视频进行分段;
将视频中的帧画面分割为多个区块;
得到每一段中每个区块在该段连续多帧之间的变化速度;
根据每一段中每个区块在该段连续多帧之间的变化速度,选取变化速度大的预定个数的段;
在每个选取段中提取代表矛盾激发帧画面。
一种片头的生成系统,包括:
第一处理模块,用于将整个视频进行分段,将视频中的帧画面分割为多个区块,得到每一段中每个区块在该段连续多帧之间的变化速度,根据每一段中每个区块在该段连续多帧之间的变化速度,选取变化速度大的预定个数的段;以及
第一提取模块,用于在每个选取段中提取代表矛盾激发帧画面,
生成模块用于将提取的代表矛盾激发的帧画面生成片头。
其中,所述片头的生成系统还包括:
第一处理模块,用于在每个帧画面中设置多个宏块,获取当前帧中每个宏块在上一帧画面中的最佳匹配预测宏块,计算每个宏块与最佳匹配预测宏块之间的运动向量,并得到当前帧画面与上一帧画面之间的平均运动向量的模;
第二提取模块,用于根据相邻帧之间的平均运行动向量的模的数值,提取代表场景变化的帧画面;
所述生成模块用于将提取的代表场景变化的帧画面和代表矛盾激发的帧画面生成片头。
其中,所述片头的生成系统还包括设置模块和显示模块,所述设置模块用于对生成的片头设置标示,所述显示模块用于将设置模块设置的标示显示在片头的视频画面上。本技术方案提供的片头的生成方法及系统,针对手机等移动电子终端单独拍摄的视频,通过代表矛盾激发的帧画面及/或代表不同场景变化的帧画面作为片头,能够使得观影者通过片头便能够了解视频内容的发展进程及视频中矛盾激发的画面,给观看者一个该视频内容的提示。
附图说明
图1为本技术方案第一实施方式提供的片头的生成方法的流程图;
图2为本技术方案第一实施方式中在帧画面中设置宏块的示意图;
图3为本技术方案第二实施方式提供的片头的生成方法的流程图;
图4为本技术方案第二实施方式中在连续多帧画面中分区块的示意图;
图5为本技术方案第三实施方式提供的片头的生成方法的流程图;
图6是本技术方案提供的片头的生成系统的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
一般来说,对于采用手机、平板电脑等移动终端摄影视频片段,要对观众表达出其拍摄内容,最重要最能吸引眼球的包括两种内容,一是拍摄过程中场景的变化,不同场景常常代表着新事物的出现和新故事的发生,要让观影者了解整个影片内容的发展进程,那么对其展现不同的场景是必不可少的;二是影片中各种矛盾激发的场景,一般矛盾激发场景会伴随着画面整体或局部的剧烈变化,例如打斗,运动,喜怒哀乐的面部表情变化等。
请参阅图1,本技术方案第一实施方式提供一种视频片头生成方法,所述方法根据视频中帧画面的变化抽取帧画面来得到片头,所述方法包括步骤:
S101,在每个帧画面中设置多个宏块。
本实施方式中,请参阅图2,在每个帧画面中选取九个宏块,包括八个边缘宏块10和一个中心宏块20。四个边缘宏块10位于帧画面的四个顶点,其余的四个边缘宏块10位于两个位于顶点的边缘宏块10之间,所述中心宏块20位于帧画面的中心位置。其中,边缘宏块可以包括16*16个像素点,而中心宏块20可以包括64*64个像素点。可以理解的是,每个宏块的像素点的个数可以根据帧画面的大小进行设定。由于一般视频拍摄的镜头中央都会对准所拍摄事物的主体,所以帧画面的中心部分发生变化可能会更大一些,而周围变化相对会小一些,所以中心宏块20通常比边缘宏块10包括更多的像素点。
S102,获取当前帧中每个宏块在上一帧画面中的最佳匹配预测宏块。
本实施方式中,通过计算绝对差异的总和SAD(Summation of AbsoluteDifference)值来确定每个宏块在上一帧画面中的最佳匹配预测宏块。具体的,每个宏块的SAD值可以采用公式(1)进行计算:
其中,fm,n代表当前帧中选定宏块的一个像素点的亮度值、色彩值或灰度值,f’m,n代表上一帧中一个预测宏块的一个像素点的亮度值、色彩值或灰度值,所述预测宏块与选定宏块具有相同的像素点数并具有相同的像素点阵列排布,w代表选定宏块中像素阵列的行数及列数。
以中心宏块作为选定宏块为例来具体说明,fm,n代表中心宏块中第m行第n列个像素点的亮度值、色彩值或灰度值,f’m,n代表上一帧中一个64*64像素点组成的宏块中一个像素点的亮度值、色彩值或灰度值,w的数值为64。
上一帧画面中具有多个预测宏块,可以得出SAD值最小时对应的预测宏块,SAD值最小时对应的预测宏块即为最佳匹配预测宏块。所述最佳匹配预测宏块为上一帧画面中与选定宏块中画面相同或者相近。
其他的宏块也可以采用相同方法得到对应的最佳匹配预测宏块。
S103,计算每个宏块与最佳匹配预测宏块之间的运动向量,并得到当前帧画面与上一帧画面之间的平均运动向量的模。
当得到选定宏块的最佳匹配预测宏块之后,可以得到选定宏块与最佳匹配预测宏块之间的运动向量,从而可以分别得到每个宏块与上一帧中的最佳匹配预测宏块之间的运动向量
相邻帧之间的平均运行动向量的模(MV)可以采用公式(2)计算得出
kn表示第n个宏块的权重。本实施方式中,n的取值为9。对于包括较多像素点的宏块,可以具有较大的权重,对于像素点较少的宏块,可以具有较少的权重。如中心宏块的权重可以设为4,而边缘宏块的权重可以设为1。
S104,根据相邻帧之间的平均运行动向量的模的数值,提取代表场景变化的帧画面。
相邻帧之间的平均运行动向量的模的数值越大,表面当前帧与上一帧的画面发生较大变化。
本步骤可以预先设定阈值,当相邻帧之间的平均运行动向量的模大于预定阈值时,表明当前帧与上一帧之间画面变化较大,可以选取当前帧作为代表场景变化的帧画面。对于阈值的选取,当视频画面尺寸较大时,阈值需设定相对较大。
本步骤中,也可以选取相邻帧之间的平均运行动向量的模的数值大的对应的若干帧画面作为代表场景变化的帧画面。可以将相邻帧之间的平均运行动向量的模的数值排序,选取其中数值大的对应的帧画面作为代表场景变化的帧画面。具体的,可以根据视频的长度选择选取的数量,如对于10分钟之内的视频,可以选取5帧画面,对于几十分钟的视频,可以选取10帧画面。
S105,将提取的代表场景变化的帧画面生成片头。
将抽取的帧画面按照拍摄时间由先到后的顺序,以预设时间间隔连接生成片头。由于片头中各帧画面之间可能是断续的,所以需要预设一个帧与帧之间转换的时间间隔,优选的,所述预设时间间隔为0.5秒,即每0.5秒播放片头中的一个画面帧。
还可以包括以下步骤:对生成的片头设置标示,将标示显示在片头的视频画面上。在整个视频拍摄完毕以后,可以将片头加到所拍摄的整个视频前面,同时给出片头的标示,以提示观看者。
本实施方式提供的片头的生成方法,由于通过计算相邻帧之间的平均运行动向量的模的数值,从而可以在一段视频中提取场景变化的帧画面,将这些场景变化的帧画面制作形成片头能够展现视频中不同的场景,使观影者了解视频的内容。
请参阅图3,本技术方案第二实施方式提供一种片头生成方法,用于提取代表矛盾激发场面的帧画面作为片头的方法,包括步骤:
S201,将整个视频进行分段。
本步骤中,将视频分割为分为多段。对正段视频分段的多少可以根据视频的长短进行确定,使得每段包括相同数量的帧画面。例如,每一段中可以包括连续的30帧画面。为了能够更精准地别矛盾的场景,而不会将原来连续的矛盾场景分割在两段内,可以使得当前段的部分帧画面与上一帧和下一帧的部分帧画面重合。例如,每30帧画面为一段,而且相邻两段有50%的重合,即前后两段有15帧的重合,例如第一段为视频的第1帧到第30帧,第二段为第16帧到第45帧,第三段为第31帧到60帧,这样以此类推。
S202,将视频中的帧画面分割为多个区块。
本实施方式中,请参阅图4,将每一帧画面平均分割为9个区块为例来进行说明。当然,也可以分为2区块、4区块、16区块或者更多块。一般来说,分为9个区块是合适的,既可以不遗漏一些细节的画面变化,又可以使得后面的计算量不致过大。另外,对于单镜头拍摄来说,总是要将镜头对准事件主体或主人公,即将其放在镜头的最中央,所以对于9区块的画面分割方式,最中间的区块往往就是最重要的判断矛盾场面的分析块。
按照分为9区块的这种方式,我们展示一个反应剧烈打斗场面的视频中的12个连续帧画面的例子,图中每一帧画面都分为9区块,仔细观察能看出,摄像的这个镜头始终停留在一个画面,只有画中人物的打斗动作在变化,那么在画面的变化中,实际上变化最大的是每一帧中最中间区块,而其余的8个区块变化都很小,甚至没有发生任何变化。假如不采用分块的方式,而对整个帧画面的变化进行分析,那么这12帧画面连续变化不大。
S203,得到每一段中每个区块在相邻两帧之间的变化速度。
考虑到拍摄的同一场景中矛盾场面发生过程的连续性,这里提出对帧画面间变化的速度进行度量,这个度量值能够更好地反应激烈变化的场面,而且度量值越大,即场面变化越大,说明激烈程度越强烈。这样一种帧间变化速度的度量是基于帧画面的像素来进行计算的,可以利用每一像素的亮度值、灰度值或色彩值进行计算,用其中任何一种值都可,相邻两帧间对应块中的对应像素点的灰度(或者亮度或者色彩值)的差可表示为:
dn,k(i,j)=|fn+1,k(i,j)-fn,k(i,j)|
其中fn,k(i,j)表示第n帧画面中第k块的像素(i,j)对应的灰度(或者亮度或者色彩值),dn,k(i,j)代表第n帧画面和第n+1帧画面中第k块的像素(i,j)对应的灰度(或者亮度或者色彩值)的变化,i为区块内像素点的行数,j区块为每像素点的列数,如果每个区块包括L*J像素点,则,具体的,
n=1,2,…,29;k=1,2,…9;i=1,…,L;j=1,…,J。
那么相邻两帧对应第k块的灰度(或者亮度或者色彩值)总的变化为;
基于上面这个相邻帧间的总的变化量Dn,k,那么整个第p段对应第k块的连续帧间变化速度可表示为:
假设整个拍摄的视频被分为P段,那么按照上面的帧间变化速度的计算公式就可以获得9×P个Vp,k p=1,…,P,k=1,…,9。
S204,根据每一段中每个区块在该段连续多帧之间的变化速度,选取预定个数较大变化速度数值的对应的段。
具体的,可以将每一段中每个区块在相邻的连续多帧之间的变化速度按照大小进行排序,选取变化速度大的预定个数的段。所述预定个数可以根据视频的长短进行选择,当视频较长时,选取段数相对较多,当视频较短时,可以选取段数相对较少。假设视频就几分钟的话,选择3至5个具有最大Vp,k值的段就可以了,而当视频有几十分钟的话,可能选择8-10个段比较好。
S205,在每个选取段中提取代表矛盾激发帧画面。
本实施方式中,提取选取段中中间的一个帧画面作为代表矛盾激发帧画面。具体的,可以提取选取段中的第15帧画面或者第16帧画面作为代表矛盾激发帧画面。优选地,提取每个选取段中最中间的一帧作为代表矛盾激发帧画面。
S206,将提取的代表矛盾激发帧画面生成片头。
将抽取矛盾激发帧画面按照拍摄时间由先到后的顺序,以预设时间间隔连接生成片头。由于片头中各帧画面之间可能是断续的,所以需要预设一个帧与帧之间转换的时间间隔,优选的,所述预设时间间隔为0.5秒,即每0.5秒播放片头中的一帧画面。
还可以包括以下步骤:对生成的片头设置标示,将标示显示在片头的视频画面上。在整个视频拍摄完毕以后,可以将片头加到所拍摄的整个视频前面,同时给出片头的标示,以提示观看者。
本实施方式提供的片头生成方法,通过选取每一段中每个区块在相邻的连续多帧之间的变化速度值最大的段中的帧画面作为矛盾激发的帧画面,所述矛盾激发的帧画面能够代表视频中矛盾激发的画面,将所述矛盾激发的帧画面制作形成片头,使观影者了解视频的内容。
请参阅图5,本技术方案第三实施方式提供一种片头的生成方法,包括步骤:
S301,提取视频中的代表场景变化的帧画面。
本步骤的具体实施方法可以与第一实施方式中S101至S104相同或者相近,本处不在赘述。
S302,提取视频中代表矛盾激发的帧画面。
本步骤的具体实施方法可以与第二实施方式中S201至S205相同或者相近,本处不在赘述。
S303,将提取的代表场景变化的帧画面及代表矛盾激发帧画面按照拍摄时间由先到后的顺序,以预设时间间隔连接生成片头。
由于片头中各帧画面之间可能是断续的,所以需要预设一个帧与帧之间转换的时间间隔,优选的,所述预设时间间隔为0.5秒,即每0.5秒播放片头中的一帧画面。
还可以包括以下步骤:对生成的片头设置标示,将标示显示在片头的视频画面上。在整个视频拍摄完毕以后,可以将片头加到所拍摄的整个视频前面,同时给出片头的标示,以提示观看者。
本技术方案提供的片头的生成方法,针对手机等移动电子终端单独拍摄的视频,通过代表矛盾激发的帧画面及代表不同场景变化的帧画面作为片头,能够使得观影者通过片头便能够了解视频内容的发展进程及视频中矛盾激发的画面,给观看者一个该视频内容的提示。
请参阅图6,本技术方案第四实施方式还提供一种片头的生成系统100,所述片头的生成系统100包括第一处理模块110、第一提取模块120、第二处理模块130、第二提取模块140及生成模块150。
所述第一处理模块110用于将整个视频进行分段,将视频中的帧画面分割为多个区块,得到每一段中每个区块在相邻的连续多帧之间的变化速度,将每一段中每个区块在相邻的连续多帧之间的变化速度按照大小进行排序,选取变化速度大的预定个数的段。
第一提取模块120用于在每个选取段中提取代表矛盾激发帧画面。
第二处理模块130用于在每个帧画面中设置多个宏块,获取当前帧中每个宏块在上一帧画面中的最佳匹配预测宏块,计算每个宏块与最佳匹配预测宏块之间的运动向量,并得到当前帧画面与上一帧画面之间的平均运动向量的模。
第二提取模块140用于根据相邻帧之间的平均运行动向量的模的数值,提取代表场景变化的帧画面。
生成模块150用于将提取的代表场景变化的帧画面和代表矛盾激发的帧画面生成片头。
本实施方式提供的片头生成系统100还可以进一步包括设置模块160和显示模块170。所述设置模块160用于对生成的片头设置标示。所述显示模块170用于将设置模块160设置的标示显示在片头的视频画面上。
可以理解的是,本技术方案提供的片头生成系统100也可以不包括第一处理模块110和第一提取模块120,所述片头生成系统100可以用于生成由代表场景变化的帧画面组成的片头。本技术方案提供的片头生成系统100也可以不包括第二处理模块130和第二提取模块140,所述片头的生成系统可以用于生成由代表矛盾激发的帧画面组成的片头。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的。