具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本发明进行进一步详细说明,为了便于说明,仅示出了与本发明实施例相关的部分。应当理解,此处所描写的具体实施例,仅仅用于解释本发明,并不用以限制本发明。
本发明实施例通过获取待检测帧图像的y,u,v信息的时间变化度统计特性,根据亮度和/或色度信息变化的不同情况,确定亮度细致判定阈值和色度细致判定阈值,根据亮度和/或色度的统计信息变化、亮度细致判定阈值和色度细致判定阈值,进行判定有无场景切换。利用本发明实施例方法可使得编码器能动态调整编码策略,从而优化编码性能。
图1是本发明实施例的一种基于时间变化度的场景切换检测方法流程图,所述方法包括以下步骤:
S11:分别获取待检测帧(第t帧)图像的y,u,v信息的时间变化度统计特性;
图2是本发明实施例的获取待检测帧图像的y,u,v信息的时间变化度统计特性方法流程图;
所述“分别获取待检测帧(第t帧)图像的y,u,v信息的时间变化度统计特性”具体包括以下步骤:
S111:确定待检测帧(第t帧)图像关键区域,记为Regiont;
t表示待检测帧在视频序列中的帧序号,在本发明实施例中,设第t帧为待检测帧;Regiont表示第t帧图像关键区域;
可以将整个第t帧图像作为第t帧图像的关键区域Regiont;
也可以取第t帧图像的中心区域作为第t帧图像关键区域:如去掉第t帧图像最上端的height/kh个宏块行、最下端的height/kh个宏块行、再去掉第t帧图像最左侧的width/kw个宏块列、最右侧width/kw个宏块行后,剩余的图像作为Regiont。
其中height、width分别为图像像素的行数、列数,kh、kw分别为行方向与列方向比例系数,可选16、8等整数;一般较小比例系数的块适合纹理信息较弱的片源;
在保证一定检测精度下,可通过减少判定区域来确定图像的关键区域,从而减少计算量,具体的可以通过实验来统计获取较优的结果,所述检测精度根据实际需要设定。
进一步,也可以通过对原始图像进行下采样来减少计算量,此时,步骤S11之前还包括步骤:对待处理原始图像进行下采样;
对原始图像进行下采样的方法包括本发明领域常用的下采样方法,为本技术领域的公知常识,在此未作说明。
S112:判断待检测帧中的当前块blockt,n是否属于待检测帧(第t帧)图像关键区域,即blockt,n∈Regiont,是则进入步骤S113,否则进入当前块下一块blockt,n+1,重新返回步骤S112进行判断;
t表示待检测帧在视频序列中的帧序号,在本发明实施例中,设第t
帧为待检测帧,也即当前帧;
blockt,n表示第t帧图像的第n块,在本发明实施例中,设第n块为待检测块,也即当前块;
blockt,n+1表示第t帧图像的第n+1块;
其中块的大小可以根据需要调整,常用的如16x16、8x8、32x32等等;
S113,计算当前块blockt,n的y、u、v信息时间变化度的第一统计特性向量、第二统计特性向量。
设f分别等于y、u、v,y表示图像的亮度分量,u、v分别表示图像的色度分量,则“计算当前块blockt,n的y,u,v信息的时间变化度统计特性”也即“计算当前块blockt,n的f信息的时间变化度统计特性”。
所述“计算当前块blockt,n的f信息的时间变化度统计特性”包括以下步骤:图3是图2中步骤S113详细方法流程图;
S1131:获取blockt,n的f信息时间变化度的3个集合bf,t-2,n、bf,t-1,n、bf,t,n;
集合的计算公式如(1)所示:即令公式(1)中的m分别等于t-2、t-1、t,即可分别获取bf,t-2,n、bf,t-1,n、bf,t,n。
blockm,n表示第m帧图像第n块;本发明实施例中块的大小可选常用的宏块大小16x16,或者较大的块如32x32,或者较小的块如8x8;一般较大的块适合分辨率大的编码片源、纹理信息较弱的片源;一般较小的块适合分辨率小的编码片源;
blockm+1,n表示第m+1帧图像第n块;
fm(i,j)表示第m帧图像第i行第j列f信息的数值;
fm+1,n(i,j)表示第m+1帧图像第i行第j列f信息的数值;
fm(i,j)∈blockm,n表示位于blockm,n块内的第m帧图像第i行第j列f信息的数值;
fm+1(i,j)∈blockm+1,n表示位于blockm+1,n块内的第m+1帧图像第i行第j列
f信息的数值;
表示满足fm+1(i,j)∈blockm+1,n并且fm(i,j)∈blockm,n的所有
fm+1(i,j)-fm(i,j)的集合;
fm+1(i,j)-fm(i,j)为对应f信息的数值的减法运算;
S1132:求取blockt,n的f信息时间变化度3个集合bf,t-2,n、bf,t-1,n、bf,t,n的第一统计特性,分别记为Std(bf,t-2,n)、Std(bf,t-1,n)、Std(bf,t,n);Std表示求均方差;
S1133:求取blockt,n的f信息时间变化度3个集合bf,t-2,n、bf,t-1,n、bf,t,n的第二统计特性,分别记为mean(bf,t-2,n)、mean(bf,t-1,n)、mean(bf,t,n);mean表示求均值;
S1134:构建blockt,n的f信息时间变化度第一统计特性向量和第二统计特性向量,分别记为Ts_bf,t,n,Tm_bf,t,n,其构建方法如下:
Ts_bf,t,n=(Std(bf,t-2,n),Std(bf,t-1,n),Std(bf,t,n))(2)
Tm_bf,t,n=(mean(bf,t-2,n),mean(bf,t-1,n),mean(bf,t,n))(3)
本发明实施例中,所有向量的分量位置都不固定,可以任意变换,为了简化表示,本发明实施例中所有向量的表达式都只列出一种分量的排列形式;
本发明实施例中,所有对向量进行的运算均是向量运算,即对向量每一分量分别进行运算,运算结果仍为向量;
本发明实施例中,为了简化表达,可利用向量的分量在向量中的序号表示向量的每一个分量,
如Ts_bf,t,n的各分量可表示为:
Ts_b f,t,n(1)=Std(bf,t-2,n);Ts_b f,t,n(2)=Std(bf,t-1,n);Ts_b f,t,n(3)=Std(bf,t,n);
如Tm_bf,t,n的各分量可表示为:
Tm_b f,t,n(1)=mean(bf,t-2,n);Tm_b f,t,n(2)=mean(bf,t-1,n);Tm_b f,t,n(3)=mean(bf,t,n)。
S114:判断第t帧图像关键区域内是否所有的块都已经求取统计特性向量,是则进入步骤S105,否则进入当前块下一个块blockt,n+1,重新进入步骤S112;
S115,计算待检测帧图像的y、u、v信息时间变化度的第一统计特性、第二统计特性。
具体为:对第t帧图像关键区内所有块的Ts_bf,t,n求均值,作为第t帧图像的f信息时间变化度的第一统计特性Ts_frame f,t;对第t帧图像关键区内所有块的Tm_bf,t,n求均值,作为第t帧图像的f信息时间变化度的第二统计特性Tm_frame f,t;
Ts_frame f,t=mean(Ts_bf,t,n)(4)
Tm_frame f,t=mean(Tm_bf,t,n)(5)
利用(2)、(3)可将(4)、(5)上式进一步具体表示为
进一步地,为了简化表达,可利用向量的分量在向量中的序号表示向量的每一个分量,如
Ts_framef,t的各分量可表示为:
Tm_framef,t的各分量可表示为:
令(6)中f分别等于y、u、v,求取Ts_framey,t,Ts_frameu,t,Ts_framev,t,
令(7)中f分别等于y、u、v,求取Tm_framey,t,Tm_frameu,t,Tm_framev,t;
Ts_framey,t称为第t帧图像亮度信息时间变化度的第一统计特性;
Ts_frameu,t,Ts_framev,t称为第t帧图像色度信息时间变化度的第一统计特性;
Tm_framey,t称为第t帧图像亮度信息时间变化度的第二统计特性;
Tm_frameu,t,Tm_framev,t称为第t帧图像色度信息时间变化度的第二统计特性;
进一步地,为了简化表达,可利用向量的分量在向量中的序号表示向量的每一个分量。
令(8)中f分别等于y、u、v;即可获取Ts_framey,t、Ts_frameu,t、Ts_framev,t各分量的表示法;
令(9)中f分别等于y、u、v,即可获取Tm_framey,t、Tm_frameu,t、Tm_framev,t各分量的表示法;
Ts_framey,t的各分量可表示为:
Ts_frame y,t(1)=mean(Std(by,t-2,n));
Ts_frame y,t(2)=mean(Std(by,t-1,n));
Ts_frame y,t(3)=mean(Std(by,t,n));
Ts_frameu,t的各分量可表示为:
Ts_frame u,t(1)=mean(Std(bu,t-2,n));
Ts_frame u,t(2)=mean(Std(bu,t-1,n));
Ts_frame u,t(3)=mean(Std(bu,t,n));
Ts_framev,t的各分量可表示为:
Ts_frame v,t(1)=mean(Std(bv,t-2,n));
Ts_frame v,t(2)=mean(Std(bv,t-1,n));
Ts_frame v,t(3)=mean(Std(bv,t,n));
Tm_framey,t的各分量可表示为:
Tm_frame y,t(1)=mean(mean(by,t-2,n));
Tm_frame y,t(2)=mean(mean(by,t-1,n));
Tm_frame y,t(3)=mean(mean(by,t,n));
Tm_frameu,t的各分量可表示为:
Tm_frame u,t(1)=mean(mean(bu,t-2,n));
Tm_frame u,t(2)=mean(mean(bu,t-1,n));
Tm_frame u,t(3)=mean(mean(bu,t,n));
Tm_framev,t的各分量可表示为:
Tm_frame v,t(1)=mean(mean(bv,t-2,n));
Tm_frame v,t(2)=mean(mean(bv,t-1,n));
Tm_frame v,t(3)=mean(mean(bv,t,n));
本领域的技术人员可以理解,利用以上各公式计算待检测帧图像的y、u、v信息时间变化度第一统计特性和第二统计特性的计算方法只是本发明实施例优选的一种计算方法,其它等同的常用计算方法均在本发明的保护范围内。
S12:根据亮度和/或色度信息变化的不同情况,确定亮度细致判定阈值和色度细致判定阈值;
如果
((Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)>Thres_u1||
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)>Thres_u1)
或者
((Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)>Thres_v1||
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)>Thres_v1)
则:(色度信息变化剧烈的情况)
令亮度细致判定阈值Thres_y1和Thres_y2分别为亮度第一类判定阈值Thres_y_1和Thres_y_2;令色度细致判定阈值Thres_uv1和Thres_uv2分别为色度第一类细致判定阈值Thres_uv_1和Thres_uv_2;即
Thres_y1=Thres_y_1,Thres_y2=Thres_y_2
Thres_uv1=Thres_uv_1,Thres_uv2=Thres_uv_2
然后,进入步骤S13的细致判定阶段
其中,Thres_y_1为亮度第一类判定阈值的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像
(Ts_framey,t(2)-Ts_framey,t(1))/Ts_framey,t(2)、
(Ts_framey,t(2)-Ts_framey,t(3))/Ts_framey,t(2)
数值分布,确定最大概率对应的数值作为相应亮度第一类判定阈值相对阈值;
Thres_y_2为亮度第一类判定阈值绝对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像Ts_framey,t(2)-Ts_framey,t(1)、
Ts_framey,t(2)-Ts_framey,t(3)
数值分布,确定最大概率对应的数值作为相应亮度第一类判定阈值绝对阈值;
Thres_uv_1为色度第一类判定阈值差阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像fabs(Tm_frameu,t(2)-Tm_framev,t(2))
数值分布,确定最大概率对应的数值作为色度第一类判定阈值差阈值;
Thres_uv_2为色度第一类判定阈值和阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像Tm_frameu,t(2)+Tm_framev,t(2)
数值分布,确定最大概率对应的数值作为色度第一类判定阈值和阈值;
Thres_u1为色度信息变化剧烈场景时对应色度u的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的非色度信息缺乏图像
(Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化剧烈场景时对应色度u的相对阈值。
Thres_v1为色度信息变化剧烈场景时对应色度v的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的非色度信息缺乏图像
(Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化剧烈场景时对应色度v的相对阈值。非色度信息缺乏图像是指图像中至少存在一个像素点的色度能量大于判定阈值Thresup的图像
即
其中为一个像素点的色度能量,u(i,j)、v(i,j),分别为位于图像第i行j列色度分量u,v的数值,,Thresup为非色度信息缺乏图像的判定阈值,Thresup>30;
否则如果
((Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)>Thres_u2||
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)>Thres_u2))
并且
((Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)>Thres_v2||
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)>Thres_v2)
则:(色度信息变化小场景的情况)
令亮度细致判定阈值Thres_y1和Thres_y2分别为亮度第二类判定阈值Thres_y_3和Thres_y_4,令色度细致判定阈值Thres_uv1和Thres_uv2分别为色度第二类细致判定阈值Thres_uv_3和Thres_uv_4;即
Thres_y1=Thres_y_3,Thres_y2=Thres_y_4
Thres_uv1=Thres_uv_3,Thres_uv2=Thres_uv_4
然后,进入步骤S13的细致判定阶段
其中,Thres_y_3为亮度第二类判定阈值相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像
(Ts_framey,t(2)-Ts_framey,t(1))/Ts_framey,t(2)、
(Ts_framey,t(2)-Ts_framey,t(3))/Ts_framey,t(2)
数值分布,确定最大概率对应的数值作为相应亮度第二类判定阈值相对阈值;
Thres_y_4为亮度第二类判定阈值绝对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像Ts_framey,t(2)-Ts_framey,t(1)、
Ts_framey,t(2)-Ts_framey,t(3)
数值分布,确定最大概率对应的数值作为相应亮度第二类判定阈值绝对阈值;
Thres_uv_3为色度第二类判定阈值差阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像fabs(Tm_frameu,t(2)-Tm_framev,t(2))
数值分布,确定最大概率对应的数值作为色度第二类判定阈值差阈值;
Thres_uv_4为色度第二类判定阈值和阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像Tm_frameu,t(2)+Tm_framev,t(2)
数值分布,确定最大概率对应的数值作为色度第二类判定阈值和阈值;
Thres_u2为色度信息变化小场景时对应色度u的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的色度信息缺乏图像
(Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化小场景时对应色度u的相对阈值。
Thres_v2为色度信息变化小场景时对应色度v的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的色度信息缺乏图像
(Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化小场景对应色度v的相对阈值。色度信息缺乏图像是指图像所有像素点色度能量均小于判定阈值Thresdown的图像
即
其中为一个像素点的色度能量,u(i,j)、v(i,j),分别为位于图像第i行j列色度分量u,v的数值,Thresdown为色度信息缺乏图像的判定阈值,Thresdown<15,
所述亮度第一类判定阈值的相对阈值Thres_y_1、亮度第一类判定阈值绝对阈值Thres_y_2、色度第一类判定阈值差阈值Thres_uv_1、色度第一类判定阈值和阈值Thres_uv_2、色度信息变化剧烈场景时对应色度u的相对阈值Thres_u1、色度信息变化剧烈场景时对应色度v的相对阈值Thres_v1、亮度第二类判定阈值相对阈值Thres_y_3、亮度第二类判定阈值绝对阈值Thres_y_4、色度第二类判定阈值差阈值Thres_uv_3、色度第二类判定阈值和阈值Thres_uv_4、色度信息变化小场景时对应色度u的相对阈值Thres_u2、色度信息变化小场景时对应色度v的相对阈值Thres_v2中,各阈值获取方法所采用的数值分布最大值概率法还可以替换成均值法,即用作为阈值,其中表示对k求和,k表示统计变量的具体数值,p(k)表示数值k出现的概率。
否则:
确定第t帧非场景切换帧,令t=t+1,重新进入S111进入下一帧的判定。
S13:根据亮度和/或色度的统计信息变化、亮度细致判定阈值和色度细致判定阈值,进行判定有无场景切换。
如果
((Ts_framey,t(2)-Ts_framey,t(1))/Ts_framey,t(2)>Thres_y1||
(Ts_framey,t(2)-Ts_framey,t(3))/Ts_framey,t(2)>Thres_y1)
并且
((Ts_framey,t(2)-Ts_framey,t(1))>Thres_y2||
并且
(fabs(Tm_frameu,t(2)-Tm_framev,t(2))>Thres_uv1||
fabs(Tm_frameu,t(2)+Tm_framev,t(2))>Thres_uv2)
并且
(fabs(Tm_frameu,t(2)-Tm_framev,t(2))+△>fabs(Tm_frameu,t(1)-Tm_framev,t(1))
&&
fabs(Tm_frameu,t(2)-Tm_framev,t(2))+△>fabs(Tm_frameu,t(3)-Tm_framev,t(3)))
则:确定第t帧图像Ft为新场景的起始帧。
其中,△是漂移值常量,增强算法的适应性,即增强简单的二值化判断在统计阈值不佳的时候引起算法性能下降的问题。△同样可以通过统计实验获取,即通过统计大量(至少25个场景切换的片源)图像的
fabs(Tm_frameu,t(1)-Tm_framev,t(1))-fabs(Tm_frameu,t(2)-Tm_framev,t(2))
fabs(Tm_frameu,t(3)-Tm_framev,t(3))-fabs(Tm_frameu,t(2)-Tm_framev,t(2))
数值分布,确定最大概率对应的数值作为漂移值常量△。求取漂移值常量△所采用的数值分布最大值概率法还可以替换成均值法,即用作为阈值,其中表示对k求和,k表示统计变量的具体数值,p(k)表示数值k出现的概率。其它常用的统计法均适用。
“||”、“&&”、“fabs”:分别为C语言中“或”、“与”,“取绝对值运算”。
本发明实施例通过获取待检测帧图像的y,u,v信息的时间变化度统计特性,根据亮度和/或色度信息变化的不同情况,确定亮度细致判定阈值和色度细致判定阈值,根据亮度和/或色度的统计信息变化、亮度细致判定阈值和色度细致判定阈值,进行判定有无场景切换。利用本发明实施例方法可使得编码器能动态调整编码策略,从而优化编码性能。
图4是本发明实施例的一种基于时间变化度的场景切换检测装置结构图;所述装置包括:帧图像y u v信息的时间变化度统计特性获取模块41,细致判定阈值获取模块42、场景切换判定模块43;
帧图像y u v信息的时间变化度统计特性获取模块41,用于分别获取待检测帧(第t帧)图像的f信息的时间变化度统计特性,f分别等于y、u、v,y表示图像的亮度分量,u、v分别表示图像的色度分量;
细致判定阈值获取模块42,用于根据亮度和/或色度信息变化的不同情况,确定亮度细致判定阈值和色度细致判定阈值;
场景切换判定模块43,用于根据亮度和/或色度的统计信息变化、亮度细致判定阈值和色度细致判定阈值,判定有无场景切换。
进一步地,所述帧图像y u v信息的时间变化度统计特性获取模块41还包括:帧图像关键区域获取模块411、第一判断模块412、块统计特性向量计算模块413、第二判断模块414、帧图像y,u,v信息的时间变化度统计特性计算模块415;
图5是图4装置中的模块41的结构图。
帧图像关键区域获取模块411,用于确定待检测帧(第t帧)的图像关键区域;
第一判断模块412,用于判断待检测帧中的当前块是否属于待检测帧(第t帧)图像关键区域,是则进入模块413,否则进入当前块下一块,返回模块412进行判断;t表示待检测帧在视频序列中的帧序号,设第t帧为待检测帧;
块统计特性向量计算模块413,用于计算当前块blockt,n的y、u、v信息时间变化度的第一统计特性向量、第二统计特性向量;
第二判断模块414,用于判断第t帧图像关键区域内是否所有的块都已经求取统计特性向量,是则进入模块415,否则进入当前块下一块,返回模块412;
帧图像y,u,v信息的时间变化度统计特性计算模块415,用于根据所述块统计特性向量,计算待检测帧图像的y、u、v信息时间变化度的第一统计特性、第二统计特性;
进一步地,所述模块413还包括:块的f信息时间变化度集合确定模块4131、块的f信息时间变化度集合的第一统计特性获取模块4132、块的f信息时间变化度集合的第二统计特性获取模块4133、块的f信息时间变化度第一和第二统计特性向量构建模块4134。
块的f信息时间变化度集合确定模块4131,用于获取待检测帧中的待检测块的f信息时间变化度的3个集合,其中f分别等于y、u、v,y表示图像的亮度分量,u、v分别表示图像的色度分量;
集合的计算公式如(1)所示:即令公式(1)中的m分别等于t-2、t-1、t,即可分别获取bf,t-2,n、bf,t-1,n、bf,t,n,bf,t-2,n、bf,t-1,n、bf,t,n分别为待检测块blockt,n的f信息时间变化度的3个集合
blockm,n表示第m帧图像第n块;本发明实施例中块的大小可选常用的宏块大小16x16,或者较大的块如32x32,或者较小的块如8x8;一般较大的块适合分辨率大的编码片源、纹理信息较弱的片源;一般较小的块适合分辨率小的编码片源;
blockm+1,n表示第m+1帧图像第n块;
fm(i,j)表示第m帧图像第i行第j列f信息的数值;
fm+1,n(i,j)表示第m+1帧图像第i行第j列f信息的数值;
fm(i,j)∈blockm,n表示位于blockm,n块内的第m帧图像第i行第j列f信息的数值;
fm+1(i,j)∈blockm+1,n表示位于blockm+1,n块内的第m+1帧图像第i行第j列
f信息的数值;
表示满足fm+1(i,j)∈blockm+1,n并且fm(i,j)∈blockm,n的所有
fm+1(i,j)-fm(i,j)的集合;
fm+1(i,j)-fm(i,j)为对应f信息的数值的减法运算;
块的f信息时间变化度集合的第一统计特性获取模块4132,用于求取待检测帧中的待检测块的f信息时间变化度3个集合的第一统计特性;
具体为:求取待检测块blockt,n的f信息时间变化度3个集合bf,t-2,n、bf,t-1,n、bf,t,n的第一统计特性,分别记为Std(bf,t-2,n)、Std(bf,t-1,n)、Std(bf,t,n);Std表示求均方差;
块的f信息时间变化度集合的第二统计特性获取模块4133,用于求取待检测帧中的待检测块的f信息时间变化度3个集合的第二统计特性;
具体为:求取待检测块blockt,n的f信息时间变化度3个集合bf,t-2,n、bf,t-1,n、bf,t,n的第二统计特性,分别记为mean(bf,t-2,n)、mean(bf,t-1,n)、mean(bf,t,n);mean表示求均值;
块的f信息时间变化度第一和第二统计特性向量构建模块4134,用于构建待检测帧中的待检测块的f信息时间变化度第一统计特性向量和第二统计特性向量;
具体为:构建blockt,n的f信息时间变化度第一统计特性向量和第二统计特性向量,分别记为Ts_bf,t,n,Tm_bf,t,n,其构建方法如下:
Ts_bf,t,n=(Std(bf,t-2,n),Std(bf,t-1,n),Std(bf,t,n))(2)
Tm_bf,t,n=(mean(bf,t-2,n),mean(bf,t-1,n),mean(bf,t,n))(3)
本发明实施例中,所有向量的分量位置都不固定,可以任意变换,为了简化表示,本发明实施例中所有向量的表达式都只列出一种分量的排列形式;
本发明实施例中,所有对向量进行的运算均是向量运算,即对向量每一分量分别进行运算,运算结果仍为向量;
本发明实施例中,为了简化表达,可利用向量的分量在向量中的序号表示向量的每一个分量,
如Ts_bf,t,n的各分量可表示为:
Ts_bf,t,n(1)=Std(bf,t-2,n);Ts_bf,t,n(2)=Std(bf,t-1,n);Ts_bf,t,n(3)=Std(bf,t,n);
如Tm_bf,t,n的各分量可表示为:
Tm_bf,t,n(1)=mean(bf,t-2,n);Tm_bf,t,n(2)=mean(bf,t-1,n);Tm_bf,t,n(3)=mean(bf,t,n)。
进一步地,模块415中,所述“计算待检测帧图像的y、u、v信息时间变化度的第一统计特性、第二统计特性”具体为:
对第t帧图像关键区内所有块的f信息时间变化度第一统计特性向量Ts_bf,t,n求均值,作为第t帧图像的f信息时间变化度的第一统计特性Ts_frame f,t;对第t帧图像关键区内所有块的f信息时间变化度第二统计特性向量Tm_bf,t,n求均值,作为第t帧图像的f信息时间变化度的第二统计特性Tm_frame f,t;
Ts_frame f,t=mean(Ts_bf,t,n)(4)
Tm_frame f,t=mean(Tm_bf,t,n)(5)
利用(2)、(3)可将(4)、(5)上式进一步具体表示为
为了简化表达,可利用向量的分量在向量中的序号表示向量的每一个分量,如
Ts_framef,t的各分量可表示为:
Tm_framef,t的各分量可表示为:
令(6)中f分别等于y、u、v,求取Ts_framey,t,Ts_frameu,t,Ts_framev,t,
令(7)中f分别等于y、u、v,求取Tm_framey,t,Tm_frameu,t,Tm_framev,t;
Ts_framey,t称为第t帧图像亮度信息时间变化度的第一统计特性;
Ts_frameu,t,Ts_framev,t称为第t帧图像色度信息时间变化度的第一统计特性;
Tm_framey,t称为第t帧图像亮度信息时间变化度的第二统计特性;
Tm_frameu,t,Tm_framev,t称为第t帧图像色度信息时间变化度的第二统计特性;
为了简化表达,可利用向量的分量在向量中的序号表示向量的每一个分量。
令(8)中f分别等于y、u、v;即可获取Ts_framey,t、Ts_frame u,t、Ts_framev,t各分量的表示法;
令(9)中f分别等于y、u、v,即可获取Tm_framey,t、Tm_frameu,t、Tm_framev,t各分量的表示法;
Ts_framey,t的各分量可表示为:
Ts_frame y,t(1)=mean(Std(by,t-2,n));
Ts_frame y,t(2)=mean(Std(by,t-1,n));
Ts_frame y,t(3)=mean(Std(by,t,n));
Ts_frameu,t的各分量可表示为:
Ts_frame u,t(1)=mean(Std(bu,t-2,n));
Ts_frame u,t(2)=mean(Std(bu,t-1,n));
Ts_frame u,t(3)=mean(Std(bu,t,n));
Ts_framev,t的各分量可表示为:
Ts_frame v,t(1)=mean(Std(bv,t-2,n));
Ts_frame v,t(2)=mean(Std(bv,t-1,n));
Ts_frame v,t(3)=mean(Std(bv,t,n));
Tm_framey,t的各分量可表示为:
Tm_frame y,t(1)=mean(mean(by,t-2,n));
Tm_frame y,t(2)=mean(mean(by,t-1,n));
Tm_frame y,t(3)=mean(mean(by,t,n));
Tm_frameu,t的各分量可表示为:
Tm_frame u,t(1)=mean(mean(bu,t-2,n));
Tm_frame u,t(2)=mean(mean(bu,t-1,n));
Tm_frame u,t(3)=mean(mean(bu,t,n));
Tm_framev,t的各分量可表示为:
Tm_frame v,t(1)=mean(mean(bv,t-2,n));
Tm_frame v,t(2)=mean(mean(bv,t-1,n));
Tm_frame v,t(3)=mean(mean(bv,t,n));
进一步地,模块42中“用于根据亮度和/或色度信息变化的不同情况,确定亮度细致判定阈值和色度细致判定阈值”具体为:
判断,如果
((Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)>Thres_u1||
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)>Thres_u1)
或者
((Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)>Thres_v1||
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)>Thres_v1)
则:
令亮度细致判定阈值Thres_y1和Thres_y2分别为亮度第一类判定阈值Thres_y_1和Thres_y_22;令色度细致判定阈值Thres_uv1和Thres_uv2分别为色度第一类细致判定阈值Thres_uv_1和Thres_uv_2;即
Thres_y1=Thres_y_1,Thres_y2=Thres_y_2
Thres_uv1=Thres_uv_1,Thres_uv2=Thres_uv_2
进入模块43,
其中,Thres_y_1为亮度第一类判定阈值的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像
(Ts_framey,t(2)-Ts_framey,t(1))/Ts_framey,t(2)、
(Ts_framey,t(2)-Ts_framey,t(3))/Ts_framey,t(2)
数值分布,确定最大概率对应的数值作为相应亮度第一类判定阈值相对阈值;
Thres_y_2为亮度第一类判定阈值绝对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像Ts_framey,t(2)-Ts_framey,t(1)、
Ts_framey,t(2)-Ts_framey,t(3)
数值分布,确定最大概率对应的数值作为相应亮度第一类判定阈值绝对阈值;
Thres_uv_1为色度第一类判定阈值差阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像fabs(Tm_frameu,t(2)-Tm_framev,t(2))
数值分布,确定最大概率对应的数值作为色度第一类判定阈值差阈值;
Thres_uv_2为色度第一类判定阈值和阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的非色度信息缺乏图像Tm_frameu,t(2)+Tm_framev,t(2)
数值分布,确定最大概率对应的数值作为色度第一类判定阈值和阈值;
Thres_u1为色度信息变化剧烈场景时对应色度u的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的非色度信息缺乏图像
(Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化剧烈场景时对应色度u的相对阈值。
Thres_v1为色度信息变化剧烈场景时对应色度v的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的非色度信息缺乏图像
(Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化剧烈场景时对应色度v的相对阈值。非色度信息缺乏图像是指图像中至少存在一个像素点的色度能量大于判定阈值Thresup的图像
即
其中为一个像素点的色度能量,u(i,j)、v(i,j),分别为位于图像第i行j列色度分量u,v的数值,,Thresup为非色度信息缺乏图像的判定阈值,Thresup>30;
否则如果
((Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)>Thres_u2||
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)>Thres_u2))
并且
((Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)>Thres_v2||
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)>Thres_v2)
则:(色度信息变化小场景的情况)
令亮度细致判定阈值Thres_y1和Thres_y2分别为亮度第二类判定阈值Thres_y_3和Thres_y_4;令色度细致判定阈值Thres_uv1和Thres_uv2分别为色度第二类细致判定阈值Thres_uv_3和Thres_uv_4;即
Thres_y1=Thres_y_3,Thres_y2=Thres_y_4
Thres_uv1=Thres_uv_3,Thres_uv2=Thres_uv_4
进入模块43,
其中,Thres_y_3为亮度第二类判定阈值相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像
(Ts_framey,t(2)-Ts_framey,t(1))/Ts_framey,t(2)、
(Ts_framey,t(2)-Ts_framey,t(3))/Ts_framey,t(2)
数值分布,确定最大概率对应的数值作为相应亮度第二类判定阈值相对阈值;
Thres_y_4为亮度第二类判定阈值绝对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像Ts_framey,t(2)-Ts_framey,t(1)、
Ts_framey,t(2)-Ts_framey,t(3)
数值分布,确定最大概率对应的数值作为相应亮度第二类判定阈值绝对阈值;
Thres_uv_3为色度第二类判定阈值差阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像fabs(Tm_frameu,t(2)-Tm_framev,t(2))
数值分布,确定最大概率对应的数值作为色度第二类判定阈值差阈值;
Thres_uv_4为色度第二类判定阈值和阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换片源)的色度信息缺乏图像Tm_frameu,t(2)+Tm_framev,t(2)
数值分布,确定最大概率对应的数值作为色度第二类判定阈值和阈值;
Thres_u2为色度信息变化小场景时对应色度u的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的色度信息缺乏图像
(Ts_frameu,t(2)-Ts_frameu,t(1))/Ts_frameu,t(2)
(Ts_frameu,t(2)-Ts_frameu,t(3))/Ts_frameu,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化小场景时对应色度u的相对阈值。
Thres_v2为色度信息变化小场景时对应色度v的相对阈值,可以通过统计实验获取,即可以通过统计大量(至少25个场景切换的片源)的色度信息缺乏图像
(Ts_framev,t(2)-Ts_framev,t(1))/Ts_framev,t(2)
(Ts_framev,t(2)-Ts_framev,t(3))/Ts_framev,t(2)
数值分布,确定最大概率对应的数值作为色度信息变化小场景时
对应色度v的相对阈值。色度信息缺乏图像是指图像所有像素点色度能量均小于判定阈值Thresdown的图像
即
其中为一个像素点的色度能量,u(i,j)、v(i,j),分别为位于图像第i行j列色度分量u,v的数值,Thresdown为色度信息缺乏图像的判定阈值,Thresdown<15,
所述亮度第一类判定阈值的相对阈值Thres_y_1、亮度第一类判定阈值绝对阈值Thres_y_2、色度第一类判定阈值差阈值Thres_uv_1、色度第一类判定阈值和阈值Thres_uv_2、色度信息变化剧烈场景时对应色度u的相对阈值Thres_u1、色度信息变化剧烈场景时对应色度v的相对阈值Thres_v1、亮度第二类判定阈值相对阈值Thres_y_3、亮度第二类判定阈值绝对阈值Thres_y_4、色度第二类判定阈值差阈值Thres_uv_3、色度第二类判定阈值和阈值Thres_uv_4、色度信息变化小场景时对应色度u的相对阈值Thres_u2、色度信息变化小场景时对应色度v的相对阈值Thres_v2中,各阈值获取方法所采用的数值分布最大值概率法还可以替换成均值法,即用作为阈值,其中表示对k求和,k表示统计变量的具体数值,p(k)表示数值k出现的概率。
否则:
确定第t帧非场景切换帧,令t=t+1,重新进入模块41进行下一帧的判定。
进一步地,模块43中“用于根据亮度和/或色度的统计信息变化,判定有无场景切换”具体为:
判断,如果
((Ts_framey,t(2)-Ts_framey,t(1))/Ts_framey,t(2)>Thres_y1||
(Ts_framey,t(2)-Ts_framey,t(3))/Ts_framey,t(2)>Thres_y1)
并且
((Ts_framey,t(2)-Ts_framey,t(1))>Thres_y2||
并且
(fabs(Tm_frameu,t(2)-Tm_framev,t(2))>Thres_uv1||
fabs(Tm_frameu,t(2)+Tm_framev,t(2))>Thres_uv2)
并且
(fabs(Tm_frameu,t(2)-Tm_framev,t(2))+△>fabs(Tm_frameu,t(1)-Tm_framev,t(1))
&&
fabs(Tm_frameu,t(2)-Tm_framev,t(2))+△>fabs(Tm_frameu,t(3)-Tm_framev,t(3)))则:确定第t帧图像Ft为新场景的起始帧。
其中,△是漂移值常量,可以通过统计实验获取,即通过统计大量(至少25个场景切换的片源)图像的
fabs(Tm_frameu,t(1)-Tm_framev,t(1))-fabs(Tm_frameu,t(2)-Tm_framev,t(2))
fabs(Tm_frameu,t(3)-Tm_framev,t(3))-fabs(Tm_frameu,t(2)-Tm_framev,t(2))
数值分布,确定最大概率对应的数值作为漂移值常量△。求取漂移值常量△所采用的数值分布最大值概率法还可以替换成均值法,即用作为阈值,其中表示对k求和,k表示统计变量的具体数值,p(k)表示数值k出现的概率。其它常用的统计法均适用。
漂移值常量△可增强算法的适应性,即增强简单的二值化判断在统计阈值不佳的时候引起算法性能下降的问题。
“||”、“&&”、“fabs”:分别为C语言中“或”、“与”,“取绝对值运算”。
本发明实施例通过获取待检测帧图像的y,u,v信息的时间变化度统计特性,根据亮度和/或色度信息变化的不同情况,确定亮度细致判定阈值和色度细致判定阈值,根据亮度和/或色度的统计信息变化、亮度细致判定阈值和色度细致判定阈值,进行判定有无场景切换。利用本发明实施例方法可使得编码器能动态调整编码策略,从而优化编码性能。
本领域的普通技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。