CN105812788A - 一种基于帧间运动振幅统计的视频稳定质量评价方法 - Google Patents

一种基于帧间运动振幅统计的视频稳定质量评价方法 Download PDF

Info

Publication number
CN105812788A
CN105812788A CN201610173773.9A CN201610173773A CN105812788A CN 105812788 A CN105812788 A CN 105812788A CN 201610173773 A CN201610173773 A CN 201610173773A CN 105812788 A CN105812788 A CN 105812788A
Authority
CN
China
Prior art keywords
amplitude
video
movement
shake
movement locus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610173773.9A
Other languages
English (en)
Inventor
黄华
张磊
赵登峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201610173773.9A priority Critical patent/CN105812788A/zh
Publication of CN105812788A publication Critical patent/CN105812788A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Abstract

一种基于帧间运动振幅统计的视频稳定质量评价方法,包括以下步骤:首先,使用特征点检测和匹配进行运动估计,获取视频序列相邻帧之间的仿射变换矩阵;接着,根据相邻帧间的平移量和旋转量,获取视频的运动轨迹,计算运动轨迹的波峰和波谷阶段的振幅值;再将获取的振幅值与设定阈值进行比较,计算抖动比例、振幅均值以及振幅标准偏差;最后综合以上三个量,再基于分配的相应权值,得出具体的视频稳定度值。本发明与已有的方法相比,阈值确定有理论依据,能够更加客观公正而更有效地提高了视频稳定质量评价的主客观一致性,以及视频评估的稳定性,且具有计算效率高以及灵敏性高的特点。

Description

一种基于帧间运动振幅统计的视频稳定质量评价方法
技术领域
本发明涉及一种视频稳定质量评价方法,特别涉及一种基于帧间运动振幅统计的视频稳定质量评价方法,属于视频处理领域。
背景技术
在生活的各个领域中,摄像机等视频采集装置的应用十分普遍。但是,由于摄像载体大部分都不是静止的,采集到的视频数据不仅包括了载体的主动运动,同时也包含了载体的随机抖动。载体的随机抖动,往往导致所采集到的视频数据带有一定的抖动。抖动的视频不仅会影响视觉感知,也对视频的后续处理带来了诸多不便。
为了提高视频图像序列的感知质量,电子稳像技术已经研究了几十年,视频稳像技术日趋成熟。电子稳像技术目的是消除摄像设备的随机抖动对所拍摄图像的影响,获得稳定的视频输出。视频稳定质量评估有助于比较不同的电子稳像算法,从而对视频稳定算法进行改进,进一步发展视频稳定算法。
稳定视频的运动轨迹一般是平滑的,抖动视频的运动轨迹中一般会产生较多的波峰或者波谷。根据人眼视觉暂留原理,人眼可感受到视频中相邻三帧图像是否发生抖动。
视频稳定算法评估主要有主观评价方法和客观评价方法。主观评价方法充分遵循人眼的视觉特点,根据视觉效果的好坏对视频图像序列进行评估。主观评价方法能准确地评估视频稳定质量,但是需要花费大量的时间、精力。很多时候,主观评价方法经常作为客观评价方法的参照,验证客观评价方法的有效性。基于未对准的量(MattiNiskanen,OlliSilven,MariusTico.Videostabilizationperformanceassessmeent.ICME,405-408,2006)为代表的客观评估方法,对抖动的视频进行处理得到稳定的视频,根据抖动视频和稳定视频的相关参数,检测余下的非有意运动的抖动和散度程度,进行视频稳定质量的评估。基于运动轨迹和结构相似(HuiQu,LiSong,GengjianXue.Shakingvideosynthesisforvideostabilizationperformanceassessment.VCIP,1-6,2013)为代表的客观评估方法,通过从稳定的视频序列中合成抖动的视频序列,计算不同稳像算法对合成的抖动视频与稳定的视频路径之间的距离,进行视频稳定性能的评估。
在视频稳定性评估方面,经过资料检索,没有发现相关的公开的专利。
发明内容
本发明的目的是针对现有视频稳定质量评估中评估抖动视频的稳定程度较差的问题,提出一种基于帧间运动振幅统计的视频稳定质量评价方法。
本发明技术方案的思想是首先使用特征点检测和匹配进行运动估计,获取视频的运动轨迹;根据相邻帧间平移量、旋转量,计算运动轨迹的波峰和波谷阶段的振幅值;将获取的振幅值与设定阈值进行比较,计算抖动比例、振幅均值、振幅标准偏差;最后综合以上三个量,分配相应权值,据此对视频稳定质量进行评估。
本发明的具体步骤如下:
一种基于帧间运动振幅统计的视频稳定质量评价方法,包括以下步骤:
步骤一、计算仿射变换;
在视频相邻帧中提取特征点,进行特征点的匹配:基于尺度不变特征变换(ScaleInvariantFeatureTransform,SIFT),获取视频序列相邻两帧之间的仿射变换矩阵A用于后续求旋转量以及平移量:
A = a 0 a 1 a 2 a 3 a 4 a 5 0 0 1
其中a2和a5表示平移量,a0、a1、a3和a4共同表示缩放和旋转;
步骤二、根据步骤一计算出来的仿射变换矩阵A计算平移量和旋转量;
平移量的计算,主要是获取x方向和y方向的平移量;根据特征点几何中心的平移量对应于位移的变化量,我们可以获取相邻两帧之间x方向和y方向的平移量tx,ty;
根据仿射变换矩阵A,相邻两帧之间的旋转量θ为:
θ = a r c t a n ( a 3 a 0 ) ;
缩放量不影响视频是否稳定,因此不对缩放量进行分析计算;
步骤三、计算x方向平移量、y方向平移量以及旋转量三者的运动轨迹;
x方向平移量的运动轨迹为:
其中,txi是第i帧图像相对于第i-1帧图像的x方向平移量,N为视频总帧数,i是图像帧的序号;
y方向平移量运动轨迹为:
其中,tyi是第i帧图像相对于第i-1帧图像的y方向平移量,N为视频总帧数,i是图像帧的序号;
旋转量的运动轨迹为:
其中,θi是第i帧图像相对于第i-1帧图像的旋转量,N为视频总帧数,i是图像帧的序号;
步骤四、计算x方向平移量、y方向平移量以及旋转量三者的帧间运动的抖动振幅;
在相邻3个图像帧之间,引入抖动振幅Amp;
x方向平移量在第i-1、i、i+1帧之间的抖动振幅Amp(xi)为:
A m p ( x i ) = 1 2 | tx i - tx i + 1 | , tx i * tx i + 1 < 0 c x tx i * tx i + 1 &GreaterEqual; 0 ,
其中,cx为常数,txi如步骤三所述,是第i帧图像相对于第i-1帧图像的x方向平移量,txi+1是第i+1帧图像相对于第i帧图像的x方向平移量;当txi和txi+1的符号相异时,x方向平移量的运动轨迹会产生波峰或者波谷;
y方向平移量在第i-1、i、i+1帧之间的抖动振幅Amp(yi)为:
A m p ( y i ) = 1 2 | ty i - ty i + 1 | , ty i * ty i + 1 < 0 c ty i * ty i + 1 &GreaterEqual; 0 ,
其中,cy为常数,tyi如步骤三所述,是第i帧图像相对于第i-1帧图像的y方向平移量,tyi+1是第i+1帧图像相对于第i帧图像的y方向平移量;当tyi和tyi+1的符号相异时,y方向平移量的运动轨迹会产生波峰或者波谷;
旋转量在第i-1、i、i+1帧之间的抖动振幅Amp(θi)为:
A m p ( &theta; i ) = 1 2 | &theta; i - &theta; i + 1 | , &theta; i * &theta; i + 1 < 0 c &theta; &theta; i * &theta; i + 1 &GreaterEqual; 0 ,
其中,cθ为常数,θi为如步骤三所述,是第i帧图像相对于第i-1帧图像的旋转量,θi+1是第i+1帧图像相对于第i帧图像的旋转量;当θi和θi+1的符号相异时,旋转量的运动轨迹会产生波峰或者波谷;
步骤五、计算抖动比例、振幅均值和振幅标准偏差;
具体来讲,x方向运动轨迹的抖动比例rx为:
r x = M x N - 2 ,
其中,Mx为x方向运动轨迹的中的抖动次数,相邻三帧为一组,总帧数为N时的总组数为N-2组;
x方向运动轨迹的振幅均值μx_amp为:
&mu; x _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 A m p ( x i ) ,
将获取的振幅Amp(xi)与阈值进行比较,当振幅大于等于阈值时,抖动次数Mx加1;当振幅小于阈值时,维持抖动次数Mx值不变;
x方向运动轨迹的振幅标准偏差σx_amp为:
&sigma; x _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 ( A m p ( x i ) - &mu; x _ a m p ) 2 ,
y方向运动轨迹的抖动比例ry为:
r y = M y N - 2 ,
其中,My为y方向运动轨迹的中的抖动次数,与x方向类似,相邻三帧为一组,总帧数为N时的总组数为N-2组;y方向运动轨迹的振幅均值μy_amp为:
&mu; y _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 A m p ( y i ) ,
将获取的振幅Amp(yi)与阈值进行比较,当振幅大于等于阈值时,抖动次数My加1;当振幅小于阈值时,维持抖动次数My值不变;
y方向运动轨迹的振幅标准偏差σy_amp为:
&sigma; y _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 ( A m p ( y i ) - &mu; y _ a m p ) 2 ,
旋转量运动轨迹的抖动比例rθ为:
r &theta; = H &theta; N - 2 ,
其中,Mθ为旋转量运动轨迹的中的抖动次数,相邻三帧为一组,总帧数为N时的总组数为N-2组;θ方向运动轨迹的振幅均值μθ_amp为:
&mu; &theta; _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 A m p ( &theta; i ) ,
将获取的振幅Amp(θi)与阈值进行比较,当振幅大于等于阈值时,抖动次数Mθ加1;当振幅小于阈值时,维持抖动次数Mθ值不变;
θ方向运动轨迹的振幅标准偏差σθ_amp为:
&sigma; &theta; _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 ( A m p ( &theta; i ) - &mu; &theta; _ a m p ) 2 ,
其中,所述的阈值选取依据如下文献所述:
EliPeli,MiguelA.García-Pérez.Motionperceptionduringinvoluntaryeyevibration.ExperimentalBrainResearch,431-438,2003;
具体选取范围为大于0.1弧分,小于2弧分,针对静止以及动态的许多不同环境及场景时,此阈值会有所变换;
步骤六、计算视频稳定程度;
基于步骤五输出的运动轨迹的抖动比例、振幅均值、振幅标准偏差以及分配的相应权值,ω1、ω2和ω3,可以得到视频稳定程度d,如下:
d=ω1r+ω2μamp3σamp
其中,ω1、ω2和ω3三者之和为1,若具体到x方向、y方向以及θ方向分别为:其中,r可以具体的表达为x方向、y方向以及旋转量运动轨迹的抖动比例rx、ry和rθ;μamp可以具体的表达为x方向、y方向以及旋转量运动轨迹的振幅均值μx_amp、μy_amp和μθ_amp;σamp可以具体的表达为x方向、y方向以及旋转量运动轨迹的振幅标准偏差σx_amp、σy_amp和σθ_amp;对应分别得出x方向、y方向以及旋转量视频稳定程度dx、dy和dθ;d越小,视频越稳定;
至此,完成了本发明一种基于帧间运动振幅统计的视频稳定质量评价方法。
有益效果
本发明一种基于帧间运动振幅统计的视频稳定质量评价方法,具有如下有益效果:
1.传统方法基于未对准量的客观评估方法,阈值参数的选取缺乏理论依据,不能有效评估视频稳定质量,而本发明中阈值参数的选取具有理论依据,同时能有效评估视频的稳定质量,提高了视频稳定质量评估的主客观一致性;
2.基于运动轨迹和结构相似的客观评估方法,需要将稳定的视频合成抖动的视频,这种方法计算复杂度高,且只能用于视频稳定算法的评估,无法有效评估视频稳定质量;而本发明计算效率高,既可以有效评估视频稳定质量,又能评估视频稳定。
附图说明
图1是本发明一种基于帧间运动振幅统计的视频稳定质量评价方法的流程图。
具体实施方式
下面结合附图1对本发明方法的实施方式做详细说明。
实施例1
一种基于帧间运动振幅统计的视频稳定质量评价方法,具体步骤如发明主体中步骤一到步骤六所述。
其中,步骤一中在视频相邻帧中提取特征点,一般选用Harris角点或者SIFT特征点(D.G.Lowe.Objectrecognitionfromlocalscale-invariantfeatures.InProc.ICCV,pages1150–1157,1999),提取特征点描述子,特征点描述子匹配,匹配点筛选,计算相邻帧之间的仿射变换,也可以采用光流法等方法获取相邻帧之间的仿射变换;
为了方便分析,我们使用四个参数的相似变换表示矩阵A:
A = a b d x - b a d y 0 0 1
其中a,b与缩放和旋转相关,dx和dy分别是x和y方向的平移量;
视频采集设备采集视频时,某一时刻的缩放比例和旋转量在x方向和y方向是一致的,因此可以进一步的表示仿射变换A:
A = s &CenterDot; cos &theta; s &CenterDot; sin &theta; d x - s &CenterDot; sin &theta; s &CenterDot; cos &theta; d y 0 0 1 ,
其中s是缩放系数,θ是旋转量,且仿射矩阵中的a和b分别可以表达为s·cosθ和s·sinθ,其中·表示乘积;因为缩放不影响视频的稳定,因此只需要算出θ的值就可以,不需要计算出具体的缩放系数s;dx和dy分别是x和y方向的平移量。
本发明及实施例中,步骤五中的阈值选取范围为大于0.1弧分,小于2弧分,针对静止以及动态的许多不同环境及场景时,此阈值会有所变换;优选的阈值值选取为:
人静止看视频时的阈值:1弧分;当人走来走去看视频时的阈值:2弧分;
步骤六中,具体来讲,视频采集设备的有意运动一般是在x和y方向的平移移动,旋转则多数是由抖动引起的;
对于x方向平移量的运动轨迹可得出x方向视频稳定程度dx为:
d x = &omega; 1 x r x + &omega; 2 x &mu; x _ a m p + &omega; 3 x &sigma; x _ a m p ,
其中,rx、μx_amp、σx_amp分别为说明书主体中步骤六所述的x方向平移量运动轨迹的抖动比例、振幅均值和振幅标准偏差;
对于y方向平移量的运动轨迹可得出y方向视频稳定程度dy为:
d y = &omega; 1 y r y + &omega; 2 y &mu; y _ a m p + &omega; 3 y &sigma; y _ a m p ,
其中,ry、μy_amp、σy_amp分别为y方向平移量运动轨迹的抖动比例、振幅均值和振幅标准偏差;
对于旋转量的运动轨迹,可得出旋转视频稳定程度dθ为:
d &theta; = &omega; 1 &theta; r &theta; + &omega; 2 &theta; &mu; &theta; _ a m p + &omega; 3 &theta; &sigma; &theta; _ a m p ,
其中,rθ、μθ_amp、σθ_amp分别为旋转量运动轨迹的抖动比例、振幅均值、振幅标准偏差,其中,ω1、ω2、ω3分别为x方向、y方向以及θ方向的抖动比例、振幅均值、振幅标准偏差的比例权重,且以及三者之和均为1;
综合上述x方向视频稳定程度dx、y方向视频稳定程度dy以及旋转视频稳定程度dθ,可以得出视频稳定程度d为:
d=ωθdθxdxydy
ωθ、ωx、ωy分别为旋转量视频稳定度、x方向视频稳定程度以及y方向视频稳定程度的比例权重,且三者之和为1;优选的,旋转量视频稳定度ωθ、所占的比例权重大,一般大于50%,小于90%;x方向视频稳定程度ωx以及y方向视频稳定程度ωy的比例权重所占比重低,一般大于5%,小于25%;
可以看出,d越小,视频越稳定;若d的值为0时,表示视频是完全稳定的,感受不到抖动。
实施例2
本实施例2通过客观计算视频采集装置捕获到的四类视频的稳定程度,验证本发明的有效性。四类视频分别为:完全稳定的视频,轻微抖动的视频,一般抖动的视频,剧烈抖动的视频,分别记为视频1、视频2、视频3、视频4。其中,对于视频1、视频2、视频3、视频4的主观感受,它们的稳定程度依次降低;
本实施例2中旋转量阈值为1弧分,1/60度,即选取人静止看视频时的阈值;平移量的阈值为0.5像素,常数c为0.01,ω1、ω2、ω3的值分别为0.6、0.2、0.2。实施例2中选取的视频序列平均为300帧,对于不同类别的视频,计算结果如表1所示:
表1本实例不同视频稳定程度
基于未对准的量的客观评估方法中,通过计算视频的抖动程度,进行视频稳定程度的比较,计算结果如表2所示:
表2MattiNiskanen不同视频稳定程度
表1和表2中值越小说明视频越稳定。根据表1,本实例客观计算结果与主观结果一致,能准确评估不同类别视频的稳定程度。而根据表2,MattiNiskanen等人提出的方法只能区别出抖动视频和稳定视频,对于不同类别抖动视频的稳定程度则不能准确评估。
根据表1,本实例能够直观的得出视频在x方向平移量、y方向平移量以及旋转量三者之间的稳定程度,对于不同视频,既可以评估整体的稳定程度,又可以评估在各个分量上的稳定程度。根据表2,不能直观的得出视频的稳定程度。
视频稳定程度可以进一步用来评估视频稳定算法。经视频稳定算法处理后的视频,视频稳定程度值越小,说明视频稳定算法的稳定效果越好。
为了说明本发明的内容及实施方法,本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围,而是帮助理解本发明所述方法。本领域的技术人员应理解:在不脱离本发明及其所附权利要求的精神和范围内,对最佳实施例步骤的各种修改、变化或替换都是可能的。因此,本发明不应局限于最佳实施例及附图所公开的内容。

Claims (8)

1.一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征在于:
包括以下步骤:
步骤一、计算仿射变换;
步骤二、根据步骤一计算出来的仿射变换矩阵A计算平移量和旋转量;
步骤三、计算x方向平移量、y方向平移量以及旋转量三者的运动轨迹;
步骤四、计算x方向平移量、y方向平移量以及旋转量三者的帧间运动的抖动振幅;
步骤五、计算抖动比例、振幅均值和振幅标准偏差;
步骤六、基于步骤五输出的运动轨迹的抖动比例、振幅均值、振幅标准偏差以及分配的相应权值,计算视频稳定程度;
至此,从步骤一到步骤六完成了本发明一种基于帧间运动振幅统计的视频稳定质量评价方法。
2.如权利要求1所述的一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征还在于:
步骤一的仿射变换矩阵功能为在视频相邻帧中提取特征点,进行特征点的匹配,具体基于尺度不变特征变换(ScaleInvariantFeatureTransform,SIFT),获取视频序列相邻两帧之间的仿射变换矩阵A用于后续求旋转量以及平移量;
A = a 0 a 1 a 2 a 3 a 4 a 5 0 0 1
其中,a2和a5表示平移量,a0、a1、a3和a4共同表示缩放和旋转。
3.如权利要求1所述的一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征还在于:
步骤二中的平移量计算,主要是获取x方向和y方向的平移量;根据特征点几何中心的平移量对应于位移的变化量,我们可以获取相邻两帧之间x方向和y方向的平移量tx和ty;
根据仿射变换矩阵A,相邻两帧之间的旋转量θ为:
&theta; = arctan ( a 3 a 0 ) ;
缩放量不影响视频是否稳定,因此不对缩放量进行分析计算。
4.如权利要求1所述的一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征还在于:
步骤三中x方向平移量的运动轨迹为:
其中,txi是第i帧图像相对于第i-1帧图像的x方向平移量,N为视频总帧数,i是图像帧的序号;
y方向平移量运动轨迹为:
其中,tyi是第i帧图像相对于第i-1帧图像的y方向平移量,N为视频总帧数,i是图像帧的序号;
旋转量的运动轨迹为:
其中,θi是第i帧图像相对于第i-1帧图像的旋转量,N为视频总帧数,i是图像帧的序号。
5.如权利要求1所述的一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征还在于:
步骤四中,在相邻3个图像帧之间,引入抖动振幅Amp;
首先,x方向平移量在第i-1、i、i+1帧之间的抖动振幅Amp(xi)为:
A m p ( x i ) = 1 2 | tx i - tx i + 1 | , tx i * tx i + 1 < 0 c x tx i * tx i + 1 &GreaterEqual; 0 ,
其中,cx为常数,txi如步骤三所述,是第i帧图像相对于第i-1帧图像的x方向平移量,txi+1是第i+1帧图像相对于第i帧图像的x方向平移量;当txi和txi+1的符号相异时,x方向平移量的运动轨迹会产生波峰或者波谷;
其次,y方向平移量在第i-1、i、i+1帧之间的抖动振幅Amp(yi)为:
A m p ( y i ) = 1 2 | ty i - ty i + 1 | , ty i * ty i + 1 < 0 c ty i * ty i + 1 &GreaterEqual; 0 ,
其中,cy为常数,tyi如步骤三所述,是第i帧图像相对于第i-1帧图像的y方向平移量,tyi+1是第i+1帧图像相对于第i帧图像的y方向平移量;当tyi和tyi+1的符号相异时,y方向平移量的运动轨迹会产生波峰或者波谷;
第三,旋转量在第i-1、i、i+1帧之间的抖动振幅Amp(θi)为:
A m p ( &theta; i ) = 1 2 | &theta; i - &theta; i + 1 | , &theta; i * &theta; i + 1 < 0 c &theta; &theta; i * &theta; i + 1 &GreaterEqual; 0 ,
其中,cθ为常数,θi为如步骤三所述,是第i帧图像相对于第i-1帧图像的旋转量,θi+1是第i+1帧图像相对于第i帧图像的旋转量;当θi和θi+1的符号相异时,旋转量的运动轨迹会产生波峰或者波谷。
6.如权利要求1所述的一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征还在于:
步骤五的阈值依据如下文献所述:
EliPeli,MiguelA.García-Pérez.Motionperceptionduringinvoluntaryeyevibration.ExperimentalBrainResearch,431-438,2003;具体选取范围为大于0.1弧分,小于2弧分,针对静止以及动态的许多不同环境及场景时,此阈值会有所变换。
7.如权利要求1所述的一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征还在于:
步骤五中的计算抖动比例、振幅均值和振幅标准偏差;
具体来讲,x方向运动轨迹的抖动比例rx为:
其中,Mx为x方向运动轨迹的中的抖动次数,相邻三帧为一组,总帧数为N时的总组数为N-2组;
x方向运动轨迹的振幅均值μx_amp为:
将获取的振幅Amp(xi)与阈值进行比较,当振幅大于等于阈值时,抖动次数Mx加1;当振幅小于阈值时,维持抖动次数Mx值不变;
x方向运动轨迹的振幅标准偏差σx_amp为:
&sigma; x _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 ( A m p ( x i ) - &mu; x _ a m p ) 2 ,
y方向运动轨迹的抖动比例ry为:
其中,My为y方向运动轨迹的中的抖动次数,与x方向类似,相邻三帧为一组,总帧数为N时的总组数为N-2组;y方向运动轨迹的振幅均值μy_amp为:
&mu; y _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 A m p ( y i ) ,
将获取的振幅Amp(yi)与阈值进行比较,当振幅大于等于阈值时,抖动次数My加1;当振幅小于阈值时,维持抖动次数My值不变;
y方向运动轨迹的振幅标准偏差σy_amp为:
&sigma; y _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 ( A m p ( y i ) - &mu; y _ a m p ) 2 ,
旋转量运动轨迹的抖动比例rθ为:
r &theta; = M &theta; N - 2 ,
其中,Mθ为旋转量运动轨迹的中的抖动次数,相邻三帧为一组,总帧数为N时的总组数为N-2组;θ方向运动轨迹的振幅均值μθ_amp为:
&mu; &theta; _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 A m p ( &theta; i ) ,
将获取的振幅Amp(θi)与阈值进行比较,当振幅大于等于阈值时,抖动次数Mθ加1;当振幅小于阈值时,维持抖动次数Mθ值不变;
θ方向运动轨迹的振幅标准偏差σθ_amp为:
&sigma; &theta; _ a m p = 1 N - 2 &Sigma; i = 2 N - 1 ( A m p ( &theta; i ) - &mu; &theta; _ a m p ) 2 .
8.如权利要求1所述的一种基于帧间运动振幅统计的视频稳定质量评价方法,其特征还在于:
步骤六中采用步骤五输出的运动轨迹的抖动比例、振幅均值、振幅标准偏差以及分配的相应权值,计算视频稳定程度d为:
d=ω1r+ω2μamp3σamp
其中,ω1、ω2和ω3三者之和为1,若具体到x方向、y方向以及θ方向分别为:其中,r可以具体的表达为x方向、y方向以及旋转量运动轨迹的抖动比例rx、ry和rθ;μamp可以具体的表达为x方向、y方向以及旋转量运动轨迹的振幅均值μx_amp、μy_amp和μθ_amp;σamp可以具体的表达为x方向、y方向以及旋转量运动轨迹的振幅标准偏差σx_amp、σy_amp和σθ_amp;对应分别得出x方向、y方向以及旋转量视频稳定程度dx、dy和dθ
可以看出,d越小,视频越稳定;若d的值为0时,表示视频是完全稳定的,感受不到抖动。
CN201610173773.9A 2016-03-24 2016-03-24 一种基于帧间运动振幅统计的视频稳定质量评价方法 Pending CN105812788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610173773.9A CN105812788A (zh) 2016-03-24 2016-03-24 一种基于帧间运动振幅统计的视频稳定质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610173773.9A CN105812788A (zh) 2016-03-24 2016-03-24 一种基于帧间运动振幅统计的视频稳定质量评价方法

Publications (1)

Publication Number Publication Date
CN105812788A true CN105812788A (zh) 2016-07-27

Family

ID=56454905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610173773.9A Pending CN105812788A (zh) 2016-03-24 2016-03-24 一种基于帧间运动振幅统计的视频稳定质量评价方法

Country Status (1)

Country Link
CN (1) CN105812788A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法
CN107071421A (zh) * 2017-05-23 2017-08-18 北京理工大学 一种结合视频稳定的视频编码方法
CN108010059A (zh) * 2017-12-05 2018-05-08 北京小米移动软件有限公司 电子防抖算法的性能分析方法及装置
CN108492287A (zh) * 2018-03-14 2018-09-04 罗普特(厦门)科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN108900864A (zh) * 2018-07-23 2018-11-27 西安电子科技大学 基于运动轨迹的全参考视频质量评价方法
CN110062222A (zh) * 2019-03-15 2019-07-26 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN112887708A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 视频抖动检测方法和装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101511024A (zh) * 2009-04-01 2009-08-19 北京航空航天大学 实时电子稳像中基于运动状态识别的运动补偿方法
KR20130065223A (ko) * 2011-12-09 2013-06-19 삼성전기주식회사 손떨림 보정용 카메라 모듈의 해상도 평가 방법
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101511024A (zh) * 2009-04-01 2009-08-19 北京航空航天大学 实时电子稳像中基于运动状态识别的运动补偿方法
KR20130065223A (ko) * 2011-12-09 2013-06-19 삼성전기주식회사 손떨림 보정용 카메라 모듈의 해상도 평가 방법
CN103700069A (zh) * 2013-12-11 2014-04-02 武汉工程大学 一种基于orb算子的无参考视频平滑度的评价方法
CN104135597A (zh) * 2014-07-04 2014-11-05 上海交通大学 一种视频抖动自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔玉柱等: "基于光流计算模型的智能电子稳像研究", 《仪器仪表学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法
CN107071421B (zh) * 2017-05-23 2019-11-22 北京理工大学 一种结合视频稳定的视频编码方法
CN107071421A (zh) * 2017-05-23 2017-08-18 北京理工大学 一种结合视频稳定的视频编码方法
CN108010059A (zh) * 2017-12-05 2018-05-08 北京小米移动软件有限公司 电子防抖算法的性能分析方法及装置
CN108010059B (zh) * 2017-12-05 2022-01-25 北京小米移动软件有限公司 电子防抖算法的性能分析方法及装置
CN108492287A (zh) * 2018-03-14 2018-09-04 罗普特(厦门)科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN108492287B (zh) * 2018-03-14 2020-06-02 罗普特(厦门)科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN108900864B (zh) * 2018-07-23 2019-12-10 西安电子科技大学 基于运动轨迹的全参考视频质量评价方法
CN108900864A (zh) * 2018-07-23 2018-11-27 西安电子科技大学 基于运动轨迹的全参考视频质量评价方法
CN110062222A (zh) * 2019-03-15 2019-07-26 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
WO2020187065A1 (zh) * 2019-03-15 2020-09-24 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN110062222B (zh) * 2019-03-15 2021-06-29 华为技术有限公司 一种视频的评价方法、终端、服务器及相关产品
CN112887708A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 视频抖动检测方法和装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105812788A (zh) 一种基于帧间运动振幅统计的视频稳定质量评价方法
Jiang et al. Single image super-resolution quality assessment: a real-world dataset, subjective studies, and an objective metric
Xu et al. Fast feature-based video stabilization without accumulative global motion estimation
Wu et al. Quality assessment for video with degradation along salient trajectories
KR20150132846A (ko) 비디오 안정화를 위한 캐스케이드 카메라 모션 추정, 롤링 셔터 검출 및 카메라 흔들림 검출
Zheng et al. Segmented spherical projection-based blind omnidirectional image quality assessment
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN108230367A (zh) 一种对灰度视频中既定目标的快速跟踪定位方法
Xiao et al. Blind video denoising via texture-aware noise estimation
CN103200421A (zh) 一种基于Curvelet变换和相位一致的无参考图像质量评价方法
Gu et al. Structural similarity weighting for image quality assessment
WO2016031573A1 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN107046640B (zh) 一种基于帧间运动光滑性的无参考视频稳定质量评价方法
US11488288B1 (en) Method and apparatus for processing blurred image
CN103489201B (zh) 基于运动模糊信息的目标跟踪方法
Fu et al. Screen content image quality assessment using Euclidean distance
CN106651918B (zh) 抖动背景下的前景提取方法
Bai et al. Characterizing distortions in first-person videos
TWI638337B (zh) 影像合成方法及其影像合成裝置
Zhang et al. A video deblurring algorithm based on motion vector and an encorder-decoder network
CN105163046A (zh) 一种基于网格吸点非参数化运动模型的视频防抖方法
Roberto e Souza et al. Motion energy image for evaluation of video stabilization
Jacobson et al. Video processing with scale-aware saliency: application to frame rate up-conversion
CN109685839B (zh) 图像对齐方法、移动终端以及计算机存储介质
Bright et al. Mitigating Motion Blur for Robust 3D Baseball Player Pose Modeling for Pitch Analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160727