CN102572502A - 一种用于视频质量评价的关键帧的选取方法 - Google Patents

一种用于视频质量评价的关键帧的选取方法 Download PDF

Info

Publication number
CN102572502A
CN102572502A CN2010106091190A CN201010609119A CN102572502A CN 102572502 A CN102572502 A CN 102572502A CN 2010106091190 A CN2010106091190 A CN 2010106091190A CN 201010609119 A CN201010609119 A CN 201010609119A CN 102572502 A CN102572502 A CN 102572502A
Authority
CN
China
Prior art keywords
frame
image block
severe
key frame
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010106091190A
Other languages
English (en)
Other versions
CN102572502B (zh
Inventor
杜海清
刘勇
许克辉
胡文
李湘平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING ORIENT SOFT Corp
Beijing University of Posts and Telecommunications
Original Assignee
BEIJING ORIENT SOFT Corp
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ORIENT SOFT Corp, Beijing University of Posts and Telecommunications filed Critical BEIJING ORIENT SOFT Corp
Priority to CN201010609119.0A priority Critical patent/CN102572502B/zh
Publication of CN102572502A publication Critical patent/CN102572502A/zh
Application granted granted Critical
Publication of CN102572502B publication Critical patent/CN102572502B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于视频质量评价的关键帧的选取方法,该方法是先用平均绝对差MAD方法描述每帧视频图像中的各个图像块的运动剧烈程度,然后采用基于人眼视觉兴趣的权重因子对每个图像块的运动剧烈程度加权,计算每帧图像的总体运动剧烈程度,并根据设定的判断条件确定关键帧。本发明解决了现有技术的缺陷,显著降低了对视频进行逐帧评价的运算复杂度,使其能应用于实际视频质量评价。还考虑人眼视觉兴趣,将其作为加权因子计算图像运动剧烈程度,使选取的关键帧能更准确反映实际视频质量,符合人的主观欣赏感受;而且,本发明方法操作步骤简单、方便,易于集成,在视频质量评价应用中具有较好的推广价值。

Description

一种用于视频质量评价的关键帧的选取方法
技术领域
本发明涉及一种选取视频图像关键帧的方法,确切地说,涉及一种用于视频质量评价的、基于视频运动特征和人眼视觉兴趣的关键帧的选取方法,属于多媒体通信的技术领域。
背景技术
多媒体通信领域中,视频图像信息处理技术始终是研究的重点。在实际应用中,视频图像的质量好坏是评价多媒体通信系统的一项不可或缺的重要指标。随着多媒体业务的快速发展,如何正确、有效地评价视频图像的质量已经成为一个研究热点。现有的视频质量评价方法往往是选取单帧图像评价质量的平均值作为评价结果,这种方法的缺点是没有考虑视频图像中的运动信息的影响,不能与人的实际主观观察到的图像质量实现很好的吻合。
目前,业界更倾向于选择关键帧来评价视频图像序列质量,这样,既降低了对视频进行逐帧评价的运算复杂度,还能够较好地保证视频质量评价的准确度。所谓关键帧是在每个场景视频中具有代表性和能够反映这个镜头内容梗概的图像,关键帧能够有效表示视频节目的主题与内容及其共同特征。如何选取关键帧是基于内容的视频检索、视频传输、乃至视频编码等技术领域急需解决的重要问题之一,也是多媒体通信领域研究的一个热点。
近年来,随着关键帧的检测与选取技术的发展,已形成了多种方法,例如:
基于运动分析选取关键帧:该方法通过光流分析计算镜头中的对象运动能量,在该对象的运动能量局部最小处选取关键帧。
基于内容分析选取关键帧:该方法原来是利用视频中每帧图像的颜色、纹理等视觉信息的改变来选取关键帧,现在是针对序列中的运动物体选取关键帧。
基于聚类选取关键帧:该方法是对所有图像进行聚类后,选取各类中离聚类中心距离最小的图像作为关键帧。
但在实际评价视频质量时,往往基于数据量应尽可能少和计算不宜太复杂的考虑,因此,事实上,真正能够使用选取关键帧的方法还是下述两种方法。
1、按照时间间隔平均抽取关键帧:该方法在抽取设定比例的关键帧时,仅仅计算两个关键帧之间的图像间隔平均数,然后就以该设定的图像间隔或时间间隔的平均数抽取相应图像作为关键帧。该方法操作简单,但是,它没有考虑实际场景中的内容变化,也就无法准确反映影响视频质量的关键信息,因此,无法与人的主观感受相匹配。因此,在视频质量评价应用中不推荐使用该方法。
2、基于视频压缩域选取关键帧:该方法直接根据视频编码数据流中的离散余弦变换的直流系数和位移矢量MV(Motion Vector)来选取关键帧。
很多视频编码技术标准(如H.264、MPEG-4等)都采用了运动预测与补偿技术。运动预测与补偿技术是在上一帧图像中搜索与当前帧的图像块最匹配的图像块位置,然后用运动矢量描述这两个图像块之间的偏移。因此,运动矢量的模用于描述当前图像块的活动性强度,第k帧中的第(i,j)个图像块的运动矢量(dxk,dyk)活动性强度计算公式为:
Figure BSA00000400866500021
式中,自然数k、i、j分别是帧的序号和图像块在帧中的横坐标与纵坐标。相应地,每幅图像帧的活动性强度是其全部图像块活动性强度的平均值,故每幅图像帧的活动性强度的计算公式为:
Figure BSA00000400866500022
式中,NMB是该帧图像中的图像块数量。
由于每个图像块的前后运动矢量中都蕴含了大量的帧间差信息,利用这些帧间差信息,再配合一些辅助参数,就可以比较准确地获知当前帧与其相邻帧的相似度,从而实现对压缩域的视频关键帧的快速选取。例如,某视频序列在其MVk(k=1,…,N)曲线上共选择有6个拐点(参见图1所示),选取相应位置的6个关键帧就能够近似反映整个视频序列的相关内容。
由上述分析可知,第二种基于视频压缩域选取关键帧方法的基础是比较精确的运动估计算法,该方法能够较准确地选取反映视频图像与内容的关键帧,但是,缺点是其独立性差、运算复杂度较高。
此外,在视频质量动态性指标的研究中,文献《Motion Activity Based WirelessVideo Quality Perceptual Metric[C]》(刊于2001 International Symposium onIntelligent Multimedia,Video and Speech Processing,2001)提出相邻两帧图像的平均绝对差MAD(mean absolute difference)方法。中国专利申请(公布号CN1359235A)也公开了类似方法,其思路都是令Lk(m,n)表示第k帧中像素点(m,n)的亮度值,Np表示图像块(i,j)的像素值,则该帧图像块(i,j)的运动性信息计算公式为: MA k ( i , j ) = 1 + ( 1 255 · N p Σ ( m , n ∈ block ( i , j ) ) | L k ( m , n ) - L k - 1 ( m , n ) | ) ,
MA k ( i , j ) = EXP ( 1 255 · N p Σ ( m , n ∈ block ( i , j ) ) | L k ( m , n ) - L k - 1 ( m , n ) | ) .
可见,MAD方法相对独立,操作简单、直观,可操作性强,但是这两个方法均没有考虑人眼的主观观察特点,造成精确度不够,第二个方法还存在运算复杂度略高的问题。
总之,现有的上述各种关键帧的选取方法,有的计算简单,但不能与实际场景的变化相匹配;有的效果较好,但是运算复杂度高,无法实际应用。因此,如何研制一种操作与计算比较简单、效果又好的选取关键帧的方法,就成为业内科技人员关注的焦点。
发明内容
有鉴于此,本发明的目的是提供一种能够较好地解决现有技术的缺陷、更好地反映实际视频质量的用于视频质量评价的关键帧的选取方法,该方法是对MAD方法的改进,既描述了视频运动的剧烈程度,同时考虑了人眼的视觉兴趣,并据此确定关键帧的选取条件,从而准确选取关键帧,并对整个视频序列质量评价起着决定性作用。此外,该方法的操作步骤简单、方便,且易于集成,在视频质量评价应用中具有较好的推广价值。
为了达到上述目的,本发明提供了一种用于视频质量评价的关键帧的选取方法,其特征在于:先采用平均绝对差MAD(mean absolute difference)方法描述每帧视频图像中的各个图像块的运动剧烈程度,然后采用基于人眼视觉兴趣的权重因子对每个图像块的运动剧烈程度加权,计算每帧图像的总体运动剧烈程度,并根据设定的判断条件确定关键帧;所述方法包括下列操作步骤:
(1)输入视频序列,将其转化为统一的欧洲电视系统的颜色编码YUV视频格式,然后顺序选取当前帧和前一帧图像的亮度信号数据并存储;
(2)对帧中的图像进行分块,计算当前帧中的各个图像块的运动剧烈程度;
(3)定义每个图像块的运动剧烈程度的权重因子li,j,以便将人眼视觉兴趣因素引入关键帧的计算过程,式中,自然数i和j分别是图像块在帧中的横坐标与纵坐标;
(4)按照对帧中的每个图像块的运动剧烈程度加权求和方法的下述公式计算每帧图像的总体运动剧烈程度:
Figure BSA00000400866500041
式中,自然数k是帧的序号;
(5)选取关键帧:因为视频图像中的运动变化都需要一定时间,且往往会在持续几帧图像中体现其实现过程,因此,将每帧图像的总体运动剧烈程度与分别位于其前、后设定数量的多帧图像的总体运动剧烈程度进行比较,从中选取总体运动剧烈程度相对最大或最小的一帧图像作为关键帧。
所述步骤(1)中的统一视频格式为欧洲电视系统采用的颜色编码YUV格式,该格式包括亮度信号Y和色度信号U与V,为PAL和SECAM模拟彩色电视制式采用的颜色空间。
所述步骤(2)中,所述当前帧中各图像块的运动剧烈程度数值是:当前帧的图像块与前一帧的相同位置图像块之间的亮度值差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商;因此,每帧中的各个图像块的运动剧烈程度的计算公式为:
Figure BSA00000400866500042
式中,M、N、Mp和Np皆为自然数,M与N分别是每帧图像的宽度与高度的像素值,Mp、Np分别是分块后的图像块的宽度与高度的像素值,且M和N分别为Mp和Np的整数倍,Mp×Np则为图像块的总像素值,fk(m,n)和fk-1(m,n)分别为步骤(1)读取的第k帧和第(k-1)帧中坐标为(m,n)的像素点的亮度值;i、j最大值分别为
Figure BSA00000400866500051
Figure BSA00000400866500052
所述步骤(2)计算当前帧中的各个图像块的运动剧烈程度时,因为运动剧烈程度是反映视频图像时域特征的相对数值,故视频起始播放时刻的首帧图像、即k=1时的帧图像没有相对的运动剧烈程度数值;然而,基于首帧的重要性,将第2帧图像的运动剧烈程度数值赋予首帧,并默认首帧图像为关键帧,参与视频质量评价计算。
因人眼视觉系统在观察图像或视频时,对中间区域内容的敏感度和运动剧烈程度的感觉要高于四周区域,故设定每个图像块运动剧烈程度权重因子li,j的数值大小与该图像块距离图像中心的距离呈反比:越靠近中心,权重因子li,j越大。
所述步骤(3)中的图像块运动剧烈程度权重因子li,j的计算过程如下:
先定义每帧图像中心的坐标为
Figure BSA00000400866500053
然后按照下述不同情况,采用不同计算公式分别计算位于不同位置的每个图像块的运动剧烈程度的权重因子li,j
i ≠ M 2 M p j ≠ N 2 N p 时, l i , j = 1 | i - M 2 M p | · 1 | j - N 2 N p | ;
i = M 2 M p , j ≠ N 2 N p 时, l i , j = 1 | j - N 2 N p | ;
i ≠ M 2 M p , j = N 2 N p 时, l i , j = 1 | i - M 2 M p | ;
Figure BSA00000400866500061
Figure BSA00000400866500062
时,该图像块位于帧图像中心,因无法采用上述三式计算以及人眼不能完全分辨如此小的图像块,故认为其与周边图像块的权重大小近似相等,定义为1,即li,j=1。
所述步骤(5)中,将每帧图像的总体运动剧烈程度与分别位于其前、后设定数量α的多帧图像的总体运动剧烈程度进行比较的设定数量α的选择区间是[2,5]。
所述步骤(5)进一步包括下列操作:为避免所选取的关键帧为相邻帧图像而不符合关键帧的选取本意,故要对已被选择的关键帧进行筛选:
如果第k帧图像与位于其前、后设定数量α的帧图像分别比较后,已被判别为关键帧,同时第(k-1)帧不是关键帧,则此时可以选择第k帧为关键帧;
即筛选确定关键帧的计算公式是要同时满足下述A与B两个计算公式:
A,若第k帧的总体运动剧烈程度MAk满足下述两式之一:
(MAk>MAq),其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α或
(MAk<MAq),其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α;
B,关键帧序号应满足下式:keyframe[l-1]≠k-1,式中,l为关键帧的帧序号,且第(k-1)帧不是关键帧;
此时,将第k帧图像定义为关键帧,即keyframe[l]=k,并单独存储其帧号和图像数据。
本发明是用于视频质量评价的关键帧的选取方法,该方法基于人眼视觉兴趣对每帧图像的运动剧烈程度进行加权计算,再以此为依据判断和选取关键帧。
本发明方法较好地解决了现有技术的下述缺陷:首先解决了现有技术运算复杂度较高问题,与目前的基于视频压缩域的关键帧选取等方法相比较,本发明显著降低了运算复杂度,使得其能够应用于实际视频质量评价。其次,再与按时间平均抽取关键帧或MAD等方法相比较,本发明考虑了人眼视觉兴趣,将其作为加权因子计算图像运动剧烈程度,使关键帧的选取能够更准确地反映实际视频质量,符合人眼的主观欣赏感受。如果采用本发明方法选择的关键帧来评价图像质量,不仅显著降低对视频进行逐帧评价的运算复杂度,还可以保证质量评价准确性的可信度。此外,本发明方法的操作步骤简单、方便,易于集成,在视频质量评价应用中具有较好的推广价值。
附图说明
图1是用MV曲线拐点选取关键帧的示意图。
图2是本发明视频质量评价中关键帧的选取方法操作流程方框图。
图3是本发明一实施例视频中的运动剧烈程度曲线及其拐点示意图。
图4分别是图3的本发明实施例视频中选取的各个关键帧图像的示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
本发明是一种用于视频质量评价的关键帧的选取方法,它是先采用平均绝对差MAD(mean absolute difference)方法描述每帧视频图像中的各个图像块的运动剧烈程度,然后采用基于人眼视觉兴趣的权重因子对每个图像块的运动剧烈程度加权,计算每帧图像的总体运动剧烈程度,并根据设定的判断条件确定关键帧。
参见图2,具体介绍本发明方法的下列操作步骤:
步骤1,输入Foreman视频序列(帧数共有250帧),该视频分辨率为常用的标准化图像格式CIF(Common Intermediate Format,在H.323协议簇中,规定了视频采集设备的标准采集分辨率的大小为352×288像素),将其转化为统一的欧洲电视系统的颜色编码YUV视频格式(该格式包括亮度信号Y和色度信号U与V,为PAL和SECAM模拟彩色电视制式采用的颜色空间),然后依次读取该视频序列的当前帧和前一帧的亮度值分量数据并存储,每一帧的图像矩阵大小为352×288。
步骤2,按照每个图像块的宽度和高度像素值均为8对帧中的图像进行分块,计算当前帧中的各个图像块的运动剧烈程度数值:当前帧的图像块与前一帧的相同位置图像块之间的亮度值差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商;即每帧中的各个图像块的运动剧烈程度的计算公式为:
式中,k、i和j皆为自然数,k为帧的序号;i、j分别是图像块的横坐标与纵坐标,且其最大值分别为44和36。每帧图像的宽度与高度的像素值分别为352和288,每个图像块的宽度与高度的像素值都为8,每个图像块的总像素值为64。
在该步骤计算当前帧中的各个图像块的运动剧烈程度时,因为运动剧烈程度是反映视频图像时域特征的相对数值,故视频起始播放时刻的首帧图像、即k=1时的帧图像没有相对的运动剧烈程度数值;然而,基于首帧的重要性,将第2帧图像的运动剧烈程度数值赋予首帧,并默认首帧图像为关键帧,参与视频质量评价计算。
步骤3,定义每个图像块的运动剧烈程度的权重因子li,j,以便将人眼视觉兴趣因素引入关键帧的计算过程,式中,i、j为图像块在帧中的横坐标与纵坐标。
相关研究表明,人眼视觉系统在观察图像或视频时,对中间区域内容的敏感度和运动剧烈程度的感觉要高于四周区域,故设定每个图像块运动剧烈程度权重因子li,j的数值大小与该图像块距离图像中心的距离呈反比:越靠近中心,权重因子li,j越大。
该步骤中的图像块运动剧烈程度权重因子li,j的计算过程如下:
先定义每帧图像中心坐标为(22,18),然后按照下述不同情况,采用不同计算公式分别计算位于不同位置的每个图像块的运动剧烈程度的权重因子li,j
当i≠22且j≠18时, l i , j = 1 | i - 22 | × 1 | j - 18 | ;
当i=22且j≠18时, l i , j = 1 | j - 18 | ;
当i≠22且j=18时, l i , j = 1 | i - 22 | ;
当i=22且j=18时,该图像块位于帧图像中心,因无法采用上述三式计算以及人眼不能完全分辨如此小的图像块,故认为其与周边图像块的权重大小近似相等,定义为1,即li,j=1。
步骤4,按照对帧中的每个图像块的运动剧烈程度加权求和方法的下述公式计算每帧图像的总体运动剧烈程度:
Figure BSA00000400866500093
步骤5,选取关键帧:因为每个图像中的运动变化都需要一定时间,且往往会在持续几帧图像中体现其实现过程,因此,将每帧图像的总体运动剧烈程度与分别位于其前、后设定数量α的多帧图像的总体运动剧烈程度进行比较,从中选取总体运动剧烈程度相对最大或最小的一帧图像作为关键帧。这里的设定数量α为2。
为了避免选取的关键帧为相邻的帧图像,与人们选取关键帧的本意不相符合,故要对已经选择的关键帧进行判断:如果第k帧图像与位于其前、后各2帧图像分别比较后,已被判别为一个关键帧,同时第(k-1)帧不是关键帧,则此时可以选择第k帧为关键帧;
即筛选确定关键帧的计算公式是要同时满足下述A与B两个计算公式:
A,若第k帧的总体运动剧烈程度MAk满足下述两式之一:
(MAk>MAq),其中,q=k-2,k-1,k+1,k+2或
(MAk<MAq),其中,q=k-2,k-1,k+1,k+2;
B,关键帧序号应满足下式:keyframe[l-1]≠k-1,式中,l为关键帧的帧序号,且第(k-1)帧不是关键帧;
此时,将第k帧图像定义为关键帧,即keyframe[l]=k,并单独存储其帧号和图像数据。
本发明方法已经进行了多次实施试验,试验的结果是成功的。图3和图4分别是申请人在本发明的上述实施例的运动剧烈程度曲线图(图3中的用×标记的曲线拐点都为运动剧烈程度突变或关键帧所在位置)和所选择的Foreman视频序列的共57幅关键帧的实例展示图。也就是说,输入为一段数字视频序列,经过本发明方法的处理后,输出为对整个视频序列的质量评价起着决定性作用的关键帧。因此,本发明实现了发明目的。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (8)

1.一种用于视频质量评价的关键帧的选取方法,其特征在于:先采用平均绝对差MAD方法描述每帧视频图像中的各个图像块的运动剧烈程度,然后采用基于人眼视觉兴趣的权重因子对每个图像块的运动剧烈程度加权,计算每帧图像的总体运动剧烈程度,并根据设定的判断条件确定关键帧;所述方法包括下列操作步骤:
(1)输入视频序列,将其转化为统一的欧洲电视系统的颜色编码YUV视频格式,然后顺序选取当前帧和前一帧图像的亮度信号数据并存储;
(2)对帧中的图像进行分块,计算当前帧中的各个图像块的运动剧烈程度;
(3)定义每个图像块的运动剧烈程度的权重因子li,j,以便将人眼视觉兴趣因素引入关键帧的计算过程,式中,自然数i和j分别是图像块在帧中的横坐标与纵坐标;
(4)按照对帧中的每个图像块的运动剧烈程度加权求和方法的下述公式计算每帧图像的总体运动剧烈程度:
Figure FSA00000400866400011
式中,自然数k是帧的序号;
(5)选取关键帧:因为视频图像中的运动变化都需要一定时间,且往往会在持续几帧图像中体现其实现过程,因此,将每帧图像的总体运动剧烈程度与分别位于其前、后设定数量的多帧图像的总体运动剧烈程度进行比较,从中选取总体运动剧烈程度相对最大或最小的一帧图像作为关键帧。
2.根据权利要求1所述的方法,其特征在于:所述步骤(1)中的统一视频格式为欧洲电视系统采用的颜色编码YUV格式,该格式包括亮度信号Y和色度信号U与V,为PAL和SECAM模拟彩色电视制式采用的颜色空间。
3.根据权利要求1所述的方法,其特征在于:所述步骤(2)中,所述当前帧中各图像块的运动剧烈程度数值是:当前帧的图像块与前一帧的相同位置图像块之间的亮度值差值矩阵中的所有元素绝对值之和除以该图像块的总像素值的商;因此,每帧中的各个图像块的运动剧烈程度的计算公式为:
Figure FSA00000400866400021
式中,M、N、Mp和Np皆为自然数,M与N分别是每帧图像的宽度与高度的像素值,Mp、Np分别是分块后的图像块的宽度与高度的像素值,且M和N分别为Mp和Np的整数倍,Mp×Np则为图像块的总像素值,fk(m,n)和fk-1(m,n)分别为步骤(1)读取的第k帧和第(k-1)帧中坐标为(m,n)的像素点的亮度值;i、j最大值分别为
Figure FSA00000400866400022
Figure FSA00000400866400023
4.根据权利要求1所述的方法,其特征在于:所述步骤(2)计算当前帧中的各个图像块的运动剧烈程度时,因为运动剧烈程度是反映视频图像时域特征的相对数值,故视频起始播放时刻的首帧图像、即k=1时的帧图像没有相对的运动剧烈程度数值;然而,基于首帧的重要性,将第2帧图像的运动剧烈程度数值赋予首帧,并默认首帧图像为关键帧,参与视频质量评价计算。
5.根据权利要求1所述的方法,其特征在于:因人眼视觉系统在观察图像或视频时,对中间区域内容的敏感度和运动剧烈程度的感觉要高于四周区域,故设定每个图像块运动剧烈程度权重因子li,j的数值大小与该图像块距离图像中心的距离呈反比:越靠近中心,权重因子li,j越大。
6.根据权利要求1所述的方法,其特征在于:所述步骤(3)中的图像块运动剧烈程度权重因子li,j的计算过程如下:
先定义每帧图像中心的坐标为
Figure FSA00000400866400024
然后按照下述不同情况采用不同公式分别计算位于不同位置的每个图像块的运动剧烈程度的权重因子li,j
i ≠ M 2 M p j ≠ N 2 N p 时, l i , j = 1 | i - M 2 M p | · 1 | j - N 2 N p | ;
i = M 2 M p , j ≠ N 2 N p 时, l i , j = 1 | j - N 2 N p | ;
i ≠ M 2 M p , j = N 2 N p 时, l i , j = 1 | i - M 2 M p | ;
Figure FSA00000400866400034
Figure FSA00000400866400035
时,该图像块位于帧图像中心,因无法采用上述三式计算以及人眼不能完全分辨如此小的图像块,故认为其与周边图像块的权重大小近似相等,定义为1,即li,j=1。
7.根据权利要求1所述的方法,其特征在于:所述步骤(5)中,将每帧图像的总体运动剧烈程度与分别位于其前、后设定数量α的多帧图像的总体运动剧烈程度进行比较的设定数量α的选择区间是[2,5]。
8.根据权利要求1或7所述的方法,其特征在于:所述步骤(5)进一步包括下列操作:为避免所选取的关键帧为相邻帧图像而不符合关键帧的选取本意,故要对已被选择的关键帧进行筛选:
如果第k帧图像与位于其前、后设定数量α的帧图像分别比较后,已被判别为关键帧,同时第(k-1)帧不是关键帧,则此时可以选择第k帧为关键帧;即筛选确定关键帧的计算公式是要同时满足下述A与B两个计算公式:
A,若第k帧的总体运动剧烈程度MAk满足下述两式之一:
(MAk>MAq),其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α或
(MAk<MAq),其中,q=k-α,k-(α-1),…,k-1,k+1,…,k+(α-1),k+α;
B,关键帧序号应满足下式:keyframe[l-1]≠k-1,式中,l为关键帧的帧序号,且第(k-1)帧不是关键帧;
此时,将第k帧图像定义为关键帧,即keyframe[l]=k,并单独存储其帧号和图像数据。
CN201010609119.0A 2010-12-17 2010-12-17 一种用于视频质量评价的关键帧的选取方法 Expired - Fee Related CN102572502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010609119.0A CN102572502B (zh) 2010-12-17 2010-12-17 一种用于视频质量评价的关键帧的选取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010609119.0A CN102572502B (zh) 2010-12-17 2010-12-17 一种用于视频质量评价的关键帧的选取方法

Publications (2)

Publication Number Publication Date
CN102572502A true CN102572502A (zh) 2012-07-11
CN102572502B CN102572502B (zh) 2014-02-12

Family

ID=46416779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010609119.0A Expired - Fee Related CN102572502B (zh) 2010-12-17 2010-12-17 一种用于视频质量评价的关键帧的选取方法

Country Status (1)

Country Link
CN (1) CN102572502B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105574744A (zh) * 2016-01-29 2016-05-11 上海云活科技有限公司 一种多屏互动视频购物方法
CN106993185A (zh) * 2015-12-10 2017-07-28 青岛海信网络科技股份有限公司 一种视频质量诊断方法和系统
CN109086696A (zh) * 2018-07-18 2018-12-25 洛阳语音云创新研究院 一种异常行为检测方法、装置、电子设备及存储介质
CN111275681A (zh) * 2020-01-19 2020-06-12 浙江大华技术股份有限公司 图片质量的确定方法及装置、存储介质、电子装置
CN111639601A (zh) * 2020-05-31 2020-09-08 石家庄铁道大学 基于频域特征的视频关键帧提取方法
CN112911281A (zh) * 2021-02-09 2021-06-04 北京三快在线科技有限公司 一种视频质量评价方法及装置
CN113891069A (zh) * 2021-10-21 2022-01-04 咪咕文化科技有限公司 一种视频质量的评估方法、装置及设备
CN114666571A (zh) * 2022-03-07 2022-06-24 中国科学院自动化研究所 视频敏感内容检测方法及系统
CN115243101A (zh) * 2022-06-20 2022-10-25 上海众源网络有限公司 视频动静率识别方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杜海清: "《无线传输中的视频质量评价及控制研究》", 18 November 2010, 中国学术期刊(光盘版)电子杂志社 *
桂振文: "《无线网络视频评估系统》", 19 August 2009, 中国学术期刊(光盘版)电子杂志社 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106993185A (zh) * 2015-12-10 2017-07-28 青岛海信网络科技股份有限公司 一种视频质量诊断方法和系统
CN107071398A (zh) * 2015-12-10 2017-08-18 青岛海信网络科技股份有限公司 一种视频质量诊断方法和系统
CN105574744A (zh) * 2016-01-29 2016-05-11 上海云活科技有限公司 一种多屏互动视频购物方法
CN109086696B (zh) * 2018-07-18 2020-11-06 洛阳语音云创新研究院 一种异常行为检测方法、装置、电子设备及存储介质
CN109086696A (zh) * 2018-07-18 2018-12-25 洛阳语音云创新研究院 一种异常行为检测方法、装置、电子设备及存储介质
CN111275681A (zh) * 2020-01-19 2020-06-12 浙江大华技术股份有限公司 图片质量的确定方法及装置、存储介质、电子装置
CN111275681B (zh) * 2020-01-19 2023-09-01 浙江大华技术股份有限公司 图片质量的确定方法及装置、存储介质、电子装置
CN111639601A (zh) * 2020-05-31 2020-09-08 石家庄铁道大学 基于频域特征的视频关键帧提取方法
CN111639601B (zh) * 2020-05-31 2022-05-13 石家庄铁道大学 基于频域特征的视频关键帧提取方法
CN112911281A (zh) * 2021-02-09 2021-06-04 北京三快在线科技有限公司 一种视频质量评价方法及装置
CN113891069A (zh) * 2021-10-21 2022-01-04 咪咕文化科技有限公司 一种视频质量的评估方法、装置及设备
CN114666571A (zh) * 2022-03-07 2022-06-24 中国科学院自动化研究所 视频敏感内容检测方法及系统
CN115243101A (zh) * 2022-06-20 2022-10-25 上海众源网络有限公司 视频动静率识别方法、装置、电子设备及存储介质
CN115243101B (zh) * 2022-06-20 2024-04-12 上海众源网络有限公司 视频动静率识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN102572502B (zh) 2014-02-12

Similar Documents

Publication Publication Date Title
CN102572502B (zh) 一种用于视频质量评价的关键帧的选取方法
CN106210767B (zh) 一种智能提升运动流畅性的视频帧率上变换方法及系统
CN114584849B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
Tian et al. NIQSV+: A no-reference synthesized view quality assessment metric
Nuutinen et al. CVD2014—A database for evaluating no-reference video quality assessment algorithms
Moorthy et al. Visual quality assessment algorithms: what does the future hold?
Tang Spatiotemporal visual considerations for video coding
JP2004504736A (ja) 三次元画像生成方法及び装置
CN111784578A (zh) 图像处理、模型训练方法及装置、设备、存储介质
Li et al. Subjective and objective quality assessment of compressed screen content videos
JP2011508517A (ja) 適応探索範囲を用いた動き推定
Dziembowski et al. IV-PSNR—the objective quality metric for immersive video applications
CN104023227B (zh) 一种基于空域和时域结构相似性的视频质量客观评价方法
Zhou et al. Reduced-reference stereoscopic image quality assessment based on view and disparity zero-watermarks
JP2002125233A (ja) 映像内容に重み付けをする画像圧縮方式
Xue et al. Mobile JND: Environment adapted perceptual model and mobile video quality enhancement
Tandon et al. CAMBI: Contrast-aware multiscale banding index
WO2012000136A1 (en) Method for measuring video quality using a reference, and apparatus for measuring video quality using a reference
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
CN111311584A (zh) 视频质量评估方法及装置、电子设备、可读介质
CN108462878B (zh) 基于关键帧和指示符运动模型的教学视频压缩算法
Ortiz-Jaramillo et al. Content-aware objective video quality assessment
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
CN113542864B (zh) 视频的花屏区域检测方法、装置、设备及可读存储介质
Ndjiki-Nya et al. Efficient full-reference assessment of image and video quality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140212

Termination date: 20151217

EXPY Termination of patent right or utility model