CN107360417B - 一种基于相机运动特征的互联网视频质量评估方法与装置 - Google Patents

一种基于相机运动特征的互联网视频质量评估方法与装置 Download PDF

Info

Publication number
CN107360417B
CN107360417B CN201710768019.4A CN201710768019A CN107360417B CN 107360417 B CN107360417 B CN 107360417B CN 201710768019 A CN201710768019 A CN 201710768019A CN 107360417 B CN107360417 B CN 107360417B
Authority
CN
China
Prior art keywords
video
image block
motion
camera
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710768019.4A
Other languages
English (en)
Other versions
CN107360417A (zh
Inventor
郭金林
陈立栋
白亮
老松杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710768019.4A priority Critical patent/CN107360417B/zh
Publication of CN107360417A publication Critical patent/CN107360417A/zh
Application granted granted Critical
Publication of CN107360417B publication Critical patent/CN107360417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Abstract

本发明公开了一种基于相机运动特征的互联网视频质量评估方法与装置,包括:输入视频,对视频帧图像进行均匀降采样;在提取的任一帧图像及其前一帧图像中提取背景相机运动向量;根据连续三个图像帧之间运动向量计算相机运动加速度与运动方向变化角度;计算整个视频相机运动参数,即平均加速度及平均方向变化角度;根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估。本发明通过在临近图像区域搜索相似图像块及匹配方式,计算互联网视频中的不规则相机运动参数,进而对视频质量进行客观评估,本方法在互联网视频上得到了与主观评估较一致的结果。与上述方法相对应,本发明还提供了一种互联网视频质量客观评估装置。

Description

一种基于相机运动特征的互联网视频质量评估方法与装置
技术领域
本发明涉及多媒体通信技术、互联网技术领域,特别是一种基于相机运动特征的互联网视频质量客观评估方法与装置。
背景技术
摄像设备(如带摄像头的智能手机)的普及和存储设备价格的下降,产生了大量的个人视频内容,而互联网技术的发展和普及正在重塑视频消费模式,尤其是视频分享网站的兴起和流行,如YouTube,YouKu等,使得用户方便地上传、管理和分享视频,总而言之,互联网上的用户不仅仅是视频的消费者,更是视频的参与者和制作者,因此,互联网上视频数据正以爆炸性的速度增加,以世界上最大的视频分享网站YouTube为例,近期的统计表明,用户每分钟上传到该网站上的用户生成视频长达120小时,每一个月访问YouTube的用户多达8亿,被观看的视频长度长达30亿小时。面对如此多的用户和观看量,视频分享网站对满足用户对视频质量要求具有越来越迫切的需求,毫无疑问,用户更偏爱观看描述相同(或极相似)内容而质量更高视频片段。因此,互联网视频质量评估方法在改善服务质量 (QoS),改进用的体验质量(QoE),管理大量视频数据等方面扮演着重要的作用。
已有的视频质量评估方法基本可以分为两大类:主观或客观的质量评估方法,这些方法主要存在如下问题:
(1)很多是以单帧图像质量为基础,首先评价视频序列中每帧的质量,然后再对各帧质量取平均值,得到视频质量。这类视频质量评估方法没有考虑视频的运动信息对视频质量的影响;
(2)在视频获取,压缩、传输、显示、或复制等都会影响最终的视频质量,已有大多数的方法主要考虑由视频压缩或传输过程中导致的视频质量下降。视频获取时,其本身的质量并不会被评估;
(3)很多方法常用视频质量评估度量,如信噪比(SNR)、峰值信噪比 (PSNR),平均平方误差(MSE),景观这些度量计算比较简单,但是它们忽略了人类视觉感知的特征;
(4)大部分的研究聚焦于客观视频质量评估,然而从人类的视觉感知的角度来评估视频质量变得越来越重要,因为大量的视频应用目标人群是终端用户;
(5)主观评估方法是通过一些经过训练或未经过训练的用户对视频质量进行评分。当然,进行大规模的客观视频质量评估是不切实际的,由于需要人的全程介入,该方法极其费时间、劳动,也非常昂贵。
在视频获取(录制)过程中,如不规则的相机运动会降低获视频的质量,而很大一部分互联网视频由非专业拍摄人员使用多种摄像设备在较差环境下录制,质量往往较低,如含有较多的不规则相机运动,模糊的背景等等。
发明内容
针对现有技术存在的缺陷,本发明提供一种基于相机运动特征的互联网视频质量评估方法与装置,以解决现有方案没有考虑到的视觉因素,特别是相机运动因素,而引起的评估不准确的问题。
为此,本发明采用如下技术方案:
一种基于相机运动特征的互联网视频质量评估方法,包括以下步骤:
S1对输入的视频图像帧进行均匀降采样,整段输入视频经均匀降采样提取得到n帧图像帧。
S2对于S1中提取到的n帧图像帧,提取相邻图像帧间的背景相机运动向量。
S3根据三个连续图像帧之间的背景相机运动向量计算相机运动加速度与运动方向变化角度。
S4计算整个输入视频的相机运动参数,即平均加速度及平均方向变化角度。
S5根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估。
本发明S1中,对输入的视频图像帧进行均匀降采样实现方式是:每秒钟视频图像中均匀提取5帧图像帧。
在本发明S2中采用块匹配算法计算S1所提取的n帧图像帧中相邻图像帧间的背景相机运动向量。具体地,其实现方式是:
S201把当前图像帧及其前序图像帧K-1均匀分割为多个同样大小的图像块;设图像块的尺寸大小为S*S,S=10个像素大小。
S202选取当前图像帧K中的任一图像块作为测试图像块,S*S为测试图像块的尺寸大小,以测试图像块的中心点(xt,yt)为中心在其前序图像帧K-1中选定 3S*3S大小的临近搜索区域。
对于当前图像帧K中处于其边缘的测试图像块,在前序图像帧K-1中选择距测试图像块对应位置最近的3S*3S大小的正方形块作为临近搜索区域,可设定水平方向区域选择优先。
S203:在临近搜索区域中,以5个像素为滑动步长,构建S*S大小的滑动图像块,通过计算最大匹配像素数指标,在滑动图像块中搜索与测试图像块相似的图像区域;其中最大匹配像素数指标计算方式如下:
其中,(xt,yt)是测试图像块的中心位置,(xp,yp)是滑动图像块(也即被搜索图像块)的中心位置,Pc是测试图像块中像素点的色彩亮度值,Qc是滑动图像块 (也即被搜索图像块)中像素点的色彩亮度值;(x,y)是测试图像块左下角坐标;测试图像块中心位置与滑动图像块中心位置的偏移为:dx=xp-xt,dy=yp-yt, T为匹配阈值。
S204:对于任一测试图像块,其中心为(xt,yt),及其相似图像块,其中心为 (xp,yp)。根据测试图像块及其相似图像块位置计算该测试图像块的运动向量 v=(vx,vy),计算方式为:
vx=x'p-xt (3)
vy=y'p-yt (4)
其中,vx和vy分别是v运动向量在X和Y方向上的运动分量;
优选地,在检测相似图像块时,可能因为图像帧中存在许多一致纹理的区域,而导致检测到测试图像块的运动向量v不可靠。为此,本发明检查在该临近搜索区域中检测到的相似图像块的数量。如果在临近搜索区域中检测到相似图像块的数量超过N块,N=4,则意味着该临近搜索区域是一个一致纹理区域,检测到的运动向量v可信度较低,则设置该测试图像块的运动向量为v=0。
S205:重复步骤S202-S204,直到检测到当前图像帧K中所有测试图像块的运动向量v。
S206:统计当前图像帧K中所有测试图像块运动向量v的方向分布直方图;将当前图像帧K中所有测试图像块的运动向量按其方向分配到8个方向区间中,即 [0,π/4),[0,π/2),[0,3π/4),[0,π),[0,5π/4),[0,3π/2),[0,7π/4),[0,2π) 八个方向区间;选择S205中运动向量方向落在最大直方图柱所代表方向区间中的测试图像块作为背景区域B。
S207:计算当前图像帧K与其前序图像帧K-1之间的背景相机运动向量,计算方式如下:
其中NB为背景区域B中的图像块的数量,vt为背景区域图像块t的运动向量。
本发明S3中根据三个连续图像帧之间的背景相机运动向量计算相机运动加速度与运动方向变化角度,计算方法如下:
其中,Δt为两个连续提取图像帧之间的时间间隔,Δt是一个常数;加速度变化mk-1,k,k+1等于两个连续图像帧之间的背景相机运动向量的差的大小。
对于整段视频而言,不规则相机运动特征可通过平均加速度和平均方向变化描述。S4中平均加速度及平均方向变化角度通过计算所有两个连续图像帧之间的背景相机运动向量的大小变化的平均值和运动方向变化角度的平均值得到:
其中n为整个输入视频中经步骤S1降采样提取的图像帧数量。
本发明S5的实现方法为:
S501:计算相机运动平均加速度变化评估等级rm
mmax是提取的所有平均加速度的最大值,·是向下取整函数;
S502:计算相机运动平均方向变化评估等级rθ
θmax是提取的所有平均方向变化的最大值,·是向下取整函数;
S503:计算视频中不规则相机运动的质量评估等级r,计算方式如下:
其中ωm和ωθ是分别赋予平均加速度和平均方向变化的权值,ωmθ=1,ωm和ωθ的不同取值体现了视频观看者对平均加速度和平均方向变化的不同偏好;如当ωm=ωθ=0.5时,表示视频观看者对视频中相机运动的速度变化和方向变化同样敏感。如果ωm大于ωθ表示视频观看者对视频中相机运动的速度变化更为敏感;如果ωm小于ωθ表示视频观看者对视频中相机运动的方向变化更为敏感。当r=0时,表示视频中含有最少的不规则相机运动,即视频质量最好,而 r=4时,表示视频质量最差,r=1或2或3时,分别表示视频视觉质量逐渐下降;
S504:计算视频最终质量评估分数s,具体实现方式为:
s=5-r (13)
这样,s=5表示视频视觉质量最好,s=1表示视频视觉质量最差,s=4 或3或2时,分别表示视频视觉质量逐渐下降;
与上述方法相对应,本发明还提供一种视频质量评估装置,该装置包括以下各单元:
视频帧图像降采样计算单元,用于对输入的视频图像进行均匀降采样,可以有效地降低计算量。
图像块运动向量计算单元,通过计算最大匹配像素数指标在临近搜索区域中搜索测试图像块的相似图像块,并获得该测试图像块的运动向量。
图像帧运动向量计算单元,在统计测试图像块运动方向分布直方图基础上,获得图像帧的背景相机运动向量。
连续图像帧间相机运动加速度与运动方向变化计算单元,根据三个连续图像帧之间运动向量,计算相机运动加速度与运动方向变化角度。
视频相机运动参数计算单元,通过计算所有运动向量的大小变化的平均值和方向变化的平均值,而得到视频相机运动参数,即平均加速度及平均方向变化角度。
视频质量评估打分单元,根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估分数。
本发明采用运动加速度和运动方向变化两个因素来描述视频背景相机不规则运动信息,通过计算运动加速度和运动方向角度变化参数,从而确定视频的动态性参数,利用视频动态性参数对视频质量进行评估,从而得到视频的客观质量评估结果。
经实验证明,本发明提供的实施例能够有效捕获互联网视频中不规则相机运动特征,更接近于人的视觉感知特点,在背景或对象运动时,可以自动得到更贴近由观看者产生的视频主观质量评估分数,即可进行准确的视频质量估计。
附图说明
图1为本发明方法实施例一流程图;
图2为本发明方法图像块搜索匹配方法示意图;
图3为本发明方法中采用最大匹配像素数指标计算背景相机运动向量的流程图;
图4为本发明方法中图像块运动向量方向分配示意图;
图5为本发明方法中根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估的流程图;
图6为本发明装置的结构示意图。
具体实施方式
本发明通过评价互联网视频中相机运动变化对视频质量的影响,其中,视频中相机运动变化又包括运动加速度变化及运动方向变化,从而更加全面评价相机不规则运动对视频质量的影响,进而可提供更为接近真实视频的质量客观估计结果。
参见图1,为本发明基于相机运动特征的互联网视频质量评估方法的流程图,包括以下步骤:
S101:对输入的视频图像帧进行均匀降采样,提取得到n帧图像帧;
S102:在提取的任一帧图像及其前一帧图像中提取背景相机运动向量;
S103:根据连续三个图像帧之间运动向量计算相机运动加速度与运动方向变化角度;
S104:计算整个视频相机运动参数,即平均加速度及平均方向变化角度;
S105:根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估。
下面就图1涉及到的五个步骤进行详细描述。
一、对输入的视频图像进行均匀降采样
对输入的视频图像进行均匀降采样,通过视频图像帧降采样,可以减少需要处理的图像帧数量,进而有效减少计算量。具体实现方式为每秒钟视频中均匀提取5 帧图像。对于输入的整段视频共提取得到n帧图像帧。
二、提取相邻帧图像间背景相机运动向量
本申请采用块匹配算法计算步骤一中所提取的n帧图像帧中相邻图像帧间的背景相机运动向量:首先把当前图像帧及其前序图像帧K-1(即与当前图像帧K相邻的前一图像帧)分割为若干同样大小的图像块,再查找当前图像帧的每个图像块在前一帧的位置。图2示例了图像块搜索匹配方法。
本实施例将当前图像帧及其前序图像帧K-1分割成多个大小为10×10像素的图像块,再以这些图像块为单位计算背景相机运动向量,目的是为了提高匹配的效率,而又能保证一定的精度。
参见图3,为本发明方法实施例二中采用最大匹配像素数指标计算背景相机运动向量的流程图,包括:
S201:对于当前图像帧K中的任一图像块作为测试图像块,以测试图像块的中心点(xt,yt)为中心在其前序图像帧K-1(即与当前图像帧K相邻的前一图像帧) 中选定3S*3S大小的临近搜索区域,S=10个像素;
对于当前图像帧K中处于其边缘的测试图像块,在前序图像帧K-1中选择距测试图像块对应位置最近的3S*3S大小的正方形块作为临近搜索区域,水平方向区域选择优先;
S202:在临近搜索区域中,以5个像素为滑动步长,构建S*S大小的滑动图像块,通过计算最大匹配像素数指标,在滑动图像块中搜索与测试图像块相似的图像区域。最大匹配像素数指标计算方式如下:
其中,(xt,yt)是测试图像块的中心位置,(xp,yp)是被搜索(滑动)图像块的中心位置,Pc是测试图像块中像素的色彩亮度值,Qc是被搜索(滑动)图像块像素的色彩亮度值。(x,y)是测试图像块左下角坐标。两个中心位置的偏移为: dx=xp-xt,dy=yp-yt,T为匹配阈值。
通过最大匹配像素数指标在临近搜索区域中利用滑动窗口方法,可以正确地搜索到相似图像块。
S203:对于任一测试图像块,其中心为(xt,yt),及其相似图像块,其中心为 (xp,yp),计算该测试图像块的运动向量v=(vx,vy),计算方式为:
vx=x'p-xt (3)
vy=y'p-yt (4)
其中,vx和vy分别是v运动向量在X和Y方向上的运动分量。
特别地,如果在临近搜索区域中检测到相似图像块的数量超过N块,则意味着该临近搜索区域是一个一致纹理区域,检测到的运动向量v可信度较低,则设置该运动向量为v=0。
S204:重复步骤S201-S203,直到检测到当前图像帧K中所有测试图像块的运动向量v;
S205:统计当前图像帧K中所有测试图像块运动向量v的方向分布直方图。具体地,将当前图像帧K中所有测试图像块的运动向量按其方向分配到8个方向区间中,即[0,π/4),[0,π/2),[0,3π/4),[0,π),[0,5π/4),[0,3π/2), [0,7π/4),[0,2π)八个方向区间。图参见图4。选择S205中运动向量方向落在最大直方图柱所代表方向区间中的测试图像块作为背景区域B。
S206:计算当前图像帧K与其前序图像帧K-1之间的背景相机运动向量,计算方式如下:
NB为背景区域B中的图像块的数量,vt为背景区域图像块t的运动向量。
三、计算三个连续图像帧间相机运动加速度与运动方向变化
根据三个连续提取图像帧(即图像帧K-1、K和K+1)之间的背景相机运动向量,可计算相机运动加速度与运动方向变化角度:
其中,Δt两个连续提取图像帧之间的时间间隔。由于在第一步本发明是均匀的提取图像帧(每秒提取5帧图像),Δt是一个常数,因此加速度变化等于两个连续图像帧之间的背景相机运动向量的差的大小mk-1,k,k+1
四、计算整个视频相机运动参数
对于整段视频而言,不规则相机运动特征可通过平均加速度和平均方向变化描述。平均加速度及平均方向变化角度的具体实现方式为通过计算所有两个连续图像帧之间的背景相机运动向量的大小变化的平均值和运动方向变化角度的平均值得到:
其中n为整个输入视频中经步骤S101降采样提取的图像帧数量。
五、根据视频相机运动参数对视频质量进行评估
根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估的具体实现方式参见图5。
S401:计算相机运动平均加速度变化评估等级。计算相机运动平均加速度变化评估等级rm的具体实现方式为:
mmax是提取的所有平均加速度的最大值(它保证了),·是向下取整函数。
S402:计算相机运动平均方向变化评估等级。计算相机运动平均方向变化评估等级rθ的具体实现方式为:
θmax是提取的所有平均方向变化的最大值(它保证了),·是向下取整函数。
S403:计算视频中不规则相机运动的质量评估等级r,计算方式如下:
其中ωm和ωθ是分别赋予平均加速度和平均方向变化的权值,ωmθ=1,ωm和ωθ的不同取值体现了视频观看者对平均加速度和平均方向变化的不同偏好,如当ωm=ωθ=0.5时,表示视频观看者对视频中相机运动的速度变化和方向变化同样敏感;当r=0时,表示视频中含有最少的不规则相机运动,即视频质量最好,而r=4时,表示视频质量最差,r=1或2或3时,分别表示视频视觉质量逐渐下降;
S404:计算视频最终质量评估分数s,具体实现方式为:
s=5-r (13)
这样,s=5表示视频视觉质量最好,s=1表示视频视觉质量最差,s=4 或3或2时,分别表示视频视觉质量逐渐下降。
由此可见,本发明采用运动加速度和运动方向变化两个因素来描述视频背景相机不规则运动信息,通过计算运动加速度和运动方向角度变化参数,从而确定视频的动态性参数,利用视频动态性参数对视频质量进行评估,从而得到视频的客观质量评估结果。
经实验证明,本发明提供的实施例能够有效捕获互联网视频中不规则相机运动特征,更接近于人的视觉感知特点,在背景或对象运动时,可以自动得到更贴近由观看者产生的视频主观质量评估分数,即可进行准确的视频质量估计。
与上述方法相对应,本发明还提供一种视频质量评估装置,该装置可以由硬件实现,或者可由软件实现,当然也可以由软硬件结合实现,具体实现形式本发明不作限定。
参见图6,为本发明提供的装置结构示意图,该装置包括以下各单元:
视频帧图像降采样计算单元S501,用于对输入的视频图像进行均匀降采样,可以有效地降低计算量。
图像块运动向量计算单元S502,通过计算最大匹配像素数指标在临近搜索区域中搜索测试图像块的相似图像块,并获得该测试图像块的运动向量。
图像帧运动向量计算单元S503,在统计测试图像块运动方向分布直方图基础上,获得图像帧的背景相机运动向量。
S502及S503的具体实现方法参见第二步(提取相邻帧图像间背景相机运动向量)中对图3的描述,此处不再赘述。
连续图像帧间相机运动加速度与运动方向变化计算单元S504,根据三个连续图像帧之间运动向量,计算相机运动加速度与运动方向变化角度。
视频相机运动参数计算单元S505,通过计算所有运动向量的大小变化的平均值和方向变化的平均值,而得到视频相机运动参数,即平均加速度及平均方向变化角度。
视频质量评估打分单元S506,根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估分数。获得视频质量的客观评估分数。具体实现参见方法中对图5的描述,此处不再赘述。
可见,本发明提供的视频质量评估装置通过计算视频相机运动速度变化及方向变化参数,从而确定视频中相机不规则运动参数,利用中相机不规则运动参数对视频质量进行评估,得到准确的质量评估结果。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于相机运动特征的互联网视频质量评估方法,其特征在于,该方法通过提取互联网视频中的不规则相机运动参数,对视频质量进行客观评估,包括以下步骤:
S1对输入的视频图像帧进行均匀降采样,提取得到n帧图像帧;
S2对于S1中提取到的n帧图像帧,提取相邻图像帧间的背景相机运动向量;
S201把当前图像帧及其前序图像帧K-1均分割为若干同样大小的图像块;
S202选取当前图像帧K中的任一图像块作为测试图像块,以测试图像块的中心点(xt,yt)为中心在其前序图像帧K-1中选定3S*3S大小的正方形块作为临近搜索区域;
对于当前图像帧K中处于其边缘的测试图像块,在前序图像帧K-1中选择距测试图像块对应位置最近的3S*3S大小的正方形块作为临近搜索区域,水平方向区域选择优先;
S203:在临近搜索区域中,以5个像素为滑动步长,构建S*S大小的滑动图像块,通过计算最大匹配像素数指标,在滑动图像块中搜索与测试图像块相似的图像区域;其中最大匹配像素数指标计算方式如下:
其中,(xt,yt)是测试图像块的中心位置,(xp,yp)是滑动图像块的中心位置,Pc是测试图像块中像素的色彩亮度值,Qc是滑动图像块像素的色彩亮度值;(x,y)是测试图像块左下角坐标;测试图像块中心位置与滑动图像块中心位置的偏移为:dx=xp-xt,dy=yp-yt,T为匹配阈值;
S204:对于任一测试图像块,其中心为(xt,yt),及其相似图像块,其中心为(xp,yp),计算该测试图像块的运动向量v=(vx,vy),计算方式为:
vx=x'p-xt (3)
vy=y'p-yt (4)
其中,vx和vy分别是v运动向量在X和Y方向上的运动分量;
S205:重复步骤S202-S204,直到检测到当前图像帧K中所有测试图像块的运动向量v;
S206:统计当前图像帧K中所有测试图像块运动向量v的方向分布直方图;将当前图像帧K中所有测试图像块的运动向量按其方向分配到8个方向区间中,即[0,π/4),[0,π/2),[0,3π/4),[0,π),[0,5π/4),[0,3π/2),[0,7π/4),[0,2π)八个方向区间;选择S205中运动向量方向落在最大直方图柱所代表方向区间中的测试图像块作为背景区域B;
S207:计算当前图像帧K与其前序图像帧K-1之间的背景相机运动向量,计算方式如下:
NB为背景区域B中的图像块的数量,vt为背景区域图像块t的运动向量;
S3根据三个连续图像帧之间的背景相机运动向量计算相机运动加速度与运动方向变化角度;
S4计算整个输入视频的相机运动参数,即平均加速度及平均方向变化角度;
S5根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估。
2.根据权利要求1所述的基于相机运动特征的互联网视频质量评估方法,其特征在于,S1中,对输入的视频图像帧进行均匀降采样实现方式是:每秒钟视频图像中均匀提取5帧图像帧。
3.根据权利要求1所述的基于相机运动特征的互联网视频质量评估方法,其特征在于,S204中,还包括检查在该临近搜索区域中检测到的相似图像块的数量,如果在临近搜索区域中检测到相似图像块的数量超过N块,则意味着该临近搜索区域是一个一致纹理区域,检测到的运动向量v可信度较低,则设置该测试图像块的运动向量为v=0。
4.根据权利要求3所述的基于相机运动特征的互联网视频质量评估方法,其特征在于,S3中根据三个连续图像帧之间的背景相机运动向量计算相机运动加速度与运动方向变化角度,计算方法如下:
其中,Δt为两个连续提取图像帧之间的时间间隔,Δt是一个常数;加速度变化mk-1,k,k+1等于两个连续图像帧之间的背景相机运动向量的差的大小。
5.根据权利要求4所述的基于相机运动特征的互联网视频质量评估方法,其特征在于,S4中平均加速度及平均方向变化角度通过计算所有两个连续图像帧之间的背景相机运动向量的大小变化的平均值和运动方向变化角度的平均值得到:
其中n为整个输入视频中经步骤S1降采样提取的图像帧数量。
6.根据权利要求5所述的基于相机运动特征的互联网视频质量评估方法,其特征在于,S5的实现方法为:
S501:计算相机运动平均加速度变化评估等级rm
mmax是提取的所有平均加速度的最大值,·是向下取整函数;
S502:计算相机运动平均方向变化评估等级rθ
θmax是提取的所有平均方向变化的最大值,·是向下取整函数;
S503:计算视频中不规则相机运动的质量评估等级r,计算方式如下:
其中ωm和ωθ是分别赋予平均加速度和平均方向变化的权值,ωmθ=1,ωm和ωθ的不同取值体现了视频观看者对平均加速度和平均方向变化的不同偏好;当r=0时,表示视频中含有最少的不规则相机运动,即视频质量最好,r=1或2或3时,分别表示视频视觉质量逐渐下降,而r=4时,表示视频质量最差;
S504:计算视频最终质量评估分数s,具体实现方式为:
s=5-r (13)
其中,s=5表示视频视觉质量最好,s=1表示视频视觉质量最差,s=4或3或2时,分别表示视频视觉质量逐渐下降。
7.一种基于相机运动特征的互联网视频质量评估装置,其特征在于,该装置包括以下单元:
视频帧图像降采样计算单元,用于对输入的视频图像进行均匀降采样,可以有效地降低计算量;
图像块运动向量计算单元,通过计算最大匹配像素数指标在临近搜索区域中搜索测试图像块的相似图像块,并获得该测试图像块的运动向量;
图像帧运动向量计算单元,在统计测试图像块运动方向分布直方图基础上,获得图像帧的背景相机运动向量;
连续图像帧间相机运动加速度与运动方向变化计算单元,根据三个连续图像帧之间运动向量,计算相机运动加速度与运动方向变化角度;
视频相机运动参数计算单元,通过计算所有运动向量的大小变化的平均值和方向变化的平均值,而得到视频相机运动参数,即平均加速度及平均方向变化角度;
视频质量评估打分单元,根据视频相机运动参数对视频质量进行打分,获得视频质量的客观评估分数。
CN201710768019.4A 2017-08-30 2017-08-30 一种基于相机运动特征的互联网视频质量评估方法与装置 Active CN107360417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710768019.4A CN107360417B (zh) 2017-08-30 2017-08-30 一种基于相机运动特征的互联网视频质量评估方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710768019.4A CN107360417B (zh) 2017-08-30 2017-08-30 一种基于相机运动特征的互联网视频质量评估方法与装置

Publications (2)

Publication Number Publication Date
CN107360417A CN107360417A (zh) 2017-11-17
CN107360417B true CN107360417B (zh) 2019-02-19

Family

ID=60290294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710768019.4A Active CN107360417B (zh) 2017-08-30 2017-08-30 一种基于相机运动特征的互联网视频质量评估方法与装置

Country Status (1)

Country Link
CN (1) CN107360417B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544520B (zh) * 2018-11-09 2023-08-18 福建和盛高科技产业有限公司 一种视频图像扭曲自动检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法
KR20090091525A (ko) * 2008-02-25 2009-08-28 엘지전자 주식회사 동영상 화질 평가 장치 및 방법
CN101557516A (zh) * 2008-04-09 2009-10-14 北京中创信测科技股份有限公司 视频质量评估方法及装置
CN104509109A (zh) * 2012-08-27 2015-04-08 汤姆逊许可公司 用于估计视频质量评估的运动均匀性的方法及装置
CN106412572A (zh) * 2016-10-14 2017-02-15 中国传媒大学 一种基于运动特性的视频流编码质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4286068B2 (ja) * 2003-06-03 2009-06-24 大塚電子株式会社 画面の動画質評価方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1359235A (zh) * 2002-01-29 2002-07-17 北京工业大学 一种结合运动特征的视频质量评价方法
CN1157059C (zh) * 2002-01-29 2004-07-07 北京工业大学 一种结合运动特征的视频质量评价方法
KR20090091525A (ko) * 2008-02-25 2009-08-28 엘지전자 주식회사 동영상 화질 평가 장치 및 방법
CN101557516A (zh) * 2008-04-09 2009-10-14 北京中创信测科技股份有限公司 视频质量评估方法及装置
CN104509109A (zh) * 2012-08-27 2015-04-08 汤姆逊许可公司 用于估计视频质量评估的运动均匀性的方法及装置
CN106412572A (zh) * 2016-10-14 2017-02-15 中国传媒大学 一种基于运动特性的视频流编码质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种运动矢量和DCT融合的无参考视频质量评价模型;吴丽丽,等;《图学学报》;20140615;第35卷(第3期);第442-449页
网络视频质量评估算法及相关技术研究;宋祺;《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》;20150415;第I138-1085页

Also Published As

Publication number Publication date
CN107360417A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
US7860343B2 (en) Constructing image panorama using frame selection
JP2017507557A (ja) 高解像度の動画ストリームを自身の端末で視聴するユーザの体感品質を向上するためのプロセス
US11636610B2 (en) Determining multiple camera positions from multiple videos
CN104427402B (zh) 一种无线网络流媒体质量获取方法及系统
US20100220920A1 (en) Method, apparatus and system for processing depth-related information
TWI681666B (zh) 用於基於編碼器提示以演現及預編碼負載估計的系統及方法
CN105847850A (zh) 全景视频的实时播放方法及装置
CN105931270B (zh) 基于运动轨迹分析的视频关键帧提取方法
El-Saban et al. Improved optimal seam selection blending for fast video stitching of videos captured from freely moving devices
US9607243B1 (en) Time-lapsed image sequence generation
KR20190088478A (ko) 인게이지먼트 측정 시스템
CN104079800A (zh) 一种视频监控中视频图像的抗抖动方法
CN108537157A (zh) 一种基于人工智能分类实现的视频场景判断方法与装置
CN110958467A (zh) 视频质量预测方法和装置及电子设备
CN107360417B (zh) 一种基于相机运动特征的互联网视频质量评估方法与装置
CN109522503A (zh) 基于ar与lbs技术的旅游景点虚拟留言板系统
CN107046640B (zh) 一种基于帧间运动光滑性的无参考视频稳定质量评价方法
CN106887014B (zh) 一种跨摄像头的行人轨迹匹配方法
CN107465914B (zh) 基于局部纹理特征和全局亮度特征的视频质量评价方法
CN112468806B (zh) 一种用于云vr平台的全景视频传输优化方法
Xing et al. Estimating quality of experience on stereoscopic images
CN107733874A (zh) 信息处理方法、装置、计算机设备和存储介质
CN104965915B (zh) 一种用户访问行为数据的处理方法和系统
CN106683113A (zh) 特征点跟踪方法和装置
Croci et al. Sharpness mismatch detection in stereoscopic content with 360-degree capability

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant