CN103391450B - 一种时空联合的无参考视频质量检测方法 - Google Patents

一种时空联合的无参考视频质量检测方法 Download PDF

Info

Publication number
CN103391450B
CN103391450B CN201310292740.2A CN201310292740A CN103391450B CN 103391450 B CN103391450 B CN 103391450B CN 201310292740 A CN201310292740 A CN 201310292740A CN 103391450 B CN103391450 B CN 103391450B
Authority
CN
China
Prior art keywords
macro block
damaged
affected area
value
field picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310292740.2A
Other languages
English (en)
Other versions
CN103391450A (zh
Inventor
余春艳
吴丽丽
张栋
刘灵辉
陈风
郑维宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201310292740.2A priority Critical patent/CN103391450B/zh
Publication of CN103391450A publication Critical patent/CN103391450A/zh
Application granted granted Critical
Publication of CN103391450B publication Critical patent/CN103391450B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种时空联合的无参考视频质量检测方法，通过码流感知评价由丢包引发的视频质量损伤，考虑视频的时域特性和空域特性，并将时域和空域联合，从而来评价图像质量，最后考虑人眼的视觉特征结合每帧图像的质量得到视频的质量，本发明的方法简单，实现灵活而且效率高。

Description

一种时空联合的无参考视频质量检测方法
技术领域
本发明涉及网络视频质量领域，特别是一种时空联合的无参考视频质量检测方法。
背景技术
随着流媒体服务的不断普及，网络视频质量越来越受到重视。客户端接收到的网络视频质量的好坏直接影响着客户对提供该网络的网络运营商的印象，所以网络提供商要重视客户接收到的网络视频的质量。针对实时性要求高的网络视频传输，研究一种高效的视频质量检测方法对网络运营商具有重大意义。
发明内容
本发明的目的是提供一种时空联合的无参考视频质量检测方法，能够有效的评价客户端接收到的视频质量。
本发明采用以下方案实现：一种时空联合的无参考视频质量检测方法，其特征在于：通过码流感知得到由丢包引发的视频质量损伤，考虑时域特性和空域特性并关联时域和空域评价每帧图像质量，结合图像质量得到视频质量。
本发明一实施例中，所述的评价网络丢包引发的视频质量损伤主要通过受损宏块的个数表示。
本发明一实施例中，所述的受损宏块指受网络丢包影响的宏块。用isflag(i,j)标记宏块(i,j)是否为受损宏块，宏块(i,j)表示宏块位于其所属帧的第i行第j列，标记受损宏块的具体步骤如下：
S01：对网络视频流进行分析，通过比较该宏块所在的数据包是否丢失来判断该宏块是否为受损宏块，若宏块(i,j)所在的数据包丢失，则该宏块为受损宏块，即isflag(i,j)为1，反之isflag(i,j)为0；
S02：根据宏块的参考宏块是否为受损宏块来判断宏块是否为受损宏块，若宏块(i,j)的参考宏块是受损宏块，则该宏块为受损宏块，即isflag(i,j)为1，反之isflag(i,j)为0。
本发明一实施例中，所述的时域特性的计算按照以下方案实现：用宏块的运动剧烈程度(Motion Active,MA)表示宏块的时域特性，                                               ，其中MA(i,j)表示宏块(i,j)的运动剧烈程度，mvx(i,j)和mvy(i,j)分别表示宏块(i,j)的运动矢量的x分量和y分量，运动矢量的x分量和y分量分别表示宏块较其参考宏块在水平和垂直方向上的相对位移。
本发明一实施例中，所述的空域特性用每帧图像的空域复杂度表征，，其中SIF t 表示第t帧图像的空域复杂度，n表示该帧图像包含n个受损区域，SI i 为该帧图像中第i个受损区域的空域复杂度。
本发明一实施例中，所述的受损区域指同一帧图像中相邻的受损宏块组成的集合。查找受损区域的具体步骤如下：
S11：在一帧图像中按照从左到右、从上到下的顺序查找第一个受损宏块，将其作为受损区域C m 的中心；
S12：在该帧图像中查找与受损区域C m 相邻的受损宏块，且该宏块未被归到其他受损区域，将其并入到受损区域C m ；
S13：重复S32直到该帧图像中没有与受损区域C m 相邻的受损宏块或者已经把所有的受损宏块都规定受损区域。
本发明一实施例中，所述的受损区域的空域复杂度的计算按照以下方案实现：，其中m表示该受损区域所包含的受损宏块的个数，表示该区域中的第i个受损宏块的DCT直流系数DC，是该受损区域中所有的受损宏块的DCT直流系数DC的平均值。
本发明一实施例中，所述的关联时域和空域按照以下方案实现：宏块(i,j)的权重value(i,j)表示时域和空域间的关联对视频质量的影响。确定value(i,j)的具体步骤如下：
S21：若宏块(i,j)的isflag(i,j)值为0，则该宏块的value(i,j)值也为0；
S22：若宏块(i,j)所在的数据包丢失，则该宏块的value(i,j)值为1；
S23：设宏块(i,j)的参考宏块为宏块(k,l),且isflag(i,j)值为1，若MA(i,j)大于MA(k,l)，则value(i,j)为2*value(k,l)；若MA(i,j)小于MA(k,l)，则value(i,j)为0.5*value(k,l)。
本发明一实施例中，所述步骤S5的视频质量的计算按照以下方案实现：，其中QV为视频质量，n表示该视频中存在n个特殊视频序列，为视频中第i个特殊视频序列的质量；所述的特殊视频序列用视频序列<f1,f2…f M >表示，其中M大于或者等于该视频序列的图像组长度，且Qfj 大于10，Qfj 为f j 帧图像的质量，。
本发明的有益成果是：本发明提出了一种时空联合的无参考视频质量检测方法，通过码流感知得到由丢包引发的视频质量损伤，考虑时域特性和空域特性并关联时域和空域评价每帧图像质量，结合图像质量得到视频质量，该方法简单，实现灵活，具有较强的实用性。
附图说明
图1是时空联合的无参考视频质量检测方法的流程图。
具体实施方式
请参照图1，本发明时空联合的无参考视频质量检测方法，通过码流感知得到由丢包引发的视频质量损伤，考虑时域特性和空域特性并关联时域和空域评价每帧图像质量，结合图像质量得到视频质量，具体如下：
1、评价网络丢包引发的视频质量损伤。用受损宏块的个数表示网络丢包引发的视频质量损伤，受损宏块指受网络丢包影响的宏块，用isflag(i,j)标记宏块(i,j)是否为受损宏块，宏块(i,j)表示宏块位于其所属帧的第i行第j列，标记受损宏块的具体步骤如下：
S01：对网络视频流进行分析，通过比较该宏块所在的数据包是否丢失来判断该宏块是否为受损宏块，若宏块(i,j)所在的数据包丢失，则该宏块为受损宏块，即isflag(i,j)为1，反之isflag(i,j)为0；
S02：根据宏块的参考宏块是否为受损宏块来判断宏块是否为受损宏块，若宏块(i,j)的参考宏块是受损宏块，则该宏块为受损宏块，即isflag(i,j)为1，反之isflag(i,j)为0。
2、计算时域特性和空域特性。用宏块的运动剧烈程度(Motion Active,MA)表示宏块的时域特性，，其中MA(i,j)表示宏块(i,j)的运动剧烈程度，mvx(i,j)和mvy(i,j)分别表示宏块(i,j)的运动矢量的x分量和y分量，运动矢量的x分量和y分量分别表示宏块较其参考宏块在水平和垂直方向上的相对位移。受损区域指同一帧图像中相邻的受损宏块组成的集合。查找受损区域的具体步骤如下：
S11：在一帧图像中按照从左到右、从上到下的顺序查找第一个受损宏块，将其作为受损区域C m 的中心；
S12：在该帧图像中查找与受损区域C m 相邻的受损宏块，且该宏块未被归到其他受损区域，将其并入到受损区域C m ；
S13：重复S32直到该帧图像中没有与受损区域C m 相邻的受损宏块或者已经把所有的受损宏块都规定受损区域。
受损区域的空域复杂度的计算按照以下方案实现：，其中m表示该受损区域所包含的受损宏块的个数，表示该区域中的第i个受损宏块的DCT直流系数DC，是该受损区域中所有的受损宏块的DCT直流系数DC的平均值。空域特性用每帧图像的空域复杂度表征，，其中SIF t 表示第t帧图像的空域复杂度，n表示该帧图像包含n个受损区域，SI i 为该帧图像中第i个受损区域的空域复杂度。
3、关联时域和空域。宏块(i,j)的权重value(i,j)表示时域和空域间的关联对视频质量的影响。确定value(i,j)的具体步骤如下：
S21：若宏块(i,j)的isflag(i,j)值为0，则该宏块的value(i,j)值也为0；
S22：若宏块(i,j)所在的数据包丢失，则该宏块的value(i,j)值为1；
S23：设宏块(i,j)的参考宏块为宏块(k,l),且isflag(i,j)值为1，若MA(i,j)大于MA(k,l)，则value(i,j)为2*value(k,l)；若MA(i,j)小于MA(k,l)，则value(i,j)为0.5*value(k,l)。
4、计算每帧图像质量。，其中Q t 表示视频序列中第t帧图像的质量，W、S表示每帧图像中列和行包含的宏块数。
5、计算视频质量。该视频质量的计算按照以下方案实现：，其中QV为视频质量，n表示该视频中存在n个特殊视频序列，为视频中第i个特殊视频序列的质量；所述的特殊视频序列用视频序列<f1,f2…f M >表示，其中M大于或者等于该视频序列的图像组长度，且Qfj 大于10，Qfj 为f j 帧图像的质量，。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (1)

1.一种时空联合的无参考视频质量检测方法，其特征在于：评价视频质量时不仅考虑时域特性和空域特性，还考虑了时域和空域间的关联，具体步骤如下：
S1：评价网络丢包引发的视频质量损伤；
S2：计算时域特性和空域特性；
S3：关联时域和空域；
S4：计算每帧图像质量；
S5：计算视频质量;
所述步骤S1中评价网络丢包引发的视频质量损伤主要通过受损宏块的个数表示;
所述的受损宏块指受网络丢包影响的宏块；用isflag(i,j)标记宏块(i,j)是否为受损宏块，宏块(i,j)表示宏块位于其所属帧的第i行第j列，标记受损宏块的具体步骤如下：
S21：对网络视频流进行分析，通过比较该宏块所在的数据包是否丢失来判断该宏块是否为受损宏块，若宏块(i,j)所在的数据包丢失，则该宏块为受损宏块，即isflag(i,j)为1，反之isflag(i,j)为0；
S22：根据宏块的参考宏块是否为受损宏块来判断宏块是否为受损宏块，若宏块(i,j)的参考宏块是受损宏块，则该宏块为受损宏块，即isflag(i,j)为1，反之isflag(i,j)为0;
所述步骤S2的时域特性的计算按照以下方案实现：用宏块的运动剧烈程度(Motion Active,MA)表示宏块的时域特性，                                               ，其中MA(i,j)表示宏块(i,j)的运动剧烈程度，mvx(i,j)和mvy(i,j)分别表示宏块(i,j)的运动矢量的x分量和y分量，运动矢量的x分量和y分量分别表示宏块较其参考宏块在水平和垂直方向上的相对位移;
所述步骤S2的空域特性用每帧图像的空域复杂度表征，，其中SIF t 表示第t帧图像的空域复杂度，n表示该帧图像包含n个受损区域，SI i 为该帧图像中第i个受损区域的空域复杂度;
所述的受损区域指同一帧图像中相邻的受损宏块组成的集合；查找受损区域的具体步骤如下：
S31：在一帧图像中按照从左到右、从上到下的顺序查找第一个受损宏块，将其作为受损区域C m 的中心；
S32：在该帧图像中查找与受损区域C m 相邻的受损宏块，且该宏块未被归到其他受损区域，将其并入到受损区域C m ；
S33：重复S32直到该帧图像中没有与受损区域C m 相邻的受损宏块或者已经把所有的受损宏块都规定受损区域;
所述的受损区域的空域复杂度的计算按照以下方案实现：，其中m表示该受损区域所包含的受损宏块的个数，表示该区域中的第i个受损宏块的DCT直流系数DC，是该受损区域中所有的受损宏块的DCT直流系数DC的平均值;
所述步骤S3的关联时域和空域按照以下方案实现：宏块(i,j)的权重value(i,j)表示时域和空域间的关联对视频质量的影响；确定value(i,j)的具体步骤如下：
S41：若宏块(i,j)的isflag(i,j)值为0，则该宏块的value(i,j)值也为0；
S42：若宏块(i,j)所在的数据包丢失，则该宏块的value(i,j)值为1；
S43：设宏块(i,j)的参考宏块为宏块(k,l),且isflag(i,j)值为1，该宏块所在的数据包未丢失，若MA(i,j)大于MA(k,l)，则value(i,j)为2*value(k,l)；若MA(i,j)小于MA(k,l)，则value(i,j)为0.5*value(k,l);
所述步骤S4的每帧图像质量的计算按照以下方案实现：，其中Q t 表示视频序列中第t帧图像的质量，W、S表示每帧图像中列和行包含的宏块数;
所述步骤S5的视频质量的计算按照以下方案实现：，其中QV为视频质量，n表示该视频中存在n个特殊视频序列，为视频中第i个特殊视频序列的质量；所述的特殊视频序列用视频序列<f1,f2…f M >表示，其中M大于或者等于该视频序列的图像组长度，且Qfj 大于10，Qfj 为f j 帧图像的质量，。
CN201310292740.2A 2013-07-12 2013-07-12 一种时空联合的无参考视频质量检测方法 Expired - Fee Related CN103391450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310292740.2A CN103391450B (zh) 2013-07-12 2013-07-12 一种时空联合的无参考视频质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310292740.2A CN103391450B (zh) 2013-07-12 2013-07-12 一种时空联合的无参考视频质量检测方法

Publications (2)

Publication Number Publication Date
CN103391450A CN103391450A (zh) 2013-11-13
CN103391450B true CN103391450B (zh) 2015-07-01

Family

ID=49535594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310292740.2A Expired - Fee Related CN103391450B (zh) 2013-07-12 2013-07-12 一种时空联合的无参考视频质量检测方法

Country Status (1)

Country Link
CN (1) CN103391450B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945219A (zh) * 2014-04-30 2014-07-23 北京邮电大学 一种网络侧视频质量监测系统
CN104092960B (zh) * 2014-07-26 2017-06-06 福州大学 一种基于视觉主观感受的视频源切换方法
CN105828064B (zh) * 2015-01-07 2017-12-12 中国人民解放军理工大学 融合局部和全局时空特性的无参考视频质量评估方法
CN106341677B (zh) * 2015-07-07 2018-04-20 中国科学院深圳先进技术研究院 虚拟视点视频质量评价方法
CN106888376B (zh) * 2017-02-13 2018-09-25 公安部交通管理科学研究所 基于丢包分析的多级联网监控视频质量实时评价方法
CN109862350B (zh) * 2019-02-27 2020-09-22 江南大学 基于时空域特征提取的无参考视频质量评价方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024431A (zh) * 2012-12-11 2013-04-03 福州大学 基于视频质量评估的视频自适应传输策略
CN103108210A (zh) * 2013-03-07 2013-05-15 福州大学 基于空域复杂度的无参考视频质量评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100584047C (zh) * 2008-06-25 2010-01-20 厦门大学 面向无线网络的视频质量自动评测系统及其评测方法
CN101742355B (zh) * 2009-12-24 2012-02-15 厦门大学 基于空时域特征提取的无线视频部分参考测评方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024431A (zh) * 2012-12-11 2013-04-03 福州大学 基于视频质量评估的视频自适应传输策略
CN103108210A (zh) * 2013-03-07 2013-05-15 福州大学 基于空域复杂度的无参考视频质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于空域和时域的视频质量评价模型;赵婷;《中国优秀硕士学位论文全文数据库信息科技辑》;20111015(第8期);第138-788页 *
数字视频质量评价方法综述;李永强等;《电视技术》;20060630(第288期);全文 *

Also Published As

Publication number Publication date
CN103391450A (zh) 2013-11-13

Similar Documents

Publication Publication Date Title
CN103391450B (zh) 一种时空联合的无参考视频质量检测方法
US20200007859A1 (en) Scene change detection for perceptual quality evaluation in video sequences
CN106028026A (zh) 一种基于时空域结构的高效视频质量客观评价方法
CN103108210B (zh) 基于空域复杂度的无参考视频质量评价方法
CN104093021B (zh) 一种监控视频压缩方法
WO2007118197A3 (en) Electronic video image stabilization
HRP20141060T1 (hr) Model kvalitete videa ovisan o sadržaju, za servise koji omoguä†uju video strujanje
US20100124277A1 (en) Video encoding with even bit stream
WO2016155070A1 (zh) 一种面向多纹理多深度视频的相邻视差矢量获取方法
WO2009105812A8 (en) Spatio-activity based mode matching
CN102984541B (zh) 一种基于像素域失真度估计的视频质量评价方法
CN102164281B (zh) 一种基于视觉显著度模型的视频编码码率控制方法
CN102637295B (zh) 一种快速图像电子稳定方法及装置
Zhu et al. SJTU 4K video subjective quality dataset for content adaptive bit rate estimation without encoding
CN110519591A (zh) 一种基于多用途编码中帧内编码的预测模式快速选择方法
WO2020016745A3 (en) Extension of look-up table based motion vector prediction with temporal information
Liu et al. A novel rate control scheme for panoramic video coding
CN104243974B (zh) 一种基于三维离散余弦变换的立体视频质量客观评价方法
CN101572810A (zh) 一种基于感兴趣区的视频编码方法
CN103581685B (zh) H264参考帧选择方法及其装置
Wang et al. Quality assessment for MPEG-2 video streams using a neural network model
Xiang et al. Auto-regressive model based error concealment scheme for stereoscopic video coding
Gu et al. Simplified depth intra mode selection for 3D video compression
WO2016154888A1 (zh) 一种图像编码的方法及编码装置
TWI254257B (en) Method and system for non-iterative global motion estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150701

Termination date: 20200712

CF01 Termination of patent right due to non-payment of annual fee