CN104159104A - 基于多级梯度相似的全参考视频质量评估方法 - Google Patents
基于多级梯度相似的全参考视频质量评估方法 Download PDFInfo
- Publication number
- CN104159104A CN104159104A CN201410439283.XA CN201410439283A CN104159104A CN 104159104 A CN104159104 A CN 104159104A CN 201410439283 A CN201410439283 A CN 201410439283A CN 104159104 A CN104159104 A CN 104159104A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- video
- visual information
- reference video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 239000000654 additive Substances 0.000 claims description 16
- 230000000996 additive effect Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于多级梯度相似的全参考视频质量评估方法,考虑到人眼视觉系统各视区对视频图像像素级,边缘级,对象级,图像级的不同感知能力,通过参考视频与测试视频间的帧梯度相似性反映了失真区域的大小,更全面地反映视频质量。
Description
技术领域
本发明提出一种图像处理技术,特别涉及对图像质量的评估技术。
背景技术
伴随着视频多媒体技术的日益发展与成熟,人们日常生活中涌现了大量的视频应用。通常视频信号在经过压缩和传输之后会导致不同程度的失真。如何去评估这些失真视频的主观质量,对于压缩和传输系统的设计、性能的评估和控制都有重要的意义。
研究视频主观质量评估方法的目的就是设计出相应测度来计算视频质量,使得计算出来的视频质量和人工打分相关性很高。视频主观质量的好坏最直观的方法就是让受试者来打分,即人工打分。然而实际应用中这种方法可操作性太低了。比如,在一些视频质量检测系统里长期采用人工打分的方法是不现实的。因此,通过一个客观测度计算出相应的视频质量打分也就尤为重要。
申请号为201310428740.0的发明申请“基于视觉信息失真分解的全参考视频质量评估方法”公开了一种通过计算参考图像和测试图像间像素级梯度相似性、块梯度相似性来衡量图像失真大小而从进行图像质量评估的方法。该评估方法由于进行参考图像与测试图像间相似性计算时是取像素级梯度相似性、块梯度相似性的均值,不能反映出失真区域的大小。
发明内容
本发明所要解决的技术问题是,提供一种能考虑失真区域的大小进行视频质量评估的方法。
本发明为解决上述技术问题所采样的技术方案是,基于多级梯度相似的全参考视频质量评估方法,包括以下步骤:
1)对参考视频和测试视频分别进行去噪,把每个视频分成加性噪声部分和主要视觉信息部分,Nt和Pt分别表示测试视频的加性噪声部分和主要视觉信息部分,Nr和Pr分别表示参考视频的加性噪声部分和主要视觉信息部分;
2)用三维索贝尔Sobel算子提取参考视频主要视觉信息部分、测试视频主要视觉信息部分中各像素的时空梯度向量;计算参考视频与测试视频的像素级梯度相似性Sp(x):
其中,x表示像素坐标,gr和gt分别为用三维索贝尔Sobel算子提取的参考视频和测试视频中主要视觉信息部分位置为x的像素的时空梯度向量,C1为避免分母为零的常数项;
4)对参考视频主要视觉信息部分、测试视频主要视觉信息部分进行下采样,通过二维Sobel算子提取下采样后的参考视频主要视觉信息部分和下采样后的测试视频主要视觉信息部分中各图像块的时空梯度向量,计算参考视频与测试视频的块梯度相似性Sb(x):
其中,和分别表示通过二维Sobel算子提取的下采样后的参考视频和测试视频中主要视觉信息部分位置为x的像素所在图像块的空间梯度向量;
5)对参考视频和测试视频中每一帧进行显著像素点的提取,计算参考视频与测试视频间的帧梯度相似性Sf(p):
其中,Cr和Ct分别表示参考视频与测试视频中第p帧的显著像素集合,|·|表示取集合中元素的个数,∪表示并集运算;
6)计算参考视频第p帧和测试视频第p帧的主要视觉信息部分的相似性为:
7)结合各级梯度相似性得到测试视频的单帧质量Soverall(p)为:
其中,Snoi(p)为参考视频第p帧和测试视频第p帧的加性噪声部分的相似性,MSE(Nr,Nt)表示参考视频第p帧的加性噪声部分Nr和测试视频第p帧的加性噪声部分Nt的均方误差;
8)对测试视频中所有单帧质量取均值得到整个测试视频的质量。
本发明的有益效果是,考虑到人眼视觉系统各视区对视频图像像素级,边缘级,对象级,图像级的不同感知能力,通过参考视频与测试视频间的帧梯度相似性反映了失真区域的大小,更全面地反映视频质量。
附图说明
图1:本发明流程图。
具体实施方式
本方法主要从像素级,边缘级,对象级相似来衡量视频图像的失真。像素级失真则是提取像素的3维梯度信息,而块级失真则是通过下采样图像的梯度相似性来衡量,帧级的相似用视频图像中显著像素个数变换来衡量。
首先,为衡量像素级相似性,对参考视频R和测试视频T分别进行去噪,把每个视频分成加性噪声部分Nr和Nt和主要视觉信息Pr和Pt部分。去噪可以采用现有方法。其中,Nt和Pt分别表示测试视频的加性噪声部分和主要视觉信息部分,Nr和Pr分别表示参考视频的加性噪声部分和主要视觉信息部分。
因此,Nr和Nt可以用来描述的加性噪声失真,第p帧的加性噪声失真通过如下公式来衡量。
其中,MSE(Nr,Nt)表示Nr和Nt的均方误差,log10(2552)是一个归一化项,使得上式的计算结构在0到1之间。
第二,像素级的失真主要用到时空梯度信息,用3维Sobel算子提取分别对Pr和Pt中对应像素位置x求时空梯度信息g=(gx,gy,gt)。其中,gx,gy为空间梯度信息,表示图像中在x轴、y轴上的梯度,gt为时间梯度信息,表示在当前帧的前一帧与后一帧像素位置x所在区域的差值。像素级的相似性通过如下公式来衡量:
其中,gr和gt分别参考视频和测试视频中主要视觉信息部分位置为x的像素的时空梯度向量,‖gr‖和‖gt‖分别表示向量gr和gt的模。常数项C1=0.03×2552为避免分母为零。上式中第一个分式表示的是梯度的幅度相似,第二个分式表示的是梯度方向的相似。可简化为下式:
第三,块级失真采用下采样图像的空间梯度相似来衡量。首先对Pr和Pt进行下采样,水平垂直方向采用率均为1/8。也就是求取每个不重叠8x8块的均值为下采样的图像。然后通过2维Sobel算子对下采样之后的参考帧和测试针求取空间梯度信息块级相似表示为:
其中,和分别表示下采样后的参考视频和测试视频中主要视觉信息部分位置为x的像素所在图像块的空间梯度向量。
第四,考虑到显著性对视频质量的影响,本方法中像素级相似性和块级相似性均只考虑显著像素,显著性的标准则采用梯度的幅度大小。当梯度大于阈值th时,该相似为显著的。反之,则为非显著像素。实验验证得出结论,较广的取值范围下得阈值th都能取得较高的评估性能。
整个图像级相似性衡量主要考虑图像显著性的变化,具体计算如下:
其中,Cr和Ct分别表示表示参考视频与测试视频中第p帧的显著像素集合,|Cr|则表示参考视频帧中显著像素的个数,|Cr∪Ct|表示参考视频和测试视频帧显著像素并集的个数。
最后,主要视觉信息部分的相似性计算为:
结合像素级相似性,单个视频帧的质量为:
整个视频的质量则是对所有帧的质量求平均。
Claims (1)
1.基于多级梯度相似的全参考视频质量评估方法,其特征在于,包括以下步骤:
1)对参考视频和测试视频分别进行去噪,把每个视频分成加性噪声部分和主要视觉信息部分,Nt和Pt分别表示测试视频的加性噪声部分和主要视觉信息部分,Nr和Pr分别表示参考视频的加性噪声部分和主要视觉信息部分;
2)用三维索贝尔Sobel算子提取参考视频主要视觉信息部分、测试视频主要视觉信息部分中各像素的时空梯度向量;计算参考视频与测试视频的像素级梯度相似性Sp(x):
其中,x表示像素坐标,gr和gt分别为用三维索贝尔Sobel算子提取的参考视频和测试视频中主要视觉信息部分位置为x的像素的时空梯度向量,C1为避免分母为零的常数项;
4)对参考视频主要视觉信息部分、测试视频主要视觉信息部分进行下采样,通过二维Sobel算子提取下采样后的参考视频主要视觉信息部分和下采样后的测试视频主要视觉信息部分中各图像块的时空梯度向量,计算参考视频与测试视频的块梯度相似性Sb(x):
其中,和分别表示通过二维Sobel算子提取的下采样后的参考视频和测试视频中主要视觉信息部分位置为x的像素所在图像块的空间梯度向量;
5)对参考视频和测试视频中每一帧进行显著像素点的提取,计算参考视频与测试视频间的帧梯度相似性Sf(p):
其中,Cr和Ct分别表示参考视频与测试视频中第p帧的显著像素集合,|·|表示取集合中元素的个数,∪表示并集运算;
6)计算参考视频第p帧和测试视频第p帧的主要视觉信息部分的相似性为:
7)结合各级梯度相似性得到测试视频的单帧质量Soverall(p)为:
其中,Snoi(p)为参考视频第p帧和测试视频第p帧的加性噪声部分的相似性,MSE(Nr,Nt)表示参考视频第p帧的加性噪声部分Nr和测试视频第p帧的加性噪声部分Nt的均方误差;
8)对测试视频中所有单帧质量取均值得到整个测试视频的质量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410439283.XA CN104159104B (zh) | 2014-08-29 | 2014-08-29 | 基于多级梯度相似的全参考视频质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410439283.XA CN104159104B (zh) | 2014-08-29 | 2014-08-29 | 基于多级梯度相似的全参考视频质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104159104A true CN104159104A (zh) | 2014-11-19 |
CN104159104B CN104159104B (zh) | 2016-02-10 |
Family
ID=51884496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410439283.XA Expired - Fee Related CN104159104B (zh) | 2014-08-29 | 2014-08-29 | 基于多级梯度相似的全参考视频质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104159104B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105491371A (zh) * | 2015-11-19 | 2016-04-13 | 国家新闻出版广电总局广播科学研究院 | 基于梯度幅值相似性的色调映射图像质量评价方法 |
CN106412571A (zh) * | 2016-10-12 | 2017-02-15 | 天津大学 | 一种基于梯度相似性标准差的视频质量评价方法 |
CN108462872A (zh) * | 2018-05-04 | 2018-08-28 | 南京邮电大学 | 一种基于低频显著性的梯度相似视频质量评估方法 |
CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
CN111508525A (zh) * | 2020-03-12 | 2020-08-07 | 上海交通大学 | 一种全参考音频质量评价方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101562758A (zh) * | 2009-04-16 | 2009-10-21 | 浙江大学 | 基于区域权重和人眼视觉特性的图像质量客观评价方法 |
CN101833766A (zh) * | 2010-05-11 | 2010-09-15 | 天津大学 | 基于gssim的立体图像客观质量评价算法 |
CN101978701A (zh) * | 2008-03-21 | 2011-02-16 | 日本电信电话株式会社 | 视频质量客观评价方法、视频质量客观评价设备及程序 |
CN102845071A (zh) * | 2010-04-19 | 2012-12-26 | 杜比实验室特许公司 | 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估 |
CN103152600A (zh) * | 2013-03-08 | 2013-06-12 | 天津大学 | 一种立体视频质量评价方法 |
-
2014
- 2014-08-29 CN CN201410439283.XA patent/CN104159104B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101978701A (zh) * | 2008-03-21 | 2011-02-16 | 日本电信电话株式会社 | 视频质量客观评价方法、视频质量客观评价设备及程序 |
CN101562758A (zh) * | 2009-04-16 | 2009-10-21 | 浙江大学 | 基于区域权重和人眼视觉特性的图像质量客观评价方法 |
CN102845071A (zh) * | 2010-04-19 | 2012-12-26 | 杜比实验室特许公司 | 高动态范围、视觉动态范围和宽色域的图像与视频的质量评估 |
CN101833766A (zh) * | 2010-05-11 | 2010-09-15 | 天津大学 | 基于gssim的立体图像客观质量评价算法 |
CN103152600A (zh) * | 2013-03-08 | 2013-06-12 | 天津大学 | 一种立体视频质量评价方法 |
Non-Patent Citations (1)
Title |
---|
陈玉坤: "基于视觉特征的图像质量评价算法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105491371A (zh) * | 2015-11-19 | 2016-04-13 | 国家新闻出版广电总局广播科学研究院 | 基于梯度幅值相似性的色调映射图像质量评价方法 |
CN106412571A (zh) * | 2016-10-12 | 2017-02-15 | 天津大学 | 一种基于梯度相似性标准差的视频质量评价方法 |
CN106412571B (zh) * | 2016-10-12 | 2018-06-19 | 天津大学 | 一种基于梯度相似性标准差的视频质量评价方法 |
CN108462872A (zh) * | 2018-05-04 | 2018-08-28 | 南京邮电大学 | 一种基于低频显著性的梯度相似视频质量评估方法 |
CN108900864A (zh) * | 2018-07-23 | 2018-11-27 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
CN108900864B (zh) * | 2018-07-23 | 2019-12-10 | 西安电子科技大学 | 基于运动轨迹的全参考视频质量评价方法 |
CN111508525A (zh) * | 2020-03-12 | 2020-08-07 | 上海交通大学 | 一种全参考音频质量评价方法及装置 |
CN111508525B (zh) * | 2020-03-12 | 2023-05-23 | 上海交通大学 | 一种全参考音频质量评价方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN104159104B (zh) | 2016-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104159104B (zh) | 基于多级梯度相似的全参考视频质量评估方法 | |
CN103152600B (zh) | 一种立体视频质量评价方法 | |
CN111932532B (zh) | 胶囊内窥镜无参考图像评价方法、电子设备及介质 | |
CN103347196B (zh) | 一种基于机器学习的立体图像视觉舒适度评价方法 | |
CN101976444B (zh) | 一种基于像素类型的结构类似性图像质量客观评价方法 | |
JP2016534771A5 (zh) | ||
CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
CN105894574A (zh) | 一种双目三维重建方法 | |
CN101996406A (zh) | 无参考结构清晰度图像质量评价方法 | |
WO2010131593A1 (ja) | 画像処理装置および方法、並びにプログラム | |
CN102523477A (zh) | 一种基于双目最小可辨失真模型的立体视频质量评价方法 | |
Yang et al. | Blind assessment for stereo images considering binocular characteristics and deep perception map based on deep belief network | |
CN106651792B (zh) | 一种卫星影像条带噪声去除方法及装置 | |
US20210044791A1 (en) | Video quality determination system and method | |
Chai et al. | Edge detection in ultrasound images using speckle reducing anisotropic diffusion in canny edge detector framework | |
CN104574381A (zh) | 一种基于局部二值模式的全参考图像质量评价方法 | |
CN104021523A (zh) | 一种基于边缘分类的图像超分辨率放大的新方法 | |
CN104103064A (zh) | 基于梯度相似度的无参考噪声图像质量评价方法 | |
Chen et al. | Edge preservation ratio for image sharpness assessment | |
Yalman | Histogram based perceptual quality assessment method for color images | |
Bong et al. | An efficient and training-free blind image blur assessment in the spatial domain | |
JP4818285B2 (ja) | 混雑滞留検知システム | |
CN104200460B (zh) | 基于图像特征和互信息的图像配准方法 | |
CN104185022B (zh) | 基于视觉信息失真分解的全参考视频质量评估方法 | |
Devnani et al. | Comparative analysis of image quality measures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160210 Termination date: 20190829 |
|
CF01 | Termination of patent right due to non-payment of annual fee |