CN103745457A - 一种立体图像客观质量评价方法 - Google Patents

一种立体图像客观质量评价方法 Download PDF

Info

Publication number
CN103745457A
CN103745457A CN201310729004.9A CN201310729004A CN103745457A CN 103745457 A CN103745457 A CN 103745457A CN 201310729004 A CN201310729004 A CN 201310729004A CN 103745457 A CN103745457 A CN 103745457A
Authority
CN
China
Prior art keywords
coordinate position
designated
pixel
gradient
middle coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310729004.9A
Other languages
English (en)
Other versions
CN103745457B (zh
Inventor
蒋刚毅
靳鑫
丁晟
宋洋
郑凯辉
陈芬
王晓东
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Ruiyi Plastic Industry Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201310729004.9A priority Critical patent/CN103745457B/zh
Publication of CN103745457A publication Critical patent/CN103745457A/zh
Application granted granted Critical
Publication of CN103745457B publication Critical patent/CN103745457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种立体图像客观质量评价方法,其在获取待评价的失真的立体图像的客观质量分值时,不仅考虑了待评价的失真的立体图像的左视点图像与原始的无失真的立体图像的左视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,及待评价的失真的立体图像的右视点图像与原始的无失真的立体图像的右视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,还考虑了人眼在观察立体图像时会产生的双目掩盖效应,将结构失真与双目掩盖效应相结合,使得对待评价的失真的立体图像的客观评价结果与主观感知的一致性更高。

Description

一种立体图像客观质量评价方法
技术领域
本发明涉及一种图像质量评价技术,尤其是涉及一种立体图像客观质量评价方法。 
背景技术
立体图像的质量作为衡量立体视频系统性能的重要指标,如何有效的评价立体图像的质量已成为热门课题。立体图像的质量评价分为主观质量评价和客观质量评价,主观质量评价就是把多名观察者对立体图像的质量进行加权平均,其结果最能符合人眼视觉系统特性,但是操作复杂、费时耗力,且无法集成到立体视频系统中,因此对立体图像的质量评价主要着力于客观质量评价。 
目前,立体图像的客观质量评价方法主要分为两类:1)在传统的2D图像质量评价方法上,加上立体感评价;2)从双目视觉特性出发,建立3D评价模型来直接评价立体图像的质量。第一种方法简单,但是从本质上来看,这种方法并不能称为真正的立体图像质量评价方法。第二种方法更多的考虑了人眼对立体图像的感知特性,因此理论上这种方法更适合用于对立体图像的质量进行评价,但是由于目前模拟双目视觉特性的模型不够成熟,因此在建立立体图像客观评价模型的过程中也无法对双目视觉特性进行完整的模拟,图像客观评价结果与主观感知之间的一致性不是很理想。 
发明内容
本发明所要解决的技术问题是提供一种立体图像客观质量评价方法,其能够有效地提高图像客观评价结果与主观感知之间的一致性。 
本发明解决上述技术问题所采用的技术方案为:一种立体图像客观质量评价方法,其特征在于该方法的实现过程如下: 
令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR; 
将XL、XR、YL和YR分别分割成多个图像块,再计算XL、XR、YL和YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,同时计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,并计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差; 
通过水平方向和垂直方向的3×3Soble算子,获取XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,再根据XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,获取XL、XR、YL和YR各自的梯度图; 
根据XL和YL的梯度图,获取XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差,获取XL和YL中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差及XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XL和YL中所有的坐标位置相同的两个像素点之间的结构度相似度;同样,根据XR和YR的梯度图,获取XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差,获取XR和YR中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差及XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XR和YR中所有的坐标位置相同的两个像素点之间的结构度相似度;再根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,并根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个 像素点之间的基于梯度的结构相似度; 
获取XL和XR各自的双目恰可觉察失真图; 
根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图,获取YL的客观质量分值;同样,根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图,获取YR的客观质量分值; 
根据YL的客观质量分值和YR的客观质量分值,获取Y的客观质量分值。 
本发明的立体图像客观质量评价方法具体包括以下步骤: 
①令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR; 
②采用尺寸大小为8×8的滑动窗口在XL中逐像素点移动,将XL分割成M×N个相重叠的且尺寸大小为8×8的图像块,将XL中坐标位置为(i,j)的图像块记为
Figure BDA0000446181860000031
采用尺寸大小为8×8的滑动窗口在YL中逐像素点移动,将YL分割成M×N个相重叠的且尺寸大小为8×8的图像块,将YL中坐标位置为(i,j)的图像块记为
Figure BDA0000446181860000032
采用尺寸大小为8×8的滑动窗口在XR中逐像素点移动,将XR分割成M×N个相重叠的且尺寸大小为8×8的图像块,将XR中坐标位置为(i,j)的图像块记为
Figure BDA0000446181860000033
采用尺寸大小为8×8的滑动窗口在YR中逐像素点移动,将YR分割成M×N个相重叠的且尺寸大小为8×8的图像块,将YR中坐标位置为(i,j)的图像块记为
Figure BDA0000446181860000034
其中,M=H-7,N=W-7,H表示XL、YL、XR和YR的高度,W表示XL、YL、XR和YR的宽度,1≤i≤M,1≤j≤N; 
③计算XL中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算YL中 的每个图像块中的所有像素点的亮度均值和亮度标准差,将XL中坐标位置为(i,j)的图像块
Figure BDA0000446181860000041
中的所有像素点的亮度均值和亮度标准差对应记为
Figure BDA0000446181860000042
将YL中坐标位置为(i,j)的图像块
Figure BDA0000446181860000044
中的所有像素点的亮度均值和亮度标准差对应记为
Figure BDA0000446181860000045
μ x i , j L = 1 64 Σ u = 1 8 Σ v = 1 8 x i , j L ( u , v ) σ x i , j L = 1 64 Σ u = 1 8 Σ v = 1 8 ( x i , j L ( u , v ) - μ x i , j L ) 2 , μ y i , j L = 1 64 Σ u = 1 8 Σ v = 1 8 y i , j L ( u , v ) ,
Figure BDA0000446181860000048
其中,1≤u≤8,1≤v≤8,
Figure BDA0000446181860000049
表示中坐标位置为(u,v)的像素点的亮度值,
Figure BDA00004461818600000411
表示
Figure BDA00004461818600000412
中坐标位置为(u,v)的像素点的亮度值;然后计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,将XL中坐标位置为(i,j)的图像块
Figure BDA00004461818600000413
与YL中坐标位置为(i,j)的图像块
Figure BDA00004461818600000414
之间的亮度协方差记为  σ x i , j L y i , j L , σ x i , j L y i , j L = 1 64 Σ u = 1 8 Σ v = 1 8 [ ( x i , j L ( u , v ) - μ x i , j L ) × ( y i , j L ( u , v ) - μ y i , j L ) ] ;
同样,计算XR中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,将XR中坐标位置为(i,j)的图像块
Figure BDA00004461818600000416
中的所有像素点的亮度均值和亮度标准差对应记为
Figure BDA00004461818600000417
将YR中坐标位置为(i,j)的图像块
Figure BDA00004461818600000419
中的所有像素点的亮度均值和亮度标准差对应记为
Figure BDA00004461818600000420
和  σ y i , j R , μ x i , j R = 1 64 Σ u = 1 8 Σ v = 1 8 x i , j R ( u , v ) , σ x i , j R = 1 64 Σ u = 1 8 Σ v = 1 8 ( x i , j R ( u , v ) - μ x i , j R ) 2 , μ y i , j R = 1 64 Σ u = 1 8 Σ v = 1 8 y i , j R ( u , v ) , σ y i , j R = 1 64 Σ u = 1 8 Σ v = 1 8 ( y i , j R ( u , v ) - μ y i , j R ) 2 , 其中,1≤u≤8,1≤v≤8, 
Figure BDA00004461818600000423
表示
Figure BDA00004461818600000424
中坐标位置为(u,v)的像素点的亮度值,
Figure BDA00004461818600000425
表示
Figure BDA00004461818600000426
中坐标位置为(u,v)的像素点的亮度值;然后计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,将XR中坐标位置为(i,j)的图像块
Figure BDA00004461818600000427
与YR中坐标位置为(i,j)的图像块 
Figure BDA0000446181860000051
之间的亮度协方差记为
Figure BDA0000446181860000052
σ x i , j R y i , j R = 1 64 Σ u = 1 8 Σ v = 1 8 [ ( x i , j R ( u , v ) - μ x i , j R ) × ( y i , j R ( u , v ) - μ y i , j R ) ] ;
④对XL分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到XL的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure BDA0000446181860000055
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure BDA0000446181860000058
t X L , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA00004461818600000510
Figure BDA00004461818600000511
其中,1≤p≤H,1≤q≤W,-1≤u'≤1,-1≤v'≤1,XL(p,q)表示XL中坐标位置为(p,q)的像素点的亮度值,XL(p+u',q+v')表示XL中坐标位置为(p+u',q+v')的像素点的亮度值,wh(u'+2,v'+2)表示水平方向的3×3Soble算子wh中坐标位置为(u'+2,v'+2)处的值,wv(u'+2,v'+2)表示垂直方向的3×3Soble算子wv中坐标位置为(u'+2,v'+2)处的值; 
对YL分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到YL的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure BDA00004461818600000513
Figure BDA00004461818600000514
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure BDA00004461818600000515
Figure BDA00004461818600000516
t T L , v  中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA0000446181860000061
Figure BDA0000446181860000062
其中,YL(p,q)表示YL中坐标位置为(p,q)的像素点的亮度值,YL(p+u',q+v')表示YL中坐标位置为(p+u',q+v')的像素点的亮度值; 
对XR分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到XR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure BDA0000446181860000063
Figure BDA0000446181860000064
Figure BDA0000446181860000065
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure BDA0000446181860000066
Figure BDA0000446181860000067
t X R , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA0000446181860000069
Figure BDA00004461818600000610
其中,XR(p,q)表示XR中坐标位置为(p,q)的像素点的亮度值,XR(p+u',q+v')表示XR中坐标位置为(p+u',q+v')的像素点的亮度值; 
对YR分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到YR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure 20131072900491000023
Figure BDA00004461818600000612
Figure BDA00004461818600000613
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure BDA00004461818600000614
Figure BDA0000446181860000071
t Y R , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA0000446181860000073
Figure BDA0000446181860000074
其中,YR(p,q)表示YR中坐标位置为(p,q)的像素点的亮度值,YR(p+u',q+v')表示YR中坐标位置为(p+u',q+v')的像素点的亮度值; 
⑤根据XL的水平方向梯度矩阵映射图
Figure BDA0000446181860000075
和垂直方向梯度矩阵映射图获取XL的梯度图,记为
Figure BDA0000446181860000077
Figure BDA0000446181860000078
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA0000446181860000079
T X L ( p , q ) = ( t X L , h ( p , q ) ) 2 + ( t X L , v ( p , q ) ) 2 , 其中,1≤p≤H,1≤q≤W; 
根据YL的水平方向梯度矩阵映射图
Figure BDA00004461818600000711
和垂直方向梯度矩阵映射图
Figure BDA00004461818600000712
获取YL的梯度图,记为
Figure BDA00004461818600000713
Figure BDA00004461818600000714
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA00004461818600000715
T Y L ( p , q ) = ( t Y L , h ( p , q ) ) 2 + ( t Y L , v ( p , q ) ) 2 ;
根据XR的水平方向梯度矩阵映射图
Figure BDA00004461818600000717
和垂直方向梯度矩阵映射图
Figure BDA00004461818600000718
获取XR的梯度图,记为
Figure BDA00004461818600000719
Figure BDA00004461818600000720
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA00004461818600000721
T X R ( p , q ) = ( t X R , h ( p , q ) ) 2 + ( t X R , v ( p , q ) ) 2 ;
根据YR的水平方向梯度矩阵映射图
Figure BDA00004461818600000723
和垂直方向梯度矩阵映射图
Figure BDA00004461818600000724
获取YR的梯度图,记为
Figure BDA00004461818600000725
Figure BDA00004461818600000726
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA00004461818600000727
T Y R ( p , q ) = ( t Y R , h ( p , q ) ) 2 + ( t Y R . v ( p , q ) ) 2 ;
⑥计算XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为gL(p,q)、cL(p,q)和sL(p,q), g L ( p , q ) = 2 × T X L ( p , q ) × T Y L ( p , q ) + C 1 ( T X L ( p , q ) ) 2 + ( T Y L ( p , q ) ) 2 + C 1 ,
Figure BDA0000446181860000082
Figure BDA0000446181860000083
其中,C1、C2、C3为避免分母出现零而设置的小值常数; 
同样,计算XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为gR(p,q)、cR(p,q)和sR(p,q), g R ( p , q ) = 2 × T X R ( p , q ) × T Y R ( p , q ) + C 1 ( T X R ( p , q ) ) 2 + ( T Y R ( p , q ) ) 2 + C 1 ,
Figure BDA0000446181860000085
⑦根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相 似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIML(p,q),GSSIML(p,q)=gL(p,q)×cL(p,q)×sL(p,q); 
根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIMR(p,q),GSSIMR(p,q)=gR(p,q)×cR(p,q)×sR(p,q); 
⑧获取XL的双目恰可觉察失真图,记为BJNDL,将BJNDL中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJNDL(p,q), 其中, 
Figure BDA0000446181860000092
表示XR中坐标位置为(i',j)的图像块
Figure BDA0000446181860000093
中的所有像素点的亮度均值,
Figure BDA0000446181860000094
表示
Figure BDA0000446181860000095
中坐标位置为(p',q)的像素点的梯度值,dL(p,q)表示XL中坐标位置为(p,q)的像素点的水平视差值, A limit ( &mu; x i &prime; , j R ) = 0.0027 &times; ( &mu; x i &prime; , j R 2 - 96 &times; &mu; x i &prime; , j R ) + 8 0 &le; &mu; x i &prime; , j R < 48 0.0001 &times; ( &mu; x i &prime; , j R 2 - 32 &times; &mu; x i &prime; , j R ) + 1 . 7 48 &le; &mu; x i &prime; , j R &le; 255 , K ( &mu; x i &prime; , j R ) = - 10 - 6 &times; ( 0.7 &times; &mu; x i &prime; , j R 2 + 32 &times; &mu; x i &prime; , j R ) + 0.07 ;
获取XR的双目恰可觉察失真图,记为BJNDR,将BJNDR中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJNDR(p,q), 其中,
Figure BDA0000446181860000102
表示XL中坐标位置为(i',j)的图像块中的所有像素点的亮度均值,
Figure BDA0000446181860000104
表示
Figure BDA0000446181860000105
中坐标位置为(p',q)的像素点的梯度值,dR(p,q)表示XR中坐标位置为(p,q)的像素点的水平视差值, A limit ( &mu; x i &prime; , j L ) = 0.0027 &times; ( &mu; x i &prime; , j L 2 - 96 &times; &mu; x i &prime; , j L ) + 8 0 &le; &mu; x i &prime; , j L < 48 0.0001 &times; ( &mu; x i &prime; , j L 2 - 32 &times; &mu; x i &prime; , j L ) + 1 . 7 48 &le; &mu; x i &prime; , j L &le; 255 , K ( &mu; x i &prime; , j L ) = - 10 - 6 &times; ( 0.7 &times; &mu; x i &prime; , j L 2 + 32 &times; &mu; x i &prime; , j L ) + 0.07 ;
⑨根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图BJNDL,计算YL的客观质量分值,记为QL,  Q L = &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND L ( p &Prime; , q &Prime; ) GSSIM L ( p &Prime; , q &Prime; ) &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND L ( p &Prime; , q &Prime; ) 其中,BJNDL(p'',q'')表示BJNDL中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIML(p'',q'')表示XL中坐标位置为(p'',q'')的像素点与YL中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度; 
根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图BJNDR,计算YR的客观质量分值,记为QR,  Q R = &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND R ( p &Prime; , q &Prime; ) GSSIM R ( p &Prime; , q &Prime; ) &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND R ( p &Prime; , q &Prime; ) 其中,BJNDR(p'',q'')表示BJNDR中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIMR(p'',q'')表示XR中坐标位置为(p'',q'')的像素点与YR中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度; 
⑩根据YL的客观质量分值QL和YR的客观质量分值QR,计算Y的客观质量分值,记为Q3D Q 3 D = Q L + Q R 2 .
所述的步骤④中水平方向的3×3Soble算子 w h = 1 2 1 0 0 0 - 1 - 2 - 1 , 垂直方向的3×3Soble算子 w v = 1 0 - 1 2 0 - 2 1 0 - 1 .
所述的步骤⑥中取C1=0.01、C2=0.02、C3=0.01。 
与现有技术相比,本发明的优点在于: 
1)本发明方法在获取待评价的失真的立体图像的客观质量分值时,不仅考虑了待评价的失真的立体图像的左视点图像与原始的无失真的立体图像的左视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,及待评价的失真的立体图像的右视点图像与原始的无失真的立体图像的右视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,还考虑了人眼在观察立体图像时会产生的双目掩盖效应,将结构失真与双目掩盖效应相结合,使得对待评价的失真的立体图像的客观评价结果与主观感知的一致性更高。 
2)本发明方法在计算待评价的失真的立体图像的左视点图像与原始的无失真的立体图像的左视点图像中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度时,由于利用了待评价的失真的立体图像的左视点图像与原始的无失真的立体图像的左视点图像中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,因此能够准确的度量出失真的立体图像的左视点图像的结构损失程度;同样,在计算待评价的失真的立体图像的右视点图像与原始的无失真的立体图像的右视点图像中坐标位置相同的两个像素点之间的基于梯度的结构相似度时,由于利用了待评价的失真的立体图像的右视点图像与原始的无失真的立体图像的右视点图像中坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,因此能够准确的度量出失真的立体图像的右视点图像的结构损失程度。 
3)本发明方法在模拟人眼的双目掩盖效应时,利用了双目恰可觉察失真值,使得本发明方法的客观评价结果更与主观感知相符。 
附图说明
图1为本发明方法的总体实现框图。 
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。 
本发明提出的一种立体图像客观质量评价方法,其总体实现框图如图1所示,其实现过程如下: 
令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR。 
将XL、XR、YL和YR分别分割成多个图像块,再计算XL、XR、YL和YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,同时计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,并计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差。 
通过水平方向和垂直方向的3×3Soble算子,获取XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,再根据XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,获取XL、XR、YL和YR各自的梯度图。 
根据XL和YL的梯度图,获取XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差,获取XL和YL中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差及XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XL和YL中所有的坐标位置相同的两个像素点之间的结构度相似度;同样,根据XR和YR的梯度图,获取XR和YR中所有的坐标位置相同的两个像素点 之间的梯度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差,获取XR和YR中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差及XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XR和YR中所有的坐标位置相同的两个像素点之间的结构度相似度;再从结构失真的角度,根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,并根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度。 
从双目掩盖效应出发,获取XL和XR各自的双目恰可觉察失真图。 
根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图,即利用XL的双目恰可觉察失真图作为加权项,对XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度进行线性加权求和,获取YL的客观质量分值;同样,根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图,即利用XR的双目恰可觉察失真图作为加权项,对XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度进行线性加权求和,获取YR的客观质量分值。 
根据YL的客观质量分值和YR的客观质量分值,获取Y的客观质量分值,可以取YL的客观质量分值和YR的客观质量分值的均值作为Y的客观质量分值。 
本发明的立体图像客观质量评价方法具体包括以下步骤: 
①令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR。 
②采用尺寸大小为8×8的滑动窗口在XL中逐像素点移动,将XL分割成M×N个相重叠的且尺寸大小为8×8的图像块,将XL中坐标位置为(i,j)的图像块记为
Figure BDA0000446181860000141
采用尺寸大小为8×8的滑动窗口在YL中逐像素点移动,将YL分割成M×N个相重叠的且尺寸大小为8×8的图像块,将YL中坐标位置为(i,j)的图像块记为
Figure BDA0000446181860000142
采用尺寸大小为8×8的滑动窗口在XR中逐像素点移动,将XR分割成M×N个相重叠的且尺寸大小为8×8的图像块,将XR中坐标位置为(i,j)的图像块记为
Figure BDA0000446181860000143
采用尺寸大小为8×8的滑动窗口在YR中逐像素点移动,将YR分割成M×N个相重叠的且尺寸大小为8×8的图像块,将YR中坐标位置为(i,j)的图像块记为
其中,M=H-7,N=W-7,H表示XL、YL、XR和YR的高度,即XL、YL、XR和YR的高度一致,W表示XL、YL、XR和YR的宽度,即XL、YL、XR和YR的宽度一致,1≤i≤M,1≤j≤N。 
③计算XL中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算YL中的每个图像块中的所有像素点的亮度均值和亮度标准差,将XL中坐标位置为(i,j)的图像块中的所有像素点的亮度均值和亮度标准差对应记为
Figure 4
Figure BDA0000446181860000147
将YL中坐标位置为(i,j)的图像块
Figure BDA0000446181860000148
中的所有像素点的亮度均值和亮度标准差对应记为
Figure BDA0000446181860000149
Figure BDA00004461818600001410
&mu; x i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 x i , j L ( u , v ) &sigma; x i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 ( x i , j L ( u , v ) - &mu; x i , j L ) 2 , &mu; y i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 y i , j L ( u , v ) ,
Figure BDA00004461818600001412
其中,1≤u≤8,1≤v≤8,
Figure BDA00004461818600001413
表示
Figure BDA00004461818600001414
中坐标位置为(u,v)的像素点的亮度值,
Figure BDA00004461818600001415
表示
Figure BDA00004461818600001416
中坐标位置为(u,v)的像素点的亮度值;然后计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,将XL中坐标位置为(i,j)的图像块
Figure BDA00004461818600001417
与YL中坐标位置为(i,j)的图像块之间的亮度协方差记为  &sigma; x i , j L y i , j L , &sigma; x i , j L y i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 [ ( x i , j L ( u , v ) - &mu; x i , j L ) &times; ( y i , j L ( u , v ) - &mu; y i , j L ) ] ; 其中,1≤i≤M,1≤j≤N。 
同样,计算XR中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,将XR中坐标位置为(i,j)的图像块
Figure BDA0000446181860000152
中的所有像素点的亮度均值和亮度标准差对应记为
Figure BDA0000446181860000153
Figure BDA0000446181860000154
将YR中坐标位置为(i,j)的图像块
Figure BDA0000446181860000155
中的所有像素点的亮度均值和亮度标准差对应记为和  &sigma; y i , j R , &mu; x i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 x i , j R ( u , v ) , &sigma; x i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 ( x i , j R ( u , v ) - &mu; x i , j R ) 2 , &mu; y i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 y i , j R ( u , v ) , &sigma; y i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 ( y i , j R ( u , v ) - &mu; y i , j R ) 2 , 其中,1≤u≤8,1≤v≤8, 
Figure BDA0000446181860000159
表示
Figure BDA00004461818600001510
中坐标位置为(u,v)的像素点的亮度值,
Figure BDA00004461818600001511
表示
Figure BDA00004461818600001512
中坐标位置为(u,v)的像素点的亮度值;然后计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,将XR中坐标位置为(i,j)的图像块与YR中坐标位置为(i,j)的图像块 
Figure BDA00004461818600001514
之间的亮度协方差记为
Figure BDA00004461818600001515
&sigma; x i , j R y i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 [ ( x i , j R ( u , v ) - &mu; x i , j R ) &times; ( y i , j R ( u , v ) - &mu; y i , j R ) ] , 其中,1≤i≤M,1≤j≤N。 
④对XL分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到XL的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure BDA00004461818600001517
Figure BDA00004461818600001518
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure BDA00004461818600001521
t X L , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA00004461818600001523
Figure BDA0000446181860000161
其中,1≤p≤H,1≤q≤W,-1≤u'≤1,-1≤v'≤1,XL(p,q)表示XL中坐标位置为(p,q)的像素点的亮度值,XL(p+u',q+v')表示XL中坐标位置为(p+u',q+v')的像素点的亮度值,wh(u'+2,v'+2)表示水平方向的3×3Soble算子wh中坐标位置为(u'+2,v'+2)处的值,wv(u'+2,v'+2)表示垂直方向的3×3Soble算子wv中坐标位置为(u'+2,v'+2)处的值。 
对YL分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到YL的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure BDA0000446181860000162
Figure BDA0000446181860000163
Figure BDA0000446181860000164
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure BDA0000446181860000165
Figure BDA0000446181860000166
t Y L , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA0000446181860000169
其中,YL(p,q)表示YL中坐标位置为(p,q)的像素点的亮度值,YL(p+u',q+v')表示YL中坐标位置为(p+u',q+v')的像素点的亮度值。 
对XR分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到XR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure BDA00004461818600001610
Figure BDA00004461818600001612
中坐标 位置为(p,q)的像素点的水平梯度值记为 t X R , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA0000446181860000175
其中,XR(p,q)表示XR中坐标位置为(p,q)的像素点的亮度值,XR(p+u',q+v')表示XR中坐标位置为(p+u',q+v')的像素点的亮度值。 
对YR分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到YR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure BDA0000446181860000176
Figure BDA0000446181860000177
Figure BDA0000446181860000178
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure BDA0000446181860000179
Figure BDA00004461818600001710
t Y R , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure BDA00004461818600001712
Figure BDA00004461818600001713
其中,YR(p,q)表示YR中坐标位置为(p,q)的像素点的亮度值,YR(p+u',q+v')表示YR中坐标 位置为(p+u',q+v')的像素点的亮度值。 
在本实施例中,水平方向的3×3Soble算子 w h = 1 2 1 0 0 0 - 1 - 2 - 1 , 垂直方向的3×3Soble算子 w v = 1 0 - 1 2 0 - 2 1 0 - 1 .
⑤根据XL的水平方向梯度矩阵映射图
Figure BDA0000446181860000183
和垂直方向梯度矩阵映射图获取XL的梯度图,记为
Figure BDA0000446181860000185
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA0000446181860000187
T X L ( p , q ) = ( t X L , h ( p , q ) ) 2 + ( t X L , v ( p , q ) ) 2 , 其中,1≤p≤H,1≤q≤W。 
根据YL的水平方向梯度矩阵映射图
Figure BDA0000446181860000189
和垂直方向梯度矩阵映射图获取YL的梯度图,记为
Figure BDA00004461818600001811
Figure BDA00004461818600001812
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA00004461818600001813
T Y L ( p , q ) = ( t Y L , h ( p , q ) ) 2 + ( t Y L , v ( p , q ) ) 2 .
根据XR的水平方向梯度矩阵映射图
Figure BDA00004461818600001815
和垂直方向梯度矩阵映射图获取XR的梯度图,记为
Figure BDA00004461818600001817
Figure BDA00004461818600001818
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA00004461818600001819
T X R ( p , q ) = ( t X R , h ( p , q ) ) 2 + ( t X R , v ( p , q ) ) 2 .
根据YR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图
Figure BDA00004461818600001822
获取YR的梯度图,记为
Figure BDA00004461818600001824
中坐标位置为(p,q)的像素点的梯度值记为
Figure BDA00004461818600001825
T Y R ( p , q ) = ( t Y R , h ( p , q ) ) 2 + ( t Y R . v ( p , q ) ) 2 .
⑥计算XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为g L(p,q)、cL(p,q)和sL(p,q), g L ( p , q ) = 2 &times; T X L ( p , q ) &times; T Y L ( p , q ) + C 1 ( T X L ( p , q ) ) 2 + ( T Y L ( p , q ) ) 2 + C 1 ,
Figure BDA0000446181860000192
其中,C1、C2、C3为避免分母出现零而设置的小值常数。 
同样,计算XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为gR(p,q)、cR(p,q)和sR(p,q), g R ( p , q ) = 2 &times; T X R ( p , q ) &times; T Y R ( p , q ) + C 1 ( T X R ( p , q ) ) 2 + ( T Y R ( p , q ) ) 2 + C 1 ,
Figure BDA0000446181860000194
Figure BDA0000446181860000195
在本实施例中,取C1=0.01、C2=0.02、C3=0.01。 
⑦根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIML(p,q),GSSIML(p,q)=gL(p,q)×cL(p,q)×sL(p,q)。 
根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIMR(p,q),GSSIMR(p,q)=gR(p,q)×cR(p,q)×sR(p,q)。 
⑧获取XL的双目恰可觉察失真图,记为BJNDL,将BJNDL中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJNDL(p,q), 
Figure BDA0000446181860000201
Figure BDA0000446181860000208
表示XR中坐标位置为(i',j)的图像块
Figure BDA0000446181860000202
中的所有像素点的亮度均值,表示
Figure BDA0000446181860000204
中坐标位置为(p',q)的像素点的梯度值,dL(p,q)表示XL中坐标位置为(p,q)的像素点的水平视差值, A limit ( &mu; x i &prime; , j R ) = 0.0027 &times; ( &mu; x i &prime; , j R 2 - 96 &times; &mu; x i &prime; , j R ) + 8 0 &le; &mu; x i &prime; , j R < 48 0.0001 &times; ( &mu; x i &prime; , j R 2 - 32 &times; &mu; x i &prime; , j R ) + 1 . 7 48 &le; &mu; x i &prime; , j R &le; 255 , K ( &mu; x i &prime; , j R ) = - 10 - 6 &times; ( 0.7 &times; &mu; x i &prime; , j R 2 + 32 &times; &mu; x i &prime; , j R ) + 0.07 ;
获取XR的双目恰可觉察失真图,记为BJNDR,将BJNDR中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJNDR(p,q), 其 中,表示XL中坐标位置为(i',j)的图像块
Figure BDA0000446181860000212
中的所有像素点的亮度均值,
Figure BDA0000446181860000213
表示中坐标位置为(p',q)的像素点的梯度值,dR(p,q)表示XR中坐标位置为(p,q)的像素点的水平视差值, A limit ( &mu; x i &prime; , j L ) = 0.0027 &times; ( &mu; x i &prime; , j L 2 - 96 &times; &mu; x i &prime; , j L ) + 8 0 &le; &mu; x i &prime; , j L < 48 0.0001 &times; ( &mu; x i &prime; , j L 2 - 32 &times; &mu; x i &prime; , j L ) + 1 . 7 48 &le; &mu; x i &prime; , j L &le; 255 , K ( &mu; x i &prime; , j L ) = - 10 - 6 &times; ( 0.7 &times; &mu; x i &prime; , j L 2 + 32 &times; &mu; x i &prime; , j L ) + 0.07 .
⑨根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图BJNDL,计算YL的客观质量分值,记为QL,  Q L = &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND L ( p &Prime; , q &Prime; ) GSSIM L ( p &Prime; , q &Prime; ) &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND L ( p &Prime; , q &Prime; ) 其中,BJNDL(p'',q'')表示BJNDL中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIML(p'',q'')表示XL中坐标位置为(p'',q'')的像素点与YL中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度。 
根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图BJNDR,计算YR的客观质量分值,记为QR,  Q R = &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND R ( p &Prime; , q &Prime; ) GSSIM R ( p &Prime; , q &Prime; ) &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND R ( p &Prime; , q &Prime; ) 其中,BJNDR(p'',q'')表示BJNDR中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIMR(p'',q'')表示XR中坐标位置为(p'',q'')的像素点与YR中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度。 
⑩根据YL的客观质量分值QL和YR的客观质量分值QR,计算Y的客观质量分值,记为Q3D Q 3 D = Q L + Q R 2 .
在本实施例中,使用的图像数据为美国Texas大学图像和视频工程实验室公开 的图像质量估计数据库(LIVE)所提供的385对立体图像,其中包括无失真的参考立体图像20对,失真的立体图像365对。另外,这365对失真的立体图像被分为高斯白噪声失真(WN,white noise)(共80对立体图像)、高斯模糊失真(Gblur,Gaussian blurring)(共45对立体图像)、JPEG失真(共80对立体图像)、JPEG2000失真(共80对立体图像)以及快衰落失真(FF,fast fading)(共80对立体图像);同时,该数据库为每对无失真的立体图像的左视点图像与右视点图像都提供了视差图;每对失真的立体图像均有其唯一的主观分数DMOS(Difference Mean Opinion Scores),且DMOS值越大表示失真的立体图像的质量越差,DMOS值越小表示失真的立体图像的质量越好。 
对这385对失真的立体图像按照步骤①至步骤⑩的操作过程,计算得到每对失真的立体图像的客观质量分值,然后将各失真的立体图像的客观质量分值与其主观分数DMOS使用Logistic四参数函数进行非线性拟合,得到各失真的立体图像的主观预测分数DMOSP。在此基础上,利用评估图像质量评价方法的4个常用客观参量作为评价指标来衡量评价方法的性能,这4个指标分别为非线性回归条件下的Pearson相关系数(Pearson Linear Correlation Coefficient,PLCC)、Spearman相关系数(Spearman Rank Order Correlation Coefficient,SROCC)、Kendall相关系数(Kendall Rank Order Correlation Coefficient,KROCC)和均方误差系数(Rooted Mean Squared Error,RMSE),其中,PLCC、SROCC和KROCC值越高说明立体图像客观质量评价方法与DMOS相关性越好,RMSE值越低说明立体图像客观质量评价方法与DMOS相关性越好。 
表1列出了本发明方法对各失真类型的立体图像的评价性能的PLCC、SROCC、KROCC和RMSE系数的值,从表1所列的数据可见,本实施例得到的失真的立体图像的客观质量分值与主观分数DMOS之间的相关性很高,其中对高斯模糊失真和JPEG2000失真的立体图像的评价效果最佳,两类失真的评价结果中PLCC值均超过0.95,SROCC值均超过0.91,KROCC值均超过0.75,RMSE值均低于4.5;对高斯白噪声失真的立体图像的评价效果次之。从整体上看,本发明方法能够较准确的评价失真的立体图像,整体的PLCC值、SROCC值和KROCC值分别为0.9425、0.9391和0.7752,RMSE值为5.4796,这些数据表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,充分说明了本发明方法的有效性。 
表1  本实施例得到的失真的立体图像的客观质量分值与主观分数之间的相关性 

Claims (4)

1.一种立体图像客观质量评价方法,其特征在于该方法的实现过程如下:
令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR
将XL、XR、YL和YR分别分割成多个图像块,再计算XL、XR、YL和YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,同时计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,并计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差;
通过水平方向和垂直方向的3×3Soble算子,获取XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,再根据XL、XR、YL和YR各自的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,获取XL、XR、YL和YR各自的梯度图;
根据XL和YL的梯度图,获取XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差,获取XL和YL中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XL和YL中的每个图像块中的所有像素点的亮度标准差及XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XL和YL中所有的坐标位置相同的两个像素点之间的结构度相似度;同样,根据XR和YR的梯度图,获取XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差,获取XR和YR中所有的坐标位置相同的两个像素点之间的对比度相似度,根据XR和YR中的每个图像块中的所有像素点的亮度标准差及XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,获取XR和YR中所有的坐标位置相同的两个像素点之间的结构度相似度;再根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,并根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度;
获取XL和XR各自的双目恰可觉察失真图;
根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图,获取YL的客观质量分值;同样,根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图,获取YR的客观质量分值;
根据YL的客观质量分值和YR的客观质量分值,获取Y的客观质量分值。
2.根据权利要求1所述的一种立体图像客观质量评价方法,其特征在于该方法具体包括以下步骤:
①令X表示原始的无失真的立体图像,并令Y表示待评价的失真的立体图像,将X的左视点图像记为XL,将X的右视点图像记为XR,将Y的左视点图像记为YL,将Y的右视点图像记为YR
②采用尺寸大小为8×8的滑动窗口在XL中逐像素点移动,将XL分割成M×N个相重叠的且尺寸大小为8×8的图像块,将XL中坐标位置为(i,j)的图像块记为
Figure FDA0000446181850000021
采用尺寸大小为8×8的滑动窗口在YL中逐像素点移动,将YL分割成M×N个相重叠的且尺寸大小为8×8的图像块,将YL中坐标位置为(i,j)的图像块记为
Figure FDA0000446181850000022
采用尺寸大小为8×8的滑动窗口在XR中逐像素点移动,将XR分割成M×N个相重叠的且尺寸大小为8×8的图像块,将XR中坐标位置为(i,j)的图像块记为
Figure FDA0000446181850000023
采用尺寸大小为8×8的滑动窗口在YR中逐像素点移动,将YR分割成M×N个相重叠的且尺寸大小为8×8的图像块,将YR中坐标位置为(i,j)的图像块记为
其中,M=H-7,N=W-7,H表示XL、YL、XR和YR的高度,W表示XL、YL、XR和YR的宽度,1≤i≤M,1≤j≤N;
③计算XL中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算YL中的每个图像块中的所有像素点的亮度均值和亮度标准差,将XL中坐标位置为(i,j)的图像块
Figure FDA0000446181850000032
中的所有像素点的亮度均值和亮度标准差对应记为
Figure FDA0000446181850000033
Figure FDA0000446181850000034
将YL中坐标位置为(i,j)的图像块
Figure FDA0000446181850000035
中的所有像素点的亮度均值和亮度标准差对应记为
Figure FDA0000446181850000036
Figure FDA0000446181850000037
&mu; x i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 x i , j L ( u , v ) &sigma; x i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 ( x i , j L ( u , v ) - &mu; x i , j L ) 2 , &mu; y i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 y i , j L ( u , v ) ,
Figure FDA0000446181850000039
其中,1≤u≤8,1≤v≤8,
Figure FDA00004461818500000310
表示
Figure FDA00004461818500000311
中坐标位置为(u,v)的像素点的亮度值,
Figure FDA00004461818500000312
表示中坐标位置为(u,v)的像素点的亮度值;然后计算XL和YL中所有的坐标位置相同的两个图像块之间的亮度协方差,将XL中坐标位置为(i,j)的图像块
Figure FDA00004461818500000314
与YL中坐标位置为(i,j)的图像块
Figure FDA00004461818500000315
之间的亮度协方差记为 &sigma; x i , j L y i , j L , &sigma; x i , j L y i , j L = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 [ ( x i , j L ( u , v ) - &mu; x i , j L ) &times; ( y i , j L ( u , v ) - &mu; y i , j L ) ] ;
同样,计算XR中的每个图像块中的所有像素点的亮度均值和亮度标准差,并计算YR中的每个图像块中的所有像素点的亮度均值和亮度标准差,将XR中坐标位置为(i,j)的图像块
Figure FDA00004461818500000317
中的所有像素点的亮度均值和亮度标准差对应记为
Figure FDA00004461818500000318
Figure FDA00004461818500000319
将YR中坐标位置为(i,j)的图像块
Figure FDA00004461818500000320
中的所有像素点的亮度均值和亮度标准差对应记为
Figure FDA00004461818500000321
&sigma; y i , j R , &mu; x i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 x i , j R ( u , v ) , &sigma; x i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 ( x i , j R ( u , v ) - &mu; x i , j R ) 2 , &mu; y i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 y i , j R ( u , v ) , &sigma; y i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 ( y i , j R ( u , v ) - &mu; y i , j R ) 2 , 其中,1≤u≤8,1≤v≤8,
Figure FDA0000446181850000041
中坐标位置为(u,v)的像素点的亮度值,
Figure FDA0000446181850000042
表示
Figure FDA0000446181850000043
中坐标位置为(u,v)的像素点的亮度值;然后计算XR和YR中所有的坐标位置相同的两个图像块之间的亮度协方差,将XR中坐标位置为(i,j)的图像块
Figure FDA0000446181850000044
与YR中坐标位置为(i,j)的图像块之间的亮度协方差记为 &sigma; x i , j R y i , j R = 1 64 &Sigma; u = 1 8 &Sigma; v = 1 8 [ ( x i , j R ( u , v ) - &mu; x i , j R ) &times; ( y i , j R ( u , v ) - &mu; y i , j R ) ] ;
④对XL分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到XL的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure FDA0000446181850000048
Figure FDA0000446181850000049
Figure FDA00004461818500000410
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure FDA00004461818500000411
t X L , v 中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure FDA00004461818500000415
其中,1≤p≤H,1≤q≤W,-1≤u'≤1,-1≤v'≤1,XL(p,q)表示XL中坐标位置为(p,q)的像素点的亮度值,XL(p+u',q+v')表示XL中坐标位置为(p+u',q+v')的像素点的亮度值,wh(u'+2,v'+2)表示水平方向的3×3Soble算子wh中坐标位置为(u'+2,v'+2)处的值,wv(u'+2,v'+2)表示垂直方向的3×3Soble算子wv中坐标位置为(u'+2,v'+2)处的值;
对YL分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到YL的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure FDA00004461818500000416
Figure FDA00004461818500000417
Figure FDA00004461818500000418
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure FDA00004461818500000419
Figure FDA0000446181850000051
Figure FDA0000446181850000052
中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure FDA0000446181850000053
Figure FDA0000446181850000054
其中,YL(p,q)表示YL中坐标位置为(p,q)的像素点的亮度值,YL(p+u',q+v')表示YL中坐标位置为(p+u',q+v')的像素点的亮度值;
对XR分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到XR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure FDA0000446181850000055
Figure FDA0000446181850000056
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure FDA0000446181850000059
Figure FDA00004461818500000510
中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure FDA00004461818500000511
其中,XR(p,q)表示XR中坐标位置为(p,q)的像素点的亮度值,XR(p+u',q+v')表示XR中坐标位置为(p+u',q+v')的像素点的亮度值;
对YR分别实施水平方向和垂直方向的3×3Soble算子处理,对应得到YR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图,并对应记为
Figure FDA0000446181850000061
Figure FDA0000446181850000062
Figure FDA0000446181850000063
中坐标位置为(p,q)的像素点的水平梯度值记为
Figure FDA0000446181850000064
Figure FDA0000446181850000065
Figure FDA0000446181850000066
中坐标位置为(p,q)的像素点的垂直梯度值记为
Figure FDA0000446181850000067
Figure FDA0000446181850000068
其中,YR(p,q)表示YR中坐标位置为(p,q)的像素点的亮度值,YR(p+u',q+v')表示YR中坐标位置为(p+u',q+v')的像素点的亮度值;
⑤根据XL的水平方向梯度矩阵映射图
Figure FDA0000446181850000069
和垂直方向梯度矩阵映射图
Figure FDA00004461818500000610
获取XL的梯度图,记为
Figure FDA00004461818500000611
Figure FDA00004461818500000612
中坐标位置为(p,q)的像素点的梯度值记为
Figure FDA00004461818500000613
T X L ( p , q ) = ( t X L , h ( p , q ) ) 2 + ( t X L , v ( p , q ) ) 2 , 其中,1≤p≤H,1≤q≤W;
根据YL的水平方向梯度矩阵映射图
Figure FDA00004461818500000615
和垂直方向梯度矩阵映射图获取YL的梯度图,记为
Figure FDA00004461818500000617
Figure FDA00004461818500000618
中坐标位置为(p,q)的像素点的梯度值记为
Figure FDA00004461818500000619
T Y L ( p , q ) = ( t Y L , h ( p , q ) ) 2 + ( t Y L , v ( p , q ) ) 2 ;
根据XR的水平方向梯度矩阵映射图和垂直方向梯度矩阵映射图获取XR的梯度图,记为
Figure FDA00004461818500000623
Figure FDA00004461818500000624
中坐标位置为(p,q)的像素点的梯度值记为
Figure FDA00004461818500000625
T X R ( p , q ) = ( t X R , h ( p , q ) ) 2 + ( t X R , v ( p , q ) ) 2 ;
根据YR的水平方向梯度矩阵映射图
Figure FDA0000446181850000071
和垂直方向梯度矩阵映射图
Figure FDA0000446181850000072
获取YR的梯度图,记为
Figure FDA0000446181850000073
Figure FDA0000446181850000074
中坐标位置为(p,q)的像素点的梯度值记为
Figure FDA0000446181850000075
T Y R ( p , q ) = ( t Y R , h ( p , q ) ) 2 + ( t Y R . v ( p , q ) ) 2 ;
⑥计算XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为gL(p,q)、cL(p,q)和sL(p,q), g L ( p , q ) = 2 &times; T X L ( p , q ) &times; T Y L ( p , q ) + C 1 ( T X L ( p , q ) ) 2 + ( T Y L ( p , q ) ) 2 + C 1 ,
Figure FDA0000446181850000078
Figure FDA0000446181850000079
其中,C1、C2、C3为避免分母出现零而设置的小值常数;
同样,计算XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的梯度相似度、对比度相似度和结构度相似度对应记为gR(p,q)、cR(p,q)和sR(p,q), g R ( p , q ) = 2 &times; T X R ( p , q ) &times; T Y R ( p , q ) + C 1 ( T X R ( p , q ) ) 2 + ( T Y R ( p , q ) ) 2 + C 1 ,
Figure FDA00004461818500000711
Figure FDA0000446181850000081
⑦根据XL和YL中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XL和YL中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XL中坐标位置为(p,q)的像素点与YL中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIML(p,q),GSSIML(p,q)=gL(p,q)×cL(p,q)×sL(p,q);
根据XR和YR中所有的坐标位置相同的两个像素点之间的梯度相似度、对比度相似度和结构度相似度,计算XR和YR中所有的坐标位置相同的两个像素点之间的基于梯度的结构相似度,将XR中坐标位置为(p,q)的像素点与YR中坐标位置为(p,q)的像素点之间的基于梯度的结构相似度记为GSSIMR(p,q),GSSIMR(p,q)=gR(p,q)×cR(p,q)×sR(p,q);
⑧获取XL的双目恰可觉察失真图,记为BJNDL,将BJNDL中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJNDL(p,q),其中,
Figure FDA0000446181850000083
表示XR中坐标位置为(i',j)的图像块
Figure FDA0000446181850000084
中的所有像素点的亮度均值,
Figure FDA0000446181850000085
表示
Figure FDA0000446181850000086
中坐标位置为(p',q)的像素点的梯度值,dL(p,q)表示XL中坐标位置为(p,q)的像素点的水平视差值, A limit ( &mu; x i &prime; , j R ) = 0.0027 &times; ( &mu; x i &prime; , j R 2 - 96 &times; &mu; x i &prime; , j R ) + 8 0 &le; &mu; x i &prime; , j R < 48 0.0001 &times; ( &mu; x i &prime; , j R 2 - 32 &times; &mu; x i &prime; , j R ) + 1 . 7 48 &le; &mu; x i &prime; , j R &le; 255 , K ( &mu; x i &prime; , j R ) = - 10 - 6 &times; ( 0.7 &times; &mu; x i &prime; , j R 2 + 32 &times; &mu; x i &prime; , j R ) + 0.07 ;
获取XR的双目恰可觉察失真图,记为BJNDR,将BJNDR中坐标位置为(p,q)的像素点的双目恰可觉察失真值记为BJNDR(p,q),
Figure FDA0000446181850000093
其中,表示XL中坐标位置为(i',j)的图像块
Figure FDA0000446181850000095
中的所有像素点的亮度均值,表示
Figure FDA0000446181850000097
中坐标位置为(p',q)的像素点的梯度值,dR(p,q)表示XR中坐标位置为(p,q)的像素点的水平视差值, A limit ( &mu; x i &prime; , j R ) = 0.0027 &times; ( &mu; x i &prime; , j R 2 - 96 &times; &mu; x i &prime; , j R ) + 8 0 &le; &mu; x i &prime; , j R < 48 0.0001 &times; ( &mu; x i &prime; , j R 2 - 32 &times; &mu; x i &prime; , j R ) + 1 . 7 48 &le; &mu; x i &prime; , j R &le; 255 , K ( &mu; x i &prime; , j R ) = 10 - 6 &times; ( 0.7 &times; &mu; x i &prime; , j R 2 + 32 &times; &mu; x i &prime; , j R ) + 0.07 ;
⑨根据XL和YL中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XL的双目恰可觉察失真图BJNDL,计算YL的客观质量分值,记为QL Q L = &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND L ( p &Prime; , q &Prime; ) GSSIM L ( p &Prime; , q &Prime; ) &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND L ( p &Prime; , q &Prime; ) 其中,BJNDL(p'',q'')表示BJNDL中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIML(p'',q'')表示XL中坐标位置为(p'',q'')的像素点与YL中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度;
根据XR和YR中坐标位置相同的两个像素点之间的基于梯度的结构相似度,以及XR的双目恰可觉察失真图BJNDR,计算YR的客观质量分值,记为QR Q R = &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND R ( p &Prime; , q &Prime; ) GSSIM R ( p &Prime; , q &Prime; ) &Sigma; p &Prime; = 33 H - 32 &Sigma; q &Prime; = 33 W - 32 1 BJND R ( p &Prime; , q &Prime; ) 其中,BJNDR(p'',q'')表示BJNDR中坐标位置为(p'',q'')的像素点的双目恰可觉察失真值,GSSIMR(p'',q'')表示XR中坐标位置为(p'',q'')的像素点与YR中坐标位置为(p'',q'')的像素点之间的基于梯度的结构相似度;
⑩根据YL的客观质量分值QL和YR的客观质量分值QR,计算Y的客观质量分值,记为Q3D Q 3 D = Q L + Q R 2 .
3.根据权利要求2所述的一种立体图像客观质量评价方法,其特征在于所述的步骤④中水平方向的3×3Soble算子 w h = 1 2 1 0 0 0 - 1 - 2 - 1 , 垂直方向的3×3Soble算子 w v = 1 0 - 1 2 0 - 2 1 0 - 1 .
4.根据权利要求2或3所述的一种立体图像客观质量评价方法,其特征在于所述的步骤⑥中取C1=0.01、C2=0.02、C3=0.01。
CN201310729004.9A 2013-12-25 2013-12-25 一种立体图像客观质量评价方法 Active CN103745457B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310729004.9A CN103745457B (zh) 2013-12-25 2013-12-25 一种立体图像客观质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310729004.9A CN103745457B (zh) 2013-12-25 2013-12-25 一种立体图像客观质量评价方法

Publications (2)

Publication Number Publication Date
CN103745457A true CN103745457A (zh) 2014-04-23
CN103745457B CN103745457B (zh) 2016-07-06

Family

ID=50502472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310729004.9A Active CN103745457B (zh) 2013-12-25 2013-12-25 一种立体图像客观质量评价方法

Country Status (1)

Country Link
CN (1) CN103745457B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361583A (zh) * 2014-10-27 2015-02-18 浙江科技学院 一种非对称失真立体图像客观质量评价方法
CN104897377A (zh) * 2015-06-23 2015-09-09 深圳市时代华影科技股份有限公司 一种3d投影系统的投影质量评价系统
CN106709958A (zh) * 2016-12-03 2017-05-24 浙江大学 一种基于灰度梯度和颜色直方图的图像质量评价方法
CN109285146A (zh) * 2018-08-30 2019-01-29 南京邮电大学 基于恰可觉察失真的全参考图像质量评价方法
CN113610705A (zh) * 2021-06-23 2021-11-05 珠海全志科技股份有限公司 用于超分重建的图像去交织方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567990A (zh) * 2011-12-08 2012-07-11 宁波大学 一种立体图像客观质量评价方法
US20130259322A1 (en) * 2012-03-31 2013-10-03 Xiao Lin System And Method For Iris Image Analysis

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567990A (zh) * 2011-12-08 2012-07-11 宁波大学 一种立体图像客观质量评价方法
US20130259322A1 (en) * 2012-03-31 2013-10-03 Xiao Lin System And Method For Iris Image Analysis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄大江: "基于相似度的立体图像对中右视点图像质量评价方法", 《光子学报》, vol. 37, no. 8, 31 August 2008 (2008-08-31), pages 1693 - 1697 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361583A (zh) * 2014-10-27 2015-02-18 浙江科技学院 一种非对称失真立体图像客观质量评价方法
CN104897377A (zh) * 2015-06-23 2015-09-09 深圳市时代华影科技股份有限公司 一种3d投影系统的投影质量评价系统
CN106709958A (zh) * 2016-12-03 2017-05-24 浙江大学 一种基于灰度梯度和颜色直方图的图像质量评价方法
CN109285146A (zh) * 2018-08-30 2019-01-29 南京邮电大学 基于恰可觉察失真的全参考图像质量评价方法
CN113610705A (zh) * 2021-06-23 2021-11-05 珠海全志科技股份有限公司 用于超分重建的图像去交织方法及装置

Also Published As

Publication number Publication date
CN103745457B (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
CN103347196B (zh) 一种基于机器学习的立体图像视觉舒适度评价方法
CN102209257B (zh) 一种立体图像质量客观评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN103413298B (zh) 一种基于视觉特性的立体图像质量客观评价方法
CN102708567B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN103780895B (zh) 一种立体视频质量评价方法
CN104394403B (zh) 一种面向压缩失真的立体视频质量客观评价方法
US20140064604A1 (en) Method for objectively evaluating quality of stereo image
CN103136748B (zh) 一种基于特征图的立体图像质量客观评价方法
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN103745457A (zh) 一种立体图像客观质量评价方法
CN101872479A (zh) 一种立体图像客观质量评价方法
CN102982535A (zh) 基于psnr和ssim的立体图像质量评价方法
CN102521825B (zh) 一种基于零水印的立体图像质量客观评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN104361583B (zh) 一种确定非对称失真立体图像客观质量的方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN103841411B (zh) 一种基于双目信息处理的立体图像质量评价方法
CN102999911B (zh) 一种基于能量图的立体图像质量客观评价方法
CN102737380B (zh) 一种基于梯度结构张量的立体图像质量客观评价方法
CN103200420B (zh) 一种基于三维视觉注意力的立体图像质量客观评价方法
CN102708568A (zh) 一种基于结构失真的立体图像客观质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190809

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230831

Address after: No.3 Lingqi Road, Fangqiao Village, Yangming Street, Yuyao City, Ningbo City, Zhejiang Province, 315400

Patentee after: Ningbo Ruiyi Plastic Industry Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

TR01 Transfer of patent right