CN104010189A - 一种基于色度共生矩阵加权的视频质量客观评价方法 - Google Patents
一种基于色度共生矩阵加权的视频质量客观评价方法 Download PDFInfo
- Publication number
- CN104010189A CN104010189A CN201410232739.5A CN201410232739A CN104010189A CN 104010189 A CN104010189 A CN 104010189A CN 201410232739 A CN201410232739 A CN 201410232739A CN 104010189 A CN104010189 A CN 104010189A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image block
- msubsup
- coordinate position
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 43
- 238000001303 quality assessment method Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims description 77
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 238000013441 quality evaluation Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000008447 perception Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于色度共生矩阵加权的视频质量客观评价方法,其首先采用维数为8×8维的四元数矩阵来描述参考图像中的8×8的图像块的基于时域和空域的特征和失真图像中的8×8的图像块的基于时域和空域的特征,然后获取参考图像和失真图像中位置相对应的两个图像块的基于时域和空域的特征的奇异值向量之间的夹角的余弦,并作为参考图像和失真图像中位置相对应的两个图像块之间的差异度,再通过差异度及失真图像中的图像块的色度共生矩阵加权权值求得失真图像中的图像块的客观评价值,并以此求得失真图像和失真视频的客观评价值,这种视频评价过程的计算复杂度低,且能够有效地提高客观评价结果与主观感知的相关性。
Description
技术领域
本发明涉及一种视频质量评价技术,尤其是涉及一种基于色度共生矩阵加权的视频质量客观评价方法。
背景技术
视频或图像的质量评价在很多场合都有着重要的应用,如评价压缩算法的性能和优化压缩参数、监控视频在互联网中传输的质量并提供QOS服务等。因此,针对视频或图像的质量评价的研究也日益增多。目前,视频质量评价方法可以分为两类:主观评价方法和客观评价方法。主观评价方法具有耗时和成本高的特点,因此客观评价方法一直是人们研究的热点。客观评价方法依据模型给出的量化指标或参数衡量视频的质量,对于各种不同的视频质量客观评价方法,研究的目的都是使评价结果与人的主观感觉相符。传统的视频质量客观评价方法有均方误差(MSE)方法和峰值信噪比(PSNR)方法等,因其计算复杂度低和物理意义清晰而得到广泛的应用,但是这些方法存在与主观视觉一致性较差的问题。
视频或图像的轮廓或纹理信息的差异,对主观判别视频或图像的质量有着重要的意义。现有的视频质量客观评价方法在对视频的轮廓和纹理进行评价时,往往采用了梯度算子等方法来评价,实际上主要侧重在轮廓和边缘信息的评价,往往忽略了纹理细节对评价的影响,而在彩色视频或图像中,彩色纹理信息对质量的评价也非常重要,因此,有必要研究一种融入彩色纹理信息的视频质量客观评价方法。
发明内容
本发明所要解决的技术问题是提供一种计算复杂度低,且能够有效地提高客观评价结果与主观感知的相关性的基于色度共生矩阵加权的视频质量客观评价方法。
本发明解决上述技术问题所采用的技术方案为:一种基于色度共生矩阵加权的视频质量客观评价方法,其特征在于包括以下步骤:
①假设参考视频中的所有参考图像和失真视频中的所有失真图像的尺寸大小均为W×H,其中,W表示参考视频中的所有参考图像和失真视频中的所有失真图像的宽,H表示参考视频中的所有参考图像和失真视频中的所有失真图像的高;
②将参考视频中当前待处理的参考图像定义为当前参考图像,并将失真视频中当前待处理的失真图像定义为当前失真图像;
③假设当前参考图像为参考视频中的第m帧参考图像,并记为同样假设当前失真图像为失真视频中的第m帧失真图像,并记为其中,pre+1≤m≤M,m的初始值为pre+1,pre表示参考视频中时域上先于的参考图像的总帧数,pre亦表示失真视频中时域上先于的参考图像的总帧数,1≤pre≤9,M表示参考视频中包含的参考图像的总帧数,亦表示失真视频中包含的失真图像的总帧数;
④假设和的尺寸大小刚好能够被8×8整除,分别将和分割成个互不重叠的尺寸大小为8×8的图像块;
⑤计算中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为其中,n的初始值为1,1≤x≤8,1≤y≤8;
同样,计算中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为其中,n的初始值为1,1≤x≤8,1≤y≤8;
⑥将中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对中的每个图像块的基于时域和空域的特征进行奇异值分解,得到中的每个图像块的基于时域和空域的特征的奇异值向量,将对中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为
同样,将中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对中的每个图像块的基于时域和空域的特征进行奇异值分解,得到中的每个图像块的基于时域和空域的特征的奇异值向量,将对中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为
⑦将中的每个图像块的基于时域和空域的特征的奇异值向量与中位置相对应的图像块的基于时域和空域的特征的奇异值向量之间的夹角的余弦,作为和中位置相对应的两个图像块之间的差异度;对于中的第n个图像块和中的第n个图像块,将与之间的夹角的余弦作为中的第n个图像块与中的第n个图像块之间的差异度,记为Dm,n;
⑧根据中的每个图像块与中位置相对应的图像块之间的差异度,计算中的每个图像块的客观评价值,将中的第n个图像块的客观评价值记为Qm,n,Qm,n=Wm,n×Dm,n,其中,Wm,n表示中的第n个图像块的色度共生矩阵加权权值;
⑨根据中的每个图像块的客观评价值,计算的客观评价值,记为QFm,其中,Qm,mid表示对中的所有图像块的客观评价值排序后的中值;
⑩将参考视频中下一帧待处理的参考图像作为当前参考图像,并将失真视频中下一帧待处理的失真图像作为当前失真图像,然后返回步骤③继续执行,直至参考视频中的最后一帧参考图像和失真视频中的最后一帧失真图像处理完毕,得到失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值;
根据失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值,计算失真视频的客观评价值,记为QGLC,
所述的步骤⑤中中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值的获取过程为:
⑤-a1、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的亮度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的亮度值;
⑤-b1、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的色度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的色度值;
⑤-c1、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的亮度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的垂直边缘算子计算得到的亮度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的水平边缘算子计算得到的亮度梯度,表示的权重;
⑤-d1、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的色度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的垂直边缘算子计算得到的色度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的水平边缘算子计算得到的色度梯度,表示的权重;
⑤-e1、将作为四元数的实部,将和作为四元数的虚部,得到中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值,记为 ,其中,α表示的权重,β表示的权重,γ表示的权重,δ表示的权重,α+β+γ+δ=1,i,j,k均为四元数中的虚数单位,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于时域的特征,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的特征;
所述的步骤⑤中中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值的获取过程为:
⑤-a2、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的亮度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的亮度值;
⑤-b2、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的色度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的色度值;
⑤-c2、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的亮度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的垂直边缘算子计算得到的亮度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的水平边缘算子计算得到的亮度梯度,表示的权重;
⑤-d2、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的色度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的垂直边缘算子计算得到的色度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的水平边缘算子计算得到的色度梯度,表示的权重;
⑤-e2、将作为四元数的实部,将和作为四元数的虚部,得到中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值,记为 ,其中,α'表示的权重,β'表示的权重,γ'表示的权重,δ'表示的权重,α'+β'+γ'+δ'=1,i,j,k均为四元数中的虚数单位,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于时域的特征,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的特征。
所述的步骤⑤-c1中取所述的步骤⑤-d1中取所述的步骤⑤-e1中取α=0.25、β=0.25、γ=0.25、δ=0.25;
所述的步骤⑤-c2中取所述的步骤⑤-d2中取所述的步骤⑤-e2中取α'=0.25、β'=0.25、γ'=0.25、δ'=0.25。
所述的步骤⑧中中的第n个图像块的色度共生矩阵加权权值Wm,n的获取过程为:
⑧-1、计算中的第n个图像块的色度共生矩阵的熵,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时表示中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x>6且 且t为正整数时表示中与第n个图像块右相邻的图像块即中的第n+1个图像块中坐标位置为(x+2-8,y)的像素点的色度值,当x>6且 且t为正整数时直接令
⑧-2、计算中的第n个图像块的色度共生矩阵的熵,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时表示中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x>6且 且t为正整数时表示中与第n个图像块右相邻的图像块即中的第n+1个图像块中坐标位置为(x+2-8,y)的像素点的色度值,当x>6且 且t为正整数时直接令
⑧-3、计算中的第n个图像块的色度共生矩阵加权权值,记为 其中,符号“||”为取绝对值符号。
与现有技术相比,本发明的优点在于:
1)本发明方法采用维数为8×8维的四元数矩阵来描述参考图像中的8×8的图像块的基于时域和空域的特征和失真图像中的8×8的图像块的基于时域和空域的特征,然后获取参考图像和失真图像中位置相对应的两个图像块的基于时域和空域的特征的奇异值向量之间的夹角的余弦,并作为参考图像和失真图像中位置相对应的两个图像块之间的差异度,再通过差异度及失真图像中的图像块的色度共生矩阵加权权值求得失真图像中的图像块的客观评价值,并以此求得失真图像和失真视频的客观评价值,这种视频评价过程的计算复杂度低,且能够有效地提高客观评价结果与主观感知的相关性。
2)作为彩色图像或视频来说,失真包含了彩色纹理细节的失真,因此本发明方法采用了色度共生矩阵来作为彩色视频纹理失真的加权,以增加对色彩纹理细节部分失真的考虑,可有效提高客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图;
图2为采用PSNR方法对VQEG视频数据库进行客观评价,与主观评价结果相关性的散点图;
图3为采用SSIM方法对VQEG视频数据库进行客观评价,与主观评价结果相关性的散点图;
图4为采用本发明方法对VQEG视频数据库进行客观评价,与主观评价相关性结果的散点图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于色度共生矩阵加权的视频质量客观评价方法,其总体实现框图如图1所示,其包括以下步骤:
①假设参考视频中的所有参考图像和失真视频中的所有失真图像的尺寸大小均为W×H,其中,W表示参考视频中的所有参考图像和失真视频中的所有失真图像的宽,H表示参考视频中的所有参考图像和失真视频中的所有失真图像的高。
②将参考视频中当前待处理的参考图像定义为当前参考图像,并将失真视频中当前待处理的失真图像定义为当前失真图像。
③假设当前参考图像为参考视频中的第m帧参考图像,并记为同样假设当前失真图像为失真视频中的第m帧失真图像,并记为其中,pre+1≤m≤M,m的初始值为pre+1,pre表示参考视频中时域上先于的参考图像的总帧数,pre亦表示失真视频中时域上先于的参考图像的总帧数,1≤pre≤9,如果pre的取值太小,则亮度帧间残差和色度帧间残差中0值较多,不能很好的表示帧间的变化特征,因此本发明通过多次实验比较后取pre=3,M表示参考视频中包含的参考图像的总帧数,亦表示失真视频中包含的失真图像的总帧数。
④假设和的尺寸大小刚好能够被8×8整除,分别将和分割成个互不重叠的尺寸大小为8×8的图像块。
在具体实施时,对于不能被尺寸大小为8×8的图像块完整分割的参考图像和失真图像,由于帧图像的边缘信息不如中间信息重要,因此可将参考图像和失真图像的上、下、左、右边界按等分忽略部分信息,如果参考图像和失真图像的上、下、左、右边界不能等分,则上边界或左边界忽略的像素点比下边界或右边界忽略的像素点多1个,以保证所计算的有效数据满足8×8的分割,并位于参考图像和失真图像的中心位置。
⑤计算中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为其中,n的初始值为1,1≤x≤8,1≤y≤8。
在此具体实施例中,步骤⑤中中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值的获取过程为:
⑤-a1、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的亮度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的亮度值。
⑤-b1、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的色度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的色度值。
⑤-c1、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的亮度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的垂直边缘算子计算得到的亮度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的水平边缘算子计算得到的亮度梯度,表示的权重,在本实施例中取该值是通过大量实验确定的,由于人眼对水平方向的边缘比较敏感,因此可以通过来增加水平边缘的亮度的重要性。
⑤-d1、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的色度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的垂直边缘算子计算得到的色度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的水平边缘算子计算得到的色度梯度,表示的权重,在本实施例中取该值是通过大量实验确定的,由于人眼对水平方向的边缘比较敏感,因此可以通过来增加水平边缘的色度的重要性。
⑤-e1、将作为四元数的实部,将和作为四元数的虚部,得到中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值,记为 ,其中,α表示的权重,β表示的权重,γ表示的权重,δ表示的权重,α+β+γ+δ=1,在本实施例中取α=0.25、β=0.25、γ=0.25、δ=0.25,i,j,k均为四元数中的虚数单位,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于时域的特征,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的特征。
同样,计算中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为其中,n的初始值为1,1≤x≤8,1≤y≤8。
在此具体实施例中,步骤⑤中中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值的获取过程为:
⑤-a2、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的亮度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的亮度值。
⑤-b2、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的色度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的色度值。
⑤-c2、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的亮度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的垂直边缘算子计算得到的亮度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的水平边缘算子计算得到的亮度梯度,表示的权重,在本实施例中取该值是通过大量实验确定的,由于人眼对水平方向的边缘比较敏感,因此可以通过来增加水平边缘的亮度的重要性。
⑤-d2、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的色度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的垂直边缘算子计算得到的色度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的水平边缘算子计算得到的色度梯度,表示的权重,在本实施例中取该值是通过大量实验确定的,由于人眼对水平方向的边缘比较敏感,因此可以通过来增加水平边缘的色度的重要性。
⑤-e2、将作为四元数的实部,将和作为四元数的虚部,得到中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值,记为 ,其中,α'表示的权重,β'表示的权重,γ'表示的权重,δ'表示的权重,α'+β'+γ'+δ'=1,在本实施例中取α'=0.25、β'=0.25、γ'=0.25、δ'=0.25,i,j,k均为四元数中的虚数单位,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于时域的特征,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的特征。
⑥将中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵,即对于中的第n个图像块,将中的第n个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的第n个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对中的每个图像块的基于时域和空域的特征进行奇异值分解,得到中的每个图像块的基于时域和空域的特征的奇异值向量,将对中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为
同样,将中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵,即对于中的第n个图像块,将中的第n个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的第n个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对中的每个图像块的基于时域和空域的特征进行奇异值分解,得到中的每个图像块的基于时域和空域的特征的奇异值向量,将对中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为
假设一个图像的尺寸大小为60×60,则去掉图像的上下左右边缘两个像素点,取中间尺寸大小为56×56的区域,对该区域进行块划分,得到7×7个尺寸大小为8×8的图像块,因此每个图像块对应的四元数矩阵的大小为8×8,每个四元数矩阵中的元素为四元数,四元数包括一个实部和三个虚部,该图像共对应7×7个四元数矩阵。
⑦将中的每个图像块的基于时域和空域的特征的奇异值向量与中位置相对应的图像块的基于时域和空域的特征的奇异值向量之间的夹角的余弦,作为和中位置相对应的两个图像块之间的差异度;对于中的第n个图像块和中的第n个图像块,将与之间的夹角的余弦作为中的第n个图像块与中的第n个图像块之间的差异度,记为Dm,n。
⑧根据中的每个图像块与中位置相对应的图像块之间的差异度,计算中的每个图像块的客观评价值,将中的第n个图像块的客观评价值记为Qm,n,Qm,n=Wm,n×Dm,n,其中,Wm,n表示中的第n个图像块的色度共生矩阵加权权值。
在此具体实施例中,步骤⑧中中的第n个图像块的色度共生矩阵加权权值Wm,n的获取过程为:
⑧-1、计算中的第n个图像块的色度共生矩阵的熵,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时表示中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x>6且 且t为正整数时表示中与第n个图像块右相邻的图像块即中的第n+1个图像块中坐标位置为(x+2-8,y)的像素点的色度值,当x>6且 且t为正整数时直接令
如果第n个图像块不为图像中最右侧的图像块,且x>6,即(x+2,y)超出了第n个图像块的范围,但未超出图像的范围,则表示第n个图像块的右相邻图像块中坐标位置为(x+2-8,y)的像素点的色度值,即如果x=7,则表示第n个图像块的右相邻图像块中坐标位置为(1,y)的像素点的色度值,即如果x=8,则表示第n个图像块的右相邻图像块中坐标位置为(2,y)的像素点的色度值;如果第n个图像块为图像中最右侧的图像块,且x>6,即(x+2,y)超出了图像的范围,则直接取值为0。
⑧-2、计算中的第n个图像块的色度共生矩阵的熵,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时表示中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x>6且 且t为正整数时表示中与第n个图像块右相邻的图像块即中的第n+1个图像块中坐标位置为(x+2-8,y)的像素点的色度值,当x>6且 且t为正整数时直接令
⑧-3、计算中的第n个图像块的色度共生矩阵加权权值,记为Wm,n,其中,符号“||”为取绝对值符号。即将中的第n个图像块的色度共生矩阵的熵与中的第n个图像块的色度共生矩阵的熵的差值的绝对值作为中的第n个图像块的色度共生矩阵加权权值Wm,n。
⑨根据中的每个图像块的客观评价值,计算的客观评价值,记为QFm,其中,Qm,mid表示对中的所有图像块的客观评价值排序后的中值。
⑩将参考视频中下一帧待处理的参考图像作为当前参考图像,并将失真视频中下一帧待处理的失真图像作为当前失真图像,然后返回步骤③继续执行,直至参考视频中的最后一帧参考图像和失真视频中的最后一帧失真图像处理完毕,得到失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值。
根据失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值,计算失真视频的客观评价值,记为QGLC,
为更好地说明本发明方法的可行性和有效性,进行实验验证。
本发明方法的实验采用视频质量专家组VQEG(Video Quality Experts Group)阶段IFR-TV视频测试库中170个(10个参考和160个失真)62550Hz视频序列,YUV采样格式为4:2:2,分辨率为720×576。针对每个视频序列,只对220帧中的200帧(略去前10帧和后10帧)作客观评价,同VQEG的客观实验处理一致。
这里,利用评估图像质量评价方法的3个常用客观参量作为客观质量评价指标,即Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、离出率(OutlierRatio,OR),PLCC用于反映失真视频的客观评价结果的准确性,SROCC用于反映失真视频的客观评价结果的单调性,OR表示离出率,SROCC和PLCC的值越大,表示客观评价方法的评价结果与主观方法的评价结果更一致,OR值则越小越好。在相同的实验条件下,采用本发明方法与采用现有的VSSIM方法对上述160个失真视频进行视频客观质量评价,两者的评价结果与VQEG测试所采用的P0~P9方法的评价结果作对比实验,实验结果如表1所列。从表1中可以看出,本发明方法与VQEG测试所采用的P0~P9方法和现有的VSSIM方法相比较,SROCC的值和PLCC的值均高于VQEG测试所采用的P0~P9方法和VSSIM方法,而OR的值除了比P5、P8和VSSIM方法大,小于对比的其他方法,这充分说明了本发明方法与人的主观评价的一致性高于其他方法。
表1 本发明方法、现有的VSSIM方法及P0~P9方法的评价结果在SROCC、PLCC和OR上的比较
图2给出了采用现有的PSNR方法对VQEG视频数据库进行客观评价,其客观评价结果与主观评价结果相关性的散点图,图3给出了采用现有的SSIM方法对VQEG视频数据库进行客观评价,其客观评价结果与主观评价结果相关性的散点图,图4给出了采用本发明方法对VQEG视频数据库进行客观评价,其客观评价结果与主观评价相关性结果的散点图,在图2、图3和图4中横坐标和纵坐标分别表示客观评价结果和主观评价结果。从图2、图3和图4中可以看出,采用本发明方法对VQEG视频数据库进行客观评价的结果更贴近于拟合线,这充分说明了本发明方法能够更好地反应客观评价结果与主观评价结果之间的一致性。
Claims (4)
1.一种基于色度共生矩阵加权的视频质量客观评价方法,其特征在于包括以下步骤:
①假设参考视频中的所有参考图像和失真视频中的所有失真图像的尺寸大小均为W×H,其中,W表示参考视频中的所有参考图像和失真视频中的所有失真图像的宽,H表示参考视频中的所有参考图像和失真视频中的所有失真图像的高;
②将参考视频中当前待处理的参考图像定义为当前参考图像,并将失真视频中当前待处理的失真图像定义为当前失真图像;
③假设当前参考图像为参考视频中的第m帧参考图像,并记为同样假设当前失真图像为失真视频中的第m帧失真图像,并记为其中,pre+1≤m≤M,m的初始值为pre+1,pre表示参考视频中时域上先于的参考图像的总帧数,pre亦表示失真视频中时域上先于的参考图像的总帧数,1≤pre≤9,M表示参考视频中包含的参考图像的总帧数,亦表示失真视频中包含的失真图像的总帧数;
④假设和的尺寸大小刚好能够被8×8整除,分别将和分割成个互不重叠的尺寸大小为8×8的图像块;
⑤计算中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为其中,n的初始值为1,1≤x≤8,1≤y≤8;
同样,计算中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为其中,n的初始值为1,1≤x≤8,1≤y≤8;
⑥将中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对中的每个图像块的基于时域和空域的特征进行奇异值分解,得到中的每个图像块的基于时域和空域的特征的奇异值向量,将对中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为
同样,将中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对中的每个图像块的基于时域和空域的特征进行奇异值分解,得到中的每个图像块的基于时域和空域的特征的奇异值向量,将对中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为
⑦将中的每个图像块的基于时域和空域的特征的奇异值向量与中位置相对应的图像块的基于时域和空域的特征的奇异值向量之间的夹角的余弦,作为和中位置相对应的两个图像块之间的差异度;对于中的第n个图像块和中的第n个图像块,将与之间的夹角的余弦作为中的第n个图像块与中的第n个图像块之间的差异度,记为Dm,n;
⑧根据中的每个图像块与中位置相对应的图像块之间的差异度,计算中的每个图像块的客观评价值,将中的第n个图像块的客观评价值记为Qm,n,Qm,n=Wm,n×Dm,n,其中,Wm,n表示中的第n个图像块的色度共生矩阵加权权值;
⑨根据中的每个图像块的客观评价值,计算的客观评价值,记为QFm,其中,Qm,mid表示对中的所有图像块的客观评价值排序后的中值;
⑩将参考视频中下一帧待处理的参考图像作为当前参考图像,并将失真视频中下一帧待处理的失真图像作为当前失真图像,然后返回步骤③继续执行,直至参考视频中的最后一帧参考图像和失真视频中的最后一帧失真图像处理完毕,得到失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值;
根据失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值,计算失真视频的客观评价值,记为QGLC,
2.根据权利要求1所述的一种基于色度共生矩阵加权的视频质量客观评价方法,其特征在于所述的步骤⑤中中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值的获取过程为:
⑤-a1、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的亮度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的亮度值;
⑤-b1、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的色度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的色度值;
⑤-c1、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的亮度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的垂直边缘算子计算得到的亮度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的水平边缘算子计算得到的亮度梯度,表示的权重;
⑤-d1、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的色度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的垂直边缘算子计算得到的色度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的水平边缘算子计算得到的色度梯度,表示的权重;
⑤-e1、将作为四元数的实部,将和作为四元数的虚部,得到中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值,记为 ,其中,α表示的权重,β表示的权重,γ表示的权重,δ表示的权重,α+β+γ+δ=1,i,j,k均为四元数中的虚数单位,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于时域的特征,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的特征;
所述的步骤⑤中中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值的获取过程为:
⑤-a2、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的亮度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的亮度值;
⑤-b2、计算中的第n个图像块中坐标位置为(x,y)的像素点与参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点之间的基于时域的色度帧间残差,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,表示参考视频中的第(m-pre)帧参考图像中的第n个图像块中坐标位置为(x,y)的像素点的色度值;
⑤-c2、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的亮度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的垂直边缘算子计算得到的亮度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的亮度值通过Prewitt算子的水平边缘算子计算得到的亮度梯度,表示的权重;
⑤-d2、计算中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的色度梯度能量,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的垂直边缘算子计算得到的色度梯度,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值通过Prewitt算子的水平边缘算子计算得到的色度梯度,表示的权重;
⑤-e2、将作为四元数的实部,将和作为四元数的虚部,得到中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值,记为 ,其中,α'表示的权重,β'表示的权重,γ'表示的权重,δ'表示的权重,α'+β'+γ'+δ'=1,i,j,k均为四元数中的虚数单位,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于时域的特征,和构成中的第n个图像块中坐标位置为(x,y)的像素点的基于空域的特征。
3.根据权利要求2所述的一种基于色度共生矩阵加权的视频质量客观评价方法,其特征在于所述的步骤⑤-c1中取所述的步骤⑤-d1中取所述的步骤⑤-e1中取α=0.25、β=0.25、γ=0.25、δ=0.25;
所述的步骤⑤-c2中取所述的步骤⑤-d2中取所述的步骤⑤-e2中取α'=0.25、β'=0.25、γ'=0.25、δ'=0.25。
4.根据权利要求1至3中任一项所述的一种基于色度共生矩阵加权的视频质量客观评价方法,其特征在于所述的步骤⑧中中的第n个图像块的色度共生矩阵加权权值Wm,n的获取过程为:
⑧-1、计算中的第n个图像块的色度共生矩阵的熵,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时表示中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x>6且 且t为正整数时表示中与第n个图像块右相邻的图像块即中的第n+1个图像块中坐标位置为(x+2-8,y)的像素点的色度值,当x>6且 且t为正整数时直接令
⑧-2、计算中的第n个图像块的色度共生矩阵的熵,记为 其中,表示中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时表示中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x>6且 且t为正整数时表示中与第n个图像块右相邻的图像块即中的第n+1个图像块中坐标位置为(x+2-8,y)的像素点的色度值,当x>6且 且t为正整数时直接令
⑧-3、计算中的第n个图像块的色度共生矩阵加权权值,记为Wm,n,其中,符号“||”为取绝对值符号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410232739.5A CN104010189B (zh) | 2014-05-28 | 2014-05-28 | 一种基于色度共生矩阵加权的视频质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410232739.5A CN104010189B (zh) | 2014-05-28 | 2014-05-28 | 一种基于色度共生矩阵加权的视频质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104010189A true CN104010189A (zh) | 2014-08-27 |
CN104010189B CN104010189B (zh) | 2015-11-04 |
Family
ID=51370662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410232739.5A Expired - Fee Related CN104010189B (zh) | 2014-05-28 | 2014-05-28 | 一种基于色度共生矩阵加权的视频质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104010189B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945154A (zh) * | 2017-11-10 | 2018-04-20 | 西安电子科技大学 | 基于四元数离散余弦变换的彩色图像质量评价方法 |
CN111311584A (zh) * | 2020-02-24 | 2020-06-19 | 北京百度网讯科技有限公司 | 视频质量评估方法及装置、电子设备、可读介质 |
CN116389663A (zh) * | 2023-06-06 | 2023-07-04 | 深圳市森博睿科技有限公司 | 一种基于大数据的智慧显示屏远程监控平台 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100955180B1 (ko) * | 2008-04-11 | 2010-04-30 | 엔에이치엔(주) | 이미지 품질지수 산출 방법 및 시스템 |
CN101378519B (zh) * | 2008-09-28 | 2010-09-22 | 宁波大学 | 一种基于Contourlet变换的质降参考图像质量评价方法 |
CN102843572A (zh) * | 2012-06-29 | 2012-12-26 | 宁波大学 | 一种基于相位的立体图像质量客观评价方法 |
CN103281556A (zh) * | 2013-05-13 | 2013-09-04 | 宁波大学 | 一种基于图像分解的立体图像质量客观评价方法 |
CN102209257B (zh) * | 2011-06-17 | 2013-11-20 | 宁波大学 | 一种立体图像质量客观评价方法 |
CN103517065A (zh) * | 2013-09-09 | 2014-01-15 | 宁波大学 | 一种质降参考立体图像质量客观评价方法 |
-
2014
- 2014-05-28 CN CN201410232739.5A patent/CN104010189B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100955180B1 (ko) * | 2008-04-11 | 2010-04-30 | 엔에이치엔(주) | 이미지 품질지수 산출 방법 및 시스템 |
CN101378519B (zh) * | 2008-09-28 | 2010-09-22 | 宁波大学 | 一种基于Contourlet变换的质降参考图像质量评价方法 |
CN102209257B (zh) * | 2011-06-17 | 2013-11-20 | 宁波大学 | 一种立体图像质量客观评价方法 |
CN102843572A (zh) * | 2012-06-29 | 2012-12-26 | 宁波大学 | 一种基于相位的立体图像质量客观评价方法 |
CN103281556A (zh) * | 2013-05-13 | 2013-09-04 | 宁波大学 | 一种基于图像分解的立体图像质量客观评价方法 |
CN103517065A (zh) * | 2013-09-09 | 2014-01-15 | 宁波大学 | 一种质降参考立体图像质量客观评价方法 |
Non-Patent Citations (2)
Title |
---|
SHUHONG JIAO ET AL: "SAR image quality assessment based on SSIM using textural feature", 《2013 SEVENTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS》, 28 July 2013 (2013-07-28) * |
张富强等: "基于四元数奇异值分解的视频质量评价方法", 《电子学报》, no. 01, 31 January 2011 (2011-01-31) * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945154A (zh) * | 2017-11-10 | 2018-04-20 | 西安电子科技大学 | 基于四元数离散余弦变换的彩色图像质量评价方法 |
CN111311584A (zh) * | 2020-02-24 | 2020-06-19 | 北京百度网讯科技有限公司 | 视频质量评估方法及装置、电子设备、可读介质 |
CN116389663A (zh) * | 2023-06-06 | 2023-07-04 | 深圳市森博睿科技有限公司 | 一种基于大数据的智慧显示屏远程监控平台 |
CN116389663B (zh) * | 2023-06-06 | 2023-08-22 | 深圳市森博睿科技有限公司 | 一种基于大数据的智慧显示屏远程监控平台 |
Also Published As
Publication number | Publication date |
---|---|
CN104010189B (zh) | 2015-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104023227B (zh) | 一种基于空域和时域结构相似性的视频质量客观评价方法 | |
Winkler | Perceptual video quality metrics—A review | |
CN102663719B (zh) | 基于非局部均值的Bayer型CFA图像去马赛克方法 | |
CN104079925B (zh) | 基于视觉感知特性的超高清视频图像质量客观评价方法 | |
CN104361593B (zh) | 一种基于hvs和四元数的彩色图像质量评价方法 | |
CN103595980B (zh) | 基于轮廓非局部均值的色彩滤波阵列图像去马赛克方法 | |
CN109218716B (zh) | 基于色彩统计和信息熵无参考色调映射图像质量评价方法 | |
Rajashekar et al. | Perceptual quality assessment of color images using adaptive signal representation | |
Jakhetiya et al. | A prediction backed model for quality assessment of screen content and 3-D synthesized images | |
CN105550989B (zh) | 基于非局部高斯过程回归的图像超分辨方法 | |
CN103595981A (zh) | 基于非局部低秩的色彩滤波阵列图像去马赛克方法 | |
CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
CN104010189B (zh) | 一种基于色度共生矩阵加权的视频质量客观评价方法 | |
Mansouri et al. | SSVD: Structural SVD-based image quality assessment | |
CN104504672A (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
TWI426779B (zh) | Object color correction method, system and its computer program products | |
CN113838023B (zh) | 一种色差图像质量评价方法 | |
Rajashekar et al. | Quantifying color image distortions based on adaptive spatio-chromatic signal decompositions | |
CN104952052A (zh) | 一种对emccd图像进行增强的方法 | |
Okarma | Video quality assessment using the combined full-reference approach | |
CN105631812B (zh) | 一种对显示图像进行色彩增强的控制方法及控制装置 | |
Mousavi et al. | Sparsity based super resolution using color channel constraints | |
Ajagamelle et al. | Analysis of the difference of gaussians model in image difference metrics | |
Lv et al. | Image quality assessment based on DCT and structural similarity | |
CN110827237B (zh) | 基于拮抗颜色空间半参考色调映射图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151104 Termination date: 20180528 |