CN108462872A - 一种基于低频显著性的梯度相似视频质量评估方法 - Google Patents
一种基于低频显著性的梯度相似视频质量评估方法 Download PDFInfo
- Publication number
- CN108462872A CN108462872A CN201810419565.1A CN201810419565A CN108462872A CN 108462872 A CN108462872 A CN 108462872A CN 201810419565 A CN201810419565 A CN 201810419565A CN 108462872 A CN108462872 A CN 108462872A
- Authority
- CN
- China
- Prior art keywords
- video
- video quality
- image
- predicted portions
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种基于低频显著性的梯度相似视频质量评估方法,包括：对视频经过去噪处理后，分解成预测部分和噪声部分；对噪声部分进行视频质量评估得到噪声部分的视频质量评分；对预测部分分别进行像素级梯度视频质量评估、块等级视频质量评估以及视觉显著注意视频质量评估得到预测部分的视频质量评分；综合噪声部分和预测部分的视频质量评分得到最终的质量评估分数。本发明通过优化噪声去除处理，有效地降低了随机噪声对视频评估的影响，本发明提出了图像内容失真和亮度失真评估模拟方案、视觉显著注意相似度评估方案、整体视频质量评估方案；相比于传统方法，其与人类的视觉系统评估系统具有着更高的一致性。
Description
技术领域
本发明涉及一种基于低频显著性的梯度相似视频质量评估方法，属于计算机视觉图像处理技术领域。
背景技术
随着多媒体技术的迅猛发展以及在机器学习上的逐步深入，人类观察世界的方式不再局限于自身感官，已经发展到可以用电脑和摄影机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。在这种技术发展背景下，图像识别已经是现在的热门技术，而对于图像质量的评估技术是图像识别中的核心技术。
经学者研究发现，人类的视觉系统的信息处理是分级的，视觉系统中高层的特征是低层特征的组合。即从低级的V1区提取边缘特征，再到V2区形成形状或者确定一定的目标部分等，再到高层整个目标或者目标的行为等。抽象的视频质量评估算法(VQA)在视频应用中扮演者重要的角色评价和资源分配，其目标是实现和人类感知相一致的视频质量评估。但是这种方法存在以下问题：
问题一：缺乏对图像亮度失真模拟研究，感知失真能够被分为内容相关失真和内容独立失真，图像区域像素亮度的变化即图像的梯度反应了图像的内容，但是缺乏图像亮度失真会对整体视频质量相似评估的准确性有一定损失。
问题二：缺乏匹配适应度高的图像滤波方法，传统滤波方法对于混合噪声处理有其局限性，难以取得良好的滤波效果。
问题三：缺乏针对参考图像和测试图像显著性检测的细致研究，在对显著像素值进行判定时，显著取值的不严谨会对整体视频质量评估造成干扰。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于低频显著性的梯度相似视频质量评估方法,包括以下步骤：
(1)对视频经过去噪处理后，分解成预测部分和噪声部分；
(2)对噪声部分进行视频质量评估得到噪声部分的视频质量评分；
(3)对预测部分分别进行像素级梯度视频质量评估、块等级视频质量评估以及视觉显著注意视频质量评估，并将评估结果综合得到预测部分的视频质量评分；
(4)根据噪声部分和预测部分的视频质量评分得到最终的质量评估分数。
进一步地，所述对噪声部分进行视频质量评估得到噪声部分的视频质量评分Sn(Mr,Mt)的表达式如下：
式中Mr和Mt是噪声部分的参考帧和测试帧，MSE(Mr,,Mt)为Mr和Mt的均方差。
进一步地，所述对预测部分进行像素级梯度视频质量评估的表达式为：
上式Sv表示Xr和Xt的梯度相似性，Xr、Xt分别是预测部分的参考帧和失真帧的像素，向量gr和gt表示相应的三维时空梯度向量。
进一步地，对所述预测部分进行块等级视频质量评估包括：
计算预测部分的参考框架和失真框架的块的块级相似度，表达式为：
其中，Sco(Br，Bt)表示块Br和Bt之间的块级相似度，Br和Bt分别是预测部分的参考框架和失真框架的块，和是下抽样图像的二维空间向量。
计算参考图像和失真图像中图像块的平均亮度得到亮度失真质量分数的计算：
其中，定义图像中所有像素值为图像空间区域的标量场ft(x,y)，得到参考图像fr(x,y)和失真测试图像ft(x,y)，代入公式(4)参考图像图像块的平均亮度μr和失真图像中图像块的平均亮度得到μt，又由公式(5)得到图像块的亮度失真质量分数dl(μr,μt)，参数C的作用是维持模型的稳定性。
定义预测部分有关图像失真的块等级视频质量评估相似度为：
Q＝SCO·dl(μr,μt) (6)
其中，Sco为Br和Bt之间的块级相似度，dl(μr,μt)为图像块的亮度失真质量分数。
进一步地，所述对预测部分进行视觉显著注意视频质量评估的表达式为：
D(x,y)＝PIμ-Iwhc(x,y)P (7)
其中Sva(pr，pt)表示预测部分pr和pt之间的注意相似度，pr和pt分别从参考框架和失真框架分离得到，Iμ为图像像素的算术平均值，Iwhc(x,y)是对原像素进行高斯模糊后图像像素的算术平均值，D(x,y)为Lab空间下每点与均值的欧氏距离作为显著值，Sr表示参考视频中视觉显著注意部分的梯度图像，St表示失真视频中视觉显著注意部分的梯度图像，参数C的作用是维持模型的稳定性。
进一步地，预测部分的视频质量评分表达式为：
Spre(Pr,Pt)＝Sv·Sva·Q (9)
其中Spre(Pr,Pt)表示预测视频的质量分数，与失真的画面框架无关。参数Sv和Q分别表示图像的像素级相似度和块级相似度，Sva(Sva(pr，pt)的简写)表示视觉注意力相似度。
进一步地，根据噪声部分和预测部分的视频质量评分得到最终的视频质量评分的表达式为：
Soverall(Fr,Ft)＝(W1·Spre(Pr,Pt))·(W2·Sn(Mr,Mt)) (10)
其中，Spre(Pr,Pt)和Sn(Mr,Mt)分别表示视频预测部分和噪声部分的视频质量评分，W1、W2分别为预测部分和噪声部分对整体评估影响的权重值。
本发明所达到的有益效果：本发明所提出的分层梯度相似质量评估的优化算法，能够有效地评估图像视频质量。发明的创新点主要提出了图像内容失真和亮度失真评估模拟方案、视觉显著注意相似度评估方案、整体视频质量评估方案；相比于传统方法，其与人类的视觉系统评估系统具有着更高的一致性。
附图说明
图1是本发明方法的流程示意图；
图2是本发明实施例分层梯度相似的视频质量评估模型。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明技术方案包括以下几个部分：
(1)噪声部分相似度模拟方案
研究表明感知失真能够被分为内容相关失真和内容独立失真。内容相关失真主要和加性噪声相关，进行去噪操作后，原始帧和失真帧都被分解成两部分：预测部分和噪声部分，MSE被用于评估噪声部分的退化，得噪声部分相似度为：
上式中Mr和Mt的噪声部分相应代表了参考帧和测试帧，MSE(Mr,,Mt)指出了Mr和Mt的均方差，Sn(Mr,Mt)为噪声部分的视频质量评分。
(2)视觉运动的时空梯度模型模拟方案
由于时空梯度向量也是包含着空间的组件版本，所以时空梯度向量的相似性可以用作视觉运动的建模，故定义预测部分有关视觉运动的像素等级视频质量评估相似度为：
上式Sv表示Xr和Xt的梯度相似性，Xr、Xt分别是预测部分的参考帧和失真帧的像素，向量gr和gt表示相应的三维时空梯度向量。
(3)图像内容失真和亮度失真评估模拟方案
在本研究中，图像被块级梯度矢量相似度模拟，图像的梯度可以反映图像局部区域像素值变化的大小和方向，梯度的大小反映了像素值变化的快慢，而梯度的方向反映了像素变化的趋势，因此梯度图像反映了区域图像的空间结构即表征其内容信息。把参考视频框架和失真视频框架分离为8*8块，块结构的平均值代表了区域图像的梯度值，故可以用图像的空间梯度来评估图像内容失真相似度：
其中，Sco(Br，Bt)表示块Br和Bt之间的块级相似度，Br和Bt分别是预测部分中的参考框架和失真框架的块。这个公式与公式(2)相似，但是此处的向量和是二维空间向量。
计算参考图像和失真图像中图像块的平均亮度得到亮度失真质量分数的计算：
其中，定义图像中所有像素值为图像空间区域的标量场ft(x,y)，得到参考图像fr(x,y)和失真测试图像ft(x,y)，代入公式(4)参考图像的图像块的平均亮度μr和失真图像中图像块的平均亮度得到μt，又由公式(5)得到图像块的亮度失真质量分数dl(μr,μt)，参数C的作用是维持模型的稳定性。
最后定义预测部分有关图像失真的块等级视频质量评估相似度为：
Q＝SCO·dl(μr,μt) (6)
其中，Sco为Br和Bt之间的块级相似度，dl(μr,μt)为图像块的亮度失真质量分数。
(4)视觉显著注意相似度评估方案
视觉注意模型表明人类视觉系统对于显著突出的部分更为敏感，因此我们选择用显著像素来评估感知质量。本研究中采用FT算法从频率角度分析图像，图像在频率域可以分成低频部分和高频部分，利用高斯平滑滤波后来实现对最高频的舍去，关注低频部分。故定义预测部分有关视觉显著注意相似度的计算为：
D(x,y)＝PIμ-Iwhc(x,y)P (7)
其中Sva(pr，pt)表示预测部分pr和pt之间的注意相似度，pr和pt分别从参考框架和失真框架分离得到，Iμ为图像像素的算术平均值，Iwhc(x,y)是对原像素进行高斯模糊后图像像素的算术平均值，D(x,y)为Lab空间下每点与均值的欧氏距离作为显著值。
(5)整体视频质量评估方案
在上面的部分中，不同视觉区域的衰减用相应的相似度来模拟。最终每一个框架的指标可以结合这些相似度来计算。用像素级相似度，块级相似度，和视觉注意力相似度的乘积来表示预测部分相似度：
Spre(Pr,Pt)＝Sv·Sva·Q (9)
其中Spre(Pr,Pt)表示预测视频的质量分数，与失真的画面框架无关。参数Sv和Q分别表示像素为x处图像的像素级相似度和块级相似度。Sva表示视觉注意力相似度。总的视频框架质量评分公式为：
Soverall(Fr,Ft)＝(W1·Spre(Pr,Pt))·(W2·Sn(Mr,Mt)) (10)
其中，Spre和Sn分别表示视频预测部分和噪声部分的质量评分，W1、W2分别为预测部分和噪声部分对整体评估影响的权重值。最终，将所有的画面框架评分进行整合得到整体的视频质量评估分数。
需要说明的是步骤1中对视频经过去噪处理后，分解成预测部分和噪声部分采用的是现有技术，这里不做赘述。以下是本发明方法的一个具体实施例
第1步：对视频进行图像去噪处理，执行第2步；
第2步：依据公式(1)，得到噪声部分的质量评分，执行第3步。
第3步：利用经典图像边缘检测Roberts交叉算子进行边缘检测，得到像素级别梯度值，依据公式(2)、(3)计算像素级相似度，执行第4步；
第4步：把梯度图像分成相互交叠的块，块的大小为8*8，计算每个图像块的质量，执行第5步；
第5步：图像像素值依据公式(4)、(5)、(6)计算后求取内容失真和亮度失真的质量评分，执行第6步；
第6步：依据公式(7)求取块级相似度，执行第7步；
第7步：对图像进行5*5的高斯平滑后，将RGB颜色空间转换到LAB颜色空间，执行第8步；
第8步：对转换后的图像的L、A、B三个通道的图像分别计算l(亮度)、a(有关色彩的要素)、b(有关色彩的要素)的均值,执行第9步；
第9步：依据公式(8)(9)进行数据融合求取显著性相似度，执行第10步；
第10步：依据公式(10)(11)求取整体视频质量评估分数。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (8)
1.一种基于低频显著性的梯度相似视频质量评估方法,其特征在于包括以下步骤：
(1)对视频经过去噪处理后，分解成预测部分和噪声部分；
(2)对噪声部分进行视频质量评估得到噪声部分的视频质量评分；
(3)对预测部分分别进行像素级梯度视频质量评估、块等级视频质量评估以及视觉显著注意视频质量评估，并将评估结果综合得到预测部分的视频质量评分；
(4)根据噪声部分和预测部分的视频质量评分得到最终的质量评估分数。
2.根据权利要求1所述的基于低频显著性的梯度相似视频质量评估方法，其特征在于，所述对噪声部分进行视频质量评估得到噪声部分的视频质量评分Sn(Mr,Mt)的表达式如下：
式中Mr和Mt是噪声部分的参考帧和测试帧，MSE(Mr,,Mt)为Mr和Mt的均方差。
3.根据权利要求2所述的基于低频显著性的梯度相似视频质量评估方法，其特征在于，所述对预测部分进行像素级梯度视频质量评估的表达式为：
上式Sv表示Xr和Xt的梯度相似性，Xr、Xt分别是预测部分的参考帧和失真帧的像素，向量gr和gt表示相应的三维时空梯度向量。
4.根据权利要求3所述的基于低频显著性的梯度相似视频质量评估方法，其特征在于，所述对预测部分进行块等级视频质量评估包括：计算预测部分的参考框架和失真框架的块的块级相似度，表达式为：
其中，Sco(Br，Bt)表示块Br和Bt之间的块级相似度，Br和Bt分别是预测部分的参考框架和失真框架的块，向量gr和gt表示相应的三维时空梯度向量，参数C的作用是维持模型的稳定性；
计算参考图像和失真图像中图像块的平均亮度得到亮度失真质量分数的计算：
其中，fr(x,y)为参考图像ft(x,y)为失真测试图像，μr为参考图像图像块的平均亮度、μt为失真图像中图像块的平均亮度得到，dl(μr,μt)为图像块的亮度失真质量分数，参数C的作用是维持模型的稳定性；
定义预测部分有关图像失真的块等级视频质量评估相似度为：
Q＝ScO·dl(μr,μt) (6)
其中，Sco为Br和Bt之间的块级相似度，dl(μr,μt)为图像块的亮度失真质量分数。
5.根据权利要求4所述的基于低频显著性的梯度相似视频质量评估方法，其特征在于，所述对预测部分进行视觉显著注意视频质量评估的表达式为：
D(x,y)＝PIμ-Iwhc(x,y)P (7)
其中Sva(pr，pt)表示预测部分pr和pt之间的注意相似度，pr和pt分别从参考框架和失真框架分离得到；Sr表示参考视频视觉显著注意部分的梯度图像，St表示失真视频中视觉显著注意部分的梯度图像，参数C的作用是维持模型的稳定性，Iμ为图像像素的算术平均值，Iwhc(x,y)是对原像素进行图像处理后的中间变量，D(x,y)为Lab空间下每点与均值的欧氏距离作为显著值。
6.根据权利要求5所述的基于低频显著性的梯度相似视频质量评估方法，其特征在于，采用高斯平滑滤波方法对原像素进行图像处理得到图像像素的算术平均值Iwhc(x,y)。
7.根据权利要求6所述的基于低频显著性的梯度相似视频质量评估方法，其特征在于，预测部分的视频质量评分表达式为：
Spre(Pr,Pt)＝Sv·Sva·Q (9)
其中Spre(Pr,Pt)表示预测视频的质量分数；参数Sv和Q分别表示图像的像素级相似度和块级相似度，Sva表示视觉注意力相似度。
8.根据权利要求7所述的基于低频显著性的梯度相似视频质量评估方法，其特征在于，根据噪声部分和预测部分的视频质量评分得到最终的视频质量评分的表达式为：
Soverall(Fr,Ft)＝(W1·Spre(Pr,Pt))·(W2·Sn(Mr,Mt)) (10)
其中，Spre(Pr,Pt)和Sn(Mr,Mt)分别表示视频预测部分和噪声部分的视频质量评分，W1、W2分别为预测部分和噪声部分对整体评估影响的权重值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810419565.1A CN108462872A (zh) | 2018-05-04 | 2018-05-04 | 一种基于低频显著性的梯度相似视频质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810419565.1A CN108462872A (zh) | 2018-05-04 | 2018-05-04 | 一种基于低频显著性的梯度相似视频质量评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108462872A true CN108462872A (zh) | 2018-08-28 |
Family
ID=63214575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810419565.1A Pending CN108462872A (zh) | 2018-05-04 | 2018-05-04 | 一种基于低频显著性的梯度相似视频质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108462872A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109996065A (zh) * | 2019-04-15 | 2019-07-09 | 方玉明 | 一种对于非对称失真三维视频的质量评价方法 |
| CN114401400A (zh) * | 2022-01-19 | 2022-04-26 | 福州大学 | 基于视觉显著性编码效应感知的视频质量评测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853504A (zh) * | 2010-05-07 | 2010-10-06 | 厦门大学 | 基于视觉特性与结构相似度的图像质量评测方法 |
| US20130100350A1 (en) * | 2010-07-02 | 2013-04-25 | Thomson Licensing | Method for measuring video quality using a reference, and apparatus for measuring video quality using a reference |
| CN104159104A (zh) * | 2014-08-29 | 2014-11-19 | 电子科技大学 | 基于多级梯度相似的全参考视频质量评估方法 |
| CN104185022A (zh) * | 2013-09-18 | 2014-12-03 | 电子科技大学 | 基于视觉信息失真分解的全参考视频质量评估方法 |
-
2018
- 2018-05-04 CN CN201810419565.1A patent/CN108462872A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101853504A (zh) * | 2010-05-07 | 2010-10-06 | 厦门大学 | 基于视觉特性与结构相似度的图像质量评测方法 |
| US20130100350A1 (en) * | 2010-07-02 | 2013-04-25 | Thomson Licensing | Method for measuring video quality using a reference, and apparatus for measuring video quality using a reference |
| CN104185022A (zh) * | 2013-09-18 | 2014-12-03 | 电子科技大学 | 基于视觉信息失真分解的全参考视频质量评估方法 |
| CN104159104A (zh) * | 2014-08-29 | 2014-11-19 | 电子科技大学 | 基于多级梯度相似的全参考视频质量评估方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109996065A (zh) * | 2019-04-15 | 2019-07-09 | 方玉明 | 一种对于非对称失真三维视频的质量评价方法 |
| CN109996065B (zh) * | 2019-04-15 | 2020-09-22 | 方玉明 | 一种对于非对称失真三维视频的质量评价方法 |
| CN114401400A (zh) * | 2022-01-19 | 2022-04-26 | 福州大学 | 基于视觉显著性编码效应感知的视频质量评测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416377B (zh) | 柱状图中的信息提取方法及装置 | |
| Gu et al. | Model-based referenceless quality metric of 3D synthesized images using local image description | |
| CN103208102B (zh) | 一种基于稀疏表示的遥感图像融合方法 | |
| CN106228544B (zh) | 一种基于稀疏表示和标签传播的显著性检测方法 | |
| JP4848001B2 (ja) | 画像処理装置および画像処理方法 | |
| CN101601287A (zh) | 产生照片级真实感图像缩略图的设备和方法 | |
| JP5310247B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| CN101681438A (zh) | 跟踪三维对象的系统和方法 | |
| JP7434032B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN110287826A (zh) | 一种基于注意力机制的视频目标检测方法 | |
| CN110390673B (zh) | 一种监控场景下基于深度学习的香烟自动检测方法 | |
| CN109657612A (zh) | 一种基于人脸图像特征的质量排序系统及其使用方法 | |
| WO2007074844A1 (ja) | 顔パーツの位置の検出方法及び検出システム | |
| Zhang et al. | Video salient region detection model based on wavelet transform and feature comparison | |
| CN108764328A (zh) | 太赫兹图像危险品识别方法、装置、设备及可读存储介质 | |
| CN110490807A (zh) | 图像重建方法、装置及存储介质 | |
| CN107240073A (zh) | 一种基于梯度融合与聚类的三维视频图像修复方法 | |
| CN104182983B (zh) | 基于角点特征的高速公路监控视频清晰度的检测方法 | |
| CN115063785B (zh) | 高速公路场景使用目标识别模型定位车牌的方法及装置 | |
| CN108462872A (zh) | 一种基于低频显著性的梯度相似视频质量评估方法 | |
| CN106373126A (zh) | 基于融合类测地线和边界对比的图像显著性检测方法 | |
| CN106127813B (zh) | 基于视觉感知能量的监控视频运动片段分割方法 | |
| CN104282013B (zh) | 一种用于前景目标检测的图像处理方法及装置 | |
| JP5232619B2 (ja) | 検査装置および検査方法 | |
| CN107886549B (zh) | 一种基于编织纹理细节增强的织物纹样色彩转移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180828 |
|
| RJ01 | Rejection of invention patent application after publication |