CN111510707A - 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法 - Google Patents
一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法 Download PDFInfo
- Publication number
- CN111510707A CN111510707A CN202010326713.2A CN202010326713A CN111510707A CN 111510707 A CN111510707 A CN 111510707A CN 202010326713 A CN202010326713 A CN 202010326713A CN 111510707 A CN111510707 A CN 111510707A
- Authority
- CN
- China
- Prior art keywords
- screen video
- gabor
- video
- feature tensor
- tensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法。该方法首先分别给定参考和失真屏幕视频序列,将3D‑Gabor滤波器作用于参考和视频序列以获得时空特征张量;然后计算出参考屏幕视频和失真屏幕视频的时空特征张量相似度;最后,使用基于时空特征张量的池化策略获得失真屏幕视频的质量分数。本发明所述的方法计算简单,能够准确评估屏幕视频质量。
Description
技术领域
本发明涉及视频处理领域,尤其涉及一种基于时空Gabor特征张量的全参考屏幕视频质 量评估方法。
背景技术
随着云计算、移动互联网和多媒体技术的蓬勃发展,屏幕视频在各个领域得到了广泛的 关注和应用,如在线教育、远程计算、视频会议、游戏直播和虚拟桌面共享等。与自然场景 视频不同,屏幕视频是一种复合视觉内容,既包含计算机直接生成或渲染的非连续色调区域, 如图标、图表、文字等,又包含摄像机生成的连续色调区域,如自然场景视频片段等。视频 处理旨在于提供高清晰度的视频主观视觉质量。然而,与自然场景视频一样,屏幕视频在生 成、处理、压缩、存储、传输和渲染的过程中不可避免地会引入各种失真从而导致视觉效果 降低。由于人眼是图像最终接受者,如何准确地从人眼视觉感知的角度去描述屏幕视频质量 成为一个迫切需求。
为此,研究者们提出了一系列针对视频的视觉质量评价方法。例如,VQM是一种利用图 像的颜色、亮度、时空域等变化特征之间的关联性来对视频进行评价的视频质量模型。MOVIE 将空间域中的多信道分解扩展到时空域,并分别预测空间失真和时间失真,在计算时间失真 时考虑时域中HVS的特性从而成功地预测了时间失真。
由于现有大多数质量评价方法都是针对自然场景图像视频而设计,并未充分考虑屏幕视 频的结构和统计特性。因此,如何充分考虑屏幕视频特点和人类视觉系统特性,设计符合人 眼视觉特性的屏幕视频视觉质量评价方法,是当前视频技术领域一个兼具理论和实际应用价 值的新兴研究课题。
发明内容
本发明的主要目的在于克服现有技术的不足,提出一种高效、计算简单的基于时空Gabor 特征张量的全参考屏幕视频质量评估方法。通过提取屏幕视频的时空特征张量,计算得到失 真屏幕视频的质量评价分数。该方法能够准确反映人眼对于屏幕视频的主观感知。
本发明所采用的技术方案是:
一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法,步骤如下:
1)输入参考屏幕视频r和失真屏幕视频d;
3)计算参考屏幕视频r和失真屏幕视频d的时空特征张量的相似度SS(x,y,t)和ST(x,y,t), 进而得到失真屏幕视频的时空质量张量SQ(x,y,t);
4)基于步骤3)得到的失真屏幕视频的时空质量张量进行加权池化得到失真屏幕视频d 的质量评估分数。
优选的,在步骤1)中将参考屏幕视频和失真屏幕视频分别按照连续数帧沿时间轴组合 获得参考屏幕视频单元和失真屏幕视频单元。
优选的,在步骤2)中,所述的提取参考屏幕视频r的时空Gabor特征张量,步骤如下:
其中,(x,y,t)表示视频单元中的像素位置,变量x和y是空间变量,而t是时间变量。 是x方向3D-Gabor滤波器,是y方向3D-Gabor滤波器,是t 方向3D-Gabor滤波器,三者对应的卷积核定义如下:
其中,分别代表x,y方向3D-Gabor滤波器与参考屏幕视频r卷积 后所得的水平方向特征张量和垂直方向特征张量,时间特征张量是t方向3D-Gabor 滤波器与参考屏幕视频r卷积后所得的t方向特征张量。
优选的,所述的提取失真屏幕视频d的时空Gabor特征张量,步骤如下:
其中,(x,y,t)表示视频单元中的像素位置,变量x和y是空间变量,而t是时间变量。 是x方向3D-Gabor滤波器,是y方向3D-Gabor滤波器,是t 方向3D-Gabor滤波器,三者对应的卷积核定义如下:
优选的,在步骤3)中,计算参考屏幕视频r和失真屏幕视频d的空间特征张量相似度 SS(x,y,t)和时间特征张量相似度ST(x,y,t),进而得到失真视频序列的时空质量张量SQ(x,y,t):
其中,C1=C2=800。
优选的,在步骤4)中,具体计算步骤如下:
4.1)通过空间池化策略得到失真屏幕视频d的每一个视频单元质量评估分数:
4.2)通过时间池化策略得到失真屏幕视频d的质量评估分数:
其中N代表视频单元的个数。
本发明的有益效果如下:
本发明提供了一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法,一方面充 分利用了3D-Gabor滤波器能有效地提取屏幕视频的时空特征张量,另一方面充分考虑了人眼 视觉系统从空域角度对方向、边缘、轮廓高度敏感,而从时域角度对移动物体趋于感兴趣。 因此,本方法具有较好的屏幕视频质量评估性能,计算得到的客观分数与主观评价有较高的 一致性,且计算复杂度低,能够客观准确评估屏幕视频的质量。
附图说明
图1是本发明基于时空Gabor特征张量的全参考屏幕视频质量评估方法的流程示意图。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
参见图1所示,一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法,具体步骤 如下:
1)输入参考屏幕视频r和失真屏幕视频d,将参考屏幕视频和失真屏幕视频分别按照连 续数帧沿时间轴组合获得参考屏幕视频单元和失真屏幕视频单元;
其中,(x,y,t)表示视频单元中的像素位置,变量x和y是空间变量,而t是时间变量。 是x方向3D-Gabor滤波器,是y方向3D-Gabor滤波器,是t 方向3D-Gabor滤波器,三者对应的卷积核定义如下:
其中,分别代表x,y方向3D-Gabor滤波器与参考屏幕视频r卷积 后所得的水平方向特征张量和垂直方向特征张量,时间特征张量是t方向3D-Gabor 滤波器与参考屏幕视频r卷积后所得的t方向特征张量。
提取失真屏幕视频d的时空Gabor特征张量,具体步骤如下:
其中,(x,y,t)表示视频单元中的像素位置,变量x和y是空间变量,而t是时间变量。 是x方向3D-Gabor滤波器,是y方向3D-Gabor滤波器,是t 方向3D-Gabor滤波器,三者对应的卷积核定义如下:
3)计算参考屏幕视频r和失真屏幕视频d的空间特征张量相似度SS(x,y,t)和时间特征张 量相似度ST(x,y,t),进而得到失真视频序列的时空质量张量SQ(x,y,t):
其中,C1=C2=800。
4)基于步骤3)得到的时空质量张量进行加权池化得到失真屏幕视频d的质量评估分数, 计算步骤如下:
4.1)通过空间池化策略得到失真屏幕视频d的每一个视频单元质量评估分数:
4.2)通过时间池化策略得到失真屏幕视频d的质量评估分数:
其中,N代表视频单元的个数。
由上式可知,3D-Gabor值与失真屏幕视频质量成正比,即3D-Gabor值越大表示屏幕视 频失真越小,主观质量越好。
上述实施例仅是用来说明本发明,而并非用作对本发明的限定。只要是依据本发明的技 术实质,对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。
Claims (6)
2.根据权利要求1所述的基于时空Gabor特征张量的全参考屏幕视频质量评估方法,其特征在于:在步骤1)中将参考屏幕视频和失真屏幕视频分别按照连续数帧沿时间轴组合获得参考屏幕视频单元和失真屏幕视频单元。
3.根据权利要求2所述的一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法,其特征在于:在步骤2)中,所述的提取参考屏幕视频r的时空Gabor特征张量,具体步骤如下:
其中,(x,y,t)表示视频单元中的像素位置,变量x和y是空间变量,而t是时间变量。是x方向3D-Gabor滤波器,是y方向3D-Gabor滤波器,是t方向3D-Gabor滤波器,三者对应的卷积核定义如下:
4.根据权利要求3所述的一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法,其特征在于:步骤2中,所述的提取失真屏幕视频d的时空Gabor特征张量,步骤如下:
其中,(x,y,t)表示视频单元中的像素位置,变量x和y是空间变量,而t是时间变量。是x方向3D-Gabor滤波器,是y方向3D-Gabor滤波器,是t方向3D-Gabor滤波器,三者对应的卷积核定义如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010326713.2A CN111510707B (zh) | 2020-04-23 | 2020-04-23 | 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010326713.2A CN111510707B (zh) | 2020-04-23 | 2020-04-23 | 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111510707A true CN111510707A (zh) | 2020-08-07 |
CN111510707B CN111510707B (zh) | 2021-08-31 |
Family
ID=71864201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010326713.2A Active CN111510707B (zh) | 2020-04-23 | 2020-04-23 | 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111510707B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085102A (zh) * | 2020-09-10 | 2020-12-15 | 西安电子科技大学 | 基于三维时空特征分解的无参考视频质量评价方法 |
CN113014916A (zh) * | 2021-02-26 | 2021-06-22 | 华侨大学 | 一种基于局部视频活动度的屏幕视频质量识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101465664B1 (ko) * | 2013-12-31 | 2014-12-01 | 성균관대학교산학협력단 | 영상 데이터 품질 평가 장치, 방법 및 시스템 |
CN105809691A (zh) * | 2016-03-09 | 2016-07-27 | 华侨大学 | 一种全参考屏幕图像质量评估方法 |
CN105828064A (zh) * | 2015-01-07 | 2016-08-03 | 中国人民解放军理工大学 | 融合局部和全局时空特性的无参考视频质量评估方法 |
JP2017005343A (ja) * | 2015-06-05 | 2017-01-05 | 日本電信電話株式会社 | 映像品質推定装置、映像品質推定方法、及びプログラム |
CN107274388A (zh) * | 2017-05-22 | 2017-10-20 | 浙江科技学院 | 一种基于全局信息的无参考屏幕图像质量评价方法 |
-
2020
- 2020-04-23 CN CN202010326713.2A patent/CN111510707B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101465664B1 (ko) * | 2013-12-31 | 2014-12-01 | 성균관대학교산학협력단 | 영상 데이터 품질 평가 장치, 방법 및 시스템 |
CN105828064A (zh) * | 2015-01-07 | 2016-08-03 | 中国人民解放军理工大学 | 融合局部和全局时空特性的无参考视频质量评估方法 |
JP2017005343A (ja) * | 2015-06-05 | 2017-01-05 | 日本電信電話株式会社 | 映像品質推定装置、映像品質推定方法、及びプログラム |
CN105809691A (zh) * | 2016-03-09 | 2016-07-27 | 华侨大学 | 一种全参考屏幕图像质量评估方法 |
CN107274388A (zh) * | 2017-05-22 | 2017-10-20 | 浙江科技学院 | 一种基于全局信息的无参考屏幕图像质量评价方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085102A (zh) * | 2020-09-10 | 2020-12-15 | 西安电子科技大学 | 基于三维时空特征分解的无参考视频质量评价方法 |
CN112085102B (zh) * | 2020-09-10 | 2023-03-10 | 西安电子科技大学 | 基于三维时空特征分解的无参考视频质量评价方法 |
CN113014916A (zh) * | 2021-02-26 | 2021-06-22 | 华侨大学 | 一种基于局部视频活动度的屏幕视频质量识别方法 |
CN113014916B (zh) * | 2021-02-26 | 2022-11-01 | 华侨大学 | 一种基于局部视频活动度的屏幕视频质量识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111510707B (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kang et al. | Learning-based joint super-resolution and deblocking for a highly compressed image | |
Moorthy et al. | Visual quality assessment algorithms: what does the future hold? | |
US9639956B2 (en) | Image adjustment using texture mask | |
Dong et al. | Human visual system-based saliency detection for high dynamic range content | |
CN112954312A (zh) | 一种融合时空特征的无参考视频质量评估方法 | |
CN111510707B (zh) | 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法 | |
US20140176548A1 (en) | Facial image enhancement for video communication | |
CN110136144B (zh) | 一种图像分割方法、装置及终端设备 | |
CN113327234B (zh) | 基于空时显著性分类和融合的视频重定向质量评价方法 | |
Cheng et al. | Screen content video quality assessment: Subjective and objective study | |
CN111861902A (zh) | 基于深度学习的Raw域视频去噪方法 | |
Choi et al. | Video quality assessment accounting for temporal visual masking of local flicker | |
Xu et al. | EPES: Point cloud quality modeling using elastic potential energy similarity | |
Chen et al. | An improved image enhancement framework based on multiple attention mechanism | |
Zhang et al. | No-reference omnidirectional image quality assessment based on joint network | |
CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
Xian et al. | A content-oriented no-reference perceptual video quality assessment method for computer graphics animation videos | |
Wang et al. | Subjective quality assessment for images generated by computer graphics | |
Zeng et al. | Screen content video quality assessment model using hybrid spatiotemporal features | |
Yue et al. | Subjective quality assessment of animation images | |
Danier et al. | BVI-VFI: A Video Quality Database for Video Frame Interpolation | |
Suen et al. | Spatial-temporal visual attention model for video quality assessment | |
CN111127587A (zh) | 一种基于对抗生成网络的无参考图像质量地图生成方法 | |
CN111127392A (zh) | 一种基于对抗生成网络的无参考图像质量评价方法 | |
Che et al. | Reduced-reference quality metric for screen content image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |