CN112132775B - 一种基于Fisher编码的屏幕内容图像无参考质量评价方法 - Google Patents

一种基于Fisher编码的屏幕内容图像无参考质量评价方法 Download PDF

Info

Publication number
CN112132775B
CN112132775B CN202010777425.9A CN202010777425A CN112132775B CN 112132775 B CN112132775 B CN 112132775B CN 202010777425 A CN202010777425 A CN 202010777425A CN 112132775 B CN112132775 B CN 112132775B
Authority
CN
China
Prior art keywords
screen content
content image
image
fisher
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010777425.9A
Other languages
English (en)
Other versions
CN112132775A (zh
Inventor
白永强
朱仲杰
屠仁伟
张庆庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Wanli University
Original Assignee
Zhejiang Wanli University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Wanli University filed Critical Zhejiang Wanli University
Priority to CN202010777425.9A priority Critical patent/CN112132775B/zh
Publication of CN112132775A publication Critical patent/CN112132775A/zh
Application granted granted Critical
Publication of CN112132775B publication Critical patent/CN112132775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于Fisher编码的屏幕内容图像无参考质量评价方法，特点是将原始无失真屏幕内容图像进行预处理后，经过高斯混合模型训练之后，得到高斯混合模型中的先验值、均值和协方差；将失真屏幕内容图像进行预处理后，先根据高斯混合模型，通过Fisher编码得到特征向量，再与主观质量分值采用支持向量回归进行拟合，得到屏幕内容图像质量预测函数；将待测屏幕内容图像进行预处理后，先根据高斯混合模型，通过Fisher编码得到特征向量，再代入屏幕内容图像质量预测函数中得到待测屏幕内容图像的质量预测分数；优点是采用高斯混合模型表征屏幕内容图像的统计特征，并通过Fisher编码对屏幕内容图像进行特征刻画，有效地提高屏幕内容图像无参考质量评价的准确性。

Description

一种基于Fisher编码的屏幕内容图像无参考质量评价方法
技术领域
本发明涉及一种屏幕内容图像质量评价方法，尤其是一种基于Fisher编码的屏幕内容图像无参考质量评价方法。
背景技术
屏幕内容图像是人机交互的重要媒介，广泛应用于远程桌面、云计算、在线教育和虚拟屏幕共享等领域。作为一种复合图像，屏幕内容图像既包含由计算机直接生成的图表和文字，又包含摄像机拍摄的自然图像。但是由于屏幕内容图像在生成、压缩和传输等过程中不可避免地会引入各种失真(如高斯噪声、压缩等)，从而导致屏幕内容图像质量发生退化。
图像质量评价主要通过对图像进行质量相关特征的提取，进而设计质量评价算法来实现，并且通过拟合图像质量评价数据库来测评该算法的准确性。现有的无参考图像质量评价算法主要针对自然图像，并基于自然场景的统计特征模型而设计。但是因为一方面自然图像的亮度和颜色分布丰富且复杂，而屏幕内容图像的亮度和颜色变化及结构通常更少、更简单，导致屏幕内容图像与自然图像的特征不同；另一方面当屏幕内容图像存在计算机图形和文档图像等人工生成的图像内容时，可以被自然图像采用的自然场景统计特征模型就会被破坏，所以如果将基于自然图像的自然场景统计特征模型直接应用到屏幕内容图像中，会造成屏幕内容图像无参考客观质量评价的结果不准确，从而降低客观评价结果与主观感知之间的相关性。
发明内容
本发明所要解决的技术问题是提供一种基于Fisher编码的屏幕内容图像无参考质量评价方法，不但能提高客观评价结果与主观感知之间的相关性，而且能提高屏幕内容图像无参考质量评价的准确性。
本发明解决上述技术问题所采用的技术方案为：一种基于Fisher编码的屏幕内容图像无参考质量评价方法，包括以下步骤：
①，选取多幅原始无失真屏幕内容图像，对每幅原始无失真屏幕内容图像进行分块和归一化处理得到每幅原始无失真屏幕内容图像的归一化分块，对每幅原始无失真屏幕内容图像的归一化分块进行白化处理得到每幅原始无失真屏幕内容图像的白化分块，采用开源库对所有原始无失真屏幕内容图像的白化分块进行高斯混合模型训练，得到高斯混合模型的先验值、均值和协方差；
②，读取已知的数据库中所有失真屏幕内容图像，并从该数据库得到每幅失真屏幕内容图像的主观质量分值；对每幅失真屏幕内容图像进行分块和归一化处理得到每幅失真屏幕内容图像的归一化分块，对每幅失真屏幕内容图像的归一化分块进行白化处理得到每幅失真屏幕内容图像的白化分块，根据步骤①中得到的高斯混合模型的先验值、均值和协方差，采用开源库对每幅失真屏幕内容图像的白化分块进行Fisher编码，得到每幅失真屏幕内容图像的Fisher向量，对每幅失真屏幕内容图像的Fisher向量进行归一化处理后，得到每幅失真屏幕内容图像的特征向量；
③，将数据库中每幅失真屏幕内容图像的主观质量分值与特征向量采用支持向量回归进行拟合，得到屏幕内容图像质量预测函数；
④，读取待测屏幕内容图像，对待测屏幕内容图像进行分块和归一化处理得到待测屏幕内容图像的归一化分块，对待测屏幕内容图像的归一化分块进行白化处理得到待测屏幕内容图像的白化分块，根据步骤①中得到的高斯混合模型的先验值、均值和协方差，采用开源库对待测屏幕内容图像的白化分块进行Fisher编码，得到待测屏幕内容图像的Fisher向量，对待测屏幕内容图像的Fisher向量进行归一化处理后，得到待测屏幕内容图像的特征向量；
⑤，将步骤④得到的待测屏幕内容图像的特征向量代入步骤③中得到的屏幕内容图像质量预测函数中，得到待测屏幕内容图像的质量预测分数。
所述的步骤①的具体方法为：
①-1，选取ND幅原始无失真的屏幕内容图像，将第i幅原始无失真的屏幕内容图像记为其中i∈[1,ND]；判断/>是否为灰度图像，若/>不是灰度图像，则将其转换为灰度图像，记为/>若/>是灰度图像，则保持不变，记为/>将/>的高度记为RD，宽度记为CD；将/>划分成/>个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x,y)的分块记为其中，/>表示向下取整；对/>进行归一化处理，得到归一化分块/>其中，αD和βD表示分块/>的均值和方差，δ为常数；对/>进行白化处理得到白化分块B；
①-2，采用开源库对所有原始无失真屏幕内容图像的白化分块进行高斯混合模型训练，其中将高斯混合模型的聚类分量个数设置为K，得到的高斯混合模型的先验值ω、均值μ和协方差σ2，将高斯混合模型记为P(B|ω,μ,σ2)。
所述的步骤②的具体方法为：
②-1，读取数据库SIQAD[]中所有失真屏幕内容图像，将第i幅失真屏幕内容图像记为其中i∈[1,NS]，NS表示数据库SIQAD[]中失真屏幕内容图像的总幅数；将第i幅失真屏幕内容图像的主观质量分值记为/>其中/>i∈[1,NS]；
②-2，判断是否为灰度图像，若/>不是灰度图像，则将其转换为灰度图像，记为若/>是灰度图像，则保持不变，记为/>将灰度图像/>的高度记为RS，宽度记为CS；将/>划分成/>个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x,y)的分块记为其中，/>表示向下取整；对/>的进行归一化处理，得到归一化分块/>其中，αS、βS分别表示分块/>的均值、方差，δ为常数；对/>进行白化处理得到白化分块；
②-3，根据步骤①-2得中到的高斯混合模型的先验值ω、均值μ和协方差σ2，采用开源库对的白化分块进行Fisher编码，得到/>的Fisher向量/>其中vl_fisher()表示开源库中的Fisher编码函数；对/>进行归一化处理，得到/>的特征向量/>其中λ表示指数归一化的强度系数，sign(x)表示符号函数，当x<0时，sign(x)＝-1；当x＝0时，sign(x)＝0；当x>0时，sign(x)＝1。
所述的步骤④的具体方法为：
④-1，将待测屏幕内容图像记为I，判断I是否为灰度图像，若I不是灰度图像，则将其转化为灰度图像，记为若I是灰度图像，则保持不变，记为/>将/>的高度记为R，宽度记为C；将/>划分成/>个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x,y)的分块记为B(x,y)，其中，/>表示向下取整；对B(x,y)进行归一化处理，得到归一化分块/>其中α、β分别表示分块B(x,y)的均值、方差，δ为常数；对/>进行白化处理得到白化分块；
④-2，根据步骤①-2得中到的高斯混合模型的先验值ω、均值μ和协方差σ2，采用开源库对待测屏幕内容图像的白化分块进行Fisher编码，得到待测屏幕内容图像的Fisher向量f,其中vl_fisher()表示开源库中的Fisher编码函数；对f进行归一化处理，得到待测屏幕内容图像的特征向量/>其中λ表示指数归一化的强度系数，sign(x)表示符号函数，当x<0时，sign(x)＝-1；当x＝0时，sign(x)＝0；当x>0时，sign(x)＝1。
所述的步骤①-1、②-2、④-1中δ为10。
所述的步骤①-2中将K设置为100。
所述的步骤②-3、④-2中将λ设置为0.2。
所述的开源库为VLFeat开源库。
所述的白化处理选择ZCA白化处理过程。
与现有技术相比，本发明的优点在于将原始无失真屏幕内容图像进行分块、归一化和白化处理，经过高斯混合模型训练之后，得到原始无失真屏幕内容图像的高斯混合模型中的先验值、均值和协方差；读取已知的数据库中所有失真屏幕内容图像进行分块、归一化和白化处理，先根据原始无失真屏幕内容图像的高斯混合模型的先验值、均值和协方差，通过Fisher编码得到失真屏幕内容图像的特征向量，再与失真屏幕内容图像的主观质量分值采用支持向量回归进行拟合，得到屏幕内容图像质量预测函数；将待测屏幕内容图像进行分块、归一化和白化处理，先根据原始无失真屏幕内容图像的高斯混合模型的先验值、均值和协方差，通过Fisher编码得到待测屏幕内容图像的特征向量，再代入屏幕内容图像质量预测函数中即可得到待测屏幕内容图像的质量预测分数；采用高斯混合模型中的先验值、均值和协方差表征屏幕内容图像的统计特征，并通过Fisher编码对屏幕内容图像进行特征刻画，在一定程度上解决了屏幕内容图像无参考统计信息和特征描述困难的问题，并且通过对图像进行分块、归一化和白化处理，增强了高斯混合模型和Fisher编码的有效性，不但能有效地提高屏幕内容图像无参考质量评价的准确性，而且能提高客观评价结果与人眼主观感知质量之间的相关性。
附图说明
图1为本发明的整体流程示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
一种基于Fisher编码的屏幕内容图像无参考质量评价方法，包括以下步骤：
①，选取多幅原始无失真屏幕内容图像，对每幅原始无失真屏幕内容图像进行分块和归一化处理得到每幅原始无失真屏幕内容图像的归一化分块，对每幅原始无失真屏幕内容图像的归一化分块进行白化处理得到每幅原始无失真屏幕内容图像的白化分块，采用开源库对所有原始无失真屏幕内容图像的白化分块进行高斯混合模型训练，得到高斯混合模型的先验值、均值和协方差：
①-1，选取ND＝84幅原始无失真的屏幕内容图像，将第i幅原始无失真的屏幕内容图像记为其中i∈[1,ND]；判断/>是否为灰度图像，若/>不是灰度图像，则将其转换为灰度图像，记为/>若/>是灰度图像，则保持不变，记为/>将/>的高度记为RD，宽度记为CD；将划分成/>个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x,y)的分块记为/>其中，/> 表示向下取整；对/>进行归一化处理，得到归一化分块/>其中，αD和βD表示分块/>的均值和方差，δ为常数；对/>进行白化处理得到白化分块B；本发明中δ为10；
①-2，采用开源库对所有原始无失真屏幕内容图像的白化分块进行高斯混合模型训练，其中将高斯混合模型的聚类分量个数设置为K＝100，得到的高斯混合模型的先验值ω、均值μ和协方差σ2，将高斯混合模型记为P(B|ω,μ,σ2)；
②，读取已知的数据库中所有失真屏幕内容图像，并从该数据库得到每幅失真屏幕内容图像的主观质量分值；对每幅失真屏幕内容图像进行分块和归一化处理得到每幅失真屏幕内容图像的归一化分块，对每幅失真屏幕内容图像的归一化分块进行白化处理得到每幅失真屏幕内容图像的白化分块，根据步骤①中得到的高斯混合模型的先验值、均值和协方差，采用开源库对每幅失真屏幕内容图像的白化分块进行Fisher编码，得到每幅失真屏幕内容图像的Fisher向量，对每幅失真屏幕内容图像的Fisher向量进行归一化处理后，得到每幅失真屏幕内容图像的特征向量：
②-1，读取数据库SIQAD[](H.Yang,Y.Fang,W.Lin,“Perceptual qualityassessment of screen content images,”IEEE Trans.Image Process.vol.24,no.11,pp.4408-4421,2015.)中所有失真屏幕内容图像，将第i幅失真屏幕内容图像记为其中i∈[1,NS]，NS表示数据库SIQAD[]中失真屏幕内容图像的总幅数；将第i幅失真屏幕内容图像的主观质量分值记为/>其中/>i∈[1,NS]；本发明中NS＝980；
②-2，判断是否为灰度图像，若/>不是灰度图像，则将其转换为灰度图像，记为/>若/>是灰度图像，则保持不变，记为/>将灰度图像/>的高度记为RS，宽度记为CS；将/>划分成个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x,y)的分块记为/>其中，/>表示向下取整；对/>的进行归一化处理，得到归一化分块/>其中，αS、βS分别表示分块/>的均值、方差，δ为常数；对/>进行白化处理得到白化分块；本发明中δ为10；
②-3，根据步骤①-2得中到的高斯混合模型的先验值ω、均值μ和协方差σ2，采用开源库对的白化分块进行Fisher编码，得到/>的Fisher向量/>其中vl_fisher()表示开源库中的Fisher编码函数；对/>进行归一化处理，得到/>的特征向量/>其中λ表示指数归一化的强度系数，sign(x)表示符号函数，当x<0时，sign(x)＝-1；当x＝0时，sign(x)＝0；当x>0时，sign(x)＝1；本发明中λ设置为0.2；
③，将数据库中每幅失真屏幕内容图像的主观质量分值与特征向量采用支持向量回归进行拟合，得到屏幕内容图像质量预测函数；
④，读取待测屏幕内容图像，对待测屏幕内容图像进行分块和归一化处理得到待测屏幕内容图像的归一化分块，对待测屏幕内容图像的归一化分块进行白化处理得到待测屏幕内容图像的白化分块，根据步骤①中得到的高斯混合模型的先验值、均值和协方差，采用开源库对待测屏幕内容图像的白化分块进行Fisher编码，得到待测屏幕内容图像的Fisher向量，对待测屏幕内容图像的Fisher向量进行归一化处理后，得到待测屏幕内容图像的特征向量：
④-1，将待测屏幕内容图像记为I，判断I是否为灰度图像，若I不是灰度图像，则将其转化为灰度图像，记为若I是灰度图像，则保持不变，记为/>将/>的高度记为R，宽度记为C；将/>划分成/>个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x,y)的分块记为B(x,y)，其中，/>表示向下取整；对B(x,y)进行归一化处理，得到归一化分块/>其中α、β分别表示分块B(x,y)的均值、方差，δ为常数；对/>进行白化处理得到白化分块；本发明中δ为10；
④-2，根据步骤①-2得中到的高斯混合模型的先验值ω、均值μ和协方差σ2，采用开源库对待测屏幕内容图像的白化分块进行Fisher编码，得到待测屏幕内容图像的Fisher向量f,其中vl_fisher()表示开源库中的Fisher编码函数；对f进行归一化处理，得到待测屏幕内容图像的特征向量/>其中λ表示指数归一化的强度系数，sign(x)表示符号函数，当x<0时，sign(x)＝-1；当x＝0时，sign(x)＝0；当x>0时，sign(x)＝1；本发明中λ设置为0.2；
⑤，将步骤④得到的待测屏幕内容图像的特征向量代入步骤③中得到的屏幕内容图像质量预测函数中，得到待测屏幕内容图像的质量预测分数。
本发明采用VLFeat开源库(VLFeat open source library,[Online].Available:http://www.vlfeat.org/)作为实验的开源库。
本发明白化处理采用ZCA白化处理过程(A.E.Oja,“Independentcomponent analysis:Algorithms and applications,”Neural Networks,vol.13,no.4,pp.411–430,2000)。
为了进一步验证本发明方法的可行性和有效性：利用公开的屏幕内容图像测试数据库SIQAD进行实验验证，以分析本发明方法的客观评价结果与平均主观评分差值之间的相关性。数据库SIQAD包含20张参考屏幕内容图像和980张失真屏幕内容图像。其中包含7种失真类型，分别为GN(高斯噪声),GB(高斯模糊),MB(运动模糊),CC(对比度拉伸),JPEG,J2K(JPEG 2000)和LSC(基于编码的层分割)，并且每种失真7个失真等级。
在此，利用质量评价方法的3个常用客观参量作为评价标准，即PLCC(Pearson线性相关系数)、SRCC(Spearman等级相关系数)以及RMSE(均方根误差)。其中，PLCC用来反映无参考质量评价方法预测的精确性，SRCC用来反映无参考质量评价方法的预测单调性，PLCC和SRCC的值越接近1，表示该无参考质量评价方法的性能越好；RMSE用来反映无参考质量评价方法的预测准确性，RMSE的值越小表示无参考质量评价方法准确性越高。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。根据表1所列数据可见，使用本发明方法得到的总性能中PLCC值和SRCC值分别达到0.90和0.89以上，RMSE低于6.17，按本发明方法得到的失真屏幕内容图像无参考质量评价预测分数和数据库SIQAD自带的平均主观评分差值DMOS之间的相关性较高，表明使用本发明方法得到的无参考质量评价结果与人眼主观感知的结果较为一致，很好地说明了本发明方法的有效性。同时，对数据库中不同类型和强度的失真均表现出良好的性能，表明本发明方法与各种失真的相关性较小，很好地说明了本发明方法的泛化性。
表1利用本发明方法得到的失真屏幕内容图像无参考质量评价预测分数和主观评分之间的相关性

Claims (9)

1.一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于包括以下步骤：
①，选取多幅原始无失真屏幕内容图像，对每幅原始无失真屏幕内容图像进行分块和归一化处理得到每幅原始无失真屏幕内容图像的归一化分块，对每幅原始无失真屏幕内容图像的归一化分块进行白化处理得到每幅原始无失真屏幕内容图像的白化分块，采用开源库对所有原始无失真屏幕内容图像的白化分块进行高斯混合模型训练，得到高斯混合模型的先验值、均值和协方差；
②，读取已知的数据库中所有失真屏幕内容图像，并从该数据库得到每幅失真屏幕内容图像的主观质量分值；对每幅失真屏幕内容图像进行分块和归一化处理得到每幅失真屏幕内容图像的归一化分块，对每幅失真屏幕内容图像的归一化分块进行白化处理得到每幅失真屏幕内容图像的白化分块，根据步骤①中得到的高斯混合模型的先验值、均值和协方差，采用开源库对每幅失真屏幕内容图像的白化分块进行Fisher编码，得到每幅失真屏幕内容图像的Fisher向量，对每幅失真屏幕内容图像的Fisher向量进行归一化处理后，得到每幅失真屏幕内容图像的特征向量；
③，将数据库中每幅失真屏幕内容图像的主观质量分值与特征向量采用支持向量回归进行拟合，得到屏幕内容图像质量预测函数；
④，读取待测屏幕内容图像，对待测屏幕内容图像进行分块和归一化处理得到待测屏幕内容图像的归一化分块，对待测屏幕内容图像的归一化分块进行白化处理得到待测屏幕内容图像的白化分块，根据步骤①中得到的高斯混合模型的先验值、均值和协方差，采用开源库对待测屏幕内容图像的白化分块进行Fisher编码，得到待测屏幕内容图像的Fisher向量，对待测屏幕内容图像的Fisher向量进行归一化处理后，得到待测屏幕内容图像的特征向量；
⑤，将步骤④得到的待测屏幕内容图像的特征向量代入步骤③中得到的屏幕内容图像质量预测函数中，得到待测屏幕内容图像的质量预测分数。
2.根据权利要求1所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的步骤①的具体方法为：
①-1，选取ND幅原始无失真的屏幕内容图像，将第i幅原始无失真的屏幕内容图像记为其中i∈[1，ND]；判断/>是否为灰度图像，若/>不是灰度图像，则将其转换为灰度图像，记为/>若/>是灰度图像，则保持不变，记为/>将/>的高度记为RD，宽度记为CD；将/>划分成个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x，y)的分块记为/>其中，/> 表示向下取整；对/>进行归一化处理，得到归一化分块/>其中，αD和βD表示分块/>的均值和方差，δ为常数；对/>进行白化处理得到白化分块B；
①-2，采用开源库对所有原始无失真屏幕内容图像的白化分块进行高斯混合模型训练，其中将高斯混合模型的聚类分量个数设置为K，得到的高斯混合模型的先验值ω、均值μ和协方差σ2，将高斯混合模型记为P(B|ω，μ，σ2)。
3.根据权利要求1所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的步骤②的具体方法为：
②-1，读取数据库SIQAD[]中所有失真屏幕内容图像，将第i幅失真屏幕内容图像记为其中i∈[1，NS]，NS表示数据库SIQAD[]中失真屏幕内容图像的总幅数；将第i幅失真屏幕内容图像的主观质量分值记为/>其中/>i∈[1，NS]；
②-2，判断是否为灰度图像，若/>不是灰度图像，则将其转换为灰度图像，记为/>若/>是灰度图像，则保持不变，记为/>将灰度图像/>的高度记为RS，宽度记为CS；将/>划分成个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x，y)的分块记为/>其中，/> 表示向下取整；对/>的进行归一化处理，得到归一化分块其中，αS、βS分别表示分块/>的均值、方差，δ为常数；对进行白化处理得到白化分块；
②-3，根据步骤①-2得中到的高斯混合模型的先验值ω、均值μ和协方差σ2，采用开源库对的白化分块进行Fisher编码，得到/>的Fisher向量/> 其中vl_fisher()表示开源库中的Fisher编码函数；对/>进行归一化处理，得到/>的特征向量/> 其中λ表示指数归一化的强度系数，sign(x)表示符号函数，当x＜0时，sign(x)＝-1；当x＝0时，sign(x)＝0；当x＞0时，sign(x)＝1。
4.根据权利要求1所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的步骤④的具体方法为：
④-1，将待测屏幕内容图像记为I，判断I是否为灰度图像，若I不是灰度图像，则将其转化为灰度图像，记为若I是灰度图像，则保持不变，记为/>将/>的高度记为R，宽度记为C；将/>划分成/>个互不重叠的尺寸大小为7×7的分块，将/>中坐标位置为(x，y)的分块记为B(x，y)，其中，/> 表示向下取整；对B(x，y)进行归一化处理，得到归一化分块/>其中α、β分别表示分块B(x，y)的均值、方差，δ为常数；对进行白化处理得到白化分块；
④-2，根据步骤①-2得中到的高斯混合模型的先验值ω、均值μ和协方差σ2，采用开源库对待测屏幕内容图像的白化分块进行Fisher编码，得到待测屏幕内容图像的Fisher向量f，其中vl_fisher()表示开源库中的Fisher编码函数；对f进行归一化处理，得到待测屏幕内容图像的特征向量/> 其中λ表示指数归一化的强度系数，sign(x)表示符号函数，当x＜0时，sign(x)＝-1；当x＝0时，sign(x)＝0；当x＞0时，sign(x)＝1。
5.根据权利要求2、3或4所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的步骤①-1、②-2、④-1中δ为10。
6.根据权利要求2所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的步骤①-2中将K设置为100。
7.根据权利要求3或4所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的步骤②-3、④-2中将λ设置为0.2。
8.根据权利要求1至4中任一权利要求所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的开源库为VLFeat开源库。
9.根据权利要求1所述的一种基于Fisher编码的屏幕内容图像无参考质量评价方法，其特征在于所述的白化处理选择ZCA白化处理过程。
CN202010777425.9A 2020-08-05 2020-08-05 一种基于Fisher编码的屏幕内容图像无参考质量评价方法 Active CN112132775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010777425.9A CN112132775B (zh) 2020-08-05 2020-08-05 一种基于Fisher编码的屏幕内容图像无参考质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010777425.9A CN112132775B (zh) 2020-08-05 2020-08-05 一种基于Fisher编码的屏幕内容图像无参考质量评价方法

Publications (2)

Publication Number Publication Date
CN112132775A CN112132775A (zh) 2020-12-25
CN112132775B true CN112132775B (zh) 2023-10-31

Family

ID=73850681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010777425.9A Active CN112132775B (zh) 2020-08-05 2020-08-05 一种基于Fisher编码的屏幕内容图像无参考质量评价方法

Country Status (1)

Country Link
CN (1) CN112132775B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012109712A1 (en) * 2011-02-18 2012-08-23 National Ict Australia Limited Image quality assessment
CN103578104A (zh) * 2013-10-25 2014-02-12 宁波大学 一种针对高斯模糊图像的部分参考图像客观质量评价方法
CN104657996A (zh) * 2015-02-26 2015-05-27 西安交通大学 基于非线性归一化的拉普拉斯-高斯信号的图像质量评价方法
CN105139373A (zh) * 2015-05-14 2015-12-09 浙江大学 基于独立子空间分析的无参考图像质量客观评价方法
CN107274388A (zh) * 2017-05-22 2017-10-20 浙江科技学院 一种基于全局信息的无参考屏幕图像质量评价方法
CN107464222A (zh) * 2017-07-07 2017-12-12 宁波大学 基于张量空间的无参考高动态范围图像客观质量评价方法
CN107767363A (zh) * 2017-09-05 2018-03-06 天津大学 一种基于自然场景的无参考高动态图像质量评价算法
CN108596906A (zh) * 2018-05-10 2018-09-28 嘉兴学院 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法
CN108846800A (zh) * 2018-05-30 2018-11-20 武汉大学 一种图像超分辨率重建的无参考图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8712157B2 (en) * 2011-04-19 2014-04-29 Xerox Corporation Image quality assessment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012109712A1 (en) * 2011-02-18 2012-08-23 National Ict Australia Limited Image quality assessment
CN103578104A (zh) * 2013-10-25 2014-02-12 宁波大学 一种针对高斯模糊图像的部分参考图像客观质量评价方法
CN104657996A (zh) * 2015-02-26 2015-05-27 西安交通大学 基于非线性归一化的拉普拉斯-高斯信号的图像质量评价方法
CN105139373A (zh) * 2015-05-14 2015-12-09 浙江大学 基于独立子空间分析的无参考图像质量客观评价方法
CN107274388A (zh) * 2017-05-22 2017-10-20 浙江科技学院 一种基于全局信息的无参考屏幕图像质量评价方法
CN107464222A (zh) * 2017-07-07 2017-12-12 宁波大学 基于张量空间的无参考高动态范围图像客观质量评价方法
CN107767363A (zh) * 2017-09-05 2018-03-06 天津大学 一种基于自然场景的无参考高动态图像质量评价算法
CN108596906A (zh) * 2018-05-10 2018-09-28 嘉兴学院 一种基于稀疏局部保持投影的全参考屏幕图像质量评价方法
CN108846800A (zh) * 2018-05-30 2018-11-20 武汉大学 一种图像超分辨率重建的无参考图像质量评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Simple Prediction Fusion Improves Data-driven Full-Reference Video Quality Assessment Models;Christos G. Bampis;2018 Picture Coding Symposium (PCS);全文 *
New Metric for Stereo Video Quality Assessment;Yongqiang Bai等;2009 Symposium on Photonics and Optoelectronics;全文 *
基于分类引导和多特征聚合的盲图像质量评价;马杨;CNKI优秀硕士学位论文全文库;全文 *
基于多通道特征聚合的盲图像质量评价;张维夏;邓德祥;颜佳;;华中科技大学学报(自然科学版)(07);全文 *
基于稀疏表示与能量分解的无参考图像质量评价;李博文;范赐恩;石文轩;冯天鹏;;计算机应用研究(10);全文 *

Also Published As

Publication number Publication date
CN112132775A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
Ni et al. ESIM: Edge similarity for screen content image quality assessment
Ullah et al. Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing
Du et al. Conditional variational image deraining
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
Wu et al. Robust image forgery detection against transmission over online social networks
Wu et al. Reduced-reference image quality assessment with visual information fidelity
CN111476200B (zh) 基于生成对抗网络的人脸去识别化生成方法
Rehman et al. Reduced-reference image quality assessment by structural similarity estimation
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
Wang et al. Image quality assessment based on local linear information and distortion-specific compensation
CN110570358A (zh) 基于gan网络的车损图像增强方法和装置
Zhang et al. Fine-grained quality assessment for compressed images
Li et al. Sparse representation-based image quality index with adaptive sub-dictionaries
Wulff et al. Improving inversion and generation diversity in stylegan using a gaussianized latent space
Chen et al. No-reference screen content image quality assessment with unsupervised domain adaptation
CN108280480B (zh) 一种基于残差共生概率的隐写图像载体安全性评价方法
CN114612714A (zh) 基于课程学习的无参考图像质量评价方法
CN111127387A (zh) 无参考图像的质量的评价方法
CN109754390B (zh) 一种基于混合视觉特征的无参考图像质量评价方法
Yang et al. Blind image quality assessment based on multi-scale KLT
CN112991493A (zh) 基于vae-gan和混合密度网络的灰度图像着色方法
Li et al. Blind image quality assessment based on joint log-contrast statistics
Qiao et al. Csc-net: Cross-color spatial co-occurrence matrix network for detecting synthesized fake images
CN112132775B (zh) 一种基于Fisher编码的屏幕内容图像无参考质量评价方法
CN113222902A (zh) 一种无参考图像质量评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant