CN106507100B - 一种基于传输的劣化图像主观质量素材库构建方法 - Google Patents

Abstract

本发明公开了一种基于传输的劣化图像主观质量素材库的构建方法，其包括以下步骤：S1、定义构建素材库相关概念；S2、根据定义选择原始素材；S3、获得基于传输的劣化素材；S4、对劣化图像分组；S5、测评环境及测评条件设置；S6、主观质量测评；S7、测评数据处理，包括筛选测评图像和志愿者；S8、确定每幅图像对应的主观质量。本发明适合于通信背景下的图像质量测评和修复，采用仿真的方式获取劣化图像，可避免真实传输人力物力的消耗，同时以两种不同鲁棒性的方案为信源压缩方式进行信道传输误码仿真，误码率根据真实通信实验获取的数据设置，此外还采用最大概率原则确定每幅图像的最终质量等级，避免偏差过大的测评样本对结果的影响。

Description

一种基于传输的劣化图像主观质量素材库构建方法

技术领域

本发明涉及图像素材库构建方法，具体涉及一种基于传输的劣化图像主观质量素材库构建方法。

背景技术

图像等多媒体素材具有文字所无法比拟的直观效果，近年来由于便携式图像设备快速发展，图像相关业务，如对图像修复、图像传输等的需求也逐年递增，而衡量这些业务性能的一大标准即为图像质量，无法否认，数字图像的质量测评已经成为了许多图像处理类业务中的关键环节。图像质量的评价分为主观质量评价和客观质量评价，由于图像最终的接收方是图像的观看者，故图像的主观质量更能代表在人眼中图像呈现出的质量，但是由于主观质量测评的费时、费力、条件复杂等特点，导致其无法作为评价图像质量的常用手段。故比较常见的做法是：建立劣化图像和其主观质量素材库，设计图像客观质量的测评算法，用素材库中的劣化图像和主观质量对客观质量测评算法进行训练(针对学习型算法)或用图像及其主观质量对客观质量测评算法的性能进行评估，通过以上的办法可以获得更接近于主观感受的客观质量。

在不同的应用背景下，图像的主观质量评判标准会有所不同，而图像的主观质量素材库的构建要求也会有所不同，著名的Rec.ITU-R BT.500-11标准对电视图像的主观质量测评方法，和主观素材库的构建做了详细的规定，已经有很多图像常规劣化的主观素材库的相关成果，而基于传输的劣化图像质量素材库却没有一套标准化的构造方法。传输图像的质量测评具有非常大的应用前景，包括利用接收图像质量估计信道条件，根据接收图像质量调整传输方案等方面。图像在传输过程中可能会受到两方面的劣化，一方面来自信源有损压缩带来的压缩劣化，一方面来自传输时信道丢包引起的误码，故在基于传输的劣化图像质量素材库构建时，劣化仿真的设计将会和常规劣化图像不同，适用于常规条件下的图像质量素材库构建标准不一定适用于基于传输的劣化图像质量素材库的构建。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于传输的劣化图像主观质量素材库的构建方法。

为实现上述目的，本发明采用以下技术方案：

S1、定义构建素材库相关概念：包括基于传输背景下原始图像素材选择要求、基于传输的劣化图像的主观质量分级标准、素材库的素材、劣化方案、劣化图像等级质量描述五个方面；

S2、根据定义选择原始素材；

S3、获得基于传输的劣化素材；

S4、对劣化图像分组；

S5、测评环境及测评条件设置；

S6、主观质量测评；

S7、测评数据处理，包括筛选测评图像和志愿者；

S8、确定每幅图像对应的主观质量。

进一步地，步骤S3所述获得基于传输的劣化素材的具体步骤为：

S31、选择基于压缩感知的高鲁棒性压缩编码和SPIHT编码产生素材库中有损压缩图像，通过改变参数rate、level获得不同劣化等级的SPIHT压缩图像，rate代表编码完每个像素所占的比特数，level代表小波分解层数；

S32、通过改变参数compression ratio获得不同劣化等级的基于压缩感知的压缩图像，compression ratio代表图像被测量的像素个数占没有被测量的像素个数的比例，compression ratio除了人工指定以外，也可选择自适应获得；

S33、分别采用以上两种方法作为信源编码，在对应不同信道条件的误码率条件下进行传输仿真，通过改变误码率获得不同劣化等级的图像，误码率在10^-1-10^-5之间根据实际情况变化。

进一步地，步骤S4所述对劣化图像分组的具体步骤为：

对待测评图像进行分组，可写为group₁,group₂,…group_n，其中n为待测图像的组数，每组50-100幅图像，每组的图像要以不同的出现顺序被同一名参加测评的志愿者测评过，将出现顺序不同的同一组图像记为同一个group的session₁,session₂，每个志愿者在选定了要进行测评的图像组group_i,i∈[1,2,…n]后，还需要进行选定当前要完成测评的session，以确定要进行的图像内容以及图像出现的顺序。

进一步地，步骤S5所述测评环境及测评条件设置的具体步骤为：

S51、测评环境尽量与志愿者日常观看图片的习惯贴近，包括选择较为舒适的位置、是否佩戴眼镜等条件；

S52、每次测评持续的时间不超过半小时，每次测评志愿者观看的图像不超过100幅，每个志愿者对图像组group_i,i∈[1,2,…n]测评时，session₁和session₂之间的间隔起码为1小时，最终志愿者对一幅图像的评分为两个session获得的结果的平均值；

S53、选择单刺激方法进行主观测评。

进一步地，步骤S6所述主观质量测评的具体步骤为：

S61、参与主观质量测评的志愿者必须为非图像处理专业，测评所用平台为基于matlab编写的图像质量测评平台；

S62、测评包括训练、适应性测评和正式测评；

S63、每幅图像至少经过15名以上的志愿者的测评，每名志愿者不能重复对一组图像进行多次测评，为了保证志愿者不产生疲劳，每名志愿者一天内最多参与3组图像的测评。

进一步地，步骤S7所述筛选图像和志愿者的具体步骤为：

S71、利用异常图像、互相关和欧氏距离进行图像的筛选；

S72、利用重复图像准则和峭度指标进行志愿者的筛选。

进一步地，步骤S8所述确定每幅图像对应的主观质量的具体步骤为：

每幅图像的最终质量等级依照最大概率原则进行：

Q＝argmax P_Q(i)

其中i代表图像i，P_Q(·)是一个概率函数，其代表当图像i的质量为Q时的概率。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

本发明采用仿真的方式获取劣化图像，避免真实传输人力物力的消耗，同时在获取劣化素材时，选择不同鲁棒性的压缩编码方构造压缩劣化图像，仿真不同信道条件下的压缩，并以两种不同鲁棒性的方案为信源压缩方式进行信道传输误码仿真，构造信道传输劣化图像，该方法采用的误码率为10^-1-10^-5之间，此数据是根据真实通信实验采集获得的；基于通信背景的特点设计特定的主观数据收集和处理方案，适合于通信背景下的图像质量测评和修复；采用最大概率原则确定每幅图像的最终质量等级，避免偏差过大的测评样本对结果的影响。

附图说明

图1本发明所述构建方法的流程示意图

图2图像质量测评平台界面；

图3箱线图分解示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

本发明所述一种基于传输的劣化图像主观质量素材库的构建方法的流程示意图如图1所示。具体操作如下：

S1、定义构建素材库相关概念：包括基于传输背景下原始图像素材选择要求、基于传输的劣化图像的主观质量分级标准、素材库的素材、劣化方案、劣化图像等级质量描述五个方面，具体为：

S11、定义基于传输背景下原始图像素材选择要求：根据图像通信过程中可能会出现的劣化形式，设计了压缩和传输误码两种劣化仿真方式，以模拟真实传输中有损压缩和信道丢包引起的图像失真；

S12、定义基于传输的劣化图像的主观质量分级标准：设计对劣化图像的主观质量测评的数据采集方案，对参与测评者的培训方法和测评时的环境限制，数据处理方法；

S13、定义素材库的素材：所述的素材库包括原始图像、有损压缩劣化图像、传输劣化图像以及对应的图像主观质量。为了规范化基于传输的劣化图像主观质量素材库，对素材库的素材做了如下规定：

素材库所包含原始图像应具有如下特点：

1)图像分辨率适用于在对应的显示设备上显示，在显示设备上显示时，不会由于分辨率的不匹配导致图像的伸缩，而引起额外的失真；

2)整个图像集应至少涵盖如下几种典型图像特征：细节区域、平滑区域、各种纹理特征等；

3)图像大小符合通信条件要求，如在实时性要求较高且信道条件不佳的场景下构建素材库，素材尺寸不应过大，分辨率不应过高；

4)素材内容符合通信场景需求，如讨论水下自动航行器设备与水面舰艇间传输图像质量时，图像应选择水下实拍图像。

S14、定义劣化方案：

图像通信过程中，产生劣化主要是由于有损压缩和传输过程中的丢包引起的误码。选择基于压缩感知的高鲁棒性压缩编码和SPIHT编码实现素材库中有损压缩图像的产生，基于压缩感知的高鲁棒性压缩编码可以在较差的信道条件中保证接收图像的质量，该编码方法用鲁棒性换取压缩性能，其压缩性能相比常见的图像编码方法如JPEG、JPEG2000、SPECK、SPIHT等较差，适合用于信道条件较差时，对图像提供一定的保护；SPIHT编码是近几年发展起来的图像渐进式编码方案，具有较高的压缩性能，由于码流前端为重要信息，重要信息一旦丢失图像将会受到重大损伤，该方法适合用于信道条件较好时，提供较高的压缩率提高通信效率。通过控制基于压缩感知的高鲁棒性压缩编码的测量阵以及SPIHT编码的压缩参数，实现不同压缩率的有损图像的生成，具体的参数设置根据图像实际情况而定。

接收图像的劣化类型取决于信源编码的类型，所述方法分别采用以上两种方法作为信源编码进行传输仿真，根据实际传输实验，测得不同信道条件下，误码率基本在10^-1-10^-5之间选取，故选取劣化几乎不可见的有损压缩编码参数进行信源压缩，设置误码率在此范围内(仿真实际通信条件)，获得传输劣化图像。

S15、定义劣化图像等级质量描述：

考虑到观看者对图像中噪点的容忍度比其他劣化的容忍度高，对目标的劣化更为敏感等特点，根据通信场景对接收图像的要求，对劣化图像从差到好五个等级的质量描述如下：

1)无法辨认图像的内容，严重劣化区域达80％以上，重要信息完全丢失；

2)连续劣化的而无法辨认图像内容的区域占图像的50％以上，但可辨别图像内容的轮廓，色彩失真严重，但是可以辨别不同色彩的变化，含目标图像的目标模糊，或者目标的一部分被严重劣化导致无法获取关于目标的信息；

3)连续劣化的区域不在含有图像重要信息的区域，如目标区域等，即劣化的部分影响了部分图像信息的读取，但是仍可以从图像上获取重要信息，由于连续劣化而无法辨认图像内容的区域占图像的比例小于50％，彩色图像可分辨出不同的色彩，没有出现违反常理的色彩失真，如绿色植物因为劣化，变为黑色，含目标图像目标出现失真但是不影响目标的辨认识别；

4)图像有少数不影响重要信息的噪点，除噪点外，其他劣化的部分不影响对图像的读取或欣赏，没有出现大面积连续的劣化，含有目标的图像目标可见可辨认，彩色图像的色彩可有轻微失真，但是不会引起不适；

5)图像清晰，图像中无噪点，图像虚化的部分符合审美需求，有明显目标的图像目标清晰，彩色图像色彩令人舒适，能够从图中获取一定的信息，即从图中可以读取场景，人物，物品，甚至位置等任意几种信息。

S2、根据定义选择原始素材：根据上述定义的素材库所包含原始图像应该具有的特点选择合适的原始素材。

S3、获得基于传输的劣化素材，具体步骤如下：

S31、选择基于压缩感知的高鲁棒性压缩编码和SPIHT编码产生素材库中有损压缩图像，通过改变参数rate、level获得不同劣化等级的SPIHT压缩图像，rate代表编码完每个像素所占的比特数，level代表小波分解层数；

S32、通过改变参数compression ratio获得不同劣化等级的基于压缩感知的压缩图像，compression ratio代表图像被测量的像素个数占没有被测量的像素个数的比例，compression ratio除了人工指定以外，也可选择自适应获得；

S33、分别采用以上两种方法作为信源编码，在对应不同信道条件的误码率条件下进行传输仿真，通过改变误码率获得基于传输的不同劣化等级的图像，其中劣化参数如下表所示，误码率在10^-1-10^-5之间根据实际情况变化。

表1.劣化参数表

S4、对劣化图像分组，具体步骤为：

对待测评图像进行分组，可写为group₁,group₂,…group_n，其中n为待测图像的组数，每组50-100幅图像，每组的图像要以不同的出现顺序被同一名参加测评的志愿者测评过，将出现顺序不同的同一组图像记为同一个group的session₁,session₂，每个志愿者在选定了要进行测评的图像组group_i,i∈[1,2,…n]后，还需要进行选定当前要完成测评的session，以确定要进行的图像内容以及图像出现的顺序。

S5、测评环境及测评条件设置，具体步骤为：

S51、测评时的环境为贴近传输图像后信宿端观看者观看图像的环境，某些特殊的环境如声纳图像、遥感图像，有特殊的显示设备和显示条件，在进行这些图像的测评时，显示屏将调整为更接近这些设备条件的情况。志愿者观看时，要与日常观看图片时的习惯尽量贴近，选择自己较为舒适的位置，选择是否佩戴眼镜等条件，为了减少志愿者观看图像时的压力，也为了模拟实际中，图像观看者读图的时间并不会被限制的情况，志愿者观看每幅图像的时间将不做限制；

S52、为了避免视觉疲劳的出现，每次测评持续的时间不超过半小时，每次测评志愿者观看的图像不超过100幅，每个志愿者对图像组group_i,i∈[1,2,…n]测评时，session₁和session₂之间的间隔起码为1小时，最终志愿者对一幅图像的评分为两个session获得的结果的平均值；

S53、选择单刺激方法进行主观测评。主观测评的方法分为单刺激和双刺激两种，双刺激方法，即每次出现两幅图像，以其中一幅图像作为参照对另一幅图像做出质量测评的方法，对测评环境的敏感度较低，缺点是比较耗时复杂；单刺激的方法，即每次只出现一幅图像，观看者需要根据个人经验以及真实感受对图像的质量作出测评的方法，对环境敏感，但是可以产生更多具有代表性的测评质量，并且测评耗时短，相比双刺激更高效。由于基于传输背景的特殊性，参考图像基本无法获取，观看者必须凭着直觉和经验对图像进行观看及使用，这样的场景更接近于单刺激方法，所以选择单刺激方法进行主观测评。

S6、主观质量测评，具体步骤为：

S61、参与主观质量测评的志愿者必须为非图像处理专业，测评所用平台为基于matlab编写的图像质量测评平台，平台界面如图2所示。该平台可收集参与的志愿者的基本信息，可以选择待测评的素材，志愿者可在平台上通过观看图像，参考平台给出的评价标准，选择对应图像质量的评价等级，平台界面所显示的评价标准，分组情况均可根据实际情况在后台进行调整；

S62、测评包括训练、适应性测评和正式测评三个步骤：训练时，参与测评的志愿者将被告知本次测评图像的应用背景，包括图像的获取途径，接收图像的用途，更关注图像的哪些特征，以及各个质量等级所代表的质量描述和对应的图像示例，适应性测评应包括5-10幅图像，且与正式测评中的图像不同，志愿者在适应测评时对图像的测评结果将不计入总结果中，正式测评安排在适应性测评后马上进行；

S63、每幅图像至少经过15名以上的志愿者的测评，每名志愿者不能重复对一组图像进行多次测评，为了保证志愿者不产生疲劳，每名志愿者一天内最多参与3组图像的测评。

S7、筛选图像和志愿者，具体步骤为：

S71、利用异常图像、互相关和欧氏距离进行图像的筛选，具体为：如图3所示的箱线图结构，其中：

上边缘表示该组数据的最大值，下边缘表示该组数据的最小值，上下四分位数表示该组数据中大于25％和大于75％数据的位置，上下四分位数围成的矩形内的横线表示中位数的位置。收集了全部测评志愿者对一幅图像的质量测评结果后，将该组数据绘制成箱线图，就会出现如图2所示的一个箱子，若收集全部的图像的所有测评结果，假设总共有n副图像，则可在同一个坐标中绘制出n个箱子，在进行图像筛选时，主要用到的是上四分位和下四分位。上下四分位之间的数据代表了对某一幅图像50％的测评数据所在的区域，若该区域的范围大于1，则认为这幅图的质量会让参与观看者产生疑惑，观看者对这幅图的评价差异不是相邻等级之间的不确定，而是会有跨过两个甚至三个等级的评价差异，这样的图像被认为是异常图像(outlier image)，因为其质量无法令观看者产生一个较为统一的评价结果，异常系数(outlier coefficient,OC)的定义如下式所示：

上式中，N_total代表所有图像的数量，N_outlier代表异常图像的数量，经过文献调研和实验，本发明提出，当OC≤10％时，该素材库的图像被认为是符合要求的，由于异常图像的比率较低，所以不需要对异常图像进行处理。当OC＞10％时，异常图像过多，需要将异常图像进行剔除，剔除原则是首先剔除50％的测评数据所在的区域大于3的图像，其次是大于2的图像，最后是大于1的图像，直到使OC降为10％以下为止。

利用互相关(NCC)和欧式距离(EUD)进行图像筛选，互相关和欧氏距离的定义如下：

上式中，a，b分别代表一个观测者对其所观测的图像的评分矩阵，假设图像被分为n个group，每个group内含有i幅图像，每个group将会由m名志愿者进行图像质量评测，则每个观测者对应的评分矩阵为i×1的矩阵，每个group总共会有个NCC和EUD的值，对每个group的NCC和EUD的值进行平均，获得每个group的NCC平均值以及EUD平均值若每个NCC的平均值充分接近1，每个EUD的平均值足够小，充分接近0，说明观测者对图像质量的评判结果较为一致，该素材库中的图像是比较可靠的。本发明中，规定且时，说明测评志愿者之间对测评结果达成相对统一，若平均相关系数和欧式距离不符合规定，则对每组图像中每幅图像的不同志愿者测评结果之间的相关系数和欧式距离进行筛选，欧式距离越大，相关系数越小的图像最先被剔除，直到平均相关系数和平均欧式距离符合要求为止。

利用重复图像准则和峭度指标进行志愿者的筛选，每次测评的一组图像中有5幅图像重复出现，若某一测评志愿者对这5对图像的测评结果，有2对及以上差别超过2个等级，则认为该测评志愿者对图像质量没有比较稳定的评判依据，该观测者的测评结果将会被删除。

S72、利用重复图像准则和峭度指标进行志愿者的筛选，具体为：

利用峭度指标β_i筛选观测志愿者的方法如下：

用S_ijk来表示观测志愿者i对group_k,k＝{1,2，…,n}中的图像j的评分，观测志愿者i对其所评测的图像打出的测评分的均值和标准差定义如下：

上式中，N_ik代表观测志愿者i在group_k中所评测的图像总数，峭度指标β_i的定义如下：

筛选的原则如下所示：

对每个观测志愿者i，计算峭度指标β_i；

当β_i∈[2,4]时，

若满足S_ijk≥μ_ik+2σ_ik,则P_ik＝P_ik+1；否则若S_ijk≤μ_ik-2σ_ik,则Q_ik＝Q_ik+1；

当时，

若满足则P_ik＝P_ik+1；否则若则Q_ik＝Q_ik+1；

对每个志愿者i，观测通过以上步骤算出的P_ik和Q_ik

若(P_ik+Q_ik)/N_ik＞0.05且|(P_ik-Q_ik)/(P_ik+Q_ik)|＜0.3,剔除观测志愿者i。

S8、确定每幅图像对应的主观质量，具体步骤为：

每幅图像的最终质量等级依照最大概率原则进行：

Q＝argmax P_Q(i)

其中i代表图像i，P_Q(·)是一个概率函数，其代表当图像i的质量为Q时的概率。之所以采用这种方案是因为考虑到每幅图的评价可能都有少数观测志愿的评测结果是背离大部分测评结果的，这些测评样本结果若是计入最终的结果会对最终结果产生影响，为了剔除这部分数据对最终结果得以影响，采用最大概率原则进行最终质量的确定。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于传输的劣化图像主观质量素材库的构建方法，其特征在于：包括以下步骤：

S1、定义构建素材库相关概念：包括基于传输背景下原始图像素材选择要求、基于传输的劣化图像的主观质量分级标准、素材库的素材、劣化方案、劣化图像等级质量描述五个方面；

S2、根据定义选择原始素材；

S3、获得基于传输的劣化素材；

S4、对劣化图像分组；

S5、测评环境及测评条件设置；

S6、主观质量测评；

S7、测评数据处理，包括筛选测评图像和志愿者；

S8、确定每幅图像对应的主观质量。

2.根据权利要求1所述的一种基于传输的劣化图像主观质量素材库的构建方法，其特征在于：步骤S3所述获得基于传输的劣化素材的具体步骤为：

S31、选择基于压缩感知的高鲁棒性压缩编码和SPIHT编码产生素材库中有损压缩图像，通过改变参数rate、level获得不同劣化等级的SPIHT压缩图像，rate代表编码完每个像素所占的比特数，level代表小波分解层数；

S32、通过改变参数compression ratio获得不同劣化等级的基于压缩感知的压缩图像，compression ratio代表图像被测量的像素个数占没有被测量的像素个数的比例，compression ratio除了人工指定以外，也可选择自适应获得；

S33、分别采用以上两种方法作为信源编码，在对应不同信道条件的误码率条件下进行传输仿真，通过改变误码率获得不同劣化等级的图像，参考实际水声通信实验收集的误码率数据，设置误码率在10^-1-10^-5之间，并根据实际需求变化。

3.根据权利要求1所述的一种基于传输的劣化图像主观质量素材库的构建方法，其特征在于：步骤S4所述对劣化图像分组的具体步骤为：

对待测评图像进行分组，可写为group₁,group₂,…group_n，其中n为待测图像的组数，每组50-100幅图像，每组的图像要以不同的出现顺序被同一名参加测评的志愿者测评过两次，将出现顺序不同的同一组图像记为同一个group的session₁,session₂，每个志愿者在选定了要进行测评的图像组group_i,i∈[1,2,…n]后，还需要进行选定当前要完成测评的session，以确定要进行的图像内容以及图像出现的顺序。

4.根据权利要求1所述的一种基于传输的劣化图像主观质量素材库的构建方法，其特征在于：步骤S5所述测评环境及测评条件设置的具体步骤为：

S51、测评环境尽量与志愿者日常观看图片的习惯贴近，包括选择较为舒适的位置、是否佩戴眼镜；

S52、每次测评持续的时间不超过半小时，每次测评志愿者观看的图像不超过100幅，每个志愿者对图像组group_i,i∈[1,2,…n]测评时，session₁和session₂之间的间隔起码为1小时，最终志愿者对一幅图像的评分为两个session获得的结果的平均值；

S53、选择单刺激方法进行主观测评。

5.根据权利要求1所述的一种基于传输的劣化图像主观质量素材库的构建方法，其特征在于：步骤S6所述主观质量测评的具体步骤为：

S61、参与主观质量测评的志愿者必须为非图像处理专业，测评所用平台为基于matlab编写的图像质量测评平台；

S62、测评包括训练、适应性测评和正式测评；

S63、每幅图像至少经过15名以上的志愿者的测评，每名志愿者不能重复对一组图像进行多次测评，为了保证志愿者不产生疲劳，每名志愿者一天内最多参与3组图像的测评。

6.根据权利要求1所述的一种基于传输的劣化图像主观质量素材库的构建方法，其特征在于：步骤S8所述确定每幅图像对应的主观质量的具体步骤为：每幅图像的最终质量等级依照最大概率原则进行：

Q＝arg max P_Q(i)

其中i代表图像i，P_Q(·)是一个概率函数，其代表当图像i的质量为Q时的概率。