CN107609492A - 基于脑电信号的失真图像质量感知评价方法 - Google Patents

Abstract

本发明公开了一种基于脑电信号的失真图像质量感知评价方法，克服了现有技术图像质量评估方法中没有考虑人类视觉特性，导致客观图像质量评价脱离评价主体的问题，实现步骤为：(1)选取待评价图像；(2)采集脑电信号；(3)提取单次脑电信号；(4)对单次脑电信号进行分类；(5)评价图像质量。本发明具有在客观评估图像质量时,使用不同质量对应的脑电信号作为评价依据，使得图像质量评价结果更为准确，更加符合人类主观评估的优点。

Description

基于脑电信号的失真图像质量感知评价方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像视频质量评估技术领域中的一种基于脑电信号的失真图像质量感知评价方法。本发明可应用于心理学行为研究、图像质量评价、图像压缩、图像检测等领域，根据呈现的失真图像对人脑的影响，提取脑电信号，并考虑脑电信号的时空特性，对图像进行客观质量评估。

背景技术

随着多媒体技术和计算机网络的快速发展，不同质量的图像大量的应用在多媒体通信中。由于现有传输设备的局限性，大量的视觉信息经过一定程度的压缩，现有的压缩算法开始引入视觉可见的失真，权衡失真程度和数据量是目前急需解决的问题，一种解决方法是基于人类视觉系统的建模来评价主观失真，该建模工作十分复杂，需要对人类视觉基础的深厚理解，因此这种方法的实现存在一定困难。由于人类的视觉系统异常复杂，且存在很多的个人差异，而在设计质量评价模型时却无法面面俱到，只能采用简单的线性或者非线性的操作，这样会导致大量的假设，很容易偏离实际情况。目前，对视频和图像质量的评价仍然采用给予主观对象视频或图像，主观对象评分并进行反馈的方式进行，这种主观测试的方式存在其局限性，被试之间具有极大的个体差异性，因此评价的结果差异性很大，因此我们选择用对脑电信号的采集和分析来观测人对图像和视频质量的评价，客观的权衡失真度和数据量的关系。

目前客观图像质量评价主要有峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似度(Structure Similarity,SSIM)、均方误差MSE和S.Winkler等人提出来的感知失真方法(PDM)等。由于人眼视觉系统的复杂性,这些方法并没有与主观质量评价具有很好的一致性。总体而言,虽然图像质量评价取得了一定的进展,但是依然存在着许多技术难题,需要进一步的发展与完善。

宁波大学在其申请的专利文献“一种基于失真类型判断的自适应图像质量评价方法”(公开号：CN103475897B，公开日：2015年03月11日，申请日：2013年09月09日)中公开了一种基于失真类型判断的自适应图像质量客观评价方法。该方法首先对图像的失真类型进行判断，将失真类型分为高斯白噪声失真、JPEG失真和类模糊失真三类，其中类模糊失真包含高斯模糊失真、JPEG2000失真和快衰落失真；利用失真判别结果，对受到高斯白噪声失真的图像采用基于像素域的结构相似度模型评价，对受到JPEG失真的图像采用基于DCT域的结构相似度模型评价，对受到类模糊失真的图像采用基于小波域的结构相似度模型评价。该方法客观评价图像质量优劣，但是仍然存在的不足之处是，构建的相似度模型不能代表图像的全部信息，也没有考虑人类视觉特性对图像质量评价的影响，评价结果不能更好的符合主观评价的结果。

Scholler等人在其发表的论文“Toward a direct measure of video qualityperception using EEG”(IEEE Transactions on Image Processing.2012)中提出了一种专门应用脑电信号进行视频质量评价的方法。该方法提取了事件相关电位波形，观测到P300成分与质量变化有关，并且证实在主观质量评价中对降质视频评判为未降质的视频，可以通过事件相关电位波形来矫正，得到正确的质量评价，并且在此基础上发现了P300的峰值同视频质量改变程度的正相关关系，这也就意味着叠加平均后的脑电反应强烈程度直接代表了任务的难易等级。该方法虽然结合人的主观评价设计实验范式，对质量进行感知，但是仍然存在的不足之处是，实验材料选取单一，与人类实际生活中所常见的场景图像相去甚远，并且没有考虑单一实验范式对实验结果的影响，不能广泛应用到实际中。

发明内容

本发明目的在于克服上述现有技术的不足，提出一种基于脑电信号的失真图像质量评价方法。

实现本发明目的的具体思路是，针对现有图像质量评价方法中存在的局限性与不确定性，造成对图像质量评价的结果不准确的问题，通过设计研究实验范式，提取被试的脑电信号,利用支持向量机分类器进行整理分类，研究人类脑电信号随图像质量变化的变化情况，得到更加客观的图像质量评价方法。

本发明的具体步骤包括如下：

(1)选取待评价图像：

(1a)从图像与视频工程实验室LIVE图像质量评价数据库中，任意选取无显著性目标且画面色彩均匀的8种图像作为原始图像；

(1b)从图像与视频工程实验室LIVE图像质量评价数据库联合图像专家组JPEG失真类型图像中，选取与原始图像内容对应的8种失真图像；

(2)采集脑电信号：

(2a)在实验环境状态下，采用怪球Oddball范式和快速序列视觉呈现RSVP范式，对受试者分别施加原始图像与失真图像进行两种刺激，获得对应的质量感知脑电信号；

(2b)使用脑电信号采集系统，分别记录每一种范式中两种刺激对应的脑电信号；

(3)提取单次脑电信号：

(3a)从脑电信号采集系统中选取双侧乳突电极，将所选取的双侧乳突电极采集信号的平均值作为参考信号，用每一种范式中的每一幅原始图像和失真图像出现后1s内的所有脑电信号，分别减去参考信号，得到转换参考后的原始图像和失真图像对应的脑电信号；

(3b)对两种转换参考后的脑电信号进行基线校正；

(3c)使用巴特沃兹三阶滤波器，对基线校正后的脑电信号进行滤波；

(3d)以每幅图像出现后1s的时长为分段间隔，对滤波后的脑电信号进行分段，获得与原始图像和失真图像一一对应的单次脑电信号；

(4)对单次脑电信号进行分类：

(4a)将单次脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，对矩阵通过降维处理成由64个通道、每个通道有10个采样点组成的特征矩阵；

(4b)将特征矩阵输入支持向量机分类器，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对单次脑电信号进行分类；

(5)评价图像质量：

(5a)将分类后的单次脑电信号与原始图像和失真图像形成一一映射；

(5b)按照单次脑电信号分类进行比对，完成图像质量的评价。

与现有技术相比，本发明具有以下优点：

第一，由于本发明采集与感知质量相对应的脑电信号，充分考虑了人类的视觉感知，克服了现有技术图像质量评估方法中没有考虑人类视觉特性，导致客观图像质量评价脱离评价主体的问题，使得本发明具有在客观评估图像质量时更加符合人类主观评估的优点。

第二，由于本发明在提取人类脑电信号时，采用LIVE数据库中图像作为实验刺激，图像内容能够更与人类实际生活场景更加切合，克服了现有技术中实验材料选取单一，与人类实际生活中所常见的场景图像相去甚远，并且没有考虑单一实验范式对实验结果的影响，导致评价内容脱离实际，单一实验范式使得评价结果不准确的问题，使得本发明在图像质量评价结果更为准确的优点。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图，对本发明做进一步的详细描述。

参照附图1，本发明的具体步骤如下。

步骤1，选取待评价图像。

从图像与视频工程实验室LIVE图像质量评价数据库中，任意选取无显著性目标且画面色彩均匀的8种图像作为原始图像。

从图像与视频工程实验室LIVE图像质量评价数据库联合图像专家组JPEG失真类型图像中，选取与原始图像内容对应的8种失真图像。

步骤2，采集脑电信号。

在实验环境状态下，采用怪球Oddball范式和快速序列视觉呈现RSVP范式，对受试者分别施加原始图像与失真图像进行两种刺激，获得对应的质量感知脑电信号；所述的实验环境状态是指，受试者端坐在光线温和且温度适宜的房间中，佩戴64通道事件相关电位脑电系统，面对显示器，与显示器距离为48厘米。所述的快速序列视觉呈现RSVP范式是指，原始图像与失真图像比例为1:1。所述的怪球Oddball范式是指，原始图像与失真图像比例为8:2。

使用脑电信号采集系统，分别记录每一种范式中两种刺激对应的脑电信号。

步骤3，提取单次脑电信号。

从脑电信号采集系统中选取双侧乳突电极，将所选取的双侧乳突电极采集信号的平均值作为参考信号，用每一种范式中的每一幅原始图像和失真图像出现后1s内的所有脑电信号，分别减去参考信号，得到转换参考后的原始图像和失真图像对应的脑电信号。

对两种转换参考后的脑电信号进行基线校正。

使用巴特沃兹三阶滤波器，对基线校正后的脑电信号进行滤波。

以每幅图像出现后1s的时长为分段间隔，对滤波后的脑电信号进行分段，获得与原始图像和失真图像一一对应的单次脑电信号。

步骤4，对单次脑电信号进行分类。

将单次脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，对矩阵通过降维处理成由64个通道、每个通道有10个采样点组成的特征矩阵。

将特征矩阵输入支持向量机分类器，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对单次脑电信号进行分类。

步骤5，评价图像质量。

将分类后的单次脑电信号与原始图像和失真图像形成一一映射。

按照单次脑电信号分类进行比对，完成图像质量的评价。

下面结合仿真图2对本发明的效果做进一步的描述。

本发明的仿真实验是应用美国德克萨斯大学图像与视频工程实验室LIVE图像质量评估数据库提供的图像上进行的。该数据库包含29幅高分辨率的无失真24位彩色图像和982幅失真图像，包括227幅联合图像专家组JPEG2000图像、233幅联合图像专家组JPEG图像、174幅白噪声WN图像、174幅高斯模糊Gblur图像和174幅经过快速衰落FF信道后失真的图像。数据库通过主观实验给出了失真图像的差异平均主观分数值DMOS来描述失真图像的质量。

在这29幅高分辨率的无失真24位彩色图像中，排除含有显著性目标，画面色彩不均，本发明的仿真实验最终选择8幅作为原始图像，与其对应的联合图像专家组JPEG失真类型中，评分较低，较原图像失真程度较大的8幅图，作为目标刺激。本发明的仿真实验由五个界面组成，第一个界面为介绍界面“Introduction”，界面中介绍了本发明仿真实验要求。第二个界面为注视点界面“Fixation”，界面为背景黑色，中间一个白点。第三个界面为探针界面“Probe(Image)”，界面中随机呈现原始图像与失真图像。第四个界面为空白界面“Blank”，界面为黑色背景，以便消除记忆。第五个界面为结束界面“End”，界面中显示致谢语句。每幅图像在显示器上呈现500ms后，采用1000ms的刺激间隔，在刺激间隔要求受试者评价图像质量好坏。本发明仿真实验要求受试者看到质量差的图像时按下鼠标左键进行标记，受试者端坐在光线温和且温度适宜的房间中，佩戴64通道脑电信号采集系统，受试者与显示器距离为48厘米。依据快速序列视觉呈现RSVP范式所设计的本发明仿真实验中，原始图像与失真图像比例为1:1。依据怪球Oddball范式所设计的本发明仿真实验中，原始图像与失真图像比例为8:2。图像随机呈现，无固定排列顺序，以消除记忆带来的影响。通过采集受试者对图像质量感知的脑电信号，对采集到的信号进行处理，获得与感知质量对应的单次脑电信号，以此来判断图像质量优劣。

本发明将获得的单次脑电信号使用支持向量机分类器进行分类，选取原始图像和失真图像作为刺激获得的两类脑电信号，选取双侧乳突作为参考电极，对获取信号进行转换参考，基线校正，选取巴特沃兹三阶滤波器进行滤波。将单次脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，对矩阵通过降维处理成由64个通道、每个通道有10个采样点组成的特征矩阵。将特征矩阵输入支持向量机分类器，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对单次脑电信号进行分类。分类准确率达84.6154％。

Claims (4)

1.一种基于脑电信号的失真图像质量感知评价方法，包括如下步骤：

(1)选取待评价图像：

(1a)从图像与视频工程实验室LIVE图像质量评价数据库中，任意选取无显著性目标且画面色彩均匀的8种图像作为原始图像；

(1b)从图像与视频工程实验室LIVE图像质量评价数据库联合图像专家组JPEG失真类型图像中，选取与原始图像内容对应的8种失真图像；

(2)采集脑电信号：

(2a)在实验环境状态下，采用怪球Oddball范式和快速序列视觉呈现RSVP范式，对受试者分别施加原始图像与失真图像进行两种刺激，获得对应的质量感知脑电信号；

(2b)使用脑电信号采集系统，分别记录每一种范式中两种刺激对应的脑电信号；

(3)提取单次脑电信号：

(3a)从脑电信号采集系统中选取双侧乳突电极，将所选取的双侧乳突电极采集信号的平均值作为参考信号，用每一种范式中的每一幅原始图像和失真图像出现后1s内的所有脑电信号，分别减去参考信号，得到转换参考后的原始图像和失真图像对应的脑电信号；

(3b)对两种转换参考后的脑电信号进行基线校正；

(3c)使用巴特沃兹三阶滤波器，对基线校正后的脑电信号进行滤波；

(3d)以每幅图像出现后1s的时长为分段间隔，对滤波后的脑电信号进行分段，获得与原始图像和失真图像一一对应的单次脑电信号；

(4)对单次脑电信号进行分类：

(4a)将单次脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，对矩阵通过降维处理成由64个通道、每个通道有10个采样点组成的特征矩阵；

(4b)将特征矩阵输入支持向量机分类器，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对单次脑电信号进行分类；

(5)评价图像质量：

(5a)将分类后的单次脑电信号与原始图像和失真图像形成一一映射；

(5b)按照单次脑电信号分类进行比对，完成图像质量的评价。

2.根据权利要求1中所述基于脑电信号的失真图像质量感知评价方法，其特征在于：步骤(2a)中所述的实验环境状态是指，受试者端坐在光线温和且温度适宜的房间中，佩戴64通道脑电信号采集系统，面对显示器，与显示器距离为48厘米。

3.根据权利要求1中所述基于脑电信号的失真图像质量感知评价方法，其特征在于：步骤(2a)中所述的怪球Oddball范式是指，原始图像与失真图像比例为8:2。

4.根据权利要求1中所述基于脑电信号的失真图像质量感知评价方法，其特征在于：步骤(2a)中所述的快速序列视觉呈现RSVP范式是指，原始图像与失真图像比例为1:1。