CN107590445A - 基于脑电信号的美学图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于脑电信号的美学图像质量评价方法，克服了现有技术美学图像质量评估方法中没有考虑人类的审美感知的主观性，导致客观美学图像质量评价脱离评价主体的问题，以及深度学习网络不能完全模拟人的评价思路与结果，不能较好的和主观评价相结合的问题,(1)选取待评价图像；(2)采集脑电信号；(3)提取单次脑电信号；(4)对单次脑电信号进行分类；(5)评价图像质量；使得本发明具有在客观评估美学图像质量时更加符合人类主观评估，评价结果更为准确的优点。

Description

基于脑电信号的美学图像质量评价方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像视频质量评估技术领域中的一种基于脑电信号的美学图像质量评价方法。本发明可应用于心理学行为研究、图像质量评价、图像压缩、图像检测等领域，根据呈现不同美感度图像对人脑的影响，提取脑电信号，并考虑脑电信号的时空特性，对美学图像进行客观质量评估。

背景技术

图像美学有多种度量方式，客观上提取小波变换、DCT变换和直方图等低级特征，取得了比较好的度量性能。高美感的图像应当简洁，且使用了基本的摄影技巧，如突出主体、长时间曝光和使用调色板等。从这些基本的摄影技巧出发，提出了颜色数、模糊度等高级特征，少数高级特征的分类性能已能超过采用很多低级特征文献中的方法。三分法则、图像曝光度也成为度量图像美学有效的全局特征，三分法则是摄影中很重要的构图法则，采用三分法则创作的图像美感比较高。现有研究提取的特征都是基于摄影技巧理论来提取，比较符合人们的主观美学判断，所以分类性能较好。局部特征是由图像的主题区域和背景区域得到的，也取得了比较好的分类性能。专业摄影师在拍照时为了突出照片的主体会通过设置微距镜头、光圈和长焦镜头的方法来调整图像景深，低景深的图像一般主题区域比较清晰，背景区域比较模糊，这相当于将图像的背景区域“虚化”，这样的图像美感比较高，根据低景深技术来提取图像的主题区域，并利用这些主题区域得到图像的全局特征和局部特征。

传统的研究方法通过提取特征进行图像美学评价尽管已获得较好性能，但分类性能对特征的依赖程度高，想要设计出使得分类性能好的特征需要丰富的经验和摄影知识。即使依据经验和摄影知识设计出使得分类性能好的特征，很多特征也只适用于某一个数据库，泛化能力差。然而，图像美学评价主观性极强，个体之间的美感度量差异较大，因此提出在呈现不同美感图像时，直接对大脑进行脑电信号采集与分析，来观测人对不同美感度图像质量感知程度的不同，通过获取差异脑电感知信号对图像进行美感度度量。

华南理工大学在其申请的专利文献“一种图像美学评价方法”(公开号：CN103218619A，公开日：2013年07月24日，申请日：2013年03月15日)中公开了一种图像美学评价方法。该方法首先对样本图像划分特征区域，包括图像整体区域和主体区域；对于整体区域和主体区域，分别提取图像低层美学特征和高层美学特征；通过机器训练和学习建立美学评价模型，包括图像美感等级分类器和图像美学回归模型；对用户输入的目标图像，利用已建立的美感等级分类器和美学回归模型，实现图像的高、低美感等级评价和美学分数预测。该方法依据通过直接提取图像特征，利用算法模型对图像给出美感等级评价和美学分数预测，但是，该方法仍然存在的不足之处是，没有考虑人类视觉特性对图像美感度评价的影响，评价结果不能更好的符合主观评价的结果。

Xin Lu等人在其发表的论文“RAPID:Rating Pictorial Aesthetics using DeepLearning(International Conference on Multimedia.2014)”中提出了一种应用深度学习网络进行特征学习，达到分类的效果的方法。该方法将来自图像的异构输入合并到一个全局视图和局部视图中，并使用双列的卷积神经网络来统一特征学习和分类器训练。利用图像的样式属性来帮助提高审美质量的分类精度。该方法虽然采用深度学习网络进行分类，但是，该方法仍存在的不足之处是，没有考虑人类的审美感知，深度学习网络不能完全模拟人的评价思路与结果，不能较好的和主观评价相结合。

发明内容

本发明目的在于克服上述现有技术的不足，提出一种基于脑电信号的美学图像质量评价方法。

实现本发明目的的具体思路是，针对现有美学图像质量评价方法中存在的局限性与不确定性，造成对美学图像质量评价的结果不准确的问题，通过设计研究实验范式，提取被试的脑电信号,利用线性分类器进行整理分类，研究人类脑电信号随美学图像质量变化的变化情况，得到更加客观的美学图像质量评价方法。

本发明的具体步骤包括如下：

(1)选取待评价图像：

(1a)从香港中文大学照片质量CUHKPQ数据库中，分别从七类内容不同的高美感度的图像中，选取尺寸大小相近，美感程度相近的100幅图像作为高美感度图像；

(1b)从香港中文大学照片质量CUHKPQ数据库中，分别从七类内容不同的低美感度的图像中，选取尺寸大小相近，美感程度相近的100幅图像作为低美感度图像；

(2)采集脑电信号：

(2a)在实验环境状态下，采用怪球Oddball范式和快速序列视觉呈现RSVP范式，对受试者分别施加高美感度图像与低美感度图像进行两种刺激，获得对应的质量感知脑电信号；

(2b)使用脑电信号采集系统，分别记录每一种范式中两种刺激对应的脑电信号；

(3)提取单次脑电信号：

(3a)从脑电信号采集系统中选取双侧乳突电极，将所选取的双侧乳突电极采集信号的平均值作为参考信号，用每一种范式中的每一幅高美感度图像和低美感度图像出现后1s内的所有脑电信号，分别减去参考信号，得到转换参考后的高美感度图像和低美感度图像对应的脑电信号；

(3b)对转换参考后的脑电信号进行基线校正；

(3c)选取巴特沃兹三阶滤波器，对基线校正后的脑电信号进行滤波；

(3d)以图像出现后1s内的时长，对滤波后的脑电信号进行分段，获得与高美感度图像和低美感度图像一一对应的单次脑电信号；

(4)对单次脑电信号进行分类：

(4a)将单次脑电信号转化为64通道，每个通道1000个采样点的矩阵，通过降维处理成64通道，每个通道10个采样点的特征矩阵；

(4b)将特征矩阵输入线性分类器，训练线性分类器的模型，利用训练好的线性分类器的模型，对单次脑电信号进行分类；

(5)评价图像质量：

(5a)将分类后的单次脑电信号与高美感度图像和低美感度图像形成一一映射；

(5b)按照单次脑电信号分类进行比对，完成美学图像质量的评价。

与现有技术相比，本发明具有以下优点：

由于本发明采集与感知图像美感度相对应的脑电信号，充分考虑了人类的视觉感知，克服了现有技术美学图像质量评估方法中没有考虑人类的审美感知的主观性，导致客观美学图像质量评价脱离评价主体的问题，以及深度学习网络不能完全模拟人的评价思路与结果，不能较好的和主观评价相结合的问题。使得本发明具有在客观评估美学图像质量时更加符合人类主观评估，评价结果更为准确的优点。

附图说明

图1为本发明的流程图；

图2为本发明的仿真图。

具体实施方式

下面结合附图，对本发明做进一步的详细描述。

参照附图1，本发明的具体步骤如下。

步骤1，选取待评价图像。

从香港中文大学照片质量CUHKPQ数据库中，分别从七类内容不同的高美感度的图像中，选取尺寸大小相近，美感程度相近的100幅图像作为高美感度图像。

从香港中文大学照片质量CUHKPQ数据库中，分别从七类内容不同的低美感度的图像中，选取尺寸大小相近，美感程度相近的100幅图像作为低美感度图像。

步骤2，采集脑电信号。

在实验环境状态下，采用怪球Oddball范式和快速序列视觉呈现RSVP范式，对受试者分别施加高美感度图像与低美感度图像进行两种刺激，获得对应的质量感知脑电信号；所述的实验环境状态是指，受试者端坐在光线温和且温度适宜的房间中，佩戴64通道脑电信号采集系统，面对显示器，与显示器距离为48厘米。所述的快速序列视觉呈现RSVP范式是指，高美感度图像与低美感度图像比例为1:1。所述的怪球Oddball范式是指，高美感度图像与低美感度图像比例为8:2。

使用脑电信号采集系统，分别记录每一种范式中两种刺激对应的脑电信号。

步骤3，提取单次脑电信号。

从脑电信号采集系统中选取双侧乳突电极，将所选取的双侧乳突电极采集信号的平均值作为参考信号，用每一种范式中的每一幅高美感度图像和低美感度图像出现后1s内的所有脑电信号，分别减去参考信号，得到转换参考后的高美感度图像和低美感度图像对应的脑电信号。

对转换参考后的脑电信号进行基线校正。

选取巴特沃兹三阶滤波器，对基线校正后的脑电信号进行滤波。

以图像出现后1s内的时长，对滤波后的脑电信号进行分段，获得与高美感度图像和低美感度图像一一对应的单次脑电信号。

步骤4，对单次脑电信号进行分类。

将单次脑电信号转化为64通道，每个通道1000个采样点的矩阵，通过降维处理成64通道，每个通道10个采样点的特征矩阵。

将特征矩阵输入线性分类器，训练线性分类器的模型，利用训练好的线性分类器的模型，对单次脑电信号进行分类。

步骤5，评价图像质量。

将分类后的单次脑电信号与高美感度图像和低美感度图像形成一一映射。

按照单次脑电信号分类进行比对，完成美学图像质量的评价。

下面结合实验仿真图2对本发明的效果做进一步的描述。

香港中文大学照片质量CUHKPQ数据库的图像由专业摄影图像和业余摄影图像组成的，数据库中的图像根据图像的内容分为七个子类，分别是动物(3245张)、植物(2397张)、静态(2536张)、建筑(1885张)、风景(2770张)、人物(3148张)和夜景(1709张)图像。数据库中的图像被分为两个类别：高美感度图像和低美感度图像，高美感和低美感的区分是由十个参与者来评价的，参与者对每张图像给出三个标签：高美感度图像、低美感度图像或者不确定。只有当八个以上用户的评价标签一致时才能确定图像的真实标签。

本发明的仿真实验是应用香港中文大学照片质量CUHKPQ数据库提供的图像上进行的。本发明的仿真实验由五个界面组成，第一个界面为介绍界面“Introduction”，界面中介绍了本发明仿真实验要求。第二个界面为注视点界面“Fixation”，界面为背景黑色，中间一个白点。第三个界面为探针界面“Probe(Image)”，界面中随机呈现原始图像与失真图像。第四个界面为空白界面“Blank”，界面为黑色背景，以便消除记忆。第五个界面为结束界面“End”，界面中显示致谢语句。每幅图像在显示器上呈现500ms后，采用1000ms的刺激间隔，在刺激间隔要求受试者评价图像质量好坏。本发明仿真实验要求受试者看到低美感度图像时按下鼠标左键进行标记。受试者端坐在光线温和且温度适宜的房间中，佩戴64通道事脑电信号采集系统，面对显示器，与显示器距离为48厘米。依据快速序列视觉呈现RSVP范式所设计的实验中，原始图像与失真图像比例为1:1。依据怪球Oddball范式所设计的实验中，原始图像与失真图像比例为8:2。图像序列随机呈现，无固定顺序排列，以消除记忆带来的影响。通过采集受试者感知不同图像美感度的脑电信号，对采集到的信号进行处理，获得与感知美感度对应的单次脑电信号，以此来判断图像美感度。

本发明将获得的单次脑电信号使用线性分类器进行分类，选取高美感度图像和低美感度图像作为刺激获得的两类脑电信号，选取双侧乳突作为参考电极，对获取信号进行转换参考，基线校正，选取巴特沃兹三阶滤波器进行滤波。将单次脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，对矩阵通过降维处理成由64个通道、每个通道有10个采样点组成的特征矩阵。将特征矩阵输入线性分类器，训练线性分类器的模型，利用训练好的线性分类器的模型，对单次脑电信号进行分类。七类不同美感度图像分类准确率如表1。

表1七类不同美感度图像分类准确率一览表

由表1可见，本发明仿真实验，依据怪球Oddball范式和快速序列视觉呈现RSVP范式所得单次脑电信号，利用线性分类器对单次脑电信号分类，分类率平均可达70％以上，结合了人类主观审美的特点，达到了较好的美学图像质量评价效果。

Claims (4)

1.一种基于脑电信号的美学图像质量评价方法，包括如下步骤：

(1)选取待评价图像：

(1a)从香港中文大学照片质量CUHKPQ数据库中，分别从七类内容不同的高美感度的图像中，选取尺寸大小相近，美感程度相近的100幅图像作为高美感度图像；

(1b)从香港中文大学照片质量CUHKPQ数据库中，分别从七类内容不同的低美感度的图像中，选取尺寸大小相近，美感程度相近的100幅图像作为低美感度图像；

(2)采集脑电信号：

(2a)在实验环境状态下，采用怪球Oddball范式和快速序列视觉呈现RSVP范式，对受试者分别施加高美感度图像与低美感度图像进行两种刺激，获得对应的质量感知脑电信号；

(2b)使用脑电信号采集系统，分别记录每一种范式中两种刺激对应的脑电信号；

(3)提取单次脑电信号：

(3a)从脑电信号采集系统中选取双侧乳突电极，将所选取的双侧乳突电极采集信号的平均值作为参考信号，用每一种范式中的每一幅高美感度图像和低美感度图像出现后1s内的所有脑电信号，分别减去参考信号，得到转换参考后的高美感度图像和低美感度图像对应的脑电信号；

(3b)对转换参考后的脑电信号进行基线校正；

(3c)选取巴特沃兹三阶滤波器，对基线校正后的脑电信号进行滤波；

(3d)以图像出现后1s内的时长，对滤波后的脑电信号进行分段，获得与高美感度图像和低美感度图像一一对应的单次脑电信号；

(4)对单次脑电信号进行分类：

(4a)将单次脑电信号转化为64通道，每个通道1000个采样点的矩阵，通过降维处理成64通道，每个通道10个采样点的特征矩阵；

(4b)将特征矩阵输入线性分类器，训练线性分类器的模型，利用训练好的线性分类器的模型，对单次脑电信号进行分类；

(5)评价图像质量：

(5a)将分类后的单次脑电信号与高美感度图像和低美感度图像形成一一映射；

(5b)按照单次脑电信号分类进行比对，完成美学图像质量的评价。

2.根据权利要求1中所述基于脑电信号的美学图像质量评价方法，其特征在于：步骤(2a)中所述的实验环境状态是指，受试者端坐在光线温和且温度适宜的房间中，佩戴64通道脑电信号采集系统，面对显示器，与显示器距离为48厘米。

3.根据权利要求1中所述基于脑电信号的美学图像质量评价方法，其特征在于：步骤(2a)中所述的怪球Oddball范式是指，原始图像与失真图像比例为8:2。

4.根据权利要求1中所述基于脑电信号的美学图像质量评价方法，其特征在于：步骤(2a)中所述的快速序列视觉呈现RSVP范式是指，原始图像与失真图像比例为1:1。