CN111510710B - 基于脑电信号和时空失真的视频质量评价方法 - Google Patents

Abstract

本发明公开了一种基于脑电信号和时空失真的视频质量评价方法，主要解决现有技术没有充分考虑人类视觉特性，导致客观视频质量评价结果与人类主观感知不一致的问题，本发明步骤为：(1)生成模拟水面波动视频；(2)生成时空失真视频；(3)采集连续脑电信号和主观评价；(4)计算主观评价检测率；(5)对脑电信号进行分段；(6)对分段后的脑电信号进行分类；(7)计算脑电信号分类准确率；(8)评价时空失真视频质量。本发明采集不同时空失真视频对应的脑电信号作为评价依据，具有视频质量评价结果与人类主观评价更加一致，评价结果更加准确的优点。

Description

基于脑电信号和时空失真的视频质量评价方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像视频质量评价技术领域中的一种基于脑电信号和时空失真的视频质量评价方法。本发明可用于对观察视频过程中采集的脑电信号和主观评价进行分析，得到与视频质量相对应的质量评价。

背景技术

电子产品的普及与视频播放平台等视频流媒体的发展使得视频成为人们日常生活中获取信息与交流信息的重要手段，人们对视频质量的要求也在不断提高。在视频技术被广泛应用的现在，视频的感知质量是比较各种数字图像处理算法性能优劣及评价视觉体验的重要指标。因此，为了获得满意的视觉效果，对视频质量进行评价成为一个广泛而基本的问题。

天津大学在其申请的专利文献“一种基于梯度相似性标准差的视频质量评价方法”(专利申请号：201610891465.X，授权公告号：CN106412571B)中公开了一种基于梯度相似性标准差的视频质量评价方法。该方法首先通过参考视频当前帧与前两帧的帧差以及失真视频当前帧与前两帧的帧差来计算视频帧差的梯度相似度矩阵，并以此来模拟视觉系统的时域变化；然后计算参考帧与失真帧的梯度相似度矩阵来获取当前帧的空域失真程度；最后根据当前帧的时域失真程度及空域失真程度计算视频序列的质量，对于视频的时域失真和空域失真均能够有较好的评价性能。该方法存在的不足之处在于，评价过程与人脱离，所构建的失真程度算法不能代表人眼接收并感知视频的过程，评价的结果不能更好地符合主观评价结果。

西安电子科技大学在其申请的专利文献“基于脑电信号的失真图像质量感知评价方法”(专利申请号：201710739765.0，授权公告号：CN107609492B)中公开了一种基于脑电信号的失真图像质量感知评价方法。该方法首先选取不同失真程度的视频，在被试者观看视频的同时提取被试者的脑电信号，利用支持向量机分类器对脑电信号进行整理分类，得到图像质量评价的结果，使得评价结果与人的感知结果更加符合。但是，该方法仍然存在的不足之处在于，仅考虑了视频的失真程度，没有考虑时域失真对被试者的脑电产生的影响，从而导致评价的结果不准确，因此需要进一步的完善。

发明内容

本发明目的在于针对上述现有技术的不足，提出一种基于脑电信号和时空失真的视频质量评价方法，用于解决视频质量评价方法中存在的局限性与不确定性，造成对视频质量评价的结果不准确的问题。

实现本发明目的的具体思路是，针对现有视频质量评价方法中存在的局限性与不确定性，造成对视频质量评价的结果不准确的问题，通过生成具有时域失真和空域失真的视频，采集被试者的脑电信号和主观评价，利用支持向量机分类器进行整理分类，将主观评价的检测率与脑电信号的分类准确率映射成一一对应的曲线，得到与人的主观感知更符合的视频质量评价结果。

本发明的具体步骤如下：

(1)生成模拟水面波动视频：

(1a)选取一幅带有水波波纹的自然图像，将其嵌入纯白色方格相间的棋盘格中，作为模拟水面波动视频的第一帧图像，该第一帧图像的大小为830像素×480像素；

(1b)利用像素值更新公式，根据模拟水面波动视频的当前帧图像中每个像素点的像素值计算该像素点在下一帧图像中的像素值，生成下一帧图像，将依次生成的n帧图像合成一个时长至少为5秒，帧率为30帧/秒的模拟水面波动视频，n≥150；

(2)生成时空失真视频：

(2a)利用5个表示不同失真程度的失真参数，分别对模拟水面波动视频中第

帧至第

帧和第

帧至第

帧的图像进行失真处理，得到10个时空失真视频；

(2b)为每个时空失真视频设置与其唯一对应的标签，每个标签包含用于表示每个时空失真视频失真参数和失真帧数的符号；

(3)采集连续脑电信号和主观评价：

(3a)选取至少10位被试者，将每个时空失真视频对每位被试者重复播放m次，m≥40；利用脑电信号采集器，采集每位被试者在观看每个时空失真视频的过程中产生连续的脑电信号；

(3b)被试者每观看一个时空失真视频后，记录该被试者是否观察到失真的主观评价；

(4)利用检测率公式，计算每个时空失真视频所有播放次数的主观评价的检测率；

(5)对脑电信号进行分段：

(5a)对每个时空失真视频的脑电信号进行基线校正；

(5b)使用巴特沃兹三阶滤波器，对每个基线校正后的脑电信号进行滤波；

(5c)以每个时空失真视频开始播放后5秒的时长为间隔，对每个滤波后的脑电信号进行分段，得到分段后的脑电信号；

(6)对分段后的脑电信号进行分类：

(6a)将每段脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，通过降维处理将矩阵转换成由64个通道、每个通道有10个采样点组成的特征矩阵；

(6b)将所有的特征矩阵输入到支持向量机分类器中，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对所有的分段后脑电信号进行分类；

(7)利用准确率公式，计算每个时空失真视频对应的所有脑电信号的分类准确率；

(8)评价时空失真视频质量：

(8a)将每个时空失真视频的检测率与分类准确率映射成一一对应的曲线；

(8b)在曲线上找到每个时空失真视频对应的点，得到表示每个时空失真视频质量分值的检测率值和准确率值。

与现有技术相比，本发明具有以下优点：

第一，本发明对所采集与视频质量相对应的脑电信号和主观评价结果，通过构造主观评价的检测率和脑电信号分类准确率一一映射的曲线，得到表示每个时空失真视频质量分值的检测率值和准确率值。克服了现有技术中对自然图像的视频质量评价过程与人脱离，所构建的失真程度算法不能代表人眼接收并感知视频的过程，评价的结果不能更好地符合主观评价结果的问题，使得本发明具有在客观评价视频质量时更加符合人类主观感知的优点。

第二，本发明在提取人类的脑电信号时，采用具有时空失真的视频，克服了现有技术中仅考虑图像的失真程度，没有考虑时域失真对被试者的脑电产生的影响，从而导致评价的结果不准确的问题，使得本发明在视频质量评价中具有充分考虑人类视觉特性，评价结果更为准确的优点。

附图说明

图1为本发明的流程图；

图2为本发明用于仿真实验的棋盘格图像；

图3为本发明的检测率与准确率一一映射曲线图。

具体实施方式

下面结合附图，对本发明做进一步的详细描述。

参照附图1，对本发明实现的步骤做进一步的详细描述。

步骤1，生成模拟水面波动视频。

选取一幅带有水波波纹的自然图像，将其嵌入纯白色方格相间的棋盘格中，作为模拟水面波动视频的第一帧图像，该第一帧图像的大小为830像素×480像素。

水波波纹的自然图像纹理简单，可避免生成的模拟水面波动视频内容对视频质量感知产生影响。将带有水波波纹的自然图像裁切为140像素×140像素的水纹方格，与纯白方格相间排列，水纹方格与水纹方格彼此不相邻，纯白方格与纯白方格彼此不相邻，得到一幅嵌入水纹方格的棋盘格图像。

利用像素值更新公式，根据模拟水面波动视频的当前帧图像中每个像素点的像素值计算该像素点在下一帧图像中的像素值，生成下一帧图像，将依次生成的n帧图像合成一个时长至少为5秒，帧率为30帧/秒的模拟水面波动视频，n≥150。

例如，可将依次生成的150帧图像合成时长为5秒，帧率为30帧/秒的模拟水面波动视频。

所述的像素值更新公式如下：

f(x_j,y_j)＝f(x_i,y_i)×u(x_i,y_i,t)

其中，f(x_j,y_j)表示当前帧的下一帧图像中第j个像素点的像素值，x_j和y_j分别表示当前帧的下一帧图像中第j个像素点的x轴的坐标值和y轴的坐标值，f(x_i,y_i)表示当前帧图像中第i个像素点的像素值，i与j的取值对应相等，u(x_i,y_i,t)表示当前帧第i个像素点的像素值在t时刻的更新率，

秒。

所述的u(x_i,y_i,t)由下式计算得到：

其中，c表示模拟水面波动视频中水波的传播速率，c≤0.1米/秒，x_i和y_i分别表示当前帧第i个像素点的x轴的坐标值和y轴的坐标值，

表示二阶偏导操作。

步骤2，生成时空失真视频：

利用5个表示不同失真程度的失真参数，分别对模拟水面波动视频中第

帧至第

帧和第

帧至第

帧的图像进行失真处理，得到10个时空失真视频。

所述的失真处理是指，利用VideoWriter函数，对指定帧图像进行图像压缩，分别设置10、26、30、40、100共五个失真参数，将指定帧图像中用于显示每个像素点的比特数降为每个像素点原比特数的10％、26％、30％、40％、100％，依此，利用5个失真参数对第

帧至第

帧的图像进行失真处理，再用五个失真参数对第

帧至第

帧的图像进行失真处理。其中，5个时空失真视频的失真帧数为

帧，对应失真时长为

秒，失真参数分别为10、26、30、40、100，对应5个失真程度从大到小的失真等级；其余5个时空失真视频的失真帧数为

帧，对应失真时长为

秒，失真参数分别为10、26、30、40、100，对应5个失真程度从大到小的失真等级。

本发明实施例的10个时空失真视频中5个视频的失真帧为第60帧到第89帧，失真帧数为30帧，失真参数分别为10、26、30、40、100，另外5个时空失真视频的失真帧为第60帧到第119帧，失真帧数为60帧，失真参数分别为10、26、30、40、100。

为每个时空失真视频设置与其唯一对应的标签，每个标签包含用于表示每个时空失真视频失真参数和失真帧数的符号。

所述标签可用大写英文字母表示失真帧数，用阿拉伯数字表示失真参数，例如，将失真帧数为30帧，失真参数为10的时空失真视频的标签设置为“A1”，将失真帧数为60帧，失真参数为26的时空失真视频的标签设置为“B2”，以此类推。

步骤3，采集连续脑电信号和主观评价。

选取至少10位被试者，将每个时空失真视频对每位被试者重复播放m次，m≥40。例如，可将m设置为40次。

时空失真视频在光照均匀且温度适宜的隔音环境中进行播放，被试者双眼与显示器之间的距离维持在视频显示高度的8倍左右。

利用NeuroScan 64位脑电采集设备，采集每位被试者在观看每个时空失真视频的过程中产生连续的脑电信号。

被试者每观看一次时空失真视频后，记录该被试者是否观察到失真的主观评价。

被试者每观看一次时空失真视频，回答是否观察到明显的视频失真，回答方式为在电脑的键盘上按下表示“是”的按键或者表示“否”的按键。例如，可用键盘上的左方向键表示“是”，右方向键表示“否”。被试者也可以通过鼠标在屏幕中点击相应的选项进行作答，作为被试者的主观评价。

步骤4，利用检测率公式，计算每个时空失真视频所有播放次数的主观评价的检测率。

所述的检测率公式如下：

其中，N_{有明显失真}表示每个时空失真视频所有播放次数记录的有明显失真的时空失真视频的总数，N_{无明显失真}表示每个时空失真视频所有播放次数记录的无明显失真的时空失真视频的总数。

步骤5，对脑电信号进行分段。

对每个时空失真视频的脑电信号进行基线校正。例如，选取视频中失真帧出现时刻前200毫秒的脑电信号电位平均值作为基线值，将失真帧出现后每个时刻的脑电信号电位值减去这个基线值。

使用巴特沃兹三阶滤波器，对每个基线校正后的脑电信号进行滤波。例如，滤除脑电信号中30赫兹以上的心电、肌电等与时空失真视频无关的脑电成份。

以每个时空失真视频开始播放后5秒的时长为间隔，对每个滤波后的脑电信号进行分段，得到分段后的脑电信号。

步骤6，对分段后的脑电信号进行分类。

将每段脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，通过降维处理将矩阵转换成由64个通道、每个通道有10个采样点组成的特征矩阵。

将所有的特征矩阵输入到支持向量机分类器中，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对所有的分段后脑电信号进行分类。

步骤7，利用准确率公式，计算每个时空失真视频对应的所有脑电信号的分类准确率。

所述的准确率公式如下：

其中，N_正确表示每个时空失真视频对应的所有脑电信号被正确分类的总数，N_错误表示每个时空失真视频对应的所有脑电信号被错误分类的总数。

步骤8，评价时空失真视频质量。

将每个时空失真视频的检测率与分类准确率映射成一一对应的曲线。

所述曲线的横坐标为准确率，纵坐标为检测率。

在曲线上找到每个时空失真视频对应的点，得到表示每个时空失真视频质量分值的检测率值和准确率值。

下面结合仿真实验对本发明的效果做进一步的描述：

1.仿真实验条件：

本发明仿真实验的硬件测试平台是：CPU为Intel(R)Core(TM)i7-8700，主频为3.2GHz，内存16GB，GPU为NVIDIA GTX 1060i。

本发明的仿真实验的软件平台是：Windows 7操作系统、专业脑电采集与分析软件Curry 7、心理学实验操作平台E-Prime 2.0、数学软件MATLAB R2019a。

2.仿真内容及其结果分析：

本发明的仿真实验是采用本发明的方法，从Simon Scholler等人在其发表的论文“Toward a Direct Measure of Video Quality Perception Using EEG”(IEEETransactions on Image Processing.2012)中下载如图2所示的嵌入水波纹的棋盘格图像。棋盘格图像的大小为830像素×480像素，图像格式为JPEG。生成的时空失真视频时长为5秒，帧率为30帧/秒，帧数为150帧。10个时空失真视频中，5个视频的失真帧为第60帧到第89帧，失真帧数为30帧，失真参数分别为10、26、30、40、100，另外5个时空失真视频的失真帧为第60帧到第119帧，失真帧数为60帧，失真参数分别为10、26、30、40、100。每个时空失真视频的标签与其失真帧数及失真参数对应，用“A”表示失真帧数为30帧，用“B”表示失真帧数为60帧，用数字“1、2、3、4、5”分别表示失真参数10、26、30、40、100。每个时空失真视频对应的主观评价与每段脑电信号的标签设置为与这个时空失真视频的标签相同。

本发明的仿真实验在光照均匀且温度适宜的隔音环境中进行，被试者双眼与显示器之间的距离维持在视频显示高度的8倍左右，为被试者佩戴64通道脑电帽，利用NeuroScan 64位脑电采集设备采集被试者在仿真实验过程中产生的连续脑电信号。

本发明的仿真实验流程由五个电脑屏幕界面组成。第一个界面为介绍界面，界面中介绍了本发明仿真实验要求。第二个界面为注视点界面，界面为在黑色背景中间插入一个白点样式来吸引被试者的注意力。第三个界面为视频播放界面，播放一次时空失真视频。第四个界面为主观评价界面，被试者做出评价，若观察到了失真，则在键盘上按下左方向键，若未观察到失真，则按下右方向键。评价完成后，返回第二个界面，准备下一次时空失真视频的播放。每个时空失真视频重复播放40次，播放顺序随机。第五个界面为结束界面，10个时空失真视频均完成40次播放后，进入结束界面，仿真实验结束。

计算每个标签对应的时空失真视频主观评价的检测率，检测率计算方式为，每个标签对应的时空失真视频的40次播放中，被被试者评价为“有明显失真”的次数除以40，结果如表1所示。

将采集到的脑电信号进行基线校正、滤波、分段，将每段脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，对矩阵通过降维处理成由64个通道、每个通道有10个采样点组成的特征矩阵。将A1、A5、B1、B5标签对应的特征矩阵输入支持向量机分类器，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对所有标签对应的每段脑电信号进行分类，分类准确率计算方式为，每个标签对应的时空失真视频的40次播放中，被分类器正确分类为“失真”的次数除以40，结果如表1所示。

表1主观评价检测率与脑电信号分类准确率结果表(％)

指标	A1	B1	A2	B2	A3	B3	A4	B4	A5	B5
											检测率	100.0	100.0	70.0	80.0	40.0	50.0	15.0	25.0	7.5	2.5
准确率	95.0	97.5	65.0	67.5	57.5	60.0	55.0	57.5	2.5	0.0

结合表1可以看出，本发明采用的时空失真视频，失真程度越大，失真时长越长，则检测率和准确率越高，越容易被被试者察觉到失真，对应的脑电信号也越容易被分类器检测出失真，证明本发明充分考虑了时空失真对评价结果的影响，充分考虑了人类的视觉特性。

将每个标签对应的检测率和准确率拟合成一条一一映射的曲线，曲线横坐标为准确率，纵坐标为检测率，如图3所示。图3曲线中的每一个点对应一个时空失真视频，其中，符号“×”表示的点对应失真帧数为60帧的时空失真视频，符号“o”表示的点对应失真帧数为30帧的时空失真视频。

从图3中可见，本发明构造的主观评价检测率与脑电信号分类准确率一一映射曲线中，随着准确率值增大，检测率值也相应增大，证明本方法通过脑电信号对视频质量进行评价的结果与主观评价的结果相符合。

Claims (4)

1.一种基于脑电信号和时空失真的视频质量评价方法，其特征在于，采集被试人在观看时空失真视频时产生的脑电信号和主观评价，将脑电信号的分类准确率与主观评价的检测率映射成一一对应的曲线；该方法的具体步骤包括如下：

(1)生成模拟水面波动视频：

(1a)选取一幅带有水波波纹的自然图像，将其嵌入纯白色方格相间的棋盘格中，作为模拟水面波动视频的第一帧图像，该第一帧图像的大小为830像素×480像素；

(1b)利用像素值更新公式，根据模拟水面波动视频的当前帧图像中每个像素点的像素值计算该像素点在下一帧图像中的像素值，生成下一帧图像，将依次生成的n帧图像合成一个时长至少为5秒，帧率为30帧/秒的模拟水面波动视频，n≥150；

(2)生成时空失真视频：

(2a)利用5个表示不同失真程度的失真参数，分别对模拟水面波动视频中第

帧至第

帧和第

帧至第

帧的图像进行失真处理，得到10个时空失真视频；

(2b)为每个时空失真视频设置与其唯一对应的标签，每个标签包含用于表示每个时空失真视频失真参数和失真帧数的符号；

(3)采集连续脑电信号和主观评价：

(3a)选取至少10位被试者，将每个时空失真视频对每位被试者重复播放m次，m≥40；利用脑电信号采集器，采集每位被试者在观看每个时空失真视频的过程中产生连续的脑电信号；

(3b)被试者每观看一个时空失真视频后，记录该被试者是否观察到失真的主观评价；

(4)利用检测率公式，计算每个时空失真视频所有播放次数的主观评价的检测率；

(5)对脑电信号进行分段：

(5a)对每个时空失真视频的脑电信号进行基线校正；

(5b)使用巴特沃兹三阶滤波器，对每个基线校正后的脑电信号进行滤波；

(5c)以每个时空失真视频开始播放后5秒的时长为间隔，对每个滤波后的脑电信号进行分段，得到分段后的脑电信号；

(6)对分段后的脑电信号进行分类：

(6a)将每段脑电信号转化为由64个通道、每个通道有1000个采样点组成的矩阵，通过降维处理将矩阵转换成由64个通道、每个通道有10个采样点组成的特征矩阵；

(6b)将所有的特征矩阵输入到支持向量机分类器中，训练支持向量机分类器的模型，利用训练好的支持向量机分类器的模型，对所有的分段后脑电信号进行分类；

(7)利用准确率公式，计算每个时空失真视频对应的所有脑电信号的分类准确率；

(8)评价时空失真视频质量：

(8a)将每个时空失真视频的检测率与分类准确率映射成一一对应的曲线；

(8b)在曲线上找到每个时空失真视频对应的点，得到表示每个时空失真视频质量分值的检测率值和准确率值。

2.根据权利要求1所述的基于脑电信号和时空失真的视频质量评价方法，其特征在于，步骤(2a)中所述的失真处理是指，利用VideoWriter函数，对指定帧图像进行图像压缩，分别设置10、26、30、40、100共五个失真参数，将指定帧图像中用于显示每个像素点的比特数降为每个像素点原比特数的10％、26％、30％、40％、100％，依此，利用5个失真参数对第

帧至第

帧的图像进行失真处理，再用五个失真参数对第

帧至第

帧的图像进行失真处理。

3.根据权利要求1所述的基于脑电信号和时空失真的视频质量评价方法，其特征在于，步骤(4)中所述的检测率公式如下：

其中，N_{有明显失真}表示每个时空失真视频所有播放次数记录的有明显失真的时空失真视频的总数，N_{无明显失真}表示每个时空失真视频所有播放次数记录的无明显失真的时空失真视频的总数。

4.根据权利要求1所述的基于脑电信号和时空失真的视频质量评价方法，其特征在于，步骤(7)中所述的准确率公式如下：

其中，N_正确表示每个时空失真视频对应的所有脑电信号被正确分类的总数，N_错误表示每个时空失真视频对应的所有脑电信号被错误分类的总数。

Images