CN112165615B - 一种立体图像观看舒适性客观评价方法 - Google Patents

Abstract

本发明涉及一种立体图像观看舒适性客观评价方法，其特征在于：首先，提取立体图像的感兴趣区域；然后，分析感兴趣区域图像，获取各种特征；有效提取各特征信息，采用ε‑SVR支持向量回归模型，确立核函数；最后选取标准立体图像库训练并测试模型，实现舒适性评价；其引入立体视觉舒适度的多种影响因素，采用机器学习方法实现立体图像的舒适度评价，从而避免了主观方法中大量人力、物力、时间的消耗，实现了更为准确的自动评价；并充分考虑深度、图像等各方面信息的影响，基于视差角、宽度角、区域对比度、空间频率、以及亮度色度饱和度等多种特征训练SVR模型，实现了立体图像舒适度客观评价。

Description

一种立体图像观看舒适性客观评价方法

技术领域

本发明涉及一种立体图像观看舒适性客观评价方法，属于图像信号处理技术领域。

背景技术

3D立体显示越来越流行，它可以提供比传统2D视频更加炫酷刺激的观看体验。然而，立体画面在为观众带来具有临场感和真实感的视觉体验的同时，常常会给观看者带来一些不舒服的观赏感受，如头晕、头疼、眼睛干涩和疲劳等，甚至会产生恶心反胃等强烈反应。因此，为了提升立体视频的观看体验效果，对立体视频进行舒适度评价是必要的。

目前，立体视频评价方法主要包括主观评价方法和客观评价方法两种。主观评价方法需要专业的评价环境，且耗费人力、时间资源，无法自动执行。鉴于此，研究人员研究并提出了许多客观评价方法，以期在没有人参与下自动地评价3D图像的舒适情况。现有研究表明：前景对象的刺激宽度、双目视差数值、图像的组成要素(亮度、色度、对比度、饱和度)等均会对视觉舒适度产生影响，而仅基于一种或几种特定特征进行分析，会导致客观舒适性评价效果不佳。立体图像的观看舒适性程度是多维因素综合影响的结果，仅考虑某一个特定方面，基于几个特定因素进行舒适性评价，并不能满足舒适度评价的需求，也会导致舒适度评价效果不佳。

发明内容

本发明的目的在于提供一种立体图像观看舒适性客观评价方法，其引入立体视觉舒适度的多种影响因素，采用机器学习方法实现立体图像的舒适度评价，从而避免了主观方法中大量人力、物力、时间的消耗，实现了更为准确的自动评价；并充分考虑深度、图像等各方面信息的影响，基于视差角、宽度角、区域对比度、空间频率、以及亮度色度饱和度等多种特征训练SVR模型，实现了立体图像舒适度客观评价。

本发明的技术方案是这样实现的：一种立体图像观看舒适性客观评价方法，其特征在于：首先，提取立体图像的感兴趣区域；然后，分析感兴趣区域图像，获取各种特征；有效提取各特征信息，采用ε-SVR支持向量回归模型，确立核函数；最后选取标准立体图像库训练并测试模型，实现舒适性评价；其具体步骤如下：

步骤1：计算左右眼图像的视差图D_R(x,y)；

步骤2：采用GBVS显著性检测算法以右眼图像为主视眼提取显著区域，得到显著图IS_R(x,y)，结合视差图计算立体显著图IIS(x,y)，对立体显著图进行阈值T分割，得到掩膜图IM(x,y)，其中，α₁，α₂为系数，且α₁+α₂＝1；

IIS(x,y)＝α₁IS_R(x,y)+α₂D_R(x,y)

步骤3：将掩膜图与右眼图像相乘得到立体图像感兴趣区域o_f；

步骤4：提取感兴趣区域的舒适度影响特征，包括如下子步骤：

步骤401：通过下面公式计算感兴趣区域的平均视差值D_mean与平均视差角d_θ：

其中，d(x,y)为视差图中(x,y)处的视差值，|o_f|表示感兴趣区域内像素总数，k为放映放大率，D表示视差，L为观看立体图像时距屏幕的距离；

步骤402：提取前景区域宽度W_mean与宽度角W_θ，公式如下：

其中，N_F表示前景区域水平线的数量，

表示前景区域内第n条水平线长度，w表示宽度；

步骤403：根据水平方向和垂直方向的空间频率R_f、C_f，按照下面公式计算图像空间频率v，其中，M和N为图像的宽和高，I(x,y)为图像(x,y)点的像素值；

步骤404：通过下面公式计算图像视角β，得到归一化的空间频率f，其中r表示栅条与人眼的距离，S为光栅图像宽度；

步骤405：按下面公式计算基于空间加权的区域对比度

其中，d_r(r₁,r₂)为区域r₁和区域r₂的空间颜色距离，f(c_1,i)表示第i个颜色c_1,i在第1个区域r₁的所有颜色n₁中出现的概率，f(c_2,j)表示第j个颜色c_2,j在第2个区域r₂的所有颜色n₂中出现的概率，d(c_1,i,c_2,j)表示区域1中的i个颜色与区域2中第j个颜色在Lab空间内的颜色距离，S_r(r_i,r_j)表示区域r_i与区域r_j之间的空间距离，γ₀用于控制空间权值的强度；

步骤406：提取亮度V、色度H、饱和度特征S，公式如下：

V＝max(R',G',B')

其中，R'、G'、B'为红、绿、蓝三个颜色通道分量的归一化值；

步骤407：计算左右眼视图显著区域的亮度差异Δv(x,y)，色度差异Δh(x,y)，饱和度差异Δs(x,y)，公式如下，其中，v_L(x,y)表示左眼图像的亮度特征，v_R(x,y)表示右眼图像的亮度特征，h_L(x,y)表示左眼图像的色度特征，h_R(x,y)表示右眼图像的色度特征，s_L(x,y)表示左眼图像的饱和度，s_R(x,y)表示右眼图像的饱和度；

Δv(x,y)＝|v_L(x,y)-v_R(x,y)|

Δh(x,y)＝|h_L(x,y)-h_R(x,y)|

Δs(x,y)＝|s_L(x,y)-s_R(x,y)|

步骤5：采用ε-SVR支持向量回归模型建立预测函数f(X)，其定义形式如下：

δ_i和

为拉格朗日算子，b为偏置项，X为特征变量，n为提取的特征的数量，X_i为提取的第i个特征，K(X_i,X)表示核函数，采用径向基核函数(RBF)，公式如下，其中，γ₁为核函数的参数；

步骤6：将提取的感知特征

与标准MOS值进行归一化处理，基于预测函数进行模型训练和舒适性预测，对预测结果进行反归一化处理得到舒适度预测值。

本发明的积极效果是：充分分析立体图像深度、自身特性相关信息，提取感兴趣区域的各项深度特征、图像空间频域特征、对比度特征、以及左右眼视图的亮度、色度、饱和度差异等，基于支持向量回归模型实现了立体图像的舒适性客观评价；避免了人工舒适性评价实施所需的人力、时间、资源成本，同时了改善了基于单一或几种特征进行评价建模的效果不佳问题，得到了更为接近标准MOS值的预测结果。

附图说明

图1(a)为原始图像右眼图像，图1(b)为提取的感兴趣区域。

图2为空间频率归一化计算示意图。

图3为实验用标准立体图像数据集的部分图像数据。

图4为模型预测值与标准主观MOS值的关系。

具体实施方式

下面结合附图和实施例对本发明做进一步的详细说明；如图1-4所示，一种立体图像观看舒适性客观评价方法，完成立体图像舒适度客观评价，具体步骤如下：

步骤1：计算左右眼图像的视差图D_R(x,y)；

步骤2：立体图像的右眼图像如图1(a)所示，用GBVS显著性检测算法为其提取显著区域，得到显著图IS_R(x,y)，结合视差图计算立体显著图IIS(x,y)，对立体显著图进行阈值T分割，得到掩膜图IM(x,y)，式中α₁+α₂＝1，这里取α₁＝α₂＝0.5；

IIS(x,y)＝α₁IS_R(x,y)+α₂D_R(x,y)

步骤3：将掩膜图与右眼图像相乘得到立体图像感兴趣区域o_f，如图1(b)所示；

步骤4：提取感兴趣区域的舒适度影响特征，包括如下子步骤：

步骤401：通过下面公式计算感兴趣区域的平均视差值D_mean与平均视差角d_θ：

其中，d(x,y)为视差图中(x,y)处的视差值，|o_f|表示感兴趣区域内像素总数，k为放映放大率，D表示视差，L为观看立体图像时距屏幕的距离；

步骤402：提取前景区域宽度W_mean与宽度角W_θ，公式如下：

其中，N_F表示前景区域水平线的数量，

表示前景区域内第n条水平线长度，w表示宽度；

步骤403：根据水平方向和垂直方向的空间频率R_f、C_f，按照下面公式计算图像空间频率v，其中，M和N为图像的宽和高，I(x,y)为图像(x,y)点的像素值；

步骤404：通过下面公式计算图像视角β，得到归一化的空间频率f，其中r表示栅条与人眼的距离,此处取值r＝4S，S为光栅图像宽度，如图2所示；

/>

步骤405：按下面公式计算基于空间加权的区域对比度

其中，d_r(r₁,r₂)为区域r₁和区域r₂的空间颜色距离，f(c_1,i)表示第i个颜色c_1,i在第1个区域r₁的所有颜色n₁中出现的概率，f(c_2,j)表示第j个颜色c_2,j在第2个区域r₂的所有颜色n₂中出现的概率，d(c_1,i,c_2,j)表示区域1中的i个颜色与区域2中第j个颜色在Lab空间内的颜色距离，S_r(r_i,r_j)表示区域r_i与区域r_j之间的空间距离，γ₀用于控制空间权值的强度；此处取值γ₀ ²＝0.4；

步骤406：提取亮度V、色度H、饱和度特征S，公式如下：

V＝max(R',G',B')

其中，R'、G'、B'为红、绿、蓝三个颜色通道分量的归一化值；

步骤407：计算左右眼视图显著区域的亮度差异Δv(x,y)，色度差异Δh(x,y)，饱和度差异Δs(x,y)，公式如下，其中，v_L(x,y)表示左眼图像的亮度特征，v_R(x,y)表示右眼图像的亮度特征，h_L(x,y)表示左眼图像的色度特征，h_R(x,y)表示右眼图像的色度特征，s_L(x,y)表示左眼图像的饱和度，s_R(x,y)表示右眼图像的饱和度；

Δv(x,y)＝|v_L(x,y)-v_R(x,y)|

Δh(x,y)＝|h_L(x,y)-h_R(x,y)|

Δs(x,y)＝|s_L(x,y)-s_R(x,y)|

步骤5：采用ε-SVR支持向量回归模型建立预测函数f(X)，其定义形式如下：

δ_i和

为拉格朗日算子，b为偏置项，X为特征变量，n为提取的特征的数量，X_i为提取的第i个特征，K(X_i,X)表示核函数，采用径向基核函数(RBF)，公式如下，其中，γ₁为核函数的参数；

步骤6：选取IVY数据集，部分图像如图3所示，提取的每幅立体图像对的感知特征并进行归一化处理，同样将其标准MOS值进行归一化处理，选取数据集中80％的图像用来训练，剩余20％用作测试，基于预测函数进行模型训练，从而实现舒适性预测，对结果反归一化处理得到舒适度预测值，模型预测值与主观评价值的关系如图4所示。

Claims (1)

1.一种立体图像观看舒适性客观评价方法，其特征在于：首先，提取立体图像的感兴趣区域；然后，分析感兴趣区域图像，获取各种特征；有效提取各特征信息，采用ε-SVR支持向量回归模型，确立核函数；最后选取标准立体图像库训练并测试模型，实现舒适性评价；其具体步骤如下：

步骤1：计算左右眼图像的视差图D_R(x,y)；

步骤2：采用GBVS显著性检测算法以右眼图像为主视眼提取显著区域，得到显著图IS_R(x,y)，结合视差图计算立体显著图IIS(x,y)，对立体显著图进行阈值T分割，得到掩膜图IM(x,y)，其中，α₁，α₂为系数，且α₁+α₂＝1；

IIS(x,y)＝α₁IS_R(x,y)+α₂D_R(x,y)

步骤3：将掩膜图与右眼图像相乘得到立体图像感兴趣区域o_f；

步骤4：提取感兴趣区域的舒适度影响特征，包括如下子步骤：

步骤401：通过下面公式计算感兴趣区域的平均视差值D_mean与平均视差角d_θ：

其中，d(x,y)为视差图中(x,y)处的视差值，|o_f|表示感兴趣区域内像素总数，k为放映放大率，D表示视差，L为观看立体图像时距屏幕的距离；

步骤402：提取前景区域宽度W_mean与宽度角W_θ，公式如下：

其中，N_F表示前景区域水平线的数量，

表示前景区域内第n条水平线长度，w表示宽度；

步骤403：根据水平方向和垂直方向的空间频率R_f、C_f，按照下面公式计算图像空间频率v，其中，M和N为图像的宽和高，I(x,y)为图像(x,y)点的像素值；

步骤404：通过下面公式计算图像视角β，得到归一化的空间频率f，其中r表示栅条与人眼的距离，S为光栅图像宽度；

步骤405：按下面公式计算基于空间加权的区域对比度

其中，d_r(r₁,r₂)为区域r₁和区域r₂的空间颜色距离，f(c_1,i)表示第i个颜色c_1,i在第1个区域r₁的所有颜色n₁中出现的概率，f(c_2,j)表示第j个颜色c_2,j在第2个区域r₂的所有颜色n₂中出现的概率，d(c_1,i,c_2,j)表示区域1中的i个颜色与区域2中第j个颜色在Lab空间内的颜色距离，S_r(r_i,r_j)表示区域r_i与区域r_j之间的空间距离，γ₀用于控制空间权值的强度；

步骤406：提取亮度V、色度H、饱和度特征S，公式如下：

V＝max(R',G',B')

其中，R'、G'、B'为红、绿、蓝三个颜色通道分量的归一化值；

步骤407：计算左右眼视图显著区域的亮度差异Δv(x,y)，色度差异Δh(x,y)，饱和度差异Δs(x,y)，公式如下，其中，v_L(x,y)表示左眼图像的亮度特征，v_R(x,y)表示右眼图像的亮度特征，h_L(x,y)表示左眼图像的色度特征，h_R(x,y)表示右眼图像的色度特征，s_L(x,y)表示左眼图像的饱和度，s_R(x,y)表示右眼图像的饱和度；

Δv(x,y)＝|v_L(x,y)-v_R(x,y)|

Δh(x,y)＝|h_L(x,y)-h_R(x,y)|

Δs(x,y)＝|s_L(x,y)-s_R(x,y)|

步骤5：采用ε-SVR支持向量回归模型建立预测函数f(X)，其定义形式如下：

δ_i和

为拉格朗日算子，b为偏置项，X为特征变量，n为提取的特征的数量，X_i为提取的第i个特征，K(X_i,X)表示核函数，采用径向基核函数(RBF)，公式如下，其中，γ₁为核函数的参数；

步骤6：将提取的感知特征

与标准MOS值进行归一化处理，基于预测函数进行模型训练和舒适性预测，对预测结果进行反归一化处理得到舒适度预测值。

Images