CN103096125B - 基于区域分割的立体视频视觉舒适度评价方法 - Google Patents

Abstract

基于区域分割的立体视频视觉舒适度评价方法属立体图像评价技术领域，本发明首先自适应地分割提取出立体视频序列中的运动区域和背景部分的显著性区域，结合深度感知理论和空间合并技术，对视觉舒适度这一特征量进行建模，利用线性回归的方法，再结合人类主观评价实验结果与视差深度之间的逻辑关系，选取契合人类主观评价结果的待定系数及其特征权值，实现对立体视频舒适度自适应的评定。本发明对放映设备、实验条件进行标定，分别对显著性区域内的背景部分与运动对象，通过设定权值实现对舒适度评价结果的优化，建立了符合人类主观感知结果的立体图像质量客观评价模型，本发明对加快立体视频系统的发展，具有不可估量的重要作用。

Description

基于区域分割的立体视频视觉舒适度评价方法

技术领域

本发明属立体图像评价技术领域，具体涉及一种基于区域分割的立体视频视觉舒适度评价方法。

背景技术

随着多媒体技术和互联网技术的大力发展，立体视频技术正迅速发展起来。与传统媒体相比，立体视频能够为大众创造更加直观真实的场景感受，同时也可以获得更加强烈的临场感。但是由于立体视频自身技术的不完善，也带来了一些不利的影响。

观看者在观看立体图像时常用视觉舒适度这一概念反映主观感受到的舒适程度，具体表现在观看立体图像一定时间后，眼睛的疲劳程度和身体的反映状况等。与平面显示不同，如果呈现给观看者的立体图像不符合人类视觉系统的成像规律，就会使观看者产生视觉上的不舒适感，导致视疲劳、恶心、头晕等症状。研究表明，人眼对呈现给左眼、右眼图像的一致性要求很高，如果呈现给左、右眼的图像的差异超过一定的范围，人眼就无法融合成单一的立体图像，从而导致观看立体图像时出现不舒适的症状。立体视频内容的舒适与否直接关系到观看者的视觉感受与生理健康，这已经成为立体产品迅速普及并被用户广泛认同的主要制约因素之一。

目前，立体图像质量评价标准大致可以分为两类：基于视觉感知的测量方法和基于视觉兴趣的测量方法。其中基于视觉兴趣的图像质量评价方法的思想是：由于人眼观看一幅图像时只能对其中某一部分区域的细节具有良好的分辨能力，而不能同时分辨图像中的其他区域，同时视觉只对视场中(亮度或纹理)发生显著变化的区域感兴趣，即人类的视觉具有一定的选择性。所以将图像分为视觉感兴趣区(ROI,Region of Interest)和非感兴趣区，并根据感兴趣程度对其设定加权值。所谓的视觉感兴趣区是指人眼只会对图像中显著变化的区域发生兴趣仔细观看，而对那些亮度均匀的平滑区域或空间频率相近的纹理区则忽略掉。整幅图像的视觉质量往往取决于感兴趣区的质量，非感兴趣区的图像质量的降低则影响较小。

立体视频系统中的图像质量评价是与立体视频系统相关的所有技术的基础。对立体图像质量评价的理解和深入程度，直接影响到立体视频系统的发展速度。目前，对于立体图像视觉舒适度的评价尚无统一的判定标准，因此，研究立体图像/视频内容舒适度的影响因素将具有重要的意义，如何建立一个符合人类感知结果的立体图像质量客观评价模型也显得尤为重要。

发明内容

本发明的目的在于提供一种基于区域分割的立体视频视觉舒适度评价方法，以提高评价结果的精度，使其更加接近真实的人类主观感受。

本发明的方法包括下列步骤：

1.建立立体视频视觉舒适度的评价模型，具体包括下列步骤：

1.1确定人类主观评价中影响视觉舒适度评分的各种因素，包括：视觉疲劳、身体不适、注意力不集中；

1.2进行主观评价实验，获取主观评价实验结果；

1.3将步骤1.1影响视觉舒适度评分的各种因素和1.2获得的实验结果绘制成特征曲线，并根据主观评价实验的结果与视差深度d的逻辑关系，确定立体视频视觉舒适度评价模型的数学表达式：VC＝c₁d³+c₂d²+c₃d+c₄

其中VC为视觉舒适度评分，c为特征参数，d为视差深度；

2.立体视频舒适度的评定，具体包括下列步骤：

2.1将显著性区域内的运动对象和原视图中的运动对象同时归为运动区域，将剩下的背景对象归为显著性区域的背景部分；

2.2按所处的不同区域，将主观评价的实验结果填入纵坐标为人类主观评价得分MOS、横坐标为立体对象凸出或凹入屏幕的视差深度d的坐标系中，将标注点连成光滑曲线，得到对应的函数；

2.3选取步骤2.2所述坐标系中光滑曲线上的观测点所对应的当前帧左、右两幅匹配视图，求出其标准视差图，再利用GBVS算法分别处理左、右视图，得到各自的显著性区域分布图；

2.4将步骤2.3所得显著性区域分布图与标准视差图以阈值为0.5，按1：1的比例合成为一幅图像，对此图像进行分割、提取，得到对应的吸引人眼大部分注意力，可对实验结果造成较大偏差的显著性特征区域；

2.5采用高阶检测的办法对相邻两帧视图进行处理，在抑制噪声的同时得到两幅视图的运动区域；

2.6对步骤2.5得到的两幅视图的运动区域进行分割、提取，计算各自的视差深度d；

2.7根据步骤1.3的数学表达式，得到立体视频视觉舒适度评分的数学表达式：

$\mathrm{VC}=f(\stackrel{\‾}{d_M},\stackrel{\‾}{d_s})=w_1(a_1{\stackrel{\‾}{d_M}}^3+a_2{\stackrel{\‾}{d_M}}^2+a_3\stackrel{\‾}{d_M}+a_4)+w_2(b_1{\stackrel{\‾}{d_S}}^3+b_2{\stackrel{\‾}{d_S}}^2+b_3\stackrel{\‾}{d_S}+b_4)$

其中：VC为视觉舒适度评分，d_M为运动区域部分的视差深度，d_S显著性区域背景部分的视差深度，w₁、w₂分别赋值为0.8、0.2，a₁、a₂、a₃、a₄、b₁、b₂、b₃、b₄可通过步骤1.2所得结果求得。

步骤1.2中所述的主观评价实验包括下列步骤：

1.2.1选择年龄为20-35岁，视力正常--裸视或佩戴眼镜矫正视力达到1.0、没有会影响实验数据的眼部疾病，有立体视频观测经验，且能够正确透彻地理解评判标准，评分过程中不带有主观倾向性的专业人士作为观测者；

1.2.2采用国际视频组织发布的标准序列作为立体视频序列，且设定播发间隔为20s；

1.2.3设定实验场景中观测者与屏幕间的观测距离L为3m，两眼视距e为65mm；

1.2.4根据水平视差的定义和立体感原理，获得相应目标区域的视差深度d：

$d=\frac{\mathrm{Lp}}{p-e}$

其中：L、e为步骤1.2.3所设定的已知量，在忽略掉垂直视差的情况下，p为相邻帧两幅视图的水平视差。

为了抑制噪声的干扰，提取出较为清晰的运动区域，可以采用高阶统计的检测方法，将运动区域的帧差看作是非高斯信号，噪声看作是均值为零的高斯信号，这样，运动区域的检测就可以模拟为从高斯信号中提取非高斯信号的过程。

通过GBVS算法提取出的显著性区域为图像中最能引起观测者兴趣、最能表现图像内容的区域。这些区域所含的信息量大，对于图像的分析和评分起着重要的作用。对于显著性区域的选取，常用的方法是以人的注意力机制为基础，通过数学模型模拟人类的注意力机制，实现对显著性区域的自适应提取，所提取的显著性区域通常颜色突出、内容丰富，可以很好地表现图像的特征。

本发明充分考虑影响舒适度评分结果的各部分区域，对放映设备、实验条件进行标定，分别对显著性区域内的背景部分与运动对象，通过设定权值实现对舒适度评价结果的优化，建立了符合人类主观感知结果的立体图像质量客观评价模型，本发明对加快立体视频系统的发展，具有不可估量的重要作用。

附图说明

图1为主观评价实验场景布置示意图

图2为水平视差定义和立体感知原理图(负视差)

图3为水平视差定义和立体感知原理图(正视差)

图4为主观评价结果与视差深度坐标图(显著性区域内运动区域与背景部分)

图5为视觉舒适度评价系统框图

图6为图像中的显著性区域示意图

图6中可能吸引人类注意力的对象：1为老人背后的门，2为门前站立的老人，3为路上行走的路人，4为轿车

具体实施方式

以下结合附图实例对本发明作进一步详细描述。本发明将从对放映设备参数的标定和对立体视频舒适度进行评定两个部分详细说明以下实施方案。

1.放映设备参数的标定

由于受不同型号实验设备以及实验条件的影响，观测立体视频进行舒适度测评时的精确程度很难得到保障，因此需要首先对放映设备的参数进行标定。在这里，本发明通过一次人类主观评价，对影响视觉舒适度评分的各种因素(如：视觉疲劳、身体不适、注意力不集中)与主观评价实验结果之间的特征曲线进行比较，建立了视觉舒适度评价模型，再结合主观评价结果与视差深度d的逻辑关系，从而确定出视觉舒适度评价模型的函数关系式。

本次主观评价实验的参加者要求满足如下条件：选择年龄为20-35岁，视力正常(裸视或佩戴眼镜矫正视力达到1.0，没有对实验数据造成影响的眼部疾病)，有立体视频观测经验，且能够正确透彻地理解评判标准，评分过程中不带有主观倾向性的专业人士作为观测者；立体视频序列采用国际视频组织发布的标准序列，且设定播放间隔为20s；对于实验场景的布置可以参考图1所示，其中，L为观测者与屏幕之间的距离，根据国外相关实验室的研究结果表明，在距离屏幕3m处进行观测，可以得到较好的视觉效果，因此本次实验选定L为3m；成年人两眼间距e一般为65mm，因此这里选定e为65mm。

在观看立体视频时，观测者可以获得较好的立体视觉冲击，这是由于双眼的真实汇聚点在屏幕内、外造成的。如图2所示，当某物点的右像素点r位于左像素点l右侧时，此物点具有正视差，再现立体深度d₁为负，表示观看者看到该物点位于显示屏后方，如物点Q₁；反之亦然，如图3所示，当某物点右像素点r位于左像素点l右侧时，此物点具有负视差，再现立体深度d₂为正，表示观看者看到该物点位于显示屏前方，如物点Q₂。图2和图3中p₁、p₂分别为视图中对应匹配的水平视差。

根据水平视差的定义与立体感原理图，可以得到视差深度d的关系式：

$d=\frac{\mathrm{Lp}}{p-e}$

其中L、e都是已知量，在忽略掉垂直视差的情况下p为相同帧两幅图像的水平视差，由此可以获得相应目标区域的视差深度d。

2.立体视频舒适度的评定

按照所处的不同区域，将主观评价实验所得到的MOS值与相对应的视差深度d填入到如图4所示的坐标系中，将标注点连成一条光滑的曲线，以此得到对应的函数关系。在这里本发明首次提出了将显著性区域内的背景对象与运动对象分开来对待，考虑到人眼的关注程度，将显著性区域内的运动对象与原视图中的运动对象同时归为运动区域，至于剩下的背景对象，将其归为显著性区域的背景部分。首先选取图4坐标系中光滑曲线上的观测点(d_M，MOS_M)、(d_S，MOS_S)所对应的当前帧左、右两幅匹配视图，求出其标准视差图，再利用GBVS算法分别处理左、右视图，得到各自的显著性区域分布图，将刚刚得到的显著性区域分布图与标准视差图以阈值为0.5，按照1：1的比例合成一幅图像，对这幅图像进行分割、提取，可以得到对应的显著性区域(即吸引人眼大部分注意力，可以对实验结果造成较大偏差的区域)；再利用高阶检测的办法对相邻两帧视图进行处理，抑制噪声的同时，可以得到两幅视图的运动区域。对以上所得到的区域进行分割、提取，计算它们各自的视差深度d，这里采用空间合并技术，对区域内的视差深度值进行处理，可以得到较为稳定的视差深度d的值。最后结合图4中所得到的函数关系数学表达式，可以得到立体视频视觉舒适度评分的表达式：

$\mathrm{VC}=f(\stackrel{\‾}{d_M},\stackrel{\‾}{d_s})=w_1(a_1{\stackrel{\‾}{d_M}}^3+a_2{\stackrel{\‾}{d_M}}^2+a_3\stackrel{\‾}{d_M}+a_4)+w_2(b_1{\stackrel{\‾}{d_S}}^3+b_2{\stackrel{\‾}{d_S}}^2+b_3\stackrel{\‾}{d_S}+b_4)$

其中w₁、w₂分别赋值为0.8、0.2，a₁、a₂、a₃、a₄、b₁、b₂、b₃、b₄，可以通过主观评价实验的结果计算求得。

图6中表现的是GBVS对于图像中显著性区域的提取，观看图像首先引起我们注意的是轿车4，然后是路上行走的路人3以及门前站立的老人2，除此之外老人背后的门1由于和背景其他部分颜色不一致，因此也吸引到了观测者的一部分注意力，但由于其只存在于背景中，所以相比于轿车4、行走的路人3以及站立的老人2所得到的关注程度要差很多，因此在分配权值时仅占了很小的比重。

Claims (3)

1.一种基于区域分割的立体视频视觉舒适度评价方法，其特征在于包括下列步骤：

1.1建立立体视频视觉舒适度的评价模型，具体包括下列步骤：

1.1.1确定人类主观评价中影响视觉舒适度评分的各种因素，包括：视觉疲劳、身体不适、注意力不集中；

1.1.2进行主观评价实验，获取主观评价实验结果；

1.1.3将步骤1.1.1影响视觉舒适度评分的各种因素和1.1.2获得的实验结果绘制成特征曲线，并根据主观评价实验的结果与视差深度d的逻辑关系，确定立体视频视觉舒适度评价模型的数学表达式：VC＝c₁d³+c₂d²+c₃d+c₄

其中：VC为视觉舒适度评分，c为特征参数，d为视差深度；

1.2立体视频舒适度的评定，具体包括下列步骤：

1.2.1将显著性区域内的运动对象和原视图中的运动对象同时归为运动区域，将剩下的背景对象归为显著性区域的背景部分；

1.2.2按所处的不同区域，将主观评价的实验结果填入纵坐标为人类主观评价得分MOS、横坐标为立体对象凸出或凹入屏幕的视差深度d的坐标系中，将标注点连成光滑曲线，得到对应的函数；

1.2.3选取步骤1.2.2所述坐标系中光滑曲线上的观测点所对应的当前帧左、右两幅匹配视图，求出其标准视差图，再利用GBVS算法分别处理左、右视图，得到各自的显著性区域分布图；

1.2.4将步骤1.2.3所得显著性区域分布图与标准视差图以阈值为0.5，按1：1的比例合成为一幅图像，对此图像进行分割、提取，得到对应的吸引人眼大部分注意力，可对实验结果造成较大偏差的显著性特征区域；

1.2.5采用高阶检测的办法对相邻两帧视图进行处理，在抑制噪声的同时得到两幅视图的运动区域；

1.2.6对步骤1.2.5得到的两幅视图的运动区域进行分割、提取，计算各自的视差深度d；

1.2.7根据步骤1.1.3的数学表达式，得到立体视频视觉舒适度评分的数学表达式：

$\mathrm{VC}=f(\stackrel{\‾}{d_M},\stackrel{\‾}{d_s})=w_1(a_1{\stackrel{\‾}{d_M}}^3+a_2{\stackrel{\‾}{d_M}}^2+a_3\stackrel{\‾}{d_M}+a_4)+w_2(b_1{\stackrel{\‾}{d_S}}^3+b_2{\stackrel{\‾}{d_S}}^2+b_3\stackrel{\‾}{d_S}+b_4)$

其中：VC为视觉舒适度评分，d_M为运动区域部分的视差深度，d_S为显著性区域背景部分的视差深度，w₁、w₂分别赋值为0.8、0.2，a₁、a₂、a₃、a₄、b₁、b₂、b₃、b₄可通过步骤1.1.2所得结果求得。

2.按权利要求1所述的基于区域分割的立体视频视觉舒适度评价方法，其特征在于步骤1.1.2所述的主观评价实验包括下列步骤：

2.1选择年龄为20-35岁，视力正常--裸视或佩戴眼镜矫正视力达到1.0、没有会影响实验数据的眼部疾病，有立体视频观测经验，且能够正确透彻地理解评判标准，评分过程中不带有主观倾向性的专业人士作为观测者；

2.2采用国际视频组织发布的标准序列作为立体视频序列，且设定播发间隔为20s；

2.3设定实验场景中观测者与屏幕间的观测距离L为3m，两眼视距e为65mm；

2.4根据水平视差的定义和立体感原理，获得相应目标区域的视差深度d：

$d=\frac{\mathrm{Lp}}{p-e}$

其中：L、e为步骤2.3所设定的已知量，在忽略掉垂直视差的情况下，p为相邻帧两幅视图的水平视差。

3.按权利要求1所述的基于区域分割的立体视频视觉舒适度评价方法，其特征在于步骤1.2中所述的显著性区域为图像中最能引起观测者兴趣、最能表现图像内容的区域；这些区域所含的信息量大，对于图像的分析和评分起着重要的作用；对于显著性区域的选取，常用的方法是以人的注意力机制为基础，通过数学模型模拟人类的注意力机制，实现对显著性区域的自适应提取，所提取的显著性区域通常颜色突出、内容丰富，能很好地表现图像的特征。