CN102523469A - 基于视距感知的小分辨率立体视频自适应解码方法 - Google Patents

Abstract

本发明涉及立体视频流的解码方法，具体涉及一种基于视距感知的小分辨率立体视频自适应解码方法。该方法包括：首先利用感知技术测得观看者的视距并自动计算适宜当前视距的动态视差阈值；然后根据计算得到的视差阈值调整利用已有技术解码的视差图得到适合当前视距的新视差图，进而结合利用已有技术解码的单视点视频(第一视点视频)和新视差图绘制第二视点视频并驱动立体视频的播放。基于本发明，可以根据观看者的视距实时地计算动态视差范围，充分地利用视差与观察者视距的适应性，提高小分辨率立体视频的播放效果以及观看者观看立体视频的舒适度。

Description

基于视距感知的小分辨率立体视频自适应解码方法

技术领域

本发明属视频解码技术领域，涉及立体视频流的解码方法，尤其涉及一种基于视距感知的小分辨率立体视频自适应解码方法。

技术背景

当前立体视频正在蓬勃发展，它能提供所观察物体的深度信息，从而使用户产生立体视觉的体验，可是人们却不能舒适地享受立体视频带来的临场感与震撼感，有关研究表明，不同的人在观看一段时间立体视频显示时，都会有不同程度的疲劳感。随着与立体相关的片源设计、信号传输、显示终端制造等产业的兴起，观看立体视频的舒适感问题成为了研究热点。目前国际上已有一些对立体视疲劳的研究，研究表明，导致立体视疲劳的因素众多，其主要因素即为辐辏和调节的不一致。

经过对现有技术的文献检索发现，Donghyun Kim，等人在IEEE2010年7月19日至23日的国际多媒体展会(ICME)956-961上发表的“Depth Adjustment for Stereoscopic Imageusing Visual Fatigue Prediction and Depth-based View Synthesis”(基于疲劳预测和基于深度的视点合成的立体图像深度调节)和Jaeseob Choi等人在IEEE2010年9月26日至29日的第17次国际图像处理会议(ICIP)2981-2984上发表的“Visual Fatigue Evaluationand Enhancement for 2D-plus-depth video”(单视加深度立体视频的视疲劳预测和增强)中，均研究了通过改变视差范围来增强立体视舒适度的方法，视差范围的缩小减小了观看时辐辏和调节的矛盾程度，从而使立体视频观看的舒适度增强。

上述方法均是在假定视距固定且已知的前提下进行的，事实上辐辏和调节的矛盾不仅跟视差有关而且跟视距也密切相关，Karen J.Bos在1998“Optical engineering(光学工程)”第37卷发表的“Reducing the accommodation and convergence difference instereoscopic three-dimensional displays by using correction lenses(通过透镜矫正减少三维显示中辐辏和调节的不一致性)”中提到在滞留时间小于2s情况下，双眼能融合的位差对人眼的张角范围为(-27′，24′)。随着立体手机的问世，要求观看者只以固定的视距观看是不现实的，所以目前的方法不具有广泛的适用性。

发明内容

本发明的目的是提出一种基于视距感知的小分辨率立体视频自适应解码方法，以克服现有立体视频舒适度增强方法中对视距这一因素的忽视，使立体视频能够根据实时的视距进行自适应解码，使观看者得到更加舒适的观看效果。

本发明是在现有的立体视频舒适度增强方法的基础上，在对立体视频流的双目视点图像进行解码前增加了一个视距感知过程，并利用视距自适应地调整解码视差图的视差，然后相应地进行立体视频播放。

本发明基于视距感知的小分辨率立体视频自适应解码方法，包括以下步骤：

a.利用显示终端上的测距装置感知观看者的视距；

b.根据观看者的视距自动计算适宜观看的动态视差阈值；

c.根据计算得到的视差阈值调整利用已有技术解码的视差图得到适合当前视距的新视差图；

d.结合利用已有技术解码的单视点视频(第一视点视频)和新视差图绘制第二视点视频；

e.立体视频流播放。

所述步骤b是根据观看者的视距自动计算适宜观看的动态视差阈值，其具体如下：

(1)位差对人眼的张角θ与位差d、视距D的关系为θ＝d/D；

(2)根据人眼能融合的位差对人眼的张角范围(-27′，24′)即可得到视差的阈值为

所述步骤c是根据计算得到的视差阈值调整利用已有技术解码的视差图得到适合当前视距的新视差图，其具体步骤如下：

(1)设解码的视差图的所有像素视差值范围为(d_min，d_max)；

(2)利用如下公式计算每个像素点的新视差值从而得到新的视差图：

$d_{\mathrm{new}}=d_{\min }^{\′}+\frac{d_{\max }^{\′}-d_{\min }^{\′}}{d_{\max }-d_{\min }}\×d$

其中，d为各像素原始视差；(d_min，d_max)为解码的视差图中像素的视差值范围；(d′_min，d′_max)为对应当前视距的视差阈值。

本发明由于首先利用了感知技术感知观看者的视距，实时地计算动态视差阈值，从而更加充分地利用视差与观察者视距的自适应性，提高小分辨率立体视频的播放效果以及观看者观看立体视频的舒适度。

附图说明：

图1为本发明方法的流程框图；

图2为位差对人眼的张角与位差、视距的关系图。

具体实施方式：

本发明的核心内容是通过感知技术测量观看者的视距，并自动计算相应视距适宜观看的动态视差阈值，然后相应地调节解码视差图的视差大小。

由于测距技术现已比较发达，很多终端设备都已具备测距功能，尤其是播放小分辨率立体视频的终端设备更适宜添加测距功能，本方案是建立在具有感知功能的显示设备的基础上的。

本发明提出的基于视距感知的小分辨率立体视频自适应解码方法，结合附图及实施例详细说明如下：

如图1所示，本发明为立体视频的自适应解码方法，是对单视点视频加视差图的压缩码流(例如，采用国际标准的H.264编码器进行编码的压缩码流)进行解码。首先，利用已有解码技术(例如，H.264解码器)对单视点视频加视差图的压缩码流进行解码，可以得到单视点视频(即，第一视点视频)和视差图序列；然后，利用显示终端上的测距装置感知观看者的视距，并根据感知的视距计算动态视察阈值，其具体如下：

a)如图2所示，位差对人眼的张角θ与位差d、视距D的关系为θ＝d/D；

b)根据人眼能融合的位差对人眼的张角范围(-27′，24′)，将其换算成弧度制为

即可得人眼可融合的张角θ的范围为

根据θ＝d/D，即可得到视差d的阈值为

进而，根据计算得到的视差阈值调整利用已有技术解码的视差图得到适合当前视距的新视差图，具体包括以下步骤：

a)设解码的视差图的所有像素视差值范围为(d_min，d_max)；

b)利用公式(1)计算每个像素点的新视差值从而得到新的视差图：

$d_{\mathrm{new}}=d_{\min }^{\′}+\frac{d_{\max }^{\′}-d_{\min }^{\′}}{d_{\max }-d_{\min }}\×d---\left(1\right)$

其中，d为各像素原始视差；(d_min，d_max)为解码的视差图中像素的视差值范围；(d′_min，d′_max)为对应当前视距的视差阈值，即

最后，根据调整后的新视差图绘制另一视点视频，并进行立体视频播放。

综上，本发明基于视距感知的小分辨率立体视频自适应解码方法，具体实施步骤为：

1)利用显示终端的测距装置(如，红外测距)感知观看者的视距；

2)根据观看者的视距自动计算在相应视距下适宜观看的立体视频视差图的动态视差舒适范围。位差对人眼的张角θ与位差d、视距D的关系为θ＝d/D。根据双眼能融合的位差对人眼的张角范围(-27′，24′)即可得到适宜观看的动态视差阈值为

3)检测利用已有技术解码的视差图的所有像素点的视差范围(d_min，d_max)，根据相应的视差阈值，利用公式 $d_{\mathrm{new}}=d_{\min }^{\′}+\frac{d_{\max }^{\′}-d_{\min }^{\′}}{d_{\max }-d_{\min }}\×d$ 计算每个像素点的新视差从而得到新的视差图；

4)根据调整后的新视差图绘制另一视点视频；

5)立体视频的播放。

Claims (2)

1.一种基于视距感知的小分辨率立体视频自适应解码方法，其特征在于，包括以下步骤：

a.利用显示终端上的测距装置感知观看者的视距；

b.根据观看者的视距计算适宜观看的动态视差阈值；

c.根据计算得到的视差阈值调整利用已有技术解码的视差图得到适合当前视距的新视差图；

d.结合利用已有技术解码的单视点视频(第一视点视频)和新视差图绘制第二视点视频；

e.立体视频的播放。

2.根据权利要求1所述的一种基于视距感知的小分辨率立体视频自适应解码方法，其特征在于，步骤b所述的动态视差阈值是根据位差对人眼的张角θ与位差d、视距D的关系θ＝d/D和人眼能融合的位差对人眼的张角范围(-27′，24′)，计算得到对应于当前视距的视差阈值

Images