CN103391447A - 3d节目镜头切换中安全深度保证与调整方法 - Google Patents

Abstract

本发明公开一种3D节目中镜头切换处安全深度跳变调整方法：首先，标定镜头边界，基于镜头边界两边感兴趣内容区域的屏幕深度变化特征，得到镜头边界处的镜头间深度跳变值，根据最大可承受深度跳变值判断镜头间的深度跳变是否会造成人眼不适感；然后，依据深度渐变调整的最大安全速率，通过立体图像移轴视差调整方法对前后两个镜头的边界图像进行深度调整，将镜头边界处的深度跳变转换为深度渐变。本发明规定了镜头切换下剔除观看条件因素的最大可承受深度跳变值以及单一场景最大深度渐变调整速率，通过检测立体视频镜头切换的深度跳变对立体舒适性观看的影响，可以有效的改善立体视频镜头切换对人眼立体观看造成的不适感。

Description

3D节目镜头切换中安全深度保证与调整方法

技术领域

本发明涉及双眼立体视觉领域，具体地说，涉及的是一种3D节目镜头切换中安全深度保证与调整方法。

背景技术

随着立体视频拍摄和显示技术的成熟，越来越多的立体电视和立体电影走进了观众的视野。立体视觉舒适度是立体电视、电影中必需考虑的因素，好的3D内容不仅可以为用户提供更好的内容场景感受体验，而且还要符合人眼立体舒适性观看要求，满足人眼健康观看求需求。

镜头是电视、电影的基本描述语言，对于3D内容来说，不同镜头间存在着不同的深度线索，当不同深度线索的镜头组合在一起进行艺术表示时，由于镜头间的深度跳变，立体观看条件下会导致人产生眩晕、头疼等不适的感觉。本发明提出了一种在3D节目镜头边界，通过分析两个3D镜头主要内容的深度特征，对于镜头间存在深度跳变的情况，根据其深度跳变值大小来估计该3D节目镜头切换是否会造成人眼不舒适，然后提出了通过镜头边界邻域处图像深度的渐变调整，最终消除因镜头间深度跳变引起的影响人眼立体舒适性的因素。

经过对现有技术文献的检索发现，Kim等人于2011年在《Journal ofElectronic Imaging(电子成像SCI国际期刊)》上发表的“Depth adjustment forstereoscopic images and subjective preference evaluation(立体图像深度调整和主观评价估计)”中提出了立体图像深度大小对于人眼舒适度的影响，并提出了具体的调整办法。

又经检索发现，中国发明专利“视频三维效果调整装置及方法”（中国专利公开号为102469338A），中国发明专利“可实时动态调节立体视频视差曲线的播放系统”（中国专利公开号为102655597A），中国发明专利“3D图像转换设备和调整3D图像转换设备的深度信息的方法”（中国专利公开号为102811359A）都分别提出了调整3D视频深度的系统和方法。

然而上述论文和专利都是针对单一场景内出现的深度过大或者过小造成人眼不舒适的调整方法，并没有针对场景间深度突变进行分析。目前的专利和论文中并没有针对场景切换产生的不舒适而进行深度调整的方法研究。

发明内容

本发明的目的在于克服现有3D内容镜头切换上深度变换对于立体舒适性的影响，提出一种有效的3D节目镜头切换中安全深度保证与调整方法。

为实现上述的目的，本发明采用的技术方案是：

本发明通过分析前后镜头边界帧感兴趣区域的屏幕深度变化特征，分析镜头切换对于人眼舒适性观看的影响，并针对不舒适的深度跳变通过图像移轴截取、尺度变换等相关手段进行安全深度的渐变调整。

本发明方法具体包括如下步骤：

第一步，标定镜头边界，基于镜头边界两边感兴趣内容区域的屏幕深度特征，得到镜头边界处的镜头间视差角跳变值，根据最大可承受视差角跳变值判断镜头间的深度跳变是否会造成人眼不适感；

第二步，依据深度渐变调整的最大安全速率，通过立体图像移轴视差调整方法对前后两关镜头的边界图像进行深度调整，将镜头边界处的深度跳变转换为深度渐变。优选地，所述第一步，具体包括如下步骤：

1），分割相邻两段镜头，将前一段镜头以最后一帧为基准帧依次沿反向时间轴标记顺序。将后一段镜头的第一帧定义为基准帧依次沿时间轴标记各帧；记录两段镜头的时间长度。

2），利用基准帧的显著性信息，提取两帧感兴趣区域，计算感兴趣区域平均视差；

3），根据观看环境，计算前后镜头基准帧感兴趣区域剔除观看条件因素的平均视差差值。当平均视差差值超过了最大可承受深度跳变值时，则判定会造成人眼观看不舒适，从而进行第二步，否则不进行调整。

优选地，所述第二步，包括如下步骤：

1），根据镜头深度跳变超出最大可承受深度跳变值的大小，设置所需调整深度值；设置镜头两边进行深度调整的帧。

2），根据前后两镜头所需调整深度，设置两镜头中参与移轴调整的各帧，根据该帧所在镜头及位置，计算该帆图像中对应移轴调整窗口的宽和高；再计算该移轴调整窗口中心在原图像中的坐标位置，确定移轴窗口在原图像中的取样位置。

3），根据移轴调整窗口的中心坐标和窗口宽高大小，截取原图在窗口中的图像像素，再将截取后的图像进行尺度变换，放大到原图大小，得到移轴调整后的对应帧图像，并取代原帧图像。

与现有技术相比，本发明的有益效果在于：

本发明提出的方法可以准确地判断待检测立体视频镜头切换的深度跳变是否会对舒适性观看造成影响。本发明提出的调整方法可以有效的缓解镜头切换下深度跳变产生的立体不适感。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为3D节目镜头切换中安全深度调整方法框图；

图2为边界处镜头视差跳变的示意图；

图3为镜头的尺度变换及平移示意图；

图4为边界处镜头视差渐变调整示意图；

图5为镜头的标记方法示意图；

图6为立体视觉舒适度主观测试观看立体视频几何示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1详细描述3D节目镜头切换中安全深度调整方法的框图；首先，标定镜头边界帧，提取两帧的感兴趣区域，计算感兴趣区域平均视差；其次，根据观看环境，计算前后镜头基准帧感兴趣区域剔除观看条件因素的平均视差差值以及剔除观看条件因素的最大可承受深度跳变值，根据两者关系判断镜头间视差是否产生，如图2所示；最后，利用图像帧移轴及移轴后的尺度变换手段如图3所示，将前后镜头的视差由跳变调整为渐变过渡形式，如图4所示。

以下实施例以普通高清立体电视节目中两个深度跳变镜头视频作为立体视频测试序列，详细介绍本发明中提出的3D节目镜头切换中安全深度调整方法的实施过程。立体视频测试序列为side by side格式，分辨率P_W×P_H为1920x1080px，视频帧率为25fps，每段视频时长约为20秒。

第一步，标定镜头边界帧，基于镜头边界帧感兴趣区域深度特征，判断镜头间深度跳变是否造成人眼不适感，具体而言，包括如下步骤：

1），分割相邻两段镜头，将前一段镜头定义为A，将后一段镜头定义为B。A以最后一帧为基准帧标记为依次沿反向时间轴标记各帧为

（每一帧

包括左右两视点图像和

标记B的第一帧为基准帧

依次沿时间轴标记各帧为

（每一帧

包括左右两视点图像

和

如图5所示。

2），采用如高斯平滑滤波和均值漂移分割等方法计算得到感兴趣区域，采用如图割方法得到感区域的视差D_A和D_B（单位为像素，px）。

3），根据感兴趣区域平均视差D_A,D_B，计算镜头A和镜头B在边界A|B处的感兴趣区域视差角d_A和s_B（单位为度）；

$d_A=2(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{b-\mathrm{PP}\·D_A}{2V}\right))$

$d_B=2(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{b-\mathrm{PP}\·D_B}{2V}\right))$

其中V表示实验环境中人眼到3D屏幕的观测距离，对于1920*1080的高清电视，一般取显示屏的3倍屏高为2米，b表示人眼双目瞳孔距离，一般取65mm，PP表示显示屏上单个像素点显示大小，本实施方式下采用42英寸的3D电视，其大小为0.62mm，如图6所示立体视觉舒适度主观测试观看立体视频几何示意图。

5），针对观看环境，计算镜头A和B在边界A|B处各自感兴趣区域的视差角度跳变值Δd_A|B，如图2所示：

Δd_A|B＝d_A-d_B；

根据人眼立体视觉舒适性因素，定义相同条件下最大可承受视差角变化Δd_max为1°。当|Δd_A|B|>Δd_max时，则判定会造成人眼立体观看不舒适，从而进行第二步，否则不进行调整。

第二步，利用图像帧移轴及移轴后的尺度变换手段，对前后镜头进行屏幕深度调整，具体实现如下：

1），计算镜头深度跳变所需调整视差角Δdis：

Δdis=|Δd_A|B|-Δd_max，

再根据Δdis计算A和B所需调整视的差角Δdis_A,Δdis_B：

${\mathrm{\Δdis}}_A={\mathrm{\Δdis}}_B=\frac{1}{2}\mathrm{\Δdis}$

上式中，镜头A、B所需要的视差角调整量采用平均分配方法。也可以根据两边镜头特点，如镜头内容是静态、动态特征，A、B镜头长短等，分配Δdis_A,Δdis_B的值，但要求保证以下条件：

Δdis_A+Δdis_B=Δdis。

再由Δdis_A,Δdis_B计算对应的镜头深度调整值ΔDis_A,ΔDis_B。

当Δd_A|B>0时，深度调整值为：

${\mathrm{\ΔDis}}_A=|D_A-\frac{b-2V*\tan (\arctan \left(\frac{b-D_A*\mathrm{PP}}{2V}\right)-{\mathrm{\Δdis}}_A)}{\mathrm{PP}}|$

${\mathrm{\ΔDis}}_B=|D_B-\frac{b-2V*\tan (\arctan \left(\frac{b-D_B*\mathrm{PP}}{2V}\right)+{\mathrm{\Δdis}}_B)}{\mathrm{PP}}|$

当Δd_A|B<0时，深度调整值为：

${\mathrm{\&Delta;Dis}}_A=|D_A-\frac{b-2V*\tan (\arctan \left(\frac{b-D_A*\mathrm{PP}}{2V}\right)+{\mathrm{\&Delta;dis}}_A)}{\mathrm{PP}}|$

${\mathrm{\&Delta;Dis}}_B=|D_B-\frac{b-2V*\tan (\arctan \left(\frac{b-D_B*\mathrm{PP}}{2V}\right)-{\mathrm{\&Delta;dis}}_B)}{\mathrm{PP}}|$

2），根据视频分辨率，各镜头所需调整视差值，以及立体视频序列单一场景最大可承受视差角变化速率v’=0.304°/s,（设置中采用其对应的最大视差调整速率v=17px/s），视频帧率为F fps（本实施条件下为25），设置镜头A，B边界过渡区域的时间Δt_A,Δt_B，如图4所示，并计算其对应的过渡帧数Δf_A,Δf_B：

${\mathrm{\&Delta;t}}_A=\frac{{\mathrm{\&Delta;Dis}}_A}{v},{\mathrm{\&Delta;f}}_A=\frac{{\mathrm{\&Delta;Dis}}_A*F}{v}$

${\mathrm{\&Delta;t}}_B=\frac{{\mathrm{\&Delta;Dis}}_B}{v},{\mathrm{\&Delta;f}}_B=\frac{{\mathrm{\&Delta;Dis}}_B*F}{v}$

这样，镜头A、B在边界处需要进行移轴操作的深度调整窗口中各帧分别为：

和

3），根据视频图像的分辨率，过渡帧数，计算镜头A、B边界处需要进行移轴调整的各帧

和中移轴窗口对应的宽、高值

和

$\left\{\begin{array}{c}{W}_A^i=P_W-2(\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ H_A^i=P_H-2(\frac{{\mathrm{\&Delta;Dis}}_A*P_H}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_H}{{\mathrm{\&Delta;Dis}}_A+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\end{array}\right.$

$\left\{\begin{array}{c}{W}_B^i=P_W-2(\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ H_B^i=P_H-2(\frac{{\mathrm{\&Delta;Dis}}_B*P_H}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_H}{{\mathrm{\&Delta;Dis}}_B+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\end{array}\right.$

其中P_W×P_H为原始视频图像的分辨率参数（单位为像素，px），本实施条件下P_W,P_H分别为1920,1080。

4），根据立体视频单一场景最大深度调整速率和视频帧率，设置镜头A，B移轴调整各帧

和

中左右视点图像对应移轴窗口中心在原图上的坐标

和

当Δd_A|B>0时：

$\left\{\begin{array}{c}{X}_{\mathrm{AL}}^i=-\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AR}}^i=\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AR}}^i=X_{\mathrm{AL}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_A)\end{array}\right.$

$\left\{\begin{array}{c}{X}_{\mathrm{BL}}^i=\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=-\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=X_{\mathrm{BL}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_B)\end{array}\right.$

当Δd_A|B<0时：

$\left\{\begin{array}{c}{X}_{\mathrm{AL}}^i=\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AR}}^i=-\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AL}}^i=X_{\mathrm{AR}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_A)\end{array}\right.$

$\left\{\begin{array}{c}{X}_{\mathrm{BL}}^i=-\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=X_{\mathrm{BL}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_B)\end{array}\right.$

5），针对深度调整窗口中各帧

和

根据步骤3）计算得到的移轴取样窗口的宽、高，以及步骤4）取样窗口在对应原图像上的中心坐标位置，在原图上截取移轴取样窗口内图像，形成新的移轴后镜头A',B'；

将新镜头A',B'进行尺度放大，由

和

调整至原来分辨率大小(P_W,P_H)，从而得到新的移轴后且图像分辨率与原图大小一致的镜头A'',B''。变换后的A'',B''镜头边界处深度跳变将保证在安全的舒适性范围内。

本发明提出了一种有效的3D节目镜头切换中安全深度保证与调整方法。通过分析前后镜头边界帧感兴趣区域的屏幕深度变化特征，分析镜头切换对于人眼舒适性观看的影响，并针对不舒适的深度跳变通过移轴视差调整方法，将前后两个镜头边界图像由屏幕深度跳变转换为屏幕深度渐变，从而保证立体观看的舒适性。本发明规定了镜头切换下剔除观看条件因素的最大可承受深度跳变值以及单一场景最大深度渐变调整速率。本发明提出的方法通过检测立体视频镜头切换的深度跳变对立体舒适性观看的影响，提出的深度调整方法可以有效的改善立体视频镜头切换对人眼立体观看造成的不适感。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种3D节目镜头切换中安全深度调整方法，其特征在于，包括如下步骤：

第一步，标定3D节目中的镜头边界，基于镜头边界两边感兴趣内容区域的屏幕深度变化特征，得到镜头边界处的镜头间视差角跳变值，根据最大可承受视差角跳变值判断镜头间的深度跳变是否会造成人眼不适感；

第二步，依据深度渐变调整的最大安全速率，通过立体图像移轴视差调整方法对前后两个镜头的边界图像进行深度调整，将镜头边界处的深度变化模式由深度跳变转换为深度渐变。

2.根据权利要求1所述的3D节目镜头切换中安全深度调整方法，其特征在于，所述第一步，具体包括如下步骤：

1），分割相邻两段镜头，将前一段镜头以最后一帧为基准帧依次沿反向时间轴标记顺序，将后一段镜头的第一帧定义为基准帧依次沿时间轴标记各帧；记录两段镜头的时间长度；

2），利用基准帧的图像内容，提取两帧感兴趣区域，计算感兴趣区域平均视差；

3），根据观看环境，计算前、后镜头基准帧感兴趣区域间剔除观看条件因素的平均视差差值，当平均视差差值超过了最大可承受深度跳变值时，则判定会造成人眼观看不舒适，从而进行第二步，否则不进行调整。

3.根据权利要求2所述的3D节目镜头切换中安全深度调整方法，其特征在于，所述第一步，具体为：

1），定位镜头边界A|B，将前一段镜头定义为A，后一段镜头定义为B，A以最后一帧为基准帧标记为

依次沿反向时间轴标记各帧为

每一帧

包括左右两视点图像

和

标记B的第一帧为基准帧

依次沿时间轴标记各帧为每一帧包括左右两视点图像

和

2），分析得到镜头A和镜头B在镜头边界A|B处的感兴趣内容区域视差D_A和D_B，根据视差值，分别计算镜头A和镜头B在边界A|B处的感兴趣区域对应的视差角d_A和d_B：

$d_A=2(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{b-\mathrm{PP}\&CenterDot;D_A}{2V}\right))$

$d_B=2(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{b-\mathrm{PP}\&CenterDot;D_B}{2V}\right))$

其中V表示实验环境中人眼到3D屏幕的观测距离，PP表示显示屏上单个像素点显示大小，b代表两眼瞳孔间距；

3），针对观看环境，计算镜头A和B在边界A|B处各自感兴趣区域的视差角度跳变值Δd_A|B：

Δd_A|B＝d_A-d_B；

根据人眼立体视觉舒适性因素，定义相同条件下最大可承受视差角变化Δd_max为1°，当|Δd_A|B|>Δd_max时，则判定会造成人眼立体观看不舒适，从而进行第二步，否则不进行调整。

4.根据权利要求1-3任一项所述的3D节目镜头切换处安全屏幕深度调整方法，其特征在于：所述第二步，具体包括如下步骤：

1），根据镜头深度跳变超出阈值大小，设置所需调整深度值；根据立体视频序列单一场景最大深度调整速率，确定两个镜头边界处参与深度调整的帧数；

2），针对前后两镜头参与移轴调整的各帧，根据该帧所在镜头及位置，计算该帧图像中对应移轴调整窗口的宽和高；再计算该移轴调整窗口中心在原图像中的坐标位置，确定移轴窗口在原图像中的取样位置；

3），根据移轴调整窗口的中心坐标和窗口宽高大小，截取原图在窗口中的图像像素，再将截取后的图像进行尺度变换，放大到原图大小，得到移轴调整后的对应帧图像，并取代原帧图像。

5.根据权利要求4所述的3D节目镜头切换处安全深度调整方法，其特征在于：所述第二步，具体为：

1），计算镜头深度跳变所需调整视差角Δdis：

Δdis=|Δd_A|B|-Δd_max

再根据Δdis计算A和B所需调整的视差角Δdis_A,Δdis_B：

${\mathrm{\&Delta;dis}}_A={\mathrm{\&Delta;dis}}_B=\frac{1}{2}\mathrm{\&Delta;dis},$

上式中，分配Δdis_A,Δdis_B的值，要满足以下条件：

Δdis_A+Δdis_B=Δdis；

再由Δdis_A,Δdis_B计算对应的镜头深度调整值ΔDis_A,ΔDis_B；

当Δd_A|B>0时，深度调整值为：

${\mathrm{\&Delta;Dis}}_A=|D_A-\frac{b-2V*\tan (\arctan \left(\frac{b-D_A*\mathrm{PP}}{2V}\right)-{\mathrm{\&Delta;dis}}_A)}{\mathrm{PP}}|$

${\mathrm{\&Delta;Dis}}_B=|D_B-\frac{b-2V*\tan (\arctan \left(\frac{b-D_B*\mathrm{PP}}{2V}\right)+{\mathrm{\&Delta;dis}}_B)}{\mathrm{PP}}|$

当Δd_A|B<0时，深度调整值为：

${\mathrm{\&Delta;Dis}}_A=|D_A-\frac{b-2V*\tan (\arctan \left(\frac{b-D_A*\mathrm{PP}}{2V}\right)+{\mathrm{\&Delta;dis}}_A)}{\mathrm{PP}}|$

${\mathrm{\&Delta;Dis}}_B=|D_B-\frac{b-2V*\tan (\arctan \left(\frac{b-D_B*\mathrm{PP}}{2V}\right)-{\mathrm{\&Delta;dis}}_B)}{\mathrm{PP}}|$

2），根据视频分辨率，各镜头所需调整视差值，以及立体视频序列单一场景最大可承受视差角变化速率v’=0.304°/s,，设置中采用其对应的最大视差调整速率v=17px/s，设置镜头A，B边界过渡区域的时间Δt_A,Δt_B，并计算其对应的过渡帧数Δf_A,Δf_B：

${\mathrm{\&Delta;t}}_A=\frac{{\mathrm{\&Delta;Dis}}_A}{v},{\mathrm{\&Delta;f}}_A=\frac{{\mathrm{\&Delta;Dis}}_A*F}{v}$

${\mathrm{\&Delta;t}}_B=\frac{{\mathrm{\&Delta;Dis}}_B}{v},{\mathrm{\&Delta;f}}_B=\frac{{\mathrm{\&Delta;Dis}}_B*F}{v}$

这样，镜头A、B在边界处需要进行移轴操作的深度调整窗口中各帧分别为：

和

3），根据视频图像的分辨率、过渡帧数，计算镜头A、B边界处需要进行移轴调整的各帧

和

中移轴窗口对应的宽、高值

和

$\left\{\begin{array}{c}{W}_A^i=P_W-2(\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ H_A^i=P_H-2(\frac{{\mathrm{\&Delta;Dis}}_A*P_H}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_H}{{\mathrm{\&Delta;Dis}}_A+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\end{array}\right.$

$\left\{\begin{array}{c}{W}_B^i=P_W-2(\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ H_B^i=P_H-2(\frac{{\mathrm{\&Delta;Dis}}_B*P_H}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_H}{{\mathrm{\&Delta;Dis}}_B+P_W}*i),(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\end{array}\right.$

其中P_W×P_H为原始视频图像的分辨率参数，单位为像素，px；

4），根据立体视频单一场景最大深度调整速率和视频帧率，设置镜头A，B移轴调整各帧

和中左右视点图像对应移轴窗口中心在原图上的坐标和

当Δd_A|B>0时：

$\left\{\begin{array}{c}{X}_{\mathrm{AL}}^i=-\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AR}}^i=\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AR}}^i=X_{\mathrm{AL}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_A)\end{array}\right.$

$\left\{\begin{array}{c}{X}_{\mathrm{BL}}^i=\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=-\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=X_{\mathrm{BL}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_B)\end{array}\right.$

当Δd_A|B<0时：

$\left\{\begin{array}{c}{X}_{\mathrm{AL}}^i=\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AR}}^i=-\frac{{\mathrm{\&Delta;Dis}}_A*P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_A+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_A-1)\\ X_{\mathrm{AL}}^i=X_{\mathrm{AR}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_A)\end{array}\right.$

$\left\{\begin{array}{c}{X}_{\mathrm{BL}}^i=-\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}+\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=\frac{{\mathrm{\&Delta;Dis}}_B*P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}-\frac{v}{F}*\frac{P_W}{{\mathrm{\&Delta;Dis}}_B+P_W}*i,(i=0,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&Delta;f}}_B-1)\\ X_{\mathrm{BR}}^i=X_{\mathrm{BL}}^i=0,(i\&GreaterEqual;{\mathrm{\&Delta;f}}_B)\end{array}\right.$

5），针对深度调整窗口中各帧

和

根据步骤3）计算得到的移轴取样窗口的宽、高，以及步骤4）取样窗口在对应原图像上的中心坐标位置，在原图上截取移轴取样窗口内图像，形成新的移轴后镜头A',B'；

将新镜头A',B'进行尺度放大，由

和

调整至原来分辨率大小(P_W,P_H)，从而得到新的移轴后且图像分辨率与原图大小一致的镜头A'',B''，变换后的A'',B''镜头边界处深度跳变将保证在安全的舒适性范围内。

Images