CN110062220B - 视差层次最大化的虚拟视点图像生成方法 - Google Patents

Abstract

本发明涉及一种视差层次最大化的虚拟视点图像生成方法，利用正视差、负视差形成三维立体画面的入屏与出屏，其特征在于：以真实场景的深度信息为引导，利用深度值的直方图统计值来决定虚拟视点成像平面的合理位置，根据该位置上的虚拟视点图像绘制结果便可合成三维立体画面；其中真实场景图像RSI的水平分辨率为M像素、垂直分辨率为N像素，真实场景图像RSI对应的场景深度图像DSI的水平分辨率为M像素、垂直分辨率为N像素，其通过对虚拟视点成像平面的调制形成正视差和负视差，有效地提高了出屏与入屏视觉范围的最大化利用。

Description

视差层次最大化的虚拟视点图像生成方法

技术领域

本发明涉及一种视差层次最大化的虚拟视点图像生成方法，属于虚拟视点图像绘制技术领域。

背景技术

随着新兴显示技术的跃进崛起和迅猛发展，三维立体影视已逐渐占领了主流电影市场，并逐步呈现出影视工业朝着技术型转变的态势。根据三维立体画面呈现属性的不同，视觉效果会因画面呈现尺寸、观看距离范围、立体画面视差等的不同而受到影响。虽然立体画面拍摄装备所摄制的三维立体画面，能够根据视觉要求真实地表现出真实场景，但是仍不能使三维立体画面满足观看场合变化的动态需求，而且还存在着摄制成本高、摄制周期长、素材利用率低等问题。

二维平面图像转换为三维立体画面的过程中，虚拟视点图像绘制技术虽然受到真实场景细节和场景深度信息的制约，与真实场景的实拍立体效果存在差别，但相对而言，虚拟视点图像绘制技术具有转换速度快、成本低、素材利用率高等优势。虚拟视点绘制技术涉及到计算机图形学、计算机视觉和数字图像处理等研究内容，其有效地弥补了现阶段三维立体画面不足的问题，作为当前三维立体画面应用(如：2D转3D、自由视点转换等)领域的关键技术之一，已成为研究热点问题。基于深度信息的虚拟视点图像绘制技术DIBR(DepthImage Based Rendering)，基本思想是将真实场景图像信息映射到三维深度空间，通过三维深度空间的投影形成虚拟视点平面的图像绘制，即：根据原始真实场景图像及其对应的深度信息图像来绘制其他虚拟视点的未知真实场景图像。

由于DIBR虚拟视点图像绘制技术不需要复杂的建模，因此特别适用于真实复杂场景的实时绘制工作，其不仅能够快速地合成任意位置的虚拟视点图像，而且还能够使图像绘制输出保持较好的质量。2013年，赵岩等人提出了一种基于深度图像和半像素的虚拟视点绘制方法，提高了虚拟视点图像的绘制精度。2018年，郭秋红等人提出了对3D Warping分解的高质量虚拟视点绘制方法，显著提高了虚拟视点绘制的图像质量。虽然众多科研人员已经对虚拟视点图像绘制技术开展了大量工作，并得到了较为理想的虚拟视点图像绘制结果，但是诸多方法中并没有将影响三维立体画面视觉效果的调制参数考虑在内，使得三维立体画面的出屏、入屏等效果不能达到极佳状态。

发明内容

本发明的目的在于提供一种视差层次最大化的虚拟视点图像生成方法，旨在解决三维立体画面中正视差与负视差的不均衡问题，实现三维立体画面视在效果的参数化定量调制，提高三维立体画面视差层次最大化的自适应能力。为了强化三维立体画面的出屏、入屏视觉效果，该方法通过对虚拟视点成像平面的调制形成正视差和负视差，有效地提高了出屏与入屏视觉范围的最大化利用。

为了使三维立体画面具有更丰富的视觉层次感，本发明的技术方案是这样实现的：一种视差层次最大化的虚拟视点图像生成方法，利用正视差、负视差形成三维立体画面的入屏与出屏，其特征在于：以真实场景的深度信息为引导，利用深度值的直方图统计值来决定虚拟视点成像平面的合理位置，根据该位置上的虚拟视点图像绘制结果便可合成三维立体画面；其中真实场景图像RSI的水平分辨率为M像素、垂直分辨率为N像素，真实场景图像RSI对应的场景深度图像DSI的水平分辨率为M像素、垂直分辨率为N像素，具体实现步骤如下：

步骤S1、根据场景深度图像DSI中第i行第j列像素点的深度值DSI(i,j)，统计得到深度值0至深度值255的深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S2、以深度个数统计值DVS(f)<＝ε为过滤条件，对深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}进行置零操作，即：如果深度个数统计值DVS(f)<＝ε时，则使优化的深度个数统计值FVS(f)＝0，否则，令优化的深度个数统计值FVS(f)＝DVS(f)，得到过滤后的深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，其中：f、ε均为整数，且f∈[0,255]、ε∈[0,M×N]；步骤S3、遍历深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，得到：深度个数统计序列FVS中非零个数的最小深度值minDepth＝min(FVS)、深度个数统计序列FVS中非零个数的最大深度值maxDepth＝max(FVS)，则零视差对应的深度值BDepth＝Round((minDepth+maxDepth)/2.0)，其中：min()为取最小值操作、max()为取最大值操作、Round()为四舍五入取整操作；

步骤S4、设定视点图像生成的可变参数量为：左右视点之间的瞳距PDistance等于pds毫米，深度可视范围DDistance等于dds毫米，左右视点与零视差对应深度平面的垂直距离VDistance等于vds毫米，视差反比调制因子PFactor等于pf毫米，成像基准偏移量BOffset等于bos毫米(bos＝pds/2.0)；

步骤S5、初始化左视点三通道虚拟视点图像VDL、右视点三通道虚拟视点图像VDR为纯黑图像(即：RGB三个通道均赋值为0)，虚拟视点图像VDL和虚拟视点图像VDR的水平分辨率为M像素、垂直分辨率为N像素；

步骤S6、创建左视点图像绘制的标记矩阵DSL、右视点图像绘制的标记矩阵DSR，并为标记矩阵DSL和标记矩阵DSR的每一个矩阵元素赋值为-1.0，标记矩阵DSL和标记矩阵DSR二者的元素个数均为M列、N行；

步骤S7、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ1计算得到临时变量值EV1(i,j)、表达式EQ2计算得到临时变量值EV2(i,j)、表达式EQ3计算得到临时变量值EV3(i,j)、表达式EQ4计算得到临时变量值EV4(i,j)，再利用表达式EQ5计算得到像素点RSI(i,j)对应于虚拟视点图像VDL的像素点水平位置NPL(i,j)；

表达式EQ1：EV1(i,j)＝(DDistance*(255.0-BDepth)+VDistance)

表达式EQ2：EV2(i,j)＝(PFactor*(j-M/2.0)+BOffset)

表达式EQ3：EV3(i,j)＝(DDistance*(255.0-DSI(i,j))+VDistance)

表达式EQ4：EV4(i,j)＝(EV1(i,j)*EV2(i,j)/EV3(i,j)-BOffset+PFactor*M/2.0)

表达式EQ5：NPL(i,j)＝Round(EV4(i,j)/PFactor)

其中：i、j均为整数，且i∈[1,N]、j∈[1,M]，Round()为四舍五入取整操作；

步骤S8、如果像素点水平位置NPL(i,j)>＝1、NPL(i,j)<＝M，并且DSL(i,NPL(i,j))<0，或者DSL(i,NPL(i,j))>＝DSI(i,j)，则通过表达式EQ6、表达式EQ7、表达式EQ8对虚拟视点图像VDL进行像素点VDL(i,NPL(i,j))颜色值的赋值更新，通过表达式EQ9对标记矩阵DSL进行绘制深度DSL(i,NPL(i,j))的数据更新；

表达式EQ6：VDL(i,NPL(i,j))->R＝RSI(i,j)->R

表达式EQ7：VDL(i,NPL(i,j))->G＝RSI(i,j)->G

表达式EQ8：VDL(i,NPL(i,j))->B＝RSI(i,j)->B

表达式EQ9：DSL(i,NPL(i,j))＝DSI(i,j)

利用步骤S7和步骤S8对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到左视点三通道虚拟视点图像VDL的生成图像，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S9、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ10计算得到临时变量值EV5(i,j)、表达式EQ11计算得到临时变量值EV6(i,j)、表达式EQ12计算得到临时变量值EV7(i,j)、表达式EQ13计算得到临时变量值EV8(i,j)，再利用表达式EQ14计算得到像素点RSI(i,j)对应于虚拟视点图像VDR的像素点水平位置NPR(i,j)；

表达式EQ10：EV5(i,j)＝(DDistance*(255.0-BDepth)+VDistance)

表达式EQ11：EV6(i,j)＝(PFactor*(j-M/2.0)-BOffset)

表达式EQ12：EV7(i,j)＝(DDistance*(255.0-DSI(i,j))+VDistance)

表达式EQ13：EV8(i,j)＝(EV5(i,j)*EV6(i,j)/EV7(i,j)+BOffset+PFactor*M/2.0)

表达式EQ14：NPR(i,j)＝Round(EV8(i,j)/PFactor)

其中：i、j均为整数，且i∈[1,N]、j∈[1,M]，Round()为四舍五入取整操作；

步骤S10、如果像素点水平位置NPR(i,j)>＝1、NPR(i,j)<＝M，并且DSR(i,NPR(i,j))<0，或者DSR(i,NPR(i,j))>＝DSI(i,j)，则通过表达式EQ15、表达式EQ16、表达式EQ17对虚拟视点图像VDR进行像素点VDR(i,NPR(i,j))颜色值的赋值更新，通过表达式EQ18对标记矩阵DSR进行绘制深度DSR(i,NPR(i,j))的数据更新；

表达式EQ15：VDR(i,NPR(i,j))->R＝RSI(i,j)->R

表达式EQ16：VDR(i,NPR(i,j))->G＝RSI(i,j)->G

表达式EQ17：VDR(i,NPR(i,j))->B＝RSI(i,j)->B

表达式EQ18：DSR(i,NPR(i,j))＝DSI(i,j)

利用步骤S9和步骤S10对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到右视点三通道虚拟视点图像VDR的生成图像，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S11、根据左视点图像绘制的标记矩阵DSL取值，如果标记矩阵值DSL(i,j)<0，则可以确定左视点三通道虚拟视点图像VDL的对应点VDL(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的左视点绘制图像VFL，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S12、根据右视点图像绘制的标记矩阵DSR取值，如果标记矩阵值DSR(i,j)<0，则可以确定右视点三通道虚拟视点图像VDR的对应点VDR(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的右视点绘制图像VFR，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

通过以上具体实现步骤，即可利用真实场景图像和场景深度图像，根据深度信息的统计特性和视差成像特性，绘制得到具有视差层次最大化性质的左右虚拟视点图像。

本发明的积极效果在于提供了一种视差层次最大化的虚拟视点图像生成方法，该方法通过引入零视差平面和双虚拟视点图像生成的参量化调制，使双视点三维立体画面呈现出更加丰富的出屏与入屏层次感，提升了观看者融入影像内容的空间视觉感受。

附图说明：

图1为左右虚拟视点的像素点视差计算示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步的描述。如图1所示，真实场景图像像素点1对应的场景深度值位于最小深度值和零视差深度值之间、真实场景图像像素点2对应的场景深度值完全等于零视差深度值、真实场景图像像素点3对应的场景深度值位于最大深度值和零视差深度值之间。

视差层次最大化的虚拟视点图像生成方法，其特征在于：以真实场景的深度信息为引导，利用深度值的直方图统计值来决定虚拟视点成像平面的合理位置，根据该位置上的虚拟视点图像绘制结果便可合成三维立体画面。

真实场景图像RSI的水平分辨率为1024像素、垂直分辨率为768像素，真实场景图像RSI对应的场景深度图像DSI的水平分辨率为1024像素、垂直分辨率为768像素，该方法的具体实现步骤如下：

步骤S1、根据场景深度图像DSI中第i行第j列像素点的深度值DSI(i,j)，统计得到深度值0至深度值255的深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}，其中：i、j均为整数，且i∈[1,768]、j∈[1,1024]；

步骤S2、以深度个数统计值DVS(f)<＝64为过滤条件，对深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}进行置零操作，即：如果深度个数统计值DVS(f)<＝64时，则使优化的深度个数统计值FVS(f)＝0，否则，令优化的深度个数统计值FVS(f)＝DVS(f)，得到过滤后的深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，其中：f、ε均为整数，且f∈[0,255]、ε∈[0,1024×768]；

步骤S3、遍历深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，得到：深度个数统计序列FVS中非零个数的最小深度值minDepth＝min(FVS)、深度个数统计序列FVS中非零个数的最大深度值maxDepth＝max(FVS)，则零视差对应的深度值BDepth＝Round((minDepth+maxDepth)/2.0)，其中：min()为取最小值操作、max()为取最大值操作、Round()为四舍五入取整操作；

步骤S4、设定视点图像生成的可变参数量为：左右视点之间的瞳距PDistance等于60毫米，深度可视范围DDistance等于1000毫米，左右视点与零视差对应深度平面的垂直距离VDistance等于3000毫米，视差反比调制因子PFactor等于0.5毫米，成像基准偏移量BOffset等于30毫米；

步骤S5、初始化左视点三通道虚拟视点图像VDL、右视点三通道虚拟视点图像VDR为纯黑图像(即：RGB三个通道均赋值为0)，虚拟视点图像VDL和虚拟视点图像VDR的水平分辨率为1024像素、垂直分辨率为768像素；

步骤S6、创建左视点图像绘制的标记矩阵DSL、右视点图像绘制的标记矩阵DSR，并为标记矩阵DSL和标记矩阵DSR的每一个矩阵元素赋值为-1.0，标记矩阵DSL和标记矩阵DSR二者的元素个数均为1024列、768行；

步骤S7、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ1计算得到临时变量值EV1(i,j)、表达式EQ2计算得到临时变量值EV2(i,j)、表达式EQ3计算得到临时变量值EV3(i,j)、表达式EQ4计算得到临时变量值EV4(i,j)，再利用表达式EQ5计算得到像素点RSI(i,j)对应于虚拟视点图像VDL的像素点水平位置NPL(i,j)；

表达式EQ1：EV1(i,j)＝(1000*(255.0-BDepth)+3000)

表达式EQ2：EV2(i,j)＝0.5*j-226

表达式EQ3：EV3(i,j)＝(1000*(255.0-DSI(i,j))+3000)

表达式EQ4：EV4(i,j)＝(EV1(i,j)*EV2(i,j)/EV3(i,j)+226)

表达式EQ5：NPL(i,j)＝Round(EV4(i,j)/0.5)

其中：i、j均为整数，且i∈[1,768]、j∈[1,1024]，Round()为四舍五入取整操作；

步骤S8、如果像素点水平位置NPL(i,j)>＝1、NPL(i,j)<＝1024，并且DSL(i,NPL(i,j))<0，或者DSL(i,NPL(i,j))>＝DSI(i,j)，则通过表达式EQ6、表达式EQ7、表达式EQ8对虚拟视点图像VDL进行像素点VDL(i,NPL(i,j))颜色值的赋值更新，通过表达式EQ9对标记矩阵DSL进行绘制深度DSL(i,NPL(i,j))的数据更新；

表达式EQ6：VDL(i,NPL(i,j))->R＝RSI(i,j)->R

表达式EQ7：VDL(i,NPL(i,j))->G＝RSI(i,j)->G

表达式EQ8：VDL(i,NPL(i,j))->B＝RSI(i,j)->B

表达式EQ9：DSL(i,NPL(i,j))＝DSI(i,j)

利用步骤S7和步骤S8对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到左视点三通道虚拟视点图像VDL的生成图像，其中：i、j均为整数，且i∈[1,768]、j∈[1,1024]；

步骤S9、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ10计算得到临时变量值EV5(i,j)、表达式EQ11计算得到临时变量值EV6(i,j)、表达式EQ12计算得到临时变量值EV7(i,j)、表达式EQ13计算得到临时变量值EV8(i,j)，再利用表达式EQ14计算得到像素点RSI(i,j)对应于虚拟视点图像VDR的像素点水平位置NPR(i,j)；

表达式EQ10：EV5(i,j)＝(1000*(255.0-BDepth)+3000)

表达式EQ11：EV6(i,j)＝0.5*j-286

表达式EQ12：EV7(i,j)＝(1000*(255.0-DSI(i,j))+3000)

表达式EQ13：EV8(i,j)＝(EV5(i,j)*EV6(i,j)/EV7(i,j)+286)

表达式EQ14：NPR(i,j)＝Round(EV8(i,j)/0.5)

其中：i、j均为整数，且i∈[1,768]、j∈[1,1024]，Round()为四舍五入取整操作；

步骤S10、如果像素点水平位置NPR(i,j)>＝1、NPR(i,j)<＝1024，并且DSR(i,NPR(i,j))<0，或者DSR(i,NPR(i,j))>＝DSI(i,j)，则通过表达式EQ15、表达式EQ16、表达式EQ17对虚拟视点图像VDR进行像素点VDR(i,NPR(i,j))颜色值的赋值更新，通过表达式EQ18对标记矩阵DSR进行绘制深度DSR(i,NPR(i,j))的数据更新；

表达式EQ15：VDR(i,NPR(i,j))->R＝RSI(i,j)->R

表达式EQ16：VDR(i,NPR(i,j))->G＝RSI(i,j)->G

表达式EQ17：VDR(i,NPR(i,j))->B＝RSI(i,j)->B

表达式EQ18：DSR(i,NPR(i,j))＝DSI(i,j)

利用步骤S9和步骤S10对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到右视点三通道虚拟视点图像VDR的生成图像，其中：i、j均为整数，且i∈[1,768]、j∈[1,1024]；

步骤S11、根据左视点图像绘制的标记矩阵DSL取值，如果标记矩阵值DSL(i,j)<0，则可以确定左视点三通道虚拟视点图像VDL的对应点VDL(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的左视点绘制图像VFL，其中：i、j均为整数，且i∈[1,768]、j∈[1,1024]；

步骤S12、根据右视点图像绘制的标记矩阵DSR取值，如果标记矩阵值DSR(i,j)<0，则可以确定右视点三通道虚拟视点图像VDR的对应点VDR(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的右视点绘制图像VFR，其中：i、j均为整数，且i∈[1,768]、j∈[1,1024]；

通过以上具体实现步骤，即可利用真实场景图像和场景深度图像，根据深度信息的统计特性和视差成像特性，绘制得到具有视差层次最大化性质的左右虚拟视点图像。

Claims (1)

1.一种视差层次最大化的虚拟视点图像生成方法，利用正视差、负视差形成三维立体画面的入屏与出屏，其特征在于：以真实场景的深度信息为引导，利用深度值的直方图统计值来决定虚拟视点成像平面的合理位置，根据该位置上的虚拟视点图像绘制结果便可合成三维立体画面；其中真实场景图像RSI的水平分辨率为M像素、垂直分辨率为N像素，真实场景图像RSI对应的场景深度图像DSI的水平分辨率为M像素、垂直分辨率为N像素，具体实现步骤如下：

步骤S1、根据场景深度图像DSI中第i行第j列像素点的深度值DSI(i,j)，统计得到深度值0至深度值255的深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S2、以深度个数统计值DVS(f)<＝ε为过滤条件，对深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}进行置零操作，即：如果深度个数统计值DVS(f)<＝ε时，则使优化的深度个数统计值FVS(f)＝0，否则，令优化的深度个数统计值FVS(f)＝DVS(f)，得到深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，其中：f、ε均为整数，且f∈[0,255]、ε∈[0,M×N]；

步骤S3、遍历深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，得到：深度个数统计序列FVS中非零个数的最小深度值minDepth＝min(FVS)、深度个数统计序列FVS中非零个数的最大深度值maxDepth＝max(FVS)，则零视差对应的深度值BDepth＝Round((minDepth+maxDepth)/2.0)，其中：min()为取最小值操作、max()为取最大值操作、Round()为四舍五入取整操作；

步骤S4、设定视点图像生成的可变参数量为：左右视点之间的瞳距PDistance等于pds毫米，深度可视范围DDistance等于dds毫米，左右视点与零视差对应深度平面的垂直距离VDistance等于vds毫米，视差反比调制因子PFactor等于pf毫米，成像基准偏移量BOffset等于bos毫米(bos＝pds/2.0)；

步骤S5、初始化左视点三通道虚拟视点图像VDL、右视点三通道虚拟视点图像VDR为纯黑图像即：RGB三个通道均赋值为0，虚拟视点图像VDL和虚拟视点图像VDR的水平分辨率为M像素、垂直分辨率为N像素；

步骤S6、创建左视点图像绘制的标记矩阵DSL、右视点图像绘制的标记矩阵DSR，并为标记矩阵DSL和标记矩阵DSR的每一个矩阵元素赋值为-1.0，标记矩阵DSL和标记矩阵DSR二者的元素个数均为M列、N行；

步骤S7、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ1计算得到临时变量值EV1(i,j)、表达式EQ2计算得到临时变量值EV2(i,j)、表达式EQ3计算得到临时变量值EV3(i,j)、表达式EQ4计算得到临时变量值EV4(i,j)，再利用表达式EQ5计算得到像素点RSI(i,j)对应于虚拟视点图像VDL的像素点水平位置NPL(i,j)；

表达式EQ1：EV1(i,j)＝(DDistance*(255.0-BDepth)+VDistance)

表达式EQ2：EV2(i,j)＝(PFactor*(j-M/2.0)+BOffset)

表达式EQ3：EV3(i,j)＝(DDistance*(255.0-DSI(i,j))+VDistance)

表达式EQ4：EV4(i,j)＝(EV1(i,j)*EV2(i,j)/EV3(i,j)-BOffset+PFactor*M/2.0)

表达式EQ5：NPL(i,j)＝Round(EV4(i,j)/PFactor)

其中：i、j均为整数，且i∈[1,N]、j∈[1,M]，Round()为四舍五入取整操作；

步骤S8、如果像素点水平位置NPL(i,j)>＝1、NPL(i,j)<＝M，并且DSL(i,NPL(i,j))<0，或者DSL(i,NPL(i,j))>＝DSI(i,j)，则通过表达式EQ6、表达式EQ7、表达式EQ8对虚拟视点图像VDL进行像素点VDL(i,NPL(i,j))颜色值的赋值更新，通过表达式EQ9对标记矩阵DSL进行绘制深度DSL(i,NPL(i,j))的数据更新；

表达式EQ6：VDL(i,NPL(i,j))->R＝RSI(i,j)->R

表达式EQ7：VDL(i,NPL(i,j))->G＝RSI(i,j)->G

表达式EQ8：VDL(i,NPL(i,j))->B＝RSI(i,j)->B

表达式EQ9：DSL(i,NPL(i,j))＝DSI(i,j)

利用步骤S7和步骤S8对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到左视点三通道虚拟视点图像VDL的生成图像，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S9、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ10计算得到临时变量值EV5(i,j)、表达式EQ11计算得到临时变量值EV6(i,j)、表达式EQ12计算得到临时变量值EV7(i,j)、表达式EQ13计算得到临时变量值EV8(i,j)，再利用表达式EQ14计算得到像素点RSI(i,j)对应于虚拟视点图像VDR的像素点水平位置NPR(i,j)；

表达式EQ10：EV5(i,j)＝(DDistance*(255.0-BDepth)+VDistance)

表达式EQ11：EV6(i,j)＝(PFactor*(j-M/2.0)-BOffset)

表达式EQ12：EV7(i,j)＝(DDistance*(255.0-DSI(i,j))+VDistance)

表达式EQ13：EV8(i,j)＝(EV5(i,j)*EV6(i,j)/EV7(i,j)+BOffset+PFactor*M/2.0)

表达式EQ14：NPR(i,j)＝Round(EV8(i,j)/PFactor)

其中：i、j均为整数，且i∈[1,N]、j∈[1,M]，Round()为四舍五入取整操作；

步骤S10、如果像素点水平位置NPR(i,j)>＝1、NPR(i,j)<＝M，并且DSR(i,NPR(i,j))<0，或者DSR(i,NPR(i,j))>＝DSI(i,j)，则通过表达式EQ15、表达式EQ16、表达式EQ17对虚拟视点图像VDR进行像素点VDR(i,NPR(i,j))颜色值的赋值更新，通过表达式EQ18对标记矩阵DSR进行绘制深度DSR(i,NPR(i,j))的数据更新；

表达式EQ15：VDR(i,NPR(i,j))->R＝RSI(i,j)->R

表达式EQ16：VDR(i,NPR(i,j))->G＝RSI(i,j)->G

表达式EQ17：VDR(i,NPR(i,j))->B＝RSI(i,j)->B

表达式EQ18：DSR(i,NPR(i,j))＝DSI(i,j)

利用步骤S9和步骤S10对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到右视点三通道虚拟视点图像VDR的生成图像，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S11、根据左视点图像绘制的标记矩阵DSL取值，如果标记矩阵值DSL(i,j)<0，则可以确定左视点三通道虚拟视点图像VDL的对应点VDL(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的左视点绘制图像VFL，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S12、根据右视点图像绘制的标记矩阵DSR取值，如果标记矩阵值DSR(i,j)<0，则可以确定右视点三通道虚拟视点图像VDR的对应点VDR(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的右视点绘制图像VFR，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

通过以上具体实现步骤，即可利用真实场景图像和场景深度图像，根据深度信息的统计特性和视差成像特性，绘制得到具有视差层次最大化性质的左右虚拟视点图像。

Images