CN110430419A - 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 - Google Patents

Abstract

本发明提供一种基于超分辨抗混叠的多视点裸眼三维图像合成方法，该方法利用WDSR算法优化图像放缩的过程，由于WDSR算法只能将图像整数倍放大，所以在放缩图像中将结合使用传统插值算法，将原图放缩到目标合成图大小。然后根据柱状光栅的多视点子像素映射关系，计算得到多视点子像素映射表。再根据子像素映射表制作各视点蒙板，利用蒙板加速立体图的合成速度，把放缩后的各视点视图的一部分重新排列组合，最后可以得到比使用传统插值算法效果更好的立体合成图。本发明可以降低立体合成图的性噪比，改善了立体合成图的显示质量。

Description

一种基于超分辨抗混叠的多视点裸眼三维图像合成方法

技术领域

本发明提供一种基于超分辨抗混叠的多视点裸眼三维图像合成方法，具体涉及到柱状光栅多视点裸眼三维图像的合成技术领域。

技术背景

随着大数据时代的兴起，信息量的逐渐增大，人们对数据可视化，数据的接收速度，单位时间内信息量的获取都有着更高的追求；另外，视觉信息作为人类感知外部世界最主要的信息来源，在大数据时代的推动影响下，对视觉信息的处理研究更有着极大的前景与意义。由于传统的二维图像已经不能满足人们的需求，三维信息的立体显示技术便应运而生，并且受到了学界及业界的广泛关注。裸眼三维图像显示技术因其不用佩戴眼镜，观看更加方便自然，成为了三维信息立体显示领域备受青睐的研究热点。对于裸眼三维图像显示来说，立体图像的合成质量直接影响到三维图像的显示质量，因此寻找到一种便捷有效的立体图像合成方法十分重要。

何赛军^[1]等人提出的通用立体图像合成方法可以适用于具有任意线数和任意倾角α的柱状光栅，而且能够高效地合成和分解具有任意视点个数和任意分辨率的立体图像。该方法需要把每个视点图像都缩小或放大到合成图分辨率的1/N(N为柱状光栅裸眼三维显示器的视点数)，然后根据子像素映射关系把每个视点图对应的像素映射到合成图中，该方法存在的问题是在映射时存在重复映射的情况，且图像在缩小的时候会产生频谱混叠的现象，这样就降低了图像的合成效果。如果对图像进行放大后映射，又增加了计算量。对于频谱混叠的问题，况海斌^[2]等人提出利用提高采样频率的方法来消除频谱混叠，取得了比使用抗混叠滤波器更好的效果，且他们提出的利用Scale-2x的方法进行上采样的方法与传统的插值算法相比，具有一定的优势。对于放大图像后增加计算量的问题，蔡元发^[3]等人提出视点蒙板的制作技术，加快了立体图的合成速度，且方便写入硬件进行快速计算。JiahuiYu^[4]等人提出了宽激活深度残差网络的超分辨算法(WDSR)，该算法能够通过增加特征图的通道数来节约参数量的使用，降低了训练的成本，同时通过去除多余的卷积层和网络权值归一化处理提升了学习速率，最终达到非常好的超分辨效果。目前WDSR算法对很多案例的测试都有非常出色的表现，但是其抗混叠性能和对立体图合成图显示质量的改善作用还有待验证，且使用之前的上采样方法合成的立体图的清晰度还有待提高。

发明内容

本发明提出了一种基于超分辨抗混叠的多视点裸眼三维图像合成方法，可以提升立体合成图的信噪比，有效地改善立体合成图的显示质量。

本发明的原理是：使用WDSR(宽激活深度残差网络超分辨)算法部分取代传统插值算法，将原视点图放缩到目标合成图的分辨率大小。由于WDSR算法只能将图像整数倍放大，所以在放缩图像中将结合使用传统插值算法，将原图放缩到目标合成图大小。然后根据柱状光栅的多视点子像素映射关系，计算得到多视点子像素映射表。再根据子像素映射表制作各视点蒙板，利用蒙板加速立体图的合成速度，把放缩后的各视点视图的一部分重新排列组合，最后可以得到比使用传统插值算法效果更好的立体合成图，降低了立体合成图的性噪比，改善了立体合成图的显示质量。

本发明提供的技术方案是：

一种基于超分辨抗混叠的多视点裸眼三维图像合成方法，具体步骤如下：

1)将每个视点图像通过WDSR算法并结合传统的插值算法放缩到目标合成图分辨率大小；

2)计算步骤1)中放缩后的每个视点图像上的像素点在显示屏上的目标合成图里的索引位置，根据索引位置构建子像素分布表；

3)根据步骤2)计算出的多视点映射表制作出控制每个视点视图的每个通道的像素在目标合成图中各个像素位置出现与否的蒙板，利用合成的蒙板对步骤1)中得到的放缩后的各视点视图进行加权，高效地合成最终的三维图像；

本发明对步骤3)中合成的立体图像质量和使用原始方法得到的立体图质量进行比较评价，分别计算两幅立体图相对于原视点图的PSNR值，通过这个值的大小来判断立体图的合成质量好坏，验证该方法的可行性。需要注意的是，由于通过验证已知通过WDSR进行超分辨的质量要远远高于其他插值算法，其得到的目标图像将更加接近于高清的原图，所以这里我们用超分辨后的图像作为近似原图的参考图像。

进一步地，步骤1)具体包括如下步骤：

11)采用具有800幅高清图片的DIV2K数据集，将每张图片剪裁成96×96大小作为真实值，将其下采样后的低分辨率图作为输入，建立映射关系后，训练可以达到输出效果的网络，将低分辨率图超分辨。其中WDSR采用的是WDSR-A模型，采用放大两倍的训练模式；

12)采用DIV2K验证集进行效果测试，取其中的4幅图片进行裁剪后使用双三次插值法下采样制作测试集并对步骤11)中训练好的网络进行验证，比较对测试集超分辨后的图像和剪裁后的原图的PSNR值与用其他方法放大的差别，评价该算法的超分辨效果；并比较超分辨后再缩小的图像和原图的PSNR值与用其他方法放大再缩小和直接缩小的方法的差别，评价该算法的抗混叠性；

13)验证可行性通过后，将各视点图用训练好的网络使用WDSR算法并结合传统插值方法放大或缩小到目标合成图分辨率大小。

进一步地，步骤2)具体包括如下步骤：

21)推导得出针对特定显示器的多视点子像素映射的一般表达式：

其中，柱镜光栅的排列起点从LCD屏幕的左下顶点开始，光栅轴相对于屏幕垂直轴的倾斜角度为α，m是每个柱镜单元在水平方向覆盖的子像素个数，N代表的是放在此处的是第几个视点图像的像素，N_tot为总视点数，k，l为子像素的下标索引，需要说明的是k，l分别代表像素面板上的列和行，也就是对应于合成图的行和列。需要说明的是，对于屏幕的下顶点和透镜边缘点不重合的情况，需要在(式1)中加入偏置项，此处不做讨论；

22)代入实验室Magnetic 22″Enabl3D显示器参数光栅的斜率为1/3，视点数N_tot＝9，m＝9，于是(式1)可以进一步化为：

N＝(k-l)mod9 (式2)

23)将不同位置的k，l值代入(式2)，可以得出N关于k，l的子像素映射表；

24)按照步骤23)提供的子像素映射表，把步骤13)放缩后的每个视点图像在目标合成图相应位置上的像素填充到目标合成图中(即映射表中第k列l行放置视点N的C分量子像素，就把视点N中第列l行的C分量子像素取出填充到合成图中)，就可以完成立体图像的合成。

进一步地，步骤3)具体包括如下步骤：

31)根据步骤23)中计算出的子像素映射表，找到每个视点每个通道里在目标合成图中的子像素位置并在对应视点的对应通道图的相应位置处记为1，其余没有在目标合成图中出现的位置处记为0，这样就做出了N个视点的3N个颜色通道的蒙板；

32)用步骤31)中制作的各个视点的各个通道的蒙板和各个通道的图中的每个元素对应相乘则提取出了各个视点各个通道中需要放到目标合成图中的像素；

33)把步骤32)中所有视点的R、G、B这三个通道的元素分别相加，就分别得到目标合成图的R、G、B三个通道的子图；

34)把步骤33)中立体图的三个通道的子图放在一起，就完成了立体图的最终合成，将其放在裸眼3D显示器上，即可看到立体显示效果。

本发明提供一种基于超分辨抗混叠的多视点裸眼三维图像合成方法。本发明在使用传统的基于柱状光栅的多视点裸眼三维图像合成方法的基础上，利用WDSR算法优化图像放缩的过程，并用制作的蒙板加速合成过程。首先用高清图片数据集和对数据集的模糊处理分别作为输出和输入，对网络进行训练，然后将各视点图像放入训练好的网络输出高分辨率的目标视点图像，根据目标放大倍数用传统的插值方法进行调整。最后根据子像素映射表制作相应的蒙板加速映射合成立体图。该方案在使用相同子视点图进行验证的情况下，其合成的立体图和使用原始插值方法相比，可以提高立体合成图的信噪比，改善立体合成图像显示的质量。

与现有技术相比，本发明的有益效果是：

(一)采用WDSR算法对残差块的改进可以节约参数量的使用，不需要参与训练的图片很清晰，这样就加快了网络训练的速度，同时去除冗余的卷积层和对权值归一化处理也可大大加快训练的速度和学习速率。子像素卷积层的使用也可以增加图像的细节，使得放大后的图像更加清晰，使得用来进行合成的各视点图像的质量达到更高的标准。

(二)WDSR的抗混叠性能要优于其他传统的插值算法与Scale-2x算法，在对各视点图像进行放缩时，可以更好的消除频谱混叠效应。

(三)对不能实现整数倍放大的各视点图采用WDSR和传统插值算法结合的方法，尽可能增加WDSR放大的倍数来使得图片的质量更加清晰，可以改善不能实现整数倍放大的视点图的质量。

附图说明

图1为基于超分辨抗混叠的多视点裸眼三维图像合成方法的流程框图；

图2为高清测试图像；

图3为“sugar”9视点测试图；

图4为视点像素映射示意图；

图5为Magnetic裸眼3D显示器子像素映射表；

图6为用蒙板提取视点1的R通道子像素过程；

图7为立体合成图中的R分量子图的合成过程；

图8为立体图的合成；

图9为“sugar”立体合成图。

具体实施方式

下面结合附图，通过实施实例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供的基于超分辨抗混叠的多视点裸眼三维图像合成方法的流程框图如附图1所示。在本发明实施实例中，本发明提供方法具体包括如下步骤：

1)使用WDSR算法对各视点视图放缩；

采用具有800幅高清图片的DIV2K数据集，将每张图片剪裁成96×96大小作为真实值，将其下采样后的低分辨率图作为输入，建立映射关系后，训练可以达到输出效果的网络，将低分辨率图超分辨。其中WDSR采用的是WDSR-A模型，采用放大两倍的训练模式。训练完后，采用DIV2K验证集进行效果测试，取其中的4幅高清图片进行裁剪后如附图2所示，每张图的大小为294×294×3，然后使用双三次插值法对附图2下采样制作验证集，并对训练好的网络进行验证。

验证过程分为两组进行，第一组是测试几种放缩算法的放大效果，先把附图2中的每张图片利用双三次插值法下采样到原图的1/2，然后将其分别利用最近邻域插值法、双线性插值法、双三次插值法、Scale-2x算法和WDSR算法进行放大2倍到原图大小，比较其和原图的PSNR，如表1所示：

表1各放缩算法对图像上采样的PSNR值比较

从上表可以看出，前面三种方法的效果为依次递增，Scale-2x对图像放大的效果较差，而WDSR算法几乎为完胜水平，和其他放缩算法相比有着质的提高。其在图像放大的过程中几乎保留了所有原始图像的信息，对图像的细节表现力极强。

第二组测试为针对原始图像在下采样过程中的抗混叠性能测试。分别比较直接把附图2中的每张图片进行下采样和把其通过以上五种方法进行2倍上采样后，再用双三次插值法进行6倍的下采样，再把下采样图像利用双三次插值法放大到原图大小，比较放大后的下采样图像和原图的PSNR值，即测试把原图压缩3倍后的抗混叠性能。比较结果如表2所示。

表2各放缩算法对图像下采样的PSNR值比较(抗混叠性)

从上表可以看出，直接对图像下采样的效果很差，会丢失大量的信息，对频谱混叠的影响极大，而在MATLAB的函数里，对几种插值算法的下采样都加入了抗频谱混叠的优化，所以结果较直接下采样法在性能上有了很大的提升，其效果也要超越Scale-2x算法，可见抗混叠性对图像进行下采样时影响的作用极大。但是尽管如此，WDSR算法还是有着较好的表现，其比MATLAB对抗混叠优化后的函数效果还要好。

通过验证证明该方法具有可行性。本实施实例中选取Lytro illum光场相机采集的图片数据集中的“sugar”图片进行立体图的合成，其中每个图片的分辨率为382×381。取其中的9个视点图如附图3，将各视点图用训练好的网络使用WDSR算法并结合传统插值方法放大到目标合成图分辨率1024×768。需要注意的是，由于这里的放大倍数不是整数倍，所以在放大的过程中采用WDSR算法并结合传统的放缩方法，即先通过传统放缩方法中效果最好的双三次插值将原视点图放大到需要分辨率的1/2，即512×384(同时这个分辨率也较为接近原始分辨率，这样尽可能地降低插值法对图像放大所造成的不好的影响)，得到一张中间图，然后通过WDSR算法对中间图进行×2倍的放大，得到分辨率为1024×768的待交织视点图。

2)根据各视点在合成图中的索引位置计算子像素映射表；

根据我们显示器的结构特点，可以大致绘制出如附图4的视点像素映射图，建立这个模型图主要是为了找到LCD显示屏上的任意子像素与各视点视图的对应关系，也就是构建出每个视图上的像素点在显示屏上的合成图里的索引位置，方便对采集或者计算出的不同视点的图像进行融合。柱镜光栅的排列起点从LCD屏幕的左下顶点开始，柱镜光栅的栅距为P，光栅轴相对于屏幕垂直轴的倾斜角度为α，每个柱镜单元在水平方向覆盖m个子像素。由上图各参数的几何位置关系，我们可以得到下列式子：

X＝(x-ytanα)modp_x (式4)

其中，N代表的是放在此处的是第几个视点图像的像素，N_tot为总视点数。(x,y)为LCD显示屏上RGB子像素的坐标位置，p_x为栅距P在水平方向的投影，X为子像素到柱镜边缘的水平距离。

为了方便计算，简化视点计算公式，这里我们一次性引入RGB子像素的宽度p_A，以及子像素的下标索引k，l，需要说明的是k，l分别代表像素面板上的列和行，也就是对应于目标合成图的行和列，这里的计算原点位于LCD屏幕的左下顶点，从左至右为像素的第一列、第二列…第n列(对应于k＝1,2,…,n)，从下至上为像素的第一行、第二行…第n行(对应于l＝1,2,…,n)。另外，还需要注意的是每个RGB子像素的长和宽比为3：1，于是可以得到如下关系式：

x＝kp_h (式7)

y＝3lp_h (式8)

将式(式4)、(式5)、(式6)、(式7)、(式8)代入(式3)，可以得出如(式1)所算出的多视点子像素映射的一般表达式：

根据(式1)的通式，我们可以在已知柱镜光栅LCD的倾斜角α、单位光栅覆盖子像素m和视点总数N_tot的情况下，计算目标合成立体图中每个子像素(k,l)处对应的视点值N，这样，我们就可以得到目标立体图像的子像素与各视点图像之间的子像素映射表。

对于我们实验室使用的Magnetic 22″Enabl3D显示器来说，测量得到光栅的斜率为1/3，视点数N_tot＝9，m＝9，于是(式1)可以进一步化为：

N＝(k-l)mod9 (式2)

由(式2)可以得到针对我们显示屏的子像素映射表如附图5所示(第一行第一列从屏幕的左下方开始)，为了方便图像的计算，将显示屏分辨率设置为1024×768。

按照上面提供的子像素映射表，把步骤1)中放大后的每个视点图像在目标合成图相应位置上的像素填充到目标合成图中(即映射表中第k列l行放置视点N的C分量子像素，就把视点N中第列l行的C分量子像素取出填充到合成图中)，就可以完成立体图像的合成。

对于屏幕的下顶点和透镜边缘点不重合的情况，需要在(式1)中加入偏置项，此处不做讨论。

3)制作蒙板高效合成立体图；

首先，根据步骤2)计算出的子像素映射表，找到步骤1)中得到的放大后的每个视点图像每个通道里在立体图中的子像素位置并在对应视点的相应通道图的相应位置处记为1，其余没有在立体图中出现的位置处记为0，这样就做出了N个视点的3N个颜色通道的蒙板。其次，用各个视点的各个通道的蒙板和各个通道的图中的每个元素对应相乘则提取出了各个视点各个通道中需要放到合成图中的像素。如附图6所示为用视点1的R通道蒙板提取子像素的过程。然后，把所有视点的R、G、B这三个通道的元素分别相加，就分别得到立体图的R、G、B三个通道的子图。如附图7所示，展示的是立体合成图中的R分量子图的合成过程。最后，把立体图的三个通道的图放在一起，就完成了立体图的最终合成，将其放在裸眼3D显示器上，即可看到立体显示效果。如附图8所示为最终立体图的三个通道的合并过程。将其放在裸眼3D显示器上，即可看到立体显示效果，如附图9所示。

4)合成立体图像的显示质量评价

评估合成立体图像的显示质量主要还是从图像的PSNR值出发，比较的对象为通过两种方法放大步骤1)中“sugar”图像后经过映射得到的立体合成图相对于原始视点图的PSNR值。其中，第一种放大的方法采用的是传统放缩方法中效果最好的bicubic双三次插值法，使用该方法直接将原视点图放大到显示屏的观看分辨率1024×768；由于放大的倍数不是整数倍，第二种放大的方法是步骤1)使用的两种算法相结合的方法。

为了验证上述两种方法对合成的立体图效果的影响，分别计算两幅立体图相对于原视点图的PSNR值，通过这个值的大小来判断立体图的合成质量好坏。由步骤1)的实验结果可知，通过WDSR进行超分辨的质量要远远高于其他插值算法，其得到的目标图像将更加接近于高清的原图，所以这里我们用超分辨后的图像作为近似原图的参考图像，将两种方法的得到的立体图和SR后的9个视点图像进行比较，得到表格如下：

表3两种放缩方法对“sugar”立体合成图的PSNR值比较

由表3可以看出，对于“sugar”的所有视图来说，使用WDSR算法合成的立体图的PSNR值都要大于只使用双三次插值的方法合成的立体图，说明本发明提出的方案，即使用WDSR超分辨算法确实对合成立体图像的显示质量具有一定的改善作用，提高了观看的质量。

实验表明，本发明对于多视点裸眼三维图像合成技术，使合成图在显示质量上得到了改善。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

参考文献：

[1]何赛军,基于柱镜光栅的多视点自由立体显示技术研究[D].浙江大学,2009.

[2]况海斌.基于柱状透镜的LCD自由立体图像融合算法研究[D].湖南大学,2010.

[3]蔡元发.裸眼立体播放技术研究[D].北京邮电大学,2014.

[4]Yu J,Fan Y,Yang J,et al.Wide Activation for Efficient and AccurateImage Super-Resolution[J].2018.

Claims (5)

1.一种基于超分辨抗混叠的多视点裸眼三维图像合成方法，具体步骤如下：

1)将每个视点图像通过WDSR算法并结合插值算法放缩到目标合成图分辨率大小；

2)计算步骤1)中放缩后的每个视点图像上的像素点在显示屏上的目标合成图里的索引位置，根据索引位置构建子像素分布表；

3)根据步骤2)计算出的多视点映射表制作出控制每个视点视图的每个通道的像素在目标合成图中各个像素位置出现与否的蒙板，利用合成的蒙板对步骤1)中得到的放缩后的各视点视图进行加权，合成最终的三维图像。

2.如权利要求1所述的基于超分辨抗混叠的多视点裸眼三维图像合成方法，其特征在于，

11)采用具有800幅高清图片的DIV2K数据集，将每张图片剪裁成96×96大小作为真实值，将其下采样后的低分辨率图作为输入，建立映射关系后，训练达到输出效果的网络，将低分辨率图超分辨；

12)采用DIV2K验证集进行效果测试，取其中的4幅图片进行裁剪后使用双三次插值法下采样制作测试集并对步骤11)中训练好的网络进行验证，比较对测试集超分辨后的图像和剪裁后的原图的PSNR值与用其他方法放大的差别，评价该算法的超分辨效果；并比较超分辨后再缩小的图像和原图的PSNR值与用其他方法放大再缩小和直接缩小的方法的差别，评价该算法的抗混叠性；

13)验证可行性通过后，将各视点图用训练好的网络使用WDSR算法并结合传统插值方法放大或缩小到目标合成图分辨率大小。

3.如权利要求2所述的基于超分辨抗混叠的多视点裸眼三维图像合成方法，其特征在于，

21)推导得出针对特定显示器的多视点子像素映射的一般表达式：

其中，柱镜光栅的排列起点从LCD屏幕的左下顶点开始，光栅轴相对于屏幕垂直轴的倾斜角度为α，m是每个柱镜单元在水平方向覆盖的子像素个数，N代表的是放在此处的是第几个视点图像的像素，N_tot为总视点数，k，l为子像素的下标索引；

22)将不同位置的k，l值代入(式1)，得出N关于k，l的子像素映射表；

23)按照步骤22)提供的子像素映射表，把步骤13)放缩后的每个视点图像在目标合成图相应位置上的像素填充到目标合成图中，完成立体图像的合成。

4.如权利要求3所述的基于超分辨抗混叠的多视点裸眼三维图像合成方法，其特征在于，

步骤3)具体包括如下步骤：

31)根据步骤23)中计算出的子像素映射表，找到每个视点每个通道里在目标合成图中的子像素位置并在对应视点的对应通道图的相应位置处记为1，其余没有在目标合成图中出现的位置处记为0，做出了N个视点的3N个颜色通道的蒙板；

32)用步骤31)中制作的各个视点的各个通道的蒙板和各个通道的图中的每个元素对应相乘则提取出了各个视点各个通道中需要放到目标合成图中的像素；

33)把步骤32)中所有视点的R、G、B这三个通道的元素分别相加，就分别得到目标合成图的R、G、B三个通道的子图；

34)把步骤33)中立体图的三个通道的子图放在一起，完成了三维图像合成。

5.如权利要求1所述的基于超分辨抗混叠的多视点裸眼三维图像合成方法，其特征在于，步骤11)中采用的是WDSR-A模型，采用放大两倍的训练模式。