CN109118474A - 一种多视点稀疏测量的图像绘制方法 - Google Patents

Abstract

本发明涉及一种多视点稀疏测量的图像绘制方法，构建了均匀间隔采样的稀疏视点测量矩阵，并基于该矩阵约束训练稀疏基，进而求解基于多视点稀疏测量约束传感矩阵的压缩感知框架，重建稠密多视点图像。本发明能够获得原始信号的唯一精确解。

Description

一种多视点稀疏测量的图像绘制方法

技术领域

本发明涉及图像处理和多视点图像重建领域，特别是一种多视点稀疏测量的图像绘制方法。

背景技术

随着当代计算技术和多媒体技术的飞速发展，追求用户高质量体验的沉浸式视频取得了长足的发展。一个多媒体系统，其提供的显示和追踪技术如果可以用来在时间和空间上忠实的再现现实世界的感觉和行为，就被称为沉浸。在视觉领域，沉浸感就是指借助设备显示技术，能够让参与到虚拟环境中的人们产生身临其境的临场感。2016 年，多媒体产品工业界对于虚拟现实VR技术产生浓厚兴趣，Facebook、谷歌、微软、苹果等大公司都开展了相关技术研发，并发布了相关 VR产品。视频呈现的历史，正是追逐更强沉浸式体验的技术发展过程。

为了增强沉浸感和互动性，需要将现实世界的三维场景的全部信息进行记录，并且能够为用户进行无失真的重现。计算机视觉领域中，场景的表示与重建技术是该问题主要的解决方案。

基于图像的绘制技术(image-based render,IBR)是一种近年来较为热门的绘制方法。拍摄图像用于采集光线，通过绘制对这些光线进行重组。

采集和重建是实现IBR渲染技术的主要方法。目前通用的方法需要的摄像机数量较多，采集数据量大，带来压缩和存储的巨大压力，同时设备及带宽成本高昂；若是减少摄像机数量，则会导致重建内容产生跳跃性，图像出现重影和模糊现象。

对IBR技术调研可知，最先有chai等人在2000年分析了全光函数的频带并找到最优的全光函数平均采样率。在此基础上，Zhang和 chen将IBR的谱分析扩展到了更加通用的情况，包括非Lambertian 和遮挡场景。他们利用一个表面全光函数SPF首次研究了同心拼接的谱分析，初步分析了非lambertian反射和遮挡场景。然而，该方法在对全光函数进行分析时，并没有指出在何种条件下全光函数为带限信号。针对该问题，Minh等人的论文指出：除非场景表面是平的，否则全光函数的频带不是带限的。Peng Zhou,Li Yu等人扩展了对非Lambertian反射的光谱分析。通过将反射解析光场作为纹理信息，建立了一个新的非Lambertian反射场景模型。2014年，Christopher Gilliam等人首次提出了有限斜面的全光谱表达式，并以此为基础对复杂场景进行合成。

2000年到2014年的研究大多将信号变换到傅里叶频域进行处理，通过全光函数建模，利用奈奎斯特采样定理推导最优的采样率，方法较为传统。近年来，许多新技术被应用于通过稀疏视点图像估计稠密视点图像的应用中。

2015年，Suren等人提出了一种重建密集采样光场的方法。通过一个由多视点校正相机采集得到的稀疏图像对光场进行重建，而不需要对场景深度进行精确的估计，所需的中间视图利用极化平面图像在剪切域里的稀疏性进行合成。

2016年，Stefan Heber和Thomas Pock利用卷积神经网络来预测光场(Lightfield，LF)数据的深度。该方法根据2D超平面的方向学习LF和相应4D深度场以表示端到端的映射。然后通过应用更高阶的正则化在后处理步骤中进一步细化所获得的预测。

2016年，N.K.Kalantari等人基于深度学习的方法使用两个卷积神经网络进行视差和颜色估计，LF的四个角视图用于合成中间视图。

2017年，AS Unde和PP Deepthi提出了基于迭代加权l1范数最小化的图像的块压缩感知框架重构算法和基于块的相关图像和视频帧联合重建算法，编码复杂度低，具有良好的压缩性能。

2017年，N Ansari和A Gupta提出了一种基于提升的、可分离的、图像匹配的小波联合框架，并将其应用于图像的重建。

2018年Suren等人基于压缩感知框架的重建方法，利用剪切波更灵活地对傅里叶频谱进行滤波，以低于奈奎斯特采样定理的采样率进行稀疏视点的图像重建，效果较好。

最新前沿方法利用剪切波作为稀疏基，通过随机测量矩阵获得低维测量信号，基于压缩感知求解方法重建稠密多视点图像，此时，测量信号包含了原始稠密多视点图像尽可能多的信息熵。现实VR场景图像重建等应用场景中，需要通过摄像机采集稀疏视点图像，并将它们作为压缩感知框架中的低维信号。显然，低维信号需要与测量矩阵相对应，若是采用随机测量矩阵，无法采集相应的低维测量信号。

发明内容

有鉴于此，本发明的目的是提出一种多视点稀疏测量的图像绘制方法，基于测量矩阵自适应构建稠密视点图像的稀疏基，并使之满足压缩感知框架中获取唯一精确解的条件。

本发明采用以下方案实现：一种多视点稀疏测量的图像绘制方法，具体包括以下步骤：

步骤S1：使用间隔大于设定阈值且数量小于设定阈值的摄像机，在多个不同方位进行图像采集，并将采集到的图像设为稀疏多视点图像；同时，利用压缩感知框架，确定待求解的双约束代价函数；

步骤S2：根据压缩感知框架，利用EPI模型，将采集到的图像根据不同视点的对应信息聚集到同一图像中，从而构建出输入EPI矩阵Y，并将其代入待求解的双约束代价函数中；

步骤S3：根据压缩感知框架，确定一个测量矩阵Φ：采用等间隔采样矩阵作为测量矩阵，即构造出一个非零位置与实际摄像机的位置相一致的矩阵Φ，并将其代入待求解的双约束代价函数中；

步骤S4：根据压缩感知框架，设定信号向量的非零元素个数ε，其值为一个常数，也被称为稀疏度；

步骤S5：求解双约束代价函数中的表示系数s，其值为一个向量；

步骤S6：求解双约束代价函数中的矩阵变量ψ，进而实现将原始信号表示成基矩阵；

步骤S7：重复步骤S5与步骤S6，直至满足条件；所述条件为：循环次数超过阈值或系数s中非零元素个数小于ε，即||s||₀＜ε；

步骤S8：将求解出的矩阵变量ψ(稀疏基)与系数s(稀疏系数) 相乘，从而获得原始信号的EPI矩阵；

步骤S9：利用EPI模型，将步骤S8求得的EPI矩阵转换成大于测量信号维度的原始信号，从而得到视点更加密集的原始图像。

本发明针对在随机测量矩阵条件下，低维测量信号由所有稠密视点信息线性组合而成，而稀疏视点信号仅仅来源于部分视点信息，两者不一致，导致无法利用稀疏视点采集的图像作为测量值的问题，提出了构建稀疏视点测量矩阵，利用间隔采样矩阵对齐测量值与稀疏视点图像信息之间的采样位置，进而通过约束由测量矩阵和基函数构成的传感矩阵尽量满足有限等距性，使得能够获得原始信号的唯一精确解。

进一步地，步骤S1中，所述双约束代价函数为：

式中，λ为平滑因子，由用户设置；D为传感矩阵，且D＝Φψ，

D∈R^M×K，其中，M＜K，R^N×N表示N×N大小的矩阵，gi_,j表示矩阵G_Λ中第i行第j列的元素，K表示传感矩阵D的列数，M表示传感矩阵D的行数。

进一步地，步骤S2中，所述输入EPI矩阵Y为：

式中，T代表矩阵转置，m代表多视点图像的第m行，K是代表多视点图像总个数；矩阵A_m的大小等于图像大小，表示如下：

进一步地，步骤S3中，测量矩阵Φ为：

式中，(x,y)为EPI块大小，(i,j)表示摄像机的位置坐标，t为采样间隔，且j∈[1:x*y]。具体条件为当与实际摄像机的位置一致时，令Φ为1，其余位置为零。

进一步地，步骤S5至步骤S7具体为：

设循环次数为J＝0，重复以下两个阶段直到循环次数J超过阈值或系数s中非零元素个数小于ε，即||s||₀＜ε；

阶段一：系数求解阶段；使用OMP正交匹配追踪算法求解下式，计算表示系数s：

式中，||·||_F表示矩阵的F范数操作，即：矩阵中所有元素平方和然后开根号；

阶段二：基函数更新阶段；固定阶段一获得的s,利用共轭梯度法，求解下式：

同时，令J＝J+1。

与现有技术相比，本发明有以下有益效果：本发明提出的方法在给定少量视点情况下，重建稠密视点图像是非常有效的。本发明提出的重建算法可应用于虚拟视点合成、多视点视频压缩后处理以及虚拟现实等领域。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的基向量个数与重建误差的关系示意图。

图3为本发明实施例的实验结果示意图。其中，(a)原始图像，(b) 原始图像截图，(c)傅里叶频域滤波，(d)小波基稀疏重建，(e)本文重建。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种多视点稀疏测量的图像绘制方法，具体包括以下步骤：

步骤S1：使用间隔大于设定阈值且数量小于设定阈值的摄像机，在多个不同方位进行图像采集，并将采集到的图像设为稀疏多视点图像；同时，利用压缩感知框架，确定待求解的双约束代价函数；

步骤S2：根据压缩感知框架，利用EPI模型，将采集到的图像根据不同视点的对应信息聚集到同一图像中，从而构建出输入EPI矩阵Y，并将其代入待求解的双约束代价函数中；

步骤S3：根据压缩感知框架，确定一个测量矩阵Φ：采用等间隔采样矩阵作为测量矩阵，即构造出一个非零位置与实际摄像机的位置相一致的矩阵Φ，并将其代入待求解的双约束代价函数中；

步骤S4：根据压缩感知框架，设定信号向量的非零元素个数ε，其值为一个常数，也被称为稀疏度；

步骤S5：求解双约束代价函数中的表示系数s，其值为一个向量；

步骤S6：求解双约束代价函数中的矩阵变量ψ，进而实现将原始信号表示成基矩阵；

步骤S7：重复步骤S5与步骤S6，直至满足条件；所述条件为：循环次数超过阈值或系数s中非零元素个数小于ε，即||s||₀＜ε；

步骤S8：将求解出的矩阵变量ψ(稀疏基)与系数s(稀疏系数) 相乘，从而获得原始信号的EPI矩阵；

步骤S9：利用EPI模型，将步骤S8求得的EPI矩阵转换成大于测量信号维度的原始信号，从而得到视点更加密集的原始图像。

在本实施例中，步骤S1中，所述双约束代价函数为：

式中，λ为平滑因子，由用户设置；D为传感矩阵，且D＝Φψ，

D∈R^M×K，其中，M＜K，R^N×N表示N×N大小的矩阵，gi_,j表示矩阵G_Λ中第i行第j列的元素，K表示传感矩阵D的列数，M表示传感矩阵D的行数。其中，符号“s.t.”表示需要满足的约束条件；符号“||s||₀”表示向量s中非零元素的个数。

在本实施例中，步骤S2中，所述输入EPI矩阵Y为：

式中，T代表矩阵转置，m代表多视点图像的第m行，K是代表多视点图像总个数；矩阵A_m的大小等于图像大小，表示如下：

在本实施例中，步骤S3中，测量矩阵Φ为：

式中，(x,y)为EPI块大小，(i,j)表示摄像机的位置坐标，t为采样间隔，且j∈[1:x*y]。具体条件为当与实际摄像机的位置一致时，令Φ为1，其余位置为零。

本实施例将t赋值为1，表示在每两个测量的摄像机之间插入一个视点信息，于是从原本测量值的8个视点变为了16个视点信息。

在本实施例中，步骤S5至步骤S7具体为：

设循环次数为J＝0，重复以下两个阶段直到循环次数J超过阈值或系数s中非零元素个数小于ε，即||s||₀＜ε；

阶段一：系数求解阶段；使用OMP正交匹配追踪算法求解下式，计算表示系数s：

式中，||·||_F表示矩阵的F范数操作，即：矩阵中所有元素平方和然后开根号；

阶段二：基函数更新阶段；固定阶段一获得的s,利用共轭梯度法，求解下式：

同时，令J＝J+1。

在本实施例中，设定循环次数J的阈值为20，设系数s中非零元素个数小于5。

特别的，为了验证本实施例提出算法的有效性，通过matlab实现了多视点稀疏测量的图像重建算法，并利用了斯坦福提供的公共测试序列(V.Vaish and A.Adams.The(new)Stanford light field archive.2008.[Online].Available: http://lightfield.stanford.edu)分析算法的适用性。

首先，本实施例对EPI图像进行分块处理，针对分块大小的选择，分别测试了由2x2，4x4，8x8三种块大小训练生成的稀疏表示基的重建误差。其中，稀疏表示基的向量个数非常重要，需要测试基向量个数变化对于重建结果的影响。因此，该参数测试实验分析了不同分块情况下，重建误差随着基向量个数变化的曲线情况，如图2所示。其中，重建误差用原始图像与重建图像的均方根误差衡量。

从结果可以看出，对于2x2的分块大小，基向量个数的变化对于重建误差没有很大影响；对于4x4和8x8的分块大小，相同基向量情况下，重建误差随着块增大逐渐变小，但误差减小的幅度逐渐趋于平缓；8x8分块具有更低的重建误差。因此，本实施例采用8x8作为实验的分块大小。

为了验证本实施例算法的有效性，对比测试了三种算法：基于傅里叶基的压缩传感矩阵算法，基于小波基的压缩传感矩阵算法，以及本实施例提出的基于多视点稀疏测量约束的压缩传感矩阵算法。算法的参数设置如表1所示：(1)三种算法的输入为相同的8组斯坦福公共测试序列。(2)压缩传感矩阵分别采用了传统的基于傅里叶基的压缩传感矩阵、前沿方法的基于小波基的压缩传感矩阵、本实施例提出的基于多视点稀疏测量约束的压缩传感矩阵，该部分是导致三种算法差异的主要参数。(3)采样点数均为原采样点数量的一半。(4)测量均使用本实施例提出的多视点间隔测量矩阵。

表1算法参数说明

实验结果如图3所示。图3为主观图的实验结果，其中图3(a) 为原始图像，为了便于分析图片细节，用方框截出来部分图片放大进行分析；图3(b)为原始图像截图部分，图3(c)为基于傅里叶基的还原结果，图3(d)为基于小波基的重建结果，图3(e)为基于本文重多视点稀疏测量约束方法的重建结果。在与原始图像的对比中可以看到，基于小波基的重建结果整体图像较为模糊，有重影等现象存在，这与理论结果相符；基于小波基的重建图像整体清晰度高于基于傅里叶基的重建结果，但是图像边缘位置容易模糊，且有少部分图像出现重影；基于本实施例方法的重建结果整体图像最为清晰，边缘部分基本上无失真还原，无重影现象。

表2和表3显示了用PSNR和SSIM两种方法评价的重建客观质量结果。其中，表2为8个相同输入序列第2、4、6、8、10、12、14、 16个视点的PSNR客观质量值；表3为8个相同输入序列第2、4、6、 8、10、12、14、16个视点的SSIM客观质量值。从中可以清晰地看到，基于傅里叶基方法的重建图像PSNR、SSIM值最差，基于小波基的方法对于PSNR、SSIM有所提高，而用本实施例方法重建出来的PSNR、 SSIM结果最好，这与主观图像实验结果相符。

表2重建图像客观质量PSNR(平均值)比较

表3重建图像客观质量SSIM(平均值)比较

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种多视点稀疏测量的图像绘制方法，其特征在于：包括以下步骤：

步骤S1：使用间隔大于设定阈值且数量小于设定阈值的摄像机，在多个不同方位进行图像采集，并将采集到的图像设为稀疏多视点图像；同时，利用压缩感知框架，确定待求解的双约束代价函数；

步骤S2：根据压缩感知框架，利用EPI模型，将采集到的图像根据不同视点的对应信息聚集到同一图像中，从而构建出输入EPI矩阵Y，并将其代入待求解的双约束代价函数中；

步骤S3：根据压缩感知框架，确定一个测量矩阵Φ：采用等间隔采样矩阵作为测量矩阵，即构造出一个非零位置与实际摄像机的位置相一致的矩阵Φ，并将其代入待求解的双约束代价函数中；

步骤S4：根据压缩感知框架，设定信号向量的非零元素个数ε，其值为一个常数，也被称为稀疏度；

步骤S5：求解双约束代价函数中的表示系数s，其值为一个向量；

步骤S6：求解双约束代价函数中的矩阵变量ψ，进而实现将原始信号表示成基矩阵；

步骤S7：重复步骤S5与步骤S6，直至满足条件；所述条件为：循环次数超过阈值或系数s中非零元素个数小于ε，即||s||₀＜ε；

步骤S8：将求解出的矩阵变量ψ与系数s相乘，从而获得原始信号的EPI矩阵；

步骤S9：利用EPI模型，将步骤S8求得的EPI矩阵转换成大于测量信号维度的原始信号，从而得到视点更加密集的原始图像。

2.根据权利要求1所述的一种多视点稀疏测量的图像绘制方法，其特征在于：步骤S1中，所述双约束代价函数为：

式中，λ为平滑因子，由用户设置；D为传感矩阵，且D＝Φψ，

D∈R^M×K，其中，M＜K，R^N×N表示N×N大小的矩阵，g_i,j表示矩阵G_Λ中第i行第j列的元素，K表示传感矩阵D的列数，M表示传感矩阵D的行数。

3.根据权利要求1所述的一种多视点稀疏测量的图像绘制方法，其特征在于：步骤S2中，所述输入EPI矩阵Y为：

式中，T代表矩阵转置，m代表多视点图像的第m行，K是代表多视点图像总个数；矩阵A_m的大小等于图像大小，表示如下：

4.根据权利要求1所述的一种多视点稀疏测量的图像绘制方法，其特征在于：步骤S3中，测量矩阵Φ为：

式中，(x,y)为EPI块大小，(i,j)表示摄像机的位置坐标，t为采样间隔，且j∈[1:x*y]。

5.根据权利要求1所述的一种多视点稀疏测量的图像绘制方法，其特征在于：步骤S5至步骤S7具体为：

设循环次数为J＝0，重复以下两个阶段直到循环次数J超过阈值或系数s中非零元素个数小于ε，即||s||₀＜ε；

阶段一：系数求解阶段；使用OMP正交匹配追踪算法求解下式，计算表示系数s：

式中，||·||_F表示矩阵的F范数操作；

阶段二：基函数更新阶段；固定阶段一获得的s,利用共轭梯度法，求解下式：

同时，令J＝J+1。