CN104935909A - 一种基于深度信息的多幅图超分辨方法 - Google Patents

Abstract

本发明公开了一种基于深度信息的多幅图超分辨方法，包括以下步骤：a.获取一组同一场景、不同参考视点的低分辨率图像以及对应的一组同等分辨率的深度图；b.利用深度信息确定每个参考视点的图像中的每个像素投影到指定视点位置的视差大小，从而得到该像素在指定视点的位置；c.将参考视点的低分辨率图像投影至指定视点，将每幅图像中的信息融合在一起，得到一幅高分辨率图像。本发明的方法可代替以往超分辨技术中对应的图像配准方法，超分辨效果更好，本发明的方法简单、实用，具有很强的普适性。

Description

一种基于深度信息的多幅图超分辨方法

技术领域

本发明涉及图像处理领域，特别是涉及一种基于深度信息的多幅图超分辨方法。

背景技术

在很多场合，由于设备或工作环境的限制，导致得到的图像质量很低，不利于下一步的工作开展，因此获得更高的图像质量是非常必要的。

最直接获取高质量图像的方法是提高图像获取设备的性能，这就要求进一步减小图像传感器的尺寸，然而在传感器技术中这存在一个极限，当传感器尺寸小到一定程度同样导致图像质量不可避免的降低，这是因为随着传感器尺寸的降低，而噪声却不会变少，因此信号中噪声的比重就提高了。同时，这种方法的代价成本很高。因此，利用软件上对图像的超分辨技术就是一个不错的选择。

超分辨技术是指利用一组低分辨图像，克服或补偿图像获取设备或恶劣的获取条件带来的限制从而得到更高分辨率的图像恢复技术，超分辨技术的本质是重组或补偿图像的细节信息，尤其是高频信息，让这些信息更加系统、全面，有利于图像的识别和理解。

现有的超分辨技术仍存在一些基本问题，比如很多文章都限定其算法在某种特定情形之下性能较好，换一种场合效果可能就显著降低，因而不具有普适性，而在实际情形中，环境是多变的，算法的局限性就意味着本身存在不合理之处。例如，在多幅图超分辨中都有图像配准这个环节，现有的方法注意力都集中在如何计算出的视差计算方法更准确，为此有很多种配准方法，比如有基于光流法的，有基于单应性矩阵的，有基于运动矢量的，有在频域实现配准的，还有其它类似的方法。然而，光流法虽然本质上是合理的，但是过于简单粗糙，精度上是不够的，这就意味着误差会很大，因而最终超分辨结果也不会令人满意；基于单应性矩阵的这类方法本质上也是计算视点变换的运动矢量，这个方法理论上精度更高，但是这方法是存在问题的，它假设场景中所有的像素的视点变换的运动矢量是一样的，这就意味着假定场景中所有像素不存在深度差异，这和实际场景不 一致，实际情形是，在场景中深度较小(较近)的对象在视点变换之后的视差较大，深度较大的对象则视差较小，这就说明不可以用同一个运动矢量来描述视点变换矩阵，最终超分辨结果必然有错误，而运动估计的问题也直接影响到最后超分辨率(SR)图像恢复的质量。

发明内容

本发明的主要目的在于克服现有技术的不足，针对多幅图超分辨不同视点之间图像配准提出了基于深度信息配准的新方法，提供一种基于深度信息的多幅图超分辨方法。

为实现上述目的，本发明采用以下技术方案：

一种基于深度信息的多幅图超分辨方法，包括以下步骤：

a.获取一组同一场景、不同参考视点的低分辨率图像以及对应的一组同等分辨率的深度图；

b.利用深度信息确定每个参考视点的图像中的每个像素投影到指定视点位置的视差大小，从而得到该像素在指定视点的位置；

c.将参考视点的低分辨率图像投影至指定视点，将每幅图像中的信息融合在一起，得到一幅高分辨率图像。

本发明中，低分辨率图像和高分辨率图像，分辨率的高低是两者之间相比较而言的。

进一步地： 

步骤b包括以下步骤：

b1.将参考视点的二维坐标转换到三维世界坐标系中的世界坐标；

b2.将世界坐标转换到指定视点的二维坐标。

步骤b1包括：

利用参考视点的深度信息，通过以下公式实现参考视点中的一个像素(u_r,v_r)变换到世界坐标(X_w，Y_w，Z_w)：

$\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right)=R_{3\×3,r}^{-1}(z_r{A}_{3\×3,r}^{-1}\left(\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right)-{t_3}_{\×1},r)---\left(5\right)$

其中，r表示第r个参考视点，z_r是参考视点在(u_r,v_r)位置对应的深度值，其通过下面的公式计算得到：

$Z=-\frac{1}{\frac{v}{255}\·(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}}---\left(6\right)$

其中，v是归一化之后的深度值，Z_near是真实深度值中距离拍摄低分辨率图像的相机最近的深度，Z_far是真实深度值中距离相机最远的深度；

A为相机内部参数：

$A=\left[\begin{array}{ccc}{a}_x& s& x_0\\ 0& a_y& y_0\\ 0& 0& 1\end{array}\right]---\left(4\right)$

其中，a_x＝fm_x,a_y＝fm_y,f是焦距,m_x和m_y是图像不是正方形时引入的非等量尺度因子,x₀和y₀是考虑到非等量尺度因子的图像原点和相机主点的中心偏移量，x₀＝m_xp_x，y₀＝m_yp_y，p_x和p_y是相机主点在图像坐标中的坐标，即相机主点在图像原点的偏移,s是扭曲参数；

R，t属于相机外部参数，R是旋转系数，为一个3×3旋转矩阵，t是平移矢量，为一个平移矩阵, 表示相机中心在世界坐标系中的坐标。

步骤b2包括：

通过以下公式将世界坐标(X_w，Y_w，Z_w),投影到指定的中心视点(u_c，v_c)：

$z_c\left(\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right)=A_{3\×3,c}\left(R_{3\×3,c}\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right)+t_{3\×1,c}\right)---\left(7\right)$

其中，c表示指定的中心视点，z_c表示在中心视点处图像的深度值，A_3x3,c表示在中心视点处相机坐标系转化为二维图像坐标系的相机内部参数，R_3x3,c表示在中心视点处世界坐标系转化为相机坐标系的旋转系数,t_3x1,c是表示相机中心在世界坐标系中的方位的平移矩阵。

步骤b包括：

设定参考视点的低分辨率图像的分辨率为m×n，对应的高分辨率图像的分辨率为M×N，指定中心视点的高分辨率图像的分辨率为M×N，参考视点的低分辨率图像中某一不为零的像素(u_r，v_r)经放大之后坐标为(U_r，V_r)，指定中心视点的高分辨率图像的像素坐标为(U_c，V_c)，坐标对应关系： 

以大小为(MN)×(MN)的视点变换矩阵W描述参考视点的低分辨率图像对应的高分辨率图像Y_r中每个像素位置和指定中心视点的高分辨率图像X_c中像素位置的对应关系：

Y_r＝W_r，cX_c  (8)

W_r,c是视点变换矩阵，X_c是指定中心视点的高分辨率图像中像素坐标位置，Y_r是低分辨率图像对应的高分辨率图像的像素坐标位置，

由上面得到的坐标对应关系在矩阵W的第(U_r×V_r)行、第(U_c×V_c)列的位置上值取1，在没有这种坐标对应关系的位置取零，从而确定视点变换矩阵W；

利用公式(8)中的视点变换矩阵W并结合以下公式(2)，以获得指定中心视点的高分辨率图像；

y_i＝DBW_iX+e_i    (1)

其中，y_i是一组低分辨率图像中第i幅图像，X是待求的高分辨率图像，W_i是第i个视点转换配准矩阵，B是模糊矩阵，D是降采样矩阵，e_i是噪声，将所有视点的低分辨率图像代入上面的公式得到：

y＝MX+e    (2)

其中，

$M=\left[\begin{array}{c}\begin{array}{c}{\mathrm{DBW}}_1\\ {\mathrm{DBW}}_2\end{array}\\ .\\ \begin{array}{c}.\\ .\end{array}\\ {\mathrm{DBW}}_N\end{array}\right]---\left(3\right).$

步骤c中采用插值方法得到高分辨率图像，所述插值方法包括配准环节、插值环节和去模糊环节。

所述插值方法选自最近邻插值法、非均匀插值法、运动最小方差插值法、迭代后向投影法以及凸集投影法中的任一种。

本发明是一种基于深度信息的多幅图超分辨方法，输入对象是一组低分辨率图像以及对应的一组深度图，利用深度信息计算出每个视点图像中的每个像素投影到指定视点位置的视差大小，从而得到该像素在指定中心视点的位置，可实现不同视点的投影，再通过图像恢复技术将这些信息融合便得到一幅高分辨率图像，还可经过一些后续图像增强技术的处理得到最终的高分辨图像。同一场景不同视点的低分辨率图像，该场景中的对象允许有深度变化。每一个视点的图像和深度图是对应成对的，有同样的尺寸，这样保证每个像素位置都有深度信息，这样可保证每个像素点都能确 定的计算视点变换之后的位置，同样也保证了视点变换的精度。利用深度信息计算视差，可以利用视点合成“3D image warping”技术，或根据实际场合的特点采用更简洁的公式，计算视点变换之后的位置。

本发明的超分辨(SR)是指多幅图超分辨，是利用不同视点的图像提取不同的有用信息来获取高分辨率图像。一般意义上，符合多幅图来超分辨的算法都可以适用于本发明。

本发明中，输入对象是一组同一场景、不同视点的低分辨率图像以及对应的一组同等分辨率的深度图，输出为一幅高分辨率的图像，利用深度信息计算出每个视点的像素坐标在参考视点中的新坐标，即可实现每个视点图像到参考视点的视点变换，通过本发明的方法代替以往超分辨技术中对应的图像配准方法，可使得超分辨效果更好。本发明的方法简单、实用，符合实际情形，具有很强的普适性。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例中的图像转换示意图；

图3a和图3b为实验中的输入图像及其对应的深度图；

图4a为选取图片的部分区域做超分辨的图片示例；

图4b为图4a所示图片部分进行bicubic插值处理的结果；

图4c为图4a所示图片部分完成超分辨的结果。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1和图2，根据本发明的一种实施例，实现多幅图超分辨的原理如下：

输入是同一场景的一组低分辨率图像，输出是一幅高分辨率图像，这里的高分辨率不仅仅是像素数目的更大，更重要的是图像的细节信息相对更丰富，更有序。这里使用一个前向成像模型：

y_i＝DBW_iX+e_i    (1)

其中，y_i是一组低分辨率图像中第i幅图像，X是一幅高分辨率图像，W_i是第i个视点转换配准矩阵，B是模糊矩阵，D是降采样矩阵，e_i是噪声。该模型的含义是任何一个视点的低分辨率图像都可以由高分辨率图像通过视点转换、模糊、降采样和加噪声得到。

因而当我们已知一组不同视点的低分辨率图像，利用这些信息可以反求出高分辨率图像。于是将所有视点的低分辨率图像代入上面的公式得到：

y＝MX+e    (2)

其中，

$M=\left[\begin{array}{c}\begin{array}{c}{\mathrm{DBW}}_1\\ {\mathrm{DBW}}_2\end{array}\\ .\\ \begin{array}{c}.\\ .\end{array}\\ {\mathrm{DBW}}_N\end{array}\right]---\left(3\right).$

通过求解上面的方程，可以得到期望的HR图像。

超分辨的本质是充分利用多幅图像中有差异的有效信息来得到细节内容更完整的图像，因此，如何合理利用不同视点的图像就是关键的环节，涉及到图像配准环节，该环节极大地影响到最后的图像恢复质量。

不同深度的对象，在视点变换过程中的视差是不一样的，深度较小(近)的对象在不同视点中的视差较大，深度较大(远)的对象在不同视点中的视差较小。把视差和深度结合起来考虑，根据不同的深度值计算出不同的视差，这就是本发明的出发点。在视点合成中的视点变换过程就是基于深度信息计算视差的，其主要包括两步：第一步是将参考视点的二维坐标转换到三维的世界坐标系；第二步是将世界坐标转换到指定视点的二维坐标。

首先，利用参考视点的深度信息实现参考视点中的一个像素(u_r，v_r)变换到世界坐标(X_w，Yw_，Z_w)，公式如下：

$\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right)=R_{{\stackrel{\‾}{3}}^1\×3,r}(z_r{A}_{3\×3,r}^{-1}\left(\begin{array}{c}{u}_r\\ v_r\\ 1\end{array}\right)-t_3\×1,r)---\left(5\right)$

其中，r表示第r个参考视点，z_r是参考视点在(u_r,v_r)位置对应的深度值，它通过下面的公式计算得到：

$Z=-\frac{1}{\frac{v}{255}\·(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}}}---\left(6\right)$

其中，v是归一化之后的深度值,即0-255，Z_near是真实深度值中距离拍摄低分辨率图像的相机最近的深度，Z_far是真实深度值中距离相机最远的深度，Z是每个像素的真实深度值。

其次，世界坐标(X_w，Y_w，Z_w),投影到中心视点(u_c，v_c)：

$z_c\left(\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right)=A_{3\×3,c}\left(R_{3\×3,c}\left(\begin{array}{c}{X}_W\\ Y_W\\ Z_W\end{array}\right)+t_{3\×1,c}\right)---\left(7\right)$

其中，c表示中心视点,z_c表示在中心视点处图像的深度值，A_3x3,c表示在中心视点处相机坐标系转化为二维图像坐标系的相机内部参数，R_3x3,c表示在中心视点处世界坐标系转化为相机坐标系的旋转系数,t_3x1,c是表示相机中心在世界坐标系中的方位的平移矩阵。

相机内部参数A和外部参数E＝[R|t]要求已知，内部参数A可将三维相机坐标转换成二维图像坐标，外部参数E＝[R|t]可将世界坐标转换成三维相机坐标，其中，R是旋转系数，t是平移矢量。

相机内部参数A：

$A=\left[\begin{array}{ccc}{a}_x& s& x_0\\ 0& a_y& y_0\\ 0& 0& 1\end{array}\right]---\left(4\right)$

其中，a_x＝fm_x,a_y＝fm_y,f是焦距,m_x和m_y是图像不是正方形时引入的非等量尺度因子。x₀和y₀是考虑到非等量尺度因子的图像原点和相机主点的中心偏移量，x₀＝m_xp_x,y₀＝m_yp_y，p_x和p_y是相机主点在图像坐标中的坐标，即相机主点在图像原点的偏移。s是扭曲参数，一般s＝0。

外部参数E＝[R|t]中，R是一个3×3旋转矩阵，其中是平移矩阵,表示相机中心在世界坐标系中的坐标。

由上述实施例中提供的“3D image warping”方程，可以将其他视点的图像转换到中心视点。当然，基于深度信息作视点变换还可以有其他更简洁的公式，其可根据以上提供的“3D image warping”方程结合系统特殊情形简化得到的，如下面的计算视差公式的例子。优选地，在视点变换之前先将图像尺寸放大到指定HR的分辨率(比如采用Bicubic插值实现)。

因此，我们知道了参考视点(LR图像，分辨率为m×n)对应的HR图像(分辨率为M×N)和中心视点(HR图像,分辨率为M×N)每个像素坐标的对应位置。假设参考视点图像中某一不为零的像素(u_r，v_r)经放大之后坐标为(U_r，V_r)，经过上面的“3D image warping”方程计算出中心视点(HR图像)的坐标为(U_c，V_c)，可得到一对坐标对应关系：可设计一个视点变换矩阵W来记录这样的对应关系。

视点变换矩阵W的矩阵大小为(MN)×(MN),这个矩阵描述参考视点LR 图像对应的HR图像Y_r中每个像素位置和中心视点HR图像X_c中像素位置的对应关系：

Y_r＝W_r，cX_c    (8)

其中W_r,c是视点变换矩阵，X_c是指定中心视点的高分辨率图像中像素坐标位置，Y_r是低分辨率图像对应的高分辨率图像的像素坐标位置。

由上面得到的一对坐标对应关系可以得到在矩阵W的第(U_r×V_r)行、第(U_c×V_c)列的位置上值为1，在没有这种坐标对应关系的位置都为零，这样就可以得到视点变换矩阵W。这种方式记录的视点变换关系是最精确的，也是与实际情形一致的，距离相机越近的对象在视点变换过程中的偏移越大，反之越小。视点变换越准确，在同样的超分辨(SR)算法中最后恢复的HR图像也更好。

将上面公式(8)中的视差矩阵W代入到公式(2)中，计算期望的HR图像。多幅图超分辨都可以采用上述图像配准方法来进行超分辨。

利用上述图像配准算法计算每个视点图像转换到指定视点，进行图像配准之后，接下来进行图像恢复。

可采用不同的SR方法，利用上面的配准信息和输入图像数据来恢复出一幅高分辨率的图像。例如，利用插值法，或利用凸优化方法，以及后续的一些优化方法。

插值法通过将所有视点低分辨率图像投影至指定视点，然后将每幅图像中的信息融合在一起，最后在去模糊处理，最终获取高分辨率图像。

插值法SR方法可以包括以下三个处理环节：

配准环节，用来校准所有输入图像；

插值环节，来产生一幅高分辨率的图像；

去模糊环节，用来加强之前得到的高分辨率图像。

可采用的插值法有：

最近邻插值法，对于像素值未知的位置取自其最邻近的像素值；

非均匀插值法，利用一般的多通道采样理论对在空域做视点变换的LR图像进行非均匀插值；

运动最小方差插值法，该方法采用在像素的一定邻域范围内采用多项式近似来计算HR图像中每个像素位置的值；

迭代后向投影法；

凸集投影法。 

实例

输入对象： 

输入对象是对同一场景一组拍摄的一组低分辨率图像以及其对应的深度图。

实验的输入图像从一个数据库中获得，数据库下载地址：

http://hci.iwr.uni-heidelberg.de/HCI/Research/LightField/lf_benchmark.php，

实验用到的图像组是其中的“buddha”,其中的一幅彩色图和对应深度图(归一化处理)如图3a和图3b所示。

数据库图像集给出的系统参数：

根据深度和视差的转换公式：

$d=\frac{B\·f}{Z}-\mathrm{\Δ}x---\left(9\right)$

其中，

实际上，该公式是“3D image warping”在实际情形中的应用，根据场合的特点简化得到的。

接下来计算视差，进行视点变换。

在实验中，我们先将图像降采样为初始图像的1/(2×2)，深度图也一样降采样为原来的1/(2×2)，而原图像作为ground truth，用来衡量SR恢复效果。因此，理论上只需要用(2×2)幅LR图像就可以恢复出和ground truth一样分辨率的HR图像。

然后根据公式(9)计算每个视点的LR图像转换参考视点的视差，基于视差便可以知道在参考视点的位置。注意，在这个公式中，B和Δx的值都是原来的1/2。因为初始的B和Δx是根据初始分辨率(768×768)和实际场景的数据转换得到的，现在分辨率改变了，B和Δx的值也要做相应改变。

选用经典的插值SR算法进行图像恢复。

最终的实验结果如图4a至图4c所示。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于深度信息的多幅图超分辨方法，其特征在于,包括以下步骤：

a.获取一组同一场景、不同参考视点的低分辨率图像以及与各低分辨率图像对应的一组同等分辨率的深度图；

b.利用深度信息确定每个参考视点的图像中的每个像素投影到指定视点位置的视差大小，从而得到该像素在指定视点的位置；

c.将参考视点的低分辨率图像投影至指定视点，将每幅图像中的信息融合在一起，得到一幅高分辨率图像。

2.如权利要求1所述的多幅图超分辨方法，其特征在于,步骤b包括以下步骤：

b1.将参考视点的二维坐标转换到三维世界坐标系中的世界坐标；

b2.将世界坐标转换到指定视点的二维坐标。

3.如权利要求1所述的多幅图超分辨方法，其特征在于,步骤b1包括：

利用参考视点的深度信息，通过以下公式实现参考视点中的一个像素(u_r,v_r)变换到世界坐标(X_W,Y_W,Z_W)：

其中，r表示第r个参考视点，z_r是参考视点在(u_r,v_r)位置对应的深度值，其通过下面的公式计算得到：

其中，v是归一化之后的深度值，Z_near是真实深度值中距离拍摄所述低分辨率图像的相机最近的深度，Z_far是真实深度值中距离相机最远的深度，

A为拍摄低分辨率图像的相机内部参数：

其中，α_x＝fm_x,α_y＝fm_y,f是焦距,m_x和m_y是图像不是正方形时引入的非等量尺度因子,x₀和y₀是考虑到非等量尺度因子的图像原点和相机主点的中心偏移量，x₀＝m_xp_x,y₀＝m_yp_y，p_x和p_y是相机主点在图像坐标中的坐标，即相机主点在图像原点的偏移,s是扭曲参数；

R，t属于相机外部参数，R是旋转系数，为一个3×3旋转矩阵，t是平移矢量，为一个平移矩阵,表示相机中心在世界坐标系中的坐标。

4.如权利要求3所述的多幅图超分辨方法，其特征在于,步骤b2包括：

通过以下公式将世界坐标(X_W,Y_W,Z_W),投影到指定的中心视点(u_c,v_c)：

其中，c表示指定的中心视点，z_c表示在中心视点处图像的深度值，A_3×3,c表示在中心视点处相机坐标系转化为二维图像坐标系的相机内部参数，R_3×3,c表示在中心视点处世界坐标系转化为相机坐标系的旋转系数,t_3×1,c是表示相机中心在世界坐标系中的方位的平移矩阵。

5.如权利要求1所述的多幅图超分辨方法，其特征在于,步骤b包括：

设定参考视点的低分辨率图像的分辨率为m×n，对应的高分辨率图像的分辨率为M×N，指定中心视点的高分辨率图像的分辨率为M×N，参考视点的低分辨率图像中某一不为零的像素(u_r,v_r)经放大之后坐标为(U_r,V_r)，指定中心视点的高分辨率图像的像素坐标为(U_c,V_c)，坐标对应关系：

以大小为(MN)×(MN)的视点变换矩阵W描述参考视点的低分辨率图像对应的高分辨率图像Y_r中每个像素位置和指定中心视点的高分辨率图像X_c中像素位置的对应关系：

Y_r＝W_r,cX_c   (8) 

其中W_r,c是视点变换矩阵，X_c是指定中心视点的高分辨率图像中像素坐标位置，Y_r是低分辨率图像对应的高分辨率图像的像素坐标位置，

由上面得到的坐标对应关系在矩阵W的第(U_r×V_r)行、第(U_c×V_c)列的位置上值取1，在没有这种坐标对应关系的位置取零，从而确定视点变换矩阵W；

利用公式(8)中的视点变换矩阵W并结合以下公式(2)，以获得指定中心视点的高分辨率图像；

y_i＝DBW_iX+e_i   (1) 

其中，y_i是一组低分辨率图像中第i幅图像，X是待求的高分辨率图像，W_i是第i个视点转换配准矩阵，B是模糊矩阵，D是降采样矩阵，e_i是噪声，将所有视点的低分辨率图像代入上面的公式得到：

y＝MX+e   (2)

其中，

6.如权利要求1至5任一项所述的多幅图超分辨方法，其特征在于,步骤c中采用插值方法得到高分辨率图像，所述插值方法包括配准环节、插值环节和去模糊环节。

7.如权利要求1至6任一项所述的多幅图超分辨方法，其特征在于,所述插值方法选自最近邻插值法、非均匀插值法、运动最小方差插值法、迭代后向投影法以及凸集投影法中的任一种。