CN101521823A - 空间相关的全景数据压缩方法 - Google Patents

Abstract

一种空间相关的全景数据压缩方法，其步骤如下：(1)获取预测图像相对于参考图像的相机外参数，相机外参数包括相机的旋转矩阵R和平移量T；(2)完成步骤(1)以后，获取参考图像和预测图像的深度信息，即图像中每一个像素点的深度值；(3)根据步骤(2)的参考图像和预测图像的深度信息，获取参考图像和预测图像的场景点；(4)根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的参考图像和预测图像的场景点进行融合，得到预测图像新增加的场景点；(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增加的场景点进行编码。本发明利用连续采集的全景图像之间场景空间的相关性，压缩存在于全景图像里的空间冗余信息。

Description

空间相关的全景数据压缩方法

技术领域

本发明涉及全景图像技术领域，更具体地讲，涉及一种利用空间相关性对连续采集的全景数据进行压缩的方法。

背景技术

全景图像是由某一点拍摄的多幅实景图像拼接而成的。其具体的生成过程是：将相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，然后对投影图像进行无缝拼接，就可以得到全景图像。根据所映射的几何体，全景图像可以分为柱面全景图像、球面全景图像和立方体全景图像。

全景图像覆盖了360度的场景范围，所以其数据量巨大，这对图像的存储和传输造成了很大的困难。因此，需要对全景视频进行压缩编码，以降低存储空间和减少传输时占用的网络带宽。在视频图像压缩中，运动估计用来根据己经编码的参考帧产生当前预测帧的运动补偿预测，去除视频序列中存在的时间冗余。运动估计的方法是将预测帧分成若干大小相同的块，根据不同的搜索算法和匹配原则在参考帧一定大小的窗口内搜索最相似的匹配块。本发明前，中国发明专利“快速视频运动估计方法”，专利号为01100544.4，公开号为CN1333634，该专利公开了一种运动估计的方法，采用菱形搜索并自适应的终止搜索过程。该方法主要是针对普通视频采用固定顺序进行块匹配搜索，并没有充分利用视频图像间的空间冗余信息，从而不能有效地对全景图像进行压缩。中国发明专利“用于全景图像的运动估计和补偿的方法和设备”，申请号为200580027187.3，公开号为CN101002479A，该专利公开了一种利用全景图的左右边界之间的空间关系进行运动估计和补偿的方法。该方法只适用于柱面全景图，而且没有充分利用整幅全景图像的场景空间相关性，因而图像压缩效率不高。

对于通过相机运动在同一场景空间里连续采集的全景图像，这些全景图像所覆盖的大部分场景空间都是相同的。由于图像都来自同一场景空间，只是根据相机位置变化而采集了多次，所以图像与图像之间的数据相近，其差异主要是来自于空间采集位置的不同，其数据具有空间相关性。因此，本发明的空间相关的全景数据压缩方法利用连续采集的全景图像之间场景空间的相关性，压缩存在于全景图像里的空间冗余信息。

发明内容

本发明的目的是：克服现有方法没有充分利用场景空间相关性不能有效地提高全景图像压缩比的不足，提供一种利用空间相关性的全景数据压缩方法，该方法在全景数据压缩的过程中，可以有效地压缩存在于连续采集的全景图像间的空间冗余信息，提高全景图像数据的压缩比。

为了实现上述目的，本发明所采取的技术方案是：将连续采集的全景数据分为参考图像和预测图像，参考图像保存了整个图像的场景空间的场景点，预测图像只存储场景空间的新增加的场景点，预测图像可以根据相机的外参数从参考图像生成，从而减少全景图像的数据量，具体包含的步骤如下：

(1)获取预测图像相对于参考图像的相机外参数，所述相机外参数包括相机的旋转矩阵R和平移量T；

(2)完成步骤(1)以后，获取参考图像和预测图像的深度信息，即图像中每一个像素点的深度值；

(3)根据步骤(2)的参考图像和预测图像的深度信息，获取参考图像和预测图像的场景点；

(4)根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的参考图像和预测图像的场景点进行融合，得到预测图像新增加的场景点；

(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增加的场景点进行编码，从而完成空间相关的全景数据压缩。

本发明的原理是：在同一场景空间里连续采集了多幅全景图像，这些全景图像所覆盖的大部分场景空间都是相同的，利用全景图像间的空间相关性对图像进行压缩，通过相机外参数计算出参考图像和预测图像的所有场景点，然后对场景点进行融合，判断预测图像新增加的场景点，对于预测图像仅保存新增加的场景点的相关信息，从而对全景图像的数据量进行压缩。

本发明与现有技术相比的优点在于：本发明充分利用了场景空间的相关性对全景数据进行压缩，根据相机的外参数，计算出预测图像相对于参考图像新增加的场景点，参考图像保存了整个图像的场景点，预测图像仅存储新增加的场景点，从而减少全景数据的数据量，提高了全景数据的压缩比。

附图说明

图1为本发明中参考图像和预测图像的空间相关性的示意图；

图2为本发明空间相关的全景数据压缩方法的流程图；

图3为本发明中全景图像场景点生成的示意图；

图4为本发明中利用空间相关性对场景点进行融合的示意图。

具体实施方法

下面结合附图和实施例对本发明作进一步详细的描述：

本发明将连续采集的全景图像分为参考图像和预测图像。参考图像和预测图像具体可以按照固定比率(如1:5、1:10、1:15等)，也可以根据相机的平移量，按照相机相对于当前参考图像的位置进行划分。参考图像保存整幅图像本身的颜色信息以及相应的深度信息，通过参考图像可以获取整幅图像所对应的场景点。预测图像保存了相对于参考图像的场景点增量信息，其增量信息包括新增加的场景点的位置信息和颜色信息。预测图像可以根据相机的位置和方向利用空间相关性通过参考图像和场景点增量信息生成。对于连续采集的多幅全景图像来说，本发明利用场景的空间相关性对全景图像进行压缩。

在介绍本发明的具体实施步骤之前，对参考图像和预测图像的空间相关性进行说明。如图1所示，把参考图像11和预测图像12到映射单位球面上，对于出现在参考图像11和预测图像12中的同一个场景点X，该场景点在参考图像11和预测图像12上投影分别为P点和Q点，则P点和Q点的坐标变换如公式(1)所示。

$Q=\frac{R(l*P-T)}{\left|R(l*P-T)\right|}---\left(1\right)$

在公式(1)中，R和T是预测图像相对于参考图像的相机外参数13的旋转矩阵和平移量，1是在参考图像11中场景点X的深度值14，即场景点X与参考图像11相机中心0的距离。相机外参数的旋转矩阵R和平移量T如公式(2)所示。

T＝[t_x t_y t_z]^T

在公式(2)中，(α，β，γ)表示相机绕X方向、Y方向和Z方向的旋转量，(t_x，t_y，t_z)表示相机沿X方向、Y方向和Z方向的平移量。

场景点X在预测图像12中的投影点Q，可以根据预测图像相对于参考图像的相机外参数13和场景点X的深度值14，利用参考图像11和预测图像12的场景空间相关性，从参考图像11生成。

本发明利用空间相关性的全景数据压缩方法的流程如图2所示，其步骤如下：

(1)使用Structure From Motion(运动结构重建)算法获取预测图像相对于参考图像的相机外参数，包括相机的旋转矩阵R和平移量T，也可以采用其它方法获取相机外参数。

上述的运动结构重建算法主要包括以下步骤：首先，提取参考图像和预测图像的特征点，例如KLT(Kanade-Lucas-Tomasi)特征点，并根据特征点的描述子信息寻找相邻两幅图像中匹配的特征点；其次，根据特征点的匹配关系计算相邻两幅图像的相机外参数；然后，根据相邻两幅图像之间的相机外参数，计算所有图像相对参考图像的相机外参数；最后，对所有的相机外参数进行捆绑调整。

(2)完成步骤(1)以后，使用Plane Sweeping(平扫)算法获取参考图像和预测图像的深度信息，即图像中每一个像素点的深度值，也可以采用其它方法获取图像的深度信息。

上述的平扫算法主要包括以下步骤：首先，在空间中预定义一系列的平面，每一个平面对应一个深度值；然后，让图像中心与像素点所构成的射线与预定义的各平面相交，并计算各交点在其它图像上的投影点；最后，统计投影点与原像素点的颜色误差和，选取颜色误差和最小的交点所对应的平面的深度值作为原像素点的深度值。

(3)根据步骤(2)获取的深度信息，获取参考图像和预测图像各自的三维场景点。

如图3所示，P点是全景图像31上的一个像素点，1是像素点P相对于全景图像中心的深度32，(

θ)是像素点P的经纬度33，其中

的取值范围是(-π，π)，θ的取值范围是(-π/2，π/2)。像素点P所对应的场景点X的三维坐标如公式(3)所示。

根据像素点的经纬度和深度信息，利用公式(3)可以生成全景图像中所有像素点所对应的场景点。

(4)根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的场景点进行融合，得到预测图像新增加的场景点。

如图4所示，对于同时在参考图像41和预测图像42中投影的场景点X，X₁是场景点X相对于参考图像中心的坐标44，X₂是场景点X相对于预测图像中心的坐标45，则X₁和X₂的坐标变换如公式(4)所示。

X₂＝R(X₁-T)     (4)

其中，R和T是预测图像相对于参考图像的相机外参数43的旋转矩阵和平移量。

根据公式(4)，对预测图像的每一个场景点进行判断，如果存在一个参考图像的场景点与所述预测图像的场景点满足上述公式(4)，则该预测图像的场景点不是新增加的场景点；如果不存在一个参考图像的场景与预测图像的场景点满足上述公式(4)，则该预测图像的场景点是新增加的场景点。

对于已经在参考图像中存在的场景点，如图4中同时在参考图像41和预测图像42中投影的场景点X，这类点的深度和颜色信息只需要在参考图像中保存，而它们在预测图像中的投影点Q可以根据相机的旋转和平移利用空间相关性通过公式(1)生成。对于预测图像新增加的场景点，如图4中仅在预测图像42中投影的场景点Y，需要在预测图像42中保存新增加的场景点的位置和颜色。

(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增加的场景点进行编码。对于参考图像本身的颜色信息采用JPEG标准压缩编码方式，其深度信息被组织成深度图像也采用JPEG标准压缩编码方式。对于预测图像新增加的场景点的位置信息和颜色信息采用HUFFMAN压缩编码。参考图像和预测图像的压缩编码也可以采用其它编码方法。

本发明中未详细阐述的部分属于本领域技术人员的公知技术。

最后所应说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明利用空间相关性对全景数据进行压缩前提下，还可以做出若干改进或等同替换，这些改进和等同替换也应视为本发明的保护范围。

Claims (4)

1、一种空间相关的全景数据压缩方法，其特征在于步骤如下：

(1)获取预测图像相对于参考图像的相机外参数，所述相机外参数包括相机的旋转矩阵R和平移量T；

(2)完成步骤(1)以后，获取参考图像和预测图像的深度信息，即图像中每一个像素点的深度值；

(3)根据步骤(2)的参考图像和预测图像的深度信息，获取参考图像和预测图像的场景点；

(4)根据步骤(1)获取的相机外参数，利用空间相关性对步骤(3)获取的参考图像和预测图像的场景点进行融合，得到预测图像新增加的场景点；

(5)完成步骤(4)以后，对参考图像本身的颜色信息和深度信息以及预测图像新增加的场景点进行编码，从而完成空间相关的全景数据压缩。

2、根据权利要求1所述的空间相关的全景数据压缩方法，其特征在于：所述步骤(3)中获取参考图像和预测图像场景点的方法为：根据参考图像和预测图像每个像素点的深度值1，利用下列公式(a)计算参考图像和预测图像每个像素点所对应的场景点的三维坐标(x，y，z)，从而得到参考图像和预测图像的场景点：

其中，θ为像素点的纬度，

为像素点的经度，1为像素点的深度值。

3、根据权利要求1所述的空间相关的全景数据压缩方法，其特征在于：所述步骤(4)中根据相机外参数，利用空间相关性对参考图像和预测图像的场景点进行融合，得到预测图像相对于参考图像新增加的场景点的方法为：对预测图像的每一个场景点进行判断，如果存在参考图像的场景点与所述预测图像的场景点满足下述公式(b)，则该预测图像的场景点不是新增加的场景点；如果不存在参考图像的场景点与该所述预测图像的场景点满足下述公式b，则该预测图像的场景点是新增加的场景点，

X₂＝R(X₁-T)           (b)

其中，X₁是参考图像的场景点相对于参考图像中心的坐标，X₂是预测图像的场景点相对于预测图像中心的坐标，R和T是预测图像相对于参考图像的相机外参数的旋转矩阵和平移量。

4、根据权利要求1-3之一所述的空间相关的全景数据压缩方法，其特征在于：所述的参考图像保存整幅图像本身的颜色信息以及相应的深度信息，预测图像保存新增加的场景点的位置信息和颜色信息。

Images