CN104715496A - 云环境下基于三维点云模型的图像预测方法、系统及装置 - Google Patents

Abstract

本发明公开了一种云环境下基于三维点云模型的图像预测方法、系统及装置，相关方法包括：获取云端聚类后相似图像对应的三维点云模型及摄像机参数；根据云端聚类后相似图像对应的三维点云模型及摄像机参数对当前待编码图像进行预测，其包括：根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像；根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对；以匹配像素对作为预测块中心生成待编码图像的预测。通过采用本发明公开的方法，可以适应相似图像间更复杂的视角变换和更大的差异性，图像间的预测更加准确，从而在云环境下对相似图像进行高效的压缩编码。

Description

云环境下基于三维点云模型的图像预测方法、系统及装置

技术领域

本发明涉及云环境下的图像编码技术领域，尤其涉及一种云环境下基于三维点云模型的图像预测方法、系统及装置。

背景技术

随着互联网的发展，云端的图像数据量急剧增加，给其传输和存储带来了巨大压力。云环境下存在大量的具有较强相关性的图像，如何利用图像间的相关性进行高效的编码是一个至关重要的问题。

传统图像编码方案，如JPEG、JPEG 2000等，只针对单张图像进行压缩，并未利用图像间的相关性，压缩效率有待提升。现有的利用图像间相关性进行压缩的技术有两类，第一类生成图像集的RS(Representative signal，典型图像)，例如图像集的平均值，再将每张图像减去RS后的残差进行编码。该类方法对图像间相关性的挖掘较为简单；第二类技术将图像集类比成视频帧序列，通过MST(minimum cost spanning tree，最小生成树)等算法生成最优的图像间预测结构，在预测前进行一定的几何校正，例如基于局部特征的仿射变换，再进行光照补偿，最后利用视频编码器对图像集进行预测编码。

然而，上述解决方案仍然存在很多不足。第一类方法只对没有明显视角变换的图像集有效。第二类方法将图像集类比成视频帧序列，采用了较为简单的几何校正，如仿射模型。但图像间的相关性比自然视频要小得多，该方法对于相似度高、视角变换不大的个人影集图像效果较好，但对于云环境下具有较明显差异性的图像效果较差。而且这些方法多数需要帧间预测的结构，不能直接用于多分辨率的图像集合，不适合云环境下的图像编码。

发明内容

本发明的目的是提供一种云环境下基于三维点云模型的图像预测方法、系统及装置，可以利用图像间的相关性进行预测编码，适应图像间较大的视角变换和差异性，提高图像集编码的压缩效率。

本发明的目的是通过以下技术方案实现的：

一种云环境下基于三维点云模型的图像预测方法，该方法包括：

获取云端聚类后相似图像对应的三维点云模型及摄像机参数；

根据云端聚类后相似图像对应的三维点云模型及摄像机参数对当前待编码图像进行预测，其包括：根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像；根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对；以匹配像素对作为预测块中心生成待编码图像的预测。

进一步的，所述获取云端聚类后相似图像对应的三维点云模型及摄像机参数包括：

利用运动估计结构SfM算法估算云端聚类后相似图像的摄像机参数，所述摄像机参数包括焦距f、畸变校正因子k1与k2、旋转矩阵R与平移矩阵T；

重建云端聚类后相似图像对应的三维点云模型；

其中，云端聚类后相似图像的摄像机参数记为C＝{C₁,C₂,...,C_n}，式中，n表示图像数量；云端聚类后相似图像对应的三维点云模型记为P＝{p₁,p₂,...,p_m}，点云模型中的每一点p_l都包含了对应的三维位置坐标X_l＝[x_l,y_l,z_l]^T，其中l＝[1,m]。

进一步的，所述根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像包括：

利用下述公式分别计算待编码图像I_c与云端聚类后相似图像I_k间的不相似性d_c,k：

d_c,k＝α·(f_c-f_k)²+β·(||R_c-R_k||²+||T_c-T_k||²)

其中，α与β为权重系数；f_c、R_c与T_c分别为待编码图像I_c的焦距、旋转矩阵与平移矩阵；f_k、R_k与T_k分别为云端聚类后相似图像I_k的焦距、旋转矩阵与平移矩阵；

选择云端聚类后相似图像中与待编码图像I_c不相似性最小的图像作为参考图像。

进一步的，所述根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对包括：

将三维点云模型中的点p_l通过下述公式投影到待编码图像I_c上，获得待编码图像I_c上的像素位置(x_c,l,y_c,l)；具体的包括如下四个公式：

将待编码图像I_c的旋转矩阵和平移矩阵作用于点p_l的坐标X_l上，其公式为：

P_c,l＝R_c·X_l+T_c

对P_c,l进行反向和归一化，其公式为：

p_c,l＝-P_c,l/P_c,l(3)

计算对应的畸变校正系数r(p_c,l)，其公式为：

r(p_c,l)＝1.0+k_c,1·||p_c,l||²+k_c,2·||p_c,l||⁴

利用计算获得的畸变校正系数进行缩放与畸变校正，获得最终结果，其公式为：

[x_c,l,y_c,l,z_c,l]＝p'_c,l＝f_c·r(p_c,l)·p_c,l

上述式子中，R_c、T_c与f_c分别为待编码图像I_c的旋转矩阵、平移矩阵与焦距，k_c,1与k_c,2为待编码图像I_c的畸变校正因子；P_c,l(3)表示三维坐标P_c,l的z轴坐标值；p'_c,l表示对p_c,l进行缩放与畸变校正后的结果；

再利用上述四个公式将三维点云模型中的点p_l投影到参考图像I_r上，获得参考图像I_r上的像素位置(x_r,l,y_r,l)；

若像素位置(x_c,l,y_c,l)与(x_r,l,y_r,l)均位于其对应图像的实际边界范围内，则构成匹配像素对；

将三维点云模型中所有点均通过上述方法处理后，获得全部的匹配像素对。

进一步的，所述以匹配像素对作为预测块中心生成待编码图像的预测包括：

确定预测块的大小，其边长L的计算公式为：

$L=[\mathrm{\λ}\·f_c\·\sqrt{\frac{\mathrm{Width}\·\mathrm{Height}}{N}}]+1;$

其中，λ为权重系数，f_c为待编码图像I_c的焦距，Width和Height分别为待编码图像I_c的宽度和高度，N为匹配像素对的数量，[]表示四舍五入取整数；

定义以(x_c,l,y_c,l)为中心的L×L正方形区域内的像素点集合S_c,l：

$\begin{array}{c}{S}_{c,l}=\left\{I_c(x,y)\right|x_{c,l}-\frac{1}{2}\&CenterDot;L<x<x_{c,l}+\frac{1}{2}\&CenterDot;L\\ y_{c,l}-\frac{1}{2}\&CenterDot;L<y<y_{c,l}+\frac{1}{2}\&CenterDot;L\}\end{array}$

对于待编码图像I_c上属于集合S_c,l的像素点I_c(x,y)，先进行像素点到三维点云的转换，再进行三维点云到参考图像平面的投影，具体的：

假设属于S_c,l的所有像素点在摄像机坐标系的z轴上有着相同的值，并且该值近似等于正方形区域中心点处的z的值；则对于集合内的第i个像素点(x_c,i,y_c,i)，有近似：

z_c,i≈z_c,l

P_c,i(3)≈P_c,l(3)；

根据前述四个公式进行反推，得到第i个像素点(x_c,i,y_c,i)在三维点云中的位置X_i：

$X_i\&ap;-{R_c}^{-1}\&CenterDot;(\frac{P_{c,l}\left(3\right)}{f_c\&CenterDot;r\left(p_{c,l}\right)}\&CenterDot;{[x_{c,i},y_{c,i},z_{c,l}]}^T+T_c)$

将X_i代入前述四个公式，从而获得该点在参考图像I_r的像素点(x_r,i,y_r,i)；则参考图像I_r上的像素点(x_r,i,y_r,i)的值可以用作当前图像上的像素点(x_c,i,y_c,i)的预测值；

当所有预测块均通过上述方式完成预测时，再分别计算出参考图像I_r和待编码图像I_c参与预测的像素点的亮度平均值，再将这两个平均值的差值叠加到上述预测值上。

一种云环境下基于三维点云模型的图像预测系统，该系统包括：

三维点云模型及摄像机参数获取模块，用于获取云端聚类后相似图像对应的三维点云模型及摄像机参数；

待编码图像预测模块，用于根据云端聚类后相似图像对应的三维点云模型及摄像机参数对当前待编码图像进行预测，其包括：根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像；根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对；以匹配像素对作为预测块中心生成待编码图像的预测。

进一步的，所述三维点云模型及摄像机参数获取模块包括：

摄像机参数估计模块，用于利用运动估计结构SfM算法估算云端聚类后相似图像的摄像机参数，所述摄像机参数包括焦距f、畸变校正因子k1与k2、旋转矩阵R与平移矩阵T；

三维点云模型重建模块，用于重建云端聚类后相似图像对应的三维点云模型；

其中，云端聚类后相似图像的摄像机参数记为C＝{C₁,C₂,...,C_n}，式中，n表示图像数量；云端聚类后相似图像对应的三维点云模型记为P＝{p₁,p₂,...,p_m}，点云模型中的每一点p_l都包含了对应的三维位置坐标X_l＝[x_l,y_l,z_l]^T，其中l＝[1,m]。

进一步的，所述待编码图像预测模块包括：参考图像确定模块，用于根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像，其包括：

利用下述公式分别计算待编码图像I_c与云端聚类后相似图像I_k间的不相似性d_c,k：

d_c,k＝α·(f_c-f_k)²+β·(||R_c-R_k||²+||T_c-T_k||²)

其中，α与β为权重系数；f_c、R_c与T_c分别为待编码图像I_c的焦距、旋转矩阵与平移矩阵；f_k、R_k与T_k分别为云端聚类后相似图像I_k的焦距、旋转矩阵与平移矩阵；

选择云端聚类后相似图像中与待编码图像I_c不相似性最小的图像作为参考图像。

进一步的，所述待编码图像预测模块包括：匹配像素对生成模块，用于根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对，其包括：

将三维点云模型中的点p_l通过下述公式投影到待编码图像I_c上，获得待编码图像I_c上的像素位置(x_c,l,y_c,l)；具体的包括如下四个公式：

将待编码图像I_c的旋转矩阵和平移矩阵作用于点p_l的坐标X_l上，其公式为：

P_c,l＝R_c·X_l+T_c

对P_c,l进行反向和归一化，其公式为：

p_c,l＝-P_c,l/P_c,l(3)

计算对应的畸变校正系数r(p_c,l)，其公式为：

r(p_c,l)＝1.0+k_c,1·||p_c,l||²+k_c,2·||p_c,l||⁴

利用计算获得的畸变校正系数进行缩放与畸变校正，获得最终结果，其公式为：

[x_c,l,y_c,l,z_c,l]＝p'_c,l＝f_c·r(p_c,l)·p_c,l

上述式子中，R_c、T_c与f_c分别为待编码图像I_c的旋转矩阵、平移矩阵与焦距，k_c,1与k_c,2为待编码图像I_c的畸变校正因子；P_c,l(3)表示三维坐标P_c,l的z轴坐标值；p'_c,l表示对p_c,l进行缩放与畸变校正后的结果；

再利用上述四个公式将三维点云模型中的点p_l投影到参考图像I_r上，获得参考图像I_r上的像素位置(x_r,l,y_r,l)；

若像素位置(x_c,l,y_c,l)与(x_r,l,y_r,l)均位于其对应图像的实际边界范围内，则构成匹配像素对；

将三维点云模型中所有点均通过上述方法处理后，获得全部的匹配像素对。

进一步的，所述待编码图像预测模块包括：预测模块，用于以匹配像素对作为预测块中心生成待编码图像的预测，其包括：

确定预测块的大小，其边长L的计算公式为：

$L=[\mathrm{\&lambda;}\&CenterDot;f_c\&CenterDot;\sqrt{\frac{\mathrm{Width}\&CenterDot;\mathrm{Height}}{N}}]+1;$

其中，λ为权重系数，f_c为待编码图像I_c的焦距，Width和Height分别为待编码图像I_c的宽度和高度，N为匹配像素对的数量，[]表示四舍五入取整数；

定义以(x_c,l,y_c,l)为中心的L×L正方形区域内的像素点集合S_c,l：

$\begin{array}{c}{S}_{c,l}=\left\{I_c(x,y)\right|x_{c,l}-\frac{1}{2}\&CenterDot;L<x<x_{c,l}+\frac{1}{2}\&CenterDot;L\\ y_{c,l}-\frac{1}{2}\&CenterDot;L<y<y_{c,l}+\frac{1}{2}\&CenterDot;L\}\end{array}$

对于待编码图像I_c上属于集合S_c,l的像素点I_c(x,y)，先进行像素点到三维点云的转换，再进行三维点云到参考图像平面的投影，具体的：

假设属于S_c,l的所有像素点在摄像机坐标系的z轴上有着相同的值，并且该值近似等于正方形区域中心点处的z的值；则对于集合内的第i个像素点(x_c,i,y_c,i)，有近似：

z_c,i≈z_c,l

P_c,i(3)≈P_c,l(3)；

根据前述四个公式进行反推，得到第i个像素点(x_c,i,y_c,i)在三维点云中的位置X_i：

$X_i\&ap;-{R_c}^{-1}\&CenterDot;(\frac{P_{c,l}\left(3\right)}{f_c\&CenterDot;r\left(p_{c,l}\right)}\&CenterDot;{[x_{c,i},y_{c,i},z_{c,l}]}^T+T_c)$

将X_i代入前述四个公式，从而获得该点在参考图像I_r的像素点(x_r,i,y_r,i)；则参考图像I_r上的像素点(x_r,i,y_r,i)的值可以用作当前图像上的像素点(x_c,i,y_c,i)的预测值；

当所有预测块均通过上述方式完成预测时，再分别计算出参考图像I_r和待编码图像I_c参与预测的像素点的亮度平均值，再将这两个平均值的差值叠加到上述预测值上。

一种云环境下基于三维点云模型的图像预测装置，该装置包括：可编程逻辑器件或专用硬件芯片；

所述可编程逻辑器件或专用硬件芯片中设有前述的预测系统。

由上述本发明提供的技术方案可以看出，基于三维点云模型的图像预测方案可以更加高效的压缩云环境下的相关图像。一方面，通过生成图像集的三维点云模型，以及估计出图像的摄像机参数，利用摄像机参数及三维点云模型进行图像间像素点的投影变换和预测，比现有技术中采用的几何校正模型精度更高，更加适应图像间更大的视角变换和差异性；另一方面，和现有技术相比，该方法不依赖于帧间预测技术，能够处理分辨率不同的图像，更加符合云环境下相关图像压缩问题的特点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例一提供的一种云环境下基于三维点云模型的图像预测方法的流程图；

图2为本发明实施例一提供的生成的三维点云模型的效果示意图；

图3为本发明实施例一提供的对当前待编码图像进行预测的流程图；

图4为本发明实施例二提供的一种云环境下基于三维点云模型的图像预测系统的示意图；

图5为本发明实施例提供的本发明与现有技术在公开图像编码数据集NotreDame上的单张图像编码效率比较结果示意图；

图6为本发明实施例提供的本发明与现有技术在公开图像编码数据集NotreDame上的30张图像平均编码效率比较结果示意图；

图7为本发明实施例提供的本发明在公开图像编码数据集NotreDame上的单张预测残差效果图；

图8为本发明实施例提供的本发明与现有技术在公开图像编码数据集NotreDame上的单张图像编码主观质量比较结果示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

图1为本发明实施例一提供的一种云环境下基于三维点云模型的图像预测方法的流程图。如图1所示，该方法主要包括如下步骤：

步骤11、获取云端聚类后相似图像对应的三维点云模型及摄像机参数。

本发明实施例中，利用SfM(Structure from motion，运动估计结构)算法估算云端聚类后相似图像的摄像机参数，以C_n表示第n张图像的摄像机参数，所述摄像机参数包括焦距f、畸变校正因子k1与k2、旋转矩阵R(例如，3×3矩阵)与平移矩阵T(例如，3×1矩阵)。

同时，重建云端聚类后相似图像对应的三维点云模型，如图2所示，其上半部分是一个建筑物的三维结构，由m个点组成；下半部分是n张图像对应的拍摄位置和角度。

其中，云端聚类后相似图像的摄像机参数记为C＝{C₁,C₂,...,C_n}，云端聚类后相似图像对应的三维点云模型记为P＝{p₁,p₂,...,p_m}，点云模型中的每一点p_l都包含了对应的三维位置坐标X_l＝[x_l,y_l,z_l]^T，其中l＝[1,m]。

步骤12、根据云端聚类后相似图像对应的三维点云模型及摄像机参数对当前待编码图像进行预测。

针对某一个图像集进行处理时，选择一部分图像以高质量的形式存储在云端，剩下一部分采用本发明的方法进行编码，这符合云环境下相似图像集的应用场景。具体来说，预测流程如图3所示，主要包括：

步骤311、根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像。

对于当前待编码图像I_c，根据视角相似性从云端聚类后的相似图像中选择一张作为参考图像，本发明实施例中，利用下述公式分别计算待编码图像I_c与云端聚类后相似图像I_k间的不相似性d_c,k：

d_c,k＝α·(f_c-f_k)²+β·(||R_c-R_k||²+||T_c-T_k||²)   (1)

其中，α与β为权重系数(通过实验进行交叉验证从而选择合适的权重系数)；f_c、R_c与T_c分别为待编码图像I_c的焦距、旋转矩阵与平移矩阵；f_k、R_k与T_k分别为云端聚类后相似图像I_k的焦距、旋转矩阵与平移矩阵；

选择云端聚类后相似图像中与待编码图像I_c不相似性最小的图像作为参考图像。

步骤312、根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对。

本发明实施例中，根据三维点云生成两张图像间的匹配像素对；具体的，将三维点云模型中的点p_l通过下述公式投影到待编码图像I_c上，获得待编码图像I_c上的像素位置(x_c,l,y_c,l)，其包括如下四个公式(2.1～2.4)，统称为公式(2)：

将待编码图像I_c的旋转矩阵和平移矩阵作用于点p_l的坐标X_l上，其公式为：

P_c,l＝R_c·X_l+T_c   (2.1)

对P_c,l进行反向和归一化，其公式为：

p_c,l＝-P_c,l/P_c,l(3)   (2.2)

计算对应的畸变校正系数r(p_c,l)，其公式为：

r(p_c,l)＝1.0+k_c,1·||p_c,l||²+k_c,2·||p_c,l||⁴   (2.3)

利用计算获得的畸变校正系数进行缩放与畸变校正，获得最终结果，其公式为：

[x_c,l,y_c,l,z_c,l]＝p'_c,l＝f_c·r(p_c,l)·p_c,l   (2.4)

上述式子中，R_c、T_c与f_c分别为待编码图像I_c的旋转矩阵、平移矩阵与焦距，k_c,1与k_c,2为待编码图像I_c的畸变校正因子；P_c,l(3)表示三维坐标P_c,l的z轴坐标值；p'_c,l为对p_c,l进行缩放与畸变校正后的结果；

再利用上述四个公式将三维点云模型中的点p_l投影到参考图像I_r上，获得参考图像I_r上的像素位置(x_r,l,y_r,l)；

若像素位置(x_c,l,y_c,l)与(x_r,l,y_r,l)均位于其对应图像的实际边界范围内，则构成一匹配像素对；

将三维点云模型中的所有m个点均通过上述方法处理后，获得全部的匹配像素对。

步骤313、以匹配像素对作为预测块中心生成待编码图像的预测。

确定预测块的大小，其边长L的计算公式为：

$L=[\mathrm{\&lambda;}\&CenterDot;f_c\&CenterDot;\sqrt{\frac{\mathrm{Width}\&CenterDot;\mathrm{Height}}{N}}]+1;---\left(3\right)$

其中，λ为权重系数，f_c为待编码图像I_c的焦距，Width和Height分别为待编码图像I_c的宽度和高度，N为匹配像素对的数量，[]表示四舍五入取整数。

定义以(x_c,l,y_c,l)为中心的L×L正方形区域内的像素点集合S_c,l：

$\begin{array}{c}{S}_{c,l}=\left\{I_c(x,y)\right|x_{c,l}-\frac{1}{2}\&CenterDot;L<x<x_{c,l}+\frac{1}{2}\&CenterDot;L\\ y_{c,l}-\frac{1}{2}\&CenterDot;L<y<y_{c,l}+\frac{1}{2}\&CenterDot;L\}\end{array}---\left(4\right)$

对于待编码图像I_c上属于集合S_c,l的像素点I_c(x,y)，先进行像素点到三维点云的转换，再进行三维点云到参考图像平面的投影，具体的：

假设属于S_c,l的所有像素点在摄像机坐标系的z轴上有着相同的值，并且该值近似等于正方形区域中心点处的z的值；即是对于集合内的第i个像素点(x_c,i,y_c,i)，有近似：

z_c,i≈z_c,l

P_c,i(3)≈P_c,l(3)   (5)

根据公式(2)进行反推，得到：

$X_i\&ap;-{R_c}^{-1}\&CenterDot;(\frac{P_{c,l}\left(3\right)}{f_c\&CenterDot;r\left(p_{c,l}\right)}\&CenterDot;{[x_{c,i},y_{c,i},z_{c,l}]}^T+T_c)---\left(6\right)$

这样就得到了第i个像素点(x_c,i,y_c,i)在三维点云中的位置X_i。再将X_i代入公式(2)，从而获得该点在参考图像I_r的像素点_(xr,i,yr,i)；则参考图像I_r上的像素点(x_r,i,y_r,i)的值可以用作当前图像上的像素点(x_c,i,y_c,i)的预测值；

对步骤312中得到的所有匹配像素对依次进行上述预测块的生成，全体预测块生成后即得到了当前待编码图像部分区域的预测值。分别计算出参考图像I_r和待编码图像I_c参与预测的像素点的亮度平均值，再将这两个平均值的差值叠加到上述预测值上。

步骤13、利用预测值对当前图像进行编码。

本步骤中，可以采用常见的图像或者视频编码器进行压缩编码。示例性的，可采用如下三种方法：一种实施方案是将当前待编码图像的原始值减去预测值，得到预测残差，使用JPEG或JPEG 2000对预测残差进行编码。另一种方案在得到预测残差后，使用H.264或HEVC等视频编码器中内置的帧内编码模式对预测残差进行编码。还有一种方案是将预测值作为参考帧，使用H.264或HEVC等视频编码器中内置的帧间编码模式，对当前待编码图像进行编码。本领域的普通技术人员能够理解，基于预测值的编码技术还有其他方案。

优选的，为了进一步提高效率，在采用上述方案二或三时，还同时采用H.264或HEVC的帧内编码模式对当前待编码图像直接进行压缩(即不利用预测值的压缩)，并与利用预测值的压缩效率进行比较，选择两种方式中压缩效率较优的方式，即熟知的率失真优化。采用率失真优化后，可以保证编码效率不低于HEVC帧内编码模式。

本发明实施例的上述方案基于三维点云模型的图像预测方法可以更加高效的压缩云环境下的相似图像。一方面，通过生成图像集的三维点云模型，以及估计出图像的摄像机参数，利用摄像机参数及三维点云模型进行图像间像素点的投影变换和预测，比现有技术中采用的几何校正模型精度更高，更加适应相似图像间更大的视角变换和差异性；另一方面，和现有技术相比，该方法不依赖于帧间预测技术，能够处理分辨率不同的图像，更加符合云环境下相似图像压缩问题的特点。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现，也可以借助可编程逻辑器件来实现，也可以借助专门设计研发的专用硬件芯片来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例二

图4为本发明实施例二提供的一种云环境下基于三维点云模型的图像预测系统的示意图。如图4所示，该系统主要包括：

三维点云模型及摄像机参数获取模块41，用于获取云端聚类后相似图像对应的三维点云模型及摄像机参数；

待编码图像预测模块42，用于根据云端聚类后相似图像对应的三维点云模型及摄像机参数对当前待编码图像进行预测，其包括：根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像；根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对；以匹配像素对作为预测块中心生成待编码图像的预测。

进一步的，所述三维点云模型及摄像机参数获取模块41包括：

摄像机参数估计模块411，用于利用运动估计结构SfM算法估算云端聚类后相似图像的摄像机参数，所述摄像机参数包括焦距f、畸变校正因子k1与k2、旋转矩阵R与平移矩阵T；

三维点云模型重建模块412，用于重建云端聚类后相似图像对应的三维点云模型；

其中，云端聚类后相似图像的摄像机参数记为C＝{C₁,C₂,...,C_n}，式中，n表示图像数量；云端聚类后相似图像对应的三维点云模型记为P＝{p₁,p₂,...,p_m}，点云模型中的每一点p_l都包含了对应的三维位置坐标X_l＝[x_l,y_l,z_l]^T，其中l＝[1,m]。

进一步的，所述待编码图像预测模块42包括：参考图像确定模块421，用于根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像，其包括：

利用下述公式分别计算待编码图像I_c与云端聚类后相似图像I_k间的不相似性d_c,k：

d_c,k＝α·(f_c-f_k)²+β·(||R_c-R_k||²+||T_c-T_k||²)

其中，α与β为权重系数；f_c、R_c与T_c分别为待编码图像I_c的焦距、旋转矩阵与平移矩阵；f_k、R_k与T_k分别为云端聚类后相似图像I_k的焦距、旋转矩阵与平移矩阵；

选择云端聚类后相似图像中与待编码图像I_c不相似性最小的图像作为参考图像。

进一步的，所述待编码图像预测模块42包括：匹配像素对生成模块422，用于根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对，其包括：

将三维点云模型中的点p_l通过下述公式投影到待编码图像I_c上，获得待编码图像I_c上的像素位置(x_c,l,y_c,l)；具体的包括如下四个公式：

将待编码图像I_c的旋转矩阵和平移矩阵作用于点p_l的坐标X_l上，其公式为：

P_c,l＝R_c·X_l+T_c

对P_c,l进行反向和归一化，其公式为：

p_c,l＝-P_c,l/P_c,l(3)

计算对应的畸变校正系数r(p_c,l)，其公式为：

r(p_c,l)＝1.0+k_c,1·||p_c,l||²+k_c,2·||p_c,l||⁴

利用计算获得的畸变校正系数进行缩放与畸变校正，获得最终结果，其公式为：

[x_c,l,y_c,l,z_c,l]＝p'_c,l＝f_c·r(p_c,l)·p_c,l

上述式子中，R_c、T_c与f_c分别为待编码图像I_c的旋转矩阵、平移矩阵与焦距，k_c,1与k_c,2为待编码图像I_c的畸变校正因子；P_c,l(3)表示三维坐标P_c,l的z轴坐标值；p'_c,l表示对p_c,l进行缩放与畸变校正后的结果；

再利用上述四个公式将三维点云模型中的点p_l投影到参考图像I_r上，获得参考图像I_r上的像素位置(x_r,l,y_r,l)；

若像素位置(x_c,l,y_c,l)与(x_r,l,y_r,l)均位于其对应图像的实际边界范围内，则构成匹配像素对；

将三维点云模型中所有点均通过上述方法处理后，获得全部的匹配像素对。

进一步的，所述待编码图像预测模块42包括：预测模块423，用于以匹配像素对作为预测块中心生成待编码图像的预测，其包括：

确定预测块的大小，其边长L的计算公式为：

$L=[\mathrm{\&lambda;}\&CenterDot;f_c\&CenterDot;\sqrt{\frac{\mathrm{Width}\&CenterDot;\mathrm{Height}}{N}}]+1;$

其中，λ为权重系数，f_c为待编码图像I_c的焦距，Width和Height分别为待编码图像I_c的宽度和高度，N为匹配像素对的数量，[]表示四舍五入取整数；

定义以(x_c,l,y_c,l)为中心的L×L正方形区域内的像素点集合S_c,l：

$\begin{array}{c}{S}_{c,l}=\left\{I_c(x,y)\right|x_{c,l}-\frac{1}{2}\&CenterDot;L<x<x_{c,l}+\frac{1}{2}\&CenterDot;L\\ y_{c,l}-\frac{1}{2}\&CenterDot;L<y<y_{c,l}+\frac{1}{2}\&CenterDot;L\}\end{array}$

对于待编码图像I_c上属于集合S_c,l的像素点I_c(x,y)，先进行像素点到三维点云的转换，再进行三维点云到参考图像平面的投影，具体的：

假设属于S_c,l的所有像素点在摄像机坐标系的z轴上有着相同的值，并且该值近似等于正方形区域中心点处的z的值；则对于集合内的第i个像素点(x_c,i,y_c,i)，有近似：

z_c,i≈z_c,l

P_c,i(3)≈P_c,l(3)；

根据前述四个公式进行反推，得到第i个像素点(x_c,i,y_c,i)在三维点云中的位置X_i：

$X_i\&ap;-{R_c}^{-1}\&CenterDot;(\frac{P_{c,l}\left(3\right)}{f_c\&CenterDot;r\left(p_{c,l}\right)}\&CenterDot;{[x_{c,i},y_{c,i},z_{c,l}]}^T+T_c)$

将X_i代入前述四个公式，从而获得该点在参考图像I_r的像素点(x_r,i,y_r,i)；则参考图像I_r上的像素点(x_r,i,y_r,i)的值可以用作当前图像上的像素点(x_c,i,y_c,i)的预测值；

当所有预测块均通过上述方式完成预测时，再分别计算出参考图像I_r和待编码图像I_c参与预测的像素点的亮度平均值，再将这两个平均值的差值叠加到上述预测值上。

需要说明的是，上述系统中包含的各个功能模块所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例三

本发明实施例提供的一种云环境下基于三维点云模型的图像预测装置，该装置包括：可编程逻辑器件或专用硬件芯片；

所述可编程逻辑器件或专用硬件芯片中设有实施例二所述的系统；

具体来说，该可编程逻辑器件或专用硬件芯片中主要设有实施例二所述的系统中的三维点云模型及摄像机参数获取模块41与待编码图像预测模块42；也可以进一步的在三维点云模型及摄像机参数获取模块41中集成摄像机参数估计模块411与三维点云模型重建模块412，也可以进一步的在待编码图像预测模块42中集成参考图像确定模块421、匹配像素对生成模块422和/或预测模块423。

需要说明的是，上述装置中包含的各个功能模块所实现的功能的具体实现方式在前面的各个实施例中已经有详细描述，故在这里不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

另一方面，为了说明本发明的效果还与现有技术进行了比较。

其中，用来与本发明进行比较的现有技术包括：JPEG(Joint Photographic ExpertsGroup，联合图像专家小组)、HEVC(High Efficiency Video Coding，高性能视频编码)。

首先，进行了编码效率的比较，图5与图6分别为本发明与现有技术在公开图像编码数据集NotreDame上单张图像和30张图像平均编码效率的比较结果。NotreDame数据集包含715张不同分辨率的图像，视角、光照等有较为明显的差异。码率的衡量指标为bpp(bits per pixel，每像素码率)，编码图像质量的衡量指标为PSNR(Peak Signal toNoise Ratio，峰值信噪比)。图5为单张图像的结果，该图像的预测残差如图7所示。图6为选择30张图像进行编码，NotreDame数据集剩余图像作为高质量参考图像的平均编码性能。

由图中的曲线可以得出结论，本发明提出的基于三维点云模型的图像预测方法(图5与图6中的Proposed曲线)在应用于云环境下的相似图像集编码时，具有编码效率上的明显优势。按照设定的系统测试条件，在测试的数据集上选择30张图像进行编码时，同等质量下，本发明的方法比HEVC平均节约15.1％的码率，和JPEG相比码率仅为约1/3，编码效率有明显的提升。

其次，比较了编码图像的主观质量，图8第一行为HEVC帧内编码模式的编码效果，第二行为本发明的编码效果，从左到右编码的量化步长依次增大。可以看出，由于采用了云端较高质量的图像作为编码图像的参考，编码图像的实际主观质量优于传统技术。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (11)

1.一种云环境下基于三维点云模型的图像预测方法，其特征在于，该方法包括：

获取云端聚类后相似图像对应的三维点云模型及摄像机参数；

根据云端聚类后相似图像对应的三维点云模型及摄像机参数对当前待编码图像进行预测，其包括：根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像；根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对；以匹配像素对作为预测块中心生成待编码图像的预测。

2.根据权利要求1所述的方法，其特征在于，所述获取云端聚类后相似图像对应的三维点云模型及摄像机参数包括：

利用运动估计结构SfM算法估算云端聚类后相似图像的摄像机参数，所述摄像机参数包括焦距f、畸变校正因子k1与k2、旋转矩阵R与平移矩阵T；

重建云端聚类后相似图像对应的三维点云模型；

其中，云端聚类后相似图像的摄像机参数记为C＝{C₁,C₂,...,C_n}，式中，n表示图像数量；云端聚类后相似图像对应的三维点云模型记为P＝{p₁,p₂,...,p_m}，点云模型中的每一点p_l都包含了对应的三维位置坐标X_l＝[x_l,y_l,z_l]^T，其中l＝[1,m]。

3.根据权利要求1所述的方法，其特征在于，所述根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像包括：

利用下述公式分别计算待编码图像I_c与云端聚类后相似图像I_k间的不相似性d_c,k：

d_c,k＝α·(f_c-f_k)²+β·(||R_c-R_k||²+||T_c-T_k||²)

其中，α与β为权重系数；f_c、R_c与T_c分别为待编码图像I_c的焦距、旋转矩阵与平移矩阵；f_k、R_k与T_k分别为云端聚类后相似图像I_k的焦距、旋转矩阵与平移矩阵；

选择云端聚类后相似图像中与待编码图像I_c不相似性最小的图像作为参考图像。

4.根据权利要求1或3所述的方法，其特征在于，所述根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对包括：

将三维点云模型中的点p_l通过下述公式投影到待编码图像I_c上，获得待编码图像I_c上的像素位置(x_c,l,y_c,l)；具体的包括如下四个公式：

将待编码图像I_c的旋转矩阵和平移矩阵作用于点p_l的坐标X_l上，其公式为：

P_c,l＝R_c·X_l+T_c

对P_c,l进行反向和归一化，其公式为：

p_c,l＝-P_c,l/P_c,l(3)

计算对应的畸变校正系数r(p_c,l)，其公式为：

r(p_c,l)＝1.0+k_c,1·||p_c,l||²+k_c,2·||p_c,l||⁴

利用计算获得的畸变校正系数进行缩放与畸变校正，获得最终结果，其公式为：

[x_c,l,y_c,l,z_c,l]＝p'_c,l＝f_c·r(p_c,l)·p_c,l

上述式子中，R_c、T_c与f_c分别为待编码图像I_c的旋转矩阵、平移矩阵与焦距，k_c,1与k_c,2为待编码图像I_c的畸变校正因子；P_c,l(3)表示三维坐标P_c,l的z轴坐标值；p'_c,l表示对p_c,l进行缩放与畸变校正后的结果；

再利用上述四个公式将三维点云模型中的点p_l投影到参考图像I_r上，获得参考图像I_r上的像素位置(x_r,l,y_r,l)；

若像素位置(x_c,l,y_c,l)与(x_r,l,y_r,l)均位于其对应图像的实际边界范围内，则构成匹配像素对；

将三维点云模型中所有点均通过上述方法处理后，获得全部的匹配像素对。

5.根据权利要求4所述的方法，其特征在于，所述以匹配像素对作为预测块中心生成待编码图像的预测包括：

确定预测块的大小，其边长L的计算公式为：

$L=[\mathrm{\&lambda;}\&CenterDot;f_c\&CenterDot;\sqrt{\frac{\mathrm{Width}\&CenterDot;\mathrm{Height}}{N}}]+1;$

其中，λ为权重系数，f_c为待编码图像I_c的焦距，Width和Height分别为待编码图像I_c的宽度和高度，N为匹配像素对的数量，[]表示四舍五入取整数；

定义以(x_c,l,y_c,l)为中心的L×L正方形区域内的像素点集合S_c,l：

$\begin{array}{c}{S}_{c,l}=\left\{I_c(x,y)\right|x_{c,l}-\frac{1}{2}\&CenterDot;L<x<x_{c,l}+\frac{1}{2}\&CenterDot;L\\ y_{c,l}-\frac{1}{2}\&CenterDot;L<y<y_{c,l}+\frac{1}{2}\&CenterDot;L\}\end{array}$

对于待编码图像I_c上属于集合S_c,l的像素点I_c(x,y)，先进行像素点到三维点云的转换，再进行三维点云到参考图像平面的投影，具体的：

假设属于S_c,l的所有像素点在摄像机坐标系的z轴上有着相同的值，并且该值近似等于正方形区域中心点处的z的值；则对于集合内的第i个像素点(x_c,i,y_c,i)，有近似：

z_c,i≈z_c,l

P_c,i(3)≈P_c,l(3)；

根据前述四个公式进行反推，得到第i个像素点(x_c,i,y_c,i)在三维点云中的位置X_i：

$X_i\&ap;{{-R}_c}^{-1}\&CenterDot;(\frac{P_{c,l}\left(3\right)}{f_c\&CenterDot;r\left(p_{c,l}\right)}\&CenterDot;{[x_{c,i},y_{c,i},z_{c,l}]}^T+T_c)$

将X_i代入前述四个公式，从而获得该点在参考图像I_r的像素点(x_r,i,y_r,i)；则参考图像I_r上的像素点(x_r,i,y_r,i)的值可以用作当前图像上的像素点(x_c,i,y_c,i)的预测值；

当所有预测块均通过上述方式完成预测时，再分别计算出参考图像I_r和待编码图像I_c参与预测的像素点的亮度平均值，再将这两个平均值的差值叠加到上述预测值上。

6.一种云环境下基于三维点云模型的图像预测系统，其特征在于，该系统包括：

三维点云模型及摄像机参数获取模块，用于获取云端聚类后相似图像对应的三维点云模型及摄像机参数；

待编码图像预测模块，用于根据云端聚类后相似图像对应的三维点云模型及摄像机参数对当前待编码图像进行预测，其包括：根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像；根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对；以匹配像素对作为预测块中心生成待编码图像的预测。

7.根据权利要求6所述的系统，其特征在于，所述三维点云模型及摄像机参数获取模块包括：

摄像机参数估计模块，用于利用运动估计结构SfM算法估算云端聚类后相似图像的摄像机参数，所述摄像机参数包括焦距f、畸变校正因子k1与k2、旋转矩阵R与平移矩阵T；

三维点云模型重建模块，用于重建云端聚类后相似图像对应的三维点云模型；

其中，云端聚类后相似图像的摄像机参数记为C＝{C₁,C₂,...,C_n}，式中，n表示图像数量；云端聚类后相似图像对应的三维点云模型记为P＝{p₁,p₂,...,p_m}，点云模型中的每一点p_l都包含了对应的三维位置坐标X_l＝[x_l,y_l,z_l]^T，其中l＝[1,m]。

8.根据权利要求6所述的系统，其特征在于，所述待编码图像预测模块包括：参考图像确定模块，用于根据摄像机参数计算待编码图像与云端聚类后相似图像的视角相似性，从而确定参考图像，其包括：

利用下述公式分别计算待编码图像I_c与云端聚类后相似图像I_k间的不相似性d_c,k：

d_c,k＝α·(f_c-f_k)²+β·(||R_c-R_k||²+||T_c-T_k||²)

其中，α与β为权重系数；f_c、R_c与T_c分别为待编码图像I_c的焦距、旋转矩阵与平移矩阵；f_k、R_k与T_k分别为云端聚类后相似图像I_k的焦距、旋转矩阵与平移矩阵；

选择云端聚类后相似图像中与待编码图像I_c不相似性最小的图像作为参考图像。

9.根据权利要求6或8所述的系统，其特征在于，所述待编码图像预测模块包括：匹配像素对生成模块，用于根据该参考图像对应的三维点云模型生成该参考图像与该待编码图像间的匹配像素对，其包括：

将三维点云模型中的点p_l通过下述公式投影到待编码图像I_c上，获得待编码图像I_c上的像素位置(x_c,l,y_c,l)；具体的包括如下四个公式：

将待编码图像I_c的旋转矩阵和平移矩阵作用于点p_l的坐标X_l上，其公式为：

P_c,l＝R_c·X_l+T_c

对P_c,l进行反向和归一化，其公式为：

p_c,l＝-P_c,l/P_c,l(3)

计算对应的畸变校正系数r(p_c,l)，其公式为：

r(p_c,l)＝1.0+k_c,1·||p_c,l||²+k_c,2·||p_c,l||⁴

利用计算获得的畸变校正系数进行缩放与畸变校正，获得最终结果，其公式为：

[x_c,l,y_c,l,z_c,l]＝p'_c,l＝f_c·r(p_c,l)·p_c,l

上述式子中，R_c、T_c与f_c分别为待编码图像I_c的旋转矩阵、平移矩阵与焦距，k_c,1与k_c,2为待编码图像I_c的畸变校正因子；P_c,l(3)表示三维坐标P_c,l的z轴坐标值；p'_c,l表示对p_c,l进行缩放与畸变校正后的结果；

再利用上述四个公式将三维点云模型中的点p_l投影到参考图像I_r上，获得参考图像I_r上的像素位置(x_r,l,y_r,l)；

若像素位置(x_c,l,y_c,l)与(x_r,l,y_r,l)均位于其对应图像的实际边界范围内，则构成匹配像素对；

将三维点云模型中所有点均通过上述方法处理后，获得全部的匹配像素对。

10.根据权利要求9所述的系统，其特征在于，所述待编码图像预测模块包括：预测模块，用于以匹配像素对作为预测块中心生成待编码图像的预测，其包括：

确定预测块的大小，其边长L的计算公式为：

$L=[\mathrm{\&lambda;}\&CenterDot;f_c\&CenterDot;\sqrt{\frac{\mathrm{Width}\&CenterDot;\mathrm{Height}}{N}}]+1;$

其中，λ为权重系数，f_c为待编码图像I_c的焦距，Width和Height分别为待编码图像I_c的宽度和高度，N为匹配像素对的数量，[]表示四舍五入取整数；

定义以(x_c,l,y_c,l)为中心的L×L正方形区域内的像素点集合S_c,l：

$\begin{array}{c}{S}_{c,l}=\left\{I_c(x,y)\right|x_{c,l}-\frac{1}{2}\&CenterDot;L<x<x_{c,l}+\frac{1}{2}\&CenterDot;L\\ y_{c,l}-\frac{1}{2}\&CenterDot;L<y<y_{c,l}+\frac{1}{2}\&CenterDot;L\}\end{array}$

对于待编码图像I_c上属于集合S_c,l的像素点I_c(x,y)，先进行像素点到三维点云的转换，再进行三维点云到参考图像平面的投影，具体的：

假设属于S_c,l的所有像素点在摄像机坐标系的z轴上有着相同的值，并且该值近似等于正方形区域中心点处的z的值；则对于集合内的第i个像素点(x_c,i,y_c,i)，有近似：

z_c,i≈z_c,l

P_c,i(3)≈P_c,l(3)；

根据前述四个公式进行反推，得到第i个像素点(x_c,i,y_c,i)在三维点云中的位置X_i：

$X_i\&ap;{{-R}_c}^{-1}\&CenterDot;(\frac{P_{c,l}\left(3\right)}{f_c\&CenterDot;r\left(p_{c,l}\right)}\&CenterDot;{[x_{c,i},y_{c,i},z_{c,l}]}^T+T_c)$

将X_i代入前述四个公式，从而获得该点在参考图像I_r的像素点(x_r,i,y_r,i)；则参考图像I_r上的像素点(x_r,i,y_r,i)的值可以用作当前图像上的像素点(x_c,i,y_c,i)的预测值；

当所有预测块均通过上述方式完成预测时，再分别计算出参考图像I_r和待编码图像I_c参与预测的像素点的亮度平均值，再将这两个平均值的差值叠加到上述预测值上。

11.一种云环境下基于三维点云模型的图像预测装置，其特征在于，该装置包括：可编程逻辑器件或专用硬件芯片；

所述可编程逻辑器件或专用硬件芯片中设有权利要求6-10任一项所述的系统。