CN108810512A - 一种基于对象的立体图像深度调整方法 - Google Patents

Abstract

本发明公开了一种基于对象的立体图像深度调整方法，其通过提取立体图像的左视点图像和右视点图像对应的总边缘保持能量、总对象控制能量、总深度控制能量和总背景保持能量，并通过优化使得总能量最小，获取最佳相似变换矩阵，这样可使得深度调整后的立体图像能够保留精确的对象形状、具有较高的舒适性和深度感，且可以根据用户的选择自适应地控制重要内容的缩放比例；其通过控制立体图像中的所有落在重要区域内和背景区域内的特征点的坐标位置，并进而控制四边形网格的形变，从而能够保证深度调整后的立体图像的舒适性和深度感。

Description

一种基于对象的立体图像深度调整方法

技术领域

本发明涉及一种图像信号的处理方法，尤其是涉及一种基于对象的立体图像深度调整方法。

背景技术

随着3D技术的快速发展，立体图像和立体视频越来越受到人们的关注和喜爱。特别是随着手机、平板和个人电脑的发展，移动端的显示越来越受到用户们的欢迎。然而，在移动端屏幕上显示立体图像和立体视频时，立体感会随之减弱甚至消失，电影制造者试图通过调整特定对象的大小和深度来使得观看者将注意力集中在该对象上，以提升该对象的立体感。因此，对于在移动端屏幕上显示立体图像和立体视频时，基于对象的深度调整可以增强该对象的关注度和深度感。

在立体图像的深度调整上，大致可分为两种方法：使用深度图进行深度调整和不使用深度图进行深度调整。前一类方法需要精确的深度图，并利用虚拟视点绘制技术来产生深度调整后的图像；后一类方法是直接通过对图像中的像素点搬移达到深度调整的目的的，然而该方法在深度调整后常常会产生空洞或者导致对象的形变，因此，如何减少深度调整后的立体图像的图像形变，如何根据用户的选择自适应地控制对象的调整以突出显著内容，都是在对立体图像进行深度调整过程中需要研究解决的问题。

发明内容

本发明所要解决的技术问题是提供一种基于对象的立体图像深度调整方法，其使得深度调整后的立体图像能够保留精确的对象形状、具有较高的舒适性和深度感，且可以根据用户的选择自适应地控制重要内容的缩放比例。

本发明解决上述技术问题所采用的技术方案为：一种基于对象的立体图像深度调整方法，其特征在于包括以下步骤：

步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤二：将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格，将{L(x,y)}中的第k个四边形网格记为U_L,k，并将{L(x,y)}中的所有四边形网格构成的集合记为V_L，V_L＝{U_L,k|1≤k≤M}；然后根据{L(x,y)}中的所有四边形网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的尺寸大小为8×8的四边形网格，将{R(x,y)}中的第k个四边形网格记为U_R,k，并将{R(x,y)}中的所有四边形网格构成的集合记为V_R，V_R＝{U_R,k|1≤k≤M}；其中，k为正整数，1≤k≤M，M表示{L(x,y)}中包含的四边形网格的总个数，也表示{R(x,y)}中包含的四边形网格的总个数，U_L,k通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示U_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，U_R,k通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示U_R,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值；

采用尺度不变特征转换提取出{L(x,y)}中的所有特征点；然后将{L(x,y)}中的第q个特征点记为 接着根据{L(x,y)}中的每个特征点和{d_L(x,y)}，获取{R(x,y)}中与{L(x,y)}中的每个特征点匹配的特征点，将{R(x,y)}中与匹配的特征点记为 其中，q为正整数，1≤q≤Q，Q表示{L(x,y)}中的特征点的总个数，也表示{R(x,y)}中的特征点的总个数，表示的横坐标位置，表示的纵坐标位置，表示的横坐标位置， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，表示的纵坐标位置，

步骤三：根据{L(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{L(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵、{R(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{R(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量，记为E_edge；

根据用户选择的重要内容，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总对象控制能量，记为E_object；

根据{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量，记为E_depth；

根据{L(x,y)}中落于背景区域内的所有特征点和对应的目标特征点、{R(x,y)}中落于背景区域内的所有特征点和对应的目标特征点，计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的总背景保持能量，记为E_back；其中，背景区域为除用户选择的重要内容所在的矩形区域外的区域；

步骤四：根据E_edge、E_object、E_depth和E_back，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为E_total，E_total＝E_edge+λ_object×E_object+λ_depth×E_depth+λ_back×E_back；然后通过最小二乘优化求解得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及 接着根据计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_L,k对应的最佳目标四边形网格的最佳相似变换矩阵记为 并根据计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_R,k对应的最佳目标四边形网格的最佳相似变换矩阵记为 其中，λ_object为E_object的加权参数，λ_depth为E_depth的加权参数，λ_back为E_back的加权参数，min()为取最小值函数，表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{R(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示U_L,k对应的最佳目标四边形网格， 对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，表示U_R,k对应的最佳目标四边形网格， 对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^-1为(A_R,k)^TA_R,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；

步骤五：根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置y'_L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和 然后根据{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W'，1≤y'≤H，W'表示深度调整后的立体图像的宽度，H亦为深度调整后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值；

同样，根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置y'_R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和 然后根据{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，1≤x'≤W'，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值。

所述的步骤三中的E_edge的计算过程为：

A1、计算{L(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为 其中，e_L,k表示U_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)^T为e_L,k的转置，((e_L,k)^Te_L,k)^-1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵， 表示U_L,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，符号“|| ||”为求欧氏距离符号；

同样，计算{R(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为 其中，e_R,k表示U_R,k的所有网格顶点的边缘组成的矩阵，(e_R,k)^T为e_R,k的转置，((e_R,k)^Te_R,k)^-1为(e_R,k)^Te_R,k的逆，表示的所有网格顶点的边缘组成的矩阵， 表示U_R,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，

A2、根据和计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量E_edge，

所述的步骤三中的E_object的计算过程为：

其中，表示用户选择的重要内容所在的矩形区域范围，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，s_x表示用户指定的重要内容的水平缩放因子。

所述的步骤三中的E_depth的计算过程为：

B1、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的舒适度保持能量，记为E_co_mfo_rt， 其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的深度值，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，Z_max表示{L(x,y)}的最大深度值，Z_min表示{L(x,y)}的最小深度值，CVZ_min表示最小舒适观看区域范围，H_e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R_d表示显示器的水平分辨率，η₁表示最小舒适观看视角，CVZ_max表示最大舒适观看区域范围，η₂表示最大舒适观看视角，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的视差值，也表示{d_L(x,y)}中坐标位置为落于用户选择的重要内容所在的矩形区域内的第p个特征点的像素点的像素值，表示的目标深度值；

B2、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的特征保持能量，记为E_feature，其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的第p'个特征点的深度值，表示的目标深度值；

B3、通过求解min(E_comfort+λ_feature×E_feature)，得到{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标深度值集合，记为 为的最佳目标深度值；然后根据获取{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标视差值集合，记为 为的最佳目标视差值，其中，min()为取最小值函数，λ_feature为E_feature的加权参数；

B4、根据计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量E_depth，

其中，符号“|| ||”为求欧氏距离符号，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示对应的目标特征点，表示对应的目标特征点，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，1≤i'≤4，1≤k'≤M，表示所在的四边形网格U_L,k'的第i'个网格顶点，U_L,k'为{L(x,y)}中的第k'个四边形网格，表示所在的四边形网格U_L,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k'对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k'的第i'个网格顶点，U_R,k'为{R(x,y)}中的第k'个四边形网格，表示fR_p所在的四边形网格U_R,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k'对应的目标四边形网格，表示特征点所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。

所述的步骤三中的E_back的计算过程为： 其中，表示{L(x,y)}和{R(x,y)}中落于背景区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于背景区域内的第g个特征点，表示{R(x,y)}中落于背景区域内的第g个特征点，表示对应的目标特征点，表示对应的目标特征点，符号“|| ||”为求欧氏距离符号，1≤i'≤4，1≤k”≤M，表示所在的四边形网格U_L,k”的第i'个网格顶点，U_L,k”为{L(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_L,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k”的第i'个网格顶点，U_R,k”为{R(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_R,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示特征点所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示特征点所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。

与现有技术相比，本发明的优点在于：

1)本发明方法通过提取立体图像的左视点图像和右视点图像对应的总边缘保持能量、总对象控制能量、总深度控制能量和总背景保持能量，并通过优化使得总能量最小，获取最佳相似变换矩阵，这样可使得深度调整后的立体图像能够保留精确的对象形状、具有较高的舒适性和深度感，且可以根据用户的选择自适应地控制重要内容的缩放比例。

2)本发明方法通过控制立体图像中的所有落在重要区域内和背景区域内的特征点的坐标位置，并进而控制四边形网格的形变，从而能够保证深度调整后的立体图像的舒适性和深度感。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Image1”的原始立体图像的“红/绿”图；

图2b为“Image1”的对象深度调整后的“红/绿”图；

图3a为“Image2”的原始立体图像的“红/绿”图；

图3b为“Image2”的对象深度调整后的“红/绿”图；

图4a为“Image3”的原始立体图像的“红/绿”图；

图4b为“Image3”的对象深度调整后的“红/绿”图；

图5a为“Image4”的原始立体图像的“红/绿”图；

图5b为“Image4”的对象深度调整后的“红/绿”图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于对象的立体图像深度调整方法，其总体实现框图如图1所示，其包括以下步骤：

步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值。

步骤二：将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格，将{L(x,y)}中的第k个四边形网格记为U_L,k，并将{L(x,y)}中的所有四边形网格构成的集合记为V_L，V_L＝{U_L,k|1≤k≤M}；然后根据{L(x,y)}中的所有四边形网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的尺寸大小为8×8的四边形网格，将{R(x,y)}中的第k个四边形网格记为U_R,k，并将{R(x,y)}中的所有四边形网格构成的集合记为V_R，V_R＝{U_R,k|1≤k≤M}；其中，k为正整数，1≤k≤M，M表示{L(x,y)}中包含的四边形网格的总个数，也表示{R(x,y)}中包含的四边形网格的总个数，U_L,k通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示U_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，U_R,k通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示U_R,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值。

采用现有的尺度不变特征转换(Scale Invariant Feature Transform，SIFT)提取出{L(x,y)}中的所有特征点；然后将{L(x,y)}中的第q个特征点记为 将{L(x,y)}中的所有特征点构成的集合记为接着根据{L(x,y)}中的每个特征点和{d_L(x,y)}，获取{R(x,y)}中与{L(x,y)}中的每个特征点匹配的特征点，将{R(x,y)}中与匹配的特征点记为 将{R(x,y)}中的所有特征点构成的集合记为其中，q为正整数，1≤q≤Q，Q表示{L(x,y)}中的特征点的总个数，也表示{R(x,y)}中的特征点的总个数，表示的横坐标位置，表示的纵坐标位置，表示的横坐标位置， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，表示的纵坐标位置，

步骤三：根据{L(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{L(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵、{R(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{R(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量，记为E_edge。

在此具体实施例中，步骤三中的E_edge的计算过程为：

A1、计算{L(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为 其中，e_L,k表示U_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)^T为e_L,k的转置，((e_L,k)^Te_L,k)^-1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵， 表示U_L,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，符号“||||”为求欧氏距离符号。

同样，计算{R(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为 其中，e_R,k表示U_R,k的所有网格顶点的边缘组成的矩阵，(e_R,k)^T为e_R,k的转置，((e_R,k)^Te_R,k)^-1为(e_R,k)^Te_R,k的逆，表示的所有网格顶点的边缘组成的矩阵， 表示U_R,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，

A2、根据和计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量E_edge，

根据用户选择的重要内容，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总对象控制能量，记为E_object。

在此具体实施例中，步骤三中的E_object的计算过程为：

其中，表示用户选择的重要内容所在的矩形区域范围，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，s_x表示用户指定的重要内容的水平缩放因子，s_x可以根据用户的需要进行设置，在本实施例中取s_x＝1.8，即调整后的重要内容尺寸为原始尺寸1.8倍。

根据{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量，记为E_depth。

在此具体实施例中，步骤三中的E_depth的计算过程为：

B1、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的舒适度保持能量，记为E_co_mfo_rt， 其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的深度值，exp()表示以自然基数e为底的指数函数，e＝2.71828183…，符号“| |”为取绝对值符号，Z_max表示{L(x,y)}的最大深度值，Z_min表示{L(x,y)}的最小深度值，CVZ_min表示最小舒适观看区域范围，H_e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R_d表示显示器的水平分辨率，在本实施例中取H_e＝65毫米、D＝1200毫米、W_d＝750毫米和R_d＝1920毫米，η₁表示最小舒适观看视角，在本实施例中取η₁＝-1o，CVZ_max表示最大舒适观看区域范围，η₂表示最大舒适观看视角，在本实施例中取η₂＝1o，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的视差值，也表示{d_L(x,y)}中坐标位置为落于用户选择的重要内容所在的矩形区域内的第p个特征点的像素点的像素值，表示的目标深度值。

B2、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的特征保持能量，记为E_feature，其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的第p'个特征点的深度值，表示的目标深度值。

B3、通过求解min(E_comfort+λ_feature×E_feature)，得到{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标深度值集合，记为 为的最佳目标深度值；然后根据获取{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标视差值集合，记为 为的最佳目标视差值，其中，min()为取最小值函数，λ_feature为E_feature的加权参数，在本实施例中取λ_feature＝0.4。

B4、根据计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量E_depth，

其中，符号“|| ||”为求欧氏距离符号，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示对应的目标特征点，表示对应的目标特征点，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，1≤i'≤4，1≤k'≤M，表示所在的四边形网格U_L,k'的第i'个网格顶点，U_L,k'为{L(x,y)}中的第k'个四边形网格，表示所在的四边形网格U_L,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k'对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k'的第i'个网格顶点，U_R,k'为{R(x,y)}中的第k'个四边形网格，表示所在的四边形网格U_R,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k'对应的目标四边形网格，表示特征点所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。

根据{L(x,y)}中落于背景区域内的所有特征点和对应的目标特征点、{R(x,y)}中落于背景区域内的所有特征点和对应的目标特征点，计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的总背景保持能量，记为E_back；其中，背景区域为除用户选择的重要内容所在的矩形区域外的区域。

在此具体实施例中，步骤三中的E_back的计算过程为：

其中，表示{L(x,y)}和{R(x,y)}中落于背景区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于背景区域内的第g个特征点，表示{R(x,y)}中落于背景区域内的第g个特征点，表示对应的目标特征点，表示对应的目标特征点，符号“|| ||”为求欧氏距离符号，1≤i'≤4，1≤k”≤M，表示所在的四边形网格U_L,k”的第i'个网格顶点，U_L,k”为{L(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_L,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k”的第i'个网格顶点，U_R,k”为{R(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_R,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示特征点所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示特征点所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。

步骤四：根据E_edge、E_object、E_depth和E_back，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为E_total，E_total＝E_edge+λ_object×E_object+λ_depth×E_depth+λ_back×E_back；然后通过最小二乘优化求解得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及 接着根据计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_L,k对应的最佳目标四边形网格的最佳相似变换矩阵记为 并根据计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_R,k对应的最佳目标四边形网格的最佳相似变换矩阵记为 其中，λ_object为E_object的加权参数，λ_depth为E_depth的加权参数，λ_back为E_back的加权参数，在本实施例中取λ_object＝4、λ_depth＝8、λ_back＝4，min()为取最小值函数，表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{R(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示U_L,k对应的最佳目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，表示U_R,k对应的最佳目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^-1为(A_R,k)^TA_R,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置。

步骤五：根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置y'_L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和 然后根据{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W'，1≤y'≤H，W'表示深度调整后的立体图像的宽度，H亦为深度调整后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值。

同样，根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置y'_R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和 然后根据{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，1≤x'≤W'，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值。

为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。

以下就利用本发明方法对Image1、Image2、Image3和Image4四幅立体图像进行对象深度调整实验。图2a给出了“Image1”的原始立体图像的“红/绿”图，图2b给出了“Image1”的对象深度调整后的“红/绿”图；图3a给出了“Image2”的原始立体图像的“红/绿”图，图3b给出了“Image2”的对象深度调整后的“红/绿”图；图4a给出了“Image3”的原始立体图像的“红/绿”图，图4b给出了“Image3”的对象深度调整后的“红/绿”图；图5a给出了“Image4”的原始立体图像的“红/绿”图，图5b给出了“Image4”的对象深度调整后的“红/绿”图。从图2a至图5b中可以看出，采用本发明方法得到的深度调整后的立体图像能够较好地保留对象形状，且可以根据用户的选择增加重要对象的尺寸。

Claims (5)

1.一种基于对象的立体图像深度调整方法，其特征在于包括以下步骤：

步骤一：将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；

步骤二：将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格，将{L(x,y)}中的第k个四边形网格记为U_L,k，并将{L(x,y)}中的所有四边形网格构成的集合记为V_L，V_L＝{U_L,k|1≤k≤M}；然后根据{L(x,y)}中的所有四边形网格和{d_L(x,y)}，获取{R(x,y)}中的所有互不重叠的尺寸大小为8×8的四边形网格，将{R(x,y)}中的第k个四边形网格记为U_R,k，并将{R(x,y)}中的所有四边形网格构成的集合记为V_R，V_R＝{U_R,k|1≤k≤M}；其中，k为正整数，1≤k≤M，M表示{L(x,y)}中包含的四边形网格的总个数，也表示{R(x,y)}中包含的四边形网格的总个数，U_L,k通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示U_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，U_R,k通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示U_R,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述， 表示{d_L(x,y)}中坐标位置为的像素点的像素值；

采用尺度不变特征转换提取出{L(x,y)}中的所有特征点；然后将{L(x,y)}中的第q个特征点记为 接着根据{L(x,y)}中的每个特征点和{d_L(x,y)}，获取{R(x,y)}中与{L(x,y)}中的每个特征点匹配的特征点，将{R(x,y)}中与匹配的特征点记为 其中，q为正整数，1≤q≤Q，Q表示{L(x,y)}中的特征点的总个数，也表示{R(x,y)}中的特征点的总个数，表示的横坐标位置，表示的纵坐标位置，表示的横坐标位置， 表示{d_L(x,y)}中坐标位置为的像素点的像素值，表示的纵坐标位置，

步骤三：根据{L(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{L(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵、{R(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{R(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量，记为E_edge；

根据用户选择的重要内容，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总对象控制能量，记为E_object；

根据{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点，计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量，记为E_depth；

根据{L(x,y)}中落于背景区域内的所有特征点和对应的目标特征点、{R(x,y)}中落于背景区域内的所有特征点和对应的目标特征点，计算{L(x,y)}和{R(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的总背景保持能量，记为E_back；其中，背景区域为除用户选择的重要内容所在的矩形区域外的区域；

步骤四：根据E_edge、E_object、E_depth和E_back，计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为E_total，E_total＝E_edge+λ_object×E_object+λ_depth×E_depth+λ_back×E_back；然后通过最小二乘优化求解得到{L(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{R(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及接着根据计算{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_L,k对应的最佳目标四边形网格的最佳相似变换矩阵记为 并根据计算{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将U_R,k对应的最佳目标四边形网格的最佳相似变换矩阵记为 其中，λ_object为E_object的加权参数，λ_depth为E_depth的加权参数，λ_back为E_back的加权参数，min()为取最小值函数，表示{L(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{R(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示U_L,k对应的最佳目标四边形网格，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，表示U_R,k对应的最佳目标四边形网格， 对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^-1为(A_L,k)^TA_L,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(A_R,k)^T为A_R,k的转置，((A_R,k)^TA_R,k)^-1为(A_R,k)^TA_R,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；

步骤五：根据{L(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_L,k中水平坐标位置为x'_L,k和垂直坐标位置y'_L,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{L(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的左视点图像，记为其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W'，1≤y'≤H，W'表示深度调整后的立体图像的宽度，H亦为深度调整后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值；

同样，根据{R(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将U_R,k中水平坐标位置为x'_R,k和垂直坐标位置y'_R,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{R(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的右视点图像，记为其中，1≤x'_R,k≤W，1≤y'_R,k≤H，1≤x'≤W'，1≤y'≤H，表示中坐标位置为(x',y')的像素点的像素值。

2.根据权利要求1所述的一种基于对象的立体图像深度调整方法，其特征在于所述的步骤三中的E_edge的计算过程为：

A1、计算{L(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，e_L,k表示U_L,k的所有网格顶点的边缘组成的矩阵，(e_L,k)^T为e_L,k的转置，((e_L,k)Te_L,k)^-1为(e_L,k)^Te_L,k的逆，表示的所有网格顶点的边缘组成的矩阵， 表示U_L,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，符号“|| ||”为求欧氏距离符号；

同样，计算{R(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，e_R,k表示U_R,k的所有网格顶点的边缘组成的矩阵，(e_R,k)^T为e_R,k的转置，((e_R,k)^Te_R,k)^-1为(e_R,k)^Te_R,k的逆，表示的所有网格顶点的边缘组成的矩阵， 表示U_R,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，

A2、根据和计算{L(x,y)}和{R(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量E_edge，

3.根据权利要求2所述的一种基于对象的立体图像深度调整方法，其特征在于所述的步骤三中的E_object的计算过程为：

其中，表示用户选择的重要内容所在的矩形区域范围，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{L(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{R(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，s_x表示用户指定的重要内容的水平缩放因子。

4.根据权利要求3所述的一种基于对象的立体图像深度调整方法，其特征在于所述的步骤三中的E_depth的计算过程为：

B1、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的舒适度保持能量，记为E_comfort， 其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的深度值，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，Z_max表示{L(x,y)}的最大深度值，Z_min表示{L(x,y)}的最小深度值，CVZ_min表示最小舒适观看区域范围，H_e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R_d表示显示器的水平分辨率，η₁表示最小舒适观看视角，CVZ_max表示最大舒适观看区域范围，η₂表示最大舒适观看视角，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的视差值，也表示{d_L(x,y)}中坐标位置为落于用户选择的重要内容所在的矩形区域内的第p个特征点的像素点的像素值，表示的目标深度值；

B2、计算{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的特征保持能量，记为E_feature，其中，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的第p'个特征点的深度值，表示的目标深度值；

B3、通过求解min(E_comfort+λ_feature×E_feature)，得到{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标深度值集合，记为为的最佳目标深度值；然后根据获取{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标视差值集合，记为为的最佳目标视差值，其中，min()为取最小值函数，λ_feature为E_feature的加权参数；

B4、根据计算{L(x,y)}和{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量E_depth， 其中，符号“|| ||”为求欧氏距离符号，表示{L(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示{R(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示对应的目标特征点，表示对应的目标特征点，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，1≤i'≤4，1≤k'≤M，表示所在的四边形网格U_L,k'的第i'个网格顶点，U_L,k'为{L(x,y)}中的第k'个四边形网格，表示所在的四边形网格U_L,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k'对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k'的第i'个网格顶点，U_R,k'为{R(x,y)}中的第k'个四边形网格，表示所在的四边形网格U_R,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k'对应的目标四边形网格，表示特征点所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。

5.根据权利要求4所述的一种基于对象的立体图像深度调整方法，其特征在于所述的步骤三中的E_back的计算过程为： 其中，表示{L(x,y)}和{R(x,y)}中落于背景区域内的所有特征点重新编号后的序号构成的集合，表示{L(x,y)}中落于背景区域内的第g个特征点，表示{R(x,y)}中落于背景区域内的第g个特征点，表示对应的目标特征点，表示对应的目标特征点，符号“|| ||”为求欧氏距离符号，1≤i'≤4，1≤k”≤M，表示所在的四边形网格U_L,k”的第i'个网格顶点，U_L,k”为{L(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_L,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_L,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_L,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_L,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_L,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格U_R,k”的第i'个网格顶点，U_R,k”为{R(x,y)}中的第k”个四边形网格，表示所在的四边形网格U_R,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格U_R,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格U_R,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格U_R,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为U_R,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示特征点所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示特征点所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。