CN106504186B - 一种立体图像重定向方法 - Google Patents

Abstract

本发明涉及一种立体图像重定向方法，包括：首先根据像素的纹理相似性和视差相似性建立能量方程；再根据建立的能量方程建立代价矩阵M，并且利用动态规划来选择出能量代价最小的线；将深度信息和平面显著性图相结合得到立体显著性图；对显著性图进行空间相干滤波后得到最终的重要性图IM；给左视图分配缩放因子；根据左右视图的视差，找到左右视图中像素间的对应关系，得到右视图的像素的缩放因子；根据每个像素的缩放因子，利用像素融合算法来对图像进行重定向处理，得到最终的重定向后的图像。本发明能够减小视觉失真。

Description

一种立体图像重定向方法

技术领域

本发明属于图像处理、立体视觉技术领域，涉及一种的能够保存深度的立体图像重定向的方法。

背景技术

为了将图像应用于不同系统并进行最佳显示，经常必须对图像的分辨率进行修改，这个过程被称为图像重定向。其目标是在修改给定图像的分辨率，放大或缩小图像的同时保持图像中的重要特征并使其扭曲失真最小化。和传统的平面图像相比，立体图像具有的深度信息能够为重定向带来有价值的线索。然而，该信息的保存也为立体图像重定向带来了新的挑战。立体图像重定向不仅要保存图像中的重要区域，减小视觉失真，还要减小视差失真。视差值的改变会影响图像的立体感知。若调整后的视差过大，则会使观看者产生不舒适感觉，甚至无法将立体图像在大脑中融和成单一的图像；若视差过小，则会影响立体效果的再现，严重时甚至使立体效果完全丧失。这就需要我们结合立体图像的特点，来对立体图像进行重定向处理，而不是简单的将平面图像重定向算法直接应用到立体图像中。

现存的适用于立体图像的重定向算法不是很多，主要分为两类：1)离散的方法，该类算法的基本思想是将图像看成离散的信号，根据图像重要度从图像中删除或添加像素来改变图像大小。这类方法的主流方法是线裁剪的方法。利用图像的重要度图来确定剔除(或插入)的像素，从而调整图像的分辨率。其中，线定义为图像中自顶向下的一条路径，并且每一行只经过一个像素点。得到图像的重要度图之后，寻找最佳线就是在矩形区域上搜索最小代价路径的问题，这一过程可以采用动态规划进行实现。这种方法比较灵活，而且视差失真较小。但是由于去除图中像素，所以会带来锯齿效应，产生视觉失真。2)连续的方法，这类方法将图像看成连续信号的离散采样，采用对原始图像进行变形并重新采样来实现重定向。这类方法的通常操作是将图像嵌入到网格中，然后通过对网格的变形实现图像的重定向。采用的网格主要包括四边形网格、三角网格以及多边形网格等。由于该算法的思想是将图像嵌入到网格中进行变形从而实现对图像内容的控制，在将不重要内容进行不同程度的拉伸时，有可能破坏图像的全局结构。同时，由于只考虑一些离散点而不是所有点的视差保存，可能会产生不连续变形和视差失真。考虑到像素移除的方法虽然比较灵活，但是保存对象结构的能力较弱，Yan等人通过像素融合代替像素移除来较好地解决了平面图像线裁剪产生的锯齿形边界的问题。像素融合根据缩放因子调整像素的宽度，采用将像素权值相加的过程。将该方法用于图像重定向能够得到较平滑的结果，减小视觉失真。

发明内容

针对当前立体图像重定向方法存在不足的现状，考虑到平面像素融合的较好的表现，本发明将像素融合方法应用到立体图像重定向中，给出一种基于像素融合的立体图像重定向方法。本发明的技术方案如下：

一种立体图像重定向方法，包括下列步骤：

1)首先根据像素的纹理相似性和视差相似性建立能量方程，即

E_total(i,j,j^±)＝E_intensity(i,j,j^±)+α·E_match(i,j),

E_L(i,j,j^±)＝E^v(i,j,j^±)+E^h(i,j)

E^h(i,j)＝|I(i,j+1)-I(i,j-1)|

E_match(i,j)＝E_diff(i,j)+D_n(i,j)

E_diff(i,j)＝|I_L(i,j)-I_R(i,j+D(i,j))|

其中(i,j)代表第i行被选择像素的坐标，j^±代表第i-1行被选择的像素的纵坐标；E_to_tal(i,j,j^±)表示坐标为(i,j)的像素的总能量，E_intensity(i,j,j^±)为坐标为(i,j)的像素的纹理相似性能量，E_match(i,j)为坐标为(i,j)的像素的匹配能量，E_L(i,j,j^±)代表左图中坐标为(i,j)的像素的纹理相似性能量，代表右视图中坐标为(i,j_R)的像素的纹理相似性能量，其计算方法和E_L(i,j,j^±)的计算方法相同，其中(i,j)和(i,j_R)为左右视图中一对匹配像素的坐标，其匹配关系为j＝j_R+D(i,j)，D(i,j)代表坐标为(i,j)的像素的视差值，E^h(i,j)代表坐标为(i,j)的像素与其水平方向上相邻像素之间的纹理相似性能量，其中I(i,j)表示图像I中坐标为(i,j)的像素的像素值，E^v(i,j,j^±)代表坐标为(i,j)的像素与其垂直方向上相邻像素之间的纹理相似性，E_diff(i,j)代表左视图中坐标为(i,j)的像素与其在右视图中坐标为(i,j+D(i,j))的相匹配像素的像素差值，其中I_L(i,j)表示左视图I_L中坐标为(i,j)的像素的像素值，I_R(i,j+D(i,j))表示右视图I_R中坐标为(i,j+D(i,j))的像素的像素值，D(i,j)代表左视图中坐标为(i,j)的像素的视差值，D_n(i,j)表示左视图中坐标为(i,j)的像素归一化后的视差值；

再根据建立的能量方程建立代价矩阵M，并且利用动态规划来选择出能量代价最小的线,根据线选择的顺序给每一条线标记一个ID；

2)将深度信息和平面显著性图相结合得到立体显著性图S_3D；

3)对显著性图进行空间相干滤波后得到最终的重要性图IM；

给左视图分配缩放因子：将左视图进行区域分类：可匹配区域、不可匹配区域类，并给不同的区域设置不同的缩放因子，以线为单位为图像中的像素分配缩放因子，对于可匹配区域中的线，根据线的重要程度进行缩放因子分配，重要性高的线分配较大的缩放因子值，重要性低的分配较小的缩放因子值；对于不可匹配区域中的线，直接分配值为1的缩放因子来保存整体视差；

4)根据左右视图的视差，找到左右视图中像素间的对应关系，得到右视图的像素的缩放因子；

5)根据每个像素的缩放因子，利用像素融合算法来对图像进行重定向处理，得到最终的重定向后的图像。

本发明将像素融合应用到立体图像重定向中，与立体线裁剪方法相比能够减小视觉失真。本发明还考虑到了视差保存，通过给不同区域分配不同的缩放因子机制，获得了较小的视差失真。

附图说明

图1为输入的立体图像对，(a)为左视图(b)为右视图。

图2为重定向后的立体图像对，(a)为左视图(b)为右视图。

图3为原始的视差图。

图4为由SGM算法得出的重定向后立体图像的视差图。

图5为技术方案的流程图。

具体实施方式

下面通过立体图像重定向过程说明本发明的最佳实施方式：

1.建立线选择能量方程

1)首先根据像素的纹理相似性和视差相似性计算出能量方程：

E_total(i,j,j^±)＝E_intensity(i,j,j^±)+α·E_match(i,j),

基于像素融合的图像重定向就是通过调整每一个像素的大小最终达到图像尺寸调整的目的。因为大量像素的改变会破坏图像的空间一致性，所以需要建立基于线的像素融合来保存空间一致性。基于线的像素融合就是给同一条线上的像素分配相同的缩放因子，这就要求同一条线上的像素具有较高的相似性，这样才不会造成额外的视觉失真。不仅如此，为了同时减小左右视图视觉失真，右视图中的对应的匹配线也应该具有较高的相似性。因此，E_intensity同时计算左右视图中的像素的相似性：

E_intensity(i,j,j^±)＝E_L(i,j,j^±)+E_R(i,j,j^±),

E_L(i,j,j^±)＝E^v(i,j,j^±)+E^h(i,j)

E^h(i,j)＝|I(i,j+1)-I(i,j-1)|

其中右视图的能量方程和左视图相似。

因为选择出的线需要找到其在右视图中的匹配线，并建立匹配图。因此，选择出的线应该具有较高的可匹配性。因此，匹配方程如下所示：

E_match(i,j)＝E_diff(i,j)+D_n(i,j)

E_diff(i,j)＝|I_L(i,j)-I_R(i,j+D(i,j))|

D_n是归一化后的视差图，D表示视差关系。

2)根据建立的线选择能量方程，利用动态规划选择出线，再根据视差关系选择出线对。选择出线的数量是根据每行中的被遮挡点来决定的。因为，被遮挡点无法找到其匹配点，因此这些点不能够被选择。实验证明选择出的线越多，越能够保存空间相干性，视觉失真越小。但是立体图像中存在一些左视图中能看到而右视图看不见的点，这些点被称为被遮挡点。实验表明，被遮挡的改变会造成严重的视差失真。因此，这些点不能简单通过能量值来表明他们的重要性。本发明中将这些点的代价值设为无穷，该约束能够避免被遮挡的像素被选择。代价矩阵的建立如下：

O(i,j)是一个二值图，代表像素(i,j)是否为被遮挡点。在本方法中，O(i,j)＝1代表像素被遮挡；O(i,j)＝0代表像素是非遮挡点。

利用动态规划，可以循环选择出能量值最小的线，也就是重要性值较小的线。首先根据能量方程计算出代价矩阵M，接着选择出能量值最小的线，然后从代价矩阵M中删除选择出的线以免重复选择。之后代价矩阵M将会被重新计算来选择出下一条线。该动态规划过程将会重复直到某一行中剩下的像素全部为不能被选择的被遮挡点为止。

2.重要性图的计算

图像重定向要求修改给定图像的分辨率，放大或缩小图像的同时保持图像中的重要特征并使其扭曲失真最小化。保持图像中的重要特征就必须要根据图像内容对图像不同部分进行不同修改，即在显著性区域，图像不能被扭曲或者极少的扭曲变形(用户可接受的范围)；但在用户不太感兴趣的非显著性区域，可以进行较多的扭曲。因此，显著性图的质量对重定向结果有很大的影响。平面图像显著性模型通常结合视觉特征比如颜色，亮度，方向来计算像素的显著性值。与平面图像相比，立体图像包含了有价值的深度信息。很多实验已经证实视差值越大的对象(前景对象)越容易被注意。如此可见，如何将深度信息和平面显著性值相结合在立体显著性检测中起到很大作用。本文中的立体显著性图的计算如下：

S_2D是由Itti模型计算出的左视图的平面显著性图，其值从0到1，是权衡因子，D^*是归一化后的视差图：

d_i,j是第i行第j列的像素的视差值。d_max和d_min分别代表视差最大值和最小值。

3.空间相干滤波

如果缺少保存空间相干性的约束，大量的像素值的变化可能会引起图像失真。需要利用行间相干滤波来保存图像的空间相干性。

根据能量方程选择好线之后，给每一个线对分配一个ID。ID代表线选择的顺序，其值是从1到n。n是线选择的数目。在图像中，除了那些被选择的像素，剩下的像素也会分配一个ID值。从左到右，这些像素将会按顺序的分配一个ID，ID值从n+1到W(W是原图像的宽度)。通过这种方法，每一行中的每一个像素都会有一个独特的ID值。根据ID值对像素的显著性图进行相干滤波。行间相干滤波就是给同一条线上的像素分配相同的值，做相同的处理。对显著名图进行行间相干滤波，给同一条线上的像素分配相同的显著性值，记为重要性值，对于那些遮挡点，因为其特殊的特性，本发明中，直接用常数值c作为这些点的重要性值。滤波器设计成如下形式：

IM_m代表第m条线的重要性值。H是图像的高度，代表第m条线第k行的像素的显著性值。

4.左视图的缩放因子分配

计算完重要性图，每一条线将要根据重要性质分配一个缩放因子。根据缩放因子，像素的宽度将要从一个整数单元变成分数值。需要注意的是，本发明只考虑宽度变小的重定向情况。根据重定向的原则，应该保存重要区域，通过缩小不要重要区域来调整图像宽度。为了保存重要性对象，应该给这些对象应该分配一个大一点的缩放因子。前面已经提到，为了减少立体图像的视差失真，被遮挡区域的宽度应该保存，只改变匹配区域的宽度。综上所述，当给像素分配缩放因子时应该同时考虑重要对象和视差信息。在本发明中，为了保存视差，不同区域的缩放因子分配机制应该不同。考虑到遮挡区域的特殊性，通过该区域的线应该分配一个特殊的缩放因子，考虑到保存遮挡区域的宽度，这些线的缩放因子被分配为1。值得注意的是，缩放因子应该不大于1。这个约束是用来减小对象的变形。因为如果显著性图计算不正确的话，会出现，同一个对象不同部分的显著性不同。在分配缩放因子时，同一个对象中的像素的缩放因子值可能会相差很大，这就会造成对象的扭曲变形。增加缩放因子不大于1的约束，会减小像素间缩放因子的差值，极大地减小了对象的扭曲变形。因此，分配机制定义为：

Scal_m代表第m条线的缩放因子，W'代表目标图像的宽度；W是输入图像的宽度；n是选择线的数目；N代表满足Scal_m≥1的线的数目。n是可匹配区域线的数目；m≤n表示可匹配区域中的线，m＞n表示不可匹配区域中的线；IM_m表示第m条线的重要性值；

Scal_m的计算是一个迭代过程。N初始化为0.用公式计算完Scal_m后，根据缩放因子大于1的线的数目来更新N，而且这些线的缩放因子被设为1.然后根据公式重新计算Scal_m。该过程一直重复直到所有线的缩放因子都不大于1。

5.右视图的缩放因子分配

至此，已经计算出了左视图的缩放因子。利用左右视图中像素的视差关系我们可以得到右视图的缩放因子。

其中Scal_R为右视图的缩放因子图，Scal_L为左视图的缩放因子图，D_R为右视图的视差图。O_R是二值图，代表右视图中的像素是否为遮挡点：O_R(i,j)＝0代表像素(i,j)不是遮挡点；O_R(i,j)＝1代表像素(i,j)是遮挡点。

6.像素融合

根据每个像素的缩放因子，我们利用像素融合算法来对图像进行重定向处理。该方法只考虑水平方向上的图像重定向，也就是说，根据缩放因子调整像素的宽度但是保存像素的高度。然后将调整后的像素宽度作为权重因子，对像素进行线性组合来组成新的像素。这些新组成的像素组成了重定向后的图像。值得注意的是，尽管左右视图用了像素融合进行单独处理，但是因为缩放因子的分配考虑了视差保存，因此，3D场景能够被很好的保存。可以通过计算重定向后图像的视差图来证明我们方法的有效性。从图4可以看出我们方法能够很好地保存视差。

Claims (2)

1.一种立体图像重定向方法，包括下列步骤：

1)首先根据像素的纹理相似性和视差相似性建立线选择能量方程，即

E_total(i,j,j^±)＝E_intensity(i,j,j^±)+α·E_match(i,j),

E_L(i,j,j^±)＝E^v(i,j,j^±)+E^h(i,j)

E^h(i,j)＝|I(i,j+1)-I(i,j-1)|

E_match(i,j)＝E_diff(i,j)+D_n(i,j)

E_diff(i,j)＝|I_L(i,j)-I_R(i,j+D(i,j))|

其中(i,j)代表第i行被选择像素的坐标，j^±代表第i-1行被选择的像素的纵坐标；E_total(i,j,j^±)表示坐标为(i,j)的像素的总能量，E_intensity(i,j,j^±)为坐标为(i,j)的像素的纹理相似性能量，E_match(i,j)为坐标为(i,j)的像素的匹配能量，α为阈值，E_L(i,j,j^±)代表左图中坐标为(i,j)的像素的纹理相似性能量，代表右视图中坐标为(i,j_R)的像素的纹理相似性能量，其计算方法和E_L(i,j,j^±)的计算方法相同，其中(i,j)和(i,j_R)为左右视图中一对匹配像素的坐标，其匹配关系为j＝j_R+D(i,j)，D(i,j)代表坐标为(i,j)的像素的视差值，E^h(i,j)代表坐标为(i,j)的像素与其水平方向上相邻像素之间的纹理相似性能量，其中I(i,j)表示图像I中坐标为(i,j)的像素的像素值，Ev(i,j,j^±)代表坐标为(i,j)的像素与其垂直方向上相邻像素之间的纹理相似性，E_diff(i,j)代表左视图中坐标为(i,j)的像素与其在右视图中坐标为(i,j+D(i,j))的相匹配像素的像素差值，其中I_L(i,j)表示左视图I_L中坐标为(i,j)的像素的像素值，I_R(i,j+D(i,j))表示右视图I_R中坐标为(i,j+D(i,j))的像素的像素值，D(i,j)代表左视图中坐标为(i,j)的像素的视差值，D_n(i,j)表示左视图中坐标为(i,j)的像素归一化后的视差值；

再根据建立的能量方程建立代价矩阵M，并且利用动态规划来选择出能量代价最小的线，也就是重要性值较小的线，并根据线选择的顺序给每一条线标记一个ID；

2)将深度信息和平面显著性图相结合得到立体显著性图S_3D；

3)对显著性图进行空间相干滤波后得到最终的重要性图IM；

4)给左视图分配缩放因子：将左视图进行区域分类：可匹配区域、不可匹配区域类，并给不同的区域设置不同的缩放因子，以线为单位为图像中的像素分配缩放因子，对于可匹配区域中的线，根据线的重要程度进行缩放因子分配，重要性高的线分配较大的缩放因子值，重要性低的分配较小的缩放因子值；对于不可匹配区域中的线，直接分配值为1的缩放因子来保存整体视差；

5)根据左右视图的视差，找到左右视图中像素间的对应关系，得到右视图的像素的缩放因子；

6)根据每个像素的缩放因子，利用像素融合算法来对图像进行重定向处理，得到最终的重定向后的图像。

2.根据权利要求1所述的立体图像重定向方法，其特征在于，同时考虑像素的纹理相似性和视差相似性计算线选择能量方程，其中阈值α为0.3。