CN108537806A - 一种基于累积能量的立体图像线裁剪重定向方法 - Google Patents

一种基于累积能量的立体图像线裁剪重定向方法 Download PDF

Info

Publication number
CN108537806A
CN108537806A CN201810342811.8A CN201810342811A CN108537806A CN 108537806 A CN108537806 A CN 108537806A CN 201810342811 A CN201810342811 A CN 201810342811A CN 108537806 A CN108537806 A CN 108537806A
Authority
CN
China
Prior art keywords
energy
pixel
right view
picture
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810342811.8A
Other languages
English (en)
Inventor
牛玉贞
林玉清
郭文忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810342811.8A priority Critical patent/CN108537806A/zh
Publication of CN108537806A publication Critical patent/CN108537806A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种基于累积能量的立体图像线裁剪重定向方法，包括以下步骤：1、输入立体图像和对应的视差图，初始化输入图像的能量矩阵和能量累积矩阵；2、采用动态规划的方法找到左、右视图的最优缝组并记录其路径；3、将最优缝组路径上的每个像素的能量累积到其相邻的8个像素上；4、检测并沿着最大边缘信息的方向继续向相邻的2个像素进行能量累积；5、删除最优缝组，更新图像的能量矩阵、能量累积矩阵M及对应的视差图；6、迭代上述步骤直至目标尺寸，获得重定向后的左、右视图和对应的视差图。该方法能够有效减少由于缝操作集中在图像某一区域从而引起的立体图像的视觉失真，并能保持左右图像的几何一致性，提高立体图像线裁剪的性能。

Description

一种基于累积能量的立体图像线裁剪重定向方法
技术领域
本发明涉及涉及图像处理及计算机视觉领域，特别是图像显示适应中一种基于累积能量的立体图像线裁剪重定向方法。
背景技术
近年来，图像重定向方法作为计算机视觉领域的一个热点课题得到许多学者的重视与研究，相关的成果也层出不穷。这些方法的共同目标是改变图像尺寸大小或者纵横比以适应不同的设备的显示屏幕，并且尽可能地减少图像内容的失真和保持原有的图像结构信息。线裁剪(Seam Carving,SC)方法最早是由Avidan等人提出来的，是基于内容的图像重定向的一种有效方法。一条缝是指在迭代地进行删除或者插入过程中，由能量最低的像素组成的最优路径。为了保证图像的内容和结构的完整性，学者们提出了不同的线裁剪方法，Rubinstein等人在删除缝的时候引入了前向能量。Kazu Mishiba等人将一条缝定义成由一对像素组成的路径，这样合并缝的方法能保留图像的结构信息。Grundmann等人提出了不连续的线裁剪方法。在线裁剪时，缝不再是由自上而下或者从左往右的像素组成的连通路径，而是变成了一段段不连续的缝(piece-wise seams)。Domingues等人使用缝流(a streamseam)，即缝的宽度大于一个像素，获得更符合人们视觉偏好的结果。Hsi-Chin Hsin提出了一种使用显著性直方图来均衡的基于内容的线裁剪方法，即通过创建一个非均匀的网格来均衡图像的显著性，在显著区域用网格处理方式也能够降低时间代价。
随着多媒体和显示设备的不断流行，立体图像重定向技术俨然变成了一个研究热点。尽管上述方法在处理单目图像时能产生令人满意的结果，然而在处理立体图像时，它们并不能保证左右视图的几何一致性。Tali Basha等人提出了立体图像线裁剪(SSC)的方法，在能量函数中考虑深度信息、几何结构信息以及左右视图中的遮挡/被遮挡像素。为了减少图像中物体的几何失真，Bin Yue等人在确定图像的显著对象时同时考虑了梯度强度和视觉融合区域。Kuo-Chin Lien等人提出了一种新算法，在进行立体图像重定向时使用高阶能量来同时约束左右视图的一对像素组，以此保证图像的2D和3D结构信息不被破坏。为了保持图像的几何一致性，Utsugi等人将左右视图对应的一对缝分为两类：能保持一致性的对应缝(corresponding seams)和改变一致性的遮挡缝(occluded seams)。
尽管线裁剪的方法在大多情况下可以得到相对较好地重定向结果，然而鉴于立体图像左右视图的几何一致性以及图像3D结构特性，而线裁剪又是通过连续地删除或插入最优缝来实现图像重定向，因此很可能集中在某区域删除或者插入某些像素，在进行立体图像线裁剪时也不可避免地产生了严重的失真结果。
发明内容
本发明的目的在于提供一种基于累积能量的立体图像线裁剪重定向方法，该方法能够有效减少由于缝操作集中在图像某一区域从而引起的立体图像的视觉失真，并能保持左右图像的几何一致性，提高立体图像线裁剪的性能。
为实现上述目的，本发明采用的技术方案是：一种基于累积能量的立体图像线裁剪重定向方法，包括以下步骤：
步骤S1：输入由左、右视图组成的一幅立体图像和对应的视差图，初始化输入图像的能量矩阵W和能量累积矩阵M；
步骤S2：采用动态规划的方法找到左、右视图的一组最优缝组并记录所述最优缝组的路径；
步骤S3：将记录的最优缝组路径上的每个像素的能量以一定的权重累积到其相邻的8个像素上；
步骤S4：采用索贝尔算子检测具有最大边缘信息的方向，沿着该方向继续向相邻的2个像素进行能量累积；
步骤S5：删除最优缝组，更新此时得到的图像的能量矩阵、能量累积矩阵M及对应的视差图；
步骤S6：迭代步骤S2～S5直至目标尺寸，获得重定向后的左、右视图和对应的视差图。
进一步地，所述步骤S1中，输入立体图像和视差图，初始化输入图像的能量矩阵W和能量累积矩阵M，包括以下步骤：
步骤S11：输入一对立体图像{IL,IR}和对应的视差图D；
步骤S12：计算能量函数中的前向能量项Eintensity；
为保持左视图和右视图中内容的一致性，从左、右视图中删除缝时，必须同时删除一组耦合缝，即耦合缝在图像第i行上的一对像素应满足如下关系：
jR＝jL+D(i,j)
其中，(i,j)是该对像素在左视图的像素位置，jR是该对像素在右视图的纵坐标，D(i,j)是该对像素在左视图的(i,j)位置相对于其在右视图的位置的视差值；
当从左、右视图中同时删除一组耦合缝时，原先不相邻的像素相邻后将引入前向能量，对于左、右视图分别有EL和ER；假设从输入图像I删除一个像素，像素在能量矩阵W中的位置记为(i,j)，所述输入图像I为左视图IL或右视图IR，由于左、右视图的前向能量EL、ER的计算方法相同，因此采用相同公式计算如下：
E(i,j,j±)＝Ev(i,j,j±)+Eh(i,j)
其中，j±是或的简单标记，表示从左视图或右视图中删除所述耦合缝上的像素(i,j)的上一行的像素位置；Eh(i,j)和Ev(i,j,j±)分别表示在水平和垂直方向上产生的前向能量；水平方向上的前向能量为：
Eh(i,j)＝|F(i,j+1)-F(i,j-1)|
其中，F(i,j+1)表示输入图像I在(i,j+1)处的亮度值；
在垂直方向上，新引入的能量取决于第i-1行上的j±，则有以下三种情况：
其中，
其中，F(i-1,k)、F(i,k-1)、F(i,k)分别表示输入图像I在(i-1,k)、(i,k-1)、(i,k)处的亮度值；
因此，当从左视图和右视图中删除耦合缝上相对应的一对像素时，引入的前向能量Eintensity为：
其中，Eintensity(i,j,j±)表示输入图像在(i,j)处的前向能量值，EL(i,j,j±)表示输入图像的左视图在(i,j)处的前向能量值，表示输入图像的右视图在(i,j)处的前向能量值；
步骤S13：计算能量函数中的3D能量项E3D：
E3D(i,j,j±)＝ED(i,j,j±)+β|Dn(i,j)|+γG(i,j)
其中，E3D(i,j,j±)表示在(i,j)处的3D能量值，ED(i,j,j±)表示视差图在(i,j)处的前向能量，可由上述前向能量的计算方法得到Dn(i,j)是由视差图D归一化到[0,1]区间后得到的(i,j)处的视差能量值，G(i,j)为输入图像(i,j)处左、右视图之间的亮度差异能量值，即G(i,j)＝|FL(i,j)-FR(i,j+D(i,j))|，FL(i,j)和FR(i,j)分别为左、右视图IL和IR在(i,j)处的亮度值，β、γ为权重系数，分别控制对应项的权重；
步骤S14：结合步骤S12和步骤S13初始化输入图像的能量矩阵W，最终的能量矩阵W为：
E(i,j,j±)＝Eintensity(i,j,j±)+αE3D(i,j,j±)
其中，E(i,j,j±)表示输入图像(i,j)处的能量值，α为权重系数，用于控制前向能量项Eintensity和3D能量项E3D的权重；
步骤S15：初始化能量累积矩阵M为步骤S14的能量矩阵W。
进一步地，所述步骤S2中，采用动态规划的方法找到左、右视图的一组最优缝组并记录所述最优缝组的路径，包括以下步骤：
步骤S21：采用动态规划的方法找到左视图的一条最优缝，记录路径为其中当该条最优缝为垂直缝时，表示左视图最优缝上第i行的像素，m表示图像的高度；当该条最优缝为水平缝时，表示左视图最优缝上第i列的像素，m表示图像的宽度；
步骤S22：右视图的最优缝路径由对应的视差图D计算得到，记录为其与左视图的最优缝满足如下关系：
其中，jL(i)、jR(i)分别表示在左、右视图的最优缝组中第i行的像素的列坐标位置；表示像素的视差值；
对于删除垂直缝的情况，假设将宽度为m的图像删除若干条垂直的最优缝后图像的宽度变为n，则它们满足映射关系jL,jR:[1,2,…,m]→[1,2,…,n]；在左视图的最优缝上，第i行的像素点满足则在右视图中对应的像素点为：删除水平缝的方法同理。
进一步地，所述步骤S3中，对于最优缝路径上的每个像素，从该像素的水平、垂直、45度、135度对角线这四个方向考虑能量累积的权重，这四个方向的能量累积的初始权重确定为：
w1＝max(M(i,j-1),M(i,j+1))
w2＝max(M(i-1,j),M(i+1,j))
w3＝max(M(i-1,j-1),M(i+1,j+1))
w4＝max(M(i-1,j+1),M(i+1,j-1))
其中，M(i,j-1)、M(i,j+1)、M(i-1,j)、M(i+1,j)、M(i-1,j-1)、M(i+1,j+1)、M(i-1,j+1)、M(i+1,j-1)分别表示在能量累积矩阵M中记录的像素(i,j-1)、(i,j+1)、(i-1,j)、(i+1,j)、(i-1,j-1)、(i+1,j+1)、(i-1,j+1)、(i+1,j-1)处的累积能量，w1、w2、w3、w4分别表示像素的水平、垂直、45度、135度对角线四个方向上的初始权重。
进一步地，所述步骤S4中，采用索贝尔算子检测具有最大边缘信息的方向，沿着该方向继续向相邻的2个像素进行能量累积，包括以下步骤：
步骤S41：使用索贝尔边缘信息检测算子计算该像素的水平、垂直、45度和135度对角线这四个方向上的边缘信息强度；索贝尔算子在四个方向上的模板分别为：
步骤S42：在检测到的边缘信息幅度最大的方向上持续进行能量累积，假设在水平方向上检测到的边缘信息幅度最大，则继续沿水平方向将能量向相邻的2个像素累积，能量累积的权重wc计算公式为：
wc＝wi/2, i＝1,2,3,4
wc由检测出的具有最大边缘信息的方向决定，当检测出为水平方向时，wc＝w1/2；当检测出为垂直方向时，wc＝w2/2；当检测出为45度对角线方向时，wc＝w3/2；当检测出为135度对角线方向时，wc＝w4/2；
步骤S43：结合步骤S3，可得被删除像素的周围的10个像素的能量累积的权重wi最终为：
wi＝wi/(2×∑(wi+wc)+σ), i＝1,2,3,4
该公式用于归一化权重，wc是持续向外累积的能量，σ为控制参数，用于避免除零项。
进一步地，所述步骤S5中，被删除像素的周围的10个像素的能量累积矩阵更新为：
M(i,j±1)＝M(i,j±1)+w1×M(i,j)
M(i±1,j)＝M(i±1,j)+w2×M(i,j)
M(i±1,j±1)＝M(i±1,j±1)+w3×M(i,j)
其中，M(i,j)表示在能量累积矩阵M中记录的像素(i,j)处的累积能量，表示在能量累积矩阵M中记录的像素(i+1,j-1)和(i-1,j+1)处的累积能量，M(i,j±2)表示在能量累积矩阵M中记录的像素(i,j+2)和(i,j-2)处的累积能量，所述w1、w2、w3、w4为步骤S43中归一化后的权重wi，θ＝0°、90°、45°、135°分别表示检测出具有最大边缘信息的方向为水平、垂直、45度、135度对角线这四个方向。
相较于现有立体图像线裁剪重定向方法，本发明的有益效果是：本发明在删除或者插入某条缝时，将被操作缝路径上的每个像素的能量以一定的权重累积到相邻的8连通像素，降低在该条缝附近区域连续地进行缝操作的概率，从而避免在图像的某一区域集中地删除或者插入缝，导致图像内容的不连续。此外，考虑到图像中不同物体的景深信息不同，像素所包含的信息具有各向异性(Anisotropic Difference)，像素在某一方向上所包含的边缘信息越大，表示该方向上包含图像内容信息越多。因此，本发明通过索贝尔算子检测得到边缘信息幅度最大的方向，并持续沿该方向上进行能量累积，从而进一步减少重定向结果的几何失真，保持图像内容的完整性。综上，本发明的方法能够有效地减少由于缝操作集中在图像某一区域从而引起的立体图像的视觉失真，并能保持左右图像的几何一致性，提高立体图像线裁剪的性能，可应用于图像显示适应、计算机视觉等领域。
附图说明
图1是本发明方法的流程框图。
图2是本发明实施例的步骤S1中最优缝上像素(i,j)周围的能量矩阵示例图。
图3是本发明实施例的步骤S2中实现周围8个像素的能量更新示例图。
图4是本发明实施例的步骤S3中实现水平方向向外2个像素持续能量更新示例图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供一种基于累积能量的立体图像线裁剪重定向方法，如图1所示，包括以下步骤：
步骤S1：输入由左、右视图组成的一幅立体图像和对应的视差图，初始化输入图像的能量矩阵W和能量累积矩阵M。具体包括以下步骤：
步骤S11：输入一对立体图像{IL,IR}和对应的视差图D。
步骤S12：计算能量函数中的前向能量项Eintensity。
为保持左视图和右视图中内容的一致性，从左、右视图中删除缝时，必须同时删除一组耦合缝，即耦合缝在图像第i行上的一对像素应满足如下关系：
jR＝jL+D(i,j)
其中，(i,j)是该对像素在左视图的像素位置，jR是该对像素在右视图的纵坐标，D(i,j)是该对像素在左视图的(i,j)位置相对于其在右视图的位置的视差值。
当从左、右视图中同时删除一组耦合缝时，原先不相邻的像素相邻后将引入前向能量，对于左、右视图分别有EL和ER。假设从输入图像I删除一个像素，像素在能量矩阵W中的位置记为(i,j)，所述输入图像I为左视图IL或右视图IR，由于左、右视图的前向能量EL、ER的计算方法相同，因此采用相同公式计算如下：
E(i,j,j±)＝Ev(i,j,j±)+Eh(i,j)
其中，j±是或的简单标记，表示从左视图或右视图中删除所述耦合缝上的像素(i,j)的上一行的像素位置。耦合缝是由左、右视图上找到的最优缝组成的一组缝，立体图像线裁剪是在不连续的缝上操作，因此，删除的像素(i,j)可以是像素(i,j)上一行的任意一个像素，不一定是第j列的。Eh(i,j)和Ev(i,j,j±)分别表示在水平和垂直方向上产生的前向能量。水平方向上的前向能量为：
Eh(i,j)＝|F(i,j+1)-F(i,j-1)|
其中，F(i,j+1)表示输入图像I在(i,j+1)处的亮度值。
在垂直方向上，新引入的能量取决于第i-1行上的j±，则有以下三种情况：
其中，
其中，F(i-1,k)、F(i,k-1)、F(i,k)分别表示输入图像I在(i-1,k)、(i,k-1)、(i,k)处的亮度值。
因此，当从左视图和右视图中删除耦合缝上相对应的一对像素时，引入的前向能量Eintensity为：
其中，Eintensity(i,j,j±)表示输入图像在(i,j)处的前向能量值，EL(i,j,j±)表示输入图像的左视图在(i,j)处的前向能量值，表示输入图像的右视图在(i,j)处的前向能量值。
步骤S13：计算能量函数中的3D能量项E3D。为了保持图像的3D结构特性，在能量函数中还应该考虑像素的3D能量E3D：
E3D(i,j,j±)＝ED(i,j,j±)+β|Dn(i,j)|+γG(i,j)
其中，E3D(i,j,j±)表示在(i,j)处的3D能量值，ED(i,j,j±)表示视差图在(i,j)处的前向能量，可由上述前向能量的计算方法得到Dn(i,j)是由视差图D归一化到[0,1]区间后得到的(i,j)处的视差能量值，G(i,j)为图像(i,j)处左、右视图之间的亮度差异能量值，即G(i,j)＝|FL(i,j)-FR(i,j+D(i,j))|，FL(i,j)和FR(i,j)分别为左、右视图IL和IR在(i,j)处的亮度值，β、γ为权重系数，分别控制对应项的权重。在本实施例中，取值分别为0.68和0.5。
步骤S14：结合步骤S12和步骤S13初始化输入图像的能量矩阵W，最终的能量矩阵W为：
E(i,j,j±)＝Eintensity(i,j,j±)+αE3D(i,j,j±)
其中，E(i,j,j±)表示输入图像(i,j)处的能量值，α为权重系数，用于控制前向能量项Eintensity和3D能量项E3D的权重。在本实施例中，取值为0.5。
步骤S15：初始化能量累积矩阵M为步骤S14的能量矩阵W。如图2所示，M(i,j)表示在最优缝上的像素(i,j)的能量。
步骤S2：采用动态规划的方法找到左、右视图的一组最优缝组并记录所述最优缝组的路径。具体包括以下步骤：
步骤S21：采用动态规划的方法找到左视图的一条最优缝，记录路径为其中当该条最优缝为垂直缝时，表示左视图最优缝上第i行的像素，m表示图像的高度。当该条最优缝为水平缝时，表示左视图最优缝上第i列的像素，m表示图像的宽度。
步骤S22：右视图的最优缝路径由对应的视差图D计算得到，记录为其与左视图的最优缝满足如下关系：
其中，jL(i)、jR(i)分别表示在左、右视图的最优缝组中，第i行的像素的列坐标位置。表示像素的视差值。
对于删除垂直缝的情况，假设将宽度为m的图像删除若干条垂直的最优缝后图像的宽度变为n，则它们满足映射关系jL,jR:[1,2,…,m]→[1,2,…,n]。在左视图的最优缝上，第i行的像素点满足则在右视图中对应的像素点为：删除水平缝的方法同理。
步骤S3：将记录的最优缝组路径上的每个像素的能量以一定的权重累积到其相邻的8个像素上。
对于最优缝路径上的每个像素，像素的能量矩阵标记图如图3所示，从该像素的水平、垂直、45度、135度对角线这四个方向考虑能量累积的权重，这四个方向的能量累积的初始权重确定为：
w1＝max(M(i,j-1),M(i,j+1))
w2＝max(M(i-1,j),M(i+1,j))
w3＝max(M(i-1,j-1),M(i+1,j+1))
w4＝max(M(i-1,j+1),M(i+1,j-1))
其中，M(i,j-1)、M(i,j+1)、M(i-1,j)、M(i+1,j)、M(i-1,j-1)、M(i+1,j+1)、M(i-1,j+1)、M(i+1,j-1)分别表示在能量累积矩阵M中记录的像素(i,j-1)、(i,j+1)、(i-1,j)、(i+1,j)、(i-1,j-1)、(i+1,j+1)、(i-1,j+1)、(i+1,j-1)处的累积能量，w1、w2、w3、w4分别表示像素的水平、垂直、45度、135度对角线四个方向上的初始权重。
步骤S4：采用索贝尔算子检测具有最大边缘信息的方向，沿着该方向继续向相邻的2个像素进行能量累积。具体包括以下步骤：
步骤S41：使用索贝尔(Sobel)边缘信息检测算子计算该像素的水平、垂直、45度和135度对角线这四个方向上的边缘信息强度。索贝尔算子在四个方向上的模板分别为：
步骤S42：在检测到的边缘信息幅度最大的方向上持续进行能量累积，假设在水平方向上检测到的边缘信息幅度最大，则继续沿水平方向将能量向相邻的2个像素累积，能量累积的权重wc计算公式为：
wc＝wi/2, i＝1,2,3,4
wc由检测出的具有最大边缘信息的方向决定，当检测出为水平方向时，wc＝w1/2；当检测出为垂直方向时，wc＝w2/2；当检测出为45度对角线方向时，wc＝w3/2；当检测出为135度对角线方向时，wc＝w4/2。
步骤S43：结合步骤S3，可得被删除像素的周围的10个像素(被删除像素的周围的10个像素指的步骤S3所述的相邻8个像素和步骤S42计算的沿着检测到的边缘信息幅度最大的方向相邻的2个像素)的能量累积的权重wi最终为：
wi＝wi/(2×∑(wi+wc)+σ), i＝1,2,3,4
该公式用于归一化权重，wc是持续向外累积的能量，σ为控制参数，实验中取0.00001，用于避免除零项。
步骤S5：删除最优缝组，更新此时得到的图像的能量矩阵、能量累积矩阵M及对应的视差图。
其中，被删除像素的周围的10个像素的能量累积矩阵更新为：
M(i,j±1)＝M(i,j±1)+w1×M(i,j)
M(i±1,j)＝M(i±1,j)+w2×M(i,j)
M(i±1,j±1)＝M(i±1,j±1)+w3×M(i,j)
其中，M(i,j)表示在能量累积矩阵M中记录的像素(i,j)处的累积能量，表示在能量累积矩阵M中记录的像素(i+1,j-1)和(i-1,j+1)处的累积能量，M(i,j±2)表示在能量累积矩阵M中记录的像素(i,j+2)和(i,j-2)处的累积能量，所述w1、w2、w3、w4为步骤S43中归一化后的权重wi，θ＝0°、90°、45°、135°分别表示检测出具有最大边缘信息的方向为水平、垂直、45度、135度对角线这四个方向。图4所示为检测出的方向为水平方向时，能量矩阵的更新示例图。
步骤S6：迭代步骤S2～S5直至目标尺寸，获得重定向后的左、右视图和对应的视差图。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于累积能量的立体图像线裁剪重定向方法，其特征在于，包括以下步骤：
步骤S1：输入由左、右视图组成的一幅立体图像和对应的视差图，初始化输入图像的能量矩阵W和能量累积矩阵M；
步骤S2：采用动态规划的方法找到左、右视图的一组最优缝组并记录所述最优缝组的路径；
步骤S3：将记录的最优缝组路径上的每个像素的能量以一定的权重累积到其相邻的8个像素上；
步骤S4：采用索贝尔算子检测具有最大边缘信息的方向，沿着该方向继续向相邻的2个像素进行能量累积；
步骤S5：删除最优缝组，更新此时得到的图像的能量矩阵、能量累积矩阵M及对应的视差图；
步骤S6：迭代步骤S2～S5直至目标尺寸，获得重定向后的左、右视图和对应的视差图。
2.根据权利要求1所述的一种基于累积能量的立体图像线裁剪重定向方法，其特征在于，所述步骤S1中，输入立体图像和视差图，初始化输入图像的能量矩阵W和能量累积矩阵M，包括以下步骤：
步骤S11：输入一对立体图像{IL,IR}和对应的视差图D；
步骤S12：计算能量函数中的前向能量项Eintensity；
为保持左视图和右视图中内容的一致性，从左、右视图中删除缝时，必须同时删除一组耦合缝，即耦合缝在图像第i行上的一对像素应满足如下关系：
jR＝jL+D(i,j)
其中，(i,j)是该对像素在左视图的像素位置，jR是该对像素在右视图的纵坐标，D(i,j)是该对像素在左视图的(i,j)位置相对于其在右视图的位置的视差值；
当从左、右视图中同时删除一组耦合缝时，原先不相邻的像素相邻后将引入前向能量，对于左、右视图分别有EL和ER；假设从输入图像I删除一个像素，像素在能量矩阵W中的位置记为(i,j)，所述输入图像I为左视图IL或右视图IR，由于左、右视图的前向能量EL、ER的计算方法相同，因此采用相同公式计算如下：
E(i,j,j±)＝Ev(i,j,j±)+Eh(i,j)
其中，j±是或的简单标记，表示从左视图或右视图中删除所述耦合缝上的像素(i,j)的上一行的像素位置；Eh(i,j)和Ev(i,j,j±)分别表示在水平和垂直方向上产生的前向能量；水平方向上的前向能量为：
Eh(i,j)＝|F(i,j+1)-F(i,j-1)|
其中，F(i,j+1)表示输入图像I在(i,j+1)处的亮度值；
在垂直方向上，新引入的能量取决于第i-1行上的j±，则有以下三种情况：
其中，
其中，F(i-1,k)、F(i,k-1)、F(i,k)分别表示输入图像I在(i-1,k)、(i,k-1)、(i,k)处的亮度值；
因此，当从左视图和右视图中删除耦合缝上相对应的一对像素时，引入的前向能量Eintensity为：
其中，Eintensity(i,j,j±)表示输入图像在(i,j)处的前向能量值，EL(i,j,j±)表示输入图像的左视图在(i,j)处的前向能量值，表示输入图像的右视图在(i,j)处的前向能量值；
步骤S13：计算能量函数中的3D能量项E3D：
E3D(i,j,j±)＝ED(i,j,j±)+β|Dn(i,j)|+γG(i,j)
其中，E3D(i,j,j±)表示在(i,j)处的3D能量值，ED(i,j,j±)表示视差图在(i,j)处的前向能量，可由上述前向能量的计算方法得到Dn(i,j)是由视差图D归一化到[0,1]区间后得到的(i,j)处的视差能量值，G(i,j)为输入图像(i,j)处左、右视图之间的亮度差异能量值，即G(i,j)＝|FL(i,j)-FR(i,j+D(i,j))|，FL(i,j)和FR(i,j)分别为左、右视图IL和IR在(i,j)处的亮度值，β、γ为权重系数，分别控制对应项的权重；
步骤S14：结合步骤S12和步骤S13初始化输入图像的能量矩阵W，最终的能量矩阵W为：
E(i,j,j±)＝Eintensity(i,j,j±)+αE3D(i,j,j±)
其中，E(i,j,j±)表示输入图像(i,j)处的能量值，α为权重系数，用于控制前向能量项Eintensity和3D能量项E3D的权重；
步骤S15：初始化能量累积矩阵M为步骤S14的能量矩阵W。
3.根据权利要求2所述的一种基于累积能量的立体图像线裁剪重定向方法，其特征在于，所述步骤S2中，采用动态规划的方法找到左、右视图的一组最优缝组并记录所述最优缝组的路径，包括以下步骤：
步骤S21：采用动态规划的方法找到左视图的一条最优缝，记录路径为其中当该条最优缝为垂直缝时，表示左视图最优缝上第i行的像素，m表示图像的高度；当该条最优缝为水平缝时，表示左视图最优缝上第i列的像素，m表示图像的宽度；
步骤S22：右视图的最优缝路径由对应的视差图D计算得到，记录为其与左视图的最优缝满足如下关系：
其中，jL(i)、jR(i)分别表示在左、右视图的最优缝组中第i行的像素的列坐标位置；表示像素的视差值；
对于删除垂直缝的情况，假设将宽度为m的图像删除若干条垂直的最优缝后图像的宽度变为n，则它们满足映射关系jL,jR:[1,2,…,m]→[1,2,…,n]；在左视图的最优缝上，第i行的像素点满足则在右视图中对应的像素点为：删除水平缝的方法同理。
4.根据权利要求3所述的一种基于累积能量的立体图像线裁剪重定向方法，其特征在于，所述步骤S3中，对于最优缝路径上的每个像素，从该像素的水平、垂直、45度、135度对角线这四个方向考虑能量累积的权重，这四个方向的能量累积的初始权重确定为：
w1＝max(M(i,j-1),M(i,j+1))
w2＝max(M(i-1,j),M(i+1,j))
w3＝max(M(i-1,j-1),M(i+1,j+1))
w4＝max(M(i-1,j+1),M(i+1,j-1))
其中，M(i,j-1)、M(i,j+1)、M(i-1,j)、M(i+1,j)、M(i-1,j-1)、M(i+1,j+1)、M(i-1,j+1)、M(i+1,j-1)分别表示在能量累积矩阵M中记录的像素(i,j-1)、(i,j+1)、(i-1,j)、(i+1,j)、(i-1,j-1)、(i+1,j+1)、(i-1,j+1)、(i+1,j-1)处的累积能量，w1、w2、w3、w4分别表示像素的水平、垂直、45度、135度对角线四个方向上的初始权重。
5.根据权利要求4所述的一种基于累积能量的立体图像线裁剪重定向方法，其特征在于，所述步骤S4中，采用索贝尔算子检测具有最大边缘信息的方向，沿着该方向继续向相邻的2个像素进行能量累积，包括以下步骤：
步骤S41：使用索贝尔边缘信息检测算子计算该像素的水平、垂直、45度和135度对角线这四个方向上的边缘信息强度；索贝尔算子在四个方向上的模板分别为：
步骤S42：在检测到的边缘信息幅度最大的方向上持续进行能量累积，假设在水平方向上检测到的边缘信息幅度最大，则继续沿水平方向将能量向相邻的2个像素累积，能量累积的权重wc计算公式为：
wc＝wi/2,i＝1,2,3,4
wc由检测出的具有最大边缘信息的方向决定，当检测出为水平方向时，wc＝w1/2；当检测出为垂直方向时，wc＝w2/2；当检测出为45度对角线方向时，wc＝w3/2；当检测出为135度对角线方向时，wc＝w4/2；
步骤S43：结合步骤S3，可得被删除像素的周围的10个像素的能量累积的权重wi最终为：
wi＝wi/(2×∑(wi+wc)+σ),i＝1,2,3,4
该公式用于归一化权重，wc是持续向外累积的能量，σ为控制参数，用于避免除零项。
6.根据权利要求5所述的一种基于累积能量的立体图像线裁剪重定向方法，其特征在于，所述步骤S5中，被删除像素的周围的10个像素的能量累积矩阵更新为：
M(i,j±1)＝M(i,j±1)+w1×M(i,j)
M(i±1,j)＝M(i±1,j)+w2×M(i,j)
M(i±1,j±1)＝M(i±1,j±1)+w3×M(i,j)
其中，M(i,j)表示在能量累积矩阵M中记录的像素(i,j)处的累积能量，表示在能量累积矩阵M中记录的像素(i+1,j-1)和(i-1,j+1)处的累积能量，M(i,j±2)表示在能量累积矩阵M中记录的像素(i,j+2)和(i,j-2)处的累积能量，所述w1、w2、w3、w4为步骤S43中归一化后的权重wi，θ＝0°、90°、45°、135°分别表示检测出具有最大边缘信息的方向为水平、垂直、45度、135度对角线这四个方向。
CN201810342811.8A 2018-04-17 2018-04-17 一种基于累积能量的立体图像线裁剪重定向方法 Pending CN108537806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810342811.8A CN108537806A (zh) 2018-04-17 2018-04-17 一种基于累积能量的立体图像线裁剪重定向方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810342811.8A CN108537806A (zh) 2018-04-17 2018-04-17 一种基于累积能量的立体图像线裁剪重定向方法

Publications (1)

Publication Number Publication Date
CN108537806A true CN108537806A (zh) 2018-09-14

Family

ID=63480757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810342811.8A Pending CN108537806A (zh) 2018-04-17 2018-04-17 一种基于累积能量的立体图像线裁剪重定向方法

Country Status (1)

Country Link
CN (1) CN108537806A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634127A (zh) * 2020-12-22 2021-04-09 天津大学 一种无监督立体图像重定向方法
CN113592720A (zh) * 2021-09-26 2021-11-02 腾讯科技（深圳）有限公司 图像的缩放处理方法、装置、设备、存储介质、程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN106504186A (zh) * 2016-09-30 2017-03-15 天津大学 一种立体图像重定向方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN106504186A (zh) * 2016-09-30 2017-03-15 天津大学 一种立体图像重定向方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TALI DEKEL 等: "Stereo Seam Carving a Geometrically Consistent Approach", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
YUQING LIN 等: "ANISOTROPIC ENERGY ACCUMULATION FOR STEREOSCOPIC IMAGE SEAM CARVING", 《2017 INTERNATIONAL CONFERENCE ON 3D IMMERSION (IC3D)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634127A (zh) * 2020-12-22 2021-04-09 天津大学 一种无监督立体图像重定向方法
CN112634127B (zh) * 2020-12-22 2022-07-29 天津大学 一种无监督立体图像重定向方法
CN113592720A (zh) * 2021-09-26 2021-11-02 腾讯科技（深圳）有限公司 图像的缩放处理方法、装置、设备、存储介质、程序产品

Similar Documents

Publication Publication Date Title
Avidan et al. Seam carving for content-aware image resizing
Dong et al. Optimized image resizing using seam carving and scaling
Gao et al. Constructing image panoramas using dual-homography warping
Zhang et al. Casual stereoscopic panorama stitching
Hong et al. A local stereo matching algorithm based on weighted guided image filtering for improving the generation of depth range images
Zhang et al. Content-preserving image stitching with piecewise rectangular boundary constraints
EP2317474A1 (en) Markerless motion capturing apparatus and method
CN112991176B (zh) 一种基于最佳缝合线的全景图像拼接方法
US9208577B2 (en) 3D tracked point visualization using color and perspective size
TW201227538A (en) Method and apparatus for tracking target object
CN106485252B (zh) 图像配准试验点阵靶标图像特征点识别方法
CN108537806A (zh) 一种基于累积能量的立体图像线裁剪重定向方法
EP1999717B1 (en) Systems and methods for interactive definition of regions and volumes of interest
Fickel et al. Stereo matching and view interpolation based on image domain triangulation
Ilan et al. A Survey on Data‐Driven Video Completion
CN106599878A (zh) 一种基于深度学习的人脸重建矫正方法及装置
Wang et al. Stereoscopic image retargeting based on 3D saliency detection
CN108510574B (zh) 一种基于样例学习并增强视觉质量的3d图像裁剪方法
Zhu et al. Panorama completion for street views
Yoon et al. Distinctive similarity measure for stereo matching under point ambiguity
Yue et al. Improved seam carving for stereo image resizing
Zhang et al. Stereoscopic image stitching with rectangular boundaries
Ji et al. An automatic 2D to 3D conversion algorithm using multi-depth cues
CN116311219B (zh) 一种基于透视变换的地堆本品占地面积计算方法及装置
CN108038855A (zh) 一种高温点实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180914

RJ01 Rejection of invention patent application after publication