CN105847779B

CN105847779B - 垂直方向立体接缝雕刻缩放方法

Info

Publication number: CN105847779B
Application number: CN201610192114.XA
Authority: CN
Inventors: 龚永义; 关柏良; 曾坤; 李可宏; 吴贺丰; 罗笑南
Original assignee: Guangdong University of Foreign Studies
Current assignee: Guangdong University of Foreign Studies
Priority date: 2016-03-30
Filing date: 2016-03-30
Publication date: 2018-11-30
Anticipated expiration: 2036-03-30
Also published as: CN105847779A

Abstract

本发明公开了一种垂直方向立体接缝雕刻(seam carving)缩放方法，步骤包括：A、输入原始立体图像的左视图、右视图和视差图，并设定目标图像的分辨率；B、根据能量函数，计算立体图像左视图每个像素点一个能量值；C、采用动态规划方法，找出左视图一条水平走向的平面接缝；D、执行实投影策略，将左视图平面接缝映射到右视图；E、根据实投影得到的右视图接缝片段，执行传统接缝雕刻方法和虚投影方法结合的策略，拼接间隔缝隙，得到右图相应的水平走向接缝；F、同时增加或删除在左、右视图找到的接缝；G、反复执行步骤C至步骤F，直至立体图像缩放至指定大小，输出最终的左视图和右视图。本发明能够保留缩放后图像的整体特征，突出重要物体，并保持立体图像的立体信息。

Description

垂直方向立体接缝雕刻缩放方法

技术领域

本发明属于图像处理领域，尤其涉及垂直方向立体接缝雕刻缩放方法，可应用于立体图像垂直方向的缩小和放大处理。

背景技术

随着不同规格立体显示设备的推广，为了适应不同横纵比显示屏幕的播放要求，立体图像的非等比例缩放得到国内外学者的关注。传统的内容感知图像缩放方法重点研究平面图像的缩放。研究点包括显著区域的准确检测，图像扭曲、断裂的避免，图像主要特征和平滑性的保持等，可大致分为离散型和连续型两种缩放方法。其中离散型方法包括基于接缝雕刻、分块处理以及智能裁剪的方法，连续型方法主要是基于网格变形的图像缩放方法。由于传统方法没有引入立体图像的立体约束，导致缩放过程中左、右视图对应区域缩放程度不一致，此类方法并不适用于立体图像的非等比例缩放。

近年来，内容感知的立体图像缩放研究取得一定的成果。相关方法可分为离散型方法和连续型方法。离散型方法主要是基于接缝雕刻的方法。Utsugi最早将接缝雕刻算法用于立体图像缩放，之后Basha等学者于2011年提出的几何一致的接缝雕刻立体图像缩放方法。这类方法通过同时删除双目视图的对应接缝维持立体信息，但只能处理立体图像水平方向的缩放，并不适用于垂直方向的缩放。连续型方法主要是基于网格变形的方法。Che-Han Chang等学者于2011年提出内容感知的立体图像编辑方法。该方法采用尺寸不变特征转换(SIFT，Scale-invariant Feature Transform)稀疏匹配点在网格变形过程中加入立体约束，保持图像的立体信息。但是，经这种方法处理后，图像中直线物体容易发生弯曲，给用户带来不舒适的观看体验。同时尺寸不变特征转换稀疏对应关系取决于图像的场景结构，该方法存在应用场景的限制。

综上可知，现有的内容感知立体图像缩放方法在实际使用上存在局限性，所以有必要加以改进。

发明内容

本发明提出一种垂直方向立体接缝雕刻缩放方法。该方法提出实投影策略，在左视图平面接缝映射到右视图时，可以避免同列多像素现象；提出传统接缝雕刻方法和虚投影方法结合的策略，并结合传统的接缝雕刻方法结合，拼接实投影后得到的间隔缝隙，解决间隔缝隙的现象，得到右图相应的水平走向接缝。

本发明所解决的技术问题可采用如下的技术解决方案来实现：

本发明提供了一种垂直方向立体接缝雕刻缩放方法，包括以下步骤：

A、输入原立体图像的左视图、右视图和视差图，并设定目标图像的分辨率，确定立体图像在垂直方向的缩放比例；

B、根据能量函数，计算立体图像左视图每个像素点一个能量值；

具体的，能量函数包括外观能量式和深度能量式，利用两个式计算立体图像左视图每个像素点一个能量值。

C、采用动态规划方法，找出左视图一条水平走向的平面接缝；

具体的，根据每个点的能量值，采用动态规划方法找到一条能量值总和最小的水平走向的平面接缝。

D、执行实投影策略，将左视图平面接缝映射到右视图；

具体的，实投影策略是将左视图找到的水平走向接缝的每个像素点做筛选，有对应点的映射到右视图，视角外区域和被遮挡区域的像素点不映射。

E、根据实投影得到的右视图接缝片段，执行传统接缝雕刻方法和虚投影方法结合的策略，拼接间隔缝隙，得到右图相应的水平走向接缝；

具体的，实投影在映射时避开了视角外区域和被遮挡区域，在右视图会出现间隔缝隙，并分成两种情况：

1)若间隔缝隙位于视角外区域，以接缝片段中与视角外区域相邻接缝片段边界像素为起点，以视角外区域为搜索范围，按传统接缝雕刻构建该区域内接缝段。

2)若间隔缝隙位于某被遮挡区域，采用虚投影方法构建接缝片段。

F、左、右视图分别同时增加或删除步骤C和步骤E分别得到的左、右视图的接缝；

G、重复执行步骤C至步骤F，直至立体图像缩放至指定大小，输出最终的左视图和右视图。

本发明旨在提出一种垂直方向立体接缝雕刻缩放方法，构造原始立体图像的左、右视图对应关系，根据外观能量式和深度能量式计算左视图每个像素点的能量值，采用动态规划找出左视图能量总和最小的一条水平走向接缝，利用实投影策略、传统接缝雕刻方法和虚投影方法结合策略，找到右视图的一条水平走向接缝，得到一组立体接缝，通过对立体接缝进行增加或删除达到图像放大或缩小的效果，最后重复以上步骤得到目标立体图像。其特点和优点为：

针对已有的立体接缝雕刻缩放方法不适用于立体图像垂直方向的缩放，提出一种垂直方向立体接缝雕刻缩放方法。

由于左视图水平走向接缝映射到右视图时出现的同列多像素的情况，实投影策略可以解决这个问题，得到有效的接缝片段。

传统接缝雕刻方法和虚投影方法结合策略可以拼接实投影策略得到的接缝片段，解决间隔缝隙问题，得到右视图对应的水平走向接缝。

同时，该方法是基于内容感知的图像缩放方法，缩放后能较好地保持图像的整体特征，突出重要物体，也能有效保持立体图像的立体信息，避免垂直视差，保持立体图像视差一致性。

本发明提供的立体图像缩放方法，可用于进行立体图像垂直方向的缩小与放大，以适应不同横纵比显示屏幕的播放要求。

附图说明

图1是本发明垂直方向立体接缝雕刻缩放方法的流程图；

图2是本发明一个立体图像左右视图像素对应关系的示意图；

图3是本发明两种虚投影判别情况的分析示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的基本思想是：在立体图像的左视图找到一条水平走向的平面接缝，利用本发明提出的实投影策略得到右视图的接缝片段，利用虚投影方法与传统的接缝雕刻方法结合策略拼接接缝片段，找到右视图对应的水平走向平面接缝，通过重复同时增加或删除找到的接缝对，达到目标分辨率，能够有效保留图像整体特征，突出图像显著区域和重要目标，同时保持立体图像的立体信息。

参见图1，本发明提出一种垂直方向立体接缝雕刻缩放方法，具体步骤如下：

A、输入原始立体图像的左视图、右视图和视差图，并设定目标图像的分辨率，确定立体图像在垂直方向的缩放比例；

设原始立体图像的分辨率为m×n，目标立体图像的分辩率为m×n'。

具体的，沿用已有的方法构建垂直方向立体接缝雕刻算法的能量函数。设{I_L,I_R}是大小为m×n的立体图像，坐标(r,c)处立体像素的能量函数由亮度项和立体几何项组成，

E_toatal(r,c,r^±)＝E_instensity(r,c,r^±)+αE_3D(r,c,r^±)

其中，亮度项主要由外观能量构成，立体几何项由深度能量构成。α为经验参数，度量立体几何项的重要性。r^±表示立体接缝中第c-1列立体像素的行坐标。由于水平走向立体接缝中的像素不一定连续，因此，r^±可以是第c-1列的任意一行。

1)外观能量函数：

删除一条水平走向立体接缝，必然会改变立体图像中部分像素之间的相邻关系。为避免扭曲，我们要求删除立体接缝对立体图像的梯度影响最小。我们选用函数E_intensity(r,c,r^±)度量删除立体接缝中(r,c)处立体像素后左右视图中相应相邻点的梯度变化，

E_intensity(r,c,r^±)＝E_L(r,c,r^±)+E_R(r,c,r^±)

其中，E_L、E_R均根据E(r,c,r^±)计算，

E(r,c,r^±)＝E^v(r,c)+E^h(r,c,r^±)

其中，E^v度量垂直方向的梯度变化，E^h度量水平方向的梯度变化。垂直方向，

E^v(r,c)＝|I(r+1,c)-I(r-1,c)|

水平方向的梯度变化与立体接缝中位于(r^±,c-1)处的立体像素有关，

其中，

2)深度能量函数：

选择左图接缝的时候还要考虑深度信息E_3D。E_3D由三部分组成，

E_3D(r,c,r^±)＝E_D(r,c,r^±)+β|D_n(r,c)|+γ|G(r,c)|

其中，E_D度量视差图扭曲，其定义方式与外观能量相似，只是将图像函数I替换为视差矩阵D。在实际运算中，为了减少亮度值和视差值取值范围不一致带来的影响，需要事先对将I和D都进行归一化处理。D_n是归一化的视差图。|D_n(r,c)|越小，表明视差越小，立体效果越差，越不需要关注。|G(r,c)|度量立体像素中左右视图像素亮度差异，我们认为左右视图真实对应像素之间的亮度差异应当比较小，

G(r,c)＝|I_L(r,c)-I_R(r,c+D(r,c))|。

根据每个点的能量值，采用动态规划方法找到一条能量值总和最小的水平走向的平面接缝。

D、根据步骤C得到的接缝，在右视图上进行实投影，得到右视图的接缝片段；

具体的，根据双目立体视觉成像原理，立体图像左右视图中除被遮挡区域像素、视角外区域像素外，其它可视区域像素一定存在基于视差的一一对应关系。⑦(①)是左(右)目视角外区域，③⑥⑨是被遮挡区域。由于遮挡区域影响，双目成像可能存在错序现象，如左视图目标区域成像顺序为：①②③④⑧⑥，右视图目标成像顺序:②⑧⑨④⑤⑥⑦，其中，④、⑧在左视图顺序为④⑧，右视图为⑧④，出现变序。

另一方面，根据双目成像原理，在立体图像中，只有水平方向可能存在被遮挡区域和视角外区域，如图2中的被遮挡区域③，⑤，视角外区域①，⑦。被遮挡区域、视角外区域的共同特点是仅在一个视图可视，在另一视图中无对应可视区域。由于无对应区域，因此，被遮挡区域像素、视角外区域像素并不存在视差。为处理方便，规定被遮挡区域像素、视角外区域像素的视差为0。

假设p_L＝{(r_L,c_L)}是立体图像左视图上的像素，D是视差矩阵。则，p_L基于视差D在右视图上的实投影像素为p_R:＝Ρ(p_L)＝{(r_R,c_R)}，

其中，r_.,c_.为像素的行、列坐标，Ω₀,Ω₂分别是位于立体图像左视图中的视角外区域(图2⑦)和被遮挡区域(图2⑤)，Ω₁是左视图中除Ω₀和Ω₂外的双目可视区域(①②③④⑧⑥)，D(r_L,c_L)是左视图像素p_L与右视图中对应像素p_R的视差，Null表示无实投影像素。

为方便起见，我们称像素对(p_L,p_R)为立体图像位于坐标(r_L,c_L)处的立体像素。立体像素的坐标以左视图像素坐标为准。

由于左视图中被遮挡区域和视角外区域像素在右视图不存在对应点，利用实投影方法，我们可以有效的避免左视图平面接缝单纯基于视差投影时产生的同列多像素现象。同时，由于右视图中仅被遮挡区域和视角外区域像素在左视图不存在对应点，因此左视图平面接缝进行实投影后可能且仅可能在右视图的视角外区域和被遮挡区域存在间隔缝隙。

E、在D的接缝片段基础上，执行传统接缝雕刻方法和虚投影方法结合的策略，拼接间隔缝隙，得到右图相应的水平走向接缝；

具体的，接缝片段拼接是把实投影方法的间隔缝隙补全的方法。假设S_L是立体图像左视图上的一条逐段连续水平方向平面接缝。S_T＝P(S_L)是位于立体图像右视图上的存在间隔缝隙的平面接缝片段，其中，间隔缝隙仅位于右视图被遮挡区域和视角外区域，则，我们按以下步骤拼接S_T，构造有效的平面接缝S_R，

若间隔缝隙位于视角外区域，以接缝片段中与视角外区域相邻接缝片段边界像素为起点，以视角外区域为搜索范围，按传统方式构建该区域内接缝段。

若间隔缝隙位于某被遮挡区域Ω_R,o，采用虚投影方式构建接缝片段。假设{Ω_L,S,Ω_R,O}是立体图像中的一个遮挡-被遮挡区域对，其中Ω_L,S是位于左视图上的遮挡区域，Ω_R,O是位于右视图上Ω_L,S所对应的被遮挡区域，Ω_R,S是位于右视图上与Ω_L,S对应的可视区域。若{S_L,S_R}是位于{Ω_L,S,Ω_R,S}的基于视差映射的立体接缝片段，P₁,P₂是S_L位于Ω_L,S上的起止像素，则S_L在Ω_R,O上的“虚投影”V_P(S_L)定义为，

1)V_P(S_L)的起止像素V_P(P₁)，V_P(P₂)位于Ω_R,O边界，且

r(V_P(P_i))＝r(U(P_i)),i＝1,2

其中，U(P)表示取左视图中像素P所在列行坐标尽可能大但不大于r(P)的Ω_L,S边界像素，r(P)表示取像素P的行坐标。

2)以V_P(P₁)，V_P(P₂)为起止像素，以Ω_R,O为搜索范围，按传统方式构建像素V_P(P₁)和V_P(P₂)之间的接缝片段。

3)通过1)，2)得到的接缝片段即为S_L在Ω_R,O上的“虚投影”。

虚投影与视差和遮挡区域相关。我们通过视差是否为零，判断视图区域是否为被遮挡区域，并通过以下规则检测被遮挡区域所对应的遮挡区域：

1)假设Ω_R,o是位于立体图像右视图上的一个被遮挡区域(图3(a)(b)①)，Ω_R,N是与Ω_R,o右相邻的可视区域(图3(a)(b)②)，Ω_L,N是Ω_R,N位于左视图的对应可视区域(图3(a)(b)②)，则

若Ω_L,N的左相邻可视区域是可视区域，则Ω_R,o所对应的遮挡区域为与Ω_L,N左相邻的可视区域(图3(a)③)。

若Ω_L,N的左相邻可视区域是被遮挡区域(图3(b)③)，则Ω_R,o所对应的遮挡区域为与Ω_L,N右相邻的可视区域(图3(b)④)。

2)同理，假设Ω_L,o是位于立体图像左视图上的一个被遮挡区域，Ω_L,N是与Ω_L,o左相邻的可视区域，Ω_R,N是Ω_L,N在左视图的对应可视区域，则

若Ω_R,N的右相邻可视区域是可视区域，则Ω_L,O所对应的遮挡区域为与Ω_R,N右相邻的可视区域。

若Ω_R,N的右相邻可视区域是被遮挡区域，则Ω_L,O所对应的遮挡区域为与Ω_R,N左相邻的可视区域。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。

以上对本发明实施例所提供的立体图像垂直方向的缩放方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种垂直方向立体接缝雕刻缩放方法，其特征在于，所述方法包括以下步骤：

B、根据外观能量及深度能量的能量函数，计算立体图像左视图每个像素点一个能量值；

C、采用动态规划方法，找出左视图一条能量总和最小的水平走向平面接缝；

D、根据步骤C得到的接缝，执行实投影策略，将左视图平面接缝映射到右视图；

2.根据权利要求1所述的方法，其特征在于：步骤B所述的能量函数包括：

外观能量，计算左视图每个像素点与其相邻像素点的梯度差，体现立体图像缩放后重要区域的扭曲程度；

深度能量，计算视差图中每个像素点的视差值，体现立体图像缩放后的深度信息。

3.根据权利要求1所述的方法，其特征在于：步骤C所述的动态规划是搜索水平走向平面接缝的方法，找出能量总和最小的水平走向平面接缝，使增加或删除接缝后的立体图像在外观和深度影响最小，减少扭曲。

4.根据权利要求1所述的方法，其特征在于：步骤D所述的实投影是一种基于视差图的选择性映射方法，根据左视图得到的接缝，在视差图中有对应点的映射在右视图，得到右视图的接缝片段。

5.根据权利要求1所述的方法，其特征在于：步骤E所述的间隔缝隙是视角外区域和遮挡区域造成的，虚投影是一种拼接接缝片段的方法，两种情况对应以下两种处理方法：

间隔缝隙位于视角外区域，采用传统的接缝构建方法，在该区域独立构建一段接缝片段，进行缝隙拼接；

间隔缝隙位于遮挡区域，采用虚投影方式构建接缝片段。

6.根据权利要求5所述的方法，其特征在于：接缝雕刻是基于内容感知的平面图像缩放方法，通过删除或增加图像中不重要的区域达到缩放的效果，突显图像的重要区域。

7.根据权利要求5所述的方法，其特征在于：虚投影是一种拼接接缝片段的方法，由于被遮挡区域仅左或右视图可见，只要保持遮挡区域和被遮挡区域的覆盖范围对应关系不变，遮挡区域内部和被遮挡区域内部像素的增加与删除并不需要保持投影对应关系，因此，只要确定遮挡区域轮廓在被遮挡区域的对应点，即可以任意方式构建被遮挡区域内的接缝片段。