CN104301704A - 内容感知显示适应方法 - Google Patents

Abstract

本发明提供一种适用于立体图像的内容感知显示适应方法。首先，估计立体图像的特征地图。每一立体图像以一格网表示，并可根据特征地图测量四元重要性。然后，检测并匹配立体图像之间的特性。根据特征地图、匹配特性、格网的数据，以及目标显影的规格，可定义一能量函数。能量函数包括至少一视差一致能量或(且)至少一对齐能量。再最小化能量函数，以取得立体图像的变形顶点位置的二集合。控制指标是显示于一操作界面上，并藉由一触控显示界面进行调整，使得能量函数可据以进行修正，而对应的变形立体图像能进行显示。

Description

内容感知显示适应方法

技术领域

本发明涉及一种图像显示适应(Image Display Adaptation)技术，特别涉及一种内容感知(Content-aware)显示适应方法、相关的编辑界面，以及相关的立体图像方法。

背景技术

立体设备的快速配置，例如：显示器和相机，将迅速地引领出使用者需求，使其能藉由与操控2D媒体(2D Media)相似的方式来操控立体媒体(Stereoscopic Media)。立体媒体所带来的不仅是多出的轴，还有额外的娱乐效果，然而，为了创造出舒适且愉快的3D(Three Dimensional)体验，立体媒体也面临更多挑战及限制。由于这些限制并未被特别重视，若仅单纯地将现有的2D媒体操控算法进行延伸，则往往无法提供令人舒适的3D观赏经验。因此，通常会需要不一样的调整方式来容纳这些新的限制，以及利用此新的机会。

大部分立体显示依照立体视觉的规则，其中，人类的眼睛水平地分离，而当一图像投影在左右视网膜上时，此分离会导致视差(Interocular Difference)产生。当适合的一图像展示在每一眼睛前时，人类藉由融合左右图像来感测出其深浅。立体图像的融合不仅依赖适当的显示校正，也更需倚靠左右图像之间的完美匹配才能达成。图像对不匹配，或是双目不对称，都可能引起严重的视觉不舒适感。在情形严重时，使用者会感受到“复视(Diplopia)”(双重图像)，其3D图像的感知力将被完全破坏，且出现高度错误。即使使用者可以感受到一致的3D视野，仍须努力解决由于双目不够理想所衍生的冲突问题，例如：疲倦感、视觉疲劳、头痛，同时须减少其现实感(Realism)。如此不匹配的情况通常是由于不对称的光学几何，或是光度特性(PhotometricCharacteristics)所引起。例如，若左右图像在水平方向未对齐，则使用者会体验到观赏时的不舒适感。

由于显示解析度和长宽比充满多样性，与2D媒体相似的是，双眼视觉图像在不同装置上仍须经调整才能适当地显示。除了调整装置解晰度和长宽比(在屏幕平面上重新沿着x和y方向进行定位)，对于立体显示而言，我们通常必须使图像适应其舒适区域(亦即，沿着z方向进行深浅调整，而z方向与显示器垂直)。除了适应不同显示器，具有超深度范围的双眼视觉图像通常也需要深浅调整(Depth Adaptation)。

近年来，2D图像和影片重新定位的问题已经得到关注。亦即，其是指使得图像或影片能适应不同尺寸和长宽比的显示器。由于传统的缩放和修裁的方式容易引起严重失真和信息遗失的问题，现代的内容感知方法已更考虑图像的特征分布(Saliency Distribution)，并尝试维持其特征不受影响。此种方法可以大致划分为离散方法或连续方法。接缝雕刻(Seam Carving)方法为已知的一种离散方法，其使用动态程序以找出最佳接缝，并将此最佳接缝由一图像中移除，此方法是根据该图像的一特征地图(Saliency Map)来完成。一接缝是指像素(Pixels)的一路径，其可由上至下或边缘至边缘。然而，由于其离散特性，这些方法无法完整地保存结构物件，而容易造成扰人的伪影(Artifacts)。对于连续方法而言，几种翘曲基础(Warping-based)方法已被提出。这些方法将重新定位视为一种网格(Mesh)形变或翘曲的问题，其中，突出区域(ProminentRegion)受到压抑，使得其形状被尽可能地保存，但是较少特征的区域将可能更加失真。最佳翘曲场通常藉由最小化特定能量函数来取得。然而，直接应用这些2D内容感知重新定位算法至双眼视觉图像，往往又会引起视觉不适感，这是由于输入端的双眼视差线索(Binocular Disparity Cue)无法被适当地保存下来。另外，立体内容会沿着深度轴引入额外的一重新定位轴。

对于沿着深度轴作重新定位，或是在3D内容中控制深浅感知，立体显示技术的研究者已提出各种技术，例如：假眼分离(False Eye Separation)、α-假眼分离(Alpha-False Eye Separation)、图像缩放、图像平移，以及检视缩放等等。不幸的是，这些方法中没有一项属于内容感知，因此它们可能引起图像平面上的大量失真。因为大部分方法是使用全球图像转换(Global ImageTransformation)，它们对于深浅和视差的控制将受到局限。例如，使用均匀适应(Uniform Adaptation)的方法将均匀地对于一图像进行缩放。然而，若水平和垂直缩放系数不同，则此方法将引起物件形状失真。另外，感知的深度范围亦将随着缩放系数而变化。

发明内容

本发明提供一种内容感知显示适应方法。本发明首先检测多个耐用对应点(Robust Correspondence Points)的一稀疏集合(Sparse Set)，然后根据复数目标显示参数、对应限制条件、以及其他用于防止结果扭曲的限制条件，来最佳化一图像对(Image Pair)的多个翘曲场(Warping Field)。本发明的方法可达成各种重新定位(Retargeting)方案，其包括：改变显示尺寸、长宽比、可接受深度范围，以及观赏组态。本发明也可达成传统深度适应方法所不支持的效果，例如：改变场景深度，但不影响其比例。另外，藉由模拟使用者互动情况作为限制条件，本发明的系统可延伸为一互动立体图像编辑系统。使用者可说明视差值(Disparity Value)或深度值(Depth Value)的转换过程(Transformation)，而系统再据以弯曲(Warp)一输入信号以产生一全新立体图像。使用者也可选择单一物件，并说明其位置、深度，或甚至明确的3D位置，而系统可自动地辨识出其他区域的深度，并弯曲该输入信号以符合使用者的意图。本发明的系统是第一个出现的内容感知系统，其可以同时支持重新定位、深度适应，以及立体图像的互动式编辑功能。

在一优选实施例中，本发明提供一种内容感知显示适应方法，适用于立体图像，并使用于一电子装置中，且包括下列步骤：提供多个立体图像，其中该等立体图像包括至少一图像对，而该图像对包括一左图像和一右图像；藉由一特征检测算法(Saliency Detection Algorithm)，估计该图像对的多个特征地图(Saliency Map)；根据该等特征地图，将每一该等立体图像表示为一格网(Grid Mesh)，并测量其每四元(Each Quad)的一四元重要性(Per-quadImportance)；检测该左图像和该右图像的多个特性，并在该左图像和该右图像之间去匹配所检测的该等特性；根据该等特征地图、多个匹配特性、该等格网的数据，以及一目标显影的规格，定义出一能量函数，其中该能量函数包括至少一视差一致能量(Disparity Consistency Energy)，而该视差一致能量用于确保该等匹配特性的多个视差以一致方式进行操纵；以及最小化该能量函数，以取得该左图像和该右图像的多个变形顶点位置(Deformed VertexPosition)的二集合。

在一优选实施例中，本发明提供一种内容感知显示适应方法，适用于立体图像，并使用在一电子装置中，且包括下列步骤：提供多个立体图像，其中该等立体图像包括至少一图像对，而该图像对包括一左图像和一右图像；藉由一特征检测算法(Saliency Detection Algorithm)，估计该图像对的多个特征地图(Saliency Map)；根据该等特征地图，将每一该等立体图像表示为一格网(Grid Mesh)，并测量其每四元(Each Quad)的一四元重要性(Per-quadImportance)；检测该左图像和该右图像的多个特性，并在该左图像和该右图像之间去匹配所检测的该等特性；根据该等特征地图、多个匹配特性、该等格网的数据，以及一目标显影的规格，定义出一能量函数，其中该能量函数包括至少一对齐能量(Alignment Energy)，而该对齐能量用于确保该等特性在变形之后仍水平对齐于同一扫描线；以及最小化该能量函数，以取得该左图像和该右图像的多个变形顶点位置(Deformed Vertex Position)的二集合。

在一些实施例中，多个比例不变特性转换(Scale Invariant FeatureTransformation，SIFT)特性由该左图像和该右图像两者中所检测出来，而该等匹配特性藉由一基础矩阵来进行发现和验证，其中该基础矩阵藉由一随机取样共识(RANdom SAmple Consensus，RANSAC)来估计得出。在一些实施例中，该内容感知显示适应方法，还包括：使用一非最大抑制法(Non-maximumSuppression)，以由所检测的该等特性中移除掉多个杂波特性(ClutteredFeature)。

在一些实施例中，该视差一致能量包括视差的一整体缩放系数(GlobalScaling Factor of Disparity)和一平移系数(Shift Factor)，而该整体缩放系数和平移系数用于维持该等特性的相对深度。

在一些实施例中，该能量函数还包括至少一对齐能量(Alignment Energy)，而该对齐能量用于确保该等特性在变形之后仍水平对齐于同一扫描线。

在一些实施例中，该能量函数还包括至少一扭曲能量(Distortion Energy)和至少一线弯曲能量(Line Bending Energy)，该扭曲能量用于防止每一该等格网内的多个重要四元(Important Quads)被不均匀地缩放，该线弯曲能量用于使得一原始边缘和一变形边缘之间的一夹角维持尽可能地小，而该原始边缘和该变形边缘对应于每四元(Each Quad)。

附图说明

图1是显示立体图像显示的典型配置；

图2是显示根据本发明一实施例所述的内容感知显示适应方法的流程图；

图3A是显示根据本发明一实施例所述的双眼图像对的示意图；

图3B是显示根据本发明一实施例所述的适用于图3A的图像对的特征地图的示意图；

图3C是显示根据本发明一实施例所述的适用于图3A的图像对的四元重要性地图的示意图；

图3D是显示根据本发明一实施例所述的适用于图3A的图像对其具有格网和特征点的示意图；

图3E是显示根据本发明一实施例所述的重新定位图像对其具有变形格网和重置特征点的示意图；

图3F是显示根据本发明一实施例所述的适用于图3A的图像对的重新定位图像对的示意图；

图4是显示根据本发明一实施例所述的编辑方法的流程图；

图5A至图5D是显示根据本发明一实施例所述的用于编辑立体图像的操作界面的示意图，其中此操作界面对应于本发明的立体图像编辑方法。

【符号说明】

500L～左图像；

500R～右图像；

510～操作界面；

d～图像间距；

D～眼睛至屏幕的距离；

e～双眼距离；

F～手指；

I1、I2～控制指标；

L～左眼；

R～右眼；

S2100、S2200、S2300、S2400、S2500、S2600、S4100、S4200、S4300、S4400、S4500～步骤；

x～x轴；

y～y轴；

z～z轴；

(x^L，y)、(x^R，y)、(X，Y，Z)～坐标点。

具体实施方式

内容感知显示适应方法(Content-aware Display Adaptation Method)、相关的编辑界面，以及相关用于立体图像的方法将在此作介绍。

在解释本发明之前，立体视觉的基本模型，特别是感知深度(PerceivedDepth)与图像视差(Image Disparity)之间的关系，将会在此作介绍，而立体图像重新定位的问题也可加以公式化。

图1是显示立体图像显示的典型配置。此处L和R分别代表一观察者的左眼和右眼，e代表双眼之间的一双眼距离(对于成人而言，通常是6.5cm)，而D代表至一屏幕的一观察距离。在不失一般性的情况下，此处假设双眼对齐于整体坐标的x轴，而原点为双眼的中点。必须注意的是，在目前的应用中，是为了改变观察者的视深度(Apparent Depth)(感知深度)而作设计(必须注意的是，在一些实施例中，本说明书中所称的“深度”一词可以是指一观察者所观察的“视深度”)。

一立体显示器传递不同的二个图像至双眼，而一观察者的大脑融合这些图像以达成3D感知。因此，为了在3D空间中感知在[X_p,Y_p,Z_p]^T的一点P，其在左图像(Left Image)上的投影为而在右图像(Right Image)上的投影为其中：

$x_p^L=(X_p+\frac{e}{2})\frac{D}{Z_p}-\frac{e}{2},---\left(1\right)$

$x_p^R=(X_p-\frac{e}{2})\frac{D}{Z_p}+\frac{e}{2}---\left(2\right)$

$y_p=Y_p\frac{D}{Z_p}---\left(3\right)$

像素p在左眼和右眼之间的一水平位移，通常定义为一视差，并相关于一深度Z_p，其关联式如下：

$d_p=x_p^R-x_p^L=e(1-\frac{D}{Z_p})---\left(4\right)$

相似地，若给定二个对应点和其位于左图像和右图像上，则观察者可感受到位于[X_p,Y_p,Z_p]^T的3D点P，其关联式如下：

${[X_p,Y_p,Z_p]}^T=\frac{e}{e-d_p}{[\frac{x_p^L+x_p^R}{2},y_p,D]}^T---\left(5\right)$

更详细地说，此点的感知深度Z_p与视差d_p之间的关联式如下：

$Z_p=\frac{\mathrm{eD}}{e-d_p}---\left(6\right)$

根据方程式(6)可知，感知深度与视差之间为非线性(Nonlinear)相关。

必须注意的是，当图像转换时，其视差亦巧妙地发生改变。当图像线性地沿着x轴作伸展时，其视差会线性地增加。然而，此视差并不受y轴伸展的影响。因此，当显示器实际尺寸增加时，其所显示的图像的深度范围将因而增加。在最糟情况下，物件将被推至无限大以外(亦即，在方程式(6)中，d_p>e)，此导致不正确且刺激性的3D效果。相似地，当其长宽比(Aspect Ratio)改变时，视差亦会因而改变。这些现象严重地阻碍了立体内容在不同媒体上的散布。例如，本来在电影院中震撼的3D影像在一3D手机中播放，反而显得扁平且无趣；相对地，本来在一3D手机中看起来良好的3D效果，若在电影院中播放则可能引起复视现象。

立体显示的另一关键参数为其舒适深度范围(Comfort Depth Range)，或称舒适区(Comfort Zone)。当观赏一立体显像时，我们的眼睛固定在一虚拟3D物件，以产生3D感知的会聚线索(Convergence Cue)。我们必须聚焦于在屏幕上清晰的图像，其中缺乏容纳线索(Accommodation Cue)(焦距改变)的特性将会让大脑判断此显像为扁平。此容纳线索和会聚线索之间的冲突性会引起视觉不适，特别是对于过大的视差值而言。因此，舒适区是指此冲突尚能令人忍受的深度范围。超出舒适区以外的深度将会引起复视或模糊的问题。由于光线特性、观赏距离，以及其他因素，不同显示器会具有不同舒适区。即使是观赏同一组态，舒适区亦因个人因素而会有所不同。

因为以上原因，深度适应(Depth Adaptation)对于生动且愉悦的3D体验是必要的。给定一立体图像对(Pair)，其用于一特定观赏配置，此时深度适应过程尝试调整其内容，使得传递给另一观赏配置的3D感知印象与原有的相同或是相似。最常商业应用的立体显示方法为图像平移法(Image ShiftingMethod)。藉由水平地移动多个图像中的一个，我们可以增加或减少视差，从而调整深度。然而，由于视差和3D坐标之间的映射(Mapping)过程为非线性的，这种简单方法容易引起非预期的微型化(Miniaturization)或巨大化(Gigantism)效应。因此，当图像平移法用于调整双眼图像时，所感知场景的比例将因而改变，成为不良的副作用。其余依靠全球影像转换的方法亦有相同的缺点。

理论上来说，若要完美地作深度适应，则首先必须由输入图像重建场景，转换图像以符合显示舒适区，最后重新投影场景以取得新的立体图像。然而，此种方法须要密集的场景几何，其通常为高噪声或甚至难以取得。再则，在场景转换和重新投影的过程中，系统必须要回复阻塞于原始输入中的场景内容，这本身就是一种挑战，也是尚待解决和研究的问题。其中一种解决方案为在数据取得过程中取样(Sample)更多笔数据，其藉由多索具技术(Multi-rigging Techniques)或相机阵列(Camera Arrays)来达成，可完成较佳的场景重建。若此种素材为计算机产生的，则可能重建出每一显示片段。然而，这种方法对于业余爱好者是相当昂贵的。另一种方法则是藉由人工方式编辑立体内容，但非常耗时。如前所述，本发明所欲提供的方法将可避免前述问题，且仍能产生良好的结果。

图2是显示根据本发明一实施例所述的内容感知(Content-aware)显示适应方法的流程图，其适用于立体图像。此种适用于立体图像的内容感知显示适应方法可适用于一电子装置，而该电子装置具有播放立体图像的功能，例如：计算机、摄像机，以及移动装置，其中移动装置可包括个人数字助理(PDA)、智能手机、游戏机、移动网络装置(MID)、网络笔记本(Netbook)，或是其他手持式装置。

在步骤S2100，提供多个立体图像，其中该等立体图像包括至少一双眼图像对(Binocular Image Pair){I^L,I^R}，而该双眼图像对{I^L,I^R}包括一左图像和一右图像。在步骤S2200，藉由使用一特征检测算法(Saliency DetectionAlgorithm)，估计出该双眼图像对{I^L,I^R}的多个特征地图(Saliency Map){Φ^L,Φ^R}。必须注意的是，该等特征地图{Φ^L,Φ^R}是显示该双眼图像对{I^L,I^R}的预像素重要性(Pre-pixel Importance)。必须了解的是，在一些实施例中，该特征检测算法可以是一图形基础视觉特征算法(Graph-based Visual SaliencyAlgorithm)，例如：一频率调整特征区域检测法(Frequency-tuned Salient RegionDetection Method)。必须注意的是，该频率调整特征区域检测法仅为本发明的一举例，而本发明并不限于此。在步骤S2300，将每一该等立体图像表示为一格网(Grid Mesh)，并根据该等特征地图{Φ^L,Φ^R}来测量每四元(EachQuad)(举例来说：每四元可是指每四个格网，但在其他实施例中也可有不同定义)的一四元重要性(Per-quad Importance)。必须了解的是，在一些实施例中，每四元的该四元重要性的测量步骤藉由根据该等特征地图{Φ^L,Φ^R}来平均(Averaging)及标准化(Normalizing)其前像素特征(Pre-pixel Saliency)而执行。然后，在步骤S2400，检测该左图像和该右图像的多个项特性，并在该左图像和该右图像之间匹配(Matching)所检测的该等特性。必须注意的是，在一些实施例中，多个比例不变特性转换(Scale Invariant Feature Transformation，SIFT)特性由该左图像和该右图像两者中所检测出来。对于该左图像I^L中的每一特性点(Feature Point)，其在该右图像I^R中的最佳匹配可藉由一基础矩阵(Fundamental Matrix)来进行发现和验证，其中该基础矩阵藉由一随机取样共识(RANdom SAmple Consensus，RANSAC)来估计得出。另外，在一些实施例中，更可使用非最大抑制法(Non-maximum Suppression)，以由所检测的该等特性中移除掉多个杂波特性(Cluttered Feature)。在步骤S2500，根据该等特征地图、多个匹配特性、该等格网的数据，以及一目标显影的规格(Specificationof Target Display)，定义出一能量函数(Energy Function)。必须注意的是，该能量函数包括产生翘曲场(Warping Field)的限制。在本方法中，该能量函数包括四部分：扭曲能量(Distortion Energy)Ψ_d、线弯曲能量(Line Bending Energy)Ψ_b、对齐能量(Alignment Energy)Ψ_a，以及视差一致能量(Disparity ConsistencyEnergy)Ψ_c。必须注意的是，在本方法中，该能量函数可以包括前述能量中的至少一个。这些能量的细节将在之后进行讨论。必须注意的是，n个匹配特性(Matched Feature)的集合定义为而{V^L,E^L,Q^L}和{V^R,E^R,Q^R}定义二种影像的多个格网，其中V、E、Q分别代表多个顶点集合(Vertex Set)、多个边缘集合(Edge Set)，以及多个四面集合(Quad Face Set)。

扭曲能量

扭曲能量用于防止重要四元被不均匀地缩放。对于每一四元(Quad)q，其具有四个边缘E(q)，而该四元q的扭曲能量定义为：

${\mathrm{\Ψ}}_q\left(q\right)=\underset{(i,j)\∈E\left(q\right)}{\mathrm{\Σ}}{\left|\right|({\tilde{v}}_i-{\tilde{v}}_j)-s_q(v_i-v_j)\left|\right|}^2---\left(7\right)$

其中，s_q由和v_i所定义的一比例系数。总合扭曲能量定义为在二个视角中的所有四元的扭曲的加权总和(Weighted Sum)，其关联式如下：

其中，(q)为四元q的四元重要性。(q)初始化为四元q中的所有像素的多个特征值(Saliency Value)的一平均值，再标准化为[ε,1]，其中ε为较小的一常数(我们可以设定ε＝0.05)。

线弯曲能量

除了非均匀缩放以外，格边缘的弯曲(Bending of Grid Edges)最小化。亦即，一原始边缘e和一变形边缘之间的一夹角期望为尽可能地小。必须了解的是，在本方法中，提出一种新的线性线弯曲能量。考虑一原始边缘e，其具有二个顶点v_i和v_j，而其变形版为一变形边缘由此可定义二个向量：下列方式用于逼近e和之间的该夹角：

$\mathrm{\Δ}\left(\tilde{e}\right)={\left|\right|s_{e}e-\tilde{e}\left|\right|}^2---\left(9\right)$

其中，s_e为一比例参数，其被预期为最佳化。将Δ对于s_e作偏微分，最佳化的为下式所述：

$s_e^{*}={\left(e^{T}e\right)}^{-1}{e}^T\tilde{e}---\left(10\right)$

将其中代回方程式(9)，以取得的一函数如下：

$\begin{array}{c}{\mathrm{\Δ}\left(e\right)=\left|\right|s_{e}e-\tilde{e}\left|\right|}^2\\ ={\left|\right|e{\left(e^{T}e\right)}^{-1}{e}^T\tilde{e}-\tilde{e}\left|\right|}^2\\ ={\left|\right|C\tilde{e}\left|\right|}^2\end{array}---\left(11\right)$

其中C＝e(e^Te)^-1e^T-I和I为单位矩阵(Identity Matrix)。

方程式(11)更可重写为和的函数如下：

$\mathrm{\Δ}({\tilde{v}}_i,{\tilde{v}}_j){=||\begin{array}{c}C\left[\begin{array}{cccc}1& 0& -1& 0\\ 0& 1& 0& -1\end{array}\right]\left[\begin{array}{c}{\tilde{v}}_i\\ {\tilde{v}}_j\end{array}\right]\end{array}||}^2---\left(12\right)$

最后，总和线弯曲能量可定义如下：

${\mathrm{\Ψ}}_b=\underset{(i,j)\∈E^L}{\mathrm{\Σ}}\mathrm{\Δ}({\tilde{v}}_i^L,{\tilde{v}}_j^L)+\underset{(i,j)\∈E^R}{\mathrm{\Σ}}\mathrm{\Δ}({\tilde{v}}_i^R,{\tilde{v}}_j^R)---\left(13\right)$

对齐能量在变形以避免双眼不对称(Binocular Asymmetries)后，对齐能量用于确保特性的垂直对齐(Vertical Alignment)。对齐能量Ψ_a可定义如下式：

${\mathrm{\Ψ}}_a=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left({{\tilde{f}}_i}^L\right[y]-{{\tilde{f}}_i}^R[y\left]\right)}^2---\left(14\right)$

其中标记v[y]代表向量v中的y成份，相似地，标记v[x]代表其中的x成份。

必须注意的是，在向量藉由重心坐标(Barycentric Coordinate)来变形后，迁移特性(Relocated Feature)可表示为前述顶点的线性组合。假设如下：在变形前，一特性f关于一四元(Quad)的多个顶点v_i，其中f可表示为其中β_i代表重心坐标。迁移特性可以重写为变形的该等顶点的一线性组合，亦即：其使用相同的重心坐标。因此，方程式(14)可以写成翘曲顶点的一函数。

视差一致能量

视差一致能量用于确保特性的视差操纵为具有一致性，以避免感知深度发生扭曲。此处提供二种不同视差一致能量，其中每一个可具有不同应用方式。第一种视差一致能量尝试使感知深度与其变形前相一致。此种方式适用于当图像尺寸改变但观赏配置仍维持相同的情况下。在此情况下，可预期将能维持相同视差，故在重新调整尺寸之后，感知深度将可相同。在第一种状况下，视差一致能量Ψ_c可以定义如下式：

${\mathrm{\Ψ}}_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(d_i-{\tilde{d}}_i)}^2---\left(15\right)$

其中，和分别代表在像素域中变形前和变形后的视差值。

若在观赏配置也发生改变的情况下，视差值应该据以缩放和平移。因此，在第二种状况下，藉由找出深度的一单调增映射(Monotonic IncreasingMapping)，在输入图像中的特性点的相对深度可预期能维持不变。在此种方法中，物件的深度次序可以维持不变，但其绝对深度则是可能有变化。一种简单方式是找出深度的适当1D相似度转换(1D Similarity Transform ofDepths)，以维持相对深度。然而，这使得能量项对于变形特性而言是非线性的。我们改为选择视差的适当1D相似度转换(1D Similarity Transform ofDisparities)，以维持相对深度，如下式所述：

${\mathrm{\Ψ}}_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((s_d{d}_i+t_d)-{\tilde{d}}_i)}^2---\left(16\right)$

其中s_d代表视深的整体缩放系数(Global Scaling Factor)，而t_d代表平移。使用与方程式(9)中取得最佳化的比例参数相同的方法，可根据方程式(16)估计出整体缩放系数s_d和平移t_d，然后再将s_d和t_d转为变形特性的一函数，其中每一个均为变形顶点的一线性组合。在重新定义出一矩阵E和一向量如下式后：

$E=\left[\begin{array}{cc}{d}_1& 1\\ d_2& 1\\ \·& \·\\ \·& \·\\ \·& \·\\ d_n& 1\end{array}\right],$ 以及 $\tilde{E}=\left[\begin{array}{c}{\tilde{d}}_1\\ {\tilde{d}}_2\\ \·\\ \·\\ \·\\ {\tilde{d}}_n\end{array}\right]$

方程式(16)可以重写成如下：

${\mathrm{\Ψ}}_c=\frac{1}{n}\left|\right|{E\left[\begin{array}{c}{s}_d\\ t_d\end{array}\right]-\tilde{E}\left|\right|}^2---\left(17\right)$

其中最佳比例和最佳平移为下式：

$\left[\begin{array}{c}{s}_d\\ t_d\end{array}\right]={\left(E^{T}E\right)}^{-1}{E}^T\tilde{E}---\left(18\right)$

藉由将和代回方程式(17)中，视差一致能量Ψ_c可以写成变形特性的一函数如下式：

${\mathrm{\Ψ}}_c=\frac{1}{n}{\left|\right|\mathrm{BA}\tilde{f}\left|\right|}^2---\left(19\right)$

其中，B＝E(E^TE)^-1E^T-I，A＝[-I|I]，以及

$\tilde{f}=\left[\begin{array}{c}{{\tilde{f}}_1}^L\left[x\right]\\ \·\\ \·\\ \·\\ {{\tilde{f}}_n}^L\left[x\right]\\ {{\tilde{f}}_1}^R\left[x\right]\\ \·\\ \·\\ \·\\ {{\tilde{f}}_n}^R\left[x\right]\end{array}\right]$

再一次提醒，迁移特性可以重写为变形的该等顶点的一组合。必须注意的是，最佳比例和最佳平移可以整合进能量函数中，并自动地藉由一最佳化程序来决定。

如前所述，能量函数可包括前述能量的至少一个。在一些实施例中，最终能量函数可以写成四项定义能量的总合如下：

Ψ＝Ψ_d+λ_bΨ_b+λ_aΨ_a+λ_cΨ_c   (20)

在一些实施例中，上式的系数可以设定如下：λ_b＝1，λ_a＝10，以及λ_c＝500。以上能量函数为2D形状保存(2D Shape Conservation)和深度保存(DepthPreservation)之间的交互影响所致。

在能量函数已定义之后，在步骤S2600，最小化该能量函数，以取得该左图像和该右图像的多个变形顶点位置(Deformed Vertex Position)的二个集合。必须了解的是，前述各项均为多个变形格顶点(Deformed Grid Vertices)和的函数。最小化Ψ对应于解出一最小平方法(Least-square)问题，并引出一线性系统，其仅包括和藉由找出该等变形格顶点和的该等集合，其可满足最小化Ψ和符合边界条件，即使在维持重要物件的3D形状不变的情况下，此二图像仍可翘曲为目标解析度(Target Resolution)。然后，根据该等变形顶点位置和输入的该双眼图像对，完整的多个翘曲场(Warping Field)可藉由一双线性内插法(Bilinear Interpolation)进行内插。

在此说明一示例。图3A至图3F是显示根据本发明一实施例所述的内容感知显示适应方法的概观图，其中上列图式为左视图，而下列图式为右视图。首先，提供输入的一双眼图像对，如图3A所示。然后，针对该双眼图像对施行一特征检测算法(Saliency Detection Algorithm)，以测量出该双眼图像对的每一像素重要性(Per-pixel Importance)(如图3B所示)。然后，将每一图像表示为一格网(Grid Mesh)，并藉由平均(Averaging)和标准化(Normalizing)每一像素特征(Per-pixel Saliency)(如图3C所示)来测量出每四元重要性(Per-quadImportance)。然后，针对该双眼图像对施行一特性萃取程序(Feature Extraction)和一匹配程序(Matching)，以取得该左图像和该右图像之间的多个稀疏匹配对(Sparse Matched Pair)(如图3D所示)。若给定多个重新定位参数(RetargetingParameter)，则可藉由最佳化一能量函数(如图3E所示)，取得多个网顶点(MeshVertice)上的多个翘曲函数(Warping Function)。最后，藉由一双线性内插法，内插多个完整翘曲场和一最终输出值(如图3F所示)。

图4是显示根据本发明一实施例所述的编辑方法的流程图，其中该编辑方法适用于立体图像。此种适用于立体图像的编辑方法可使用于一电子装置，例如：计算机，以及移动装置，其中移动装置可包括个人数字助理(PDA)、智能手机、移动网络装置(MID)、网络笔记本(Netbook)，或是其他手持式装置。

在步骤S4100，在一电子装置的一触控显示单元上，显示一操作界面。该操作界面用于显示多个立体图像。该等立体图像包括至少一双眼图像对，而该双眼图像对包括一左图像和一右图像。该操作界面更具有至少一控制指标(Control Indicator)。必须注意的是，此至少一控制指标对应于一能量函数中的至少一参数。在步骤S4200，判断是否有经由该触控显示单元接收到一输入信号，其中该输入信号对应于该控制指标。必须了解的是，在一些实施例中，该控制信号的产生方式藉由触摸及卷动该触控显示单元上的该操作界面的该控制指标。若未接收到任何输入信号(在步骤S4200，否)，则流程将停留在步骤S4200。若确实有经由该触控显示单元接收到对应于该控制指标的一输入信号(在步骤S4200，是)，在步骤S4300，根据该输入信号修正一能量函数。必须注意的是，该能量函数的定义方式根据多个特征地图(Saliency Map)、该等立体图像的多个匹配特性(Matched Features for Stereoscopic images)、对应于每一该等图像的一格网的多个笔数据(Data for Grid Mesh Corresponding toEach Image)，以及该触控显示单元的一规格。另外，该能量函数包括：扭曲能量Ψ_d、线弯曲能量Ψ_b、对齐能量Ψ_a，或(且)视差一致能量Ψ_c。必须注意的是，在本方法中，该能量函数可包括前述能量的至少一个。该能量函数和对应能量的细节部分在此省略不作说明。在一些实施例中，对应于该控制指标的该参数可为一整体缩放系数(Global Scaling Factor)或(且)该视差一致能量中的一平移系数(Shift Factor)。对应于该控制指标的该输入信号可用于修正该参数的一最佳值。然后，在步骤S4400，最小化该能量函数，以取得该左图像和该右图像的一格网(Grid Mesh)的多个变形顶点位置(Deformed VertexPosition)的二个集合。相似地，最小化该能量函数Ψ对应于解出一最小平方法(Least-square)问题，并引出一线性系统，其仅包括多个变形顶点和藉由找出该等变形顶点和的该等集合，其可满足最小化该能量函数Ψ和符合边界条件，即使在维持重要物件的3D形状不变的情况下，此二图像仍可翘曲为目标解析度(Target Resolution)。然后，在步骤S4500，根据该等变形顶点位置和输入的该双眼图像对，藉由一双线性内插法(Bilinear Interpolation)来内插变形的该等立体图像，并将变形的该等立体图像显示在该触控显示单元上。

图5A至图5D是显示根据本发明一实施例所述的用于编辑立体图像的操作界面的示意图，其中此操作界面对应于一立体图像编辑方法。一电子装置的一触控显示单元用于显示一操作界面510，其中该操作界面510用于显示多个立体图像，该等立体图像包括一图像对(Image Pair)，而该图像对包括一左图像500L和一右图像500R。当一手指F触摸该触控显示单元并向上移动时(如图5A所示)，多个控制指标I1和I2是显示在该操作界面510上，如图5B所示。例如，该等控制指标I1和I2可以分别对应于视差一致能量中的一整体缩放系数和一平移系数。必须了解的是，该等控制指标I1和I2可以各自根据前述对应系数的最佳值而具有一预设值。一使用者可以使用手指F来触摸并移动该等控制指标I1和I2，因而可调整对应于所触摸的该等控制指标I1和I2的各系数值，如图5C所示。在编辑该等立体图像之后，手指F可以触摸该触控显示单元并向下移动，而相关的该等控制指标I1和I2将会由该操作界面510中消失，如第5D图所示。

另外，此种应用尚可推展至互动式地(Interactively)编辑整体场景的深度，或甚至图像中的一区域。必须注意的是，通常编辑深度相较于编辑视差更为直觉。因此，方程式(1～3、5)可用于执行深度和视差之间的转换。一些实施例更可提供一图形使用者界面(Graphical User Interface，GUI)，其用于互动且直接地操纵该等立体图像。在该图形使用者界面中，一主要视窗用于显示一编辑图像，并可自由地在原始输入图像和编辑结果之间进行切换。随着显示器能力不同，也可切换至左视图、右视图、浮雕图像，以及双眼图像，其可让使用者在编辑过程期间即能观赏其3D效果。使用者可以简单地拖曳图像边缘以调整其尺寸和长宽比，而系统可以互动式地显示重新定位的图像。几种不同的视觉化方法可用于深度适应或深度调整。该图形使用者界面可以由边缘或由顶部来显示多个特性点的3D空间分布。在一些实施例中，也可显示出舒适区，并排序该等特性点的深度分布。该舒适区可为一选择性输入值，其可根据一目标显像的规格来决定，抑或根据一过去经验来决定。编辑深度可有几种作法。在第一种作法中，使用者可以说明一相似度转换(SimilarityTransformation)，抑或直接在深度分布视图(Depth Distribution View)中描绘出所需的目标深度分布。系统可自动地计算出每一特性点的结果视差值。在第二种作法中，使用者可藉由描绘一边界多边形来选择一区域，并编辑其3D位置和缩放系数。在所有编辑操作中，系统可以产生翘曲结果(Warped Result)，并立即更新视差分布(Disparity Distribution)和特性位置(Feature Location)。

如前所述，在第一种作法中，使用者首先说明所有特性的所需深度转换。此作法可说明(1)深度的1D相似度转换；或是(2)目标深度分布。然后，系统将这些深度转换为对应的多个视差值，再将该等视差值纳入视差一致能量Ψ_c中。

可以假设使用一相似度转换。首先，所有多个特性F＝{f_i}的多个视差d_i由一像素域(Pixel Domain)转换为一物理域(Physical Domain)。接着，多个深度Z_i使用方程式(6)，由其该等视差d_i计算得出。一目标深度计算如下：然后再使用方程式(4)将之转换回该目标视差在将该目标视差由该物理域转换为该像素域之后，视差一致能量藉由该等目标视差作修正如下：

${\mathrm{\Ψ}}_c=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{({\tilde{d}}_i-{\stackrel{\widehat{~}}{d}}_i)}^2---\left(21\right)$

若一目标深度分布已说明，则该等目标深度可由一使用者给定，而其引起的过程相似。本方法也可让使用者改变物件的尺寸和位置。首先，使用者可藉由描绘一封闭区域来选择一物件上的多个特性。然后，使用者可输入适用于该物件的3D缩放参数(s_x,s_y,s_z)和转换参数(t_x,t_y,t_z)。该等所选择特性之一集合可藉由使用方程式(5)来投影回其3D坐标(X_i,Y_i,Z_i)。缩放和转换3D位置的步骤可因而产生一目标3D位置其投影在两种视角上，以藉由使用方程式(1-3)来取得和对于其他剩余特性，可使用方程式(15)或(16)作为限制条件。假设使用了方程式(16)，则视差一致能量可修正如下式：

$\begin{array}{c}{\mathrm{\Ψ}}_c=\frac{1}{\left|\hat{F}\right|}\underset{i\∈\hat{F}}{\mathrm{\Σ}}({\left|\right|{{\tilde{f}}_i}^L-{\hat{f}}_i^L\left|\right|}^2+{\left|\right|{{\tilde{f}}_i}^R{\hat{f}}_i^R\left|\right|}^2)\\ +\frac{\mathrm{\λ}}{|F\backslash \hat{F}|}\underset{i\∈F\backslash \hat{F}}{\mathrm{\Σ}}{((s_d{d}_i+t_d)-{\tilde{d}}_i)}^2\end{array}---\left(22\right)$

其中λ为能量的二个部分之间的权重(λ可设定为0.1)。最后，具有修正的视差一致能量Ψ_c的能量函数Ψ最小化，以使图像变形，并使图像与前述的内容感知方式的限制条件能相匹配。

因此，本内容感知显示适应方法与其相关的编辑界面、适用于立体图像的方法可同时将一双眼图像的尺寸重设至一目标解析度，并将深度调整为显示器的舒适区，且保留主要物件的感知形状。此方法无需深度信息或密集的对应关系。只要给定目标显像的规格和对应关系的稀疏集合，本方法即可有效率地将输入的立体图像变形以达成显示适应效果，例如：藉由解一最小平方能量最小化问题来达成。本方法可用于调整立体图像，以适应不同尺寸、长宽比，以及舒适区的显示器。另外，通过些微修改能量函数，本方法可让使用者互动式地调整所选择物件的尺寸、位置，以及深度，或(且)能量函数的相关系数，让使用者可根据审美观控制感知深度。

本发明的内容感知适应方法、相关的编辑界面，以及适用于立体图像的方法，或特定类型或其部分，可以以程序代码的类型存在。程序代码可以包含在物理介质，如软盘、光盘、硬盘、或是任何其他机器可读取(如计算机可读取)存储介质，亦或不限于外在形式的计算机程序产品，其中，当程序代码被机器，如计算机载入且执行时，此机器变成用以参与本发明的装置。程序代码也可以通过一些传送介质，如电线或电缆、光纤、或是任何传输类型进行传送，其中，当程序代码被机器，如计算机接收、载入且执行时，此机器变成用以参与本发明的装置。当在一般用途处理单元实作时，程序代码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。

在本说明书以及权利要求书中的序数，例如“第一”、“第二”、“第三”等等，彼此之间并没有顺序上的先后关系，其仅用于标示区分两个具有相同名字的不同元件。

本发明虽以优选实施例公开如上，然其并非用以限定本发明的范围，本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附权利要求书界定范围为准。

Claims (10)

1.一种内容感知显示适应方法，适用于立体图像，并使用在电子装置中，且包括下列步骤：

提供多个立体图像，其中所述立体图像包括至少一图像对，而该图像对包括左图像和右图像；

藉由特征检测算法(Saliency Detection Algorithm)，估计该图像对的多个特征地图(Saliency Map)；

根据所述特征地图，将每一所述立体图像表示为格网(Grid Mesh)，并测量其每四元(Each Quad)的一四元重要性(Per-quad Importance)；

检测该左图像和该右图像的多个特性，并在该左图像和该右图像之间去匹配所检测的所述特性；

根据所述特征地图、多个匹配特性、所述格网的数据，以及目标显影的规格，定义出能量函数，其中该能量函数包括至少一视差一致能量(DisparityConsistency Energy)，而该视差一致能量用于确保所述匹配特性的多个视差以一致方式进行操纵；以及

最小化该能量函数，以取得该左图像和该右图像的多个变形顶点位置(Deformed Vertex Position)的二集合。

2.如权利要求1所述的内容感知显示适应方法，其中该特征检测算法包括一图形基础视觉特征算法。

3.如权利要求1所述的内容感知显示适应方法，其中每四元的该四元重要性的测量步骤藉由根据所述特征地图来平均及标准化一前像素特征(Pre-pixel Saliency)而执行。

4.如权利要求1所述的内容感知显示适应方法，其中多个比例不变特性转换(Scale Invariant Feature Transformation，SIFT)特性由该左图像和该右图像两者中所检测出来，而所述匹配特性藉由基础矩阵来进行发现和验证，其中该基础矩阵藉由随机取样共识(RANdom SAmple Consensus，RANSAC)来估计得出。

5.如权利要求4所述的内容感知显示适应方法，还包括：

使用非最大抑制法(Non-maximum Suppression)，以由所检测的所述特性中移除掉多个杂波特性(Cluttered Feature)。

6.如权利要求1所述的内容感知显示适应方法，其中最小化该能量函数的步骤藉由解出该能量函数之一最小平方法(Least-square)问题而执行。

7.如权利要求1所述的内容感知显示适应方法，其中该视差一致能量包括视差的一整体缩放系数(Global Scaling Factor of Disparity)和一平移系数(Shift Factor)，而该整体缩放系数和和平移系数用于维持所述特性的相对深度。

8.如权利要求1所述的内容感知显示适应方法，其中该能量函数还包括至少一对齐能量(Alignment Energy)，而该对齐能量用于确保所述特性在变形之后仍水平对齐于同一扫描线。

9.如权利要求1所述的内容感知显示适应方法，其中该能量函数还包括至少一扭曲能量(Distortion Energy)和至少一线弯曲能量(Line BendingEnergy)，该扭曲能量用于防止每一所述格网内的多个重要四元(ImportantQuads)被不均匀地缩放，该线弯曲能量用于使得一原始边缘和一变形边缘之间的一夹角维持尽可能地小，而该原始边缘和该变形边缘对应于每四元(EachQuad)。

10.一种内容感知显示适应方法，适用于立体图像，并使用于一电子装置中，且包括下列步骤：

提供多个立体图像，其中所述立体图像包括至少一图像对，而该图像对包括一左图像和一右图像；

藉由一特征检测算法(Saliency Detection Algorithm)，估计该图像对的多个特征地图(Saliency Map)；

根据所述特征地图，将每一所述立体图像表示为一格网(Grid Mesh)，并测量其每四元(Each Quad)的一四元重要性(Per-quad Importance)；

检测该左图像和该右图像的多个特性，并在该左图像和该右图像之间去匹配所检测的所述特性；

根据所述特征地图、多个匹配特性、所述格网的数据，以及一目标显影的规格，定义出一能量函数，其中该能量函数包括至少一对齐能量(AlignmentEnergy)，而该对齐能量用于确保所述特性在变形之后仍水平对齐于同一扫描线；以及

最小化该能量函数，以取得该左图像和该右图像的多个变形顶点位置(Deformed Vertex Position)的二集合。