CN103186921A - 一种利用内容驱动电路模型修正3d图像的系统与方法 - Google Patents

Abstract

本发明包含一些用来精练3D图像的方法、系统。处理器被用来辨识3D图像中的深度图，并且建立一个模拟电路模型。模拟电路模型中包含数据节点、扩散节点，以及连接装置。连接装置用来连接数据节点和扩散节点。模拟电路模型送出仿电压信号给数据节点，此数据节点对应到深度图中至少一部分数据点。仿电压信号实质上与至少一部分数据点中的深度数据相关。此方法还使得至少部分的仿电压信号通过连接装置使其的电压重新分配至扩散节点，以对应地实现优化操作来产生扩散电压信号。处理器同时也根据扩散电压信号更新深度图中的深度数据。

Description

一种利用内容驱动电路模型修正3D图像的系统与方法

技术领域

本发明是一种精练(Refine)三维(Three Dimensional，3D)图像的系统及方法，包含利用电路模型及优化的系统及方法。

背景技术

多媒体技术，包含影片及图像相关应用被广泛利用在各种领域，像是娱乐、教育、医学诊断以及商业展示中。举例来说，娱乐事业应用了更多包含三维(Three Dimensional，3D)内容的影片及图像。多种以图像为基础的方法被用来作为3D图像呈现。3D图像可以利用对应的一组二维(TwoDimensional，2D)图像及其对应的深度图呈现，其中深度图指示此组2D图像中各像素与观赏点的距离。

3D图像的呈现需要足够质量的深度图来配合。对于一个示范性且不受限的例子，劣质的深度图会造成在单、双眼视觉上的冲突，让观赏者感到不舒服。例如造成观赏者感到眼睛酸痛、头痛或是其他3D图像产生的不适。现有的深度图像绘图法(Depth Image Based Rendering，DIBR)无法修正上述不良图像质量和不佳深度图产生的冲突。

因此，如何提供合适的系统、方法及其组合，在根据深度图像合成出3D图像之前先针对深度图像进行精练，为业界不断致力的方向之一。

发明内容

实施例中提供一种用来精练三维(Three Dimensional，3D)图像的计算机方法，此计算机方法先辨识此3D图像，之后建立模拟电路模型。模拟电路模型包含多个数据节点、多个扩散节点以及多个连接装置，其中连接装置连接数据节点以及扩散节点。模拟电路模型提供仿电压信号至数据节点，此数据节点与深度图中至少一部分数据点对应。仿电压信号实质上与至少一部分数据点中的深度数据相关。此计算机方法还使得至少部分的此些仿电压信号通过此些连接装置使其的电压重新分配至此些扩散节点，以对应地实现优化操作来产生扩散电压信号。处理器同时也根据扩散电压信号更新深度图中的深度数据。

实施例中进一步提供另一种计算机方法用来精练3D图像，此计算机方法辨识3D图像中的深度图。这种计算机方法产生总合能量，其中包含对应于一深度限制(Depth Constrain)的第一能量部分、对应于一扭曲限制(Distortion Constrain)的第二能量部分，及对应于边界弯曲限制(EdgeBending Constrain)的第三能量部分。上述的深度限制、扭曲限制及边界弯曲限制分别是上述深度图中深度数据的函数。此计算机方法应用优化操作的总合能量中，最少一组能量部分，来精练深度图中的深度数据。

实施例中同时提供一种精练3D图像的系统，此系统包含储存装置，用来储存3D图像中的深度图，其中此深度图包含深度数据。此系统还包含耦接在储存装置上的处理器，同时此处理器被配置来建立模拟电路模型。模拟电路模型包含多个数据节点、多个扩散节点以及多个连接装置，其中连接装置连接数据节点以及扩散节点。模拟电路模型提供仿电压信号至数据节点，此数据节点与深度图中至少一部分数据点对应。仿电压信号实质上与至少一部分数据点中的深度数据相关。此处理器还使得至少部分的此些仿电压信号通过此些连接装置使其的电压重新分配至此些扩散节点，以对应地实现优化操作来产生扩散电压信号。处理器同时也根据扩散电压信号更新深度图中的深度数据。

实施例中还进一步提供另一种用来精练3D图像的系统，此系统包含储存装置，用来储存3D图像中的深度图，其中深度图中含有深度数据。此系统还包含耦接在储存装置上的处理器。处理器的配置用来产生总合能量，其中包含对应于深度限制(Depth Constrain)的第一能量部分、对应于扭曲限制(Distortion Constrain)的第二能量部分，及对应于边界弯曲限制(Edge Bending Constrain)的第三能量部分。上述的深度限制、扭曲限制及边界弯曲限制分别是上述深度图中深度数据的函数。处理器同时也根据扩散电压信号更新深度图中的深度数据。

实施例中进一步提供一种非瞬时计算机可读取媒体，并包含一可执行程序在内；其中此可执行程序指示一处理器来形成精练3D图像的方法。这种方法先辨识3D图像，之后建立模拟电路模型。模拟电路模型包含多个数据节点、多个扩散节点以及多个连接装置，其中连接装置连接数据节点以及扩散节点。模拟电路模型产生仿电压信号至数据节点，此数据节点与深度图中至少一部分数据点对应。仿电压信号实质上与至少一部分数据点中的深度数据相关。此方法还使得至少部分的此仿电压信号通过此连接装置使其的电压重新分配至此扩散节点，以对应地实现优化操作来产生扩散电压信号。这种方法同时根据扩散电压信号更新深度图中的深度数据。

实施例中还提供另一种非瞬时计算机可读取媒体，并包含一可执行程序在内；其中此可执行程序指示一处理器来形成精练3D图像的方法。这种方法是用来辨识3D图像中的深度图。此方法还用来产生总合能量，其中包含对应于深度限制的第一能量部分、对应于扭曲限制的第二能量部分，及对应于边界弯曲限制的第三能量部分。上述的深度限制、扭曲限制及边界弯曲限制分别是上述深度图中深度数据的函数。此计算机方法应用优化操作的总合能量中，最少一组能量部分，来精练深度图中的深度数据。

前文的基本叙述及后续的细节叙述都为用来帮助了解范例及解释，并且提供用来帮助解释本发明的权利要求。

附图说明

图1绘示依照本发明实施例的三维图像处理系统。

图2绘示本发明实施例中利用模拟电路模型来精练深度图的流程图。

图3绘示本发明实施例的模拟电路模型。

图4绘示本发明实施例的子电路模型。

图5绘示本发明实施例中利用特征限制法精练深度图的流程图。

图6绘示本发明实施例中利用模拟电路模型及特征限制来精练深度图像的流程图。

图7绘示本发明实施例中利用特征限制作优化处理的流程图。

【主要元件符号说明】

100：3D图像处理系统；

110：处理器；

120：存储器；

121：操作系统；

122：图像处理软件；

123：数据库；

130：输入设备；

140：显示设备；

150：操作接口；

300：模拟电路模型；

310、410：数据节点；

320、421、422、423、424、425：扩散节点；

330、431、432、433、434、435：连接装置；

400：子电路模型；

I1、I2、I3、I4、I5：扩散电流。

具体实施方式

接下来，标号将被使用在本发明的详细实施例中，而其例如被绘示于本案附图当中。

图1绘示一组三维图像处理系统100。和部分实施例一致，三维(ThreeDimensional，3D)图像处理系统100利用一组二维(Two Dimensional，2D)图像和一至多个相关深度图构成3D图像。在其他实施例中，3D图像处理系统100在增进3D合成图像质量之前，先执行诸如深度图像精练操作、2D图像精练操作或是其操作的组合。

和部分实施例一致，3D图像处理系统100包括处理器110、存储器或存储模块120、使用者输入设备130、显示设备140、和操作接口150。处理器110可为一般处理器(例如

处理器中其中一种)、中央处理单元(CPU)、特殊应用集成电路(ASIC)、图形处理器(GPU)或以上各种电路的任意组合。依据不同应用的硬件类型，处理器110能包含(或耦接至)一至多个印刷电路板，其中每个印刷电路板具有一至多个微处理芯片。在接下来的实施例中，处理器110能执行计算机程序构造中的序列，以实现如下列各实施例中所描述的多种方法。

存储器120包含随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash)或以上各种存储器的任意组合。计算机程序可从ROM、RAM、闪存中或以上各种存储器的任意组合中被读取出来，并被加载至处理器110所执行的RAM中。举例来说，存储器120可以储存一到多个应用软件。储存在存储器120中的应用软件可包含操作系统121，其例如为一至多个处理器、一至多个一般计算机系统或是一至多个软件控制装置的操作系统。另外，存储器120能储存应用软件或处理器110所处理的应用软件的一部分。在部分实施例中，存储器120被用来储存处理器110所执行的图像处理软件122。举例来说，图像处理软件122能用来精练深度图。

图像处理软件122其中的部分或全部可被储存在可拆卸计算机读取媒体中，例如是硬盘、磁盘、只读存储光盘(Compact Disc Read-only Memory，CD-ROM)、数字多功能只读存储光盘(Digital Versatile Disc Read-onlyMemory，DVD ROM)、CD或DVD刻录光盘、闪存、通用串行总线(Universal Serial Bus，USB)接口快闪储存设备、存储卡(Memory Stick)或任何其他合适的媒体，同时可被执行于3D图像处理系统100中合适的子元件中。举例来说，执行图像处理的应用软件的部分被储存在可拆卸计算机读取媒体，同时通过处理器110读取及执行复制到存储器120的子程序。

在部分实施例中，存储器120同时也适用在储存主文件数据、使用者数据、应用数据、程序代码或以上任意组合。举例来说，存储器120能储存数据库123，此数据库123其包含多个图像数据，像是深度图中的深度数据和2D图像中的像素数值。

在部分实施例中，输入设备130和显示设备140例如可通过合适的接口或是电路系统接口耦接在处理器110。在实施例中，输入设备130可为实体键盘、袖珍键盘、触碰屏幕或是以上任意组合；被授权的使用者可经由输入设备130将信息输入3D图像处理系统100。显示设备140包含一至多个显示屏幕，用来显示多种图像或是其他相关信息给使用者，例如显示设备140能显示提供的3D图像，抑或是转换为三维图像过程中的2D图像和深度图。

操作接口150在部分实施例中，能使图像处理系统100和一至多个外接装置交换数据。和部分实施例一致，操作接口150包含网络接口、通用串行总线(USB)、HDMI插槽...等(各种装置未绘出)，并被设置来接收3D图像，像是用3D照相机这类捕捉图像装置产生的2D图像及深度图。和部分实施例一致，操作接口150同时也被设置来传送3D图像数据到遥控显示设备。

3D图像处理系统100中一至多个部分可以用来执行相关于3D图像的制作方法。举例来说，图2绘示流程200的流程图，此流程利用模拟电路模型来精练深度图。流程200最初先接收原始数据(步骤201)。举例来说，原始数据是由3D照相机所记录，并通过操作接口150由3D图像处理系统100接收。在部分实施例中，原始数据包含2D图像数据DV以及和图像数据DV对应的原始深度数据Di。2D图像数据DV含有景物中照明或是色彩信息。深度数据Di(或是称为深度图或是深度图像)包含从视点至环境对象的表面间的距离相关信息(或参考距离)。举例来说，深度数据Di包含分别与m×n个数据点对应的m×n笔数据数值Di(1，1)、Di(1，2)、Di(1，3)、...、Di(m，n)，同时2D图像数据DV包含分别与m×n个数据点对应的m×n笔数据数值。在其余实施例中，2D图像数据DV的数据点数量可多于或少于深度数据Di中的数据点数量。m×n笔原始深度数据数值Di(1，1)-Di(m，n)分别与m×n像素数值I(1，1)-I(m，n)对应，并代表从视点到像素的相对距离。

在部分实施例中，当物体接近视点时，深度数据将会具有较大的数值。举例来说，m×n笔原始深度数据Di(1，1)-Di(m，n)各自包括8个位。换句话说，各m×n笔原始深度数据Di(1，1)-Di(m，n)的数值介于0-255之间。对于各m×n笔原始深度数据Di(1，1)-Di(m，n)中数值较大的数据来说，其对应到的像素数值I(1，1)-I(m，n)具有越小的深度。相反的，对于原始深度数据Di(1，1)-Di(m，n)中的数值较小的数据来说，对应到的像素数值I(1，1)-I(m，n)具有越大的深度。当深度数据以灰度图像呈现时，较靠近的物体为较浅的灰色。

步骤202中建立模拟电路模型。举例来说，图3绘示范例模拟电路模型300。模拟电路模型300为概念模型，其中的部分包含数据节点310、扩散节点320及连接装置330。连接装置330是被耦接在数据节点310及对应的相邻扩散节点320之间(概念上电性连接于数据节点310及对应的相邻扩散节点320之间)，使得电流能在数据节点310和扩散节点320间流通。连接装置330也被耦接在两个对应的相邻扩散节点320之间，使得电流能在此些扩散节点320间流通。

在部分实施例中，数据节点310和扩散节点320的数量可以相等、小于，或是大于原始深度数据数值的数量。利用步骤201中接收到的m×n笔原始深度数据数值Di(1，1)-Di(m，n)，模拟电路模型300可由m×n笔数据节点310及m×n笔连接装置330所构成。

模拟电路模型300对应图3，包含m×n笔子电路模型M(1，1)、M(1，2)、...、M(m，n)，其具有相同且重复或是相似的电路结构。子电路模型M(1，1)、M(1，2)、...、M(m，n)对应至或是实质上相关于原始深度数据数值Di(1，1)-Di(m，n)。举例来说，图4绘示范例子电路模型M(i，j)400，实质上对应到原始深度数据D(i，j)，其中i、j分别为小于或是等于m、n的自然数。

如图4所示，子电路模型M(i，j)400包含数据节点NS(i，j)410、扩散节点ND(i，j)421、ND(i-1，j)422、ND(i，j-1)423、ND(i，j+1)424及ND(i+1，j)425和连接装置431-435。在部分实施例中，用来耦接数据节点410及扩散节点421的连接装置431可为空间数据扩散连接装置RS。连接装置432-435耦接在扩散节点421及邻近扩散节点422-425之间，且可被视为扩散连接装置RD1-RD4。在部分实施例中，连接装置431-435可为电阻模型元件。当不同的电位被施加在一个特定连接装置的两个端点上时，扩散电流能流经此连接装置。

回到图2，在步骤203中，原始深度数据可转换为仿电压信号。举例来说，处理器110根据原始深度数据Di(1，1)-Di(m，n)产生m×n笔转换仿电压信号SV(1，1)、SV(1，2)、...、SV(m，n)。在部分实施例中，处理器110可利用深度数据的数值或是其转换及引导出的数值作为仿电压信号。在部分实施例中，处理器110以与上述数值具有比例关系的其他数值来产生此电压值。

在步骤204中，产生仿电压信号到数据节点。举例来说，仿电压信号SV(1，1)、SV(1，2)、...、SV(m，n)被分别提供至对应的数据节点NS(1，1)、NS(1，2)、...、NS(m，n)。由于扩散节点ND(1，1)、ND(1，2)、...、ND(m，n)各自具有原点电位(Zero Voltage Potential)，扩散电流可能流过在各个数据节点NS(i，j)及其对应的扩散节点ND(i，j)之间。举例来说，如图4所示，扩散电流I1由数据节点410流向扩散节点421，以对应地增加扩散节点421的电位。同理，扩散节点422-425的电位可因自其相对应的数据节点流出的扩散电流而增加(图中未标示)。根据扩散节点421和邻近扩散节点425之间的电位差，扩散电流也可能流通在扩散节点421和422-425之间。举例来说，如图4所示，扩散电流I2由扩散节点421流向扩散节点422；扩散电流I3由扩散节点423流向扩散节点421；扩散电流I4由扩散节点421流向扩散节点424；扩散电流I5由扩散节点425流向扩散节点421。

回到图2，步骤205产生扩散电流限制条件(Diffusion CurrentConstraint)。此外，同时部分的步骤205也定义出连接装置330的电阻值。在部分实施例中，空间数据扩散连接装置RS(1，1)-RS(m，n)的电阻值Rs实质上相同。举例来说，电阻值可由使用者通过输入设备130输入来决定。在部分实施例中，各扩散连接装置的电阻值Rd(例如是子电路模型400中电阻值RD1-RD4)可以下列方程式来定义：

$\mathrm{Rd}=\frac{\mathrm{\α}}{e^{-\left(\mathrm{\β}{\left|\right|C_t-C_n\left|\right|}^2\right)}}---\left(1\right)$

其中α和β表示已知系数；C_t代表原始深度数据Di(i，j)中对应的像素数据DV(i，j)中的色彩信息；C_n代表和扩散连接装置RD1-RD4耦接的扩散节点(例如ND(i-1，j)、ND(i，j-1)、ND(i，j+1)、ND(i+1，j))上对应到原始深度数据的像素数据的色彩信息。和部分实施例一致，像素数据中的色彩信息C_t和C_n由对应像素数据中各颜色的子像素数据的绝对值总和来决定。

以部分的步骤205来说，依照欧姆定律，扩散电流可以各连接装置两端的电位差与各连接装置的电阻值的商来定义。举例来说，图4中扩散电流I₁-I₅可以定义为：

$I_1=\frac{V_{410}-V_{421}}{\mathrm{Rs}}---\left(2\right)$

$I_2=\frac{V_{421}-V_{422}}{{\mathrm{Rd}}_{432}}---\left(3\right)$

$I_3=\frac{V_{423}-V_{421}}{{\mathrm{Rd}}_{433}}---\left(4\right)$

$I_4=\frac{V_{421}-V_{424}}{{\mathrm{Rd}}_{434}}---\left(5\right)$

$I_5=\frac{V_{425}-V_{421}}{{\mathrm{Rd}}_{435}}---\left(6\right)$

其中V₄₁₀为数据节点410提供的仿电压信号，V₄₂₁-V₄₂₅为未知的扩散电压信号。

依据基尔霍夫电流定律，对于电子电路中的任意节点来说，流进其的电流总和等于自其流出的电流总合。以扩散节点421为例，扩散电流I₁、I₃及I₅为流入至其中的电流，而扩散电流I₂及I₄为自其流出的电流。因此，依据基尔霍夫电流定律，上述扩散电流应满足下列扩散电流方程式：

I₁+I₃+I₅-I₂-I₄＝0                                    (7)

和部分实施例一致，扩散电流方程式和方程式(7)类似，可定义出仿真电流模型中的所有扩散节点。

回到图2，步骤206中，扩散电压信号可利用上述扩散电流方程式来求得。在部分实施例中，处理器110建立类似于方程式(7)的矩阵方程式Ax＝b，其中矩阵A为扩散电流矩阵，而向量x为由扩散电压信号所组成的未知向量，向量b则含有已知的值。举例来说，其中扩散电压信号可经由下列解法来求得：

x＝(AA^H)^-1b                                         (8)

在方程式(8)的范例解法中，扩散电压信号可定义为矩阵的最小平方误差解(Least Square Matrix Solution)。然而可以被本领域普通技术人员了解的，其他解法也可被应用来找出向量x。

举例来说，矩阵方程式Ax＝b可由迭代法，或是优化方法最小化Ax和b之间的差。迭代法利用循环迭代的方法来达成优化，其中在各次循环迭代操作中，是利用成本函数(例如是运算式|Ax-b|)的梯度来调整未知参数，再利用调整后的未知参数来更新成本函数。此成本函数在每次循环迭代操作中的数值例如小于其于前一次循环迭代操作中的数值。上述循环迭代操作持续进行，直到成本函数满足默认的判断条件。举例来说，循环迭代操作可在运算式|Ax-b|低于一预设临界值时停止。迭代法包含许多类型，例如牛顿法、共轭梯度法、梯度下降算法、次梯度法、高斯-塞德法、多重格点法...等。

经由上述优化操作，可获得各个扩散节点320上对应的扩散电压信号。扩散电压信号反映出仿电压信号(在步骤204中被提供至数据节点310)重新分配后的结果。举例来说，对于具有mxn笔扩散节点ND(1，1)-ND(m，n)的模拟电路模型来说，其是对应地找出m×n笔扩散电压信号SVD(1，1)、SVD(1，2)、...、SVD(m，n)。

回到图2，步骤207中，原始深度数据可根据获得的扩散电压信号来更新。举例来说，一组新的深度数据Do(1，1)、Do(1，2)、...、Do(m，n)可借着扩散电压信号SVD(1，1)、SVD(1，2)、...、SVD(m，n)来决定。在部分实施例中，SVD(1，1)、SVD(1，2)、...、SVD(m，n)中数值可直接用来决定电压信号的数值。在部分实施例中，此数值可被正规化至0-255的范围中。流程200可在步骤207后结束。

和部分实施例一致，流程200可利用模拟电路模型中扩散效应来加强让景物的边缘。举例来说，利用模拟电路模型可使边缘内的电压留在其颜色边界中，而使边缘外的电压扩散，藉此使物体边缘深度更加锐利。如此一来，前景膨胀效应(foreground fatten effect)将会减小，同时散射区域噪声也被减低。

虽然通过上述的实施例来针对图2进行说明，然而其对应的操作流程并不局限于此些实施例中。对于本领域普通技术人员来说，其应可联想得到上述操作流程也可被应用在原始数据、模拟电路模型、电阻值及扩散电压等对应至其他数值条件的操作实例中，例如是应用在2011年6月2日提出的美国专利申请文号13/152,093案所揭露的例子中。

图5绘示流程500的流程图，其中此流程图中利用特征限制法来精练深度图。和步骤201中流程200类似，在步骤501中，流程500从接收到原始数据后开始。在部分实施例中，流程500用来辨识精练深度ω中的歪曲图(Warping Map)。歪曲是根据对应的深度图，来将一至多个2D图像投影到对应的3D图像空间中的操作。此方法被用来提供一个合成图像(例如一个3D图像)。理想中，一个高画质合成图像具有多个特征，例如减少深度噪声(Depth Errors)、减少扭曲效应(Distortion Effect)，以及减少边界弯曲面积(Edge Bending Areas)。因此，和部分实施例一致的，流程500被用来决定一个精练深度后的歪曲图，其可被用来产生具有图像特征点优化的合成图像。举例来说，处理器110可用来找出步骤502-503中多种歪曲图的各种特征限制条件，并同时解出与步骤505-506中的特征限制条件相关的优化歪曲图。

在步骤502中，深度限制条件(Depth Constraint)可被用来找出歪曲图。理想上，歪曲图和深度图的差别在对应坐标轴的值。以x轴为例，深度限制条件可表示为：

ω_x-x-d_i，j＝0                                    (9)

其中ω_x为精练深度中歪曲形式的x坐标分量，x为对应x轴的数值，d_i，j为第(i，j)个像素的原始深度数据。而与其他坐标轴对应的深度限制条件例如可利用相同的方法来得出。

在步骤503中，扭曲限制条件(Distortion Constraint)可被用来找出歪曲图。相似的，以x轴为例，扭曲限制条件可表示为：

$\frac{{\∂\mathrm{\ω}}_x}{\∂x}=1---\left(10\right)$

其中ω_x为精练深度中歪曲形式的x坐标分量，x为对应x轴的数值，其他坐标轴的扭曲限制条件亦可利用相同方法得出。

步骤504中，边界弯曲限制条件(Edge Bending Constraints)可被用来找出歪曲图。边界弯曲限制条件是用来限制边界弯曲，其中边界弯曲限制条件最少包含2个坐标轴的信息。理想上，歪曲图相对其他坐标轴的梯度为0。以x轴为例，边界弯曲限制条件可表示为：

$\frac{{\∂\mathrm{\ω}}_x}{\∂y}=0---\left(11\right)$

其中ω_x为精练深度中歪曲形式的x坐标分量，x为对应x轴的数值，y为对应y轴的数值。其他坐标轴的边界弯曲限制条件利用相同方法得出。

在步骤505中，可参考深度限制条件、扭曲限制条件、边界扭曲限制条件其中的至少一个来决定总合能量。在部分实施例中，总合能量可以表示为三个部分所组成的加总能量如下：

E_total＝λ_DE_D+λ_dE_d+λ_bE_b                      (12)

E_D＝∫_x(ω_x-x-d_i)dx                            (13)

$E_d={\∫}_{x}S{(\frac{{\∂\mathrm{\ω}}_x}{\∂x}-1)}^2\mathrm{dx}---\left(14\right)$

$E_b={\∫}_{x}S{\left(\frac{{\∂\mathrm{\ω}}_y}{\∂x}\right)}^2\mathrm{dx}---\left(15\right)$

其中E_total为与各限制条件对应的能量的加总，E_D为根据深度限制条件所求得的能量，E_d为根据图像扭曲限制条件所求得的能量，E_b为根据边界弯曲限制条件所求得的能量，λ_D、λ_d、λ_b分别是E_D、E_d及E_b的加权系数。

在部分实施例中，每一能量E_D，E_d及E_b可以各个限制条件的能量总合来决定，如方程式(13)-(15)所示。然而，本领域普通技术人员可推知各能量也可以上述限制条件的任何其他阶数的和来决定。

在部分实施例中，加权系数λ_D、λ_d、λ_b可固定且内建在处理器110中。在部分实施例中，处理器110可适应性地参考各特定的合成图像的深度扭曲、边界扭曲，及边界弯曲的相对关系来定出合适的加权系数λ_D、λ_d、λ_b。举例来说，如果合成图像中具有显著的边界扭曲，则加权系数λ_d可设为比相对其他两个系数大。在其他例子中，加权系数λ_D、λ_d、λ_b中的一个或多个可被设为0，使得相对应的限制条件能从总合能量中移除。在其余部分实施例中，加权系数可由使用者决定并经由输入接口130输入。

在步骤506中，歪曲图可通过针对步骤505中定义出总合能量进行减小或最小化来解出。在部分实施例中，可经由找出最小能量E_total来对歪曲图进行优化操作：

arg min_D(E_total＝λ_DE_D+λ_dE_d+λ_bE_b)                   (16)

如同优化动作方程式(8)，优化动作方程式(16)可同样通过多种已知的算法来实现。通过优化可得到精练深度后的歪曲图。流程500例如在步骤506之后结束。

图6绘示流程600的流程图，图中绘示利用模拟电路模型及特征限制条件来精练深度图像的流程。在部分实施例中，步骤601-604可经由与上述流程500中步骤501-504相似的操作来实现。在步骤605中，扩散电流限制条件可藉模拟模型来决定。在部分实施例中，步骤605可经由和上述流程200中步骤202-205相似的操作来实现。

在步骤606中，是根据深度限制条件、扭曲限制条件、边界扭曲限制条件来决定一笔总合能量。在部分实施例中，总合能量由三个部分组成如下：

E_total＝λ_DE_D+λ_dE_d+λ_bE_b+λ_cE_c                     (17)

其中能量

$E_c={\∫}_x\left(\frac{V_{n+1}-V_n}{R}\right)\mathrm{dx}={\∫}_x\frac{e^{-\left(\mathrm{\β}{\left|\right|C_t-C_n\left|\right|}^2\right)}}{\mathrm{\α}}(d_{n+1}-d_n)\mathrm{dx}---\left(18\right)$

d代表深度，n代表第n项像素，E_D、Ed、E_b定义在方程式(13)-(15)中，而λ_c、λ_D、λ_d、λ_b分别是E_c、E_D、E_d、E_b的加权系数。虽然方程式(17)中揭示了4个能量部分，但我们仍可经由借着调整加权系数λ_c、λ_D、λ_d、λ_b来减少能量部分的项数。

在步骤607中，歪曲图可通过步骤606中所揭露的减小或是最小化总合能量的方法来解出。在部分实施例中，下列优化操作可被执行以找出对应至最小能量E_total的歪曲图：

arg min_D(E_total＝λ_DE_D+λ_dE_d+λ_bE_b+λ_cE_c)          (19)

如同优化动作方程式(8)和(16)，优化动作方程式(19)可同样通过多种已知的算法来执行。通过优化可得到精练深度后的歪曲图。流程600在步骤607之后结束。

流程600实质上利用一最佳化成本函数，来合并流程200及流程500，其中最佳化成本函数以相关流程中用到的多个成本函数所组成。因此，以模拟电路模型及以特征限制条件为基础的优化操作是被执行在一个用合并的步骤中。和部分实施例一致，流程600可借着相似颜色的扩散效应来减低深度噪声，并同时减低扭曲及弯曲限制。

图7绘示一范例流程图，其中是应用模拟电路模型来精炼深度图像，并于精炼深度图像的操作之后应用视觉重要性图来执行优化操作。相比于流程600，流程700依次地合并了流程200和流程500。举例来说，经过步骤701中接收原始数据后，深度数据的第一优化操作可通过视觉重要性限制条件来实现，例如根据流程500。步骤703中，第二优化操作可通过模拟电路模型来实现，例如根据流程200。和部分实施例一致，第一优化操作的优化结果可被视为第二优化操作时的原始数据。举例来说，步骤702中获得的优化深度数据可转换为仿电压信号，并提供到模拟电路模型上的数据节点。流程700例如在步骤703之后结束。

尽管在上述流程700中，在步骤702是被执行在步骤703之前，但是上述两步骤的前后顺序可以调换。经由依次地或分别地执行上述两个优化操作，可依次或分别利用扩散电流限制及重要性图限制，而使其依次作用，或是不相互限制。

尽管以上叙述都在讨论针对3D图像的深度图进行精炼的操作，然而可被本领域普通技术人员了解的，本实施例的系统及方法也可被应用在其他多种不同的应用场合中。举例来说，图2及图5-图7所示的流程也可被应用在深度图的稀疏对应(Sparse Correspondence)的精炼操作中。其他实施例中，深度图中可能仅有一个子集合的像素带有特定的信息，而其他的像素则带有一般的深度信息。和部分实施例一致，只有具有意义的像素(例如是深度图中的离散关系)被纳入上述一个或多个能量项次的计算操作中。因此，可在不失去深度图中的重要信息的情况下，对应地降低解决未知数的计算复杂度。

综上所述，虽然本发明已由优选实施例说明如上，然其并非用以限定本发明，本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的更改与修饰，因此本发明的保护范围当视权利要求所界定者为准。

Claims (19)

1.一种用来精练一三维图像的方法，包括：

辨识该3D图像中的一深度图；以及

以一处理器构建一模拟电路模型，该模拟电路模型包括多个数据节点、多个扩散节点及多个连接装置，该些连接装置连接该些数据节点及该些扩散节点，该模拟电路模型提供多个仿电压信号至该些数据节点，其中该些数据节点与该深度图中该些数据点其中的部分对应，该些仿电压信号与至少部分的该些数据点上的多笔深度数据相关；

利用该处理器执行一优化操作，使得至少部分的该些仿电压信号通过该些连接装置重新分配至该些扩散节点，以对应地实现优化操作来产生多个扩散电压信号；以及

该处理器根据该些扩散电压信号来更新该深度图中的该些深度数据。

2.根据权利要求1所述的方法，其中该优化步骤最少还包括降低或使一第一能量最小化，该第一能量和该些连接装置上的多个扩散电流信号相关。

3.根据权利要求2所述的方法，其中更新该深度数据的步骤还包括针对该深度数据进行循环迭代更新，直到该第一能量小于一第一能量上限为止。

4.根据权利要求2所述的方法，其中还包括：

辨识该连接装置的电阻值；以及

根据该仿电压信号、该扩散电压信号及该电阻值产生该些扩散电流信号。

5.根据权利要求2所述的方法，其中该第一能量中的至少一部分与一深度限制条件、一扭曲限制条件及一边界弯曲限制条件其中至少一个相关。

6.根据权利要求5所述的方法，其中该第一能量中与该扩散电流信号相关的该部分对应至一第一加权系数，该第一能量中与该深度限制条件、该扭曲限制条件及该边界弯曲限制条件其中至少一个相关的该部分对应至一第二加权系数，该方法还包括：

经由分析该3D合成图像来决定该第一加权系数及该第二加权系数。

7.根据权利要求1所述的方法，其中还包括：

根据一深度限制条件、一扭曲限制条件及一边界弯曲限制条件其中至少一个来修改该深度图中的深度数据；

其中，被提供至该些数据节点的该些仿电压信号和该优化深度数据相关。

8.根据权利要求7所述的方法，其中的修改步骤包括降低或使一第二能量最小化，该第二能量和该深度限制条件、该扭曲限制条件、该边界弯曲限制条件其中至少一个相关。

9.一种精练一三维图像的方法，包括：

辨识该3D图像中的一深度图；以及

应用一处理器来决定一能量，该能量包括一第一能量部分、一第二能量部分及一第三能量部分，分别与一深度限制条件、一扭曲限制条件及一边界弯曲限制条件对应，其中各该深度限制条件、该扭曲限制条件及该边界弯曲限制条件为该深度图中的多笔深度数据的函数；以及

应用该处理器执行一优化操作，以利用降低或最小化该能量的方法来精练该深度图中的该些深度数据。

10.根据权利要求9所述的方法，其中决定该能量的步骤还包括以不同的权重参数来调整该第一、该第二及该第三能量部分。

11.根据权利要求9所述的方法，其中优化该深度数据还包括：

针对该深度数据进行循环迭代更新，直到该第一能量小于一第一能量上限为止。

12.根据权利要求9所述的方法，其中该深度限制条件精炼后的该深度数据及一坐标轴数据及一原始深度数据的总合的差值相关。

13.一种精练三维图像系统，包括：

一储存装置，用来储存一3D图像的深度图，该深度图包括一深度数据；

一处理器，耦接至该储存装置并被设定来执行下列程序：

建立一模拟电路模型，该模拟电路模型包括多个数据节点、多个扩散节点及多个连接装置，该些连接装置连接该些数据节点及该些扩散节点，该模拟电路模型提供多个仿电压信号至该些数据节点，其中该些数据节点与该深度图中的该些数据点其中的部分对应，该些仿电压信号与至少部分的该些数据点上的多笔深度数据相关；

执行一优化操作，使得至少部分的该些仿电压信号通过该些连接装置重新分配至该些扩散节点，以对应地实现优化操作来产生多个扩散电压信号；以及

根据该些扩散电压信号来更新该深度图中的该些深度数据。

14.根据权利要求13所述的系统，其中该些扩散电压信号是利用降低或使一第一能量最小化的方法来进行优化，该第一能量和该些连接装置上的多个扩散电流信号相关。

15.根据权利要求14所述的系统，其中该第一能量中的至少一部分与一深度限制条件、一扭曲限制条件及一边界弯曲限制条件其中至少一个相关。

16.根据权利要求13所述的系统，该处理器还进一步被设置用作：

根据一深度限制条件、一扭曲限制条件及一边界弯曲限制条件其中至少一个来修改该深度图中的深度数据；

其中提供至该些数据节点的该些仿电压信号和优化的深度数据相关。

17.一种非瞬时计算机可读取媒体，包括一可执行程序，其中该可执行程序指示一处理器执行一三维图像精炼操作，该操作包括：

辨识该3D图像中的一深度图；

建立一模拟电路模型，该模拟电路模型包括多个数据节点、多个扩散节点及多个连接装置，该些连接装置连接该些数据节点及该些扩散节点，该模拟电路模型提供多个仿电压信号至该些数据节点，其中该些数据节点与该深度图中的该些数据点其中的部分对应，该些仿电压信号与至少部分的该些数据点上的多笔深度数据相关；

执行一优化操作，使得至少部分的该些仿电压信号通过该些连接装置重新分配至该些扩散节点，以对应地实现优化操作来产生多个扩散电压信号；以及

根据该些扩散电压信号来更新该深度图中的该些深度数据。

18.一精练三维图像系统，包括：

一储存装置，用来储存一3D图像的深度图，该深度图包括一深度数据；以及

一处理器，连接至该储存装置，并被设定来执行下列程序：

决定一能量，该能量包括一第一能量部分、一第二能量部分及一第三能量部分，分别与一深度限制条件、一扭曲限制条件及一边界弯曲限制条件对应，其中各该深度限制条件、该扭曲限制条件及该边界弯曲限制条件为该深度图中的深度数据的函数；

执行一优化操作，以利用减小或最小化该能量的方法来精练该深度图中的该深度数据。

19.一种非瞬时计算机可读取媒体，包括一可执行程序，其中该可执行程序指示一处理器执行一三维图像精炼操作，该操作包括：

决定该3D图像中的一深度图；

决定一能量，该能量包括一第一能量部分、一第二能量部分及一第三能量部分，分别与一深度限制条件、一扭曲限制条件及一边界弯曲限制条件对应，其中各该深度限制条件、该扭曲限制条件及该边界弯曲限制条件为该深度图中的深度数据的函数；以及

应用该处理器执行一优化操作，以利用减小或最小化该能量的方法来精练该深度图中的该深度数据。

Images