CN104581123B - 立体影像显示系统与显示方法 - Google Patents
立体影像显示系统与显示方法 Download PDFInfo
- Publication number
- CN104581123B CN104581123B CN201510058298.6A CN201510058298A CN104581123B CN 104581123 B CN104581123 B CN 104581123B CN 201510058298 A CN201510058298 A CN 201510058298A CN 104581123 B CN104581123 B CN 104581123B
- Authority
- CN
- China
- Prior art keywords
- depth value
- depth
- pixel
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims description 42
- 238000012856 packing Methods 0.000 claims description 23
- 238000009499 grossing Methods 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 19
- 230000002452 interceptive effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
本发明揭露一种显示方法包含下列步骤：根据彩色影像产生第一深度图与边缘图；根据边缘图找出第一深度图中的边缘区域的第一像素的第一深度值以及第二像素的第二深度值，其中第一像素与第二像素相邻排列于水平方向上；根据零视差参考位准调整第一深度图中邻近边缘区域的N个像素的N个深度值，以产生一第二深度图，其中N为一正整数，且N个像素包含该第一像素与第二像素至少一者；以及根据第二深度图以及彩色影像而产生多个多视角影像，以显示立体影像。
Description
技术领域
本发明是有关于一种立体影像显示系统与显示方法，且特别是有关于一种具有平滑化操作的立体影像显示系统与显示方法。
背景技术
近来，各种立体影像的应用已经相当地普及。为了有效地显示立体影像，各种显示立体影像的技术不断地被提出。
一些技术中使用彩色负片(color negative)的方式来改善立体影像的交互干扰(crosstalk)的现象。然而，藉由彩色负片的设置方式，会导致立体影像的颜色失真或不准确。
因此，如何能在不导致立体影像的颜色失真的前提下，改善立体影像的交互干扰的现象，实属当前重要研发课题之一，亦成为当前相关领域亟需改进的目标。
发明内容
为了解决上述的问题，本揭示内容的一态样提供了一种显示方法。显示方法包含下列步骤：根据彩色影像产生第一深度图与边缘图；根据边缘图找出第一深度图中的边缘区域的第一像素的第一深度值以及第二像素的第二深度值，其中第一像素与第二像素相邻排列于水平方向上；根据零视差参考位准调整第一深度图中邻近边缘区域的N个像素的N个深度值，以产生一第二深度图，其中N为一正整数，且N个像素包含该第一像素与第二像素至少一者；以及根据第二深度图以及彩色影像而产生多个多视角影像，以显示立体影像。
本揭示内容的另一态样提供了一种立体影像显示系统。立体影像显示系统包含深度图产生单元、平滑化处理单元、深度图绘图单元与立体影像渲染单元。深度图产生单元用以根据彩色影像产生第一深度图。平滑化处理单元包含边缘检测器与控制器。边缘检测器用以根据第一深度图产生边缘图。控制器用以根据边缘图找出第一深度图中的边缘区域的一第一像素的第一深度值以及第二像素的第二深度值，并根据零视差参考位准调整第一深度图中邻近边缘区域的N个像素的N个深度值，以产生第二深度图，其中第一像素与第二像素排列于一水平方向上，N为一正整数，且N个像素包含第一像素与第二像素中的至少一者。深度图绘图单元用以根据第二深度图与彩色影像产生多个多视角影像。立体影像渲染单元用以根据多个多视角影像驱动显示面板显示立体影像。
综上所述，本揭示内容所揭示的立体影像显示系统与及其显示方法可适用于立体影像的交互干扰的现象，进而改善使用者的观看舒适度。
附图说明
图1A为根据本揭示内容的一实施例所绘示的一种立体影像显示系统的示意图；
图1B为根据本发明揭示内容的一实施例绘示如第1A图所示的立体影像显示系统中的各影像的示意图；
图2为根据本发明揭示内容的一实施例所绘示的一种显示方法的流程图；
图3A为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图；
图3B为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图；
图3C为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图；
图3D为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图；
图3E为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图；
图3F为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图；
图4A为根据一些不具平滑化操作的相关技术所绘示立体影像的示意图；
图4B为根据本案的一实施例所绘示立体影像的示意图。
其中，附图标记：
100 立体影像显示系统
120 深度图产生单元
140 平滑化处理单元
142 边缘检测器
144 控制器
146 均值滤波器
160 深度图绘图单元
180 立体影像渲染单元
C1 彩色影像
D1 深度图
D1’ 深度图
D2 深度图
E1 边缘图
M 多视角影像
SI 立体影像
200 方法
S220 步骤
S240 步骤
S260 步骤
S280 步骤
ZPS 零视差参考位准
A0 像素
A1 像素
A2 像素
A3 像素
A2’ 像素
A3’ 像素
400 立体影像
420 立体影像
401 物件
d 间距
d1 间距
d2 间距
具体实施方式
下文举实施例配合所附图式作详细说明，但所提供的实施例并非用以限制本发明所涵盖的范围，而结构操作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本发明所涵盖的范围。此外，图式仅以说明为目的，并未依照原尺寸作图。为使便于理解，下述说明中相同元件将以相同的符号标示来说明。
关于本文中所使用的『第一』、『第二』、…等，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅仅是为了区别以相同技术用语描述的元件或操作而已。
关于本文中所使用的『约』、『大约』或『大致』一般通常指数值的误差或范围约百分之二十以内，较好地是约百分之十以内，而更佳地则是约百分五之以内。文中若无明确说明，其所提及的数值皆视作为近似值，即如『约』、『大约』或『大致』所表示的误差或范围。
另外，关于本文中所使用的『耦接』或『连接』，均可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，亦可指二或多个元件相互操作或动作。
请一并参照图1A与图1B，图1A为根据本揭示内容的一实施例所绘示的一种立体影像显示系统的示意图，图1B为根据本揭示内容的一实施例绘示如图1A所示的立体影像显示系统中的各影像的示意图。
如图1A所示，立体影像显示系统100包含深度图产生单元120、平滑化处理单元140、深度图绘图单元160与立体影像渲染单元180。
深度图产生单元120用以根据彩色影像C1产生深度图D1。平滑化处理单元140用以对深度图D1进行平滑化，以产生深度图D2。
详细而言，平滑化处理单元140包含边缘检测器142、控制器144与均值滤波器146。边缘检测器142用以根据深度图D1产生边缘图E1。例如，边缘检测器142可利用Sober运算符、Prewitt运算符、Robert运算符、Laplacian运算符或Log运算符等算法来计算深度图D1中深度值(即灰阶值)的梯度变化，以产生边缘图E1。控制器144用以根据边缘图E1找出深度图D1中边缘区域的第一像素的深度值与第二像素的深度值，进而根据一零视差(zeroparallax setting)参考位准ZPS调整深度图D1中邻近于前述边缘区域的多个像素的多个深度值，而产生深度图D1’。均值滤波器146用以在控制器142调整完深度图D1后，对深度图D1’进行平均，以产生深度图D2。
深度图绘图(depth image based rendering)单元160用以根据深度图D2与彩色影像C1产生多个多视角影像M。立体影像渲染单元180用以根据多个多视角影像M驱动显示面板显示立体影像SI。
举例而言，以八位的彩色影像C1为例，深度图D2中的深度值的范围为0～255，而零视差参考位准ZPS可设置为深度值的范围的一半，即为128。当深度图D2中的深度值大于零视差参考位准ZPS时，代表彩色影像C1中对应物件的景深较浅；反之，深度值小于零视差参考位准ZPS时，代表彩色影像C1中对应物件的景深较深。因此，深度图绘图单元160可藉由下式(1)运算，根据深度图D2中的多个深度值以及零视差参考位准ZPS来计算多个深度感值3DSENSE，进而根据多个深度感值3DSENSE决定彩色影像C1在九个视角下的位移量，以产生多个多视角影像M。立体影像渲染单元180可驱动显示面板同时输出多个多视角影像M，以输出立体影像SI。
其中，ZPS为零视差参考位准，TX为深度设定值，可用来调整整个立体影像SI的凸度，且VIEW为视角数差。例如，以九个视角为例，在计算第四个视角对应的多个深度感值3DSENSE时，视角数差即为9-4＝5。上述仅为例示，不同数目的多视角影像亦为本揭示内容的应用范围。
于各个实施例中，本揭示内容所提出的立体影像显示系统100藉由对深度图D1的物件边缘区域进行平滑化，亦即将物件边缘区域的深度值往零视差参考位准ZPS进行调整，藉此让上述多视角影像M之间的差异得以减小，进而改善立体影像的交互干扰(crosstalk)的现象。
本案以下段落将提出数个实施例，可用以实现上述的立体影像显示系统100所述的功能与操作，但本案并不仅以下列的实施例为限。
图2为根据本揭示内容的一实施例所绘示的一种显示方法的流程图。显示方法200可适用于前述的立体影像显示系统100，但不以此为限。为了方便说明，请一并参照图1A、图1B与图2，立体影像显示系统100的操作将与显示方法200一并说明。
如图2所示，显示方法200包含步骤S220、步骤S240、步骤S260以及步骤S280。于步骤S220中，深度图产生单元120根据彩色影像C1产生深度图D1，且边缘检测器142根据深度图D1产生边缘图E1。
于步骤S240中，控制器144根据边缘图E1找出深度图D1中边缘区域的像素A1的深度值与像素A2的深度值，并根据零视差参考位准ZPS调整深度图D1中邻近于前述的边缘区域的N个像素的N个深度值，以产生深度图D1’，其中像素A1与像素A2排列于一水平方向上，N为正整数，且前述的N个像素包含像素A1与像素A2中的至少一者。
于步骤S260中，深度图绘图单元160根据深度图D2与彩色影像C1产生多个多视角影像M。于步骤S280中，立体影像渲染单元180根据多个多视角影像M驱动显示面板显示立体影像SI。
以下段落将提出多个实施例，以说明前述步骤S240中的相关操作。请参照图3A，图3A为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图。
详细而言，于一些实施例中，如图3A所示，深度图D1中的沿着同一水平方向上所排列的多个像素(至少包含像素A0～A3)的深度值依序为100、100、100、80、80、80、80、80、80、80、80、80、80。控制器144根据边缘图E1检测出边缘区域存在于深度值100(即像素A1的深度值)与深度值80(即像素A2的深度值)。控制器144进一步的将像素A1的深度值(即100)、像素A2的深度值(即80)与零视差参考位准ZPS(即128)进行比较。如图3A所示，于此例中，像素A1的深度值(即100)与像素A2的深度值(即80)皆小于像素零视差参考位准ZPS(即128)，且像素A1的深度值(即100)大于像素A2的深度值(即80)，此时控制器144可利用下式(2)的运算，根据像素A1的深度值与滤波范围FS，调整像素A2的深度值以及邻近于像素A2并排列于同一水平方向上的N-1个像素的N-1个深度值。
G’[j+n]＝G[j+n]-[(G[j+n]-G[j])/(FS)]*(FS-n)…(2)
其中，n为1～N的正整数，G’[j+n]为调整后的N个深度值，G[j]为像素A1的深度值，且G[j+1]为像素A2的深度值。例如，假设滤波范围FS设置为15，像素A2对应的调整后深度值G’[j+1]可藉由下式计算而得：
G'[j+1]＝G[j+1]-[(G[j+1]-G[j])/(FS)]×(FS-n)
＝80-[(80-100)/15]×(15-1)
≈98
藉由重复地执行上述操作，控制器144可将深度图D1中边缘区域邻近的多个像素对应的深度值进行平滑化。例如，如图3A，像素A2对应的调整后的深度值G’[j+1]为98(标示为像素A2’)，且像素A3对应的调整后的深度值G’[j+2]为96(标示为像素A3’)。如此一来，调整后的深度图D1中的边缘区域上的深度值变化可变得平缓。因此，控制器144可据此产生深度图D1’。等效而言，于此例中，控制器144是藉由将像素A2的深度值往零视差参考位准ZPS进行调整，以达成平滑化的操作。
请参照图3B，图3B为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图。同样地，于另一些实施例中，如图3B所示，当像素A1的深度值与像素A2的深度值皆大于零视差参考位准ZPS，且像素A2的深度值大于像素A1的深度值时，控制器144亦可利用上式(2)的运算，根据像素A1的深度值与滤波范围FS，调整像素A2的深度值以及邻近于像素A2并排列于同一水平方向上的N-1个像素的N-1个深度值。相关操作于前一实施例类似，故于此不再重复赘述。
请参照图3C，图3C为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图。于另一些实施例中，深度图D1中的沿着同一水平方向上所排列的多个像素(至少包含像素A0～A3)的深度值依序为80、80、80、80、80、80、80、80、80、80、100、100、100。控制器144根据边缘图E1检测出边缘区域存在于深度值80(即像素A1的深度值)与深度值100(即像素A2的深度值)。控制器144进一步的将像素A1的深度值(即80)、像素A2的深度值(即100)与零视差参考位准ZPS(即128)进行比较。如图3C所示，像素A1的深度值(80)与像素A2的深度值(即100)皆小于零视差参考位准ZPS(即128)，且像素A2的深度值(即100)大于像素A1的深度值(80)。于此例中，控制器144可藉由下式(3)运算，根据像素A2的深度值与滤波范围FS，调整像素A1的深度值以及邻近于像素A1并排列于同一水平方向上的N-1个像素的N-1个深度值。
G’[j-n]＝G[j-n]-[(G[j-n]-G[j])/(FS)]*(FS-n)…(3)
其中，G’[j-n]为调整后的N个深度值，像素A1的深度值为为G[j-1]，且像素A2的深度值为G[j]。例如，假设滤波范围FS设置为15，像素A1对应的调整后深度值G’[j+1]可藉由下式计算而得：
G'[j+1]＝G[j+1]-[(G[j+1]-G[j])/(FS)]×(FS-n)
＝80-[(80-100)/15]×(15-1)
≈98
同理，藉由重复地执行上述操作，控制器144可将深度图D1中边缘区域邻近的多个像素对应的深度值进行平滑化，并据此产生深度图D1’。等效而言，于此例中，控制器144是藉由将像素A1的深度值往零视差参考位准ZPS进行调整，以达成平滑化的操作。
请参照图3D，图3D为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图。同样地，于又一些实施例中，如图3D所示，当像素A1的深度值与像素A2的深度值皆小于像素零视差参考位准ZPS，且像素A1的深度值大于像素A2的深度值时，控制器144亦可利用上式(3)运算，根据像素A2的深度值与滤波范围FS，调整像素A1的深度值以及邻近于像素A1并排列于同一水平方向上的N-1个像素的N-1个深度值。相关操作于前一实施例类似，故于此不再重复赘述。
请参照图3E，图3E为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图。于此实施例中，控制器144根据边缘图E1检测出边缘区域存在于深度值108(即像素A1的深度值)与深度值148(即像素A2的深度值)之间。于此例中，零视差参考位准ZPS(即128)位于像素A1的深度值(即108)与像素A2的深度值(即148)之间。此时，控制器144可将像素A1的深度值直接设置为零视差参考位准ZPS(即128)，并可根据前述的式(2)以根据像素A1的深度值与滤波范围FS调整像素A2的深度值与N-1个深度值，其中前述的N-1个深度值对应于邻近于像素A2并排列于同一水平方向上的N-1个像素。进一步地，控制器144更可根据前述的式(3)以根据像素A1的深度值与滤波范围FS调整对应于邻近于像素A1并排列于同一水平方向上的M个像素的M个深度值，其中N等于M。
举例而言，像素A2对应的调整后深度值G’[j+1]与排列于像素A1旁的像素A0对应的调整后的深度值G’[j-1]可藉由下述计算而得：
G'[j+1]＝G[j+1]-[(G[j+1]-G[j])/(FS)]×(FS-n)
＝130-[(130-128)/15]×(15-1)
≈130
G'[j-1]＝G[j-1]-[(G[j-1]-G[j])/(FS)]×(FS-n)
＝108-[(108-128)/15]×(15-1)
≈126
同样地，藉由重复计算，控制器144可将深度图D1中边缘区域邻近的多个像素对应的深度值进行平滑化，并据此产生深度图D1’。等效而言，于此例中，控制器144是藉由同时将像素A1的深度值与像素A2的深度值往零视差参考位准ZPS进行调整，以达成平滑化的操作。
请参照图3F，图3F为根据本案的一实施例所绘示的对像素A1与像素A2两者所对应的深度值进行平滑化的示意图。于此例中，零视差参考位准ZPS(即128)位于像素A1的深度值(即168)与像素A2的深度值(即88)之间。同样地，控制器144可将像素A1的深度值设置为零视差参考位准ZPS，并分别藉由前述的式(2)与式(3)运算，以调整像素A2的深度值、N-1个深度值与M个深度值。
例如，像素A2对应的调整后深度值G’[j+1]与排列于像素A1旁的像素A0对应的调整后的深度值G’[j-1]可藉由下述计算而得：
G'[j+1]＝G[j+1]-[(G[j+1]-G[j])/(FS)]×(FS-n)
＝88-[(88-128)/15]×(15-1)
≈126
G'[j-1]＝G[j-1]-[(G[j-1]-G[j])/(FS)]×(FS-n)
＝168-[(168-128)/15]×(15-1)
≈132
据此，藉由重复计算，控制器144可将深度图D1中边缘区域邻近的多个像素对应的深度值进行平滑化，并据此产生深度图D1’。均值滤波器146可据此对深度图D1’进行平均而产生深度图D2，以完成后续操作。
请参照图4A，图4A为根据一些不具平滑化操作的相关技术所绘示立体影像的示意图。
于一些相关技术中，并未对物件的边缘区域进行平滑化的处理。因此，如图4A所示，立体影像400为利用多张多视角影像M渲染形成，在每一张多视角影像M中的物件401的边缘彼此之间会具有一个固定的间距d。也就是说，多张多视角影像M会以固定的间距d彼此隔开，并同时重叠而形成立体影像400。如此一来，立体影像400中的物件的边缘上所产生的交互干扰现象会非常明显，导致使用者的观看舒适度降低。
请参照图4B，图4B为根据本案的一实施例所绘示立体影像的示意图。相较于图4A，本案中的立体影像显示系统100藉由对深度图D1的物件边缘区域中的像素的深度值与零视差参考位准ZPS差异较大者进行调整，以达到平滑化操作，进而降低物件401的边缘区域的深度值。如此一来，在立体影像420中的每一张多视角影像M中的物件401的边缘彼此之间的间距将会不同，且越靠近立体影像420的物件401的边缘之间距会越小。例如，如图4B所示，间距d1小于间距d2，且间距d2小于间距d3。换句话说，藉由平滑化操作，立体影像420中的物件401的边缘上所产生的交互干扰现象可以明显地降低，进而改善了使用者的观看舒适度。
于各个实施例中，立体影像显示系统100可为安置在具有显示方法200的非瞬时计算机可读取媒体中的设计工具。换句话说，立体影像显示系统100中的各单元的具体实施方式可为软件、硬件与/或轫体。举例来说，若以执行速度及精确性为首要考虑，则立体影像显示系统100基本上可选用硬件与/或轫体为主，例如使用数字处理芯片等。或者，若以设计弹性为首要考虑，则立体影像显示系统100基本上可选用软件为主。
综上所述，本揭示内容所揭示的立体影像显示系统与及其显示方法可适用于立体影像的交互干扰的现象，进而改善使用者的观看舒适度。
虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟悉本领域的相关技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，但这些相应的更动与润饰都应属于本发明所附的权利要求的保护范围。
Claims (20)
1.一种显示方法，其特征在于，包含：
根据一彩色影像产生一第一深度图与一边缘图；
根据该边缘图找出该第一深度图中的一边缘区域的一第一像素的一第一深度值以及一第二像素的一第二深度值，其中该第一像素与该第二像素相邻排列于一水平方向上；
根据一零视差参考位准调整该第一深度图中边缘区域邻近的N个像素对应的N个深度值进行平滑化处理，将该N个像素的深度值往零视差参考位准进行调整，以产生调整后的深度图中的边缘区域上的深度值变化变得平缓的一第二深度图，其中N为一正整数，且该N个像素包含该第一像素与该第二像素至少一者；以及
根据该第二深度图以及该彩色影像而产生多个多视角影像，以显示一立体影像。
2.如权利要求1所述的显示方法，其特征在于，产生该第二深度图的步骤包含：
将该第一深度值、该第二深度值与该零视差参考位准进行比较；以及
当该第一深度值与该第二深度值皆小于该零视差参考位准且该第一深度值大于该第二深度值时，或当该第一深度值与该第二深度值皆大于该零视差参考位准且该第二深度值大于该第一深度值时，根据该第一深度值与一滤波范围调整该第二深度值以及该N个深度值中的N-1者，以产生该第二深度图，
其中该N个深度值中的N-1者对应于邻近于该第二像素并排列于该水平方向上的N-1个像素。
3.如权利要求2所述的显示方法，其特征在于，调整后的该N个深度值、该第一深度值、该第二深度值与该滤波范围满足下列特定关系：
G’[j+n]＝G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n)，
其中n为1～N的正整数，G’[j+n]为调整后的该N个深度值，该第一深度值为G[j]，该第二深度值为G[j+1]，且FS为该滤波范围。
4.如权利要求2所述的显示方法，其特征在于，产生该第二深度图的步骤更包含：
当该第一深度值与该第二深度值皆小于该零视差参考位准且该第二深度值大于该第一深度值时，或当该第一深度值与该第二深度值皆大于该零视差参考位准且该第一深度值大于该第二深度值时，根据该第二深度值与该滤波范围调整该第一深度值以及该N个深度值中的N-1者，以产生该第二深度图，
其中该N个深度值中的N-1者对应于邻近于该第一像素并排列于该水平方向上的N-1个像素。
5.如权利要求4所述的显示方法，其特征在于，调整后的该N个深度值、该第一深度值、该第二深度值与该滤波范围满足下列特定关系：
G’[j-n]＝G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n)，
其中n为1～N的正整数，G’[j-n]为调整后的该N个深度值，该第一深度值为G[j-1]，该第二深度值为G[j]，且FS为该滤波范围。
6.如权利要求2所述的显示方法，其特征在于，产生该第二深度图的步骤更包含：
当该第一深度值与该第二深度值中的一者小于该零视差参考位准，且该第一深度值与该第二深度值中的另一者大于该零视差参考位准时，将该第一深度值设置为该零视差参考位准；
根据该第一深度值与该滤波范围调整该第二深度值与该N个深度值中的N-1者，其中该些N个深度值中的N-1者对应于邻近于该第二像素并排列于该水平方向上的N-1个像素；以及
根据该第一深度值与该滤波范围调整M个深度值，以产生该第二深度图，其中该M个深度值对应于邻近于该第一像素并排列于该水平方向上的M个像素，且M等于N。
7.如权利要求6所述的显示方法，其特征在于，调整后的该N个深度值、该第一深度值、该第二深度值与该滤波范围满足下列特定关系：
G’[j+n]＝G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n)，
G’[j-n]＝G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n)，
其中n为1～N的正整数，G’[j+n]为调整后的该N个深度值，G’[j-n]为调整后的该些M个深度值，该第一深度值为G[j]，该第二深度值为G[j+1]，且FS为该滤波范围。
8.如权利要求1所述的显示方法，其特征在于，显示该立体影像的步骤包含：
根据该第二深度图以及该零视差参考位准计算多个深度感值；以及
根据该彩色影像与该些深度感值产生该些多视角影像，以显示该立体影像。
9.如权利要求1所述的显示方法，其特征在于，该些多视角影像中的任一者具有一物件，其中该些多视角影像中的一第一多视角影像的该物件的边缘与该些多视角影像中的一第二多视角影像的该物件的边缘之间具有一第一间距，且该第一多视角影像的该物件的边缘与该些多视角影像中的一第三多视角影像的该物件的边缘之间具有一第二间距，其中该第一间距与该第二间距不相同。
10.如权利要求1所述的显示方法，其特征在于，产生该第二深度图的步骤更包含：
在调整该N个深度值后，对该第一深度图进行平均，以产生该第二深度图。
11.一种立体影像显示系统，其特征在于，包含：
一深度图产生单元，用以根据一彩色影像产生一第一深度图；
一平滑化处理单元，包含：
一边缘检测器，用以根据该第一深度图产生一边缘图；以及
一控制器，用以根据该边缘图找出该第一深度图中的一边缘区域的一第一像素的一第一深度值以及一第二像素的一第二深度值，并根据一零视差参考位准调整该第一深度图中边缘区域邻近的N个像素对应的N个深度值进行平滑化处理，将该N个像素的深度值往零视差参考位准进行调整，以产生调整后的深度图中的边缘区域上的深度值变化变得平缓的一第二深度图，
其中该第一像素与该第二像素排列于一水平方向上，N为一正整数，且该N个像素包含该第一像素与该第二像素中的至少一者；
一深度图绘图单元，用以根据该第二深度图与该彩色影像产生多个多视角影像；以及
一立体影像渲染单元，用以根据该些多视角影像驱动一显示面板显示一立体影像。
12.如权利要求11所述的立体影像显示系统，其特征在于，该控制器用以将该第一深度值、该第二深度值与该零视差参考位准进行比较，并在当该第一深度值与该第二深度值皆小于该零视差参考位准时且该第一深度值大于该第二深度值时，或当该第一深度值与该第二深度值皆大于该零视差参考位准且该第二深度值大于该第一深度值时，该控制器用以根据该第一深度值与一滤波范围调整该第二深度值以及该N个深度值中的N-1者，以产生该第二深度图，其中该N个深度值中的N-1者对应于邻近于该第二像素并排列于该水平方向上的N-1个像素。
13.如权利要求12所述的立体影像显示系统，其特征在于，调整后的该N个深度值、该第一深度值、该第二深度值与该滤波范围满足下列特定关系：
G’[j+n]＝G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n)，
其中n为1～N的正整数，G’[j+n]为调整后的该些N个深度值，该第一深度值为G[j]，该第二深度值为G[j+1]，且FS为该滤波范围。
14.如权利要求12所述的立体影像显示系统，其特征在于，在当该第一深度值与该第二深度值皆小于该零视差参考位准且该第二深度值大于该第一深度值时，或当该第一深度值与该第二深度值皆大于该零视差参考位准且该第一深度值大于该第二深度值时，该控制器更根据该第二深度值与该滤波范围调整该第一深度值以及该N个深度值中的N-1者，以产生该第二深度图，其中该N个深度值中的N-1者对应于邻近于该第一像素并排列于该水平方向上的N-1个像素。
15.如权利要求14所述的立体影像显示系统，其特征在于，当该第一深度值与该第二深度值皆小于该零视差参考位准时且该第二深度值大于该第一深度值时，或当该第一深度值与该第二深度值皆大于该零视差参考位准且该第一深度值大于该第二深度值时，调整后的该N个深度值、该第一深度值、该第二深度值与该滤波范围满足下列特定关系：
G’[j-n]＝G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n)，
其中n为1～N的正整数，G’[j-n]为调整后的该N个深度值，该第一深度值为G[j-1]，该第二深度值为G[j]，且FS为该滤波范围。
16.如权利要求12所述的立体影像显示系统，其特征在于，当该第一深度值与该第二深度值中的一者小于该零视差参考位准，且该第一深度值与该第二深度值中的另一者大于该零视差参考位准时，该控制器更用以将该第一深度值设置为该零视差参考位准，并根据该第一深度值与该滤波范围调整该第二深度值、该些N个深度值中的N-1者与该第一深度图中的M个深度值，其中该些N个深度值中的N-1者对应于邻近于该第二像素并排列于该水平方向上的N-1个像素，该M个深度值对应于邻近于该第一像素并排列于该水平方向上的M个像素，且M等于N。
17.如权利要求16所述的立体影像显示系统，其特征在于，调整后的该N个深度值、该第一深度值、该第二深度值与该滤波范围满足下列特定关系：
G’[j+n]＝G[j+n]-[(G[j+n]-G[j])/(FS)]×(FS-n)，
G’[j-n]＝G[j-n]-[(G[j-n]-G[j])/(FS)]×(FS-n)，
其中n为1～N的正整数，G’[j+n]为调整后的该N个深度值，G’[j-n]为调整后的该M个深度值，该第一深度值为G[j]，该第二深度值为G[j+1]，且FS为该滤波范围。
18.如权利要求11所述的立体影像显示系统，其特征在于，该深度图绘图单元用以根据该第二深度图与该零视差参考位准计算多个深度感值，并根据该彩色影像与该些深度感值产生该些多视角影像。
19.如权利要求11所述的立体影像显示系统，其特征在于，该些多视角影像中的任一者具有一物件，其中该些多视角影像中的一第一多视角影像的该物件的边缘与该些多视角影像中的一第二多视角影像的该物件的边缘之间具有一第一间距，且该第一多视角影像的该物件的边缘与该些多视角影像中的一第三多视角影像的该物件的边缘之间具有一第二间距，其中该第一间距与该第二间距不相同。
20.如权利要求11所述的立体影像显示系统，其特征在于，该平滑化处理单元更包含：
一均值滤波器，用以在该控制器调整完该第一深度图中的该N个深度值后，对该第一深度图进行平均，以产生该第二深度图。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103146335 | 2014-12-30 | ||
| TW103146335A TWI558167B (zh) | 2014-12-30 | 2014-12-30 | 立體影像顯示系統與顯示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104581123A CN104581123A (zh) | 2015-04-29 |
| CN104581123B true CN104581123B (zh) | 2017-01-18 |
Family
ID=53096197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510058298.6A Active CN104581123B (zh) | 2014-12-30 | 2015-02-04 | 立体影像显示系统与显示方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9934556B2 (zh) |
| CN (1) | CN104581123B (zh) |
| TW (1) | TWI558167B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104835164B (zh) * | 2015-05-11 | 2017-07-28 | 京东方科技集团股份有限公司 | 一种双目摄像头深度图像的处理方法及装置 |
| US9569830B2 (en) * | 2015-07-03 | 2017-02-14 | Mediatek Inc. | Image processing method and electronic apparatus with image processing mechanism |
| US11006095B2 (en) * | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
| TWI678681B (zh) * | 2018-05-15 | 2019-12-01 | 緯創資通股份有限公司 | 產生深度圖的方法及其影像處理裝置與系統 |
| US20230410261A1 (en) * | 2020-10-27 | 2023-12-21 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101960860A (zh) * | 2007-11-09 | 2011-01-26 | 汤姆森许可贸易公司 | 使用基于区域的滤波的深度图提取系统和方法 |
| CN102724529A (zh) * | 2012-05-28 | 2012-10-10 | 清华大学 | 虚拟视点视频序列的生成方法及生成装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001060076A1 (en) * | 1998-11-04 | 2001-08-16 | Forte Visio Medica Ab | Design, function, and utilisation of an equipment for capturing of three-dimensional images |
| GB0322840D0 (en) * | 2003-09-30 | 2003-10-29 | Lange Eric B | Stereoscopic imaging |
| US7643025B2 (en) * | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
| GB0329012D0 (en) * | 2003-12-15 | 2004-01-14 | Univ Cambridge Tech | Hologram viewing device |
| US8384763B2 (en) | 2005-07-26 | 2013-02-26 | Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
| KR101590763B1 (ko) | 2009-06-10 | 2016-02-02 | 삼성전자주식회사 | Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법 |
| WO2012174401A2 (en) * | 2011-06-16 | 2012-12-20 | Lenny Lipton | Stereoscopic camera with polarizing apertures |
| KR20120139410A (ko) * | 2011-06-17 | 2012-12-27 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 그 구동 방법 |
| TWI496452B (zh) | 2011-07-29 | 2015-08-11 | Wistron Corp | 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法 |
| JP5983935B2 (ja) * | 2011-11-30 | 2016-09-06 | パナソニックＩｐマネジメント株式会社 | 新視点画像生成装置および新視点画像生成方法 |
| TWI630815B (zh) | 2012-06-14 | 2018-07-21 | 杜比實驗室特許公司 | 用於立體及自動立體顯示器之深度圖傳遞格式 |
| US9344619B2 (en) * | 2013-08-30 | 2016-05-17 | Qualcomm Incorporated | Method and apparatus for generating an all-in-focus image |
-
2014
- 2014-12-30 TW TW103146335A patent/TWI558167B/zh active
-
2015
- 2015-02-04 CN CN201510058298.6A patent/CN104581123B/zh active Active
- 2015-05-14 US US14/711,893 patent/US9934556B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101960860A (zh) * | 2007-11-09 | 2011-01-26 | 汤姆森许可贸易公司 | 使用基于区域的滤波的深度图提取系统和方法 |
| CN102724529A (zh) * | 2012-05-28 | 2012-10-10 | 清华大学 | 虚拟视点视频序列的生成方法及生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI558167B (zh) | 2016-11-11 |
| US9934556B2 (en) | 2018-04-03 |
| TW201625001A (zh) | 2016-07-01 |
| US20160191908A1 (en) | 2016-06-30 |
| CN104581123A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104581123B (zh) | 立体影像显示系统与显示方法 | |
| CN106355570B (zh) | 一种结合深度特征的双目立体视觉匹配方法 | |
| CN102436671B (zh) | 一种基于深度值非线性变换的虚拟视点绘制方法 | |
| CN105791803B (zh) | 一种将二维图像转化为多视点图像的显示方法及系统 | |
| CN107578430B (zh) | 一种基于自适应权值和局部熵的立体匹配方法 | |
| EP3350989B1 (en) | 3d display apparatus and control method thereof | |
| CN103235415B (zh) | 基于光栅的多视点自由立体显示器 | |
| CN103686125A (zh) | 深度推测装置、方法及程序、图像处理装置、方法及程序 | |
| CN102843517B (zh) | 一种图像处理方法、装置及显示设备 | |
| CN108596975A (zh) | 一种针对弱纹理区域的立体匹配算法 | |
| CN102665086A (zh) | 利用基于区域的局部立体匹配获取视差的方法 | |
| CN107147894B (zh) | 一种自由立体显示中的虚拟视点图像生成方法 | |
| CN102158725B (zh) | 一种生成立体图像的方法和系统 | |
| CN102098528A (zh) | 一种平面图像的立体转换方法及装置 | |
| CN108510529A (zh) | 一种基于自适应权值的图割立体匹配方法 | |
| CN103493482B (zh) | 一种提取及优化图像深度图的方法与装置 | |
| CN102724529A (zh) | 虚拟视点视频序列的生成方法及生成装置 | |
| TWI608447B (zh) | 立體影像深度圖產生裝置及方法 | |
| CN103761766A (zh) | 基于色调映射和图像平滑的三维物体模型纹理映射算法 | |
| CN115482323A (zh) | 一种基于神经辐射场的立体视频视差控制与编辑方法 | |
| CN102026012B (zh) | 平面视频立体化转换深度图生成方法和装置 | |
| CN103024419A (zh) | 一种视频图像处理方法及系统 | |
| CN103297790A (zh) | 图像处理装置、图像处理方法及程序 | |
| KR20170025214A (ko) | 다시점 깊이맵 생성 방법 | |
| US9105130B2 (en) | View synthesis method capable of depth mismatching checking and depth error compensation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |