CN102883169A - 被动式立体影像系统及其影像处理方法 - Google Patents

Abstract

本发明提供的被动式立体影像系统包含一被动式立体影像显示装置、一缩放模块及一亮度调整模块。该被动式立体影像显示装置包含N列显示单位。该缩放模块用以接收包含N列原始数据的一原始影像并合并该N列原始数据，以产生包含(N/2)列缩放后数据的一缩放后影像。该原始影像为一左眼影像或一右眼影像。该亮度调整模块则用以调整该(N/2)列缩放后数据，以提高该缩放后影像的一整体亮度。

Description

被动式立体影像系统及其影像处理方法

技术领域

本发明与影像显示系统相关，并且尤其与提升立体影像清晰度的技术相关。

背景技术

随着各种相关软硬件技术的进步，商用和家用的立体影像显示设备皆渐趋成熟，立体影像也成为多媒体领域中受到高度瞩目的发展趋势。现有的立体影像显示技术大致包含主动式和被动式两种，分述如下。

主动式立体影像显示技术于屏幕上先后交替播放左眼和右眼的影像。在播放左眼影像时，观看者所佩戴的专用眼镜会遮蔽其右眼。在播放右眼影像的时候，立体眼镜则会遮蔽观看者的左眼。观看者的视觉系统会自动将双眼在先后时间分别接收到的影像组合起来，成为立体影像。由于视觉暂留效应的关系，只要左眼影像和右眼影像更替的频率够快，观看者并不会察觉眼前的景象在某些时间被立体眼镜遮蔽。主动式显示技术的缺点在于，两端须设有无线沟通机制，才能令显示设备上的画面切换时立体眼镜亦同步切换。因此，该立体眼镜的价格较高，也较为笨重。更有甚者，一般人眼可容许的单一画面更新频率为60赫兹以上。倘若人眼目视以低于60赫兹频率播放的影像资讯，视觉效果上会产生闪动(flicker)，并进一步造成人眼的不舒适感。因此，由于主动式立体影像显示技术于屏幕上先后交替播放左眼和右眼的影像，利用主动式显示技术的显示系统需支援双倍于一般显示系统的显示频率，始能于人眼视觉效果上达成相当的显示频率。换言之，主动式显示技术只适用于能将画面更新频率提高为120赫兹的显示系统，因此未被广泛接受。

被动式立体影像显示则是在同一画面中同时呈现左眼影像和右眼影像。如图1所示，画面中的奇数列像素R1、R2、R3…对应于右眼影像，而偶数列像素L1、L2、L3…对应于左眼影像。以显示器的纵向解析度为1080像素的情况为例，该画面包含两个影像：540列的右眼影像数据和540列的左眼影像数据，两者水平交错。

被动式立体影像显示器外部贴有偏光膜。举例而言，对应于奇数列像素R1、R2、R3…的偏光角度可被设计为45度，对应于偶数列像素L1、L2、L3…的偏光角度可被设计为135度。相对应地，观看者所佩戴的眼镜的右眼镜片仅容偏光角度为45度的光线通过，左眼镜片则是仅容偏光角度为135度的光线通过，左右眼分别接收不同影像。同样是利用人类的视觉特性，观看者会将其左眼和右眼在同一时间分别接收到的影像组合起来，成为立体影像。

偏光膜的成本不高，整体而言，被动式立体影像显示系统的价格较低，其专用眼镜也较主动式系统所使用者简单轻巧。因此，目前被动式立体影像显示系统在市场上的接受度较高。

如上所述，图1所示的画面由左右眼影像交错排列而成，因此，供显示的左眼影像数据和右眼影像数据的纵向解析度各仅有540像素。然而，实际上一开始输入的原始左眼影像数据和原始右眼影像数据原本的纵向解析度同样皆为1080像素。所以，原始左眼影像与原始右眼影像各自经由运算合并后而产生分别具有540像素纵向解析度的右眼影像数据与左眼影像数据。最普遍的运算合并方式是将原始右(左)眼影像中相邻的两列像素取平均值以产生一个供显示的一列像素。举例而言，由原始右眼影像中最上方的第一列和第二列像素取平均值，产生图1画面中的第一列像素R1。同理，将原始右眼影像中最上方的第三列和第四列像素取平均值可产生图1画面中的第三列像素R2。这种做法的缺点在于，即便该显示器的纵向解析度为1080像素，观看者左右眼各自所见的画面的纵向解析度却仅有540像素，相当于原始影像的资讯量被减半。因此，观看者可能会感觉影像的亮度不够、细节不足、清晰度不佳。

为了解决被动式立体影像显示器细节不足的问题，另有将画面更新频率加倍的先前技术，比方说，由60赫兹提高为120赫兹。换言之，除了以空间分离的概念区分左右眼影像，此先前技术更进一步采用时间分离的概念增加画面解析度。于此先前技术中，原始左眼影像被分为两组，原始右眼影像也被分为两组。于1/120秒时，屏幕上呈现的画面如图2(A)，交错包含原始右眼影像的奇数列数据(RO1、RO3、RO5…)及原始左眼影像中的奇数列数据(LO1、LO3、LO5…)。接着在2/120秒时，屏幕上呈现的画面如图2(B)，交错包含原始右眼影像的偶数列数据(RO2、RO4、RO6…)及原始左眼影像中的偶数列数据(LO2、LO4、LO6…)。

如图2(A)和图2(B)所示，原始左眼影像和原始右眼影像中的所有数据都会被呈现在画面上。同在1/60秒内，这种情况下进入观看者的视觉系统的影像资讯会比图1所示者多。因此，根据上述方式将画面更新频率加倍之后，观看者确实会感觉影像的细节增加。然而，由于使用时间分离的概念，即便显示系统1画面更新频率实质上已提高为120赫兹，对于人眼而言，其所视之单一画面更新频率仍相当于60赫兹。据此，图2(A)和图2(B)所示的先前技术变相地只适用于能将画面更新频率提高为120赫兹的显示系统，因此未被广泛接受。

发明内容

为解决上述问题，本发明提出一种被动式立体影像系统及其影像处理方法。利用被动式立体影像系统本身的特性，根据本发明的系统及方法藉由提高影像的亮度，达到令观看者感觉画面细节增加的效果。

本发明提供一种被动式立体影像系统，其中包含一被动式立体影像显示模块、一缩放模块及一亮度调整模块。被动式立体影像系统接收包含N列原始数据的一原始影像(一左眼影像或一右眼影像)。该缩放模块用以依据N列原始数据产生包含(N/2)列缩放后数据的一缩放后影像。亮度调整模块则用来调整(N/2)列缩放后数据，以提高缩放后影像的整体亮度。经调整后的缩放后影像包含(N/2)列处理后数据，而此(N/2)列处理后数据将由设有偏光膜的该被动式立体影像显示模块显示。

从另一观点来看，本发明也提供一种影像处理装置，用以与设有偏光膜的一被动式立体影像显示装置协同运作。此影像处理装置接收包含N列原始数据的一原始影像(一左眼影像或一右眼影像)，且包含一缩放模块和一亮度调整模块。缩放模块会依据N列原始数据产生包含(N/2)列缩放后数据的一缩放后影像。亮度调整模块可以调整(N/2)列缩放后数据，以提高缩放后影像的整体亮度。经调整后的缩放后影像包含(N/2)列处理后数据，而此(N/2)列处理后数据将由该被动式立体影像显示装置显示。

从另一观点来看，本发明还提供一种影像处理方法，用以配合设有偏光膜的一被动式立体影像显示装置。本发明的影像处理方法首先执行接收包含N列原始数据的一原始影像的步骤，其中原始影像为一左眼影像或一右眼影像。接着，此N列原始数据会被缩放，以产生包含(N/2)列缩放后数据的一缩放后影像。此影像处理方法随后执行一调整步骤，来调整(N/2)列缩放后数据，以提高缩放后影像的整体亮度。

相较于典型的被动式立体影像系统，根据本发明的系统能提供具有更佳视觉清晰度的画面。此外，根据本发明的方法可实施于画面更新频率无法调整的硬件，因此较将画面更新频率加倍的先前技术更具运用弹性。

关于本发明的优点与精神可以藉由以下发明详述及附图得到进一步的了解。

附图说明

图1为被动式立体影像画面范例。

图2(A)及图2(B)为采用画面更新频率加倍技术的被动式立体影像画面范例。

图3为根据本发明的一具体实施例中的被动式立体影像系统方块图。

图4绘示了根据本发明的亮度调整模块的详细实施范例。

图5为根据本发明的一具体实施例中的影像处理方法的流程图。

主要元件符号说明

30：被动式立体影像系统    32：被动式立体影像显示模块

34：缩放模块              36：亮度调整模块

36A：较大值选取单元       36B、36C：乘法器

36D：加法器               38、39：暂存器

S51-S53：流程步骤

具体实施方式

根据本发明的一具体实施例为一被动式立体影像系统，举例而言，该系统可为一家用电视系统或一商用电影放映系统。如图3的方块图所示，被动式立体影像系统30包含一被动式立体影像显示模块32、一缩放模块34、一亮度调整模块36及一暂存器38。为明确呈现本发明的技术重点，被动式立体影像系统30中其他如喇叭等硬件装置未绘示于图中。

被动式立体影像显示模块32包含N列显示单位，N为一正偶数。于此实施例中，N等于被动式立体影像显示模块32的纵向解析度。易言之，该N列显示单位构成被动式立体影像显示模块32的整个显示画面，但不以此为限。以被动式立体影像显示模块32符合解析度为1920*1080的全高画质(fullhigh-definition，FHD)规格的情况为例，N即等于1080。在其他实施例中，该N列显示单位可以只对应于被动式立体影像显示模块32的显示画面的局部。

在被动式立体影像系统30接收包含N列原始数据的一原始影像后，缩放模块34依据该N列原始数据进行合并运算，以产生包含(N/2)列缩放后(scaled)数据的一缩放后影像，此处为一缩小(scale down)影像。以该原始影像为包含1080列原始数据的情况为例，缩放模块34将该1080列原始数据合并为540列的数据。该原始影像可为一原始左眼影像或一原始右眼影像。举例而言，缩放模块34可先处理一原始左眼影像，接着再处理对应于同一个画面的原始右眼影像，如此依序交替进行。

在一实施例中，缩放模块34可将原始影像中最上方的第一列和第二列像素取平均值，产生第一列缩放后数据，将原始左眼影像中最上方的第三列和第四列像素取平均值，产生第二列缩放后数据，依此类推。也就是说，缩放模块34所采用的合并运算方式可为将该N列原始数据中的一第(2i-1)列原始数据与一第2i列原始数据合并，以产生该(N/2)列缩放后数据中的一第i列缩放后数据，其中i为范围在1到(N/2)间的一整数指标。或者，在其他实施例中，缩放模块34也可以根据更多列彼此邻近的原始数据产生一列缩放后数据，不以两列原始数据为限。

以图1所示的画面为例，若上述原始影像为原始左眼影像，则缩放模块34所产生的多列缩放后数据可为左眼影像数据列L1、L2、L3…；相对地，若上述原始影像为原始右眼影像，则缩放模块34所产生的多列缩放后数据可为右眼影像数据列R1、R2、R3…。由此可知，分别由缩放模块34产生的(N/2)列右眼缩放后数据与(N/2)列左眼缩放后数据，后续可再被结合为一张包含N列数据的影像。

亮度调整模块36接着调整该(N/2)列缩放后数据，以提高该缩放后影像的整体亮度。以图1所示的影像为例，亮度调整模块36藉由调整左眼影像数据列L1、L2、L3…，以提高对应于左眼的缩放后影像的亮度，并藉由调整右眼影像数据列R1、R2、R3…，以提高对应于右眼的缩放后影像的亮度。在一实施例中，假设亮度调整模块36先自缩放模块34接收并处理对应于左眼影像的(N/2)列缩放后数据，经亮度调整模块36调整完成的(N/2)列左眼处理后数据可以先被储存在暂存器38中。待亮度调整模块36亦产生调整完成的(N/2)列右眼处理后数据后，暂存器38再将这总共N列的处理后数据提供给被动式立体影像显示模块32显示。

如先前所述，被动式立体影像显示模块32外部贴有偏光膜，且观看者所佩戴的眼镜的右眼镜片仅容偏光角度为一特定角度的光线通过，左眼镜片则是仅容偏光角度为另一特定角度的光线通过，左右眼分别接收不同影像。也就是说，对观看者的右眼而言，画面中对应于左眼影像的横向线条为黑线；对观看者的左眼而言，画面中对应于右眼影像的横向线条为黑线。由于此特性的存在，亮度调整模块36提高影像的整体亮度之后，可令观看者感觉画面细节增加。本发明的精神即基于此一特性适当调整被动式立体影像并提高其整体亮度，以达到类似于锐利化(sharpening)的效果。以图1所示的画面为例，由于观看者的右眼所见的左眼影像数据列L1、L2皆为黑线，提高右眼影像数据列R2的亮度即等同于提高数据列R2与其上下相邻两列的对比度，进而达到类似于将影像锐利化的效果。

于一实施例中，亮度调整模块36藉由调整这些合并后数据于YUV色彩空间中的明亮度(luminance)Y以提高该缩放后影像的整体亮度。这种做法的好处在于，单独调整明亮度Y不会对该影像原本的色度造成影响。但于其他实施例中，亮度调整模块36亦可藉由调整这些缩放后数据的RGB三色灰阶值以提高该缩放后影像的亮度，不以此为限。

以调整明亮度Y的做法为例，缩放模块34所产生的一缩放后数据可能是由一第一原始数据及一第二原始数据经合并运算后产生。举例而言，在先前的例子当中，第一列缩放后数据是由第一列原始数据与第二列原始数据经合并运算后产生。假设该第一原始数据具有第一亮度Y1，该第二原始数据具有第二亮度Y2，则亮度调整模块36可被设计为根据下列关系式决定该处理后数据所具有之处理后亮度Yc：

$\mathrm{Yc}=\left(\frac{Y1+Y2}{2}\right)\×w1+\max (Y1,Y2)\×w2,$

其中w1和w2分别为一加权系数，且w1和w2之和为1。

由以上关系式可看出，若加权系数w2愈大，处理后亮度Yc愈高。实务上，这些加权系数w1和w2可为固定的预设值，亦可被设计为与第一原始数据及第二原始数据各自的周边影像相关。举例而言，若第一原始数据及第二原始数据附近的影像区域变化较剧烈，则加权系数w2可被提高，以配合增加该区域的影像对比度。于其他实施例中，亮度调整模块36亦可被设计为根据其他原则提高或者降低该缩小影像之加权系数，不以上述者为限。

图4绘示了缩放模块34与亮度调整模块36的一详细实施范例。于此范例中，亮度调整模块36包含较大值选取单元36A、乘法器36B、乘法器36C及加法器36D。如图4所示，暂存器39将第一原始数据(Y1，U1，V1)及第二原始数据(Y2，U2，V2)提供给缩放模块34，并另将第一原始数据及第二原始数据各自的亮度Y1、Y2提供给较大值选取单元36A。缩放模块34的输出信号除了缩放后数据的色度U、V之外，还有传送至乘法器36B的(Y1+Y2)/2。较大值选取单元36A会由Y1、Y2中选出较大者，传送至乘法器36C。两个乘法器分别提供乘以加权系数w1、w2的功能。加法器36D则是将加权后结果相加，以产生处理后数据的处理后亮度Y。

虽然上述亮度调整机制能达到类似于将影像锐利化以增强对比的效果，但其实施方式与一般的影像锐化处理程序不尽相同。举例而言，一般的锐化程序是在将影像尺寸缩小后才执行，因此在影像缩小电路和锐化电路之间通常还须额外设置一个暂存器做为缓冲数据之用。在图4的范例中，缩放模块34与亮度调整模块36则可共用同一个暂存器39。

根据本发明的另一具体实施例为一影像处理装置，用以与设有偏光膜的被动式立体影像显示装置协同运作。该影像处理装置包含如图3所示的缩放模块34和亮度调整模块36。易言之，缩放模块34和亮度调整模块36可独立存在，用以配合各种需要提高影像清晰度的被动式立体影像显示装置。

根据本发明的另一具体实施例为一影像处理方法，用以配合设有偏光膜的被动式立体影像显示装置。图5为该影像处理方法的流程图。该方法首先执行步骤S51，接收包含N列原始数据的一原始影像的步骤，其中该原始影像为一左眼影像或一右眼影像。接着，在步骤S52中，该N列原始数据被合并，以产生包含(N/2)列缩放后数据的一缩放后影像。该方法随后执行步骤S53，调整该(N/2)列缩放后数据，以提高该缩放后影像的整体亮度，其中该缩放后影像包含(N/2)列处理后数据。

步骤S42中合并数据及步骤S43中提高整体亮度的详细实施方式，皆可被设计为如先前其他实施例的相关说明中所述，因此不再赘述。

如上所述，利用被动式立体影像系统本身的特性，根据本发明的系统及方法藉由提高影像的整体亮度，达到令观看者感觉画面细节增加的效果。相较于典型的被动式立体影像系统，根据本发明的系统能提供具有更佳视觉清晰度的画面。此外，根据本发明的方法可实施于画面更新频率无法调整的硬体，因此较将画面更新频率加倍的先前技术更具运用弹性。

藉由以上较佳具体实施例的详述，希望能更加清楚描述本发明的特征与精神，而并非以上述所揭示的较佳具体实施例来对本发明的范畴加以限制。相反地，其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的之专利范围的范畴内。

Claims (15)

1.一种被动式立体影像系统，适于接收包含N列原始数据的一原始影像，其为一左眼影像或一右眼影像，且N为一正偶数，而该被动式立体影像系统包含：

一被动式立体影像显示模块，设有一偏光膜；

一缩放模块，用以依据该N列原始数据产生一缩放后影像，包含(N/2)列缩放后数据；以及

一亮度调整模块，用以调整该(N/2)列缩放后数据，以提高该缩放后影像的一整体亮度，经调整后的该缩放后影像包含(N/2)列处理后数据，其中该(N/2)列处理后数据由该被动式立体影像显示模块显示。

2.如权利要求1所述的被动式立体影像系统，其特征在于，该缩放模块将该N列原始数据中的一第(2i-1)列原始数据与一第2i列原始数据合并，以产生该(N/2)列缩放后数据中的一第i列缩放后数据，其中i为范围在1到(N/2)间的一整数。

3.如权利要求1所述的被动式立体影像系统，其特征在于，该亮度调整模块藉由调整这些缩放后数据于YUV色彩空间中的一明亮度以提高该缩放后影像的该整体亮度。

4.如权利要求1所述的被动式立体影像系统，其特征在于，一缩放后数据由该缩放模块根据一第一原始数据及一第二原始数据所产生，该第一原始数据具有一第一亮度Y1，该第二原始数据具有一第二亮度Y2，对应于该缩放后数据的该处理后数据具有一处理后亮度Yc：

$\mathrm{Yc}=\left(\frac{Y1+Y2}{2}\right)\×w1+\max (Y1,Y2)\×w2,$

其中w1和w2分别为一加权系数，且w1和w2之和为1。

5.如权利要求4所述的被动式立体影像系统，其特征在于，这些加权系数w1和w2与该第一原始数据及该第二原始数据所分别对应的一周边影像相关。

6.一种影像处理装置，用以与设有一偏光膜的一被动式立体影像显示装置协同运作，该影像处理装置接收包含N列原始数据的一原始影像，该原始影像为一左眼影像或一右眼影像，N为一正偶数，该影像处理装置包含：

一缩放模块，用以依据该N列原始数据产生一缩放后影像，包含N/2列缩放后数据；以及

一亮度调整模块，用以调整该(N/2)列缩放后数据，提高该缩放后影像的一整体亮度，经调整后的该缩放后影像包含(N/2)列处理后数据，其中该(N/2)列处理后数据由该被动式立体影像显示装置显示。

7.如权利要求6所述的影像处理装置，其特征在于，该缩放模块将该N列原始数据中的一第(2i-1)列原始数据与一第2i列原始数据合并，以产生该(N/2)列缩放后数据中的一第i列缩放后数据，其中i为范围在1到(N/2)间的一整数。

8.如权利要求6所述的影像处理装置，其特征在于，该亮度调整模块藉由调整这些缩放后数据于YUV色彩空间中的一明亮度以提高该缩放后影像的该整体亮度。

9.如权利要求6所述的之影像处理装置，其特征在于，一缩放后数据由该缩放模块根据一第一原始数据及一第二原始数据所产生，该第一原始数据具有一第一亮度Y1，该第二原始数据具有一第二亮度Y2，对应于该缩放后数据的该处理后数据具有一处理后亮度Yc：

$\mathrm{Yc}=\left(\frac{Y1+Y2}{2}\right)\×w1+\max (Y1,Y2)\×w2,$

其中w1和w2分别为一加权系数，且w1和w2之和为1。

10.如权利要求9所述的影像处理装置，其特征在于，这些加权系数w1和w2与该第一原始数据及该第二原始数据所分别对应的一周边影像相关。

11.一种影像处理方法，用以配合设有一偏光膜的一被动式立体影像显示装置，该影像处理方法包含：

(a)接收包含N列原始数据之一原始影像，其中该原始影像为一左眼影像或一右眼影像，N为一正偶数；

(b)缩放该N列原始数据，以产生包含(N/2)列缩放后数据的一缩放后影像；以及

(c)调整该(N/2)列缩放后数据，提高该缩放后影像的一整体亮度，经调整后的该缩放后影像包含(N/2)列处理后数据。

12.如权利要求11所述的影像处理方法，其特征在于，步骤(b)将该N列原始数据中的一第(2i-1)列原始数据与一第2i列原始数据合并，以产生该(N/2)列缩放后数据中的一第i列缩放后数据，其中i为范围在1到(N/2)间的一整数。

13.如权利要求11所述的影像处理方法，其特征在于，步骤(c)藉由调整这些缩放后数据于YUV色彩空间中的一明亮度以提高该缩放后影像的该整体亮度。

14.如权利要求11所述的影像处理方法，其特征在于，于步骤(b)中，一缩放后数据根据一第一原始数据及一第二原始数据所产生，该第一原始数据具有一第一亮度Y1，该第二原始数据具有一第二亮度Y2，对应于该缩放后数据的该处理后数据具有一处理后亮度Yc：

$\mathrm{Yc}=\left(\frac{Y1+Y2}{2}\right)\×w1+\max (Y1,Y2)\×w2,$

其中w1和w2分别为一加权系数，且w1和w2之和为1。

15.如权利要求14所述的影像处理方法，其特征在于，这些加权系数w1和w2与该第一原始数据及该第二原始数据所分别对应的一周边影像相关。

Images