CN101174031B - 用于产生立体图像的图像处理装置及其方法 - Google Patents

Abstract

本发明提供一种利用第一眼观看图像以及第二眼观看图像以产生最适化的立体图像的装置及其方法。该第一眼观看图像以及该第二眼观看图像撷取于一场景。根据本发明之装置重叠并且水平移动该第一眼观看图像以及该第二眼观看图像直到水平差异大致上达到一最小值，并且随后垂直移动该第一眼观看图像以及该第二眼观看图像直到垂直差异大致上达到一最小值。该移动后的图像即该最适化的立体图像。

Description

用于产生立体图像的图像处理装置及其方法

技术领域

本发明涉及一种用于调整立体图像(Stereoscopic image)的装置及其方法，并且尤其涉及一种利用调整第一眼观看图像(First-eye-viewedimage)和第二眼观看图像(Second-eye-viwed image)的偏移(Shift)以产生最适化的(Adaptive)立体图像的装置及其方法。

现有技术

由于左右眼的位置不同，因此左右眼所观察到的图像也有些不同。如果使左眼仅看到左眼所需看到的信息，右眼仅能看到右眼的信息，则可欺骗大脑产生立体视觉。目前立体图像的建立的方法大多合成两张分别由左、右眼所观察到的2D图像。但由于拍摄时的晃动或是人为因素使然，会使得两张左、右眼图像产生上下或/和左右的偏移。然而过度的图像偏移会造成图像合成时三维效果不佳，并且传统上对此种有瑕疵的图像多以废弃处理，造成立体图像产生效率不佳，合成图像成效率低。所以需要具有调整左、右眼所观察到的2D图像的装置以补偿该非预期的偏移，以有效地合成立体图像。

因此，本发明提供一种利用调整第一眼观看图像和第二眼观看图像的偏移以产生相配的立体图像的装置及其方法，以解决上述问题。

发明内容

本发明的目的之一在于提供一种利用调整第一眼观看图像和第二眼观看图像的偏移以产生相配的立体图像的装置及其方法。

根据一优选具体实施例，本发明的装置利用第一眼观看图像(First-eye-viewed image)以及第二眼观看图像(Second-eye-viewed image)以产生相配的立体图像(Adaptive stereoscopic image)。该第一眼观看图像以及该第二眼观看图像撷取于一个场景(Scene)。该装置包括接收模块(Receivingmodule)、第一处理模块(Processing module)以及第二处理模块。该接收模块其结构在于配合接收该第一眼观看图像以及该第二眼观看图像的输入。该第一处理模块耦合至该接收模块。该第二处理模块耦合至该第一处理模块。

该第一处理模块用于重叠该第一眼观看图像以及该第二眼观看图像，并且相对该第一眼观看图像水平移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的水平差异大致上达到一最小值。该第二处理模块用于接收重叠并且已水平移动的该第一眼观看图像以及该第二眼观看图像的图像，相对该第一眼观看图像垂直移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的垂直差异大致上达到一最小值，并且得到重叠并且已垂直移动的该第一眼观看图像以及该第二眼观看图像的图像，当做该相配的立体图像。

因此，本发明的装置的第一处理模块水平移动后，可得到该第一眼观看图像以及该第二眼观看图像的水平偏移量.同理，该装置的第二处理模块垂直移动后，可得到该第一眼观看图像以及该第二眼观看图像的垂直偏移量.该水平偏移量以及该垂直偏移量即正确合成该第一眼观看图像以及该第二眼观看图像的所需偏移.

关于本发明的优点与精神可以通过以下的发明详述及附图得到进一步的了解。

附图说明

图1A是图解根据本发明的一个优选具体实施例的装置的功能方块图。

图1B是图解该第一眼观看图像以及该第二眼观看图像的水平偏移的示意图。

图1C是图解水平偏移差异曲线的示意图。

图1D是图解垂直偏移差异曲线的示意图。

图1E是图解该第一眼观看图像以及该第二眼观看图像的垂直偏移的示意图。

图2A是图解单眼相机取景位置的示意图。

图2B是图解具有两个网络摄影机的笔记型计算机和桌上型计算机的示意图。

图3是图解根据该优选具体实施例的流程图。

【主要组件符号说明】

1：装置             2：单眼相机

3：脚架             4：笔记型电脑

5：桌上型电脑       11：接收模组

12：第一处理模组    13：第二处理模组

42：影像撷取装置    52：影像撷取装置

P1：第一眼观看影像  P2：第二眼观看影像

S100～106：流程步骤

具体实施方式

参见图1A，图1A是图解根据本发明的一个优选具体实施例的装置的功能方块图。根据该优选具体实施例，本发明的装置1包含接收模块11、第一处理模块12以及第二处理模块13。该接收模块11其结构在于配合接收第一眼观看图像P1以及第二眼观看图像P2。该第一处理模块12耦合至该接收模块11。该第二处理模块13耦合至该第二处理模块12。

该第一眼观看图像P1以及该第二眼观看图像P2从该接收模块11传送至该第一处理模块12.该第一处理模块12将该第一眼观看图像P1以及该第二眼观看图像P2重叠，并且相对该第一眼观看图像P1水平移动该第二眼观看图像P2直到该第一眼观看图像P1与该第二眼观看图像之间的水平差异大致上达到一最小值.如图1B所示，图1B是图解该第一眼观看图像P1以及该第二眼观看图像P2的水平偏移的示意图.该示意图由上而下包含4个部分.第一部分，即图1B中最上部分，分别图解该第一眼观看图像P1与该第二眼观看图像P2.第二部分是图解该第一眼观看图像P1与该第二眼观看图像P2重叠的示意图.第三部分是图解该第二眼观看图像P2已向右水平移动N个像素的示意图，其中N是一自然数.第四部分是图解该第二眼观看图像P2已再向右水平移动N个像素的示意图.此时，该水平差异值达到最小值，水平移动完成.该水平差异值得以重叠后对应的像素的灰阶值差值累计，但并不以此种方法为限，例如累计灰阶值差值的像素位置可采用取样方法，取样方法也可以是事先静态决定的，或事后动态决定的.另外，寻找最小值的方法可利用递归方式或设定一停止寻找条件均可，如设定一可容许的差值以停止寻找，而完成水平移动或于无法找到符合该可容许的差值的情形时，放弃本次水平移动，即放弃该第一眼观看图像P1以及该第二眼观看图像P2的调整，其中该可容许的差值是指连续两次平均水平差异值的差值，平均水平差异值是指水平差异值除以被计算的区域，即相像素数目.

由于该第一眼观看图像P1以及该第二眼观看图像P2本质上即不相同，因此无论如何水平移动，仍有非零的水平差异值。然而，该水平差异值并非定值，而是一开口朝上的曲线，如图1C如所示。该曲线具有一最小值，即表示该水平偏移量为该第一眼观看图像P1以及该第二眼观看图像P2的最佳的相对水平偏移。但需注意的是，由于水平差异值的计算方式不同，最后调整的水平偏移量可能不是图1C中的最低点，但至少是相对低点。根据该优选具体实施例，每次计算水平差异值移动N个像素，并且通过设定该N值以权衡合成图像品质与处理速度。当然不排除动态地设定该N值或其它方式决定移动量以更有效率地权衡合成图像品质与处理速度。

另外，对于一般情形，该第一眼观看图像P1以及该第二眼观看图像P2本质上即具有一水平的相对关系。根据该优选具体实施例，该第二眼观看图像P2是右侧地撷取于一场景，并且该第一眼观看图像P1是左侧地撷取于该场景。因此，该第一处理模块12重叠该第一眼观看图像P1以及该第二眼观看图像P2后，仅需向右水平移动即可，如图1B所示。

同样地，该第二处理模块13从该第一处理模块12接收重叠并且已水平移动的该第一眼观看图像P1以及该第二眼观看图像P2的图像。该第二处理模块13相对该第一眼观看图像P1垂直移动该第二眼观看图像P2直到该第一眼观看图像P1与该第二眼观看图像P2之间的垂直差异大致上达到一最小值。不同于水平移动，该第一眼观看图像P1以及该第二眼观看图像P2之间在垂直方向并无本质上的相对关系，所以垂直偏移方向上下均有可能。然而垂直差异值具有类似水平差异值的特性，也就是垂直差异值呈现一开口朝上的曲线，如图1D所示。为找出偏移方向，可先固定第一眼观看图像P1，再将第二眼观看图像P2分别向上以及向下移动，分别计算垂直差异值，并且选取较小的垂直差异值的方向当然垂直移动的方向。该垂直差异值的计算同该水平差异值的计算。

参见图1E，图1E是图解该第一眼观看图像P1以及该第二眼观看图像P2的垂直偏移的示意图。该示意图包由上而下含3个部分。第一部分，即图一E中最上部分，图解第一模块12处理结果。第二部分是图解该第二眼观看图像P2已向下水平移动M个像素的示意图，其中M是一自然数。第三部分是图解该第二眼观看图像P2已再向下水平移动M个像素的示意图。此时，该垂直差异值达到最小值，垂直移动完成，并且得到重叠并且已水平、垂直移动的该第一眼观看图像P1以及该第二眼观看图像P2的图像，当做该相配的立体图像。

值得一提的是，根据该优选具体实施例，该第二处理模块13虽然耦合该第一处理模块12，并且处理该第一处理模块12处理后的信息，但是并非除非该第二处理模块13直接耦合至该接收模块11，与该第一处理模块12处于同一阶层。也即在资源允许下，该水平移动以及垂直移动可分别同时进行以求得水平偏移量以及垂直偏移量，随后再以该求得的水平偏移量以及垂直偏移量来合成该立体图像。

另外，本发明的装置的第一眼观看图像以及第二眼观看图像来源可由单眼相机2搭配适当的工具3拍摄提供.如图2A所示，该工具(脚架)3可提供该单眼相机2两个不同的固定位置，以分别拍摄出第一眼观看图像以及第二眼观看图像.如果由双眼相机提供，则可一次同时提供第一眼观看图像以及第二眼观看图像.同理，如果由多眼相机提供图像，则可一次同时提供第一眼观看图像以及多个不同视角的第二眼观看图像以择一合成一立体图像，或合成多个不同视角的立体图像.因此，本发明的装置其及方法也可直接建构在相机上，直接在相机上合成立体图像.

此外，本发明装置和方法也可直接建构在具有两个图像撷取装置42、52的计算机4、5内，如图2B所示。利用这些图像撷取装置42、52分别撷取图像供做第一眼观看图像以及第二眼观看图像。在实时视频的应用中，在开始通信之前，以第一次取得的第一眼观看图像以及第二眼观看图像设定后续立体图像合成参数，此参数包含这些图像撷取装置42、52间的距离、这些图像撷取装置42、52与被拍摄物体的距离以及偏移量的设定值等等。因为只有在一开始时执行调整运算，得到的参数供后续的图像直接参用，所以不会增加实时图像传输的负担。然而，并不排除在一预定的时间间隔再次自动或手动执行调整运算以更新参数。

参见图3，图3是图解根据该优选具体实施例的流程图。如图3所示，本发明的调整方法包括：首先，输入该第一眼观看图像以及该第二眼观看图像，如步骤S100所示。接着，重叠该第一眼观看图像以及该第二眼观看图像，如步骤S102所示。再接着，相对该第一眼观看图像水平移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的水平差异大致上达到一最小值，如步骤S104所示。最后，相对该第一眼观看图像垂直移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的垂直差异大致上达到一最小值，如步骤S106所示。其中，步骤S106的结果即为该相配的立体图像。此外，步骤S104以及步骤S106也可并行，最后再将步骤S104以及步骤S106得到的水平偏移量和垂直偏移量来合成该立体图像。

因此，根据本发明的装置及其方法，利用调整第一眼观看图像以及第二眼观看图像的偏移以产生相配的立体图像，可有效率地合成立体图像，提高合成图像的成功率。

通过以上对优选具体实施例的详述，希望能更加清楚描述本发明的特征与精神，而并非以上述所公开的优选具体实施例来对本发明的范围加以限制。相反地，其目的是希望能涵盖各种改变及具等效性的安排于本发明所欲申请的专利范围的范畴内。因此，本发明所申请的专利范围的范畴应该根据上述的说明作最宽广的解释，以致使其涵盖所有可能的改变以及具等效性的安排。

Claims (6)

1.一种图像处理方法，用以利用第一眼观看图像以及第二眼观看图像来产生最适化的立体图像，该第一眼观看图像以及该第二眼观看图像撷取于一场景，其特征在于，该方法包含下列步骤：

(a)输入该第一眼观看图像以及该第二眼观看图像；

(b)重叠该第一眼观看图像以及该第二眼观看图像；

(c)相对该第一眼观看图像水平移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的水平差异达到一最小值；以及

(d)相对该第一眼观看图像垂直移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的垂直差异达到一最小值，步骤(d)的结果即为该最适化的立体图像。

2.如权利要求1所述的图像处理方法，其特征在于，其中步骤(c)中该第二眼观看图像相对于该第一眼观看图像每次水平移动N个像素，N是一自然数。

3.如权利要求1所述的图像处理方法，其特征在于，其中步骤(d)中该第二眼观看图像相对于该第一眼观看图像每次垂直移动M个像素，M是一自然数。

4.一种图像处理装置，用于利用第一眼观看图像以及第二眼观看图像来产生最适化的立体图像，该第一眼观看图像以及该第二眼观看图像系撷取于一场景，其特征在于，该装置包括：

接收模块，该接收模块其结构在于配合接收该第一眼观看图像以及该第二眼观看图像的输入；

第一处理模块，该第一处理模块耦合至该接收模块，该第一处理模块用于重叠该第一眼观看图像以及该第二眼观看图像，并且相对该第一眼观看图像水平移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的水平差异达到一最小值；以及

第二处理模块，该第二处理模块耦合至该第一处理模块，该第二处理模块用于接收重叠的该第一眼观看图像以及该第二眼观看图像的图像，其中该第二眼观看图像已经相对该第一眼观看图像进行了水平移动，相对该第一眼观看图像垂直移动该第二眼观看图像直到该第一眼观看图像与该第二眼观看图像之间的垂直差异达到一最小值，并且得到重叠的该第一眼观看图像以及该第二眼观看图像的图像，其中该第二眼观看图像已经相对该第一眼观看图像进行了垂直移动，即为该最适化的立体图像。

5.如权利要求4所述的图像处理装置，其特征在于，其中该第一处理模块将该第二眼观看图像相对该第一眼观看图像每次水平移动N个像素，N是一自然数。

6.如权利要求4所述的图像处理装置，其特征在于，其中该第二处理模块将该第二眼观看图像相对该第一眼观看图像每次垂直移动M个像素，M是一自然数。

Images