CN102868896A

CN102868896A - 立体图像处理装置以及立体图像处理方法

Info

Publication number: CN102868896A
Application number: CN2012100463748A
Authority: CN
Inventors: 童旭荣; 谢俊兴
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2011-07-05
Filing date: 2012-02-24
Publication date: 2013-01-09
Also published as: TW201304505A; TWI486052B; US20130011010A1; US8983125B2

Abstract

本发明提供一种立体图像处理装置及立体图像处理方法，该立体图像处理装置包含物件检测单元、视差判断单元、位移计算单元以及位移单元。物件检测单元用来检测物件在第一图像的第一位置以及在第二图像的第二位置；视差判断单元用来依据第一、第二位置计算物件在第一、第二图像之间的视差判断结果；位移计算单元用来依据视差判断结果计算第一图像的第一移动距离以及第二图像的第二移动距离；位移单元用来分别依据第一、第二移动距离对第一、第二图像进行位移以产生位移后的第一、第二图像。

Description

立体图像处理装置以及立体图像处理方法

技术领域

本发明涉及一种立体图像处理装置以及立体图像处理方法，尤指一种利用对左眼平面图像以及右眼平面图像进行水平位移来产生立体图像的立体图像处理装置以及立体图像处理方法。

背景技术

3D立体显示技术为近年来逐渐普及的技术，尤其为娱乐产业相当热门的话题。人类之所以能够看到立体的景物，是因为人类的双眼所看到的景物为各自独立；左眼只能看到左眼范围内的景物，而右眼只能看到右眼范围内的景物。由于人类的双眼是横向并排，且双眼之间存在一间隔距离，因此左眼所看到的图像与右眼所看到的图像会有些微的差异，而此差异即为“视差(Disparity)”。大脑会解读双眼的视差并藉以判断物体远近，以产生立体视觉。因此3D图像的原理，就是要以人工方式来重现视差，也即让左右两眼分别看到不同的图像，藉以仿真出立体图像。

如果图像来源是使用者自己拍摄的图像时，例如从左眼拍摄一左眼平面图像以及从右眼拍摄一右眼平面图像，因为拍摄所用的镜头焦距、对焦距离等不同的因素，会影响要在画面上显示3D效果，因此，如何充分对左眼平面图像以及右眼平面图像进行位移以产生较佳的立体图像，实为此一领域的重要课题之一。

发明内容

因此，本发明的目的之一在于提供一种立体图像处理装置以及立体图像处理方法，依据成像原理来对左眼平面图像以及右眼平面图像进行位移以产生立体图像。

本发明的实施例披露了一种立体图像处理装置，包含有：一物件检测单元，用来检测一物件在一第一图像的一第一位置以及该物件在一第二图像的一第二位置；一视差判断单元，耦接该物件检测单元，用来依据该第一图像的该第一位置以及该第二图像的该第二位置来计算该物件在该第一图像以及在该第二图像之间的一视差判断结果；一位移计算单元，耦接该视差判断单元，用来依据该视差判断结果计算该第一图像的一第一移动距离以及该第二图像的一第二移动距离；以及一位移单元，耦接该位移计算单元，用来分别依据该第一移动距离以及该第二移动距离对该第一图像以及该第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像。

本发明的实施例还披露了一种立体图像处理方法，包含有下列步骤：检测一物件在一第一图像的一第一位置以及该物件在一第二图像的一第二位置；依据该第一图像的该第一位置以及该第二图像的该第二位置来计算该物件在该第一图像以及在该第二图像之间的一视差判断结果；依据该视差判断结果计算该第一图像的一第一移动距离以及该第二图像的一第二移动距离；以及分别依据该第一移动距离以及该第二移动距离对该第一图像以及该第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像。

附图说明

图1为本发明一种立体图像处理装置的一实施例的示意图。

图2为本发明物件的一视角的最小角度为0度的规则的示意图。

图3为本发明图像深度成像于一屏幕上的规则的示意图。

图4为本发明立体图像处理装置对第一、第二图像进行水平位移的调整以产生该位移后的第一、第二图像的一实施例的示意图。

图5为本发明一种立体图像处理装置的一第一操作范例的流程图。

图6为本发明一种立体图像处理装置的一第二操作范例的流程图。

图7为本发明一种立体图像处理装置的一第三操作范例的流程图。

【主要元件符号说明】

100 立体图像处理装置

110 物件检测单元

120 视差判断单元

130 位移计算单元

140 位移单元

350 屏幕

具体实施方式

在说明书及后续的权利要求书当中使用了某些词汇来指称特定的元件。本领域普通技术人员应可理解，硬件制造商可能会用不同的名词来称呼同样的元件。本说明书及后续的权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及后续的权利要求项当中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或通过其它装置或连接手段间接地电气连接至该第二装置。

请参考图1，图1为本发明一种立体图像处理装置100的一实施例的示意图。如图1所示，立体图像处理装置100包含有(但不局限于)一物件检测单元110、一视差判断单元120、一位移计算单元130、以及一位移单元140。物件检测单元110用来检测一物件OB在一第一图像IM1的一第一位置L以及物件OB在一第二图像IM2的一第二位置R，请注意，在本实施例中，该第一、第二图像分别以一左眼平面图像以及一右眼平面图像为例，但本发明并不限于此。视差判断单元120耦接物件检测单元110，用来依据第一图像IM1的第一位置L以及第二图像IM2的第二位置R来计算物件OB在第一图像IM1以及在第二图像IM2之间的一视差判断结果DR，位移计算单元130耦接视差判断单元120，用来依据视差判断结果DR计算第一图像IM1的一第一移动距离D1以及第二图像IM2的一第二移动距离D2，位移单元140耦接位移计算单元130，用来分别依据第一移动距离D1以及第二移动距离D2对第一图像IM1以及第二图像IM2进行位移以产生一位移后的第一图像AIM1以及一位移后的第二图像AIM2，值得注意的是，位移单元140用来分别根据该第一、第二移动距离D1、D2对第一图像IM1以及第二图像IM2进行水平位移的调整以产生位移后的第一图像AIM1以及位移后的第二图像AIM2。

另外，位移计算单元130依据该视差判断结果以及一特定规则来计算该第一、第二移动距离D1、D2，举例来说，该特定规则可以是物件OB的一视角θ的最小角度为0度的规则，或者该特定规则可以是物件OB的图像深度成像于一屏幕上的规则，例如位移计算单元130可以利用将该第一、第二位置L、R的位置叠合来计算第一图像IM1的第一移动距离D1以及第二图像IM2的该第二移动距离D2。

请参考图2，图2为本发明物件的一视角的最小角度为0度的规则的示意图。如图2所示，视角θ即两眼视线对物件OB的交叉角度，从观测者到物件OB之间的距离依远近的不同，两眼视线的视角θ也跟着改变。例如，物件OB1与两眼之间的距离较靠近，视角θ1较大，反之，物件OB2与两眼之间的距离较远，则视角θ2较小，随着物件OB与两眼之间的距离越远，视角θ也越来越小，假设物件OB与两眼之间的距离为无穷远时，视角θ为0度，也就是说，若视角θ小于0度，则会看到两张图像，不会形成有立体图像。

请参考图3，图3为本发明图像深度成像于一屏幕上的规则的示意图。图3包含有(a)以及(b)两个子图。如图3中的(a)所示，图3中的(a)为包含有第一图像IM1以及第二图像IM2，物件OB1在第一图像IM1以及第二图像IM2的第一、第二位置分别为L1以及R1；物件OB2在第一图像IM1以及第二图像IM2的第一、第二位置分别为L2以及R2；以及物件OB3在第一图像IM1以及第二图像IM2的第一、第二位置分别为L3以及R3。假设第一图像IM1以及第二图像IM2重叠时，物件OB2在的第一、第二位置分别为L2以及R2的位置也重叠，因此，观赏者在观看物件OB2时，两眼焦点视线的交叉点会恰巧落在第一、第二位置L2、R2的重叠位置上，则物件OB2的图像将会呈现在屏幕350上(如图3中的(b)所示)，而观赏者在观看物件OB1时，两眼焦点视线在屏幕前没有任何交叉情况，也即两眼平视远方景物，因此，物件OB1的图像将会呈现在屏幕后；另外，观赏者在观看物件OB3时，两眼焦点视线在屏幕前有交叉的情况，物件OB3的图像将会呈现在屏幕350前的焦点上。

接下来，举个例子来说明立体图像处理装置100如何运作来产生第一、第二图像IM1、IM2的移动距离。请参考图4，图4为本发明立体图像处理装置100对第一、第二图像IM1、IM2进行水平位移的调整以产生该位移后的第一、第二图像的一实施例的示意图。图4包含有(a)、(b)以及(c)三个子图。图4中的(a)包含有第一图像IM1以及第二图像IM2，首先，如图4中的(a)所示，物件检测单元110会检测物件OB1在第一图像IM1以及第二图像IM2的第一、第二位置分别为L1以及R1，以及检测物件OB2在第一图像IM1以及第二图像IM2的第一、第二位置分别为L2以及R2，接着，视差判断单元120依据物件OB1在第一图像IM1以及第二图像IM2的第一、第二位置分别为L1以及R1以及物件OB2在第一图像IM1以及第二图像IM2的第一、第二位置分别为L2以及R2来计算视差判断结果DR，在此实施例中，视差判断结果DR会认为物件OB1比物件OB2距离两眼的位置更远，且视角θ没有小于0度，因此，可以选择让物件OB2成像于屏幕附近，物件OB1成像于屏幕后方，接着，位移计算单元130将第一图像IM1以及第二图像IM2重叠(如图4中的(b)所示)，以及将第一位置L2、第二位置R2之间的中心坐标视为图像中心M，便可算出第一移动距离D1以及第二移动距离D2分别为右移d/2以及左移d/2，之后，位移单元140便对第一图像IM1右移d/2以及对第二图像IM2左移d/2来产生一位移后的第一图像AIM1以及一位移后的第二图像AIM2(如图4中的(c)所示)，请注意，位移单元140在产生位移后的第一图像AIM1以及位移后的第二图像AIM2时，也可以利用一黑框来修补该位移后的第一图像AIM1以及该位移后的第二图像AIM2(如图4中的(c)所示)。另外，如果物件OB在第一图像IM1以及第二图像IM2有垂直方向的偏移，位移单元140也可在产生位移后的第一图像AIM1以及位移后的第二图像AIM2时，顺便调整垂直方向的偏移。

请注意，上述选择让物件OB2成像于屏幕附近，只是举例来说明本发明，并非本发明的限制条件，在本发明另一实施例中，也可选择使物件OB1成像于屏幕附近，如此一来，OB2会成像于屏幕与两眼之间。另外，将第一位置L2、第二位置R2的中心坐标视为图像中心M，也仅是举例来说明本发明，并非本发明的限制条件，在本发明另一实施例中，也可选择将第一位置L2的坐标视为图像中心M，或将第二位置R2的中坐标视为图像中心M，如此只需水平移动其中一图像即可。

请注意，上述视差判断结果DR如果认为物件OB1或物件OB2有视角θ小于0度的情形，位移计算单元130便会先计算第一图像IM1的第一移动距离D1以及第二图像IM2的第二移动距离D2来使得物件OB1以及物件OB2来形成立体图像，也就是说，上述物件OB的一视角的最小角度为0度的规则以及图像深度成像于一屏幕上的规则可以单独作为位移计算单元130的判断规则，也可同时作为位移计算单元130的判断规则，如此一来，可能会判断出不同的位移量，因此，位移计算单元130最后也可依据该特定规则所设定的权重或采用投票等方式，来决定第一、第二图像IM1、IM2的最后的移动距离，但此并非本发明的限制条件。

请参考图5，图5为本发明一种立体图像处理装置的一第一操作范例的流程图，图5包含(但不局限于)以下的步骤(请注意，假若可获得实质上相同的结果，则这些步骤并不一定要遵照图5所示的执行次序来执行)：

步骤S500：开始。

步骤S510：检测一物件在一第一图像的一第一位置以及该物件在一第二图像的一第二位置。

步骤S520：依据该第一图像的该第一位置以及该第二图像的该第二位置来计算该物件在该第一图像以及在该第二图像之间的一视差判断结果。

步骤S530：依据该视差判断结果计算该第一图像的一第一移动距离以及该第二图像的一第二移动距离。

步骤S540：分别依据该第一移动距离以及该第二移动距离对该第一图像以及该第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像。

请搭配图5所示的各步骤以及图1所示的各元件即可各元件如何运作，为简洁起见，故于此不再赘述。

请参考图6，图6为本发明一种立体图像处理装置的一第二操作范例的流程图，图6包含(但不局限于)以下的步骤(请注意，假若可获得实质上相同的结果，则这些步骤并不一定要遵照图6所示的执行次序来执行)：

步骤S600：开始。

步骤S610：依据该物件的颜色或边缘来检测该物件在该第一图像的该第一位置以及该物件在该第二图像的该第二位置。

步骤S620：依据该第一图像的该第一位置以及该第二图像的该第二位置来计算该物件在该第一图像以及该第二图像之间的一视差判断结果。

步骤S630：依据该视差判断结果以及该物件的一视角的最小角度为0度的规则来计算该第一、第二移动距离。

步骤S640：分别依据该第一移动距离以及该第二移动距离对该第一图像以及该第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像。

请搭配图6所示的各步骤以及图1所示的各元件以及图2的特定规则即可各元件如何运作，为简洁起见，故于此不再赘述。

请参考图7，图7为本发明一种立体图像处理装置的一第三操作范例的流程图，图7包含(但不局限于)以下的步骤(请注意，假若可获得实质上相同的结果，则这些步骤并不一定要遵照图7所示的执行次序来执行)：

步骤S700：开始。

步骤S710：依据该物件的颜色或边缘来检测该物件在该第一图像的该第一位置以及该物件在该第二图像的该第二位置。

步骤S720：依据该第一图像的该第一位置以及该第二图像的该第二位置来计算该物件在该第一图像以及该第二图像之间的一视差判断结果。

步骤S730：该视差判断结果以及利用将该第一位置以及该第二位置的位置叠合来计算该第一图像的该第一移动距离以及该第二图像的该第二移动距离。

步骤S740：分别依据该第一移动距离以及该第二移动距离对该第一图像以及该第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像。

请搭配图7所示的各步骤以及图1所示的各元件以及图3的特定规则即可各元件如何运作，为简洁起见，故于此不再赘述。

上述各流程的步骤仅为本发明所举可行的实施例，并非限制本发明的限制条件，且在不违背本发明的精神的情况下，这些方法可另包含其它的中间步骤或者可将几个步骤合并成单一步骤，以做适当的变化。

由上可知，本发明提供一种立体图像处理装置以及立体图像处理方法，依据该视差判断结果以及一特定规则来计算该第一、第二移动距离来对左眼平面图像以及右眼平面图像进行位移来产生立体图像，因此，只需使用普通的相机，从左眼以及右眼各拍一张平面图像，就可以利用本发明来产生立体图像。

以上所述仅为本发明的优选实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims

1.一种立体图像处理装置，包含有：

一物件检测单元，用来检测一物件在一第一图像的一第一位置以及所述物件在一第二图像的一第二位置；

一视差判断单元，耦接所述物件检测单元，用来依据所述第一图像的所述第一位置以及所述第二图像的所述第二位置来计算所述物件在所述第一图像以及在所述第二图像之间的一视差判断结果；

一位移计算单元，耦接所述视差判断单元，用来依据所述视差判断结果计算所述第一图像的一第一移动距离以及所述第二图像的一第二移动距离；以及

一位移单元，耦接所述位移计算单元，用来分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像。

2.根据权利要求1所述的立体图像处理装置，其中，所述物件检测单元依据所述物件的颜色或边缘来检测所述物件在所述第一图像的所述第一位置以及所述物件在所述第二图像的所述第二位置。

3.根据权利要求1所述的立体图像处理装置，其中，所述位移计算单元依据所述视差判断结果以及一特定规则来计算所述第一、第二移动距离，以及所述特定规则包含所述物件的一视角的最小角度为0度的规则。

4.根据权利要求3所述的立体图像处理装置，其中，所述特定规则还包含所述物件的图像深度成像于一屏幕上的规则。

5.根据权利要求4所述的立体图像处理装置，其中，所述位移计算单元利用将所述第一位置与所述第二位置的位置叠合来计算所述第一图像的所述第一移动距离以及所述第二图像的所述第二移动距离。

6.根据权利要求1所述的立体图像处理装置，其中，所述位移计算单元依据所述视差判断结果以及一特定规则来计算所述第一、第二移动距离，以及所述特定规则包含所述物件的图像深度成像于一屏幕上的规则。

7.根据权利要求6所述的立体图像处理装置，其中，所述位移计算单元利用将所述第一位置与所述第二位置的位置叠合来计算所述第一图像的所述第一移动距离以及所述第二图像的所述第二移动距离。

8.根据权利要求1所述的立体图像处理装置，其中，所述位移单元用来分别根据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行水平位移的调整以产生所述位移后的第一图像以及所述位移后的第二图像。

9.根据权利要求1所述的立体图像处理装置，其中，所述位移单元在产生所述位移后的第一图像以及所述位移后的第二图像时，利用一黑框来修补所述位移后的第一图像以及所述位移后的第二图像。

10.根据权利要求1所述的立体图像处理装置，其中，所述位移单元还在产生所述位移后的第一图像以及所述位移后的第二图像时，调整垂直方向的偏移。

11.一种立体图像处理方法，包含有：

检测一物件在一第一图像的一第一位置以及所述物件在一第二图像的一第二位置；

依据所述第一图像的所述第一位置以及所述第二图像的所述第二位置来计算所述物件在所述第一图像以及在所述第二图像之间的一视差判断结果；

依据所述视差判断结果计算所述第一图像的一第一移动距离以及所述第二图像的一第二移动距离；以及

分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像。

12.根据权利要求11所述的立体图像处理方法，其中，检测一物件在一第一图像的一第一位置以及所述物件在一第二图像的一第二位置的步骤包含有：

依据所述物件的颜色或边缘来检测所述物件在所述第一图像的所述第一位置以及所述物件在所述第二图像的所述第二位置。

13.根据权利要求11所述的立体图像处理方法，其中，依据所述视差判断结果计算所述第一图像的一第一移动距离以及所述第二图像的一第二移动距离的步骤包含有：

依据所述视差判断结果以及一特定规则来计算所述第一、第二移动距离，以及所述特定规则包含所述物件的一视角的最小角度为0度的规则。

14.根据权利要求13所述的立体图像处理方法，其中，所述特定规则还包含所述物件的图像深度成像于一屏幕上的规则。

15.根据权利要求11所述的立体图像处理方法，其中，分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像的步骤包含有：

利用将所述第一位置与所述第二位置的位置叠合来计算所述第一图像的所述第一移动距离以及所述第二图像的所述第二移动距离。

16.根据权利要求11所述的立体图像处理方法，其中，分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像的步骤包含有：

依据所述视差判断结果以及一特定规则来计算所述第一、第二移动距离，以及所述特定规则包含所述物件的图像深度成像于一屏幕上的规则。

17.根据权利要求16所述的立体图像处理方法，其中，分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像的步骤包含有：

18.根据权利要求11所述的立体图像处理方法，其中，分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像的步骤包含有：

分别根据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行水平位移的调整以产生所述位移后的第一图像以及所述位移后的第二图像。

19.根据权利要求11所述的立体图像处理方法，其中，分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后的第二图像步骤包含有：

在产生所述位移后的第一图像以及所述位移后的第二图像时，利用一黑框来修补所述位移后的第一图像以及所述位移后的第二图像。

20.根据权利要求11所述的立体图像处理方法，其中，分别依据所述第一移动距离以及所述第二移动距离对所述第一图像以及所述第二图像进行位移以产生一位移后的第一图像以及一位移后之第二图像的步骤包含有：

在产生所述位移后的第一图像以及所述位移后的第二图像时，调整垂直方向的偏移。