CN104349153B - 依据深度信息的影像处理方法及系统 - Google Patents

Abstract

一种依据深度信息的影像处理方法及系统。取得具有深度信息的至少一影像。影像被显示于电子装置的一显示单元中。透过一使用者界面接收影像中一感兴趣区域的选择。由深度信息取得相应此选定的感兴趣区域的一第一深度值，且此第一深度值被对映至一影像效果的一第一效果位准，其中此影像效果具有多个效果位准。依据影像的深度信息实施影像效果至影像，其中选定的感兴趣区域被以第一效果位准实施此影像效果。

Description

依据深度信息的影像处理方法及系统

技术领域

本发明是有关于影像处理方法及系统，且特别有关于一种依据深度信息的影像处理方法及系统。

背景技术

近年来，可携式装置，如手持式装置变得越来越高阶且变得更多功能化。举例来说，手持式装置可以具备电信通讯能力、电子邮件、进阶通讯录管理、媒体播放、以及其他各式各样的能力与应用。另外，大部分手持式装置可以配备一影像撷取单元，用以撷取影像。举例来说，使用者可以利用设置于手持式装置上的相机拍摄照片。由于这些装置的便利，也使得这些装置成为人们的生活必需品之一。

目前地，由于多媒体系统、计算机游戏、3D电视广播系统等等中的应用与成长使得3D内容产业不断的成长。随着3D内容的发展，装置的影像撷取单元可以是一双镜头相机。双镜头相机是一装置，其可以在同时提供两个不同的视角，因此相同的物件将可产生两个不同几何检视给两个撷取的影像。由摄影师的一物件的距离可以通过分析左与右影像的差来测量。测量的结果是深度图，其指示影像中每一像素的深度(物件与摄影师间的距离)。通过影像的深度信息，影像可以如一真实世界般地以一3D效果来检视。

在手持式装置中，一些简单的影像效果，如加入一特定框架可以被实施于由影像撷取单元所撷取的影像中。然而，当使用者想要加上其他影像效果至撷取的影像时，使用者必须先使用手持式装置来撷取一影像，且将影像由手持式装置传送至计算机。然后，可以操作计算机中的影像编辑软件来处理影像，使得相关影像效果可以被加至影像中。前述相应手持式装置所撷取的影像的影像处理操作需要相关操作知识，且需要许多人为手动作业。对于使用者而言，需求的操作是非常耗时且不便利的。

发明内容

有鉴于此，本发明提供依据深度信息的影像处理方法及系统。

本发明实施例的一种依据深度信息的影像处理方法。取得具有深度信息的至少一影像。影像被显示于电子装置的一显示单元中。透过一使用者界面接收影像中一感兴趣区域的选择。由深度信息取得相应此选定的感兴趣区域的一第一深度值，且此第一深度值被对映至一影像效果的一第一效果位准，其中此影像效果具有多个效果位准。依据影像的深度信息实施影像效果至影像，其中选定的感兴趣区域被以第一效果位准实施此影像效果。

本发明实施例的一种依据深度信息的影像处理方法。取得具有深度信息的至少一影像。提供一影像效果，其中此影像效果具有多个效果位准。依据影像的深度信息实施影像效果至影像，其中影像的个别(respective)像素根据相应个别像素的个别深度值被以各种效果位准实施此影像效果。

本发明实施例的一种依据深度信息的影像处理系统包括一储存单元、一显示单元、与一处理单元。储存单元包括具有深度信息的至少一影像。处理单元取得具有深度信息的此影像，且透过显示单元将影像显示。处理单元透过一使用者界面接收影像中一感兴趣区域的选择。处理单元由深度信息取得相应此选定的感兴趣区域的一第一深度值，对映此第一深度值至一影像效果的一第一效果位准，其中此影像效果具有多个效果位准，且依据影像的深度信息实施影像效果至影像，其中选定的感兴趣区域被以第一效果位准实施此影像效果。

在一些实施例中，此至少一影像包括一左影像与一右影像其是透过一双镜头相机所撷取，且深度信息是依据左影像与右影像来计算。

在一些实施例中，显示单元是一触控式显示单元，使用者界面是显示于触控式显示单元，且相应选定的感兴趣区域的选择是透过触控式显示单元接收。

在一些实施例中，由深度信息取得相应选定的感兴趣区域之外的至少一像素的一第二深度值，其中第二深度值与第一深度值不同。第二深度值被对映至影像效果的一第二效果位准，其中第二效果位准与第一效果位准不同。当影像效果实施至影像时，此像素被以第二效果位准实施此影像效果。在一些实施例中，第一深度值与第二深度值的差被计算，且根据第一效果位准与此差，第二深度值被对映至影像效果的第二效果位准。

本发明上述方法可以透过程序码方式存在。当程序码被机器载入且执行时，机器变成用以实行本发明的装置。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，详细说明如下。

附图说明

图1为一示意图是显示依据本发明实施例的依据深度信息的影像处理系统；

图2为一流程图是显示依据本发明实施例的依据深度信息的影像处理方法；

图3为一流程图是显示依据本发明另一实施例的依据深度信息的影像处理方法；

图4为一流程图是显示依据本发明实施例的决定相应影像中除了感兴趣区域之外的一个别像素的一深度值的一效果位准的方法；

图5A显示一影像例子；

图5B显示相应图5A中影像的一深度图；

图6A与图6B为示意图是显示依据本发明实施例的依据深度信息的影像处理例子。

具体实施方式

图1显示依据本发明实施例的依据深度信息的影像处理系统。依据本发明实施例的依据深度信息的影像处理系统100可以适用于一电子装置，如个人数字助理(PDA)、智能手机、移动电话、移动上网装置(MID)、小笔电与全球定位系统(GPS)装置或其他手持式装置等的移动装置。

依据深度信息的影像处理系统100包括一显示单元110、一储存单元120、与一处理单元130。值得注意的是，在一些实施例中，依据深度信息的影像处理系统100也可以包括一影像撷取单元(未显示于图1)。注意的是，依据深度信息的影像处理系统100可以是具有影像撷取能力的一电子装置，如数字相机或拍照的手持式装置。影像撷取单元可以是电荷耦合元件(Charge CoupledDevice，CCD)或互补性氧化金属半导体(Complementary Metal-OxideSemiconductor，CMOS)，其置于欲拍摄物体于电子装置内部的成像位置，以进行影像的感测作业。值得注意的是，在一些实施例中，影像撷取单元可以是一双镜头相机，其可以同时地撷取一左影像与一右影像。左影像与右影像可以用来合成一3D影像。显示单元110可以显示相关附图与界面、与相关数据，如影像撷取单元持续撷取的预览影像、及拍照作业所撷取的影像等。提醒的是，预览影像是指影像撷取单元所撷取的影像并未实际储存至储存单元120中。值得注意的是，在一些实施例中，显示单元110可以是结合一触碰感应装置(未显示)的屏幕。触碰感应装置具有包括至少一维的感应器的触摸式表面，用以侦测输入工具，如手指或触控笔等在其表面上的接触与移动。换言之，使用者可以直接透过显示单元110输入相关数据。值得注意的是，影像撷取单元撷取的影像数据可以永久或暂时储存于储存单元120，其可以是依据深度信息的影像处理系统100的一内建记忆体或外接记忆卡。处理单元130可以控制依据深度信息的影像处理系统100的相关构件，且可以对于影像撷取单元持续撷取的预览影像、与/或拍照作业期间影像撷取单元所撷取的影像进行相关处理，以及执行本发明的依据深度信息的影像处理方法，其细节将于后进行说明。提醒的是，依据深度信息的影像处理系统100亦可以包括一对焦单元(图1中未显示)。处理单元130可以在拍照作业中控制对焦单元以进行物体的对焦作业。

图2显示依据本发明实施例的依据深度信息的影像处理方法。依据本发明实施例的依据深度信息的影像处理方法可以适用于一电子装置，如个人数字助理、智能手机、移动电话、移动上网装置、小笔电与全球定位系统装置或其他手持式装置等的移动装置。

如步骤S210，取得具有深度信息的至少一影像。值得注意的是，在一些实施例中，影像与相应的深度信息可以事先储存于电子装置之中。深度信息记录影像中个别像素所相应的深度值。在一些实施例中，电子装置可以具有一影像撷取单元，如一双镜头相机，其可以撷取一左影像与一右影像。深度信息可以依据左影像与右影像来计算。如步骤S220，提供至少一影像效果。值得注意的是，在一些实施例中，电子装置可以提供多个影像效果，且影像效果中的至少一者可以被选择来进行使用。注意的是，影像效果可以具有多个效果位准。举例来说，在一影像模糊效果中，以一第一效果位准实施影像模糊效果的一像素会比以一第二效果位准实施影像模糊效果的另一像素来的清楚。如步骤S230，依据影像的深度信息实施影像效果至影像，其中影像的个别像素根据相应个别像素的个别深度值被以各种效果位准实施此影像效果。值得注意的是，每一深度值可以对映至一特定效果位准。在一些实施例中，深度值与效果位准间的对映关系可以事先定义。在一些实施例中，一特定深度值可以先被设定为一既定效果位准，且其他深度值可以根据既定效果位准与他自己与特定深度值间的差来对映至特定的效果位准。

图3显示依据本发明另一实施例的依据深度信息的影像处理方法。依据本发明实施例的依据深度信息的影像处理方法可以适用于一电子装置，如个人数字助理、智能手机、移动电话、移动上网装置、小笔电与全球定位系统装置或其他手持式装置等的移动装置。

如步骤S310，取得具有深度信息的至少一影像。类似地，在一些实施例中，影像与相应的深度信息可以事先储存于电子装置之中。深度信息记录影像中个别像素所相应的深度值。在一些实施例中，电子装置可以具有一影像撷取单元，如一双镜头相机，其可以撷取一左影像与一右影像。深度信息可以依据左影像与右影像来计算。如步骤S320，影像被显示于电子装置的一显示单元中。如步骤S330，透过一使用者界面接收影像中一感兴趣区域的选择。值得注意的是，在一些实施例中，显示单元可以是一触控式显示单元，用以显示使用者界面。使用者可以直接使用一输入工具，如触控笔或手指来透过触控式显示单元选择感兴趣区域。当影像中的感兴趣区域选择之后，如步骤S340，由深度信息取得相应此选定的感兴趣区域的一第一深度值。注意的是，感兴趣区域包括至少一像素。第一深度值是对应至感兴趣区域中的此像素。如步骤S350，第一深度值被对映至一影像效果的一第一效果位准，且选定的感兴趣区域被以第一效果位准实施此影像效果。值得注意的是，在一些实施例中，电子装置可以提供多个影像效果，且影像效果中的至少一者可以被选择来进行使用。注意的是，影像效果可以具有多个效果位准。如步骤S360，由深度信息取得相应选定的感兴趣区域之外的至少一像素的一第二深度值。值得注意的是，在一些实施例中，第二深度值与第一深度值不同。如步骤S370，第二深度值被对映至影像效果的一第二效果位准，且此像素被以第二效果位准实施此影像效果。值得注意的是，在一些实施例中，第二效果位准与第一效果位准不同。注意的是，影像中个别像素的深度值可以由深度信息中取得，且影像效果的一相应效果位准可以依据此深度值来对映。接着，个别像素可以以对映的效果位准来实施此影像效果。举例来说，在一些实施例中，影像效果可以是一影像模糊效果，且以第一效果位准实施影像模糊效果的选定的感兴趣区域会比以第二效果位准实施影像模糊效果的像素来的清楚。在一些实施例中，影像效果可以是一影像灰阶效果，且以第一效果位准实施影像模糊效果的选定的感兴趣区域会比以第二效果位准实施影像模糊效果的像素来的灰色。类似地，每一深度值可以对映至一特定效果位准。在一些实施例中，深度值与效果位准间的对映关系可以事先定义。在一些实施例中，一特定深度值可以先被设定为一既定效果位准，且其他深度值可以根据既定效果位准与他自己与特定深度值间的差来对映至特定的效果位准。

图4显示依据本发明实施例的决定相应影像中除了感兴趣区域之外的一个别像素的一深度值的一效果位准的方法。在此实施例中，影像中被选择一感兴趣区域。

如步骤S410，由深度信息取得相应此选定的感兴趣区域的一第一深度值，且此第一深度值被对映至一影像效果的一既定效果位准。类似地，感兴趣区域包括至少一像素，且第一深度值是对应至感兴趣区域中的此像素。如步骤S420，计算第一深度值与相应影像中选定的感兴趣区域之外的至少一像素所相应的一第二深度值之间的差。接着，如步骤S430，根据既定效果位准与此差，第二深度值被对映至影像效果的一特定效果位准。值得注意的是，在一些实施例中，此差可以是一绝对值。在一例子中，位于一场景中心的一特定物件可以被选择为影像的感兴趣区域。在此影像中，在特定物件之前的一第一物件，具有由特定物件的深度值的一第一绝对差，且在特定物件之后的一第二物件，具有由特定物件的深度值的一第二绝对差。当第一绝对差等于第二绝对差时，影像中的第一物件与第二物件可以以相同的效果位准实施影像效果。

图5A中显示一撷取影像500的例子。影像500包括站在撷取影像500的一相机前面的一个人510，且背景是一建筑物520与一风景。图5B显示相应图5A中影像的一深度图，其中当颜色较深时表示深度值较大。如图5B所示，风景的深度值大于建筑物520的深度值，且建筑物520的深度值大于个人510的深度值。当一影像模糊效果被使用，且影像500中个人510被选择为感兴趣区域时，个人510将会清楚，接近个人510(感兴趣区域)的效果位准(模糊位准)将会比其他地区清楚，且风景背景被模糊，如图6A所示。当影像500中的风景背景被选择为感兴趣区域时，风景背景将会清楚，接近风景背景的效果位准(模糊位准)将会比其他地区清楚，且个人510被模糊，如图6B所示。注意的是，在图6A与图6B中，点的密度表示模糊位准，其中当点的密度高时模糊位准是高(模糊)，且当点的密度低时模糊位准是低(清楚)。值得注意的是，在一些实施例中，多个影像效果可以同时地根据相应的深度信息以各种效果位准实施至影像。

因此，透过本案的依据深度信息的影像处理方法及系统可以以各种效果位准实施至少一影像效果至具有深度信息的影像。使用者可以选择影像中的感兴趣区域，从而定义选定的感兴趣区域的一预期效果位准，且影像中其他区域/像素的效果位准可以自动地根据深度信息来决定，从而增加操作的便利性。

本发明的方法，或特定型态或其部份，可以以程序码的型态存在。程序码可以包含于实体媒体，如软盘、光盘片、硬盘、或是任何其他机器可读取(如计算机可读取)储存媒体，亦或不限于外在形式的计算机程序产品，其中，当程序码被机器，如计算机载入且执行时，此机器变成用以参与本发明的装置。程序码也可以透过一些传送媒体，如电线或电缆、光纤、或是任何传输型态进行传送，其中，当程序码被机器，如计算机接收、载入且执行时，此机器变成用以参与本发明的装置。当在一般用途处理单元实作时，程序码结合处理单元提供一操作类似于应用特定逻辑电路的独特装置。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟悉此项技艺者，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims (9)

1.一种依据深度信息的影像处理方法，其特征在于，适用于一电子装置，该方法包括下列步骤：

取得具有深度信息的至少一影像；

显示该影像于该电子装置的一显示单元中；

透过一使用者界面接收该影像中一感兴趣区域的选择；

由该深度信息取得相应选定的该感兴趣区域的一第一深度值；

由该深度信息取得相应选定的该感兴趣区域之外的至少一像素的一第二深度值，其中该第二深度值与该第一深度值不同；以及

对映该第一深度值至一影像效果的一第一效果位准，其中该影像效果具有多个效果位准；

对映该第二深度值至该影像效果的一第二效果位准，其中该第二效果位准与该第一效果位准不同；以及

依据该影像的该深度信息实施该影像效果至该影像，其中选定的该感兴趣区域被以该第一效果位准实施该影像效果，该感兴趣区域之外的该至少一像素被以该第二效果位准实施该影像效果。

2.根据权利要求1的依据深度信息的影像处理方法，其特征在于，该至少一影像包括一左影像与一右影像，且该深度信息是依据该左影像与该右影像来计算。

3.根据权利要求2的依据深度信息的影像处理方法，其特征在于，该左影像与该右影像是透过一双镜头相机所撷取。

4.根据权利要求1的依据深度信息的影像处理方法，其特征在于，该显示单元是一触控式显示单元，该使用者界面是显示于该触控式显示单元，且相应选定的该感兴趣区域的选择是透过该触控式显示单元接收。

5.根据权利要求1的依据深度信息的影像处理方法，其特征在于，还包括下列步骤：

计算该第一深度值与该第二深度值的差；以及

根据该第一效果位准与该差，对映该第二深度值至该影像效果的该第二效果位准。

6.根据权利要求1的依据深度信息的影像处理方法，其特征在于，该影像效果包括一影像模糊效果，且该影像中实施该第一效果位准的选定的该感兴趣区域比该影像中实施该第二效果位准的该像素清楚。

7.根据权利要求1的依据深度信息的影像处理方法，其特征在于，该影像效果包括一影像灰阶效果，且该影像中实施该第一效果位准的选定的该感兴趣区域比该影像中实施该第二效果位准的该像素灰色。

8.一种依据深度信息的影像处理系统，其特征在于，适用于一电子装置，该影像处理系统包括：

一储存单元，包括具有深度信息的至少一影像；

一显示单元；以及

一处理单元，用以显示该影像于该显示单元中，透过一使用者界面接收该影像中一感兴趣区域的选择，由该深度信息取得相应选定的该感兴趣区域的一第一深度值，由该深度信息取得相应选定的该感兴趣区域之外的至少一像素的一第二深度值，其中该第二深度值与该第一深度值不同，对映该第一深度值至一影像效果的一第一效果位准，其中该影像效果具有多个效果位准，对映该第二深度值至该影像效果的一第二效果位准，其中该第二效果位准与该第一效果位准不同，且依据该影像的该深度信息实施该影像效果至该影像，其中选定的该感兴趣区域被以该第一效果位准实施该影像效果，该感兴趣区域之外的该至少一像素被以该第二效果位准实施该影像效果。

9.根据权利要求8的依据深度信息的影像处理系统，其特征在于，该至少一影像包括一左影像与一右影像，且该深度信息是依据该左影像与该右影像来计算。