CN102780855B - 影像处理的方法与相关装置 - Google Patents

Abstract

本发明涉及一种影像处理的方法与相关装置，为一影像的各部分分别取得对应的三维深度值，并依据各部分对应的三维深度值而将影像的一部分撷取为一影像物件，使此影像物件可以和其他的影像物件合成。

Description

影像处理的方法与相关装置

技术领域

本发明是有关于一种影像处理的方法与相关装置，且特别是有关于一种依据影像三维深度值而由影像中分离出影像物件并进行应用的方法与相关装置。

背景技术

为增进静态及/或动态影像的品质、信息、内容与趣味，影像处理与合成已被广泛运用。举例而言，影像去背(backgroundremoving)就是一种常用的影像处理。影像去背的目的是将影像中重要的前景独立撷取为影像物件，使前景能和较不重要的背景分离。

在已知技术中，影像去背多以色度镶迭(chromakeying)技术来进行。在进行色度镶迭时，形成前景的主要物体会被放置于单色(蓝色或绿色)的背景下，让前景与单色背景一并被撷取至影像中。然后，经由影像后制，就可将颜色已知的单色背景去除，将前景的影像撷取为前景影像物件。然后，前景影像物件便可以和另行制作的背景影像迭加合成在一起，成为新的影像数据。另一已知影像去背技术则是依据前景与背景间的边缘及/或颜色差异来将前景影像物件从背景中分离出来。

然而，前述已知技术尚有应用上的缺点。若前景影像中有某些部分的颜色近似或相同于背景的颜色，就会在去背时被去除，使前景影像不完整。此外，若前景影像较为复杂，以及/或者和背景的边缘不明显，均会使已知技术难以从影像中正确分辨出前景影像物件。

发明内容

本发明提供一种依据三维深度值进行影像处理的技术，可利用三维深度值将一动态或静态影像的前景撷取为影像物件，以方便后续的影像处理，例如说是影像合成。

本发明的目的之一是提供一种影像处理的方法，包括：接收一影像，为影像的各部分分别取得对应的三维深度值，并依据影像各部分所对应的三维深度值而将该影像的一部分撷取为一影像物件(第一影像物件)。取得一第二影像物件后，进行一迭加处理，将第一影像物件与第二影像物件合成于一合成影像中。

一实施例中，可对第一影像物件及/或第二影像物件进行前处理，再于迭加处理时将前处理后的第一影像物件及/或前处理后的第二影像物件合成于合成影像中。前处理可以是对影像物件的缩放、调整其颜色、亮度、对比及/或锐利度，以及/或者调整其所对应的三维深度值及/或距离值。

迭加处理中包括一迭加优先权处理、一迭加覆盖区处理以及一迭加后处理。进行迭加优先权处理时，依据第一影像物件与第二影像物件所对应的三维深度值及/或距离值分别提供一对应的迭加顺序。进行迭加覆盖区处理时，依据第一影像物件与第二影像物件所对应的迭加顺序将第一影像物件与第二影像物件迭加合成至合成影像中。例如，若第一影像物件的距离值比第二影像物件的距离值更位于前方，可保留第一影像物件，将第二影像物件中与第一影像物件重迭的部分去除，以将第一影像物件迭合覆盖于第二影像物件之上。

进行迭加后处理时，针对第一影像物件与第二影像物件的迭加结果作细微的处理；举例而言，将第一、第二影像物件的迭合边缘作混色、抗锯齿(anti-aliasing)及/或羽化(feathering)处理，使两者迭合的影像看起来更自然。

第一及/或第二影像物件可由影像撷取而得。此影像可以是一三维影像，各部分分别对应一视差偏移量；依据影像各部分对应的视差偏移量，可为影像的各部分分别取得对应的三维深度值。

本发明的又一目的是提供一种影像处理的装置，包括一深度值模块、一分离模块、选择性设置的前处理模块与一迭加处理模块。深度值模块为一影像的各部分分别取得对应的三维深度值；分离模块依据影像各部分所对应的三维深度值而将影像的一部分撷取为一影像物件。前处理模块对影像物件进行前处理。迭加处理模块对影像物件进行迭加处理；其包括一迭加优先权处理模块、一迭加覆盖区处理模块与一迭加后处理模块，分别进行迭加优先权处理、迭加覆盖区处理与迭加后处理。

为了对本发明的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合附图，作详细说明如下：

附图说明

图1是依据本发明一实施例而以一摄影机摄取三维影像的示意图。

图2是依据本发明一实施例的影像处理装置。

图3是依据本发明一实施例而进行影像处理的示意图。

主要元件符号说明

10：装置

12、26：深度值模块

14：分离模块

16、28：前处理模块

18：迭加处理模块

20：迭加优先权处理模块

22：迭加覆盖区处理模块

24：迭加后处理模块

30：测距装置

Pi_A、Pi_B：影像数据

MS：摄影机

CL-CR：镜头

OB1-OB2：物体

IR1-IR2、IL1-IL2、I1-I2：成像

PR-PL、PRo-PLo、Po：影像

Y1-Y2、Ys1-Ys2：距离值

Yob1-Yob2：三维深度值

X1-X2：视差偏移量

Iob1、Iob2：影像物件

Iovlp：重迭部分

具体实施方式

由于左眼与右眼看到同一个物件时，左眼与右眼的呈现的影像会有些许不同，而人体的大脑即根据双眼看到的影像来建立三维(3D)影像。请参考图1A，其依据本发明一实施例而以一摄影机MS摄取一三维影像的示意图。摄影机MS设有左镜头CL与右镜头CR；对于一个与摄影机MS相隔距离值Y1的物体OB1，左镜头CL将物体OB1撷取为左影像PL中的成像IL1，右镜头CR则将物体OB1撷取为右影像PR中的成像IR1。根据左影像PL与右影像PR，可形成一三维影像，其中，左影像PL与右影像PR之成像IL1与成像IR1间有一视差偏移量X1。当要播放三维影像时，左影像PL与右影像PR被分别呈现至观赏者的左右眼，透过成像IL1与IR1间的视差偏移量X1，即可使观赏者看到物体OB1的三维影像。

类似地，对一个与摄影机MS相隔距离值Y2的物体OB2而言，左镜头CL将物体OB2撷取为左影像PL中的成像IL2，右镜头CR则将物体OB1撷取为右影像PR中的成像IR2；左影像PL与右影像PR之成像IL2与IR2间有一视差偏移量X2，如图1B所示。应特别注意的是，相较于物体OB1，物体OB2与摄影机MS距离较远(即距离值Y2大于Y1)，则成像IL2与IR2间的视差偏移量X2小于成像IL1与IR1间的视差偏移量X1。

根据上述的特性，发展出一种三维深度值(3Ddepth)的概念。由图1A与图1B可知，比对形成三维影像的左影像IL与右影像IR各部分的视差偏移量，就可得知物体与摄影机MS间的距离。假设图1A的左影像PL被定义为一参考影像(referenceimage)，则左影像PL与右影像PR中物体OB1之成像IL1与IR1间的视差偏移量X1的正值，即为成像IL1与IR1的三维深度值。同理，在图1B中，当左影像PL同样被定义为一参考影像，左影像PL与右影像PR中物体OB2的成像IL2与IR2间的视差偏移量X2的正值，即为成像IL2与IR2的三维深度值。反之，在图1A及图1B中，若定义右影像PR为参考影像，则成像IL1与IR1的三维深度值即为视差偏移量X1的负值，成像IL2与IR2的三维深度值则为视差偏移量X2的负值。如图1C所示，在左右影像IL与IR间比对出成像IL1与IR1的三维深度值，就可得知物体OB1与摄影机MS之间的距离值Y1。同理，比对左右影像IL与IR中的成像IL2与IR2，就可由成像IL2与IR2的三维深度值得知物体OB2与摄影机MS间的距离值Y2。换言之，依据三维深度值，可得知物体OB1与摄影机MS之间距离较近，物体OB2与摄影机MS间距离较远。

依据图1C所示三维深度值的原理，即可将影像PL与PR中物体OB1的成像和物体OB2的成像区分为前景与后景。详细来说，依据三维深度值，可得知物体OB1与摄影机MS之间距离较近，物体OB2与摄影机MS间距离较远，而可判断物体OB1的成像IL1与IR1为前景，物体OB2的成像IL2与IR2为后景。据此，即可将物体OB1的成像IL1与IR1由影像PL与PR中撷取出来成为前景影像物件，而达成影像去背景的功能。

请参考图2与图3；图2为一依据本发明一实施例的装置10的功能方块图，图3是一依据本发明一实施例的装置10的运作示意图。装置10为一影像处理的装置，设有一深度值模块12、一分离模块14、前处理模块16与28，与一迭加处理模块18。迭加处理模块18中则包括一迭加优先权处理模块20、一迭加覆盖区处理模块22与一迭加后处理模块24。

在装置10中，深度值模块12接收一影像数据Pi_A的输入，影像数据Pi_A可包括动态或静态、二维或三维的影像；深度值模块12会为影像的各部分分别取得对应的三维深度值与距离值，而分离模块14就可依据影像各部分所对应的三维深度值与距离值而将影像的一部分撷取为一影像物件。以图3为例，影像数据Pi_A可包括由左影像PL与右影像PR形成的三维影像，深度值模块12会针对此三维影像中各部分取得对应的三维深度值，以为各部分提供距离值，并使分离模块14得以依据三维深度值及距离值而将前景区分出来，例如说是依据图1C的原理来将前景的成像IL1与IR1撷取为影像物件Iob1；影像物件Iob1对应于距离值Yob1，此距离值You1就关联于距离值Y1。

除了依据图1C的原理，由摄影机MS分别摄取左影像PL及右影像PR，以取得物体OB1及OB2的三维深度值外，于本发明另一实施例中，若影像数据Pi_A本身就关联于一测距装置所侦测的距离值，深度值模块12也可利用测距装置侦测的距离值辅助产生三维深度值，使得本发明得据以分离该影像数据Pi_A中之前景。以图3举例说明，在一实施例中，当物体OB1与OB2的xy平面分布位置被撷取为影像数据Pi_A中的成像I1与I2时，测距装置30亦一并测量出物体OB1与OB2在平面法线(即z轴)的距离值Ys1与Ys2，使成像I1与I2分别关联于距离值Ys1与Ys2。而深度值模块12就可依据距离值Ys1与Ys2订定成像I1与I2的三维深度值，而分离模块14便可据此将前景的成像I1分离出来，作为影像物件Iob1。测距装置30可以是激光、红外线、声波、超音波及/或电磁波的测距装置。

在另一实施例中，影像数据Pi_A可以是虚拟三维模型经由电脑绘图的算图(rendering)所得到的，电脑绘图亦可一并提供三维模型的距离值(例如深度对应图，depthmap)或者关联于距离值的参数，而深度值模块12就可以利用电脑绘图所提供的距离值或者关联于距离值的参数辅助产生三维深度值，使分离模块14可将影像数据Pi_A中的前景撷取为独立的影像物件。

在分离模块14撷取出影像物件后，本发明实施例可透过前处理模块16对影像物件进行前处理。前处理可以是对影像物件的缩放、调整其颜色、亮度、对比及/或锐利度，以及/或者调整其所对应的三维深度值及/或距离值。

类似于深度值模块12的运作，本发明实施例亦可包含深度值模块26为另一影像数据Pi_B提供对应的距离值。影像数据Pi_B可以是一被迭合的影像物件；以图3举例说明，影像数据Pi_B可以是影像物件Iob2，对应于距离值Yob2，而前处理模块28可对其进行前处理，类似于前处理模块16对影像物件Iob1进行的前处理。

取得影像数据Pi_A、Pi_B的影像物件与对应的距离值后，迭加处理模块18便可在迭加参数的控制下进行影像物件的迭加处理，将影像数据Pi_A与Pi_B的影像物件合成，以产生一合成影像；此合成影像可以是二维或三维、静态或动态的影像。进行迭加处理时，迭加处理模块18中的迭加优先权处理模块20进行迭加优先权处理，依据各影像物件所对应的三维深度值及距离值分别提供一对应的迭加顺序。迭加覆盖区处理模块22进行迭加覆盖区处理，依据各影像物件对应的迭加顺序将各影像物件迭加合成至合成影像中。迭加后处理模块24进行迭加后处理，将迭加覆盖区处理模块22的迭加结果作细微的处理，例如说是将影像物件的迭合边缘作混色、抗锯齿及/或羽化处理，使合成影像看起来更自然。

以图3为例来说明迭加处理的运作。在得到影像物件Iob1、Iob2各自的三维深度值与对应距离值Yob1与Yob2后，迭加优先权处理模块20会依据该些三维深度值与距离值订定迭加的优先权与顺序；例如，比较影像物件Iob1的三维深度值及距离值Yob1与影像物件Iob2的三维深度值及距离值Yob2，可得知影像物件lob1较影像物件lob2更位于前方，故影像物件Iob1的迭加顺序优先于影像物件Iob2。当迭加覆盖区处理模块22将影像物件Iob1与Iob2迭加至一二维的合成影像Po时，迭加顺序优先的影像物件Iob1会被完整保留，而在迭加顺序较低的影像物件Iob2中，若迭加的影像物件Iob1与被迭加的影像物件Iob2有部分重迭(如重迭部分Iovlp)，便可将影像物件Iob2中重迭的部分去除，以将影像物件Iob1迭合覆盖于影像物件Iob2之上。

同理，影像迭合的输出也可以是三维影像，例如说是由左右影像PRo与PLo合成的三维影像。迭加处理模块18可为左右影像PRo与PLo分别进行迭加覆盖区处理与迭加后处理。在本发明的一种实施例中，左影像PRo中的影像物件Iob1来自左影像PL中的成像IL1，右影像PLo中的影像物件Iob1则由右影像PR中的成像IR1形成。同理，若另一影像数据Pi_B亦包括三维影像的左右影像，则左影像PRo中的影像物件Iob2可由影像数据Pi_B的左影像形成，右影像PLo中的影像物件Iob2则由影像数据Pi_B的右影像形成。

在其他实施例中，影像数据Pi_B可为二维影像，则此情况下，若欲输出影像为二维影像，影像物件Iob1可以直接迭合覆盖在二维影像元件Iob2上，不需考虑其三维深度值及距离值Yob2。因此于此例中深度值模块26是选择性设置的，其可被省略。在另一实施例中，影像数据Pi_B亦为二维影像，但欲输出影像为三维影像，则可赋予影像元件Iob2一预设的三维深度值，并以影像数据Pi_B作为三维影像的左右影像，用以与其他影像元件迭合，以形成三维的输出影像。该三维深度值的赋予，可参考影像数据Pi_A的三维深度值，亦可令使用者输入。详言之，假设于此例中三维深度值越大，表示该影像元件被置于越前方，则当影像数据Pi_B作为一背景使用时，其所对应的影像物件Iob2被赋予一小于所有其他影像元件所对应的三维深度值的值，作为其三维深度值。或者，使用者亦可手动输入影像数据Pi_B的三维深度值，以调整影像元件Iob2与影像元件Iob1于输出三维影像上的相对距离。在另一实施例中，影像数据Pi_A及/或Pi_B亦可以是动态影像。动态影像由多个图框形成，装置10可以针对每一图框的影像进行影像物件的撷取与迭加。

应特别注意的是，二影像数据Pi_A及影像数据Pi_B的迭合仅为一例，本发明并不限于处理二笔影像数据，而可同时处理及迭合多笔不同类型的影像数据，以输出各种不同类型的影像数据。

在装置10中，前处理模块16与28可依照影像物件迭加合成的需求调整影像物件。举例而言，前处理模块16可缩短距离值Yob1，并对应地将影像物件Iob1放大，在合成的影像中使影像物件Iob1的位置更向前。以及/或者，前处理模块16也将影像物件Iob1的亮度增加以突显影像物件Iob1。相对地，前处理模块28则可将影像物件Iob2的亮度降低，将其模糊化以减少其锐利度，使合成影像呈现出浅景深的效果。应注意前处理模块16与28是选择性设置的，前处理模块16及/或28可以省略。

装置10中的各模块可以用硬件、固件及/或软件来实现。深度值模块12与26可以是同一模块，前处理模块16与28亦可以是同一模块。

本发明的应用可举例说明如下。本发明可应用于电影的拍摄，影像数据Pi_A与Pi_B可以是分别拍摄的，再运用装置10的运作原理迭加合成。本发明亦可应用于照片的影像处理与影像编辑。再者，本发明亦可运用于视讯电话、视讯会议及/或网路摄影播放；举例而言，可用三维摄影机MS(图1)拍摄视讯参与者以形成影像数据Pi_A，并利用本发明技术将参与者的影像与背景分离，再与另一影像数据Pi_B的背景迭加合成。本发明还可运用于旅游业、多媒体应用、体育、教育事业、娱乐及或游戏。例如说，以三维摄影机MS拍摄使用者，将使用者影像由背景分离出来，再与游戏的虚拟背景迭加合成。

总结来说，相较于已知技术，本发明运用三维深度值来进行前景与背景的分离，使前景能被独立运用，使影像处理更精确、更方便，也使影像内容更为丰富多元。

综上所述，虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当由权利要求书界定为准。

Claims (12)

1.一种影像处理的方法，包含：

接收一第一影像及一第二影像，该第一影像包含一第一左眼影像以及一第一右眼影像，该第二影像包含一第二左眼影像以及一第二右眼影像；

为该第一左眼影像以及该第一右眼影像的至少一部分取得至少一第一视差偏移量；

根据该至少一第一视差偏移量，将该第一影像中具有相同的一三维深度值的一部分撷取为一第一影像物件，以产生一第一迭加物件；

为该第二左眼影像以及该第二右眼影像的至少一部分取得至少一第二视差偏移量；

根据该至少一第二视差偏移量，将该第二影像中的具有相同的另一三维深度值的一部分撷取为一第二影像物件，以产生一第二迭加物件；以及

将该第一迭加物件与该第二迭加物件进行一迭加处理以产生一合成影像。

2.如权利要求1所述的方法，其特征在于，该第一左眼影像以及该第一右眼影像各包含相同的多物件；以及

为该第一左眼影像以及该第一右眼影像的该至少一部分取得该至少一第一视差偏移量的步骤分别计算每一该多物件于该第一左眼影像以及该第一右眼影像之间的多至少一位移，以作为相关于该多物件的多第一视差偏移量；其中，该第一影像的每一部分相关于该多物件之一。

3.如权利要求1所述的方法，其特征在于，将该第一影像中具有相同的三维深度值的该部分撷取为该第一影像物件，以产生该第一迭加物件的步骤包含：

对该第一影像物件进行一前处理，以产生该第一迭加物件；其中，该前处理包括调整该第一影像物件的大小、颜色、亮度、锐利度或者三维深度值。

4.如权利要求1所述的方法，其特征在于，将该第二影像中的具有相同的另一三维深度值的该部分撷取为该第二影像物件，以产生该第二迭加物件的步骤包含：

对该第二影像物件进行一前处理，以产生该第二迭加物件；其中，该前处理包括调整该第二影像物件的大小、颜色、亮度、锐利度或者三维深度值。

5.如权利要求1所述的方法，其特征在于，该迭加处理包含：

依据该第一影像物件与该第二影像物件所对应的三维深度值，分别对该第一迭加物件与该第二迭加物件提供对应的优先权重，相关于一迭加顺序；以及

进行一迭加覆盖区处理，依据该迭加顺序将该第一迭加物件与该第二迭加物件迭加合成至该合成影像中。

6.如权利要求1所述的方法，其特征在于，该迭加处理还包含对该合成影像进行一迭加后处理，包含对该第一迭加物件与该第二迭加物件的多边缘进行混色、抗锯齿及羽化处理。

7.一种影像处理的装置，包含：

一第一深度值模块，用于为一第一影像的一第一左眼影像以及一第一右眼影像的至少一部分取得对应的至少一第一视差偏移量；

一第一影像处理模块，用于依据该第一视差偏移量，将该第一影像中具有相同的一三维深度值的一部分撷取为一第一影像物件，以产生一第一迭加物件；

一第二深度值模块，用于为一第二影像的一第二左眼影像以及一第二右眼影像的至少一部分取得对应的至少一第二视差偏移量

一第二影像处理模块，用于根据该至少一第二视差偏移量，将该第二影像中的具有相同的另一三维深度值的一部分撷取为一第二影像物件，以产生一第二迭加物件；以及

一迭加处理模块，将该第一迭加物件与该第二迭加物件进行一迭加处理以产生一合成影像。

8.如权利要求7所述的装置，其特征在于，该第一左眼影像以及该第一右眼影像各包含相同的多物件；以及

该第一深度值模块分别计算每一该多物件于该第一左眼影像以及该第一右眼影像之间的多至少一位移，以作为相关于该多物件的多第一视差偏移量；其中，该第一影像的每一部分相关于该多物件之一。

9.如权利要求7所述的装置，其特征在于，该第一影像处理模块包含：

一前处理模块，用以对该第一影像物件进行一前处理，以产生该第一迭加物件；其中，该前处理包括调整该第一影像物件的大小、颜色、亮度、锐利度或者三维深度值。

10.如权利要求7所述的装置，其特征在于，该第二影像处理模块包含：

一前处理模块，用以对该第二影像物件进行一前处理，以产生该第二迭加物件；其中，该前处理包括调整该第二影像物件的大小、颜色、亮度、锐利度或者三维深度值。

11.如权利要求7所述的装置，其特征在于，该迭加处理模块包含：

一迭加优先权处理模块，用以依据该第一影像物件与该第二影像物件所对应的三维深度值，分别对该第一迭加物件与该第二迭加物件提供对应的优先权重，相关于一迭加顺序；以及

一迭加覆盖区处理模块，用以依据该迭加顺序将该第一迭加物件与该第二迭加物件迭加合成至该合成影像中。

12.如权利要求7所述的装置，其特征在于，该迭加处理模块还包含：

一迭加后处理模块，用以对该合成影像进行一迭加后处理，包含对该第一迭加物件与该第二迭加物件的多边缘进行混色、抗锯齿及羽化处理。