CN111225137B

CN111225137B - 影像合成方法

Info

Publication number: CN111225137B
Application number: CN201811510494.2A
Authority: CN
Inventors: 张耀宗
Original assignee: Wistron Corp
Current assignee: Wistron Corp
Priority date: 2018-11-26
Filing date: 2018-12-11
Publication date: 2021-05-18
Anticipated expiration: 2038-12-11
Also published as: CN111225137A; US10930016B2; TWI690898B; TW202020804A; US20210142518A1; US11367221B2; US20200167962A1

Abstract

一种影像合成方法，包含以参考小光圈摄取第一影像；以参考大光圈摄取第二影像；根据第一影像的相应像素与相邻像素以及第二影像的相应像素，以得到参考色彩权重；根据所得到的参考色彩权重，查询关系表以得到相应距离；根据所得到的相应距离及所期望的光圈，查询关系表以得到相应色彩权重；及根据相应色彩权重，对第一影像的相应像素及其相邻像素的色彩值作加权运算，以得到合成影像的相应像素的色彩值。

Description

影像合成方法

技术领域

本发明涉及一种影像处理，特别涉及一种影像合成系统与方法。

背景技术

景深(depth of field,DOF)是指相机可以清楚成像的距离范围，离开此范围的物件则会逐渐模糊。景深可通过调整光圈来决定。N(光圈值)＝f(焦距)/D(光圈直径)，也可表示为D＝f/N，一般光圈值N可为1、1.4、2、2.8、4、5.6、8、11等。缩小光圈(或者增加光圈值)会增加景深；相反之，增大光圈(或者减小光圈值)则会减少景深。例如，光圈值为4的相应光圈小于光圈值为2的相应光圈，但是前者的相应景深则大于后者的相应景深。

当拍摄远处的风景时，一般会使用较小光圈以得到较大的景深。当拍摄近处的人物时，则会使用较大光圈以得到较小的景深。如此需不断修正光圈，才能达到预想的效果，因此对于一般使用者会造成不便利性。浅景深效果可通过软件后制方式来得到，但是景深效果通常不够真实。

因此亟需提出一种新颖的机制，以改善传统影像拍摄的诸多缺点。

发明内容

鉴于上述，本发明实施例的目的之一在于提出一种影像合成方法，用以实现不同景深的效果。

根据本发明实施例之一，影像合成方法包含提供关系表，其记载距离、光圈与色彩权重；以参考小光圈摄取第一影像；以参考大光圈摄取第二影像；根据第一影像的相应像素与相邻像素的色彩值以及第二影像的相应像素的色彩值，以得到参考色彩权重；根据所得到的参考色彩权重，查询关系表以得到相应距离；根据所得到的相应距离及所期望的光圈，查询关系表以得到相应色彩权重；及根据相应色彩权重，对第一影像的相应像素及其相邻像素的色彩值作加权运算，以得到合成影像的相应像素的色彩值。

根据本发明另一实施例，影像合成方法包含以第一光圈摄取第一影像；以第二光圈摄取第二影像，其中第二光圈大于第一光圈；根据第一影像与第二影像以得到相应像素的色差；根据色差与第一影像的相邻像素，以得到相邻像素色彩权重；及提供相邻像素色彩权重与深度值的关系，并根据所得到的相邻像素色彩权重及该关系，以得到相应深度值。

附图说明

图1显示本发明第一实施例的影像合成方法的流程图。

图2A显示本发明实施例的单镜头影像系统的系统方框图。

图2B显示本发明实施例的双镜头影像系统的系统方框图。

图3A与图3B例示不同距离的相应成像范围。

图4A、图4B、图4C与图4D例示在大光圈底下，每个离开对焦点的像素Pij对相邻像素的影响的各种情形。

图4E例示像素及其相邻的像素。

图5例示本发明实施例的影像合成方法所建立的距离、光圈与色彩权重的关系表。

图6显示本发明第一实施例的影像合成方法的流程图。

图7显示本发明第二实施例的影像合成方法的流程图。

图8例示第一影像的相应像素与第二影像的相应像素。

图9例示相邻像素色彩权重与深度值的关系曲线。

图10显示相机成像示意图，其中例示物体所在位置与焦距所在位置的相对位置对其成像的影响。

图11显示相机成像示意图，其中例示光圈大小对一物体成像的影响。

图12显示相机成像示意图，其中例示在同一光圈下物体所在位置对成像的影响。

符号说明

100 影像合成方法

11 以基准小光圈摄取第一基准影像

12 以基准大光圈摄取第二基准影像

13 建立距离、光圈与色彩权重的关系表

14 以第三光圈摄取第三基准影像

15 建立距离、光圈与色彩权重的关系表

16 判断是否已达预设数量

200A 单镜头影像系统

200B 双镜头影像系统

201 影像摄取装置

201A 第一影像摄取装置

201B 第二影像摄取装置

202 处理器

203 光圈控制装置

203A 第一光圈控制装置

203B 第二光圈控制装置

204 存储单元

600 影像合成方法

61 以参考小光圈摄取第一影像

62 以参考大光圈摄取第二影像

63 得到参考色彩权重

64 根据参考色彩权重查表以得到相应距离

65 根据期望光圈及相关距离查表以得到相应色彩权重

66 根据相应色彩权重以得到合成影像

700 影像合成方法

71 以第一光圈摄取第一影像

72 以第二光圈摄取第二影像

73 得到相应像素的色差

74 得到相邻像素色彩权重

75 根据相邻像素色彩权重以得到深度值

P_i,j 像素

p_i-1,j-1～p_i+1,j+1 像素

Z1～Z4 距离

A～F 光圈

N1～N3 色彩权重

P1 第一影像

P2 第二影像

P1_i,j 像素

P2_i,j 像素

L、M、S 光圈大小

PA 影像

PB 影像

PC 影像

PD 影像

具体实施方式

本发明在于结合两张不同光圈的景深照片，利用影像处理技术产生另外光圈下不同的景深效果的照片。依据本发明的一实施例，其技术如下：1.利用不同光圈大小，连续拍摄两张不同光圈(景深)的照片，或同时拍摄两张不同光圈的照片。2.得到两张景深效果不同的照片，一张小光圈(大景深)，一张大光圈(小景深)。3.依据两张照片，得出对应像素的色差，色差越小者，表示此像素(Pixel)于对焦景深内，越接近影像的对焦处，因此虽于大光圈下，影像受旁边像素影响较小。色差越大者，表示此像素于对焦景深外，越远离影像的对焦处，因此于大光圈下，影像受旁边像素影响较大。当然，若是此像素与相邻像素的颜色差距越大，所造成的色差也越大，若是此像素与相邻像素的颜色差距较小，所造成的色差也较小，所以知道色差外，我们再根据相邻像素色彩信息，可以得出相邻像素影响程度，根据此信息，可以对此像素做影像处理，实现不同光圈(景深范围)的效果，其处理装置及方法将于后说明。

图1显示本发明第一实施例的影像合成方法100的流程图，用以建立关系表。本实施例的影像合成方法100可使用单镜头影像系统200A或双镜头影像系统200B来执行。图2A显示本发明实施例的单镜头影像系统200A的系统方框图，图2B显示本发明实施例的双镜头影像系统200B的系统方框图。

如图2A所示，单镜头影像系统200A可包含影像摄取装置201、处理器202、光圈控制装置203及存储单元204。影像摄取装置201可包含二维相机，具有可变光圈，用以摄取二维影像。在一例子中，影像摄取装置201设于移动装置(例如移动电话)内。此外，影像摄取装置201还可包含快门、闪光或/且曝光补偿机制，用以获取清晰影像。处理器202执行控制程序，通过光圈控制装置203以调整影像摄取装置201的光圈大小。此外，处理器202接收影像摄取装置201所摄取的多个影像并进行影像处理。存储单元204(例如动态随机存取存储器或静态随机存取存储器)存储影像摄取装置201所摄取的多个影像、处理器202所执行的控制程序及处理后的影像。

如图2B所示，双镜头影像系统200B可包含第一影像摄取装置201A、第二影像摄取装置201B、处理器202、第一光圈控制装置203A、第二光圈控制装置203B及存储单元204。第一影像摄取装置201A可包含二维相机，用以摄取影像。类似的情形，第二影像摄取装置201B可包含二维相机，用以摄取影像。在一例子中，第一影像摄取装置201A与第二影像摄取装置201B设于移动装置(例如移动电话)内。此外，第一影像摄取装置201A或第二影像摄取装置201B还可包含快门、闪光或/且曝光补偿机制，用以获取清晰影像。处理器202执行控制程序，通过第一光圈控制装置203A、第二光圈控制装置203B以分别调整第一影像摄取装置201A、第二影像摄取装置201B的光圈大小。此外，处理器202接收第一影像摄取装置201A、第二影像摄取装置201B所摄取的影像并进行影像处理。存储单元204(例如动态随机存取存储器或静态随机存取存储器)存储第一影像摄取装置201A、第二影像摄取装置201B所摄取的影像以及处理器202所执行的控制程序及处理后的影像。在一例子中，第一影像摄取装置201A与第二影像摄取装置201B具有固定但相异的光圈。因此，双镜头影像系统200B可省略第一光圈控制装置203A与第二光圈控制装置203B。

如图1所示的影像合成方法100，于步骤11，以基准小光圈(例如光圈值为11)摄取第一基准影像，且于步骤12，以基准大光圈(例如光圈值为4)摄取第二基准影像。其中，基准小光圈的光圈尺寸小于基准大光圈的光圈尺寸。在一实施例中，可使用图2A所示的单镜头影像系统200A连续执行步骤11与步骤12，但顺序不限于图1所示。在另一实施例中，可使用图2B所示的双镜头影像系统200B同时执行步骤11与步骤12。

接着，于步骤13，根据第一基准影像与第二基准影像的多个像素位置，建立距离、光圈与色彩权重的关系表。在本实施例中，根据第一基准影像与第二基准影像的同一位置的像素的色差，以表示与焦点的距离。当色差愈小，则愈接近焦点(亦即距离愈近)；反之，则愈远离焦点(亦即距离愈远)。

请参考图10、图11及图12及其相关说明，其中说明了相机成像的原理。由图10、图11及图12及其相关说明可知，若物体在焦距处其成像范围仅会涵盖一个像素的话，则当物体在焦距之外时其成像范围会较大而可能会涵盖超过一个像素，且当距离愈远(亦即愈远离焦点)时，则成像范围会涵盖到相邻的像素就愈广。图3A例示当距离近而接近焦点时，成像范围仅涵盖一个像素P_i,j(其中i,j代表像素的位置坐标)，形成清晰的影像，即第一基准影像。图3B例示当距离远而远离焦点时，成像范围涵盖到像素P_i,j的相邻像素，形成模糊的影像，即第二基准影像。

当使用两张照片P1及P2分别当作第一基准影像与第二基准影像，且其中的对应像素若是分别以P1ij与P2ij表示时，其色差是指两者颜色差距，可以用各种不同的方式来界定，兹说明如下。在一实施例中，第一基准影像的像素P1_i,j与第二基准影像的像素P2_i,j的色差Δ(P1_i,j,P2_i,j)可表示如下：

其中，R1_i,j,G1_i,j,B1_i,j分别为第一基准影像的像素P1_i,j的红色值、绿色值、蓝色值，R2_i,j,G2_i,j,B2_i,j分别为第二基准影像的像素P2_i,j的红色值、绿色值、蓝色值，N代表补偿值。

在一实施例中，若采用光圈固定模式，第一基准影像与第二基准影像于摄取时的快门与感光度相同，则前述补偿值N表示基准大光圈与基准小光圈的入光量的比值。补偿值N可表示为第二基准影像的光圈面积与第一基准影像的光圈面积的比值，亦即N＝(第二基准影像的光圈面积/第一基准影像的光圈面积)。在另一实施例中，若采用光圈优先模式，第一基准影像与第二基准影像于摄取时的快门与感光度会作相应调整，则补偿值N可设为1，亦即此时不需另作补偿。

在一实施例中，补偿值N可表示为第二基准影像的亮度平均值LP2与第一基准影像的亮度平均值LP1的比值，亦即N＝LP2/LP1，LP2与LP1分别表示如下：

其中R1_ave、G1_ave、B1_ave、R2_ave、G2_ave、B2_ave分别代表相应原色(primary color)C的亮度平均值，可表示如下：

C_k＝R1_k、G1_k、B1_k、R2_k、G2_k、B2_k，n表示基准影像中的像素个数。

在另一实施例中，根据第一基准影像与第二基准影像同一位置的像素的色差比(而非色差)，以表示距离。色差比可定义为第一基准影像的像素P1_i,j与第二基准影像的像素P2_i,j的色差Δ(P1_i,j,P2_i,j)与第一基准影像的像素P1_i,j的亮度LP1_i,j的比值，亦即色差比＝Δ(P1_i,j,P2_i,j)/(LP1_i,j)，其中像素P1_i,j的亮度LP1_i,j为个别R1_i,j、G1_i,j、B1_i,j颜色亮度的平方和开方值，可表示如下：

在又一实施例中，另一种色差比定义可以是个别R、G、B颜色的色差比的平方和开方值，可表示如下：

在又一实施例中，是考量个别原色的色差，可表示如下式，其中N为光圈面积补偿值；而当于再一实施例中而不考虑因光圈造成亮度差异时，则可将其中的补偿值N设为1：

R_i,j色差＝R1_i,j-R2_i,j/N

G_i,j色差＝G1_i,j-G2_i,j/N

B_i,j色差＝B1_i,j-B2_i,j/N

由于造成颜色差异原因包括光圈、离对焦点距离、相邻像素色彩等的关系，因此要产生不同光圈的新照片，最重要的是需要知道相邻像素色彩影响权重，若能得出影响权重，就能产生新光圈下的照片。

此外，色差比越大，表示此像素受旁边像素影响越大，同时也是表示此像素的颜色影响相邻像素颜色的比重也越高，因此可得如下结论：(1)同一像素，光圈越大，此像素受相邻像素影响越大，色差及/或色差比也越大；(2)同一像素，离对焦点越远，此像素受相邻像素影响越大，色差及/或色差比也越大；(3)同一像素，与相邻像素色彩差异越大，色差及/或色差比也越大。

再者，当光圈值越小，则光圈直径越大，而此像素受旁边像素影响越大，同时也表示此像素的颜色影响相邻像素颜色的比重也越高；当光圈值越大，则光圈直径越小，而此像素受旁边像素影响越小，同时也表示此像素的颜色影响相邻像素颜色的比重也越低。

一影像的像素i,j在靠近对焦点时，因为其对应影像的点其光皆聚焦于此像素上，并未影响相邻像素的色彩，且相对地，影像邻近此像素的点对此像素也没有影响。同时，这也表示在小光圈下，每一个像素的颜色没有受到邻近像素影响，亦即，在小光圈时，Pij＝pij*1，其中Pij表示像素ij的色彩信息，pij表示在小光圈下的像素ij的色彩信息。

但是，在大光圈底下，每个像素受其相邻像素影响会较大。在大光圈时，像素Pij可能为下列各种情形，视其靠近或远离对焦处而定。图4A、图4B、图4C与图4D例示在大光圈底下，每个离开对焦点的像素Pij对相邻像素的影响的各种情形，如其中PA，PB，PC，PD等图所示。

图4A中PA影像表示像素Pij靠近对焦点，没有影响相邻像素，也未受相邻像素影响。Pij＝pij*N，其中N＝大光圈与小光圈的亮度比。

图4B中PB影像表示像素Pij离开对焦点，有影响相邻像素，同样也受相邻像素影响。Pij＝(pi-1,j+pi+1,j+pi,j-1+pi,j+1)*0.1N+pij*0.6N，其中0.1N，0.6N只是一种因离开对焦处时造成颜色影响的权重比率描述，也可能是另外的权重值，可利用实验取得。而各小光圈像素对Pij权重比率总合＝(4)*0.1N+(1)*0.6N＝100％N＝N，亦即等于大光圈与小光圈的亮度比。换句话说，在不考虑因为大光圈与小光圈的亮度比的情况下，权重比率总合等于1。

图4C中PC影像表示像素Pij更远离对焦点，更影响相邻像素，同样也更受相邻像素影响。Pij＝(pi-1,j+pi+1,j+pi,j-1+pi,j+1)*0.13N+(pi-1,j-1+pi-1,j+1+pi+1,j-1+pi+1,j+1)*0.05N+pij*0.28N，其中0.13N，0.05N，0.28N是一种因远离对焦处时造成颜色影响的一种权重比率描述，也可能是另外的权重值，可利用实验取得。而各小光圈像素对Pij权重比率总合＝(4)*0.13N+(4)*0.05N+(1)*0.28N＝100％N＝N，亦即等于大光圈与小光圈的亮度比。而在不考虑因为大光圈与小光圈的亮度比的情况下，权重比率总合等于1。

图4D中PD影像表示像素Pij又更远离对焦点，又更影响相邻像素，同样也又更受相邻像素影响。Pij＝(pi-1,j+pi+1,j+pi,j-1+pi,j+1)*0.14N+(pi-1,j-1+pi-1,j+1+pi+1,j-1+pi+1,j+1)*0.06N+pij*0.20N，其中0.14N，0.06N，0.20N是另一种因远离对焦处时造成颜色影响的一种权重比率描述，也可能是另外的权重值，可利用实验取得。而各小光圈像素对Pij权重比率总合＝(4)*0.14N+(4)*0.06N+(1)*0.20N＝100％N＝N，亦即等于大光圈与小光圈的亮度比。而在不考虑因为大光圈与小光圈的亮度比的情况下，权重比率总合等于1。

图4E例示像素p_i,j及其相邻的像素。由上述可知，在一实施例中，若以p_i,j表示第一基准影像的像素(i,j)的色彩值，则第二基准影像的像素(i,j)的色彩值P_i,j可表示为在第一基准影像中的相应像素(i,j)及其相邻像素(p_i-1,j),(p_i+1,j),(p_i,j-1),(p_i,j+1),(p_i-1,j-1),(p_i-1,j+1),(p_i+1,j-1),(p_i+1,j+1)的加权和(weighted sum)，可表示如下：

P_i,j＝p_i,j*N1+(p_i-1,j+p_i+1,j+p_i,j-1+p_i,j+1)*N2+(p_i-1,j-1+p_i-1,j+1+p_i+1,j-1+p_i+1,j+1)*N3(1)

其中N1、N2及N3代表色彩权重。而各小光圈像素对Pij权重比率总合＝N1+N2+N3＝100％N＝N，亦即等于大光圈与小光圈的亮度比；而在不考虑因为大光圈与小光圈的亮度比的情况下，色彩权重比率总合等于1。

上述相应像素色彩权重N1相关于像素p_i,j，第一相邻像素色彩权重N2则相关于像素p_i,j的左、右、下、上相邻像素(p_i-1,j),(p_i+1,j),(p_i,j-1),(p_i,j+1)，而第二相邻像素色彩权重N3相关于像素p_i,j的左下、左上、右下、右上相邻像素(p_i-1,j-1),(p_i-1,j+1),(p_i+1,j-1),(p_i+1,j+1)。在另一实施例中，可仅考量色彩权重N1与N2(亦即N3＝0)。在本发明的一实施例中虽以左、右、下、上像素作为相邻像素，然而相邻像素的位置与数目并不限定于所示，可依实际应用作调整。类似的情形，在本发明的另一实施例中是以左下、左上、右下、右上像素作为另一种相邻像素。然而，相邻像素的位置与数目并不限定于以上各实施例所示，在本发明的又一实施例中，可依实际应用作调整。

以红绿蓝(RGB)色彩模型为例，根据第一基准影像的像素(i,j)及相邻像素的色彩值与第二基准影像的像素(i,j)的色彩值为已知，可求得色彩权重N1,N2及N3。亦即，Pij可由第二基准影像中得知，且pij,(pi-1,j),(pi+1,j),(pi,j-1),(pi,j+1),(pi-1,j-1),(pi-1,j+1),(pi+1,j-1),(pi+1,j+1)等9个色彩值可由第一基准影像中得知，而式子Pij＝pij*N1+(pi-1,j+pi+1,j+pi,j-1+pi,j+1)*N2+(pi-1,j-1+pi-1,j+1+pi+1,j-1+pi+1,j+1)*N3有三个数值N1、N2、N3需要求解，且第一基准影像中每一个像素P都有三个颜色R、G、B，分别可得到一个方程式，故可解出N1、N2、N3。此外，在有些情况R、G、B并不只一组解，例如周遭颜色和此像素一样颜色，此时虽然无法得出唯一解，但在这种情形，任意选取一组也没问题，因为在求取新光圈下的照片时，所合成出来的颜色不会有差异。另一个可行的方式，是参考此像素纵向方向上方(或下方、或左方、或右方)的像素的N1、N2、N3，如此循上(或循下、或循左、或循右)参考到边界处颜色差异像素，就可得解N1、N2、N3。

兹举一例说明如下。请参考表一，在某一较大光圈下(例如大光圈：f/2)P2的像素与小光圈下(例如小光圈f/8)P1的像素间，于不同距离时的色差与色彩权重关系，由于相机及镜头设计会有差异，因此上述的色彩权重N1,N2,N3可以利用实验来求取，其中色差比是用很小、小、小中、中、中大、大等文字描述。另外，色彩权重N1,N2,N3也可以利用设计数据来求取。

表一

像素位置

对焦处

稍远离

再远离

更远离

远离

很远离

色差比

很小

小

小中

中

中大

大

N1

N

0.6N

0.56N

0.28N

0.24N

0.20N

N2

0

0.05N

0.06N

N3

0

0.1N

0.11N

0.13N

0.14N

请参考表二，色差比也可以用数值方式呈现而分成数区，例如10％，20％，30％，40％，50％等。在介于这些已知色差比区段之间的其他色差比，则可以利用内插方式去得取对应的N1,N2,N3。例如15％就用10％，20％内差法求取，N1＝0.58N,N2＝0,N3＝0.105N。

表二

像素位置

对焦处

稍远离

再远离

更远离

远离

很远离

色差比

0

10％

20％

30％

40％

50％

N1

N

0.6N

0.56N

0.28N

0.24N

0.20N

N2

0

0.05N

0.06N

N3

0

0.1N

0.11N

0.13N

0.14N

于建立了第一基准影像与第二基准影像的距离、光圈与色彩权重的关系表后，接着于步骤14，以异于基准小光圈及基准大光圈的第三光圈摄取第三基准影像。于步骤15，根据第一基准影像与第三基准影像的多个像素位置，建立距离、光圈与色彩权重的关系表，其做法类似于步骤13。使用相异的第三光圈重复执行步骤14与步骤15，直到已达预设数量则结束流程，因而得到多个相异的第三基准影像。图5例示本发明实施例的影像合成方法100所建立的距离、光圈与色彩权重的关系表，其中距离Z1至Z4由近至远，光圈B至F由小至大。

图6显示本发明第一实施例的影像合成方法600的流程图，用以产生期望光圈的合成影像。于步骤61，以参考小光圈(例如光圈值为11)摄取第一影像，且于步骤62，以参考大光圈(例如光圈值为4)摄取第二影像。在一实施例中，可使用图2A所示的单镜头影像系统200A连续执行步骤61与步骤62，但顺序不限于图6所示。在另一实施例中，可使用图2B所示的双镜头影像系统200B同时执行步骤61与步骤62。

于步骤63，根据第一影像的相应像素与相邻像素的色彩值以及第二影像的相应像素的色彩值，以前述方法(如式子(1))得到参考色彩权重。接着，于步骤64，根据(步骤63)所得到的参考色彩权重，查询(图1所建立的)关系表(如图5所例示)以得到相应距离。

于步骤65，根据(步骤64)所得到的相应距离及所期望的光圈，查询关系表以得到相应的色彩权重。如果相应距离介于关系表的两个数据之间，可通过内插法来得到相应的色彩权重。最后，于步骤66，根据(步骤65所得到)相应的色彩权重，据以对第一影像的相应像素及其相邻像素的色彩值作加权运算而得到合成影像的相应像素的色彩值，可表示如前述式(1)。

举例而言，当有一像素，根据上述方式求出在基准大光圈L(f/4)下的色彩权重为N1_LZ2、N2_LZ2、N3_LZ2，并进而求出其所在位置距离于Z2处。若此时要产生的照片其光圈为f/2.8，则由图5得知所要的色彩权重为N1_EZ2、N2_EZ2、N3_EZ2。依据基准小光圈下此像素及相邻像素的色彩信息及得到的权重信息N1_EZ2、N2_EZ2、N3_EZ2，可以得到所要光圈下的色彩信息。依据本发明的一实施例，若所想要的光圈大于所建立的光圈时，则以上表中最大光圈F(f/2)替代。依据本发明的另一实施例，若所得到的色彩权重已经超过上表中最大值时，则用最远距离Z4替代。

图7显示本发明第二实施例的影像合成方法700的流程图。本实施例的影像合成方法700可使用单镜头影像系统200A(图2A)或双镜头影像系统200B(图2B)来执行。

于步骤71，以第一光圈摄取第一影像，且于步骤72，以第二光圈摄取第二影像，其中第二光圈大于第一光圈。在一实施例中，可使用图2A所示的单镜头影像系统200A连续执行步骤71与步骤72，但顺序不限于图7所示。在另一实施例中，可使用图2B所示的双镜头影像系统200B同时执行步骤71与步骤72。图8例示第一影像P1的相应像素P1_ij与第二影像P2的相应像素P2_ij。

于步骤73，根据第一影像与第二影像以得到相应像素的色差Δ(P1_i,j,P2_i.j)。第二影像的像素P2_i,j可表示为第一影像的相应像素及其相邻像素的加权和，可表示如下：

P2_i,j＝P1_i,jxW1+P1'_i,jxW2(2)

其中W1为相应像素色彩权重，W2为相邻像素色彩权重，P1'_i,j代表像素P1_i,j的相邻像素的平均值，可表示如下：

P1'_i.j＝Ave(P1_i-1,j,P1_i+1,j,P1_i,j-1,P1_i,j+1)

其中Ave()代表平均值函数。

式(2)当中的相应像素色彩权重W1类似于式(1)当中的相应像素色彩权重N1，式(2)当中的相邻像素色彩权重W2类似于式(1)当中的相邻像素色彩权重N2。

色差Δ(P1_i,j,P2_i.j)可表示为Δ(P1_i,j,P2_i.j)＝P2_i,j-P1_i,j，将式(2)代入可得到：

Δ(P1_i,j,P2_i.j)＝P1_i,jx(W1-1)+P1'_i,jxW2

若采用光圈固定模式，于步骤71、步骤72摄取第一影像、第二影像时的快门与感光度相同，则W1可设为1，则色差可表示为：

Δ(P1_i,j,P2_i.j)＝P1'_i,jxW2 (3A)

若采用光圈优先模式，于步骤71、步骤72摄取第一影像、第二影像时有调整其他的补偿机制(例如快门、感光度等)，则第二影像的像素P2_i,j与色差可表示为：

P2_i,j＝P1_i,jx(1/N)+P1'_i,jx(W2/N)

Δ(P1_i,j,P2_i.j)＝P1_i,jx(1/N-1)+P1'_i,jx(W2/N) (3B)

其中N代表补偿系数。

于步骤74，根据色差与第一影像的相邻像素平均色彩值(式(3A))，或者根据色差、相邻像素平均色彩值与第一影像的相应像素的色彩值(式(3B))，以得到相邻像素色彩权重W2。

最后，于步骤75，通过已知的相邻像素色彩权重与深度值(depth)关系(如图9例示的相邻像素色彩权重与深度值的关系曲线，其可由图1所得到的关系表转换得到)，可根据(步骤74得到的)相邻像素色彩权重W2以得到相应深度值。深度值代表物体与相机的距离(亦即物距)。借此，步骤71/72所得到的二维影像(例如第一影像)配合步骤75所得到的深度值，即可形成三维影像。例如，根据二维影像、深度值可得到视角差(disparity)，并可得到左影像与右影像。当左影像与右影像同时播放时，会显现立体影像效果。如果(步骤74得到的)相邻像素色彩权重W2介于图9的两个数据之间，可通过内插法来得到相应深度值。

图10显示相机成像示意图，其中例示出一物体所在位置与焦距所在位置的相对位置对其成像的影响。图10中显示有A、B、C三个在相机的同一方位(orientation)上但距离相机远近不同的位置，其中A位于对焦距离处，B位于比A更接近镜头的位置，C位于比A更远离镜头的位置。当一物体位于相机对焦处的点A时，拍摄时物体在感光装置上会形成清楚影像。当物体位于比相机对焦处更接近相机处的点B时，此物体要在感光装置后方才能聚集成清楚影像，因此其在感光装置上会形成模糊不清楚影像。当物体位于比相机对焦处更远离相机处的点C时，此物体要在感光装置前方才能聚集成清楚影像，因此其在感光装置上也会形成模糊不清楚影像。

图11显示相机成像示意图，其中例示出光圈大小对一物体成像的影响。在图11中显示有在相机焦距以外的同一位置A处的物体(在这个例子中A处到相机的距离小于焦距)，利用三种不同的光圈大小L、M、S下在感光装置上成像的结果，其中L>M>S。物体在大光圈L时，由于无法完全聚焦于感光装置上，成像区域比较大些，这表示对邻近像素造成较多的颜色影响。物体在中光圈M时，也无法完全聚焦于感光装置上，但比大光圈好些，成像区较小些，这表示对邻近像素造成稍小一些的颜色影响。物体在小光圈S时，由于能聚焦于感光装置上，成像区域更小，这对邻近像素造成的颜色影响非常小。因此，大光圈下景深短，不在对焦处附近的物体，会呈现较大范围的成像，进而影响相邻像素，形成模糊不清的影像。反之，小光圈下景深长，意思是即便是在距离对焦处较远的物体，都可以形成清晰的影像。

图12显示相机成像示意图，其中例示出在同一光圈下物体所在位置对成像的影响。图12中，光圈是固定的，当物体在A处，距离镜头比对焦位置较近一些，在感光装置上的成像如中央的小圆圈，而当物体在B处时，距离比A处更近镜头一些，在感光装置上的成像如外围的大圆圈。也就是说，距离对焦位置越远(不管是越靠近镜头或越远离镜头)，成像范围就较大，更会影响相邻像素的颜色，影像也就越模糊。

以上所述仅为本发明的优选实施例而已，并非用以限定本发明的权利要求；凡其它未脱离发明所公开的精神下所完成的等效改变或修饰，均应包含在下述的权利要求内。

Claims

1.一种影像合成方法，包含：

提供一关系表，其记载距离、光圈与色彩权重；

以一参考小光圈摄取一第一影像；

以一参考大光圈摄取一第二影像；

根据该第一影像的相应像素与相邻像素的色彩值以及该第二影像的相应像素的色彩值，以得到参考色彩权重；

根据所得到的该参考色彩权重，查询该关系表以得到相应距离；

根据所得到的该相应距离及所期望的一光圈，查询该关系表以得到相应色彩权重；及

根据该相应色彩权重，对该第一影像的相应像素及其相邻像素的色彩值作加权运算，以得到一合成影像的相应像素的色彩值。

2.根据权利要求1所述的影像合成方法，其中该第一影像与该第二影像以单镜头影像系统依序摄取。

3.根据权利要求1所述的影像合成方法，其中该第一影像与该第二影像以双镜头影像系统同时摄取。

4.根据权利要求1所述的影像合成方法，其中该第二影像的相应像素的色彩值表示为该第一影像的相应像素及其相邻像素的加权和，其中该色彩权重包含一相应像素色彩权重与至少一相邻像素色彩权重。

5.根据权利要求4所述的影像合成方法，其中该第二影像的相应像素P_i,j的色彩值表示为该第一影像的相应像素p_i,j及其相邻像素的加权和，其表示如下：

P_i,j＝p_i,j*N1+(p_i-1,j+p_i+1,j+p_i,j-1+p_i,j+1)*N2+(p_i-1,j-1+p_i-1,j+1+p_i+1,j-1+p_i+1,j+1)*N3

其中N1代表该相应像素色彩权重，N2与N3代表该相邻像素色彩权重。

6.根据权利要求1所述的影像合成方法，其中该关系表的建立包含以下步骤：

以一基准小光圈摄取一第一基准影像；

以一基准大光圈摄取一第二基准影像；

根据该第一基准影像与该第二基准影像的多个像素位置，建立该关系表；

以异于该基准小光圈及该基准大光圈的至少一第三光圈摄取至少一第三基准影像；及

根据该第一基准影像与该至少一第三基准影像的多个像素位置，建立该关系表。

7.根据权利要求6所述的影像合成方法，其中该距离以该第一基准影像与该第二基准影像的色差或色差比表示。

8.根据权利要求7所述的影像合成方法，其中该第一基准影像的像素P1_i,j与该第二基准影像的像素P2_i,j的色差Δ(P1_i,j,P2_i,j)表示如下：

其中R1_i,j,G1_i,j,B1_i,j分别为该第一基准影像的像素P1_i,j的红色值、绿色值、蓝色值，R2_i,j,G2_i,j,B2_i,j分别为该第二基准影像的像素P2_i,j的红色值、绿色值、蓝色值，N代表补偿值。

9.根据权利要求8所述的影像合成方法，其中该补偿值为该第二基准影像的光圈面积与该第一基准影像的光圈面积的比值。

10.根据权利要求8所述的影像合成方法，其中该补偿值为该二基准影像的亮度平均值与该第一基准影像的亮度平均值的比值。

11.根据权利要求7所述的影像合成方法，其中该色差比定义为该第一基准影像的像素P1_i,j与该第二基准影像的像素P2_i,j的色差Δ(P1_i,j,P2_i,j)与该第一基准影像的像素P1_i,j的亮度LP1_i,j的比值，表示如下：

其中R1_i,j,G1_i,j,B1_i,j分别为该第一基准影像的像素P1_i,j的红色值、绿色值、蓝色值。

12.根据权利要求7所述的影像合成方法，其中该色差比定义个别R、G、B颜色的色差比的平方和开方值，表示如下：

13.根据权利要求12所述的影像合成方法，其中该补偿值N为该第二基准影像的光圈面积与该第一基准影像的光圈面积的比值。

14.一种影像合成方法，包含

以一第一光圈摄取一第一影像；

以一第二光圈摄取一第二影像，其中该第二光圈大于该第一光圈；

根据该第一影像与该第二影像以得到相应像素的色差；

根据该色差与该第一影像的相邻像素，以得到相邻像素色彩权重；及

提供相邻像素色彩权重与深度值的关系，并根据所得到的该相邻像素色彩权重及该关系，以得到相应深度值。

15.根据权利要求14所述的影像合成方法，其中该第一影像与该第二影像以单镜头影像系统依序摄取。

16.根据权利要求14所述的影像合成方法，其中该第一影像与该第二影像以双镜头影像系统摄取。

17.根据权利要求14所述的影像合成方法，其中该第二影像的相应像素的色彩值表示为该第一影像的相应像素及其相邻像素的加权和，其中该色彩权重包含一相应像素色彩权重与一相邻像素色彩权重。

18.根据权利要求17所述的影像合成方法，其中该相邻像素色彩权重根据该色差与该第一影像的相邻像素的平均值而得到。

19.根据权利要求18所述的影像合成方法，其中该第二影像的相应像素P2_i,j的色彩值表示为该第一影像的相应像素P1_i,j及其相邻像素的平均值P1'_i,j的加权和，其表示如下：

P2_i,j＝P1_i,jxW1+P1'_i,jxW2

P1'_i.j＝Ave(P1_i-1,j,P1_i+1,j,P1_i,j-1,P1_i,j+1)

其中W1为相应像素色彩权重，W2为相邻像素色彩权重，Ave()代表平均值函数。

20.根据权利要求14所述的影像合成方法，还包含：

根据该第一影像及该深度值以得到一左影像与一右影像。