CN103167226A - 产生全景深影像的方法及装置 - Google Patents

Abstract

一种产生全景深影像的方法及装置。分别依据主对焦距离与次对焦距离进行拍摄，藉以分别产生主对焦影像与次对焦影像。接着，依据一缩小比例分别缩小主对焦影像与次对焦影像。并且对缩小后的主对焦影像与次对焦影像进行几何校正以产生校正后的次对焦影像。并将主对焦影像与校正后的次对焦影像区分为多个区块，分别判断主对焦影像中的各区块是否需要利用校正后的次对焦影像进行补偿。藉由重叠区块补偿法与权重式的差值合并法产生补偿区块，并利用补偿区块对主对焦影像进行补偿，藉以产生全景深影像。

Description

产生全景深影像的方法及装置

技术领域

本发明涉及一种影像处理方法与装置，尤其涉及一种产生全景深影像的处理方法与装置。

背景技术

现有产生全景深影像的方法大多采用多种不同摄影条件进行拍摄所得的多张影像组合而成。所谓摄影条件只由光圈、快门、焦距等参数组合而成，藉由改变摄影条件中的一或多个参数进而对同一场景拍摄出不同的多张影像，再通过清晰度判别方法来将这些影像组合成一张清晰的影像。

采用上述多种不同摄影条件进行拍摄以合成全景深影像的技巧须仰赖固定的影像获取装置进行拍摄。一般而言，使用者常利用稳定的脚架来固定影像获取装置，以确保所获取的影像之间无明显的几何扭曲。另外，在拍摄过程中，还须避免被摄场景中有任何物件的移动。

现有产生全景深影像的方法，除了上述的限制之外，尚须使用者根据经验判断被摄场景中各个物件分布，以决定需要拍摄多少不同摄影条件的影像。再者，拍摄完毕之后，使用者尚须对所获取的影像进行后制处理，例如通过计算机软件的影像合成等，才能合成一张全景深影像。其平均总拍摄时间相当长，且繁复的过程对于使用者来说极为不便。

发明内容

有鉴于此，本发明提供一种产生全景深影像的方法，可直接于一般消费型相机上产生一张避免区块效应(block effect)的全景深影像。

本发明提供一种产生全景深影像的装置，可在避免产生区块效应的前提下直接输出一全景深影像。

本发明提出一种产生全景深影像的方法，包括下列步骤。分别依据主对焦距离与次对焦距离进行拍摄，藉以分别产生主对焦影像与次对焦影像。接着，依据一缩小比例分别缩小主对焦影像与次对焦影像，藉以产生主对焦缩小影像与次对焦缩小影像。并且对主对焦缩小影像与次对焦缩小影像进行几何校正，藉以估测出几何转换参数，据以校正次对焦影像进而产生校正后的次对焦影像。此外，将主对焦影像与校正后的次对焦影像区分为多个第一区块，分别判断主对焦影像中的各第一区块是否需要利用校正后的次对焦影像进行补偿。另外，将主对焦影像中需要利用校正后的次对焦影像进行补偿的第一区块称为待补偿区块，藉由重叠区块补偿(overlapped block compensation)法与权重式的差值合并法产生补偿区块，并利用补偿区块对主对焦影像进行补偿，藉以产生全景深影像。

在本发明的一实施例中，上述的产生全景深影像的方法还包括依据多个对焦距离进行对焦，以获取相对应的多个预览影像。并将各预览影像区分为多个第二区块。分别计算各预览影像中的有效对焦区块数、区块熵值(entropy)与将此些区块熵值进行加总所获得的总熵值。选取加总后的有效对焦区块数最多或加总后的总熵值最大的两个预览影像所对应的两个对焦距离，分别作为上述的主对焦距离与次对焦距离。

在本发明的一实施例中，上述的计算各预览影像中的有效对焦区块数的步骤包括藉由各第二区块的对焦值判断各第二区块是否为有效对焦区块。并且统计各预览影像中属于有效对焦区块的个数以作为有效对焦区块数。

在本发明的一实施例中，上述藉由主对焦影像中的各物件与主对焦距离的远近及藉由次对焦影像中的各物件与次对焦距离的远近来判别模糊圈的大小，以决定此缩小比例。

在本发明的一实施例中，上述的分别判断主对焦影像中的第一区块是否需要利用校正后的次对焦影像进行补偿的步骤包括分别计算主对焦影像中的各个第一区块的第一高频信号量，并计算校正后的次对焦影像中相对应区块的第二高频信号量。若第一高频信号量小于第二高频信号量，则判断主对焦影像中的第一区块需要利用校正后的次对焦影像进行补偿。

在本发明的一实施例中，上述的藉由重叠区块补偿法与权重式的差值合并法产生补偿区块的步骤包括在校正后的次对焦影像中选取对应待补偿区块的多个相关区块。分别将每一相关区块与待补偿区块之差乘上相关系数后进行运算，藉以产生补偿区块。其中，相关区块包括互相重叠的区域。

本发明另提出一种产生全景深影像的装置，包括影像获取模块、缩放模块、几何校正模块、影像处理模块以及区块补偿模块。其中，影像获取模块分别依据主对焦距离与次对焦距离进行拍摄，藉以分别产生主对焦影像与次对焦影像。缩放模块耦接至影像获取模块，依据一缩小比例分别缩小主对焦影像与次对焦影像，藉以产生主对焦缩小影像与次对焦缩小影像。几何校正模块耦接至缩放模块，对主对焦缩小影像与次对焦缩小影像进行几何校正，藉以估测出几何转换参数，据以校正次对焦影像进而产生校正后的次对焦影像。

此外，影像处理模块耦接至影像获取模块与几何校正模块，将主对焦影像与校正后的次对焦影像区分为多个第一区块，分别判断主对焦影像中的各第一区块是否需要利用校正后的次对焦影像进行补偿。区块补偿模块耦接至影像处理模块，将主对焦影像中需要利用校正后的次对焦影像进行补偿的第一区块称为待补偿区块，区块补偿模块藉由重叠区块补偿法与权重式的差值合并法产生补偿区块，并利用此补偿区块对主对焦影像进行补偿，藉以产生全景深影像。

基于上述，本发明所提供的产生全景深影像的方法与装置以两种不同的对焦距离所拍摄的两张影像，藉由先对影像进行缩小后再执行几何校正，可节省运算处理时间，接着分别对校正后的影像获取出相对清楚的区域，并且在避免产生区块效应的前提下组合成一张完整清晰的全景深影像。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是依照本发明一实施例所显示的一种产生全景深影像的装置方框图。

图2是依照本发明一实施例所显示的一种产生全景深影像的方法流程图。

图3是依照本发明一实施例所显示的一种可变对焦距离示意图。

图4是依照本发明一实施例所显示的将其中之一预览影像区分为多个区块的示意图。

图5是依照本发明一实施例所显示的主对焦影像I(f_t)、校正后的次对焦影像I_s(f_k)及其对应的主对焦缩小影像D(f_t)、校正后的次对焦缩小影像D_s(f_k)的转换示意图。

附图标记：

100：产生全景深影像的装置

110：影像获取模块

120：缩放模块

130：几何校正模块

140：影像处理模块

150：区块补偿模块

f_t：主对焦距离

f_k：次对焦距离

f₀：起始对焦距离

f_n：终点对焦距离

f_s：最小移动距离

I(f_t)：主对焦影像

I(f_k)：次对焦影像

I_s(f_k)：校正后的次对焦影像

I_com(f_k，f_k)：全景深影像

D(f_t)：主对焦缩小影像

D(fk)：次对焦缩小影像

D_s(f_k)：校正后的次对焦缩小影像

B’(f_t)：补偿区块

B₁(f_k)、B₂(f_k)、B₃(f_k)：相关区块

a1、a2、B1～B9：区块

S210～S250：产生全景深影像的方法的各步骤

具体实施方式

为了于一般消费型相机上快速产生一张全景深影像，本发明是采用拍摄两张不同对焦距离的影像来合成模拟出一全景深影像。为了改善现有必须使用脚架进行拍摄的限制，以及避免仰赖人工繁复的影像后制，本发明必须将所拍摄的影像进行几何校正，以使两张不同对焦距离的影像能正确叠合，并且正确的估测出两张影像相对清晰的区域，才能有效地进行补偿。为了使本发明内容更为明了，以下列举实施例作为本发明确实能够据以实施的范例。

图1是依照本发明一实施例所显示的一种产生全景深影像的装置方框图。请参照图1，产生全景深影像的装置100例如是数码相机、单眼相机、数码摄像机等等，不限于上述。产生全景深影像的装置100包括影像获取模块110、缩放模块120、几何校正模块130、影像处理模块140以及区块补偿模块150。其中，缩放模块120耦接至影像获取模块110。几何校正模块130耦接至缩放模块120。影像处理模块140分别耦接至影像获取模块110、几何校正模块130以及区块补偿模块150。

图2是依照本发明一实施例所显示的一种产生全景深影像的方法流程图。请参照图2，本实施例的方法适用于图1的产生全景深影像的装置100，以下即搭配图1中的各模块来对本实施例进行说明。

首先，于步骤S210中，本实施例的影像获取模块110具有一变焦镜头，因此可利用此变焦镜头改变对焦距离进行对焦，进而决定出一主对焦距离f_t以及一次对焦距离f_k，藉以分别产生主对焦影像I(f_t)与次对焦影像I(f_k)。

详细地说，图3是依照本发明一实施例所显示的一种可变对焦距离示意图，请配合参照图3。假设本实施例的变焦镜头的可变对焦距离可从一起始对焦距离f₀改变至一终点对焦距离f_n，其中，变焦镜头可移动的最小距离表示为f_s。故，若主对焦距离f_t已决定后，次对焦距离f_k则有

种选择。

举例说明，在使用者对产生全景深影像的装置100进行半按时，变焦镜头例如会移至起始对焦距离f₀，并对应被摄场景产生一预览(live-view)影像，接着变焦镜头移动至对焦距离f₁(f₁＝f₀+f_s)的位置以获取另一预览影像，依此类推。藉由大量获取不同对焦距离的预览影像，据以统计出产生最大对焦值的对焦距离(也就是可获取最大清晰度影像的镜头位置)，以作为主对焦距离f_t。接着，根据主对焦距离f_t对应选择适当的次对焦距离f_k。

接下来则详细说明如何根据主对焦距离f_t对应选择适当的次对焦距离f_k。首先，将每一预览影像区分为多个区块。如图4所示，图4是依照本发明一实施例所显示的将其中之一预览影像区分为多个区块的示意图。本实施例是将一预览影像400区分为九宫格(即，九个区块B1～B9)，但不限于此。

接着，便可计算预览影像400中的有效对焦区块数。所谓有效对焦区块数是分别计算区块B1～B9的对焦值藉以判断区块B1～B9是否为有效对焦区块。一般位于对焦平面上的物件，其反映在各对焦平面上相对区块的对焦值也是相对极大值，因此针对特定对焦距离所得的预览影像，可以算出该预览影像中有多少有效对焦区块数。并且针对每一有效对焦区块分别算出其区块熵值(entropy)，以及与将上述区块熵值进行加总所获得的总熵值。换句话说，对于每一对焦距离f_i，i为介于0到n之间的正整数(即，f₀≤f_i≤f_n)，皆可分别算出其有效对焦区块数、区块熵值以及总熵值。最后，选取加总后的有效对焦区块数最多或加总后的总熵值最大的两个预览影像所对应的两个对焦距离，分别作为上述的主对焦距离f_t与次对焦距离f_k。

回到图1与图2，于步骤S220中，影像获取模块110将利用主对焦距离f_t与次对焦距离f_k所获取的主对焦影像I(f_t)与次对焦影像I(f_k)传送至缩放模块120。由于影像获取模块110在拍摄过程中可能因不同的因素而产生不同程度的晃动，因此必须对主对焦影像I(f_t)与次对焦影像I(f_k)进行几何校正。但主对焦影像I(f_t)与次对焦影像I(f_k)是在不同焦距下拍摄所得的影像，故做几何校正时可能因模糊程度的不同而造成极大误差，因此我们必须先根据主对焦距离f_t与次对焦距离f_k事先定义出其模糊圈的差别，然后以影像缩小的方式降低影像间的模糊差距。

其中，藉由主对焦影像中的各物件与主对焦距离的远近及藉由次对焦影像中的各物件与次对焦距离的远近来判别模糊圈的大小，以决定缩小比例。接着，便依据此缩小比例分别缩小主对焦影像I(f_t)与次对焦影像I(f_k)，藉以产生主对焦缩小影像D(f_t)与次对焦缩小影像D(fk)。

接着于步骤S230中，几何校正模块130根据主对焦缩小影像D(f_t)与次对焦缩小影像D(f_k)进行几何校正，藉以估测出几何转换参数，目标是为了使校正后的次对焦缩小影像D_s(f_k)能与主对焦缩小影像D(f_t)完全重叠。同时根据上述所求得的几何转换参数对应校正次对焦影像I(f_k)，进而产生校正后的次对焦影像I_s(f_k)。

接下来于步骤S240，影像处理模块140将主对焦影像I(f_k)与校正后的次对焦影像I_s(f_k)区分为多个m×m区块(即，第一区块)，m为大于1的正整数，分别判断主对焦影像中I(f_k)的各个m×m区块是否需要利用校正后的次对焦影像I_s(f_k)进行补偿。

详细地说，由于主对焦缩小影像D(f_t)与校正后的次对焦缩小影像D_s(f_k)系与主对焦影像I(f_t)与校正后的次对焦影像I_s(f_k)之间呈现一比例关系。因此，主对焦缩小影像D(f_t)与校正后的次对焦缩小影像D_s(f_k)中的每一像素点是对应主对焦影像I(f_t)与校正后的次对焦影像I_s(f_k)中的一m×m区块。图5是依照本发明一实施例所显示的主对焦影像I(f_t)、校正后的次对焦影像I_s(f_k)及其对应的主对焦缩小影像D(f_t)、校正后的次对焦缩小影像D_s(f_k)的示意图，请配合参照图5。影像处理模块140计算主对焦影像I(f_t)中的其中之一的m×m区块a1的第一高频信号量，并计算校正后的次对焦影像I_s(f_k)中相对应m×m区块a2的第二高频信号量。若第一高频信号量小于第二高频信号量，则判断主对焦影像中的区块a1需要利用校正后的次对焦影像进行补偿。

最后，于步骤S250中，区块补偿模块150将主对焦影像中需要利用校正后的次对焦影像进行补偿的m×m区块称为待补偿区块(在本实施例中，假设区块a1为待补偿区块)，区块补偿模块150藉由重叠区块补偿法与权重式的差值合并法产生补偿区块B’(f_t)，并利用补偿区块B’(f_t)对主对焦影像进行补偿，藉以产生全景深影像。

请配合参照图5，先在校正后的次对焦影像I_s(f_k)中选取对应待补偿区块的s个相关区块B_i(f_k)，在本实施例中，s举例为3，故相关区块分别为B₁(f_k)、B₂(f_k)、B₃(f_k)，相关区块包括互相重叠的区域。须说明的是，为了有效降低补偿区块之间不连续的情况，因此本发明的相关区块的尺寸须大于待补偿区块的尺寸。举例来说，若相关区块B₁(f_k)、B₂(f_k)、B₃(f_k)的尺寸为P×P，P为大于1的正整数，且P＞m。

接着，先分别将每一相关区块B₁(f_k)、B₂(f_k)、B₃(f_k)与主对焦影像I(f_t)中对应的相关区块B(f_t)相减，并分别将相减后的结果乘上相关系数R_i后进行运算，藉以产生补偿区块B’(f_t)。重叠区块补偿法与权重式的差值合并法的公式如下：

$B^{\′}\left(f_t\right)=B\left(f_t\right)+\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{R}_i*(B_i\left(f_k\right)-B\left(f_t\right))---\left(1\right)$

据此，区块补偿模块150将主对焦影像I(f_t)中的所有待补偿区块皆经由上述公式产生补偿区块后，并补偿至主对焦影像I(f_t)中，便可经由产生全景深影像的装置100输出一张完整清晰的全景深影像I_com(f_k，f_k)。

综上所述，本发明对同一场景分别以两种不同的对焦距离拍摄两张影像，藉由先对影像进行缩小后再进行几何校正，可节省运算处理时间，接着分别对校正后的影像获取出相对清楚的区域，并且在避免产生区块效应的前提下组合成一张完整清晰的全景深影像。本发明可直接于一般消费型相机上快速产生一张全景深影像，改善现有必须使用脚架进行拍摄的限制，以及避免仰赖人工进行繁复的影像后制，据此，增加了消费型相机或其他影像装置的功能性。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域的普通技术人员，在不脱离本发明的精神和范围内，当可作些许更动与润饰，而不脱离本发明的精神和范围。

Claims (12)

1.一种产生全景深影像的方法，包括：

分别依据一主对焦距离与一次对焦距离进行拍摄，藉以分别产生一主对焦影像与一次对焦影像；

依据一缩小比例分别缩小该主对焦影像与该次对焦影像，藉以产生一主对焦缩小影像与一次对焦缩小影像；

对该主对焦缩小影像与该次对焦缩小影像进行几何校正，藉以估测出一几何转换参数，据以校正该次对焦影像进而产生校正后的该次对焦影像；

将该主对焦影像与校正后的该次对焦影像区分为多个第一区块，分别判断该主对焦影像中的各该第一区块是否需要利用校正后的该次对焦影像进行补偿；以及

将该主对焦影像中需要利用校正后的该次对焦影像进行补偿的该第一区块称为一待补偿区块，藉由重叠区块补偿法与权重式的差值合并法产生一补偿区块，并利用该补偿区块对该主对焦影像进行补偿，藉以产生该全景深影像。

2.根据权利要求1所述的产生全景深影像的方法，其中分别依据该主对焦距离与该次对焦距离进行拍摄，藉以分别产生该主对焦影像与该次对焦影像的步骤包括：

依据多个对焦距离进行对焦，以获取相对应的多个预览影像；

将各该预览影像区分为多个第二区块；

分别计算各该预览影像中的一有效对焦区块数、多个区块熵值与将该些区块熵值进行加总所获得的一总熵值；以及

选取加总后的该有效对焦区块数最多或加总后的总熵值最大的两个预览影像所对应的两个对焦距离，分别作为该主对焦距离与该次对焦距离。

3.根据权利要求2所述的产生全景深影像的方法，其中计算各该预览影像中的该有效对焦区块数的步骤包括：

藉由各该第二区块的对焦值判断各该第二区块是否为一有效对焦区块；以及

统计各该预览影像中属于该有效对焦区块的个数以作为该有效对焦区块数。

4.根据权利要求1所述的产生全景深影像的方法，其中：

藉由该主对焦影像中的各物件与该主对焦距离的远近及藉由该次对焦影像中的各物件与该次对焦距离的远近来判别模糊圈的大小，以决定该缩小比例。

5.根据权利要求1所述的产生全景深影像的方法，其中分别判断该主对焦影像中的各该第一区块是否需要利用校正后的该次对焦影像进行补偿的步骤包括：

计算该主对焦影像中该些第一区块其中之一的第一高频信号量，并计算校正后的该次对焦影像中相对应区块的第二高频信号量；以及

若该第一高频信号量小于该第二高频信号量，判断该主对焦影像中的该第一区块需要利用校正后的该次对焦影像进行补偿。

6.根据权利要求1所述的产生全景深影像的方法，其中藉由重叠区块补偿法与权重式的差值合并法产生该补偿区块的步骤包括：

在校正后的该次对焦影像中选取对应该待补偿区块的多个相关区块，分别将每一相关区块与该待补偿区块之差乘上一相关系数后进行运算，藉以产生该补偿区块，其中，该些相关区块包括互相重叠的区域。

7.一种产生全景深影像的装置，包括：

一影像获取模块，分别依据一主对焦距离与一次对焦距离进行拍摄，藉以分别产生一主对焦影像与一次对焦影像；

一缩放模块，耦接至该影像获取模块，依据一缩小比例分别缩小该主对焦影像与该次对焦影像，藉以产生一主对焦缩小影像与一次对焦缩小影像；

一几何校正模块，耦接至该缩放模块，对该主对焦缩小影像与该次对焦缩小影像进行几何校正，藉以估测出一几何转换参数，据以校正该次对焦影像进而产生校正后的该次对焦影像；

一影像处理模块，耦接至该影像获取模块与该几何校正模块，将该主对焦影像与校正后的该次对焦影像区分为多个第一区块，分别判断该主对焦影像中的各该第一区块是否需要利用校正后的该次对焦影像进行补偿；以及

一区块补偿模块，耦接至该影像处理模块，将该主对焦影像中需要利用校正后的该次对焦影像进行补偿的该第一区块称为一待补偿区块，该区块补偿模块藉由重叠区块补偿法与权重式的差值合并法产生一补偿区块，并利用该补偿区块对该主对焦影像进行补偿，藉以产生该全景深影像。

8.根据权利要求7所述的产生全景深影像的装置，其中：

该影像获取模块依据多个对焦距离进行对焦，以获取相对应的多个预览影像，并将该些预览影像传送至该影像处理模块，

该影像处理模块将各该预览影像区分为多个第二区块，分别计算各该预览影像中的一有效对焦区块数、多个区块熵值与将该些区块熵值进行加总所获得的一总熵值，选取加总后的该有效对焦区块数最多或加总后的总熵值最大的两个预览影像所对应的两个对焦距离，分别作为该主对焦距离与该次对焦距离，并将该主对焦距离与该次对焦距离传送至该影像获取模块。

9.根据权利要求8所述的产生全景深影像的装置，其中：

该影像处理模块藉由各该第二区块的对焦值判断各该第二区块是否为一有效对焦区块，并统计各该预览影像中属于该有效对焦区块的个数以作为该有效对焦区块数。

10.根据权利要求7所述的产生全景深影像的装置，其中：

该缩放模块藉由该主对焦影像中的各物件与该主对焦距离的远近及藉由该次对焦影像中的各物件与该次对焦距离的远近来判别模糊圈的大小，以决定该缩小比例。

11.根据权利要求7所述的产生全景深影像的装置，其中：

该影像处理模块计算该主对焦影像中该些第一区块其中之一的第一高频信号量，并计算校正后的该次对焦影像中相对应区块的第二高频信号量，若该第一高频信号量小于该第二高频信号量，判断该主对焦影像中的该第一区块需要利用校正后的该次对焦影像进行补偿。

12.根据权利要求7所述的产生全景深影像的装置，其中：

该区块补偿模块在校正后的该次对焦影像中选取对应该待补偿区块的多个相关区块，分别将每一相关区块与该待补偿区块之差乘上一相关系数后进行运算，藉以产生该补偿区块，其中，该些相关区块包括互相重叠的区域。

Images