CN104952048A - 一种基于像体重建的焦点堆栈照片合成方法 - Google Patents

Abstract

本发明公开了一种基于像体重建的焦点堆栈照片合成方法，包括：获取若干张场景、焦距、光圈相同，但对焦的景深不同的焦点堆栈照片；并对获取的焦点堆栈照片中每个像素的清晰程度进行计算；将对应像素的清晰程度进行连续性拟合，得出拟合曲线的最大值作为该位置最佳对焦景深；将每个对应位置的像素的最佳景深与相机参数进行计算，得到像素在该位置的弥散程度；对每个对应位置的像素进行反卷积操作，得到恢复清晰度后的像素值，从而得到一张合成的处处清晰的照片。本发明方法能够合成清晰照片，应用于需要大景深以及需要高质量大光圈清晰拍摄的场合。

Description

一种基于像体重建的焦点堆栈照片合成方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种清晰照片合成技术。

背景技术

目前，相机的感光元件密度不断提高，单反相机的拍摄精度也在不断提高。在实际的拍摄中，特别是一些斜面壁画或者不规则的拱形壁画很难使得光轴完全平行于被摄表面，这就导致了景深模糊问题。

如果用小光圈(F8、F11甚至F16)可以获得大景深，但是却由于衍射造成整个照片图像模糊或者图像噪音的增加减小了照片的锐利程度。或者在一些要求较大景深的场景中，如佛龛、佛像和纵深较大的建筑，使用大光圈可以增加图像的质量，但是有可能会造成场景模糊的情况。

对于这种情况的解决方法是采用更高型号的单反相机，这样可以解决一部分场景对焦不清晰的情况，但不能根本解决；此外，使用其他成像设备如光场相机也能够解决该问题，但同时存在成像照片的分辨率不足或设备过于昂贵等其他问题。

随着图像处理技术的不断提高，可以考虑通过拍摄多张照片，每张照片有一部分相对清晰，根据不同照片中相对清晰的部分进行合成，最终得到一幅各个区域都清晰的数字图像。

现有的多张照片合成的方法大多采用在照片中寻找较为清晰的区域然后将这些区域融合在一起的方式，不过这样的方式还是会出现问题，比如一个区域在这些照片中都没有清晰对焦，这样融合出来的照片这个区域还是会有模糊的情况。

此外，在文物和考古现场的摄影中也存在类似问题，其解决方法一般是根据物体的深度和镜头上的景深标尺来选择合适的光圈。使用小光圈可以加大场景的景深范围，但是每一款数码相机都有一个可以接受的景深范围，超过这一范围，不可避免的会产生模糊和衍射现象严重等问题。

另外，通常对于不同的被摄场景，对景深范围的要求是不一样的，当然可以通过使用不同的数码单反相机的方式来达到某一个景深范围的要求，但是这无疑又造成设备的浪费和成本的升高。而且对于小光圈拍摄的照片质量对于一些有较高要求的领域(文物摄影、数字化建模)是不能容忍的。

发明内容

针对现有技术的不足，本发明提供了一种基于像体重建的焦点堆栈照片合成方法，通过方法自动判定若干张照片中的清晰部分，最终合成一张各部分都清晰的照片。可以应用于需要大景深清晰以及中心和边缘都清晰的拍摄场合。

一种基于像体重建的焦点堆栈照片合成方法，包括如下步骤：

(1)获取若干张场景、焦距、光圈相同，但对焦的景深不同的焦点堆栈照片；

(2)针对每一张对准处理后的焦点堆栈照片，计算当前焦点堆栈照片中每个像素点的梯度值；

(3)将所有焦点堆栈照片中同一位置处的像素点对应的梯度值进行连续性拟合，得到的拟合曲线，并求取所述的拟合曲线最高点作为该像素位置的最佳景深；

(4)针对任意焦点堆栈照片中的任意一个像素点，根据当前焦点堆栈照片对应的焦距、光圈以及最佳景深计算当前焦点堆栈照片上当前像素点的模糊弥散圈半径；

(5)针对任意一个像素点，以景深与最佳景深最接近的焦点堆栈照片作为该像素点的参考照片，根据参考照片上该像素点的像素值和模糊弥散圈半径进行模糊像素的清晰度还原，即得到合成结果。

在所有焦点堆栈照片中，相同位置上的像素点称为对应像素点。对于彩色图像而言，可以分开RGB三个通道分别求图像的梯度值，也可以转换成灰度图像求图像梯度。

对若干张照片的对应位置求梯度变换之后，可以根据这些梯度值得变换拟合出一条变换曲线，曲线的最高点即为这一位置上的最佳光学成像对焦位置。由于根据光学成像原理，像素点在理论最佳成像位置上没有弥散，而离开最佳位置越远，弥散的程度越大，模糊程度越大，因而像素向周围变化的速度就越慢。这样就保证了像素值变化程度最快的位置就是理论上的最佳光学成像景深位置，而且这个位置是唯一的。通过这样的一组焦点堆栈照片每一个位置上的最佳景深估计，我们将二维的图像扩展到了三维的“像体”，这个像体包括了三维坐标(x，y，z为景深)，而第三维的数据正是接下来图像清晰度复原的依据。

本发明中要求待合成的一组照片(即步骤(1)中获取的若干张焦点堆栈照片)的大小和像素位置关系完全对应，且亮度和色彩基本一致。

若步骤(1)中获取的若干张焦点堆栈照片的大小和像素位置关系不对应，可以先进行对准处理，然后以经过对准处理后的焦点堆栈照片作为后续处理的对象。

对准处理时首先利用配准算法配准并调整若干张焦点堆栈照片的大小和像素位置、然后进行亮度和色彩调整使所有焦点堆栈照片的大小和像素位置关系完全对应，亮度和色彩基本一致(最好相同)。

所述步骤(1)中获取的焦点堆栈照片的张数与景深具有一定的对应关系，作为优选，所述步骤(1)中获取3～50张场景、焦距、光圈相同，但对焦的景深不同的焦点堆栈照片。

景深越大，要求张数越多，当景深为0.5m时，通常获取12张焦点堆栈照片，当景深为2m时通常获取50张焦点堆栈照片。

所述步骤(2)中还包括根据当前焦点堆栈照片中每个像素点的梯度值构建相应的梯度图，并对构建的梯度图进行去噪处理得到去噪梯度图；

所述步骤(3)中像素点对应的梯度值根据去噪梯度图获取。

所谓像素(即像素点)的清晰程度可以理解为照片细节的丰富程度，细节的丰富程度又可以用被摄物体边缘与周围背景的对比程度来刻画，对比度越大，说明边缘过渡越快，这一处像素的清晰度就越高；反之，物体边缘与背景混合在一起，则这一像素的清晰度就低。因此，可以用图像的梯度幅值大小来表征这一个亮度。通过对梯度图进行去噪处理得到去噪梯度图能够去掉不理想的噪音点，提高拼接精度。

作为优选，采用高斯平滑去噪法对所述的梯度图进行去噪处理。

去噪处理时针对任意一个像素点采用邻域窗口为正方形，邻域窗口的大小为3～9，且为奇数(单位为像素点)。

对于每个像素而言，梯度值是在这个像素位置与邻域一个像素之间的对比程度，通过邻域的平滑操作将这些像素的变化快慢连接在一起，能够也起到了去除一些不理想的噪音点的作用。显然，无论在任何色彩空间，某像素的小邻域内，边缘的变化快慢程度差别不大，所以可以排除不同色彩空间对于清晰度衡量的干扰。

所述步骤(3)中采用最小二乘拟合法进行连续性拟合。最小二乘拟合法即采用二次多项式拟合，由于像素模糊形成的单峰性原理，总会找到一个最大值可以代表该像素所在位置的最佳对焦景深。

像素的模糊在光学上体现为光子向周围的位置上弥散，这一现象可以用数学上的卷积来描述。图像的清晰度还原过程其实就是一个反卷积的过程，在这一过程中，反卷积用到的卷积核是用高斯核来描述，高斯核的大小可以通过弥散圈(模糊弥散圈)的半径大小来得到。

作为优选，所述步骤(5)中基于Lucy-Richardson反卷积算法进行模糊像素的清晰度还原。

通过LR反卷积算法(即Lucy-Richardson反卷积算法)的过程，模糊的像素点可以恢复到理论清晰的值，这样就得到了一幅处处都清晰的全对焦(All-in-Focus)照片。

进行Lucy-Richardson反卷积算法时迭代次数会影响到最终的拼接效果，作为优选，进行Lucy-Richardson反卷积算法时设定的最大迭代次数为10～30。进一步优选，最大迭代次数为15次。

本发明方法通过自动判定若干张照片中的清晰像素，最终合成一张各部分都清晰的照片，可以应用于需要大景深以及中心和边缘都清晰的拍摄场合，且易于实现，成本低廉。

具体实施方式

下面将结合具体实施例对本发明进行详细说明。

本实施例的基于像体重建的焦点堆栈照片合成方法，包括如下步骤：

(1)拍摄一组若干张(本实施例中为10张以上)场景、焦距f、光圈D相同但对焦的景深不同的焦点堆栈照片；

本实施例中使用数码相机设定好焦距f和光圈D，这里为了得到分辨率良好的照片，设定较大的光圈(F5.6)，在使用大光圈(F5.6)拍摄时，景深范围内的部分非常清晰，而范围以外的部分就比较模糊。

本实施例中对被摄场景拍摄一组若干张(比如10张)焦点堆栈照片，这些照片的其他参数都一致，但是改变对焦点的位置(比如由近及远)。拍摄过程中尽量保证相机稳定不移动，光线稳定，这样做是为了保证照片对应的位置关系正确和色彩亮度一致性。

对得到的焦点堆栈照片进行对准处理，保证每张照片中被摄物体在像素精度上对齐。

(2)针对任意焦点堆栈照片(对准处理后的焦点堆栈照片)，进行如下操作：

(2-1)计算当前焦点堆栈照片中每个像素的梯度值，并根据当前焦点堆栈所有像素点的梯度值构建得到对应的梯度图；

计算梯度值方法如下：

把每张焦点堆栈(为彩色照片)转换为灰度照片，这是为了计算的简便性，当然，也可以使用彩色照片分通道进行后续的处理。对每张照片(灰度照片)分别求梯度G：

G＝G_x+G_y(1)(1)

其中G_x为x方向上的梯度，G_y为y方向上的梯度(x方向，y方向具有相对性根据用户指定)。在离散图像的梯度计算中，使用差分这一表达：

G_x＝I[x，y+1]-I[x，y]       (2)

G_y＝I[x，y]-I[x+1，y]        (3)

其中，I[x，y]是指图像I的第x行第y列的像素值。

根据梯度值与焦点堆栈照片中像素的位置对应关系，将焦点堆栈照片的中各个像素点的梯度值构建成为对应的梯度图。

(2-2)对该梯度图进行去噪得到去噪梯度图(基于高斯平滑去噪)，去噪时针对任意一个像素点采用的邻域窗口为正方形，且大小为3×3(单位为像素)。

(3)将每个照片上同一位置的像素清晰程度(梯度值，即去噪后得到的去噪梯度图中各个点的值)进行连续性拟合(本实施例采用最小二乘拟合)，得到的拟合曲线，并求取所述的拟合曲线求取最高点，此最高点作为该像素位置的最佳景深L值；

对对应像素位置的梯度值和每张照片中相机对焦点的位置作为拟合数据，通过二项式的最小二乘拟合得到像素模糊程度曲线，在这一曲线上找到最大值点，这一点所在的对焦距离即为该点的最佳对焦景深L，而这一景深位置很有可能不在焦点堆栈照片上面而落在了照片之外的空间之中，“像体”概念就从这里得出。

(4)针对任意一个像素点，根据焦点堆栈照片对应的相机参数(焦距f、光圈D)和最佳景深L，计算照片上对应像素的模糊弥散圈半径R大小；

场景中每个点在照片上的清晰程度是不一样的，这是由场景中物体的空间位置决定的，相机参数无法精确衡量每一个像素点的弥散程度，但是通过相机参数(焦距f、光圈D)和步骤(2)得出的最佳景深位置我们可以计算出该像素在照片上的像素弥散圈的半径R。

得到了最佳对焦景深L，可以通过公式(4)(Avinash Kumar,NarendraAhuja,A Generative Focus Measure With Application to OmnifocusImaging,2013 IEEE International Conference on Computational Photography(ICCP))得到像素弥散圈的半径R：

$R(i,j)=\frac{D}{2}|1-\frac{L_a}{L}|---\left(4\right)$

其中D是光圈大小，L_a为所求像素所在的堆栈照片的对焦距离。

(5)针对任意一个像素点，选择景深与最佳景深最接近的照片作为该像素点的参考照片，根据参考照片上该像素值和像素弥散大小，运用Lucy-Richardson反卷积算法进行模糊像素的清晰度还原(即去模糊处理)，即得到合成结果。

本实施例中得到像素在堆栈中的弥散圈大小(像素弥散圈的半径R)后，可以推算出反卷积所使用的卷积核g(x,y)和卷积核窗口的大小c：

$g(x,y)=\frac{1}{2\mathrm{\π}{c}^2}\exp -\frac{x^2+y^2}{2c^2}---\left(5\right)$

$C=\frac{R}{\sqrt{2}}---\left(6\right)$

根据Lucy-Richardson反卷积算法，在距离最佳景深位置最近的焦点堆栈照片上对像素进行邻域内的反卷积操作，控制迭代的次数，可以复原出该位置上清晰对焦的像素值。对每个像素位置进行复原以后，可以得到一张比任何一张堆栈中的照片更清晰的照片。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于像体重建的焦点堆栈照片合成方法，其特征在于，包括如下步骤：

(1)获取若干张场景、焦距、光圈相同，但对焦的景深不同的焦点堆栈照片；

(2)针对每一张对准处理后的焦点堆栈照片，计算当前焦点堆栈照片中每个像素点的梯度值；

(3)将所有焦点堆栈照片中同一位置处的像素点对应的梯度值进行连续性拟合，得到的拟合曲线，并求取所述的拟合曲线最高点作为该像素位置的最佳景深；

(4)针对任意焦点堆栈照片中的任意一个像素点，根据当前焦点堆栈照片对应的焦距、光圈以及最佳景深计算当前焦点堆栈照片上当前像素点的模糊弥散圈半径；

(5)针对任意一个像素点，以景深与最佳景深最接近的焦点堆栈照片作为该像素点的参考照片，根据参考照片上该像素点的像素值和模糊弥散圈半径进行模糊像素的清晰度还原，即得到合成结果。

2.如权利要求1所述的基于像体重建的焦点堆栈照片合成方法，其特征在于，获取3～50张场景、焦距、光圈相同，但对焦的景深不同的焦点堆栈照片。

3.如权利要求1所述的基于像体重建的焦点堆栈照片合成方法，其特征在于，所述步骤(2)中还包括根据当前焦点堆栈照片中每个像素点的梯度值构建相应的梯度图，并对构建的梯度图进行去噪处理得到去噪梯度图；

所述步骤(3)中像素点对应的梯度值根据去噪梯度图获取。

4.如权利要求3所述的基于像体重建的焦点堆栈照片合成方法，其特征在于，采用高斯平滑去噪法对所述的梯度图进行去噪处理。

5.如权利要求1～4中任意一项所述的基于像体重建的焦点堆栈照片合成方法，其特征在于，所述步骤(3)中采用最小二乘拟合法进行连续性拟合。

6.如权利要求1～4中任意一项所述的基于像体重建的焦点堆栈照片合成方法，其特征在于，所述步骤(5)中基于Lucy-Richardson反卷积算法进行模糊像素的清晰度还原。

7.如权利要求6所述的基于像体重建的焦点堆栈照片合成方法，其特征在于，进行Lucy-Richardson反卷积算法时设定的最大迭代次数为10～30。