CN100399183C - 数码相机中自适应自动聚焦方法 - Google Patents

Abstract

数码相机中自适应自动聚焦方法是数码相机的图像处理的技术，其处理步骤为：a.用数码相机采集原始的彩色图像；b.根据原始图像的分辨率大小，采用自适应窗口的方法将原始图像彩色中间区域作为子图像剪切出来；c.将彩色的子图像转换为灰度图像；d.对灰度子图像进行二维DCT变换，获得二维DCT系数；e.对二维DCT系数按照其频率的大小进行自适应加权，计算图像清晰度评价函数；f.根据图像清晰度评价函数，采用一种全程的搜索策略控制步进电机的移动，搜索出清晰的聚焦图像。该方法定义了一个感兴趣的窗口区域，该窗口的大小可以根据图像的分辨率进行自适应地调整，以适应不同的拍摄要求。

Description

数码相机中自适应自动聚焦方法

技术领域

本发明是一种数码相机中的自动聚焦技术，属于数码相机的图像处理的技术领域。

背景技术

从基本原理上来说，自动聚焦方法可以分为两大类：一类是主动方法；另一类是被动方法。主动方法是基于镜头与被拍摄物体之间距离测量的测距方法，根据被拍摄物体的情况调整光学系统，主动方法的特征是通过接收主动发射的电磁波或声波的反射波来测量物体的距离和方位，并根据光学成像原理计算最佳聚焦位置，然后通过信息处理器来控制电机以实现自动聚焦，因此这种方法称为主动方法。由于需要附加的测距设备，因此采用这种方法的仪器一般体积较大，携带不方便，价格较高，并且对于近距离的情况不太适用。

被动方法指利用光学系统所获取图像本身所自有的信息来实现自动聚焦，经过镜头位置的调节以获取最清晰的聚焦图像，这种方法通常也称为基于数字图像处理的自动聚焦方法。该方法可以通过软件实现自动调焦，即通过固定的算法对数字图像内在包含的信息进行相应处理，得到相应的控制量，驱动步进电机，带动镜头前后移动，直到获得聚焦清楚的图像。由于被动方法不需要额外的测距设备，因此采用这种方法的仪器一般体积较小，携带方便，使用灵活，可应用于数码相机等光学系统中。采用被动方法实现自动聚焦的一个关键问题是：如何设计有效的图像清晰度评价函数来判断图像是否清晰。一个理想的图像清晰度评价函数应具有无偏性，所得到的最佳聚焦位置应同图像清晰度评价函数的最大值相对应，同时还应具有较好的抗噪声能力和较小的运算复杂度。

根据光学成像原理，在焦距f，物距u以及像距v之间满足如下关系：

$\frac{1}{f}=\frac{1}{u}+\frac{1}{v}---\left(1\right)$

理想聚焦情况是物平面上的每一个点所发出的光线，经过透镜折射后仍交于一点。即每一个物点都对应一个像点。当一个物体的物平面到透镜的距离为u时，观察平面到透镜的距离为v时，所得到的图像为最清晰的聚焦图像，此时观察平面位于聚焦平面上。若观察平面偏离了聚焦平面，物平面上每一点所发出的光线则会在观察平面上形成一个模糊圆，也就是产生了离焦图像，这时的图像将变得模糊。如果观察平面距离聚焦平面越远，那么在观察平面上所产生的图像也就越模糊。如果存在多个物距u大小不同的物体时，并且这多个物体的物距u都远大于透镜本身的焦距f，那么这多个物体所发射的光线在到达透镜时都可以近似为平行光，它们的像距v都可近似为透镜的焦距f，即：

$v=\frac{\mathrm{uf}}{u-f}\≈f---\left(2\right)$

这时，如果观察平面位于透镜的焦平面时，这多个物体所成的像最为清晰，因此可以同时得到这多个物体清晰的聚焦图像。目前的聚焦方法大多是针对这一情况进行的研究。但如果在多个物体中至少存在一个物体的物距u同焦距f相比不能视为无穷大时，那么当与透镜距离不同的多个物体所发出的光线经过透镜折射后，各个物体经过透镜后的像距v也不相同。此时，无论观察平面处在哪一个位置，都不可能同时得到所有这些物体所生成的清晰图像，而目前的技术针对这一情况的研究较少。另外，传统的图像清晰度评价函数要求满足单峰性，而在这种情况下，性能良好的图像清晰度评价函数往往不会出现单峰的情况，这是因为多个物体的像距不同的缘故，图像清晰度评价函数往往会在不同物体的像距位置处出现多个峰值。

一般而言，聚焦越准确的图像，它的高频分量也就越多，边缘细节部分也就越锐利；而离焦的图像，它的高频分量受到损失，边缘部分就显得相对平滑，离焦程度越明显的图像，它的高频分量损失也就越多，图像边缘部分也就越平滑，图像也就越模糊。因此，可以对图像进行二维DCT变换，将图像由空域变换到频域，得到二维DCT系数，二维DCT系数较好的体现了图像的频率信息，其中高频信息主要反映了图像的边缘细节部分，于是可以取二维DCT系数中的高频分量的能量作为图像清晰度的评价准则，从而构造图像清晰度评价函数。然而就二维DCT系数而言，很难严格地区分哪些二维DCT系数属于高频成分，通常的方法是去除二维DCT系数的直流系数，而将交流系数的能量作为图像清晰度的评价准则，这样就会将二维DCT系数的低频成分和高频成分同等地对待，这就导致这种方法往往不能满足图像清晰度评价函数的要求，进而容易造成聚焦不准确的情况。

发明内容

技术问题：本发明的目的是提供一种数码相机中自适应自动聚焦方法，该方法定义了一个感兴趣的窗口区域，该窗口的大小可以根据图像的分辨率进行自适应地调整，以适应不同的拍摄要求，当不同物体与透镜的距离不相同时，可以将感兴趣的物体锁定在这个窗口区域，从而对感兴趣的物体实现自动聚焦。

技术方案：由于距离透镜不同的物体，在经过透镜折射后所对应的像平面与透镜的距离也不相同，当至少有一个物体的物距u同焦距f相比不能视为无穷大时，将会出现当其中一个物体所成的像聚焦清晰时其他物体所成的像将变得模糊的情况。而目前的自动聚焦方法针对这一问题研究较少。

镜头系统实际上可以等效为一个低通滤波系统。处于聚焦状态时的图像，其高频成分相对丰富，图像的边缘细节部分清晰；而处于离焦状态时的图像，其高频成分受到损失，图像的边缘细节部分也就显得模糊，而且离焦程度越大，这种现象表现得也就越明显。从这个角度出发，可以选取图像中高频成分的能量作为清晰度的评价标准，构造图像清晰度评价函数，而对图像进行二维DCT变换后，得到的二维DCT系数就体现了图像的频率特征。目前的方法通常是将二维DCT系数的直流成分去除，将交流成分的能量作为图像清晰度的评价准则，然而交流成分中既包含高频成分，也同时包含大量的低频成分，这种方法将高频成分和低频成分同等地处理，存在理论上的不足，并在实际操作中往往使聚焦不准确。

为此，提供了一种加权的二维DCT系数方法，这种方法首先将二维DCT的直流系数去除，然后对二维DCT系数的低频成分和高频成分区别对待，将不同的频率成分赋予不同的权重，将高频成分赋予较大的权重，而将低频成分赋予较小的权重。DCT系数的频率越高，所赋予的权重也就越大。这样可以将高频成分明显地突出出来，而对于低频成分也具有一定的抑制作用。因此，该方法要优于传统的二维DCT方法。

在通常情况下，人的注意力都会集中于图像的中间区域，具体地说，当拍摄照片时人总是习惯于将自己感兴趣的内容放在图像的中间区域。在实际拍摄景物时，如果存在多个物距不同的物体，并且至少有一个物体的物距同焦距相比不能视为无穷大时，那么这时不同物距的物体将具有不同的像距，因此在观察平面不可能同时清晰地显示出不同物距的物体所成的像。对此必须有所取舍，提供了将图像的中间区域作为整幅图像的“重点”的方法来解决这一问题，具体地说，将中间区域所对应的聚焦平面作为整幅图像的聚焦平面，其中中间区域的大小至关重要，如果窗口过大，有可能会造成窗口内感兴趣的物体所占的区域小于其周围背景所占的区域，这样聚焦的结果可能会将周围背景进行聚焦，而此时感兴趣的物体却可能处于离焦状态；如果窗口过小，则可能会丢失部分感兴趣物体的区域。因此，需要对窗口大小进行折中考虑。另外考虑到所需不同分辨率图像的要求，为此提供了一种能根据所需分辨率自适应地调节大小的窗口区域。具体地说，将二维原始图像的行和列分别进行三等分，然后分别取行和列的1/3中间部分的相交区域作为感兴趣的窗口，于是窗口的面积占整幅图像面积的1/9，可以看出这时窗口的大小可以随着图像的分辨率做自适应地调整，在拍摄图像时，可将感兴趣的目标锁定在中间窗口，这样就可利用后续的图像清晰度评价函数和搜索策略仅对感兴趣的目标进行自动聚焦。

然后提供了一种新的图像清晰度评价函数。对图像中间窗口的子图像，利用图像清晰度评价函数来判断其清晰度。将子图像进行二维DCT变换后，得到二维DCT系数，由于二维DCT系数的低频成分和高频成分对图像清晰度的影响不同，为此，提供了一种加权二维DCT系数方法。

本发明的数码相机中自适应自动聚焦方法，其步骤为：

a、用数码相机采集原始的彩色图像；

b、根据原始图像的分辨率大小，采用自适应窗口的方法将原始图像彩色中间区域作为子图像剪切出来；

c、将彩色的子图像转换为灰度图象；

d、对灰度子图像进行二维DCT变换，获得二维DCT系数；

e、对二维DCT系数按照其频率的大小进行自适应加权，计算图像清晰度评价函数；

f、根据图像清晰度评价函数，采用一种全程的搜索策略控制步进电机的移动，搜索出清晰的聚焦图像。

其中自适应窗口的方法的具体步骤为：首先计算原始图像的分辨率大小，根据原始图像的分辨率将二维原始图像的行和列分别进行三等分，然后分别取行和列的中间部分相交的区域作为感兴趣的窗口，于是窗口的面积占整幅图像面积的九分之一大小，最后将该窗口中的图像作为子图像从原始图像中剪切出来。

其中光学自动聚焦中图像清晰度评价函数中加权二维DCT系数方法，其步骤为：

1.)设I(x，y)表示分辨率为M×N的灰度图像在像素点(x，y)的灰度值，则灰度图像的二维DCT变换定义为：

$F(u,v)=C\left(u\right)C\left(v\right)\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}I(x,y)\cos \frac{\mathrm{\π}(2m+1)u}{2M}\cos \frac{\mathrm{\π}(2n+1)v}{2N}$

其中u和v分别表示频域中的行频率和列频率，F(u，v)称为图像I(x，y)的二维DCT系数，其中C(u)和C(v)分别由下式定义：

$C\left(u\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{M}}& u=0\\ \sqrt{\frac{2}{M}}& 1\≤u\≤M-1\end{array}\right.,$ $C\left(v\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{N}}& v=0\\ \sqrt{\frac{2}{N}}& 1\≤v\≤N-1\end{array}\right.$

2.)去除二维DCT系数的直流系数，剩余的其他系数则为交流系数，按照二维DCT系数频率的大小，对交流系数进行自适应加权来计算图像清晰度评价函数，计算公式如下：

$E_1=\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\left[(u+v)F{(u,v)}^2\right]$

$E_2=\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\left[(u+v)\right|F(u,v)\left|\right]$

其中，E₁和E₂分别表示图像清晰度评价函数中的平方能量和绝对值能量，M和N分别表示二维DCT系数中的行数和列数，u和v分别表示频域中的行频率和列频率，并且u和v不同时为零。

其中全程的搜索策略是根据图像清晰度评价函数来搜索最清晰的聚焦图像。由于图像清晰度评价函数可能会出现多峰的情况，所以如果采用传统的搜索策略将可能收敛到局部峰值，而全程搜索策略可解决这一问题，其方法为：首先采用较大的步长进行全程搜索，并记录每一步搜索时的评价函数值，得到评价函数曲线的变化情况，然后通过步进电机将镜头移动到最大值的前一步长位置处，在最大值的前后位置进行小步长精确搜索，直至搜索到清晰的聚焦图像为止。该搜索方法不仅适用于多峰的情况，同时对单峰的情况也同样适用。

有益效果：本发明的有益效果是，当拍摄图像时如果存在距离镜头不同的多个物体，那么仅将感兴趣的物体锁定在中间窗口，在中间窗口占据较大区域，将对其进行自动聚焦，得到感兴趣物体的清晰图像。同时采用中间窗口方法也有效地降低了计算复杂度，缩短了聚焦所需的时间。

本发明的另一个有益效果是，提供了计算加权DCT系数能量的两种方法，更好的满足了图像清晰度评价函数的要求，使聚焦判断更加准确。

附图说明

图1是多个物体光学成像的原理图。

图2是本发明实现自动聚焦的控制流程示意图。

其中有：第一物体A、第二物体B、第一物体的像A’、第二物体的像B’、焦距f。

具体实施方式

数码相机中自适应自动聚焦方法其步骤为：

a、用数码相机采集原始的彩色图像；

b、根据原始图像的分辨率大小，采用自适应窗口的方法将原始图像彩色中间区域作为子图像剪切出来；

c、将彩色的子图像转换为灰度图象；

d、对灰度子图像进行二维DCT变换，获得二维DCT系数；

e、对二维DCT系数按照其频率的大小进行自适应加权，计算图像清晰度评价函数；

f、根据图像清晰度评价函数，采用一种全程的搜索策略控制步进电机的移动，搜索出清晰的聚焦图像。

其中自适应窗口的方法的具体步骤为：首先计算原始图像的分辨率大小，根据原始图像的分辨率将二维原始图像的行和列分别进行三等分，然后分别取行和列的中间部分相交的区域作为感兴趣的窗口，于是窗口的面积占整幅图像面积的九分之一大小，最后将该窗口中的图像作为子图像从原始图像中剪切出来。

设I(x，y)表示分辨率为M×N的子图像在像素点(x，y)的灰度值，则子图像的二维离散DCT变换定义为：

$F(u,v)=C\left(u\right)C\left(v\right)\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}I(x,y)\cos \frac{\mathrm{\π}(2m+1)u}{2M}\cos \frac{\mathrm{\π}(2n+1)v}{2N}---\left(3\right)$

其中C(u)和C(v)分别由下式定义：

$C\left(u\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{M}}& u=0\\ \sqrt{\frac{2}{M}}& 1\≤u\≤M-1\end{array}\right.,$ $C\left(v\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{N}}& v=0\\ \sqrt{\frac{2}{N}}& 1\≤v\≤N-1\end{array}\right.$

F(u，v)称为图像I(x，y)的二维DCT系数，然后去除二维DCT系数的直流系数，剩余的其他系数则为交流系数，在交流系数中，既有高频成分同时也有低频成分，而不同的频率成分对图像的清晰度影响不同，为此，提供了一种将不同的频率成分赋予不同权重的方法，频率越高的DCT系数所赋予的权重也就越大，即：

$E_1=\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\left[(u+v)F{(u,v)}^2\right]---\left(4\right)$

其中，频率分量u和v不同时为零。从式(4)可以看出，当频率越高时，所赋予的高频能量的权重也就越大，这更符合图像清晰度评价函数的要求，考虑到式(4)采用的是平方能量，所需的运算量较高，为此，还提供了一种绝对值能量的方法：

$E_2=\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\left[(u+v)\right|F(u,v)\left|\right]---\left(5\right)$

其中，频率分量u和v不同时为零。从式(5)中可以看出，采用绝对值计算能量后，代替了平方运算，在保证清晰度评价函数性能的前提下，可降低运算量。

实现自动聚焦的主要步骤如附图2所示，首先采集原始图像，根据原始图像分辨率的大小，将二维的原始图像的行和列分别进行三等分，取行和列中间相交的部分，并将行和列相交部分的区域剪切出来作为中间窗口，后续操作将仅对中间窗口的子图像进行处理。

如果图像的分辨率较高，可以根据分辨率的大小对图像进行适当的抽样，在保证实现自动聚焦的前提下可以减少数据量，然后将彩色图像转换成灰度图像，转换公式如下：

$I=\frac{1}{3}(R+G+B)---\left(6\right)$

其中，R、G和B分别表示彩色图像的红色、绿色和蓝色分量，I为转换后的灰度图像，每个灰度值由8bits表示。然后对灰度图像进行二维DCT变换，得到二维DCT系数。

然后根据式(4)或(5)，计算图像清晰度评价函数值，由于图像清晰度评价函数往往会出现多峰的情况，为此可采用一种全程的搜索策略方法。该搜索方法首先采用较大的步长全程搜索一遍，并记录图像清晰度评价函数曲线，然后将镜头移动到函数最大值的前一位置在最大值附近进行小步长搜索，直至搜索到图像清晰度准则函数极值点为止，这样可以解决在多个峰值出现的情况下搜索最大值的问题。此时所对应的图像即为清晰的聚焦图像。

Claims (2)

1.一种数码相机中自适应自动聚焦方法，其特征在于其步骤为：

a、用数码相机采集原始的彩色图像；

b、根据原始图像的分辨率大小，采用自适应窗口的方法将原始图像彩色中间区域作为子图像剪切出来；

c、将彩色的子图像转换为灰度图象；

d、对灰度子图像进行二维DCT变换，获得二维DCT系数；

e、对二维DCT系数按照其频率的大小进行自适应加权，计算图像清晰度评价函数；

f、根据图像清晰度评价函数，采用一种全程的搜索策略控制步进电机的移动，搜索出清晰的聚焦图像；

其中光学自动聚焦中图像清晰度评价函数中加权二维DCT系数方法为：

1.)设I(x，y)表示分辨率为M×N的灰度图像在像素点(x，y)的灰度值，则灰度图像的二维离散DCT变换定义为：

$F(u,v)=C\left(u\right)C\left(v\right)\underset{m=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}I(x,y)\cos \frac{\mathrm{\π}(2m+1)u}{2M}\cos \frac{\mathrm{\π}(2n+1)v}{2N}$

其中u和v分别表示频域中的行频率和列频率，F(u，v)称为图像I(x，y)的二维DCT系数，其中C(u)和C(v)分别由下式定义：

$C\left(u\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{M}}& u=0\\ \sqrt{\frac{2}{M}}& 1\≤u\≤M-1\end{array}\right.,$ $C\left(v\right)=\left\{\begin{array}{cc}\frac{1}{\sqrt{N}}& v=0\\ \sqrt{\frac{2}{N}}& 1\≤v\≤N-1\end{array}\right.$

2.)去除二维DCT系数的直流系数，剩余的其他系数则为交流系数，按照二维DCT系数频率的大小，对交流系数进行自适应加权来计算图像清晰度评价函数，计算公式如下：

$E_1=\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\left[(u+v)F{(u,v)}^2\right]$

$E_2=\underset{u=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{v=0}{\overset{N-1}{\mathrm{\Σ}}}\left[(u+v)\right|F(u,v)\left|\right]$

其中，E₁和E₂分别表示图像清晰度评价函数中的平方能量和绝对值能量，M和N分别表示二维DCT系数中的行数和列数，u和v分别表示频域中的行频率和列频率，并且u和v不同时为零。

2.根据权利要求1所述的数码相机中自适应自动聚焦方法，其特征在于其中自适应窗口的方法的具体步骤为：首先计算原始图像的分辨率大小，根据原始图像的分辨率将二维原始图像的行和列分别进行三等分，然后分别取行和列的中间部分相交的区域作为感兴趣的窗口，于是窗口的面积占整幅图像面积的九分之一大小，最后将该窗口中的图像作为子图像从原始图像中剪切出来。

Images