CN1303025A - 空间频率对比法作为成像光学系统的自动对焦判据 - Google Patents

Abstract

空间频率对比法作为光学成像系统的自动对焦判据,应用于光学系统;当系统寻求对焦判据时,将镜头前后调节时在像接收面上或等价位置上成的像,采样并量化后,利用离散付里叶变换,或者离散余弦变换,或者离散正弦变换,从空域变换到频域。对比他们空间频谱中高频分布与直流或低频分布的比例关系,作为镜头调焦运动方向及合焦与否的判定根据,镜头应向比值增大的方向运动,最大值处为合焦位置。

Description

空间频率对比法作为成像光学系统的自动对焦判据

本发明涉及提供一种新的成像光学系统自动对焦检测的判定依据。

目前现有的技术中，自动对焦分焦点检测方式，测距方式，以及摄像机中常用的视频信号检测方式(VIDEO AF)。焦点检测方式主要用于单反像机，又分为反差检测法和相位差检测法。反差检测法是利用图像边缘对比度来判断离焦与合焦。在胶片面的等价位置放置光敏元件，做图像亮度梯度检测，经运算电路判断做调焦方向控制。相位差检测法是将入射光线分离出基准光束和参考光束，根据基准光束和参考光束随被摄体的距离不同产生的位置差，转换为相位差，把它与不产生相位差时进行比较，得到镜头的移动量和方向，控制镜头移动，直到相位差为零时停止，既到达合焦位置。焦点检测方式的AF照相机可以实现自由交换镜头。测距方式可分为三角测量法和声纳测距法。三角测量法借助被摄物体的反射光线，利用三角形测量原理进行自动对焦。声纳测距法是利用发射的超声波，计算其回波的时间测出距离，再将镜头调节到合焦位。测距方式因不宜实现镜头的互换，所以一般被应用在镜间快门照相机中。还有一种方法是摄像机视频信号检测方式，使用CCD扫描后输出的模拟视频信号，因为和反差检测法类似，合焦时图像亮度梯度变化相对最大，因而视频信号中包含的高频波成份相对最丰富，用专门的电路来分析其中高频成份的丰富与否来判断合焦与否，从而实现自动对焦。目前部分数码照相机也开始采用这种方法来自动对焦。这种方法的缺点是需要专门电路来提取信号中高频波成份进行分析，因而成本较高。

本发明的任务是提供一种新的低成本，主要基于数据运算实现光学系统自动对焦判定的方法。

我们知道，像越清晰，其中的高频空间频率分布越丰富。合焦时，既定成像接收面上的像的空间频率中的高频分布达到相对的最大值。我们把光学镜头前后运动中所成的图像分别量化后，通过其变换后在频域空间的频谱分布，可计算出系统对焦过程中图像高频空间分布的变化。对比像的空间频率中高频分布与其直流或低频分布的比例关系的变化，作为镜头调焦运动方向及合焦与否的判定根据，镜头应向图像高频空间频率分布与其直流或低频分布之比值增大的方向运动，直至到达最大值。最大值处既为合焦位置。利用这个比例关系作为判据，可实现系统的自动对焦功能。

离散傅里叶变换是我们最常用的频域转换工具。假设一幅图像在离散的二维空域x,y(其中x=0,1,2,…m-1；y=0,1,2,…n-1)中以函数f(x,y)变化，则频域中有： $F(u,v)=\frac{1}{\mathrm{nm}}\underset{x=0}{\overset{m-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{n-1}{\mathrm{\Σ}}}f(x,y)\exp \[-j2\mathrm{\π}(\mathrm{ux}/m+\mathrm{vy}/n)\]$ 其中：u,v是基元分布在x,y两个方向上的空间频率。

将图像进行傅里叶变换后，便可对其空间频率进行统计。但是，此时的空间频率系数为复数，结果需要求模后再进行高频分布与低频分布的比例比较，转换及对比统计计算量大，所以我们又可利用离散余弦变换或离散正弦变换来简化变换运算。

离散余弦变换(DCT)公式： $F(u,v)=\frac{4C\left(u\right)C\left(v\right)}{N^2}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}P(i,j)\cos \frac{(2i+1)\mathrm{u\π}}{2N}\cos \frac{(2j+1)\mathrm{\ν\π}}{2N}$ 其中，

N：矩阵的水平和垂直像素数(N^*N方阵)，

P(i,j)：空域函数，i,j=0,1,2,…N-1。

F(u,v)：频域函数，u,v=0,1,2,…N-1。

成像接收面上的像如果按照N乘N抽样网格进行抽样，可形成灰度(或亮度，色度)随空间位置变化的图像矩阵。利用DCT将其从空域转换到频域，将像面上图像随空间变化的分布分解成沿水平和垂直方向上N乘N个形如 $\cos \frac{(2i+1)\mathrm{u\π}}{2N}$ 和 $\cos \frac{(2j+1)\mathrm{\ν\π}}{2N}$ 的基元分布的线性组合，其能量被认为集中到这些离散的频率分布上。

一幅图像，采样后划分为由N行N列的像素组成的像素矩阵P_N*N，每像素为一灰度(或亮度，色度)值P(i,j),i和j分别代表此像素在采样网格中水平和垂直的位置，i和j从0到N-1,P(0,0)处于矩阵左上角。对此像素矩阵进行DCT后，变为矩阵F_N*N。由于我们按离散值计算，(u,v)取从0到N-1的整数。图像的灰度(或亮度，色度)在频域中能量分布的直流和低频分量分布在左上角，高频分量分布在右下角。越靠近右下角(越靠近F(N-1,N-1)位置)，对应的空间频率越高。

P(0,0)	P(0,1)	P(0,2)	…	P(0,N-1)
					P(1,0)	P(1,1)	P(1,2)	…	P(1,N-1)
P(2,0)	P(2,1)	P(2,2)	…	P(2,N-1)
					…	…	…	…	…
P(N-1,0)	P(N-1,1)	P(N-1,2)	…	P(N-1,N-1)

P(i,j)空域矩阵DCT↓

F(0,0)	F(0,1)	F(0,2)	…	F(0,N-1)
					F(1,0)	F(1,1)	F(1,2)	…	F(1,N-1)
F(2,0)	F(2,1)	F(2,2)	…	F(2,N-1)
					…	…	…	…	…
F(N-1,0)	F(N-1,1)	F(N-1,2)	…	F(N-1,N-1)

F(u,v)频域的系数矩阵

当采样以一维线阵方式进行时(即光电接受器件为线阵器件)，DCT公式成为： $F\left(u\right)=\frac{2C\left(u\right)}{N}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}P\left(i\right)\cos \frac{(2i+1)\mathrm{u\π}}{2N}$ 其中，N：采样的一维像素数，

P(i)：空域函数，i=0,1,2,…,N-1。F(u)：频域函数，u=0,1,2,…,N-1。

空域矩阵：

P(0)

P(1)

P(2)

…

P(N-1)

↓ DCT频域系数矩阵：

F(0)

F(1)

F(2)

…

F(N-1)

同样，在此一维频域矩阵中，越靠近右边的系数，对应的越高的空间频率。而对于离散正弦变换，一维变换公式： $F\left(u\right)=\frac{2}{N+1}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}P\left(i\right)\sin \frac{\mathrm{\π}(i+1)(u+1)}{N+1}$ 其中，0≤u≤N-1二维变换公式： $F(u,v)=\frac{4}{{(N+1)}^2}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}P(i,j)\sin \frac{\mathrm{\π}(i+1)(u+1)}{N+1}\sin \frac{\mathrm{\π}(j+1)(v+1)}{N+1}$ 其中，0≤u≤N-1,0≤v≤N-1离散正弦变换和离散余弦变换相比，只是计算公式略有不同，其物理含意和离散余弦变换相同，转换到频域后，对空间频率高低频率统计的方式也和离散余弦变换基本相同。但是利用离散正弦变换因不能分离出直流分量，只能将各高频分量的值和基频量或低频量比较。

在目前的系统中，常带有微处理器。我们可利用系统自身所带的普通微控制器较快地完成以上计算，可以最大限度的减低成本。特别由于采用了离散正弦变换或离散余弦变换，更简化了从空域到频域转换计算。采用本方法所需的自动对焦专用器件少，仅利用光电转换器件和模数转换器件便能完成自动对焦的判别。如果系统本身就是利用光电转换器件摄取物体并数字化的，像数码相机和电脑摄像头，不需再增加其他硬件，仅靠数据的运算既能实现自动对焦的判别。同时在这样的系统中，若采用了面阵的光电接收器件，对图像中对焦区的选取非常灵活，因为整个成像区的像素值都可以读取，选取不同的子区域作为对焦区，便可对不同点对焦，用软件方法便可实现对焦区的移动(任意点对焦)。

以下所述实施例详细说明本发明。

实施例1

在对于利用光电转换器件摄取物体成像的系统，如监视器，数码相机，电脑摄像头等，将光电转换器件接收图像的模拟量转换为数字量(A/D转换，数码相机和电脑摄像头本身就要完成此过程)，产生本文上面所说的像素矩阵。如果使用的是彩色CCD或CMOS器件，采样得到是彩色图像数据，做插值处理补齐RGB各分量后，我们可对其中的RGB中的一个颜色分量的色深值当成灰度值进行处理(选占比重最大的那一种颜色)。不过最好将RGB分量转化至YUV分量，对Y分量(亮度)矩阵进行空域至频域的转换，再对其空间频率作统计处理，更合理。如果使用黑白的光电摄像器件，则直接对灰度矩阵进行空域至频域的转换处理。

所谓对焦，其实是对一幅图像中的某一块区域对焦。因为一幅图中，往往其中物体并非同处一平面上，而是有空间的前后关系，我们称之为前景与后景。如果图像中物体有空间的前后关系，则不可能对图像中的所有物体都正确对焦。只能对其中的某一纵深的区域，也即图像中的某一小块区域(或某几小块区域)正确对焦，我们把这(些)块区域称为对焦区。我们将对焦区中的像素取其中的N^*N矩阵(列如8X8的矩阵)，对其灰度值(或亮度值)进行空域至频域的变换(三种变换都行，我们以DCT为例)，统计变换后各高频空间频率的系数(振幅)在分布中所占的比例，例如将频谱中某截止频率以后更高空间频率的各分量系数的绝对值求和后除以u=v=0的分量的系数绝对值(振幅分布的比例)，或各分量系数的平方和除以u=v=0的分量的系数的平方(能量分布的比例)，做为判断参数。

假定镜头处于某一位置时光电接收器件采样到的图像灰度(或亮度)矩阵进行DCT变换，将变换后的频域系数矩阵中某一频率以后的更高频率系数(如(u＋v)＞1以后)的各值取绝对值后求和(既 $\underset{u=2}{\overset{N-1}{\mathrm{\Σ}}}\underset{v=2}{\overset{N-1}{\mathrm{\Σ}}}$ ︱F(u,v)︱)，再除以直流分量(u=v=0)的绝对值︱F(0,0)︱，得到A1，我们记此时的镜头处于位置1；微调镜头物距，重复以上过程，得到高频系数与直流分量的比例值A2及镜头位置2，如果此时比例值A2比A1大，说明镜头调节方向正确，继续同方向微调物距到位置3及求比例值A3。如果A2比A1小，说明镜头调节方向错误，镜头应反向微调到位置3及求比例值A3,…同理一直调节镜头物距，得到比例值A4,A5。。。An与镜头位置4,5,。。。n。假设从A1到An中An-1值达到最大，到此位置后镜头无论正反方向调节，求出的高低频率比值An都不能超过An-1，则我们认为当镜头在位置n-1时处于合焦状态。将镜头调回位置n-1即完成对焦过程。如果用微处理器控制以上过程，则具备自动对焦功能。

很多情况下，设定的对焦区在接收器件上所成的像远大于我们DCT采样所取的像素矩阵面积，我们这时候可利用两种方法来增强自动对焦的效果。方法1)利用对焦区中的多个采样像素矩阵共同来判断自动对焦。将镜头在某点位置时对焦区中的数个参与对焦判断的像素矩阵分别DCT后，各自高频分量占空间频率的比例系数值A相加成∑A，利用这个∑A来代替上文所述在An(n=1,2…n)来判断，可以增加系统的精度。方法2)将相邻并且呈等大小分布的矩形框内的数个像素合并成一个像素，比方，将一个64×64像素的矩阵每相邻的上下左右4个像素一组合并成一个16×16像素的矩阵，新矩阵中像素的值为原来对应矩形框内的数个像素的平均值或加权平均值(越靠近矩形框中心，权重应越大)，合并后再做变换处理，可成倍增加系统自动对焦的灵敏度。合并的像素相当于增加了原来每个像素的受光面积，也就增加了灵敏度。特别在低光照条件下，可有效改善系统自动对焦的性能。但是合并像素，要以不牺牲系统采样的高频特性为底限，因为合并像素，相当与引进了低通滤波，会丢失高频信号。

从空域转换到频域的方法中，用离散付里叶变换和离散正弦变换一样能达到相同目的。但是在本实施例中，离散余弦变换相对在三种方法中为最佳变换方法。不仅因为离散余弦变换的计算量相对少些，而且在数字影像产品中，常用DCT对图像数据进行变换后再做压缩，如果自动对焦也用DCT变换，可与数据压缩共用DCT程序代码，可最大限度利用资源。在完成变换后，统计高频空间频率的系数的绝对值(振幅)在分布中所占的比例要比统计能量的相对分布计算量同样要少，也能加快处理速度。所以本实施例采用离散余弦变换进行空域至频域的转换并统计各高频空间频率的系数绝对值(振幅)在分布中所占的比例作为自动对焦判据的方法。实施例2

对于用非光电转换器件摄取物体成像的系统，象普通照相机，要利用本发明进行自动对焦，则在像接收面的等价位置(所谓等价是指当像在像接收面上清晰成像时，也在此位置清晰成像，反之亦反之)放置一光电接受器件，如面阵或线阵CCD或CMOS器件。当物体通过镜头(组)成像时，像投射到光电接受器件接收面上，器件将接受面上的图像转换为相应的电量值，通过A/D转换将这些模拟量转换为数字量，采样成本文上面所说的像素矩阵。

光电转换器件用做AF功能，一般不需采用彩色器件。采用高灵敏度的黑白器件从成本和计算量上都比用彩色器件合理。我们只需对采样后的灰度矩阵进行处理，而不需再做插值处理补齐RGB各分量和RGB=》YUV转换。

在像接收面的等价位置放置一面阵光电接受器件后，其实系统等同于实施例1中的系统，所以可用实施例1相同的处理方法来实现自动对焦。

若在像接收面的等价位置放置一线阵光电接受器件，则我们用一维变换将一维的空域分布P(i)(i=0,1,2,…N-1)转换为频域F(u)(u=0,1,2,…N-1)。将频域系数中u大于某值(例如，u＞2)后的各系数绝对值相加，其和再除以u=0的系数绝对值，最后的值S作为对焦的判别值，找出镜头在不同位置时的S，镜头向S增大的位置移动，直到最大，既到达合焦位。

在像接收面的等价位置放置一线阵光电接受器件是低成本的方式。但是与放置面阵光电接受器件相比，不能够方便地实现对焦区的移动(任意点对焦)。所以应结合不同的应用方案，考虑选取面阵或线阵的光电接受器件来做自动对焦。

Claims (4)

1．一种新的成像光学系统自动对焦的判据方法，属于焦点检测方法；其特征在于：光学镜头物距前后调节时在像接收面或其等价位置上所成的各幅像，在采样并量化后，利用离散付里叶变换，或者一维或二维离散余弦变换，或者一维或二维离散正弦变换，将其从空域变换到频域，通过变换后得到图像在频域空间的空间频谱分布，对比镜头调焦过程中成像面或其等价位置上的图像空间频率中高频分布与其直流或低频分布的比例关系的变化，作为镜头调焦运动方向及合焦与否的判定根据，镜头应向图像高频空间频率分布与其直流或低频分布之比值增大的方向运动，直至到达最大值；最大值处既为合焦位置；利用这个比例关系作为判据，实现系统的自动对焦功能。

2．根据权利要求1所述的方法，在对比镜头调焦过程中成像面或其等价位置上的图像空间频率中高频分布与其直流或低频分布的比例关系的变化时，将频域中频率高于设定截止频率的其它各空间频率系数的绝对值相加，再除以直流或低频系数的绝对值，作为对焦判定值。

3．根据权利要求1所述的方法，在对比镜头调焦过程中成像面或其等价位置上的图像空间频率中高频分布与其直流或低频分布的比例关系的变化时，将频域中频率高于设定截止频率的其它各空间频率系数的平方值求和，再除以直流或低频系数的平方，作为对焦判定值。

4．根据权利要求1所述的方法，在应用中将像采样并量化后的像素矩阵中相邻的并且呈等大小分布的矩形面积内的数个像素合并成一个像素，新矩阵中像素的值为原来对应矩形框内的数个像素值的平均值或加权平均值；合并后再做变换处理，用以增加系统自动对焦的灵敏度，改善低光照条件下系统自动对焦的性能。