CN101049011B - 镜头滑移校正方法和设备 - Google Patents

Abstract

可通过对捕获的图像应用反传递函数来补偿由不理想的镜头捕获的图像的亮度和色调偏移失真(也称为渐晕)。可基于距离所述镜头的中心的半径来测量镜头传递函数的估算。可通过捕获平面场图像来测量所述镜头传递函数。可基于相对亮度最大值来确定所述镜头的中心。于是，可将所述捕获的平面场图像的相对亮度测量为半径的函数，以产生镜头响应曲线。可针对每个颜色分量来测量单独的响应曲线。可将校正曲线确定为所述响应曲线的反量。可将所述校正曲线应用于随后捕获的图像以补偿镜头降级。

Description

镜头滑移校正方法和设备

相关申请案的交叉参考

本申请案主张2004年9月2日申请的标题为“Lens Roll Off Correction”的第60/607,026号美国临时申请案的优先权，该申请案的全文以引用的方式并入本文中。

技术领域

无

背景技术

电子组件的微型化、处理能力的提高和电子组件成本的降低使消费型电子装置能够实施多种特征和能力。原先受限于电线的电话现在普遍采用无线装置的形式，使得用户能够几乎从任何地方进行通信。

无线电话本身已经过发展而包含了若干年前的模型中尚无法实现的大量特征和能力。现在，无线电话普遍能够拍摄数字照片并将照片传输到联网的装置，例如个人计算机。

现代电子装置设计者面临的一个挑战是既要在装置中提供消费者已经习惯接纳的同等或更高的复杂度，同时又要降低价格。通常对于装置内构建的任何特定组件，设计者均会有一个或一个以上模型或供应商。然而，较低成本的组件可能会提供较低水平的性能。

较低水平的性能可能会以多种形式中的任一形式显现出来。举例而言，与价格较高的组件相比，价格较低的组件可能具有较低的耐久性或使用寿命。类似地，价格较低的组件可能只能够提供较低的性能。举例而言，成本较低的处理器可能不具有与价格较高的处理器提供相同处理速度的能力。类似地，价格较低的显示器可能不具有价格较高的显示器的分辨率。

理想的情况是，设计者能够选择成本足够低的物件，其既可为消费者将成品电子装置的成本最小化，同时又向消费者提供与构建高价组件的相应电子装置大致相同的价值。让分析过程变得更复杂的是，电子装置的价值和性能不仅仅是通过客观标准衡量的，而且可能还会受到消费者主观感受的影响。

发明内容

可通过向捕获的图像应用反传递函数来补偿由不理想的镜头捕获的图像的亮度和色调偏移失真。可基于距离镜头中心的半径来测量镜头传递函数的估算。可通过捕获平面场图像来测量所述镜头传递函数。可基于相对亮度最大值来确定镜头的中心。于是，所捕获的平面场图像的相对亮度可作为半径的函数来测量，以产生镜头响应曲线。可针对每个颜色分量来测量单独的响应曲线。校正曲线可确定为所述响应曲线的反量。所述校正曲线可存储为多项式函数、多个分段(piecewise)连续多项式函数，或者多个线性近似值。所述校正曲线可应用于随后捕获的图像以补偿镜头降级。

本发明包含一种校正镜头滑移降级的方法，其包含捕获图像、部分地基于所述图像产生校正表，以及部分地基于所述校正表来校正随后的图像的镜头滑移降级。

本发明还包含一种校正镜头滑移降级的方法，其包含确定校正表、捕获数字图像、从数字图像中采样像素值、基于校正表确定校正因数，以及向所述像素应用校正因数。

本发明还包含一种经配置以校正镜头滑移降级的设备，其包含：镜头；传感器，其相对于镜头而定位，且经配置以捕获入射到镜头的图像；以及图像处理器，其耦合到所述传感器，且经配置以通过从图像中采样像素、确定对应于每个像素的校正因数、并向像素应用校正因数来校正镜头滑移。

附图说明

通过结合图示阅读下述具体描述，将更容易了解本发明实施例的特征、目的和优点，在图示中，相同元件具有相同参考数字。

图1A是图像处理设备的实施例的功能方框图。

图1B是绘示镜头错位的实例的方框图。

图2是图像处理设备的一部分的实施例的功能方框图。

图3是图像处理设备内的校准模块的实施例的功能方框图。

图4A-4B是镜头滑移特性的实例的曲线图。

图5是针对一个实施例的校正曲线的实例的曲线图。

图6是镜头滑移校准方法的实施例的流程图。

图7是镜头滑移校准方法的实施例的流程图。

图8是镜头滑移校正方法的实施例的流程图。

具体实施方式

在具有相机能力的无线电话中，镜头和随附传感器的选择可能会显著影响无线电话的成本和相机内可捕获的图像的质量。构建在电话内的镜头和传感器通常在实体上较小，以便保持无线电话的既定的较小尺寸。

对于镜头较小的相机来说，镜头滑移或阴影(shading)问题是一个常见的问题。对于移动应用而言，由于小尺寸和低质量的镜头的原因，镜头滑移问题特别严重。常见的滑移问题是角落附近的图像亮度低于中心。此外，所捕获的图像可能会显示出色调偏移。由于镜头安装不准确，镜头的光学中心往往未与图像中心对准，从而导致图像在两个相对的角落之间显示出不对称的亮度滑移。

传感器的光电二极管结构也是导致图像边缘附近的像素较暗的一个因素。有些传感器设计成具有相对较深和较窄的开口，其允许光进入到达光电二极管区域。在图像中心，光直接进入，但光以针对角落像素的角度进入光电二极管开口。由于隧穿效应，到达光电二极管的光的量减少。因此，图像边界附近的像素获得的光较少，且图像的最终边界显得较暗。

理想的情况是，在捕获均匀照明的平面场场景的图像时，图像应当在整个图像上看起来是一致的。然而，由于镜头滑移问题，所捕获的图像在中心看起来较亮而在角落附近看起来较暗。视镜头的质量而定，捕获的图像还可能存在色调偏移。红、绿和蓝光分量可能会在穿过镜头时遇到不同程度的衰减。

集成有数字相机的电子装置(此实例中为无线电话)可使用数字处理来对滑移特性进行校正。可通过处理所捕获的图像来校正镜头滑移导致的降级。为了校正镜头滑移，可测量镜头的信号降级，并向捕获的图像应用信号降级的反量。

为了能够在如无线电话等装置中在合理的时间量内计算镜头特性和校正因数，特性鉴定和校正可各自包含对所得图像质量具有相对较小的影响的一些简化。

在对镜头滑移降级进行特性鉴定时，可实施的一个基本假设是镜头是径向对称的。可假设水平方向的降级与垂直方向的降级相同。这是一个非常合理的假设，因为通常认为在不同方向中具有不同等降级的镜头是无法接受的或者存在缺陷。

可通过捕获均匀照明的平面场的图像，并将图像亮度作为距离图像中心的半径的函数来采样，借此对镜头滑移降级进行特性鉴定。可针对红(R)、绿(G)和蓝(B)图像分量中的每一者重复镜头滑移特性鉴定。或者，可实施其它的颜色分量配置，包含YCbCr、YeMaCy，或其它某一颜色组合，例如为三色组合或四色组合。

接着可将镜头滑移特性鉴定中的每一者反转，并将特性鉴定的反量用作校正因数。为了简化校正因数的存储需求，可将特性鉴定的反量存储为校正曲线的多项式拟合。

或者，可将对均匀照明的平面场捕获的图像划分成多个块，例如多个矩形块。可通过针对每个块确定平均R、G和B值来对镜头滑移降级进行特性鉴定。可将所述值规范化成一个与镜头中心大致对准的块。可通过反转经过规范化的降级特征鉴定值来确定每个块的校正因数。

可预定或者部分地基于测得的镜头滑移响应来确定用于对镜头滑移降级进行特性鉴定的块的数目。如果块的数目是可变的，则可通过对关于相邻块的校正因数可接受的差分强加限制来确定块的数目。

图1A是电子装置100的功能方框图，电子装置100例如为无线电话，其具有数字相机且经配置以校正镜头滑移。电子装置100包含相对于传感器120(例如光学传感器)定位的镜头110，所述传感器可经配置以将入射光转换成电子表示形式。举例而言，所述传感器可为电荷耦合装置(CCD)、CMOS检测器、光电二极管阵列、光电压检测器和类似装置，或其它某一用于捕获光学图像的传感器。传感器120可经配置以产生光分量形式的电子表示。举例而言，传感器110可为捕获的图像产生截然不同的R、G和B表示。

传感器120的输出可耦合到图像处理器130，所述图像处理器可经配置以校正镜头110滑移所导致的图像降级。如以下将进一步详细论述，图像处理器130可经配置以测量或以其它方式确定镜头110滑移特性。图像处理器130可部分地基于镜头110滑移特性的反量来确定校正。图像处理器130可经配置以向随后使用传感器120捕获的图像应用所述校正，以产生经过校正的图像。

图像处理器130可经配置以在存储器140中存储校正，且还可经配置以在存储器140中存储捕获的图像或经过校正的图像。作为替代或者作为补充，图像处理器130可经配置以将经过校正的图像传输给输出/显示器150。输出/显示器150可包含显示装置，例如LCD、LED阵列、CRT和类似装置，或者其它某一显示装置。输出/显示器150还可包含一个或一个以上输出端口。举例而言，可将经过校正的图像输出到端口或连接器。图像处理器130可经配置以将经过校正的图像直接输出到输出/显示器150，或者可经配置以在将经过校正的图像传输到输出/显示器150之前，将经过校正的图像转换成特定格式，例如标准显示或文件格式。输出/显示器150可为通信装置，例如调制解调器或无线收发器，其经配置以将经过校正的图像传输到目的地装置(未图示)。

图1B是绘示相对于传感器120错位的镜头的实例(例如110b)的图。理想定位的镜头110a包含与传感器120的中心重合的中心。然而，由于制造过程中的不精确，镜头110b的位置通常偏离理想定位的镜头110a。不精确的结果是导致偏移，所述偏移可包含x方向的偏移以及y方向的偏移。如果镜头110b滑移降级在径向上是对称的，则错位的效果是使镜头滑移降级的径向对称偏离传感器120的中心。

图2是耦合到传感器120和存储器140的图像处理设备的镜头滑移校正模块200的实施例的功能方框图。镜头滑移校正模块200可(例如)是图1A的图像处理器130的一部分。

镜头滑移校正模块200可包含半径模块210和对准模块230，二者耦合到传感器120的输出。半径模块210和对准模块220的输出可耦合到校准模块230。对准模块220也可耦合到半径模块210。

来自半径模块210和校准模块230的输出可耦合到补偿模块240，所述补偿模块240经配置以确定校正，并向传感器120捕获的图像应用所述校正。半径模块210、对准模块220、校准模块230和补偿模块240中的每一者均可耦合到处理器250和相关存储器140。所述模块的功能中的一些或所有功能可结合处理器250执行或者完全由处理器250执行，所述处理器250对存储在存储器140中的一个或一个以上可被处理器使用的指令和数据进行操作。

镜头滑移校正模块200可经配置以根据均匀照明的平面场图像来确定镜头滑移特性，并根据该特性来确定校正因数，可向随后捕获的图像应用所述校正因数以补偿或以其它方式校正镜头滑移。半径模块210可用来确定半径，或基于距离镜头中心的像素的半径的测量值。在一个实施例中，半径模块210可经配置以确定距离镜头中心的像素半径。在另一实施例中，半径模块210可经配置以针对像素确定半径平方的值。

对准模块220可用来补偿镜头错位。因此，在校准期间，对准模块220可根据具有均匀照明的平面场图像来确定镜头的实际中心。在一个实施例中，可通过捕获平面场图像并确定对应于镜头中心的最大亮度来确定镜头中心。在其它实施例中，镜头错位可能非常轻微，以至于可能会被忽略。在此类实施例中，可省略掉对准模块220。

对准模块220可将镜头中心信息传输到校准模块230，且也可将镜头中心信息传输到半径模块210。

半径模块210可为捕获的图像中的每一像素确定半径或其它基于半径的测量值，例如半径的平方。半径模块210也可经配置以基于对准模块220所确定的偏移镜头中心的位置来确定最大半径或测量值。举例而言，如果对准模块220确定镜头中心偏离了传感器120的实际中心某一预定量，则到传感器120的角落的半径不相等。相反，到传感器120的一个角落的半径可代表最大半径。校准模块230可使用此类最大半径信息来确定用以确定镜头滑移特性的样本数目。

校准模块230可经配置以确定镜头滑移特性并确定可向随后捕获的图像应用的校正。在一个实施例中，校准模块230可基于距离镜头中心的像素位置的半径来确定可向随后捕获的图像的像素应用的校正。在另一实施例中，校准模块230可经配置以将捕获的图像划分成多个块，并在逐块的基础上确定可应用的校正。以下将更详细地论述这些实施例中的每一者以及对这些实施例的一些变化。

在校准模块230部分地基于像素相对于镜头中心(对应于图像中心)的半径来确定向像素应用的校正的实施例中，校准模块230首先基于均匀照明的平面场图像来确定镜头滑移特性。校准模块230可经配置以对围绕图像中心的许多同心圆中的亮度水平进行采样，以基于均匀照明的平面场图像确定亮度水平与半径关系的特性。校准模块230可经配置以针对每一颜色分量(例如，R、G和B)产生一特性。

校准模块230可经配置将亮度值相对于图像中心处的亮度而规范化。类似地，校准模块可经配置将半径相对于最大半径而规范化。当然，并非在所有实施例中都使用或需要这种规范化。图4A表示光学特性相对较好的镜头的镜头滑移曲线400的实例。降级曲线400是单调滑移的，且可由低阶多项式近似地逼近。然而，对于较低质量的镜头而言，降级曲线可能不是单调滑移的函数，且可能不可由低阶多项式容易地逼近。图4B绘示低质量镜头的镜头滑移降级曲线410的实例。

随后，校准模块230可基于所测量的镜头滑移降级来确定校正。可通过将每一像素与数字增益相乘以提高较暗像素的亮度水平，来校正镜头滑移。在一个实施例中，校准模块230可经配置以确定镜头滑移降级的多项式拟合，并将所述多项式反转以确定校正多项式。如果校准模块230针对每一颜色分量确定镜头滑移，则可针对颜色分量中的每一者确定多项式拟合和校正多项式。

在另一实施例中，校准模块230可基于采样的亮度值来产生矩阵，且将所述矩阵反转以确定校正多项式。如果图像中心指定为(w_c，h_c)，且来自传感器120的图像的尺寸为w×h，则等式(1)表示点(x，y)处的像素相对于所述中心的半径，其中0≤x＜w且0≤y＜h。

$r=\sqrt{{(x-w_c)}^2+{(y-h_c)}^2}---\left(1\right)$

假设I是理想镜头的未失真的像素值，且I’是由于劣质镜头而导致的失真的像素值。值I和I’具有以下关系：

I′＝I*(a₀+a₁r+a₂r²+a₃r³+....)            (2)

由于衰减的原因，值I’总是略微小于I。以矩阵的形式表达等式(2)且将I左移，通过等式(3)表示经过规范化的衰减V。

$V=\frac{I^{\′}}{I}=\left[\begin{array}{cccccc}{a}_0& a_1& a_2& .& .& a_n\end{array}\right]\left[\begin{array}{c}1\\ r\\ r^2\\ r^3\\ .\\ r^n\end{array}\right]=A\·R---\left(3\right)$

V的值是1×1标量，A是1×(n+1)的行向量，R是(n+1)×1的列向量，且n是多项式的阶。

如果测试图像是均衡照明的均匀物体的场景，则中心的像素值可对于每个像素用作I。当在整个图像上扫描时，等式(3)可相应地扩展。假设有M个像素可用于估算系数，则V是1×M的矩阵，A是1×n的矩阵，且R是n×M。实际上，满足M＞＞n这一条件是为了寻找矩阵R的伪反量。向量A可得出为：

A＝V·R^T·(R·R^T)^-1        (4)

为了校正镜头滑移，应用反转运算(reverse operation)。即

$I=\frac{I^{\′}}{A\·R}---\left(5\right)$

应注意，矩阵A事先已经获得，且对于每一具有坐标(x，y)的像素，可使用等式(1)来计算矩阵R。在实践中，对应于每个颜色一个矩阵A，确定不同的三组A。因此，通过向捕获的图像中的每一像素应用三个矩阵来解决色调偏移。

矩阵实施例的优点在于，不会对经过校正的图像造成显著的假象，且其仅需要用于多项式系数的存储空间，所述多项式系数通常可能少到只有三个系数。多项式实施例的缺点是计算的复杂性。每一像素需要1次平方根运算、2次减法、2次乘法和1次加法来算出半径r。接着，用1次除法、2次加法和3次乘法来针对第二阶多项式计算经过校正的像素值。对于百万像素的传感器而言，半径r可能在0到10³的范围内，且r²的值可能在0到10⁶的范围内。此外，系数a₁和a₂可能非常小(＜＜1)。因此，实施方案可能需要具有较大动态范围的算术运算。

在另一实施例中，校准模块230不是计算镜头滑移曲线的反量，而是可通过确定镜头降级曲线的倒数来确定镜头校正曲线。举例而言，如果半径r处的像素的规范化亮度为0.8，则其需要1/0.8＝1.25的数字增益以将其亮度水平提高到图像中心的亮度水平。对于图4B中所示的降级曲线，图5中绘示相应的校正曲线。

校准模块230可通过执行对镜头滑移校正因数的分段线性逼近而不是用多项式来逼近校正曲线，进一步简化校正的确定。校准模块230可经配置以将图像的最大半径划分成若干区间，并为每个区间确定校正因数和斜率。校准模块230接着可经配置以存储对应于区间值的校正因数。接着，补偿模块240可经配置以通过线性内插来确定任何像素的校正因数。或者，校准模块230可经配置以存储区间值和相关斜率。补偿模块240可用不超过像素半径的最大半径值来基于所述斜率和区间值确定校正因数。图5绘示校正曲线的分段线性逼近，其中区间数目等于五。随着区间数目增加，逼近误差减少。

校准模块230可通过相对于半径平方值确定校正因数来进一步简化校正因数的确定。接着，可将补偿模块240简化，省略掉确定像素半径时使用的平方根运算。校准模块230可针对每一颜色分量存储校正因数表。

接着，补偿模块240可基于半径的平方和线性逼近的区间之间的斜率来确定校正因数。补偿模块240可经配置以将每一像素与校正因数相乘，以矫正镜头滑移效应。因为每一颜色分量均可具有相应的校正因数表，所以也可校正色调偏移(hue shift)问题。

因此，补偿模块240可在查找表的帮助下使用曲线的分段线性逼近来降低计算复杂性。首先，可将半径均等地划分成从0到r_max的N个区间，其中r_max是从图像角落到其中心的距离。假设r_delta＝(r_max/(N-1))，则形成各个半径的一阵列，其范围为[0，r_delta，2*r_delta，...，r_max]。可使用这些半径的平方来填充r_square表。补偿模块240可在扫描照片时使用r_square表来确定像素所属的区间。通过使用r_square表，可避免平方根计算(根据r²得出r)。在这些点中的每一点处，可预先计算校正因数并将其存储在cf表中。在曲线上的每一对点之间，可使用线段来逼近曲线。由于已经选出并知晓这些点，所以可计算出斜率以进一步便于点对之间的任何点的线性内插。因此，对于每一像素，可使用r_square表来确定像素属于哪个区间。假设区间为k。可通过以下公式计算校正因数cf。

cf＝slope_table[k]*(r²-r_square_table[k])+cf_table[k]

可将每一像素与校正因数cf相乘，以矫正镜头滑移效应。每一颜色通道可具有相应的表，以便可同时校正色调偏移问题。

区间的数目N不必要较大。即使对于4百万像素的传感器，N＝16或32也应当足够大而足以相当良好地逼近滑移曲线。对于高达6百万像素的图像传感器，已发现32个区间便足以逼近镜头校正曲线而没有视觉上可察觉到的误差。当然，区间的数目可为其它某一数字，且可(例如)为4、8、16、32、64、126或256，且无需为2的因数。

在硬件实施中，定点计算可能因成本节约和速度提高而较为有利。就半径平方校正因数表而言，半径平方值的范围对于大小为2272×1740的4百万像素传感器可为从0到2047396。此动态范围水平需要具有21位的条目。将对像素相乘的最终校正因数为≥1的数。上界取决于镜头降级。上界可约为1.6。然而，实验显示，如果数字精度不够大，则在经过校正的图像中可能会观察到激振效应。使用至少8位来表示校正因数的小数部分可能是有利的。在一个实施例中，校正因数的总位宽可实施为10位数字，其中用2位来表示整数部分而用8位来表示小数部分。

在另一实施例中，校准模块230可经配置以执行基于块的校正。如果差别足够小的话，人眼的敏感度不足以检测出两个相邻像素之间的颜色或亮度的轻微变化。这一事实使得基于块的校正方法能够起作用。在基于块的配置中，可省略掉半径模块210。

校准模块230将图像空间划分成若干块。虽然所述块不需要具有相同大小，但使用统一的块大小可能是有利的。校准模块230可经配置以针对每个块确定平均亮度值。同样，校准模块230可经配置以针对颜色分量中的每一者确定平均亮度值。校准模块230也可将所述值规范化成具有图像中心的块的平均亮度值。随后，将块的校正因数确定为块的规范化亮度的倒数。校准模块230可经配置以针对每个块的每一颜色分量存储一校正因数。接着，补偿模块240可通过确定像素属于哪一块并用校准表中的校正因数乘以所述像素来校正捕获的图像。

如果校准模块对预定数目的块进行操作，或者如果块的数目不足以在相邻块的校正因数之间产生仅仅较小的变化，则经过校正的图像可能包含块校正参与导致的假象，其导致经过校正的图像看起来是多个明显不同的块。如果不将校正因数之间的差分限制在预定最小可觉察阈值内，便可能出现所述块化现象。这种实施例可称为不受限制的块校正方法。相邻块之间的增益步长超出了人眼可检测出差别的阈值。此外，同一块中的像素值的变化可能大得足以被察觉。当镜头较劣质时，经过校正的图像中可能会出现块化现象。

改进不受限制的块校正方法的一种方式是对每个块的增益施加限制。可向所有三个颜色的增益(R、G和B的增益)施加相同的限制。当镜头较劣质时，可减小块的大小以使得同一块内的像素的差别小于可觉察到的差别。

块的大小与镜头质量成反比。对于优质的镜头，块的大小可更大，因此校准模块230需要更少的存储器来存储整个图像的增益。随着滑移现象恶化，需要更小的块以避免可觉察到的块化现象，因此，校准模块230需要更大的存储空间来存储增益。还应注意，对于相对劣质的镜头而言，基于受到限制的块的方法可能无法完全补偿边缘附近的亮度滑移，因为所述限制可能会限制补偿率。

图3是校准模块230的实施例的功能方框图，所述校准模块230与处理器250和存储器140协同操作，以执行上述校准方法中的一种。

校准模块230可包含信号采样器310，所述信号采样器可耦合到特性模块320。在基于多项式的配置中，信号采样器310可经配置以部分地基于距离图像中心的像素半径而从平面场图像中选出一个或一个以上像素。在基于块的配置中，信号采样器310可经配置以确定对应于来自平面场图像的每一像素的块。

特性模块320基于校正配置来确定适当的图像特性。对于多项式配置，特性模块320可经配置以确定相对于图像中心的像素亮度或镜头滑移。特性模块320可经配置以针对足够数目的像素确定镜头滑移，以确定镜头滑移特性曲线。

对于基于块的配置，特性模块320可经配置以针对每个块确定平均亮度。特性模块320可经配置以使用预定数目的块，或可经配置以部分地基于预定的增益差分限制来确定块的数目和块的大小。

特性模块320可耦合到校正或增益模块330。增益模块可经配置以确定待存储在存储器140中的增益或校正表值。

基于多项式的方法可提供最佳的校正结果，而不会在经过校正的图像中引入假象。基于多项式的方法对于每一颜色通道可需要少至三个参数。因此，增益模块330对于整个图像区域可确定和存储少至总共九个参数。然而，计算复杂性和对具有较大动态范围的算术单元的需求使得这一方法实施起来较昂贵。对于实时应用而言，硬件可能是实施方案的唯一选择。软件实施方案可能更适合作为后处理选择。

不受限制的块方法对于每一像素可能仅仅需要一次乘法，且因此可能是实施起来最成本有效的方法。然而，所述方法可能仅适宜于具有相对优质镜头的相机。随着镜头质量变坏，不受限制的块方法可能会在经过校正的图像中引入不可接受的块化假象。在实时应用中可使用硬件和软件两者来实施这种方法。对于实施这种校正方法而言，硬件尤其高效和直接。对于手机应用，普遍使用低廉的质量相对较低的镜头。因此，基于不受限制的块的方法可能不是优选的校正方法。

对于典型的拜耳(Bayer)图案图像而言，基于受到限制的块的方法也可能对于每个像素仅仅需要一次乘法。因此，在计算复杂性和实施方面，这与基于不受限制的块的方法的复杂度相同。为了避免块化，限制了补偿效果。因为块的大小对于质量较差的镜头通常较小，所以可能需要较大的存储器存储来为质量较差的镜头的所有块保存颜色增益。

图6是基于多项式的镜头滑移校准方法600的实施例的流程图。例如，可通过图1的电子装置100使用图1的图像处理器130或图2的镜头滑移校正模块200来执行方法600。通常在制造商处执行校准方法600而不是由最终用户来执行。

方法600在方框610处开始，其中电子装置首先捕获均匀照明的平面场图像。电子装置接着前进到方框620，并定位图像的中心。电子装置可使用(例如)基于图像亮度确定图像中心的对准模块来定位图像的中心。在有些实施例中，镜头错位可能并不显著，且可假设图像中心是传感器阵列的中心。举例而言，校准方法600可能对小于传感器阵列尺寸的约10％的镜头偏移不敏感。

电子装置前进到方框630，并部分地基于图像中心和传感器中的像素的配置来确定最大半径。如果假设图像中心是传感器中心，则最大半径是固定的且可预先确定。

电子装置前进到方框640，并确定在对镜头滑移值进行采样时使用的半径增量。增量的下界是基于阵列尺寸的最小半径增量，而上界由最大半径表示。有利的是，如果使用分段连续逼近，则增量的数目超过区间的数目。

电子装置前进到方框650，并对半径增量处的亮度水平进行采样。可对每一颜色分量的亮度水平进行采样。电子装置前进到方框660，并基于样本来确定镜头降级曲线。在有些实施例中，电子装置确定对样本的多项式曲线拟合。在另一实施例中，电子装置基于半径和衰减值形成矩阵。

接着，电子装置前进到方框670并确定镜头校正曲线，或换句话说，确定校正因数或校正因数的基。在一个实施例中，电子装置确定对镜头滑移曲线的多项式拟合的反量。在另一实施例中，电子装置确定滑移曲线中每一样本的倒数，并确定可为对倒数值的多项式拟合的校正曲线。在另一实施例中，电子装置确定每一样本的倒数，并确定多个分段连续逼近，其中每一逼近均跨越预定区间。分段连续逼近可(例如)为分段连续多项式或线性逼近。电子装置不需要确定每一可能的校正因数，但可经配置以确定校正因数的基。校正因数的基可(例如)为多项式系数、区间值和斜率、区间值和多项式系数，或其它某种基。电子装置可在存储器中存储校正因数或校正因数的基，以供补偿模块使用。

在另一实施例中，电子装置在方框670中可通过取降级曲线的倒数而针对每一颜色通道产生镜头校正曲线。接着，电子装置可界定用于执行分段校正的区间数目N。N的值应当小于用于产生校正曲线的样本数目(M)。当N大于M时，电子装置可搜索省略采样点导致最少量误差的点。当省略掉一采样点时，M增加1。基于N个区间，电子装置针对每一颜色通道产生半径平方表、校正因数表和斜率表。

在校准过程结尾，有一个具有N+1个条目的半径平方表。所述条目中的每一者记录半径平方域上的采样点。对于每一颜色通道，针对每一采样点有N个条目的校正因数表，且针对两个采样点之间的每个区间有N个条目的斜率表。

图7是基于块的镜头滑移校准方法700的实施例的流程图。可(例如)通过图1的电子装置100使用图1的图像处理器130或图2的镜头滑移校正模块200来执行方法700。

方法700在方框710处开始，其中电子装置首先捕获均匀照明的平面场图像。电子装置前进到方框720，并界定默认块数目。电子图像前进到方框730并将平面场图像划分成预定数目的块。

接着，电子装置前进到方框740，并针对中心块确定平均亮度值。中心块可被界定为包含图像中心的块。

电子装置前进到方框750，并确定每一块的平均亮度，且可经配置以用针对中心块确定的值将该值规范化。如上所述，电子装置可经配置以针对每一块的每一颜色分量确定一值。

电子装置前进到判定方框760，并验证相邻块之间的增益差符合预定差分阈值。在一个实施例中，针对所有块验证增益限制。在另一实施例中，如果预定百分比的块满足限制，则可满足限制。

如果满足了限制，则电子装置前进到方框770，并确定每一经过规范化的滑移值的倒数以确定增益值。接着，电子装置前进到方框780，并根据增益值建立校正表。可在判定方框760之前确定增益值。如果是这样的话，如果满足了限制，则电子装置可从判定方框760前进到方框780。

回到判定方框760，如果未满足增益差分限制，则电子装置前进到方框764，并将块的数目重新界定为大于当前的块的数目。举例而言，电子装置可经配置以便每当未满足差分增益限制时便将块的数目增加一倍。接着，电子装置前进回到方框730，以使用块的新数目来重新计算块平均值。

图8是在电子装置(例如具有数字相机的无线电话或蜂窝式电话)中校正镜头滑移的方法800的实施例的流程图。方法800在方框810处开始，其中电子装置确定校正表。可使用(例如)图6或图7的校准方法来确定所述校正表。在确定了校正表之后，电子装置前进到方框820并捕获数字图像。电子装置可在存储器中存储捕获到的图像。

电子装置前进到方框830并对像素值进行采样。电子装置前进到方框840并基于校正表确定相应的校正因数。接着，电子装置前进到方框850，并向像素应用校正因数。电子装置前进到判定方框860，并检查以确定是否所有像素均已校正。如果是的话，电子装置前进到方框870，经过校正的图像已被确定，且电子装置完成任务。如果在判定方框860处电子装置确定并未校正完所有像素，则电子装置前进到方框864，并采样下一像素值。接着，电子装置前进到方框840。

可用通用处理器、数字信号处理器(DSP)、精简指令集计算机(RISC)处理器、特殊应用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所述的功能的任何组合，来实施或执行结合本文所揭示的实施例描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但作为替代，所述处理器可为任何处理器、控制器、微控制器或状态机。处理器也可构建为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、与DSP核心结合的一个或一个以上微处理器，或其它任何此种配置。

软件模块可驻留在RAM存储器、快闪存储器、非易失性存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬磁盘、可移除磁盘、CD-ROM，或所属领域中已知的其它任何形式的存储媒体中。示范性存储媒体耦合到处理器，以使得处理器可从存储媒体读取信息并向存储媒体写入信息。或者，存储媒体可与处理器成为一体。

结合本文所揭示的实施例描述的方法、过程或算法的步骤可直接在硬件中、在由处理器执行的软件模块中或在二者的组合中实施。方法或过程中的各种步骤或动作可用所示的顺序执行，或者可用另一顺序执行。此外，可省略掉一个或一个以上过程或方法步骤，或者可向方法和过程添加一个或一个以上过程或方法步骤。可在方法和过程的开始、结尾或中间的现有元素中添加额外的步骤、方框或动作。

提供对所揭示的实施例的以上描述是为了使所属领域的技术人员能制造或使用本发明。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不偏离本发明的精神或范围的情况下向其它实施例应用本文所界定的普遍原理。因此，本发明并不意图限于本文所示的实施例，而是符合与本文揭示的原理和新颖特征一致的最广泛的范围。

Claims (36)

1.一种校正镜头滑移降级的方法，所述方法包括：

捕获图像；

确定对应于所述图像的中心的所述图像的亮度；

确定图像传感器的中心与所述图像的所述中心之间的偏移距离；

识别从所述图像的所述中心到所述图像传感器的最远角落的径向距离，其中所述图像的所述中心以所述偏移距离从所述图像传感器的所述中心偏移；

使用所述径向距离确定用以产生校正表的多个样本；和

部分地基于所述校正表而校正随后图像的所述镜头滑移降级。

2.根据权利要求1所述的方法，其中捕获所述图像包括捕获均匀照明的平面场图像。

3.根据权利要求1所述的方法，其中产生所述校正表包括：

在多个半径中的每一半径处对所述图像采样至少一个亮度水平；和

部分地基于所述多个半径中的每一半径处的所述至少一个亮度水平产生所述校正表。

4.根据权利要求3所述的方法，其中使用半径增量采样所述至少一个亮度水平，其中所述半径增量具有基于从所述图像的所述中心到所述图像传感器的所述最远角落的所述径向距离的上界，以及其中所述半径增量具有基于所述图像传感器的阵列尺寸的下界。

5.根据权利要求3所述的方法，其中所述至少一个亮度水平包括对应于多个颜色分量中的每一者的亮度水平。

6.根据权利要求3所述的方法，其中部分地基于所述至少一个亮度水平产生所述校正表包括：

将所述多个半径中的每一半径处的所述至少一个亮度水平相对于所述图像的最大亮度规范化，以产生规范化的亮度水平；

确定所述规范化的亮度水平中的每一者的倒数以产生多个增益水平；

对所述增益水平中的至少两者拟合多项式；和

通过存储至少一个多项式系数产生所述校正表。

7.根据权利要求3所述的方法，其中部分地基于所述至少一个亮度水平产生所述校正表包括：

将所述多个半径中的每一半径处的所述至少一个亮度水平相对于所述图像的最大亮度规范化，以产生规范化的亮度水平；

确定所述规范化的亮度水平中的每一者的倒数以产生多个增益水平；

基于所述增益水平产生多个分段线性区间；和

基于所述分段线性区间产生所述校正表。

8.根据权利要求3所述的方法，其中部分地基于所述至少一个亮度水平产生所述校正表包括：

将所述多个半径中的每一半径处的所述至少一个亮度水平相对于所述图像的最大亮度规范化，以产生规范化的亮度水平；

对所述规范化的亮度水平的至少一部分拟合多项式；

确定所述多项式的反量；和

基于所述多项式的所述反量的系数产生所述校正表。

9.根据权利要求1所述的方法，其中产生所述校正表包括：

将所述图像划分成多个块；

针对所述块中的每一者确定平均亮度值；

将所述块中的每一者的所述平均亮度值规范化；

确定所述块中的每一者的所述平均亮度值的倒数，以产生对应于所述块中的每一者的增益值；和

基于所述增益值产生所述校正表。

10.根据权利要求9所述的方法，其中产生所述平均亮度值包括针对每一颜色分量产生平均亮度水平。

11.根据权利要求9所述的方法，其中将所述平均亮度值规范化包括将所述平均亮度值相对于中心块的平均亮度规范化。

12.根据权利要求9所述的方法，其进一步包括界定块的数目，以使得相邻块之间的差分增益小于预定阈值。

13.一种校正镜头滑移降级的方法，所述方法包括：

在图像传感器处捕获平面场图像；

确定从所述平面场图像的中心到所述图像传感器的中心的偏移距离；

确定一数目的样本以填充校正表，其中至少部分基于从所述平面场图像的所述中心到所述图像传感器的离所述平面场图像的所述中心最远的角落的径向距离确定所述样本的所述数目；

捕获数字图像；

从所述数字图像中采样像素值；

基于所述校正表确定校正因数；和

对所述像素应用所述校正因数。

14.根据权利要求13所述的方法，其进一步包括：

从所述数字图像中采样不同的像素；

对所述不同的像素应用相应的校正因数；和

重复从所述数字图像中采样所述不同的像素以及对所述不同的像素应用所述相应的校正因数，直到所述数字图像中的所有像素均已被采样为止。

15.根据权利要求13所述的方法，其进一步包括：

确定半径增量；

基于所述半径增量对所述平面场图像的亮度水平进行采样；和

部分地基于所述亮度水平确定镜头校正。

16.根据权利要求15所述的方法，其中确定所述镜头校正包括：

部分地基于所述亮度水平确定增益值；

产生具有至少一个与半径相关的增益值的所述校正表。

17.根据权利要求15所述的方法，其中确定所述镜头校正包括：产生具有至少一个对应于半径平方值的增益值的所述校正表。

18.根据权利要求15所述的方法，其中确定所述镜头校正包括：产生具有至少一个多项式系数的所述校正表。

19.根据权利要求13所述的方法，其进一步包括：

界定块的数目；

将所述数字图像划分成所述数目的块；

确定对应于所述块中的每一者的至少一个平均亮度值；

将对应于所述块中的每一者的所述至少一个平均亮度值规范化，以产生多个规范化的亮度值；

确定所述规范化的亮度值中的每一者的倒数，以产生多个规范化的增益值；和

基于所述规范化的增益值确定所述校正表。

20.根据权利要求19所述的方法，其中确定至少一个平均亮度值包括针对多个颜色分量中的每一者确定平均亮度值。

21.一种用于校正镜头滑移降级的方法，其包含以下步骤：

确定校正表，所述校正表具有针对校准图像的每一采样点的条目，其中基于从图像传感器到图像的中心的最远距离确定多个采样点，其中所述图像的所述中心从所述传感器的中心偏移；

从传感器接收数字图像；

从所述数字图像中采样像素值；

基于所述校正表确定校正因数；和

对所述像素应用所述校正因数。

22.一种经配置以校正镜头滑移降级的设备，所述设备包括：

镜头；

传感器，其相对于所述镜头而定位，且经配置以捕获入射到所述镜头的图像；和

图像处理器，其耦合到所述传感器，且经配置以通过从所述图像中采样像素来确定对应于所述像素中每一者的校正因数，并对所述像素应用所述校正因数来校正所述镜头滑移；

其中所述图像处理器包括对准模块，所述对准模块经配置以确定所述镜头与所述图像的中心之间的偏移，所述图像的所述中心对应于所述图像的最大亮度，以及

其中所述图像处理器进一步包括半径模块，所述半径模块经配置以从所述对准模块接收所述偏移并使用所述偏移来确定所述镜头与所述传感器的最远角落之间的距离。

23.根据权利要求22所述的设备，其中所述传感器从由CCD、CMOS检测器、光电二极管阵列和光电压检测器组成的群组中选出。

24.根据权利要求22所述的设备，其进一步包括：

存储器；

校准模块，其耦合到所述对准模块，且经配置以部分地基于所述图像的中心和所述偏移而产生校正表，并将所述校正表存储在所述存储器中；和

补偿模块，其耦合到所述传感器和所述存储器，且经配置以部分地基于所述校正表来确定用于像素的校正因数。

25.根据权利要求22所述的设备，其中所述半径模块耦合到所述传感器且进一步经配置以基于所采样的像素的半径确定测量值，且其中所述图像处理器部分地基于所述基于所述半径的测量值来确定所述校正因数。

26.根据权利要求25所述的设备，其中所述基于所述半径的测量值包括半径的平方。

27.根据权利要求25所述的设备，其中所述基于所述半径的测量值包括相对于所述图像的中心的半径。

28.根据权利要求22所述的设备，其中所述图像处理器包括：

信号采样器，其经配置以从校准图像中采样多个像素值；

特性模块，其耦合到所述信号采样器，且经配置以根据所述多个像素值确定镜头滑移特性；和

增益模块，其耦合到所述特性模块，且经配置以部分地基于所述镜头滑移特性而产生校正表。

29.根据权利要求22所述的设备，其进一步包括存储器，所述存储器耦合到所述图像处理器且经配置以存储校正表，且其中所述图像处理器部分地基于所述校正表确定所述校正因数。

30.根据权利要求29所述的设备，其中所述校正表包括多个多项式系数，所述多个多项式系数表征相对于距所述图像的所述中心的半径测量值估算增益校正值的多项式。

31.根据权利要求29所述的设备，其中所述校正表包括多个值，所述多个值表征相对于距所述图像的所述中心的半径测量值估算增益校正值的多个分段线性区间。

32.根据权利要求29所述的设备，其中所述校正表包括多个增益值，所述多个增益值对应于多个块，每一个块均对应于所述图像的一部分。

33.一种经配置以校正镜头滑移降级的设备，所述设备包括：

镜头；

用于从所述镜头捕获图像的装置；和

用于处理所述图像的装置，其耦合到所述用于捕获所述图像的装置，且经配置以针对所述图像中的多个像素中的每一者确定校正值，并对所述像素应用所述校正因数，

其中所述用于从所述镜头捕获图像的装置包含图像传感器，其中所述图像的中心从所述图像传感器的中心偏移，以及

其中针对所述多个像素中的每一者的所述校正值至少部分基于校准图像的一数目的采样点，所述采样点的所述数目基于所述图像的所述中心与所述图像传感器离所述图像的所述中心最远的部分之间的径向距离而确定。

34.根据权利要求33所述的设备，其中所述用于处理所述图像的装置包括：

用于从校准图像中采样所述多个像素值的装置；

用于根据来自所述校准图像的所述多个像素值确定镜头滑移特性的装置；和

用于部分地基于所述镜头滑移特性产生校正表的装置。

35.一种经配置以校正镜头滑移降级的设备，所述设备包括：

用于捕获图像的装置；

用于使用经计算的偏移来确定所述捕获的图像的最亮部分与所述捕获的图像的最远部分之间的径向距离的装置，所述经计算的偏移代表镜头的错位；

用于产生校正表的装置，所述校正表具有多个条目，其中至少部分地使用所述径向距离确定所述条目的数目；和

用于部分地基于所述校正表而校正随后图像的所述镜头滑移降级的装置。

36.一种经配置以校正镜头滑移降级的设备，所述设备包括：

用于使用经计算的偏移距离来确定校准图像的偏移中心与所述校准图像的最远点之间的径向距离的装置，所述经计算的偏移距离代表镜头的错位；

用于产生具有多个条目的校正表的装置，其中至少部分地使用所述径向距离确定所述条目的数目；

用于接收数字图像的装置；

用于从所述数字图像中采样像素值的装置；

用于基于所述校正表确定校正因数的装置；和

用于对所述像素值应用所述校正因数的装置。

Images