CN103517004B

CN103517004B - 修正图像系统的渐晕的方法及装置

Info

Publication number: CN103517004B
Application number: CN201310248152.9A
Authority: CN
Inventors: 刘成明; 吴东辉; 单继章
Original assignee: Omnivision Technologies Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2012-06-20
Filing date: 2013-06-20
Publication date: 2017-04-26
Anticipated expiration: 2033-06-20
Also published as: TW201411554A; US8823841B2; US20130342741A1; CN103517004A; TWI479454B

Abstract

本发明公开了一种用以修正渐晕的方法与装置，其包括将二维阵列的各图像像素分别关联至相对于预选原点像素的一组极坐标，以及将二维阵列的图像像素区分成多个区域，针对每一区域群组，本方法包括对所述区域群组中的每一区域，计算平均R值、平均G值及平均B值；将每一区域的平均R值、平均G值及平均B值转换成对数空间；比较沿径向区域线的颜色梯度与梯度阈值；选择未超出梯度阈值的梯度；利用所选出的梯度，估算用以产生图像的透镜的模式的参数；以及利用参数，更新透镜的模式并修正图像。

Description

修正图像系统的渐晕的方法及装置

技术领域

本发明关于一种光学图像系统，特别关于一种方法及装置，用以修正图像的颜色及/或强度渐晕，并应用于产生图像的图像系统。

背景技术

数字图像系统通常包括光学系统，用以收集光线并将光线投影或成像于接收器、检测器或传感器，其中光学系统通常包括一个以上的成像透镜，用以在传感器上形成图像，传感器通常为二维阵列的光学检测器或传感器，例如为互补金氧半（CMOS）图像传感器。

渐晕（vignetting,或称暗角、黑角）是一种光学系统中常见的现象，表示与透镜的主光线角相关的颜色及强度变化，当主光线角增加时，可减少传感器或检测器的量子效果，进而在与图像中心的距离增加时，减少其颜色及强度。

目前已公开了数种修正渐晕效果的方式，大部分的修正方法需要利用特定的背景以进行校正，通常必须提供均匀的照明，而且，此校正模式可适用于实际图像或录像；实际上，渐晕模式会随着光线频谱及焦距而改变，因此难以同时校正不同光源的光线，此现象在小型像素尺寸的CMOS图像传感器中特别显著；另外，其它修正方法会针对单一图像各别进行处理，并且需要进行图像分割与大容量的缓冲器，然而在图像传感器中设置此种缓冲器非常复杂。

发明内容

本发明第一实施方式公开了一种方法，用以修正图像的渐晕，图像包括二维阵列的图像像素，各图像像素包括分别表示红色、绿色及蓝色强度的R值、G值及B值，在本方法中，首先将二维阵列的每一图像像素分别关联至相对于预选原点像素（origin pixel,源像素）的一组极坐标，接着，将二维阵列的图像像素区分成多个区域，每一区域分别包括二维阵列的图像像素中的多个像素，多个区域包括多个区域群组，每一区域群组沿通过预选原点像素的相关区域线径向延伸；然后针对每一区域群组进行下列步骤：（i）针对区域群组中的每一区域，计算平均R值、平均G值及平均B值，平均R值为区域中的像素的R值的平均值，平均G值为区域中的像素的G值的平均值，平均B值为区域中的像素的B值的平均值；（ii）将每一区域的平均R值、平均G值及平均B值转换成对数空间，以产生R向量、G向量及B向量；（iii）利用中值滤波器处理R向量、G向量及B向量，以确认沿区域线的颜色梯度；（iv）比较颜色梯度与梯度阈值；（v）选择未超出梯度阈值的梯度；（vi）利用所选出的梯度，估算用以产生图像的透镜的模式的参数；以及（vi）利用参数更新透镜的模式并修正图像。

本发明另一实施方式公开了一种图像传感器，用以修正渐晕，包括二维阵列的图像像素以及处理电路，其中，各图像像素包括分别表示红色、绿色及蓝色强度的R值、G值及B值，处理电路耦接于二维阵列的图像像素，并用以执行下列步骤：（i）将二维阵列的各图像像素分别关联至相对于预选原点像素的一组极坐标；（ii）将二维阵列的图像像素区分成多个区域，每一区域分别包括二维阵列的图像像素中的多个像素，多个区域包括多个区域群组，每一区域群组沿通过预选原点像素的相关区域线径向延伸；以及，针对每一区域群组进行下列步骤：针对区域群组中的每一区域，计算平均R值、平均G值及平均B值，平均R值为区域中的像素的R值的平均值，平均G值为区域中的像素的G值的平均值，平均B值为区域中的像素的B值的平均值；将每一区域的平均R值、平均G值及平均B值转换成对数空间，以产生R向量、G向量及B向量；利用中值滤波器处理R向量、G向量及B向量，以确认沿区域线的颜色梯度；比较颜色梯度与梯度阈值；选择未超出梯度阈值的梯度；利用所选出的梯度，估算用以产生图像的透镜的模式的参数；以及利用参数更新透镜的模式并修正图像。

附图说明

以下将参照附图说明本发明的较佳实施例，以清楚说明本发明的各种上述及其它特征与优点，其中，在不同视图中的相同组件符号表示相同的组件，然附图并非用以限制其比例，图中所示的各特征点的尺寸可以放大以清楚说明本发明。

图1A及图1B显示图像系统中的基本组件的示意图。

图2显示一般传感器阵列的像素的示意图。

图3包括本示例性实施例的二维传感器阵列的平面图。

图4显示依部份示例性实施例的修正图像数据的透镜阴影或渐晕的逻辑流程图。

图5包括本示例性实施例的图像传感器的功能方块图。

具体实施方式

图1A及图1B显示图像系统中的基本组件的示意图，详言之，图1A为图像系统中的基本组件的上视图，图1B为图像系统中的基本组件的侧视图，上述的基本组件包括透镜10以及传感器阵列12；其中，透镜10的中心14对准于传感器阵列12的中心像素16。传感器阵列12中的像素位置可依据由互相垂直的x轴与y轴所定义的笛卡儿坐标系统设置，因此，传感器阵列12中的各像素23关联于笛卡儿坐标系统的一组坐标（x,y），特别是，传感器阵列12的中心像素16的对应坐标可以是（x_center,y_center）。

如上所述，一般而言，像素23关联于笛卡儿坐标系统的一组坐标（x,y），如图1B所示，光线路径25从物体或画面的一点24出发，然后通过透镜10并会合于传感器阵列12的像素23，进而成像。一般而言，对任一像素23（坐标为（x,y））而言，其透镜阴影或渐晕与此像素23及中心像素16（坐标为（x_center,y_center））之间的距离有关。

图2显示一般传感器阵列12的像素23的示意图，如图2所示，在示例性实施例中，传感器阵列12的各像素23由四个光学检测器26A、26B、26C及26D所构成，其以2x2的单位设置；在传感器阵列12中，每一组2x2的单位可被视为单一个像素23，而在一组2x2的单位中，各检测器26分别对应于一种特定的过滤色。在本示例性实施例中，检测器26A经过蓝色滤波器B处理，检测器26B经过绿色滤波器Gr处理，检测器26C经过绿色滤波器Gb处理，检测器26D经过红色滤波器R处理，因此，各检测器26可以产生像素23的强度值；详言之，检测器26A可以产生像素23的蓝色强度值B，检测器26B可以产生像素23的绿色强度值Gr，检测器26C可以产生像素23的绿色强度值Gb，检测器26D可以产生像素23的红色强度值R。在本示例性实施例中，像素23的绿色强度值G为第一及第二绿色强度值Gr及Gb的平均值，亦即G=(Gr+Gb)/2，因此，传感器阵列12的各像素23可包括红色、绿色及蓝色强度值R、G、B。

图3包括本示例性实施例的二维传感器阵列的平面图。传感器阵列12包括二维阵列的像素23，其包括表示物体或画面的图像的数据；其中，各像素23具有至少三种颜色强度的数据，举例而言，如上所述，各像素分别包括表示红色、绿色及蓝色（R、G、B）强度的强度数据。需注意者，在本说明书中，所述红色、绿色及蓝色（R、G、B）等颜色仅为举例说明，当然本发明亦可应用其它颜色组合，例如青绿色、黄色及红紫色，或是红色、绿色、蓝色及白色，或是其它组合。

一般而言，与传感器阵列12的像素23相关的资料可表示具有透镜阴影或渐晕效果的图像，在示例性实施例中，可以通过修正及/或更新像素23的图像数据，以实质上减少或消除透镜阴影或渐晕效果，另外，亦可以修正及/或更新应用于辨识透镜阴影或渐晕效果的数据的透镜模式。

请参照图3所示，承上所述，各像素23分别关联于坐标系统的一组笛卡儿坐标（x,y），其由互相垂直的x轴与y轴所定义，传感器阵列12亦可包括中心像素16，其笛卡儿坐标为（x_center,y_center）；在示例性实施例中，于修正透镜阴影或渐晕效果的过程中，可将各像素23的坐标转换成极坐标，亦即利用一组极坐标（r,θ）来表示各像素23的位置，其中，r表示像素23与中心像素16（于此定义为极坐标系统的原点像素）的距离，θ表示通过像素23与原点像素或中心像素16的直线与横轴（或x轴）之间的夹角。

在示例性实施例中，首先定义出多个径向区域线17，其从原点像素或中心像素16径向延伸，并与横轴（或x轴）形成夹角θ₁，沿着各径向区域线17设置有多个区域19、21、25，且多个区域19、21、25构成一个像素23群组，其以径向区域线27及29为边界，并以预设的径向区域厚度径向排列设置，其中，各区域19、21、25与中心像素16的距离分别定义为预设距离R_i，例如，区域19与中心像素16的距离定义为距离R₁，其相邻的区域21与中心像素16的距离定义为距离R₂。

因此，各区域25的尺寸以及各区域25中的像素23的数量可以依据各区域25的径向厚度而定，其依据与中心像素16的距离R_i以及边界直线27及29之间的夹角θ₂而定。在部分实施例中，各区域的参数，如径向厚度及夹角θ₂，其全部或任一可以依据欲进行的图像修正的精准度而选定。

需注意者，图3仅显示一个径向区域线17，但其仅为使本发明的内容更加简洁明了，当然，在其它示例性实施例中，可以定义多个径向区域线17，以便在整个传感器阵列12中定义出区域25。此外，需注意者，图3仅显示沿着径向区域线17设置的两个相邻的区域19及21，以及一个区域25，当然，实际上可以定义出多个相邻的区域，因此，在部分示例性实施例中，可以定义出径向延伸的区域25，且其径向设置于传感器阵列12的原点或中心像素16至其边缘之间，并彼此相邻设置。

图4显示依部份示例性实施例的修正图像数据的透镜阴影或渐晕的逻辑流程图，其用以修正及更新透镜模式，请参照图4所示，承上所述，在步骤100中，将各像素23的坐标转换成极坐标，并储存各像素23的极坐标；接着，在步骤102中，将传感器阵列12区分成数个径向区域25，如上所述，各区域25沿径向区域线17定义，而且各区域25的尺寸可依据所期望的精准度而定，亦即，相对于较低精准度的情况，若要得到较高的精准度，则需要相对较多数量的较小区域25。

步骤104提供透镜模式，其中，透镜模式可以在处理沿径向区域线17的前一群组的径向区域25后更新而得，亦即，可以利用本发明的程序处理沿径向区域线17的前一群组的区域25后估算并更新的透镜模式，修正图像的透镜阴影，然后，在处理当前群组的区域25时，更新透镜模式并用以展开残留阴影。

步骤106计算并储存各区域25的平均R值、平均G值及平均B值，其中，区域25的平均R值为此区域中所有像素的R值的平均，同理，区域25的平均G值为此区域中所有像素的G值的平均，而区域25的平均B值为此区域中所有像素的B值的平均。

步骤108将平均R值、平均G值及平均B值转换成对数空间，接着，步骤110在对数空间中计算各区域25的颜色分量，亦即，举例而言，在颜色空间中将一区域的平均红色值R除以所述区域的平均绿色值G，以计算得到红色分量，此数值可以利用将其对应的转换对数值相减而得，亦即，R/G=log(R) log(G)。同理，在颜色空间中将一区域的平均蓝色值B除以所述区域的平均绿色值G，以计算得到蓝色分量，此数值可以利用将其对应的转换对数值相减而得，亦即，B/G=log(B) log(G)。在部分实施例中，若部分区域的数值过低，可将其归类于黑色而不需上述计算，同理，若部分区域的数值过高（例如为饱和）时，亦可不需上述计算；而剩余的颜色分量数值可用以针对各径向区域线17产生径向颜色向量，例如红色径向颜色向量及蓝色径向颜色向量。

接着，在步骤112中，利用中值滤波器处理沿径向方向的各径向颜色向量，以便移除各区域25的数据中的噪声；然后，步骤114利用减去相邻区域25的相对颜色分量数值，以求得各径向颜色向量在相邻区域25之间的颜色梯度。在部分实施例中，因为物体的颜色边缘会有不真实的估算及修正，所以可区别由透镜阴影或渐晕所造成的梯度与实际图像内容。为达到上述步骤，由于实际物体的边缘所造成的梯度实质上大于由透镜阴影或渐晕所造成的梯度，所以较外侧的梯度会从上述程序中移除，其中较外侧的梯度例如为超过阈值的梯度或是在预设范围之外的梯度，详述如下；针对所有梯度（不包括较外侧的梯度）的计算结果可以得出所述图像的径向梯度图。

接着，在示例性实施例中，步骤116计算透镜阴影或渐晕模式参数，例如可利用估算方式求得，以便进一步更新透镜阴影或渐晕模式，并修正图像数据以消除或减少渐晕效果；在示例性实施例中，此步骤可以利用优化技术达成，在最常见的情况下，颜色渐晕不会造成剧烈变化或实质梯度，因此，在部分示例性实施例中，可以利用二次多项式表示透镜渐晕的模式；在其它示例性实施例中，此模式可以发展成更高等级的多项式。承上所述，二次多项式例如为：

Y=C a₁r a₂r² （1）

其中，C为参考常数，例如为中心像素16的颜色强度，r表示与中心像素16的距离或半径，Y表示颜色分量数值，例如示例性实施例的蓝色（B）或红色（R），a₁及a₂为本示例性实施例中估算出的模式参数。

针对上式（1）的半径或距离r进行一次微分，可以得到：

-Y'=a₁+2a₂r （2）

其表示相对于r的颜色分量梯度，在部分示例性实施例中，上述模式参数可以利用线性回归方式处理径向梯度图后计算求得。在步骤118中，若一旦利用线性回归方式求得模式参数a₁及a₂，则可用以修正剩余部分，如当前径向区域群组的处理中的图像阴影，并进一步将(a₁+a₂r)加回到前述的模式多项式（1），以更新透镜渐晕模式。此外，由于上述运算利用对数空间在线性空间上的乘积，所以可以利用将对数空间转换回线性空间以计算出其比值。

举例而言，在部分示例性实施例中，若像素与中心像素16之间的半径（径向距离）为r，利用上述求得的模式参数a₁及a₂，可以得到颜色Y=C a₁r a₂r²，其中，C表示中心像素16的颜色；在示例性实施例中，将Y修正为等于C，则Y'=Y+a₁r+a₂r²=C，在对数空间中，加入a₁r+a₂r²以修正目前像素的阴影，在线性空间中，乘上增益值以得到R'/G'，例如，R'/G'=Gain xR/G，因此，Log(R'/G')=log(R/G)+log(Gain)，其中，log(Gain)=a₁r+a₂r²，然后，可以利用下式求得增益值（Gain），Gain=exp(a₁r+a₂r²)，举例而言，可以利用R'=Gain x R来修正红色颜色阴影，并利用B'=Gain x B来修正蓝色颜色阴影。

承上所述，在示例性实施例中，可依据形成原因为透镜渐晕或是物体边缘或边界，来区别径向梯度，由于物体的颜色边缘会导致错误估算，所以在部分示例性实施例中，因渐晕所造成的颜色变动远小于由实际物体边缘所造成的颜色变动，所以模式参数的边界可以定义为a_1min、a_1max、a_2min、a_2max，在模式参数a₁及a₂为边界的情况下，梯度的边界值可依据下式求得：

G_min=a_1min+a_2minr （3）；以及

G_max=a_1max+a_2maxr （4）

然后，当梯度G的范围为G_min<G<G_min，可以辨识出外侧部位（如非渐晕所造成的梯度），并进一步排除位于范围之外的所有梯度。

在部分示例性实施例中，可以利用多个径向区域25之间的梯度的计算结果来消除噪声，例如，利用相距一径向距离的两个径向区域之间的梯度的计算结果，可以有效地消除噪声，举例而言，若一向量为[x0,x1x2,x3]，则其正常梯度为x1-x0、x3-x2，利用相距一径向距离的两个径向区域25，可以计算求得梯度为(x2-x1)/2、(x3-x1)/2。

在部分示例性实施例中，可以应用时间分割方法来减少用以储存计算所需的数据的缓冲器的大小，亦即，例如可以利用两个画框来估算透镜模式，举例而言，将一极图像分成[64,24]，例如可将区域25的径向分辨率设为64，另外，可将360度的角度分成24个角形区域，例如将各区域线17的夹角设为θ₂=15（如图3所示）；利用上述的时间分割方法，仅需处理奇数的角度的向量，而针对第二个画框而言，仅需处理偶数的角度的向量即可；如此一来，便可将所需的数据储存负荷减少一半。

图5显示包括本示例性实施例的图像传感器200的功能方块图，如图5所示，图像传感器200包括像素阵列或传感器阵列205，其如同前述的传感器阵列12，像素阵列205通过位线界面连接至读出电路210，而读出电路210可以将数据从像素阵列205提供至功能逻辑215。

像素阵列205界面连接于如前所述的处理电路220，并由处理电路220控制，如上所述，处理电路220包括用以实现本发明的图像系统的运作的所有电路，例如，处理电路220可包括处理器222、个以上的存储器或存储电路224以及一个以上的输出入界面电路226。

需注意者，上述说明主要针对颜色渐晕及其修正，当然，承上所述，本发明亦可以应用于强度渐晕，例如可以利用上述颜色渐晕修正的方法来修正R/G及B/G，对强度渐晕修正而言，其进行的处理包括G或Y=(R+2G+B)/4，而其处理程序与前述的颜色渐晕修正的处理程序相同。

特征的组合

在本发明的任一实施例中，估算参数的步骤包括应用线性回归法进行估算。

在本发明的任一实施例中，模式为多项式模式。

在本发明的任一实施例中，模式为二次多项式模式。

在本发明的任一实施例中，参数从二次多项式的一次微分中取得。

在本发明的任一实施例中，原点像素位于图像的光学中心。

在本发明的任一实施例中，处理电路包括存储器。

在本发明的任一实施例中，处理电路包括处理器。

以上所述仅是举例性，而非限制性。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包括在权利要求所限定的范围内。

Claims

1.一种修正图像之渐晕的方法，所述图像包括二维阵列的图像像素，所述图像像素包括分别表示红色、绿色及蓝色强度的R值、G值及B值，其中，所述方法包括：

将所述二维阵列的每一图像像素分别关联至相对于预选原点像素的一组极坐标；

将所述二维阵列的图像像素区分成多个区域，每一所述区域分别包括所述二维阵列的图像像素中的多个像素，所述多个区域包括多个区域群组，每一所述区域群组沿通过所述预选原点像素的相关区域线径向延伸；

针对每一所述区域群组：

针对所述区域群组中的每一所述区域，计算平均R值、平均G值及平均B值，所述平均R值为所述区域中像素的R值的平均值，所述平均G值为所述区域中像素的G值的平均值，所述平均B值为所述区域中像素的B值的平均值；

将每一所述区域的所述平均R值、所述平均G值及所述平均B值转换成对数空间，以产生R向量、G向量及B向量；

利用中值滤波器处理所述R向量、所述G向量及所述B向量，以确认沿所述区域线的颜色梯度；

比较所述颜色梯度与梯度阈值；

选择未超出所述梯度阈值的梯度；

利用所选出的所述梯度，估算用以产生所述图像的透镜的模式的参数；以及

利用所述参数更新所述透镜的所述模式并修正所述图像。

2.如权利要求1所述的方法，其中，估算所述参数的步骤包括应用线性回归法进行估算。

3.如权利要求1所述的方法，其中，所述模式为多项式模式。

4.如权利要求1所述的方法，其中，所述模式为二次多项式模式。

5.如权利要求4所述的方法，其中，所述参数从所述二次多项式的一次微分中取得。

6.如权利要求1所述的方法，其中，所述原点像素位于所述图像的光学中心。

7.一种用以修正渐晕的图像传感器，其包括：

二维阵列的图像像素，所述图像像素包括分别表示红色、绿色及蓝色强度的R值、G值及B值；以及

处理电路，其耦接于所述二维阵列的图像像素，并用以执行下列步骤：

针对每一所述区域群组：

针对所述区域群组中的每一所述区域，计算平均R值、平均G值及平均B值，所述平均R值为所述区域中像素的R值的平均值，所述平均G值为所述区域中像素的G值的平均值，所述平均B值为所述区域中的像素的B值的平均值；

比较所述颜色梯度与梯度阈值；

选择未超出所述梯度阈值的梯度；

利用所述参数，更新所述透镜的所述模式并修正所述图像。

8.如权利要求7所述的图像传感器，其中，所述处理电路包括存储器。

9.如权利要求7所述的图像传感器，其中，所述处理电路包括处理器。

10.如权利要求7所述的图像传感器，其中，所述模式为多项式模式。

11.如权利要求7所述的图像传感器，其中所述模式为二次多项式模式。

12.如权利要求11所述的图像传感器，其中，所述参数从所述二次多项式的一次微分中取得。

13.如权利要求7所述的图像传感器，其中，所述原点像素位于所述图像的光学中心。