CN108881725B

CN108881725B - 基于非等距径向对称模型的全景相机颜色阴影校正方法

Info

Publication number: CN108881725B
Application number: CN201810797348.6A
Authority: CN
Inventors: 刘娟; 王博; 陈捷; 李文军
Original assignee: Panodux Imaging Technology Co ltd
Current assignee: Panodux Imaging Technology Co ltd
Priority date: 2018-07-19
Filing date: 2018-07-19
Publication date: 2020-10-20
Anticipated expiration: 2038-07-19
Also published as: CN108881725A

Abstract

本发明提供了一种基于非等距径向对称模型的全景相机颜色阴影校正方法,其特征在于，所述方法包括步骤：S1：采集各镜头的标定图像；S2：基于Bayer图像统计各镜头非等距环内的R、B通道的均值和增益值；S3：计算单个镜头关于像素距离参数的R、B通道增益的多项式拟合函数；S4：统计各镜头的平均R、B增益值；S5：统计全景相机多个镜头的整体平均R、B增益值；S6：根据R、B通道增益的多项式拟合函数，计算各镜头非等距像素距离的密集R、B增益值；S7：根据S5步骤的整体平均增益值与S6步骤的密集增益拟合值，计算各镜头的颜色阴影校正系数；S8：利用颜色阴影校正系数校正原Bayer图像。本发明能有效提高校正精度、更好地消除全景相机的色差。

Description

基于非等距径向对称模型的全景相机颜色阴影校正方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于非等距径向对称模型的全景相机颜色阴影校正方法。

背景技术

镜头阴影(lens shading)是由于镜头的光学特性导致的图像亮度和色彩不均匀的现象。镜头阴影校正(lens shading correction)是通过一定的校正算法将成像过程中由镜头的光学特性所产生的阴影去除。

镜头阴影分为两部分：亮度阴影(luma shading)，颜色阴影(color shading)。亮度阴影，是指镜头的通光量从中心到边角减小，造成sensor的亮度响应从中心到边角的变小，图像中心亮，四周逐渐变暗。颜色阴影，是指由于CMOS sensor不同区域的滤光片性能不一样，较大入射光线角度时，在图像传感器的边缘处较多地阻挡较长波长，从而引起图像色彩的偏差。

针对图像色彩偏差的问题，专利CN201710829220.9采用等距径向对称模型，计算等距环形内的阴影校正因子进行校正颜色阴影，但镜头的颜色阴影越偏离图像中心，色彩偏差越严重，因此本发明基于该专利进行改进，采用非等距径向对称模型，根据R²将图像划分成多个不同间距的环形区域，表现为在半径上从图像中心到四周，环形间距越来越小，计算每个非等间距环形内的校正因子。该方法能有效提高阴影校正精度，且根据R²划分能简化FPGA的阴影校正运算。

发明内容

本发明提供了一种基于非等距径向对称模型的全景相机颜色阴影校正方法,所述方法包括步骤：

S1：采集各镜头的标定图像；

S2：基于Bayer图像统计各镜头非等距环内的R、B通道的均值和增益值；

S3：计算单个镜头关于像素距离参数的R、B通道增益的多项式拟合函数；

S4：统计各镜头的平均R、B增益值；

S5：统计全景相机多个镜头的整体平均R、B增益值；

S6：根据R、B通道增益的多项式拟合函数，计算各镜头非等距像素距离的密集R、B增益值；

S7：根据S5步骤的整体平均增益值与S6步骤的密集增益拟合值，计算各镜头的颜色阴影校正系数；

S8：利用颜色阴影校正系数校正原Bayer图像。

优选地，所述步骤S1中标定图像的采集环境设置为：采用内部铺满白纸的色温箱，采用D50光源(色温5000K)，镜头对准光源中心处，尽量保证镜头捕获区域光源分布均匀；每一个镜头采集1帧Bayer图像；采集过程中，通过相机APP设置ISO 100，调节shutter值控制曝光。

优选地，所述步骤S2中非等距环设置为：以半径平方R²从中心到四周将左半图像分为k个环形间距越来越小的环形区域。

优选地，所述k值为9。

优选地，所述步骤S2中的均值计算公式为：

其中，num_r(h_i)表示不同环内的各通道像素点的总个数；pixel_r(y,x)的取值为0或1，当前像素点为R通道则该值为1，其余为0；sum_r(r_i)表示不同环内的各通道像素点的像素值总和；avg_r(h_i)表示不同环内的各通道的像素平均值；I(y,x)表示像素点p(y,x)的像素值，N表示每一环内像素点的总个数；所述步骤S2中的增益值计算公式为：

其中，avg_g(h_i)＝(avg_gr(h_i)+avg_gb(h_i))/2，avg_gr(h_i)是不同环内Gr通道的像素平均值，avg_gb(h_i)是不同环内Gb通道的像素平均值。

优选地，所述步骤S4中单个镜头的平均R、B增益值，计算公式如下：

其中，cmos_gainr为R增益值，cmos_gainb为B增益值，gain_r(h_i)和gain_b(h_i)为不同环内的R通道增益值和B通道增益值。

优选地，所述步骤S5中整体平均R、B增益值的计算公式如下：

其中cmos_gainr(i)表示第i个镜头的整体R增益值，cmos_gainb(i)表示第i个镜头的整体B增益值，M表示全景相机的镜头总个数。total_gainr表示全景相机多个镜头的整体平均R增益值，total_gainb表示全景相机多个镜头的整体平均B增益值。

优选地，所述步骤S6中各镜头的密集R、B通道增益拟合值计算公式为：

fit_gain_r(j)＝r₀dis(j)²+r₁dis(j)+r₂

fit_gain_b(j)＝b₀dis(j)²+b₁dis(j)+b₂

dis(j)＝sqrt(len*j)

len＝((0.5*W)²+(0.5*H)²)/K

其中，j的取值范围是1≤j≤K，len表示将R²平均分成K份的距离长度,dis(j)表示将R²平均分成K份时对应的半径刻度值，fit_gain_r(j)表示第j个环内的R通道的增益拟合值，fit_gain_b(j)表示第j个环内的B通道的增益拟合值。

优选地，所述步骤S7中单个镜头在不同环内的颜色阴影校正系数计算公式为：

coe_r(m,j)＝fit_gain_r(m,j)/total_gainr

coe_b(m,j)＝fit_gain_b(m,j)/ total_gainb

其中coe_r(m,j)表示第m个镜头在第j个环内的R通道的颜色阴影校正系数，coe_b(m,j)表示第m个镜头在第j个环内的B通道的颜色阴影校正系数，fit_gain_r(m,j)表示第m个镜头在第j个环内的R通道的增益拟合值，fit_gain_b(j,m)表示第m个镜头在第j个环内的B通道的增益拟合值，total_gainr是全景相机多个镜头的整体平均R增益值，total_gainb是全景相机多个镜头的整体平均B增益值。

优选地，所述步骤S8中图像任意点p(y,x)的校正公式如下：

其中，I(y,x)表示像素点(y,x)的初始像素值，I′(y,x)表示像素点(y,x)处颜色阴影校正后的像素值，coe_r(m,j)、coe_b(m,j)分别表示第m个镜头的第j个环内的R通道、B通道校正系数，图像中心像素点的坐标为p₀(y₀,x₀)；j值的取值范围1≤j≤K，计算方法如下：

len＝((0.5*W)²+(0.5*H)²)/K

其中，ceil(.)表示向上取整，W表示图像的宽度，H表示图像的高度。

本发明提出了一种基于非等距径向对称模型的镜头颜色阴影校正方法，该方法相比等距径向对称模型，能有效提高校正精度、更好地消除全景相机的色差，且能简化FPGA端的阴影校正运算。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中基于非等距径向对称模型的全景相机颜色阴影校正方法流程图；

图2是本发明实施例中基于非等距径向对称模型的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明针对颜色阴影造成图像的色差问题，提供了一种基于非等距径向对称模型的全景相机颜色阴影校正方法，该方法能很好地消除单个镜头以及多个镜头的色差问题。如图1所示，该方法包括以下步骤：

S1：采集各镜头的标定图像；

颜色阴影校正(Color shading correction)标定序列采集对象要求必须是亮度分布平坦且均匀的光源，同时采集对象必须保持平滑无纹理。

本发明标定图像的采集环境设置如下：采用色温箱，在色温箱内部铺满白纸，采用D50光源(色温5000K)，镜头对准光源中心处，尽量保证镜头捕获区域光源分布均匀。每一个镜头采集1帧Bayer图像。采集过程中，通过相机APP设置ISO 100，调节shutter值控制曝光，图像不宜过曝，也不宜曝光不足。

不同镜头模组之间光学特性存在差异，所以对于不同镜头模组，需要进行重复标定。

由于镜头的色差问题呈现出径向对称特性，图像中心的色彩偏差很小，越往四周，色彩偏差越大。优选地，本发明以半径平方R²从中心到四周将左半图像分为k个不同的环形区域1≤h_i≤k，表现为在半径上从图像中心到四周，环形间距越来越小，如图2所示，在本发明实施例中，k取值9。

划分好区域后，遍历图像的左半区域，分别统计每一个环内的Gr、R、B、Gb通道的均值，以R通道为例，计算公式如下：

其中，num_r(h_i)表示不同环内的R通道像素点的总个数；pixel_r(y,x)的取值为0或1，当前像素点为R通道则该值为1，其余为0；sum_r(r_i)表示不同环内的R通道像素点的像素值总和；avg_r(h_i)表示不同环内的R通道的像素平均值；I(y,x)表示像素点p(y,x)的像素值，N表示每一环内像素点的总个数。

依此类推，依次统计出Gr、R、B、Gb通道的均值后，从而可以计算不同环内的R通道增益值和B通道增益值，计算公式如下：

本发明采用二次多项式拟合函数，二次多项式拟合函数的通式为：

y＝a₀x²+a₁x+a₂

本发明将像素点与图像中心点p₀(y₀,x₀)的像素距离作为拟合函数的x变量，S2步骤计算得到的不同环内的gain_r(h_i)作为y变量，计算R通道增益的多项式拟合函数系数值p_r＝{r₀,r₁,r₂}；同理，将像素点与图像中心点p₀(y₀,x₀)的像素距离作为拟合函数的x变量，S2步骤计算得到的不同环内的gain_b(h_i)作为y变量,计算B通道增益的多项式拟合函数系数值p_b＝{b₀,b₁,b₂}。

优选地，x变量的取值以非等距环形的中点进行抽样。

S4：统计各镜头的平均R、B增益值；

利用S2步骤求出的单个镜头不同环内的R、B通道的增益值，求单个镜头的平均R、B增益值，计算公式如下：

S5：统计全景相机多个镜头的整体平均R、B增益值；

对于单个镜头的色彩偏差，可以通过单个镜头的整体增益值来校正颜色阴影。而对于全景相机，还需保持不同镜头的色彩均匀一致，因此本发明通过求解多个镜头的整体平均R、B增益值进一步校正不同镜头的颜色阴影，计算公式如下：

根据S3步骤求出各镜头的R、B通道增益的多项式拟合函数的系数值p_r＝{r₀,r₁,r₂}和p_b＝{b₀,b₁,b₂}，优选地，以R²从中心到四周分成K份，通常K取128或1024，计算各镜头的密集R、B通道增益拟合值，计算公式如下：

fit_gain_r(j)＝r₀dis(j)²+r₁dis(j)+r₂

fit_gain_b(j)＝b₀dis(j)²+b₁dis(j)+b₂

dis(j)＝sqrt(len*j)

len＝((0.5*W)²+(0.5*H)²)/K

优选地，本发明根据R²进行划分，将图像划分成不同间距的环形区域，越往四周划分得越密集，可以显著提高校正精度。

根据S5步骤的整体平均R、B增益值与S6步骤的密集R、B增益拟合值，分别计算单个镜头在不同环内的颜色阴影校正系数，计算公式如下：

coe_r(m,j)＝fit_gain_r(m,j)/total_gainr

coe_b(m,j)＝fit_gain_b(m,j)/total_gainb

S8：利用颜色阴影校正系数校正原Bayer图像。

遍历全景相机各镜头的Bayer图像像素点，G通道的像素值保持不变，利用S6步骤计算的R、B通道校正系数，对R通道、B通道各像素点进行校正，设图像中心像素点的坐标为p₀(y₀,x₀)，图像任意点p(y,x)的校正公式如下：

其中，I(y,x)表示像素点(y,x)的初始像素值，I′(y,x)表示像素点(y,x)处颜色阴影校正后的像素值，coe_r(m,j)、coe_b(m,j)分别表示第m个镜头的第j个环内的R通道、B通道校正系数；j值的取值范围1≤j≤K，计算方法如下：

len＝((0.5*W)²+(0.5*H)²)/K

优选地，采用半径平方R²将图像进行非等间距划分，可显著提高颜色阴影的校正精度，同时，在FPGA端进行校正时，能省略复杂的开根号运算，计算效率得到提高。

为了保持全景图像中单个镜头的色彩均匀以及多个镜头的色彩一致性，本发明提出了一种基于非等距径向对称模型的镜头颜色阴影校正方法，该方法相比等距径向对称模型，能有效提高校正精度、更好地消除全景相机的色差，且能简化FPGA端的阴影校正运算。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims

1.一种基于非等距径向对称模型的全景相机颜色阴影校正方法,其特征在于，所述方法包括步骤：

S1：采集各镜头的标定图像,标定图像为Bayer图像；

S2：基于Bayer图像统计各镜头非等距环内的R、B通道的均值和增益值；其中，所述步骤S2中非等距环设置为：以半径平方R²从中心到四周将左半图像分为k个环形间距越来越小的环形区域，j表示环的标号，1≤j≤k，j为自然数；

S3：计算单个镜头关于像素距离参数的R、B通道增益的多项式拟合函数；其中，计算R通道增益的多项式拟合函数系数值pr＝{r0,r1,r2}，计算B通道增益的多项式拟合函数系数值pb＝{b0,b1,b2}；

S4：统计各镜头的平均R、B增益值；

S5：统计全景相机多个镜头的整体平均R、B增益值；

S6：根据R、B通道增益的多项式拟合函数，计算各镜头非等距像素距离的密集R、B增益拟合值；

S8：利用颜色阴影校正系数校正原Bayer图像；

其中，所述步骤S2中的均值计算公式为：

其中，num_r(j)表示不同环内的R通道像素点的总个数；pixel_r(y，x)的取值为0或1，当前像素点为R通道则该值为1，其余为0；sum_r(j)表示不同环内的R通道像素点的像素值总和；avg_r(j)表示不同环内的R通道的像素平均值；I(y，x)表示像素点p(y，x)的像素值，N表示每一环内像素点的总个数；

所述步骤S2中的增益值计算公式为：

其中，avg_g(j)＝(avg_gr(j)+avg_gb(j))/2，avg_gr(j)是不同环内Gr通道的像素平均值，avg_gb(j)是不同环内Gb通道的像素平均值；

所述步骤S4中单个镜头的平均R、B增益值，计算公式如下：

其中，cmos_gainr为R增益值，cmos_gainb为B增益值，gain_r(j)和gain_b(j)为不同环内的R通道增益值和B通道增益值；

所述步骤S5中整体平均R、B增益值的计算公式如下：

其中cmos_gainr(i)表示第i个镜头的整体R增益值，cmos_gainb(i)表示第i个镜头的整体B增益值，M表示全景相机的镜头总个数，total_gainr表示全景相机多个镜头的整体平均R增益值，total_gainb表示全景相机多个镜头的整体平均B增益值；

所述步骤S6中各镜头的密集R、B通道增益拟合值计算公式为：

fit_gain_r(j)＝r₀dis(j)²+r₁dis(j)+r₂

fit_gain_b(j)＝b₀dis(j)²+b₁dis(j)+b₂

dis(j)＝sqrt(len*j)

len＝((0.5*W)²+(0.5*H)²)/k

其中，j的取值范围是1≤j≤k，len表示将R²平均分成k份的距离长度,dis(j)表示将R²平均分成k份时对应的半径刻度值，fit_gain_r(j)表示第j个环内的R通道的增益拟合值，fit_gain_b(j)表示第j个环内的B通道的增益拟合值；

所述步骤S7中单个镜头在不同环内的颜色阴影校正系数计算公式为：

coe_r(m，j)＝fit_gain_r(m，j)/total_gainr

coe_b(m，j)＝fit_gain_b(m，j)/total_gainb

其中coe_r(m，j)表示第m个镜头在第j个环内的R通道的颜色阴影校正系数，coe_b(m，j)表示第m个镜头在第j个环内的B通道的颜色阴影校正系数，fit_gain_r(m，j)表示第m个镜头在第j个环内的R通道的增益拟合值，fit_gain_b(m，j)表示第m个镜头在第j个环内的B通道的增益拟合值，total_gainr是全景相机多个镜头的整体平均R增益值，total_gainb是全景相机多个镜头的整体平均B增益值；

所述步骤S8中图像任意点p(y，x)的校正公式如下：

其中，I(y，x)表示像素点(y，x)的初始像素值，I′(y，x)表示像素点(y，x)处颜色阴影校正后的像素值，coe_r(m，j)、coe_b(m，j)分别表示第m个镜头的第j个环内的R通道、B通道校正系数，图像中心像素点的坐标为p₀(y₀，x₀)；j值的取值范围1≤j≤k，计算方法如下：

len＝((0.5*W)²+(0.5*H)²)/k

2.根据权利要求1所述的一种基于非等距径向对称模型的全景相机颜色阴影校正方法,其特征在于，所述步骤S1中标定图像的采集环境设置为：采用内部铺满白纸的色温箱，采用D50光源(色温5000K)，镜头对准光源中心处，尽量保证镜头捕获区域光源分布均匀；每一个镜头采集1帧Bayer图像；采集过程中，通过相机APP设置ISO 100，调节shutter值控制曝光。

3.根据权利要求2所述的一种基于非等距径向对称模型的全景相机颜色阴影校正方法，其特征在于，所述k值为9。