CN106101588A - 全景图像渐晕现象的补偿方法 - Google Patents

Abstract

本发明公开了一种全景图像渐晕现象的补偿方法。包括：获取全景图像，获取全景图像的外轮廓，并获取外轮廓的圆心和半径，对获取的全景图像圆周区域，进行迭代估计，获得最小图像熵对应的估计参数，根据迭代估计得到的参数修正现有图像，得到最终补偿后的全景图像；并具体公开了迭代估计、获得最小图像熵、参数修正等方法。本发明不需要为了获得补偿参数而搭建特殊的场景，通过本发明方法采用一种自主化补偿方法，自主地对补偿参数进行优化，通过初始阶段对特定区域估计出对应的补偿系数，对后续获取的图像依次通过补偿系数进行修正，可以快速准确得到较好的图像修复效果。

Description

全景图像渐晕现象的补偿方法

技术领域

本发明属于计算机图像处理领域，尤其属于图像渐晕现象处理技术，特别涉及一种全景图像渐晕现象的补偿方法。

背景技术

对于光学成像系统，由于光阑的存在，到达像面的光束逐渐变得狭窄，使得成像的边缘处亮度降低，这种现象叫做渐晕现象，亮度降低的区域称为暗边或暗角。渐晕现象使得图片的亮度失真，对于后续图像分割、图像拼接等其他图像处理的效果会受到影响。

全景图像采集常常采用鱼眼镜头获得，对于鱼眼镜头，镜头的视角比普通的镜头视角更广，渐晕现象更加明显，边缘处亮度衰减更厉害，渐晕复原也更加的必要。

渐晕复原的关键问题时对补偿强度的估计，目前工程上对于补偿参数的估计方法普遍是利用特定的均匀光照的场景获取，例如搭建一面亮度均匀的白墙，用镜头拍摄白墙，得到图像边缘处像素点的亮度相对于中心区域亮度的衰减值，用这个值作为暗边补偿的依据。但对于鱼眼镜头，视角大于180度，无法搭建出使镜头中所有位置都是均匀白色区域的场景，或者说搭建这样一个场景成本会很高。所以这种方式对于鱼眼镜头的渐晕复原在很大程度上有限制，无法应用在实际工程中。

发明内容

本发明根据现有技术的不足公开了一种全景图像渐晕现象的补偿方法。为了解决全景相机暗边问题，获得无缝、均匀的全景画面，本发明采用一种自主化的方法估计镜头亮度的补偿系数。

本发明通过以下技术方案实现：

全景图像渐晕现象的补偿方法，其特征在于包括以下步骤：

S1、获取全景图像；

S2、获取全景图像的外轮廓，并获取外轮廓的圆心和半径；

S3、对获取的全景图像圆周区域，进行迭代估计，获得最小图像熵对应的估计参数；

S4、根据迭代估计得到的参数修正现有图像，得到最终补偿后的全景图像。

所述步骤S3、S4包括以下步骤：

1)定义图像熵的衡量公式采用：

$H=\underset{k}{\Σ}{p}_k\×log\left(p_k\right)$

$p_k=n_k/\underset{j}{\Σ}{n}_j$

p_k为统计概率，n_k为统计的灰度直方图，H为图像熵；

2)图像亮度的补偿函数为：

g_a,b,c(r)＝1+ar²+br⁴+cr⁶

$r=\frac{\sqrt{{(x-x_c)}^2+{(y-y_c)}^2}}{\sqrt{{x_c}^2+{y_c}^2}}$

x_c，y_c为图像中心点坐标，补偿函数需满足的条件在0<r<1的区间上，是单调递增的；所以需满足的约束条件为：

$\left\{\begin{array}{c}{q}_{+}=\frac{-b+\sqrt{b^2-3ac}}{3c}\\ q_{-}=\frac{-b-\sqrt{b^2-3ac}}{3c}\\ C_1=c\&GreaterEqual;0\&cap;b^2-3ac<0\\ C_2=c\&GreaterEqual;0\&cap;b^2-3ac\&GreaterEqual;0\&cap;q_{-}\&le;0\&cap;q_{+}\&le;0\\ C_3=c\&GreaterEqual;0\&cap;b^2-3ac\&GreaterEqual;0\&cap;q_{-}\&GreaterEqual;0\&cap;q_{+}\&GreaterEqual;0\\ C_4=c<0\&cap;q_{-}\&le;0\&cap;q_{+}\&GreaterEqual;0\\ C_5=c<0\&cap;q_{-}\&GreaterEqual;0\&cap;q_{+}\&le;0\end{array}\right.$

a，b，c应在集合C₁∩C₂∩C₃∩C₄∩C₅中；

3)图像的转化前后的关系为：

L_new(x,y)＝L_old(x,y)g_a,b,c(r)

其中,L_old(x,y)为原图像对应坐标位置的像素值，L_new(x,y)为补偿后图像对应坐标位置的像素值；

4)设置步长δ＝2.0，缩放因子k＝0.5，补偿系数a，b，c初始值设置为0；

5)固定b，c，搜索a的局部最优值，迭代公式：

a_n+1＝a_n+δ

将新的a，b，c代入步骤2)的约束，若满足约束，则代入步骤1)中求当前函数的图像熵，若不满足约束则继续；

6)将步骤5)进行6次，选出最小的图像熵对应参数作为当前最优值；

7)参数b和c的迭代公式：

b_n+1＝b_n-δ

c_n+1＝c_n+δ

其中b_n、c_n为第n次迭代后的相应补偿系数，同理按照步骤(5)和步骤(6)进行迭代，求出参数的局部最优值；

8)当继续迭代无法得到更小的图像熵时，使用更小的δ继续迭代；

δ_n+1＝δ_n×k

其中δ_n为第n次迭代后的相应步长系数；

9)一直重复步骤5)、6)、7)，直到δ迭代到我们设置的最小阈值1/125，此时得到的参数a，b，c的值为最终最优解；

10)将最优参数值代入步骤2)中的补偿函数对原图像进行补偿。

所述全景图像采用鱼眼镜头获得，包括单鱼眼镜头，双鱼眼镜头等。

所述步骤S2获取全景图像的外轮廓，并获取外轮廓的圆心和半径是对获取的全景图像画面区域提取外轮廓，并对该轮廓进行霍夫圆形拟合检测，获取拟合圆的圆心和半径。

在全景图像通过双鱼眼镜头获得时，将全景图像在双鱼眼镜头形成交叉边界处直接切分，形成两幅全景图像；每幅全景图像采用叠加搜索的方式，首先用特定颜色可透光的塑料盖遮住双鱼眼镜头，以获取此时成像为单一颜色画面的RGB图像；对图像RGB图像进行HSV颜色空间变换，并取出颜色H通道进行阈值化，提取最大有效成像区域的轮廓，并通过纵向位置确定图像圆周的半径和圆形纵向位置；在图像圆周的圆心横向移动检测掩模，进而确定圆心的准确位置。

本发明不需要为了获得补偿参数而搭建特殊的场景，通过本发明方法采用一种自主化的方法，自主地对补偿参数进行优化；通过初始阶段对特定区域估计出对应的补偿系数，对后续获取的图像依次通过补偿系数进行修正，可以快速准确得到较好的图像修复效果。

附图说明

图1是鱼眼镜头全景成像的渐晕示意图；

图2是补偿函数曲线；图中，纵坐标表示补偿系数，横坐标表示以鱼眼图像半径为单位的补偿点与鱼眼图像中心的距离；

图3是本发明补偿方法流程图；

图4是双鱼眼镜头全景成像拆分示意图；

图5是鱼眼圆心查找方法示意图，图中，A表示掩模，B表示轮廓外接矩形。

具体实施方式

下面通过实施例对本发明进行具体的描述，本实施例只用于对本发明进行进一步的说明，但不能理解为对本发明保护范围的限制，本领域的技术人员根据上述本发明的内容作出的一些非本质的改进和调整也属于本发明保护的范围。

结合图1至图5。

全景图像渐晕现象的补偿方法，包括以下步骤：

S1、获取全景图像；

S2、获取全景图像的外轮廓，并获取外轮廓的圆心和半径；

S3、对获取的全景图像圆周区域，进行迭代估计，获得最小图像熵对应的估计参数；

S4、根据迭代估计得到的参数修正现有图像，得到最终补偿后的全景图像。

步骤S3、S4中对获取到的图像进行如下定义计算：

1)定义图像熵的衡量公式采用：

$H=\underset{k}{\&Sigma;}{p}_k\&times;log\left(p_k\right)$

$p_k=n_k/\underset{j}{\&Sigma;}{n}_j$

p_k为统计概率，n_k为统计的灰度直方图，H为图像熵；

2)图像亮度的补偿函数为：

g_a,b,c(r)＝1+ar²+br⁴+cr⁶

$r=\frac{\sqrt{{(x-x_c)}^2+{(y-y_c)}^2}}{\sqrt{{x_c}^2+{y_c}^2}}$

x_c，y_c为图像中心点坐标，补偿函数需满足的条件在0<r<1的区间上，是单调递增的；所以需满足的约束条件为：

$\left\{\begin{array}{c}{q}_{+}=\frac{-b+\sqrt{b^2-3ac}}{3c}\\ q_{-}=\frac{-b-\sqrt{b^2-3ac}}{3c}\\ C_1=c\&GreaterEqual;0\&cap;b^2-3ac<0\\ C_2=c\&GreaterEqual;0\&cap;b^2-3ac\&GreaterEqual;0\&cap;q_{-}\&le;0\&cap;q_{+}\&le;0\\ C_3=c\&GreaterEqual;0\&cap;b^2-3ac\&GreaterEqual;0\&cap;q_{-}\&GreaterEqual;0\&cap;q_{+}\&GreaterEqual;0\\ C_4=c<0\&cap;q_{-}\&le;0\&cap;q_{+}\&GreaterEqual;0\\ C_5=c<0\&cap;q_{-}\&GreaterEqual;0\&cap;q_{+}\&le;0\end{array}\right.$

a，b，c应在集合C₁∩C₂∩C₃∩C₄∩C₅中；

3)图像的转化前后的关系为：

L_new(x,y)＝L_old(x,y)g_a,b,c(r)

其中,L_old(x,y)为原图像对应坐标位置的像素值，L_new(x,y)为补偿后图像对应坐标位置的像素值；

4)设置步长δ＝2.0，缩放因子k＝0.5，补偿系数a，b，c初始值设置为0；

5)固定b，c，搜索a的局部最优值，迭代公式：

a_n+1＝a_n+δ

将新的a，b，c代入步骤2)的约束，若满足约束，则代入步骤1)中求当前函数的图像熵，若不满足约束则继续；

6)将步骤5)进行6次，选出最小的图像熵对应参数作为当前最优值；

7)参数b和c的迭代公式：

b_n+1＝b_n-δ

c_n+1＝c_n+δ

其中b_n、c_n为第n次迭代后的相应补偿系数，同理按照步骤(5)和步骤(6)进行迭代，求出参数的局部最优值；

8)当继续迭代无法得到更小的图像熵时，使用更小的δ继续迭代；

δ_n+1＝δ_n×k

其中δ_n为第n次迭代后的相应步长系数；

9)一直重复步骤5)、6)、7)，直到δ迭代到我们设置的最小阈值1/125，此时得到的参数a，b，c的值为最终最优解；

10)将最优参数值代入步骤2)中的补偿函数对原图像进行补偿。

针对单鱼眼镜头

首先通过带有鱼眼镜头的相机在光照均匀的环境下拍摄鱼眼图像，对于采集得到的图像，首先得获取鱼眼画面区域位置，确定圆心位置。

1.对于圆周鱼眼画面图像，首先对图像进行图像像素值阈值化处理，对鱼眼画面周围的干扰区域进行图像形态学操作，过滤得到只有鱼眼画面的区域。

2.对于获取的鱼眼画面区域提取外轮廓，并对该轮廓进行霍夫圆形拟合检测，获取拟合圆的圆心和半径。

3.对于获取的鱼眼圆周区域，进行迭代估计，获得最小图像熵对应的估计参数。

4.根据迭代估计得到的参数修正现有图像，得到最终补偿后的图像。

针对双鱼眼镜头

本例以专利申请201510600504.1公开的双鱼眼镜头为例，由于采用双鱼眼采集方案，在对鱼眼镜头做渐晕补偿时，需要对两个镜头采集到的图像独自进行处理。

1.对于双鱼眼画面，由于存在两个独立鱼眼画面，并且两个鱼眼画面成像并不完整，所以首先根据成像装置特点，在成像装置形成的边界处直接切分，形成两个鱼眼画面，并且按照此切分生成两组补偿参数。对于双鱼眼单CMOS结构，在成像上由于棱镜的存在会自然形成CMOS上的界限，并且该界限由于成像结构固定可以精确已知，在数字图像形成后采用数字图像处理中提取ROI区域的形式指定图像中分界线位置来进行图像的切分

2.鱼眼图像中心位置确定。由于切分后的图像在各个画面中成像不为完整的圆周鱼眼，故而通过圆形检测拟合的方式存在较大的误差。这里我们采用叠加搜索的方式，首先用特定颜色可透光的塑料盖遮住双鱼眼镜头，以获取此时的成像为单一颜色画面的RGB图像；对图像RGB图像进行HSV颜色空间变换，并取出颜色H通道进行阈值化，提取最大有效成像区域的轮廓，并通过纵向位置确定鱼眼圆周的半径和圆形纵向位置；在鱼眼圆周的圆心横向移动检测掩模，进而确定圆心得准确位置。具体实现步骤为：1)确定圆心纵坐标y和半径R；2)在图像坐标y方向设置半径为R的圆形掩模M，初始横坐标为0；3)滑动掩模直到掩模与图像有效区域重叠度最大，并确定此时横坐标x，则圆心坐标为(x，y)。

3.在光照均匀的环境下用易瞳双鱼眼全景摄像机拍摄鱼眼图像，获取原始相机成像画面，对于获取的鱼眼圆周区域，进行迭代估计，获得最小图像熵对应的估计参数。

根据迭代估计得到的参数修正现有两个切分的图像，并进行合成一个得到最终补偿后的图像。

Claims (5)

1.全景图像渐晕现象的补偿方法，其特征在于包括以下步骤：

S1、获取全景图像；

S2、获取全景图像的外轮廓，并获取外轮廓的圆心和半径；

S3、对获取的全景图像圆周区域，进行迭代估计，获得最小图像熵对应的估计参数；

S4、根据迭代估计得到的参数修正现有图像，得到最终补偿后的全景图像。

2.根据权利要求1所述的全景图像渐晕现象的补偿方法，其特征在于：所述步骤S3、S4包括以下步骤：

1)定义图像熵的衡量公式采用：

$H=\underset{k}{\&Sigma;}{p}_k\&times;log\left(p_k\right)$

$p_k=n_k/\underset{j}{\&Sigma;}{n}_j$

p_k为统计概率，n_k为统计的灰度直方图，H为图像熵；

2)图像亮度的补偿函数为：

g_a,b,c(r)＝1+ar²+br⁴+cr⁶

$r=\frac{\sqrt{{(x-x_c)}^2+{(y-y_c)}^2}}{\sqrt{{x_c}^2+{y_c}^2}}$

x_c，y_c为图像中心点坐标，补偿函数需满足的条件在0<r<1的区间上，是单调递增的；所以需满足的约束条件为：

$\left\{\begin{array}{c}{q}_{+}=\frac{-b+\sqrt{b^2-3ac}}{3c}\\ q_{-}=\frac{-b-\sqrt{b^2-3ac}}{3c}\\ C_1=c\&GreaterEqual;0\&cap;b^2-3ac<0\\ C_2=c\&GreaterEqual;0\&cap;b^2-3ac\&GreaterEqual;0\&cap;q_{-}\&le;0\&cap;q_{+}\&le;0\\ C_3=c\&GreaterEqual;0\&cap;b^2-3ac\&GreaterEqual;0\&cap;q_{-}\&GreaterEqual;0\&cap;q_{+}\&GreaterEqual;0\\ C_4=c<0\&cap;q_{-}\&le;0\&cap;q_{+}\&GreaterEqual;0\\ C_5=c<0\&cap;q_{-}\&GreaterEqual;0\&cap;q_{+}\&le;0\end{array}\right.$

a，b，c应在集合C₁∩C₂∩C₃∩C₄∩C₅中；

3)图像的转化前后的关系为：

L_new(x,y)＝L_old(x,y)g_a,b,c(r)

其中，L_old(x,y)为原图像对应坐标位置的像素值，L_new(x,y)为补偿后图像对应坐标位置的像素值；

4)设置步长δ＝2.0，缩放因子k＝0.5，补偿系数a，b，c初始值设置为0；

5)固定b，c，搜索a的局部最优值，迭代公式：

a_n+1＝a_n+δ

将新的a，b，c代入步骤2)的约束，若满足约束，则代入步骤1)中求当前函数的图像熵，若不满足约束则继续；

6)将步骤5)进行6次，选出最小的图像熵对应参数作为当前最优值；

7)参数b和c的迭代公式：

b_n+1＝b_n-δ

c_n+1＝c_n+δ

其中b_n、c_n为第n次迭代后的相应补偿系数，同理按照步骤(5)和步骤(6)进行迭代，求出参数的局部最优值；

8)当继续迭代无法得到更小的图像熵时，使用更小的δ继续迭代；

δ_n+1＝δ_n×k

其中δ_n为第n次迭代后的相应步长系数；

9)一直重复步骤5)、6)、7)，直到δ迭代到我们设置的最小阈值1/125，此时得到的参数a，b，c的值为最终最优解；

10)将最优参数值代入步骤2)中的补偿函数对原图像进行补偿。

3.根据权利要求1或2所述的全景图像渐晕现象的补偿方法，其特征在于：所述全景图像采用鱼眼镜头获得。

4.根据权利要求3所述的全景图像渐晕现象的补偿方法，其特征在于：所述步骤S2获取全景图像的外轮廓，并获取外轮廓的圆心和半径是对获取的全景图像画面区域提取外轮廓，并对该轮廓进行霍夫圆形拟合检测，获取拟合圆的圆心和半径。

5.根据权利要求3所述的全景图像渐晕现象的补偿方法，其特征在于：所述全景图像通过双鱼眼镜头获得，将全景图像在双鱼眼镜头形成交叉边界处直接切分，形成两幅全景图像；每幅全景图像采用叠加搜索的方式，首先用特定颜色可透光的塑料盖遮住双鱼眼镜头，以获取此时成像为单一颜色画面的RGB图像；对图像RGB图像进行HSV颜色空间变换，并取出颜色H通道进行阈值化，提取最大有效成像区域的轮廓，并通过纵向位置确定图像圆周的半径和圆形纵向位置；在图像圆周的圆心横向移动检测掩模，进而确定圆心的准确位置。