CN115205398A - 一种不均匀光照条件下的相机标定方法及系统 - Google Patents

Abstract

本发明公开了一种不均匀光照条件下的相机标定方法及系统，属于图像处理技术领域，包括以下步骤：S1：利用多尺度Retinex算法对输入图像进行处理；S2：对步骤S1得到的图像进行高斯同态滤波处理；S3：利用Otsu算法对步骤S2得到的图像进行处理；S4：对经过步骤S1～S3处理后的图像采用张正友平面标定法进行相机标定。本发明先利用多尺度Retinex算法和高斯同态滤波来增强图像细节，然后结合Otsu算法图像分割和双边滤波处理获得最终的标定板图像，进而实现相机的高精度标定，值得被推广使用。

Description

一种不均匀光照条件下的相机标定方法及系统

技术领域

本发明涉及图像处理技术领域，具体涉及一种不均匀光照条件下的相机标定方法及系统。

背景技术

三维重建在计算机辅助设计、图形学、动画、计算机视觉、医学图像重建、数字多媒体、工业逆向设计、文物博物馆及数字城市等领域有广泛的应用，一直以来是计算机视觉领域研究的热点。相机标定作为三维重建核心和关键的方面之一，其中不均匀的光照会增加了图像处理的难度，使重建得不到有效的数据。

在高精度相机标定中，制作标定模板时要求表面光滑且平整，而制作的材料常选用陶瓷材料、玻璃材料或者铝合金材料，标定时从各个角度及不同距离拍摄多幅标定板图像。由于环境光影响、照明不均匀以及上述材料本身表面光滑平整，使得实际采集的标定板图像常存在图像灰度不均匀，存在局部灰度值过亮或者过暗的情况，甚至局部高光，这些光照条件会降低边缘、角点等特征提取的精度，并进一步影响重建的三维几何模型精度以及最终纹理映射的效果。可见，光照不均匀是三维重建中最直接问题和最具挑战性问题之一，了解复杂光照情况、提高相机标定精度实现高质量三维重建具有重要的理论意义与实际应用价值。为此，提出一种不均匀光照条件下的相机标定方法及系统。

发明内容

本发明所要解决的技术问题在于：如何解决在弱光或不均匀光照条件下标定板图像的照度不均匀、对比度低的问题，以及在复杂光照条件下相机标定精度低的问题，提供了一种不均匀光照条件下的相机标定方法，本方法利用多尺度Retinex算法和高斯同态滤波来增强图像细节，结合Otsu算法图像分割和双边滤波处理获得最终的标定板图像实现相机的高精度标定。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：利用多尺度Retinex算法对输入图像进行处理；

S2：对步骤S1得到的图像进行高斯同态滤波处理；

S3：利用Otsu算法对步骤S2得到的图像进行处理；

S4：对经过步骤S1～S3处理后的图像采用张正友平面标定法进行相机标定。

更进一步地，在所述步骤S1中，输入图像的表达式为：

z(x,y)＝r(x,y)*i(x,y)

转换到对数域为：

log[r(x,y)]＝log[z(x,y)]-log[i(x,y)]

其中，i(x,y)是由光源确定的光照分量，r(x,y)表示i(x,y)的反射分量。

更进一步地，在所述步骤S1中，多尺度Retinex算法是在单尺度Retinex算法的基础上发展得到的，采用不同的尺度参数值对输入图像进行卷积滤波，再对不同尺度参数得到滤波结果加权平均，得到光照图像，其表达式为：

其中，i∈(R,G,B)，G_j(x,y)表示高斯滤波函数，尺度参数为σ_j，n为尺度参数个数，W_j是第j个滤波函数对应的权重，满足

更进一步地，所述单尺度Retinex算法的表达式为：

其中，i∈(R,G,B)，G(x,y)表示高斯中心环绕函数，数学表达式为：

其中，(x,y)为点坐标，exp为以自然常数e为底的指数函数，σ为标准差。

更进一步地，在所述步骤S2中，将步骤S1得到的图像r_i(x,y)表示成光照分量i(x,y)和反射分量r(x,y)的乘积，即：

r_i(x,y)＝i(x,y)*r(x,y)。

更进一步地，所述步骤S2包括以下步骤：

S21：对步骤S1得到的图像r_i(x,y)表达式的两边进行对数变换，把两个分量相乘变成相加，得到：

ln[r_i(x,y)]＝ln[i(x,y)*r(x,y)]＝ln[i(x,y)]+ln[r(x,y)]

两边进行傅里叶变换：

F{ln[r_i(x,y)]}＝F{ln[i(x,y)]}+F{ln[r(x,y)]}

简写为：

R_i(u,v)＝I(u,v)+R(u,v)；

S22：设计同态滤波器H(u,v)，在对数域中减弱低频成分，增强高频成分，滤波结果表达式如下：

S(u,v)＝H(u,v)R_i(u,v)＝H(u,v)*[I(u,v)+R(u,v)]

对滤波结果S(u,v)进行傅里叶反变换，得到：

s(x,y)＝F^-1[S(u,v)]

对s(x,y)进行指数变换，得到同态滤波后的图像：

g(x,y)＝exp[s(x,y)]。

更进一步地，在所述步骤S22中，所述同态滤波器H(u,v)的传递函数如下：

其中，γ_L<1，γ_H>1，c用于调整函数在γ_L和γ_H的陡峭度。

更进一步地，在所述步骤S3中，在Otsu算法中，对于一幅灰度图像I，像素点个数是N，设定二值化阈值t对当前图像进行分割，设灰度值大于的像素点是前景像素点，灰度值小于t的像素点是背景像素点，计算前景像素点个数是N₀背景像素点个数是N₁，图像I的前景像素点个数在整幅图像中的比例是ω₀，平均灰度值是μ₀，背景像素点个数在整幅图像中比例是ω₁，平均灰度值是μ₁，根据以下公式计算出类间方差g：

g＝ω₀ω₁(μ₀-μ₁)²

然后从0到255遍历二值化阈值，进行图像二值化分割，g最大时对应的二值化阈值t即是最优阈值，采用所述最优阈值对步骤S2中得到的图像进行分割。

更进一步地，在所述步骤S4中，相机的线性成像模型对成像过程的描述是建立在世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系的基础上的，设空间中某一点P的世界坐标系的齐次坐标为[X_w Y_w Z_w 1]^T，刚体变换到相机坐标系中的坐标为[X_c Y_c Z_c]^T，然后透视投影到图像成像坐标系中的坐标为[x y z]^T，最后投影到图像中对应的像素坐标则为[u v]；通过4个坐标系之间的转换得到世界坐标系到图像坐标系之间的转换关系：

其中，f_x、f_y、u₀、v₀为相机内参矩阵H₁的参数，f_x、f_y分别为像素坐标系中X轴、Y轴上归一化焦距，u₀、v₀为图像的中心像素坐标，k_u、k_v分别为像素坐标系中X轴、Y轴上的尺度因子；

世界坐标系到像素坐标系之间的转换关系表示为：

其中，Z_c为相机坐标系下的Z轴坐标值，R、T表示刚体变换；H为单应性矩阵，包括相机内参矩阵H₁和外参矩阵H₂。

更进一步地，在所述步骤S4中，先利用角点提取算法得到图像中棋盘格标定板上每一个角点的像素坐标(u,v)，将世界坐标系固定于棋盘格上，则棋盘格上任一点的世界坐标系的Z轴坐标值为0，进而计算得到每一个角点在世界坐标系下的坐标，利用每一个角点的像素坐标、每一个角点在世界坐标系下的坐标来进行相机的标定，获得相机的内外参矩阵、畸变参数。

本发明还提供了一种不均匀光照条件下的相机标定系统，采用上述的方法对相机进行标定，包括：

第一处理模块，用于利用多尺度Retinex算法对输入图像进行处理；

第二处理模块，用于对步骤S1得到的图像进行高斯同态滤波处理；

第三处理模块，用于利用Otsu算法对步骤S2得到的图像进行处理；

标定模块，用于对经过步骤S1～S3处理后的图像采用张正友平面标定法进行相机标定；

所述第一处理模块、第二处理模块、第三处理模块均与所述标定模块连接。

本发明相比现有技术具有以下优点：该不均匀光照条件下的相机标定方法及系统，首先利用多尺度Retinex算法和高斯同态滤波来增强图像细节，然后结合Otsu算法图像分割和双边滤波处理获得最终的标定板图像，进而实现相机的高精度标定，值得被推广使用。

附图说明

图1是本发明实施例一中复杂光照条件下的相机标定方法流程图；

图2是本发明实施例二中弱光下标定板原始图像；

图3是本发明实施例二中弱光下标定板原始图像经多尺度Retinex算法、高斯同态滤波、Otsu算法处理后的图像；

图4是本发明实施例二中不均匀光照光下标定板原始图像；

图5是本发明实施例二中不均匀光照光下标定板原始图像经多尺度Retinex算法、高斯同态滤波、Otsu算法处理后的图像。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供一种技术方案：一种不均匀光照条件下的相机标定方法，具体采用如下主要步骤：

S1：利用多尺度Retinex算法对输入图像进行处理；

S2：对步骤S1得到的图像进行高斯同态滤波处理；

S3：利用Otsu算法对步骤S2得到的图像进行处理；

S4：对经过步骤S1～S3处理后的图像采用张正友平面标定法进行相机标定。

下面对各步骤中所采用方式进行进一步说明：

S1、多尺度Retinex算法处理

假设z(x,y)表示图像函数，i(x,y)是由光源确定的光照分量，r(x,y)表示i(x,y)的反射分量，由成像物体的本质属性决定。假设人眼所看到的图像为z(x,y)，则一幅人眼所看到的原始图像的表达式为：

z(x,y)＝r(x,y)*i(x,y) (1)

转换到对数域为：

log[r(x,y)]＝log[z(x,y)]-log[i(x,y)] (2)

单尺度Retinex算法(Single-Scale-Retinex)从人眼视觉形成的过程出发，对描述原始图像的RGB分量分别进行中心、环绕参数的卷积处理，以便估计出光照图像；

具体的表达式为：

其中，i∈(R,G,B)，G(x,y)表示高斯中心环绕函数，其数学表达式为：

多尺度Retinex算法(Multi-Scale-Retinex)是在单尺度Retinex算法的基础上发展来的，用整个公式中唯一变量即尺度参数，采用不同的值对图像进行卷积滤波，再对不同尺度参数得到的滤波结果加权平均，得到光照图像，其表达式为：

其中，i∈(R,G,B)，G_j(x,y)表示高斯滤波函数，尺度参数为σ_j，n为尺度参数个数，W_j是第j个滤波函数对应的权重，满足

S2、高斯同态滤波处理

同态滤波是一种频域滤波方法，能够压缩图像整体亮度，使得图像光照变得均匀，并增强图像细节，同态滤波是基于物体照射反射模型的；图像r_i(x,y)可以表示成光照分量i(x,y)和反射分量r(x,y)的乘积，即：

r_i(x,y)＝i(x,y)*r(x,y) (6)

光照分量由光源决定，描述了图像的照明，通过傅里叶变换后在频域中表现为低频分量；反射分量表示图像信息，和材料反射率有关，随着图像细节变化而变化，在频域中表现为高频分量。因此，本发明设计高通滤波器，减少低频信息，保留高频信息，消除光照不均匀的情况，突出图像细节。

首先对上式两边进行对数变换，把两个分量相乘变成相加，便于在频域内高低频分开，即：

ln[r_i(x,y)]＝ln[i(x,y)*r(x,y)]＝ln[i(x,y)]+ln[r(x,y)] (7)

两边进行傅里叶变换：

F{ln[r_i(x,y)]}＝F{ln[i(x,y)]}+F{ln[r(x,y)]} (8)

简写为：

R_i(u,v)＝I(u,v)+R(u,v) (9)

接下来设计一个同态滤波器H(u,v)，在对数域中减弱低频成分，增强高频成分，从而减弱光照分量，增强反射分量,滤波结果表达式如下：

S(u,v)＝H(u,v)R_i(u,v)＝H(u,v)*[I(u,v)+R(u,v)] (10)

对滤波结果S(u,v)进行傅里叶反变换，得到：

s(x,y)＝F^-1[S(u,v)] (11)

对s(x,y)进行指数变换，得到同态滤波后的图像：

g(x,y)＝exp[s(x,y)] (12)

同态滤波器函数H(u,v)本质上是高通滤波器，本发明选用的高斯同态滤波器的传递函数是：

其中，γ_L<1，γ_H>1，c用于调整函数在γ_L和γ_H的陡峭度，c越小，幅度上升越平缓。

S3、Otsu算法处理

Otsu算法是一种能自适应确定二值化阈值的分割算法，基本思想是根据二值化阈值将图像中的像素点分为前景和背景两类，两类像素的类间方差最大时对应的阈值即为最优阈值。本发明所用的标定板背景是白色，边框是黑色，二者的灰度值区分度较大，因此二值化分割能有效分割出标定板区域。

对于一幅灰度图像I，像素点个数是N，设定二值化阈值t对当前图像进行分割，设灰度值大于t的像素点是前景像素点，灰度值小于t的像素点是背景像素点，计算前景像素点个数是N0，背景像素点个数是N1，图像I的前景像素点个数在整幅图像中的比例是叫ω₀，平均灰度值是μ₀，背景像素点个数在整幅图像中比例是ω₁，平均灰度值是μ₁，根据以下公式计算出类间方差g：

g＝ω₀ω₁(μ₀-μ₁)² (14)

接下来从0到255遍历二值化阈值，进行图像二值化分割，g最大时对应的二值化阈值t即是最优阈值。

S4、相机标定处理

采用张正友平面标定法进行相机标定。相机的线性成像模型对成像过程的描述是建立在世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系的基础上。设空间中某一点P的世界坐标系的齐次坐标为[X_w Y_w Z_w 1]^T，刚体变换到相机坐标系中的坐标为[X_c Y_cZ_c]^T，然后透视投影到图像成像坐标系中的坐标为[x y z]^T，最后投影到图像中对应的像素坐标则为[u v]。通过这4个坐标系之间的转换就可得到世界坐标系到图像坐标系之间的转换关系：

式中，f_x、f_y、u₀、v₀为相机内参矩阵H₁的参数f_x、f_y分别为像素坐标系中的X轴、Y轴上归一化焦距，k_u、k_v分别为像素坐标系中的X轴、Y轴上的尺度因子。

综上，世界坐标系到像素坐标系之间的转换关系可表示为：

式中：Z_c为摄像机坐标系下的Z轴坐标值，R、T表示刚体变换；H为单应性矩阵，包括相机内参矩阵H₁和外参矩阵H₂。

在所述步骤S4中，首先利用相应的角点提取算法得到图中的棋盘格标定板上每一个角点(角点是棋盘格上黑色方块相交的点)的像素坐标(u,v)，将世界坐标系固定于棋盘格上，则棋盘格上任一点的世界坐标系的Z轴坐标值为0；由于标定板的世界坐标系是人为事先定义好的，标定板上每一个格子的大小是已知的，我们可以计算得到每一个角点在世界坐标系下的坐标。我们将利用这些信息：每一个角点的像素坐标、每一个角点在世界坐标系下的坐标来进行相机的标定，获得相机的内外参矩阵、畸变参数。

实施例二

在本实施例中，采用实施例一中方法对图2和图4中两种条件下的标定板原始图像进行标定处理，得到的标定结果如下表1所示：

表1两种条件下的标定结果对比

综上所述，上述实施例的不均匀光照条件下的相机标定方法，首先利用多尺度Retinex算法和高斯同态滤波来增强图像细节，然后结合Otsu算法图像分割和双边滤波处理获得最终的标定板图像，进而实现相机的高精度标定，值得被推广使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种不均匀光照条件下的相机标定方法，其特征在于，包括以下步骤：

S1：利用多尺度Retinex算法对输入图像进行处理；

S2：对步骤S1得到的图像进行高斯同态滤波处理；

S3：利用Otsu算法对步骤S2得到的图像进行处理；

S4：对经过步骤S1～S3处理后的图像采用张正友平面标定法进行相机标定。

2.根据权利要求1所述的一种不均匀光照条件下的相机标定方法，其特征在于：在所述步骤S1中，输入图像的表达式为：

z(x,y)＝r(x,y)*i(x,y)

转换到对数域为：

log[r(x,y)]＝log[z(x,y)]-log[i(x,y)]

其中，i(x,y)是由光源确定的光照分量，r(x,y)表示i(x,y)的反射分量。

3.根据权利要求2所述的一种不均匀光照条件下的相机标定方法，其特征在于：在所述步骤S1中，多尺度Retinex算法是在单尺度Retinex算法的基础上发展得到的，采用不同的尺度参数值对输入图像进行卷积滤波，再对不同尺度参数得到滤波结果加权平均，得到光照图像，其表达式为：

其中，i∈(R,G,B)，G_j(x,y)表示高斯滤波函数，尺度参数为σ_j，n为尺度参数个数，W_j是第j个滤波函数对应的权重，满足

4.根据权利要求3所述的一种不均匀光照条件下的相机标定方法，其特征在于：所述单尺度Retinex算法的表达式为：

其中，i∈(R,G,B)，G(x,y)表示高斯中心环绕函数，数学表达式为：

其中，(x,y)为点坐标，exp为以自然常数e为底的指数函数，σ为标准差。

5.根据权利要求4所述的一种不均匀光照条件下的相机标定方法，其特征在于：在所述步骤S2中，将步骤S1得到的图像r_i(x,y)表示成光照分量i(x,y)和反射分量r(x,y)的乘积，即：

r_i(x,y)＝i(x,y)*r(x,y)。

6.根据权利要求5所述的一种不均匀光照条件下的相机标定方法，其特征在于：所述步骤S2包括以下步骤：

S21：对步骤S1得到的图像r_i(x,y)表达式的两边进行对数变换，把两个分量相乘变成相加，得到：

ln[r_i(x,y)]＝ln[i(x,y)*r(x,y)]＝ln[i(x,y)]+ln]r(x,y)]

两边进行傅里叶变换：

F{ln[r_i(x,y)]}＝F{ln[i(x,y)]}+F{ln[r(x,y)]}

简写为：

R_i(u,v)＝I(u,v)+R(u,v)；

S22：设计同态滤波器H(u,v)，在对数域中减弱低频成分，增强高频成分，滤波结果表达式如下：

S(u,v)＝H(u,v)R_i(u,v)＝H(u,v)*[I(u,v)+R(u,v)]

对滤波结果S(u,v)进行傅里叶反变换，得到：

s(x,y)＝F^-1[S(u,v)]

对s(x,y)进行指数变换，得到同态滤波后的图像：

g(x,y)＝exp[s(x,y)]。

7.根据权利要求6所述的一种不均匀光照条件下的相机标定方法，其特征在于：在所述步骤S3中，在Otsu算法中，对于一幅灰度图像I，像素点个数是N，设定二值化阈值t对当前图像进行分割，设灰度值大于的像素点是前景像素点，灰度值小于t的像素点是背景像素点，计算前景像素点个数是N₀背景像素点个数是N₁，图像I的前景像素点个数在整幅图像中的比例是ω₀，平均灰度值是μ₀，背景像素点个数在整幅图像中比例是ω₁，平均灰度值是μ₁，根据以下公式计算出类间方差g：

g＝ω₀ω₁(μ₀-μ₁)²

然后从0到255遍历二值化阈值，进行图像二值化分割，g最大时对应的二值化阈值t即是最优阈值，采用所述最优阈值对步骤S2中得到的图像进行分割。

8.根据权利要求7所述的一种不均匀光照条件下的相机标定方法，其特征在于：在所述步骤S4中，相机的线性成像模型对成像过程的描述是建立在世界坐标系、相机坐标系、图像物理坐标系和图像像素坐标系的基础上的，设空间中某一点P的世界坐标系的齐次坐标为[X_w Y_w Z_w 1]^T，刚体变换到相机坐标系中的坐标为[X_c Y_c Z_c]^T，然后透视投影到图像成像坐标系中的坐标为[x y z]^T，最后投影到图像中对应的像素坐标则为[u v]；通过4个坐标系之间的转换得到世界坐标系到图像坐标系之间的转换关系：

其中，f_x、f_y、u₀、v₀为相机内参矩阵H₁的参数，f_x、f_y分别为像素坐标系中X轴、Y轴上归一化焦距，u₀、v₀为图像的中心像素坐标，k_u、k_v分别为像素坐标系中X轴、Y轴上的尺度因子；

世界坐标系到像素坐标系之间的转换关系表示为：

其中，Z_c为相机坐标系下的Z轴坐标值，R、T表示刚体变换；H为单应性矩阵，包括相机内参矩阵H₁和外参矩阵H₂。

9.根据权利要求8所述的一种不均匀光照条件下的相机标定方法，其特征在于：在所述步骤S4中，先利用角点提取算法得到图像中棋盘格标定板上每一个角点的像素坐标(u,v)，将世界坐标系固定于棋盘格上，则棋盘格上任一点的世界坐标系的Z轴坐标值为0，进而计算得到每一个角点在世界坐标系下的坐标，利用每一个角点的像素坐标、每一个角点在世界坐标系下的坐标来进行相机的标定，获得相机的内外参矩阵、畸变参数。

10.一种不均匀光照条件下的相机标定系统，采用如权利要求1～9任一项所述的方法对相机进行标定，包括：

第一处理模块，用于利用多尺度Retinex算法对输入图像进行处理；

第二处理模块，用于对步骤S1得到的图像进行高斯同态滤波处理；

第三处理模块，用于利用Otsu算法对步骤S2得到的图像进行处理；

标定模块，用于对经过步骤S1～S3处理后的图像采用张正友平面标定法进行相机标定；

所述第一处理模块、第二处理模块、第三处理模块均与所述标定模块连接。

Images