CN112037285A - 基于Levy飞行和变异机制灰狼优化的摄像机标定方法 - Google Patents

Abstract

本发明涉及一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，包括如下步骤：S1：建立非线性摄像机模型，确认标定参数；S2：设定灰狼种群数量和最大迭代次数；S3：获取相机的标定参数上限和标定参数下限，并生成灰狼位置；S4：建立目标函数，获取反投影误差和α狼、β狼和γ狼的位置；S5：利用基于Levy飞行和变异机制的灰狼优化算法生成灰狼中间体；S6：更新灰狼位置，判断是否继续迭代；S7：根据目标函数获取反投影误差，反投影误差最小的灰狼位置为最优化标定参数。与现有技术相比，本发明该算法可以与实际工程案例结合，能准确、有效地用于多维非线性问题优化求解，有效提高标定的精确度，具有良好的稳定性和准确性。

Description

基于Levy飞行和变异机制灰狼优化的摄像机标定方法

技术领域

本发明涉及摄像机标定方法领域，尤其是涉及一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法。

背景技术

计算机标定是计算机视觉中基础而重要的一步，标定结果的好坏也会影响后续计算的精度。因此，提高标定的精度是非常有必要的。目前，被我们广泛应用并接受的标定方法有两种：传统校准方法法和自校准方法。在2000年，一种里程碑式的方法由张正友提出，基于二维的棋盘格进行标定。该方法在两步标定法的基础上改进标定物，用最大似然法求解各个参数。由于借助的外物成本低廉，易操作，标定精度较高等优点，这种方法被广泛使用。但传统的标定方法算法精度仍有局限性。

中国专利CN102376093A公开了一种摄像机标定方法，包括如下步骤：S1：对拍摄图像校准获得图像各顶点的第一二维坐标；S2：设置差分进化参数并初始化种群；S3：更新当前种群个体得到新种群；S4：根据第一二维坐标计算新种群个体的适应度；S5：根据适应度计算新种群的当前代最优位置；S6：如果当前代最优位置与上一代最优位置的差值小于阈值，则最优位置未更新次数num加1；S7：如果num达到最大值，在随机分布的个体空间中对个体编号为1至m/5的个体重新随机选取；S8：如果差分进化代数未达到最大进化代数，则重复执行步骤S3至S7，否则将达到最大进化代数的当前代最优位置对应的摄像机参数作为摄像机标定结果。

在实际应用中，当前使用最广泛的相机标定方法主要包括直接线性变换(DLT)解法，基于径向校正约束(RAC)的两步标定法以及张正友平面标定法等。DLT算法中使用的透视变换模型被简化为线性模型，所求解的参数矩阵方程都是基于线性模型，但是相机在实际成像时，受制于制造工艺等因素的影响，拍摄的图片都会都在一定程度的非线性畸变，所以这种方法求解出的相机参数在精度上存在很大的局限性。基于RAC的两步标定法利用相机成像模型中的一部分内在性质和关系先求解出一些参数，然后利用这些已求出的参数增加相机非线性畸变等因素对模型进行优化，进一步求解出较为精确地标定结果。但这种方法在实际使用中需要一个精确的标定物，存在对初始值敏感、收敛性差和容易陷入局部最优解等缺点。张正友平面标定法在RAC两步标定法的基础上，对标定物进行改进，其仅需要一个打印的棋盘格就可以求解标定结果，克服了RAC两步标定算法需要高精度标定物的缺点，但其对传统标定算法的精度并没有很大提高，也仍然存在与RAC算法相同的一些不足之处。MATLAB的calibrationtoolbox就是基于张正友方法进行，标定的精度还有局限性，有一定的提高空间。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法。

本发明的目的可以通过以下技术方案来实现：

一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，该方法包括如下步骤：

S1：获取摄像机的标定板图像，建立非线性摄像机模型，确认相机的标定参数X；

S2：设定灰狼种群数量I和最大迭代次数k_max；

S3：获取相机的标定参数上限X_max和标定参数下限X_min，并根据标定参数上限和标定参数下限生成I个标定参数X_i(k)作为灰狼位置，其中0≤i<I，k为迭代次数；

S4：建立目标函数，根据目标函数获取各灰狼位置的反投影误差，记反投影误差最小、第二小、第三小的三只灰狼为α狼、β狼和γ狼；

S5：根据α狼的灰狼位置利用基于Levy飞行和变异机制的灰狼优化算法生成灰狼中间体；

S6：根据灰狼中间体更新灰狼位置，判断迭代次数k是否到达最大迭代次数k_max，若是进入步骤S7，否则返回步骤S4；

S7：根据目标函数获取灰狼位置的反投影误差，其中反投影误差最小的灰狼位置为摄像机的最优化标定参数。

优选地，所述的S5中所述的基于Levy飞行和变异机制的灰狼优化算法为：

其中，G_i(k+1)为第i个灰狼中间体，X_α(k)为α狼的灰狼位置，X_r1(k)为第r1个灰狼的灰狼位置、X_r2(k)第r2个灰狼的灰狼位置，r1、r2为在灰狼种群中随机选取的两个灰狼位置，并且，i≠r1≠r2，F是缩放因数，ε为步长控制量，公式中

表示矩阵的内积运算，Levy(β)服从Levy概率分布，

为系数向量。

优选地，所述的Levy(β)为：

其中，μ、ν、β为Levy飞行参数，参数β的范围为0＜β≤2，μ、ν为正态分布随机数。

优选地，所述的Levy飞行参数μ服从正态分布：

其中Γ表示伽马函数。

优选地，所述的Levy飞行参数ν服从正态分布ν～N(0,1)。

优选地，所述的系数向量

为：

其中，c为收敛系数，c的取值范围为(0,2)，

是(0,1)范围内的随机数。

优选地，所述的S3中生成标定参数X_i(k)的公式为：

X_i(k)＝X_min+a*(X_max-X_min)

其中，a是(0,1)范围内的随机数。

优选地，所述的目标函数为：

其中，δ为反投影误差，N为标定板图像上的角点数，j为角点序号，p_j为角点j的实际像素坐标，p_j'为角点j的反投影坐标，R为旋转矩阵，T为平移向量。

优选地，所述的S6中更新灰狼位置的更新公式为：

其中，X_i(k+1)为更新后的灰狼位置，δ(X_i(k))为更新前灰狼位置的反投影误差，δ(G_i(k+1))为灰狼中间体的反投影误差。

优选地，所述的标定参数X＝(f_x,f_y,u₀,v₀,k₁,k₂,p₁,p₂,k₃)，其中，f_x、f_y为焦距参数，u₀、v₀为图像中心参数，k₁、k₂、p₁、p₂、k₃为畸变参数。

与现有技术相比，本发明本方法建立的非线性模型包含九个参数，在该非线性模型基础上，基于Levy飞行和变异机制的灰狼优化算法，在求解过程中，首先建立非线性摄像机模型，通过张正友方法获得标定的标定参数上、下限，初始迭代时在上下限范围内随机生成灰狼位置，以目标函数最小为目的进行迭代计算。该算法可以与实际工程案例结合，能准确、有效地用于多维非线性问题优化求解，有效提高标定的精确度，具有良好的稳定性和准确性。

本发明采用基于Levy飞行和变异机制的灰狼优化算法，Levy飞行产生高频率的短步长和间歇性的长步长，该特点能抑制灰狼算法容易陷入局部极值的缺点，同时不会削弱全局优化的能力，采用变异机制能够保持个体的多样性和跳出局部最优区域，提高本发明的摄像机标定准确性。

附图说明

图1为本发明的流程图；

图2为本发明非线性摄像机模型的坐标示意图；

图3为本发明自制数据集的重投影平均误差的对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，如图1所示，方法包括如下步骤：

S1：获取摄像机的标定板图像，建立非线性摄像机模型，确认相机的标定参数X。

本发明的所述的标定板图像为而为棋盘格图像，图像上有多个角点。

非线性摄像机模型，其主要反映了相机把真实3D世界拍摄成图片的过程，如果不考虑畸变因素，其可简单看作是小孔成像模型，所述的非线性摄像机模型涉及如图2所示的坐标系：

1)世界坐标系(X_W,Y_W,Z_W)：或者可以称作测量坐标系，是一个正交的三维3D直角坐标系，以现实中存在的某一物体为标准建立。

2)相机坐标系(X_C,Y_C,Z_C)：同样是一个3D直角正交坐标系，原点在镜头光心，镜头光轴即是Z轴。

上面两者之间的变换涉及刚体变换概念，从平移与旋转两个方面来确定转换关系。假设现实中三维空间中有一点A，其在世界坐标系中坐标为(X_WA,Y_WA,Z_WA),那通过可以得到点A在相机坐标系中的坐标(X_CA,Y_CA,Z_CA)：

式中：R和T分别表示是旋转矩阵和平移向量。

3)图像坐标系(x,y)：建立在成像平面上的一个2D直角坐标系，和上一个坐标系之间的转换被叫做透视变换，用几何中的相似三角形知识求解，求解公式如下：

4)像素坐标系(u,v)：和图像坐标系建立在同一平面上，但区别在两者的原点位置不一样。

之间的变换关系，我们可以利用如下公式进行描述：

式中，(u₀,v₀)是两坐标轴交点即原点O的坐标，d_x与d_y表示两坐标轴上单位像素的物理大小。

2)、3)、4)中的公式联立得：

式中，K和H分别是标定参数矩阵和外参矩阵，f_x、f_y为焦距参数。

但在实际应用场景下，要考虑非线性畸变。在径向和切向都会存在畸变，误差计算公式即：

式中，k₁,k₂,p₁,p₂,k₃五个变量就是在两个方向上与畸变修正系数。

综上本发明选取标定参数X＝(f_x,f_y,u₀,v₀,k₁,k₂,p₁,p₂,k₃)，其中，f_x、f_y为焦距参数，u₀、v₀为图像中心参数，k₁、k₂、p₁、p₂、k₃为畸变参数。

S2：设定灰狼种群数量I和最大迭代次数k_max.

S3：获取相机的标定参数上限X_max和标定参数下限X_min，并根据标定参数上限和标定参数下限生成I个标定参数X_i(k)作为灰狼位置，其中0≤i<I，k为迭代次数。

本发明中，根据张正友方法得到的参数为基础，确定迭代上下界。为了避免寻优范围太大造成收敛慢，将得到的标定参数数(f_x,f_y,u₀,v₀)+80，畸变系数(k₁,k₂,p₁,p₂,k₃)+10作为标定参数上限X_max,将得到的标定参数数(f_x,f_y,u₀,v₀)-80，畸变系数(k₁,k₂,p₁,p₂,k₃)-10作为标定参数下限X_min。

然后生成标定参数X_i(k)：

X_i(k)＝X_min+a*(X_max-X_min)

其中，a是(0,1)范围内的随机数。

S4：建立目标函数，根据目标函数获取各灰狼位置的反投影误差，记反投影误差最小、第二小、第三小的三只灰狼为α狼、β狼和γ狼。

目标函数为：

其中，δ为反投影误差，N为标定板图像上的角点数，j为角点序号，p_j为角点j的实际像素坐标，p_j'为角点j的反投影坐标，R为旋转矩阵，T为平移向量。

S5：根据α狼的灰狼位置利用基于Levy飞行和变异机制的灰狼优化算法生成灰狼中间体。

在灰狼优化算法中，根据

的大小可以判断灰狼的状态：

时，远离猎物进行全局搜索；

时，靠近猎物进行局部搜索，为了均衡局部与全局寻优能力，加入Levy飞行，Levy飞行是一种非高斯随机过程,主要用于模拟自然界中动物觅食的一个随机游走过程,是以发生长程跳跃为特点的一类具有马尔可夫性质的随机过程,其步长满足一个重尾的稳定分布，基于Levy飞行和变异机制的灰狼优化算法为：

其中，G_i(k+1)为第i个灰狼中间体，X_α(k)为α狼的灰狼位置，X_r1(k)为第r1个灰狼的灰狼位置、X_r2(k)第r2个灰狼的灰狼位置，r1、r2为在灰狼种群中随机选取的两个灰狼位置，并且，i≠r1≠r2，F是缩放因数，ε为步长控制量，公式中

表示矩阵的内积运算，Levy(β)服从Levy概率分布，

为系数向量。

本实施例中，缩放因数F取0.5。

Levy(β)为：

其中，μ、ν、β为Levy飞行参数，参数β的范围为0＜β≤2，μ、ν为正态分布随机数。

本实施例中，β取1.5。

Levy飞行参数μ服从正态分布：

其中Γ表示伽马函数。

Levy飞行参数ν服从正态分布ν～N(0,1)。

系数向量

为：

其中，c为收敛系数，c的取值范围为(0,2)，

是(0,1)范围内的随机数。

S6：根据灰狼中间体更新灰狼位置，判断迭代次数k是否到达最大迭代次数k_max，若是进入步骤S7，否则返回步骤S4；

更新灰狼位置的更新公式为：

其中，X_i(k+1)为更新后的灰狼位置，δ(X_i(k))为更新前灰狼位置的反投影误差，δ(G_i(k+1))为灰狼中间体的反投影误差。

S7：根据目标函数获取各灰狼位置的反投影误差，其中反投影误差最小的灰狼位置为摄像机的最优化标定参数。

本实施例中，采用公用数据集对本发明进行验证，摄像机的标定板图像规格为13x14，格子大小为30mmx30mm，每一张图片有182个角点，设置灰狼算法中灰狼数量是40，迭代次数为400次，得到验证结果见表1。

表1公用数据集验证结果

本文提出方法的平均误差值是0.102像素，在一定程度上提高了标定准确性。

本实施例中，在自制数据集验证本发明，用来自德国AVT生产的AVT Manta G-201B照相机拍摄激光打印的二维棋盘格采集新一组照片，棋盘格的规格是11x8，格子大小为15mmx15mm。一张照片能采集到88个角点，共采集15张照片。设置灰狼算法中灰狼数量是40，迭代次数为400次，得到验证结果见表2。

表2自制数据集验证结果

本发明的校准误差值为0.026像素，优于张正友方法的0.105像素值，小于灰狼算法的0.075像素值和粒子群算法的0.058像素值。图3为验证过程的重投影平均误差的对比图，其中，PSO为粒子群算法，GWO为灰狼算法，ZHANG为张氏标定法，HGWO为本发明，可看出，计算220次左右，目标函数值处于稳定状态。在100次迭代内算法收敛速度很快，100次到200次处于在局部区域寻找极值。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，该方法包括如下步骤：

S1：获取摄像机的标定板图像，建立非线性摄像机模型，确认相机的标定参数X；

S2：设定灰狼种群数量I和最大迭代次数k_max；

S3：获取相机的标定参数上限X_max和标定参数下限X_min，并根据标定参数上限和标定参数下限生成I个标定参数X_i(k)作为灰狼位置，其中0≤i<I，k为迭代次数；

S4：建立目标函数，根据目标函数获取各灰狼位置的反投影误差，记反投影误差最小、第二小、第三小的三只灰狼为α狼、β狼和γ狼；

S5：根据α狼的灰狼位置利用基于Levy飞行和变异机制的灰狼优化算法生成灰狼中间体；

S6：根据灰狼中间体更新灰狼位置，判断迭代次数k是否到达最大迭代次数k_max，若是进入步骤S7，否则返回步骤S4；

S7：根据目标函数获取各灰狼位置的反投影误差，其中反投影误差最小的灰狼位置为摄像机的最优化标定参数。

2.根据权利要求1所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的S5中所述的基于Levy飞行和变异机制的灰狼优化算法为：

其中，G_i(k+1)为第i个灰狼中间体，X_α(k)为α狼的灰狼位置，X_r1(k)为第r1个灰狼的灰狼位置、X_r2(k)第r2个灰狼的灰狼位置，r1、r2为在灰狼种群中随机选取的两个灰狼位置，并且，i≠r1≠r2，F是缩放因数，ε为步长控制量，公式中

表示矩阵的内积运算，Levy(β)服从Levy概率分布，

为系数向量。

3.根据权利要求2所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的Levy(β)为：

其中，μ、ν、β为Levy飞行参数，参数β的范围为0＜β≤2，μ、ν为正态分布随机数。

4.根据权利要求3所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的Levy飞行参数μ服从正态分布：

其中Γ表示伽马函数。

5.根据权利要求3所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的Levy飞行参数ν服从正态分布ν～N(0,1)。

6.根据权利要求2所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的系数向量

为：

其中，c为收敛系数，c的取值范围为(0,2)，

是(0,1)范围内的随机数。

7.根据权利要求1所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的S3中生成标定参数X_i(k)的公式为：

X_i(k)＝X_min+a*(X_max-X_min)

其中，a是(0,1)范围内的随机数。

8.根据权利要求1所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的目标函数为：

其中，δ为反投影误差，N为标定板图像上的角点数，j为角点序号，p_j为角点j的实际像素坐标，p_j'为角点j的反投影坐标，R为旋转矩阵，T为平移向量。

9.根据权利要求1所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的S6中更新灰狼位置的更新公式为：

其中，X_i(k+1)为更新后的灰狼位置，δ(X_i(k))为更新前灰狼位置的反投影误差，δ(G_i(k+1))为灰狼中间体的反投影误差。

10.根据权利要求1所述的一种基于Levy飞行和变异机制灰狼优化的摄像机标定方法，其特征在于，所述的标定参数X＝(f_x,f_y,u₀,v₀,k₁,k₂,p₁,p₂,k₃)，其中，f_x、f_y为焦距参数，u₀、v₀为图像中心参数，k₁、k₂、p₁、p₂、k₃为畸变参数。

Images