CN111652941A - 基于自适应变异的天牛群优化算法的相机内参校准方法 - Google Patents

Abstract

本发明公开了基于自适应变异的天牛群优化算法的相机内参校准方法，包括：将预制的标定模板置于待标定相机的视场内，采集标定模板图像；提取标定模板图中的特征点，求解单应性矩阵、相机内参数矩阵、相机外参数矩阵、镜头畸变参数；利用自适应变异的天牛群优化算法对相机内参进行校准，所述相机内参包括相机内参数矩阵和镜头畸变参数。本发明设计的自适应变异的天牛群优化算法，算法流程简单，运算量小，收敛速度更快，具有较强的全局寻优能力，能够减少早熟收敛，跳出局部极值，计算结果精度高，特别适合高维复杂优化问题。本发明的相机内参校准方法的精度高、收敛性快，能够实时快速、准确地得到相机内参的最优解。

Description

基于自适应变异的天牛群优化算法的相机内参校准方法

技术领域

本发明涉及机器视觉技术领域，尤其是基于自适应变异的天牛群优化算法的相机内参校准方法。

背景技术

在机器视觉测量中，为确定物体表面上点三维坐标与物体图像像素点之间的关系，必须建立摄相机成像几何模型，求解几何模型参数的过程称为相机标定。相机标定是非常关键的环节，相机标定是进行位姿估计、三维重建、视觉导航与定位等研究的关键技术之一，其标定精度和算法稳定性会直接影响测量结果准确性。

针对相机参数的标定，国内外学者根据不同的应用场景和思路对其进行了广泛研究，获得了一系列的研究成果。例如：利用图像中的极点信息来线性标定相机，如“一种基于主动视觉的摄像机内参数自定标方法，杨长江等，计算机学报，1998年05期”，但基于该方法的系统成本高且不适用于相机运动参数未知或无法精确控制相机运动的场合。另一种不依赖于标定参照物，仅利用相机在自然运动过程中对周围环境多视图之间的对应关系，对相机进行标定，如：“摄像机自标定的线性理论与算法，吴福朝等，计算机学报，2001年24期11卷”，但该方法属于非线性标定，标定结果的精度欠佳，鲁棒性不高。

现有技术的缺陷和不足：

(1)现有相机标定算法流程复杂，后期收敛速度较慢，容易陷入局部最优；

(2)现有相机标定算法的计算量大、模型复杂。

发明内容

为了克服上述现有技术中的缺陷，本发明提供基于自适应变异的天牛群优化算法的相机内参校准方法，自适应变异的天牛群优化算法是指在天牛群优化算法采用多维扰动群体最优位置的变异方法，该算法实现了减少早熟收敛和跳出局部极值的功能，本发明的相机内参校准方法的精度高、收敛性快，能够实时快速、准确地得到相机内参的最优解。

为实现上述目的，本发明采用以下技术方案，包括：

基于自适应变异的天牛群优化算法的相机内参校准方法，包括以下步骤：

S1，将预制的标定模板置于待标定相机的视场内，采集标定模板图像；

S2，提取标定模板图像中的特征点，通过特征点对应在世界坐标系的坐标和在像素坐标系的坐标，求解单应性矩阵、相机内参数矩阵、相机外参数矩阵、镜头畸变参数；

S3，利用天牛群优化算法对相机内参进行校准，所述相机内参包括相机内参数矩阵和镜头畸变参数。

步骤S2中，单应性矩阵H的计算方式为：

设世界坐标系的点坐标为X＝[X_ω,Y_ω,Z_ω,1]^T，二维相机平面像素点的坐标即在像素坐标系中的坐标为m＝[x₀,y₀,1]^T；故标定用的世界坐标系到像素坐标系的单应性关系为：

sm＝K[R,W]X；

其中，s为尺度因子；R＝[r₁,r₂,r₃]为旋转矩阵；W＝[θ]为平移向量；K为相机内参数矩阵；[R,W]为相机外参数矩阵；

[R,W]＝[r₁,r₂,r₃,θ]；

其中，r₁,r₂,r₃均为旋转矩阵R的元素：θ为平移向量；α,β分别为在x方向和y方向上一个像素所占的单位数；u₀为图像中心像素坐标与图像原点像素坐标之间相差的横向像素数；v₀为图像中心像素坐标与图像原点像素坐标之间相差的纵向像素数；γ为坐标轴倾斜参数；

将世界坐标系建立在棋盘格平面上，令棋盘格平面为Z＝0的平面，则可得：

即：

其中，λ为尺度因子的倒数，

H即为单应性矩阵。

步骤S2中，单应性矩阵H是一次齐次矩阵，单应性矩阵H中有9个元素，令h₃₃为1，故单应性矩阵H有8个未知数，需要8个方程进行求解，且每个对应点即每个特征点提供2个方程，故需要4个对应点即可算出世界坐标系到像素坐标系的单应性矩阵H；所述对应点是指一个世界坐标系的点对应一个像素坐标系的像素点。

相机内参数矩阵K的计算方式为：

由单应性矩阵H＝λK[r₁,r₂,θ]，

可知：

矩阵R是一个旋转矩阵，r₁和r₂正交，因此：

代入后可得：

相机内参数矩阵K包含5个未知参数即α,β,γ,u₀,v₀，若要对相机内参数矩阵K进行求解，则需要3个不同的单应性矩阵H；利用3幅不同的棋盘格平面的图片进行标定得到3个不同的单应性矩阵H，通过改变相机与标定模板即棋盘格之间的相对位置得到3幅不同的棋盘格平面；

为了计算方便，定义如下：

可知，矩阵B是一个对称矩阵，故矩阵B的有效元素为6个，将此6个元素定义为向量b，即b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T；

推导得到：

h_i ^TBh_j＝a_ij ^Tb；

a_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T；

其中，a_ij为单应性矩阵H与相机内参数矩阵K相乘所得到的矩阵；h_i和h_j为单应性矩阵H中的向量；h_i1,h_i2,h_i3和h_j1,h_j2,h_j3均为单应性矩阵H中的元素；

利用约束条件可以得到：

由上式可知，通过3幅不同的棋盘格平面的图片即3幅不同的标定模板图像即可计算得到矩阵B，然后通过cholesky分解，即可得到相机内参数矩阵K。

步骤S2中，相机外参数矩阵[R,W]的计算方式为：

r₃＝r₁×r₂；

θ＝λK^-1h₃。

步骤S2中，镜头畸变参数k的计算方式为：

图像坐标系的畸变表示为：

其中，(x,y)为理想状态下无畸变的图像坐标，

为实际状态下畸变后的图像坐标；k₁和k₂分别为第一阶和第二阶的畸变参数；

图像坐标系与像素坐标系之间的对应关系为：

其中，(x₀,y₀)为理想状态下无畸变的像素坐标，

为实际状态下畸变后的像素坐标；u₀,v₀均为相机内参数矩阵K中的元素；u₀为图像中心像素坐标与图像原点像素坐标之间相差的横向像素数；v₀为图像中心像素坐标与图像原点像素坐标之间相差的纵向像素数；α,β,γ也均为相机内参数矩阵K中的元素；α,β分别为在x方向和y方向上一个像素所占的单位数；γ为像素点在x方向和y方向上尺度的偏差；

像素坐标系的畸变表示为：

将像素坐标系的畸变化作矩阵形式后：

将上式矩阵记为：

Dk＝d；

其中，镜头畸变参数k＝[k₁ k₂]＝(D^TD)^-1D^Td。

步骤S3中，所述天牛群优化算法包括以下步骤：

S31，初始化粒子群,设定种群规模、迭代次数、优化维度、算法参数；

S32，计算初始时群体中每个个体即每个粒子的适应值,确定初始群体最优位置；

S33，天牛群优化算法进行迭代更新；

S34，判断是否进行变异，若变异则对群体最优位置多维随机扰动变异,进行边界条件处理；若不变异则直接进入步骤S35；

S35，判断是否满足设定迭代次数或结束条件，若满足结束条件或达到设定迭代次数,则输出全局最优解；否则返回步骤S33，继续进行天牛群优化算法的迭代更新。

步骤S32的具体方式如下所示：

设：J维解空间中的粒子群种群规模为N，每个粒子的坐标位置向量表示为E_i＝(e_i1,e_i2,…e_ij,…e_iJ)；每个粒子的速度向量表示为Q_i＝(q_i1,q_i2,…q_ij,…q_iJ)；群体最优位置表示为P_g＝(p_g1,p_g2,…p_gj,…p_gJ)；每个粒子的最优位置向量表示为P_i＝(p_i1,p_i2,…p_ij,…p_iJ)；

每个粒子的速度和位置的更新方法为：

其中，w为惯性权重；c₁,c₂均为学习因子；rand为0～1之间的随机数；上标即t、t+1表示迭代次数；

为第j维解空间中的第i个粒子在第t+1次迭代后的速度；

为第j维解空间中的第i个粒子在第t次迭代后的速度；

为第j维解空间中的第i个粒子在第t次迭代后的坐标位置；

为第j维解空间中的第i个粒子在第t+1次迭代后的坐标位置；

为第j维解空间在第t次迭代后的群体最优位置；

个体最优位置更新方法为：

其中，f(·)表示待优化函数；P_i ^t+1为第i个粒子在第t+1次迭代后的个体最优位置即更新后的个体最优位置；

为第i个粒子在第t+1次迭代后的坐标位置向量即更新后的第i个粒子的坐标位置向量；P_i ^t为第i个粒子在第t次迭代后的最优位置即更新前的第i个粒子的最优位置。

步骤S33中，天牛群优化算法迭代更新的具体方式如下所示：

J维解空间中的粒子群种群规模为N，每个粒子随机生成标准化方向向量：

其中，rand(1,J)为由0～1之间的随机数所构成的1×J维矩阵；

为第i个粒子在第t次迭代后的标准化方向向量；

计算天牛群左右须长度：

其中，δ为缩放因子；

计算天牛群左右须坐标：

其中，

为第i个粒子在第t次迭代后的坐标位置向量；

为第i个粒子在第t次迭代后的左须坐标位置向量；

第i个粒子在第t次迭代后的右须坐标位置向量；

为第i个粒子在第t次迭代后的质心到须的距离；

天牛群个体即每个粒子的速度和位置更新方法为：

其中，w为惯性权重；c₁,c₂均为学习因子；运算符*表示相同形的两个矩阵对应元素逐个相乘；sign为符号函数；上标即t、t+1表示迭代次数；

为第i个粒子在第t+1次迭代后的速度；

为第i个粒子在第t次迭代后的速度；

为第i个粒子在第t+1次迭代后的坐标位置向量；

天牛群算法中速度更新方法的相关参数即惯性权重w和缩放因子δ的计算方式为：

其中，w_max为惯性权重最大值；w_min为惯性权重最小值；δ_max为缩放因子最大值；δ_min为缩放因子最小值；T为总的迭代次数；t为当前迭代次数。

步骤S34的具体方式如下所示：

粒子种群规模为N，每个粒子的坐标位置向量表示为E_i＝(e_i1,e_i2,…e_im,…e_iM)；σ为种群标准差，将种群标准差σ定义为：

其中，σ₀为归一化因子，取粒子群初始化时未归一化的种群标准差；E_i为第i个粒子的坐标位置向量；E_avg为群体质心，群体质心E_avg的计算方式为：

种群标准差σ集中在区间[0,1]，种群标准差σ越接近0，表示种群越密集；种群标准差σ越接近1，表示种群越分散；

当种群标准差σ接近0时，表示种群已陷入局部最优解，则采用较大的变异概率；当种群标准差σ接近1时，则采用较低的变异概率；

综合种群标准差σ和迭代次数自适应调整变异概率，得到变异概率的计算公式如下所示：

其中，θ为变异概率，w_θσ为变异概率标准差权重，w_θt为变异概率迭代次数权重，z表示变异概率偏移常数；

为提高种群多样性，减小种群聚集程度，引入变异操作，对全局最优个体进行变异，采用对群体最优位置多维随机扰动的方法跳出局部最优解，变异方法如下所示：

随机选取J维解空间中的第j个维度进行随机扰动，第j个维度随机扰动方式为：

其中，

为扰动幅值，randn为服从标准正态分布的随机变量，

为第j维解空间在第t+1次迭代后的群体最优位置；

为第j维解空间在第t次迭代后的群体最优位置。

本发明的优点在于：

(1)本发明的相机内参校准方法平均训练迭代次数最少,迭代次数标准差最小，因此其收敛性快，能够实时快速、准确地得到相机内参的最优解。

(2)本发明设计的自适应变异的天牛群优化算法，一方面，算法结合了BAS算法,将历史信息与粒子当前周围信息结合,丰富了粒子群进化的参照；另一方面，算法引入基于种群聚集度和迭代次数的自适应多维扰动变异方式,提高了对不同群体密度和迭代时期的自适应程度。因此，算法流程简单，运算量小，具有较强的全局寻优能力，能够减少早熟收敛，跳出局部极值，计算结果精度高，特别适合高维复杂优化问题。

附图说明

图1为基于自适应变异的天牛群优化算法的相机内参校准方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由图1所示，本发明的基于自适应变异的天牛群优化算法的相机内参校准方法，包括以下步骤：

S1，将预制的标定模板置于待标定相机的视场内，采集标定模板图像；

S2，提取标定模板图中的特征点，求解单应性矩阵、相机内参数矩阵、相机外参数矩阵、镜头畸变参数；所述特征点一般选择相机标定模板即黑白棋盘格的角点，通过特征点的世界坐标和像素坐标，去解算这个映射关系；

S3，利用天牛群优化算法对相机内参进行校准，所述相机内参包括相机内参数矩阵和镜头畸变参数；天牛群优化算法具体包括以下步骤：

S31，初始化粒子群,设定种群规模、迭代次数、优化维度、算法参数；

S32，计算初始时群体中每个个体即每个粒子的适应值,确定初始群体最优位置；

S33，天牛群优化算法进行迭代更新；

S34，判断是否进行变异，若变异则对群体最优位置多维随机扰动变异,进行边界条件处理；若不变异则直接进入步骤S35；

S35，判断是否满足设定迭代次数或结束条件，若满足结束条件或达到设定迭代次数,则输出全局最优解；否则返回步骤S33，继续进行天牛群优化算法的迭代更新。

步骤S2中，在具体的相机标定过程中，相机内参的建立过程为：

S21，计算单应性矩阵H：

设世界坐标系的点坐标为X＝[X_ω,Y_ω,Z_ω,1]^T，二维相机平面像素点的坐标为m＝[x₀,y₀,1]^T；故标定用的世界坐标系到像素坐标系的单应性关系为：

sm＝K[R,W]X；

其中，s为尺度因子；R＝[r₁,r₂,r₃]为旋转矩阵；W＝[θ]为平移向量；K为相机内参数矩阵；[R,W]为相机外参数矩阵；

[R,W]＝[r₁,r₂,r₃,θ]；

其中，r₁,r₂,r₃均为旋转矩阵R的元素：θ为平移向量；α,β分别为在x方向和y方向上一个像素所占的单位数；u₀为图像中心像素坐标与图像原点像素坐标之间相差的横向像素数；v₀为图像中心像素坐标与图像原点像素坐标之间相差的纵向像素数；γ为坐标轴倾斜参数；

张氏标定法中，将世界坐标系建立在棋盘格平面上，令棋盘格平面为Z＝0的平面，则可得：

即：

其中，λ为尺度因子的倒数，

H即为单应性矩阵；

单应性矩阵H是一次齐次矩阵，单应性矩阵H中有9个元素，一般令h₃₃为1，故单应性矩阵H有8个未知数，至少需要8个方程才能进行求解，每个对应点能提供2个方程，故至少需要4个对应点，即可算出世界坐标系到像素坐标系的单应性矩阵H；所述对应点是指一个世界坐标系的点对应一个像素坐标系的像素点；

S22，计算相机内参数矩阵K：

由步骤S21可知：

矩阵R是一个旋转矩阵，r₁和r₂正交，因此：

代入后可得：

由于相机内参数矩阵K包含5个未知参数，即α,β,γ,u₀,v₀，若要对相机内参数矩阵K进行求解，则至少需要3个不同的单应性矩阵H；为了得到3个不同的单应性矩阵H，至少需要3幅不同的棋盘格平面的图片进行标定；通过改变相机与标定模板即棋盘格之间的相对位置得到3幅不同的棋盘格平面；

为了计算方便，定义如下：

可知，矩阵B是一个对称矩阵，故矩阵B的有效元素为6个，将此6个元素定义为向量b，即b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T；

推导得到：

h_i ^TBh_j＝a_ijTb；

a_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T；

其中，a_ij为单应性矩阵H与相机内参数矩阵K相乘所得到的矩阵；h_i和h_j为单应性矩阵H中的向量；h_i1,h_i2,h_i3和h_j1,h_j2,h_j3均为单应性矩阵H中的元素；

利用约束条件可以得到：

通过上式可知，至少需要3幅不同的棋盘格平面的图片即可计算得到矩阵B，然后通过cholesky分解，即可得到相机内参数矩阵K；

S23，计算相机外参数矩阵[R,W]：

r₃＝r₁×r₂；

θ＝λK^-1h₃；

S24，计算镜头畸变参数k：

图像坐标系的畸变表示为：

其中，(x,y)为理想状态下无畸变的图像坐标，

为实际状态下畸变后的图像坐标；k₁和k₂分别为第一阶和第二阶的畸变参数；

图像坐标系与像素坐标系之间的对应关系为：

其中，(x₀,y₀)为理想状态下无畸变的像素坐标，

为实际状态下畸变后的像素坐标；u₀,v₀均为相机内参数矩阵K中的元素；u₀为图像中心像素坐标与图像原点像素坐标之间相差的横向像素数；v₀为图像中心像素坐标与图像原点像素坐标之间相差的纵向像素数；α,β,γ也均为相机内参数矩阵K中的元素；α,β分别为在x方向和y方向上一个像素所占的单位数；γ为像素点在x方向和y方向上尺度的偏差；

像素坐标系的畸变表示为：

将像素坐标系的畸变化作矩阵形式后：

将上式矩阵记为：

Dk＝d；

其中，镜头畸变参数k＝[k₁ k₂]＝(D^TD)^-1D^Td；

步骤S32中，计算初始时群体中每个个体的适应值，确定初始群体最优位置的具体方式为：

设J维解空间中的粒子群种群规模为N，每个粒子的坐标位置向量表示为E_i＝(e_i1,e_i2,…e_ij,…e_iJ)；每个粒子的速度向量表示为Q_i＝(q_i1,q_i2,…q_ij,…q_iJ)；群体最优位置表示为P_g＝(p_g1,p_g2,…p_gj,…p_gJ)；每个粒子的最优位置向量表示为P_i＝(p_i1,p_i2,…p_ij,…p_iJ)；

每个粒子的速度和位置的更新方法为：

其中，w为惯性权重；c₁,c₂均为学习因子；rand为0～1之间的随机数；上标即t、t+1表示迭代次数；

为第j维解空间中的第i个粒子在第t+1次迭代后的速度；

为第j维解空间中的第i个粒子在第t次迭代后的速度；

为第j维解空间中的第i个粒子在第t次迭代后的坐标位置；

为第j维解空间中的第i个粒子在第t+1次迭代后的坐标位置；

为第j维解空间在第t次迭代后的群体最优位置；

个体最优位置更新方法为：

其中，f(·)表示待优化函数；P_i ^t+1为第i个粒子在第t+1次迭代后的个体最优位置即更新后的个体最优位置；

为第i个粒子在第t+1次迭代后的坐标位置向量即更新后的第i个粒子的坐标位置向量；P_i ^t为第i个粒子在第t次迭代后的最优位置即更新前的第i个粒子的最优位置；

步骤S33中，天牛群优化算法迭代更新的具体方式为：

设J维解空间中的粒子群种群规模为N，每个粒子随机生成标准化方向向量：

其中，rand(1,J)为由0～1之间的随机数所构成的1×J维矩阵；

为第i个粒子在第t次迭代后的标准化方向向量；

计算天牛群左右须长度：

其中，δ为缩放因子；

计算天牛群左右须坐标：

其中，

为第i个粒子在第t次迭代后的坐标位置向量；

为第i个粒子在第t次迭代后的左须坐标位置向量；

第i个粒子在第t次迭代后的右须坐标位置向量；

为第i个粒子在第t次迭代后的质心到须的距离；

天牛群个体即每个粒子的速度和位置更新方法为：

其中，w为惯性权重；c₁,c₂均为学习因子；运算符*表示相同形的两个矩阵对应元素逐个相乘；sign为符号函数；上标即t、t+1表示迭代次数；

为第i个粒子在第t+1次迭代后的速度；

为第i个粒子在第t次迭代后的速度；

为第i个粒子在第t+1次迭代后的坐标位置向量；

天牛群算法中速度更新方法的相关参数即惯性权重w和缩放因子δ的计算方式为：

其中，w_max为惯性权重最大值；w_min为惯性权重最小值；δ_max为缩放因子最大值；δ_min为缩放因子最小值；T为总的迭代次数；t为当前迭代次数；

步骤S34中，判断是否进行变异，若变异则对群体最优位置多维随机扰动变异,进行边界条件处理，具体方式如下所示：

粒子种群规模为N，每个粒子的坐标位置向量表示为E_i＝(e_i1,e_i2,…e_im,…e_iM)；σ为种群标准差，将种群标准差σ定义为：

其中，σ₀为归一化因子，取粒子群初始化时未归一化的种群标准差；E_i为第i个粒子的坐标位置向量；E_avg为群体质心，群体质心E_avg的计算方式为：

种群标准差σ集中在区间[0,1]，种群标准差σ越接近0，表示种群越密集；种群标准差σ越接近1，表示种群越分散；

当种群标准差σ接近0时，表示种群已陷入局部最优解，则应当采用较大的变异概率；反之，当种群标准差σ接近1时，则应当采用较低的变异概率；

综合种群标准差σ和迭代次数自适应调整变异概率，得到变异概率的计算公式如下所示：

其中，θ为变异概率，w_θσ为变异概率标准差权重，w_θt为变异概率迭代次数权重，z表示变异概率偏移常数；

为提高种群多样性，减小种群聚集程度，引入变异操作，对全局最优个体进行变异，采用对群体最优位置多维随机扰动的方法跳出局部最优解，变异方法如下所示：

随机J维解空间中的的j个维度进行随机扰动，其中，第j个维度随机抖动方式为：

其中，

为扰动幅值，randn为服从标准正态分布的随机变量，

为第j维解空间在第t+1次迭代后的群体最优位置；

为第j维解空间在第t次迭代后的群体最优位置；

以上仅为本发明创造的较佳实例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (10)

1.基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，包括以下步骤：

S1，将预制的标定模板置于待标定相机的视场内，采集标定模板图像；

S2，提取标定模板图像中的特征点，通过特征点对应在世界坐标系的坐标和在像素坐标系的坐标，求解单应性矩阵、相机内参数矩阵、相机外参数矩阵、镜头畸变参数；

S3，利用天牛群优化算法对相机内参进行校准，所述相机内参包括相机内参数矩阵和镜头畸变参数。

2.根据权利要求1所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S2中，单应性矩阵H的计算方式为：

设世界坐标系的点坐标为X＝[X_ω,Y_ω,Z_ω,1]^T，二维相机平面像素点的坐标即在像素坐标系中的坐标为m＝[x₀,y₀,1]^T；故标定用的世界坐标系到像素坐标系的单应性关系为：

sm＝K[R,W]X；

其中，s为尺度因子；R＝[r₁,r₂,r₃]为旋转矩阵；W＝[θ]为平移向量；K为相机内参数矩阵；[R,W]为相机外参数矩阵；

[R,W]＝[r₁,r₂,r₃,θ]；

其中，r₁,r₂,r₃均为旋转矩阵R的元素：θ为平移向量；α,β分别为在x方向和y方向上一个像素所占的单位数；u₀为图像中心像素坐标与图像原点像素坐标之间相差的横向像素数；v₀为图像中心像素坐标与图像原点像素坐标之间相差的纵向像素数；γ为坐标轴倾斜参数；

将世界坐标系建立在棋盘格平面上，令棋盘格平面为Z＝0的平面，则可得：

即：

其中，λ为尺度因子的倒数，

H即为单应性矩阵。

3.根据权利要求2所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S2中，单应性矩阵H是一次齐次矩阵，单应性矩阵H中有9个元素，令h₃₃为1，故单应性矩阵H有8个未知数，需要8个方程进行求解，且每个对应点即每个特征点提供2个方程，故需要4个对应点即可算出世界坐标系到像素坐标系的单应性矩阵H；所述对应点是指一个世界坐标系的点对应一个像素坐标系的像素点。

4.根据权利要求2所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，相机内参数矩阵K的计算方式为：

由单应性矩阵H＝λK[r₁,r₂,θ]，

可知：

矩阵R是一个旋转矩阵，r₁和r₂正交，因此：

代入后可得：

相机内参数矩阵K包含5个未知参数即α,β,γ,u₀,v₀，若要对相机内参数矩阵K进行求解，则需要3个不同的单应性矩阵H；利用3幅不同的棋盘格平面的图片进行标定得到3个不同的单应性矩阵H，通过改变相机与标定模板即棋盘格之间的相对位置得到3幅不同的棋盘格平面；

为了计算方便，定义如下：

可知，矩阵B是一个对称矩阵，故矩阵B的有效元素为6个，将此6个元素定义为向量b，即b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₃ B₃₃]^T；

推导得到：

h_i ^TBh_j＝a_ij ^Tb；

a_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]^T；

其中，a_ij为单应性矩阵H与相机内参数矩阵K相乘所得到的矩阵；h_i和h_j为单应性矩阵H中的向量；h_i1,h_i2,h_i3和h_j1,h_j2,h_j3均为单应性矩阵H中的元素；

利用约束条件可以得到：

由上式可知，通过3幅不同的棋盘格平面的图片即3幅不同的标定模板图像即可计算得到矩阵B，然后通过cholesky分解，即可得到相机内参数矩阵K。

5.根据权利要求4所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S2中，相机外参数矩阵[R,W]的计算方式为：

r₃＝r₁×r₂；

θ＝λK^-1h₃。

6.根据权利要求4所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S2中，镜头畸变参数k的计算方式为：

图像坐标系的畸变表示为：

其中，(x,y)为理想状态下无畸变的图像坐标，

为实际状态下畸变后的图像坐标；k₁和k₂分别为第一阶和第二阶的畸变参数；

图像坐标系与像素坐标系之间的对应关系为：

其中，(x₀,y₀)为理想状态下无畸变的像素坐标，

为实际状态下畸变后的像素坐标；u₀,v₀均为相机内参数矩阵K中的元素；u₀为图像中心像素坐标与图像原点像素坐标之间相差的横向像素数；v₀为图像中心像素坐标与图像原点像素坐标之间相差的纵向像素数；α,β,γ也均为相机内参数矩阵K中的元素；α,β分别为在x方向和y方向上一个像素所占的单位数；γ为像素点在x方向和y方向上尺度的偏差；

像素坐标系的畸变表示为：

将像素坐标系的畸变化作矩阵形式后：

将上式矩阵记为：

Dk＝d；

其中，镜头畸变参数k＝[k₁ k₂]＝(D^TD)^-1D^Td。

7.根据权利要求1所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S3中，所述天牛群优化算法包括以下步骤：

S31，初始化粒子群,设定种群规模、迭代次数、优化维度、算法参数；

S32，计算初始时群体中每个个体即每个粒子的适应值,确定初始群体最优位置；

S33，天牛群优化算法进行迭代更新；

S34，判断是否进行变异，若变异则对群体最优位置多维随机扰动变异,进行边界条件处理；若不变异则直接进入步骤S35；

S35，判断是否满足设定迭代次数或结束条件，若满足结束条件或达到设定迭代次数,则输出全局最优解；否则返回步骤S33，继续进行天牛群优化算法的迭代更新。

8.根据权利要求7所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S32的具体方式如下所示：

设：J维解空间中的粒子群种群规模为N，每个粒子的坐标位置向量表示为E_i＝(e_i1,e_i2,…e_ij,…e_iJ)；每个粒子的速度向量表示为Q_i＝(q_i1,q_i2,…q_ij,…q_iJ)；群体最优位置表示为P_g＝(p_g1,p_g2,…p_gj,…p_gJ)；每个粒子的最优位置向量表示为P_i＝(p_i1,p_i2,…p_ij,…p_iJ)；

每个粒子的速度和位置的更新方法为：

其中，w为惯性权重；c₁,c₂均为学习因子；rand为0～1之间的随机数；上标即t、t+1表示迭代次数；

为第j维解空间中的第i个粒子在第t+1次迭代后的速度；

为第j维解空间中的第i个粒子在第t次迭代后的速度；

为第j维解空间中的第i个粒子在第t次迭代后的坐标位置；

为第j维解空间中的第i个粒子在第t+1次迭代后的坐标位置；

为第j维解空间在第t次迭代后的群体最优位置；

个体最优位置更新方法为：

其中，f(·)表示待优化函数；P_i ^t+1为第i个粒子在第t+1次迭代后的个体最优位置即更新后的个体最优位置；

为第i个粒子在第t+1次迭代后的坐标位置向量即更新后的第i个粒子的坐标位置向量；P_i ^t为第i个粒子在第t次迭代后的最优位置即更新前的第i个粒子的最优位置。

9.根据权利要求8所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S33中，天牛群优化算法迭代更新的具体方式如下所示：

J维解空间中的粒子群种群规模为N，每个粒子随机生成标准化方向向量：

其中，rand(1,J)为由0～1之间的随机数所构成的1×J维矩阵；m_it为第i个粒子在第t次迭代后的标准化方向向量；

计算天牛群左右须长度：

其中，δ为缩放因子；

计算天牛群左右须坐标：

其中，

为第i个粒子在第t次迭代后的坐标位置向量；

为第i个粒子在第t次迭代后的左须坐标位置向量；

第i个粒子在第t次迭代后的右须坐标位置向量；

为第i个粒子在第t次迭代后的质心到须的距离；

天牛群个体即每个粒子的速度和位置更新方法为：

其中，w为惯性权重；c₁,c₂均为学习因子；运算符*表示相同形的两个矩阵对应元素逐个相乘；sign为符号函数；上标即t、t+1表示迭代次数；

为第i个粒子在第t+1次迭代后的速度；

为第i个粒子在第t次迭代后的速度；

为第i个粒子在第t+1次迭代后的坐标位置向量；

天牛群算法中速度更新方法的相关参数即惯性权重w和缩放因子δ的计算方式为：

其中，w_max为惯性权重最大值；w_min为惯性权重最小值；δ_max为缩放因子最大值；δ_min为缩放因子最小值；T为总的迭代次数；t为当前迭代次数。

10.根据权利要求9所述的基于自适应变异的天牛群优化算法的相机内参校准方法，其特征在于，步骤S34的具体方式如下所示：

粒子种群规模为N，每个粒子的坐标位置向量表示为E_i＝(e_i1,e_i2,…e_im,…e_iM)；σ为种群标准差，将种群标准差σ定义为：

其中，σ₀为归一化因子，取粒子群初始化时未归一化的种群标准差；E_i为第i个粒子的坐标位置向量；E_avg为群体质心，群体质心E_avg的计算方式为：

种群标准差σ集中在区间[0,1]，种群标准差σ越接近0，表示种群越密集；种群标准差σ越接近1，表示种群越分散；

当种群标准差σ接近0时，表示种群已陷入局部最优解，则采用较大的变异概率；当种群标准差σ接近1时，则采用较低的变异概率；

综合种群标准差σ和迭代次数自适应调整变异概率，得到变异概率的计算公式如下所示：

其中，θ为变异概率，w_θσ为变异概率标准差权重，w_θt为变异概率迭代次数权重，z表示变异概率偏移常数；

为提高种群多样性，减小种群聚集程度，引入变异操作，对全局最优个体进行变异，采用对群体最优位置多维随机扰动的方法跳出局部最优解，变异方法如下所示：

随机选取J维解空间中的第j个维度进行随机扰动，第j个维度随机扰动方式为：

其中，

为扰动幅值，randn为服从标准正态分布的随机变量，

为第j维解空间在第t+1次迭代后的群体最优位置；

为第j维解空间在第t次迭代后的群体最优位置。

Images