CN112465918A - 一种基于Tsai标定的显微视觉标定方法 - Google Patents

Abstract

一种基于Tsai标定的显微视觉标定方法，先使用Tsai两步标定法中的径向排列约束条件进行相机外参数的求解；再通过引入物像平面距离，镜头放大倍数，获得内参数计算模型，通过内参数计算模型，计算得到相机内参数的初始值；最后采用正投影误差作为损失函数，正投影误差即将实际的图像像素坐标经相机成像模型转化为世界坐标，并与设定世界坐标比较所得的误差，采用量子粒子群优化算法对相机外参数和相机内参数的初始值进行非线性优化，最终获得高精度的相机内外参数；本发明能够完成显微相机的标定，并且大大简化了相机内参数的求解。

Description

一种基于Tsai标定的显微视觉标定方法

技术领域

本发明涉及相机标定技术领域，特别是一种基于Tsai标定的显微视觉标定方法。

背景技术

相机标定是图像测量过程中非常关键的环节，其标定精度以及算法的稳定性将直接影响着图像测量结果的准确性。所谓相机标定，也就是建立图像坐标与世界坐标之间的联系，这一过程涉及相机的内、外参数以及镜头畸变系数的求解。目前最为普遍使用的相机标定方法主要有张正友标定法和Tsai两步标定法。

张正友标定法需要从至少三个不同的角度拍摄标定板才可以完成相机的标定，而为了获得较高的相机标定精度，一般需要采集十几张左右的图片。显微相机具有景深小的特点，从不同的角度拍摄标定板会出现标定板图像部分清晰部分模糊的问题，所以传统的张正友标定法难以实现显微相机的标定。Tsai两步标定法是采用径向排列约束条件进行相机的标定，可以通过一张图片完成相机的标定，但是需要相机成像平面与标定板平面有一定的角度，这也难以满足显微相机标定的要求。

显微相机的标定需要相机成像平面与标定板平面之间的夹角较小，而张正友标定法与Tsai两步标定法都难以满足这样的要求。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于Tsai标定的显微视觉标定方法，能够完成显微相机的标定，并且大大简化了相机内参数的求解。

为实现上述目的，本发明提供了如下技术方案：

一种基于Tsai标定的显微视觉标定方法，包括以下步骤：

步骤S1：使用Tsai两步标定法中的径向排列约束条件进行相机外参数的求解；

步骤S2：通过引入物像平面距离Δ_物像，镜头放大倍数mag，获得内参数计算模型如下：

其中T_op表示镜头与成像平面间的距离减去后焦距的剩余距离；f表示镜头前焦距，其初始值设定为厂家数据；物像平面距离Δ_物像与放大倍数mag初始值同样设定为厂家数据；通过内参数计算模型，计算得到相机内参数T_op的初始值；

步骤S3：采用正投影误差作为损失函数，正投影误差即将实际的图像像素坐标经相机成像模型转化为世界坐标，并与设定世界坐标比较所得的误差；之后采用量子粒子群优化算法对相机内外参数初始值进行非线性优化，最终获得高精度的相机内外参数。

所述的步骤S1具体为；

S101：Tsai两步标定法中径向排列约束条件表示为如下形式：

其中(X_d,Y_d)表示实际的图像物理坐标系坐标，(x,y)表示相机坐标系坐标，(X_w,Y_w,Z_w)表示世界坐标系坐标，r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃是相机外参数中旋转矩阵

中的元素，T_x,T_y是相机外参数中平移矩阵

中的元素；将世界坐标系建立于标定板平面上，此时Z_w＝0，故径向排列约束条件转化为如下形式：

通过5个特征点对求得上述5个未知参数

S102：参数

通过如下公式计算：

其中

S103：参数T_y的符号通过试验确定，即首先设定T_y符号为正，由步骤S101中得到的参数值计算参数r₁₁,r₁₂,r₂₁,r₂₂,T_x的值，然后提取标定板中的特征点，计算特征点对应的相机坐标系坐标(x,y)，其中Z_w＝0；

x＝r₁₁X_w+r₁₂Y_w+r₁₃Z_w+T_x

y＝r₂₁X_w+r₂₂Y_w+r₂₃Z_w+T_y

若相机坐标系坐标(x,y)与实际的图像物理坐标系坐标(X_d,Y_d)的对应坐标值始终具有一致的符号，则表示T_y的符号为正，否则T_y的符号为负，并重新求解参数r₁₁,r₁₂,r₂₁,r₂₂,T_x的值；

S104：由于旋转矩阵R为单位正定矩阵，故旋转矩阵R剩余参数通过上述步骤S103中得到的r₁₁,r₁₂,r₂₁,r₂₂进行求解，如下所示：

其中s＝-sgn(r₁₁r₂₁+r₁₂r₂₂)，sgn是取符号运算符。

所述的步骤S3具体为：

S301：采用正投影误差作为损失函数，即取所有特征点中设定的世界坐标与通过相机成像模型计算得到的世界坐标的距离的最大值作为损失函数值，如下所示：

error＝max{‖P_w,i-P′_w,i(Top,f,k1,α,β,γ,Tx,Ty)‖}(i表示不同的坐标点)

其中P_w,i表示设定的世界坐标，P′_w,i(Top,f,k1,α,β,γ,Tx,Ty)表示通过相机成像模型计算得到的世界坐标，其计算过程分为三个步骤，即由实际的图像像素坐标转化为理想的图像物理坐标，如下：

其中(X_u,Y_u)表示理想的图像物理坐标；(u_d,v_d)表示实际的图像像素坐标；(u₀,v₀)表示相机光心坐标，初始值设定为厂家数据；dx,dy表示单个像素物理尺寸，初始值设定为厂家数据；k1表示相机镜头畸变系数，初始值设定为零；

再由理想的图像物理坐标转化为相机坐标系坐标，如下：

再由相机坐标系坐标转化为世界坐标，其中Z_w＝0，如下：

x＝r₁₁X_w+r₁₂Y_w+r₁₃Z_w+T_x

y＝r₂₁X_w+r₂₂Y_w+r₂₃Z_w+T_y

S302：将相机外参数中的旋转矩阵R转化为欧拉角α,β，γ，并利用相机内外参数初始值构成初始粒子，如下所示：

然后设定各参数的搜索范围和粒子数，并通过均匀分布的方式生成粒子群；

S303：设定最大迭代次数n，精度要求以及收缩扩张因子λ，并通过如下公式更新粒子位置：

其中u_i,j(t)＝U(0,1)

其中X_i,j(t+1)表示第i个粒子第j维参数的新位置，X_i,j(t)表示第i个粒子第j维参数的旧位置，mBest_j表示第j维参数的平均最优位置，p_i,j表示第i个粒子第j维参数的吸引子，计算公式如下：

其中

其中pBest_i,j表示第i个粒子第j维参数的个体最优位置，gBest_j表示第j维参数的全局最优位置；当达到最大迭代次数n或者满足精度要求时将停止迭代，并输出优化后的相机内外参数值。

与现有技术相比，本发明的有益效果：本发明改进了Tsai标定法中内参数计算模型，可以实现单视图显微相机的标定，从而较好的解决了显微相机标定景深小带来的标定问题；并通过量子粒子群算法对标定参数进行了优化，算法稳定，并可以获得高精度的相机内外参数，为高精度的图像测量奠定了较好的基础。

附图说明

图1为本发明方法的流程图。

图2为本发明相机成像模型示意图。

图3为本发明相机标定内参数计算模型示意图。

图4为本发明量子粒子群优化算法流程图。

具体实施方式

下面结合附图和实施例对本发明做详细说明，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参见图1，一种基于Tsai标定的显微视觉标定方法，包括以下步骤：

步骤S1：使用Tsai两步标定法中的径向排列约束条件进行相机外参数的求解；如图2所示，图中世界坐标点P(X_w,Y_w,Z_w)通过相机平面中心点O投影为图像平面点Pu，由于镜头畸变的存在，导致实际投影点为Pd；其中f表示镜头前焦距，f₂表示镜头后焦距，T_op表示相机平面与图像平面之间的距离减去后焦距f₂的剩余距离；

所述的步骤S1具体为；

S101：Tsai两步标定法中径向排列约束条件表示为如下形式：

其中(X_d,Y_d)表示实际的图像物理坐标系坐标，(x,y)表示相机坐标系坐标，(X_w,Y_w,Z_w)表示世界坐标系坐标，r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃是相机外参数中旋转矩阵

中的元素，T_x,T_y是相机外参数中平移矩阵

中的元素；一般情况下将世界坐标系建立于标定板平面上，此时Z_w＝0，故径向排列约束条件可以转化为如下形式：

通过5个特征点对即可求得上述5个未知参数

S102：已知上述步骤S101中求解的5个参数

参数

可通过如下公式计算：

其中

S103：参数T_y的符号可以通过试验确定，即首先设定T_y符号为正，由步骤S101中得到的参数值可计算得到参数r₁₁,r₁₂,r₂₁,r₂₂,T_x的值，然后提取标定板中的特征点，计算特征点对应的相机坐标系坐标(x,y)，其中Z_w＝0；

x＝r₁₁X_w+r₁₂Y_w+r₁₃Z_w+T_x

y＝r₂₁X_w+r₂₂Y_w+r₂₃Z_w+T_y

若相机坐标系坐标(x,y)与实际的图像物理坐标系坐标(X_d,Y_d)的对应坐标值始终具有一致的符号，则表示T_y的符号为正，否则T_y的符号为负，并重新计算参数r₁₁,r₁₂,r₂₁,r₂₂,T_x的值；

S104：由于旋转矩阵R为单位正定矩阵，故旋转矩阵R剩余参数可以通过上述步骤S103中得到的r₁₁,r₁₂,r₂₁,r₂₂进行求解，如下所示：

其中s＝-sgn(r₁₁r₂₁+r₁₂r₂₂)，sgn是取符号运算符；

步骤S2：如图3所示，图中世界坐标点P_w通过相机平面中心投影为图像平面点Pu，点Pd为由于镜头畸变导致的实际投影点，Δ_物像表示物体平面与图像平面之间的距离，这里通过引入物像平面距离Δ_物像，镜头放大倍数mag，可以获得更为简洁的内参数计算模型如下：

其中镜头前焦距f的初始值设定为厂家数据；物像平面距离Δ_物像与镜头放大倍数mag初始值同样设定为厂家数据；通过这样的内参数计算模型，可以计算得到相机内参数T_op的初始值；这里未采用小孔成像模型是由于其为一种理想的成像模型，而实际中镜头前后焦距可能不同，所以改进的的成像模型更符合实际情况；

步骤S3：采用正投影误差作为损失函数，正投影误差即将实际的图像像素坐标经相机成像模型转化为世界坐标，并与设定世界坐标比较所得的误差；之后采用量子粒子群优化算法对相机内外参数初始值进行非线性优化，如图4所示，图中首先定义损失函数error，然后通过初始粒子随机初始化粒子群中各粒子位置，并通过个体最优位置pBest、全局最优位置gBest以及平均最优位置mBest更新粒子位置，最终获得高精度的相机内外参数；

所述的步骤S3具体为：

S301：采用正投影误差作为损失函数，即取所有特征点中设定的世界坐标与通过相机成像模型计算得到的世界坐标的距离的最大值作为损失函数值，如下所示：

error＝max{‖P_w,i-P′_w,i(Top,f,k1,α,β,γ,Tx,Ty)‖}(i表示不同的坐标点)

其中P_w,i表示设定的世界坐标，P′_w,i(Top,f,k1,α,β,γ,Tx,Ty)表示通过相机成像模型计算得到的世界坐标，其计算过程可以分为三个步骤，即由实际的图像像素坐标转化为理想的图像物理坐标，如下所示：

其中(X_u,Y_u)表示理想的图像物理坐标；(u_d,v_d)表示实际的图像像素坐标；(u₀,v₀)表示相机光心坐标，初始值设定为厂家数据；dx,dy表示单个像素物理尺寸，初始值设定为厂家数据；k1表示相机镜头畸变系数，初始值设定为零；

再由理想的图像物理坐标转化为相机坐标系坐标，如下所示：

再由相机坐标系坐标转化为世界坐标(其中Z_w＝0)，如下所示：

x＝r₁₁X_w+r₁₂Y_w+r₁₃Z_w+T_x

y＝r₂₁X_w+r₂₂Y_w+r₂₃Z_w+T_y

S302：将相机外参数中的旋转矩阵R转化为欧拉角α,β,γ，从而减少了优化参数个数，并利用相机内外参数初始值构成初始粒子，如下所示：

设定各参数的搜索范围和粒子数，然后以各参数的初始值作为均值并通过均匀分布的方式生成粒子群，如参数T_op的搜索范围可以设定为

S303：设定最大迭代次数n，精度要求以及收缩扩张因子λ，并通过如下公式更新粒子位置：

其中u_i,j(t)＝U(0,1)

其中X_i,j(t+1)表示第i个粒子第j维参数的新位置，X_i,j(t)表示第i个粒子第j维参数的旧位置，mBest_j表示第j维参数的平均最优位置，p_i,j表示第i个粒子第j维参数的吸引子，计算公式如下：

其中

其中pBest_i,j表示第i个粒子第j维参数的个体最优位置，gBest_j表示第j维参数的全局最优位置。当达到最大迭代次数或者损失函数值满足精度要求时将停止迭代，并输出优化后的相机内外参数值。步骤S3中可以通过多次试验确定合适的参数搜索范围、粒子数以及优化参数组合等，可以极大提高迭代速度和标定精度。

步骤S1、步骤S2为标定步骤，步骤S3为参数优化步骤。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于Tsai标定的显微视觉标定方法，其特征在于，包括以下步骤：

步骤S1：使用Tsai两步标定法中的径向排列约束条件进行相机外参数的求解；

步骤S2：通过引入物像平面距离Δ_物像，镜头放大倍数mag，获得内参数计算模型如下：

其中T_op表示镜头与成像平面间的距离减去后焦距的剩余距离；f表示镜头前焦距，其初始值设定为厂家数据；物像平面距离Δ_物像与放大倍数mag初始值同样设定为厂家数据；通过内参数计算模型，计算得到相机内参数T_op的初始值；

步骤S3：采用正投影误差作为损失函数，正投影误差即将实际的图像像素坐标经相机成像模型转化为世界坐标，并与设定世界坐标比较所得的误差；之后采用量子粒子群优化算法对相机内外参数初始值进行非线性优化，最终获得高精度的相机内外参数。

2.根据权利要求1所述的一种基于Tsai标定的显微视觉标定方法，其特征在于，所述的步骤S1具体为：

S101：Tsai两步标定法中径向排列约束条件表示为如下形式：

其中(X_d,Y_d)表示实际的图像物理坐标系坐标，(x,y)表示相机坐标系坐标，(X_w,Y_w,Z_w)表示世界坐标系坐标，r₁₁,r₁₂,r₁₃,r₂₁,r₂₂,r₂₃是相机外参数中旋转矩阵

中的元素，T_x,T_y是相机外参数中平移矩阵

中的元素；将世界坐标系建立于标定板平面上，此时Z_w＝0，故径向排列约束条件转化为如下形式：

通过5个特征点对求得上述5个未知参数

S102：参数

通过如下公式计算：

其中

S103：参数T_y的符号通过试验确定，即首先设定T_y符号为正，由步骤S101中得到的参数值计算参数r₁₁,r₁₂,r₂₁,r₂₂,T_x的值，然后提取标定板中的特征点，计算特征点对应的相机坐标系坐标(x,y)，其中Z_w＝0；

x＝r₁₁X_w+r₁₂Y_w+r₁₃Z_w+T_x

y＝r₂₁X_w+r₂₂Y_w+r₂₃Z_w+T_y

若相机坐标系坐标(x,y)与实际的图像物理坐标系坐标(X_d,Y_d)的对应坐标值始终具有一致的符号，则表示T_y的符号为正，否则T_y的符号为负，并重新求解参数r₁₁,r₁₂,r₂₁,r₂₂,T_x的值；

S104：由于旋转矩阵R为单位正定矩阵，故旋转矩阵R剩余参数通过上述步骤S103中得到的r₁₁,r₁₂,r₂₁,r₂₂进行求解，如下所示：

其中s＝-sgn(r₁₁r₂₁+r₁₂r₂₂)，sgn是取符号运算符。

3.根据权利要求2所述的一种基于Tsai标定的显微视觉标定方法，其特征在于，所述的步骤S3具体为：

S301：采用正投影误差作为损失函数，即取所有特征点中设定的世界坐标与通过相机成像模型计算得到的世界坐标的距离的最大值作为损失函数值，如下所示：

error＝max{‖P_w,i-P′_w,i(Top,f,k1,α,β,γ,Tx,Ty)‖}(i表示不同的坐标点)

其中P_w,i表示设定的世界坐标，P′_w,i(Top,f,k1,α,β,γ,Tx,Ty)表示通过相机成像模型计算得到的世界坐标，其计算过程分为三个步骤，即由实际的图像像素坐标转化为理想的图像物理坐标，如下：

其中(X_u,Y_u)表示理想的图像物理坐标；(u_d,v_d)表示实际的图像像素坐标；(u₀,v₀)表示相机光心坐标，初始值设定为厂家数据；dx,dy表示单个像素物理尺寸，初始值设定为厂家数据；k1表示相机镜头畸变系数，初始值设定为零；

再由理想的图像物理坐标转化为相机坐标系坐标，如下：

再由相机坐标系坐标转化为世界坐标，其中Z_w＝0，如下：

x＝r₁₁X_w+r₁₂Y_w+r₁₃Z_w+T_x

y＝r₂₁X_w+r₂₂Y_w+r₂₃Z_w+T_y

S302：将相机外参数中的旋转矩阵R转化为欧拉角α,β,γ，并利用相机内外参数初始值构成初始粒子，如下所示：

然后设定各参数的搜索范围和粒子数，并通过均匀分布的方式生成粒子群；

S303：设定最大迭代次数n，精度要求以及收缩扩张因子λ，并通过如下公式更新粒子位置：

其中X_i,j(t+1)表示第i个粒子第j维参数的新位置，X_i,j(t)表示第i个粒子第j维参数的旧位置，mBest_j表示第j维参数的平均最优位置，p_i,j表示第i个粒子第j维参数的吸引子，计算公式如下：

其中pBest_i,j表示第i个粒子第j维参数的个体最优位置，gBest_j表示第j维参数的全局最优位置；当达到最大迭代次数n或者满足精度要求时将停止迭代，并输出优化后的相机内外参数值。

Images