CN102376093B - 一种摄像机标定方法 - Google Patents

Abstract

本发明提出一种摄像机标定方法，包括如下步骤：S1：对拍摄图像校准获得图像各顶点的第一二维坐标；S2：设置差分进化参数并初始化种群；S3：更新当前种群个体得到新种群；S4：根据第一二维坐标计算新种群个体的适应度；S5：根据适应度计算新种群的当前代最优位置；S6：如果当前代最优位置与上一代最优位置的差值小于阈值，则最优位置未更新次数num加1；S7：如果num达到最大值，在随机分布的个体空间中对个体编号为1至m/5的个体重新随机选取；S8：如果差分进化代数未达到最大进化代数，则重复执行步骤S3至S7，否则将达到最大进化代数的当前代最优位置对应的摄像机参数作为摄像机标定结果。本发明的方法可减少系统误差、稳定性好、抗干扰能力强。

Description

一种摄像机标定方法

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种摄像机标定方法。

背景技术

计算机视觉的基本任务之一就是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面的某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型的参数就是摄像机参数，计算这些参数的过程就被称为摄像机标定。

现有技术中，普遍采用的摄像机标定法大都是利用成像几何中的某些内在性质和关系先求一部分参数，然后利用这些已求得的参数来求解其他参数，俗称两步法，现有技术存在的问题是，此方法中第一步参数的结果对后续参数结果的计算尤为重要，因此要求必须使用足够多的点才能够保证第一步获得较为精确的解。其中较为简单的是Luis Gerardo de la Frage提出的基于长方体图形的标定方法，该方法仅仅需要六到七个点就能够完成对摄像机的标定。

由于摄像机标定的过程可以考虑为一个优化过程，因此引入优化方法来对其进行优化求解，在两步法中的第二步采用的是传统优化方法，例如梯度下降法、牛顿迭代法，现有的引入优化方法存在的问题是，这些优化方法都有着共同的缺点是计算耗时长，且易受第一步计算结果的干扰。

发明内容

本发明的目的旨在至少解决上述技术问题之一。

为达到上述目的，本发明提出了一种摄像机标定方法，包括如下步骤：S1：根据平行六面体形状对摄像机拍摄的图像进行校准以获得所述图像中各个顶点的第一二维坐标；S2：设置差分进化参数，其中所述差分进化参数包括最大进化代数U_max、种群上限ub、种群下限lb、变异参数C_R和交叉参数C_F，并在所述种群上限ub和所述种群下限lb所包含的范围内随机生成m个个体，其中每个个体具有多个摄像机参数且所述m个个体构成初始种群，并初始化所述初始种群的最优位置；S3：根据所述变异参数C_R和所述交叉参数C_F按照预定的差分进化迭代公式更新当前种群的每个个体得到新种群；S4：根据所述各个顶点的第一二维坐标以及所述新种群计算所述新种群中每个个体的适应度；S5：根据所述每个个体的适应度计算新种群的当前代最优位置；S6：判断所述当前代的最优位置与上一代最优位置的差值是否小于预定的阈值，如果所述差值小于所述阈值，则将预定的最优位置未更新次数num加1，然后继续执行步骤S7，如果所述差值大于或等于所述阈值，继续执行步骤S7；S7：判断所述最优位置未更新次数num是否达到预定的最大值，如果num达到所述最大值，则在随机分布的个体空间中对所述新种群的个体编号为1至m/5的个体重新随机选取，然后继续执行步骤S8，如果num未达到所述最大值，继续执行步骤S8；S8：判断所述差分进化代数是否达到预定的最大进化代数，如果所述差分进化代数未达到所述最大进化代数，则重复执行步骤S3至步骤S7，如果所述差分进化代数达到所述最大进化代数，则停止，并将所述达到最大进化代数的当前代最优位置对应的摄像机参数作为摄像机标定结果。

在本发明的一个实施例中，所述步骤S1进一步包括：S11：对摄像机拍摄图像中出现的平行六面体进行各个顶点的手工标志；S12：确定获得的六个或七个顶点的第一二维图像坐标。

在本发明的一个实施例中，所述摄像机参数为x＝(l₂，l₃，θ₁，θ₂，θ₃，t₁，t₂，t₃，f，u₀，v₀)，其中，l₂，l₃为所述平行六面体的两个边长与另一边长l₁的比例值，θ₁，θ₂，θ₃为绕Z轴和Y轴的旋转角度，<t₁，t₂，t₃>为平移矩阵，f为有效焦距，u₀，v₀为图像坐标中心。

在本发明的一个实施例中，

所述种群上限ub＝[2，2，π/2，π/2，π/2，20，20，50，2000，600，400]，所述种群下限lb＝[0.5，0.5，0，0，-π/2，-20，-20，1，1，1，1]。

在本发明的一个实施例中，所述步骤S3进一步包括：S31：随机产生小于m的三个不相等的正整数r₁，r₂，r₃；S32：根据所述交叉参数C_F，通过以下公式计算交叉个体v_i(t+1)， $v_i(t+1)=x_{r_3}\left(t\right)+C_F\&CenterDot;(x_{r_1}\left(t\right)-x_{r_2}\left(t\right)),$ 其中i为所述种群中的个体编号；S33：产生随机函数U(0，1)和粒子序号i_rand；S34：根据所述随机函数U(0，1)、所述粒子序号i_rand和所述变异参数C_R，判断是否更新所述种群的每个个体，如果U(0，1)＜C_R或i＝i_rand，则更新所述种群的每个个体，x_i(t+1)＝v_i(t+1)，否则不更新所述种群的每个个体，x_i(t+1)＝x_i(t)。

在本发明的一个实施例中，所述步骤S4进一步包括：S41：根据所述种群的每个个体计算所述顶点的第二二维坐标

S42：根据所述顶点的第一二维坐标p_i和所述顶点的第二二维坐标

通过以下公式计算所述新种群中每个个体的适应度，

$g\left(x_i\left(t\right)\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|p_i-{\hat{p}}_i\left(x_i\left(t\right)\right)\left|\right|}^{2}g:Q\&Subset;R{|}^{11}\&RightArrow;R,$ 其中，g(x_i(t))为所述每个个体的适应度，用摄像机重投影误差表示，Q为摄像机参数向量的取值范围，x_i(t)为第t代种群中的个体，i＝1，...，m，n为所述顶点的总个数。

在本发明的一个实施例中，所述步骤S5进一步包括：根据所述每个个体的适应度，通过以下公式计算所述新种群的当前代最优位置，

P_g(t)＝min{g(x_i(t))，i＝1，...，m}，其中，g(x_i(t))为所述每个个体的适应度。

根据本发明实施例的摄像机标定方法至少具有以下有益效果：

(1)标定结果稳定，由于基于群体算法的摄像机标定算法的离散型和随机性导致每次仿真时无法保证结果，根据本发明的方法大大提高了计算结果的稳定性。

(2)搜索能力强，根据在进化计算过程中判断种群中当前代的全局最优位置与上代的全局最优位置的差值是否小于设定的阈值，由此跳出局部最小点，从而获得在全局范围内搜索最优的可能性。

(3)在摄像机标定中应用差分进化算法，能获取真正揭示摄像机成像的参数，减少测量结果在摄像机系统标定环节的系统误差、抗干扰能力强。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的摄像机标定方法的流程图；

图2为Olympus u820相机拍摄的实际图像；

图3为Canon EOS 5D相机拍摄的实际图像；

图4为各种基于群体算法的摄像机标定方法标定图2所示的实际图像在运行50次以后的收敛图；以及

图5为各种基于群体算法的摄像机标定方法标定图3所示的实际图像时运行50次以后的收敛图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

图1为本发明实施例的摄像机标定方法的流程图。如图1所示，根据本发明实施例的摄像机标定方法，包括以下步骤：

步骤S101，根据平行六面体形状对摄像机拍摄的图像进行校准以获得图像中各个顶点的第一二维坐标。

具体地，首先，对摄像机拍摄图像中出现的平行六面体进行各个顶点的手工标志；

其次，对获得的六个或者七个顶点进行第一二维图像坐标确定。

步骤S102，设置差分进化参数，其中，差分进化参数包括最大进化代数U_max、种群上限ub、种群下限lb、变异参数C_R和交叉参数C_F，并在种群上限ub和种群下限lb所包含的范围内随机生成m个个体，其中每个个体具有多个摄像机参数且m个个体构成初始种群，并初始化所述初始种群的最优位置。

其中，所要标定的摄像机参数为x＝(l₂，l₃，θ₁，θ₂，θ₃，t₁，t₂，t₃，f，u₀，v₀)，其中，l₂，l₃为所述平行六面体的两个边长与另一边长l₁的比例值，θ₁，θ₂，θ₃为绕Z轴和Y轴的旋转角度，<t₁，t₂，t₃>为平移矩阵，f为有效焦距，u₀，v₀为图像坐标中心

种群的上限ub＝[2，2，π/2，π/2，π/2，20，20，50，2000，600，400]，种群的下限lb＝[0.5，0.5，0，0，-π/2，-20，-20，1，1，1，1]。

交叉参数C_F取值范围为[0，1]，在本发明的实际计算中取值为0.8。

m为种群规模，根据最小化原则即获得的适应度函数值小的个体为最优进行选择，在本发明的实际计算中选择m＝50。

在本发明的一个实施例中，初始化初始种群的最优位置包括：随机初始化初始种群的每个个体的初始位置

其中i＝1，...，m，根据每个个体的初始位置

通过以下公式计算初始种群的当前代最优位置，

${\hat{P}}_g\left(0\right)=\min \{{\hat{p}}_1\left(0\right),{\hat{p}}_2\left(0\right),...,{\hat{p}}_m\left(0\right)\}.$

步骤S103，根据变异参数C_R和所述交叉参数C_F按照预定的差分进化迭代公式更新当前种群的每个个体得到新种群。

具体地，首先，随机产生小于m的三个不相等的正整数r₁，r₂，r₃。

根据交叉参数C_F，通过以下公式计算交叉个体v_i(t+1)，

$v_i(t+1)=x_{r_3}\left(t\right)+C_F\&CenterDot;(x_{r_1}\left(t\right)-x_{r_2}\left(t\right)),$ 其中i为所述种群的个体编号。

然后，产生随机函数U(0，1)和粒子序号i_rand。

根据随机函数U(0，1)、粒子序号i_rand和变异参数C_R，判断是否更新所述种群的每个个体，如果U(0，1)＜C_R或i＝i_rand，则更新所述种群的每个个体，x_i(t+1)＝v_i(t+1)，否则不更新所述种群的每个个体，x_i(t+1)＝x_i(t)。

步骤S104，根据各个顶点的校准图像的第一二维坐标以及新种群计算新种群的每个个体的适应度。

具体地，首先，根据种群的每个个体计算顶点的第二二维坐标其中，

t为种群的代数，P为平行六面体中的各个顶点的三维坐标。

M＝K[R|T]，

K为摄像机内部参数，其中， $K=\left[\begin{array}{ccc}f& 0& u_0\\ 0& f& v_0\\ 0& 0& 1\end{array}\right],$

[R|T]为摄像机的外部参数，其中，

R＝R_x(θ₃)R_y(θ₂)R_z(θ₁)， $T=\left(\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right).$

差分算法中待优化的各摄像参数具体为：

x＝(l₂，l₃，θ₁，θ₂，θ₃，t₁，t₂，t₃，f，u₀，v₀)，

其中l₂，l₃为三维世界中平行六面体的两个边长，在这里另外一个边长作为比例关系定为1。θ₁，θ₂，θ₃为绕Z轴和Y轴的旋转角度，<t₁，t₂，t₃>为平移矩阵，f为有效焦距，u₀，v₀为图像中心。

然后，根据顶点的第一二维坐标p_i和顶点的第二二维坐标

通过以下公式计算新种群中每个个体的适应度适应度，

$g\left(x_i\left(t\right)\right)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|p_k-{\hat{p}}_k\left(x_i\left(t\right)\right)\left|\right|}^{2}g:Q\&Subset;R{|}^{11}\&RightArrow;R,$ 其中，g(x_i(t))为所述适应度，用摄像机重投影误差表示，Q为摄像机参数向量的取值范围，x_i(t)为第t代的种群个体，i＝1，...，m，n为顶点的总个数。

步骤S105，根据每个个体的适应度计算新种群的当前代最优位置。

具体地，根据每个个体的适应度，通过以下公式计算新种群的当前最优位置，

P_g(t)＝min{g(x_i(t))，i＝1，...，m}，其中，g(x_i(t))为所述每个个体的适应度。

步骤S106，判断当前代的最优位置与上一代最优位置的差值是否小于预定的阈值，如果差值小于阈值，则预定的最优位置未更新次数num加1，然后继续执行步骤S107，如果差值大于或等于阈值，继续执行步骤S107。

具体地，根据以下公式具体描述，

if abs(P_g(t)-P_g(t-1))＜th

then num＝num+1

其中th为预定的阈值，即适应度变化阈值，在本发明中，选择初始值为1。

步骤S107，判断最优位置未更新次数num是否达到预定的最大值，如果num达到所述最大值，则在随机分布的个体空间中对新种群的个体编号为1至m/5的个体重新随机选取，然后继续执行步骤S108，如果num未达到最大值，继续执行步骤S108。

在本发明的一个实施例中，num取值为20。

步骤S108，判断差分进化代数是否达到预定的最大进化代数，如果差分进化代数未达到最大进化代数，则重复执行步骤S103至步骤S107，如果差分进化代数达到最大进化代数，则停止，并将达到最大进化代数的当前代最优位置对应的摄像机参数作为摄像机标定结果。

根据本发明实施例的摄像机标定方法至少具有以下有益效果：

(1)标定结果稳定，由于基于群体算法的摄像机标定算法的离散型和随机性导致每次仿真时无法保证结果，根据本发明的方法大大提高了计算结果的稳定性。

(2)搜索能力强，根据在进化计算过程中判断种群中当前代的全局最优位置与上代的全局最优位置的差值是否小于设定的阈值，由此跳出局部最小点，从而获得在全局范围内搜索最优的可能性。

(3)在摄像机标定中应用差分进化算法，能获取真正揭示摄像机成像的参数，减少测量结果在摄像机系统标定环节的系统误差、抗干扰能力强。

下面根据具体例子的实验数据说明本发明实施例的标定方法的优点。通过具体示例的描述，本发明的优点将变得更加明显。

如图2所示，为Olympus u820相机拍摄的实际图像，如图3所示，为Canon EOS-5D相机拍摄的实际图像，将图2和图3所拍摄的实际图像分别使用标准差分算法、遗传算法、粒子群算法和本发明的基于全局搜索的差分进化算法进行摄像机参数标定，每种算法都运行50次，算法结束的条件为最大迭代次数为10000。

1、精确度和稳定性

由于基于群体算法的摄像机标定算法具有离散型和随机性，另外每种算法受各自搜索能力的影响，在每次仿真时无法保证结果全部相同。因此，基于群体算法的稳定性成为衡量算法优劣的重要指标。

根据下式来判断每次算法运行的结果的稳定性，即判断每次算法运行时是否收敛到同一数值，

$\mathrm{std}=\sqrt{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}(\mathrm{\&sigma;}-\widetilde{\mathrm{\&sigma;}})/u}$

其中，u为算法重复的次数，在本实施例中，u＝50，σ为算法每次运行获得的最优解，即全局最优位置所对应的摄像机参数向量，表示σ的平均值。从上式也可看处是求σ的标准方差，用std来表示。在相同的条件下，std越大表示算法越不稳定。

如表1所示，为各种群体算法在运行50次后获得的标定结果的标准方差值。从结果中可以看出本发明的基于改进差分进化算法的摄像机标定方法相对于与基于其他群体算法的摄像机标定方法更稳定。这是由于基本差分进化算法在计算后期，全局搜索能力下降，本发明基于此缺点，在当前代种群无法进一步进行全局搜索时重新给予部分个体一个随机值以确保整个种群能进行有效的全局搜索。因此，本发明的改进差分进化算法的摄像机标定方法与标准差分进化算法的摄像机标定方法相比，不仅具有进化和种群智能的特点，而且提高了算法的稳定性。

表1各种群体算法获得的标定结果的标准方差值

2、搜索能力

如图4所示，为各种基于群体算法的摄像机标定方法标定图2所示的实际图像时运行50次以后的收敛图，如图5所示，为各种基于群体算法的摄像机标定方法标定图3所示的实际图像时运行50次以后的收敛图。其中，DE(Differential Evolution)为标准差分算法，HDE(Hybrid Differential Evolution)为本发明的改进的差分进化算法，GA(Genetic Algorithm)为遗传算法，PSO(Particle Swarm Optimization)为粒子群算法。从图4和图5可以直观地看出当其他的基于群体算法在标定过程中陷入局部最小点的时候，本发明的基于改进的差分进化算法的标定方法可以获得较强的全局搜索能力，由此，在迭代计算时能获得了最优的实验结果。此优点依靠在进化计算过程中判断种群中当前代的全局最优位置与上代的全局最优位置的差值是否小于设定的阈值，由此跳出局部最小点，从而获得在全局范围内搜索最优点的可能性。

Claims (6)

1.一种摄像机标定方法，其特征在于，包括如下步骤：

S1：对摄像机拍摄图像中出现的平行六面体进行各个顶点的手工标识，对获得的六个或者七个顶点进行第一二维坐标p_i确定；

S2：设置差分进化参数，其中所述差分进化参数包括最大进化代数Umax、种群上限ub、种群下限lb、变异参数C_R和交叉参数C_F，并在所述种群上限ub和所述种群下限lb所包含的范围内随机生成m个个体，其中每个个体具有多个摄像机参数且所述m个个体构成初始种群，并初始化所述初始种群的最优位置；

S3：根据所述变异参数C_R和所述交叉参数C_F按照预定的差分进化迭代公式更新当前种群的每个个体得到新种群；

S4：根据所述各个顶点的第一二维坐标以及所述新种群计算所述新种群中每个个体的适应度；

S5：根据所述每个个体的适应度计算新种群的当前代最优位置；

S6：判断所述当前代的最优位置与上一代最优位置的差值是否小于预定的阈值，如果所述差值小于所述阈值，则将预定的最优位置未更新次数num加1，然后继续执行步骤S7，如果所述差值大于或等于所述阈值，继续执行步骤S7；

S7：判断所述最优位置未更新次数num是否达到预定的最大值，如果num达到所述最大值，则在随机分布的个体空间中对所述新种群的个体编号为1至m5的个体重新随机选取，然后继续执行步骤S8，如果num未达到所述最大值，继续执行步骤S8；

S8：判断差分进化代数是否达到预定的最大进化代数，如果所述差分进化代数未达到所述最大进化代数，则重复执行步骤S3至步骤S7，如果所述差分进化代数达到所述最大进化代数，则停止，并将所述达到最大进化代数的当前代最优位置对应的摄像机参数作为摄像机标定结果。

2.根据权利要求1所述的摄像机标定方法，其特征在于，所述摄像机参数为，

x=(l₂,l₃,θ₁,θ₂,θ₃,t₁,t₂,t₃,f,u₀,v₀)，其中，l₂，l₃为所述平行六面体的两个边长与另一边长l₁的比例值，θ₁，θ₂，θ₃分别为绕Z轴，Y轴以及X轴的旋转角度，<t₁,t₂,t₃>为平移矩阵，f为有效焦距，u₀，v₀为图像坐标中心。

3.根据权利要求1所述的摄像机标定方法，其特征在于，所述种群上限ub=[2,2,π/2,π/2,π/2,20,20,50,2000,600,400]，

所述种群下限lb=[0.5,0.5,0,0,-π/2,-20,-20,1,1,1,1]。

4.根据权利要求1所述的摄像机标定方法，其特征在于，所述步骤S3进一步包括：

S31：随机产生小于m的三个不相等的正整数r₁，r₂，r₃；

S32：根据所述交叉参数C_F，通过以下公式计算交叉个体v_i(t+1)，

其中i为所述种群中的个体编号，v_i(t+1)为第t+1代种群的个体编号为i的交叉个体，为第t代个体编号为r₃的种群个体，x_r2(t)为第t代个体编号为r₂的种群个体，

为第t代个体编号为r₁的种群个体；

S33：产生随机函数U(0,1)和粒子序号i_rand；

S34：根据所述随机函数U(0,1)、所述粒子序号i_rand和所述变异参数C_R，判断是否更新所述种群的每个个体，

如果U(0,1)<C_R或i=i_rand，则更新所述种群的每个个体，x_i(t+1)=v_i(t+1)，

否则不更新所述种群的每个个体，x_i(t+1)=x_i(t)，其中，x_i(t)为第t代个体编号为i的种群个体，x_i(t+1)为第t+1代个体编号为i的种群个体。

5.根据权利要求1所述的摄像机标定方法，其特征在于，所述步骤S4进一步包括：

S41：根据所述种群的每个个体计算所述顶点的第二二维坐标

S42：根据所述顶点的第一二维坐标p_i和所述顶点的第二二维坐标

通过以下公式计算所述新种群中每个个体的适应度，

$g\left(x_i\left(t\right)\right)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left|\right|p_i-{\hat{p}}_i\left(x_i\left(t\right)\right)\left|\right|}^{2}g:Q\&Subset;R^{11}\&RightArrow;R,$

其中，g(x_i(t))为所述每个个体的适应度，用摄像机重投影误差表示，Q为摄像机参数向量的取值范围，x_i(t)为第t代种群中的个体，i=1,...,m，n为所述顶点的总个数。

6.根据权利要求1所述的摄像机标定方法，其特征在于，所述步骤S5进一步包括：

根据所述每个个体的适应度，通过以下公式计算所述新种群的当前代最优位置，

P_g(t)=min{g(x_i(t)),i=1,...,m}，其中，g(x_i(t))为所述每个个体的适应度。

Images