CN112700500A

CN112700500A - 一种双目相机标定方法、装置及可读存储介质

Info

Publication number: CN112700500A
Application number: CN202011442701.2A
Authority: CN
Inventors: 罗杨梅
Original assignee: Zhongda Testing Hunan Co Ltd
Current assignee: Zhongda Intelligent Technology Co ltd
Priority date: 2020-12-08
Filing date: 2020-12-08
Publication date: 2021-04-23
Anticipated expiration: 2040-12-08
Also published as: CN112700500B

Abstract

本发明涉及图像处理技术，公开了一种双目相机标定方法、装置及可读存储介质，本发明双目相机标定方法，包括获取待标定对象的第一图像样本和第二图像样本，第一图像样本信息基于双目相机的第一相机获取，第二图像样本信息基于双目相机的第二相机获取；基于第一图像样本和第二图像样本生成特征初始样本集；将特征初始样本集输入预设的神经网络模型进行计算，以得到待标定对象的标定模型。可以解决现有技术中的双目相机的标定精度低的问题。

Description

一种双目相机标定方法、装置及可读存储介质

技术领域

本发明涉及图像处理技术，尤其涉及一种双目相机标定方法、装置及可读存储介质。

背景技术

理想的相机模型为针孔成像模型，但是由于相机凸镜在加工运输阶段的影响，模型会发生非线性畸变。因此用线性成像模型来代替相机实际成像过程的方法过于简单，且标定的精度达不到工业级应用水平，很难在实际生产中应用。

对于双目相机而言，不仅需要考虑每一个相机的标定参数，而且需要考虑两个相机之间的转换矩阵，因此，现有的双目相机在标定过程中的计算参数多，所涉及到计算量较大，导致标定精度低。

发明内容

本发明提供了一种双目相机标定方法、装置及可读存储介质，以解决现有技术中的双目相机的标定精度低的问题。

为了实现上述目的，本发明通过如下的技术方案来实现：

本发明提供一种双目相机标定方法，包括：

获取待标定对象的第一图像样本和第二图像样本，所述第一图像样本的信息基于所述双目相机的第一相机获取，所述第二图像样本的信息基于所述双目相机的第二相机获取；

基于所述第一图像样本和所述第二图像样本生成特征初始样本集；

将所述特征初始样本集输入预设的神经网络模型进行计算，以得到所述待标定对象的标定模型。

可选地，所述基于所述第一图像样本和所述第二图像样本生成特征初始样本集，包括：

确定特征点在所述第一图像样本中的第一像素位置坐标，并确定所述特征点在所述第二图像样本中的第二像素位置坐标；

确定所述第一像素位置坐标和所述第二像素位置坐标之间的对应关系；

基于所述对应关系生成特征初始样本集。

可选地，所述确定特征点在所述第一图像样本中的第一像素位置坐标，并确定所述特征点在所述第二图像样本中的第二像素位置坐标，包括：

对所述第一图像样本进行角点位置检测，得到所述第一类图像样本中所有角点像素坐标值，并确定特征点在所述第一类图像样本中的第一像素位置坐标；

对所述第二图像样本进行角点位置检测，得到所述第二类图像样本中所有角点像素坐标值，并确定特征点在所述第二类图像样本中的第二像素位置坐标。

可选地，所述将所述特征初始样本集输入预设的神经网络模型进行计算之前，所述方法还包括：

将所述特征初始样本集按照预设的比例分为训练集、测试集以及验证集；

构建初始神经网络的网络结构，并初始化所述初始神经网络的阈值和权重；

将所述训练集输入所述初始神经网络的网络结构进行训练得到神经网络模型。

可选地，所述将所述训练集输入所述初始神经网络的网络结构进行训练得到神经网络模型之后，所述方法还包括：

基于预设的阻滞增长模拟算法优化所述初始神经网络的阈值和权重；

基于优化后的阈值和权重优化所述神经网络模型。

可选地，所述基于预设的阻滞增长模拟算法优化所述初始神经网络的阈值和权重，包括：

基于所述初始神经网络的输出值与期望理论值之间的误差确定目标函数；

设置阻滞增长模拟算法的初始参数，并确定所述阻滞增长模拟算法跳出寻优过程的终止条件；

通过计算所述目标函数，进行当前代数最优解的选择，作为当代最优解；

基于当代最优解确定优化后的阈值和权重。

作为一个总的发明构思，本申请还提供一种双目相机标定装置，包括：

第一单元，用于获取待标定对象的第一图像样本和第二图像样本，所述第一图像样本的信息基于所述双目相机的第一相机获取，所述第二图像样本的信息基于所述双目相机的第二相机获取；

第二单元，用于基于所述第一图像样本和所述第二图像样本生成特征初始样本集；

第三单元，用于将所述特征初始样本集输入预设的神经网络模型进行计算，以得到所述待标定对象的标定模型。

作为一个总的发明构思，本申请还提供一种双目相机标定装置，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上所述的双目相机标定方法的步骤。

作为一个总的发明构思，本申请还提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的双目相机标定方法的步骤。

有益效果：

本发明提供了一种双目相机标定方法、装置及可读存储介质，该双目相机标定方法，通过获取待标定对象的第一图像样本和第二图像样本；基于第一图像样本和第二图像样本生成特征初始样本集；将特征初始样本集输入预设的神经网络模型进行计算，以得到待标定对象的标定模型。这样，避免了对双目相机复杂成像过程中数学模型的建立，减少了标定过程中的运算量及模型数量，有效提高了双目相机的标定精度和标定效率。

附图说明

图1为本发明优选实施例的标定装置的结构示意图之一；

图2为本发明优选实施例的标定装置的电路图；

图3为本发明优选实施例的双目相机标定方法流程图；

图4为本发明优选实施例的双目相机标定方法中构建神经网络的流程示意图。

具体实施方式

下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的一种双目相机标定方法、装置及可读存储介质适用于工业标定。可变换地，还可以应用于其他类似的应用场景。此处仅作示例，不做限定。

在该实施方式中，可以采用包括标定支架的标定装置，如图1所示，标定装置包括双目相机放置支架1、标定目标物放置支架2、相机支撑杆3、标定目标物放置横杆4、角铁5以及底座6。其中，底座6的两侧设置有4个支柱，标定目标物放置横杆4设置于底座6的两侧，且位于相邻两个支柱之间，角铁5设置于标定目标物放置横杆4和底座6之间，相机支撑杆3设置于底座6上，标定目标物放置支架2设置于支柱上，放置支架1设置于相机支撑杆3上。

其中，双目相机放置支架1的作用主要是将待标定双目相机固定，且保证双目相机的绝对位置不发生改变，在该情况下实现的相机标定才保持不变。标定目标物放置支架2的作用在于构建标定目标物放置支架2，同时，在标定目标物放置支架2的两侧横杆上可放置光源系统，减小光照等因素对标定结果的影响。相机支撑杆3的作用在于可将待标定双目相机固定住，并在需要时，可通过轴与孔的配合，实现待标定双目相机在垂直方向上的移动。标定目标物放置横杆4和角铁5，可实现对标定目标物的水平移动，从而获取多组第一类样本图像和第二类样本图像。其中角铁5通过一种移动副约束，可实现上下精准移动，标定目标物放置横杆4在角铁5的作用下，保持同步运动，而放置于标定目标物放置横杆4上的标定物同理上下移动。底座6的主要作用在于使双目相机放置支架1和相机支撑杆3保持稳定。底座6装置的材料可选用铸铁等材料，在保证材料不易发生变形的同时，可降低成本。

具体地，标定装置的电路图如图2所示，其工作原理如下。

当传感器接收到信号时，会触发高电平，使第一待标定相机(待标定相机1)工作，而第二待标定相机(待标定相机2)与第一待标定相机属于并联关系，因此第二待标定相机同步工作，此时，由三极管电路控制的光源控制器在第二待标定相机的电路激励下，使第一光源(光源1)与第二光源(光源2)同步曝光，实现同时工作，避免光照对双目相机标定过程产生干扰。

本申请的双目相机标定方法基于上述的标定装置实现，当然，以上说明仅为其可以实现的一种方式，可变换的，在其他可行的实施方式中，还可以相应地对其中的装置或者电路做适当地调整。但不论其作何变换，都在本申请实施例保护的范围之内。

如图3所示，本发明提供了一种双目相机标定方法，包括：

步骤101、获取待标定对象的第一图像样本和第二图像样本，第一图像样本的信息基于双目相机的第一相机获取，第二图像样本的信息基于双目相机的第二相机获取。

在该实施方式中，待标定对象可以是某一个机械部件，例如机械臂等。此处仅作示例，不做限定。

具体而言，首先，将待标定对象放置于标定架上的指定位置，通过待标定双目相机的两个镜头分别获取标定目标物的第一图像样本和第二图像样本。

在实际应用中，将双目相机固定于所应用的场景内，保证完成标定之后，参数不发生改变。其次，将标定物固定在标定支架上，并且不断地移动支架上的位移装置，使双目相机的两个镜头可以对不同高度下的标定对象进行拍照，得到多组第一图像样本和第二图像样本。一般而言，为了标定目标物的制作方便且降低标定成本，采用棋盘格角点作为标定板上的特征点。在背景的选择方面，通常选择空白场景，提高角点的检测精度，避免产生误检测。

步骤102、基于第一图像样本和第二图像样本生成特征初始样本集。

步骤103、将特征初始样本集输入预设的神经网络模型进行计算，以得到待标定对象的标定模型。

上述的双目相机标定方法，通过获取待标定对象的第一图像样本和第二图像样本；基于第一图像样本和第二图像样本生成特征初始样本集；将特征初始样本集输入预设的神经网络模型进行计算，以得到待标定对象的标定模型。这样，避免了对双目相机复杂成像过程中数学模型的建立，减少了标定过程中的运算量及模型数量，有效提高了双目相机的标定精度和标定效率。

可选地，基于第一图像样本和第二图像样本生成特征初始样本集，包括：

确定特征点在第一图像样本中的第一像素位置坐标，并确定特征点在第二图像样本中的第二像素位置坐标；

确定第一像素位置坐标和第二像素位置坐标之间的对应关系；

基于对应关系生成特征初始样本集。

可选地，确定特征点在第一图像样本中的第一像素位置坐标，并确定特征点在第二图像样本中的第二像素位置坐标，包括：

对第一图像样本进行角点位置检测，得到第一类图像样本中所有角点像素坐标值，并确定特征点在第一类图像样本中的第一像素位置坐标；

对第二图像样本进行角点位置检测，得到第二类图像样本中所有角点像素坐标值，并确定特征点在第二类图像样本中的第二像素位置坐标。

具体地，通过获得的多组第一图像样本和第一图像样本进行角点检测，检测图中所有的棋盘格角点的亚像素位置坐标，并且对每一组图像样本中的角点像素坐标进行一一对应，即每一个棋盘格角点在第一类样本图像中和第二类样本图像中的亚像素坐标值，共4个坐标，以及角点的期望世界坐标值。期望世界坐标值的计算如下。

首先以初始平面为z＝0的平面，随着标定目标物在z方向的移动，使z轴坐标发生改变；其次，x方向和y方向坐标根据棋盘格的实际大小确定，通过计算棋盘格角点的位置，选取坐标原点，换算成x坐标和y坐标；最后，每一个位置上的棋盘格角点含有4个亚像素图像坐标值和3个期望世界坐标值，多个棋盘格角点的数据构成了初始样本集中的数据，将该数据输入神经网络执行后续操作。

可选地，将特征初始样本集输入预设的神经网络模型进行计算之前，方法还包括：

将特征初始样本集按照预设的比例分为训练集、测试集以及验证集；

构建初始神经网络的网络结构，并初始化初始神经网络的阈值和权重；

将训练集输入初始神经网络的网络结构进行训练得到神经网络模型。

如图4所示，进一步地，在该实施方式中，神经网络为BP神经网络(backpropagation)，具体地，建立BP神经网络包括如下步骤。

以棋盘格角点在第一图像样本和第二图像样本的像素坐标值作为输入，即输入神经元个数为4；以棋盘格角点的期望世界坐标值作为输出，即输出神经元个数为3；隐含层神经元个数依据经验公式确定，其中，该公式可以是如下形式。

式中，h为隐含层节点数目，m为输入层节点数目，n为输出层节点数目，a为1～10之间的调节常数，因此可取隐含层节点数h为5。综上，确定网络拓扑结构为4-5-3，网络中所有权重和阈值的个数可由以下公式计算得出。

s＝N_i·N_h+N_h+N_h·N_o+N_o；；

其中，s表示网络中所有权重和阈值的个数,N_i表示输入层神经元个数，N_h表示隐藏层神经元个数，N_o表示输出层神经元个数。当网络拓扑结构为4-5-3时，参数个数为43。对BP神经网络中的所有权重和阈值进行随机初始化赋值。

可选地，将训练集输入初始神经网络的网络结构进行训练得到神经网络模型之后，方法还包括：

基于预设的阻滞增长模拟算法优化初始神经网络的阈值和权重；

基于优化后的阈值和权重优化神经网络模型。

其中，基于预设的阻滞增长模拟算法优化初始神经网络的阈值和权重，包括：

基于初始神经网络的输出值与期望理论值之间的误差确定目标函数；

设置阻滞增长模拟算法的初始参数，并确定阻滞增长模拟算法跳出寻优过程的终止条件；

通过计算目标函数，进行当前代数最优解的选择，作为当代最优解；

基于当代最优解确定优化后的阈值和权重。

具体地，在算法优化阶段过程中，首先确定初始化权重和阈值的编码方式，通常采用二进制编码的方式；其次，对阻滞增长模拟算法进行参数初始化，可设初始种群大小为10⁴，环境容纳量为10⁸，初始增长率为0.001；然后，根据算法的机制，不断对种群个体、数量、增长率等参数进行迭代更新；最后达到终止循环的条件，得到优化后的权重和阈值。

其中根据当前代数和种群增长率计算当前代搜寻新解次数L，计算方式可以满足如下公式。

式中，K为环境所能容纳种群数量极限值，P为当前代种群数量。

根据公式：

式中，P₀为上一代种群数量，t为迭代代数，r为当前代种群增长率。

根据以下公式可计算当前代种群数量的增长率。：

式中，r₀为种群初始增长率。

衡量种群中个体好坏的标准函数称为适应度函数，在本发明实例中，适应度函数描述为，该种群中的个体通过解码得到一组神经网络的权重和阈值，由该组权重和阈值计算世界坐标计算值与所述期望值之间的绝对值，所述绝对值作为适应度函数，对种群迭代过程中个体的筛选依据。

进一步地，将优化后的权重和阈值反赋给BP神经网络中，对BP神经网络展开训练，得到最终的权重和阈值，完成系统的标定。

基于所述权重和阈值，将其反馈给BP神经网络之后，即完成对初始权重和阈值的优化，下一步开始对BP神经网络训练。取隐含层神经元传递函数为sigmoid，输出层处理函数为线性传递函数purelin，训练时，取迭代次数为100，学习率为0.1。

本发明通过待标定的双目相机的两个镜头分别对多组不同位置下的预设标定目标物进行拍照，从而获取多组第一类样本图像和第二类样本图像；基于所述第一类样本图像和第二类样本图像，采用检测算法进行特征点亚像素坐标提取，对每一个角点检测到4个亚像素坐标，即在第一类样本图像和第二类样本图像中分别有2个亚像素坐标值，对每一个角点通过理论计算，可获得3个期望世界坐标值，从而对多个角点的4个亚像素坐标和3个期望世界坐标形成数据集；基于所述的数据集，建立BP神经网络的拓扑结构，确定网络中的参数个数和位置；基于所述的BP神经网络中的参数，采用阻滞增长模拟算法进行参数优化；基于优化后的参数赋回至BP神经网络中，开始对BP神经网络进行迭代，得到最终的双目相机标定模型。此外，本申请还通过测试集测试BP神经网络的准确性，当该准确性超过准确性阈值时，进一步基于验证集进行验证以最终确定BP神经网络的模型。

通过上述方法，避免了对相机非线性成像过程的复杂建模，同时，提高了系统的标定精度，提高了标定的效率。

本申请实施例还提供一种双目相机标定装置，包括：

上述的双目相机标定装置的技术方案包含了上述实施例的全部技术方案，因此至少能实现上述实施例的全部技术效果，此处不再一一赘述。

本申请实施例还提供一种双目相机标定装置，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上所述的双目相机标定方法的步骤。上述的双目相机标定装置的技术方案包含了上述实施例的全部技术方案，因此至少能实现上述实施例的全部技术效果，此处不再一一赘述。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的双目相机标定方法的步骤。

上述的可读存储介质的技术方案包含了上述实施例的全部技术方案，因此至少能实现上述实施例的全部技术效果，此处不再一一赘述。以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种双目相机标定方法，其特征在于，包括：

2.根据权利要求1所述的双目相机标定方法，其特征在于，所述基于所述第一图像样本和所述第二图像样本生成特征初始样本集，包括：

基于所述对应关系生成特征初始样本集。

3.根据权利要求2所述的双目相机标定方法，其特征在于，所述确定特征点在所述第一图像样本中的第一像素位置坐标，并确定所述特征点在所述第二图像样本中的第二像素位置坐标，包括：

4.根据权利要求1所述的双目相机标定方法，其特征在于，所述将所述特征初始样本集输入预设的神经网络模型进行计算之前，所述方法还包括：

5.根据权利要求4所述的双目相机标定方法，其特征在于，所述将所述训练集输入所述初始神经网络的网络结构进行训练得到神经网络模型之后，所述方法还包括：

基于优化后的阈值和权重优化所述神经网络模型。

6.根据权利要求5所述的双目相机标定方法，其特征在于，所述基于预设的阻滞增长模拟算法优化所述初始神经网络的阈值和权重，包括：

基于当代最优解确定优化后的阈值和权重。

7.一种双目相机标定装置，其特征在于，包括：

8.一种双目相机标定装置，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6中任一所述的双目相机标定方法的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6中任一所述的双目相机标定方法的步骤。