CN109493389B - 一种基于深度学习的相机标定方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的相机标定方法及系统，属于图像处理领域，现有的视觉测量系统在运行中大多要求相机固定不动，一旦相机位置或者姿态发生变化，就必须对该相机已获取的所有相关位置坐标重新测量，大大降低了系统灵活性与易用性，针对此问题现有提出的相机标定方法，一般依赖固定制式的标定辅助工具与专有的数学模型，来计算相机坐标系与世界坐标系之间的旋转以及平移矩阵从而把新相机坐标系中测得的坐标变换到原相机标准坐标系。这种方式计算过程复杂，参数要求较高，普适性较差，工作效率低下。与现有技术相比，本发明具有灵活性强，节约时间，操作简便等优点。

Description

一种基于深度学习的相机标定方法及系统

技术领域

本发明涉及图像处理领域，尤其是涉及一种基于深度学习的相机标定方法及系统。

背景技术

现代工业生产中常常利用视觉测量系统对目标的三维坐标进行测量，并使用测量出的坐标用于后续的控制步骤。由于视觉测量系统具有非接触测量的特点，传感测量机构与待测目标相分离，对目标不产生附加影响，常常应用于需要较高控制精度的场合，如机械手控制系统。

尽管视觉测量系统具有上述优点，但其核心部件测量相机在标定之后必须保持位置和姿态不变，即保持相机坐标系在世界坐标系的位置不变，以确保测量坐标具有相同的参考原点，这样就会给实际应用带来不便。对于已投入运行的系统，若已完成标定的相机的位置姿态发生变化，则该相机所有已经测得的相关位置坐标必须重新测量，为此必须另外耗费大量额外的工作，降低了生产效率，系统的灵活性也较差。现有的发明中，相机标定方法大多需要在特定辅助设备的配合下，建立复杂且专有的数学模型，通过繁琐的计算完成。如发明专利《基于边界约束和均值逼近的激光扫描仪与相机标定方法》(申请号为CN201810154520.6)提出的方法，依赖较复杂的数学方法及数学模型，易用性不强，扩展性差；如发明专利《一种用于立体视觉测量的线阵相机标定装置及标定方法》(申请号为CN201810213905.5)则依赖特定专有的标定设备，亦降低了实施方法的简洁灵活性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度学习的相机标定方法及系统，在解决现有视觉测量系统中相机位置及姿态必须保持不变的问题的基础上，避免相关数学模型、物理变量的繁杂计算和对专有固定的辅助结构的依赖。

本发明的目的可以通过以下技术方案来实现：

一种基于深度学习的相机标定方法，包括以下步骤：

步骤1：在相机视野范围内任意选取四个不共线的标记作为标准工作坐标系中的四个不共线的标记；

步骤2：截取机器学习相机图像并依次确定机器学习相机图像中所有标记的编号及所有标记在机器学习相机图像中的像素坐标；

步骤3：按指定次数改变相机位置和相机姿态，重复步骤2，获取多组像素坐标和与之对应的相机位置和相机姿态的数据；

步骤4：将步骤3中获取的数据分为训练集和测试集两部分，利用训练集对所构建的神经网络进行重复训练学习，利用测试集对训练学习结果进行误差达标测试，若达标，保存训练完成的神经网络于磁盘中并执行步骤5，若未达标，返回步骤3并增加所述指定次数；

步骤5：重现标准工作坐标系中的四个不共线的标记，使用相机位置和相机姿态发生改变后的相机进行实际应用相机图像抓取，获取标准工作坐标系中的四个不共线的标记在实际应用相机图像中的像素坐标；

步骤6：把步骤5中得到的像素坐标输入到训练完成的神经网络中，得到改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据；

步骤7：利用改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据并通过变换公式把改变后的相机坐标系下的像素坐标变换到标准工作坐标系下，完成标定。

进一步地，所述的标记为二维码平面光学标记，所述二维码平面光学标记包括标记的编号信息，用于在相机图像中被读取。

进一步地，所述相机位置和所述相机姿态所采用的表达方式均为相对矩阵表示法，所述相机位置为改变后的相机坐标系相对于标准工作坐标系的平移向量t，所述相机姿态为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵R。

进一步地，所述神经网络为深层BP神经网络，所述深层BP神经网络包括多个神经元层，所述神经元层的层数不小于6层，每个所述神经元层包括多个神经元，所述神经元的个数不小于16个。

进一步地，所述深层BP神经网络的输入量为按编号依次排列的四个标记的像素坐标，输出量为相机坐标系的旋转矩阵和平移向量。

进一步地，所述的误差达标测试为测试误差的平均值小于给定值，公式如下：

式中，n代表测试集中包含n组相机位置和相机姿态的数据，ε为测试误差的平均值，i和n均为自然数，R_i和t_i对应为第i组数据中采集获取的相机的旋转矩阵和平移向量，R_oi和t_oi对应为第i组数据中的像素坐标输入神经网络后输出的相机的旋转矩阵和平移向量，ε₀为测试误差的给定值。

进一步地，所述标准工作坐标系包括标记位于固定不发生运动的部件上的情况下的标准工作坐标系和标记位于移动部件上的情况下的标准工作坐标系。

进一步地，所述步骤7中的变换公式为：

式中，X_c＝(x_c,y_c,z_c)^T为标准工作坐标系下的像素坐标，

为改变后的相机坐标系下的像素坐标，R为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵，t为改变后的相机坐标系相对于标准工作坐标系的平移向量。

一种采用基于深度学习的相机标定方法的基于深度学习的相机标定系统，包括工作台、机械手、相机和标记，所述标记固定于所述机械手上，所述相机夹持安装于所述工作台上，所述机械手通过底座固定于所述工作台上。

与现有技术相比，本发明具有以下优点：

(1)通过将相机视野空间中的任意四个不共线特征点的位置与设定好的相机位置和姿态之间的映射载入到深度学习神经网络中，当视觉测量系统的相机位置或姿态发生改变时，不必重新测量原有的坐标数据，只需要执行本发明所述方法即可把新相机坐标系下的坐标变换到原相机坐标系下，避免了大量的额外工作，节约了大量时间，增强了系统的灵活性。

(2)通过既定程序使系统自动收集数据训练。新旧相机坐标系下坐标的映射关系保存于训练好的神经网络中，坐标变换相关矩阵、向量可由神经网络直接计算得出，简单易于操作，使用任意选取位置的标记点，避免了对固定制式的专有标定辅助结构的依赖；神经网络模型经训练后便可投入长时间反复的使用，无需手动标定相机内参，无需其他繁杂的数学建模推导及计算。

(3)不需要手动标定相机内参，不需要人为地对系统的各元素的物理特征进行分析计算，标定点可随意选取，不依赖专有固定的辅助结构，方法简单且易于实现，克服了视觉测量系统中相机位置及姿态必须保持不变的缺点，极大地提升了系统的灵活性，而且省去了繁杂的数学建模计算，对现代工业生产来说具有重要意义。

附图说明

图1为本发明的原理示意图；

图2为本发明的神经网络训练流程图；

图3为本发明的相机标定工作流程图；

图4为本发明方法应用时的系统结构示意图；

图5为本发明的方法整体流程示意图；

附图标号说明：

1为标记；2为相机；3为机械手；4为工作台。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示为本发明的工作原理，具体实现包括以下步骤：

步骤S201，在相机视野范围内任意选取不共线的四个标记点，注意固定好相机的位置和姿态，此时的相机坐标系即作为标准工作坐标系；

步骤S202，相机抓取图像，确定上述标记的编号并依次确定其在图像中的像素坐标；

步骤S203，将相机先移动到不同位置，再改变其姿态，重复步骤S203，记录取得的标记的位置坐标及此时相机的位置和姿态(即改变后的相机坐标系相对标准工作坐标系的旋转矩阵R和平移向量t)，数据应尽可能涵盖所有可能的位置和姿态；

步骤S204，将步骤S203收集到的数据，即关于相机位置姿态与像素坐标之间的映射关系，划分为训练数据集与测试数据集，训练数据集载入到神经网络模型中训练学习，测试数据集对训练结果做误差测试，训练直到实测误差的平均值低于给定值结束，若误差的平均值无法收敛在较低范围，则重复步骤S203和S204，收集更多数据以降低误差收敛值；

这里所说的误差给定值由实际应用者根据工程需求给出，一般取值为0.1，其含义是，通过训练好的神经网络多次进行空间中一点的坐标变换，其坐标点的计算值和真实值之间的欧氏距的平均值上限，即：

其中，X_ci＝(x_ci,y_ci,z_ci)^T为第i个坐标点的计算值，X_c0i＝(x_c0i,y_c0i,z_c0i)^T为第i个坐标点真实值，ε₁为误差的平均值给定值；

S205，训练完毕后，若相机相对于标准工作坐标系发生位置或姿态变化，可重现三维世界坐标中用于标定的标记，相机抓取图像并确定标记在图像中的像素坐标；

S206，把取得的像素坐标输入训练好的神经网络，输出得到改变后的相机坐标系相对原相机坐标系(即标准工作坐标系)的旋转矩阵和平移向量；

S207，根据关系

式中，X_c＝(x_c,y_c,z_c)^T为标准工作坐标系下的像素坐标，

为改变后的相机坐标系下的像素坐标，R为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵，t为改变后的相机坐标系相对于标准工作坐标系的平移向量，可把改变后的相机坐标系下测得的坐标变换到原相机坐标系下。

本发明中，用于标定的标记的三维世界坐标应是不变的，其中步骤S205所述重现方式有两种情况：一、标记位于固定不发生运动的部件上，此时重现方式为无操作；二、标记位于移动部件上，此时重现方式为该部件还原标记的位置的控制方式。

本发明实施例中，视觉测量系统用于测量机械手臂关节位置，用于标定的标记粘贴于机械手臂末端关节处，随机械手运动而发生位置变化，属于“标记位于移动部件上，但该部件能还原标记的位置”的情况，该系统如图4所示，包括工作台4、机械手3、相机2和标记1，标记1固定于机械手3上，相机2夹持安装于工作台4上，机械手3通过底座固定于工作台4上，所应用的标记应有以下特点：一、所附着于机械手上的位置须保证始终处在视觉测量系统视野范围内；二、附着位置满足不共线的关系。

如图2所示为本发明的神经网络训练流程图，本发明所述神经网络投入使用前必须先经过充分训练，现结合详细叙述如下：

步骤S401，确定标记的标定点与标准工作坐标系；四个标定点在满足不共线的条件下可以任意选取，为了简化操作，可选取不同机械手关节末端作为标定点并粘贴标记，取此时相机的位置姿态作为标准工作坐标系。

步骤S402，确定上述标记在图像中的像素坐标及相机位置姿态；相机抓取图像，分别确定不同id的标记在图像中的像素坐标，按id＝1，id＝2，id＝3，id＝4的顺序将其像素坐标分别设为(u_o1,v_o1)，(u_o2,v_o2)，(u_o3,v_o3)，(u_o4,v_o4)。

步骤S403，改变相机位置姿态，重复步骤S402，收集在相机不同位置姿态下标记的像素坐标及对应的相机位置姿态数据，即改变后的相机坐标系相对标准工作坐标系的旋转矩阵R和平移向量t；多次改变相机位置姿态，重复步骤S402，记录每一次相机位置姿态数据，并记录此状态下观测到的四个标记的像素坐标，直到收集数据量满足要求后，转入下一步骤，为保证神经网络训练准确率，应让相机位置姿态数据尽可能涵盖所有能够取得的情况。

步骤S404，神经网络训练；将步骤S403中取得的数据，以随机选取的原则，按10:1划分为训练数据集与测试数据集，其中训练数据集用作神经网络的训练，测试数据集用作神经网络训练准确率的测试，本步骤所述神经网络为深层BP神经网络，网络层数不少于6层，每层神经元数量不少于16个，深层神经网络输入量为按编号依次排列的四个标记的像素坐标，输出量为相机坐标系的旋转矩阵和平移向量，当测试准确率较高至满足生产工作需求时，停止训练，将完成训练的神经网络模型存入磁盘，若出现测试准确率随训练次数增加而收敛在较低值时，可返回S203，增加改变相机位置姿态的次数，以提升准确率。

本实施例对应的实际标定方法流程图如图3所示，其详细叙述如下：

步骤S301，使用在运行中改变位置姿态的相机确定标记像素坐标。在视觉测量系统运行中，相机位置姿态发生改变的情况下，重现标定时标准工作坐标系下的四处标记，使用已发生位置姿态改变的相机进行图像抓取，分别确定不同id的标记在图像中的像素坐标，按id＝1，id＝2，id＝3，id＝4的顺序将其像素坐标分别设为(u_o1′,v_o1′)，(u_o2′,v_o2′)，(u_o3′,v_o3′)，(u_o4′,v_o4′)。

步骤S302，利用完成训练的神经网络模型进行标定。将步骤S205中取得的四处像素坐标输入神经网络，即可得到改变后的相机坐标系相对原相机坐标系(即标准工作坐标系)的旋转矩阵R和平移向量t。

步骤S303，根据关系

式中，X_c＝(x_c,y_c,z_c)^T为标准工作坐标系下的像素坐标，

为改变后的相机坐标系下的像素坐标，R为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵，t为改变后的相机坐标系相对于标准工作坐标系的平移向量，即可把新相机坐标系下测得的坐标变换到原相机坐标系下。

至此标定结束，机械手及视觉测量系统可以继续进行其他既定操作。

综上所述，如图5所示为本发明的方法的整体流程示意图，包括以下步骤：

步骤1：在相机视野范围内任意选取四个不共线的标记作为标准工作坐标系中的四个不共线的标记；

步骤2：截取机器学习相机图像并依次确定机器学习相机图像中所有标记的编号及所有标记在机器学习相机图像中的像素坐标；

步骤3：按指定次数改变相机位置和相机姿态，重复步骤2，获取多组像素坐标和与之对应的相机位置和相机姿态的数据；

步骤4：将步骤3中获取的数据分为训练集和测试集两部分，利用训练集对所构建的神经网络进行重复训练学习，利用测试集对训练学习结果进行误差达标测试，若达标，保存训练完成的神经网络于磁盘中并执行步骤5，若未达标，返回步骤3并增加所述指定次数；

步骤5：重现标准工作坐标系中的四个不共线的标记，使用相机位置和相机姿态发生改变后的相机进行实际应用相机图像抓取，获取标准工作坐标系中的四个不共线的标记在实际应用相机图像中的像素坐标；

步骤6：把步骤5中得到的像素坐标输入到训练完成的神经网络中，得到改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据；

步骤7：利用改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据并通过变换公式把改变后的相机坐标系下的像素坐标变换到标准工作坐标系下，完成标定。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于深度学习的相机标定方法，其特征在于，包括以下步骤：

步骤1：在相机视野范围内任意选取四个不共线的标记作为标准工作坐标系中的四个不共线的标记；

步骤2：截取相机图像并依次确定相机图像中所有标记的编号及所有标记在相机图像中的像素坐标；

步骤3：按指定次数改变相机位置和相机姿态，重复步骤2，获取多组像素坐标和与之对应的相机位置和相机姿态的数据；

步骤4：将步骤3中获取的数据分为训练集和测试集两部分，利用训练集对所构建的神经网络进行重复训练学习，利用测试集对训练学习结果进行误差达标测试，若达标，保存训练完成的神经网络于磁盘中并执行步骤5，若未达标，返回步骤3并增加所述指定次数；

步骤5：重现标准工作坐标系中的四个不共线的标记，使用相机位置和相机姿态发生改变后的相机进行实际应用相机图像抓取，获取标准工作坐标系中的四个不共线的标记在实际应用相机图像中的像素坐标；

步骤6：把步骤5中得到的像素坐标输入到训练完成的神经网络中，得到改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据；

步骤7：利用改变后的相机坐标系相对于标准工作坐标系的相机位置和相机姿态的数据并通过变换公式把改变后的相机坐标系下的像素坐标变换到标准工作坐标系下，完成标定。

2.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述的标记为二维码平面光学标记，所述二维码平面光学标记包括标记的编号信息，用于在相机图像中被读取。

3.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述相机位置为改变后的相机坐标系相对于标准工作坐标系的平移向量t，所述相机姿态为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵R。

4.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述神经网络为深层BP神经网络，所述深层BP神经网络包括多个神经元层，所述神经元层的层数不小于6层，每个所述神经元层包括多个神经元，所述神经元的个数不小于16个。

5.根据权利要求4所述的一种基于深度学习的相机标定方法，其特征在于，所述深层BP神经网络的输入量为按编号依次排列的四个标记的像素坐标，输出量为相机坐标系的旋转矩阵和平移向量。

6.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述的误差达标测试为测试误差的平均值小于给定值，公式如下：

式中，n代表测试集中包含n组相机位置和相机姿态的数据，ε为测试误差的平均值，i和n均为自然数，R_i和t_i对应为第i组数据中采集获取的相机的旋转矩阵和平移向量，R_oi和t_oi对应为第i组数据中的像素坐标输入神经网络后输出的相机的旋转矩阵和平移向量，ε₀为测试误差的给定值。

7.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述标准工作坐标系包括标记位于固定不发生运动的部件上的情况下的标准工作坐标系和标记位于移动部件上的情况下的标准工作坐标系。

8.根据权利要求1所述的一种基于深度学习的相机标定方法，其特征在于，所述步骤7中的变换公式为：

式中，X_c＝(x_c,y_c,z_c)^T为标准工作坐标系下的像素坐标，

为改变后的相机坐标系下的像素坐标，R为改变后的相机坐标系相对于标准工作坐标系的旋转矩阵，t为改变后的相机坐标系相对于标准工作坐标系的平移向量。

9.一种采用如权利要求1所述相机标定方法的基于深度学习的相机标定系统，其特征在于，包括工作台(4)、机械手(3)、相机(2)和标记(1)，所述标记(1)固定于所述机械手(3)上，所述相机(2)夹持安装于所述工作台(4)上，所述机械手(3)通过底座固定于所述工作台(4)上。

Images