CN109785394A - 一种相机与转台联合标定方法、装置及存储介质 - Google Patents

Abstract

本发明涉及一种相机与转台联合标定方法、装置及存储介质，所述方法包括：获取相机拍摄的转台的多幅图像；基于PnP算法，根据所述图像确定所述相机的标定参数；根据所述标定参数确定所述转台的不同位置之间的转换关系；根据所述标定参数确定所述相机与所述转台之间的转换关系。本发明的技术方案能够快速实现对相机和转台的联合标定，并且联合标定结果精准度高。

Description

一种相机与转台联合标定方法、装置及存储介质

技术领域

本发明涉及相机标定技术领域，尤其涉及一种相机与转台联合标定方法、装置及存储介质。

背景技术

目前，常通过棋盘格标定板或圆形标定板来进行相机标定，通过对拍摄的标定板的图像进行处理，确定相机的标定参数。但是，针对使用相机拍摄转动的转台时，该方法无法实现对相机和转台的旋转量进行联合标定，联合标定即为通过标定确定相机的标定参数、转台上各位置之间的转换关系以及相机与转台的转换关系。

发明内容

针对上述现有技术的不足，本发明提供了一种相机与转台联合标定方法、装置及存储介质。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供了一种相机与转台联合标定方法，所述方法包括：

获取相机拍摄的转台的多幅图像。

基于PnP算法，根据所述图像确定所述相机的标定参数。

根据所述标定参数确定所述转台的不同位置之间的转换关系。

根据所述标定参数确定所述相机与所述转台之间的转换关系。

第二方面，本发明提供了一种相机与转台联合标定装置，包括

获取模块，用于获取相机拍摄的转台的多幅图像。

第一处理模块，用于基于PnP算法，根据所述图像确定所述相机的标定参数。

第二处理模块，用于根据所述标定参数确定所述转台的不同位置之间的转换关系。

第三处理模块，用于根据所述标定参数确定所述相机与所述转台之间的转换关系。

第三方面，本发明提供了一种相机与转台联合标定装置，所述装置包括存储器和处理器。

所述存储器，用于存储计算机程序。

所述处理器，用于当执行计算机程序时，实现如上所述的相机与转台联合标定方法。

第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的相机与转台联合标定方法。

本发明的相机与转台联合标定方法、装置及存储介质的有益效果是：基于PnP算法，对相机拍摄的图像进行处理，能够快速获得相机的标定参数，标定参数可包括外参矩阵、内参矩阵和畸变参数，根据标定参数能够准确获得转台上各位置之间的转换关系以及相机与转台之间的关系。本发明的技术方案能够快速实现对相机和转台的联合标定，并且联合标定结果精准度高。

附图说明

图1为本发明实施例的一种相机与转台联合标定方法的流程示意图；

图2位本发明实施例的一种立体标定装置的结构示意图；

图3位本发明实施例的一种标定板的示意图；

图4为本发明实施例的一种相机与转台联合标定装置的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供了一种相机与转台联合标定方法，所述方法包括：

110，获取相机拍摄的转台的多幅图像。

120，基于PnP算法，根据所述图像确定所述相机的标定参数。

130，根据所述标定参数确定所述转台的不同位置之间的转换关系。

140，根据所述标定参数确定所述相机与所述转台之间的转换关系。

本实施例中，基于PnP算法，对相机拍摄的图像进行处理，能够快速获得相机的标定参数，标定参数可包括外参矩阵、内参矩阵和畸变参数，根据标定参数能够准确获得转台上各位置之间的转换关系以及相机与转台之间的关系。本发明的技术方案能够快速实现对相机和转台的联合标定，并且联合标定结果精准度高。

具体地，对相机和转台进行联合标定时，相机位置固定，转台设置在相机的正前方，使相机能够拍摄到整个转台。

优选地，所述转台上设置有立体标定装置，所述立体标定装置包括多个标定板，所述获取相机拍摄的转台的多幅图像的步骤之前还包括如下步骤：

以正对所述相机的所述转台的位置为转台零号位置，控制所述转台旋转，当所述转台上的待标定位置旋转至所述转台零号位置时，控制所述相机对所述转台和所述立体标定装置进行拍摄，获得一幅所述图像，旋转所述转台至多个所述待标定位置，获得多幅所述图像。

优选地，如图2所示，所述立体标定装置为长方体，长方体的四个面为标定板，标定板可以为棋盘格标定板或圆形标定板，也可以是如图3所示的三角形标定板，所述标定板的上表面设有多个黑白交错的三角形图样，一个所述三角形图样的三条边分别与三个不同的所述三角形图样相连，且相连的两个所述三角形图样有且仅有一条边重合，部分所述三角形图样中设有编码，所述编码互不相同，且所述编码的颜色与所述编码所在的所述三角形图样的颜色不同。

具体地，可根据需要设定编码的位置和数量，由于编码互不相同，且编码的位置也不相同，对相机进行标定时，识别出的编码就可知道编码在标定板中所处的位置，根据编码的位置就可知道标定板上每个角点在标定板上的位置，标定板的角点为三角形图样的顶点，在对相机进行标定时，不需要拍摄整个标定板或必须拍摄到标定板中心，即使只拍摄到标定板的局部，只要局部区域中存在编码，就可以根据对应的角点的位置对相机进行标定，结构简单、实用高效。

优选地，所述标定参数包括外参矩阵，所述确定所述相机的标定参数具体包括如下步骤：

对于一幅所述图像，基于PnP算法，根据所述图像中的一个所述标定板确定所述相机的一个所述外参矩阵。

遍历所述图像中的所有所述标定板，获得多个所述外参矩阵。

遍历所有所述图像，获得多个所述外参矩阵。

具体地，提取标定板的角点在标定板图像的图像坐标系中的2D坐标，结合角点在标定板所处位置的用户坐标系中的3D坐标，建立2D坐标与3D坐标之间的对应关系，基于PnP算法，根据所述对应关系确定与所述标定板图像对应的外参矩阵。

优选地，所述根据所述图像确定所述相机的标定参数的步骤之后包括如下步骤：

当一幅所述图像中包括多个所述标定板时，对于任意两个所述标定板，将一个所述标定板对应的所述相机的所述外参矩阵表示为[R₁|T₁]，根据所述外参矩阵确定所述标定板的用户坐标系W₁与所述相机的相机坐标系C₁之间的转换关系，所述转换关系由第一公式表示，所述第一公式为：

C₁＝R₁W₁+T₁,

将另一个所述标定板对应的所述相机的所述外参矩阵表示为[R₂|T₂]，根据所述外参矩阵确定所述标定板的用户坐标系W₂与所述相机的相机坐标系C₁之间的转换关系，所述转换关系由第二公式表示，所述第二公式为：

C₁＝R₂W₂+T₂，

根据所述第一公式和所述第二公式，确定所述世界坐标系W₂与所述世界坐标系W₁之间的转换关系，所述转换关系由第三公式表示，所述第三公式为：

W₂＝R₂ ^-1R₁W₁+R₂ ^-1(T₁-T₂),

根据所述第三公式，确定任意两个所述标定板的用户坐标系W₁和用户坐标系W₂之间的转换矩阵[R_k|T_k]，所述转换矩阵[R_k|T_k]为所述标定板之间的转换矩阵，其中，R_k＝R₂ ^{- 1}R₁,T_k＝R₂ ^-1(T₁-T₂)，R_k为旋转矩阵，T_k为平移向量。

具体地，用户坐标系为用户定义的空间三维坐标系，用于描述三维空间中的目标物体与相机之间的坐标位置，满足右手法则。世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。相机坐标系以相机的光点为原点，Z轴与光轴重合，并垂直于成像平面，且取摄像方向为正方向，X、Y轴与图像物理坐标系的x、y轴平行，且原点之间的距离为相机的焦距。像素坐标系是以图像的左上方为原点建立的以像素为单位的直接坐标系。

优选地，所述根据所述标定参数确定所述转台的不同位置之间的转换矩阵具体包括如下步骤：

所述转台旋转时，对于所述相机从所述转台的任意两个位置拍摄的包括同一个所述标定板的两幅所述图像，将其中一幅所述图像中的所述标定板对应的用户坐标系表示为W₃，与所述标定板在所述图像中对应的所述相机的所述外参矩阵表示为[R₃|T₃]，所述用户坐标系W₃与所述相机的所述相机坐标系C₁之间的转换关系由第四公式表示，所述第四公式为：

C₁＝R₃W₃+T₃，

将另一幅所述图像中所述标定板对应的用户坐标系表示为W₄，与所述标定板在另一幅所述图像中对应的所述相机的所述外参矩阵表示为[R₄|T₄]，所述用户坐标系W₄与所述相机的所述相机坐标系C₁之间的转换关系由第五公式表示，所述第五公式为：

C₁＝R₄W₄+T₄，

根据所述第四公式和所述第五公式，确定所述用户坐标系W₄与所述用户坐标系W₃之间的转换关系，所述转换关系由第六公式表示，所述第六公式为：

W₄＝R₄ ^-1R₃W₃+R₄ ^-1(T₃-T₄),

根据所述第三公式，确定任意两个所述标定板的用户坐标系W₃和用户坐标系W₄之间的转换矩阵[R_p|T_p]，所述转换矩阵[R_p|T_p]为所述转台的两个所述位置之间的转换关系，其中，R_p＝R₄ ^-1R₃,T_p＝R₄ ^-1(T₃-T₄)，R_p为旋转矩阵，T_p为平移向量。

具体地，根据转台上任意两个位置之间的转换关系，当确定其中一个位置与相机之间的转换关系时，就可确定另一个位置与相机之间的转换关系。例如以转台零号位置所在的用户坐标系为基准坐标系，通过转台上各位置之间的转换关系，就可以获得转台上所有位置在基准坐标系中的对应坐标，便于对转台各位置进行处理和描述。

优选地，根据所述标定参数确定所述相机与所述转台之间的转换矩阵具体包括如下步骤：指定所述转台未转动时，位于所述转台零号位置的所述标定板为基准标定板，所述图像包括所述基准标定板位于所述转台零号位置时的基准图像，根据所述基准图像确定与所述基准标定板对应的基准外参矩阵，所述基准外参矩阵为所述转台零号位置与所述相机之间的转换关系。

具体地，基准外参矩阵是转台零号位置的用户坐标系与相机坐标系之间的转换关系，结合转台各位置之间的转换关系，就可以获得转台各个位置与相机之间的转换关系。

优选地，所述标定参数还包括内参矩阵和畸变参数，所述根据所述标定参数确定所述转台的不同位置之间的转换矩阵的步骤之后还包括如下步骤：

根据任一幅所述图像，采用张正友标定法标定出所述相机的所述内参矩阵和畸变参数，所述内参矩阵表示为K_n，所述畸变参数为D_n。

指定所述立体标定装置上任一点在世界坐标系中的坐标X，确定所述点在图像坐标系中的坐标x。

以所述标定参数、所述转换矩阵[R_k|T_k]和所述转换矩阵[R_p|T_p]为初始值建立目标函数，所述目标函数由第七公式表示，所述第七公式为：

F(x)＝min||x-D_n(K_n[R_n T_n][R_p T_p][R_k T_k]X))||，

其中，所述[R_n|T_n]为所述基准外参矩阵。

基于所述目标函数，采用Levenberg-Marquart算法进行全局优化，获得优化后的所述标定参数。

具体地，采用Levenberg-Marquart算法对所述第一转换矩阵、所述第二转换矩阵和所述标定参数进行全局优化，能够降低整个联合标定过程的误差，提高了联合标定的精度，使得到的结果更加可靠，并且联合标定过程简单。

如图4所示，本发明实施例提供了一种相机与转台联合标定装置，包括

获取模块，用于获取相机拍摄的转台的多幅图像。

第一处理模块，用于基于PnP算法，根据所述图像确定所述相机的标定参数。

第二处理模块，用于根据所述标定参数确定所述转台的不同位置之间的转换关系。

第三处理模块，用于根据所述标定参数确定所述相机与所述转台之间的转换关系。

本发明另一实施例提供了一种相机与转台联合标定装置，所述装置包括存储器和处理器。

所述存储器，用于存储计算机程序。

所述处理器，用于当执行计算机程序时，实现如上所述的相机与转台联合标定方法。

本发明再一实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的相机与转台联合标定方法。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种相机与转台联合标定方法，其特征在于，所述方法包括如下步骤：

获取相机拍摄的转台的多幅图像；

基于PnP算法，根据所述图像确定所述相机的标定参数；

根据所述标定参数确定所述转台的不同位置之间的转换关系；

根据所述标定参数确定所述相机与所述转台之间的转换关系。

2.根据权利要求1所述的相机与转台联合标定方法，其特征在于，所述转台上设置有立体标定装置，所述立体标定装置包括多个标定板，所述获取相机拍摄的转台的多幅图像的步骤之前还包括如下步骤：

以正对所述相机的所述转台的位置为转台零号位置，控制所述转台旋转，当所述转台上的待标定位置旋转至所述转台零号位置时，控制所述相机对所述转台和所述立体标定装置进行拍摄，获得一幅所述图像，旋转所述转台至多个所述待标定位置，获得多幅所述图像。

3.根据权利要求1所述的相机与转台联合标定方法，其特征在于，所述标定参数包括外参矩阵，所述确定所述相机的标定参数具体包括如下步骤：

对于一幅所述图像，基于PnP算法，根据所述图像中的一个所述标定板确定所述相机的一个所述外参矩阵；

遍历所述图像中的所有所述标定板，获得多个所述外参矩阵；

遍历所有所述图像，获得多个所述外参矩阵。

4.根据权利要求3所述的相机与转台联合标定方法，其特征在于，所述根据所述图像确定所述相机的标定参数的步骤之后包括如下步骤：

当一幅所述图像中包括多个所述标定板时，对于任意两个所述标定板，将一个所述标定板对应的所述相机的所述外参矩阵表示为[R₁|T₁]，根据所述外参矩阵确定所述标定板的用户坐标系W₁与所述相机的相机坐标系C₁之间的转换关系，所述转换关系由第一公式表示，所述第一公式为：

C₁＝R₁W₁+T₁,

将另一个所述标定板对应的所述相机的所述外参矩阵表示为[R₂|T₂]，根据所述外参矩阵确定所述标定板的用户坐标系W₂与所述相机的相机坐标系C₁之间的转换关系，所述转换关系由第二公式表示，所述第二公式为：

C₁＝R₂W₂+T₂，

根据所述第一公式和所述第二公式，确定所述世界坐标系W₂与所述世界坐标系W₁之间的转换关系，所述转换关系由第三公式表示，所述第三公式为：

W₂＝R₂ ^-1R₁W₁+R₂ ^-1(T₁-T₂),

根据所述第三公式，确定任意两个所述标定板的用户坐标系W₁和用户坐标系W₂之间的转换矩阵[R_k|T_k]，所述转换矩阵[R_k|T_k]为所述标定板之间的转换矩阵，其中，R_k＝R₂ ^-1R₁,T_k＝R₂ ^-1(T₁-T₂)。

5.根据权利要求3所述的相机与转台联合标定方法，其特征在于，所述根据所述标定参数确定所述转台的不同位置之间的转换矩阵具体包括如下步骤：

所述转台旋转时，对于所述相机从所述转台的任意两个位置拍摄的包括同一个所述标定板的两幅所述图像，将其中一幅所述图像中的所述标定板对应的用户坐标系表示为W₃，与所述标定板在所述图像中对应的所述相机的所述外参矩阵表示为[R₃|T₃]，所述用户坐标系W₃与所述相机的所述相机坐标系C₁之间的转换关系由第四公式表示，所述第四公式为：

C₁＝R₃W₃+T₃，

将另一幅所述图像中所述标定板对应的用户坐标系表示为W₄，与所述标定板在另一幅所述图像中对应的所述相机的所述外参矩阵表示为[R₄|T₄]，所述用户坐标系W₄与所述相机的所述相机坐标系C₁之间的转换关系由第五公式表示，所述第五公式为：

C₁＝R₄W₄+T₄，

根据所述第四公式和所述第五公式，确定所述用户坐标系W₄与所述用户坐标系W₃之间的转换关系，所述转换关系由第六公式表示，所述第六公式为：

W₄＝R₄ ^-1R₃W₃+R₄ ^-1(T₃-T₄),

根据所述第三公式，确定任意两个所述标定板的用户坐标系W₃和用户坐标系W₄之间的转换矩阵[R_p|T_p]，所述转换矩阵[R_p|T_p]为所述转台的两个所述位置之间的转换关系，其中，R_p＝R₄ ^-1R₃,T_p＝R₄ ^-1(T₃-T₄)。

6.根据权利要求5所述的相机与转台联合标定方法，其特征在于，根据所述标定参数确定所述相机与所述转台之间的转换矩阵具体包括如下步骤：指定所述转台未转动时，位于所述转台零号位置的所述标定板为基准标定板，所述图像包括所述基准标定板位于所述转台零号位置时的基准图像，根据所述基准图像确定与所述基准标定板对应的基准外参矩阵，所述基准外参矩阵为所述转台零号位置与所述相机之间的转换关系。

7.根据权利要求6所述的相机与转台联合标定方法，其特征在于，所述标定参数还包括内参矩阵和畸变参数，所述根据所述标定参数确定所述转台的不同位置之间的转换矩阵的步骤之后还包括如下步骤：

根据任一幅所述图像，采用张正友标定法标定出所述相机的所述内参矩阵和畸变参数，所述内参矩阵表示为K_n，所述畸变参数为D_n；

指定所述立体标定装置上任一点在世界坐标系中的坐标X，确定所述点在图像坐标系中的坐标x；

以所述标定参数、所述转换矩阵[R_k|T_k]和所述转换矩阵[R_p|T_p]为初始至建立目标函数，所述目标函数由第七公式表示，所述第七公式为：

F(x)＝min||x-D_n(K_n[R_n T_n][_xp T_p][R_k T_k]X))||，

其中，所述[R_n|T_n]为所述基准外参矩阵；

基于所述目标函数，采用Levenberg-Marquart算法进行全局优化，获得优化后的所述标定参数。

8.一种相机与转台联合标定装置，其特征在于，包括

获取模块，用于获取相机拍摄的转台的多幅图像；

第一处理模块，用于基于PnP算法，根据所述图像确定所述相机的标定参数；

第二处理模块，用于根据所述标定参数确定所述转台的不同位置之间的转换关系；

第三处理模块，用于根据所述标定参数确定所述相机与所述转台之间的转换关系。

9.一种相机与转台联合标定装置，其特征在于，所述装置包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行计算机程序时，实现如权利要求1至7任一项所述的相机与转台联合标定方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至7任一项所述的相机与转台联合标定方法。