CN114022572B - 摄像阵列自动校准方法 - Google Patents

Abstract

本发明公开一种摄像阵列自动校准方法，本方法能够在使用多台固定摄像设备的系统中实现对每个摄像机进行自动标定，能够对于阵列镜头和拍摄场景都基本不发生变化的产品实现自动校准，本方法的实现可以抵御因装配工艺、意外轻微碰撞等导致的镜头微小位移，它包括如下步骤：a）确定工作坐标系C1；b）标定相机并确定相机的影像坐标系C2_n；c）确定标定参照物并建立映射矩阵V1_n；d）设置固定标志点并确定位置矩阵Po；e）对相机进行标定，建立坐标映射转换矩阵V2_n；f）检测各固定标志点成像位置，组成位置矩阵Pt；g）计算补偿矩阵V3_n；h）确定相机移动后的新的坐标变换映射矩阵V_n。

Description

摄像阵列自动校准方法

技术领域

本发明涉及摄像阵列移位自动补偿技术领域，尤其涉及一种摄像阵列自动校准方法。

背景技术

在涉及基于图像识别和进行空间定位和测量的系统中，所使用的摄像机都需要进行校准（Calibration）。校准的过程需要获取成像系统中的镜头内部、外部、畸变度等参数，从而计算从成像坐标系向物理空间坐标系之间的空间映射关系，进而通过图像数据测算被拍摄物理在真实空间中的准确位置。在很多大型系统中，图像的采集来源于布放在各处的多个镜头，这些镜头组成协同阵列，共同完成工作。增加的镜头数量给标定工作带来了额外的工作量，例如每一次镜头发生位置或角度改变都需要对该镜头进行重新校准，不论该位置改变是工程人员有意为之还是使用者无意碰撞所致。又如，在量产产品时，每件产品中各镜头的安装位置和角度都有可能因装配工艺导致微小差别，这就要求在生产过程中要对每件产品的每个镜头都要进行校准，摄像头校准对技术人员专业要求较高，这无疑增加了生产成本。

在相机标定过程中，一般需要使用到一块表面绘制有可识别目标的标定板，在标定过程中标定板需要放置在一个能指示物理空间坐标系的基准位置上，这个基准位置在每个相机的标定过程中都需要包括，以使得各相机的成像坐标系都能建立向统一的物理坐标系的映射关系。在包含阵列相机的产品中，有时会发生放置在基准位置上的标定板无法被阵列中的某些镜头拍摄到的情况，这些无法标定的相机将不能参与到后续的空间定位计算，从而导致系统精度降低。

发明内容

本发明的目的在于克服现有技术的不足，适应现实需要，公开一种摄像阵列自动校准方法，本方法能够在使用多台固定摄像设备的系统中实现对每个摄像机进行自动标定，更重要的是，本方法能够对于阵列镜头和拍摄场景都基本不发生变化的产品实现自动校准，本方法的实现可以抵御因装配工艺、意外轻微碰撞等导致的镜头微小位移。

为了实现本发明的目的，本发明所采用的技术方案为：

公开一种摄像阵列自动校准方法，它包括如下步骤：

a)确定工作坐标系C1；

b)标定相机并确定相机的影像坐标系C2_n，n为相机个数；

c)确定标定参照物并建立标定坐标系C3_n与工作坐标系C1之间的映射矩阵V1_n；

d)设置固定标志点并确定固定标志点在影像坐标系C2_n中的位置矩阵Po=[Po₁,Po₂… Po_i …Po_m]，m为固定标志点的个数； Po_i为第i个固定标志点的影像坐标补1所形成的列向量Po_i=[x_oi,y_oi,1]^T，T为转置矩阵；

e)对相机进行标定，建立从影像坐标系C2_n向标定参照物的标定坐标系C3_n之间的坐标映射转换矩阵V2_n；

f)检测各固定标志点的成像位置，组成固定标志点的位置矩阵Pt=[Pt₁,Pt₂…Pt_i…Pt_m],其中Pt_i=[x_ti,y_ti,1]^T；其中，Pt_i代表其中任何一个固定标志点的位置矩阵,m为大于1的自然数,i为m中的任一一个数；

g)利用Po和Pt计算由于相机移动所导致影像坐标系C2_n移位的补偿矩阵V3_n；

h)确定相机移动后的新的影像坐标系C2_n ^’向工作坐标系C1坐标新的变换映射矩阵V_n，V_n=V1_n∙V2_n∙V3_n。

步骤d）中，所述固定标志点不少于3个且不共线。

步骤e）中，先确定相机在标定坐标系C3_n内的外参以及相机的成像系统的内参，得到相机投影矩阵K，V2_n=K^-1。

步骤e）中，对相机标定过程还包括计算镜头畸变系数得到畸变补偿矩阵D，其V2_n=K^-1∙D。

步骤e）中，采用N点透视位姿法得到相机在标定坐标系C3_n内的外参以及相机的成像系统的内参。

步骤g）中,当固定标志点的个数m=3时，V3_n=Po∙Pt^-1;当固定标志点的个数m>3时，寻找能令3×m矩阵的二阶范数最小的V3_n值：

。

本发明的有益效果在于：

本方法通过引入外部空间转换矩阵的间接标定算法，尤其是在使用多台固定摄像设备的系统中实现对每个摄像机进行自动标定的算法，克服了背景技术中所述的问题，本方法的使用能够在使用多台固定摄像设备的系统中实现对每个摄像机进行自动标定，更重要的是，本方法能够对于阵列镜头和拍摄场景都基本不发生变化的产品实现自动校准，本方法的实现可以抵御因装配工艺、意外轻微碰撞等导致的镜头微小位移。当摄像机在发生这些微小位移时，该方法可以针对每个镜头自动修正成像坐标系向物理坐标系的空间映射矩阵参数，而不需要重新校准，可以有效克服生产、安装、运输、使用过程中镜头发生意外微小位移导致的系统误差，降低产品生产维护成本，提高产品性能和稳定性。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明：

实施例1：一种摄像阵列自动校准方法，参见图1，它包括如下步骤：

a)确定工作坐标系C1，也即是相机的摄像阵列所检测空间的绝对坐标系。

b)标定各相机，将被标定的各相机安装在标准工作位置，确定第n号相机成像空间坐标系为影像坐标系为C2_n,n为相机个数。

c)在相机的镜头视野内安放用于表征物理空间的标定参照物并建立标定坐标系C3_n（标定参照物自身坐标系）与工作坐标系C1之间的映射矩阵V1_n，本步骤通过刻意安排标定坐标系C3_n与工作坐标系C1的相对位置关系可以简化映射矩阵V1_n的计算， 例如让二者各坐标轴平行或反向平行等。

d)在相机的镜头视野内安放不少于3个不共线的固定标志点，记录各固定标志点在相机镜头中所成像中的位置并确定在影像坐标系C2_n中的坐标，组成影像坐标系中各固定标志点的位置矩阵Po=[Po₁,Po₂…Po_i…Po_m]，其中，m为固定标志点的个数，Po_i为第i个固定标志点的影像坐标补1所成的列向量Po_i=[x_oi,y_oi,1]^T，m越大（固定标志点的数量越多）对于后期的精度越高。

e)建立从影像坐标系C2_n向标定坐标系C3_n之间的坐标映射转换矩阵V2_n，此步骤中采用N点透视位姿法（Perspective-N-Point）得到相机在标定坐标系C3_n内的方位参数，也即外参（ExtrinsicParameters），以及相机的成像系统参数，也即内参（IntrinsicParameters），从而得到相机投影矩阵K，此时V2_n=K^-1，而后计算镜头畸变系数得到畸变补偿矩阵D，此时V2_n=K^-1∙D。

f)系统工作期间，所有相机的标定标志点应保持相对工作坐标系C1和标定参照物标定坐标系（自身坐标系）C3_n位置固定不变，但相机自身有可能因为安装维护或意外碰撞导致发生小幅移位；此时，检测各固定标志点成像位置，组成固定标志点的位置矩阵Pt=[Pt₁,Pt₂…Pt_i …Pt_m],其中Pt_i=[x_ti,y_ti,1]^T, T为转置矩阵，其中，Pt_i代表其中任何一个固定标志点的位置矩阵,m为大于3的自然数,i为m中的任一一个数。

g)利用Po和Pt计算由于相机移动所导致影像坐标系C2_n移位的补偿矩阵V3_n，利用Po和Pt计算时，当固定标志点的个数m=3时，V3_n=Po∙Pt^-1，当固定标志点的个数m>3时，其计算方法为寻找能令3×m矩阵的二阶范数最小的V3值：

。

h)确定相机移动后的新的影像坐标系C2_n ^’向工作坐标系C1的新的变换映射矩阵V_n，V_n=V1_n∙V2_n∙V3_n,此时自动补偿标定过程完成。

综上，本发明方法将影像坐标系向工作坐标系的投影变换分解三部分，除利用传统PNP方法得到的影像坐标系与标定坐标系的映射变换V2_n外，还引入了镜头发生偏移前后的影像坐标系的映射变换V3_n,以及标定坐标系向工作坐标系的映射变换V1_n。

本方法通过在镜头视野内设置固定标志点并识别其位置变化，系统可以自动判定出镜头是否发生偏移，并在偏移后自动计算出V3_n。而V1 _n的引入则令任意摆放且具有不同拍摄视野的镜头可以在统一的工作坐标系下协同工作。

本方法通过引入外部空间转换矩阵的间接标定算法，尤其是在使用多台固定摄像设备的系统中实现对每个摄像机进行自动标定的算法，克服了背景技术中所述的问题，本方法的使用能够在使用多台固定摄像设备的系统中实现对每个摄像机进行自动标定，更重要的是，本方法能够对于阵列镜头和拍摄场景都基本不发生变化的产品实现自动校准，本方法的实现可以抵御因装配工艺、意外轻微碰撞等导致的镜头微小位移。当摄像机在发生这些微小位移时，该方法可以针对每个镜头自动修正成像坐标系向物理坐标系的空间映射矩阵参数，而不需要重新校准，可以有效克服生产、安装、运输、使用过程中镜头发生意外微小位移导致的系统误差，降低产品生产维护成本，提高产品性能和稳定性。

本发明实施例公布的是较佳的实施例，但并不局限于此，本领域的普通技术人员，极易根据上述实施例，领会本发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

Claims (5)

1.一种摄像阵列自动校准方法，其特征在于，包括如下步骤：

a) 确定工作坐标系C1；

b) 标定相机并确定相机的影像坐标系C2_n，n为相机个数；

c) 确定标定参照物并建立标定坐标系C3_n与工作坐标系C1之间的映射矩阵V1_n；

d) 设置固定标志点并确定固定标志点在影像坐标系C2_n中的位置矩阵Po=[Po₁,Po₂…Po_i…Po_m]，m为固定标志点的个数； Po_i为第i个固定标志点的影像坐标补1所形成的列向量Po_i=[x_oi,y_oi,1]^T，T为转置矩阵；

e) 对相机进行标定，建立从影像坐标系C2_n向标定参照物的标定坐标系C3_n之间的坐标映射转换矩阵V2_n；

f) 检测各固定标志点的成像位置，组成固定标志点的位置矩阵Pt=[Pt₁,Pt₂…Pt_i …Pt_m],其中Pt_i=[x_ti,y_ti,1]^T；其中，Pt_i代表其中任何一个固定标志点的位置矩阵,m为大于1的自然数,i为m中的任一一个数；

g) 利用Po和Pt计算由于相机移动所导致影像坐标系C2_n移位的补偿矩阵V3_n；利用Po和Pt计算时，当固定标志点的个数m=3时，V3_n=Po∙Pt^-1，当固定标志点的个数m>3时，其计算方法为寻找能令3×m矩阵的二阶范数最小的V3_n值：

；

h) 确定相机移动后的新的影像坐标系C2_n ^’向工作坐标系C1坐标新的变换映射矩阵V_n，V_n=V1_n∙V2_n∙V3_n。

2.如权利要求1所述的摄像阵列自动校准方法，其特征在于：步骤d）中，所述固定标志点不少于3个且不共线。

3.如权利要求1所述的摄像阵列自动校准方法，其特征在于：步骤e）中，先确定相机在标定坐标系C3_n内的外参以及相机的成像系统的内参，得到相机投影矩阵K，V2_n=K^-1。

4.如权利要求3所述的摄像阵列自动校准方法，其特征在于：步骤e）中，对相机标定过程还包括计算镜头畸变系数得到畸变补偿矩阵D，其V2_n=K^-1∙D。

5.如权利要求3所述的摄像阵列自动校准方法，其特征在于：步骤e）中，采用N点透视位姿法得到相机在标定坐标系C3_n内的外参以及相机的成像系统的内参。

Images