CN108596982A - 一种简易的车载多目摄像机环视系统标定方法及装置 - Google Patents

Abstract

本发明提供了一种简易的车载多目摄像机环视系统标定方法，包括如下步骤：步骤1)：获取摄相机的内部参数和鱼眼镜头的失真系数；步骤2)：用至少两个步骤1)描述的摄像机拍摄汽车周围不同区域的图像，两个相邻的所述摄像机之间具有一定的公共区域，在该公共区域内做标记；步骤3)：在步骤2)的所述摄像机的非公共区域和公共区域内，沿地面平铺特定大小的“回型”标定模板。本发明还提供了一种简易的车载多目摄像机环视系统标定装置。本发明的有益效果是：可在可视范围内随意摆放“回型”标定模板，可轻便快速的完成全景系统的标定。

Description

一种简易的车载多目摄像机环视系统标定方法及装置

技术领域

本发明涉及车载多目摄像机环视系统标定方法，尤其涉及一种简易的车载多目摄像机环视系统标定方法及装置。

背景技术

全景环视系统是基于安装在车辆前左右后的4个鱼眼摄像头所提供的区域画面图像，通过主控制器处理合成车辆周边全景图像实时显示在车内的显示器上。该系统包括安装在车辆前方的鱼眼摄像头、车辆左侧的鱼眼摄像头、车辆右侧的鱼眼摄像头、车辆后方的鱼眼摄像头、主控制器及相关线束。主控制器的输入端与4个鱼眼摄像头相连，用于车辆前左右后区域画面的采集；主控制器的输出端与车内显示器相连，用于显示车辆周边的全景图像；主控制器用于将4个鱼眼摄像头采集的图像进行矫正处理，然后将矫正后的图像进行拼接处理，最终得到车辆周边的全景图像。由于鱼眼摄像头提供的图像存在严重畸变，故需要对鱼眼摄像头进行标定。

全景系统标定的实质是建立图像像素位置与实车真实场景位置的关系。从实车真实场景坐标到图像坐标，需要进行多次坐标系投影变换。为此，建立5个坐标系：实车坐标系，世界坐标系、摄像机坐标系、成像面坐标系和图像坐标系。从实车坐标系到世界坐标系的投影变换关系由实际车型和标定模板位置相关。从世界坐标系到摄像机坐标系的投影变换关系仅与摄像机的安装位置和安装方式相关，称为摄像机外参数。从摄像机坐标至图像坐标的变换则与摄像机自身的芯片和工艺相关，一旦摄像机组装完成便不受摄像机安装位置、使用环境等因素影响，称之为摄像机内参数。摄像机内参数与使用环境和安装方式无关，一旦设计完成可视为恒定参数，而外参数因为受安装、参考物和使用环境影响，可能有较大变化，需要根据实际情况进行标定。

在车厂标定工位，传统的标定方法是：制作成本较高的标定工位，对标定场地大小及环境要求极高，如图2所示。而在后装市场个人标定时，需要个人打印比较大型且厚重的标定布，通过米尺丈量的方式，将标定布摆放到位，操作麻烦，而且精度低，不易于一次性完成标定。总之，无论前装标定还是后装标定，其标定原理的一个共性是，必须事先已知标定模板上特征点的准确世界坐标位置，从而完成摄像机的外参标定。因此，如何轻便快速的完成全景系统的标定，是本领域技术人员所亟待解决的技术问题。

发明内容

为了解决现有技术中的问题，本发明提供了一种简易的车载多目摄像机环视系统标定方法及装置，可轻便快速的完成全景系统的标定。

本发明提供了一种简易的车载多目摄像机环视系统标定方法，包括如下步骤：

步骤1)：获取摄相机的内部参数和鱼眼镜头的失真系数；

步骤2)：用至少两个步骤1)描述的摄像机拍摄汽车周围不同区域的图像，两个相邻的所述摄像机之间具有一定的公共区域，在该公共区域内做标记；

步骤3)：在步骤2)的所述摄像机的非公共区域和公共区域内，沿地面平铺特定大小的“回型”标定模板；

步骤4)：测量汽车的长和宽，确定所述摄像机对于汽车的安装位置，并识别“回型”标定模板中的特征点坐标；

步骤5)：根据步骤1)得到的摄像机的内部参数和失真系数，对步骤2)中采集的图像进行失真去除处理，得到失真校正后图像，并记录矫正后的“回型”标定模板特征点坐标；

步骤6)：根据步骤5)得到的失真校正后图像，利用每个“回型”标定模板计算从原始摄像机位置到虚拟鸟瞰位置的单映性变换矩阵，计算出各摄像机最佳的单映性变换矩阵，将步骤5)中的失真校正后图像变换到虚拟鸟瞰摄相机视角图像；

步骤7)：根据步骤6)得到虚拟鸟瞰摄相机视角图像，记录摄像头中各个特征点在虚拟鸟瞰视角中的坐标；

步骤8)：根据步骤7)中的特征点在虚拟鸟瞰视角中的坐标，将其均转化到实车坐标系下，此时的坐标即为“回型”标定模板摆放的世界坐标；

步骤9)：输出标定参数。

作为本发明的进一步改进，在步骤1)中，采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数。

作为本发明的进一步改进，在步骤1)中，从鱼眼镜头畸变曲线图中得出失真系数。

作为本发明的进一步改进，在步骤2)中，所述摄像机至少包括前摄像机、后摄像机，在步骤3)中，在步骤2)的前摄像机、后摄像机的非公共区域和公共区域内，沿地面随意平铺特定大小的“回型”标定模板。

作为本发明的进一步改进，在步骤2)中，所述摄像机包括前摄像机、后摄像机、左摄像机、右摄像机，在步骤7)中，根据步骤6)得到虚拟鸟瞰摄相机视角图像，记录前摄像机、后摄像机、左摄像机、右摄像机中各个特征点在虚拟鸟瞰视角中的坐标。

作为本发明的进一步改进，在步骤6)中，通过LM算法迭代优化，计算出各摄像机最佳的单映性变换矩阵。

作为本发明的进一步改进，在步骤9)中，输出标定参数包括：摄相机的内部参数，鱼眼镜头的失真系数，单映性变换矩阵。

作为本发明的进一步改进，所述的步骤5)中，采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数，用针孔模型表示如下：

其中，fx和fy为用图像行和列像素表示的相机焦距，X0，Y0为投影中心；(Xw,Yw,Zw)为世界坐标系中的三维点；R和T为世界坐标系到摄相机坐标系的旋转和平移；(Xpix,Ypix)为(Xw,Yw,Zw)对应的图像点坐标，用高阶径向模型近似鱼眼镜头的径向失真:

其中k1，k2，k3为径向失真系数，根据上述内参和畸变系数，对鱼眼图像做畸变矫正，并记录矫正后特征点坐标。

作为本发明的进一步改进，所述的步骤6)中，计算每个摄像头的最佳的单映性变换矩阵H，并将其在同焦距下投影到虚拟鸟瞰视角中，投影如下：

其中h00至h22为3*3的H矩阵中矩阵元素，那么展开可得特征点变换后的X,Y坐标为：

作为本发明的进一步改进，所述的步骤8)中，分别将变换后的特征点坐标转换到实车坐标系，即可知“回型”标定模板摆放的真实世界坐标，已知真实世界坐标，即可按照车载环视系统的投影方法得到全景虚拟图像。

本发明还提供了一种简易的车载多目摄像机环视系统标定装置，其用于执行上述任一项所述的简易的车载多目摄像机环视系统标定方法。

本发明的有益效果是：通过上述方案，可在可视范围内随意摆放“回型”标定模板，可轻便快速的完成全景系统的标定。

附图说明

图1是鱼眼镜头畸变曲线图。

图2是传统复杂的全景系统标定工位示意图。

图3是本发明一种简易的车载多目摄像机环视系统标定方法的实车坐标系示意图。

图4是本发明一种简易的车载多目摄像机环视系统标定方法的单个“回型”标定模板尺寸示意图。

具体实施方式

下面结合附图说明及具体实施方式对本发明作进一步说明。

如图1、3、4所示，一种简易的车载多目摄像机环视系统标定方法，分别安装于汽车的车头、车尾、左侧和右侧的四个广角摄像头，采用六个“回型”标定模板，根据车载全景系统选用的广角摄像头的视角宽度分散放置在车辆周围，无需固定相对位置关系，即可达到标定四路摄像头内、外参数的目的。该方法较传统方法不仅简化了标定模板，简化了原有标定现场建设方法，提高了可操作性，且便于系统识别，进一步可实现高鲁棒性的车载全景系统自动标定。

一种简易的车载多目摄像机环视系统标定方法，具体包括如下步骤：步骤1)：采用鱼眼广角摄相机的标定算法(张氏标定法)，计算摄相机的内部参数M矩阵和鱼眼镜头的失真系数K1、K2、K3，亦可无需标定，从镜头厂商给出的鱼眼镜头畸变曲线图(如图1所示)得出失真系数，摄像头制造商得到内参系数；

步骤2)：用四个步骤1)描述的摄像机拍摄汽车周围不同区域的图像，分别安装于汽车的车头、车尾、左侧和右侧的四个广角的摄像头，即前摄像机、后摄像机、左摄像机、右摄像机，所说的相邻的摄像机之间具有一定的公共区域，并在共区域内做标记；

步骤3)：在步骤2)的前、后摄像机的非公共区域和公共区域内，沿地面随意平铺特定大小的“回型”标定模板，如图4所示，其中，摆放“回型”标定模板为：根据广角摄像头的视角宽度，调整车辆与“回型”标定模板之间的位置关系，使四路鱼眼摄像头均可捕获到“回型”标定模板的图像；

步骤4)：测量汽车的长和宽，确定摄像机对于汽车的安装位置，并识别采集摄像头图像中“回型”标定模板中的所有特征点坐标A、B、C、D、E、F、G、H，针对检测到的特征点进行分组，每个“回型”为一组，每组8个特征点；

步骤5)：根据步骤1)得到的摄像机内部参数和失真系数，对步骤2)中采集的图像进行失真去除处理，得到失真校正后图像，即无失真图，并记录矫正后的“回型”标定模板特征点坐标；

步骤6)：根据步骤5)得到的无失真图，利用每个“回型”标定模板计算从原始摄像机位置到虚拟鸟瞰位置的单映性变换矩阵。通过LM算法迭代优化，计算出各相机最佳的单映性变换矩阵，将步骤5)中的无失真图像变换到虚拟鸟瞰摄相机视角图像，即虚拟鸟瞰视角的图像；

步骤7)：根据步骤6)得到虚拟鸟瞰视角的图像，记录4个摄像头中各个特征点在虚拟鸟瞰视角中的坐标；

步骤8)：根据步骤7)中的特征点坐标，将其均转化到实车坐标系下，此时的坐标即为“回型”标定模板摆放的世界坐标；

步骤9)：输出标定参数：摄相机内部参数，鱼眼镜头失真系数，单映性矩阵，摄像机外部参数。

所述的步骤5)中，采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数，可用针孔模型表示如下：

其中，fx和fy为用图像行和列像素表示的相机焦距，X0，Y0为投影中心；(Xw,Yw,Zw)为世界坐标系中的三维点；R和T为世界坐标系到摄相机坐标系的旋转和平移；(Xpix,Ypix)为(Xw,Yw,Zw)对应的图像点坐标。用高阶径向模型近似鱼眼镜头的径向失真:

其中k1，k2，k3为径向失真系数，根据上述内参和畸变系数，对鱼眼图像做畸变矫正，并记录矫正后特征点坐标。

所述的步骤6)中，计算每个摄像头的最佳的单映性变换矩阵H，并将其在同焦距下投影到虚拟鸟瞰视角中，投影如下：

其中h00至h22为3*3的H矩阵中矩阵元素，那么展开可得特征点变换后的X,Y坐标为：

所述的步骤8)中，实车坐标系如图3所示，分别将变换后的特征点坐标转换到实车坐标系，即可知“回型”标定模板摆放的真实世界坐标。已知真实世界坐标，即可按照车载环视系统的投影方法得到全景虚拟图像。

所述的步骤6)中，对每路图像中每组校正后的特征点进行逆透视变换，其中每组变换对应一个最佳的单映性变换矩阵H，通过L-M方法对所求的各路摄像头的单应性矩阵迭代优化，求出最佳的单映性变换矩阵H。求解过程如下：

在齐次坐标中，假设一点p(xi,yi,1)经过H矩阵的变换变为p'(xi',yi',1)，即p'＝H*p，通常，对于透视变换，H矩阵有8个自由度，这样至少需要4对特征点对求解，4个特征点对可以建立8个方程。那么对于有n对特征点的情况(超定方程)，解p'＝H*p方程组可以转化为对齐次方程组Ax＝0的求解。而对Ax＝0的求解转化为min||Ax||2的非线性优化问题(超定方程，通过最小二乘拟合得到近似解)。

对于某一点(xi,yi)，其变换可表述为p'＝H*p，其中h00至h22为3*3的H矩阵中矩阵元素。

代入展开可得：

那么可得：

进一步变换为：

这样便可构造系数矩阵：

通过系数矩阵，可以构造出齐次线性方程组(Ax＝0)：

即：

对于上述这样的超定方程求解，可以通过最小二乘的方式求解。通过对系数矩阵A求取特征值和特征向量得到。通过以下方式获得最小二乘解：

[V,D]＝eig(A'*A)

其中D是特征值对角矩阵(特征值沿主对角线降序)，V是对应D特征值的特征向量(列向量)组成的特征矩阵,A'表示A的转置。其最小二乘解为V(1)，即系数矩阵A最小特征值对应的特征向量就是超定方程组Ax＝0的最小二乘解。

至此，最佳的单映性变换矩阵H已经求取，后续可以通过随机采样一致性(RANSC)进行精选，或者通过LM算法进行优化。

根据每路摄像头的最佳的单映性变换矩阵H，将各组的校正后特征点按照统一焦距进行逆透视变换，计算出经过逆透视变换后的特征点坐标，该坐标即为特征点的世界坐标。坐标变换过程如下：

假设P'(x2,y2,z2)为待求的世界坐标点，最佳的单映性变换矩阵H为经过LM算法优化后最佳矩阵，P(x1,y1,z1)为识别到的特征点图像坐标，则

由于标定模板位于地面，所以Z2＝0，优化后，可知最终特征点真实世界坐标x2',y2'为：

最后将四路图像中所有特征点的世界坐标，统一到实车坐标系中，此时即可根据最终的世界坐标，用EPNP的方法来做摄像机外参的标定。

本发明提供的一种简易的车载多目摄像机环视系统标定方法，是较传统标定工位的改进，可在可视范围内随意摆放“回型”标定模板，可轻便快速的完成全景系统的标定。

本发明还提供了一种简易的车载多目摄像机环视系统标定装置，其用于执行上述任一项所述的简易的车载多目摄像机环视系统标定方法。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种简易的车载多目摄像机环视系统标定方法，其特征在于，包括如下步骤：

步骤1)：获取摄相机的内部参数和鱼眼镜头的失真系数；

步骤2)：用至少两个步骤1)描述的摄像机拍摄汽车周围不同区域的图像，两个相邻的所述摄像机之间具有一定的公共区域，在该公共区域内做标记；

步骤3)：在步骤2)的所述摄像机的非公共区域和公共区域内，沿地面平铺特定大小的“回型”标定模板；

步骤4)：测量汽车的长和宽，确定所述摄像机对于汽车的安装位置，并识别“回型”标定模板中的特征点坐标；

步骤5)：根据步骤1)得到的摄像机的内部参数和失真系数，对步骤2)中采集的图像进行失真去除处理，得到失真校正后图像，并记录矫正后的“回型”标定模板特征点坐标；

步骤6)：根据步骤5)得到的失真校正后图像，利用每个“回型”标定模板计算从原始摄像机位置到虚拟鸟瞰位置的单映性变换矩阵，计算出各摄像机最佳的单映性变换矩阵，将步骤5)中的失真校正后图像变换到虚拟鸟瞰摄相机视角图像；

步骤7)：根据步骤6)得到虚拟鸟瞰摄相机视角图像，记录摄像头中各个特征点在虚拟鸟瞰视角中的坐标；

步骤8)：根据步骤7)中的特征点在虚拟鸟瞰视角中的坐标，将其均转化到实车坐标系下，此时的坐标即为“回型”标定模板摆放的世界坐标；

步骤9)：输出标定参数。

2.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：在步骤1)中，采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数。

3.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：在步骤1)中，从鱼眼镜头畸变曲线图中得出失真系数。

4.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：在步骤2)中，所述摄像机至少包括前摄像机、后摄像机，在步骤3)中，在步骤2)的前摄像机、后摄像机的非公共区域和公共区域内，沿地面随意平铺特定大小的“回型”标定模板。

5.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：在步骤2)中，所述摄像机包括前摄像机、后摄像机、左摄像机、右摄像机，在步骤7)中，根据步骤6)得到虚拟鸟瞰摄相机视角图像，记录前摄像机、后摄像机、左摄像机、右摄像机中各个特征点在虚拟鸟瞰视角中的坐标。

6.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：在步骤6)中，通过LM算法迭代优化，计算出各摄像机最佳的单映性变换矩阵，在步骤9)中，输出标定参数包括：摄相机的内部参数，鱼眼镜头的失真系数，单映性变换矩阵。

7.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：所述的步骤5)中，采用鱼眼广角摄相机的标定算法，计算摄相机的内部参数和鱼眼镜头的失真系数，用针孔模型表示如下：

其中，fx和fy为用图像行和列像素表示的相机焦距，X0，Y0为投影中心；(Xw,Yw,Zw)为世界坐标系中的三维点；R和T为世界坐标系到摄相机坐标系的旋转和平移；(Xpix,Ypix)为(Xw,Yw,Zw)对应的图像点坐标，用高阶径向模型近似鱼眼镜头的径向失真:

其中k1，k2，k3为径向失真系数，根据上述内参和畸变系数，对鱼眼图像做畸变矫正，并记录矫正后特征点坐标。

8.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：所述的步骤6)中，计算每个摄像头的最佳的单映性变换矩阵H，并将其在同焦距下投影到虚拟鸟瞰视角中，投影如下：

其中h00至h22为3*3的H矩阵中矩阵元素，那么展开可得特征点变换后的X,Y坐标为：

9.根据权利要求1所述的简易的车载多目摄像机环视系统标定方法，其特征在于：所述的步骤8)中，分别将变换后的特征点坐标转换到实车坐标系，即可知“回型”标定模板摆放的真实世界坐标，已知真实世界坐标，即可按照车载环视系统的投影方法得到全景虚拟图像。

10.一种简易的车载多目摄像机环视系统标定装置，其特征在于：用于执行权利要求1至9中任一项所述的简易的车载多目摄像机环视系统标定方法。