CN111435540A - 一种车载环视系统的环视图拼接方法 - Google Patents

Abstract

本发明涉及一种车载环视系统的环视图拼接方法，包括：1、对车载环视系统的每个相机进行内参标定；2、以其中一个相机的坐标系作为参考坐标系，将其他相机的坐标系和相邻相机的公共角点变换到参考坐标系下，得到相机位姿；3、建立地面坐标系；4、根据环视图像各部分与相机之间的对应关系、环视图像与地面坐标系之间的变换关系、相机与地面坐标系之间的变换矩阵以及相机的内参矩阵和畸变参数，求出环视图像各像素与每个相机采集的图像的对应关系，并建立查找表，通过查找表拼接环视图像。与现有技术相比，本发明对场景环境要求低，能够根据相机的公共视野和闭环关系优化求解位姿，具有低成本、高灵活性、高精度等优点。

Description

一种车载环视系统的环视图拼接方法

技术领域

本发明涉及车载环视领域，尤其是涉及一种车载环视系统的环视图拼接方法。

背景技术

随着汽车行业的发展，车辆的安全性能越来越受到重视，因此很多辅助驾驶系统都搭载了车载环视系统。车载环视系统通过布置在车辆周围的4-6个广角摄像头拼接出车辆周围的环视图像，能够给驾驶员提供车辆周围的路面信息，辅助驾驶员做出行驶判断，提高车辆在复杂环境中的安全性能。

现有的车载环视相机系统的环视图拼接方法主要分为两大类：一类是基于人工特征点的方法，第二类是基于自然特征点的标定方法。第一类方法通常需要精确布置较大的标定场地，成本相对较高，并且在标定流程中需要车辆停靠在指定位置，制约了操作流程的灵活性。第二类方法则需要场地中存在足够数量的特征点，此类算法拼接出的环视图的效果容易受到离群值的影响，鲁棒性较低。大多数的环视图拼接方法都分别计算各个相机与地面之间的投影关系，没有利用相机公共视野区域的约束。此外，在确定环视图与车辆的位置关系时，现有方法均需要不同程度的人工介入来建立地面坐标系，流程比较复杂。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种车载环视系统的环视图拼接方法。

本发明的目的可以通过以下技术方案来实现：

一种车载环视系统的环视图拼接方法，所述车载环视系统包括设置在车辆周围的多个相机，该方法包括以下步骤：

S1、对车载环视系统的每个相机进行内参标定，得到相机的内参矩阵和畸变参数；

S2、以其中一个相机的坐标系作为参考坐标系，根据相邻相机之间的变换矩阵将其他相机的坐标系和相邻相机的公共角点变换到参考坐标系下，根据环视相机系统中相机位姿的闭环关系通过优化方法得到相机位姿；

S3、求出地面所在的平面在参考坐标系下的表达式，根据各个相机中心在参考坐标系下的坐标设定地面坐标系的原点、X轴、Y轴和Z轴，得到地面坐标系；

S4、通过车载环视系统获得环视图像，将环视图像分成分别与每个相机对应的多个部分，根据环视图像各部分与相机之间的对应关系、环视图像与地面坐标系之间的变换关系、相机与地面坐标系之间的变换矩阵以及相机的内参矩阵和畸变参数，求出环视图像各像素与每个相机采集的图像的对应关系，并建立查找表，通过查找表拼接环视图像。

优选的，所述步骤S1具体包括：

S11、使用车载环视系统的每个相机分别采集若干张棋盘格标定板图像；

S12、检测标定板图像中的棋盘格角点；

S13、根据检测到的棋盘格角点求出相机的内参矩阵和畸变参数。

优选的，所述步骤S2中相邻相机之间的变换矩阵的获取方法包括：

将标定板分别置于相邻两个相机的公共视野区域，采集成对的标定图像；检测成对的标定图像中的棋盘格角点，并确定两张图像中角点之间的一一对应关系，得到棋盘格角点对；根据棋盘格角点对求出相邻相机之间的旋转矩阵和平移向量，将二者合并为变换矩阵。

优选的，所述步骤S2中相邻相机的公共角点变换到参考坐标系下的过程具体包括：

使用三角化方法求出相邻两个相机的棋盘格角点对中公共角点的三维坐标，变换到参考坐标系下。

优选的，所述步骤S2中通过优化方法得到相机位姿包括：通过光束法平差同时优化相机位姿和三维点坐标，得到优化后的相机位姿。

优选的，所述步骤S3具体包括：

S31、将标定板依次置于四个摄像头视野内的地面上，并采集图像；

S32、检测步骤S31采集的图像中的棋盘格角点，并根据步骤S2求出的相机位姿求出棋盘格角点在参考坐标系下的三维坐标；

S33、根据步骤S32得到的棋盘格角点的三维坐标拟合出地面所在的平面在参考坐标系下的表达式；

S34、根据相机位姿求出每个相机中心在参考坐标系下的坐标，将所有相机中心的坐标取平均作为环视相机系统的中心点的坐标，将中心点投影到步骤S33得到的地面所在的平面上，将该投影点作为地面坐标系的原点；

S35、将前视相机的中心投影到地面所在的平面上得到前视相机投影点，将地面坐标系的原点指向前视相机投影点的向量作为地面坐标系的Y轴方向向量，将与Y轴方向向量垂直并处在地面所在的平面上的向量作为地面坐标系的X轴方向向量，将X轴方向向量和Y轴方向向量做外积，求得Z轴方向向量；

S36、根据得到的地面坐标系的原点、X轴方向向量、Y轴方向向量和Z轴方向向量确定地面坐标系。

与现有技术相比，本发明包括以下优点：

1、仅采用一块标定板完成整个标定流程，对标定板的摆放没有严格的要求，对环境要求低，操作流程简单，方式灵活。

2、能够根据环视相机系统中相机位姿的闭环关系优化求得更加准确的相机位姿，提高了算法的精度。

3、能够自动建立地面坐标系并求出各相机与地面之间的变换关系，减少人工介入，精简操作流程。

附图说明

图1为本发明方法的流程示意图；

图2为实施例中车载环视系统得到的前视的鱼眼图像；

图3为实施例中车载环视系统得到的左视的鱼眼图像；

图4为实施例中车载环视系统得到的后视的鱼眼图像；

图5为实施例中车载环视系统得到的右视的鱼眼图像；

图6为实施例中通过本方法拼接得到的环视图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本申请提出一种车载环视系统的环视图拼接方法，车载环视系统包括设置在车辆周围的多个相机。该方法可分为四个部分：1)相机内参标定；2)环视相机位姿标定；3)地面坐标系确定；4)环视图拼接，具体包括以下步骤：

S1、对车载环视系统的每个相机进行内参标定：

S11、使用车载环视系统的每个相机分别采集若干张棋盘格标定板图像；

S12、检测标定板图像中的棋盘格角点；

S13、根据检测到的棋盘格角点求出相机的内参矩阵和畸变参数。

S2、环视相机位姿标定：

S21、将标定板分别置于相邻两个相机的公共视野区域，采集成对的标定图像；

S22、检测成对的标定图像中的棋盘格角点，并确定两张图像中角点之间的一一对应关系，得到棋盘格角点对；

S23、根据棋盘格角点对求出相邻相机之间的旋转矩阵和平移向量，将二者合并为变换矩阵；

S24、以其中一个相机的坐标系作为参考坐标系，根据步骤S23得到的相邻相机之间的变换矩阵求出其他相机的坐标系相对于参考坐标系的变换关系，变换到参考坐标系下；

S25、使用三角化方法求出相邻两个相机的棋盘格角点对中公共角点的三维坐标，并变换到参考坐标系下；

S26、根据环视相机系统中相机位姿的闭环关系，使用光束法平差(BundleAdjustment)同时优化相机位姿和三维点坐标，得到更加准确的优化后的相机位姿。

S3、地面坐标系确定：

S31、将标定板依次置于四个摄像头视野内的地面上，并采集图像；

S32、检测步骤S31采集的图像中的棋盘格角点，并根据步骤S2求出的相机位姿求出棋盘格角点在参考坐标系下的三维坐标；

S33、根据步骤S32得到的棋盘格角点的三维坐标拟合出地面所在的平面在参考坐标系下的表达式；

S34、根据相机位姿求出每个相机中心在参考坐标系下的坐标，将所有相机中心的坐标取平均作为环视相机系统的中心点的坐标，将中心点投影到步骤S33得到的地面所在的平面上，将该投影点作为地面坐标系的原点；

S35、将前视相机的中心投影到地面所在的平面上得到前视相机投影点，将地面坐标系的原点指向前视相机投影点的向量作为地面坐标系的Y轴方向向量，将与Y轴方向向量垂直并处在地面所在的平面上的向量作为地面坐标系的X轴方向向量，将X轴方向向量和Y轴方向向量做外积，求得Z轴方向向量；

S36、根据得到的地面坐标系的原点、X轴方向向量、Y轴方向向量和Z轴方向向量确定地面坐标系。

S4、环视图拼接：

S41、根据步骤S3得到的地面坐标系，求出环视相机系统中每个相机与地面坐标系之间的变换矩阵；

S42、通过车载环视系统获得环视图像，确定环视图像的分辨率和环视图像单个像素对应物理空间的长度，并求出环视图像与地面坐标系之间的变换关系；

S43、将环视图像分成与相机数量相等的部分，并确定各部分与相机之间的对应关系；

S44、根据环视图像各部分与相机之间的对应关系、环视图像与地面坐标系之间的变换关系、相机与地面坐标系之间的变换矩阵以及相机的内参矩阵和畸变参数，求出环视图像各像素与每个相机采集的图像的对应关系，并建立查找表；

S45、通过查找表拼接环视图像。

本实施例中车载环视系统的相机为鱼眼相机，本实施例的实际效果图见图2～6：

图2～5分别为通过车载环视系统得到的前视、左视、后视和右视的鱼眼图像，图6为应用本方法拼接得到的环视图。

本方法实现过程仅需要使用一块标定板，对场景环境要求低；能够根据相机的公共视野和闭环关系优化求解位姿；能够自动建立地面坐标系，无需额外的人工介入，具有低成本、高灵活性、高精度等优点。

Claims (6)

1.一种车载环视系统的环视图拼接方法，所述车载环视系统包括设置在车辆周围的多个相机，其特征在于，该方法包括以下步骤：

S1、对车载环视系统的每个相机进行内参标定，得到相机的内参矩阵和畸变参数；

S2、以其中一个相机的坐标系作为参考坐标系，根据相邻相机之间的变换矩阵将其他相机的坐标系和相邻相机的公共角点变换到参考坐标系下，根据环视相机系统中相机位姿的闭环关系通过优化方法得到相机位姿；

S3、求出地面所在的平面在参考坐标系下的表达式，根据各个相机中心在参考坐标系下的坐标设定地面坐标系的原点、X轴、Y轴和Z轴，得到地面坐标系；

S4、通过车载环视系统获得环视图像，将环视图像分成分别与每个相机对应的多个部分，根据环视图像各部分与相机之间的对应关系、环视图像与地面坐标系之间的变换关系、相机与地面坐标系之间的变换矩阵以及相机的内参矩阵和畸变参数，求出环视图像各像素与每个相机采集的图像的对应关系，并建立查找表，通过查找表拼接环视图像。

2.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S1具体包括：

S11、使用车载环视系统的每个相机分别采集若干张棋盘格标定板图像；

S12、检测标定板图像中的棋盘格角点；

S13、根据检测到的棋盘格角点求出相机的内参矩阵和畸变参数。

3.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S2中相邻相机之间的变换矩阵的获取方法包括：

将标定板分别置于相邻两个相机的公共视野区域，采集成对的标定图像；检测成对的标定图像中的棋盘格角点，并确定两张图像中角点之间的一一对应关系，得到棋盘格角点对；根据棋盘格角点对求出相邻相机之间的旋转矩阵和平移向量，将二者合并为变换矩阵。

4.根据权利要求3所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S2中相邻相机的公共角点变换到参考坐标系下的过程具体包括：

使用三角化方法求出相邻两个相机的棋盘格角点对中公共角点的三维坐标，变换到参考坐标系下。

5.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述通过优化方法得到相机位姿包括：通过光束法平差同时优化相机位姿和三维点坐标，得到优化后的相机位姿。

6.根据权利要求1所述的一种车载环视系统的环视图拼接方法，其特征在于，所述步骤S3具体包括：

S31、将标定板依次置于四个摄像头视野内的地面上，并采集图像；

S32、检测步骤S31采集的图像中的棋盘格角点，并根据步骤S2求出的相机位姿求出棋盘格角点在参考坐标系下的三维坐标；

S33、根据步骤S32得到的棋盘格角点的三维坐标拟合出地面所在的平面在参考坐标系下的表达式；

S34、根据相机位姿求出每个相机中心在参考坐标系下的坐标，将所有相机中心的坐标取平均作为环视相机系统的中心点的坐标，将中心点投影到步骤S33得到的地面所在的平面上，将该投影点作为地面坐标系的原点；

S35、将前视相机的中心投影到地面所在的平面上得到前视相机投影点，将地面坐标系的原点指向前视相机投影点的向量作为地面坐标系的Y轴方向向量，将与Y轴方向向量垂直并处在地面所在的平面上的向量作为地面坐标系的X轴方向向量，将X轴方向向量和Y轴方向向量做外积，求得Z轴方向向量；

S36、根据得到的地面坐标系的原点、X轴方向向量、Y轴方向向量和Z轴方向向量确定地面坐标系。

Images