CN110910311B - 一种基于二维码的多路环视相机自动拼接方法 - Google Patents

Abstract

本发明涉及一种基于二维码的多路环视相机自动拼接方法，包括以下步骤：1)获取各环视相机采集的带有二维码标签的图像，每个图像中的所述二维码标签包括一个大标签和两个小标签；2)对所述图像进行去畸变处理；3)计算所述图像中所述大标签的姿态单应矩阵，根据所述姿态单应矩阵获得鸟瞰图；4)基于两个所述鸟瞰图中的同一个小标签的位置关系实现多路环视相机的图像拼接。与现有技术相比，本发明具有灵活度高、全自动化、支持多路相机拼接等优点。

Description

一种基于二维码的多路环视相机自动拼接方法

技术领域

本发明涉及一种图像拼接方法，尤其是涉及一种基于二维码的多路环视相机自动拼接方法。

背景技术

随着智能驾驶技术的不断普及，360环视系统正在步入寻常百姓家。一般家用车的360环视系统由4颗鱼眼相机组成，通过对图像去畸变、投影变换和拼接，可以得到车辆周围360°无死角的俯视图像。如今，许多场景的应用需要围绕此项功能展开。比如，作为行车记录仪来记录车辆周围的环境；在泊车的时候替代倒车影像提供给司机做监控；作为自动泊车系统的输入，基于360环视图像进行库位识别或者障碍物识别。随着车辆智能化程度的普及，不仅是小轿车需要使用到环视系统，卡车、大巴甚至一些特种车辆也会进行智能化升级，以满足安全性需求。对于大型车辆而言，4路相机显然不能满足其要求，因此环视图像的拼接需在理论上支持任意数量的相机，并且不能在标定环节增加额外的工作量。传统基于棋盘格的相机图像拼接算法还存在以下缺点：

1、传统基于棋盘格的算法需要繁琐的场地布置；

2、传统基于棋盘格的算法设计过于死板，自动拼接容易出错，且场地越大标定误差越大；

3、传统基于棋盘格的算法一般只支持4路相机。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种基于二维码的多路环视相机自动拼接方法。

本发明的目的可以通过以下技术方案来实现：

一种基于二维码的多路环视相机自动拼接方法，包括以下步骤：

1)获取各环视相机采集的带有二维码标签的图像，每个图像中的所述二维码标签包括一个大标签和两个小标签；

2)对所述图像进行去畸变处理；

3)计算所述图像中所述大标签的姿态单应矩阵，根据所述姿态单应矩阵获得鸟瞰图；

4)基于两个所述鸟瞰图中的同一个小标签的位置关系实现多路环视相机的图像拼接。

进一步地，所述二维码标签采用AprilTag、AR Tag或QR Code。

进一步地，其中一个所述大标签与车身平行设置。

进一步地，所述步骤3)中，采用DLT、EPnP或迭代方法计算大标签的姿态单应矩阵。

进一步地，采用迭代方法计算大标签的姿态单应矩阵。

进一步地，进行所述图像拼接时，将车辆后轴的中心选择为世界坐标系的原点O_W。

进一步地，求解以最小化包含同一个小标签的两个图像间距离的误差和为目标的优化问题，实现多路环视相机的图像拼接。

进一步地，所述目标的表达式为：

其中，p＝(u₀₀,v₀₀,1,u₀₁,v₀₁,1,...,u_(n-1)3,v_(n-1)3,1)^T和p′＝(u₁₀,v₁₀,1,u₁₁,v₁₁,1,...,u₀₃,v₀₃,1)^T是由所有小标签的角点所组成，A＝diag(T₀,T₀,T₀,T₀,...,T_n-1,T_n-1,T_n-1,T_n-1)是一个包含所有相邻相机的变换信息的n×n的对角矩阵，Δx_i,Δy_i,Δθ_i表示相机i到相机i+1鸟瞰图的外参。

与现有技术相比，本发明具有如下有益效果：

1)本发明在标定过程中不对环境进行测量，或者只需要尽可能少的测量。

2)本发明采用二维码标签，对标定参照物的制作简单，灵活度高。

3)标定过程全自动化。

4)本发明使用二维码信息，而非传统的图像特征点，可以避免标定过程中因匹配错误而从产生的失败情况。

5)支持任意数量相机的环视系统。

附图说明

图1为通过不同的PnP算法计算AprilTag姿态效果展示，其中，(1a)为优化前后AprilTag的角点提取算法，(1b)为三种不同PnP方法下Z方向的均方误差和误差柱图对比，(1c)为三种不同PnP方法下X方向的均方误差和误差柱图对比，(1d)三种不同PnP方法下，Y方向的均方误差和误差柱图对比；

图2为实施例中图像的去畸变和投影变换的过程；

图3为实施例中的拼接结果示例，其中，(3a)为通用的相机拼接模型，节点表示相机的位置，边表示相邻两个相机之间的姿态变换，包含旋转和平移，(3b)为一个四相机拼接系统实例，(3c)为一个四相机系统环视拼接结果举例；

图4为本发明的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图4所示，本发明提供一种基于二维码的多路环视相机自动拼接方法，包括以下步骤：

S1、获取各环视相机采集的带有二维码标签的图像，每个图像中的所述二维码标签包括一个大标签和两个小标签；

S2、对所述图像进行去畸变处理；

S3、计算所述图像中所述大标签的姿态单应矩阵，根据所述姿态单应矩阵获得鸟瞰图；

S4、基于两个所述鸟瞰图中的同一个小标签的位置关系实现多路环视相机的图像拼接。

各环视相机安装于车辆上，二维码标签设置于地面上，大标签设置个数与环视相机个数相同，本实施例中，将一个大的二维码标签放置使其和车身平行(这样就无需进行额外的测量)，其他二维码标签只要保证出现在视野中即可。

二维码标签的选择可以采用所有常见的种类，如AprilTag、AR Tag、QR Code等，本发明以AprilTag为例进行说明。如图2中，每张图像检测获得三个标签，四边形BiggerApril Tag(大标签)是用来计算单应性矩阵，从而完成鸟瞰图的获取的；两个四边形Smaller April Tag(小标签)是用来匹配两个不同相机之间的对应点，从而完成拼接。

1、AprilTag定位性能改进

AprilTag通常是用直接线性变换(Direct Linear Transform，DLT)来计算姿态的单应矩阵的，可以用公式(1)表示。

其中，P和E分别表示相机内外参矩阵，旋转变换R_ij、平移变换p_k和尺度s都可以通过求解线性方程得出。

但是，此方法仅基于标签的4个角点，这造成姿态的求解会对微小的变形和图像质量很敏感。为了增加约束点，本发明选择使用FAST特征来从标签中有序提取更多有用的角点。由于每个标签的实际大小是事先已知的，因此将标签的中心作为3D标签坐标系的原点。当获得每个角点的3D坐标和2D图像平面坐标后，可以通过求解Perspective-n-Point(PnP)问题来估计标签姿态。

本实施例中，通过Efficient PnP(EPnP)算法进行姿态优化估计，

第i个参考点的世界坐标记作其对应的图像坐标记作/>公式如方程(2)，它们分别是由四个控制点加权平均求得，其中四个控制点分别记作/>和/>权重α_ij是经过的归一化的取值范围0到1。

从方程(2)中，图像坐标对应点由公式(3)得到。

其中，K表示相机的投影矩阵。

一旦得到了四个控制点旋转和平移矩阵就是由最小化世界坐标的重投影误差得到的。

通过迭代的方法，可以基于Levenberg-Marquardt方法优化观测到图像中的2D点到由3D点重投影回图像的2D点的距离平方和，使其最小化，具体公式由公式(4)给出。

其中，u_i为图像坐标，p_i为世界坐标3D点，R、p为待求解的旋转平移矩阵，π(·)为3D到2D的重投影方法。

三种求解姿态的方法经过对比实验，其精度如图1所示。当相机离二维码很近的时候，三种方法得出的均方误差都很小，当距离较远时，基于迭代的方法得出的精度要优于DLT和EPnP。因此，本发明选择基于迭代的方法来计算AprilTag的姿态。

2、图像拼接

本发明将车辆后轴的中心选择为世界坐标系的原点O_W。唯一需要测量的是n个比较大的AprilTag(大标签)中的其中一个相对O_W的旋转角。对于第i个相机，一个AprilTag的四个角点就足以计算出其单应性矩阵H_i，通过公式x′＝H_ix，就可以将图像的视图转换为鸟瞰图I_i，其中x和x′分别表示透视转换前后的像素点坐标。

本发明用(u_ij,v_ij)来表示两个相机可以看到的n个较小的AprilTag(小标签)的每个角点，其中i表示第i个标签，j＝0,1,2,3表示其角点的索引号。

对于两个摄像机中看到的同一个AprilTag的对应角点，其距离误差可以由公式(5)表示。

其中，Δx_i,Δy_i,Δθ_i表示相机i到相机i+1鸟瞰图的旋转和平移量(二维)，即外参。所以，拼接n个相机的图像可以被定义成一个优化问题，其目标方程为公式(6)，实际含义就是最小化距离的误差和。

其中，p＝(u₀₀,v₀₀,1,u₀₁,v₀₁,1,...,u_(n-1)3,v_(n-1)3,1)^T和p′＝(u₁₀,v₁₀,1,u₁₁,v₁₁,1,...,u₀₃,v₀₃,1)^T是由所有较小的AprilTag的角点所组成。A＝diag(T₀,T₀,T₀,T₀,...,T_n-1,T_n-1,T_n-1,T_n-1)是一个包含所有相邻相机的变换信息的n×n的对角矩阵。

在公式(6)求解完后，利用所有相机系统可以构成一个闭环的先验知识，所有的误差会被平均到每个节点。ξ₀＝(x_0W,y_0W,θ_0W)用来表示的左上角点和相对世界坐标O_W的位置和旋转角，下标W对应世界坐标。对于每个ξ_i和ξ_i+1，公式(7)用来表示误差矩阵，最终的优化问题由公式(8)来定义。整个环视图像拼接结果如图3的(3c)所示。

e_i＝B·b

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本发明所确定的保护范围内。

Claims (6)

1.一种基于二维码的多路环视相机自动拼接方法，其特征在于，包括以下步骤：

1)获取各环视相机采集的带有二维码标签的图像，每个图像中的所述二维码标签包括一个大标签和两个小标签，其中一个所述大标签与车身平行设置；

2)对所述图像进行去畸变处理；

3)计算所述图像中所述大标签的姿态单应矩阵，根据所述姿态单应矩阵获得鸟瞰图；

4)基于两个所述鸟瞰图中的同一个小标签的位置关系实现多路环视相机的图像拼接，具体地，求解以最小化包含同一个小标签的两个图像间距离的误差和为目标的优化问题，实现多路环视相机的图像拼接。

2.根据权利要求1所述的基于二维码的多路环视相机自动拼接方法，其特征在于，所述二维码标签采用AprilTag、AR Tag或QR Code。

3.根据权利要求1所述的基于二维码的多路环视相机自动拼接方法，其特征在于，所述步骤3)中，采用DLT、EPnP或迭代方法计算大标签的姿态单应矩阵。

4.根据权利要求3所述的基于二维码的多路环视相机自动拼接方法，其特征在于，采用迭代方法计算大标签的姿态单应矩阵。

5.根据权利要求1所述的基于二维码的多路环视相机自动拼接方法，其特征在于，进行所述图像拼接时，将车辆后轴的中心选择为世界坐标系的原点O_W。

6.根据权利要求1所述的基于二维码的多路环视相机自动拼接方法，其特征在于，所述目标的表达式为：

其中，p＝(u₀₀,v₀₀,1,u₀₁,v₀₁,1,...,u_(n-1)3,v_(n-1)3,1)^T和p′＝(u₁₀,v₁₀,1,u₁₁,v₁₁,1,...,u₀₃,v₀₃,1)^T是由所有小标签的角点所组成，A＝diag(T₀,T₀,T₀,T₀,...,T_n-1,T_n-1,T_n-1,T_n-1)是一个包含所有相邻相机的变换信息的n×n的对角矩阵，Δx_i,Δy_i,Δθ_i表示相机i到相机i+1鸟瞰图的外参。