CN110223354A

CN110223354A - 一种基于sfm三维重建的相机自标定方法

Info

Publication number: CN110223354A
Application number: CN201910362590.5A
Authority: CN
Inventors: 刘杨; 李方; 卢金波
Original assignee: Huizhou Desay SV Automotive Co Ltd
Current assignee: Huizhou Desay SV Automotive Co Ltd
Priority date: 2019-04-30
Filing date: 2019-04-30
Publication date: 2019-09-10

Abstract

本发明涉及一种基于SFM三维重建的相机自标定方法，基于车载摄像头，包括：获取第一帧灰度图，以第一帧灰度图中的路面角点作为跟踪点A；获取第二帧灰度图，求取第二帧灰度图中与跟踪点A相对应的匹配点B；求取第一帧灰度图与第二帧灰度图之间的旋转矩阵R和平移矩阵T；根据匹配点B、旋转矩阵R及平移矩阵T实现三维重建，得到三维重建后的三维点云；对三维点云进行拟合，获取地平面方程；根据地平面方程，求取相机外参数。该相机标定方法对标定场景要求较低，通用性较强。此外，由于该相机标定方法能够在大部分道路环境中实现相机的自标定，降低了相机外参数变化对判断目标距离位置的影响，提高了计算距离的精准度，利于安全的进行导航。

Description

一种基于SFM三维重建的相机自标定方法

技术领域

本发明涉及相机标定技术领域，特别涉及一种基于SFM（Structure from Motion）三维重建的相机自标定方法。

背景技术

相机标定在利用二维图像恢复物体三维信息的过程中至关重要，因为在相机的成像几何模型中空间点与图像平面上像点之间存在着对应关系，这个对应关系是由摄像机参数（包含相机内参与外参）所决定的。从广义上来分，目前可将相机标定分为两类，即传统的摄像机标定法与摄像机自标定法。在相机静止环境下，相机标定通常采用传统的摄像机标定法，该方法需要利用标定板在图像平面的成像位置，计算出摄像机的内外参数，进而完成相机标定。传统的摄像机标定法只能用于相机相对静止的环境，在许多应用场景中通常无法实现，使用十分受限。例如，在车载相机系统中，由于车辆在行驶过程不可避免会产生振动，势必会导致摄像机外参发生变化，影响摄像机坐标系与世界坐标系的转换矩阵，此时如果采用传统的摄像机标定法就没有办法实时标定，摄像机外参的变化便会进一步影响目标距离位置的准确性，难以安全有效地进行导航决策，甚至会引发安全事故。

目前国内已有的摄像机自标定多利用消失点、平行线等方法进行标定，例如利用平坦路面上三条直线进行摄像机的自标定。该类自标定法对摄像机的标定条件要求较多，对标定场景要求较高，只能适用于特定的道路，并不能使车载摄像头在任何路段上都实现实时标定，通用性较低。因此，发明一种标定过程简单、准确性高、通用性强的摄像机自标定方法至关重要。

发明内容

本发明为了解决上述技术问题，提供了一种基于SFM（Structure from Motion）三维重建的相机自标定方法，基于车载摄像头，包括如下步骤：

获取第一帧灰度图，以第一帧灰度图中的路面角点作为跟踪点A；

获取第二帧灰度图，求取第二帧灰度图中与跟踪点A相对应的匹配点B；

求取第一帧灰度图与第二帧灰度图之间的旋转矩阵R和平移矩阵T；

根据匹配点B、旋转矩阵R及平移矩阵T实现三维重建，得到三维重建后的三维点云；

对三维点云进行拟合，获取地平面方程；

根据地平面方程，求取相机外参数。

进一步的，匹配点B的求取包括：

对第一帧灰度图和第二帧灰度图进行光流匹配，若第一帧灰度图不等于第二帧灰度图，则获取匹配点B。

进一步的，所述旋转矩阵R和平移矩阵T的获取包括如下步骤：

对第一帧灰度图和第二帧灰度图进行光流匹配，获取本征矩阵；

对本征矩阵进行分解，获取旋转矩阵R和平移矩阵T。

进一步的，利用SVD（Singular Value Decomposition，奇异值分解）分解算法对本征矩阵进行分解，获取旋转矩阵R和平移矩阵T。

进一步的，所述步骤对三维点云进行拟合，获取地平面方程还包括如下步骤：

从三维点云中筛选出属于地平面的点C；

对筛选出的属于地平面的点C进行拟合，得到地平面方程。

进一步的，在三维点云中筛选出相机安装位置以下的点，将其作为属于地平面的点C。

进一步的，利用Ransac（RANdom Sample Consensus）算法对属于地平面的点C进行拟合，得到地平面方程。

进一步的，在根据匹配点B、旋转矩阵R及平移矩阵T实现三维重建之前，还包括：

对匹配点B进行筛选，去除匹配错误的点。

进一步的，所述路面角点是指路面与路面两侧障碍物的交点；所述相机外参数包括俯仰角、偏航角及旋转角。

进一步的，所述步骤根据地平面方程，求取相机外参数之后，还包括：

利用卡尔曼滤波器对相机外参数进行滤波。

本发明所起到的有益技术效果如下：

与现有技术相比较，本发明公开了一种基于SFM三维中间的相机自标定方法，该方法以第一帧灰度图中的路面角点作为跟踪点A，通过光流匹配确定第二帧灰度图中的匹配点B，并利用光流匹配求出旋转矩阵R和平移矩阵T，根据匹配点B、旋转矩阵R和平移矩阵T实现三维重建，进而拟合出地平面方程，求取相机外参数。本发明公开的相机标定方法对标定场景要求较低，只需要路面相对平整，路面与两侧障碍物有交点即可，无需路面上存在任何平行线或其他标志，通用性较强。此外，由于该相机标定方法能够在大部分道路环境中实现相机的自标定，降低了相机外参数变化对判断目标距离位置的影响，减小了计算距离与实际距离之间的误差，提高了计算距离的精准度，利于安全有效的进行导航决策。

附图说明

图1为实施例1中相机标定方法的流程示意图。

图2为实施例1中车载摄像头拍摄到的前方道路图像。

图3为实施例1中的三维点云效果图。

图4为实施例1中属于地平面的点云效果图。

图5为实施例1中拟合的地平面示意图。

图6为实施例1中相机外参数的求解原理示意图。

图7为实施例1中路平面坐标与图像坐标之间的投影关系图。

图8为实施例1中图像旋转原理示意图。

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的；相同或相似的标号对应相同或相似的部件；附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征更易被本领域技术人员理解，从而对本发明的保护范围作出更为清楚的界定。

实施例1：

如图1所示，本实施例提供了一种基于SFM三维重建的相机自标定方法，基于汽车前视摄像头拍摄路面图像，为三维重建提供图像数据，如图2所示。该方法包括如下步骤：

101、获取第一帧灰度图，以第一帧灰度图中的路面角点作为跟踪点A。

具体的，在汽车正常行驶过程中通过车载摄像机拍摄路面照片获取第一帧灰度图，第一帧灰度图拍摄到的路面需能够找到路面角点，否则无法完成后续的路面重建。所述路面角点是指路面与路面两侧障碍物的交点，如路面与路沿石的垂直交点，或者是路面与道路两旁耸立的建筑物的交点。

102、获取第二帧灰度图，求取第二帧灰度图中与跟踪点A相对应的匹配点B。

当车载摄像机获取到第一帧灰度图之后，随着车辆的继续行驶继续通过车载摄像头拍摄路面图片，获取第二帧灰度图。一旦获取到第二帧灰度图之后，就可以对第一帧灰度图和第二帧灰度图进行光流匹配，根据角点的梯度信息寻找到第二帧灰度图中与跟踪点A相对应的匹配点B。

如果第二帧灰度图不等于第一帧灰度图，则可以直接通过光流匹配获取到匹配点B。如果在光流匹配后发现第二帧灰度图等于第一帧灰度图，则需要继续获取第三帧灰度图。然后继续对第三帧灰度图与第一帧灰度图进行光流匹配，寻找第三帧灰度图中与跟踪点A相对应的匹配点B。如果第三帧灰度图也等于第一帧灰度图，则继续寻找下一帧灰度图，直至寻找到与第一帧灰度图不相等的灰度图为止。这是因为，如果两帧灰度图相等的话，意味着相机位置没有发生变化，相机位置无变化是无法进行三维重建的。

103、求取第一帧灰度图与第二帧灰度图之间的旋转矩阵R和平移矩阵T。

利用光流匹配的方法确定匹配点B之后，通过计算光流节点获取第一帧灰度图与第二帧灰度图之间的本征矩阵。本征矩阵的计算可以使用OpenCV3.0（跨平台计算机视觉库）中新加入的函数findEssentialMat()进行求取。求取到本征矩阵之后，可以利用SVD分解算法对本征矩阵进行分解，求取得到旋转矩阵R和平移矩阵T。本实施例具体采用了OpenCV3.0中的函数recoverPose完成了对本征矩阵的分解。

104、根据匹配点B、旋转矩阵R及平移矩阵T实现三维重建，得到三维重建后的三维点云。

在利用匹配点B、旋转矩阵R及平移矩阵T实现三维重建之前需先对找出的匹配点B进行筛选，利用mask算法去除掉匹配错误的点。随后利用旋转矩阵R和平移矩阵T将经过筛选的匹配点B还原至三维空间坐标，即实现三维重建。三维重建也是采用OpenCV3.0中的相关函数完成。三维重建后形成三维点云，三维点云效果图如图3所示。

105、对三维点云进行拟合，获取地平面方程。

在获取地平面方程数据的过程中，首先需要对三维重建后形成的三维点云进行筛选，找出属于地平面的点C。假设地平面方程为Ax+By+Cz=D。对于第一次进行双目重建，虽然我们能够知道相机的大致安装角度，但这只能让我们大致了解A、B、C的大致范围，但对于重建时缩放的尺度D仍无法得知，也就是说在进行第一次双目重建时，我们无法了解此时地平面方程大致范围是多少。但有一点可以确定，那就是车载相机的安装位置必然是在地平面之上，基于此，我们在初次预测时采用的方法是将相机安装位置以下的点均判断为属于地平面的点C，属于地平面的点云数据如图4所示。然后采用Ransac算法针对属于地平面的点C进行拟合，进而得到地平面方程，拟合的地平面效果如图5所示。

对于下一次拟合时，由于已经知道了上一帧三维重建后的地平面方程，因此可以直接利用该地平面方程筛选出下一次三维重建时的属于地平面的点C。具体的，由于重建时已知道相机的位置，依据相机的位置可以求出相机到该地平面的距离d0。求三维重建后的所有点到该平面的距离d，并将d与d0*threshold 进行比较，若d< d0*threshold则判断该点为属于地平面的点C。本实施例所述threshold为筛选计算参数，根据经验一般取值为0.25，取值0.25不仅可以较好的保留地面的三维点同时可以较少的引入非地平面的点，以提高平面拟合的精度。当然，在下一次拟合时仍然可以采用将相机安装位置以下的点判断为属于地平面的点C进行地平面方程的拟合。

106、根据地平面方程，求取相机外参数。

相机外参数包括俯仰角、偏航角及旋转角。由于车辆在行驶过程中不可避免会颠簸，引起相机的振动，而相机的振动会导致求取得到的相机外参数存在一定噪声。为了降低这些噪声对相机外参数的影响，使求取得到的相机外参数更加平稳、准确，本实施例利用卡尔曼滤波器对求取得到的相机外参数进行滤波处理。

如图6所示，求取相机外参数时首先假设相机水平安装，其俯仰角、偏航角、旋转角均为0，则此时地平面的其法向量为（0，1，0）。现已经求出地平面方程为Ax+By+Cz=D，其法向量为（A，B，C）。因此就将求相机的旋转矩阵转换为了求地平面法向量之间的转换矩阵。已知旋转前向量为P，旋转后向量变为Q，采用点乘与叉乘法就可以分别求出转换的旋转角与旋转轴。然后再通过罗德里格旋转公式求出相应的旋转矩阵。最后再利用旋转矩阵反推出相机的俯仰角、偏航角及旋转角。值得注意的是，利用旋转矩阵反推出的偏航角是相对于上一帧灰度图中相机的偏航角而言的，并不是真实的偏航角，如果需要求相对于车道的偏航角，只需根据求取的相机完成反推车道线的位置，再根据车道线的相对位置获取相机相对于道路的偏航角。

具体的，假设车载相机与车身的偏航角、旋转角均为0，取路平面上一点P，其在路平面坐标系坐标为（P_x , P_y），P点在图像平面的对应点为P' 点，其在像平面坐标系坐标为（P_x'，P_y'），投影关系图如7所示。从图像坐标系到路平面坐标系转换关系如下：

其中： h为相机安装高度；H为图像高度；W为图像宽度；2T₀为相机垂直视角，2 U₀为相机水平视角，γ₀=90-θ-T₀。

由于在现实中相机的旋转角不可能为0，因此还需要对其进行坐标转换。相机拍摄图像时，旋转角∅会使图像发生旋转，其旋转中心为图像的光心，默认位置为图像的中心，即（W/2，H/2）。 P'点旋转后得到P₁'点，其旋转公式如下：

其中（P'_x1，P' _y1）为P₁'点的坐标。

将经过旋转公式3-3、3-4变换的坐标代入公式3-1、3-2即可得到偏航角为φ的路平面坐标(P_x1 , P_y1)，如图8所示，其坐标原点为相机垂线与地平面的交点I。同理可根据旋转公式得到修正后的路平面坐标，其旋转公式如下：

本实施例公开的相机自标定方法利用车载前摄像头的视觉功能获取前方道路图像，利用Opencv提取图像的光流匹配点，然后求出本征矩阵，并对本征矩阵进行分解得到旋转矩阵R与平移矩阵T。最后利用匹配点B、旋转矩阵R和平移矩阵T重建前方路面的三维点云。得到三维点云后进一步对点云数据进行处理，得到地平面方程，进而求解出相机的外参。一旦得出相机外参后即可根据图像中目标的位置求解出目标相对于车身的距离。表1为利用该方法得到的十组目标物与车身距离之间的关系。从表1可以看出，当目标物与车身距离为50m左右时，其求解得到的距离误差可以控制在5%以内，能够满足目标物与车身距离之间的的检测精度。本实施例公开的相机自标定方法适用性强，对场景限制较少，能实现生活中大部分道路环境的自标定，且具有较高精度，具有较高的应用价值。

表1为利用该方法得到的十组目标物与车身距离之间的关系

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种基于SFM三维重建的相机自标定方法，其特征在于，基于车载摄像头，包括如下步骤：

对三维点云进行拟合，获取地平面方程；

根据地平面方程，求取相机外参数。

2.如权利要求1所述一种基于SFM三维重建的相机自标定方法，其特征在于，匹配点B的求取包括：

3.如权利要求2所述一种基于SFM三维重建的相机自标定方法，其特征在于，所述旋转矩阵R和平移矩阵T的获取包括如下步骤：

对本征矩阵进行分解，获取旋转矩阵R和平移矩阵T。

4.如权利要求3所述一种基于SFM三维重建的相机自标定方法，其特征在于，利用SVD分解算法对本征矩阵进行分解，获取旋转矩阵R和平移矩阵T。

5.如权利要求1所述一种基于SFM三维重建的相机自标定方法，其特征在于，所述步骤对三维点云进行拟合，获取地平面方程还包括如下步骤：

从三维点云中筛选出属于地平面的点C；

对筛选出的属于地平面的点C进行拟合，得到地平面方程。

6.如权利要求5所述一种基于SFM三维重建的相机自标定方法，其特征在于，在三维点云中筛选出相机安装位置以下的点，将其作为属于地平面的点C。

7.如权利要求5所述一种基于SFM三维重建的相机自标定方法，其特征在于，利用Ransac算法对属于地平面的点C进行拟合，得到地平面方程。

8.如权利要求1所述一种基于SFM三维重建的相机自标定方法，其特征在于，在根据匹配点B、旋转矩阵R及平移矩阵T实现三维重建之前，还包括：

对匹配点B进行筛选，去除匹配错误的点。

9.如权利要求1所述一种基于SFM三维重建的相机自标定方法，其特征在于，所述路面角点是指路面与路面两侧障碍物的交点；所述相机外参数包括俯仰角、偏航角及旋转角。

10.如权利要求9所述一种基于SFM三维重建的相机自标定方法，其特征在于，所述步骤根据地平面方程，求取相机外参数之后，还包括：

利用卡尔曼滤波器对相机外参数进行滤波。