CN111862235A

CN111862235A - 双目相机自标定方法及系统

Info

Publication number: CN111862235A
Application number: CN202010711714.9A
Authority: CN
Inventors: 王磊; 李嘉茂; 朱冬晨; 刘衍青; 张晓林
Original assignee: Shanghai Institute of Microsystem and Information Technology of CAS
Current assignee: Shanghai Institute of Microsystem and Information Technology of CAS
Priority date: 2020-07-22
Filing date: 2020-07-22
Publication date: 2020-10-30
Anticipated expiration: 2040-07-22
Also published as: CN111862235B

Abstract

本发明提供一种双目相机自标定方法及系统，包括：1)获取左右原始图像；2)校正左右原始图像；3)从左右校正图像中提取特征点并匹配；4)统计左右图像纵坐标偏差的平均值，若大于对应阈值则修正估计第一参数组，反复迭代修正，直至小于对应阈值；5)找到静态物体及车道线；6)处于移动状态时，追踪静态物体的视差及车轮运动信息；7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差及车道线的宽度偏差，若大于对应阈值则修正估计第二参数组，反复迭代校正，直至小于对应阈值，完成自标定。本发明利用实时图像追踪、车体运动信息及车道宽度信息，对内外参进行优化标定，完成图像校正工作，为车体提供准确的三维识别数据。

Description

双目相机自标定方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种双目相机自标定方法及系统。

背景技术

双目传感器作为可应用于室外场景的立体相机，可以为机器人提供立体障碍物检测功能，双目相机通过对机器人前进方向的图像分析识别可以计算视野内障碍物的三维位置信息，为机器人的安全行驶提供保障。然而双目相机在作为立体相机使用前，需要经过严格的标定过程。

如文章“A Flexible New Technique for Camera Calibration”给出了经典的双目棋盘格标定方法，双目棋盘格标定方法可以对双目相机的内外参进行估计，但由于双目使用过程中受到外力挤压撞击，甚至是环境的温度湿度影响，均会导致双目相机的内外参，特别是外参发生变化。

因此，如何选择数据并基于数据对内外参进行优化标定以使得双目相机提供准确的三维识别数据，已成为本领域技术人员亟待解决的问题之一。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种双目相机自标定方法及系统，用于解决现有技术中内外参在使用过程中受环境影响发生变化等问题。

为实现上述目的及其他相关目的，本发明提供一种双目相机自标定方法，所述双目相机自标定方法至少包括：

1)分别从双目相机的两个图像采集单元获取左右原始图像；

2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；

3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；

4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；

5)对场景内的物体进行分类，找到场景中的静态物体，并检测当前路径的车道线；

6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；

7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差；基于所述车道线的视差得到车道线宽度的计算值，比较车道线宽度的实际值与计算值得到宽度偏差；若所述距离偏差大于对应阈值或所述宽度偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离及车道线宽度，反复迭代校正，直至所述距离偏差及所述宽度偏差分别小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。

可选地，所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。

更可选地，所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。

更可选地，步骤4)中所述纵坐标偏差的平均值满足如下关系式：

其中，VErr为所述纵坐标偏差值的平均值，w_k为第k对特征点对的权重，VL_k为第k对特征点对在左图像中的纵坐标，VR_k为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UC_k,VC_k,UD_k,VD_k为中间变量，UL_k为第k对特征点对在左图像中的横坐标，UR_k为第k对特征点对在右图像中的横坐标，Δdf为双目相机左右镜头的焦距偏差，f为双目相机的镜头焦距，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长。

更可选地，将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。

更可选地，第k对特征点对的权重w_k为默认值或第k对特征点对的权重w_k满足如下关系：

其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。

更可选地，步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。

可选地，步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。

可选地，步骤5)中采用语义识别找到所述静态物体。

可选地，步骤7)中，所述静态物体的三维距离变化值满足如下关系式：

所述车道线宽度的计算值满足如下关系式：

其中，ΔZ为静态物体的三维距离变化值合集；b为双目相机的基线长；f为双目相机的镜头焦距；D1、D2分别为静态物体在t1时刻及t2时刻的视差合集；Δd为视差偏差；Δy为双目相机的偏航角偏差；ΔL'为车道线宽度的计算值合集，Ua、Ub为表示车道线宽度的两个端点的横坐标合集；Da、Db为分别为两个端点的视差合集。

更可选地，所述距离偏差满足如下关系式：

所述宽度偏差满足如下关系式：

其中，Δf为双目相机焦距的修正量，ΔM为所述车轮运动距离，Δb为双目相机基线长的修正量，D1_i、D2_i分别为第i个静态物体在t1时刻及t2时刻的视差值，ΔL为车道线宽度的实际值，Ua_j、Ub_j为表示车道线宽度的两个端点在第j时刻的横坐标；Da_j、Db_j为分别为两个端点在第j时刻的视差值。

更可选地，步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。

可选地，步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。

可选地，所述双目相机自标定方法还包括8)根据修正的所述第二参数组计算视野环境内的三维信息。

为实现上述目的及其他相关目的，本发明提供一种双目相机自标定系统，所述双目相机自标定系统至少包括：

移动平台、双目相机、图像处理单元及移动平台控制单元；

所述双目相机设置于所述移动平台上，用于获取左右图像；

所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行上述双目相机自标定方法，实现自标定；

所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。

可选地，所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的镜头，镜头的调整过程具有同步调整关系，成像平面处于同一个平面上。

可选地，所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。

如上所述，本发明的双目相机自标定方法及系统，具有以下有益效果：

本发明的双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪、车体运动信息及车道宽度信息，对包括内参的焦距及外参的旋转以及平移偏差在内的内外参参数进行优化标定，并完成相关图像校正工作，使双目相机能够为车体提供准确的三维识别数据。本发明的双目相机自标定方法及系统适用于镜头焦距未知的定焦双目相机及变焦双目相机。

附图说明

图1显示为本发明的双目相机自标定方法的流程示意图。

图2显示为本发明的校正图像的中坐标系的示意图。

图3显示为本发明的车道线及车道宽度示意图。

图4显示为本发明t1时刻及t2时刻的运动方向及坐标系示意图。

图5显示为本发明的双目相机自标定系统的结构示意图。

元件标号说明

101～102 第一～第二图像采集单元

110 图像处理单元

201～204 第一～第四车轮

210 移动平台控制单元

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1～图5。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

如图1所示，本实施例提供一种双目相机自标定方法，所述双目相机自标定方法包括：

1)分别从双目相机的两个图像采集单元获取左右原始图像。

具体地，双目相机包括两个图像采集单元(镜头)，两个图像采集单元具备硬件触发同步关系，采用同样分辨率的成像元件、同样焦段的镜头构成，采用变焦镜头时左右镜头的变焦过程具备同步调整关系，且两个图像采集单元的成像平面处于同一个平面上，图像中心位于同一水平线，图像成像中心的间距为双目相机的基线长。所述双目相机为镜头焦距未知的定焦双目相机或变焦双目相机，基于所述双目相机获取左、右两幅原始图像。

2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组主要影响垂直方向视差，第二参数组主要影响水平方向视差。

具体地，假定所述双目相机的畸变已被修正，并且左右成像元件结构设计中处于同一平面上呈水平方向排列，由于结构或者环境影响导致的变形并不会导致很大的物理误差情况。所述双目相机的内参包括镜头焦距f(设左右焦距的中位数为f，左右焦距的偏差值设为2Δdf，其中，Δdf定义为双目相机左右镜头的焦距偏差，则左镜头焦距为f-Δdf，右镜头焦距为f+Δdf)、左右成像元件中心位置(cx1,cy1)和(cx2,cy2)。所述双目相机的外参包括俯仰角偏差Δp(Δpitch)、偏航角偏差Δy(Δyaw)、翻滚角偏差Δr(Δroll)以及基线长b(baseline)、高度偏差ΔH和前后偏差ΔD。

在本实施例中，将参数按照是否会影响水平视差匹配运算(主要影响垂直方向视差)而分组，影响水平视差匹配运算的参数有双目相机的左右镜头焦距偏差Δdf、左右成像元件中心位置的纵坐标cy、双目相机的俯仰角偏差Δp、双目相机的翻滚角偏差Δr、双目相机的高度偏差ΔH和双目相机的前后偏差ΔD，记为第一参数组A；不影响水平视差匹配运算的参数有双目相机的镜头焦距f、左右成像元件中心位置的横坐标cx、双目相机的偏航角偏差Δy(通常，当双目相机的偏航角偏差Δy的角度小于5度时可以忽略台形畸变产生的垂直视差)和双目相机的基线长b，记为第二参数组B。当双目相机的偏航角偏差Δy和俯仰角偏差Δp不大于5度时，其偏差对图像造成的影响与元件中心位置的横纵坐标cx和cy类似，在本实施例中将元件中心位置的横纵坐标cx和cy默认在图像的中心位置，双目相机的中心点偏差通过双目相机的偏航角偏差Δy和俯仰角偏差Δp进行修正；最终得到的所述第一参数组A及所述第二参数组B的参数如下：

第一参数组A＝{Δdf,Δp,Δr,ΔH,ΔD}

第二参数组B＝{f,Δy,b}

其中，所述第一参数组A中参数的偏差将导致双目图像产生垂直方向的偏差，影响深度匹配运算过程，修正所述第一参数组A的参数，可以使左右图像匹配像素在同一水平线上，从而大幅减轻视差计算步骤的计算量；所述第二参数组B中参数的偏差将导致双目图像产生水平方向偏差，即造成视差偏差或深度偏差，修正所述第二参数组B的参数可以通过视差得到准确的三维数据结果。

需要说明的是，在实际使用中，可根据需要将相关的内参或外参加入到本发明的所述第一参数组A或所述第二参数组B中，不以本实施例为限。

具体地，在已知所述双目相机的内外参的情况下，采用标准校正算法对左右原始图像进行校正，所述标准校正算法包括但不限于opencv算法库当中的stereoRectify函数，matlab也有这种函数，在此不一一赘述。校正后所述第一参数组A中的双目相机的左右焦距偏差Δdf、俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH、前后偏差ΔD(均为偏差参数)的值均为0(或接近0的一阈值范围内)；所述第二参数组B中的双目相机的偏航角偏差Δy(偏差参数)的值为0(或接近0的一阈值范围内)；所述双目相机的镜头焦距f更新为f+Δf,Δf为双目相机焦距的修正量，可通过非线性优化计算得到；实际应用中，双目相机的基线长b更新为b+Δb，Δb为双目相机基线长的修正量，可通过非线性优化计算得到，理论上更新后的双目相机的基线长b满足：sqrt(b*b+ΔH'*ΔH'+ΔD'*ΔD')，其中，ΔH'为高度偏差ΔH的修正量，ΔD'为前后偏差ΔD的修正量。

3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤。

具体地，作为示例，在本实施例中，基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布；在实际使用中任意提取特征点的方法均适用于本发明，不限于本实施例。提取特征点后基于匹配算法对左右校正图像中的特征点进行匹配，得到特征点对；并过滤误匹配的特征点。

4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组。

具体地，将图像分辨率记为ResU x ResV，其中ResU为每行的像素数，ResV为每列的像素数。特征点对在左右图的像素坐标设为(UL,VL)和(UR,VR)，坐标系如图2所示，原点为图像中心位置，U轴向右，V轴向下，特征对数量为N。所述纵坐标偏差的平均值满足如下关系式：

其中，VErr为所述纵坐标偏差值的平均值；w_k为第k对特征点对的权重，在本示例中，默认为1，在实际使用中可根据需要设定权重w_k的值，各特征点对的权重w_k可以是相同值，也可以是不同值；VL_k为第k对特征点对在左图像中的纵坐标；VR_k为第k对特征点对在右图像中的纵坐标；N为特征点对的数量。

作为本发明的一种实现方式，在本实施例中，在修正所述第一参数组A之前，设置如下中间变量：

由几何关系可得出所述第一参数组A中各参数的解算方程如下：

其中，UC_k,VC_k,UD_k,VD_k为中间变量，UL_k为第k对特征点对在左图像中的横坐标，UR_k为第k对特征点对在右图像中的横坐标。双目相机的基线长b及双目相机的镜头焦距f可采用默认值或出厂设置值，通过反复迭代修正可将垂直偏差修正，其值不准确并不影响修正效果。基于双目相机的左右镜头焦距偏差Δdf、俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH及前后偏差ΔD估计的修正量对图像整体进行平移和/或旋转操作，使得各特征点对左在右图像中的纵坐标基本一致(位于同一行)，即所述纵坐标偏差值的平均值VErr趋近于0(小于第一阈值)。

需要说明的是，在实际修正时，可以根据实际情况仅对影响比较严重的一个或多个参数进行修正，包括但不限于仅修正双目相机的俯仰角偏差Δp和翻滚角偏差Δr。所述第一阈值可基于实际需要设定具体数值，不以本实施例为限。

作为本发明的另一种实现方式，由于上述公式中存在近似关系，且实际情况中特征点对多个误差混合在一起，也可以通过矩阵运算或者非线性优化的方式对所述第一参数组A求解，在此不一一赘述。

作为本发明的另一种实现方式，实际操作中多种偏差混合在一起，公式计算偏差的结果往往不够精确，直接按照公式来修正的话会导致修正过量(超调)，本示例采用类似PID控制的方法，给所述第一参数组A的各修正量乘以第一系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式，首先将大误差修正到小误差，再将小误差逐渐缩小，最终完成修正过程，以此得到精确的所述第一参数组A的参数，其中，所述第一系数大于0且小于等于1。

作为本发明的另一种实现方式，各特征点对的权重w_k根据特征点位置到图像中心的距离来设置，作为示例，满足如下关系式：

5)对场景内的物体进行分类，找到场景中的静态物体。

具体地，在本实施例中，利用语义识别算法对场景内的物体进行分类，找到所述场景中处于静止状态的物体，包括但不限于建筑、道路、路标，在此不一一列举。

6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息。

具体地，所述双目相机处于移动状态时，通过筛选获得静态物体范围内的特征点对，并基于特征点对计算静态物体的视差。双目相机的偏航角偏差Δy角度较小(一般角度小于5度)时，会对全图整体视差造成等量的视差偏差Δd，Δy和Δd的关系如下：

具体地，对所述静态物体的三维信息进行追踪，并记录追踪过程中的车轮运动信息用以计算车轮里程计。

作为本发明的一种实现方式，可在所述双目相机移动的过程中，通过采集到的图像多次测量车道线，用于优化。在实际使用中，也可只获取一组车道线宽度信息，不以本实施例为限。具体地，如图3所示，检测到的车道线左右两端的点为La和Lb，车道线距离(La到Lb的距离)已知为ΔL(可以通过事先测量或者从当前行驶区域的地图数据中获取)，La和Lb在左图(或右图)的坐标值分别为(Ua,Va)和(Ub,Vb),视差合集分别为Da和Db，为了计算准确可以在不同时刻，道路的不同位置选择多组La和Lb点进行计算。车道线宽度的计算值满足如下关系式：

其中，ΔL'为车道线宽度的计算值合集。

如图4所示，假设车体带动所述双目相机在t1到t2时间段内行驶后产生位移，且t1时刻和t2时刻由车轮里程计计算的朝向基本一致，即t1时刻和t2时刻之间的行驶路径可以不保持绝对直线行驶，t1时刻和t2时刻的朝向一致即可，作为示例，汽车换道过程，换道前和换到后朝向一致，由所述车轮里程计得到在前进方向的车轮运动距离为ΔM(在本实施例中，以前进方向的移动进行比较产生偏差，在实际应用中，可选择任意运动方向进行比较，也可设置多个运动方向同时进行比较，在此不一一赘述)。在本实施例中，以左图像采集单元的光学中心为原点建立坐标系，X轴指向车身右侧，Z轴指向车身正前方，则在车体向前行进ΔM后，静态物体在Z方向的移动距离应该接近ΔM。此时间段对静态物体的特征点集合进行追踪，对应t1时刻和t2时刻的左图(或右图)的像素坐标分别为(U1，V1)和(U2，V2)，视差集合分别为D1和D2，静态特征集合在t1时刻和t2时刻在Z方向的三维距离变化值合集ΔZ的解算方程如下：

由于车道线宽度的计算值合集ΔL'中每一个值与实际值ΔL接近，在Z方向上所述静态物体的三维距离变化值合集ΔZ中的每一个值与所述车轮运动距离ΔM接近，因此可以得出如下非线性方程对所述第二参数组B求解：

基于以上两式分别求解右侧式子值最小时的Δb和Δd，以及Δf，其中，Ua_j、Ub_j为第j时刻同一图像中表示车道线宽度的两个端点的横坐标；Ua_j、Ub_j为表示车道线宽度的两个端点在第j时刻的横坐标，Da_j、Db_j为分别为两个端点在第j时刻的视差值，j为介于t1时刻与t2时刻之间的时刻。经过多组数据反复迭代修正所述第二参数组B，当上述非线性方程的误差分别小于第二阈值及第三阈值时结束参数修正，并用新的参数更新当前所述第二参数组B，即可完成对双目相机的自标定。所述第二阈值及所述第三阈值可基于实际需要设定具体数值，不以本实施例为限。

作为本发明的另一种实现方式，为了防止修正过量(超调)，对所述第二参数组B中的参数进行修正时，给所述第二参数组B的各修正量乘以第二系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式最终完成修正过程，其中，所述第二系数大于0且小于等于1。

作为本发明的另一种实现方式，所述双目相机自标定方法还包括：8)根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息并输出。

实施例二

如图5所示，本实施例提供一种双目相机自标定系统，所述双目相机自标定系统包括：

移动平台、双目相机、图像处理单元110及移动平台控制单元210。

如图5所示，所述移动平台包括但不限于移动机器人平台、车体，在此不一一列举。

具体的，所述移动平台包括承载台及车轮，在本实施例中，包括四个车轮，分别为第一车轮201、第二车轮202、第三车轮203及第四车轮204。各车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动；所述编码器用于记录所述轮子的转动角度及圈数，实时读回各编码器的值，并根据各编码器的值可推算所述移动平台的位移变化。

如图5所示，所述双目相机设置于所述移动平台上，用于获取左右图像。

具体地，所述双目相机包括两个图像采集单元，第一图像采集单元101及第二图像采集单元102，所述第一图像采集单元101及所述第二图像采集单元102设置并朝向所述移动平台的前端，且所述第一图像采集单元101及所述第二图像采集单元102具有同步触发关系、同样的分辨率、同样焦段的镜头，采用变焦镜头时左右镜头的变焦过程具备同步调整关系，且两个图像采集单元的成像平面处于同一个平面上。

如图5所示，所述图像处理单元110设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元210连接，执行实施例一的双目相机自标定方法，实现自标定。

具体地，所述图像处理单元110从所述第一图像采集单元101及所述第二图像采集单元102获取实时图像数据，并进行数据处理；同时从所述移动平台控制单元210获取车轮里程；进而通过实时图像追踪和车体运动信息，对内外参进行优化标定，并完成相关图像校正工作，使双目相机能够为移动平台提供准确的三维识别数据。

需要说明的是，自标定的方法参见实施例一，在此不一一赘述。

如图5所示，所述移动平台控制单元210设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。

综上所述，本发明提供一种双目相机自标定方法及系统，包括：1)分别从双目相机的两个图像采集单元获取左右原始图像；2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；5)对场景内的物体进行分类，找到场景中的静态物体，并检测当前路径的车道线；6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差；基于所述车道线的视差得到车道线宽度的计算值，比较车道线宽度的实际值与计算值得到宽度偏差；若所述距离偏差大于对应阈值或所述宽度偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离及车道线宽度，反复迭代校正，直至所述距离偏差及所述宽度偏差分别小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。本发明的双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪、车体运动信息及车道宽度信息，对包括内参的焦距及外参的旋转以及平移偏差在内的内外参参数进行优化标定，并完成相关图像校正工作，使双目相机能够为车体提供准确的三维识别数据。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims

1.一种双目相机自标定方法，其特征在于，所述双目相机自标定方法至少包括：

1)分别从双目相机的两个图像采集单元获取左右原始图像；

2.根据权利要求1所述的双目相机自标定方法，其特征在于：所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。

3.根据权利要求2所述的双目相机自标定方法，其特征在于：所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。

4.根据权利要求3所述的双目相机自标定方法，其特征在于：步骤4)中所述纵坐标偏差的平均值满足如下关系式：

5.根据权利要求4所述的双目相机自标定方法，其特征在于：将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。

6.根据权利要求4所述的双目相机自标定方法，其特征在于：第k对特征点对的权重w_k为默认值或第k对特征点对的权重w_k满足如下关系：

7.根据权利要求4～6任意一项所述的双目相机自标定方法，其特征在于：步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。

8.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。

9.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤5)中采用语义识别找到所述静态物体。

10.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤7)中，所述静态物体的三维距离变化值满足如下关系式：

所述车道线宽度的计算值满足如下关系式：

其中，ΔZ为静态物体的三维距离变化值合集；b为双目相机的基线长；f为双目相机的镜头焦距；D1、D2分别为静态物体在t1时刻及t2时刻的视差合集；Δd为视差偏差；Δy为双目相机的偏航角偏差；ΔL'为车道线宽度的计算值合集，Ua、Ub为表示车道线宽度的两个端点的横坐标合集；Da、Db分别为两个端点的视差合集。

11.根据权利要求10所述的双目相机自标定方法，其特征在于：所述距离偏差满足如下关系式：

所述宽度偏差满足如下关系式：

12.根据权利要求10或11所述的双目相机自标定方法，其特征在于：步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。

13.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。

14.根据权利要求1所述的双目相机自标定方法，其特征在于：所述双目相机自标定方法还包括8)根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息。

15.一种双目相机自标定系统，其特征在于，所述双目相机自标定系统至少包括：

移动平台、双目相机、图像处理单元及移动平台控制单元；

所述双目相机设置于所述移动平台上，用于获取左右图像；

所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行如权利要求1～14任意一项所述的双目相机自标定方法，实现自标定；

16.根据权利要求15所述的双目相机自标定系统，其特征在于：所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的镜头，镜头的变焦过程具有同步调整关系，成像平面处于同一个平面上。

17.根据权利要求15所述的双目相机自标定系统，其特征在于：所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。