CN111862235B - 双目相机自标定方法及系统 - Google Patents

双目相机自标定方法及系统 Download PDF

Info

Publication number
CN111862235B
CN111862235B CN202010711714.9A CN202010711714A CN111862235B CN 111862235 B CN111862235 B CN 111862235B CN 202010711714 A CN202010711714 A CN 202010711714A CN 111862235 B CN111862235 B CN 111862235B
Authority
CN
China
Prior art keywords
binocular camera
deviation
parameter set
self
calibration method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010711714.9A
Other languages
English (en)
Other versions
CN111862235A (zh
Inventor
王磊
李嘉茂
朱冬晨
刘衍青
张晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN202010711714.9A priority Critical patent/CN111862235B/zh
Publication of CN111862235A publication Critical patent/CN111862235A/zh
Application granted granted Critical
Publication of CN111862235B publication Critical patent/CN111862235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种双目相机自标定方法及系统，包括：1)获取左右原始图像；2)校正左右原始图像；3)从左右校正图像中提取特征点并匹配；4)统计左右图像纵坐标偏差的平均值，若大于对应阈值则修正估计第一参数组，反复迭代修正，直至小于对应阈值；5)找到静态物体及车道线；6)处于移动状态时，追踪静态物体的视差及车轮运动信息；7)得到车轮运动距离与静态物体的三维距离变化值的距离偏差及车道线的宽度偏差，若大于对应阈值则修正估计第二参数组，反复迭代校正，直至小于对应阈值，完成自标定。本发明利用实时图像追踪、车体运动信息及车道宽度信息，对内外参进行优化标定，完成图像校正工作，为车体提供准确的三维识别数据。

Description

双目相机自标定方法及系统
技术领域
本发明涉及图像处理领域，特别是涉及一种双目相机自标定方法及系统。
背景技术
双目传感器作为可应用于室外场景的立体相机，可以为机器人提供立体障碍物检测功能，双目相机通过对机器人前进方向的图像分析识别可以计算视野内障碍物的三维位置信息，为机器人的安全行驶提供保障。然而双目相机在作为立体相机使用前，需要经过严格的标定过程。
如文章“A Flexible New Technique for Camera Calibration”给出了经典的双目棋盘格标定方法，双目棋盘格标定方法可以对双目相机的内外参进行估计，但由于双目使用过程中受到外力挤压撞击，甚至是环境的温度湿度影响，均会导致双目相机的内外参，特别是外参发生变化。
因此，如何选择数据并基于数据对内外参进行优化标定以使得双目相机提供准确的三维识别数据，已成为本领域技术人员亟待解决的问题之一。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种双目相机自标定方法及系统，用于解决现有技术中内外参在使用过程中受环境影响发生变化等问题。
为实现上述目的及其他相关目的，本发明提供一种双目相机自标定方法，所述双目相机自标定方法至少包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像；
2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；
5)对场景内的物体进行分类，找到场景中的静态物体，并检测当前路径的车道线；
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；
7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差；基于所述车道线的视差得到车道线宽度的计算值，比较车道线宽度的实际值与计算值得到宽度偏差；若所述距离偏差大于对应阈值或所述宽度偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离及车道线宽度，反复迭代校正，直至所述距离偏差及所述宽度偏差分别小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。
可选地，所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。
更可选地，所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。
更可选地，步骤4)中所述纵坐标偏差的平均值满足如下关系式：
其中，VErr为所述纵坐标偏差值的平均值，wk为第k对特征点对的权重，VLk为第k对特征点对在左图像中的纵坐标，VRk为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标，Δdf为双目相机左右镜头的焦距偏差，f为双目相机的镜头焦距，Δp为双目相机的俯仰角偏差，Δr为双目相机的翻滚角偏差，ΔH为双目相机的高度偏差，ΔD为双目相机的前后偏差，b为双目相机的基线长。
更可选地，将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。
更可选地，第k对特征点对的权重wk为默认值或第k对特征点对的权重wk满足如下关系：
其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。
更可选地，步骤3)中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。
可选地，步骤3)中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。
可选地，步骤5)中采用语义识别找到所述静态物体。
可选地，步骤7)中，所述静态物体的三维距离变化值满足如下关系式：
所述车道线宽度的计算值满足如下关系式：
其中，ΔZ为静态物体的三维距离变化值合集；b为双目相机的基线长；f为双目相机的镜头焦距；D1、D2分别为静态物体在t1时刻及t2时刻的视差合集；Δd为视差偏差；Δy为双目相机的偏航角偏差；ΔL'为车道线宽度的计算值合集，Ua、Ub为表示车道线宽度的两个端点的横坐标合集；Da、Db为分别为两个端点的视差合集。
更可选地，所述距离偏差满足如下关系式：
所述宽度偏差满足如下关系式：
其中，Δf为双目相机焦距的修正量，ΔM为所述车轮运动距离，Δb为双目相机基线长的修正量，D1i、D2i分别为第i个静态物体在t1时刻及t2时刻的视差值，ΔL为车道线宽度的实际值，Uaj、Ubj为表示车道线宽度的两个端点在第j时刻的横坐标；Daj、Dbj为分别为两个端点在第j时刻的视差值。
更可选地，步骤7)中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。
可选地，步骤7)中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。
可选地，所述双目相机自标定方法还包括8)根据修正的所述第二参数组计算视野环境内的三维信息。
为实现上述目的及其他相关目的，本发明提供一种双目相机自标定系统，所述双目相机自标定系统至少包括：
移动平台、双目相机、图像处理单元及移动平台控制单元；
所述双目相机设置于所述移动平台上，用于获取左右图像；
所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行上述双目相机自标定方法，实现自标定；
所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
可选地，所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的镜头，镜头的调整过程具有同步调整关系，成像平面处于同一个平面上。
可选地，所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。
如上所述，本发明的双目相机自标定方法及系统，具有以下有益效果：
本发明的双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪、车体运动信息及车道宽度信息，对包括内参的焦距及外参的旋转以及平移偏差在内的内外参参数进行优化标定，并完成相关图像校正工作，使双目相机能够为车体提供准确的三维识别数据。本发明的双目相机自标定方法及系统适用于镜头焦距未知的定焦双目相机及变焦双目相机。
附图说明
图1显示为本发明的双目相机自标定方法的流程示意图。
图2显示为本发明的校正图像的中坐标系的示意图。
图3显示为本发明的车道线及车道宽度示意图。
图4显示为本发明t1时刻及t2时刻的运动方向及坐标系示意图。
图5显示为本发明的双目相机自标定系统的结构示意图。
元件标号说明
101～102 第一～第二图像采集单元
110 图像处理单元
201～204 第一～第四车轮
210 移动平台控制单元
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1～图5。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
如图1所示，本实施例提供一种双目相机自标定方法，所述双目相机自标定方法包括：
1)分别从双目相机的两个图像采集单元获取左右原始图像。
具体地，双目相机包括两个图像采集单元(镜头)，两个图像采集单元具备硬件触发同步关系，采用同样分辨率的成像元件、同样焦段的镜头构成，采用变焦镜头时左右镜头的变焦过程具备同步调整关系，且两个图像采集单元的成像平面处于同一个平面上，图像中心位于同一水平线，图像成像中心的间距为双目相机的基线长。所述双目相机为镜头焦距未知的定焦双目相机或变焦双目相机，基于所述双目相机获取左、右两幅原始图像。
2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组主要影响垂直方向视差，第二参数组主要影响水平方向视差。
具体地，假定所述双目相机的畸变已被修正，并且左右成像元件结构设计中处于同一平面上呈水平方向排列，由于结构或者环境影响导致的变形并不会导致很大的物理误差情况。所述双目相机的内参包括镜头焦距f(设左右焦距的中位数为f，左右焦距的偏差值设为2Δdf，其中，Δdf定义为双目相机左右镜头的焦距偏差，则左镜头焦距为f-Δdf，右镜头焦距为f+Δdf)、左右成像元件中心位置(cx1,cy1)和(cx2,cy2)。所述双目相机的外参包括俯仰角偏差Δp(Δpitch)、偏航角偏差Δy(Δyaw)、翻滚角偏差Δr(Δroll)以及基线长b(baseline)、高度偏差ΔH和前后偏差ΔD。
在本实施例中，将参数按照是否会影响水平视差匹配运算(主要影响垂直方向视差)而分组，影响水平视差匹配运算的参数有双目相机的左右镜头焦距偏差Δdf、左右成像元件中心位置的纵坐标cy、双目相机的俯仰角偏差Δp、双目相机的翻滚角偏差Δr、双目相机的高度偏差ΔH和双目相机的前后偏差ΔD，记为第一参数组A；不影响水平视差匹配运算的参数有双目相机的镜头焦距f、左右成像元件中心位置的横坐标cx、双目相机的偏航角偏差Δy(通常，当双目相机的偏航角偏差Δy的角度小于5度时可以忽略台形畸变产生的垂直视差)和双目相机的基线长b，记为第二参数组B。当双目相机的偏航角偏差Δy和俯仰角偏差Δp不大于5度时，其偏差对图像造成的影响与元件中心位置的横纵坐标cx和cy类似，在本实施例中将元件中心位置的横纵坐标cx和cy默认在图像的中心位置，双目相机的中心点偏差通过双目相机的偏航角偏差Δy和俯仰角偏差Δp进行修正；最终得到的所述第一参数组A及所述第二参数组B的参数如下：
第一参数组A＝{Δdf,Δp,Δr,ΔH,ΔD}
第二参数组B＝{f,Δy,b}
其中，所述第一参数组A中参数的偏差将导致双目图像产生垂直方向的偏差，影响深度匹配运算过程，修正所述第一参数组A的参数，可以使左右图像匹配像素在同一水平线上，从而大幅减轻视差计算步骤的计算量；所述第二参数组B中参数的偏差将导致双目图像产生水平方向偏差，即造成视差偏差或深度偏差，修正所述第二参数组B的参数可以通过视差得到准确的三维数据结果。
需要说明的是，在实际使用中，可根据需要将相关的内参或外参加入到本发明的所述第一参数组A或所述第二参数组B中，不以本实施例为限。
具体地，在已知所述双目相机的内外参的情况下，采用标准校正算法对左右原始图像进行校正，所述标准校正算法包括但不限于opencv算法库当中的stereoRectify函数，matlab也有这种函数，在此不一一赘述。校正后所述第一参数组A中的双目相机的左右焦距偏差Δdf、俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH、前后偏差ΔD(均为偏差参数)的值均为0(或接近0的一阈值范围内)；所述第二参数组B中的双目相机的偏航角偏差Δy(偏差参数)的值为0(或接近0的一阈值范围内)；所述双目相机的镜头焦距f更新为f+Δf,Δf为双目相机焦距的修正量，可通过非线性优化计算得到；实际应用中，双目相机的基线长b更新为b+Δb，Δb为双目相机基线长的修正量，可通过非线性优化计算得到，理论上更新后的双目相机的基线长b满足：sqrt(b*b+ΔH'*ΔH'+ΔD'*ΔD')，其中，ΔH'为高度偏差ΔH的修正量，ΔD'为前后偏差ΔD的修正量。
3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤。
具体地，作为示例，在本实施例中，基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布；在实际使用中任意提取特征点的方法均适用于本发明，不限于本实施例。提取特征点后基于匹配算法对左右校正图像中的特征点进行匹配，得到特征点对；并过滤误匹配的特征点。
4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于第一阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与所述第一阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于所述第一阈值，更新所述第一参数组。
具体地，将图像分辨率记为ResU x ResV，其中ResU为每行的像素数，ResV为每列的像素数。特征点对在左右图的像素坐标设为(UL,VL)和(UR,VR)，坐标系如图2所示，原点为图像中心位置，U轴向右，V轴向下，特征对数量为N。所述纵坐标偏差的平均值满足如下关系式：
其中，VErr为所述纵坐标偏差值的平均值；wk为第k对特征点对的权重，在本示例中，默认为1，在实际使用中可根据需要设定权重wk的值，各特征点对的权重wk可以是相同值，也可以是不同值；VLk为第k对特征点对在左图像中的纵坐标；VRk为第k对特征点对在右图像中的纵坐标；N为特征点对的数量。
作为本发明的一种实现方式，在本实施例中，在修正所述第一参数组A之前，设置如下中间变量：
由几何关系可得出所述第一参数组A中各参数的解算方程如下：
其中，UCk,VCk,UDk,VDk为中间变量，ULk为第k对特征点对在左图像中的横坐标，URk为第k对特征点对在右图像中的横坐标。双目相机的基线长b及双目相机的镜头焦距f可采用默认值或出厂设置值，通过反复迭代修正可将垂直偏差修正，其值不准确并不影响修正效果。基于双目相机的左右镜头焦距偏差Δdf、俯仰角偏差Δp、翻滚角偏差Δr、高度偏差ΔH及前后偏差ΔD估计的修正量对图像整体进行平移和/或旋转操作，使得各特征点对左在右图像中的纵坐标基本一致(位于同一行)，即所述纵坐标偏差值的平均值VErr趋近于0(小于第一阈值)。
需要说明的是，在实际修正时，可以根据实际情况仅对影响比较严重的一个或多个参数进行修正，包括但不限于仅修正双目相机的俯仰角偏差Δp和翻滚角偏差Δr。所述第一阈值可基于实际需要设定具体数值，不以本实施例为限。
作为本发明的另一种实现方式，由于上述公式中存在近似关系，且实际情况中特征点对多个误差混合在一起，也可以通过矩阵运算或者非线性优化的方式对所述第一参数组A求解，在此不一一赘述。
作为本发明的另一种实现方式，实际操作中多种偏差混合在一起，公式计算偏差的结果往往不够精确，直接按照公式来修正的话会导致修正过量(超调)，本示例采用类似PID控制的方法，给所述第一参数组A的各修正量乘以第一系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式，首先将大误差修正到小误差，再将小误差逐渐缩小，最终完成修正过程，以此得到精确的所述第一参数组A的参数，其中，所述第一系数大于0且小于等于1。
作为本发明的另一种实现方式，各特征点对的权重wk根据特征点位置到图像中心的距离来设置，作为示例，满足如下关系式：
5)对场景内的物体进行分类，找到场景中的静态物体。
具体地，在本实施例中，利用语义识别算法对场景内的物体进行分类，找到所述场景中处于静止状态的物体，包括但不限于建筑、道路、路标，在此不一一列举。
6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息。
具体地，所述双目相机处于移动状态时，通过筛选获得静态物体范围内的特征点对，并基于特征点对计算静态物体的视差。双目相机的偏航角偏差Δy角度较小(一般角度小于5度)时，会对全图整体视差造成等量的视差偏差Δd，Δy和Δd的关系如下：
具体地，对所述静态物体的三维信息进行追踪，并记录追踪过程中的车轮运动信息用以计算车轮里程计。
作为本发明的一种实现方式，可在所述双目相机移动的过程中，通过采集到的图像多次测量车道线，用于优化。在实际使用中，也可只获取一组车道线宽度信息，不以本实施例为限。具体地，如图3所示，检测到的车道线左右两端的点为La和Lb，车道线距离(La到Lb的距离)已知为ΔL(可以通过事先测量或者从当前行驶区域的地图数据中获取)，La和Lb在左图(或右图)的坐标值分别为(Ua,Va)和(Ub,Vb),视差合集分别为Da和Db，为了计算准确可以在不同时刻，道路的不同位置选择多组La和Lb点进行计算。车道线宽度的计算值满足如下关系式：
其中，ΔL'为车道线宽度的计算值合集。
7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差；基于所述车道线的视差得到车道线宽度的计算值，比较车道线宽度的实际值与计算值得到宽度偏差；若所述距离偏差大于对应阈值或所述宽度偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离及车道线宽度，反复迭代校正，直至所述距离偏差及所述宽度偏差分别小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。
如图4所示，假设车体带动所述双目相机在t1到t2时间段内行驶后产生位移，且t1时刻和t2时刻由车轮里程计计算的朝向基本一致，即t1时刻和t2时刻之间的行驶路径可以不保持绝对直线行驶，t1时刻和t2时刻的朝向一致即可，作为示例，汽车换道过程，换道前和换到后朝向一致，由所述车轮里程计得到在前进方向的车轮运动距离为ΔM(在本实施例中，以前进方向的移动进行比较产生偏差，在实际应用中，可选择任意运动方向进行比较，也可设置多个运动方向同时进行比较，在此不一一赘述)。在本实施例中，以左图像采集单元的光学中心为原点建立坐标系，X轴指向车身右侧，Z轴指向车身正前方，则在车体向前行进ΔM后，静态物体在Z方向的移动距离应该接近ΔM。此时间段对静态物体的特征点集合进行追踪，对应t1时刻和t2时刻的左图(或右图)的像素坐标分别为(U1，V1)和(U2，V2)，视差集合分别为D1和D2，静态特征集合在t1时刻和t2时刻在Z方向的三维距离变化值合集ΔZ的解算方程如下：
由于车道线宽度的计算值合集ΔL'中每一个值与实际值ΔL接近，在Z方向上所述静态物体的三维距离变化值合集ΔZ中的每一个值与所述车轮运动距离ΔM接近，因此可以得出如下非线性方程对所述第二参数组B求解：
基于以上两式分别求解右侧式子值最小时的Δb和Δd，以及Δf，其中，Uaj、Ubj为第j时刻同一图像中表示车道线宽度的两个端点的横坐标；Uaj、Ubj为表示车道线宽度的两个端点在第j时刻的横坐标，Daj、Dbj为分别为两个端点在第j时刻的视差值，j为介于t1时刻与t2时刻之间的时刻。经过多组数据反复迭代修正所述第二参数组B，当上述非线性方程的误差分别小于第二阈值及第三阈值时结束参数修正，并用新的参数更新当前所述第二参数组B，即可完成对双目相机的自标定。所述第二阈值及所述第三阈值可基于实际需要设定具体数值，不以本实施例为限。
作为本发明的另一种实现方式，为了防止修正过量(超调)，对所述第二参数组B中的参数进行修正时，给所述第二参数组B的各修正量乘以第二系数后与对应的当前外参结果相加得到修正的参数，通过反复迭代修正的方式最终完成修正过程，其中，所述第二系数大于0且小于等于1。
作为本发明的另一种实现方式，所述双目相机自标定方法还包括：8)根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息并输出。
实施例二
如图5所示，本实施例提供一种双目相机自标定系统，所述双目相机自标定系统包括：
移动平台、双目相机、图像处理单元110及移动平台控制单元210。
如图5所示，所述移动平台包括但不限于移动机器人平台、车体，在此不一一列举。
具体的，所述移动平台包括承载台及车轮，在本实施例中，包括四个车轮，分别为第一车轮201、第二车轮202、第三车轮203及第四车轮204。各车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动；所述编码器用于记录所述轮子的转动角度及圈数，实时读回各编码器的值，并根据各编码器的值可推算所述移动平台的位移变化。
如图5所示，所述双目相机设置于所述移动平台上，用于获取左右图像。
具体地，所述双目相机包括两个图像采集单元，第一图像采集单元101及第二图像采集单元102，所述第一图像采集单元101及所述第二图像采集单元102设置并朝向所述移动平台的前端，且所述第一图像采集单元101及所述第二图像采集单元102具有同步触发关系、同样的分辨率、同样焦段的镜头，采用变焦镜头时左右镜头的变焦过程具备同步调整关系，且两个图像采集单元的成像平面处于同一个平面上。
如图5所示，所述图像处理单元110设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元210连接，执行实施例一的双目相机自标定方法，实现自标定。
具体地，所述图像处理单元110从所述第一图像采集单元101及所述第二图像采集单元102获取实时图像数据，并进行数据处理；同时从所述移动平台控制单元210获取车轮里程；进而通过实时图像追踪和车体运动信息，对内外参进行优化标定，并完成相关图像校正工作，使双目相机能够为移动平台提供准确的三维识别数据。
需要说明的是，自标定的方法参见实施例一，在此不一一赘述。
如图5所示，所述移动平台控制单元210设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
综上所述，本发明提供一种双目相机自标定方法及系统，包括：1)分别从双目相机的两个图像采集单元获取左右原始图像；2)根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；3)从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；4)统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；5)对场景内的物体进行分类，找到场景中的静态物体，并检测当前路径的车道线；6)所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及车轮运动信息；7)基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差；基于所述车道线的视差得到车道线宽度的计算值，比较车道线宽度的实际值与计算值得到宽度偏差；若所述距离偏差大于对应阈值或所述宽度偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离及车道线宽度，反复迭代校正，直至所述距离偏差及所述宽度偏差分别小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定。本发明的双目相机自标定方法及系统不依靠事先准备的标定工具，利用实时图像追踪、车体运动信息及车道宽度信息，对包括内参的焦距及外参的旋转以及平移偏差在内的内外参参数进行优化标定，并完成相关图像校正工作，使双目相机能够为车体提供准确的三维识别数据。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (15)

1.一种双目相机自标定方法，其特征在于，所述双目相机自标定方法至少包括：
1）分别从双目相机的两个图像采集单元获取左右原始图像，所述双目相机设置于移动平台上；
2）根据当前第一参数组及第二参数组构建双目内外参矩阵，对左右原始图像进行校正，得到左右校正图像；其中，第一参数组影响垂直方向视差，第二参数组影响水平方向视差；
3）从左右校正图像中分别提取特征点，并对左右校正图像中的特征点进行匹配得到匹配的特征点对，对误匹配的特征点进行过滤；
4）统计各特征点对的左右图像纵坐标偏差，若所述纵坐标偏差的平均值大于对应阈值则对所述第一参数组中至少一个参数进行修正估计，重新校准后再次与对应阈值比较，反复迭代修正，直至所述纵坐标偏差的平均值小于对应阈值，更新所述第一参数组；
5）对场景内的物体进行分类，找到场景中的静态物体，并检测当前路径的车道线；
6）所述双目相机处于移动状态时，基于处于所述静态物体范围内的特征点对计算静态物体的视差，并追踪所述静态物体的视差及所述移动平台的车轮运动信息；
7）基于所述车轮运动信息得到车轮运动距离，基于所述静态物体的视差得到静态物体的三维距离变化值，比较车轮运动距离与静态物体的三维距离变化值得到距离偏差；基于所述车道线的视差得到车道线宽度的计算值，比较车道线宽度的实际值与计算值得到宽度偏差；若所述距离偏差大于对应阈值或所述宽度偏差大于对应阈值则对所述第二参数组进行修正估计，并基于校准后的图像重新计算静态物体的三维距离及车道线宽度，反复迭代校正，直至所述距离偏差及所述宽度偏差分别小于对应阈值，更新所述第二参数组，完成对双目相机参数的自标定；
步骤7）中，所述静态物体的三维距离变化值满足如下关系式：
，
，
所述车道线宽度的计算值满足如下关系式：
，
所述距离偏差满足如下关系式：
，
所述宽度偏差满足如下关系式：
，
其中，为静态物体的三维距离变化值合集；b为双目相机的基线长；f为双目相机的镜头焦距；D1、D2分别为静态物体在t1时刻及t2时刻的视差合集；/>为视差偏差；/>为双目相机的偏航角偏差；/>为车道线宽度的计算值合集，Ua、Ub为表示车道线宽度的两个端点的横坐标合集；Da、Db分别为两个端点的视差合集，/>为双目相机焦距的修正量，/>为所述车轮运动距离，/>为双目相机基线长的修正量，/>、/>分别为第i个静态物体在t1时刻及t2时刻的视差值，/>为车道线宽度的实际值，/>、/>为表示车道线宽度的两个端点在第j时刻的横坐标；/>、/>为分别为两个端点在第j时刻的视差值。
2.根据权利要求1所述的双目相机自标定方法，其特征在于：所述第一参数组中的参数包括双目相机左右镜头的焦距偏差、俯仰角偏差、翻滚角偏差、高度偏差及前后偏差。
3.根据权利要求2所述的双目相机自标定方法，其特征在于：所述第二参数组中的参数包括双目相机的镜头焦距、偏航角偏差及基线长。
4.根据权利要求3所述的双目相机自标定方法，其特征在于：步骤4）中所述纵坐标偏差的平均值满足如下关系式：
，
，
，
，
，
，
，
其中，VErr为所述纵坐标偏差值的平均值，为第k对特征点对的权重，/>为第k对特征点对在左图像中的纵坐标，/>为第k对特征点对在右图像中的纵坐标，N为特征点对的数量，/>为中间变量，/>为第k对特征点对在左图像中的横坐标，/>为第k对特征点对在右图像中的横坐标，/>为双目相机左右镜头的焦距偏差，f为双目相机的镜头焦距，/>为双目相机的俯仰角偏差，/>为双目相机的翻滚角偏差，/>为双目相机的高度偏差，为双目相机的前后偏差，b为双目相机的基线长。
5.根据权利要求4所述的双目相机自标定方法，其特征在于：将求解所述第一参数组中各参数的方法替换为矩阵运算或者非线性优化方式。
6.根据权利要求4所述的双目相机自标定方法，其特征在于：第k对特征点对的权重为默认值或第k对特征点对的权重/>满足如下关系：
，
其中，ResU为左右图像每行的像素数，ResV为左右图像每列的像素数。
7.根据权利要求4~6任意一项所述的双目相机自标定方法，其特征在于：步骤4）中对所述第一参数组中的参数进行修正时，将修正量乘以第一系数后进行修正，得到修正的参数，其中，所述第一系数大于0且小于等于1。
8.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤3）中基于四叉树提取策略提取所述特征点，使得各特征点在校正后的左右图像中均匀分布。
9.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤5）中采用语义识别找到所述静态物体。
10.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤7）中对所述第二参数组中的参数进行修正时，将修正量乘以第二系数后进行修正，得到修正的参数，其中，所述第二系数大于0且小于等于1。
11.根据权利要求1所述的双目相机自标定方法，其特征在于：步骤7）中追踪的起始时刻及追踪的最终时刻，所述双目相机的朝向一致。
12.根据权利要求1所述的双目相机自标定方法，其特征在于：所述双目相机自标定方法还包括8）根据修正的所述第一参数组及所述第二参数组计算视野环境内的三维信息。
13.一种双目相机自标定系统，其特征在于，所述双目相机自标定系统至少包括：
移动平台、双目相机、图像处理单元及移动平台控制单元；
所述双目相机设置于所述移动平台上，用于获取左右图像；
所述图像处理单元设置于所述移动平台上，且与所述双目相机及所述移动平台控制单元连接，执行如权利要求1~12任意一项所述的双目相机自标定方法，实现自标定；
所述移动平台控制单元设置于所述移动平台上，且与所述移动平台的车轮连接，控制所述车轮转动并获取所述车轮的运动距离。
14.根据权利要求13所述的双目相机自标定系统，其特征在于：所述双目相机的两个图像采集单元具有同步触发关系、同样的分辨率、同样焦段的镜头，镜头的变焦过程具有同步调整关系，成像平面处于同一个平面上。
15.根据权利要求13所述的双目相机自标定系统，其特征在于：所述移动平台的车轮包括轮子、电机及编码器，所述电机驱动所述轮子转动，所述编码器用于记录所述轮子的转动角度及圈数。
CN202010711714.9A 2020-07-22 2020-07-22 双目相机自标定方法及系统 Active CN111862235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010711714.9A CN111862235B (zh) 2020-07-22 2020-07-22 双目相机自标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010711714.9A CN111862235B (zh) 2020-07-22 2020-07-22 双目相机自标定方法及系统

Publications (2)

Publication Number Publication Date
CN111862235A CN111862235A (zh) 2020-10-30
CN111862235B true CN111862235B (zh) 2023-12-29

Family

ID=72949237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010711714.9A Active CN111862235B (zh) 2020-07-22 2020-07-22 双目相机自标定方法及系统

Country Status (1)

Country Link
CN (1) CN111862235B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554714B (zh) * 2021-07-22 2022-04-05 元橡科技(苏州)有限公司 车载双目立体相机自校正方法及其系统、fpga芯片
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN114283119B (zh) * 2021-12-02 2022-12-13 上海韦地科技集团有限公司 一种耐辐照摄像机控制系统
CN114092569B (zh) * 2022-01-19 2022-08-05 安维尔信息科技(天津)有限公司 一种基于多传感器融合的双目相机在线标定方法及系统
CN114653558B (zh) * 2022-05-25 2022-08-02 苏州柳溪机电工程有限公司 用于涂装流水线的吹水系统
CN117597705A (zh) * 2022-06-13 2024-02-23 北京小米移动软件有限公司 一种摄像头的标定方法、装置及可读存储介质
CN117218205B (zh) * 2023-09-13 2024-07-02 北京斯年智驾科技有限公司 一种相机外参校正方法和系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103231708A (zh) * 2013-04-12 2013-08-07 安徽工业大学 一种基于双目视觉的智能车辆避障方法
CN104359464A (zh) * 2014-11-02 2015-02-18 天津理工大学 基于立体视觉的移动机器人定位方法
CN105225482A (zh) * 2015-09-02 2016-01-06 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
WO2017024673A1 (zh) * 2015-08-12 2017-02-16 西安斯凯智能科技有限公司 一种基于射频和双目视觉的目标定位系统及方法
CN106643567A (zh) * 2016-12-08 2017-05-10 广州汽车集团股份有限公司 一种车道偏移系统产线标定板的校验方法及系统
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
WO2019119328A1 (zh) * 2017-12-20 2019-06-27 深圳市大疆创新科技有限公司 一种基于视觉的定位方法及飞行器
CN110264525A (zh) * 2019-06-13 2019-09-20 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法
CN110555884A (zh) * 2018-05-31 2019-12-10 海信集团有限公司 一种车载双目相机的标定方法、装置及终端
CN111174698A (zh) * 2019-12-31 2020-05-19 吉林大学 基于面光场的汽车检测无共视场相机全局标定系统与方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060527B (zh) * 2016-08-01 2018-10-19 北京小鸟看看科技有限公司 一种扩展双目相机定位范围的方法和装置
CN115761007A (zh) * 2022-11-28 2023-03-07 元橡科技（北京）有限公司 一种实时的双目相机自校准方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103231708A (zh) * 2013-04-12 2013-08-07 安徽工业大学 一种基于双目视觉的智能车辆避障方法
CN104359464A (zh) * 2014-11-02 2015-02-18 天津理工大学 基于立体视觉的移动机器人定位方法
WO2017024673A1 (zh) * 2015-08-12 2017-02-16 西安斯凯智能科技有限公司 一种基于射频和双目视觉的目标定位系统及方法
CN105225482A (zh) * 2015-09-02 2016-01-06 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN106295560A (zh) * 2016-08-09 2017-01-04 浙江零跑科技有限公司 基于车载双目相机和分段式pid控制的车道保持方法
CN106643567A (zh) * 2016-12-08 2017-05-10 广州汽车集团股份有限公司 一种车道偏移系统产线标定板的校验方法及系统
WO2019119328A1 (zh) * 2017-12-20 2019-06-27 深圳市大疆创新科技有限公司 一种基于视觉的定位方法及飞行器
CN110555884A (zh) * 2018-05-31 2019-12-10 海信集团有限公司 一种车载双目相机的标定方法、装置及终端
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110264525A (zh) * 2019-06-13 2019-09-20 惠州市德赛西威智能交通技术研究院有限公司 一种基于车道线与目标车辆的相机标定方法
CN111174698A (zh) * 2019-12-31 2020-05-19 吉林大学 基于面光场的汽车检测无共视场相机全局标定系统与方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Binocular Camera Calibration Based on Three-dimensional Reconstruction Error;Changying Liu et al.;《2018 IEEE 3rd Advanced Information Technology, Electronic and Automation Control Conference (IAEAC)》;全文 *
Binocular Camera Calibration Using Rectification Error;Derek Bradley et al.;《2010 Canadian Conference on Computer and Robot Vision》;全文 *
Camera Calibration in Binocular Stereo Vision of Moving Robot;Yongjie Yan et al.;《2006 6th World Congress on Intelligent Control and Automation》;全文 *
一种车载双目视觉系统的标定;陈双;王源;赵凯旋;王乾乾;;农业装备与车辆工程(第04期);全文 *
双目立体视觉的光学标定技术;刘晓利;田媛;童飞;唐舰;隋国荣;陈抱雪;;光学仪器(第03期);全文 *

Also Published As

Publication number Publication date
CN111862235A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111862235B (zh) 双目相机自标定方法及系统
CN111862234B (zh) 双目相机自标定方法及系统
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN109631896B (zh) 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN111862236B (zh) 定焦双目相机自标定方法及系统
EP3430594B1 (en) Method for motion estimation between two images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
CN111862673B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
WO2017206999A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera
KR20070051275A (ko) 입체시각 시스템의 자동 보정 방법
CN104539928A (zh) 一种光栅立体印刷图像合成方法
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
CN114022560A (zh) 标定方法及相关装置、设备
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
CN115937325B (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
CN116385997A (zh) 一种车载障碍物精确感知方法、系统及存储介质
CN113808070B (zh) 一种双目数字散斑图像相关的视差测量方法
CN116051649A (zh) 一种结合深度学习与双目视觉的道路障碍物测距方法
CN112085776B (zh) 一种直接法无监督单目图像场景深度估计方法
CN113834463A (zh) 基于绝对尺寸的智能车侧方行人/车单目深度测距方法
CN111986248B (zh) 多目视觉感知方法、装置及自动驾驶汽车
Rabe Detection of moving objects by spatio-temporal motion analysis
CN111695379B (zh) 基于立体视觉的地面分割方法、装置、车载设备及存储介质
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant