CN111784778A - 基于线性求解非线性优化的双目相机外参标定方法和系统 - Google Patents

基于线性求解非线性优化的双目相机外参标定方法和系统 Download PDF

Info

Publication number
CN111784778A
CN111784778A CN202010502377.2A CN202010502377A CN111784778A CN 111784778 A CN111784778 A CN 111784778A CN 202010502377 A CN202010502377 A CN 202010502377A CN 111784778 A CN111784778 A CN 111784778A
Authority
CN
China
Prior art keywords
binocular camera
points
image
matching
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010502377.2A
Other languages
English (en)
Other versions
CN111784778B (zh
Inventor
彭刚
虎璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010502377.2A priority Critical patent/CN111784778B/zh
Publication of CN111784778A publication Critical patent/CN111784778A/zh
Application granted granted Critical
Publication of CN111784778B publication Critical patent/CN111784778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于线性求解非线性优化的双目相机外参标定方法和系统，包括：对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；基于N对匹配点的三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组得到初始双目相机外参；将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值获得视觉重投影误差；对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型得到最优双目相机外参，用于双目相机外参标定。本发明充分利用双目相机的深度信息，仅需较少的图片，在保证标定精度的同时能明显降低标定时间。

Description

基于线性求解非线性优化的双目相机外参标定方法和系统
技术领域
本发明属于双目相机标定领域，更具体地，涉及一种基于线性求解非线性优化的双目相机外参标定方法和系统。
背景技术
双目相机的两个镜头空间距离较大，姿态也不一致，即左眼相机坐标系与右眼相机坐标系不对齐，而在关于双目视觉图像处理的关键技术中，大量使用了左眼与右眼相机坐标系之间的位姿信息，不准确的双目位姿信息可能降低双目视觉图像处理的精度。因此，需要通过标定来对齐两个相机坐标系，即标定右眼相机坐标系在左眼相机坐标系下的相对位置与相对旋转，分别用平移向量t与旋转矩阵R表示，称双目相机外参标定。双目相机外参标定是现代双目视觉图像处理领域的核心技术之一，在国内外基于双目视觉信息的各类算法中得到了广泛的应用。
目前关于双目相机外参的标定方法还存在如下问题：
现有的一些双目相机外参标定方法，主要针对的是无深度信息的双目相机，而大部分双目相机具备深度估计功能，即可以直接获取左眼相机的每个像素的深度信息，而利用常规的双目相机外参标定算法来标定该种类型的相机外参，需要采集多帧的双目图像来估计外参，使得标定时间较长，导致标定效率降低。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于线性求解非线性优化的双目相机外参标定方法和系统，由此解决传统标定算法无法利用双目相机的深度信息，需要采集多帧的双目图像来标定外参，导致标定时间较长的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于线性求解非线性优化的双目相机外参标定方法，包括如下步骤：
(1)对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；
(2)将N对匹配点中属于一幅图像的特征点的二维像素坐标和深度值变换为三维空间坐标，将属于另一幅图像的特征点的二维像素坐标变换为归一化平面坐标，基于三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组，得到初始双目相机外参；
(3)将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行下一步，否则返回步骤(1)；
(4)对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型，得到最优双目相机外参，用于双目相机外参标定。
进一步地，步骤(1)中特征点提取的具体实现方式为：
提取左右两幅图像的角点，对角点进行二进制编码描述，由此得到具有描述子的ORB特征点。
进一步地，步骤(1)中特征点匹配的具体实现方式为：
对于一幅图像中每个ORB特征点，测量其与另一幅图像中所有ORB特征点的描述子的距离，然后排序，将距离最近的一对特征点作为匹配点，进而得到N对匹配点。
进一步地，步骤(1)还包括：对左右两幅图像进行畸变消除操作后进行特征点提取和匹配。
进一步地，标定板具有亮度变化且不反光。
进一步地，步骤(3)包括：
将一幅图像的特征点的三维空间坐标旋转变换至另一幅图像下的三维空间坐标，将另一幅图像下的三维空间坐标和初始双目相机外参代入线性方程组，得到另一幅图像下的二维像素坐标，作为预测值；
将另一幅图像在对应相机观测到的二维像素坐标作为观测值，将观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行下一步，否则返回步骤(1)。
进一步地，非线性模型为：
Figure BDA0002524282030000031
其中，ei(T0)为第i对匹配点的视觉重投影误差，T0为初始双目相机外参。
进一步地，非线性模型的求解包括：牛顿迭代法、最速下降法和列文伯格-马夸尔特法。
按照本发明的另一方面，提供了一种基于线性求解非线性优化的双目相机外参标定系统，包括：
匹配模块，用于对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；
初始模块，用于将N对匹配点中属于一幅图像的特征点的二维像素坐标和深度值变换为三维空间坐标，将属于另一幅图像的特征点的二维像素坐标变换为归一化平面坐标，基于三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组，得到初始双目相机外参；
误差模块，用于将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行优化模块，否则执行匹配模块；
优化模块，用于对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型，得到最优双目相机外参，用于双目相机外参标定。
进一步地，匹配模块包括：
特征点提取模块，用于提取左右两幅图像的角点，对角点进行二进制编码描述，由此得到具有描述子的ORB特征点；
特征点匹配模块，用于对于一幅图像中每个ORB特征点，测量其与另一幅图像中所有ORB特征点的描述子的距离，然后排序，将距离最近的一对特征点作为匹配点，进而得到N对匹配点。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明通过构建线性方程组，可以在较短的时间内获得一个较为精确初始双目相机外参，避免了非线性优化不收敛的问题。本发明基于视觉重投影误差，构建关于误差的非线性模型，求解模型即可获得较高精度的外参标定值。由于本发明中的线性求解和非线性优化均充分利用了双目相机的深度信息，因此仅利用较少的图片，在保证标定精度的同时就能明显降低标定时间，提高整个标定算法的效率。
(2)本发明提取的ORB特征由角点和描述子构成，具备旋转和尺度不变性，ORB特征点提取与匹配算法，可以有效提高特征点的匹配精度并降低特征匹配时间。由于ORB特征具有较好的尺度和旋转不变性，且其采用速度极快的二进制描述子BRIEF，因此在双目特征提取与匹配环节可以在保证精度的同时，降低特征匹配的时间。
(3)本发明进行畸变消除操作是为了减小后续特征点提取和匹配的误差，标定板具有亮度变化且不反光，有利于后续进行ORB特征提取与匹配，这样选择可以提高特征检测与匹配的精度，进而提升标定精度。
(4)本发明利用二维像素坐标和深度值得到三维空间坐标，基于三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，由于该求解方法考虑了深度信息，且只需要利用有限的匹配点来构建线性方程，因此，只需要进行简单的计算，即可获得一个较为精确的初始外参值。
(5)本发明通过判断初始双目相机外参是否符合优化要求，能够在较短的时间下确定当前初始外参值是否有效，具有判断效率高的优点，可以有效避免后续非线性优化不收敛的问题，进一步提高双目外参标定的精度。本发明方法采用视觉重投影误差作为判断标准，而视觉重投影误差只需要将观测值与预测值进行简单的相减运算，即可获得在当前初始双目外参下的误差，因此具有运算简单，速度快，判断准确率高的优点。
(6)本发明在双目外参优化时，在初始值的基础上可以获得最优的双目外参值，在精度提升的同时，还有效缩短整个标定算法的运行时间。由于该优化方法，在初始双目外参的基础上，首先基于N个视觉重投影误差的和来构建的非线性最小二乘优化问题，然后求解该最小二乘优化问题，使得N个视觉重投影误差的和最小化，即可获得最优的双目外参值。并且利用牛顿迭代法、最速下降法和列文伯格-马夸尔特法均可以求解，只需进行少量的迭代次数即可获得最优解，因此，该优化方法在保证标定精度的同时，可以有效缩短整个求解时间。
附图说明
图1是本发明实施例提供的基于线性求解非线性优化的双目相机外参标定方法的流程图；
图2是本发明实施例1提供的双目相机示意图；
图3是本发明实施例1提供的棋盘格特征点匹配示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，一种基于线性求解非线性优化的双目相机外参标定方法，包括如下步骤：
(1)对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；
(2)将N对匹配点中属于一幅图像的特征点的二维像素坐标和深度值变换为三维空间坐标，将属于另一幅图像的特征点的二维像素坐标变换为归一化平面坐标，基于三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组，得到初始双目相机外参；
(3)将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行下一步，否则返回步骤(1)；
(4)对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型，得到最优双目相机外参，用于双目相机外参标定。
进一步地，步骤(1)中特征点提取的具体实现方式为：
提取左右两幅图像的角点，对角点进行二进制编码描述，由此得到具有描述子的ORB特征点。角点是指：检测图像中局部像素灰度变化明显的地方。ORB特征由改良的FAST特征和BRIEF特征描述子构成，改良的FAST特征具备旋转和尺度不变性。ORB的英文全称：Oriented FAST and Rotated BRIEF。
进一步地，步骤(1)中特征点匹配的具体实现方式为：
对于一幅图像中每个ORB特征点，测量其与另一幅图像中所有ORB特征点的描述子的距离，然后排序，将距离最近的一对特征点作为匹配点，进而得到N对匹配点。其中，描述子的距离表示两个特征之间的相似程度，而ORB特征点由于其描述子采用二进制编码，故两个ORB特征点之间的距离采用汉明距离度量，即两个二进制串之间不同位数的个数。
进一步地，步骤(1)还包括：对左右两幅图像进行畸变消除操作后进行特征点提取和匹配。
进一步地，标定板具有亮度变化且不反光。
进一步地，步骤(3)包括：
将一幅图像的特征点的三维空间坐标旋转变换至另一幅图像下的三维空间坐标，将另一幅图像下的三维空间坐标和初始双目相机外参代入线性方程组，得到另一幅图像下的二维像素坐标，作为预测值；
将另一幅图像在对应相机观测到的二维像素坐标作为观测值，将观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行下一步，否则返回步骤(1)。
进一步地，非线性模型为：
Figure BDA0002524282030000071
其中，ei(T0)为第i对匹配点的视觉重投影误差，T0为初始双目相机外参。
进一步地，非线性模型的求解包括：牛顿迭代法、最速下降法和列文伯格-马夸尔特法。
所述的双目相机外参标定具体含义为：标定双目相机的右眼相机坐标系在左眼相机坐标系下的相对位置与相对旋转，分别用平移向量t与旋转矩阵R表示，称双目相机外参标定。将R和f合在一起，为右眼相机相对于左眼相机的变换矩阵
Figure BDA0002524282030000072
双目相机外参标定的过程，就是精确估计T的过程。
实施例1
如图2所示，为一个双目相机示意图。
本发明中标定板可以为棋盘格，所述的棋盘格应具备不反光功能，否则会影响标定精度，同时把棋盘格的横向与纵向内角点数及每个棋盘的尺寸记录到标定算法的配置文件。使用棋盘格，是因为棋盘格中黑白相间，在黑色方块和白色方块相接的位置处，亮度变化明显，可以很好的进行ORB特征提取与匹配，这样选择可以提高特征检测与匹配的精度，进而提升标定精度。
步骤(1)具体为：使用待标定的双目相机在同一时刻采集两幅携带深度信息的棋盘格图像，保证左眼与右眼相机采集的图像时间戳相同，控制云台旋转相机，在不同位置采集双目图像，经过多次采集，确保棋盘格出现在左右相机视野中的每个位置。
在获得双目图片的基础上，首先对左右两幅图像进行畸变消除操作，然后采用ORB特征提取与匹配算法来提取并匹配左右两幅图像中的N对棋盘格特征点。图3为采用ORB特征提取与匹配算法获取的N对棋盘格特征点。
步骤(2)具体为：首先根据步骤(1)匹配到的N对匹配点，采用内参矩阵K，将左幅图像N个特征点的二维像素坐标(uL，vL)和深度值d变换为左眼相机参考坐标系下的N个三维空间坐标X，Y，Z。则左眼相机坐标系下某一三维点坐标Pc＝(X，Y，Z)到像素坐标(uL，vL)的变换关系为：
Figure BDA0002524282030000081
然后将匹配到的右眼二维像素坐标(uR，vR)，依据右眼相机的内参矩阵变换为右眼相机归一化平面坐标(UR，VR，1)。
最后基于N对三维空间坐标X，Y，Z和归一化平面坐标(UR，VR，1)之间的变换关系，构建关于双目相机外参T的线性方程组。具体构造方式为：假设此时右眼相机坐标系与左眼相机坐标系的相对外参为R，t，则将R，t写为增广矩阵[R|t]的形式，是一个3*4的关于12个未知变量t的矩阵，dR为右眼相机下，像素点(UR，VR，1)对应的深度信息，则右眼相机的某一归一化平面坐标(UR，VR，1)与左眼相机坐标系下的三维空间坐标X，Y，Z的变换关系为：
Figure BDA0002524282030000091
由于矩阵t一共有12维，可以根据实际情况选用较优的12对匹配点构造12个线性方程，联合求解，即可获得初始的双目相机外参值T0。
步骤(3)中的初始双目相机外参T0是否符合优化要求的判断原则具体为：利用求解得到的初始双目相机外参T0，将步骤(2)中获得的左眼相机特征点的三维空间坐标X，Y，Z，通过旋转变换到右眼相机坐标系下，具体变换公式为：
P′＝T0[X Y Z]T＝[X′，Y′，Z′]T
然后采用内参矩阵K，将变换后的三维空间点的P′坐标变换为二维像素坐标U，具体变换公式为：
Figure BDA0002524282030000092
最后将变换得到的二维像素坐标与右眼相机观测到的二维像素坐标相减，即利用观测值减去预测值，获得视觉重投影误差e(T0)，其中每个误差项如下：
Figure BDA0002524282030000101
u、v为右眼相机某一观测值，X′i、Y′i、Z′i为基于当前相机外参T0变换得到的预测值，ue、ve为每个特征点的横轴和纵轴重投影误差，维度为2。判断该误差e(T0)是否小于设定的阈值，若小于则说明T0符合优化条件，继续执行下一步，否则说明误差较大，返回到步骤(1)。
步骤(4)具体包括如下步骤：
(A1)利用步骤(3)，将N对匹配点的视觉重投影误差进行求和操作，构建关于N个重投影误差的非线性最小二乘模型：
Figure BDA0002524282030000102
并推导重投影误差函数e(T0)关于双目相机外参T的一阶雅各比矩阵J(T)；
(A2)采用牛顿迭代法求解，使步骤(A2)中的非线性最小二乘模型最小化，经过多次连续迭代，直到所有匹配点的重投影误差和最小，获得最优双目相机外参T。
其中，求解最优双目相机外参包括如下步骤：
(B1)给定初始的双目相机外参T0；
(B2)对第i次迭代，求出当前的雅各比矩阵Ji(Ti)和重投影误差ei(Ti)；
(B3)求解第i次迭代的双目相机外参增量
Figure BDA0002524282030000103
(B4)判断步骤(B3)中的外参增量ΔTi是否小于设定阈值或者当前迭代次数是否已到设定的最大迭代次数，若小于设定阈值或者已到设定的最大迭代次数，则停止迭代，获得最优双目相机外参T，否则，利用增量ΔTi更新外参Ti，令Ti+1＝Ti+ΔTi，返回到(B3)。
其中，步骤(B2)中的雅各比矩阵Ji(Ti)为每个视觉重投影误差项ei(Ti)关于相机外参增量ΔTi的偏导数，具体形式为：
Figure BDA0002524282030000111
为了验证本发明提出的基于线性求解与非线性优化的双目相机外参标定方法的优势，与开源标定工具Kalibr进行实验对比，分别使用两种标定方法进行三次实验，标定结果见表1所示。
表1双目相机外参标定实验对比
Figure BDA0002524282030000112
将三次标定值的平均值当作每种标定方法的最后标定值，由表1分析可知，本发明方法不仅在精度上与Kalibr方法的标定结果相当，对于双目相机外参的每一个参数，两者之间偏差均在0.2cm以内，标定结果良好；而且本发明方法仅利用少量的双目图片，就可以在较短的时间内迭代收敛到标准值附近，本发明方法比Kalibr方法缩短约14.91s，相对降低约37.5％。因此，本发明方法具有可行性与有效性。
本发明充分利用双目相机的深度信息，仅需较少的图片，在保证标定精度的同时能明显降低标定时间，具有配置简单，标定效率高的特点，适用于具备深度信息的双目相机外参标定。本发明主要应用于双目视觉图像处理领域。
以上所述，仅为本发明之较佳实施例而已，只适用于帮助理解本发明实施例的原理，当不能限定本发明实施范围；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制；凡在本发明的精神和原则之内所作的任何修改、等同替换或改进，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，包括如下步骤：
(1)对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；
(2)将N对匹配点中属于一幅图像的特征点的二维像素坐标和深度值变换为三维空间坐标，将属于另一幅图像的特征点的二维像素坐标变换为归一化平面坐标，基于三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组，得到初始双目相机外参；
(3)将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行下一步，否则返回步骤(1)；
(4)对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型，得到最优双目相机外参，用于双目相机外参标定。
2.如权利要求1所述的一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，所述步骤(1)中特征点提取的具体实现方式为：
提取左右两幅图像的角点，对角点进行二进制编码描述，由此得到具有描述子的ORB特征点。
3.如权利要求2所述的一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，所述步骤(1)中特征点匹配的具体实现方式为：
对于一幅图像中每个ORB特征点，测量其与另一幅图像中所有ORB特征点的描述子的距离，然后排序，将距离最近的一对特征点作为匹配点，进而得到N对匹配点。
4.如权利要求1-3任一所述的一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，所述步骤(1)还包括：对左右两幅图像进行畸变消除操作后进行特征点提取和匹配。
5.如权利要求1-3任一所述的一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，所述标定板具有亮度变化且不反光。
6.如权利要求1-3任一所述的一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，所述步骤(3)包括：
将一幅图像的特征点的三维空间坐标旋转变换至另一幅图像下的三维空间坐标，将另一幅图像下的三维空间坐标和初始双目相机外参代入线性方程组，得到另一幅图像下的二维像素坐标，作为预测值；
将另一幅图像在对应相机观测到的二维像素坐标作为观测值，将观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行下一步，否则返回步骤(1)。
7.如权利要求1-3任一所述的一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，所述非线性模型为：
Figure FDA0002524282020000021
其中，ei(T0)为第i对匹配点的视觉重投影误差，T0为初始双目相机外参。
8.如权利要求1-3任一所述的一种基于线性求解非线性优化的双目相机外参标定方法，其特征在于，所述非线性模型的求解包括：牛顿迭代法、最速下降法和列文伯格-马夸尔特法。
9.一种基于线性求解非线性优化的双目相机外参标定系统，其特征在于，包括：
匹配模块，用于对双目相机拍摄标定板得到的左右两幅图像，进行特征点提取与匹配，获得N对匹配点；
初始模块，用于将N对匹配点中属于一幅图像的特征点的二维像素坐标和深度值变换为三维空间坐标，将属于另一幅图像的特征点的二维像素坐标变换为归一化平面坐标，基于三维空间坐标与归一化平面坐标之间的变换关系，构建关于双目相机外参的线性方程组，求解线性方程组，得到初始双目相机外参；
误差模块，用于将初始双目相机外参代入线性方程组得到预测值，将双目相机的观测值减去预测值，获得视觉重投影误差，若视觉重投影误差小于预设阈值，则执行优化模块，否则执行匹配模块；
优化模块，用于对N对匹配点的视觉重投影误差进行求和操作，构建关于视觉重投影误差和的非线性模型，求解非线性模型，得到最优双目相机外参，用于双目相机外参标定。
10.如权利要求9所述的一种基于线性求解非线性优化的双目相机外参标定系统，其特征在于，所述匹配模块包括：
特征点提取模块，用于提取左右两幅图像的角点，对角点进行二进制编码描述，由此得到具有描述子的ORB特征点；
特征点匹配模块，用于对于一幅图像中每个ORB特征点，测量其与另一幅图像中所有ORB特征点的描述子的距离，然后排序，将距离最近的一对特征点作为匹配点，进而得到N对匹配点。
CN202010502377.2A 2020-06-04 2020-06-04 基于线性求解非线性优化的双目相机外参标定方法和系统 Active CN111784778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010502377.2A CN111784778B (zh) 2020-06-04 2020-06-04 基于线性求解非线性优化的双目相机外参标定方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502377.2A CN111784778B (zh) 2020-06-04 2020-06-04 基于线性求解非线性优化的双目相机外参标定方法和系统

Publications (2)

Publication Number Publication Date
CN111784778A true CN111784778A (zh) 2020-10-16
CN111784778B CN111784778B (zh) 2022-04-12

Family

ID=72753980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502377.2A Active CN111784778B (zh) 2020-06-04 2020-06-04 基于线性求解非线性优化的双目相机外参标定方法和系统

Country Status (1)

Country Link
CN (1) CN111784778B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365547A (zh) * 2020-11-06 2021-02-12 上海易维视科技有限公司 基于多深度光栅可视点的相机矫正方法及系统
CN112507755A (zh) * 2020-12-22 2021-03-16 芜湖英视迈智能科技有限公司 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统
CN112581540A (zh) * 2020-12-21 2021-03-30 东南大学 一种大场景下基于人体姿态估计的相机标定方法
CN113112553A (zh) * 2021-05-26 2021-07-13 北京三快在线科技有限公司 双目相机的参数标定方法、装置、电子设备及存储介质
CN113421303A (zh) * 2021-06-18 2021-09-21 北京盈迪曼德科技有限公司 机器人位姿解算方法、装置、机器人及存储介质
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113838151A (zh) * 2021-10-15 2021-12-24 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质
CN114202588A (zh) * 2021-12-09 2022-03-18 纵目科技（上海）股份有限公司 一种车载环视相机快速自动标定方法和装置
CN114964316A (zh) * 2022-07-27 2022-08-30 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN115014398A (zh) * 2022-07-27 2022-09-06 湖南科天健光电技术有限公司 单目立体视觉测量系统位置姿态校准方法、装置、系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法
CN107067437A (zh) * 2016-12-28 2017-08-18 中国航天电子技术研究院 一种基于多视几何和光束法平差的无人机定位系统及方法
US20180302614A1 (en) * 2017-04-13 2018-10-18 Facebook, Inc. Panoramic camera systems
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110349213A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111145270A (zh) * 2019-12-27 2020-05-12 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067437A (zh) * 2016-12-28 2017-08-18 中国航天电子技术研究院 一种基于多视几何和光束法平差的无人机定位系统及方法
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法
US20180302614A1 (en) * 2017-04-13 2018-10-18 Facebook, Inc. Panoramic camera systems
CN110335316A (zh) * 2019-06-28 2019-10-15 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN110349213A (zh) * 2019-06-28 2019-10-18 Oppo广东移动通信有限公司 基于深度信息的位姿确定方法、装置、介质与电子设备
CN111145270A (zh) * 2019-12-27 2020-05-12 深圳市瑞立视多媒体科技有限公司 基于光学动捕的大空间环境下多相机标定方法及相关设备
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN111199578A (zh) * 2019-12-31 2020-05-26 南京航空航天大学 基于视觉辅助激光雷达的无人机三维环境建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU ZHANG等: "Calibration of large FOV thermal/visible hybrid binocular vision system", 《PROCEEDINGS OF THE 32ND CHINESE CONTROL CONFERENCE》 *
黄春燕: "双目立体相机标定算法研究与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365547B (zh) * 2020-11-06 2023-08-22 上海易维视科技有限公司 基于多深度光栅可视点的相机矫正方法及系统
CN112365547A (zh) * 2020-11-06 2021-02-12 上海易维视科技有限公司 基于多深度光栅可视点的相机矫正方法及系统
CN112581540A (zh) * 2020-12-21 2021-03-30 东南大学 一种大场景下基于人体姿态估计的相机标定方法
CN112507755A (zh) * 2020-12-22 2021-03-16 芜湖英视迈智能科技有限公司 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统
CN112507755B (zh) * 2020-12-22 2024-05-24 芜湖英视迈智能科技有限公司 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统
CN113112553A (zh) * 2021-05-26 2021-07-13 北京三快在线科技有限公司 双目相机的参数标定方法、装置、电子设备及存储介质
CN113421303A (zh) * 2021-06-18 2021-09-21 北京盈迪曼德科技有限公司 机器人位姿解算方法、装置、机器人及存储介质
CN113610932A (zh) * 2021-08-20 2021-11-05 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN113838151A (zh) * 2021-10-15 2021-12-24 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质
CN113838151B (zh) * 2021-10-15 2023-11-17 西安维沃软件技术有限公司 相机标定方法、装置、设备及介质
CN114202588A (zh) * 2021-12-09 2022-03-18 纵目科技（上海）股份有限公司 一种车载环视相机快速自动标定方法和装置
CN114202588B (zh) * 2021-12-09 2022-09-23 纵目科技（上海）股份有限公司 一种车载环视相机快速自动标定方法和装置
CN114964316A (zh) * 2022-07-27 2022-08-30 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统
CN115014398A (zh) * 2022-07-27 2022-09-06 湖南科天健光电技术有限公司 单目立体视觉测量系统位置姿态校准方法、装置、系统
CN114964316B (zh) * 2022-07-27 2022-11-01 湖南科天健光电技术有限公司 位置姿态校准方法及装置、测量待测目标的方法、系统

Also Published As

Publication number Publication date
CN111784778B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN110363858B (zh) 一种三维人脸重建方法及系统
CN108198223B (zh) 一种激光点云与视觉图像映射关系快速精确标定方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN103048331B (zh) 基于柔性模板配准的印刷缺陷检测方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN106705849B (zh) 线结构光传感器标定方法
CN107560592B (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN110349257B (zh) 一种基于相位伪映射的双目测量缺失点云插补方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN111027415A (zh) 一种基于偏振图像的车辆检测方法
CN111524193B (zh) 一种物体二维尺寸的测量方法及测量装置
CN112652020A (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN105787464A (zh) 一种大量图片在三维场景中的视点标定方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN111415305A (zh) 恢复三维场景的方法、计算机可读存储介质及无人机
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
CN112017259B (zh) 一种基于深度相机与热像仪的室内定位与建图方法
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant