CN107256570A - 一种基于最优化估计的摄像机外参数标定方法 - Google Patents

一种基于最优化估计的摄像机外参数标定方法 Download PDF

Info

Publication number
CN107256570A
CN107256570A CN201710439377.0A CN201710439377A CN107256570A CN 107256570 A CN107256570 A CN 107256570A CN 201710439377 A CN201710439377 A CN 201710439377A CN 107256570 A CN107256570 A CN 107256570A
Authority
CN
China
Prior art keywords
point
picture point
mrow
external parameters
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710439377.0A
Other languages
English (en)
Inventor
马文娟
孙树森
缪永伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN201710439377.0A priority Critical patent/CN107256570A/zh
Publication of CN107256570A publication Critical patent/CN107256570A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于最优化估计的摄像机外参数标定方法，包括：(1)将内参数矩阵已知的被测摄像机固定，并拍摄一个空间结构已知的三维物体的图像；(2)提取图像中的特征点组成一组原始图像点，并确定与特征点对应的一组三维空间点；(3)将三维空间点重投影到图像上，得到估算图像点；(4)利用内参数矩阵分别对图像点作归一化处理，并利用L∞范数定义三维空间点的重投影误差，构成二阶锥规划模型；(5)将二阶锥规划模型中的圆锥约束松驰为方锥约束，将二阶锥规划问题松弛为线性规划问题；(6)将旋转矩阵以轴角坐标表示，使用分支定界法在旋转空间中进行搜索，并求解对应的线性规划问题，直至找到最优解。

Description

一种基于最优化估计的摄像机外参数标定方法
技术领域
本发明属于计算机视觉领域，具体涉及一种基于最优化估计的摄像机外参数标定方法。
背景技术
摄像机外参数标定是计算机视觉应用问题的核心内容，包括运动分割、物体识别和模型校准等。摄像机的外参数是指摄像机相对于世界坐标系的方位，包括选择矩阵R和平移矢量C。摄像机外参数标定就是给定一系列三维点以及对应的图像点，确定R和C。在不存在噪声时，可以采用直接线性变换(DLT)算法求得摄像机外参数，这种方法是利用线性算法求出初始解，然后进行非线性优化。虽然该方法比较有效，但是由于问题的非凸性而往往陷入局部最优。为了求得全局最优解，一些基于重投影误差的L∞范数的全局优化算法已经提出，然而，这些算法是在假设摄像机的旋转矩阵R已知的情况下，仅仅确定摄像机的位置C。
Olsson提出了摄像机外参数标定问题的第一种全局优化算法，这种方法是基于全局优化理论，在重投影误差的二范数下采用凸松弛结合分支定界法求解，但其缺点是收敛速度很慢。Enqvist利用经典几何的一个简单结论推导L∞范数的必要条件，并将其应用到分支定界方法中进行寻优和检测外围点。该方法的缺点是分支定界方法的寻优区域很难定义。另外一种求取摄像机最优位姿的方法是在旋转空间寻优，通过解一系列的二阶锥规划问题得到最优解，其寻优空间是可以确定的，但是收敛速度仍然较慢。
发明内容
针对现有技术的不足，本发明提出了一种基于最优化估计的摄像机外参数标定方法。
本发明的技术方案为：
一种基于最优化估计的摄像机外参数标定方法，包括以下步骤：
(1)将内参数矩阵已知的被测摄像机固定，并拍摄一个空间结构已知的三维物体的图像；
(2)提取图像中的特征点组成一组原始图像点vi(i＝1,…,n)，并确定与特征点对应的一组三维空间点Xi(i＝1,…,n)，n为特征点的总个数；
(3)将三维空间点重投影到图像上，得到估算图像点
(4)利用摄像机内参数矩阵分别对原始图像点、估算图像点作归一化处理，并根据处理后的原始图像点、估算图像点，利用L∞范数定义三维空间点的重投影误差，构成二阶锥规划模型；
(5)将二阶锥规划模型中的圆锥约束松驰为方锥约束，将二阶锥规划问题松弛为线性规划问题；
(6)将摄像机姿态中的旋转矩阵以轴角坐标表示，使用分支定界法在旋转空间中进行搜索，并求解对应的线性规划问题，直至找到最优解。
步骤(1)中，被测摄像机的内参数矩阵K是通过文献Z.Zhang.Flexible cameracalibration by viewing a plane from unknown orientations[C].Proceedings ofthe 5th International Conference on Computer Vision,1999,pp.666-673所述的单摄像机标定方法测量得到的。
步骤(2)中，根据图像中的特征点，在三维空间内找到与特征点对应位置的三维空间点，这样建立了原始图像点与三维空间点的对应关系。
步骤(3)中，估算图像点其中，R表示摄像机相对于世界坐标系的旋转矩阵，C表示摄像机的位置。
步骤(4)中，归一化处理后的原始图像点vi＝K-1vi，估算图像点根据vi和利用L∞范数定义三维空间点的重投影误差，则摄像机外参数标定问题就可以描述成min max优化问题：
其中，||·||表示原始图像点和估算图像点的距离，该距离应小于阈值ε，即||vi-R(Xi-C)||≤ε。||vi-R(Xi-C)||≤ε符合二阶锥约束的形式，若摄像机外参数旋转矩阵已知，该问题可以用二阶锥规划求解；
利用平面坐标表示原始图像点、估算图像点，则vi＝(ui,vi,1)Τ，两点距离即重投影误差满足其中，zi和分别为vi和对应的球面点vsi和的z坐标值，β表示球面点vsi与之间的弧长，至此，二阶锥规划模型可表述为：
步骤(5)中，用L∞范数替换式(2)中的L2范数，则：
且
公式(3)中，2n个线性不等式代表了n个以摄像机为中心的方锥，即公式(2)中的n个圆锥被n个方锥替代，则二阶锥规划问题松弛为线性规划问题。
步骤(6)中，旋转矩阵用轴角表示为其中α表示旋转矩阵的角，表示旋转轴的单位矢量，这样所有的三维旋转矩阵可以由半径为π的球体内的点表示。
分支定界法可以描述为：
将球体松弛成其外切立方体并将该立方体分割成小立方块Dk，对每一个小立方体，计算其中心点σ等于小立方体边长的一半，判断是否有解(C,δr)满足如下问题：
判断公式(4)是否有解，
若有，则将当前的立方体平均分成8块较小立方体，并判断分得的较小立方体中是否包含球体中的任何元素，若是，进入下一次迭代判断，若否，将该较小立方体舍弃；
若否，将当前立方体舍弃；
上述过程反复迭代，直到小立方体不能再分并且满足公式(4)，迭代终止，求解得到最优的摄像机外参数R和C。
与现有技术相比，本发明将二阶锥约束松弛为线性约束，结合分支定界法和线性规划法求取全局最优解，在保证全局最优解的同时具有更快的求解速度。
附图说明
图1是本发明基于最优化估计的摄像机外参数标定方法的流程图；
图2是本发明中图像球面和图像平面的二维图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本实施例的具体实施过程如下：
S01，将被测摄像机固定，利用单摄像机标定方法确定出其内参数矩阵K，将一个空间结构已知的三维物体置于摄像机前，拍摄一幅图像。
S02，在图像中提取特征点，确定图像点与空间点的对应关系，从而得到一组空间三维点Xi(i＝1,…,n)和原始图像点vi(i＝1,…,n)的对应。
S03，将三维空间点重投影到图像上，得到估算图像点
S04，利用摄像机内参数矩阵分别对原始图像点、估算图像点作归一化处理，得到处理后的原始图像点vi＝K-1vi，估算图像点
S05，根据原始图像点vi，估算图像点用L∞范数定义三维空间点的重投影误差，摄像机外参数标定问题就可以描述成min max优化问题：
其中，||·||表示原始图像点和估算图像点的距离，应该小于某个阈值ε，即||vi-R(Xi-C)||≤ε，符合二阶锥约束的形式，若旋转矩阵已知，该问题可以用二阶锥规划求解。
本实施例采用平面坐标表示图像点，则vi＝(ui,vi,1)Τ，两点距离即重投影误差满足其中zi和分别为vi和对应的球面点vsi和的z坐标值，β表示两个球面点之间的弧长，图1为图像球面和图像平面的二维图，由于图像点坐标已经归一化，因此假设摄像机焦距为1。至此，问题求解的二阶锥规划模型可表述为：
S06，用L∞范数替换式(2)中的L2范数，于是有
且
公式(3)给出2n个线性不等式代表n个以摄像机为中心的方锥，也就是说当用L∞范数代替L2范数时，式(2)中的n个圆锥被n个方锥替代，原二阶锥规划问题松弛为线性规划问题。
S07，采用分支定界方法对旋转空间进行搜索，旋转矩阵用轴角表示为其中α表示旋转量的角，是表示旋转轴的单位矢量。这样所有的三维旋转量可以由半径为π的球体内的点表示。
为了简化算法，将球松弛成它的外切立方体把立方体分割成小的立方块，通常每次分割是将立方体平分成8块小立方体。随着立方体的尺寸逐渐变小，解就会越来越接近最优解。因此，分支定界算法可以描述为：
a.将旋转空间(球)松弛成它的外切立方体将立方体分割成小的立方体Dk，对每一个小立方体，计算其中心点σ等于小立方体边长的一半，判断是否有解(C,δr)满足如下问题：
这是个可行性问题。如果不可行，那么这个小立方体就被舍弃。
b.如果(4)有解，则将这个小立方体继续平分成八块。如果分得的小立方体中不包含原旋转空间(球)中的任何元素，那么这个小立方体也被舍弃。
反复迭代步骤a和步骤b，直至小立方体包含满足要求的解，算法终止，求得最优的摄像机外参数R和C。
与Hartely方法相比，本发明方法计算的R值与C值更接近真值，R值的误差在5度以内，C值的误差在2cm以内。本发明方法在保证求解精度的同时，在速度上比Hartely方法有一倍以上的提升，特别适用于实时应用中。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于最优化估计的摄像机外参数标定方法，包括以下步骤：
(1)将内参数矩阵已知的被测摄像机固定，并拍摄一个空间结构已知的三维物体的图像；
(2)提取图像中的特征点组成一组原始图像点vi(i＝1,…,n)，并确定与特征点对应的一组三维空间点Xi(i＝1,…,n)，n为特征点的总个数；
(3)将三维空间点重投影到图像上，得到估算图像点
(4)利用摄像机内参数矩阵分别对原始图像点、估算图像点作归一化处理，并根据处理后的原始图像点、估算图像点，利用L∞范数定义三维空间点的重投影误差，构成二阶锥规划模型；
(5)将二阶锥规划模型中的圆锥约束松驰为方锥约束，将二阶锥规划问题松弛为线性规划问题；
(6)将摄像机姿态中的旋转矩阵以轴角坐标表示，使用分支定界法在旋转空间中进行搜索，并求解对应的线性规划问题，直至找到最优解。
2.如权利要求1所述的基于最优化估计的摄像机外参数标定方法，其特征在于，步骤(4)中，归一化处理后的原始图像点vi＝K-1vi，估算图像点根据vi和利用L∞范数定义三维空间点的重投影误差，则摄像机外参数标定问题描述成min max优化问题：
<mrow> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>R</mi> <mo>,</mo> <mi>C</mi> </mrow> </munder> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>i</mi> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>C</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，||·||表示原始图像点和估算图像点的距离，该距离应小于阈值ε，即||vi-R(Xi-C)||≤ε。||vi-R(Xi-C)||≤ε符合二阶锥约束的形式；
利用平面坐标表示原始图像点、估算图像点，则vi＝(ui,vi,1)Τ，两点距离即重投影误差满足其中，zi和分别为vi和对应的球面点vsi和的z坐标值，β表示球面点vsi与之间的弧长，至此，二阶锥规划模型可表述为：
3.如权利要求1所述的基于最优化估计的摄像机外参数标定方法，其特征在于，步骤(5)中，用L∞范数替换式(2)中的L2范数，则：
且
公式(3)中，2n个线性不等式代表了n个以摄像机为中心的方锥，即公式(2)中的n个圆锥被n个方锥替代，则二阶锥规划问题松弛为线性规划问题。
4.如权利要求1所述的基于最优化估计的摄像机外参数标定方法，其特征在于，步骤(6)中，旋转矩阵用轴角表示为其中α表示旋转矩阵的角，表示旋转轴的单位矢量；
分支定界法描述为：
将球体松弛成其外切立方体并将该立方体分割成小立方块Dk，对每一个小立方体，计算其中心点σ等于小立方体边长的一半，判断是否有解(C,δr)满足如下问题：
判断公式(4)是否有解：
若有，则将当前的立方体平均分成8块较小立方体，并判断分得的较小立方体中是否包含球体中的任何元素，若是，进入下一次迭代判断，若否，将该较小立方体舍弃；
若否，将当前立方体舍弃；
上述过程反复迭代，直到小立方体不能再分并且满足公式(4)，迭代终止，求解得到最优的摄像机外参数R和C。
CN201710439377.0A 2017-06-12 2017-06-12 一种基于最优化估计的摄像机外参数标定方法 Pending CN107256570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710439377.0A CN107256570A (zh) 2017-06-12 2017-06-12 一种基于最优化估计的摄像机外参数标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710439377.0A CN107256570A (zh) 2017-06-12 2017-06-12 一种基于最优化估计的摄像机外参数标定方法

Publications (1)

Publication Number Publication Date
CN107256570A true CN107256570A (zh) 2017-10-17

Family

ID=60023075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710439377.0A Pending CN107256570A (zh) 2017-06-12 2017-06-12 一种基于最优化估计的摄像机外参数标定方法

Country Status (1)

Country Link
CN (1) CN107256570A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805936A (zh) * 2018-05-24 2018-11-13 北京地平线机器人技术研发有限公司 摄像机外参标定方法、装置和电子设备
CN109993802A (zh) * 2019-04-03 2019-07-09 浙江工业大学 一种城市环境中的混合相机标定方法
CN110378966A (zh) * 2019-06-11 2019-10-25 北京百度网讯科技有限公司 相机外参标定方法、装置、计算机设备及存储介质
CN111986265A (zh) * 2020-08-04 2020-11-24 禾多科技（北京）有限公司 用于标定相机方法、装置、电子设备和介质
CN113436268A (zh) * 2021-06-03 2021-09-24 山东大学 一种基于主轴平行二次曲线特征的摄像机标定方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783018A (zh) * 2010-02-04 2010-07-21 上海交通大学 利用同心圆进行摄像机标定的方法
CN101814186A (zh) * 2010-02-04 2010-08-25 上海交通大学 利用曲线拟合校正摄像机径向畸变的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783018A (zh) * 2010-02-04 2010-07-21 上海交通大学 利用同心圆进行摄像机标定的方法
CN101814186A (zh) * 2010-02-04 2010-08-25 上海交通大学 利用曲线拟合校正摄像机径向畸变的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马文娟: "结合分支定界法和线性规划的摄像机位姿估计", 《中国图象图形学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805936A (zh) * 2018-05-24 2018-11-13 北京地平线机器人技术研发有限公司 摄像机外参标定方法、装置和电子设备
CN109993802A (zh) * 2019-04-03 2019-07-09 浙江工业大学 一种城市环境中的混合相机标定方法
CN109993802B (zh) * 2019-04-03 2020-12-25 浙江工业大学 一种城市环境中的混合相机标定方法
CN110378966A (zh) * 2019-06-11 2019-10-25 北京百度网讯科技有限公司 相机外参标定方法、装置、计算机设备及存储介质
CN111986265A (zh) * 2020-08-04 2020-11-24 禾多科技（北京）有限公司 用于标定相机方法、装置、电子设备和介质
CN111986265B (zh) * 2020-08-04 2021-10-12 禾多科技（北京）有限公司 用于标定相机方法、装置、电子设备和介质
CN113436268A (zh) * 2021-06-03 2021-09-24 山东大学 一种基于主轴平行二次曲线特征的摄像机标定方法及系统
CN113436268B (zh) * 2021-06-03 2022-11-22 山东大学 一种基于主轴平行二次曲线特征的摄像机标定方法及系统

Similar Documents

Publication Publication Date Title
CN107256570A (zh) 一种基于最优化估计的摄像机外参数标定方法
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
US10580204B2 (en) Method and device for image positioning based on 3D reconstruction of ray model
Chen Mesh Smoothing Schemes Based on Optimal Delaunay Triangulations.
CN109671120A (zh) 一种基于轮式编码器的单目slam初始化方法及系统
CN105654476B (zh) 基于混沌粒子群优化算法的双目标定方法
CN105654483A (zh) 三维点云全自动配准方法
CN107680137A (zh) 一种基于球体投影公切线的多相机标定及参数优化方法
CN114627250B (zh) 一种基于Kinect的人体站姿三维重建与测量的方法
Avigal et al. 6-dof grasp planning using fast 3d reconstruction and grasp quality cnn
CN112541950A (zh) 一种深度相机外参的标定方法、及装置
CN114758152A (zh) 一种基于注意力机制和邻域一致性的特征匹配方法
CN106815585A (zh) 一种复杂动态环境孔特征的高精视觉定位方法
CN105787464A (zh) 一种大量图片在三维场景中的视点标定方法
Feng et al. Rice seeds identification based on back propagation neural network model
CN110363250A (zh) 一种三维图像智能匹配的方法及其系统
CN104361573B (zh) 融合颜色信息和全局信息的sift特征匹配算法
CN107481319B (zh) 一种隐式曲面随机点云生成器
Do Application of neural networks for stereo-camera calibration
CN111651954B (zh) 基于深度学习对smt电子元件三维重建的方法
CN109902553B (zh) 一种基于面部像素差的多角度的人脸对齐方法
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法
CN116109778A (zh) 基于深度学习的人脸三维重建方法、计算机设备与介质
CN110428457A (zh) 一种视觉定位中的点集仿射变换算法
US11967131B2 (en) System for processing an image, method for processing the image, method for training a neural network for processing the image, and recording medium for executing the method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171017