CN113781583B - 相机自标定方法、装置、设备和介质 - Google Patents

相机自标定方法、装置、设备和介质 Download PDF

Info

Publication number
CN113781583B
CN113781583B CN202111144953.1A CN202111144953A CN113781583B CN 113781583 B CN113781583 B CN 113781583B CN 202111144953 A CN202111144953 A CN 202111144953A CN 113781583 B CN113781583 B CN 113781583B
Authority
CN
China
Prior art keywords
camera
calibration
internal
self
affine matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111144953.1A
Other languages
English (en)
Other versions
CN113781583A (zh
Inventor
关棒磊
余英建
李璋
孙祥一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202111144953.1A priority Critical patent/CN113781583B/zh
Publication of CN113781583A publication Critical patent/CN113781583A/zh
Application granted granted Critical
Publication of CN113781583B publication Critical patent/CN113781583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及相机自标定方法、装置、设备和介质，方法包括：获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息；对场景图像进行仿射匹配点对提取与匹配，得到场景图像的立体像对集和对应的仿射匹配点对集；根据角速度信息计算相对旋转矩阵并得到相对旋转角；基于仿射匹配点对估计基础矩阵，利用RANSAC算法剔除仿射匹配点对集中的野值，确定场景图像的仿射匹配点对内点集；以相对旋转角为约束分解基础矩阵，得到场景图像的立体像对之间的旋转矩阵、平移向量和相机的内参数；根据内参数和仿射匹配点对内点集，对相机进行内参数非线性优化处理，完成相机的自标定。简单方便且标定速度更快，有效提高了标定效率。

Description

相机自标定方法、装置、设备和介质
技术领域
本申请涉及图像测量与计算机视觉技术领域，特别是涉及一种相机自标定方法、装置、设备和介质。
背景技术
相机标定一般是指相机内参数的标定校准，是图像测量和计算机视觉应用的基础工作，如基于图像的大型结构形变监测、视觉里程计、医学图像测量等具体应用都需要对相机进行标定。目前已有的相机标定的方法主要分为三大类：(1)传统标定方法；(2)基于主动视觉的标定方法；(3)自标定方法。传统的标定方法利用已知的点、线或结构(如棋盘)的度量信息来标定摄相机。基于主动视觉的标定方法需要控制相机做出一些已知的特殊运动，然后根据运动信息进行标定。
与方法(1)和(2)相比，自标定方法不需要特殊的场景限制或运动要求。该特性为自校准方法提供了极大的灵活性，使得自校准方法在某些实时应用中不可或缺。目前，自标定方法主要有基于纯点特征对应的方法和基于仿射匹配点对的方法。然而，在实现本发明过程中，发明人发现前述传统的自标定方法，仍存在着自标定效率不高的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种相机自标定方法、一种相机自标定装置、一种计算机设备以及一种计算机可读存储介质，能够有效提高相机的自标定效率且自标定精度更高。
为了实现上述目的，本发明实施例采用以下技术方案：
一方面，本发明实施例提供一种相机自标定方法，包括步骤：
获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息；
对场景图像进行仿射匹配点对提取与匹配，得到场景图像的立体像对集和对应的仿射匹配点对集；
根据角速度信息计算相对旋转矩阵并得到相对旋转角；
基于仿射匹配点对估计基础矩阵，利用RANSAC算法剔除仿射匹配点对集中的野值，确定场景图像的仿射匹配点对内点集；
以相对旋转角为约束分解基础矩阵，得到场景图像的立体像对之间的旋转矩阵、平移向量和相机的内参数；
根据内参数和仿射匹配点对内点集，对相机进行内参数非线性优化处理，完成相机的自标定。
另一方面，还提供一种相机自标定装置，包括：
信息获取模块，用于获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息；
仿射提取模块，用于对场景图像进行仿射匹配点对提取与匹配，得到场景图像的立体像对集和对应的仿射匹配点对集；
旋转计算模块，用于根据角速度信息计算相对旋转矩阵并得到相对旋转角；
内点确定模块，用于基于仿射匹配点对估计基础矩阵，利用RANSAC算法剔除仿射匹配点对集中的野值，确定场景图像的仿射匹配点对内点集；
内参估计模块，用于以相对旋转角为约束分解基础矩阵，得到场景图像的立体像对之间的旋转矩阵、平移向量和相机的内参数；
优化标定模块，用于根据内参数和仿射匹配点对内点集，对相机进行内参数非线性优化处理，完成相机的自标定。
又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现任一项的上述相机自标定方法的步骤。
再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现任一项的上述相机自标定方法的步骤。
上述技术方案中的一个技术方案具有如下优点和有益效果：
上述相机自标定方法、装置、设备和介质，通过利用相机拍摄的场景图像以及角速度测量单元记录的角速度信息，分别进行仿射匹配点对提取与匹配，以及相对旋转角的计算，进而估计基础矩阵并利用RANSAC算法确定仿射匹配点对内点集，以相对旋转角提供的约束分解基础矩阵获得相机的内参数和外参数，最后利用得到的内参数与内点对相机进行内参数的进一步优化，得到最优的自标定结果。如此，利用了两视图之间的仿射匹配点对和角速度测量单元提供的相对旋转角完成相机自标定，能够快速、灵活、精确地标定出相机内参数和畸变系数，不依赖已知结构的标定物和其他特殊的设备，简单方便且标定速度更快，有效提高了标定效率。此外，直接使用角速度测量单元提供的相对旋转角，不需要事先对相机与角速度测量单元的安装关系进行标定，计算量小，更适用于手机和无人机等计算能力有限的设备，具有重要的研究意义和广泛的应用前景。
附图说明
图1为一个实施例中相机自标定方法的流程示意图；
图2为一个实施例中基于仿射匹配点对和相对旋转角的相机自标定的流程示意图；
图3为一个实施例中基于仿射匹配点对和相对旋转角的相机自标定原理的几何关系示意图；
图4为另一个实施例中相机自标定方法的流程示意图；
图5为又一个实施例中相机自标定方法的流程示意图；
图6为一个实施例中相机自标定装置的模块结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
在实践研究中，发明人发现为了提高自标定方法的精度以及充分利用某些情况下已有的其他传感器，如惯性测量单元(Inertial Measurement Unit，IMU)的测量信息，一些基于传感器信息融合的标定方法越来越被关注。近年来，仿射匹配点对以其包含的额外仿射信息被应用到图像测量、计算机视觉等领域的相对位姿估计之中。相对于基于纯点特征对应的方法而言，基于仿射匹配点对的方法求解单应矩阵、本质矩阵和基础矩阵需要更少的最少配置。由于基于匹配特征对的方法往往存在大量的误匹配特征对，为了减小误匹配特征对的影响，一般会使用鲁棒性估计方法来提取这些异常值，如RANSAC(RANdomSAmpleConsensus,随机抽样一致性算法)。一般认为，使用一组最小配置的解算器在RANSAC迭代中执行更稳健，并且具有所需RANSAC迭代次数减少的优点。
本发明针对传统的自标定方法，所存在着的自标定效率不高的技术问题，提供了一种新的相机自标定方法，利用仿射匹配点对以及与相机固连的角速度测量单元提供的相对旋转角实现相机的快速、灵活且精确自标定。
请参阅图1和图2，一方面，本发明提供一种相机自标定方法，包括如下步骤S12至S22：
S12，获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息。
可以理解，相机可以是本领域中图像测量、计算机视觉应用和其他涉及摄像机应用的场景中所使用的各类摄像机(摄影机)。场景图像可以由相机(如运动摄像机)对当前或拟应用的场景进行实时拍摄或预先拍摄而获得。角速度测量单元可以是本领域中已应用的各类具有角速度测量功能的传感器或设备，例如但不限于本领域中已应用的惯性测量单元(IMU)，IMU可与相机固连，在相机拍摄场景图像的瞬间，对应记录该相机的角速度信息，以便用于计算获得该相机在拍摄时的相对旋转角。如图2所示，其中，传感器数据包括相机拍摄的场景图像以及IMU记录的角速度信息。相机可在不同位置以不同姿态对场景拍摄图像，
S14，对场景图像进行仿射匹配点对提取与匹配，得到场景图像的立体像对集和对应的仿射匹配点对集。
可以理解，如图2所示，拍摄的场景图像可以是包含多张图像的场景图像序列。仿射匹配点对(p,p',A)是包括图像匹配点对和局部仿射变换矩阵的三元组，其中，p＝[u,v,1]T和p'＝[u',v',1]T分别是图像1和图像2中齐次形式的对应点对坐标。A是一个2×2的线性变换矩阵，称为局部仿射变换。
基于拍摄的场景图像进行仿射匹配点对的提取与匹配的处理过程，可以参照本领域基于仿射匹配点对的标定方法中采用的仿射匹配点对的提取与匹配的处理方式同理理解，如采用本领域已有的ASIFT算法提取仿射点对，本说明书中不再展开赘述。提取与匹配操作找到的所有仿射匹配点对组成的集合即为图像的仿射匹配点对集。立体像对也即是指两张图片组成的图像对，而仿射匹配点对则是关于两张图片之间的仿射匹配点对。
S16，根据角速度信息计算相对旋转矩阵并得到相对旋转角。
可以理解，可以采用本领域已有的计算方式直接利用角速度信息计算出相机的相对旋转矩阵，确定相机的相对旋转角。
S18，基于仿射匹配点对估计基础矩阵，利用RANSAC算法剔除仿射匹配点对集中的野值，确定场景图像的仿射匹配点对内点集。
可以理解，本实施例中可以采用本领域已有的RANSAC算法进行野值剔除，也可以采用更先进的GC-RANSAC算法进行野值剔除，或者还可以采用其他类型的RANSAC算法进行野值剔除，只要能够实现所需的剔除操作即可。GC-RANSAC算法也即本领域已有的Graph-Cut RANdomSAmple Consensus，即图割随机抽样一致性算法，用于精准剔除仿射匹配点对集中的所有野值，从而得到场景图像的所有内点(即剔除后余下的仿射匹配点对)，这些内点组成的集合即为仿射匹配点对内点集。
S20，以相对旋转角为约束分解基础矩阵，得到场景图像的立体像对之间的旋转矩阵、平移向量和相机的内参数。
可以理解，相机的内参数是与相机自身特性相关的参数，例如但不限于相机的焦距和像素大小等。相机的外参数则是指该相机在世界坐标系中的参数，例如但不限于相机的位置和旋转方向等。在相机的自标定过程中，利用相对旋转角的约束分解基础矩阵得到立体像对之间的旋转矩阵、平移向量和相机的内参数。旋转矩阵和平移向量可以确定相机的外参数。
S22，根据内参数和仿射匹配点对内点集，对相机进行内参数非线性优化处理，完成相机的自标定。
可以理解，对相机的自标定中还涉及相机的畸变系数是否已知的情况，在畸变系数已知的情况下，可利用预先给出的已知畸变系数矫正像点，利用经上述步骤得到内参数、外参数和仿射匹配点对内点集，对相机的内参数进行非线性优化，从而得到最终的标定结果。在畸变系数未知的情况下，可先以不考虑畸变系数的标定结果作为初值，利用仿射匹配点对内点集对相机的内参数以及畸变系数进行非线性优化，得到最终的标定结果。如图3所示，即为基于仿射点对和相对旋转角的相机自标定原理的几何关系示意图，其中，Fimu表示IMU坐标系，Fc表示相机坐标系，p表示点X在图像i中的图像坐标。p'表示点X在图像j中的图像坐标，A表示局部仿射变换，X表示世界点齐次坐标，N表示平面的法向量，Fw表示世界坐标系。
上述相机自标定方法，利用相机拍摄的场景图像以及角速度测量单元记录的角速度信息，分别进行仿射匹配点对提取与匹配，以及相对旋转角的计算，进而估计基础矩阵并利用RANSAC算法确定仿射匹配点对内点集，以相对旋转角提供的约束分解基础矩阵获得相机的内参数和外参数，最后利用得到的内参数与内点对相机进行内参数的进一步优化，得到最优的自标定结果。如此，利用了两视图之间的仿射匹配点对和角速度测量单元提供的相对旋转角完成相机自标定，能够快速、灵活、精确地标定出相机内参数和畸变系数，不依赖已知结构的标定物和其他特殊的设备，简单方便且标定速度更快，有效提高了标定效率。此外，直接使用角速度测量单元提供的相对旋转角，不需要事先对相机与角速度测量单元的安装关系进行标定，计算量小，更适用于手机和无人机等计算能力有限的设备，具有重要的研究意义和广泛的应用前景。
在一个实施例中，上述相机自标定方法的基本原理如下：
仿射匹配点对与内参数的约束关系：
在三维(3D)全局坐标系中，假设有两个刚体变换矩阵为P＝[I0]和P'＝[Rt]的摄影机坐标系，其中P和P'是3×4的矩阵，I是单位矩阵，R是3×3的旋转矩阵，t是3×1的平移向量。令X为世界点齐次坐标，x和x'是X从世界坐标系到摄像机坐标系的投影点，则：
x～PX,x'～P'X  (1)
其中，～表示等价于，下文中同理理解。对极几何可表示如下：
x'Ex＝0  (2)
其中，E是本质矩阵，且：
E＝[t]×R  (3)
在考虑了相机内参数矩阵后，图像对的图像匹配点对之间的极线关系如下所示：
p'TFp＝0  (4)
其中，p和p'分别为点X在图像1和图像2中的图像坐标。假设这些图像的像素坐标不包含畸变。通过假设扭曲参数和纵横比分别等于0和1，将摄像机固有的内参数矩阵简化为：
Figure BDA0003285113300000091
其中，f为焦距，(u0,v0)为主点坐标。然后，基础矩阵F可以表示为：
F～K-TEK-1  (6)
仿射匹配点对(p,p',A)是包括图像匹配点对和局部仿射变换矩阵的三元组，其中刚体变换矩阵p＝[u,v,1]T和刚体变换矩阵p'＝[u',v',1]T是图像1和图像2中齐次形式的对应点对坐标。A是一个2×2的线性变换矩阵，称为局部仿射变换。仿射匹配点对对基础矩阵F有以下约束(来自本领域现有的研究成果)：
Α-T(FTp')(1:2)＝-(Fp)(1:2)  (7)
形成由以下两个方程组成的线性方程组：
(u'+a1u)f1+a1vf2+a1f3+(v'+a3u)f4+a3vf5+a3f6+f7＝0  (8)
a2uf1+(u'+a2v)f2+a2f3+a4uf4+(v'+a4v)f5+a4f6+f8＝0  (9)
其中，ai是A的第i个元素，fj是F的第j个元素(i＝1,2,3,4；j＝1,2,3,...,9)，并且：
Figure BDA0003285113300000092
等式(4)可以改写为：
f9+u(f7+f1u'+f4v')+v(f8+f2u'+f5v')+f3u'+f6v'  (11)
因此，一个仿射匹配点对(p,p',A)提供了三个约束：等式(8)、(9)和(11)。
相对旋转角与内参数的约束关系：
在相机与角速度测量单元(以IMU为例进行说明)固连状态下，相机和IMU二者的罗德里格斯旋转公式的旋转角度相等，因此相机和IMU的旋转矩阵R和R'的迹相同，即tr(R)＝tr(R')＝τ。代入等式(3)，可以得到如下命题(来自本领域现有的研究成果)：
Figure BDA0003285113300000101
关于本质矩阵E本领域已有如下公认的结论：
Figure BDA0003285113300000102
将等式(6)代入等式(12)-(13)，可以得到以下各方程式：
Figure BDA0003285113300000103
Figure BDA0003285113300000104
其中，ω*＝KKT，由此，自标定约束建立。若基础矩阵F已知，则等式(10)至少含有6个线性独立的元素。
相机与IMU的旋转关系的求解：
首先对场景图像的像点数据进行数据预处理，对像点进行归一化，使得像点集的均值位于原点，各点到原点的距离为
Figure BDA0003285113300000105
在一个实施例中，关于基础矩阵的估计与内参数矩阵的标定，其原理为：
基础矩阵是具有七个自由度的3×3奇异矩阵，本申请使用一种2AC+1PC方法，即使用两个仿射匹配点对(affine correspondence，AC)和一个图像匹配点对(pointcorrespondence，PC)的方法，来估计基础矩阵F，因为1AC对F有三个线性约束。
该方法首先构造一个方程组CFvec＝0，其中，Fvec＝[f1,f2,f3,...,f9]T，用以求矩阵C的二维零空间。然后，未知的基础矩阵F可以重写为F＝αF1+F2，其中，F1和F2是由C的二维零空间构造的两个3×3矩阵，α是一个新的未知数。由于det(F)＝0，在一个未知量上得到一个三次多项式方程，通过求解该多项式方程可以求解未知α，然后可成功地估计基础矩阵F。
为了获得更稳健的估计结果，本申请使用了最先进的RANSAC框架GC-RANSAC：取等式组(15)中的三个对角元素均等于零组成三个方程。令L为等式(15)的左边，令l1＝(L)11、l2＝(L)22、l3＝(L)33且l4为等式(14)的左边。因此，得到三个未知量u0,v0和f的多项式方程组。利用已有的
Figure BDA0003285113300000111
基(GB)解算器求解，即可得到内参数的前述三个未知量的值，进行去归一化处理得到相机的内参矩阵K。等效焦距f＝(K)11，主点坐标u0＝(K)13，v0＝(K)23。
在一个实施例中，如图4所示，在畸变系数已知的情况下，上述的步骤S14之前，还可以包括如下处理步骤S13：
S13，利用相机的畸变系数校正场景图像；
相应的，关于上述的步骤S22，具体可以包括如下处理步骤S222：
S222，利用得到的内参数、仿射匹配点对内点集及相机的外参数，对相机进行内参数非线性优化处理，完成相机的自标定；外参数由旋转矩阵和平移向量确定。
可以理解，对于相机内参数的进一步优化，当相机的畸变系数已知时，则可以在获取了场景图像和角速度信息后，先利用相机的畸变系数校正获得的场景图像，具体的实现方式可以参照本领域现有的图像校正方式同理理解，本说明书中不再展开详述。然后经过上述步骤S14至S20后，即可以通过上述步骤S222实现对相机进行内参数非线性优化，从而获得最终的标定结果。
在一个实施例中，关于上述的步骤S222，具体可以包括如下处理步骤：
将平移向量的模定为1；
通过联合优化的方式，利用仿射匹配点对内点集中M个立体像的所有内点对相机的内参数和外参数进行非线性优化处理；M为大于1的正整数；
在联合优化中对极几何误差最小化，得到相机的最优自标定结果。
具体的，对于本实施例的非线性优化处理，采用的是本领域的联合优化处理：为获得更准确的标定结果，本实施例对M个立体像对得到的M个标定结果进行联合优化。对于其中的第k个图像对，标定的内参数{fk,uk,vk,Rk,tk}以及对应的仿射匹配点对内点集已经由上述的处理过程获得了，k＝1,2,3,...,M。平移向量tk的模定为1。在联合优化中，M个立体像的所有内点用于同时优化内参数{f,u,v}和外参数{R,t}。通过对极几何误差最小化，得到最优的标定结果。联合优化的代价函数定义如下：
Figure BDA0003285113300000121
其中，Nk表示第k个立体像对中仿射匹配点对内点集里点对的数目，g()表示求解对极几何误差的函数，
Figure BDA0003285113300000122
和
Figure BDA0003285113300000123
表示M个立体像对和对应旋转角配置下求解的M组内参数{f,u,v}的均值，Rk和tk表示第k个立体像对的外参数，pi(k)表示第k个立体像对中左视图(或者第一个视图)中的第i个像点坐标，p′i(k)表示第k个立体像对中右视图(或者第二个视图)中的第i个像点坐标。
在一个实施例中，如图5所示，关于上述的步骤S22，具体可以包括如下处理步骤S223：
S223，以得到的内参数为初值，利用仿射匹配点对内点集对相机进行内参数及畸变系数的非线性优化处理，完成相机的自标定。
可以理解，对于相机内参数的进一步优化，当相机的畸变系数未知时，先以不考虑畸变系数的标定结果作为初值，通过上述步骤S223，利用仿射匹配点对内点集对相机的内参数以及畸变系数进行非线性优化，得到最终的标定结果。
在一个实施例中，关于上述的步骤S223，具体可以包括如下处理步骤：
将得到的内参数设为优化处理的初值；
通过联合优化的方式，利用仿射匹配点对内点集中M个立体像的所有内点对相机进行内参数及畸变系数的非线性优化处理；M为大于1的正整数；
在联合优化中对极几何误差最小化，得到相机的最优自标定结果。
具体的，当图像畸变模型未知时，以使用单参数除法径向畸变模型为例，说明联合优化的代价函数。去畸变后的像点坐标与原像点坐标之间的关系如下：
Figure BDA0003285113300000131
其中，pi＝[ui,vi,1]T和pi'＝[ui',vi',1]T分别是立体像对左右两像片的第i个原像点坐标，pui和pui'分别是对应的去畸变像点坐标。联合优化的代价函数定义如下：
Figure BDA0003285113300000132
其中，Nk表示第k个立体像对中仿射匹配点对内点集里点对的数目，g()表示求解对极几何误差的函数，
Figure BDA0003285113300000133
和
Figure BDA0003285113300000134
表示M个立体像对和对应旋转角配置下求解的M组内参数{f,u,v}的均值，
Figure BDA0003285113300000135
表示畸变参数的平均值，Rk和tk表示第k个立体像对的外参数，pi(k)表示第k个立体像对中左视图(或者第一个视图)中的第i个像点坐标，p′i(k)表示第k个立体像对中右视图(或者第二个视图)中的第i个像点坐标。为减少潜在异常值的影响，采用了由已有的Cauchy函数生成的鲁棒代价函数：
Figure BDA0003285113300000136
其中Cauchy函数的σ参数可以设置为RANSAC迭代的内部阈值。
应该理解的是，虽然图1、图4和图5流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且图1、图4和图5的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图6，在一个实施例中，还提供了一种相机自标定装置100，包括信息获取模块11、仿射提取模块13、旋转计算模块15、内点确定模块17、内参估计模块19和优化标定模块21。其中，信息获取模块11用于获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息。仿射提取模块13用于对场景图像进行仿射匹配点对提取与匹配，得到场景图像的立体像对集和对应的仿射匹配点对集。旋转计算模块15用于根据角速度信息计算相对旋转矩阵并得到相对旋转角。内点确定模块17用于基于仿射匹配点对估计基础矩阵，利用RANSAC算法剔除仿射匹配点对集中的野值，确定场景图像的仿射匹配点对内点集。内参估计模块19用于以相对旋转角为约束分解基础矩阵，得到场景图像的立体像对之间的旋转矩阵、平移向量和相机的内参数。优化标定模块21用于根据内参数和仿射匹配点对内点集，对相机进行内参数非线性优化处理，完成相机的自标定。
上述相机自标定装置100，通过各模块的协作，利用相机拍摄的场景图像以及角速度测量单元记录的角速度信息，分别进行仿射匹配点对提取与匹配，以及相对旋转角的计算，进而估计基础矩阵并利用RANSAC算法确定仿射匹配点对内点集，以相对旋转角提供的约束分解基础矩阵获得相机的内参数和外参数，最后利用得到的内参数与内点对相机进行内参数的进一步优化，得到最优的自标定结果。如此，利用了两视图之间的仿射匹配点对和角速度测量单元提供的相对旋转角完成相机自标定，能够快速、灵活、精确地标定出相机内参数和畸变系数，不依赖已知结构的标定物和其他特殊的设备，简单方便且标定速度更快，有效提高了标定效率。此外，直接使用角速度测量单元提供的相对旋转角，不需要事先对相机与角速度测量单元的安装关系进行标定，计算量小，更适用于手机和无人机等计算能力有限的设备，具有重要的研究意义和广泛的应用前景。
在一个实施例中，上述优化标定模块21还可以用于实现上述相机自标定方法各实施例中相应增加的步骤或者子步骤。
关于相机自标定装置100的具体限定，可以参见上文中相机自标定方法的相应限定，在此不再赘述。上述相机自标定装置100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于具体数据处理功能的设备中，也可以软件形式存储于前述设备的存储器中，以便于处理器调用执行以上各个模块对应的操作，前述设备可以是但不限于本领域已有的各型计算设备。
又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时可以实现以下步骤：获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息；对场景图像进行仿射匹配点对提取与匹配，得到场景图像的立体像对集和对应的仿射匹配点对集；根据角速度信息计算相对旋转矩阵并得到相对旋转角；基于仿射匹配点对估计基础矩阵，利用RANSAC算法剔除仿射匹配点对集中的野值，确定场景图像的仿射匹配点对内点集；以相对旋转角为约束分解基础矩阵，得到场景图像的立体像对之间的旋转矩阵、平移向量和相机的内参数；根据内参数和仿射匹配点对内点集，对相机进行内参数非线性优化处理，完成相机的自标定。
在一个实施例中，处理器执行计算机程序时还可以实现上述相机自标定方法各实施例中增加的步骤或者子步骤。
再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息；对场景图像进行仿射匹配点对提取与匹配，得到场景图像的立体像对集和对应的仿射匹配点对集；根据角速度信息计算相对旋转矩阵并得到相对旋转角；基于仿射匹配点对估计基础矩阵，利用RANSAC算法剔除仿射匹配点对集中的野值，确定场景图像的仿射匹配点对内点集；以相对旋转角为约束分解基础矩阵，得到场景图像的立体像对之间的旋转矩阵、平移向量和相机的内参数；根据内参数和仿射匹配点对内点集，对相机进行内参数非线性优化处理，完成相机的自标定。
在一个实施例中，计算机程序被处理器执行时，还可以实现上述相机自标定方法各实施例中增加的步骤或者子步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线式动态随机存储器(Rambus DRAM，简称RDRAM)以及接口动态随机存储器(DRDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可做出若干变形和改进，都属于本申请保护范围。因此本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种相机自标定方法，其特征在于，包括步骤：
获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息；
对所述场景图像进行仿射匹配点对提取与匹配，得到所述场景图像的立体像对集和对应的仿射匹配点对集；
根据所述角速度信息计算相对旋转矩阵并得到相对旋转角；
基于所述仿射匹配点对估计基础矩阵，利用RANSAC算法剔除所述仿射匹配点对集中的野值，确定所述场景图像的仿射匹配点对内点集；
以所述相对旋转角为约束分解所述基础矩阵，得到所述场景图像的立体像对之间的旋转矩阵、平移向量和所述相机的内参数；
根据所述内参数和所述仿射匹配点对内点集，对所述相机进行内参数非线性优化处理，完成所述相机的自标定。
2.根据权利要求1所述的相机自标定方法，其特征在于，对所述场景图像进行仿射匹配点对提取与匹配，得到所述场景图像的立体像对集和对应的仿射匹配点对集的步骤前，还包括：
利用所述相机的畸变系数校正所述场景图像；
根据所述内参数和所述仿射匹配点对内点集，对所述相机进行内参数非线性优化处理，完成所述相机的自标定的步骤，包括：
利用得到的所述内参数、所述仿射匹配点对内点集及所述相机的外参数，对所述相机进行内参数非线性优化处理，完成所述相机的自标定；所述外参数由所述旋转矩阵和所述平移向量确定。
3.根据权利要求1所述的相机自标定方法，其特征在于，根据所述内参数和所述仿射匹配点对内点集，对所述相机进行内参数非线性优化处理，完成所述相机的自标定的步骤，包括：
以得到的所述内参数为初值，利用所述仿射匹配点对内点集对所述相机进行内参数及畸变系数的非线性优化处理，完成所述相机的自标定。
4.根据权利要求2所述的相机自标定方法，其特征在于，利用得到的所述内参数、所述仿射匹配点对内点集及所述相机的外参数，对所述相机进行内参数非线性优化处理，完成所述相机的自标定的步骤，包括：
将所述平移向量的模定为1；
通过联合优化的方式，利用所述仿射匹配点对内点集中M个立体像对的所有内点对所述相机的内参数和外参数进行非线性优化处理；M为大于1的正整数；
在所述联合优化中对极几何误差最小化，得到所述相机的最优自标定结果。
5.根据权利要求4所述的相机自标定方法，其特征在于，所述联合优化的代价函数为：
，
其中， 表示第个立体像对中仿射匹配点对内点集里点对的数目，表示求解对极几何误差的函数，、和表示M个立体像对和对应的相对旋转角配置下求解的M组内参数的均值， 和表示第个立体像对的外参数，表示第个立体像对中左视图中的第个像点坐标，表示第个立体像对中右视图中的第个像点坐标。
6.根据权利要求3所述的相机自标定方法，其特征在于，以得到的所述内参数为初值，利用所述仿射匹配点对内点集对所述相机进行内参数及畸变系数的非线性优化处理，完成所述相机的自标定的步骤，包括：
将得到的所述内参数设为优化处理的初值；
通过联合优化的方式，利用所述仿射匹配点对内点集中M个立体像对的所有内点对所述相机进行内参数及畸变系数的非线性优化处理；M为大于1的正整数；
在所述联合优化中对极几何误差最小化，得到所述相机的最优自标定结果。
7.根据权利要求6所述的相机自标定方法，其特征在于，所述联合优化的代价函数为：
，
其中， 表示第个立体像对中仿射匹配点对内点集里点对的数目，表示求解对极几何误差的函数，、和表示M个立体像对和对应的相对旋转角配置下求解的M组内参数的均值，表示畸变参数的平均值，和表示第个立体像对的外参数，表示第个立体像对中左视图中的第个像点坐标，表示第个立体像对中右视图中的第个像点坐标。
8.一种相机自标定装置，其特征在于，包括：
信息获取模块，用于获取相机对场景拍摄的场景图像及拍摄瞬间角速度测量单元记录的角速度信息；
仿射提取模块，用于对所述场景图像进行仿射匹配点对提取与匹配，得到所述场景图像的立体像对集和对应的仿射匹配点对集；
旋转计算模块，用于根据所述角速度信息计算相对旋转矩阵并得到相对旋转角；
内点确定模块，用于基于所述仿射匹配点对估计基础矩阵，利用RANSAC算法剔除所述仿射匹配点对集中的野值，确定所述场景图像的仿射匹配点对内点集；
内参估计模块，用于以所述相对旋转角为约束分解所述基础矩阵，得到所述场景图像的立体像对之间的旋转矩阵、平移向量和所述相机的内参数；
优化标定模块，用于根据所述内参数和所述仿射匹配点对内点集，对所述相机进行内参数非线性优化处理，完成所述相机的自标定。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述相机自标定方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述相机自标定方法的步骤。
CN202111144953.1A 2021-09-28 2021-09-28 相机自标定方法、装置、设备和介质 Active CN113781583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111144953.1A CN113781583B (zh) 2021-09-28 2021-09-28 相机自标定方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111144953.1A CN113781583B (zh) 2021-09-28 2021-09-28 相机自标定方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113781583A CN113781583A (zh) 2021-12-10
CN113781583B true CN113781583B (zh) 2023-05-09

Family

ID=78854267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111144953.1A Active CN113781583B (zh) 2021-09-28 2021-09-28 相机自标定方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113781583B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998136A (zh) * 2009-08-18 2011-03-30 华为技术有限公司 单应矩阵的获取方法、摄像设备的标定方法及装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN110264528A (zh) * 2019-06-25 2019-09-20 中国人民解放军国防科技大学 一种鱼眼镜头双目像机快速自标定方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2622572A4 (en) * 2010-10-01 2014-05-21 Saab Ab METHOD AND DEVICE FOR OPTIMIZING AND PROGRESSIVELY IMPROVING A FUNDAMENTAL MATRIX

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101998136A (zh) * 2009-08-18 2011-03-30 华为技术有限公司 单应矩阵的获取方法、摄像设备的标定方法及装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN110264528A (zh) * 2019-06-25 2019-09-20 中国人民解放军国防科技大学 一种鱼眼镜头双目像机快速自标定方法
CN110296691A (zh) * 2019-06-28 2019-10-01 上海大学 融合imu标定的双目立体视觉测量方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无重叠视场多相机组安装关系的灵活标定;王刚等;中国激光;第44卷(第6期);207-213 *

Also Published As

Publication number Publication date
CN113781583A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN111243035B (zh) 相机标定方法、装置、电子设备和计算机可读存储介质
CN111160298B (zh) 一种机器人及其位姿估计方法和装置
CN111784778A (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN112184768B (zh) 基于激光雷达的sfm重建方法、装置和计算机设备
CN109215118B (zh) 一种基于图像序列的增量式运动结构恢复优化方法
CN111899282A (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN111882655B (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN109949232B (zh) 图像与rtk结合的测量方法、系统、电子设备及介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
Rehder et al. Online stereo camera calibration from scratch
CN110599586A (zh) 一种半稠密场景重建方法、装置、电子设备及存储介质
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
CN111915681B (zh) 多组3d相机群的外参标定方法、装置、存储介质及设备
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
CN112164119B (zh) 一种适用于狭小空间的环绕放置多摄像机系统标定方法
CN111476842B (zh) 一种像机相对位姿估计方法及系统
CN113781583B (zh) 相机自标定方法、装置、设备和介质
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法
CN114092564B (zh) 无重叠视域多相机系统的外参数标定方法、系统、终端及介质
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN113763481B (zh) 一种移动场景中多相机视觉三维地图构建与自标定方法
CN111696158B (zh) 基于仿射匹配点对的多像机系统相对位姿估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant