CN113436268B

CN113436268B - 一种基于主轴平行二次曲线特征的摄像机标定方法及系统

Info

Publication number: CN113436268B
Application number: CN202110620744.3A
Authority: CN
Inventors: 赵子健; 史攀
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2021-06-03
Filing date: 2021-06-03
Publication date: 2022-11-22
Anticipated expiration: 2041-06-03
Also published as: CN113436268A

Abstract

本发明公开了一种基于主轴平行二次曲线特征的摄像机标定方法及系统，包括：获取主轴平行二次曲线特征簇中的曲线对；对曲线对的投影图像进行广义特征分析，得到广义特征值；根据广义特征值得到的退化二次曲线辨识无穷远直线的图像和图像直线；根据无穷远直线的图像和图像直线的位置得到与绝对点对偶的二次曲线；根据投影约束得到与绝对点对偶的二次曲线的投影图像，并对其进行分解得到待矫正矩阵，根据待矫正矩阵得到平面单映矩阵；根据平面单映矩阵得到绝对二次曲线的投影图像，对绝对二次曲线的投影图像进行分解得到摄像机内参数矩阵，以此对摄像机进行标定。实现面向增强现实的摄像机标定。

Description

一种基于主轴平行二次曲线特征的摄像机标定方法及系统

技术领域

本发明涉及计算机视觉标定技术领域，特别是涉及一种基于主轴平行二次曲线特征的摄像机标定方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着计算机技术的不断发展，计算机视觉和立体视觉得到极大的发展。摄像机作为计算机视觉获取图像的主要工具，摄像机标定是利用摄像机所拍摄到的图像来还原空间中的物体。因此，准确的摄像机标定是计算机视觉应用中不可缺少的环节，也是其他研究工作顺利开展的前提和基础，具有重要的理论意义和实用价值。

在计算机视觉领域，圆锥二次曲线特征是一种重要的图像视觉特征，圆锥二次曲线(主要指圆和椭圆)在图像平面的投影、在恢复二维欧式结构的计算上起着重要作用，通过辨识图像平面上的虚圆点，可恢复出平面上与虚圆点对偶的二次曲线，通过该曲线可以求解出绝对二次曲线的投影图像，从而可以获得摄像机的相关参数。

基于圆锥二次曲线特征的摄像机标定研究正是基于上述原理开展的。依据准仿射不变准则可以通过两个圆图像求解消隐线和虚圆点，通过对两个以上圆的特征在代数方向上的研究，根据广义特征分析的相关性质，可以辨识出与虚圆点对偶的二次曲线，从而恢复欧式结构。而对于椭圆特征，通过广义特征分析的方式可以分析同焦椭圆特征的性质，进而推导出相应的约束以辨识与虚圆点对偶的二次曲线。通过研究主轴重合的二次曲线，有研究者提出绝对点以及与绝对点对偶的二次曲线的概念。

摄像机标定作为计算机视觉的首要环节，已经得到广泛的研究。未标定的摄像机虽然可以获取一些与测量有关的信息，但是在需要获取空间物体尺度测量信息时，有效地标定相机是非常重要的，只有使用精确标定的摄像机，才能从图像投影坐标中获得真实物体的距离测量信息。目前针对摄像机标定问题已经提出多种方法，然而，随着应用的发展，对摄像机的测量精度有了更高的要求，为了提高摄像机的测量精度，高精度的摄像机标定是一项重要的工作。

发明内容

为了解决上述问题，本发明提供一种基于主轴平行二次曲线特征的摄像机标定方法及系统，基于主轴平行二次曲线特征在几何及代数上的广义特征辨识出平面的无穷远直线和图像直线，从而得到与绝对点对偶的二次曲线，以此推导出绝对二次曲线的约束，可获取摄像头的内参数，实现面向增强现实的摄像机标定。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于主轴平行二次曲线特征的摄像机标定方法，包括：

获取主轴平行二次曲线特征簇中的曲线对；

对曲线对的图像进行广义特征分析，得到广义特征值；

根据广义特征值得到的退化二次曲线辨识无穷远直线的图像和图像直线；

根据无穷远直线的图像和图像直线的位置得到与绝对点对偶的二次曲线；

根据投影约束得到与绝对点对偶的二次曲线的图像，并对其进行分解得到待矫正矩阵，根据待矫正矩阵得到平面单映矩阵；

根据平面单映矩阵得到绝对二次曲线的图像，对绝对二次曲线的图像进行分解得到摄像机内参数矩阵，以此对摄像机进行标定。

第二方面，本发明提供一种基于主轴平行二次曲线特征的摄像机标定系统，包括：

曲线对获取模块，被配置为获取主轴平行二次曲线特征簇中的曲线对；

广义特征分析模块，被配置为对曲线对的图像进行广义特征分析，得到广义特征值；

辨识模块，被配置为根据广义特征值得到的退化二次曲线辨识无穷远直线的图像和图像直线；

二次曲线确定模块，被配置为根据无穷远直线的图像和图像直线的位置得到与绝对点对偶的二次曲线；

单映矩阵确定模块，被配置为根据投影约束得到与绝对点对偶的二次曲线的图像，并对其进行分解得到待矫正矩阵，根据待矫正矩阵得到平面单映矩阵；

标定模块，被配置为根据平面单映矩阵得到绝对二次曲线的图像，对绝对二次曲线的图像进行分解得到摄像机内参数矩阵，以此对摄像机进行标定。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明基于主轴平行二次曲线特征，通过提取具有单一的偏心率的图像椭圆特征对摄像头进行标定，获取摄像头的内参数，实现面向增强现实的摄像机标定。

本发明把研究对象扩大到主轴平行的平面椭圆特征，通过对包含两个以上平行椭圆的特征簇中的曲线对两个椭圆的广义特征分析，推导出与绝对点对偶的二次曲线的约束，实现对摄像机进行有效标定，特别是在某些腔内操作时，标定结果体现出方法的准确性和鲁棒性，具有很强的理论价值和实用价值，可以应用于3D结构重建、导航、视觉监控等技术领域。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例1提供的具有平行主轴的两个椭圆示意图；

图2是本发明实施例1提供的整体方法流程图；

图3(a)-3(c)是本发明实施例1提供的具有平行主轴的椭圆标定图案及其图像提取结果。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本实施例把研究对象扩大到主轴平行的椭圆特征，如图1所示为具有平行主轴的两个椭圆(C1，C2)，根据二次曲线特征在几何上的特性以及在代数上的广义特征性质，可以辨识出平面的无穷远直线和图像直线，根据平面消隐线的位置求解与绝对点对偶的二次曲线，从而推导出绝对二次曲线的约束，完成摄像机标定。

如图2所示，本实施例提出的一种基于主轴平行二次曲线特征的摄像机标定方法，具体包括如下步骤：

步骤(1)：获取主轴平行二次曲线特征簇中的曲线对，对曲线对的投影图像进行广义特征分析，得到广义特征值和广义特征矢量；

步骤(2)：根据广义特征值得到的退化二次曲线辨识无穷远直线的图像和图像直线；同时根据无穷远直线的图像和图像直线的位置得到与绝对点对偶的二次曲线；

步骤(3)：构建与绝对点对偶的二次曲线的投影约束，根据投影约束得到与绝对点对偶的二次曲线的投影图像，并对其进行分解得到待矫正矩阵，根据待矫正矩阵得到平面单映矩阵；

步骤(4)：根据平面单映矩阵构建绝对二次曲线的投影约束，得到绝对二次曲线的投影图像，对绝对二次曲线的投影图像进行分解得到摄像机内参数矩阵，以此对摄像机进行标定。

在步骤(1)中，对曲线对的图像进行广义特征分析，获取广义特征值和广义特征矢量的过程具体包括：

(1-1)对摄像机模型进行表示；

假设M＝[X,Y,Z,1]^T是世界坐标系的一个齐次点坐标，其相应图像坐标为

两者通过以下摄像机模型公式联系到一起：

其中，z_M是投影深度，矩阵K为摄像机内参数，[R t]是摄像机外参数。

如果将世界坐标系固定在x-y平面上，那么世界坐标系到图像平面的单映矩阵表示为：H＝K[r₁ r₂ t]；式中，r₁和r₂是旋转矩阵R的前两列。

(1-2)对主轴平行二次曲线特征及其代数进行表示；

假设主轴平行椭圆特征簇中存在曲线对(C₁,C₂)，并设C₁以坐标原点为中心，C₂的中心坐标为(X₀,Y₀)，那么可以表示为以下两个矩阵形式：

其中，A与B是曲线二阶系数，f是尺寸缩放参数；C₁,C₂的图像可以表示为(上标‘～’表示几何体的投影图像)

(1-3)为曲线对的图像进行广义特征分析，获取广义特征值和广义特征矢量；

在摄像机标定应用中往往只能获得曲线对(C₁,C₂)的图像

的广义特征值和特征矢量

与(C₁,C₂)的广义特征值和特征矢量(λ,V)只相差一个系数和单映变换，那么通过MAPLE的符号计算，得到曲线对(C₁,C₂)及其图像的广义特征值存在以下关系：

式中，Π＝p₁p₂p₃p₄；

在步骤(2)中，由广义特征值生成的退化二次曲线辨识出无穷远直线的图像和图像直线的过程具体包括：

(2-1)根据广义特征值生成的退化二次曲线

由两条虚直线构成，分别是无穷远直线l_∞和广义径线ξ的图像

和

即：

(2-2)辨识无穷远直线的图像和图像直线；

引入两个图像点

和

分别是广义特征值

和

对应的广义特征矢量，图像点

和

的位置总是分布在

的一侧和

的两侧，通过其几何位置辨识出无穷远直线的图像

其它两个退化二次曲线

分别由图像直线

生成；

是通过绝对点图像

和图像点

的直线，

是通过绝对点图像

和图像点

的直线，显然，直线

都是与绝对点对偶的二次曲线图像上的直线，那么，根据位于无穷远直线上的绝对点，以及根据图像直线的位置可以得到与绝对点对偶的二次曲线。

在步骤(3)中，建立求解与绝对点对偶的二次曲线投影图像的投影约束，并求解平面单映矩阵H的具体过程包括：

(3-1)在欧式坐标系中，与绝对点对偶的二次曲线表示为以下形式：

式中，I_A,J_A是两个绝对点，e为偏心率。

(3-2)建立求解与绝对点对偶的二次曲线图像的约束；

当e＝0时，与绝对点对偶的二次曲线变为与虚圆点对偶的二次曲线，记为

那么，与绝对点对偶的二次曲线在射影变换下的约束为：

(3-3)根据上述约束得到与绝对点对偶的二次曲线的图像

(3-4)对与绝对点对偶的二次曲线的图像进行类似SVD的分解，得到待矫正矩阵U；

(3-5)待矫正矩阵U与平面单映矩阵H相差一个仿射变换A，仿射变换矩阵A的两个缩放系数的比为

在已知偏心率e的情况下，恢复出相差相似变换的单映矩阵H。

在步骤(4)中，根据单映矩阵H建立求解绝对二次曲线图像的约束K^-TK^-1，利用乔里斯基分解(Cholesky factorization)得到摄像机内参数矩阵K，实现对摄像机标定。

如图3(a)-3(c)为具有平行主轴的椭圆标定图案及其图像提取结果，由Logitech摄像头拍摄，图3(a)为标定物图像，图3(b)为提取的Canny边缘，图3(c)为提取的椭圆特征，此方法首先使用直接最小二乘的椭圆拟合算法提取图像椭圆特征，然后对摄像头进行标定，获取摄像头的内参数，特别是在某些腔内操作时，标定结果体现出算法的准确性和鲁棒性。

实施例2

本实施例提供一种基于主轴平行二次曲线特征的摄像机标定系统，包括：

广义特征分析模块，被配置为对曲线对的投影图像进行广义特征分析，得到广义特征值；

单映矩阵确定模块，被配置为根据投影约束得到与绝对点对偶的二次曲线的投影图像，并对其进行分解得到待矫正矩阵，根据待矫正矩阵得到平面单映矩阵；

标定模块，被配置为根据平面单映矩阵得到绝对二次曲线的投影图像，对绝对二次曲线的投影图像进行分解得到摄像机内参数矩阵，以此对摄像机进行标定。

此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。