CN113706635B

CN113706635B - 一种基于点特征和线特征融合的长焦距相机标定方法

Info

Publication number: CN113706635B
Application number: CN202111258718.7A
Authority: CN
Inventors: 谢文寒; 薛玉彩
Original assignee: Chinese Academy of Surveying and Mapping
Current assignee: Chinese Academy of Surveying and Mapping
Priority date: 2021-10-28
Filing date: 2021-10-28
Publication date: 2022-04-01
Anticipated expiration: 2041-10-28
Also published as: CN113706635A

Abstract

本发明提出一种基于点特征和线特征融合的长焦距相机标定方法，包括：S1，获取目标表面影像，所述目标表面影像具有水平和垂直的三维线特征；S2，进行点特征及线特征的数据分割与提取，提取的点特征的同名点用于全景影像的生成；S3，对点特征及线特征分别进行数据模型的构建；S4，对点线特征进行模型融合，形成最终标定模型，解算长焦距相机标定参数。本发明的方法大大提高了对长焦距的相机标定的精度。

Description

一种基于点特征和线特征融合的长焦距相机标定方法

技术领域

本发明涉及相机标定技术，更具体地，涉及一种基于点特征和线特征融合的长焦距相机标定方法。

背景技术

相机标定，就是通过建立已知物点像点对应的关系模型，计算成像系统内外几何及光学参数，从而获取模型参数。一旦建立了这种对应关系，就可以通过二维像点坐标推出物点三维世界坐标，或相反的，从已知的三维信息推出二维信息。相机标定是计算机视觉实现的前提和基本问题。

在众多标定算法中，根据标定物的维数，大体可将标定方法分为四类：

基于三维信息的相机标定。传统的标定方法大多基于三维标定物的，这种标定物一般包含两个或三个相互正交的平面，它可获得较高的精度。此外，这种三维信息还包括三维几何信息，如直线的水平、垂直关系。

基于二维信息的相机标定。这种方法一般需要相机在多个不同角度对带有平面图案的标定物进行观察，而相机的运动轨迹无需已知。与三维信息相比，二维信息更容易获取，标定也可达到较高的精度。

基于一维信息的相机标定。按照常理，一个自由移动的一维目标（如一条直线上的点集）是不可能进行相机标定的。若将目标中的一点固定，并对目标进行6次或6次以上的观测，则可通过几何关系解算相机内参数。

基于0维信息的相机标定。自标定由于不需要任何标定物或物方已知信息，仅通过影像间的对应点即可对相机进行标定，因此被认为是0维方法。而相机的运动轨迹既可已知（纯平移或纯旋转），也可未知。

这四类传统技术在对长焦距相机标定中存在一些不足。传统相机标定方法在理论上可以对任何焦距的光学面阵相机进行内方位元素的参数标定，如像主点、焦距、径向畸变、切向畸变等参数。然而，对于长焦距相机，根据光学几何理论可知，焦距越长，相机幅面就越小。因此，无论是一维控制场还是三维高精度控制场，在实际标定解算过程中，会带来很大的中误差，并导致解算参数的精度大大降低。

发明内容

针对背景技术中的问题，根据长焦距面阵相机的特点，长焦距相机标定若能将多维信息结合运用，则能达到取长补短的效果。基于三维信息的相机标定精度较高，而基于0维信息的相机自标定有对目标及场景无约束、实时性强等特点。

本发明提出一种基于点特征和线特征融合的长焦距相机标定方法，包括：

S1，获取目标表面影像，所述目标表面影像具有水平和垂直的三维线特征；

S2，进行点特征及线特征的数据分割与提取，提取的点特征的同名点用于全景影像的生成；

S3，对点特征及线特征分别进行数据模型的构建；

S4，对点线特征进行模型融合，形成最终标定模型，解算长焦距相机标定参数。

优选地，在步骤S2中，线特征提取包括：边缘检测；多直线段拟合；以及直线特征编组。

优选地，采用端点距离、共线方向差、共线侧向距离、交叠距离、灰度、纹理来度量两线段的编组概率。

优选地，通过如下方法生成全景影像：针对同一摄影中心下产生的多幅影像，以中心的影像为基准影像，并以此为基准建立统一的投影面；基于统一的投影面，利用各影像的同名点信息，对所有进行几何纠正，并形成统一的全景影像。

优选地，在步骤S3中，基于全景影像的线特征进行特征匹配包括：S3-1，形成多几何纠正影像的基于纯旋转、无位移的全景影像；S3-2，对全景影像进行金字塔结构的直线信息的提取；S3-3，利用全景影像粗分辨率的线特征，以及原始影像中的精细线特征，通过逆变换使直线作为初值投影到原始影像中，在原始影像上，利用直线模板匹配得到直线的精确位置。

优选地，在步骤S4中，基于步骤S3中得到的线特征的相对控制条件和基于同名点的自标定模型，来生成基于点线特征融合的标定模型。

优选地，生成基于点线特征融合的标定模型包括：通过观测值与未知参数之间的关系建立平差模型；对线特征的相对控制条件进行线性化；利用线特征约束平差模型；基于同名点的自标定模型确定初值；基于初值利用迭代求解平差模型。

优选地，在基于点线特征融合的标定模型中，采用摄影测量最小二乘平差迭代求解。

优选地，在步骤S2中，点特征提取的方法包括：1）对影像进行尺度空间的极值探测；2）对关键点进行精确定位；3）确定关键点的主方向；4）对关键点进行描述。

优选地，在步骤S2中，采用交叉使用直线分裂和直线合并算法进行多直线段拟合。

本发明的方法同时应用三维信息与零维信息的标定方法—基于点特征和线特征融合的长焦距相机标定方法。将自标定技术应用于线特征消失点几何标定理论中，在实际应用上，对长焦距的相机标定能达到非常高的精度。

附图说明

为了更容易理解本发明，将通过参照附图中示出的具体实施方式更详细地描述本发明。这些附图只描绘了本发明的典型实施方式，不应认为对本发明保护范围的限制。

图1为本发明的方法的流程图。

图2为本发明的一个实施例的流程图。

图3显示了影像数据获取的一个方案。

图4显示了旋转相机拍摄的四幅原始影像。

图5显示了采用扩展旋转的摄影方式拍摄的原始影像。

图6显示了生成的全景影像。

具体实施方式

下面参照附图描述本发明的实施方式，以便于本领域的技术人员可以更好的理解本发明并能予以实施，但所列举的实施例不作为本发明的限定，在不冲突的情况下，下述的实施例及实施例中的技术特征可以相互组合，其中相同的部件用相同的附图标记表示。

如图1所示的本发明的方法，包括：

S1，获取目标表面影像，所述目标表面影像具有水平和垂直的三维线特征，如建筑物表面的外轮廓、窗体，门框等。

针对长焦距相机幅面较小的特点，本发明提出了基于纯旋转的全景摄影方式，以弥补长焦距带来的不足。具体地，在N×N全景摄影模式中，将影像大致分为N-1行和N-1列，如此，在水平方向上旋转N-1次进行拍摄，然后在垂直方向上旋转N-1次进行拍摄，其中，每次旋转时影像间重叠度达到预设范围，优选地重叠度在60%以上。另外，相机在每个位置还进行绕光轴的旋转拍摄，每个位置旋转M次，如此得到N×N×M幅影像。对于拍摄距离较近，场景较宽阔的，可以增大N。

在一个实例中，如图3所示，对建筑物一拐角处进行摄影时，可以采用3×3全景摄影，即相机水平旋转两次，每次旋转尽量使影像间重叠度在60%以上，这样可以得到大量同名点，并保证拼接全景影像的精度，影像大致分为左列、中列及右列。同时相机沿垂直角度再旋转两次，影像大致分为上行、中行和下行，这样，相机在九个位置进行了摄影，与此同时，相机在每个位置还要进行绕光轴的旋转拍摄，每个位置分别旋转4次（每次旋转大致90度）。因此，采用3×3全景摄影共可得到36幅影像。对于有的情况（如拍摄距离较近，场景较宽阔），可采用5×5全景摄影模式，这样可得到100幅影像以及40个像对。因此，基于纯旋转的全景摄影方式所获取的影像存在着大量的直线信息和同名点信息，后续步骤能将两类信息同时运用到标定方法中，以提高长焦距相机的标定的精度。

S2，进行点特征及线特征的数据分割与提取。对S1中得到的N×N×M幅原始影像数据分别进行点特征、线特征的特征提取。进一步，使用提取的点特征的同名点来生成全景影像。

点特征提取可以采用目前通用的SIFT算法，对不同影像中点状特征进行提取与匹配。该算法对旋转、尺度缩放、亮度变化保持不变、视角变化、仿射变换、噪声保持具有一定程度的稳定性，SIFT算法对海量的特征数据可以快速、准确的匹配，也可以同其他形式的特征向量进行结合。针对SIFT算法的点特征提取，主要包括以下四个步骤：

1）对影像进行尺度空间的极值探测。尺度空间通过图像和高斯卷积得到。尺度空间的极值点的检测中，将每一个采样点与其周围的临点进行比较，寻找尺度空间极值，通过高斯函数对原始影像进行卷积处理。

2）对关键点进行精确定位。通过拟合三维二次函数删除低对比度的点，以精确确定关键点的位置，增强匹配的稳定性，提高抗噪的能力。

3）确定关键点的主方向。利用关键点的局部影像特征即以梯度为依据，以每一个关键点梯度最大的方向作为该点的主方向。

4）对关键点进行描述。关键点的描述子对关键点的周围影像区域进行分块，计算块内梯度直方图，生成了对该区域影像信息抽象表达的唯一性向量。一般使用16个种子点来描述关键点，因此，对于8个方向的梯度方向，就形成了一个128位的SIFT特征向量。根据点特征的SIFT特征向量，可进行高精度的点特征匹配，用于后续标定模型。

在步骤S2中，线特征提取包括：边缘检测；多直线段拟合；以及直线特征编组。

边缘检测过程如下：在一幅影像中，边缘有方向和幅度两个特性。沿边缘走向的灰度变化平缓，而垂直于边缘走向的灰度变化剧烈，这种变化可能是阶跃型或屋脊型。然而实际要分析的影像常常是复杂的，灰度变化不一定是上述的标准形式。因此，对于检测算子的选择应依据不同类型的影像而定。如果以建筑物为拍摄目标，其影像边缘具有明显的方向性，而以上算子都是无向性的。因此，针对此特点本发明采用Canny边缘检测算子。这种算子因其对边缘检测的有效性和定位的可靠性而被广泛使用。对于各种类型的边缘，Canny边缘检测算子的最优形式是不同的。在二维情况下，Canny算子的方向性使边缘的定位性能非常好，具有良好的边缘强度估计，而且能产生边缘梯度方向和强度两种信息，为后续处理提供了方便。

多直线段拟合的过程如下：多直线段是指端点连接端点的直线段序列，直线段序列的连接点称为顶点。多线段算法的输入值是边缘点有序表：

。边缘点坐标可以计算到子象素精度。由于线段的两个端点对应两个边缘点，即线段拟合在这两个边缘点之间进行，因此仅需要精确计算对应端点的两个边缘点的坐标。拟合边缘并把第一个边缘点

和最后一个边缘点

连接起来的直线段公式为：

Ax+By+C=0

其中

。

若

是两点之间距离，则任给一点

，则该点到拟合直线段的距离为：

规范化最大误差为：

规范化最大误差可作为直线段拟合边缘好坏的量度。本发明采用交叉使用直线分裂和直线合并算法。分解过程以后，如果新的线段能以很小的规范化误差拟合边缘，则可用单一直线段代替相邻的几个线段。在线段合并后，新的线段可能在不同点处分裂。这样，二者交替作用直到没有线段被合并和分裂为止。

直线特征编组的过程如下：从边缘检测及边缘跟踪技术得到的线特征并不能完全独立于实际的影像内容而准确无误地进行，这是由于在影像成像过程中的各种因素如噪声、遮挡等很难保证形成的目标轮廓是完整的，因此在实际的线特征提取中我们获取的总是部分的影像符号描述，而并不是完整的符号描述。将这些零散的、部分的影像特征编组成为有意义的、完整的、一致的符号结构则是特征编组的任务。因此特征编组的中心环节是处理不可靠的、不完整的影像特征，它需要根据一定的知识如几何信息、属性信息以及其它景物信息来对处理过程做不同程度的知识导引，也需要进行一系列的假设来认同或作为最终的符合描述。

进一步，本发明主要研究影像中的直线特征，因此根据直线特性对基于相似性关系的特征编组做了定量化描述。本发明使用六个参数即端点距离、共线方向差、共线侧向距离、交叠距离、灰度、纹理来度量两线段的编组概率。

步骤S2还包括基于点特征提取生成进行全景影像：在同一摄影中心下产生的多幅影像间的关系实际上是二维平面的透视变换。设基准影像i上点坐标为

，待纠正影像（i+1）上点坐标为

，则有

，通过变换

可以将影像（i+1）上的点投影到影像i上。若以（i+1）为基准影像，（i+2）待纠正影像，则有

。这样，基准影像i与待纠正影像（i+2）之间的变换为

。在纠正过程中，离基准影像的旋转角度越大的影像投影到基准影像上变形就越大，因此一般以中心的影像为基准影像，并以此为基准建立统一的投影面。基于统一的投影面，利用各影像的同名点信息，对所有进行几何纠正，并形成统一的全景影像。该全景影像用于后续多影像的线特征匹配。

参照图1，本发明的方法还包括步骤S3：对点特征及线特征分别进行数据模型的构建。

针对长焦距相机的扩展摄影都是固定摄影中心的，而每幅相邻影像间有60%以上的重叠度，可以通过同名点进行相机的自标定模型的建立。

同时，利用步骤S2中生成的全景影像，对多影像中存在的线特征进行特征匹配。匹配过程如下：S3-1，形成多几何纠正影像的基于纯旋转、无位移的全景影像；S3-2，对全景影像进行金字塔结构的直线信息的提取；S3-3，利用全景影像粗分辨率的线特征，以及原始影像中的精细线特征，通过逆变换使直线作为初值投影到原始影像中，在原始影像上，利用直线模板匹配得到直线的精确位置。本发明使用最小二乘模板匹配技术进行高精度拟合。最小二乘影像匹配方法充分利用了影像窗口内的信息进行平差计算，使影像匹配可以达到子象素级（1/10~1/100 pixel）精度。

在实际应用中，最小二乘直线模板匹配算法对于轮廓清晰的阶跃型边缘能达到较好的效果，而对于影像模糊的阶跃型边缘，则可采用自适应的模板宽度来进行精确定位。该算法同样适用于宽度不断变化的屋脊型边缘。基于最小二乘直线模板匹配方法，对所有原始影像的线特征进行精确匹配，从而得到所有影像上的线特征匹配。

步骤S3还包括基于同名点的自标定模型。本发明适用于同名点特征对长焦距相机进行一次自标定，目的是解算出初始相机内方位参数。由于在最终点线特征的标定模型中，使用的是摄影测量中线性模型，并反复迭代得到最小二乘最优解，因此需要未知参数的初值。因此，该步骤中，通过自标定模型可以解算得到相机未知参数的初值。

本发明使用的基于纯旋转的相机自标定方法，该方法无需任何先验物方知识，只要求相机做纯旋转运动，即可通过多幅影像计算出相机内参数矩阵。

由于像点齐次坐标与空间点齐次坐标的关系为（相差一个比例因子）：

(u, v, w) ^T =M(X, Y, Z, 1)^T

其中M为3×4的投影矩阵：M = K(R |T)，K为表示内方位元素的上三角阵：

s是影像上x、y轴的不垂直性，R是影像的旋转矩阵：

以第0张影像为准，以它的摄影中心为空间坐标系的原点，并以通过它的摄影中心、垂直主光轴的平面为XY平面，即R为单位阵，因此第0张影像上的像点坐标与空间点的坐标关系为：

（1-1）

而其他影像需要它对同一空间物体作旋转（包括倾斜）摄影（摄影中心无移位），因此第i张影像上的像点坐标与空间点的坐标关系为：

（1-2）

由（1-1）、（1-2）式可得：

（1-3）

P_i为3×3的满秩阵，它实质是描述了两个影像（第0、i张影像）平面之间的投影关系。显然，Pi可以由两张影像之间的一组同名点（至少4个点）解得。

由等式（1-3）可知：

（1-4）

Pi是由两个影像之间的同名点可得，现在的问题是如何由它求得内定向参数矩阵K。

由式（1-4）可得：

由于R是正交阵，R满足

，因此上述两式相等：

由此可得：

（1-5）

令

因此：

（1-6）

利用矩阵相乘，将上式化为关于矩阵C的9个系数的方程组，解得C。由于内方位元素矩阵K是上三角阵；K^T是下三角阵，因此我们可以用矩阵Choleski分解，将C分解为上、下三角阵，从而解得长焦距相机的内方位元素矩阵K。

再次参照图1，本发明的方法还包括步骤S4，对点线特征进行模型融合，形成最终标定模型。为了提高标定模型的解算精度，充分利用在步骤S3中提取的目标表面的线特征，通过线特征与线特征的垂直关系、平行关系、共面关系，形成相对控制条件。

在一个实施方式中，以建筑物为例。在以建筑物为目标进行相机标定时，建筑物表面存在着几何线特征信息，如墙体的水平线条、垂直线条、窗体的水平线条、垂直线条等。这些几何关系在进行标定模型解算时可作为模型未知数的约束条件，即相对控制条件。

在基于点线特征融合的标定模型中，采用摄影测量最小二乘平差迭代求解：通过观测值与未知参数之间的关系建立平差模型，若模型为非线性的则线性化，然后确定每一参数的初值，最后通过最小二乘法迭代解求未知参数。该过程如图2所示。

在针对长焦距相机的点线混合的标定模型中，未知数可分为待标定参数和目标点未知参数，首先建立基础平差模型（方程），其矩阵形式为：

V=AT+BX-L

其中，T为待标定参数，即相机内外方位参数；X为目标点未知参数。

。

基于点的自标定方法为平差模型中未知参数提供了初值，因此，可以直接代入到线性化模型中。

线特征的相对控制条件如下。在建筑物中，若目标点存在着一定的几何约束，则有：

将两式结合，得到平差模型：

（1-7）

按条件极值法组成函数并求其极小值。其函数表达式为：

式中，Ks是对应于约束条件方程的联系数向量。

推导得出该平差的法方程为：

设

，则上式可表示为

用求逆方法解算，令

则法方程解为：

现以垂直线为例说明相对控制条件。

已知直线12是铅垂线，则对于点1和点2，存在如下几何关系：

条件式的矩阵形式为：

其中，

为前一次叠代的结果。

这样，平差中引入一条铅垂线就增加6个未知数和8个误差方程式，同时可列2个条件方程。

平面上的直线存在如下几种几何关系：垂直关系、共线关系以及夹角关系。

以垂直关系为例：两直线（平面上）垂直条件（如下式所示）：

在平差模型中，线控制条件是对目标点未知参数的约束条件，若加入同名点的约束条件则可对待标定参数进行约束。对其线性化，则平差模型变为：

（1-8）

这是带有约束条件的间接观测平差模型，即基于点线特征融合的标定模型，将影像中线特征的共线、共面条件以及影像间同名点的约束条件代入到平差模型中，即可解得长焦距相机的待标定参数值。

本发明经过实验验证可行。实验结果如下所示：实验采用Rollei d30-metric30mm量测数码相机。该相机机CCD光学面阵像幅为8.96mm X 7.168mm，像素大小是0.007mm/pixel，其焦距为长焦定焦镜头，焦距比标准镜头延长了3倍，相机的视场角大大减小。表1所示的量测相机内参数所列为该相机内参数值。参数值以毫米为单位，像主点的坐标是在以影像中心为原点、向右为X正方向、向上为Y正方向的像片坐标系中。

表1 量测相机内参数

下面将进行两组标定实验，一组是通过传统线特征几何灭点方式拍摄的四幅影像（如图4所示）进行多像标定；另一组是对在同一地点（同一摄影中心）采用3×5的全景摄影模式拍摄的60幅影像（共15个方位，每个方位旋转拍摄4幅）进行点线混合标定，采集的原始影像见图5。

六十幅影像中，对每两幅相邻影像匹配同名点，计算投影矩阵，通过平面投影变换，以中间影像为基准影像生成全景影像，结果如图6所示。

在全影像的基础上进行同名直线匹配，然后将共线条件、同名点约束条件等代入到标定模型中，得到如下标定结果（见表2）：

表2 点线混合标定结果

表2的第二、三、四列列出了两组实验的标定结果，第五、六、七列列出了与标准值的差值。仅从这两组结果可以看出，采用全景摄影方式的点线特征融合模型标定出的结果更加接近标准值。

基于点特征和线特征融合的长焦距相机标定方法通过影像间的同名点信息及直线相对控制条件，将自标定与灭点标定的优点有机结合到一起。这种方法不仅较好地解决了在标定长焦距相机时因视场角小而导致精度低的问题，同时也适用于短焦距相机的标定。

以上所述的实施例，只是本发明较优选的具体实施方式，本说明书使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims

1.一种基于点特征和线特征融合的长焦距相机标定方法，其特征在于，包括：

S3，对点特征及线特征分别进行数据模型的构建，包括：基于全景影像的线特征进行特征匹配：S3-1，形成多几何纠正影像的基于纯旋转、无位移的全景影像；S3-2，对全景影像进行金字塔结构的直线信息的提取；S3-3，利用全景影像粗分辨率的线特征，以及原始影像中的精细线特征，通过逆变换使直线作为初值投影到原始影像中，在原始影像上，利用直线模板匹配得到直线的精确位置；

S4，基于步骤S3中得到的线特征的相对控制条件和基于同名点的自标定模型，来生成基于点线特征融合的标定模型，解算长焦距相机标定参数，其中生成基于点线特征融合的标定模型包括：通过观测值与未知参数之间的关系建立平差模型；对线特征的相对控制条件进行线性化；利用线特征约束平差模型；基于同名点的自标定模型确定初值；基于初值利用迭代求解平差模型。

2.根据权利要求1所述的方法，其特征在于，在步骤S2中，线特征提取包括：边缘检测；多直线段拟合；以及直线特征编组。

3.根据权利要求2所述的方法，其特征在于，采用端点距离、共线方向差、共线侧向距离、交叠距离、灰度、纹理来度量两线段的编组概率。

4.根据权利要求2所述的方法，其特征在于，通过如下方法生成全景影像：

针对同一摄影中心下产生的多幅影像，以中心的影像为基准影像，并以此为基准建立统一的投影面；

基于统一的投影面，利用各影像的同名点信息，对所有进行几何纠正，并形成统一的全景影像。

5.根据权利要求1所述的方法，其特征在于，

在基于点线特征融合的标定模型中，采用摄影测量最小二乘平差迭代求解。

6.根据权利要求1所述的方法，其特征在于，在步骤S2中，点特征提取的方法包括：

1）对影像进行尺度空间的极值探测；

2）对关键点进行精确定位；

3）确定关键点的主方向；

4）对关键点进行描述。

7.根据权利要求2所述的方法，其特征在于，在步骤S2中，采用交叉使用直线分裂和直线合并算法进行多直线段拟合。