CN106530358A - 仅用两幅场景图像标定ptz摄像机的方法 - Google Patents

Abstract

本发明公开了仅用两幅场景图像标定PTZ摄像机的方法，首先拍摄任意场景相对于PTZ摄像机在相同焦距，不同Pan‑Tilt角度下有重叠区域的两幅图像，对两幅图像进行特征点匹配，得到图像之间的匹配特征点对，考虑匹配特征点定位的不确定性和相机透镜畸变的影响，创建了结合特征点定位噪声以及透镜畸变的单应矩阵估计方法，求出两幅图像之间的单应性矩阵和PTZ摄像机在该焦距下的径向畸变系数，最后，通过构建Givens旋转矩阵对所求得的单应性矩阵进行分解，从而解算获得摄像机的四个内参(焦距，主点坐标，纵横比)，本发明可实现PTZ摄像机五个参数的在线标定。

Description

仅用两幅场景图像标定PTZ摄像机的方法

技术领域

本发明涉及仅用两幅场景图像标定PTZ摄像机的方法，可应用于计算机视觉和视频监控领域中的PTZ摄像机标定。

背景技术

PTZ相机(Pan、Tilt和Zoom的简写)，是集高分辨率摄像头、变速云台和光学变焦镜头等部件于一体的监控设备，因其高度的灵活性，广泛应用于现代工业的各个行业。随着视觉测量技术的发展，传统固定参数的静态摄像机已经不足以满足某些环境下的测量工作，例如大尺寸测量等。PTZ摄像机应用于视觉测量领域，解决了测量视角范围小、视角视向固定等问题，在增加视觉测量系统灵活性的同时，降低了对摄像机数目的要求。

获取精确的PTZ相机标定结果，对于后续应用具有决定性的影响。一般来说，常用的PTZ相机标定技术可分为三类：传统标定方法，基于主动视觉的标定方法与自标定方法。传统标定方法需要借助一个标准的参照物或者是标定模板，利用参照物或标定模板上满足一定条件的点与其对应的图像点的一些约束条件来确定摄像机模型参数。文献“基于一维标定物的反射折射摄像机标定方法”(邓小明，吴福朝，段福庆等。计算机学报，2007，2010，Vol.30，No.5)：该方法首先使用一维标定物的图像和主点满足的不变量计算主点；然后通过一维标定物图像所隐含的正交消影点信息，线性地求解绝对二次曲线的像(IAC)，并对IAC矩阵进行Cholesky分解确定尺度因子和畸变因子；最后通过一维标定物的3次或3次以上的一般刚体运动，就能够标定反射折射摄像机的参数。可以看出传统方法的缺点是标定过程太复杂，需要高精度的标定块。其中基于主动视觉的标定方法是指，在已知摄像机的某些运动信息下标定摄像机的方法。文献“摄像机的一种主动视觉标定方法”(朱嘉，李醒飞等。光学学报，2010，Vol.30，No.5)：该方法控制摄像机作一组二维的平移运动，采集圆孔靶标件的图像并计算圆心的像点坐标，同时记录摄像机的移动距离，得到标定所需的特征点，利用这些特征点计算摄像机标定参数。这种方法的缺点是：需要高精度的摄影平台来实现，且要求获得摄像机的运动信息。

自标定方法不需要标定物，是指仅依靠多幅图像对应点之间的关系直接进行标定的过程。目前常用的自标定方法，有的需要借助场景中的信息来完成标定，文献“单目主动视觉无人机导引中摄像机内参数标定的线性方法”(王睿，李欣，张广军。航空学报，2006，Vol.27，No.4)：该方法先在摄像机主点位置进行预标定，然后摄像机只需拍摄一幅着舰平面靶标上的一组正方形图像，无须知道该组正方形的任何几何信息，通过计算圆环点，建立绝对二次曲线对摄像机内参数的约束方程即可线性求解摄像机内参数。但是这种方法的缺点是：需要借助场景中特定图案包含的信息来完成标定。针对这种方法的不足，有文献如“基于同一场景3张影像的相机自标定算法”(李海滨，郝向阳，山海涛，陈杰。测绘科学技术学报，2008)：该方法控制相机获得同一场景的三幅未标定图像，依次进行角点提取，估计基本矩阵并得到同一参考系统下的三个投影矩阵，最后对相机进行自标定处理，获得相机的内部参数。这种方法虽然克服了上述方法依赖场景信息进行标定的缺点，但是它的不足在于：需要拍摄至少三幅图像来完成自标定。可以看出，目前通用的相机自标定方法，存在依赖场景信息和需要拍摄多幅图像这两种缺点，因此本领域需要一种能同时改善这两种缺点的自标定方法，并期望这种方法能有较高的精度和实用意义。

发明内容

针对现有技术的不足，本发明提供了仅用两幅场景图像标定PTZ摄像机的方法，只需拍摄有重叠区域的两幅图像并且不依赖于场景中的特定信息，即可完成标定，在简化PTZ摄像机的内参标定过程的同时提高标定的精度。

本发明提出的仅用两幅场景图像标定PTZ摄像机的方法，包括以下步骤：

步骤(1)控制待标定的PTZ(Pan-Tilt-Zoom)摄像机，保持Zoom参数不变，进行任意角度地Pan-Tilt旋转，在不同的姿态下拍摄任意场景有重叠区域的两幅图像。

步骤(2)采用基于点特征的图像匹配方法，对所拍摄的两幅图像所含特征点进行匹配，得到两幅图像的匹配点对在图像坐标系下的坐标值。

步骤(3)基于协方差矩阵求解步骤(2)中匹配特征点定位的不确定性，表示为各向异性非同分布的特征点定位噪声。综合考虑这种特征点定位噪声与相机透镜畸变，依据步骤(2)中两幅图像匹配点对之间满足的单应性约束关系，求解图像间的单应性矩阵H以及相机畸变系数η。

步骤(4)基于步骤(1)中2次任意角度地Pan-Tilt旋转这一事实，构建Givens旋转矩阵对步骤(3)中求得的单应性矩阵H进行分解，得到PTZ摄像机内参的四个等式约束，求解出包括焦距和主点的四个内部参数：纵横比α，焦距f，主点坐标(u₀，v₀)，从而可实现PTZ相机五个参数(η，α，f，u₀，v₀)的标定。

其中，考虑到相机所拍摄图像存在畸变以及匹配特征点定位的不确定性，提出了一种高精度含待估计透镜畸变系数η的单应性矩阵估计方法，并且在估计单应性矩阵H的同时估计出透镜畸变系数η。

其中，仅需要摄像机在相同的焦距，不同的Pan-Tilt角度下拍摄到的任意场景有重叠区域的两幅图像，在得到两幅图像间精确的单应性矩阵后，根据2次任意角度地Pan-Tilt旋转这一事实，构建Givens旋转矩阵对单应性矩阵H进行分解，得到关于相机内参的四个等式约束并进行求解，从而完成相机(α，f，u₀，v₀)标定。

本发明原理在于：控制PTZ摄像机在相同的焦距，不同Pan-Tilt角度下拍摄任意场景有重叠区域的两幅图像，采用一种基于尺度不变特性的图像特征点匹配方法，得到两幅图像之间的匹配点对，利用匹配点对，基于结合透镜畸变以及特征各向异性非同分布定位噪声的高精度单应矩阵估计方法完成图像间的单应性矩阵估计。最后引入Givens旋转矩阵，对单应性矩阵进行分解，得到PTZ相机的四个内部参数以及畸变系数，完成相机的标定。

与现有技术相比，本发明的方法首先采用基于尺度不变特性的特征点匹配方法(如SIFT，SURF，SCARF等)，得到精确的匹配特征点。在进行单应性矩阵估计的时候，本发明综合考虑了摄像机镜头畸变和特征定位噪声，从而保证了较高的单应性矩阵估计精度。另外，本发明的方法只需要控制PTZ摄像机在相同焦距，不同位姿下拍摄任意场景有重叠区域的两幅图像，利用Givens旋转矩阵对两幅图像之间的单应性矩阵H进行分解，就可以得到精确的PTZ摄像机内参(α，f，u₀，v₀)。

附图说明

图1为本发明实施例提供的仅用两幅场景图像标定PTZ摄像机的方法的整体流程图；

图2为本发明一个实例中所拍摄的两幅图像；

图3为图2两幅图像的特征点匹配结果。

具体实施方式：

为了更好地理解被发明的技术方案，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明的PTZ摄像机标定方法包括以下步骤：

1.拍摄标定所用图像：控制待标定的PTZ(Pan-Tilt-Zoom)摄像机，在相同的焦距，不同Pan-Tilt角度下拍摄任意场景有重叠的两幅图像。图2为一个实施例中所拍摄场景的两幅图像，其中I₁为相机在初始位置拍摄到的图像，I₂为对相机进行Pan-Tilt旋转后，拍摄到的图像。

2.特征点匹配：可采用本领域所知的图像匹配算法对两幅图像I₁和I₂进行特征点匹配，如：SIFT，SURF，SCARF等特征点匹配算法。

3.求解单应性矩阵H和畸变系数η：

采用基于特征的单应性矩阵估计方法进行单应性矩阵H和畸变系数η的估计，主要方法为：利用SCARF特征点匹配得到两幅图像之间的匹配特征点以后，考虑相机镜头畸变和匹配特征点定位的不确定性，采用结合特征点定位噪声以及透镜畸变的内点检测方法对所有的匹配特征点进行内点检测，在单应性约束条件下剔除匹配对中存在的外点数据。最后利用得到的内点数最多的内点集合，基于L-M优化方法重新估计单应矩阵H和畸变系数η。具体步骤如下：

3.1对步骤2中得到的匹配点对，求解匹配特征点定位的不确定性，即各向异性非同分布的特征定位噪声，用协方差矩阵Γ表示，可以用Hessian矩阵的逆来估计。因为Γ是对称矩阵，可以分解为：

其中，λ₁和λ₂为Γ的特征值，V＝[v₁v₂]是对应的特征向量。

3.2随机选取特征点对的五对特征点，用如下所述方法求得一个候选单应性矩阵H和径向畸变系数η：

假设m_u和m'_u为两幅图像之间的无失真匹配点对，匹配点对之间的关系可以用单应性矩阵H表示为下式：

m'_u×Hm_u＝0 (2)

畸变模型我们采用单参数除法模型，可以用下式表示：

其中m_u是无失真的特征点坐标，m_d是对应的失真图像点坐标。O是畸变中心，通常被表示为相机主点坐标或者图像的中心，我们将畸变中心表示为图像的中心，η为相机径向畸变系数。结合(2)(3)，可以得到：

(m'_d+ηz'_d)×H(m_d+ηz_d)＝0

m'_d×Hm_d+η(z'_d×Hm_d+m'_d×Hz_d)+η²(z'_d×Hz_d)＝0 (4)

其中将(3)式展开，可得关于单应性矩阵H和畸变系数η的如下等式约束：

(D₁+ηD₂+η²D₃)h＝0 (5)

h为一个列向量，其中的元素为单应性矩阵H中的九个元素，D₁，D₂，D₃分别为2×9的矩阵：

其中，r＝||m_d||,r'＝||m′_d||，(x,y,1)^T和(x′,y′,1)^T为两幅图像对应匹配点的图像齐次坐标。根据(5)式，在所有匹配点对中随机选取五对匹配点，可以得到一个单应性矩阵H和畸变系数η。

3.3对于每个特征点其计算残差为：

其中，m_ui和m′_ui是第i对无失真的匹配点，i＝1，2，…，是m_ui关于单应性矩阵H的重投影坐标。如果残差小于一定的阈值，则认为该特征点为内点，否则为外点。对所有匹配点对进行内点检验，得到一个内点集合。

3.4重复步骤3.2和3.3，找到内点数目最多的集合对应的单应性矩阵和畸变系数作为初始估计结果。

3.5利用3.4中输出的内点集合，将(7)式作为目标函数，利用优化算法估计最终的单应性矩阵H和畸变系数η。

其中n_max为内点的个数。

4.求解相机内参：构建Givens矩阵对3.5中求解的单应性矩阵H进行分解，得到PTZ相机的四个内参(α，f，u₀，v₀)。

在三维空间中，Givens旋转相当于平面内绕任一组坐标轴进行旋转。设实数c与s满足c²+s²＝1，称：

为Givens矩阵。其中c＝cosθ，s＝sinθ。这里的c和s出现在第i行和第j行以及第i列和第j列的交叉点上。

I₁和I₂分别为摄像机在Zoom不变，P、T变化的情况下拍摄到的两幅图像，两幅图像之间的单应性矩阵可用式(8)表示，这是本领域的技术人员所熟知的。

H₂₁～KR₂₁K^-1 (8)

其中K为相机内参标定矩阵，R₂₁为摄像机的相对旋转。

重新排列式(8)得：

K^-1H₂₁～R₂₁K^-1 (9)

可以看到式(9)的右边仅仅有相机的内部参数矩阵K和未知的旋转矩阵R₂₁，所以，我们可以构建一系列的Givens旋转矩阵左乘等式的两边，其中Givens旋转矩阵的作用是消去等式右边的R₂₁，并将等式左边分解为上三角矩阵，从而得到如下形式：

G₃G₂G₁K^-1H₂₁～K^-1 (10)

中K^-1＝[k₁ k₂ k₃]^T，是K^-1的行向量。H₂₁＝[h₁h₂h₃]，h_i(i＝1，2，3)是单应性矩阵的列向量。将(10)的左边表示为如下形式：

假定不同图像主点坐标保持不变，结合(10)(11)，我们可以得到如下四个独立的等式约束：

通过(12)，我们可以解算获得相机的四个内部参数(α，f，u₀，v₀)，结合步骤3.5中得到的畸变系数η，我们实现了PTZ相机五个内部参数(η，α，f，u₀，v₀)的标定。

Claims (3)

1.仅用两幅场景图像标定PTZ摄像机的方法，其特征在于，该方法包括以下具体步骤：

步骤(1)、控制待标定的PTZ(Pan-Tilt-Zoom)摄像机，保持Zoom参数不变，进行任意角度地Pan-Tilt旋转，在不同的姿态下拍摄任意场景有重叠区域的两幅图像；

步骤(2)、采用基于点特征的图像匹配方法，对所拍摄的两幅图像所含特征点进行匹配，得到两幅图像的匹配点对在图像坐标系下的坐标值；

步骤(3)、基于协方差矩阵求解步骤(2)中匹配特征点定位的不确定性，表示为各向异性非同分布的特征点定位噪声，综合考虑这种特征点定位噪声与相机透镜畸变，依据步骤(2)中两幅图像匹配点对之间满足的单应性约束关系，求解图像间的单应性矩阵H以及相机畸变系数η；

步骤(4)、基于步骤(1)中2次任意角度地Pan-Tilt旋转这一事实，构建Givens旋转矩阵对步骤(3)中求得的单应性矩阵H进行分解，得到PTZ摄像机内参的四个等式约束，求解出包括焦距和主点的四个内部参数：纵横比α，焦距f，主点坐标(u₀，v₀)，从而可实现PTZ相机五个参数(η，α，f，u₀，v₀)的标定。

2.如权利要求1所述的仅用两幅场景图像标定PTZ摄像机的方法，其特征在于：考虑到相机所拍摄图像存在畸变以及匹配特征点定位的不确定性，提出了一种高精度含待估计透镜畸变系数η的单应性矩阵估计方法，并且在估计单应性矩阵H的同时估计出透镜畸变系数η。

3.如权利要求1所述的仅用两幅场景图像标定PTZ摄像机的方法，其特征在于：仅需要摄像机在相同的焦距，不同的Pan-Tilt角度下拍摄到的任意场景有重叠区域的两幅图像，在得到两幅图像间精确的单应性矩阵后，根据2次任意角度地Pan-Tilt旋转这一事实，构建Givens旋转矩阵对单应性矩阵H进行分解，得到关于相机内参的四个等式约束并进行求解，从而完成相机(α，f，u₀，v₀)标定。