CN108109179A

CN108109179A - 基于针孔摄像机模型的摄像机姿态校正方法

Info

Publication number: CN108109179A
Application number: CN201711479924.4A
Authority: CN
Inventors: 柳映辉
Original assignee: Tianjin University of Science and Technology
Current assignee: Tianjin University of Science and Technology
Priority date: 2017-12-29
Filing date: 2017-12-29
Publication date: 2018-06-01
Anticipated expiration: 2037-12-29
Also published as: CN108109179B

Abstract

本发明涉及一种基于针孔摄像机模型的摄像机姿态校正方法，其主要技术特点是：使用同一台摄像机以多个角度和位置拍摄标定图像，对摄像机内参数进行标定；将摄像机置于初始状态；拍摄图像并计算得到摄像机外参数；计算获取摄像机位置和姿态信息；如果误差较大，控制调整摄像机位置和姿态。本发明设计合理，其在进行摄像机校正时，使用简单易行的方法解算出摄像机坐标系与世界坐标系的关系，快速调整摄像机位置和姿态，满足特定应用要求，不用额外增加实时计算量，大大提升了系统的软件性能，也不用额外增加硬件设备，大大节省了系统成本。

Description

基于针孔摄像机模型的摄像机姿态校正方法

技术领域

本发明属于视频图像处理技术领域，尤其是一种基于针孔摄像机模型的摄像机姿态校正方法。

背景技术

在视频图像领域，摄像机是必不可少的设备，通过摄像机可以记录各种需要的图像、视频信息。在一般应用中，摄像机与被拍摄物体之间的位置、姿态并不做特殊要求，只要拍摄清晰即可。但是在某些应用中，摄像机必须正对被拍摄的物体，且尽量位于中心位置，例如：书籍、纸质文件、博物馆的艺术品拍摄电子照片时，希望摄像机正对物体，减少透视投影时因姿态引起的图像畸变。如果依靠计算的方式实时校正图像畸变，不仅计算量增加，还会导致计算速度变慢，不利于系统实时性指标，并且对计算机硬件有较高要求。而如果依靠各种复杂测量工具辅助安装，则需要投入大量成本购置专业工具，浪费资金和人力，不适合在简单场景中应用。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理、算法简单且不需要复杂测量工具的基于针孔摄像机模型的摄像机姿态校正方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于针孔摄像机模型的摄像机姿态校正方法，包括以下步骤：

步骤1：使用同一台摄像机以多个角度和位置拍摄标定图像；

步骤2：用张正友标定法建立摄像机内参数A；

步骤3：将云台置于初始状态，包括位置和姿态；

步骤4：拍摄1幅至少包含4个定位点的图像，结合摄像机内参数A，计算得到摄像机外参数[R t]，摄像机外参数包含了摄像机的位置、姿态信息，其中R为矩阵，t为平移向量；

步骤5：解析外参数R＝[r1 r2]，其中r1、r2分别是摄像机坐标系u、v轴在世界坐标系中的向量值，r3＝r1×r2是摄像机坐标系n轴；T＝-[r1 r2 r3]^-1t＝-[r1 r2 r3]^Tt是摄像机坐标系原点在世界坐标系中的坐标；

步骤6：如果T向量的前两项分量值Tx,Ty小于给定阈值，则不需要平移；否则沿着x，y方向平移-Tx,-Ty；

步骤7：如果||r1·e1-1||小于给定阈值，则将u轴向x轴靠拢；否则保持u轴不变；如果||r2·e2-1||小于给定阈值，则将v轴向y轴靠拢；否则保持v轴不变；如果||r3·e3-1||小于给定阈值，则将n轴向z轴靠拢；否则保持n轴不变，结束；

所述e1＝(1 0 0)^T是世界坐标系x轴向量值；e2＝(0 1 0)^T是世界坐标系y轴向量值；e3＝(0 0 1)^T是世界坐标系z轴向量值；

进一步，所述步骤1拍摄的标定图像为3～5幅。

进一步，所述步骤4中的摄像机外参数有8个，需要建立8个方程，采用最小二乘法解算线性方程组。

进一步，所述步骤5的[r1 r2 r3]是单位正交阵。

进一步，在使用摄像机拍摄时，被拍摄物体必须用黑白棋盘格图像做校正。

本发明的优点和积极效果是：

1、本发明在进行摄像机标定时，根据摄像机校正时标定的内参数解算摄像机外参数，将摄像机外参数用于摄像机位置、姿态校正，从而实现针孔摄像机模型的摄像机姿态校正功能，使得拍摄的图片处于完美的位置、角度，减少后续图像的处理过程，本发明简便易用，可广泛适用于需要使摄像机与被拍摄物体保持特定位置、姿态的场合。

2、本发明在进行摄像机校正时，使用简单易行的方法解算出摄像机坐标系与世界坐标系的关系，快速调整摄像机位置和姿态，满足特定应用要求，不用额外增加实时计算量，大大提升了系统的软件性能，也不用额外增加硬件设备，大大节省了系统成本。

附图说明

图1为本发明的整体流程图；

图2为本发明的摄像机姿态校正流程图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

一种基于针孔摄像机模型的摄像机姿态校正方法，如图1及图2所示，包括以下步骤：

步骤1：用同一摄像机多个角度、位置拍摄标定图像(黑白棋盘格)3～5幅图。

步骤2：用张正友标定法建立摄像机内参数A。

上式中，s是个标量，表示缩放系数；是3*1的像素坐标值(齐次坐标)；A是3*3的内参数矩阵；R＝[r1 r2]是3*2的矩阵，是旋转变换矩阵[r1 r2 r3]的一部分；t是3*1的平移向量，是3*1的世界坐标值(齐次坐标，位于拍摄平面上)。

上述步骤1和步骤2使用的是张正友标定法的现成方法，该方法简洁易行，不需要专业标定设备。

步骤3：将云台置于初始位置、姿态。

初始位置和姿态只需要初步对齐即可，不用精确测量。

步骤4：拍摄1幅图(至少包含4个定位点)，结合步骤2中得到的内参数，计算得到摄像机外参数[R t]，外参数中包含了摄像机的位置、姿态信息。

由于外参数矩阵是3*3的，除去齐次矩阵的系数，剩余8个未知参数，因此，至少需要8个方程(4个点)。考虑到图像噪声的影响，最好能再多一些定位点，这样线性方程是过定方程，采用最小二乘法得到其解。这样做可以有效抵抗噪声和偶然因素的影响。

步骤5：解析外参数R＝[r1 r2]，其中r1、r2是3*1的向量，是[r2 r2 r1×r2]旋转变换矩阵的前2列，也是摄像机坐标系的u轴、v轴，r3＝r1×r2是摄像机坐标系n轴；T＝-[r1r2 r3]^-1t＝-[r1 r2 r3]^Tt是摄像机坐标系原点在世界坐标系中的坐标，是3*1的向量。

外参数矩阵是由平移矩阵与旋转矩阵合并而成，而旋转矩阵是正交阵，可以计算得到摄像机真实平移量。

步骤6：如果T向量的前两项分量值Tx,Ty小于给定阈值，则不需要平移；否则沿着x，y方向平移-Tx,-Ty。

摄像机不需要进行z方向平移，只需要沿着xy方向移动到被拍摄平面中心即可(世界坐标系坐标原点所在)。

本步骤中的Tx,Ty越接近0，摄像机坐标原点越靠近z轴，当误差足够小时，平移结束。

步骤7：如果||r1·e1-1||小于给定阈值，则将u轴向x轴靠拢；否则保持u轴不变；如果||r2·e2-1||小于给定阈值，则将v轴向y轴靠拢；否则保持v轴不变；如果||r3·e3-1||小于给定阈值，则将n轴向z轴靠拢；否则保持n轴不变，结束。其中，e1＝(1 0 0)^T是世界坐标系x轴向量值；e2＝(0 1 0)^T是世界坐标系y轴向量值；e3＝(0 0 1)^T是世界坐标系z轴向量值。

由u,v,n轴与x,y,z轴的夹角明确可知，摄像机朝着减少夹角的方向旋转使夹角趋于0即可。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims

1.一种基于针孔摄像机模型的摄像机姿态校正方法，其特征在于包括以下步骤：

步骤1：使用同一台摄像机以多个角度和位置拍摄标定图像；

步骤2：用张正友标定法建立摄像机内参数A；

步骤3：将云台置于初始状态，包括位置和姿态；

所述e1＝(1 0 0)^T是世界坐标系x轴向量值；e2＝(0 1 0)^T是世界坐标系y轴向量值；e3＝(0 0 1)^T是世界坐标系z轴向量值。

2.根据权利要求1所述的基于针孔摄像机模型的摄像机姿态校正方法，其特征在于：所述步骤1拍摄的标定图像为3～5幅。

3.根据权利要求1所述的基于针孔摄像机模型的摄像机姿态校正方法，其特征在于：所述步骤4中的摄像机外参数有8个，需要建立8个方程，采用最小二乘法解算线性方程组。

4.根据权利要求1所述的基于针孔摄像机模型的摄像机姿态校正方法，其特征在于：所述步骤5的[r1 r2 r3]是单位正交阵。

5.根据权利要求1所述的基于针孔摄像机模型的摄像机姿态校正方法，其特征在于：在使用摄像机拍摄时，被拍摄物体必须用黑白棋盘格图像做校正。