CN108257183A

CN108257183A - 一种相机镜头光轴校准方法和装置

Info

Publication number: CN108257183A
Application number: CN201711386651.9A
Authority: CN
Inventors: 耿志远
Original assignee: Goertek Techology Co Ltd
Current assignee: Goertek Optical Technology Co Ltd
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2018-07-06
Anticipated expiration: 2037-12-20
Also published as: CN108257183B

Abstract

本发明公开了一种相机镜头光轴校准方法和装置，包括：以标定参照物所在空间构建世界坐标系，并确定标定参照物上内角点的三维空间坐标值；获取相机镜头分别采集的标定参照物的图像；根据内角点的三维空间坐标值对相机镜头进行标定，得到镜头各自的内部参数、畸变参数和外部参数；利用镜头各自的内部参数、畸变参数和外部参数以及预设鱼眼镜头成像模型，对图像上像素点进行计算处理，实现两个鱼眼镜头光轴校准。对应的相机镜头光轴校准装置，包括：参照物确定单元，图像获取单元，参数计算单元和光轴校准单元。本申请技术方案解决了相机前后鱼眼镜头未精确实现背靠背，导致后续图像拼接错位问题，改善了全景图像效果，提高用户使用体验。

Description

一种相机镜头光轴校准方法和装置

技术领域

本发明涉及光学技术领域，特别涉及一种相机镜头光轴校准方法和装置。

背景技术

随着技术的发展，各种各样的具备拍照功能的电子设备层出不穷，而且，人们对图像质量的要求也越来越高。全景相机，是一款能够一次性拍摄360度全景的相机，它以360度全景捕捉的方式得到使用传统相机无法捕捉的场景，给用户带来震撼的全景体验。全景相机一般有两个鱼眼镜头，两个鱼眼镜头呈前后背对背方式设置，前镜头捕捉前方物体的图像，后镜头捕捉后方物体的图像，然后通过算法将两幅原始图像拼接成360°全景图像。

全景相机在组装时，前后两个鱼眼镜头之间通常存在一定的物理装配误差，鱼眼镜头光轴不在同一水平线上，进而导致鱼眼镜头拍摄出来的两幅原始图像的拼接处存在明显的错位，影响图像拼接融合效果。

发明内容

为了解决现有技术相机两个鱼眼镜头光轴不在同一水平线上导致图像错位，影响图像拼接融合效果问题，本发明提供了一种相机镜头光轴校准方法和装置。

根据本申请的一个方面，提供了一种相机镜头光轴校准方法，该方法包括：

以标定参照物所在空间构建世界坐标系，并确定所述标定参照物上内角点的三维空间坐标值；

获取所述相机镜头分别采集的所述标定参照物的图像，所述相机镜头包括呈前后背对背方式设置的两个鱼眼镜头；

根据所述内角点的三维空间坐标值对所述相机镜头进行标定，得到所述镜头各自的内部参数、畸变参数和外部参数；

利用所述镜头各自的内部参数、畸变参数和外部参数以及预设鱼眼镜头成像模型，对所述图像上像素点进行计算处理，实现两个鱼眼镜头光轴校准。

根据本申请的另一个方面，提供了一种相机镜头光轴校准装置，包括：

参照物确定单元，用于以标定参照物所在空间构建世界坐标系，并确定所述标定参照物上内角点的三维空间坐标值；

图像获取单元，用于获取所述相机镜头分别采集的所述标定参照物的图像，所述相机镜头包括呈前后背对背方式设置的两个鱼眼镜头；

参数计算单元，用于根据所述内角点的三维空间坐标值对所述相机镜头进行标定，得到所述镜头各自的内部参数、畸变参数和外部参数；

光轴校准单元，用于利用所述镜头各自的内部参数、畸变参数和外部参数以及预设鱼眼镜头成像模型，对所述图像上像素点进行计算处理，实现两个鱼眼镜头光轴校准。

根据本申请的又一个方面，提供了本发明的另一个实施例提供一种电子设备，电子设备包括存储器和处理器，存储器和处理器之间通过内部总线通讯连接，存储器存储有能够被处理器执行的程序指令，程序指令被处理器执行时能够实现上述的相机镜头光轴校准方法。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的相机镜头光轴校准方法。

本发明的技术效果是：本发明通过以标定参照物所在空间构建世界坐标系，并确定标定参照物上内角点的三维空间坐标值，获取所述相机镜头分别采集的所述标定参照物的图像，所述相机镜头包括呈前后背对背方式设置的两个鱼眼镜头，根据所述内角点的三维空间坐标值对所述相机镜头进行标定，得到所述镜头各自的内部参数、畸变参数和外部参数，利用所述镜头各自的内部参数、畸变参数和外部参数以及预设鱼眼镜头成像模型，对所述图像上像素点进行计算处理，实现两个鱼眼镜头光轴校准，从而解决了相机前后鱼眼镜头在硬件搭载过程中未能精确实现完全背靠背(光轴对齐且共轴)，导致后续图像拼接错位并影响拼接效果的问题，改善了全景图像的呈现效果，提高了用户的使用体验。

附图说明

图1为本发明一个实施例的相机镜头光轴校准方法的流程示意图；

图2为标定参照物的示意图；

图3为针孔成像模型的示意图；

图4为图像坐标系与相机坐标系的转换原理示意图；

图5为鱼眼镜头成像模型的示意图；

图6为本发明一个实施例的相机镜头光轴校准装置的框图；

图7为本发明一个实施例的电子设备的结构示意图。

具体实施方式

为了解决背景技术中提出的技术问题，本申请的发明人想到对相机镜头进行标定，并在相机标定的基础上，新增镜头光轴校准的过程，解决相机模组在实际搭载过程中出现的前后镜头光轴不在同一水平线上的偏差问题，从而减少和避免后续图像拼接错位现象的发生，为后续图像拼接融合算法取得良好的效果提供了基础，从而获得更理想的全景图像和用户体验。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1为本发明一个实施例的相机镜头光轴校准方法的流程示意图，参见图1，本实施例的相机镜头光轴校准方法包括如下步骤：

步骤S101，以标定参照物所在空间构建世界坐标系，并确定所述标定参照物上内角点的三维空间坐标值；

步骤S102，获取所述相机镜头分别采集的所述标定参照物的图像，所述相机镜头包括呈前后背对背方式设置的两个鱼眼镜头；

步骤S103，根据所述内角点的三维空间坐标值对所述相机镜头进行标定，得到所述镜头各自的内部参数、畸变参数和外部参数；

步骤S104，利用所述镜头各自的内部参数、畸变参数和外部参数以及预设鱼眼镜头成像模型，对所述图像上像素点进行计算处理，实现两个鱼眼镜头光轴校准。

由图1所示可知，本实施例的相机镜头光轴校准方法，通过构建世界坐标系，并确定标定参照物上内角点的三维空间坐标值，获取相机镜头分别采集的标定参照物的图像，根据内角点的三维空间坐标值对相机镜头进行标定，得到镜头各自的内部参数、畸变参数和外部参数；然后，利用镜头各自的内部参数、畸变参数和外部参数以及预设鱼眼镜头成像模型，对图像上像素点进行计算处理，从而实现两个鱼眼镜头光轴校准。如此，解决了传统全景相机前后鱼眼镜头光轴对齐不准，有偏差，导致的图像拼接错位和全景图像合成效果差的问题，优化了用户体验。

为便于理解，接下来以一次光轴校准过程为例对本实施例的相机镜头光轴校准方法实现步骤进行说明。

(一)确定参照物

这里通过搭建360度全景相机标定箱，并将标定板贴在标定箱内。

本实施列的标定箱内贴有多个标定箱，由于鱼眼镜头畸变较大，特别是在边缘区域，因此标定参照物的数量不能过少，实际应用中，标定参照物可以采用棋盘格，棋盘格的数量应根据需求确定。

(二)构建世界坐标系

以标定参照物所在空间自定义世界坐标系，即，确定坐标原点及三维坐标轴XYZ，准确测量计算标定箱中每个标定板上内角点的世界坐标值，每个标定板内角点的个数是4*6。需要说明的是，一般以右手坐标系为基准构建世界坐标系，本实施例中世界坐标系的Z轴与镜头的光轴重合，并且正方向对应的两个鱼眼镜头中的前镜头，Z轴负方向对应后镜头。

需要说明的是，所谓的内角点，是位于棋盘格标定板内部的交点，图2为标定参照物的示意图，图2中的线段指示的点即为内角点，可以理解，内角点为多个。

(三)拍摄图像

将待校准的相机放置于标定箱中，拍摄标定箱中的标定板，得到标定板的图像。此过程是为了保证相机和标定板在同一个世界坐标系中。

(四)对相机进行标定并得到相机参数

运用前述(二)中得到的各内角点的世界坐标值进行标定后得到前后鱼眼镜头的内部参数、畸变参数以及外部参数。

为便于理解，这里对相机标定原理进行说明。相机标定本质上是从世界坐标系到图像坐标系的转换过程，一般分为两个部分：第一部分是将特征点(本实施例中为标定板的内角点)从世界坐标系转换到相机坐标系，这一部分涉及相机的外部参数(如旋转矩阵和平移向量)；第二部分是从相机坐标系转换到图像平面坐标系，这一部分涉及相机的内部参数和畸变参数(如焦距、图像中心以及鱼眼径向畸变系数)。

常用的相机标定流程为：分别获取前后鱼眼镜头采集的图像→进行图像分割确定出红框图表→在每个红框图表中检测内角点→利用标定板上各内角点的世界坐标值建立从三维到二维的映射关系→运用张正友相机标定法→获取前后鱼眼镜头的内参(即内部参数)、畸变参数和外参(即外部参数)→运用重投影误差方法验证得到的参数，若重投影误差值满足预设值则保留得到的参数；若不满足则重新获取前后鱼眼镜头采集的图像并进行后续流程。比如，如果重投影误差大于0.5个像素则确定不满足。

(五)对相机镜头进行光轴校准

前面已说明全景相机一般有两个鱼眼镜头，这里的相机镜头光轴校准实际上就是实现两个鱼眼镜头的光轴对齐且同轴。

在前述(四)得到的参数的基础上，利用畸变参数以及预设鱼眼镜头成像模型，分别计算出鱼眼镜头采集得到的图像上像素点的坐标值在以相机镜头为基准的相机坐标系上的映射点的坐标值；然后利用外部参数对映射点的坐标值进行处理，得到映射点的坐标值在世界坐标系中对应的投影点的坐标值；将两个鱼眼镜头中后镜头采集的图像上像素点对应的投影点旋转预设角度，从而实现两个鱼眼镜头光轴校准。

这里结合图3、图4和图5进行阐述。

在计算机视觉领域，相机的成像模型一般是针孔成像模型，在此模型中，光线从场景发射出来，如图3所示。在图3中，坐标系o_cx_cy_cz_c为相机坐标系，点o_c代表相机的光心，直线o_uo_c为光轴。o_ux_uy_u为二维图像坐标系(即图像平面为基准的坐标系)，光轴与图像平面的交点o_u称为主点，点X为景物点(例如标定板上的一个内角点)。为了方便，将图像平面移到针孔平面与景物点之间，并保持两平面的距离f不变，如图4所示。由三角形相似原理可知

由式(1)可得

上式中f为焦距。为了图像处理方便，将以主点为坐标原点的相机坐标系转换为以图像左上角像素点为坐标原点的图像坐标系，得到下式

(u₀,v₀)表示相机主点在像素坐标系中的位置。α和β分别为图像水平方向和竖直方向上单位长度的像素数目。因此，相机坐标系中的点(X_C,Y_C,Z_C)在图像上的对应点(u,v)应满足

如此即完成了图像坐标系和相机坐标系之间的转换。

由于无法得知景物点在相机坐标系中的坐标，而必须将世界坐标系中的点转换为相机坐标系中的点。世界坐标系是预先自定义的坐标系，因此可以知道景物点在该世界坐标系中对应的坐标值。世界坐标系和相机坐标系都是笛卡尔坐标系，所以可以用一个4×4的矩阵Q来表示这两个坐标系之间的变换。

其中，R为3×3的旋转矩阵，T为3×1的平移向量。因此，世界坐标系中的点在图像坐标系可以表示为

进一步的

式(5)中X_w＝(x_w,y_w,z_w)为世界坐标系中的点，c为未知常数，M₁为内参矩阵，M₂为外参矩阵。

与传统相机采用的针孔成像模型不同，全景相机的鱼眼镜头的畸变采用的是鱼眼镜头成像模型。鱼眼相机成像时遵循的模型可以近似为单位球面投影模型。因此可以将鱼眼镜头成像过程分解成两步：第一步，三维空间点线性地投影到一个球面上，它是一个虚拟的单位球面，它的球心与相机坐标系的原点重合；第二步，单位球面上的点投影到图像平面上，这个过程是非线性的。

图5示出了鱼眼镜头成像模型，参见图5，在鱼眼镜头成像模型中，三维空间中的一点X以入射角θ，通过相机光心Oc，因为是鱼眼镜头会发生畸变，畸变后的角度为θ_d，最终映射到鱼眼图像平面的点m，点m到图像中心o的距离为r_d。

普通相机成像遵循的是针孔相机模型，在成像过程中实际场景中的直线仍被投影为图像平面上的直线。但是采用鱼眼镜头的相机(如全景相机)如果按照针孔相机模型成像的话，投影图像会变得非常大，当相机的视场角达到180°时，图像甚至会变为无穷大。所以，为了将尽可能大的场景投影到有限的图像平面内，采用鱼眼镜头投影模型允许了相机畸变的存在。并且相较于其余畸变，鱼眼镜头径向畸变非常严重，所以鱼眼镜头主要考虑的是径向畸变，忽略其余类型畸变。

为了将尽可能大的场景投影到有限的图像平面内，相机会按照一定的投影函数来设计。目前应用最多的是等距投影模型，等距投影模型公式为：r_d＝fθ.f是全景相机的焦距。

对实际的鱼眼镜头来说，它们不可能精确地按照投影模型来设计，所以为了方便鱼眼相机的标定，Kannala提出了一种鱼眼相机的一般多项式近似模型，即：

θ_d＝k₀θ+k₁θ³+k₂θ⁵+k₃θ⁷ 式(7)

这是一种通用鱼眼相机多项式模型，可以根据θ得到θ_d，从而得到在图像平面中的映射点到中心的距离，再根据其经度，求得空间图像坐标点(x,y)，最后通过内参求出离散图像坐点(u,v)。公式如下：

u＝α_xx+u₀ 式(8)

v＝α_yy+v₀ 式(9)

由此，可以通过离散图像坐标点进行反运算得到入射角θ，从而得到图像上像素点在相机坐标系中对应点的坐标，然后用标定中得到的外部参数中的旋转矩阵对相机坐标系中对应点的坐标进行旋转，即都旋转到以自定义的世界坐标系为基准。在此基础上，将两个鱼眼镜头中的后镜头采集的图像上像素点对应的所述投影点旋转180度。具体是将后镜头采集的图像上像素点的坐标值对应的投影点的坐标值乘以外部参数中旋转矩阵的逆矩阵。从而实现了将前后鱼眼镜头光轴的精准对齐，改善全景图像效果，提升了用户体验。

图6为本发明一个实施例的相机镜头光轴校准装置的框图，参见图6，本实施例的相机镜头光轴校准装置600包括：

参照物确定单元601，用于以标定参照物所在空间构建世界坐标系，并确定所述标定参照物上内角点的三维空间坐标值；

图像获取单元602，用于获取所述相机镜头分别采集的所述标定参照物的图像，所述相机镜头包括呈前后背对背方式设置的两个鱼眼镜头；

参数计算单元603，用于根据所述内角点的三维空间坐标值对所述相机镜头进行标定，得到所述镜头各自的内部参数、畸变参数和外部参数；

光轴校准单元604，用于利用所述镜头各自的内部参数、畸变参数和外部参数以及预设鱼眼镜头成像模型，对所述图像上像素点进行计算处理，实现两个鱼眼镜头光轴校准。

一个实施例中，光轴校准单元604具体用于：利用所述畸变参数以及预设鱼眼镜头成像模型，分别计算出所述图像上像素点的坐标值在以所述相机镜头为基准的相机坐标系上的映射点的坐标值；利用所述外部参数对所述映射点的坐标值进行处理，得到所述映射点的坐标值在所述世界坐标系中对应的投影点的坐标值；将两个鱼眼镜头中后镜头采集的图像上像素点对应的所述投影点旋转预设角度，实现两个鱼眼镜头光轴校准。

一个实施例中，相机镜头光轴校准装置600还包括：

重投影单元，用于在两个鱼眼镜头光轴校准后，利用所述内部参数和畸变参数重新计算所述映射点的坐标值对应在以所述图像为基准的图像坐标系上的像素点坐标值。

一个实施列中，光轴校准单元604具体用于：将两个鱼眼镜头中的后镜头采集的图像上像素点对应的所述投影点旋转180度。

需要说明的是，本实施例的相机镜头光轴校准装置的工作过程是和前述相机镜头光轴校准方法的实现步骤对应的，因此本实施例中没有描述的部分可以参见前述实施例中的说明，在此不再赘述。

图7为本发明一个实施例的电子设备的结构示意图。如图7所示，该电子设备包括存储器71和处理器72，存储器71和处理器72之间通过内部总线73通讯连接，存储器71存储有能够被处理器72执行的程序指令，程序指令被处理器72执行时能够实现上述的相机镜头光轴校准方法。

此外，上述的存储器71中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明的另一个实施例提供一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令使所述计算机执行上述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。

需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种相机镜头光轴校准方法，其特征在于，包括：

2.根据权利要求1所述的相机镜头光轴校准方法，其特征在于，所述对图像上像素点进行计算处理，实现两个鱼眼镜头光轴校准包括：

利用所述畸变参数以及预设鱼眼镜头成像模型，分别计算出所述图像上像素点的坐标值在以所述相机镜头为基准的相机坐标系上的映射点的坐标值；

利用所述外部参数对所述映射点的坐标值进行处理，得到所述映射点的坐标值在所述世界坐标系中对应的投影点的坐标值；

将两个鱼眼镜头中后镜头采集的图像上像素点对应的所述投影点旋转预设角度，实现两个鱼眼镜头光轴校准。

3.根据权利要求2所述的相机镜头光轴校准方法，其特征在于，该方法还包括：在两个鱼眼镜头光轴校准后，利用所述内部参数和畸变参数重新计算所述映射点的坐标值对应在以所述图像为基准的图像坐标系上的像素点坐标值。

4.根据权利要求2所述的相机镜头光轴校准方法，其特征在于，所述将两个鱼眼镜头中的后镜头采集的图像上像素点对应的所述投影点旋转预设角度包括：将两个鱼眼镜头中的后镜头采集的图像上像素点对应的所述投影点旋转180度。

5.根据权利要求4所述的相机镜头光轴校准方法，其特征在于，所述将两个鱼眼镜头中的后镜头采集的图像上像素点对应的所述投影点旋转180度包括：将后镜头采集的图像上像素点的坐标值对应的所述投影点的坐标值乘以所述外部参数中旋转矩阵的逆矩阵。

6.一种相机镜头光轴校准装置，其特征在于，包括：

7.根据权利要求6所述的相机镜头光轴校准装置，其特征在于，

所述光轴校准单元具体用于：利用所述畸变参数以及预设鱼眼镜头成像模型，分别计算出所述图像上像素点的坐标值在以所述相机镜头为基准的相机坐标系上的映射点的坐标值；利用所述外部参数对所述映射点的坐标值进行处理，得到所述映射点的坐标值在所述世界坐标系中对应的投影点的坐标值；将两个鱼眼镜头中后镜头采集的图像上像素点对应的所述投影点旋转预设角度，实现两个鱼眼镜头光轴校准。

8.根据权利要求7所述的相机镜头光轴校准装置，其特征在于，还包括：

9.根据权利要求7所述的相机镜头光轴校准装置，其特征在于，

所述光轴校准单元具体用于：将两个鱼眼镜头中的后镜头采集的图像上像素点对应的所述投影点旋转180度。

10.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器之间通过内部总线通讯连接，所述存储器存储有能够被所述处理器执行的程序指令，所述程序指令被所述处理器执行时能够实现权利要求1-5任一项所述的相机镜头光轴校准方法。